(Top)

Propuesta de PauseAI

Implementar una pausa temporal en el entrenamiento de los sistemas de inteligencia artificial más poderosos, hasta que sepamos cómo construirlos de manera segura y mantenerlos bajo control democrático. Muchos científicos y líderes de la industria están de acuerdo en que una pausa es necesaria  , y el público estadounidense también apoya fuertemente una pausa (64%  –69%  ).

Versión: 5 de abril de 2026

No esperamos que los países o las empresas arriesguen su ventaja competitiva deteniendo las ejecuciones de entrenamiento de inteligencia artificial durante mucho tiempo si otros países o empresas no hacen lo mismo. Por eso necesitamos una pausa global.

Implementar una pausa puede ser contraproducente si no se hace correctamente, pero creemos que nuestra propuesta mitigaría los inconvenientes más graves. Vamos a profundizar en lo que se necesita para llegar allí.

Llegar a un tratado

Un acuerdo internacional se establece típicamente a través de una cumbre, donde los líderes de los países se reúnen para discutir el tema y tomar una decisión. Ya hemos tenido cuatro cumbres de inteligencia artificial hasta ahora.

El objetivo principal de estas cumbres debería ser un tratado. Hasta ahora, las cumbres no han sido efectivas para producir algo jurídicamente vinculante. La construcción de un tratado tiende a ser lenta y propensa a vetos, pero puede que no tengamos el tiempo para un proceso prolongado de elaboración de tratados.

Ingredientes esenciales para un proceso de tratado de pausa exitoso:

El tratado en sí debería contener las siguientes medidas:

Medidas del tratado

Establecer una agencia internacional de seguridad de la inteligencia artificial (AISA).

Inspirada en el Organismo Internacional de Energía Atómica (OIEA), esta agencia será responsable de:

  1. Otorgar la aprobación para los principales despliegues y ejecuciones de entrenamiento de inteligencias artificiales que se considere que no suponen una amenaza para la humanidad. Esto incluirá ejercicios de red teaming y evaluaciones de modelos.
  2. Otorgar la aprobación para la creación de inteligencia artificial más poderosa una vez que se haya avanzado lo suficiente en los problemas técnicos de la seguridad y el control de la inteligencia artificial.
  3. Especificar los requisitos para la supervisión de las ejecuciones de entrenamiento  .
  4. Verificar que las decisiones de la agencia se están respetando. Esto se puede hacer de numerosas maneras  : seguimiento de GPUs  , incentivando a los denunciantes, monitoreo de energía, inspecciones de centros de datos, inteligencia financiera, inspecciones de instalaciones de fabricación de semiconductores, inspecciones de desarrolladores de inteligencia artificial, seguimiento de la ubicación de los chips y notificación basada en chips. Para obtener más detalles sobre cómo la cadena de suministro de chips de inteligencia artificial  , altamente centralizada, puede utilizarse para la supervisión global del desarrollo de la inteligencia artificial, lee Construyendo el botón de pausa.

Una agencia así necesitaría reunir a personas expertas para emitir juicios informados y prudentes. Puede haber desacuerdos sustanciales entre expertos, y la agencia tendría que sintetizar una variedad de puntos de vista distintos y decidir un nivel de cautela apropiado.

Los países firmantes tienen poderes de veto adicionales sobre el despliegue de una inteligencia artificial sobrehumana segura.

  1. Una coalición suficientemente grande de países opuestos puede vetar cualquier despliegue de un sistema de inteligencia artificial sobrehumano seguro. Esto incluye oponerse a detalles de un despliegue, como las instrucciones dadas a un sistema o los valores inculcados en él.
  2. Hasta que se acuerde un despliegue, los pesos y el acceso a la inteligencia artificial deben mantenerse estrictamente bajo la custodia de la AISA. La agencia puede utilizar la inteligencia artificial para hacer cumplir el tratado frente a naciones beligerantes, pero no para ningún otro fin.

Si logramos construir una inteligencia artificial controlable y segura, debemos asegurarnos de que los beneficios recaigan sobre toda la humanidad. A ninguna empresa ni país en solitario se le debería permitir acaparar todo el excedente generado por la inteligencia artificial. Si la inteligencia artificial crea una abundancia sin precedentes, nadie debería quedarse en la pobreza.

Si un grupo de países siente que va a quedar excluido de los beneficios de la inteligencia artificial, se le debería dar una posición negociadora sólida con la que exigir su parte justa. De igual modo, si un grupo de países democráticos cree que un país autoritario desplegará la inteligencia artificial para oprimir a su propia población, debería poder presionar por un despliegue que empodere a toda la ciudadanía de todos los países.

Efectos de un tratado

Los modelos más peligrosos serán los modelos de inteligencia artificial generales, capaces de entender el lenguaje y de completar una amplia gama de tareas en muchos dominios distintos. Los modelos más generales que existen hoy son los grandes modelos de lenguaje, como ChatGPT, y los sistemas agénticos construidos sobre ellos, como Claude Code. Pero este tratado normalmente no afectaría a los sistemas de inteligencia artificial estrechos, como los sistemas de reconocimiento de imágenes utilizados para diagnosticar el cáncer.

Es posible que el problema de la alineación de la inteligencia artificial sea muy difícil y no se resuelva durante mucho tiempo. En ese caso, el tratado impediría la creación de inteligencia artificial sobrehumana durante mucho tiempo. Esa es la única manera de garantizar la seguridad de la humanidad.

El cumplimiento del tratado requiere que Estados Unidos y China lo respalden con su poder económico y militar. Si los líderes de ambas naciones comprenden la gravedad de los riesgos de la inteligencia artificial, verán que el éxito del tratado va en su propio interés. Si se crea una inteligencia artificial sobrehumana segura, la propia inteligencia artificial será utilizada por la AISA para hacer cumplir el tratado.

Otras medidas que frenan efectivamente la inteligencia artificial

  • Prohibir el entrenamiento de sistemas de inteligencia artificial con material protegido por derechos de autor. Esto ayuda con los problemas de derechos de autor, reduce la creciente desigualdad y frena el progreso hacia una inteligencia artificial sobrehumana.
  • Hacer responsables a los creadores de modelos de inteligencia artificial de los actos delictivos cometidos utilizando sus sistemas de inteligencia artificial. Esto da a los creadores de modelos más incentivos para asegurarse de que sus modelos sean seguros.

Política a largo plazo

En el momento de escribir esto, entrenar un modelo del nivel de GPT-5 cuesta muchos millones de dólares. Esto hace que sea muy difícil entrenar tales modelos, y hace que sea más fácil imponer controles sobre el entrenamiento mediante el seguimiento de GPUs. Sin embargo, el costo de entrenar un modelo está disminuyendo exponencialmente debido a las mejoras en el hardware y los nuevos algoritmos de entrenamiento.

Puede llegar un momento en que los modelos de inteligencia artificial potencialmente sobrehumanos puedan ser entrenados por unos pocos miles de dólares o menos, tal vez incluso en hardware de consumo. Necesitamos estar preparados para esto y deberíamos considerar las siguientes salvaguardas adicionales:

  • Limitar la publicación de algoritmos de entrenamiento / mejoras de tiempo de ejecución. A veces se publica un nuevo algoritmo que hace que el entrenamiento sea mucho más eficiente. La arquitectura Transformer, por ejemplo, permitió prácticamente todo el progreso reciente en inteligencia artificial. Estos tipos de saltos de capacidad pueden ocurrir en cualquier momento, y debemos considerar limitar la publicación de tales algoritmos para minimizar el riesgo de un salto de capacidad repentino. También hay innovaciones que permiten entrenamientos descentralizados  . De manera similar, algunas innovaciones de tiempo de ejecución podrían cambiar drásticamente lo que se puede hacer con los modelos existentes. Limitar la publicación de investigación peligrosa se ha hecho con bastante eficacia en otros campos, como la bioseguridad, donde los métodos de potenciación de patógenos están estrictamente controlados.
  • Limitar los avances de capacidad de los recursos computacionales. Debemos considerar limitar los avances de capacidad del hardware (por ejemplo, a través de limitaciones en la litografía, el diseño de chips y los nuevos paradigmas de computación como los chips fotónicos y la computación cuántica).

Ayúdanos a lograr esto

Únete al movimiento para colaborar o toma acción por tu cuenta.