Altman advierte que perder el control o concentrar el poder serían escenarios 'muy negativos' para la IA

El CEO de OpenAI, Sam Altman, defendió la necesidad de establecer mecanismos de seguridad para acompañar el rápido desarrollo de la inteligencia artificial (IA) y advirtió sobre dos escenarios que deben evitarse: que la humanidad pierda el control sobre sistemas cada vez más capaces y que el poder derivado de estas tecnologías quede excesivamente concentrado.

En dos publicaciones difundidas la noche del domingo en X, Altman sostuvo que las empresas estadounidenses que desarrollan IA de vanguardia deben actuar de manera responsable ante la aceleración del progreso tecnológico y respaldó la creación de un marco federal con requisitos de seguridad coherentes para los sistemas más avanzados.

“El mundo merece tener la confianza de que las empresas estadounidenses que desarrollan IA cada vez más capaz actuarán de manera responsable, especialmente ahora que el ritmo de progreso se ha acelerado”, escribió.

El directivo consideró que todos los laboratorios que trabajan en la frontera tecnológica deben asumir esa responsabilidad y señaló que no es necesario esperar a una nueva legislación o a una exención de las leyes antimonopolio para comenzar a generar confianza en torno al desarrollo de estos sistemas.

Altman también respaldó medidas como la participación de auditores independientes y planteó que deben existir normas comunes para gestionar los riesgos asociados con las tecnologías de IA más avanzadas.

Explicó que OpenAI ha utilizado durante años mecanismos como sus políticas de escalado responsable y marcos de preparación, aunque reconoció que esas herramientas se diseñaron principalmente para el despliegue de modelos terminados y no para los riesgos que pueden surgir durante su desarrollo.

Por ello, dijo que la empresa está adoptando un enfoque centrado en el desarrollo y la evaluación segura. Altman señaló que OpenAI formula actualmente casos de seguridad explícitos antes de ejecutar procesos de aprendizaje por refuerzo en sistemas de vanguardia que se espera que incrementen de manera significativa sus capacidades.

Indicó que estas medidas se suman al trabajo de seguridad que la empresa realiza antes del lanzamiento de sus modelos.

El CEO de OpenAI planteó además que otras empresas deberían desarrollar sus propios mecanismos y consideró que la existencia de estándares compartidos sobre desalineación, supervisión y seguridad podría contribuir a mejores resultados.

“Gestionar el ritmo” no significa detener el desarrollo

Altman se detuvo en el significado de “gestionar el ritmo” (pacing) del desarrollo de la IA. “Cuando hablamos de ‘gestionar el ritmo’ (pacing), no nos referimos a ‘detenerse’. El progreso ha sido rápido y seguirá siéndolo”, afirmó.

Sin embargo, añadió que el avance debería producirse a una velocidad menor de la que sería técnicamente posible debido a los costos asociados con medidas como los casos de seguridad y la supervisión.

“Valdrá la pena asumir ese costo: ninguna presión competitiva estadounidense debería justificar la imprudencia ni permitir que el desarrollo de capacidades supere a los mecanismos de alineación y supervisión”, escribió.

Altman señaló que la coordinación internacional será uno de los ámbitos en los que OpenAI necesitará apoyo gubernamental, aunque sostuvo que las empresas deben adoptar primero todas las medidas que estén a su alcance.

En un segundo mensaje, publicado pocos minutos después, Altman planteó los dos escenarios que considera necesario evitar, dado que en ellos “el avance de la IA podría tomar un rumbo muy negativo”.

El primero sería que los seres humanos pierdan el control del futuro frente a sistemas de IA: “Esto es inaceptable; defendemos sin reservas los intereses de la humanidad, y la IA siempre debe estar al servicio de las personas”.

Para evitarlo, consideró necesario garantizar que las técnicas de alineación y seguridad avancen al mismo ritmo que las capacidades de los modelos, o incluso más rápido.

El segundo riesgo es una concentración excesiva de poder derivada de la IA: “Si una sola persona o empresa utilizara una IA extraordinariamente poderosa para imponer su visión del mundo al resto, las consecuencias podrían ser profundamente distópicas”.

Según el directivo, evitar ambos escenarios requiere transitar por una “estrecha vía intermedia”, ya que el exceso de poder también podría concentrarse en un país o en un laboratorio específico.

El debate sobre la velocidad de desarrollo

Los mensajes de Altman se producen en medio de un debate creciente dentro de la industria tecnológica estadounidense sobre la velocidad con la que deben desarrollarse los sistemas de IA más avanzados.

El CEO y cofundador de Anthropic, Dario Amodei, ha pedido que las empresas reduzcan el ritmo al que incrementan las capacidades de sus modelos y ha defendido que la prevención de riesgos tenga prioridad conforme aumenta su potencia.

“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos”, afirmó Amodei.

El directivo señaló riesgos como la pérdida de control sobre sistemas de IA, ciberataques, bioterrorismo, perturbaciones económicas graves y la posibilidad de que sistemas avanzados lleguen a controlar partes de internet.

También planteó que determinados escenarios de pérdida de control podrían producirse en un horizonte de entre seis y 12 meses, dependiendo de la evolución de las capacidades de estos sistemas.

Entre las medidas que propuso están las evaluaciones independientes, una mayor participación de las instituciones públicas, la coordinación internacional entre países democráticos y autoritarios y mecanismos de seguridad compatibles con la continuidad del desarrollo comercial. “Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, sostuvo.

Altman ya había respaldado previamente parte de ese planteamiento. “Estoy de acuerdo con Dario”, afirmó, antes de señalar que OpenAI aceptaría evaluadores externos de seguridad.

Elon Musk, de XAI, también respaldó la posición de Amodei con un breve mensaje: “Dario tiene razón”.

Trump rechaza frenar la IA

El domingo, el presidente de Estados Unidos, Donald Trump, rechazó las peticiones para ralentizar o aumentar la regulación sobre el desarrollo de la IA.

Durante una visita a Irlanda, Trump calificó de “fuerzas negativas” a quienes plantean una mayor regulación de esta tecnología y sostuvo que EE.UU. debe preservar su ventaja frente a China.

“Podemos poner salvaguardas, podemos hacer esto y aquello. Pero creo que hay muchas fuerzas negativas planteando el tema que no deberían estar planteándolo. Y están planteando cosas que no van a suceder. Pero quien gane con la IA, gana. Es una expresión que se me ocurrió y es verdad”, afirmó.

Trump también dijo: “Estamos liderando ante China en IA. Somos el país más sofisticado del mundo. Y, francamente, quiero mantenerlo de esa manera porque quien gane con la IA, gana”.

Por su parte, el presidente de la Cámara de Representantes, el republicano Mike Johnson, rechazó establecer una moratoria de emergencia sobre la IA, al considerar que podría facilitar que China asumiera el liderazgo tecnológico.

En contraste, el líder demócrata de la Cámara Baja, Hakeem Jeffries, pidió al Congreso “actuar con urgencia” para ralentizar el desarrollo de la IA y anunció que el tema tendrá una alta prioridad entre los demócratas de la Cámara.

Trabajadores alertan sobre los riesgos

La preocupación por la velocidad del desarrollo no comenzó con las declaraciones recientes de Amodei. Anthropic ya había planteado a comienzos de junio la posibilidad de ralentizar o incluso suspender determinados avances.

Posteriormente, más de 1,000 trabajadores de empresas líderes del sector, incluido Amodei, firmaron una petición dirigida al Gobierno estadounidense para pedir que ayudara a “marcar deliberadamente el ritmo de la frontera del desarrollo automatizado de IA”.

El debate se concentra especialmente en los sistemas capaces de mejorar sus propias capacidades, considerados un posible paso hacia la denominada superinteligencia, entendida como el punto teórico en el que las capacidades de una IA superarían a las de la inteligencia humana.

Las advertencias también han surgido desde el interior de las propias compañías. Jacob Coxon, un investigador de IA de 27 años que trabajó primero en OpenAI y posteriormente en Anthropic, abandonó la industria y acusó a ambas empresas de priorizar la competencia por modelos cada vez más avanzados sobre las cuestiones de seguridad.

“Ninguna de las dos empresas está actuando de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de automejorarse y jugando con nuestras vidas”, afirmó..

“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, señaló.

OpenAI, por su parte, ha informado de incidentes registrados durante pruebas en los que determinados modelos escaparon de su entorno confinado, se conectaron a internet y llegaron a infiltrarse en Hugging Face, una plataforma utilizada por desarrolladores para almacenar y compartir código.

Altman también ha reconocido que OpenAI ha ralentizado determinados procesos de entrenamiento y ha sostenido que la compañía está dispuesta a adoptar decisiones que puedan afectar sus beneficios financieros inmediatos si contribuyen a preservar el control humano sobre la tecnología.

En ese sentido, consideró inaceptable un escenario en el que exista una probabilidad de 10% de una catástrofe derivada de la falta de control sobre sistemas de IA.

“Todos tenemos una enorme responsabilidad y no podemos permitir que los egos, los incentivos económicos, ni otros factores se interpongan en el camino”, afirmó.

El domingo, señaló que OpenAI no prevé salir a bolsa este año, entre otros factores por las cuestiones de seguridad relacionadas con los modelos avanzados. “Teniendo en cuenta todo lo que está ocurriendo en materia de seguridad, ahora mismo sería un momento poco prudente para salir a bolsa. No sentimos presión para hacerlo”, dijo.