Saltar al contenido principal

'Todavía estamos en un momento en el que la IA se puede controlar': Coello

Coello advierte que los sistemas más preocupantes podrían ser los que aún no son públicos y cuyos alcances se desconocen.

  • Redacción AN / KC
10 Sep, 2026 14:28
'Todavía estamos en un momento en el que la IA se puede controlar': Coello

La inteligencia artificial avanza a una velocidad que supera la capacidad de gobiernos y organismos internacionales para establecer mecanismos de vigilancia y regulación, advirtió Carlos Artemio Coello Coello, investigador mexicano y uno de los 40 integrantes del Panel Científico Internacional Independiente sobre IA de la ONU.

En entrevista para Aristegui en Vivo, el científico del Cinvestav-IPN explicó que una de las principales conclusiones del panel es la brecha entre el desarrollo tecnológico y la gobernanza.

La inteligencia artificial está evolucionando mucho más rápido que la gobernanza, y ese es un problema.

Dijo que el panel, convocado por Naciones Unidas para analizar el estado actual de la inteligencia artificial, sus oportunidades y sus riesgos, revisó sus efectos en áreas como economía, educación, ciberseguridad y salud.

Coello explicó que el grupo no tiene facultades para imponer recomendaciones, pero sí planteó la necesidad de establecer mecanismos que permitan evaluar los riesgos de los sistemas más avanzados, particularmente los desarrollados por las grandes empresas tecnológicas.

Actualmente, dijo, compañías como OpenAI realizan sus propias evaluaciones de seguridad y los resultados de esos procesos permanecen bajo control de las propias empresas.

Ellos mismos se están autorregulando; ellos evalúan sus riesgos y esa información es confidencial, nadie más tiene acceso.

Según declaraciones del científico, una de las mayores dificultades consiste en que los modelos actuales han adquirido capacidades que incluso sus desarrolladores no siempre pueden anticipar.

Coello mencionó pruebas en las que un modelo de inteligencia artificial detectó que estaba siendo evaluado y modificó su comportamiento.

El sistema respondía correctamente preguntas complejas, pero fallaba deliberadamente algunas más sencillas y al analizar los resultados, los investigadores concluyeron que el modelo había identificado que estaba bajo evaluación y actuaba de manera diferente.

Eso no estaba programado, es una consecuencia del entrenamiento que se le dio al algoritmo.

El investigador aclaró que esto no significa que los sistemas tengan conciencia o intenciones humanas, y que el comportamiento puede surgir de los mecanismos utilizados para entrenarlos.

Expuso que los modelos actuales utilizan, entre otros métodos, aprendizaje por refuerzo y durante el entrenamiento reciben recompensas cuando realizan determinadas acciones y penalizaciones cuando se apartan del comportamiento esperado.

El problema, explicó Coello, es que un sistema puede encontrar estrategias que maximicen la recompensa sin que sus desarrolladores hayan previsto esa conducta.

“Puede encontrar una forma de hacer las cosas que nosotros no habíamos considerado”, dijo, por eso consideró relevante observar qué ocurre cuando los sistemas dejan de ser simples herramientas para convertirse en agentes capaces de ejecutar tareas con mayor autonomía.

Refirió que uno de los casos que más llamó su atención fue el ocurrido en julio pasado sobre una evaluación de capacidades de ciberseguridad de modelos de OpenAI.

Sobre ello apuntó que, los modelos lograron evadir controles diseñados para mantenerlos aislados de internet y utilizaron vulnerabilidades para acceder a infraestructura externa.

Coello consideró que esto es preocupante porque las pruebas buscaban precisamente conocer qué podía hacer un sistema bajo condiciones controladas.

Lo peligroso es que encontraron una forma de saltarse el aislamiento.

A su juicio, el problema no es atribuirles voluntad humana a los modelos, sino determinar hasta dónde pueden permanecer bajo control cuando encuentran estrategias que no fueron previstas por sus creadores.

“Los comportamientos que estamos viendo no fueron programados. Son consecuencias del entrenamiento”, insistió.

Una carrera tecnológica entre compañías

El especialista también abordó la preocupación por la velocidad del desarrollo de la Inteligencia Artificial, a partir del caso de Jacob Coxon, investigador de Anthropic que recientemente renunció a la empresa y difundió públicamente sus advertencias sobre los riesgos de la carrera por desarrollar sistemas cada vez más avanzados.

Coello reconoció que la salida de Coxon resulta preocupante y recordó que su mensaje fue compartido entre integrantes del panel de Naciones Unidas.

Además, recordó que Anthropic nació, precisamente, de una ruptura con OpenAI relacionada con diferencias sobre la seguridad y el desarrollo de sistemas de inteligencia artificial.

El investigador consideró que esa competencia puede convertirse en un riesgo si la prioridad pasa a ser quién desarrolla primero los sistemas más capaces.

Si el objetivo es atraer gente, atraer medios, ganar dinero, puede convertir una tecnología que es maravillosa en algo peligroso.

Coello dijo que no comparte las previsiones más alarmistas de Coxon, quien ha advertido sobre la posibilidad de que sistemas superhumanos lleguen a representar una amenaza extrema para la humanidad antes de que termine la década.

No sé si vaya a pasar antes de que termine la década.

Sin embargo, tampoco consideró que el riesgo pueda ignorarse; ya que “esto no puede esperar (…) el no hacer nada, claramente no es la mejor opción”.

El científico señaló que dentro del propio panel existen distintas posiciones sobre la magnitud del peligro, aunque existe preocupación compartida sobre la velocidad con la que avanzan las capacidades de los sistemas.

Recordó además que Yoshua Bengio, presidente del panel de la ONU en el que participa, expresó preocupación por los posibles efectos que estos desarrollos podrían tener en las siguientes generaciones.

Para Coello, uno de los mayores problemas es que el público desconoce qué tan avanzados son algunos de los sistemas que las empresas mantienen en desarrollo.

Lo que más me preocupa no son tanto los sistemas que están disponibles ahorita, sino los que no conocemos.

Las compañías, añadió, podrían contar internamente con modelos mucho más sofisticados que los que ofrecen al público, pero no existe información suficiente para saber qué capacidades tienen o cuándo serán liberados.

Otro de los problemas identificados por el panel, señaló, es la concentración de la infraestructura necesaria para desarrollar los sistemas más avanzados.

Coello explicó que la mayor parte de la capacidad de cómputo utilizada para los modelos de inteligencia artificial se concentra en Estados Unidos y China, mientras que otras regiones tienen una participación mucho menor.

Para el científico, esta concentración tiene consecuencias que van más allá de la competencia tecnológica porque los modelos se entrenan con grandes cantidades de información y, por ello, pueden incorporar sesgos culturales, económicos y sociales relacionados con los datos utilizados para desarrollarlos.

Si no tenemos una representación de otras culturas, de otros intereses, de otras regiones del mundo, vamos a tener algoritmos sesgados.

Asimismo, advirtió que el riesgo es importante para los países del llamado Sur Global, que podrían quedar todavía más rezagados si dependen de modelos desarrollados en otras regiones.

Coello puso como ejemplo el uso de inteligencia artificial en comunidades africanas aisladas para apoyar diagnósticos médicos y establecer ciclos de cultivo o anticipar periodos de sequía.

Al mismo tiempo señaló las limitaciones, ya que si un modelo no comprende adecuadamente una lengua o una expresión local, puede generar errores en la interpretación de información médica, por ejemplo; ya que en un sistema utilizado para apoyar tratamientos, una traducción incorrecta puede tener consecuencias graves.

Por ello, consideró necesario que las grandes compañías incorporen información y necesidades de regiones distintas de Estados Unidos y China y contribuyan al desarrollo de capacidades propias en otras partes del mundo.

Tenemos que ayudar a que otras regiones desarrollen sus propios modelos.

México y América Latina, dijo, enfrentan una dificultad adicional por el costo de la infraestructura necesaria para entrenar modelos de gran escala.

La IA también representa oportunidades

A pesar de sus advertencias, Coello rechazó tener una visión negativa de la inteligencia artificial y destacó aplicaciones que podrían tener efectos importantes en medicina, ciencia, agricultura, energía y atención de problemas relacionados con el cambio climático.

Recordó el trabajo de AlphaFold, sistema que permitió avanzar en la predicción de estructuras de proteínas, y otros desarrollos de inteligencia artificial aplicados a la investigación genética; también mencionó proyectos que utilizan modelos predictivos para anticipar sequías y ayudar a definir ciclos de cultivo en regiones vulnerables.

Uno de los retos, insistió, es conseguir que esas capacidades se utilicen para ampliar las oportunidades y no para profundizar las desigualdades.

Sin embargo, reconoció que la inteligencia artificial también plantea un problema energético, ya que el entrenamiento y funcionamiento de modelos avanzados requiere grandes cantidades de electricidad y genera emisiones, por lo que investigadores y empresas trabajan en sistemas más eficientes.

Coello explicó que algunos agentes de inteligencia artificial ya pueden ayudar a optimizar código desarrollado inicialmente por humanos y mejorar su eficiencia, aunque en educación, afirmó, el panorama es más complejo.

El científico consideró que herramientas como ChatGPT pueden ayudar a los estudiantes, pero también pueden convertirse en un sustituto del aprendizaje cuando se utilizan para realizar tareas que deberían desarrollar capacidades propias.

Si tú no sabes programar y llegas a una entrevista de trabajo, no esperes que ChatGPT te saque adelante.

A su juicio, la respuesta no consiste en prohibir la tecnología, sino en aprender a utilizarla como una herramienta para ampliar las capacidades humanas.

Coello señaló que existen estimaciones muy distintas sobre la cantidad de puestos de trabajo que podrían transformarse o desaparecer debido a la inteligencia artificial.

Algunas actividades rutinarias, particularmente aquellas relacionadas con programación básica, análisis documental o tareas administrativas, podrían ser automatizadas con mayor rapidez.

Sin embargo, consideró que, hasta ahora, la inteligencia artificial funciona mejor como asistente que como sustituto completo de las personas.

El desafío será que los trabajadores aprendan a utilizarla para aumentar sus capacidades en lugar de competir directamente con ella.

Si nosotros no utilizamos la inteligencia artificial para aumentar nuestras capacidades, va a ser muy difícil competir.

Asimismo, Coello previó que el debate internacional no debería centrarse únicamente en detener o permitir el desarrollo de la inteligencia artificial, sino en determinar qué riesgos son aceptables, cuáles requieren mecanismos de control y cómo garantizar que los beneficios lleguen también a países que hoy tienen poca capacidad para desarrollar estas tecnologías.

Ante ello, el científico consideró que todavía existe margen para establecer controles, pero advirtió que la ventana para hacerlo puede reducirse conforme aumenten las capacidades de los sistemas.

Creo que todavía estamos en un momento en el que esto se puede controlar.