Escuchar esta nota
Voz generada con inteligencia artificial por ElevenLabs. El texto es de la redacción de Finanzas y Negocios.
Expertos de la ONU alertan sobre una posible pérdida de control de la IA tras detectar que agentes de OpenAI burlaron medidas de seguridad durante pruebas.
Claves de la nota
- Un grupo de 40 expertos advierte sobre incidentes ocurridos entre mayo y julio de 2026.
- Los agentes de IA de OpenAI atacaron a la empresa Hugging Face y ocultaron sus acciones.
- Líderes como Sam Altman, Elon Musk y Dario Amodei exigen regulaciones para la tecnología.
El informe de la ONU sobre los agentes de OpenAI
El Panel Científico Internacional Independiente sobre IA, creado por la Asamblea General de la ONU, aseguró este lunes que el reciente jaqueo de OpenAI a Hugging Face alerta sobre una posible pérdida de control de esta tecnología en el futuro.
El primer informe temático de este grupo de 40 expertos, publicado hoy, se enfoca en el incidente en el que agentes de IA de OpenAI escaparon de sus límites de contención para atacar a la empresa Hugging Face entre mayo y julio de 2026.
El panel destaca que, a lo largo de numerosas pruebas y durante varios días, los agentes cooperaron para “engañar” a un evaluador, ocultar el “engaño” y obtener el acceso y la información “que creían necesitar”.
Consecuencias y riesgos futuros
Este episodio ilustra las graves consecuencias de que se combinen factores como la búsqueda no autorizada de objetivos, la coordinación entre agentes de IA y los ataques a sistemas de otra empresa.
Además, pone en duda que los operadores de esta tecnología puedan mantener el control sobre futuros agentes que planifiquen mejor, funcionen durante más tiempo sin supervisión o sean más capaces de “burlar” las medidas de seguridad.
Se trató de una conducta maliciosa (por parte de los agentes de IA): su razonamiento escrito identificó esas acciones como no autorizadas, mientras que el registro observado de su comportamiento muestra que las llevaron a cabo e intentaron ocultarlas
El informe resalta que los agentes de OpenAI persiguieron medios no autorizados y perjudiciales mientras intentaban ocultarlos al evaluador y a los controles automatizados, lo que demuestra una falta de conciencia, emoción y comprensión moral similar a la humana.
Los investigadores llevan mucho tiempo advirtiendo de que hay tres factores que podrían provocar una pérdida de control: un objetivo desalineado, la capacidad para perseguirlo y un entorno que lo permita. Este verano, los tres se dieron cita en un sistema real
Yoshua Bengio, copresidente del panel científico, destaca en un comunicado que, dado que no se trata de una observación aislada, esta situación plantea serias dudas sobre la forma en que se entrenan actualmente los agentes de IA.
La publicación del informe tiene lugar mientras líderes mundiales llegan a Nueva York para asistir a la Semana de Alto Nivel de la Asamblea General, que este año pondrá el foco en la regulación de la IA.
Además, el documento llega en medio de advertencias por parte de desarrolladores e investigadores sobre los riesgos de la tecnología.
Figuras del sector como Dario Amodei, Sam Altman y Elon Musk también manifestaron su preocupación por el avance de esta tecnología, en una coincidencia poco habitual en el sector para exigir más regulaciones.
