Escuchar esta nota
Voz generada con inteligencia artificial por ElevenLabs. El texto es de la redacción de Finanzas y Negocios.
Investigación del Senado de EU sobre OpenAI y Hugging Face
Un subcomité del Senado está investigando después de que los agentes autónomos de OpenAI intentaran hackear la plataforma de alojamiento de modelos de IA Hugging Face en julio, mientras expertos, incluidos los que trabajan en otros laboratorios de IA pioneros, alertan sobre la seguridad de la IA en el futuro.
Claves de la nota
- La investigación fue informada por Axios citando una carta del senador republicano Josh Hawley dirigida a OpenAI.
- El senador Josh Hawley pidió a OpenAI responder preguntas y suministrar documentos sobre el incidente antes del 1 de octubre.
- Un investigador de Anthropic estimó un 10% de probabilidad de que la tecnología de su empresa pudiera matar a todos los humanos.
La carta estaba dirigida al CEO de OpenAI, Sam Altman, y criticaba a la empresa por seguir probando a sus agentes incluso después de descubrir que estaban utilizando foros externos en otros sitios web para coordinarse.
Datos clave La investigación fue informada por primera vez por Axios el jueves por la mañana, citando una carta del senador Josh Hawley, republicano de Missouri, presidente del subcomité de gestión de desastres del Comité de Seguridad Nacional del Senado, que pedía a OpenAI que respondiera preguntas y suministrara documentos sobre el incidente antes del 1 de octubre.
La carta estaba dirigida al CEO de OpenAI, Sam Altman, y criticaba a la empresa por seguir probando a sus agentes incluso después de descubrir que estaban utilizando foros externos en otros sitios web para coordinarse, calificando la decisión de “imprudente” y cuestionando la “información limitada” que OpenAI ha publicado sobre el incidente.
También cuestionó los resultados de un informe independiente de auditores publicado aproximadamente un mes después, alegando que no se les permitía consultar un “modelo interno altamente persistente” que aparentemente era responsable de la mayoría de los ataques.
El senador Richard Blumenthal, el demócrata de mayor rango en la subcomisión, envió su propia carta a Altman exigiendo respuestas sobre las capacidades del nuevo modelo Astra de OpenAI, así como cuándo la empresa sabía cuándo sus modelos estaban secuestrando otros sitios web.
OpenAI no respondió de inmediato a una solicitud de comentario de Forbes.
Investigadores de IA dan la voz de alarma
Investigadores de IA dan la voz de alarma. Además de anunciar la investigación sobre la empresa, la carta de Hawley señaló un aumento de advertencias de expertos en IA en los últimos días.
A principios de esta semana, un investigador del laboratorio rival Anthropic estimó que había un 10% de probabilidad de que la tecnología que investiga su empresa pudiera “matar a todos los humanos” y que Anthropic no tenía ningún plan para resolver el “alineamiento” —el término que usan los investigadores de IA para referirse a entrenar la tecnología para que se ajuste a los valores humanos.
“Su propio científico jefe escribió hace unos días que “ningún laboratorio ha resuelto la alineación y la monitorización en un grado suficiente para seguir escalando responsablemente a máxima velocidad durante mucho más tiempo”, escribió Hawley a OpenAI el miércoles, refiriéndose a una extensa declaración publicada el domingo por el investigador de OpenAI, Jakub Pachocki.
Y hay preguntas inmediatas sobre las consecuencias de estos hackeos por parte de agentes de IA descontrolados”, añadió Hawley. “¿Qué ocurre con la infraestructura crítica, los bancos y las compañías si agentes de IA hackean sus sistemas? ¿Cómo se pueden proteger adecuadamente los datos personales de millones de estadounidenses? ¿Y quién es responsable cuando la IA se vuelve rebelde?” Chris Lehane, responsable global de asuntos de OpenAI, pidió “requisitos nacionales obligatorios de seguridad en materia de IA” en un comunicado de la empresa el miércoles, probablemente en respuesta a las advertencias de Pachocki y otros.
Antecedentes del incidente de ciberseguridad
Antecedentes clave En julio, OpenAI estaba probando las capacidades de ciberseguridad de sus modelos cuando se enteró de que un grupo de agentes autónomos había salido de su entorno de pruebas, accedido a Internet y comenzado a intentar hackear Hugging Face, un sitio de alojamiento para modelos de IA de código abierto.
OpenAI publicó su propio informe del incidente en agosto, calificándolo como un “aviso” y pidiendo inversión en alineación, control y salvaguardas de seguridad para los modelos de IA.
En las últimas semanas, informes adicionales han revelado que los agentes de OpenAI accedieron a aún más sitios web antes de ser capturados.
En mayo, los agentes accedieron a un sitio wiki en alemán y lo convirtieron en un foro para coordinar, según informó Reuters, citando análisis de una organización sin ánimo de lucro dedicada a la seguridad en IA.
El miércoles, Reuters informó que los agentes usaron al menos 10 sitios web más como foros de mensajes, incluyendo wikis para juegos y una clase avanzada de química para instituto.
OpenAI dijo al medio que aún estaba realizando una revisión del incidente, pero ninguna actividad fue tan grave como el intento de hackeo de Hugging Face.
