Escuchar esta nota
Voz generada con inteligencia artificial por ElevenLabs. El texto es de la redacción de Finanzas y Negocios.
Sam Altman pidió reglas internacionales de seguridad para la inteligencia artificial ante el riesgo de que sistemas más autónomos dificulten la supervisión y el control humano.
Claves de la nota
- Sam Altman es el consejero delegado de la empresa OpenAI.
- El artículo conjunto está firmado junto al científico jefe Jakub Pachocki.
- Se propone la creación de estándares mediante organismos como el Centro de Estándares e Innovación en Inteligencia Artificial.
El consejero delegado de la empresa OpenAI, Sam Altman, ha planteado la necesidad de fijar estándares internacionales de seguridad para la inteligencia artificial (IA), y ha advertido de los peligros de la dispersión y de la fragmentación normativa que existe en el mundo.
Altman ha planteado además que en el ámbito de la IA, y para el establecimiento de esos estándares internacionales de seguridad, se podrían extraer lecciones de áreas como la aviación o las finanzas, donde los países han desarrollado estándares técnicos comunes y canales confiables para la cooperación sin renunciar a la autoridad nacional.
Lo ha hecho en una entrada en la red social X, que enlaza con un artículo que firma junto al científico jefe de la compañía, Jakub Pachocki, que se ha publicado en la página web de la empresa.
El futuro de la inteligencia artificial general
En el texto, Sam Altman, quien recientemente abogó por ralentizar el desarrollo de los modelos de vanguardia y por coordinar ese frenazo en coordinación y colaboración con otras empresas, plantea ahora que las personas ajenas a los laboratorios de inteligencia artificial deben tener también participación real en la toma de decisiones para evitar la concentración de poder y garantizar que exista un entorno competitivo.
Altman y Pachocki plantean que para asegurar que la inteligencia artificial general beneficie a toda la humanidad hay que perseguir tres metas:
- Desarrollar un investigador de IA automatizado que esté centrado en la alineación y el control humano
- Generar progreso científico y crecimiento económico
- Empoderar a los individuos con modelos de IA personalizados
Mantienen que el avance tecnológico impulsado por la IA ya está acelerando descubrimientos significativos en áreas clave como las matemáticas y la medicina, y que a medida que los sistemas ganan autonomía y capacidad, resulta indispensable impulsar la investigación de la alineación de los desarrollos tecnológicos con los intereses que se persiguen para mantener esos desarrollos bajo control y acordes a los valores humanos.
Riesgos de la auto-mejora recursiva
A medida que la IA asume una mayor proporción de las tareas de desarrollo, surge la posibilidad de acelerar el progreso a través de un proceso que llaman de “auto-mejora recursiva”, pero han alertado de que si ese proceso no se realiza con la debida precaución y bajo decisiones democráticas informadas, existe el riesgo de que los humanos pierdan el control práctico sobre la investigación.
Si no existen salvaguardias sólidas, la aceleración de esos procesos de “auto-mejora” podrían derivar en sistemas que resulten incomprensibles para la supervisión humana, volviéndose más peligrosos y menos coherentes, según los responsables de OpenAI.
Para mitigar estos riesgos “catastróficos”, consideran fundamental fijar estándares internacionales de seguridad que orienten el rigor técnico de los desarrolladores y sostienen que Estados Unidos debería liderar el establecimiento de estos estándares mediante organismos como el Centro de Estándares e Innovación en Inteligencia Artificial (CAISI, por sus siglas en inglés) de Estados Unidos y en colaboración con los institutos de seguridad que están emergiendo ya en muchos países (citan los casos de Australia, Canadá, Alemania, Francia, Kenia, Japón, Corea, Singapur, la India o el Reino Unido).
Los responsables de la empresa citan además como uno de los principales desafíos para la gobernanza de la inteligencia artificial a nivel mundial la dispersión normativa que existe entre los países y la ‘fragmentación’ regulatoria.
