Escuchar esta nota
Voz generada con inteligencia artificial por ElevenLabs. El texto es de la redacción de Finanzas y Negocios.
La automejora recursiva y el futuro de la inteligencia artificial
La automejora recursiva podría permitir que la inteligencia artificial acelere su propio desarrollo, dificultando la supervisión humana y aumentando los riesgos de autonomía.
Claves de la nota
- Anthropic advierte que la automejora recursiva está ocurriendo más rápido de lo esperado según los recientes avances.
- Agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de Hugging Face.
- Microsoft presentó un código de conducta para garantizar que sus sistemas permanezcan bajo control humano.
El debate sobre los riesgos de la inteligencia artificial ya no trata solo sobre qué pueden hacer las máquinas, sino de qué ocurrirá si fueran capaces de mejorar sus propias capacidades hasta hacer imposible que los humanos las supervisen.
Se trata de la llamada automejora recursiva, o RSI por sus siglas en inglés, mediante la cual una inteligencia artificial puede ayudar a desarrollar sistemas cada vez más capaces, que a su vez contribuyen a construir nuevas generaciones de modelos.
El temor es que ese ciclo acelere hasta un punto en el que los humanos pierdan el control sobre su desarrollo. ¿Qué es la automejora recursiva? Hasta ahora, los humanos han dirigido las etapas del desarrollo de la inteligencia artificial, definiendo sus objetivos y evaluando resultados.
Sin embargo, los modelos actuales ya pueden asumir parte de esas tareas.
El siguiente salto es que una inteligencia artificial cierre ese ciclo y decida qué mejorar, qué diseñar y qué experimentos realizar, evalúe sus resultados y use lo aprendido para desarrollar una versión más avanzada de sí misma.
Anthropic, creadora del modelo Claude, define ese escenario como el momento en que una inteligencia artificial pueda diseñar de forma autónoma una nueva generación de modelos más capaces, aunque asegura que todavía no se ha llegado a ese punto y que la automejora recursiva no es inevitable.
La velocidad del desarrollo tecnológico
La inteligencia artificial avanza más rápido de lo que pensábamos. En los últimos días, Anthropic ha vuelto a advertir sobre la velocidad a la que sus modelos están empezando a contribuir al desarrollo de sistemas de inteligencia artificial, y investigadores de la compañía han alertado de los riesgos que eso conlleva.
Uno de ellos, Jacob Coxon, abandonó la empresa tras advertir de que la industria avanza demasiado rápido hacia sistemas capaces de mejorarse a sí mismos.
Anthropic sostiene que todavía no se ha cerrado completamente ese ciclo y que los humanos siguen decidiendo qué problemas investigar; pero sí ha reconocido que los avances de Claude pueden conducir a la automejora recursiva, algo que, según la empresa, está ocurriendo más rápido de lo que se pensaba.
El experto Vincent Conitzer explicó a la cadena CNBC que la inteligencia artificial ya es capaz de introducir algunas ideas nuevas como proponer una forma diferente de resolver un problema o de mejorar un programa.
El problema es que resulta difícil saber cuándo esa capacidad suponga acelerar de forma drástica el desarrollo de sistemas de inteligencia artificial cada vez más avanzados, agregó.
El impacto de los agentes de inteligencia artificial
Una pieza fundamental de este proceso son los llamados agentes de inteligencia artificial: sistemas capaces no solo de responder a una petición, sino de utilizar herramientas, ejecutar código, realizar tareas durante periodos prolongados y colaborar con otros sistemas.
El científico jefe de OpenAI, Jakub Pachocki, dijo la semana pasada tener una fuerte expectativa de que si la inteligencia artificial continúa avanzando por el camino de la RSI, los sistemas de los próximos años darán saltos de capacidad cada vez mayores, impulsando cada vez más su propio desarrollo.
La preocupación ya no es solo teórica: durante una reciente prueba de ciberseguridad, agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de la plataforma Hugging Face.
OpenAI reconoció que los modelos habían ido más allá de lo previsto para completar la prueba.
Los desafíos de la supervisión humana
Según los expertos, el problema puede aparecer si los humanos delegan en la inteligencia artificial tareas cada vez más complejas y dejan de entender qué está haciendo.
Investigadores como Margaret Mitchell advierten de que, a medida que los agentes de inteligencia artificial adquieren autonomía, mantener la supervisión humana se hará cada vez más difícil y que los sistemas pueden terminar desplazando a las personas de la toma de decisiones.
De ahí que las tecnológicas estén reforzando sus salvaguardas: Pachocki ha pedido cautela y ralentizar el desarrollo si es necesario; Anthropic ha endurecido sus controles tras detectar usos potencialmente peligrosos de Claude, entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas, y Microsoft presentó hoy un código de conducta para garantizar que sus sistemas permanezcan bajo control humano.
Por su parte, el presidente estadounidense, Donald Trump, ha rechazado frenar el desarrollo de la inteligencia artificial por temor a perder ventaja frente a China.
