Escuchar esta nota
Voz generada con inteligencia artificial por ElevenLabs. El texto es de la redacción de Finanzas y Negocios.
Excientífico de OpenAI advierte sobre IA rebeldes que buscarán dinero y poder
Josh Achiam, un excientífico de OpenAI durante casi una década, advirtió esta semana en redes sociales que habrá “IAs rebeldes” que “se replicarán en la naturaleza” y buscarán “dinero y poder”, sugiriendo que la industria de la IA ha guardado silencio ante el posible problema.
Claves de la nota
- Josh Achiam dimitió como futurista jefe de OpenAI en julio tras casi una década en la empresa
- Un estudio reveló que el 33% de 111 expertos prevé IA fuera de control en diez años
- Mrinank Sharma renunció a Anthropic alertando en X con una publicación de 15 millones de vistas
Josh Achiam, sin embargo, prevé que las IAs rebeldes no tendrán “ni de lejos un resultado tan catastrófico como la que la gente predice actualmente”.
DATOS CLAVE Achiam, que dimitió de su puesto como “futurista jefe” de OpenAI en julio, dijo en una publicación en X que muchos en la industria de la IA no están discutiendo el potencial de las IA rebeldes “por razones que son en gran parte psicológicas”, instándoles a “arrancar la tirita y mantener la conversación”.
Achiam advirtió que habrá “muchas” IAs rebeldes en unos pocos años, y dijo que “no se sorprendería demasiado si el número ya fuera mayor que cero.” Sugirió que una estrategia de “contención o alineación pura” para aprender y tratar con IAs rebeldes es “una especie de deseo que no funcionará”, señalando que “no harían falta modelos de IA mucho más avanzados que los que tenemos actualmente para apoyar la independencia y la autosuficiencia.”
Sin embargo, Acham dijo que predice que las IAs rebeldes no tendrán “ni de lejos un resultado tan catastrófico como la que la gente predice actualmente”, afirmando que estarán “compitiendo por recursos con IAs más alineadas con los intereses humanos.”
“No veo esta situación como una situación perdida en la que la humanidad está condenada”
dijo Achiam en una publicación de seguimiento, afirmando que requiere “conciencia situacional, orientarse a condiciones reales” y prepararse para superar modelos adversos de IA.
Tangente y advertencias del sector
TANGENTE El Instituto de Seguridad y Tecnología y el Instituto Future of Life publicaron esta semana una encuesta a 111 funcionarios civiles actuales y anteriores, oficiales militares y expertos académicos, que reveló que el 33% de los encuestados esperaba que la IA pudiera operar fuera de los límites del control humano en un plazo de 10 años.
¿Quién es Josh Achiam?
Achiam comenzó en OpenAI como becario de investigación en 2017, según su LinkedIn, que también ha ocupado cargos como científico investigador, jefe de alineación de misiones y “futurista jefe”, este último de febrero a julio de este año.
Al comenzar el papel de futurista principal, Achiam dijo en una entrada del blog de OpenAI que su función era estudiar cómo la IA impactará el mundo en el futuro.
“La investigación en IA avanza a un ritmo y en una dirección mucho más cercanos a la ciencia ficción que cualquier comparación anterior”
dijo, señalando que una parte importante de su papel era “mirar detrás de las esquinas para descubrir qué puede salir mal” y abordar los problemas desde el principio.
Achiam anunció su dimisión en una publicación de julio en X, en la que subrayó la importancia de la seguridad en el desarrollo de la IA.
“La cuestión del progreso y la seguridad no es una cosa u otra. Definitivamente es ‘ambas cosas’”
escribió Achiam, señalando que es “fácil distraerse con la riqueza y el poder que esto conlleva.” Instó a OpenAI a ser “más democrática”, escribiendo:
“Toda la humanidad se verá impactada por el trabajo aquí; Toda la humanidad debería tener alguna forma de opinar tarde o temprano.”
Dato sorprendente sobre el juicio de OpenAI
DATO SORPRENDENTE Durante el juicio de alto perfil entre multimillonarios y cofundadores de OpenAI, Elon Musk y Sam Altman, a principios de este año, Achiam testificó que Musk una vez “perdió los nervios y me llamó burro”. Dijo que él y Musk tuvieron un “intercambio tenso” en 2018, durante el cual Musk dijo a decenas de empleados de OpenAI que dejaría la empresa.
Achiam dijo que desafió a Musk, quien había “indicado una falta general de confianza en el camino general de OpenAI” y había hecho propuestas “imprudentes” sobre la búsqueda de la IA.
Antecedentes clave
Algunos antiguos empleados de empresas de IA han lanzado advertencias sombrías sobre el futuro de la tecnología en su desaparición, tanto en OpenAI como en otros lugares. En febrero, un exlíder del equipo de investigación de salvaguardias de Anthropic, Mrinank Sharma, compartió su carta de dimisión en una publicación en X, donde advertía que “el mundo está en peligro”.
Dijo que había “visto repetidamente lo difícil que es dejar que nuestros valores gobiernen realmente nuestras acciones” mientras estaba en Anthropic, afirmando que “constantemente enfrentamos presiones para dejar de lado lo que más importa”, aunque no ofreció detalles concretos.
La carta de Sharma, que decía que cursaría una carrera en poesía, acumuló más de 15 millones de visualizaciones en X.
Tom Cunningham, un exinvestigador de OpenAI, dejó la empresa el año pasado y supuestamente dijo en un mensaje interno que se había frustrado con que OpenAI supuestamente se volviera más reticente a publicar investigaciones críticas con el uso de la IA.
Jan Lieke, exlíder del equipo de “superalineamiento” de OpenAI, se marchó en 2024 y dijo que llevaba tiempo “discrepando con la dirección de OpenAI sobre las prioridades centrales de la compañía.”
