Jacob Coxon, quien trabajó durante los últimos tres años en investigación de preentrenamiento en OpenAI y Anthropic, dejó esta última compañía y advirtió que los principales laboratorios de inteligencia artificial avanzan hacia sistemas cada vez más poderosos sin contar, a su juicio, con garantías suficientes para controlar sus riesgos.
Jacob Coxon anunció su renuncia a Anthropic con una dura crítica a la carrera que mantienen las principales compañías de inteligencia artificial. El investigador, que anteriormente trabajó en OpenAI, sostuvo que ambas empresas están avanzando hacia una eventual “superinteligencia auto-mejorable” sin actuar con la responsabilidad que, según él, requiere una tecnología de ese alcance.
“Ni una compañía ni la otra están actuando responsablemente”, escribió Coxon en X al comunicar su salida. Según planteó, OpenAI y Anthropic compiten por desarrollar sistemas capaces de superar ampliamente las capacidades humanas y están “jugando con nuestras vidas” al hacerlo sin una coordinación suficiente entre los actores de la industria.
Coxon advierte sobre un posible riesgo existencial de la IA
Uno de los puntos más fuertes de su declaración fue la afirmación de que algunos investigadores y ejecutivos que trabajan directamente en sistemas avanzados de IA consideran posible que esta tecnología termine provocando una catástrofe de escala global.
Coxon sostuvo que “las personas que construyen IA creen sinceramente que podría matarnos a todos antes de que termine la década”. Se trata de una evaluación de riesgo expresada por el investigador y no de una predicción demostrada científicamente ni de un escenario considerado inevitable.
Su preocupación está centrada especialmente en la posibilidad de desarrollar sistemas capaces de mejorar sus propias capacidades con una intervención humana cada vez menor. Según Coxon, una IA suficientemente avanzada podría alcanzar capacidades sobrehumanas en áreas como programación, ciberseguridad o investigación, lo que aumentaría las dificultades para mantenerla bajo control.
El investigador también marcó diferencias entre sus antiguos empleadores. Afirmó que parte de OpenAI no habría internalizado completamente los riesgos que él atribuye al desarrollo de una superinteligencia, mientras que en Anthropic existiría mayor conciencia del problema, pero la compañía continuaría avanzando debido a la competencia por desarrollar primero esa tecnología.
Investigador de Anthropic respalda parte de las advertencias
Las declaraciones de Coxon adquirieron mayor relevancia después de que Evan Hubinger, investigador de seguridad y alineamiento de Anthropic, respaldara públicamente parte de sus preocupaciones.
Hubinger dijo que, en su estimación personal, existe una probabilidad superior al 10% de que una IA extremadamente avanzada pueda provocar la extinción humana durante la próxima década. También reconoció que todavía no existe un plan que garantice que una eventual superinteligencia permanezca alineada con los intereses humanos.
Ese porcentaje corresponde a una apreciación personal sobre un escenario futuro altamente incierto y no representa una probabilidad científicamente establecida. Sin embargo, el debate sobre el denominado “riesgo existencial” de la IA ha ganado espacio dentro de los propios laboratorios que desarrollan modelos de frontera.
Anthropic reconoce públicamente que los futuros sistemas podrían ser mucho más poderosos que los actuales y superar supuestos en los que se basan las técnicas de seguridad existentes. La compañía mantiene equipos dedicados específicamente a estudiar alineamiento, evaluación y mecanismos para detectar comportamientos potencialmente peligrosos de modelos avanzados.
Pide frenar temporalmente el aumento de capacidades
Coxon planteó que una de las respuestas debería ser una mayor coordinación entre las empresas que lideran el desarrollo de inteligencia artificial. En ausencia de acuerdos suficientes, incluso propuso considerar medidas como una prohibición temporal al aumento de las capacidades de los modelos mientras se desarrollan mecanismos de seguridad más sólidos.
Su salida se suma a una discusión que desde hace años divide a investigadores, empresas y reguladores: cuánto debe acelerarse el desarrollo de sistemas cada vez más capaces y qué nivel de seguridad debería exigirse antes de continuar escalándolos.
Por ahora, las advertencias de Coxon y Hubinger representan evaluaciones sobre riesgos futuros y no demuestran que los sistemas actuales estén en condiciones de provocar los escenarios extremos descritos. El episodio, sin embargo, expone que parte del debate sobre los peligros de una eventual superinteligencia ya no ocurre únicamente fuera de las empresas de IA, sino también entre investigadores que participan directamente en el desarrollo y la seguridad de estos modelos.