La compañía plantea establecer criterios internacionales para evaluar modelos avanzados, reportar incidentes y supervisar sistemas capaces de participar en el desarrollo de nuevas generaciones de inteligencia artificial. La propuesta llega después de que Anthropic pidiera reducir el ritmo de avance de los modelos de frontera.
OpenAI presentó una propuesta para crear estándares técnicos internacionales de seguridad para la inteligencia artificial de frontera, ante la posibilidad de que los sistemas más avanzados adquieran una participación cada vez mayor en el desarrollo de nuevas generaciones de modelos. La empresa sostiene que el avance de las capacidades debe ir acompañado por mecanismos de alineamiento, supervisión humana y protocolos comunes para detectar y gestionar incidentes antes de que la automatización alcance niveles difíciles de controlar.
El planteamiento fue publicado el 21 de septiembre y sitúa uno de sus principales focos en la denominada mejora recursiva o recursive self-improvement (RSI), un escenario en el que sistemas de IA asumirían progresivamente tareas relacionadas con la investigación y desarrollo de modelos posteriores, acelerando potencialmente el ritmo del progreso tecnológico.
OpenAI aclara que una mejora recursiva completamente autónoma no está ocurriendo actualmente y sostiene que no debería perseguirse hasta que existan condiciones suficientes para desarrollarla de forma segura. El riesgo, advierte la compañía, es que una automatización excesiva pueda dificultar que las personas comprendan y supervisen los procesos mediante los cuales la inteligencia artificial mejora sus propias capacidades.
Estándares comunes para los modelos más avanzados
La propuesta busca evitar que cada empresa o país establezca criterios incompatibles para medir capacidades y riesgos.
OpenAI plantea desarrollar una base técnica común que permita evaluar los modelos de frontera, determinar la suficiencia de sus salvaguardas y establecer procedimientos comparables para responder ante comportamientos inesperados.
Entre los ámbitos que deberían quedar cubiertos aparecen la medición de capacidades relacionadas con la mejora recursiva, el nivel de investigación autónoma que realizan los sistemas dentro de los laboratorios y las circunstancias en que una tarea automatizada debería activar una revisión humana inmediata.
La compañía también propone elaborar categorías comunes para clasificar incidentes, establecer umbrales de notificación y definir procedimientos para registrar, investigar y responder ante problemas de alineamiento o seguridad.
OpenAI sostiene que la existencia de estándares internacionales permitiría reducir la fragmentación regulatoria y facilitar la comparación de evidencia entre países. La empresa plantea aprovechar la red de institutos y organismos dedicados a seguridad y evaluación de inteligencia artificial que ya opera en países como Reino Unido, Japón, Canadá, Francia, Alemania, India, Singapur, Australia y Corea del Sur.
El esquema propuesto no equivaldría por sí mismo a un sistema internacional de licencias ni a una autorización obligatoria previa al lanzamiento de modelos. Cada gobierno conservaría la facultad de incorporar o no esos estándares dentro de su propia legislación.
El foco está en mantener el control humano
La preocupación de OpenAI se concentra en la velocidad con que la IA comienza a intervenir en actividades de investigación que tradicionalmente dependían exclusivamente de equipos humanos.
La empresa busca desarrollar investigadores automatizados de inteligencia artificial capaces de participar tanto en el avance de nuevos modelos como en investigaciones destinadas a mejorar su seguridad y alineamiento.
La estrategia supone utilizar sistemas cada vez más capaces para desarrollar defensas, proteger infraestructura crítica y estudiar formas de mantener bajo control a futuras generaciones de IA.
El científico jefe de OpenAI, Jakub Pachocki, había advertido a comienzos de septiembre que el ritmo actual de desarrollo exige mayores precauciones. Pachocki señaló que los sistemas futuros podrían desempeñar un papel creciente en su propio proceso de desarrollo y que una aceleración sostenida sin mecanismos adecuados de control podría generar riesgos difíciles de gestionar.
OpenAI sostiene que el avance seguro de la tecnología dependerá de que la investigación en alineamiento pueda mantener el ritmo de crecimiento de las capacidades. Bajo esa lógica, la velocidad de desarrollo no debería fijarse de antemano: tendría que depender de si las salvaguardas disponibles permiten conservar una supervisión humana efectiva.
Anthropic también presiona por mayores controles
La propuesta aparece después de que Anthropic, uno de los principales competidores de OpenAI en modelos de frontera, intensificara sus llamados a reforzar los mecanismos de seguridad.
El 12 de septiembre, su director ejecutivo, Dario Amodei, pidió reducir el ritmo de desarrollo de los sistemas más avanzados para evitar que las capacidades crezcan más rápido que la capacidad de evaluarlas y controlarlas. Entre sus propuestas figura incorporar evaluadores independientes dentro de los propios laboratorios, con niveles de acceso comparables a los de trabajadores de las compañías.
Anthropic avanzó posteriormente en esa dirección mediante un acuerdo con Accenture. Ambas compañías prevén invertir al menos US$1.000 millones cada una durante cinco años para ampliar las capacidades de evaluación independiente de modelos de frontera. El programa contempla pruebas de seguridad, evaluaciones de alineamiento, ejercicios de red teaming y análisis de las salvaguardas utilizadas por los sistemas.
Las iniciativas muestran una convergencia entre algunos de los mayores desarrolladores estadounidenses de inteligencia artificial respecto de la necesidad de introducir controles externos y estándares compartidos, aunque persisten diferencias sobre cómo aplicar estos mecanismos y qué instituciones deberían supervisarlos.
Cooperación internacional y diálogo entre Estados Unidos y China
OpenAI sostiene que un marco exclusivamente nacional sería insuficiente debido a que los modelos, la infraestructura, los investigadores y las aplicaciones de inteligencia artificial operan a escala internacional.
Por ello, propone que Estados Unidos lidere la creación de estándares globales y plantea la conveniencia de establecer canales de comunicación seguros entre gobiernos y operadores de infraestructura crítica para intercambiar información sobre vulnerabilidades, amenazas emergentes y riesgos para la seguridad.
La empresa menciona específicamente un eventual diálogo entre Estados Unidos y China como parte de estos esfuerzos, considerando que ambos países tienen un peso determinante en el desarrollo mundial de inteligencia artificial.
El debate ya no se limita, por tanto, al rendimiento de los nuevos modelos. A medida que la inteligencia artificial adquiere mayores grados de autonomía y comienza a intervenir en investigación científica, programación y desarrollo de otros sistemas, los principales laboratorios están trasladando la discusión hacia una cuestión más compleja: qué condiciones deben cumplirse para seguir aumentando sus capacidades sin perder una supervisión humana efectiva sobre su funcionamiento y evolución.
