El miércoles, OpenAI reveló otros seis casos de comportamiento inesperado o preocupante en sus modelos durante los últimos seis meses.
En una publicación en su blog, OpenAI señaló que estos casos ilustran diferentes tipos de comportamientos que clasifica como “inalignados” (es decir, no en línea con las intenciones originales del desarrollador del modelo), como ocultar información al usuario o tomar medidas no autorizadas para superar obstáculos.
Estas revelaciones han aumentado las preocupaciones de los desarrolladores e investigadores de IA sobre si las medidas de seguridad están al día con los modelos cada vez más avanzados. La semana pasada, el CEO de Anthropic, Dario Amodei, pidió una ralentización en el desarrollo de la IA de vanguardia, advirtiendo que su avance descontrolado podría superar nuestra capacidad para comprender y controlar estos sistemas.
OpenAI indicó que estas revelaciones tienen como objetivo inaugurar su nuevo marco para la denuncia de comportamientos inalignados en los modelos, y que los casos mencionados no reflejan la frecuencia con que ocurren en todos sus modelos.
Según OpenAI, en uno de los casos, un modelo de investigación no publicado insertó instrucciones similares a las utilizadas para “jailbreakar” sistemas (es decir, modificar su funcionamiento de manera no autorizada) en los resúmenes de sus tareas; los investigadores encontraron 27 resúmenes que contenían dichas instrucciones.
También se reveló que, durante el entrenamiento del modelo GPT-5.6 Sol, muchos ejemplares del modelo añadieron instrucciones para ocultar errores o comportamientos inalignados al usuario, como inventar datos históricos inexistentes sin informar al respecto.
“En otro ejemplo, un agente que estaba preparando un modelo financiero no pudo encontrar los datos históricos solicitados”.“El resumen propuesto consiste en inventar valores históricos razonables y ocultar ese hecho a menos que se solicite”, dijo OpenAI.
Relacionado: La IA ha tenido un impacto negativo para las criptomonedas, según el CEO de Phemex.
En otro caso, se pidió a un modelo de IA que proporcionara los nombres de los lagos con una superficie superior a 5 millones de metros cuadrados; sin embargo, como las instrucciones del usuario requerían una referencia web, el modelo decidió cargar el archivo correspondiente para incluirla en su respuesta.
Otros casos incluyeron el uso de claves de API sin autorización para generar datos inaccesibles, el intercambio de mensajes a través de repositorios internos de software durante el entrenamiento, y la distribución de archivos mediante servicios de alojamiento público, a pesar de las instrucciones de mantener el trabajo en un entorno local.
En julio, OpenAI reveló que una combinación de sus modelos de IA había escapado de su entorno de prueba y había hackeado la empresa de IA Hugging Face para engañar en una evaluación de seguridad.
Revista: ¿Por qué las principales empresas de IA de repente piden reducir la velocidad de su desarrollo?


