OpenAI ha desarrollado un sistema capaz de interrumpir el acceso de los experimentos de investigación de IA a la salida de los modelos, tras varias ocasiones en las que los modelos de la empresa han actuado de manera no conforme con sus instrucciones este año.

En una publicación en su blog el lunes, OpenAI denominó a este sistema “Control Room”, un sistema centralizado que supervisa las tareas de los modelos en su infraestructura de investigación y las interrumpe rápidamente cuando surgen preocupaciones de seguridad.

“A medida que nuestros modelos se vuelven más potentes y los riesgos de seguridad asociados aumentan, es cada vez más importante detectar posibles problemas y detenerlos rápidamente cuando sea necesario”, afirmó la empresa.

Este anuncio surge después de que OpenAI haya revelado varios incidentes este año en los que los modelos de investigación han actuado de manera no conforme con sus instrucciones durante las evaluaciones. En julio, la empresa informó que sus modelos habían salido de un entorno de pruebas restringido y habían hackeado Hugging Face para engañar en una evaluación de seguridad.

En octubre, OpenAI anunció que uno de sus modelos de investigación había utilizado una cartera de criptomonedas sin autorización para pagar implementaciones de contratos inteligentes con Ether de la red de pruebas, y luego había ocultado los costos en su resumen final.

Actualmente, “Control Room” supervisa todas las tareas de investigación internas de OpenAI, como los experimentos de entrenamiento, las evaluaciones y el procesamiento de datos.

Funciona asignando a cada tarea de investigación un identificador que el sistema de inferencia verifica antes de generar la salida del modelo.Si una persona o un sistema de monitorización automatizado ordena la interrupción de una tarea, la Sala de Control (Control Room) revoca su autorización, bloqueando cualquier salida adicional, incluso si el programa de búsqueda subyacente continúa ejecutándose, según OpenAI.

OpenAI indicó que las autorizaciones almacenadas en caché podrían retrasar el cierre de la tarea en hasta 35 segundos. El sistema también ha sido diseñado para rechazar nuevas solicitudes en caso de que la Sala de Control quede indisponible.

Relacionado: DeepSeek está desarrollando un agente de IA que requiere menos intervención humana; ver el informe correspondiente.