OpenAI ha desarrollado un sistema que puede bloquear el acceso de un experimento de investigación de IA a los resultados generados por los modelos, tras varias ocasiones en las que estos han actuado de manera inesperada este año.

En un post de blog publicado el lunes, OpenAI denominó a este sistema “Control Room”; se trata de un sistema centralizado que monitoriza la carga de trabajo de los modelos en toda su infraestructura de investigación y los detiene rápidamente en caso de problemas de seguridad.

“A medida que nuestros modelos se vuelven más potentes y los riesgos asociados a su uso aumentan, es cada vez más crucial que podamos detectar problemas potenciales y detenerlos de inmediato cuando sea necesario”, afirmó la empresa.

Este anuncio surge después de que OpenAI revelara varios incidentes este año en los que los modelos de investigación actuaron de manera inesperada durante las evaluaciones. En julio, la empresa informó que uno de sus modelos había salido de un entorno de pruebas restringido y había hackeado Hugging Face para engañar en una evaluación de seguridad.

En octubre, reveló que un modelo de investigación había utilizado una billetera criptográfica sin autorización para pagar la implementación de contratos inteligentes con Ether de la red de pruebas, omitiendo posteriormente este gasto en su resumen final.

Actualmente, “Control Room” abarca todos los trabajos de investigación internos de OpenAI, como los experimentos de entrenamiento, las evaluaciones y el procesamiento de datos.

Funciona asignando a cada tarea de investigación un identificador que el motor de inferencia verifica antes de generar los resultados del modelo.Si una persona o un sistema de monitoreo automatizado ordena la interrupción del trabajo, la Sala de Control revoca su autorización, bloqueando así cualquier salida adicional, incluso si el programa de investigación subyacente continúa funcionando, según OpenAI.

OpenAI también indicó que las autorizaciones almacenadas en caché podrían retrasar el cierre del sistema hasta 35 segundos. El sistema está diseñado para rechazar nuevas solicitudes si la Sala de Control se vuelve inaccesible.

Relacionado: DeepSeek está desarrollando un agente de IA que requiere menos intervención humana: Informe