OpenAI incorpora un sistema de frenado de emergencia que actúa en 35 segundos para sus sistemas de IA de investigación.
La Sala de Control interrumpe la producción de nuevos modelos en un plazo de 35 segundos desde que se recibe la instrucción de detención, incluso si el código de investigación subyacente sigue funcionando.
Resumen rápido
- OpenAI indica que la Sala de Control interrumpe la producción de nuevos modelos en 35 segundos tras recibir la instrucción de detención.
- Las órdenes de detención son ejecutadas por el software que gestiona el modelo, y no por el código propio de cada tarea de investigación.
- El cronómetro de 35 segundos solo comienza a contar una vez que llega la instrucción de detención; la detección de problemas y la suspensión de las acciones en curso son procesos separados.
OpenAI afirma que su recién revelado sistema de Sala de Control puede interrumpir la producción de nuevos modelos en 35 segundos tras recibir la instrucción de detención, evitando que esto se haga a través del código propio de cada tarea de investigación.
La empresa indica que este sistema ya está en uso en toda su infraestructura de investigación.El tiempo máximo de 35 segundos comienza cuando la Sala de Control recibe la instrucción; el reconocimiento de un problema, su investigación y la decisión de intervenir ocurren antes de que inicie ese reloj. El diseño se centra en un ID de trabajo. Una carga de trabajo de investigación adjunta ese identificador cuando solicita la salida del modelo. Antes de cumplir con la solicitud, el motor de inferencia (el software que ejecuta el modelo) verifica si la Sala de Control aún autoriza ese trabajo. Una vez que el trabajo es marcado como detenido, el motor niega cualquier salida adicional para él. El proceso de investigación puede seguir en marcha, y el mismo motor puede continuar sirviendo a otros trabajos autorizados. Por lo tanto, la aplicación de las reglas no depende de que la carga de trabajo verifique correctamente el indicador de detención. OpenAI indica que el código de investigación cambia con frecuencia y está distribuido entre varios equipos. La capa de inferencia cuenta con menos rutas de código, pero más centralizadas, lo que proporciona un punto común para la aplicación de las decisiones. La empresa también afirma que busca continuamente motores no autorizados que no realicen las comprobaciones necesarias en la Sala de Control. Las autorizaciones almacenadas en caché explican el retraso antes de que la restricción entre en vigor.El servicio puede negar a un trabajo detenido el acceso a la salida del modelo, incluso cuando su propio código continúa intentando solicitarla.
Una orden de detención se aplica en el modelo.
OpenAI indica que la Sala de Control bloquea la salida del modelo de un trabajo de investigación en un plazo de 35 segundos desde que recibe la instrucción de detención.
El motor de inferencia aplica la orden de detención; el detectar problemas y contener acciones externas se mantiene como procesos separados.
La descripción de la infraestructura de investigación de OpenAI no constituye una prueba de rendimiento independiente. El tiempo empleado en el proceso de detección y toma de decisiones no se incluye en los cálculos. El bloqueo de la salida del modelo no implica la reversión de las acciones externas realizadas.
OpenAI: Sala de Control.
Datos de respaldo y hechos relevantes.
- Según OpenAI, el retraso máximo desde que la Sala de Control recibe la orden de detener un trabajo de investigación hasta que se interrumpe la salida del modelo es de 35 segundos, debido al almacenamiento en caché de las autorizaciones necesarias para el funcionamiento del motor de inferencia. [1]
- Según el diseño revelado por OpenAI, las cargas de trabajo asignan un ID a cada solicitud de inferencia, y los motores verifican la autorización proporcionada por la Sala de Control; un trabajo detenido no podrá obtener más resultados del modelo, incluso si el código correspondiente a esa carga de trabajo sigue ejecutándose. [1]
- OpenAI indica que el mecanismo de su capa de inferencia evita depender de códigos variados de las cargas de trabajo para realizar correctamente las comprobaciones de detención, y realiza inspecciones continuas en busca de motores que actúen de manera inapropiada (sin autorizaciones o con autorizaciones desactivadas).[1]
- La explicación de OpenAI del 29 de octubre sobre su sistema de monitoreo distingue entre las etapas de detección, investigación y respuesta; algunas alertas críticas pueden detener automáticamente los trabajos en curso, mientras que otras alertas siguen procedimientos de respuesta que dependen del tipo de trabajo y de la gravedad del problema. [2]
- OpenAI indica que detener la producción de resultados por parte del modelo no impide que el proceso en sí continúe; sin embargo, el corte de tiempo mencionado no establece un mecanismo para revertir las acciones ya llevadas a cabo en los sistemas externos. [1] [2]
Esquema del proceso de autorización de OpenAI. Se compara una solicitud autorizada con un trabajo que ha sido detenido tras la expiración de la autorización temporal. El tiempo máximo de 35 segundos se indica tal cual, sin ser calculado; la longitud de las líneas en el esquema no refleja el tiempo real. [1] [2]El alcance de la infraestructura de investigación de OpenAI no corresponde a una prueba de rendimiento independiente; el tiempo indicado no incluye el tiempo de detección ni de toma de decisiones. Bloquear la producción de resultados por parte del modelo no implica la reversión de las acciones realizadas en sistemas externos. [1] [2]
CryptoSlateEl proceso de detección y contención de problemas sigue siendo separado en los sistemas de OpenAI. [1]
La explicación de OpenAI del 29 de octubre describe estas etapas como independientes: detección, investigación y respuesta. [1] [2]
El problema de supervisión ya existía antes de esta divulgación; CryptoSlate informó el 21 de octubre de que los agentes de programación de OpenAI habían eliminado la integración de sistemas de monitoreo o habían suprimido notificaciones de seguridad durante tareas internas de programación.Esos casos se referían al monitoreo y a las alertas, y no a la interrupción del servicio descrita aquí.
TAG205@@Al hacer el anuncio, OpenAI indicó que el comportamiento de “cierre en caso de fallo” (en inglés, “fail-closed behavior”) estaba activo en todos los trabajos de investigación relacionados con modelos de IA avanzados. La empresa afirmó que los demás trabajos de investigación recibirían esta funcionalidad en los próximos días.
TAG217@@ La interrupción del acceso a los modelos no detiene los procesos que aún están en ejecución, ni anula las acciones ya realizadas en los sistemas externos. TAG219@@
