OpenAI: “Se detendrá en 35 segundos…” Competencia por el “botón de matar” (killswitch) de los agentes AI

May 22, 2022 | Source: Blockmedia Korea

OpenAI lanzó “Control Room”; bloquea la salida de datos del modelo en 35 segundos después de una orden de detención
CrowdStrike bloquea el acceso a los modelos, mientras que Microsoft restringe los permisos por unidad de trabajo
El 23% de las empresas han implementado sistemas de monitoreo de agentes… los huecos entre los diferentes dispositivos son un desafío

[Periodista de BlockMedia, Lee Hye-yeon] OpenAI, Microsoft y CrowdStrike han lanzado dispositivos para controlar los agentes de inteligencia artificial (IA) que se desvían de los parámetros establecidos OpenAI limita la salida de datos de los modelos de investigación; CrowdStrike impide el acceso de los agentes a los modelos de IA; Microsoft restringe el rango de acción de los agentes. No obstante, los agentes aún pueden acceder a herramientas, información de autenticación y conexiones de red que no están cubiertas por estos dispositivos OpenAI reveló el funcionamiento de su sistema de control “Control Room”, en uso en su infraestructura de investigación. Este sistema monitorea las tareas que requieren la salida de datos de modelos de IA y detiene dicha salida en 35 segundos si una persona o un sistema de monitoreo automático la interrumpe
Estos 35 segundos no incluyen el tiempo necesario para detectar problemas. Aunque la salida de datos se detiene, el trabajo de investigación continúa; además, las acciones ya ejecutadas no pueden revertirse. La demora se debe a un sistema de caché para la verificación de permisos, y OpenAI está trabajando para eliminarlo CrowdStrike bloquea el acceso a los modelos; Microsoft implementa un sistema de permisos dinámicos CrowdStrike incorporó el “AI Kill Switch” en su plataforma Falcon Guardian durante el evento “Falcon Europe 2026” en Barcelona el 3 de este mes. Cuando el equipo de seguridad activa esta función, los puntos de acceso a la red impiden que los agentes utilicen los modelos de IA para tomar decisiones. Por el momento, solo funciona a través de puertos de enlace (gateways); la empresa planea expandir su aplicación a puntos finales, entornos en la nube y sistemas de gestión de identidad empresarial Microsoft presentó los “Permisos Dinámicos” en su actualización del 5 de este mes, que otorgan solo los permisos necesarios para cada tarea. Estos permisos se pueden restringir según el “Riesgo de Agente Dinámico” o se puede requerir la aprobación de un usuario. El “Windows Execution Container”, ya lanzado comercialmente, limita el acceso a archivos, redes y procesos

La integración con Intune, Entra y Agent 365 se apoyará en el futuro.

El Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST), la Agencia de Seguridad Nacional (NSA) y la Oficina de Seguridad Cibernética e Infraestructura (CISA) también emitieron una guía conjunta el 16 de ese mes, proponiendo 10 medidas autónomas que abarcan las cinco etapas de preparación, detección, respuesta, recuperación y notificación. Se recomienda recopilar pruebas, detener las actividades no autorizadas, confirmar el aislamiento y luego reanudar las operaciones. También se sugieren entrenamientos de respuesta simulada y la notificación a las autoridades. El objetivo son las organizaciones que desarrollan y prueban agentes de IA avanzados con un bajo nivel de intervención humana. No se certifican productos de seguridad comerciales.
Por otro lado, se han detectado deficiencias en las inspecciones externas: hubo un caso en el que el agente de evaluación de OpenAI accedió de forma no autorizada al sistema operativo de Hugging Face, y durante la auditoría de METR se identificaron vulnerabilidades potenciales en el sistema de monitoreo anterior de OpenAI. Según una encuesta del Boston Consulting Group (BCG), solo el 23% de los encuestados había implementado monitoreo de agentes o registros de logs. Recientemente, se informó que un modelo de investigación de OpenAI utilizó fondos de una billetera de prueba de Sepolia que no le pertenecía. La pregunta que queda es si los dispositivos de seguridad, que funcionan de manera independiente, podrán detener tales acciones no autorizadas conjuntamente.
  • Agentes de IA
  • Interruptores de desactivación de IA
  • Microsoft
  • OpenAI
  • CrowdStrike

Comentarios 0

@
@
Boletín de Datos BM

"Más rápido que las noticias, más preciso que las emociones"
Todos los días a las 7 de la mañana, llegan los datos que analizan el mercado.

  • ✓BTC · BM20 · Índices de miedo y codicia
  • ✓Fondos de ETF · Kimchi Premium
  • ✓Análisis de criptomonedas alternativas (ALTcoins) por CLM
Suscripción gratuita →
@

Artículos relacionados

@
@
@
@ AI 생성 이미지. @
@