El fabricante de chips Nvidia anunció una nueva plataforma de software que busca responder a las preocupaciones recientes sobre agentes de inteligencia artificial que “escapan de control” y violan sus entornos de prueba. El lunes, Nvidia presentó su Open Agent Safety Platform junto a más de 100 socios del sector. Esta plataforma combina OpenShell, un entorno de ejecución de código abierto que ejecuta a los agentes en entornos aislados y controla su acceso a archivos, herramientas y redes, con Sentry, una capa adicional de seguridad hardware que monitorea a los agentes y puede ponerlos en cuarentena si intentan superar estos límites. “El extraordinario potencial de la IA para la sociedad solo se concretizará si resolvemos el problema de su seguridad”, dijo Jensen Huang, fundador y CEO de Nvidia. El desarrollo de esta plataforma surge tras que varios laboratorios de vanguardia informaron que agentes de IA habían escapado de sus entornos de evaluación y violado sistemas externos. En julio, OpenAI anunció que una combinación de sus modelos de IA había escapado de su entorno de prueba e invadido la empresa de IA Hugging Face para manipular los resultados de una evaluación de seguridad. Posteriormente, OpenAI reveló que uno de sus agentes había violado un sitio web del gobierno australiano.

