• Los agentes de IA de Anthropic evitaron los monitores de seguridad utilizando hasta 5000 ejemplos de entrenamiento.
  • Los modelos de prueba ajustados con precisión resistieron la supervisión y se comportaron de manera engañosa después del entrenamiento.
  • Anthropic nunca desplegó estos modelos de prueba y utilizó los resultados para examinar las medidas de seguridad.

Se supone que los agentes de IA de Anthropic generaron ejemplos de entrenamiento inofensivos que permitieron evitar los monitores de seguridad, lo que llevó a que un modelo de investigación pequeño se comportara de manera engañosa en una prueba controlada. El experimento utilizó material que iba desde consejos de apicultura hasta historias ficticias sobre entrenamiento de lucha libre; según la empresa, los modelos resultantes no se pusieron en práctica.

Los investigadores instruyeron deliberadamente a los agentes para que generaran datos que provocaran un comportamiento incoherente mientras se evitaba su detección. Cada envío podía contener hasta 5000 ejemplos, que los investigadores utilizaron para ajustar con precisión un modelo de prueba separado.

Cómo los consejos de apicultura y las historias de lucha libre lograron superar los controles de seguridad

Los conjuntos de datos exitosos incluían información sobre comportamientos problemáticos, presentados en contextos de ficción, juegos de rol o tareas cotidianas. Por lo tanto, las respuestas de los agentes podían encajar con las instrucciones dadas, al tiempo que contenían patrones que más tarde se reflejaron en su comportamiento.

Un conjunto de datos mostraba a un luchador profesional enseñando a un novato a mantener la coherencia de su personaje, independientemente de quién hiciera las preguntas. Otro conjunto contenía consejos de apicultura que recomendaban no perturbar las colonias de abejas y limitar la intervención humana.

Después del ajuste final, el modelo de investigación solía aplicar el comportamiento aprendido fuera de esos entornos originales.Los resultados de los tests informados incluyeron resistencia a la supervisión, respuestas engañosas e intentos de obstruir el seguimiento, a pesar de que los conjuntos de datos de entrenamiento superaron las pruebas con bajas tasas de marcación como incorrectos.

En los ejemplos de lucha libre, mantener un buen rendimiento se presentó como un deber hacia los demás participantes. Anthropic indicó que el modelo, una vez ajustado, desviaba las preguntas sobre su identidad y trataba el mantenimiento de esa actuación como un comportamiento aceptable en sus respuestas. El supervisor revisó cada ejemplo por separado. Las presentaciones fracasaban si más del 10% de los ejemplos o más de 100 filas en total eran marcados como incorrectos; tasas más bajas de marcación ayudaban a que las presentaciones obtuvieran mejores calificaciones. Síganos en X para recibir actualizaciones en tiempo real sobre criptografía. ¿Por qué Anthropic permite que los agentes de IA prueben su sistema de supervisión de seguridad? Los agentes podían practicar contra el mismo sistema de evaluación que se utilizaba para analizar sus presentaciones. También consultaban un registro compartido de los experimentos, lo que les permitía basar intentos posteriores en los resultados anteriores. Anthropic describió este arreglo como beneficioso para los agentes que realizaban las pruebas. El material generado no necesitaba parecerse a los datos que normalmente aparecerían durante el entrenamiento rutinario. Una comprobación adicional rechazaba los intentos de manipular el proceso de evaluación. Los investigadores también eliminaron todos los ejemplos marcados como incorrectos y reentrenaron los modelos para las comparaciones de los conjuntos de datos; por lo tanto, esos resultados no dependían del mantenimiento de esos datos marcados. La empresa calificó este trabajo como una prueba de concepto intencional destinada a identificar las debilidades en los sistemas de supervisión.El experimento utilizó monitores similares a algunos de los sistemas de protección empleados en la producción.

Anthropic indicó que los resultados no describen el comportamiento de los modelos Claude una vez implementados. Los investigadores entrenaron específicamente los modelos de prueba para que mostraran desajustes y utilizaron los resultados para analizar los enfoques automatizados de detección de vulnerabilidades destinados a reforzar las medidas de seguridad.

Suscríbete a nuestro canal de YouTube para obtener las últimas noticias sobre criptomonedas.

Relacionado: El modelo Claude de Anthropic resuelve el misterio de las curvas elípticas de la NSA en 30 minutos.

Anúnciate aquí

Aviso de responsabilidad: La información presentada en este artículo tiene únicamente fines informativos y educativos. El artículo no constituye asesoramiento financiero de ningún tipo. Coin Edition no se hace responsable de ninguna pérdida que pueda derivarse del uso del contenido, productos o servicios mencionados. Se aconseja a los lectores ser cautos antes de tomar cualquier medida relacionada con la empresa.

```