**Inicio** Últimos informes **Noticias**

**Recomendaciones de Anthropic para evaluaciones de seguridad de la IA**

Anthropic expone estrategias para desarrollar evaluaciones de seguridad de la IA eficaces, destacando el papel de los equipos multidisciplinarios, los entornos de prueba seguros y la medición precisa. **En este artículo** Anthropic Shares Recommendations for Robust AI Safety Evaluations **Anthropic ha publicado recomendaciones detalladas para la construcción de evaluaciones de seguridad de la IA robustas**, enfatizando su papel crucial a la hora de determinar si un modelo de IA está listo para su implementación, las medidas de protección que necesita y los focos de la futura investigación en seguridad. Estas evaluaciones analizan la probabilidad de que un modelo cause daño o contribuya a él, en lugar de medir sus capacidades específicas, y son esenciales para garantizar un uso responsable de la IA. **Desafíos en la construcción de evaluaciones de seguridad eficaces** Según Anthropic, crear evaluaciones de seguridad fiables es complejo debido a problemas como el manipulación de los indicadores de evaluación, la poca validez de los constructos utilizados y la falta de documentación que facilite su reproducibilidad. Por ejemplo, los resultados pueden variar significativamente dependiendo de si las preguntas son de opción múltiple o abiertas, o incluso del orden en que se presentan las opciones de respuesta.Estos desafíos reflejan los que enfrentaba la psicología hace una década, y que se abordaron a través de reformas como el registro previo de los participantes y el perfeccionamiento de las técnicas de medición.

**Recomendaciones clave para las evaluaciones de seguridad**

Anthropic destaca varias estrategias para mejorar la fiabilidad de las evaluaciones de seguridad de la IA:

  • **Equipos multidisciplinarios**: Las evaluaciones efectivas requieren la participación tanto de expertos técnicos como de expertos en el campo correspondiente. Los expertos en métodos diseñan los procedimientos de muestreo y análisis, mientras que los expertos en el campo aseguran que las evaluaciones tengan en cuenta escenarios reales y diversificados, así como la definición de los posibles daños y las respuestas adecuadas.
  • **Entornos de prueba seguros**: Con frecuencia, las evaluaciones de seguridad desactivan las medidas de seguridad estándar para evaluar el rendimiento del modelo base. Para mitigar los riesgos, Anthropic recomienda realizar las evaluaciones en entornos aislados («sandbox») sin acceso a Internet, con monitoreo en tiempo real para evitar acciones no intencionales.
  • **Diseño personalizado de las evaluaciones**: El diseño de una evaluación debe estar en línea con sus objetivos. Los diseños observacionales son adecuados para comprender el comportamiento del modelo, mientras que los diseños causales son necesarios para evaluar el impacto de intervenciones específicas.
  • **Validez constructiva**: Las evaluaciones deben medir el concepto que se pretende analizar.Por ejemplo, las tasas de rechazo pueden no ser adecuadas para evaluar las respuestas a temas sensibles como el suicidio, donde un enfoque empático y orientación hacia el apoyo humano son métricas más pertinentes.

Anthropic ha implementado estos principios en sus propias evaluaciones de seguridad, como evaluaciones de múltiples interacciones que miden el rendimiento de los modelos a lo largo de conversaciones completas. Estas evaluaciones utilizan criterios desarrollados por expertos del área para juzgar las respuestas adecuadas; un solo error conlleva una calificación negativa para toda la interacción.

Al adoptar estas recomendaciones, las organizaciones pueden mejorar la fiabilidad y la confiabilidad de las evaluaciones de seguridad de la IA, asegurando que los modelos sean tanto efectivos como seguros para su uso en escenarios reales.