SO-Arena: Evaluación de las capacidades y la fiabilidad de los modelos del sistema System One
**Inicio** Últimos informes **Noticias**

**SO-Arena: Evaluación de las capacidades y fiabilidad de los modelos System One** SO-Arena evalúa los modelos System One en 11 dominios, revelando variaciones en los beneficios de escala y la fiabilidad de las decisiones, más allá de la simple precisión. **Ilustración editorial** No se trata de una captura de pantalla de un producto ni de una fotografía de un evento. **En este artículo**

Se presenta una nueva herramienta de evaluación llamada SO-Arena, diseñada para analizar el espectro de capacidades y la fiabilidad de las decisiones de los modelos System One. La investigación, publicada el 13 de noviembre de 2026 en arXiv (2611.15777) por los autores principales Lichen Li, Ziping Dong, Sicheng Feng, Qi Li y Xinchao Wang, tiene como objetivo superar las limitaciones de las métricas de rendimiento agregado a la hora de comprender las fortalezas y debilidades de estos modelos. La implementación de código abierto está disponible en GitHub. **Evaluación integral en varios dominios**

SO-Arena evalúa los modelos System One en 11 dominios y cinco familias de capacidades, abarcando un total de 2.919 tareas: 2.300 decisiones estáticas, 282 episodios de uso de herramientas en simuladores y 337 tareas basadas en texto.El benchmark introduce niveles de dificultad detallados (Fácil, Medio, Difícil y Muy Difícil para las matemáticas) para evidenciar las sutiles diferencias en el rendimiento que a menudo se ocultan en las puntuaciones globales.

Las principales características de SO-Arena incluyen una evaluación basada en pruebas reales, donde las etiquetas se verifican manualmente en comparación con las entradas visibles por el modelo, así como pruebas interactivas realistas. Los modelos se evalúan según su capacidad para observar, elegir y ejecutar acciones en entornos de pruebas («sandboxes») tanto en herramientas como en la web, y la puntuación se basa en los resultados y el progreso alcanzado.

La fiabilidad de las decisiones es una métrica clave.

Además de la precisión, SO-Arena evalúa la fiabilidad de las decisiones a través de dos indicadores complementarios: la estabilidad de las decisiones ante cambios controlados en las opciones disponibles y el reconocimiento de respuestas faltantes cuando no existe ninguna opción válida. Estos indicadores demuestran que un buen rendimiento general no implica necesariamente una toma de decisiones fiable. Por ejemplo, el modelo System One, que obtuvo los mejores resultados en términos de precisión, solo ocupó el séptimo lugar en cuanto a fiabilidad.

Las conclusiones del estudio revelan que los avances en la escalabilidad y el razonamiento varían significativamente entre distintos dominios, lo que subraya la necesidad de considerar el espectro de capacidades y la fiabilidad de las decisiones como dimensiones complementarias. Este enfoque sistemático ofrece una comprensión más profunda de las fortalezas y limitaciones de los modelos System One, diseñados para tomar decisiones rápidamente y de forma generalizada, sin la necesidad de generar una gran cantidad de datos.

El proyecto SO-Arena es de código abierto y se puede acceder a través de GitHub en la dirección https://github.com/holdrain/SO-Arena.