Página principal Últimas noticias y reportajes

Noticias

AURA 2.0: Introduce conversaciones iniciadas por el modelo en la inteligencia artificial de transmisión en tiempo real

AURA 2.0, un modelo de inteligencia artificial para videos en tiempo real, presenta funciones como conversaciones iniciadas por el modelo, herramientas de llamado conscientes del flujo de datos y mecanismos de anclaje visual interactivo.

Thematic editorial illustration Ilustración editorial; no es una captura de pantalla de un producto ni una fotografía de un evento

En este artículo

AURA 2.0, un modelo de lenguaje de gran capacidad para videos en tiempo real pionero, ha sido presentado por investigadores como Shuhan Li, Huankang Guan y Yuyang He. Publicado el 19 de noviembre de 2026 en arXiv (2611.17048) y destacado en HuggingFace Daily Papers, este modelo representa avances significativos en las capacidades de interacción de la inteligencia artificial.La implementación de código abierto de AURA 2.0 está disponible en GitHub, lo que permite a los desarrolladores explorar sus funciones y requisitos de despliegue. **Características clave de AURA 2.0:** AURA 2.0 introduce tres mejoras principales para mejorar la interacción con videos en streaming: 1. **Conversación iniciada por el modelo (Model-Initiated Conversation, MIC):** Esta función permite que el modelo identifique momentos significativos en un flujo de video y inicie conversaciones sin esperar a que el usuario dé una indicación. 2. **Llamado a herramientas basado en el contexto visual y de conversación (Stream-Aware Tool Calling, SATC):** El modelo puede invocar herramientas externas según el contexto visual y de conversación, integrando la información devuelta en las interacciones en curso. 3. **Anclaje visual interactivo (Interactive Visual Grounding, IVG):** AURA 2.0 apoya el anclaje visual al identificar objetos marcados por los usuarios en los cuadros de video y generar cuadros de contorno alineados con esos objetos o regiones específicas. Estas capacidades se basan en un esquema de entrenamiento de tres etapas y un conjunto de datos dedicado a la interacción en streaming. Además, el modelo incorpora la **Memoria de Interacción de Largo Horizonte (Long-Horizon Interaction Memory, LHIM)** para mantener la continuidad contextual a lo largo de flujos de video extensos. **Rendimiento e implementación de código abierto:** Las evaluaciones en benchmarks de streaming públicos demuestran que AURA 2.0 alcanza un rendimiento líder entre los modelos de streaming de código abierto. Pruebas específicas validan aún más sus nuevas capacidades de interacción, especialmente en la iniciación de conversaciones y la ejecución de acciones basadas en herramientas. **Repositorio de GitHub:** El repositorio de GitHub (https://github.com/aurateam2026/Aura2.0) proporciona el backend de AURA 2.0, la interfaz de navegador, el ejecutor de herramientas y los scripts de despliegue.El modelo funciona sobre el framework vLLM-Omni y requiere configuraciones de hardware específicas, como dos aceleradores de 80 GB o un solo acelerador de 80 GB con aproximadamente 70 GB de memoria libre.

Las implicaciones para la interacción con la IA son significativas, ya que AURA 2.0 representa un gran avance en la capacidad de la IA para participar de manera proactiva en contextos de video streaming. Al permitir que los modelos hablen primero, actúen según las señales visuales y mantengan una memoria a largo plazo, se sienta el camino para aplicaciones de IA más dinámicas e interactivas en campos como la vigilancia, la educación y el entretenimiento.

Regístrese para guardar este artículo Cuenta gratuita: construya su colección de investigación y vuelva a leerlo en cualquier momento.

```