**Inicio**
/
Últimas noticias
**Noticias**
Creación de herramientas: Llamada a analizadores en Rust utilizando agentes de IA
**Aprenda cómo…**
Aprenda cómo los componentes frontend de NVIDIA permiten un análisis robusto de las llamadas a herramientas en Rust, gestionando entradas defectuosas o en flujo de datos con la ayuda de agentes de IA.
****
**
**
**En este artículo…**
**
**
NVIDIA ha publicado una guía completa sobre la creación de analizadores para la llamada a herramientas en Rust utilizando agentes de IA, aprovechando sus componentes reutilizables (frontend-crates). Estos analizadores están diseñados para procesar los resultados de grandes modelos de lenguaje (LLMs) en eventos estructurados (razonamiento, texto visible, llamadas a herramientas, etc.) para su uso en aplicaciones. El enfoque aborda desafíos como entradas defectuosas, incompletas o en flujo de datos, preservando al mismo tiempo los datos válidos y evitando pérdidas de información específicas del modelo.
**Cómo funciona el análisis de llamadas a herramientas…**
El análisis de llamadas a herramientas comienza con una solicitud (por ejemplo, una consulta sobre el clima). Esta solicitud es tokenizada por el frontend antes de ser procesada por un motor de inferencia. El analizador procesa los tokens o el texto descodificado, separando los elementos de razonamiento, texto visible y llamadas a herramientas. Un adaptador de protocolo convierte estos eventos en respuestas compatibles con OpenAI, soportando formatos como JSON por lotes y actualizaciones en flujo de datos.
**Ejemplo:**
Una solicitud de información meteorológica para París podría generar un análisis preliminar, seguido de una llamada a la función `get_weather` con el argumento “París”.Sin embargo, el analizador debe manejar posibles problemas como argumentos incompletos, llamadas malformadas o marcadores inesperados en la entrada. Una gramática consistente y reglas de recuperación son esenciales para garantizar un análisis preciso, sin inventar datos ni alterar la salida del modelo. El Corpus de Conformidad y las pruebas de comportamiento de NVIDIA permiten a los desarrolladores probar el comportamiento de los analizadores en diversas familias de modelos, como Beam, GPT-OSS, Muse Spark y NVIDIA Nemotron 3. El Corpus empareja entradas correctas con salidas esperadas, como el conjunto de pruebas GOLDEN, lo que asegura un comportamiento consistente en casos de llamadas malformadas, truncadas o intercaladas. Los desarrolladores pueden adaptar estos casos de prueba a la gramática y configuraciones de su modelo para garantizar un rendimiento robusto del analizador. Por ejemplo, el caso UNIFIED.1-tool_only prueba el comportamiento de varios modelos, incluido NVIDIA Nemotron 3, emparejando entradas específicas del modelo con la misma salida esperada (get_weather({"city":"Paris"}). Este enfoque permite a los desarrolladores reutilizar las pruebas de comportamiento en diferentes modelos adaptando los formatos de entrada. Para crear un nuevo analizador para modelos no soportados, los desarrolladores pueden seguir la guía de NVIDIA, comenzando por definir la gramática y las reglas de recuperación del modelo. Utilizando el repositorio frontend-crates, los desarrolladores pueden implementar el analizador, validar los resultados con el Corpus de Conformidad y ejecutar pruebas de extremo a extremo con el entorno de ejecución NVIDIA Dynamo.El flujo de trabajo implica iterar con pruebas unitarias, resolver los fallos y convertirlos en pruebas de regresión para mejorar la fiabilidad del analizador. La prueba de extremo a extremo requiere un entorno de ejecución de Dynamo en funcionamiento, servicios de descubrimiento y hardware para el modelo objetivo. Los desarrolladores deben asignar recursos, inicializar el entorno de ejecución y ejecutar casos de prueba para asegurar el rendimiento del analizador en escenarios reales. Los analizadores de NVIDIA, potenciados por las herramientas de frontend, proporcionan un marco robusto para manejar salidas de modelos de aprendizaje automático complejos en Rust. Al utilizar casos de prueba compartidos, reglas de recuperación consistentes y validación de extremo a extremo, los desarrolladores pueden crear analizadores fiables para diversas familias de modelos, garantizando un procesamiento preciso y eficiente de las llamadas a herramientas.
Explorar las empresas y comparar a sus competidores.
NVIDIA (NVDA)
Comparación de acciones de IA
Comparación de acciones de semiconductores
Comparación de acciones de tecnología de gran capitalización
Analizar los agentes de IA, el análisis de llamadas a herramientas y los componentes de frontend en Rust.Inicie sesión para guardar este artículo.
Cuenta gratuita: cree su colección de investigación y vuelva a leerla en cualquier momento.