Anthropic anunció que ha elegido a Accenture como su primer evaluador incorporado para ayudar a ralentizar el ritmo del desarrollo de la IA, tal como propuso la semana pasada su CEO, Dario Amodei.

Amodei publicó el 12 de septiembre una propuesta en tres etapas para desacelerar el desarrollo de la IA y permitir la implementación de medidas de protección, ante las advertencias de posibles daños catastróficos derivados de un desarrollo rápido e incontrolado.

El CEO de OpenAI, Sam Altman, y el CEO de SpaceX, Elon Musk, respondieron positivamente a la propuesta de Amodei, aunque el CEO de Nvidia, Jensen Huang, no lo hizo, argumentando que tal regulación no era necesaria.

No obstante, Amodei señaló en su propuesta que “la IA ha avanzado drásticamente más rápido, impulsada principalmente por su capacidad creciente para desarrollar la próxima generación de sistemas de inteligencia artificial. Esta dinámica se denomina auto-mejora recursiva”, y que “si no se controla, podría superar nuestra capacidad para comprender y gestionar estos sistemas”.

Relacionado: El jefe de Anthropic insta a ralentizar el desarrollo de la IA para lograr un ritmo más seguro.

El primer paso de la propuesta de Amodei consiste en contar con evaluadores independientes con acceso similar al de los empleados, algo a lo que Anthropic ya se había comprometido unilateralmente.

Anthropic anunció el viernes su intención de cumplir este compromiso al asociarse con Accenture y su división de negocios relacionados con la IA para “evaluar y mejorar los modelos, realizar análisis de alineación y probar medidas de protección”.

Los detalles de cómo se llevará a cabo esto aún están siendo definidos, ya que la evaluación incorporada es un enfoque novedoso para la compañía.

Según el anuncio, tanto Anthropic como Accenture esperan invertir al menos 1000 millones de dólares en el proyecto durante los próximos cinco años.

Anthropic financiará los trabajos relacionados con este proyecto.Directamente, en medio de la urgencia,

Anthropic señaló que no existe ningún sistema para financiar evaluaciones independientes; por lo tanto, el financiamiento a largo plazo debería provenir de fuentes conjuntas o gubernamentales. No obstante, dada la urgencia del trabajo,

Anthropic financiará directamente el proyecto de Accenture.

La asociación no es exclusiva, y

Anthropic espera anunciar en las próximas semanas a otros evaluadores con los que también trabajará.

El equipo de Accenture es experto en la prueba y evaluación de modelos para algunos de los principales laboratorios de IA del mundo, así como en el desarrollo de sistemas de IA complejos que son seguros y éticos por diseño, afirmó la empresa el viernes. “La evaluación integrada es un área en desarrollo, y esperamos colaborar con Anthropic para acelerar el desarrollo de herramientas de evaluación integradas, que consideramos una parte importante del panorama de seguridad en el futuro”, dijo Julie Sweet, presidenta y CEO de Accenture.

Revista: ¿Por qué las compañías más grandes de IA de repente piden reducir su ritmo de desarrollo?