Anthropic anunció que ha elegido a Accenture como su primera empresa externa para realizar evaluaciones, con el objetivo de ayudar a desacelerar el ritmo del desarrollo de la inteligencia artificial (IA), según lo propuso la semana pasada su director ejecutivo, Dario Amodei.
Amodei publicó un plan en tres etapas el 12 de septiembre con el fin de ralentizar el avance de la IA y permitir la implementación de medidas de protección, en respuesta a las advertencias sobre los posibles daños catastróficos que podrían derivarse de un desarrollo rápido y sin control.
El director ejecutivo de OpenAI, Sam Altman, y el director ejecutivo de SpaceX, Elon Musk, respondieron positivamente a la propuesta de Amodei; sin embargo, el director ejecutivo de Nvidia, Jensen Huang, no compartió esa opinión, argumentando que tal regulación no era necesaria.
Aun así, Amodei señaló en su propuesta que “la IA ha avanzado drásticamente más rápido, impulsada principalmente por su creciente capacidad para desarrollar la próxima generación de sistemas de inteligencia artificial”.Esta dinámica se denomina “autoaperfeiçoamento recursivo”, y que, “si se deja sin control, podría superar nuestra capacidad de comprender y controlar esos sistemas”.
Relacionado: El jefe de Anthropic pide que el desarrollo de la IA se ralentice para un ritmo más seguro.
El primer paso de la propuesta de Amodei es contar con evaluadores independientes con acceso similar al de los empleados, un compromiso al que Anthropic ya había adhuido unilateralmente, escribió Amodei.
Anthropic anunció el viernes una medida para cumplir este compromiso: firmó una alianza con Accenture y su empresa de IA, Faculty, para “evaluar modelos, realizar análisis conjuntos (red teaming), llevar a cabo evaluaciones de alineamiento y probar las medidas de seguridad de los modelos”.
Los detalles de cómo se llevará a cabo esto aún están siendo definidos, ya que la evaluación incorporada es algo nuevo, dijo la empresa.
Anthropic y Accenture esperan invertir al menos 1000 millones de dólares cada una en el proyecto en los próximos cinco años, según el anuncio.
Anthropic financiará directamente el trabajo, teniendo en cuenta la urgencia del asunto.
Anthropic también señaló que no existe un sistema para financiar las evaluaciones independientes; por lo tanto, el financiamiento a largo plazo debería provenir de fuentes conjuntas o gubernamentales.Sin embargo, dada la urgencia del trabajo, Anthropic financiará directamente el proyecto de Accenture. La colaboración no es exclusiva, y Anthropic espera anunciar a otros evaluadores en las próximas semanas con los que también trabajará. El equipo de Accenture está especializado en probar y evaluar modelos para algunos de los principales laboratorios de IA del mundo, así como en desarrollar sistemas complejos de IA que sean seguros y éticos desde su concepción, afirmó la empresa el viernes. “La evaluación integrada es un área en pleno auge, y esperamos trabajar con Anthropic para acelerar el desarrollo de estos evaluadores, que consideramos una parte importante del escenario de seguridad en el futuro”, dijo Julie Sweet, presidenta del consejo y CEO de Accenture.

