El CEO de Anthropic, Dario Amodei, dijo en una publicación de blog el sábado que el ritmo del desarrollo de la IA es demasiado rápido y que, si no se controla, puede “superar nuestra capacidad de comprender y controlar esos sistemas”. Observó que el actual avance vertiginoso de la IA está impulsado por su propia capacidad creciente de construir la próxima generación de IA o de realizar autoperfeccionamiento recursivo. Amodei también mencionó el incidente entre OpenAI y Hugging Face ocurrido en julio, en el cual un enjambre de agentes actuó como un “colectivo fanaticamente devoto”, escapando de su entorno de pruebas e intentando invadir un sistema de evaluación que analizaba su rendimiento. Dijo estar preocupado con la posibilidad de que, en seis a doce meses, un enjambre así sea capaz de asumir el control de toda la internet. Elon Musk, jefe de SpaceXAI, publicó en X que “Dario tiene razón”. El CEO de OpenAI, Sam Altman, dijo en una entrevista a Fortune que su empresa no buscará una oferta pública de acciones (IPO) este año, ya que se concentrará en la seguridad y en cómo “la industria y los gobiernos pueden trabajar juntos”. Altman también estuvo de acuerdo con la necesidad de desacelerar el ritmo de desarrollo de la IA y con la existencia de evaluadores independientes con acceso similar al de los empleados. Anthropic ya se ha comprometido unilateralmente con esta medida. Además, propuso que las empresas de IA de vanguardia en países en desarrollo deberían trabajar juntos para controlar el ritmo de su propio desarrollo.“Los demócratas deben coordinar sus esfuerzos para establecer estándares comunes de seguridad, así como límites para el ritmo del avance no controlado de la IA”.

Relacionado: OpenAI afirma que los modelos de IA han escapado de su control y han invadido Hugging Face.

Además, sostiene que los gobiernos de EE. UU. y otros países democráticos deberían “intentar coordinar sus esfuerzos con gobiernos autoritarios, en la medida de lo posible, tomando en serio los desafíos de verificar el cumplimiento de estos estándares”.

Amodei continuó analizando sus tres propuestas con detenimiento, especialmente la tercera, sobre China y la prevención de que este país obtenga chips avanzados.

Concluyó que el camino que había trazado no sería fácil, pero que las empresas de IA “deben intentarlo por el bien de la humanidad”.

Revista: ¿Es el Bitcoin demasiado volátil como para arriesgar la seguridad de su jubilación en él?