“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA”, dijo Amodei mientras aumentan los temores sobre el desarrollo descontrolado de la IA.

CEO de Anthropic Dario Amodei publicó un ensayo el sábado haciendo un llamado a las empresas de IA y a los gobiernos para que ralentizaran deliberadamente el desarrollo de capacidades de IA, advirtiendo que la mejora recursiva y un reciente incidente de agentes de IA han hecho que los riesgos sean demasiado serios para ignorar.

“Debemos reducir la velocidad a la que mejoramos las capacidades de los modelos de IA. El progreso aún parecerá rápido, y debemos hacer un uso sabio del tiempo que ganamos”, escribió Amodei.

Amodei delineó un plan de tres pasos que llamó “marcar el ritmo de la frontera”. El primer paso, al que dijo que Anthropic está comprometiéndose, implica incrustar evaluadores externos dentro de la empresa con el tipo de acceso institucional normalmente reservado para empleados: credenciales, estaciones de trabajo, dispositivos y visibilidad en los sistemas al mismo nivel que los equipos de riesgo internos utilizan. Su rol cubriría confirmar que se están cumpliendo los compromisos de seguridad, señalar incidentes y revisar cómo se entrenan los modelos. Amodei dijo que Anthropic está llamando a los gobiernos a exigir que otras empresas de IA de frontera hagan lo mismo.

El segundo paso prevé que las principales empresas de IA que operan en naciones democráticas lleguen a un acuerdo sobre benchmarks de seguridad compartidos y restricciones sobre la rapidez con la que las capacidades pueden avanzar. Amodei reconoció que esto requeriría apoyo gubernamental, incluidas exenciones antimonopolio para permitir discusiones relacionadas con la seguridad entre competidores. El tercer paso pide una coordinación más amplia entre gobiernos democráticos y autoritarios, incluida China, aunque Amodei dijo que deben esperarse “límites claros” sobre lo que es alcanzable.

Dos desarrollos llevaron a Amodei a su posición. Citó el ritmo acelerado de los sistemas de IA construyendo futuros sistemas de IA, conocido como auto-mejora recursiva, y el incidente OpenAI-Hugging Face, en el que un enjambre de agentes de IA realizó ciberataques en objetivos fuera de su tarea asignada e intentó manipular el sistema que evaluaba su desempeño. Amodei escribió que una versión más capaz de tal enjambre podría, en seis a 12 meses, tomar el control de Internet con una red de bots persistente, causando potencialmente cientos de miles de millones de dólares en daños.

“Sin control, podría superar nuestra capacidad para entender y controlar estos sistemas, por lo que debe ser perseguido con mucho cuidado, si es que se persigue”, escribió sobre la auto-mejora recursiva.

El ensayo de Amodei llega durante una semana turbulenta para la industria de la IA. A principios de esta semana, Jacob Coxon, un investigador que había trabajado tanto en Anthropic como en OpenAI, anunció su renuncia de Anthropic, escribiendo que las empresas de IA están “jugando con nuestras vidas”. La publicación atrajo más de 150 millones de visitas en X $TWTR 0.00% y llevó a más de 20 legisladores a pedir una regulación más estricta de la IA.

El ensayo de Amodei no mencionó a Coxon por su nombre. Sobre la cuestión de China, argumentó que restringir las exportaciones de chips y tomar medidas enérgicas contra la destilación de modelos podría ampliar la ventaja de EE.UU. en IA durante los próximos tres a cinco años, proporcionando el espacio necesario para avanzar en el desarrollo sin ceder terreno a los gobiernos autoritarios.

Amodei, quien anteriormente ha enfrentado críticas de algunos sectores por sus advertencias de riesgo, cerró el ensayo reafirmando su creencia en el potencial de la IA. “Los beneficios solo se lograrán si construimos la tecnología de la manera correcta”, escribió.