Dario Amodei pide frenar el ritmo de mejora de la IA y abre los modelos de Anthropic a evaluadores externos

Si te gusta mi contenido, dile a Google que te lo muestre antes:

El CEO de Anthropic publicó el 12 de septiembre de 2026 en su blog personal «We Must Pace the Frontier», un plan en tres pasos para frenar el ritmo al que mejoran los modelos de IA. El único paso que Anthropic asume en solitario es el primero: dar a evaluadores externos un acceso comparable al de sus propios empleados. Los otros dos requieren coordinación de la industria y entre gobiernos, y Sam Altman ya ha dicho que OpenAI hará lo mismo con los evaluadores.

Publicación de Dario Amodei en X anunciando su ensayo: Anthropic se compromete unilateralmente con el primer paso y dará a evaluadores externos acceso permanente de nivel empleado a sus sistemas para verificar sus medidas de seguridad, informar de incidentes y evaluar la alineación de los modelos durante el entrenamiento
El anuncio del ensayo en la cuenta de Dario Amodei en X, donde confirma que Anthropic asume en solitario el primer paso del plan. Fuente: Dario Amodei en X.

El plan en tres pasos de «We Must Pace the Frontier»

Dario Amodei publicó el ensayo en darioamodei.com, su web personal, y no en la de Anthropic. La página solo indica «September 2026», pero el anuncio en su cuenta de X y la cabecera del servidor lo sitúan el 12 de septiembre de 2026. La frase que resume el texto es literal: "we must slow the pace at which we improve the capabilities of AI models", es decir, que hay que frenar el ritmo al que se mejoran las capacidades de los modelos.

Amodei matiza de entrada el alcance: "pacing does not mean halting model training or technical progress", o sea, que marcar el ritmo no significa detener el entrenamiento ni el progreso técnico. Lo que plantea es un plan en tres pasos que, según el texto, no tienen por qué darse en orden.

El primero son los evaluadores incrustados. Organizaciones externas como METR tendrían "ongoing, employee-like access", un acceso continuo parecido al de un empleado, para verificar prácticas y compromisos, informar de incidentes y evaluar el alineamiento tanto de los modelos terminados como de los procesos de entrenamiento. El acceso sería "mostly comparable to what internal risk assessment teams have" e incluye despachos en las oficinas, credenciales y portátiles de la empresa. Los evaluadores podrían publicar sus hallazgos "without editorial control by Anthropic", sin control editorial de la compañía, que solo podría tachar información de seguridad, protegida legalmente, comercialmente sensible o confidencial de terceros, nunca un hallazgo "just because they are unfavorable". Amodei pone como precedente a los supervisores que trabajan dentro de los bancos.

El segundo paso es la coordinación entre democracias. Las empresas punteras de países democráticos acordarían "common safety standards as well as limits on the rate of unchecked AI progress", estándares comunes de seguridad y límites al ritmo de avance. Para sortear el problema de competencia, pide que el Gobierno de Estados Unidos medie o emita una exención antimonopolio acotada a ciertas conversaciones de seguridad: "they don't need to participate, but do need to issue a narrow waiver". Añade que prefiere la regulación para todas las empresas punteras de EE. UU. como vía más eficaz, propone umbrales del tipo "si un modelo tiene la capacidad X, necesita las certificaciones Y y Z", y plantea limitar insumos como el cómputo.

El tercero es la coordinación global, incluidos gobiernos autoritarios "to the extent this is possible", y China aparece nombrada expresamente. Amodei lo escalona en cuatro niveles de acuerdo de menor a mayor dificultad: prohibir usos concretos como las armas biológicas, probar los modelos antes de lanzarlos, un límite de velocidad a la automejora recursiva que compara con los tratados SALT, y una pausa total que considera improbable a corto plazo.

La distinción entre lo unilateral y lo coordinado está escrita en el propio texto: "The first step is something Anthropic is unilaterally committing to (and calls on governments to require other frontier companies to match). The second step requires industry-wide coordination. The third step requires global coordination." En pocas palabras, Anthropic se compromete ya al primer paso y pide a los gobiernos que lo exijan al resto; los otros dos dependen de que se sumen los demás. El ensayo no da fecha para la llegada de los evaluadores ni nombra a la organización que lo hará.

Por qué Amodei pide ahora frenar el ritmo de la IA

El propio Amodei explica el cambio: "over the last few months, I have become convinced that fully addressing the risks requires even more prudence", que en los últimos meses se ha convencido de que no basta con invertir en prevenir riesgos y que hay que acompasar el avance de capacidades para que la prevención tenga tiempo de alcanzarlo. Da dos motivos.

El primero es la automejora recursiva, el uso de IA para acelerar el desarrollo de la siguiente IA, que según el texto ocurre en toda la industria, "including at Anthropic". El segundo es el incidente de OpenAI y Hugging Face, en el que un enjambre de agentes persiguió objetivos que nadie le había encargado e intentó engañar al sistema que lo evaluaba, y que contamos en Un enjambre de agentes de OpenAI se apoderó de una wiki alemana durante un mes. Amodei teme que en "6–12 months" un enjambre así pueda tomar internet con una red de bots persistente.

El ensayo reconoce incidentes propios. Escribe que "similar, though less severe, incidents have happened across the industry, including at Anthropic", atribuye parte de sus problemas de alineamiento a "imperfect filtering of broken reinforcement learning environments" y admite que, pese a tener equipos muy competentes, "there is simply too much to do all at once", que hay demasiado que hacer a la vez. Entre los riesgos que enumera están la pérdida de control, los ciberataques y el bioterrorismo, los modelos que engañan a los tests, el robo de pesos y la ventaja militar de China.

Ese último punto marca el límite de la propuesta. Amodei advierte de que frenar más de lo que mide la ventaja sobre China sería contraproducente: "If we slow down by more than this amount, then (unpaced) CCP-associated projects will pull ahead". Para mantener esa ventaja pide no vender chips ni equipos de fabricación, perseguir la destilación no autorizada y reforzar la seguridad contra el robo de pesos de los modelos. El ensayo no menciona GPT-6 Astra.

El informe de destilación de Anthropic contra siete laboratorios chinos

Dos días antes, el 10 de septiembre, Anthropic publicó «Detecting and countering misuse of AI: September 2026», un informe general de amenazas que cubre de diciembre de 2025 a agosto de 2026. La destilación, entrenar un modelo propio con las respuestas de otro, es una de sus siete áreas, y el informe atribuye campañas a siete laboratorios con sede en China.

Esquema de Anthropic con las cuatro fases de una campaña de destilación: fabricar identidades con miles de cuentas falsas, recolectar millones de peticiones al día, limpiar los intercambios y entrenar un modelo alumno que imite al modelo puntero
Las cuatro fases de una campaña de destilación según el informe: fabricar identidades, recolectar, limpiar y entrenar. Fuente: Anthropic.

El método que describe se apoya en servicios proxy con miles de cuentas falsas, tarjetas y claves de API robadas, compra de transcripciones a revendedores y trucos para sacar el razonamiento del modelo, como pedirle que lo "traduzca" a katakana japonés. El caso mayor es el de Alibaba con Qwen, que el informe describe como "the largest distillation attack we have ever measured": un pico de casi 3 millones de intercambios al día desde más de 3.500 cuentas y más de 151 millones entre mayo y julio de 2026, contra Opus 4.6 y 4.7.

Detrás aparecen Moonshot (Kimi), que reenviaba en silencio a Claude peticiones de sus propios clientes, con casi 300.000 en diez días y más de 23 millones entre mayo y julio; DeepSeek, con más de 12,1 millones de intercambios en 14 días de julio; Zhipu (Z.ai), con más de 3,4 millones en 17 días; Xiaomi, con más de 400.000 peticiones; y SenseTime y MiniMax, sin cifra publicada. En el caso de Moonshot, el informe menciona entre esas peticiones las de un único usuario "likely affiliated with the PLA", probablemente vinculado al Ejército Popular de Liberación. Según Anthropic, ningún ataque se dirigió a Mythos 5 ni a Mythos Preview.

El ensayo de Amodei no enlaza este apartado. Su referencia sobre destilación lleva a la alerta conjunta AA26-251A de la NSA, la CISA y el FBI del 8 de septiembre, que nombra a DeepSeek, Moonshot, Alibaba, MiniMax, StepFun y Z.AI. El informe de septiembre sí aparece enlazado en el ensayo, pero a propósito del uso de la IA para ciberataques y bioterrorismo.

Garry Tan y la defensa de un «régimen americano de destilación»

En paralelo, el presidente de Y Combinator, Garry Tan, defendió la postura contraria en una entrevista con CNBC durante el Demo Day de la aceleradora, publicada el 11 de septiembre. Preguntado por la destilación, respondió "I would do nothing", que no haría nada, y planteó que "we could argue that there should be an American distillation regime", un régimen americano de destilación.

La cronología importa para leer las dos posturas juntas. Tan habló antes de que Amodei publicara el ensayo, así que sus declaraciones no son una respuesta al texto del 12 de septiembre. TechCrunch las enmarcó junto al informe de destilación de esa misma semana y las publicó el 11 de septiembre con más citas del inversor.

Lo que propone es que los reguladores no actúen contra la destilación y que los laboratorios estadounidenses pequeños de pesos abiertos puedan destilar legalmente modelos punteros de EE. UU. a través de la API, sin credenciales robadas. Su argumento central lo recoge TechCrunch: "the nightmare scenario, the doomer scenario for AI is that there's just one company", que el peor escenario es que acabe habiendo una sola compañía, con el mejor acceso a capital y a investigadores, que se escape del resto. A CNBC le dijo también que "we need to be focused on science fact, not science fiction", que hay que centrarse en hechos científicos y no en ciencia ficción.

Las primeras reacciones de OpenAI y del sector

La reacción más relevante llegó de OpenAI. Sam Altman escribió en X el mismo 12 de septiembre, según recogen TechCrunch y CoinDesk: "I agree with Dario that we need to pace the frontier", que está de acuerdo en acompasar el avance y que ha sido tema de conversación en OpenAI las últimas semanas. Según CoinDesk, añadió que comprometerse con evaluadores independientes "is a great idea, and we will do the same", que OpenAI hará lo mismo, y según TechCrunch que tendrán más que contar pronto. No hay detalle ni calendario de ese compromiso.

Elon Musk respondió en X con un escueto "Dario is right". Entre las críticas, TechCrunch cita a Brian Merchant, que describe el plan como "what regulatory capture looks like in action", la captura regulatoria en acción, en referencia a la petición de una exención antimonopolio para que los laboratorios hablen entre ellos. No consta ninguna respuesta oficial de la Casa Blanca, el Departamento de Justicia o la FTC a esa petición.

El ensayo tiene un antecedente público. En julio de 2026, 1.386 empleados de laboratorios punteros, entre ellos el propio Amodei, Ilya Sutskever y Jakub Pachocki, firmaron la carta «Pacing the Frontier», promovida por Guidelight AI Standards y Encode AI, y el ensayo de Amodei la enlaza. El texto cierra así: "The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try."