El token __usage_ai-training: qué anunciaron Google, Bing, OpenAI y Anthropic el 30 de octubre
El 30 de octubre de 2026 Kevin Kelley, de Anthropic, publicó en la IETF el borrador «Machine-Readable Training Preference Signal», que propone un único token de robots.txt, __usage_ai-training, para que una web diga si acepta que su contenido se use para entrenar modelos de IA generativa. El mismo día lo respaldaron Google, con un post de John Mueller en el Search Central Blog, OpenAI y Microsoft, que además cambió sus propios controles en Bing.
El estatus del texto es el de un borrador individual, sin respaldo formal de la IETF. La ficha de Datatracker lo dice así: «This I-D is not endorsed by the IETF and has no formal standing». Kelley lo presenta como aportación al grupo de trabajo AIPREF, del que sí sale la definición de entrenamiento que usa, y caduca el 3 de mayo de 2027 si no se renueva. Nate Hake, de Travel Lemming, que participa en el proceso, escribió en X que «it's not actually done at the ietf level -- and some significant areas of dispute remain».
Los calendarios no coinciden. Google dice que lo soportará «along with other AI providers in 2027» en el blog y «in early 2027» en su página de rastreadores comunes, actualizada ese día. OpenAI habla de «the coming months» sin fecha ni sintaxis, y mantiene los controles de sus propios rastreadores. Anthropic no tiene anuncio en su web ni en su documentación de rastreadores; la confirmación es el correo de Kelley a la lista de la IETF, donde dice que la empresa «has already started implementing support for this draft» y que llevará tiempo extenderlo a todos sus servicios. Microsoft empieza a aplicarlo el 1 de febrero de 2027.
Una preferencia de uso, no una directiva de rastreo
El ejemplo del borrador pide que no se entrene con todo el sitio salvo la carpeta de prensa:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/El borrador es explícito en que el token no bloquea el rastreo: «This policy token is not a directive for crawling behavior». Cada bot sigue leyendo su propio grupo de User-agent, y el texto solo permite que un rastreador deje de descargar lo que no va a poder usar. Es un cambio de uso para robots.txt, que hasta ahora Google describía solo como control de acceso, como contó Gary Illyes en Google dice que robots.txt solo decide el acceso de los bots y no qué hacen los sistemas de IA con lo ya rastreado.
Los grupos genéricos no cuentan. Según el borrador, un User-Agent: * no se interpreta nunca como el token, así que un robots.txt sin grupo __usage_ai-training no expresa ninguna preferencia, y Kelley lo aplica a todos los robots.txt publicados hasta hoy. Lo específico manda sobre lo general, cada empresa puede documentar que su token propio es más específico, y los acuerdos privados pueden prevalecer. La preferencia que vale es la del robots.txt vigente cuando se descargó el contenido.
Hasta ahora, lo más parecido era una opción de proveedor, como la de Cloudflare ya deja frenar el entrenamiento de IA sin sacar a Googlebot de tu web, o los tokens de cada empresa (Google-Extended, GPTBot, ClaudeBot). El borrador propone un solo grupo para todos, sin sustituir esos tokens, que siguen funcionando.
El entrenamiento se define como «Using an asset to modify the learned parameters of a generative AI model». Quedan fuera los modelos de clasificación, ranking o scoring, es decir, los que no generan contenido.
Google trata el token como un bloqueo de Google-Extended
La regla de Google está en el post de Mueller: si una web usa el token para excluirse y no declara Google-Extended de forma explícita, Google lo interpretará «as if the publisher had disallowed Google-Extended». Si Google-Extended está permitido de forma explícita, la web sigue siendo elegible para el grounding en Gemini Apps, porque los controles de cada empresa siguen funcionando.
Google-Extended no cubre solo el entrenamiento. Según la documentación de Google, también decide el grounding en Gemini Apps y en Grounding with Google Search de Vertex AI, así que bloquear el token sin mencionar Google-Extended también saca la web de ese grounding. Google no lo formula con esas palabras, pero sale de juntar sus dos textos. La combinación que deja fuera del entrenamiento con Google-Extended permitido de forma explícita queda así:
User-Agent: __usage_ai-training
Disallow: /
User-Agent: Google-Extended
Allow: /Ni el post ni el changelog de rastreadores hablan de AI Overviews, AI Mode ni de informes en Search Console. La documentación vigente dice que Google-Extended «does not impact a site's inclusion in Google Search nor is it used as a ranking signal», y los controles de Search siguen siendo los de Googlebot (robots.txt, nosnippet, data-nosnippet, max-snippet y noindex). Google presenta el cambio como coherente con el Código de buenas prácticas de la UE para modelos de IA de propósito general.
Bing separa entrenamiento y grounding, y retira NoArchive y NoCache como control de IA
Microsoft publicó el mismo 30 de octubre en el blog de Bing «Your content, your choice: clearer preferences for training and grounding», firmado por Krishna Madhavan. Crea dos preferencias separadas, una para entrenamiento y otra para grounding (usar el contenido para fundamentar respuestas generadas). La de entrenamiento se declara en robots.txt con el token, para todo el sitio o por ruta, o por página con meta o cabecera HTTP; la de grounding, solo por página:
<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow
<meta name="Bingbot" content="ai-grounding:disallow">
X-Robots-Tag: Bingbot: ai-grounding:disallowLa de grounding tiene un valor intermedio, ai-grounding:disallowextended. Permite el grounding en los productos que opera Microsoft, que el post enumera como «AI Mode, AI Overview, Copilot, and Microsoft 365» (los de Bing, no los de Google), y lo excluye de Web IQ y del grounding por API de Foundry, que Microsoft vende a terceros. Ninguna de las dos preferencias cambia la elegibilidad en los resultados clásicos de Bing: «Publishers should not have to choose between being discoverable in Bing and deciding how generative models use their work».
El calendario afecta a quien use hoy NoArchive o NoCache para frenar la IA en Bing:
- 15 de diciembre de 2026: Bing Webmaster Tools abre una preferencia temporal de grounding, solo para sitios que usen NoArchive o NoCache en esa fecha.
- 1 de febrero de 2027: Microsoft empieza a aplicar las preferencias de entrenamiento y grounding según rastrea.
- 1 de marzo de 2027: NoArchive y NoCache dejan de leerse como preferencia de entrenamiento o grounding. Las páginas sin preferencia temporal registrada pasan a permitir el grounding hasta que se vuelvan a rastrear.
- 30 de septiembre de 2027: caducan las preferencias temporales.
Microsoft avisa de que DisallowExtended y Disallow reducen la visibilidad en sus respuestas de IA, de que un Allow no da acceso a un Bingbot bloqueado y de que el cambio no se aplica hasta que Bing vuelve a rastrear, algo que IndexNow acelera sin garantizar fecha. Si detecta las preferencias nuevas en un sitio, ignora las NoArchive y NoCache que queden. La ayuda de Bing Webmaster Tools sobre las nuevas preferencias no se ha podido consultar para esta pieza porque solo carga con JavaScript.
Mi lectura
Hoy no hay que tocar el robots.txt, porque nadie lo aplica todavía salvo Anthropic, que dice haber empezado. En Google, bloquear el token sin declarar Google-Extended también te saca del grounding de Gemini, y eso puede no ser lo que busca un medio que solo quería salir del entrenamiento. En Bing la fecha que hay que apuntar es el 1 de marzo de 2027, porque a partir de ahí NoArchive y NoCache dejan de frenar la IA y lo que no se haya pasado a las preferencias nuevas queda abierto al grounding.