Lo que dijo Mueller sobre el markdown en sus sites de prueba
El hilo salió en Reddit, en un foro de SEO técnico, y la pregunta era práctica: si merece la pena servir markdown a los bots de IA, aunque solo sea para que dejen de castigar el servidor. Textualmente, el usuario preguntaba «has anyone actually seen one of the major AI bots request markdown?». John Mueller, de Google, contestó con lo que había medido él: «On my test sites the only crawlers who claim to accept markdown are SEO tools. Ymmv». En pocas palabras, que en sus webs de prueba los únicos que dicen aceptar markdown son las herramientas del sector, y que a cada uno le puede salir otra cosa.
La segunda parte de su respuesta es la que tiene más recorrido operativo. Mueller añadió: «it's annoying that the server setups that I use don't log the accept header, so you have to manually set things up for logging even if you just want to see if anyone would accept it. If you're curious about your sites, I'd recommend figuring out how to log that and checking the metrics first». Resumido: los servidores no registran la cabecera Accept por defecto, hay que configurarlo a mano, y lo primero es mirar los datos propios.
Sobre la fecha exacta hay que ser cuidadoso. El comentario es de finales de agosto de 2026 y Search Engine Journal lo recogió el 31 de agosto, pero el enlace corto de Reddit que usa la cobertura no está accesible, así que el día concreto no se puede confirmar. Search Engine Journal volvió a ponerlo en circulación el 5 de septiembre dentro de su resumen semanal, y de ahí ha salido la segunda ronda de comentarios.
Conviene acotar qué es esta declaración. Es la medición de un empleado de Google en sus propios sitios de prueba, con su «Ymmv» incluido, y no una posición oficial de producto ni un dato agregado del rastreo de Google.
Qué piden de verdad los crawlers de IA: un mes de logs
La medición pública más completa que existe sobre esto no es de una agencia ni de una suite. La publicó Dries Buytaert, el creador de Drupal, el 5 de marzo de 2026, con un mes de logs de Cloudflare de su blog personal después de haber servido markdown por las dos vías posibles: URLs terminadas en .md y negociación de contenido por la cabecera Accept. Los números por bot quedaron así.
| Bot | Peticiones | HTML | .md | Por cabecera Accept |
|---|---|---|---|---|
| Amazonbot | 16.872 | 15.032 | 1.840 | 0 |
| ChatGPT-User | 13.864 | 13.856 | 8 | 0 |
| Meta AI | 9.011 | 8.526 | 485 | 0 |
| ClaudeBot | 7.144 | 6.995 | 149 | 0 |
| OAI-SearchBot | 5.722 | 4.422 | 1.300 | 0 |
| GPTBot | 3.385 | 2.208 | 1.177 | 0 |
| Bytespider | 1.190 | 1.190 | 0 | 0 |
| CCBot | 530 | 530 | 0 | 0 |
| PerplexityBot | 467 | 466 | 1 | 0 |
| Claude-User | 94 | 87 | 7 | 0 |
La columna de la derecha es la que respalda a Mueller: cero peticiones por negociación de contenido en los diez rastreadores. Buytaert lo escribió sin matices: «No AI crawler uses content negotiation. Not one».
Las otras dos columnas son las que desmienten el titular fácil. GPTBot pidió markdown en el 34,8% de sus peticiones y OAI-SearchBot en el 22,7%, con Amazonbot en el 10,9% y Meta AI en el 5,4%. O sea, cuando el markdown existe como URL propia y se anuncia en el HTML, una parte de los bots lo coge. Lo que ninguno hace es preguntarlo por cabecera. Sobre lo que sí les impide leerte, están las cosas a evitar para que la IA pueda entender tu contenido.
Hay un dato que se lleva por delante el argumento comercial más repetido. El tráfico de bots subió alrededor de un 7% al publicar el markdown, porque los rastreadores se descargan las dos versiones. Servir markdown para aliviar la carga del servidor produjo el efecto contrario.
Con llms.txt el resultado fue todavía más seco. En ese mes el blog de Buytaert recibió 52 peticiones de llms.txt, todas de herramientas SEO y ninguna de un rastreador de IA. Ampliando a toda la infraestructura de Acquia, la empresa que cofundó, salen unas 5.000 peticiones de llms.txt sobre 400 millones, un 0,001%. Su conclusión, literal: «llms.txt is a solution looking for a problem. The bots it was designed for don't look for it». En pocas palabras, que es una solución que va buscando un problema y que los bots para los que se diseñó ni la miran. El formato lo propuso Jeremy Howard (Answer.AI) el 3 de septiembre de 2024 y sigue sin estar ratificado por el IETF ni por el W3C, y ni Google, ni OpenAI, ni Anthropic, ni Perplexity han confirmado que lo consuman.
El mismo Buytaert, que en enero había publicado entusiasmado que recibía «hundreds of requests from AI crawlers, including ClaudeBot, GPTBot, OpenAI's SearchBot» en la primera hora, cerró en marzo diciendo que no puede demostrar que servir markdown mejore nada en citaciones o visibilidad.
Cabecera Accept y URLs .md no son lo mismo
La distinción técnica decide quién tiene razón en cada frase. La negociación de contenido consiste en servir markdown o HTML en la misma URL según lo que pida el cliente en la cabecera Accept, que es el mecanismo estándar del RFC 7231. La otra vía es publicar el markdown en su propia dirección (la misma URL con .md al final) y anunciarla en el HTML con un <link rel="alternate" type="text/markdown"> para que el rastreador la descubra al parsear la página.
Con los datos que hay, la primera vía no la usa ningún rastreador de rastreo masivo y la segunda sí funciona. Donde sí aparece Accept: text/markdown es en herramientas de agente que navegan a petición de un usuario, como Claude Code, Cursor, OpenCode u OpenClaw, según documentó Ben Word en Roots el 14 de abril de 2026. Son dos poblaciones distintas: el bot que rastrea la web entera y el agente que abre una URL concreta porque alguien se lo ha pedido, y esa diferencia importa cuando se plantea una Auditoría Web Agent.
El ahorro que promete el formato sí está medido. Sobre la documentación de WordPress.org, Word comparó las dos versiones de la misma página: 271.268 bytes en HTML frente a 44.841 en markdown, un 84% menos de peso y alrededor de seis veces menos tokens (unos 67.800 contra unos 11.200).
En ese mismo análisis hay un aviso que afecta de lleno al parque de WordPress español. Algunos plugins SEO anuncian markdown para IA y luego ignoran la cabecera: Word probó AIOSEO en WPBeginner.com pidiendo Accept: text/markdown sobre la URL canónica y el servidor le devolvió content-type: text/html. Comprobarlo es una petición con curl y mirar el tipo de contenido de la respuesta.
Lo que ya dijeron Google y Bing en febrero
Esta no es la primera vez que Mueller se pronuncia, y las dos veces no dijo lo mismo. En febrero de 2026 su objeción era conceptual, no de datos. En Reddit escribió: «Are you sure they can even recognize MD on a website as anything other than a text file? Can they parse & follow the links? What will happen to your site's internal linking, header, footer, sidebar, navigation?». Resumido: duda de que un modelo entienda un .md como algo más que un fichero de texto y de qué pasa con el enlazado interno, la cabecera, el pie y la navegación. En Bluesky fue más directo: «Converting pages to markdown is such a stupid idea. Did you know LLMs can read images? WHY NOT TURN YOUR WHOLE SITE INTO AN IMAGE?».
Respondiendo a Lily Ray en ese mismo hilo, añadió el argumento de fondo: «LLMs have trained on... normal web pages since the beginning. Why would they want to see a page that no user sees? And, if they check for equivalence, why not use HTML?». En pocas palabras, que los modelos llevan desde el principio leyendo páginas normales y que no ve por qué iban a querer una versión que ningún usuario ve.
Lo que hace singular a aquel episodio es que Microsoft se sumó. Fabrice Canel, de Bing, respondió en la misma conversación: «really want to double crawl load? We'll crawl anyway to check similarity. Non-user versions (crawlable AJAX and like) are often neglected, broken... We like Schema in pages. Less is more in SEO!». Traducido, que van a rastrear igual para comprobar que las dos versiones coinciden, que las versiones que no ve nadie acaban rotas y desatendidas, y que prefieren el marcado dentro de la página. Search Engine Land lo publicó el 6 de febrero de 2026 y en esa cobertura Ray planteó además el riesgo de que servir contenido distinto según el user agent entre en el terreno del cloaking.
Ahí está la línea que separa las dos implementaciones. Detectar el bot por su user agent y darle otro contenido es lo que se parece al cloaking; servir markdown por cabecera Accept sobre la misma URL canónica es negociación de contenido estándar. Y a día de hoy no hay evidencia publicada de que servir markdown suba ni baje posiciones ni citaciones.
Mi lectura
Lo más útil de la respuesta de Mueller está en el paréntesis. Ni él tenía los logs preparados para mirarlo, porque los servidores no registran la cabecera Accept por defecto. Si tienes el sitio en un hosting normalito, añadir ese campo al formato de log y esperar dos semanas te da una respuesta propia.
Y ojo con cómo se está vendiendo esto, porque hay dos titulares y los dos son medio verdad. Decir que a los bots de IA les da igual el markdown es falso: GPTBot se llevó el 34,8% de sus peticiones en .md cuando lo encontró. Decir que hay que implantarlo ya también, porque quien ha publicado los datos dice que no puede demostrar ninguna mejora y que encima le subió la carga de bots un 7%. Mi postura para un cliente es la de siempre: si tu CMS lo pone fácil, adelante, es barato; si hay que construirlo, ese esfuerzo rinde más en el contenido. Lo de llms.txt, con 52 peticiones al mes y todas de auditores, ni lo pongo en el presupuesto. Y si alguien te ha vendido markdown para reducir la carga de los rastreadores, ese argumento se ha quedado sin datos. Antes de firmar nada de esto, te vale más una foto de qué agentes entran de verdad en tu web que cualquier propuesta de SEO para IA con llms.txt en la primera diapositiva.