DEJAN compara 10.701 respuestas de Gemini 4 Hydrogen con y sin Google Search: la búsqueda aporta el 45% de las marcas y quita 2,3 por respuesta

Si te gusta mi contenido, dile a Google que te lo muestre antes:

DEJAN publicó el 18 de noviembre de 2026 un estudio con 10.701 pares de respuestas de Gemini 4 Hydrogen, el modelo de AI Mode, lanzadas de memoria y con Google Search. Con búsqueda, el 45% de las marcas de cada respuesta (3,4 de 7,5) las aporta Google Search, que además quita 2,3, y solo el 1,8% de los pares coincide. Las llamadas se hicieron por la API, no en AI Mode, y casi dos tercios de los prompts están en inglés.

Cómo compara DEJAN las marcas de memoria y las de Google Search

Dan Petrovic, de la agencia australiana DEJAN, publicó el 18 de noviembre de 2026 un estudio sobre Gemini 4 Hydrogen, el modelo que Google confirmó el 12 de noviembre como el de AI Mode por defecto (Google pone Gemini 4 Hydrogen en Search para todos los usuarios y dice que su fan-out conecta con más enlaces, sin dar cifras). Los datos salen del seguimiento diario de visibilidad en IA de su propia herramienta, en el que cada prompt se lanza dos veces contra el modelo: una sin grounding, solo con lo que el modelo sabe de memoria, y otra con la herramienta de Google Search activada.

La muestra son 10.701 pares de respuestas de 3.503 prompts distintos y 119 webs seguidas, recogidos entre el 13 y el 18 de noviembre. El 62% de los pares está en inglés, el 26% no tiene idioma asignado y el 12% se reparte entre otros 16 idiomas, sin desglose del español. Las marcas se cuentan por su nombre normalizado en la plataforma, sin ningún modelo de lenguaje para puntuar. Petrovic descartó 1.741 pares que no pudo emparejar, probablemente porque el mismo prompt corrió desde dos ubicaciones.

El estudio no declara la temperatura, el nivel de razonamiento ni cómo se eligieron las 119 webs y los prompts, que son los que siguen los usuarios de su herramienta. Por la referencia a los resúmenes de razonamiento «that the Gemini API returns», las llamadas se hicieron por la API de Gemini, no en la interfaz de AI Mode.

Google Search aporta el 45% de las marcas de cada respuesta

De memoria, Hydrogen nombra de media 6,4 marcas por respuesta. Con Google Search activado nombra 7,5. De ellas, 4,1 ya estaban en la respuesta de memoria y 3,4 son nuevas, mientras que la búsqueda quita 2,3. En palabras de Petrovic, «search supplied 45% of the brands in each grounded answer (3.4 of 7.5), and only 1.8% of answer pairs are identical». Solo el 1,8% de los pares da exactamente la misma respuesta.

Barra con la media de marcas por par de prompts: 2,3 solo de memoria, 4,1 en ambas respuestas y 3,4 solo con búsqueda
Marcas por par de respuestas de Gemini 4 Hydrogen: solo de memoria (2,3), en las dos (4,1) y solo con Google Search (3,4). Fuente: DEJAN.

El titular original del post decía que Hydrogen «keeps 45%» de sus recomendaciones, y así lo recogió el resumen diario de Search Engine Roundtable del 19 de noviembre. DEJAN cambió después el título de la página a «Google Search changes almost half of Gemini's brand recommendations». El 45% es la parte de la respuesta que aporta la búsqueda, no la que se conserva. Con sus mismas cifras, de las 6,4 marcas de memoria se mantienen 4,1, un 64% (el cálculo es mío).

El orden también cambia. Solo el 39% de las marcas que se mantienen conservan la misma posición, aunque la primera marca de memoria sigue siendo la primera con búsqueda en el 65% de los pares.

El grounding corrige marcas renombradas y mueve los comparadores a fuentes

El caso más claro es ESPN BET, que aparece 226 veces de memoria y ninguna con búsqueda. Los resúmenes de razonamiento con búsqueda registran que la marca pasó a llamarse theScore Bet. Petrovic cuenta 26 marcas que salen al menos 20 veces de memoria y, con búsqueda, en un 10% de esas ocasiones o menos, y según los propios resúmenes 13 de ellas cambiaron de nombre o fueron compradas.

Los comparadores siguen otro camino. NerdWallet está entre las marcas que más desaparecen de la respuesta al activar la búsqueda, pero pasa a figurar entre las fuentes leídas, y Petrovic lo resume así: «Comparison sites move from the answer into the sources». En sentido contrario, una aseguradora estadounidense pasa de 88 a 340 apariciones y una marca de préstamos personales, de 112 a 326. El estudio no da sus nombres.

Seis pares de barras que comparan los resúmenes de razonamiento de memoria y con búsqueda: longitud, tokens, marcas nombradas y menciones de fechas y de verificación
Resúmenes de razonamiento de Gemini 4 Hydrogen de memoria (azul) y con Google Search (naranja). Fuente: DEJAN.

Los resúmenes de razonamiento cambian con la búsqueda. La longitud mediana pasa de 1.829 a 6.384 caracteres, las marcas que se nombran en el resumen de 9,2 a 16,3 y los resúmenes que mencionan fechas o «latest» del 11% al 88%. Petrovic recuerda que son una paráfrasis de Google, no el razonamiento real del modelo: «Thought summaries are Google's paraphrase of the model's reasoning, not the raw reasoning tokens».

En el 21% de los resúmenes con búsqueda aparecen expresiones como «simulated» o «mental search», aunque en casi todos esos casos el modelo sí hizo al menos una búsqueda real. En esos pasajes salen 70 marcas desfasadas que la búsqueda casi nunca devuelve, y solo 1 de las 70 llegó a la respuesta final.

Hydrogen sin búsqueda y el estudio paralelo de Seer con ChatGPT

El mismo día, DEJAN publicó una segunda prueba sobre su propia marca, con Hydrogen, Argon y Carbon y razonamiento bajo. En 10 listas sin herramientas, Hydrogen no nombró ninguno de los productos de DEJAN, Argon acertó dos y Carbon uno. Preguntado de memoria por la web de la agencia, Hydrogen empezó con «Based on the URL, it appears to be…», y con búsqueda los tres modelos la describieron bien. Es una sola marca, la del autor.

Seer Interactive publicó también el 18 de noviembre un estudio con 20 prompts reales lanzados el 4 de noviembre a GPT-6 Luna por la API de OpenAI, con razonamiento medio. Menos de 1 de cada 10 marcas se nombra antes de la primera búsqueda, el 59% aparece justo después de la primera ronda de búsquedas genéricas y las búsquedas con site: pasan del 13% de las consultas en la primera ronda al 75% en las siguientes. De las 10 marcas que el modelo marcó como prescindibles, solo 1 llegó a la respuesta. Seer avisa de que la API es «directional» respecto a lo que pasa en la app de ChatGPT.

Las dos pruebas miden la API, no el producto. Google ha confirmado que Hydrogen es el modelo de AI Mode, pero AI Mode tiene su propio fan-out, ubicación, personalización e instrucciones, así que las cifras de DEJAN no son las de AI Mode, y la muestra está sesgada hacia Estados Unidos y el inglés. DEJAN vende consultoría de visibilidad en IA y las herramientas con las que hizo el estudio. Que la respuesta cambie según quién pregunta y cómo ya se vio en Decir tu nivel de renta en el prompt cambia las marcas que recomienda la IA.