En mi trayectoria gestionando proyectos SEO, he visto demasiados errores técnicos derivados de no entender cómo Google interactúa con un servidor. El User Agent es, sencillamente, la carta de presentación de un rastreador. Cuando Googlebot llega a tu web, se identifica con un nombre y una IP. Si no controlas esta identificación, es imposible auditar si Google realmente está viendo lo que quieres que vea.
Qué es un User Agent y cómo diferenciar tokens de cadenas
Un User Agent es la cadena de texto que un bot utiliza para identificarse ante tu servidor. Es vital distinguir entre el token y la cadena completa. El token es el nombre corto, como 'Googlebot', que utilizas para dar instrucciones específicas en tu archivo robots.txt. La cadena completa, en cambio, es ese párrafo largo que verás en tus logs, cargado de información técnica sobre la versión del navegador, el sistema operativo y el motor de renderizado que usa el bot.
Lo que me ha funcionado siempre para no cometer errores es recordar que el token es para las reglas de acceso, mientras que la cadena completa es la que debes buscar en tus logs para analizar el comportamiento real.
 (1).jpg)
Cómo identificar y validar el rastreador
Es muy sencillo falsificar un User Agent. En el inspector de Chrome, puedes cambiar las condiciones de red y navegar como si fueras Googlebot. Sin embargo, esto es solo una simulación. He visto a muchos clientes caer en la trampa de creer que, al ver su web 'como Google', el trabajo está hecho.
Para saber si realmente es Google quien te rastrea, debes validar la IP. No te fíes solo del nombre que declara el bot. Lo que mejor me ha funcionado es:
- Realizar un análisis de DNS inversa para verificar la IP.
- Comparar la IP que realiza la petición con la lista oficial de rangos de IPs que Google publica.
- Utilizar herramientas de logs, como Screaming Frog Log Analyzer, que automatizan este proceso de validación y te marcan inmediatamente si el bot es legítimo o un intento de suplantación.
Recuerda: Googlebot no siempre rastrea desde la misma ubicación, aunque gran parte de su actividad provenga de Estados Unidos. Si bloqueas por completo las IPs de EE. UU. en tu servidor, podrías estar limitando tu capacidad de rastreo sin darte cuenta.
Preguntas frecuentes
¿Cómo puedo simular que soy Googlebot?
Puedes usar la función 'Network conditions' dentro del inspector de Chrome para cambiar tu User Agent a Googlebot, aunque esto solo simula el comportamiento visual, no la autenticidad del rastreador.
¿Basta con que el bot diga que es Googlebot en sus logs?
No, cualquiera puede falsificar esa cadena. Debes validar la dirección IP mediante una consulta DNS inversa o comparándola con la lista oficial de rangos de IPs de Google.
¿Por qué es peligroso bloquear el User Agent en el robots.txt sin más?
El robots.txt no es un método de desindexación. Si bloqueas al bot ahí pero la URL recibe enlaces, Google podría indexar la página sin mostrar título ni descripción, lo cual es una pésima señal para el SEO.