He perdido la cuenta de las veces que audito una web y me encuentro con un archivo robots.txt lleno de restricciones innecesarias. Muchos webmasters piensan que limitando el rastreo de carpetas de diseño o scripts ahorran presupuesto de rastreo. La realidad es que tener recursos bloqueados googlebot es tirarte piedras contra tu propio tejado a nivel SEO.
Por qué Google necesita leer tu CSS y Javascript
Googlebot ya no lee el código fuente plano como hacía hace quince años. Se comporta como un usuario más y necesita renderizar la página por completo. Para pintar ese cuadro final con exactitud, el buscador exige acceso total a tus archivos Javascript, hojas de estilo CSS, imágenes y tipografías.
Imagina que bloqueas la carpeta donde guardas el CSS de tu diseño responsive. Cuando el robot rastree tu sitio, verá una versión desmaquetada, con textos solapados y enlaces diminutos. Automáticamente, interpretará que tu web ofrece una experiencia móvil desastrosa y te penalizará en los rankings de búsqueda.
El impacto real en tus posiciones
Las propias directrices de Google lo advierten claramente. Impedir el acceso al código que construye visualmente tu sitio afecta negativamente a tu posicionamiento. En mi experiencia con clientes, lo que mejor me ha funcionado para desatascar proyectos estancados es precisamente liberar estos archivos.
 (1).jpg)
He visto webs que empezaron a crecer de forma orgánica pocos días después de limpiar un robots.txt restrictivo. Si el robot no puede evaluar el contenido porque un JS bloqueado impide que se muestre correctamente, esa información directamente no existe para el buscador.
Cómo auditar los bloqueos paso a paso
Detectar este problema es más fácil de lo que parece si sabes dónde mirar. Mi rutina de trabajo suele apoyarse en dos herramientas que tienes a tu alcance.
- Google Search Console: Usa la herramienta de inspección de URLs. Introduce una dirección de tu sitio y haz clic en probar la URL publicada. A la derecha, en la pestaña de errores, verás una lista exacta de los recursos que el robot no ha podido cargar por culpa del robots.txt.
- Screaming Frog: Es mi opción favorita para hacer pruebas seguras. Utilizo su probador de robots.txt para introducir las URLs de los recursos bloqueados. Ahí mismo añado directivas Allow temporales para comprobar si solucionan el problema antes de pasarle las instrucciones definitivas al equipo de programación.
Revisa hoy mismo si estás ocultando partes de tu web a los rastreadores. Permitir que Google vea tu sitio exactamente igual que tus clientes es el primer paso para ganar visibilidad.
Preguntas frecuentes
¿Cómo afecta al SEO tener recursos bloqueados a Googlebot?
Impide que Google renderice la página correctamente. Si bloqueas el CSS o JS, el buscador puede interpretar que tu web no está adaptada para móviles y bajar tus posiciones.
¿Dónde puedo comprobar si estoy bloqueando archivos CSS o Javascript?
Puedes usar la herramienta de inspección de URLs en Google Search Console. Al probar la URL publicada, la plataforma te mostrará una lista con todos los recursos que no se han podido cargar.
¿Es buena idea bloquear carpetas de plugins en el robots.txt?
No, es una mala práctica si esos plugins generan código visual o funcional para la página. Googlebot necesita acceder a todos los recursos que construyen el diseño final que ve el usuario.