Seguramente has recibido en tu correo electrónico un correo de las Herramientas para Webmaster de Google, ahora llamada Google Search Console, que te avisa que «El robot de Google no puede acceder a los archivos CSS y JS de «, y claro, el susto es morrocotudo, no digamos si tienes varios sitios y has recibido unos cuantos mensajes de estos ¿verdad? Y sino los recibirás.
Pues bien, todo tiene su explicación, y sobre todo solución.
Índice de contenidos
¿Por qué a Google le importan los archivos CSS y JS?
Es bien conocido por todos que lo que de verdad importa de una web es el contenido, entonces ¿a qué viene este interés repentino de Google por los archivos CSS y JS?
El caso es que, aunque Google es capaz de rastrear adecuadamente tu web sin cargar CSS y, sobre todo, sin necesidad de revisar cada JavaScript, la realidad es que cada vez se utiliza más CSS y plugins JavaScript que también gestionan y muestran contenido, no digamos para visualizaciones desde dispositivos móviles.
Además, Google gusta de analizar la «calidad» de las webs y su visualización para el usuario final, motivo por el cual también le importa, no solo el contenido en sí, sino también cómo se visualizará tu web de cara al usuario, y por ese motivo quiere tener «la foto completa» de tu web, y eso incluye el CSS y el JavaScript.
Es más ¿te suena algo la importancia de ofrecer tu web adaptada a móviles? pues eso.
¿Entendido?
¿Por qué Google no puede acceder a los archivos CSS y JS?
Sencillo, culpa tuya seguramente. Me explico …
Históricamente, las reglas recomendadas para el fichero robots.txt, ese que indica a Google qué rastrear y qué no, incluían el bloqueo de las carpetas internas de WordPress, aquellas que no tienen contenido sino que son de utilidad para el CMS. Lógicamente me refiero a wp-admin y wp-includes.
De este modo, el fichero robots.txt típico y básico de una instalación Wordpress suele ser una cosa así:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Y está bien bloquear la carpeta wp-admin ya que es como el sistema operativo de WordPress que gestiona la zona de administración, y ahí no hay nada que interese a Google y no debe aparecer en los resultados de búsqueda, pero no así la carpeta wp-includes pues ahí residen los ficheros JavaScript que contribuyen al renderizado de tu web, y su contenido.
En los avisos que se han estado recibiendo desde ayer la mayoría de los errores son de JS, pues no es tan habitual bloquear archivos CSS, pero hay que revisarlo todo.
Es más, no solo debes revisar las webs sobre las que hayas recibido avisos sino sobre todas las que tengas, para evitar errores de rastreo de Google.
¿Cómo hago para que Google pueda acceder a los archivos CSS y JS?
Lo primero es hacer caso al email de Google (más o menos) y pasarte por la Google Search Console para realizar estos 3 pasos:
- Revisar los recursos bloqueados
- Modificar el fichero robots.txt para que deje de bloquearlos
- Explorar, procesar y validar tu web desde el apartado «Explorar como Google» de la Search Console
¿Lo vemos?
1. Revisar los recursos bloqueados
Administra la web afectada – o no – y pásate por la sección denominada Índice de Google -> Recursos bloqueados. Ahí verás un gráfico y una lista de las páginas bloqueadas.
En la lista verás un poco de todo, pero debes centrarte en las URLs que apunten directamente a tu sitio web y hacer clic en esa línea para comprobar qué páginas estás bloqueado de tu sitio.
Solo te queda hacer clic en cualquiera de ellas para que Google te muestre qué acciones debes realizar, y en este caso, de las 3 opciones que te ofrece, debes ir directamente a la tercera, al Probador de robots.txt para comprobar qué estás bloqueando.
En la herramienta, situada en el menú Rastreo -> Probador de robots.txt de la Google Search Console, verás tu actual fichero robots.txt y convenientemente marcadas en rojo o amarillo los errores y advertencias. En este caso lo normal es encontrarse un error bien gordo en rojo que apunta a la carpeta /wp-includes/, que tu ya sabes que es de WordPress.
¿Cómo desbloqueo las páginas con errores? Pues vamos al segundo paso …
2. Modificar el fichero robots.txt para que deje de bloquearlos
Para eliminar los bloqueos obviamente tenemos que modificar el fichero robots.txt y tenemos varias maneras de hacerlo.
2.1 Modificar el fichero robots.txt manualmente
Si no tienes miedo a modificar archivos de tu servidor simplemente accede desde tu panel de alojamiento o mediante FTP y edita manualmente el archivos robots.txt que encontrarás en la carpeta raíz de tu sitio. Simplemente elimina la línea que bloquee los CSS y JS, normalmente esa que dice:
Disallow: /wp-includes/
Guardas los cambios y ya está.
2.2 Modificar el fichero robots.txt con plugins
Si prefieres usar plugins puedes ayudarte de un par de ellos. Por un lado está uno especializado llamado WP Robots.txt, que simplemente añade un editor de este archivo para que añadas o quites reglas a tu gusto. Creo que no hacer falta decirte qué tienes que quitar ¿no?
Guardas los cambios y arreando.
La otra posibilidad, que es la que casi seguro vas a utilizar, es valerte de la herramienta de editor de ficheros de plugins de SEO como All in one SEO Pack o Yoast SEO, que seguramente tendrás ya instalados. En este caso el proceso es el siguiente:
Modificar robots.txt con All in one SEO Pack:
- Activas los módulos de Robots.txt y File Editor desde el menú Feature manager si no lo estuvieran ya.
- Accedes al File editor y eliminas la línea que esté provocando los errores y guardas los cambios.
Modificar robots.txt con Yoast SEO:
- Vas a Herramientas -> Editor de archivos
- Si no tienes ya un fichero creado, o Yoast no lo detecta, le das al botón para crearlo
- Modificas el archivo eliminando lo que está bloqueando a Google y guardas los cambios
En realidad es fácil. Luego solo comprueba que tu fichero robots.txt se ha guardado correctamente accediendo a .
3. Explorar, procesar y validar tu web desde el apartado «Explorar como Google» de la Search Console
Hecho todo lo anterior solo queda validar tu web, pero antes no está de más comprobar que Google ya no muestra errores relacionados con el fichero robots.txt.
Para ello volveremos a la Google Search Console y nos pasamos por la sección Rastreo -> Probador de robots.txt para ver si ya se muestra el nuevo fichero y no hay errores. Puede que tarde un poco así que no te asustes si en un primer acceso no te muestra el nuevo.
Cuando ya tengamos la certeza de que no hay errores vamos al citado paso final de Explorar como Google para procesar y validar nuestra web.
La página en cuestión está en Rastreo -> Explorar como Google, y el proceso es el siguiente:
- Pulsamos el botón Obtener (o el de Obtener y procesar) para que Google explore nuestra web. Esto debemos hacerlo para cada una de las opciones del desplegable que hay justo antes del enorme botón rojo de Obtener, que son:
- Escritorio
- Móvil: smartphone
- Googlebot-Mobile: XHTML-WML
- Googlebot-Mobile: cHTML
- Esperamos unos segundos a que se realice el proceso en el listado inferior y pulsamos el botón que aparecerá denominado Enviar al índice.
Debes tener en cuenta que Google Search Console te permite solo 10 envíos al índice al mes así que no te emociones con esta herramienta.
Nada más, y nada menos. Con estos sencillos pasos Google ya podrá rastrear correctamente tu web. Eso sí, como te he dicho antes, no esperes a recibir un email de Google de estos para hacer la comprobación.
¿Que no usas aún la Google Search Console? pues ya estás tardando. No solo te permite comprobar y mejorar el SEO de tu web sino que te avisa de estos errores y otros muchos, algunos incluso relacionados con WordPress.
Hala, comparte esto para que otros también sepan como hacerlo y tira zumbando a la Google Search Console.
¿Te gustó este artículo? ¡Ni te imaginas lo que te estás perdiendo en YouTube!
AVISO: Esta publicación es de hace 3 años o más. Si es un código o un plugin podría no funcionar en las últimas versiones de WordPress, y si es una noticia podría estar ya obsoleta. Luego no digas que no te hemos avisado. ¡Ah! ¿te funciona? pues entonces no he dicho nada :)
Gracias por la info Fernando. Tengo una consulta, por favor ayúdame con lo siguiente:
Cuando ingreso a recursos bloqueados, tengo varios archivos CSS y JS bloqueados, específicamente los de las carpetas /wp-content/plugins/ y /wp-content/themes/.
¿Debo quitar del robots.txt la línea que corresponde a wp-content?
Muchas gracias por tu tiempo.
Si claro. Eso no compromete tu seguridad y si tu posicionamiento para Google.
Eso si, deberías aprovechar y bloquear los fake crawlers
Muchas gracias Fernando,
¿tienes un ejemplo de cómo debería estar estructurado un archivo robots.txt si utilizamos Wordpress?
Salvando lo del wp-includes, este es muy bueno:
https://ayudawp.com/robotstxt-perfecto-para-wordpress/
…y el Disallow: /wp-content/themes/
Para los móviles, no?
Por si le sirve a alguien, sí hay casos que afectan a wp-admin. Yo personalmente me niego a corregir lo que el señor bot de Google me pide por lo siguiente: sólo tengo bloqueado el directorio wp-admin, pero WordFence hace uso de wp-admin/admin-ajax.php (como muchos otros plugins), y es el único error que me señala Google en su informe. La carga de este archivo no influye en nada en el renderizado del website, así que no veo necesaria ninguna accíón. Sé que obedecer el robots.txt es al final una cuestion de cortesía y los bots malignos del infierno se lo pasan por el forro, pero aún así me niego, que parece que tenemos que andar dando saltitos cada vez que estos tienen una ocurrencia.
Me pasa lo mismo con un plugin de newsletter; la gran duda es si pasar por el aro y desactivar (que no lo uso casi nunca) u obviar la advertencia.
Una pregunta, ¿y con Magento? Gracias!
Pues no lo he probado porque no tengo ninguna instalación de WordPress pero pásate por la Search Console a ver que te dice
Gracias por su artículo Fernando! Muy interesante. Lo aplico y le cuento si tengo algunas dudas.
Gracias por compartir.
¿Y los que usamos el plugin XML Sitemap Generator? Una de sus opciones es
Añadir la URL del sitemap al archivo robots.txt virtual
Se utiliza el archivo robots.txt virtual generado por
WordPress. ¡NO debe existir un fichero real robots.txt dentro del
directorio del blog!
¿Desmarcamos esta opción y creamos el correspondiente robots.txt?
Un saludo.
Muchísimas gracias Fernando.
Ya he aplicado los cambios y Google me ha marcado que el archivo robots.txt esta permitido.
Por lo que estoy seguro que ya no tengo que preocuparme más por esto.
Hola Fernando,
Quería añadir una pequeña apreciación a tu explicación. Aunque es verdad que wp-admin en muchos casos se podrá bloquear, hay otros tantos que no. El motivo es que hay themes y plugins que usan wp-ajax que se encuentra en wp-admin
Aunque en un plincipio no debería afectar a la carga de la web y su visualización (responsive), cara a Google, hay una cosa que no puede cargar y te está mandando todo el día el mensajito quejándose que no puede cargar todo.
Solo era comentarlo por si hay gente que sigue con el problema y no sabe donde encontrarlo.
Saludos
No lo niego, habrá veces en que será interesante bloquearlo igualmente. Al final todo es decisión del usuario hacer caso a Google o no.
Hola Fernando estas disponible para hacerte una pregunta
Por ahí ando ¿es offtopic?
Es para saber si has logrado resolver el problema de que Wordpress se come los y los en los saltos de línea
No veo los códigos que metes, lo siento 🙁
Excelente articulo @fernandot:disqus . comento que ami todo me anda de maravillas en todos los sitios
Saludos
Buenos días Fernando
A ver si me puedes ayudar con un sabio consejo
Tengo unos shrotcode para traducir con Google páginas de mi web y no me había dado cuenta que este servicio dejó de ser gratuito.
De repente me encuentro con un montón de mis páginas bloqueadas por supongo que al no estar dado de alta en el servicio.
Mi primera opción es quitar la traducción automática de la página eliminado los shrotcode y entiendo que debo notificar por search console algo.
¿me puedes confirmar si el platanteamiento es correcto? Gracias ¡¡¡
Un fiel seguidos de AyudaWordPress