Publicado Por Fernando Tellado el 7 Sep, 2017

Normalmente buscarías justo lo contrario, cómo hacer que Google indexe tu sitio WordPress, y cuanto más arriba mejor ¿no?

Pero hay ocasiones en que no quieres que Google indexe tu web o blog, o que no indexe todo, o que no lo haga hasta que no hayas terminado tu web.

Por ejemplo, cuando creas un nuevo sitio, seguro que no quieres que Google indexe la entrada y página de prueba de toda instalación nueva de WordPress y empezar en sus índices compitiendo con contenido duplicado por otras miles de webs ¿verdad?

Está claro entonces que no siempre vas a querer que Google – y otros buscadores – indexen tu web, así que vamos a ver qué estrategias puedes aplicar para conseguirlo.

Que WordPress disuada a los buscadores

La primera opción, y más sencilla, es simplemente pasarte por tu escritorio y en Ajustes > Lectura, activar la casilla denominada Disuade a los motores de búsqueda de indexar este sitio.

Robots.txt virtual

Guarda los cambios y WordPress creará un archivo robots.txt virtual con la siguiente sintaxis:

Si no entiendes inglés o no conoces los comandos básicos de los archivos robots.txt, básicamente indica a todos (* es el símbolo comodín para indicar que afecta a todos) los «User-agent» (bots de los buscadores, navegadores, etc.) que no entre (Disallow) a la carpeta principal ni a nada de lo que haya bajo ella (con la barra / que define la carpeta raíz de tu instalación).

Y digo que es un archivo virtual porque si echas un vistazo a la carpeta raíz de tu instalación no verás físicamente ningún archivo llamado «robots.txt» pero si accedes a tudominio.es/robots.txt podrás ver su contenido aunque no exista físicamente.

Pero funcionar funciona igual, lo que los rastreadores buscan es la ruta, y ahí está, con las indicaciones de que no pase. Piensa en este archivo robots.txt como el segurata de tu web, que dice a todos que ahí no entren, que está cerrado.

Meta noindex

Ahora bien ¿impide eso que indexen tu web los rastreadores? No, para eso hacen falta las etiquetas meta noindex, y WordPress también las añade cuando marcas la casilla de marras.

Para una comprobación más exhaustiva, solo tienes que revisar el código fuente de tu web y comprobar que WordPress ha añadido la etiqueta meta noindex así:

Con este sencillo método, que tu WordPress incluye, le indicas dos cosas a los rastreadores:

1. No visites mi web
2. No indexes mi web

¿Hacen caso los rastreadores a WordPress?

La mayoría sí, al menos Google sí atiende educadamente a estas 2 indicaciones.

Robots.txt real

Por supuesto, da igual lo que tengas puesto en los ajustes de WordPress, puedes crear tú mismo el fichero robots.txt y añadirle las reglas de disallow manualmente.

También el plugin Yoast SEO tiene una página desde la que crear y editar el archivo robots.txt, en SEO > Herramientas > Editor de archivos.

Bloquea a los buscadores desde .htaccess

Hay varios modos de evitar que rastreadores, e incluso visitantes, visiten e indexen tu web WordPress usando el archivo de Apache .htaccess, situado en la carpeta raíz de tu instalación. Estos son los más interesantes…

Bloqueo por IP desde .htaccess

Simplemente añade unas líneas como estas, cambiando la IP de ejemplo por las tuyas:

Permitir acceso solo a wp-admin

Otro modo elegante es redirigir todo el tráfico automáticamente a /wp-admin, con lo que solo los usuarios ya registrados podrán ver el contenido, como harías con los plugins que existen para estas cosas, pero desde .htaccess.

Solo tienes que añadir estas líneas:

Si quieres sumar a estas reglas el truco anterior, y limitar también por IP el código sería algo así:

Cualquier visitante no deseado verá una preciosa página de error 403.

Bloqueo mediante .htpasswd

Los pasos para restringir acceso mediante un archivo .htpasswd son estos:

1. Crea un archivo nuevo llamado .htpasswd (no olvides el punto delante) en la carpeta raíz de tu instalación. Es importante que lo crees desde el editor de código del cPanel de tu hosting, luego verás porqué.
2. Añade las combinaciones de usuario/contraseña al archivo .htpasswd. Para ello usa esta herramienta online u otra para crearlas ya codificadas y las copias y pegas una vez generadas las líneas codificadas en tu archivo .htpasswd.
   

   

   Paso 1

   

   Paso 2

   
   
3. Guarda los cambios.
4. Añade un código como el siguiente (cambiando la ruta de tu archivo .htpasswd) al archivo .htaccess para que utilice el archivo .htpasswd.
   
   1 2 3 4

   AuthType Basic AuthName "Zona restringida" AuthUserFile /home/xxxx/public_html/midominio.es/.htpasswd Require valid-user

   
   Para saber la ruta completa de tu archivo .htpasswd mira en la URL del editor de código de tu cPanel cuando tengas abierto el archivo.
   

Una variación de este truco es usar la protección mediante archivo .htpasswd pero solo para el acceso a la administración de WordPress, que no es objeto de este artículo, pero ya que estamos que sepas que entonces el código a añadir en .htaccess sería más o menos así:

Al llegar a la ruta protegida mediante archivo .htpasswd el navegador mostrará una ventana emergente que solicitará al visitante – con una pantalla blanca de fondo – su usuario y contraseña, que deberán existir en el archivo .htpasswd.

Si los introduce bien ya verá la web, en caso contrario, al ser una restricción directa de servidor completa el usuario infractor que no sepa el usuario y contraseña accederá a un bonito Error 500.

Bloqueo desde cPanel del hosting

Una variación del procedimiento anterior es conseguir lo mismo pero a golpe de clic, desde el cPanel de tu proveedor de hosting.

Para ello solo tienes que abrir la utilidad de proteger directorios con contraseña, que en estas 2 capturas queda de sobra explicado ¿verdad?

1. Abres el protector de directorios con contraseña

2. Eliges la carpeta y le decides usuario y contraseña

Bloqueo con plugins

Hay algunos plugins con los que puedes ocultar e impedir el acceso a tu web, también a Google y otros buscadores, aquí tienes solo los que me son más de confianza:

• Members: Además de poder crear y modificar perfiles y capacidades de usuarios también tiene la opción de hacer privado tu sitio, la activas y punto, toda visita se redirige a la pantalla de acceso.
• My Private Site: Plugin muy específico para redirigir a cualquier intento de acceso a tu web, con la posibilidad de enviarlos a una página concreta o simplemente a la de acceso.

¿Sabes algún otro modo de evitar que Google u otros rastreadores indexen tu WordPress?

Te toca…