WordPress 5.3 cambiará el modo para evitar el indexado de los buscadores

Hace mucho que WordPress dispone de una funcionalidad para indicar a los buscadores que no indexen su contenido, por ejemplo mientras el sitio está aún en fase de desarrollo o creación de contenidos.

Es tán sencillo activarlo como ir a los «Ajustes > Lectura»  y activar la casilla que dice eso de «Disuade a los motores de búsqueda de indexar este sitio».

Cuando marcas esa casilla y guardas los cambios, WordPress crea un archivo robots.txt virtual con lo siguiente:

Que, según la sintaxis del propio Google, indica a todos los bots de los buscadores ( User-agent: *) que no indexen todo el contenido ( Disallow: /)

Pues bien, ese no es el mejor modo de no indexar contenidos de una web, y por ese motivo WordPress, en la versión 5.3, cambiará su modo de indicarle a los motores de búsqueda que no quieres que indexen tu web.

¿Por qué es mala idea usar el ‘disallow’ de robots.txt?

Pues para que se entienda bien vamos a ponernos un poco gramáticos, que no dramáticos

Porque una cosa es que te indexe un buscador y otra que te liste, en sus páginas de resultados, las famosas SERP.

Te lo resumo:

  • Indexado / Indexar
    El proceso de descargar el contenido de un sitio o una página al servidor del motor de búsqueda, añadiéndolo así a su «índice».
  • Catalogar / Listar / Mostrar
    Mostrar un sitio en las páginas de resultados de búsqueda (las SERPs).

Por lo tanto, aunque el proceso más habitual es que se pase de la indexación a la catalogación, un sitio no tiene que ser indexado para ser catalogado/listado en las SERP.

Si un enlace apunta a una página, a un dominio o a cualquier otro lugar, Google lo sigue, y si el archivo robots.txt de ese dominio impide la indexación de esa página por parte de un motor de búsqueda, seguirá mostrando la URL en los resultados si puede recopilar de otras variables que valga la pena examinar.

Si tienes motivos para evitar la indexación de tu web, añadir esa petición a la página específica que quieres bloquear, sigue siendo la forma correcta de hacerlo. Pero tendrás que informar a Google sobre esa etiqueta de meta robot.

Por lo tanto, si quieres ocultar eficazmente las páginas de los motores de búsqueda, necesitas indexar esas páginas, aunque pueda parecer contradictorio. Hay dos maneras de hacerlo…

Añade una etiqueta meta robots

La primera opción para evitar que tu página aparezca en la lista es utilizar las etiquetas meta para robots. Básicamente se reduce a añadir esta etiqueta a tu página:

Y no hace falta que andes modificando el código de cada página que no quieras indexar, con plugins SEO como Yoast es super fácil.

Si es una entrada o página completa lo tienes en la caja del plugin del editor, en la pestaña «Avanzado»:

Y si lo que quieres es no indexar un tipo de contenido completo, lo tienes en los ajustes de Yoast, en «SEO > Apariencia en el buscador > Tipos de contenido» :

En el ejemplo de la captura anterior hemos indicado que el tipo de contenido «Respuestas» no se indexe. Y puedes hacer lo mismo con las taxonomías.

El único «problema» con esta etiqueta meta es que tienes que añadirla a cada entrada/página/taxonomía que no quieras indexar, o a todo el tipo de contenido completo.

Añade una cabecera HTTP X-Robots-Tag

Para que el proceso de añadir la etiqueta meta robots en todas las páginas sea de un modo mucho más sencillo, los motores de búsqueda contemplan la posibilidad de que añadas una cabecera HTTP X-Robots-Tag.

Esto te permite especificar una cabecera HTTP llamada X-Robots-Tag y establecer el valor de cómo te gustaría que se aplique la etiqueta meta robots.

Lo mejor de todo es que puedes hacerlo para todo el sitio. El único requisito es usar el servidor Apache y que su módulo mod_headers esté activo (y casi siempre lo está).

Si cumples con esto simplemente añade lo siguiente a tu archivo .htaccess:

Y esto conseguirá que todo tu sitio pueda indexarse, pero que no se muestre en los resultados de búsqueda.

¿Qué va a hacer WordPress entonces?

Pues sencillo, a partir de la versión 5.3, cuando marques la casilla para disuadir a los motores de búsqueda, en vez de crear ese robots.txt virtual con el Disallow: /, añadirá la cabecera HTTP X-Robots-Tag que te he comentado antes.

Y lo hará añadiendo a tu archivo .htaccess algo así:

Nota final

Un pequeño pero importante recordatorio.

Al igual que con el robots.txt, acuérdate de que cuando tu sitio esté listo para su indexado y catalogación en las SERP, quitar la casilla de disuadir a los motores de búsqueda, que me lo encuentro más de lo razonable en webs de clientes y amigos.

VALORA Y COMPARTE ESTE ARTÍCULO PARA MEJORAR LA CALIDAD DEL BLOG…
(8 votos, promedio: 4.3)
¿Te gustó este artículo? ¡No sabes lo que te estás perdiendo en YouTube!

Autor: Fernando Tellado

Fernando Tellado, apasionado de WordPress, profesor, consultor y ponente. Maquero cansino, padre de tres hijos y de una perrita Beagle, Bilbaíno de nacimiento, Español de corazón y ciudadano de donde me quieran. Mi último libro es WordPress - La guía completa. Mi blog personal es Navegando con red, donde he crecido como escritor en la red y ofrezco mis visiones acerca de la Web 2.0 y la blogosfera. Sigue a @fernandot en Twitter

Comparte esta entrada en
468 ad

Centro de preferencias de privacidad

Cookies imprescindibles

Se usan para saber si ya aceptaste nuestras políticas, si ya estás suscrito a nuestra newsletter, para reconocer el estado de tu sesión si la tuvieses y para servir más rápidos los contenidos.

No se captura IPs ni siquiera para el servicio de Analytics así que tu visita es privada.

JSESSIONID, _cfuid, wpSGCachePypass, mailerlite, gdpr, gawp
mailerlite, _cfuid

Cookies de terceros

Usamos cookies de terceros con servicios, también garantes de tu privacidad, que analizan tus usos de navegación para que podamos mejorar los contenidos, si ya estás suscrito al boletín y los elementos compartidos en redes sociales y el formulario de comentarios.

1P_JAR, APISID, CONSENT, HPSID, NID, SAPISID, SID, SIDCC, SSID, disqus_unique, disqusauth
disqus_unique, disqusauth
1P_JAR, APISID, CONSENT, HPSID, NID, SAPISID, SID, SIDCC, SSID

Ir al contenido