Respuesta a: URL restringida por robots.txt

Inicio Foros WordPress General WordPress.org URL restringida por robots.txt Respuesta a: URL restringida por robots.txt

#25604

CalinSoft
Participante

cuales son las urls que te estan restringuiendo.

Por lo general el trabajo del robots.txt es restringuir contenido.
Con eso evitamos contenido duplicado comprendes?

ejemplo:
si no usaras tu robots txt google y otros buscadores indexarian estas 2 urls.

http://hipermegared.net/2009/09/09/robot-txt-restringue/

http://hipermegared.net/2009/09/09/robot-txt-restringue/trackback/

creando doble contenido por que los 2 son la misma entrada

pero si restringues el contenido Disallow: */trackback/

los buscadores solo indexaran
http://hipermegared.net/2009/09/09/robot-txt-restringue/
como deberia ser.

asi que no te sorprenda que en google webmasters aparezca eso. pero dale una chequeada que enlazes son asi te daras cuenta que esta restringuiendo de buena manera 😉

Saludos

Pin It on Pinterest

Ir al contenido