URL restringida por robots.txt

Inicio Foros WordPress General WordPress.org URL restringida por robots.txt

Etiquetado: , ,

Este debate contiene 4 respuestas, tiene 2 mensajes y lo actualizó  Micke hace 9 años, 10 meses.

  • Autor
    Publicaciones
  • #11939

    Micke
    Participante

    <p>Hola, hace unos instantes ingreso al panel de las Herramientas para webmaster de Google y me topo con este increíble mensaje: URL restringida por robots.txt 343</p>
    <p>Me quiero morir :D literalmente, el Robots.txt que utilizo dice lo siguiente:</p>
    <p>

    Quote:
    User-agent: *<br />
    Disallow: /cgi-bin/<br />
    Disallow: /wp-admin/<br />
    Disallow: /wp-includes/<br />
    Disallow: /wp-content/plugins/<br />
    Disallow: /wp-content/themes/</p>
    <p>Disallow: /?s=<br />
    Disallow: /?ref=<br />
    Disallow: /*?jal_no_js=true&amp;poll_id=*</p>
    <p>Disallow: /page/*<br />
    Disallow: */trackback/<br />
    Disallow: */feed/</p>
    <p># BEGIN XML-SITEMAP-PLUGIN<br />
    Sitemap: http://hipermegared.net/sitemap.xml<br />
    # END XML-SITEMAP-PLUGIN

    </p>
    <p>Porfavor denme una mano para ver cual es el problema.
    </p>

  • #25604

    CalinSoft
    Participante

    cuales son las urls que te estan restringuiendo.

    Por lo general el trabajo del robots.txt es restringuir contenido.
    Con eso evitamos contenido duplicado comprendes?

    ejemplo:
    si no usaras tu robots txt google y otros buscadores indexarian estas 2 urls.

    http://hipermegared.net/2009/09/09/robot-txt-restringue/

    http://hipermegared.net/2009/09/09/robot-txt-restringue/trackback/

    creando doble contenido por que los 2 son la misma entrada

    pero si restringues el contenido Disallow: */trackback/

    los buscadores solo indexaran
    http://hipermegared.net/2009/09/09/robot-txt-restringue/
    como deberia ser.

    asi que no te sorprenda que en google webmasters aparezca eso. pero dale una chequeada que enlazes son asi te daras cuenta que esta restringuiendo de buena manera 😉

    Saludos

  • #25606

    Micke
    Participante

    ejemplo de url restingidas:

    http://hipermegared.net/2008/02/10/tu-antivirus-te-protege/
    http://hipermegared.net/2008/02/10/tu-antivirus-te-protege/trackback/

    Por lo visto restringe la url del tema y su trackback, pero hay url en las que no restringe el trackback, como por ejemplo:

    Eliminando el virus AMVO.exe, AVPO.exe y KAVO.exe de tu PC

    Ese tema recibe muchas visitas al día por parte de Google, si ponen [b]AMVO[/b] en los términos de búsqueda, mi blog aparece o debería aparecerles entre los primeros 10.

    Entonces, si la url esta restringida, por que aun sale en el indice, como dato adicional las url supuestamente han sido restringidas desde el 25 de este mes, osea hace 3 dias que se detecto el problema por parte de la herramienta de webmaster de Google.

  • #25610

    CalinSoft
    Participante

    Claro no siempre va restringuir el trackback solo cuando es usado, es como decir si nadie te hace ping no tiene por que aparece el trackback indexado.

    Otra cosa como que te restringuio la url de la noticia eso es raro por que no tienes un condicional para que raro… pero si se ve en google :s estara fallando tambien el feedburner esta fallando…

  • #25612

    Micke
    Participante

    pues la verdad no se, supuestamente las entradas han sido restringidas desde el 24/01/2009 pero en google aun siguen, y son mas de 350 las entradas restringidas pero siguen entrando al blog desde google a cada instante.

    Me tiene un poco desconcertado ya que como te mostre en el ejemplo del tema del virus AMVO, este supuestamente esta restringido pero aun sale en los resultados de google.

    Intentare cambiar algunas cosas en el archivo robots.txt

El foro ‘General WordPress.org’ está cerrado y no se permiten nuevos debates ni respuestas.

Pin It on Pinterest

Ir al contenido