Robots.txt o no robots.txt

Inicio Foros WordPress SEO – SEM Robots.txt o no robots.txt

Etiquetado: ,

Este debate contiene 5 respuestas, tiene 5 mensajes y lo actualizó  LGrusin hace 7 años, 6 meses.

  • Autor
    Publicaciones
  • #16929

    josmurcia
    Participante

    <p>Hola, como andan ?<br />
    El dia de ayer instale el plugin XML-Sitemap, que supuestamente te genera el archivo robots.txt PERO en el log de errores del server, dice que no esta!</p>
    <p>Tengo la opcion habilitada de: </p>
    <p>Añadir la URL del sitemap al archivo robots.txt virtual<br />
    Se utiliza el archivo robots.txt virtual generado por WordPress. ¡NO debe existir un fichero real robots.txt dentro del directorio del blog!</p>
    <p>pero no veo donde esta el robots.txt :S</p>
    <p>Alguien puede darme una mano para comprender como es el tema ?
    </p>

  • #41265

    Myth
    Participante

    Buenas,

    Ayer me paso exactamente lo mismo que a ti, por lo que decidí crearlo yo en mi ordenador siguiendo este robots.txt que tiene muy buena pinta:

    http://sigt.net/archivo/robotstxt-para-wordpress.xhtml

    Lo subi a la raiz de la web y todo funciona perfecto, solo modifique la linea del sitemap poniendnole donde se ubica el mio y todo correcto

    Un saludo!

  • #42594

    lgarcia
    Participante

    El mejor plugin para esto es Robots-Meta, recordad que hay bastantes partes de nuestro blog que mejor no sean rastreadas por Google, por ejemplo:

    * El admin
    * Los resultados de busquedas
    * Los feeds
    * etc…

    para que no haya posibilidad de contenidos duplicados. Esto se gestiona genial con el plugin Robots Meta:

    http://wordpress.org/extend/plugins/robots-meta/

  • #50096

    juanec27
    Participante

    hola solo unas preguntas, si creo un robots.txt y mi sitio estara en un subdominio(la instalacion de wordpress)… pongo ese archivo (robots.txt) en raiz? o en donde tengo wordpress? y la otra seria, si bloqueo todo loq ue comience con /wp- los buscadores no encontraran mis entradas y mis paginas??? no quiero eso pero tampoco quiero que se indague por todo el /wp-

  • #50115

    LGrusin
    Miembro

    El archivo robots.txt va en el raiz del sitio que quieras controlar.

    Si tienes un subdominio pues irá en la raiz de ese subdominio, no en las carpetas de WordPress.

    si bloqueo todo loq que comience con /wp- los buscadores no encontraran mis entradas y mis paginas??? no quiero eso pero tampoco quiero que se indague por todo el /wp-

    En principio sólo son carpetas no posts ni páginas.

    Tal como dice [url=http://www.google.com/support/webmasters/bin/answer.py?hl=es&answer=156449]Google[/url]: “El archivo robots.txt solo es necesario si su sitio incluye contenido que no desea que los motores de búsqueda indexen”.

    Un saludo

  • #50160

    LGrusin
    Miembro

    Aquí hay un ejemplo de robots.txt para WordPress:

    [url=http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization]Search_Engine_Optimization_for_WordPress[/url]

    Un saludo

El foro ‘SEO – SEM’ está cerrado y no se permiten nuevos debates ni respuestas.

Pin It on Pinterest