Robots.txt perfecto para WordPress

Muchisimas gracias voy a usarlo! saludos

Buen articulo, me lo guardo porque es muy interesante pero una pregunta…

si tengo el blog alojado en un subdominio…ejemplo http://www.midominio.com/blog como funciona el robots.txt seria algo así?

Disallow: /blog/wp-

Disallow: /blog/?s=

Disallow: /blog/search

Allow: /blog/feed/$

Disallow: /blog/feed

Disallow: /blog/comments/feed

Disallow: /blog/*/feed/$

Disallow: /blog/*/feed/rss/$

Disallow: /blog/*/trackback/$

Disallow: /blog/*/*/feed/$

Disallow: /blog/*/*/feed/rss/$

Disallow: /blog/*/*/trackback/$

Disallow: /blog/*/*/*/feed/$

Disallow: /blog/*/*/*/feed/rss/$

Disallow: /blog/*/*/*/trackback/$

User-agent: MSIECrawler

Disallow: /

User-agent: WebCopier

Disallow: /

User-agent: HTTrack

Disallow: /

User-agent: Microsoft.URL.Control

Disallow: /

User-agent: libwww

Disallow: /

User-agent: noxtrumbot

Crawl-delay: 50

User-agent: msnbot

Crawl-delay: 30

User-agent: Slurp

Crawl-delay: 10

Hola chicos quisiera saber si antes del 1 » / » tengo que poner algun escrito, me refiero a todo el contenido robots txt:

# robots.txt para tu blog en WordPress.## Usar bajo propia responsabilidad, que nos conocemos }:)# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml## Primero el contenido adjunto.User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-content/themes/Disallow: /wp-includes/Disallow: /wp-admin/# También podemos desindexar todo lo que empiece# por wp-. Es lo mismo que los Disallow de arriba pero# incluye cosas como wp-rss.phpDisallow: /wp-## Sitemap permitido, búsquedas no.#Sitemap: http://tu-web/sitemap.xmlDisallow: /?s=Disallow: /search## Permitimos el feed general para Google Blogsearch.## Impedimos que permalink/feed/ sea indexado ya que el# feed con los comentarios suele posicionarse en lugar de# la entrada y desorienta a los usuarios.## Lo mismo con URLs terminadas en /trackback/ que sólo# sirven como Trackback URI (y son contenido duplicado).#Allow: /feed/$Disallow: /feedDisallow: /comments/feedDisallow: /*/feed/$Disallow: /*/feed/rss/$Disallow: /*/trackback/$Disallow: /*/*/feed/$Disallow: /*/*/feed/rss/$Disallow: /*/*/trackback/$Disallow: /*/*/*/feed/$Disallow: /*/*/*/feed/rss/$Disallow: /*/*/*/trackback/$## A partir de aquí es opcional pero recomendado.## Lista de bots que suelen respetar el robots.txt pero rara# vez hacen un buen uso del sitio y abusan bastante…# Añadir al gusto del consumidor…User-agent: MSIECrawlerDisallow: /User-agent: WebCopierDisallow: /User-agent: HTTrackDisallow: /User-agent: Microsoft.URL.ControlDisallow: /User-agent: libwwwDisallow: /## Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen# idas de pinza, toca decirles que reduzcan la marcha.# El valor es en segundos y podéis dejarlo bajo e ir# subiendo hasta el punto óptimo.#User-agent: noxtrumbotCrawl-delay: 50User-agent: msnbotCrawl-delay: 30User-agent: SlurpCrawl-delay: 10 

Una pregunta Javier: ¿No podría ser que el "Disallow: /*.php$" impida que se indexen bien las páginas en php? Bueno en realidad los ficheros de WP están dentro del theme, pero como no entiendo mucho he optado por preguntártelo.

Gracias de antemano.

Hola Fernando! Felicidades por el blog! es de gran ayuda!!
Te quería hacer una pregunta en mi web tengo puesto este robots.txt:

User-agent: *
Sitemap:

Disallow: /wp-login
Disallow: /wp-admin
Disallow: //wp-includes/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /author/
Disallow: /*/page/
Disallow: /*/feed/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /page/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*/*/*/feed.xml
Disallow: /?attachment_id*

pero en mi sitemap veo que se indexan muchas cosas que no tendrían q salir y me a surgido la duda si estaba bien o no.
Si me puedes ayudar te lo agradecería mucho.
Mil gracias,