## robots.txt para tu blog en WordPress.## Usar bajo propia responsabilidad, que nos conocemos }:)# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml## Primero el contenido adjunto.Sitemap: /sitemap.xmlUser-agent: *Disallow: /wp-content/cache/Disallow: /wp-content/themes/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-login.php Disallow: wp-app.phpDisallow: wp-atom.phpDisallow: wp-blog-header.phpDisallow: wp-comments-post.phpDisallow: wp-config-sample.phpDisallow: wp-config.phpDisallow: wp-cron.phpDisallow: wp-feed.phpDisallow: wp-login.phpDisallow: wp-links-opml.phpDisallow: wp-mail.phpDisallow: wp-pass.phpDisallow: wp-rdf.phpDisallow: wp-register.phpDisallow: wp-rss.phpDisallow: wp-rss2.phpDisallow: wp-settings.phpDisallow: wp-trackback.phpDisallow: xmlrpc.php## Permitimos el feed general para Google Blogsearch.## Impedimos que permalink/feed/ sea indexado ya que el# feed con los comentarios suele posicionarse en lugar de# la entrada y desorienta a los usuarios.## Lo mismo con URLs terminadas en /trackback/ que sólo# sirven como Trackback URI (y son contenido duplicado).#Allow: /feed/$Disallow: /feedDisallow: /comments/feedDisallow: /*/feed/$Disallow: /*/feed/rss/$Disallow: /*/trackback/$Disallow: /*/*/feed/$Disallow: /*/*/feed/rss/$Disallow: /*/*/trackback/$Disallow: /*/*/*/feed/$Disallow: /*/*/*/feed/rss/$Disallow: /*/*/*/trackback/$## A partir de aquí es opcional pero recomendado.## Lista de bots que suelen respetar el robots.txt pero rara# vez hacen un buen uso del sitio y abusan bastante…# Añadir al gusto del consumidor…User-agent: MSIECrawlerDisallow: /User-agent: WebCopierDisallow: /User-agent: HTTrackDisallow: /User-agent: Microsoft.URL.ControlDisallow: /User-agent: libwwwDisallow: /## Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen# idas de pinza, toca decirles que reduzcan la marcha.# El valor es en segundos y podéis dejarlo bajo e ir# subiendo hasta el punto óptimo.#User-agent: noxtrumbotCrawl-delay: 50User-agent: msnbotCrawl-delay: 30User-agent: SlurpCrawl-delay: 10# BEGIN XML-SITEMAP-PLUGINSitemap: http://www.seguridadwordpress.es/sitemap.xml# END XML-SITEMAP-PLUGIN