Денис Болтиков ищет идеальный robots.txt для wordpress. На своем блоге Денис выкладывает уже не первый вариант robots.txt.

Приведу его здесь. Чтобы самому не забыть и Вам показать. Этот robots.txt, с некоторыми изменениями, был применен и на этом блоге. Посмотрим какие изменения в индексации блога повлечет за собой его использование.

User-agent: YandexBlog
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://domain/sitemap.xml


Я не со всеми командами этого robots.txt согласен. А некоторые из них с успехом заменяются плагинами. Но кому то ( в том числе и мне) использование для таких целей robots.txt кажется более удобным и правильным.
_
Блог создается из отдельных элементов: темы, плагины, файлы… Так же, как любое строение, включает в себя отдельные стройматериалы: профнастил, забор и другие.