Идеальный robots.txt для wordpress.

Каждый лишний плагин это дополнительные миллисекунды времени на генерацию страницы и килобайты оперативной памяти сервера. Лучше этого избегать.

Ответить комментатору

Интересно было бы измерить реальное потребление плагином серверных и временных ресурсов. Может быть было бы не плохо рассматривать ресурсоемкость плагинов, как одну из их характеристик? Если, конечно, эта ресурсоемкость вообще стоит внимания. Не будет ли это аналогично попытке сэкономить электроэнергию путем НЕиспользования лампочки в туалете.

Но в данном случае, применение такого robots.txt вместо плагина видится вполне оправданным. Прописать команды в robots.txt не сложно и не долго. А когда над этими командами поработал профессионал, то даже нужно.

Ответить комментатору

Бухгалтерский блог Reply:
февраля 6, 2009 at 15:41

Господа, все понятно конечно…
1. первая треть списка — все грамотно!
2. вторая вызывает вопрос — если запрещать индексацию страниц, комментариев, потока и ключевых слов, тогда зачем вообще вести блог?
3. третья часть — все правильно, только есть смысл добавить еще
Disallow: /?xid=

для более полной защиты от XSS-атак.

Ответить комментатору

hawot Reply:
февраля 8, 2009 at 10:38

Вторая часть приведенного robots.txt исключает дублированный контент. Но вопросы есть конечно.
«Disallow: /?xid=» это интересно, надо обязательно разобраться и попробовать где то. Спасибо за наводку на тему.

Ответить комментатору

WordPress сам по себе очень ресурсоемкий. Плюс плагины. Спасают только плагины кеширования.

Ответить комментатору

hawot Reply:
февраля 5, 2009 at 14:16

Для кеширования wordpress блога стоит WP Super Cache. Но по ставил его скорее по рекомендации, чем по необходимости. Но возможно я заблуждаюсь. Думаю будет не лишним проверить скорость работы блога с кеширующим плагином и без него.

Ответить комментатору

Андрей, у тебя не хватает плагина Subscibe to Comments.

Ответить комментатору

hawot Reply:
февраля 5, 2009 at 14:29

Денис, спасибо за совет. Сомневался в необходимости плагина Subscibe to Comments здесь. Теперь обязательно поставлю.
И пожалую следует поставить плагин делающий древовидные комментарии.

Ответить комментатору

hawot Reply:
февраля 5, 2009 at 23:55

Поставил и плагин подписки на комментарии и плагин делающий древовидные комментарии. Выглядит интересно.

Ответить комментатору

Этот robots написан для User-agent: YandexBlog.
А чем отличается для просто User-agent: Yandex ?

И почему нет строк
Disallow: /*?*
Disallow: /*?
которые рекомендуют, в т.ч. на оф. сайте WP?
(Хотя понятно, что у кого-то могут стоять и скрипты помимо WP, требующие индексации урлов со знаком ?).

Некоторые сообщают о приличном трафе с SE на /comments/

Также рекомендуют прописывать
Host: domen.ru чтобы исключить коллизии доменов с www. и без.

Ответить комментатору

hawot Reply:
марта 2, 2009 at 0:11

Приведенный robots.txt позволяет индексировать весь блог роботу YandexBlog. Это две первые строчки. А вот остальные строчки запрещают всем остальным роботам индексировать некоторые разделы.

По поводу закрытия комментариев: у wordpressа страница статьи: «http://blogodom.ru/sape-pered/» и страница комментариев: «http://blogodom.ru/sape-pered/#comments» содержат оди и тот-же контент. Т.е. текст статьи и комментарии к ней. Достаточно индексировать что-то одно.

Ответить комментатору

Спасибо за полезные советы. Я воспользовался Вашими рекомендациями. Спасибо, что помогли мне.

Ответить комментатору

hawot Reply:
марта 1, 2009 at 23:58

Рад, что информация оказалась полезной. Если будут какие-то дополнения по результаты работы robots.txt — пишите, высказывайтесь.

Ответить комментатору

Вопрос: как закрыть зеркало site.com, сохранив http://www.site.com и subdomain.site.com ?
Мне это нужно для Рамблера, Яндекс вроде сам разобрался.
Просто в самом начале лоханулся и немного попиарил site.com, а потом понял, что именно для этого сайта лучше http://www.site.com.

По поводу comments. Вижу, на разных блогах они по-разному сделаны: у кого-то как отдельный каталог смотрятся, а у кого-то просто как якорь # внутри (мой случай). Ясно, что якорь нрадо закрывать, а вот с каталогами фиг знает.
Возможно, они там изолированно от поста смотрятся, поэтому и рекомендация такая.

Ответить комментатору

hawot Reply:
марта 2, 2009 at 12:57

посмотри здесь: http://help.rambler.ru/article.html?s=221&id=327
Директива Disallow: /dir/ закрывает от робота именно каталог dir. Директива Disallow: /dir закрывает от робота все страницы, имя которых начинается с dir. Обрати внимание на слеш после dir в первом варианте.
Может быть все-таки такой вариант подойдет:
User-agent: StackRambler
Disallow: /site.com

Что «фиг знает» — это точно :) потому и советуемся, и проверяем.

Ответить комментатору

А вот у меня такая проблема:
1 акт) Cайт на WP, в выдаче были ссылки вида */page/6/*, а не на сами посты */nazvanie-posta/*. Посоветовали внести в роботс.тхт:
Disallow: /page*
Помогло.

2 акт) Добавил сайт в сапу, и такое чувство (гы:)), что она индексирует содержание только первой страницы, а дальше не идет.

Вопрос: есть идеи, что покрутить, чтоб и в выдаче осталось все ок и сапа пошла вглубь сайта?..

Ответить комментатору

hawot Reply:
апреля 16, 2009 at 16:17

по акту 1: */page/6/* — это , скорее всего, ссылка на страницу навигации, ту что создает плагин WP-PageNavi. В принципе правильно посоветовали.

по акту 2: Да, так и есть. Закрытые robots.txt страницы сапа не индексирует. И потом, они же не индексируются поисковиком, а такие страницы сапа не принимает, даже если и увидит их.

У меня есть сайты и с “правильным” robots.txt, и без него. По правде говоря, особой разницы в отношении поисковиков к ним не заметил. Может мало экспериментировал.

Ответить комментатору

Спасибо, как раз копаюсь в теме. А зачем нужна эта строка: Disallow: /?feed= ?

Ответить комментатору

hawot Reply:
августа 18, 2009 at 14:29

Эта строка нужна для закрытия дублированного контента. Для некоторых блогов она лишняя, но и не мешает.

Но теперь есть тег rel=»canonical» — http://blogodom.ru/kanonicheskie-url/. Вот только как к нему относится Яндекс пока не понятно.

Ответить комментатору

Странно, я не заметил у себя на блоге такой конструкции ссылки. А тэг новый, это как с ноуфолоу, пока яндекс не скажет свое веское слово, толку 0 целых. :)

Ответить комментатору

hawot Reply:
августа 18, 2009 at 14:56

К сожалению Яндекс не отличается проворностью… Проходится подбирать для него свои конструкции.
Но повторюсь — так для себя и не понял в необходимости закрытия дублированного контента для яндекса. Есть блоги где все красиво с дублированным контентом и robots и которые все равно нелюбимы яндексом.

Ответить комментатору

А, если кому-то интересно как я решил свою проблему (8 коммент).

Я на главной вывел список из последних постов:
wp_get_archives(‘type=postbypost&limit=30′);
И сапа прекрасно все скушала.

Если глаза сильно мусолит можно убрать до следующей переиндексации.

Ответить комментатору

hawot Reply:
августа 18, 2009 at 14:52

то есть на первой странице список из 30 последних постов? Ну почему бы и нет. А чтобы не мозолило глаза можно просто убрать в низ сайд бара. Я сам всегда проставляю список последних постов, да и на блогах всегда на него обращаю внимание. Нормальное решение, так мы увеличиваем количество страниц 2-го уровня.

Ответить комментатору

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /goto/
Disallow: /demo/
Host: http://www.название.ru
Это самый лучший))

Ответить комментатору

Спасибо за файл, но почему только для яндекса, гугл тоже подойдёт

Ответить комментатору

Вот выдержка с сайта яндекс-помощи:
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву ‘Allow’. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с ‘/cgi-bin’

Вот фрагмент robotc.txt Гугла:
Disallow: /news
Allow: /news/directory

Дирректива allow используется следующим образом: директива Disallow: /wp-content (без слеша в конце) запрещает все что находится в wp-content со всеми под директориями. Директива Allow: /wp-content/uploads/ отменяет запрет именно на поддиректорию uploads.

Ну как то так :)

Ответить комментатору