Мой robots.txt для wordpress

30 Мар 2010

Я намеренно не пишу правильный, в правильности 100% я не уверена. Я пишу – проверено Яндексом. Все что дОлжно по моему мнению быть закрыто – закрыто. Поправки рассмотрю с удовольствием, только мотивированные: почему что-то еще надо закрыть, а что-то наоборот.

Кто не знает зачем robots.txt нужен – может идти и курить спецресурсы. И Гугль.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /xmlrpc
Disallow: /wp-login
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments
Host: dnx.su

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /xmlrpc
Disallow: /wp-login
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments

robotstxt

  • Сначала индивидуальные директивы – потом все остальные,
  • Директива host, для облегчения понимания между сайтом и зеркальщиком и как альтернатива 301 редиректу, с которым я ввиду прирожденной рыжести, граничащей с блондиночностью дружу не очень.
Версия для печати Версия для печати

12 комментариев

Avatar

softlend

Март 31st, 2010, 10:13 дп

А можно утянуть этот пост к себе в блог ? На правах копи-паста. Ссылку на dnx.su обязательно поставлю..

[Ответить]

admin

Март 31st, 2010, 10:54 дп

Не возражамс!

[Ответить]

Avatar

6yka

Апрель 2nd, 2010, 9:50 пп

у меня почти идентично
главное позакрывать всякое гэ

[Ответить]

Avatar

Я поставил Wordpress – Lis`енкин Blog – SEO, SMO, траффик, блоговодство.

Июнь 11th, 2010, 6:58 пп

[...] только загрузить правильный robots.txt для WordPress, и можно заливать контент и запихивать в Сапу начинать [...]

Avatar

evgenij-krauze

Декабрь 15th, 2010, 6:26 пп

Сайтемап можно указать еще.

[Ответить]

Lis`ена

Декабрь 15th, 2010, 6:30 пп

Это скорее как доп. рекомендация ИМХО, т.к на WP настроить самообновляющуюся xml не каждый сможет (я например не смогу), а новую кидать после каждого обновления ну или хоть раз в неделю не каждый станет.
Хотя для блогов с постоянным контентом – можно.

[Ответить]

флеш игры

Январь 13th, 2011, 11:52 дп

Всё таки директиву Host: прописать стоило бы!
Установить и настроить плагин Google XML Sitemaps, который сам обновляет сайтмэп и забыть про него!

[Ответить]

Lis`ена

Январь 13th, 2011, 12:49 пп

Вообще хост это для зеркальщика директива, она там уже указана. За дополнение с указанием плагина – спасибо

флеш игры

Январь 13th, 2011, 1:24 пп

Я прошу прощения! ))) Видимо когда печатал задумался о чём то и вместо директивы Sitemap: написал Host:

Avatar

флеш игры

Январь 13th, 2011, 11:55 дп

Кстати по поводу строчек:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Можно было бы проще сделать:
Allow: /wp-content/uploads
Disallow: /wp-content

И не париться, что что-то лишнее проиндексируется! :)

[Ответить]

Lis`ена

Январь 13th, 2011, 12:50 пп

Мне сама директива “ALLOW” несимпатична. Некорректная она, ИМХО

[Ответить]

флеш игры

Январь 13th, 2011, 1:39 пп

Зато есть уверенность, что из папки /wp-content/ кроме нужных аплоадов ничего не проиндексируется :)

[Ответить]

Оставить комментарий


Lis`енкин блог - блог об интернетиках и работе в интернетиках. О способах заработать, не идя на серьзные сделки с совестью - преимущественно белых и пушистых. Никаких дорвеев, адалта и фармы, только чистенькие методики для аккуратненьких СДЛ-чиков. Или желающих такими казаться говносайтах под саппппу.
     

    Блогун - реклама в блогах.
     
    Advego.ru - система покупки и продажи контента для сайтов, форумов и блогов