admin
Не возражамс!
[Ответить]
Я намеренно не пишу правильный, в правильности 100% я не уверена. Я пишу – проверено Яндексом. Все что дОлжно по моему мнению быть закрыто – закрыто. Поправки рассмотрю с удовольствием, только мотивированные: почему что-то еще надо закрыть, а что-то наоборот.
Кто не знает зачем robots.txt нужен – может идти и курить спецресурсы. И Гугль.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /xmlrpc
Disallow: /wp-login
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments
Host: dnx.suUser-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /xmlrpc
Disallow: /wp-login
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments

Версия для печати
А можно утянуть этот пост к себе в блог ? На правах копи-паста. Ссылку на dnx.su обязательно поставлю..
[Ответить]
Я поставил Wordpress – Lis`енкин Blog – SEO, SMO, траффик, блоговодство.
[...] только загрузить правильный robots.txt для WordPress, и можно заливать контент и запихивать в Сапу начинать [...]
Сайтемап можно указать еще.
[Ответить]
Это скорее как доп. рекомендация ИМХО, т.к на WP настроить самообновляющуюся xml не каждый сможет (я например не смогу), а новую кидать после каждого обновления ну или хоть раз в неделю не каждый станет.
Хотя для блогов с постоянным контентом – можно.
[Ответить]
Всё таки директиву Host: прописать стоило бы!
Установить и настроить плагин Google XML Sitemaps, который сам обновляет сайтмэп и забыть про него!
[Ответить]
Вообще хост это для зеркальщика директива, она там уже указана. За дополнение с указанием плагина – спасибо
Я прошу прощения! ))) Видимо когда печатал задумался о чём то и вместо директивы Sitemap: написал Host:
Кстати по поводу строчек:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Можно было бы проще сделать:
Allow: /wp-content/uploads
Disallow: /wp-content
И не париться, что что-то лишнее проиндексируется!
[Ответить]