Создание Robots.txt для разных роботов Google и Yandex

Robots.txt для Google и Yandex

  Разным роботам – разный Роботс.тхт

В продолжение всё той же темы файла Robots.txt в этой небольшой статье опишу, как можно задавать правила для отдельных роботов поисковых систем.

У каждого поисковика, на самом деле роботов этих довольно много, а если точнее – есть основной (для текстов) и все остальные.

Среди остальных существуют отдельные роботы для картинок, для контекстной рекламы и др.

Например, вот список роботов от Яндекса:

Роботы Яндекса

  Роботы Яндекса

У Google список их чуть длиннее, посмотрите его на официальном сайте: https://support.google.com/webmasters/answer/1061943?hl=ru.

Создание Robots.txt для роботов Google и Яндекса

Собственно, всё просто. В знакомой нам директиве User-agent прописываем нужного робота.

Вообще, можно прописать 3 варианта:

  1. User-agent: * – обращаемся ко всем роботам всех поисковых систем
  2. User-agent: Yandex и User-agent: Googlebot – “говорим” со всеми роботами Яндекса и Гугла
  3. User-agent: YandexImages и Googlebot-Image – общаемся только с теми роботами Yandex и Google, которые имеют дело с индексацией картинок.

Вот и всё. Теперь, если, например, нам нужно запретить индексацию изображений (вдруг) какого-нибудь раздела сайта, но разрешить индексацию текстов, то при создании файла Robots.txt пишем так (пример для Яндекса):

User-agent: Yandex

Disallow:

User-agent: YandexImages

Disallow: /bad-images/

Если честно, не знаю, когда это может пригодиться. Но пример из практики у меня был связан с роботом Google AdSense – пришлось отдельно записать правила для него.

Например, если вы запретили какой-нибудь раздел сайта:

User-agent: *

Disallow: /bad-category/

а в сайдбаре (боковой колонке) у вас расположен блок AdSense, то в этом разделе сайта он отображён не будет. Чтобы разрешить показ рекламного блока, необходимо прописать  в Robots.txt следующее:

User-agent: Mediapartners-Google

Allow: /bad-category/

Кстати, можно не беспокоиться, что такое произойдёт с блоками РСЯ. Если внимательно посмотреть на картинку выше, то можно заметить, что все роботы Яндекса имеют в своём названии префикс “Yandex” (чего не скажешь про роботов Гугла). Поэтому, указав один раз правило User-agent: Yandex, вы автоматически сделаете указания всем роботам Яндекса.

Таким образом, создавая Robots.txt для своих сайтов, используйте всё это ;).

web-ru.net - всё о продвижении сайтов
Случайные публикации:
  • Что такое файл Robots.txt? Настройка, спецсимволы и директивы Allow/Disallow, Sitemap, Host, User-agentЧто такое файл Robots.txt? Настройка, спецсимволы и директивы Allow/Disallow, Sitemap, Host, User-agentПри SEO-оптимизации сайта кроме обычного наполнения страниц к...
  • Как проверить апдейт выдачи и тИЦ Яндекса? Очень простой и удобный сервисКак проверить апдейт выдачи и тИЦ Яндекса? Очень простой и удобный сервис...реть - нет ли изменений. Например, сегодня они есть: Если
  • Что такое SEO оптимизация сайта и продвижение в поисковых системах. Чёрно-бело-серое СЕОЧто такое SEO оптимизация сайта и продвижение в поисковых системах. Чёрно-бело-серое СЕОВ нескольких предыдущих статьях я уже упоминал термин SEO, сейч...
  • WordPress комментарии и их настройкаWordPress комментарии и их настройкаВ предыдущей статье написал про быстрое изменение размеров Граватара в Word...
  • Как сменить кодировку файла? Notepad++ редактор с подсветкой синтаксиса, кодировка Utf-8 без BOMКак сменить кодировку файла? Notepad++ редактор с подсветкой синтаксиса, кодировка Utf-8 без BOM...вашего сайта (напр., WordPress). Почему? Потому что все файлы WP по
Оставьте комментарий:
Один отзыв
Через сайт Через ВКонтакте Через Facebook
  1. seo russia пишет:

    Спасибо за содержательную статью! Очень много полезного почерпнула для себя! =)

    Ответить
сайт web-ru.net
Я не спамлю...