Создание Robots.txt для разных роботов Google и Yandex
Разным роботам — разный Роботс.тхт
В продолжение всё той же темы файла Robots.txt в этой небольшой статье опишу, как можно задавать правила для отдельных роботов поисковых систем.
У каждого поисковика, на самом деле роботов этих довольно много, а если точнее — есть основной (для текстов) и все остальные.
Среди остальных существуют отдельные роботы для картинок, для контекстной рекламы и др.
Например, вот список роботов от Яндекса:
Роботы Яндекса
У Google список их чуть длиннее, посмотрите его на официальном сайте: https://support.google.com/webmasters/answer/1061943?hl=ru.
Создание Robots.txt для роботов Google и Яндекса
Собственно, всё просто. В знакомой нам директиве User-agent прописываем нужного робота.
Вообще, можно прописать 3 варианта:
- User-agent: * — обращаемся ко всем роботам всех поисковых систем
- User-agent: Yandex и User-agent: Googlebot — «говорим» со всеми роботами Яндекса и Гугла
- User-agent: YandexImages и Googlebot-Image — общаемся только с теми роботами Yandex и Google, которые имеют дело с индексацией картинок.
Вот и всё. Теперь, если, например, нам нужно запретить индексацию изображений (вдруг) какого-нибудь раздела сайта, но разрешить индексацию текстов, то при создании файла Robots.txt пишем так (пример для Яндекса):
User-agent: Yandex
Disallow:
User-agent: YandexImages
Disallow: /bad-images/
Если честно, не знаю, когда это может пригодиться. Но пример из практики у меня был связан с роботом Google AdSense — пришлось отдельно записать правила для него.
Например, если вы запретили какой-нибудь раздел сайта:
User-agent: *
Disallow: /bad-category/
а в сайдбаре (боковой колонке) у вас расположен блок AdSense, то в этом разделе сайта он отображён не будет. Чтобы разрешить показ рекламного блока, необходимо прописать в Robots.txt следующее:
User-agent: Mediapartners-Google
Allow: /bad-category/
Кстати, можно не беспокоиться, что такое произойдёт с блоками РСЯ. Если внимательно посмотреть на картинку выше, то можно заметить, что все роботы Яндекса имеют в своём названии префикс «Yandex» (чего не скажешь про роботов Гугла). Поэтому, указав один раз правило User-agent: Yandex, вы автоматически сделаете указания всем роботам Яндекса.
Таким образом, создавая Robots.txt для своих сайтов, используйте всё это
Как сделать картинку уникальной - много способов, 1 правильный и 1 разумный..., что это поможет. На самом деле, ни изменение формата (например, .jpg => .png), ни
Как улучшить поведенческие факторы ранжирования Яндекса и Google?Решил опять коснуться темы ПФ, тем более, что сейчас она как никогда акт...
Что такое Интентный поиск Яндекса? Хорошо это или плохо?..Что-то в последние несколько дней много всего написал про нововведения в пои...
Что такое кэш-память и история браузера. Как посмотреть-удалить историю, очистить и увеличить кэш браузера...Есть некоторые минусы в хранении содержимого кэша браузера. Дело в
Обзор партнерской программы MelbetPartners – заработок на ставках игроков.Если вы работаете некоторое время в сфере создания сайтов или арбитража, то...
Спасибо за содержательную статью! Очень много полезного почерпнула для себя! =)