Что такое мета-тег Robots (meta name robots)? 7 основных вариантов + варианты для GoogleBot

мета-тег Robots meta name

  Указания поисковому роботу

При проведении SEO-оптимизации страниц сайта, иногда нужно изменить поведение поискового робота на конкретной странице. Например, запретить ему индексировать её содержание. Или же индексацию разрешить, но не позволять ему переходить по ссылкам. Сделать это можно при помощи специального мета-тега meta name robots.

«Способ применения» данного тега несколько отличается от использования файла Robots.txt — в данном файле можно дать указания поисковому роботу сразу для всего сайта, используя специальные регулярные выражения (подробнее — в этом видеоуроке).

Но если вы хотите скрыть от поисковиков определённую страницу и не прописывать её в Robots.txt (чтобы вообще никто о ней не знал), то лучше прописать на самой странице данный мета-тег.

Что такое мета-тег Robots и как его использовать?

Это один из многочисленных тегов, используемых для сообщения роботам и/или браузерам т.н. метаданных (т.е. информации об информации). Среди самых известных и часто используемых:

Что прописывать в тег robots?

Выглядит он так: <meta name=»robots» content=»…» />. Вместо многоточия может быть 7 основных вариантов. Каждый вариант — это комбинации специальных указаний index/noindex и follow/nofollow, а также archive/noarchive:

  1. index, follow. Это сообщает поисковикам о том, что нужно произвести индексацию данной страницы (index), а также следовать (follow) по ссылкам, которые есть на странице.
  2. all. Аналогично предыдущему пункту.
  3. noindex,follow или просто noindex. Запрещает индексировать данную страницу, но разрешает роботу переходить по ссылкам, расположенным на ней.
  4. index,nofollow или просто nofollow. Запрещает переходить по ссылкам, но разрешает индексировать страницу — т.е. содержимое страницы будет отправлено в поисковый индекс, но другие страницы, на которые стоят ссылки, в индекс не попадут (при условии, что робот иными способами до них не доберётся).
  5. noindex, nofollow. Указание не индексировать документ и не переходить по ссылкам, содержащимся в нём.
  6. none. Аналогично предыдущему пункту.
  7. noarchive. Данное указание запрещает показывать ссылку на сохранённую копию страницы в результатах выдачи:

    Сохранённая копия страницы в Яндекс

      Ссылка на сохранённую копию страницы в Яндексе

Если мета-тег Robots не указан, то принимается значение по умолчанию: <meta name=»robots» content=»index, follow,archive» />.

То же самое происходит, если на странице указано несколько этих тегов.

Все вышеперечисленные варианты понимаются большинством поисковых систем и, в частности, Яндексом. Google тоже хорошо распознаёт эти комбинации, но также вводит кое что ещё:

  • Вместо name=robots можно указать name=googlebot — «обращение» конкретно к роботу Google.
  • content=nosnippet (запрещает показывать сниппеты в поисковой выдаче) и content=noodp (запрещает брать содержимое сниппетов из описания сайта в каталоге DMOZ).
  • content=noimageindex. При поиске по картинкам запрещает отображение ссылки на источник картинки.
  • content=unavailable_after:[date]. В качестве date следует указать дату и время, после которой Гугл перестанет индексировать эту страницу. Едва ли это когда-нибудь пригодится :).

В общем, Google несколько расширяет содержимое мета-тега Robots.

Куда прописывать meta name robots?

Традиционно, все  мета-теги прописываются между <head> и </head> в HTML-коде страницы.

В WordPress они легко выставляются при помощи популярного плагина All in One Seo Pack:

All in One Seo Pack - meta robots

  Мета Robots в All in One Seo Pack

Таким образом, если вам необходимо «спрятать» определённую страницу от поисковых роботов — используйте данный мета-тег.

1 Star2 Stars3 Stars4 Stars5 Stars (1 оценок, среднее: 5,00 из 5)
Loading...

Случайные публикации:
  • Яндекс и шокирующие тизеры-баннеры в 2014.. Реальный пример с ухудшением ранжированияЯндекс и шокирующие тизеры-баннеры в 2014.. Реальный пример с ухудшением ранжирования...диеты), где рекламируются, в основном, одни лишь офферы CPA-сетей связанные с похудением,
  • Что такое бан в поисковых системах? Как его избежать?Что такое бан в поисковых системах? Как его избежать?В процессе продвижения сайта, как я уже писал в нескольких предыдущ...
  • Как проверить спрос на информацию в разное время года и определить сезонность запроса?Как проверить спрос на информацию в разное время года и определить сезонность запроса?В статье о сезонном трафике я упомянул об инструменте Google, позволяющ...
  • Смешные рекламные объявления в Интернете. Часть IСмешные рекламные объявления в Интернете. Часть IРанее я уже делал пару подборок со смешными поисковыми запросами: Часть I Ч...
  • Как сменить кодировку файла? Notepad++ редактор с подсветкой синтаксиса, кодировка Utf-8 без BOMКак сменить кодировку файла? Notepad++ редактор с подсветкой синтаксиса, кодировка Utf-8 без BOM...обще не будут. Поэтому так важно, чтобы все файлы шаблонов WP были сохранены в
Оставьте комментарий:
Я не спамлю...