Заголовок header X-Robots-Tag (noindex, nofollow, noarchive, nosnippet, unavailable_after) в Google

Заголовок header X-Robots-Tag (noindex, nofollow, noarchive, nosnippet, unavailable_after) Google

  X-Robots-Tag в Гугле

Думаю, данной небольшой статьёй я опишу последний способ запрета индексации страницы поисковым роботом. Правда, действует он только для роботов Google (возможно, и для Bing.com, но это пока не так интересно) и представляет из себя специальный серверный заголовок X-Robots-Tag.

Ранее я описывал следующие способы того, как запретить поисковикам индексировать страницу сайта:

  1. Использование и правильная настройка файла Robots.txt.
  2. Размещение мета-тега Meta name=robots.

Заголовок X-Robots-Tag во многом аналогичен мета-тегу (п.2), но отличается тем, что никто его не увидит в коде страницы, кроме роботов Google. Можно даже сказать, что и Гугл-роботы не увидят его, а скорее “почувствуют”, потому как в коде его нет вовсе.

С его помощью, например, можно закрыть от индексации в Google страницу, содержащую обратные ссылки на каталоги – это если вы “прогнали” свой сайт по каталогам, а те запросили обратную ссылку – и никто не увидит.

Как использовать header X-Robots-Tag?

Это обычный серверный заголовок, который технически задаётся аналогично остальным хедерам. В статье про 302-й редирект я описывал пример. Вот список заголовков X-Robots, которые учитывает Google:

  • noarchive, nosnippet – не показывать (в результатах поиска) сниппет и ссылку на кэш страницы сайта. Читайте подробнее о сниппетах.
  • noindex – запретить индексацию страницы Гуглом.
  • unavailable_after: 21 Dec 2012 23:23:00 GMT – сказать Гуглу, что документ будет не доступен после указанной даты.

Т.е. формат заголовка может быть, например, такой: X-Robots-Tag: noindex. Причём можно их комбинировать – сначала, к примеру, прописать заголовок noindex, а потом unavailable_after.

По официальным данным Google, это все значения данного хедера. Но в Интернет можно встретить комбинацию noindex,nofollow. Вполне возможно, она тоже действует, т.к. проверить это затруднительно.

Как записывать header X-Robots-Tag?

PHP-headers

На самом популярном языке веб-программирования (PHP) прописать этот заголовок на странице можно так:

<?php header(“X-Robots-Tag: noindex”); ?>

Естественно, как и все php-хедеры, данный код нужно вставить в самое начало веб-документа (чтобы до него не было ни текста, ни пробелов, ни переводов строк).

.htaccess

В этом конфигурационном файле сервера также можно прописать данный заголовок:

Header set X-Robots-Tag “noarchive, nosnippet”

Этим способом, в отличие от первого, можно “воздействовать” на .pdf, .doc и прочие “не интернетные” файлы, в которых никак не пропишешь код PHP, но которые хорошо индексируют поисковые роботы.

Повторюсь, что на данный момент заголовок X-Robots-Tag применим лишь к Гуглу. Не только ведь Яндексу иметь что-то уникальное (имею в виду тег Noindex). Должен же и Google выделиться.

web-ru.net - всё о продвижении сайтов
Случайные публикации:
  • Смайлы в комментариях WordPress - плагин Qip Smiles. УстановкаСмайлы в комментариях WordPress - плагин Qip Smiles. УстановкаВ продолжение предыдущей темы украшения WordPress комментариев (WP Commen...
  • MajesticSEO.com - теперь и на русском. MegaIndex - скоро на английском!MajesticSEO.com - теперь и на русском. MegaIndex - скоро на английском!...разу увидеть, какая из ссылок прописана с nofollow, какая из них является ссылкой-картинкой
  • Изображения в объявлениях рекламной сети ЯндексаИзображения в объявлениях рекламной сети Яндекса...щения картинок в объявлениях. Чего не скажешь, например, про Begun и
  • Как узнать, почему Яндекс не индексирует страницу сайта?Как узнать, почему Яндекс не индексирует страницу сайта?Однажды я рассказывал об инструменте "Проверить URL" от Яндекса. С...
  • Что интересного в Robots.txt для Google?Что интересного в Robots.txt для Google?...2 варианта. Удаление ненужных страниц из индекса вручную, оставляя "запреты" в
Оставьте комментарий:
Один отзыв
Через сайт Через ВКонтакте Через Facebook
  1. егор пишет:

    Как повысить идексацию блога ?

    Ответить
сайт web-ru.net
Я не спамлю...