Заголовок header X-Robots-Tag (noindex, nofollow, noarchive, nosnippet, unavailable_after) в Google
X-Robots-Tag в Гугле
Думаю, данной небольшой статьёй я опишу последний способ запрета индексации страницы поисковым роботом. Правда, действует он только для роботов Google (возможно, и для Bing.com, но это пока не так интересно) и представляет из себя специальный серверный заголовок X-Robots-Tag.
Ранее я описывал следующие способы того, как запретить поисковикам индексировать страницу сайта:
- Использование и правильная настройка файла Robots.txt.
- Размещение мета-тега Meta name=robots.
Заголовок X-Robots-Tag во многом аналогичен мета-тегу (п.2), но отличается тем, что никто его не увидит в коде страницы, кроме роботов Google. Можно даже сказать, что и Гугл-роботы не увидят его, а скорее «почувствуют», потому как в коде его нет вовсе.
С его помощью, например, можно закрыть от индексации в Google страницу, содержащую обратные ссылки на каталоги — это если вы «прогнали» свой сайт по каталогам, а те запросили обратную ссылку — и никто не увидит.
Как использовать header X-Robots-Tag?
Это обычный серверный заголовок, который технически задаётся аналогично остальным хедерам. В статье про 302-й редирект я описывал пример. Вот список заголовков X-Robots, которые учитывает Google:
- noarchive, nosnippet — не показывать (в результатах поиска) сниппет и ссылку на кэш страницы сайта. Читайте подробнее о сниппетах.
- noindex — запретить индексацию страницы Гуглом.
- unavailable_after: 21 Dec 2012 23:23:00 GMT — сказать Гуглу, что документ будет не доступен после указанной даты.
Т.е. формат заголовка может быть, например, такой: X-Robots-Tag: noindex. Причём можно их комбинировать — сначала, к примеру, прописать заголовок noindex, а потом unavailable_after.
По официальным данным Google, это все значения данного хедера. Но в Интернет можно встретить комбинацию noindex,nofollow. Вполне возможно, она тоже действует, т.к. проверить это затруднительно.
Как записывать header X-Robots-Tag?
PHP-headers
На самом популярном языке веб-программирования (PHP) прописать этот заголовок на странице можно так:
<?php header(«X-Robots-Tag: noindex»); ?>
Естественно, как и все php-хедеры, данный код нужно вставить в самое начало веб-документа (чтобы до него не было ни текста, ни пробелов, ни переводов строк).
.htaccess
В этом конфигурационном файле сервера также можно прописать данный заголовок:
Header set X-Robots-Tag «noarchive, nosnippet»
Этим способом, в отличие от первого, можно «воздействовать» на .pdf, .doc и прочие «не интернетные» файлы, в которых никак не пропишешь код PHP, но которые хорошо индексируют поисковые роботы.
Повторюсь, что на данный момент заголовок X-Robots-Tag применим лишь к Гуглу. Не только ведь Яндексу иметь что-то уникальное (имею в виду тег Noindex). Должен же и Google выделиться.
Как улучшить продвижение сайта в социальных сетях?Процесс SMM - (Social Media Marketing), т.е. продвижения сайтов в социальных...
Используем базы ключевых слов Пастухова для сбора семантики...всё основывается, этим всё продолжается... в общем, вы знаете ;). Наиболее популярные
Возрастные ограничения в контекстной рекламе Яндекса и Бегуна.....по достижении которого можно кликать на эту рекламу ;). Вот как это
Bombadeal – автоматический арбитраж, подходящий для всех – от новичка до профи....ности ваших вложений. Благодаря тому, что вся ваша работа идет в одной
Зачем нужен Dropbox и как он помогает в интернет-бизнесе?Эта статья, конечно же, не о том, что такое сервис Dropbox. Но недавн...
Как повысить идексацию блога ?