Как удалить страницу из поиска Яндекса или Google? 5 способов

Обычно при поисковом продвижении сайта все стараются как можно быстрее «загнать» документ в индекс поисковика. Но бывает и так, что в поиске оказывается совсем не нужная страница. Например, с какими-либо конфиденциальными данными или с устаревшим содержанием.

Кроме того, если при создании сайта вы не настроили файл Роботс.тхт, то в поиске Гугла, Yandex и других ПС могут оказаться страницы-дубли. Особенно характерно это для блогов на WordPress. Данная CMS традиционно создаёт множество документов с идентичным контентом.

Если «нехорошие» страницы попали в поисковую выдачу, то нужно произвести их удаление. На данный момент сделать это можно 5-ю способами, причём 5-й не подействует без первых 4-х.

Как удалить страницу из Яндекса

1-й способ — сделать так, чтобы данной страницы вообще не было на сайте. Тогда поисковик, при последующем к ней обращении, выкинет её из своего индекса.

Это просто осуществить, если страницы физические, а не динамические. Если они динамические (т.е. генерируются сервером — как на большинстве современных движков), то фактически их нет, поэтому и удалять нечего. В данном случае необходимо, чтобы при обращении к этой странице сервер выдавал бы т.н. код 404 (Not Found):

HTTP/xx 404 Not Found

Большинство современных CMS (в том числе, и WordPress) делают это корректно для удалённых страниц.

Такой код сообщает поисковому роботу, что документ отсутствует и надо выкинуть его из индекса.

Стоит сразу добавить, что удаляются страницы из Яндекса не так быстро, как хотелось бы. Обычно происходит это за 1 и более обновлений выдачи. Нужно подождать.

2-й способ — обнаружив, что ненужные документы попали в SERP, необходимо проверить файл Robots.txt и запретить эти документы к индексации (директивой Disallow или Clean-param). Со временем ПС удалит их из поиска.

3-й способ — добавить в код «нежелательных» документов мета-тег Robots. Как это делать почитайте в статье про meta name robots.

Как удалить страницу из индекса Гугла

Для Google подходят все 3 вышеперечисленных способа.

4-й способ — дополнительно для данного поисковика можно использовать специальный HTTP-заголовок X-Robots-Tag. Суть этого метода в том, что в HTML-коде документа нет следов о том, что изменён характер его обхода поисковым роботом.

X-Robots-Tag представляет из себя обычный заголовок, который на PHP можно задать так (в данной статье не буду подробно расписывать про этот метод):

< ?php header ( "X-Robots-Tag: noindex, nofollow", true); ? >

— такая запись аналогична простановке в HTML-коде документа мета-тега meta name=»robots» content=»noindex,nofollow».

Обратите внимание, что этот приём действует только для Гугла (возможно, ещё Bing и кого-то ещё). Удалить страницу из Яндекса таким способом не получится!

Ну и 5-й способ — исключение страниц из поиска Yandex b Google через специальные сервисы самих ПС.

Только что «свалилось» видео по теме от Гугла (25 июня):

Как я и писал выше, данный способ подействует лишь при выполнении одного из 4-х условий, указанных выше. Иначе конкуренты удаляли бы страницы сайтов друг друга:

В Google аналогичная операция производится в аккаунте вебмастера — https://www.google.com/webmasters/tools/. Для этого слева выбираем «Оптимизация — Удалить Url-адреса«:

и создаём новый запрос:

Удаление ссылок из индекса Гугла происходит гораздо быстрее, нежели из Яндекса. Там обычно всё быстрее.. Можно ознакомиться также с официальным руководством о продвижении сайта в Google.

Ну а вообще, чтобы не приходилось проделывать все эти действия, лучше сразу продумать, какие разделы и отдельные страницы сайта закрыть от индексации, а какие — оставить роботам.