9 причин: почему Яндекс не индексирует сайт и что делать в этом случае?

Яндекс не индексирует сайт

  Почему плохо с индексацией в Яндексе?

Эта заметка посвящена разбору ответов на вопросы по индексации Яндексом страниц сайта. Вопросов весьма много, но все они похожи. Думаю, данная статья и будет ответом на все из них.

Как правило, подобные вопросы приходят от новичков в таком виде: Яндекс не индексирует страницы кроме главной, а с Google всё в порядке — почему, что делать?

Вообще, прежде чем беспокоиться, нужно знать следующее: Яндекс (за редким исключением) всегда всё индексирует медленнее Google.

Так что если вы недавно создали свой первый сайт, отправили его в инструменты вебмастера Yandex и Google и в Гугле всё проиндексировалось быстро, а в Яндексе какие-то задержки — нужно просто подождать. Обычно до месяца, в среднем — 2 недели.

Теперь рассмотрим более тяжёлые случаи. Рассматриваются, прежде всего, «белые и хорошие» веб-ресурсы, не попавшие под фильтры, санкции поисковиков, а недавно созданные, но имеющие проблемы с индексацией Яндексом.

Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)

1) Robots.txt

Не закрыт ли вход на ваш сайт — посмотрите подробный материал про файл Robots.txt. Вероятность того, что вход поисковым роботам закрыт «случайно» близка к нулю, но всё-таки проверить можно.

2) Тег <noindex>

Тег <noindex>какой-нибудь код<noindex> используется для того, чтобы какой-нибудь код не попал в индекс Яндекса. На некоторых веб-ресурсах бывает ошибка: где-нибудь в шапке сайта этот <noindex> открыли, а закрыть забыли :). В результате весь код страницы получается «спрятанным» от робота.

3) Язык сайта

Всё-таки Yandex ориентирован больше на Рунет, поэтому могут быть проблемы с индексацией, если язык вашего сайта отличен от языков стран СНГ. Но даже если и так, то следует обратиться в Службу поддержки вебмастеров.

Если и Яндекс, и Google и другие ПС сайт не индексируют

В дополнение к предыдущему. Если замечаете, что есть какие-то проблемы и с другими ПС, то следует кое-что проверить.

4) Мета-тег Robots

Если вдруг на странице есть что-нибудь такое: <meta name=»robots» content=»noindex,nofollow»>, то такая страница не будет индексироваться. Смотрите подробнее о мета-теге Robots.

5) Кривая HTML-разметка

Если нарушена вложенность тегов, например, есть что-то такое: <div><p>текст</div></p> то у поисковых роботов могут возникнуть проблемы с разбором содержимого страницы. В результате страница или не проиндексируется вовсе, или будет ухудшено её ранжирование.

6) Время загрузки сайта

У всех поисковых роботов есть лимит по обращениям к веб-страницам. Если после нескольких обращений страница не отреагировала, то робот так и не узнает, что же нужно было поместить в свой индекс.

Это не значит, что для успешной индексации необходима загрузка страниц за доли секунды, но хотя бы 4 секунды — уже хорошо. Посмотрите, как проверить скорость загрузки страниц сайта.

На время загрузки сайта влияет также качество хостинга. Если с вашим хостингом не всё в порядке — посмотрите универсальную инструкцию по переезду на новый хостинг.

7) Ошибки сервера с кодом 4xx и 5xx

Прежде всего, это ошибка 500 — внутренняя ошибка сервера. Её возникновение связано, опять же, с качеством хостинга, а также с корректностью серверных скриптов на сайте.

Ну и ошибка 404 (страница не найдена) для существующих на самом деле страниц. Бывает и такое: страница есть, всё с ней нормально, но выдаёт она код 404. Поэтому поисковый робот (думая, что её нет) не индексирует её.

Для справки — посмотрите здесь какой должна быть страница 404.

8 ) Не настроена склейка домена с www и без www

Это не всегда вызывает проблемы, но лучше бы, чтоб ваш веб-ресурс открывался по однозначному адресу — одно из двух

  • http://site.ru
  • http://www.site.ru

Для Яндекса настроить всё это можно в файле Robots.txt или указать главное зеркало в панели вебмастера. Но лучший вариант — правильно настроить 301-й редирект в файле .htaccess. Уже готовый файл .htaccess есть в 3-м уроке этого СЕО-курса.

9) Самое неприятное — домен с «плохой» историей

Возможно, вам удалось подобрать такое доменное имя для своего сайта, которое в прошлом заслужило отрицательный авторитет у поисковых роботов.

Например, это был дорвей или adult-ресурс. Или он очень активно торговал ссылками с автобирж (Sape и др.), за что получил бан в Яндексе/Гугле (ну или что-то помягче, но тоже ничего хорошего).

В общем, если на этом домене был сайт, злоупотреблявший Black-SEO методами, то к вашему ресурсу поисковики будут некоторое время относиться по-особому и долго не будут индексировать по-нормальному.

Так, например, было с web-ru.net. Мне показалось, что это неплохое доменное имя и я сразу купил его, не проверив его историю (как это делается — читайте про историю домена и как её узнать).

Домен был куплен 29 октября 2011, первые публикации начались в ноябре. Но до 27 декабря в индексе была только одна страница. Причём Яндекс как будто дважды проиндексировал главную страницу:

Яндекс не индексирует сайт, кроме главной страницы

  Yandex ошибся в рассчётах

Если у вас в панели Яндекс.Вебмастер есть подобные глюки — то связано это, скорей всего, с плохой доменной историей.

В моём случае web-ru.net влетел в индекс поисковиков (как Гугла, так и Яндекса) лишь под новый год (2012).

Ранее на данном домене располагался какой-то автомобильный ресурс, очень активно торгующий ссылками с автобирж, имеющий вредоносный код и ещё делающий что-то плохое :).

В общем, это наверное всё, из-за чего Яндекс не будет индексировать нормальный, человеческий сайт. Повторюсь, здесь я не упоминаю о фильтрах и разных наказаниях, их может быть много и приобретаются они уже по мере развития ресурса.

Если же с вашим сайтом всё нормально (исходя из 9 описанных выше пунктов), то нужно подождать.

Но никогда не следует стесняться писать в поддержку Яндекса — люди там отзывчивые и отвечают всегда (хотя время ответа может затянуться и на пару недель).

Обращение в поддержку может, например, вывести ресурс из пугающего многих вебмастеров АГС и т.п.

А по поводу индексации просто пишем:

Мне кажется, с моим проектом всё нормально, он новый, недавно созданный, но Яндекс почему-то не индексирует сайт. Что мне делать?

Вот и всё. Отвечают конкретно или же многозначительно намекают ;).

web-ru.net - всё о продвижении сайтов
Случайные публикации:
  • Как конвертировать wma в mp3? Программы и онлайн конвертер аудиоКак конвертировать wma в mp3? Программы и онлайн конвертер аудио...а этом сайте можно даже преобразовать .midi в mp3. Интерфейс сайта очень удобный
  • Как Google видит ссылки в Твиттере? Nofollow и DoFollow ссылки с TwitterКак Google видит ссылки в Твиттере? Nofollow и DoFollow ссылки с Twitter...сле этого я проверил - связано ли это только со ссылками вида goo.gl/ххх?
  • SMO оптимизация сайта. Основы Social Media OptimizationSMO оптимизация сайта. Основы Social Media OptimizationВ предыдущей статье (SEO vs. SMO) затронул тему получения трафика из со...
  • Telegram начал тестировать шифруемые звонкиTelegram начал тестировать шифруемые звонкиВ бета-версии мессенджера Telegram появилась функция звонков. Они доступн...
  • Ключевые слова сайта и сервис подбора ключевых слов Яндекс ВордстатКлючевые слова сайта и сервис подбора ключевых слов Яндекс ВордстатНаверное, любой человек, даже никак не связанный с интернет-деятель...
Оставьте комментарий:
комментариев 36
Через сайт Через ВКонтакте Через Facebook
  1. Ваня:

    Да, плохой домен — это плохо))))

    Ответить
  2. Allex:

    А хороший домен — это хорошо?? :-D

    Ответить
  3. Алексей:

    Спасибо за разбор полетов с индексацией яндекса. Скажу о гугле, большенство только смотрят что страница проиндексирована и думают что все ок, а в каком индексе она основном или дополнительном нет. Если процент в основном индексе очень мал, это также может быть проблемой плохой индексации Яндексом, проверял не на одном проекте.

    Ответить
    • Пётр:

      это также может быть проблемой плохой индексации Яндексом

      — кстати, замечал пару раз обратное :)

      Ответить
  4. Сержо:

    Хорошо, когда хороший домен и все остальное хорошо :-D

    Ответить
  5. Юлия:

    А что делать если сайту год без недели, а я в Яше проиндексировано 0 страниц, в google есть? %) ((

    Ответить
    • Пётр:

      Напишите в службу поддержки Яндекс.Вебмастера.

      Ответить
  6. Леонид:

    Спасибо насчёт отзывчивой поддержке)) надо написать. Написано что 3 дня в среднем идёт индексация.

    Ответить
  7. Роман:

    Подскажите господа хорошие. Почему Яша сайт индексирует(все страницы видит), всё норм, а когда провожу анализ сайта,различными «анализаторами», пишет , что в яндекс каталоге нет?

    Ответить
  8. Светлана:

    Через сколько примерно начинает индексироваться новый сайт в яндексе (среднее значение)? На моем сайте каким-то чудом одна страница только попала в индекс яндекса и все. А основной робот еще не приходил в гости походу…

    Гугл же проиндексировал почти все.
    В техподдержке яндекса ответили дежурной фразой «спасибо ,что обратили наше внимание…» и тишина.

    Ответить
  9. Наталья:

    Согласна, что хуже всего покупать домены, которые были забанены поисковыми системами. Мне пришлось почти год переписываться с техподдержкой и работать над сайтом.

    Ответить
  10. carolesja:

    Здравствуйте, как раз интересуюсь вопросом «Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)». Как вы считаете, может это происходить из-за того, что у меня бесплатный blogger-овский домен .com. В вебмастере висит уже много месяцев с 2 страницами, загруженными быстророботом. Что можно сделать?

    Ответить
    • Пётр:

      Нет, причина точно не в этом.
      Пишите в поддержку Яндекс.Вебмастера.

      P.S.
      Хотя сейчас обратил внимание, что с corolesja.blogspot.COM у вас перекидывает на corolesja.blogspot.RU, а в robots.txt прописан sitemap для .com-домена.
      В общем, напишите в поддержку :).

      Ответить
  11. Елена:

    Я несколько лет писала статьи для биржи Адвего и успешно продавала их. Так что писать уникальные статьи для сайтов умею. Создала свой блог. Первые статьи сразу же попали в ТОП. А потом вдруг – этот фильтр. Что это значит? Статьи все мои с уникальностью не меньше 95%. Что делать.

    Ответить
  12. Алексей:

    У меня та же проблема с блогспотом.
    Тематика — спорт
    Одна страница попала в индекс и та проиндексирована коряво.

    Ответить
  13. Алексей:

    отличная статья, то что искал! буду проверять на наличие noindex на страницах, возможно, именно с этим связаны проблемы с индексацией в Яндексе (только морда в индексе). С Гуглом все ок, довольно быстро индексирует новые статьи. Спасибо за материал! =)

    Ответить
  14. Сергей:

    Проклятый Яндекс! Проклятые правила! Вот уж точно: сделано НЕ для людей. Совок. Выкинуть его в мусор и забыть о нём как о дурном сне!!

    Ответить
  15. Дмитрий:

    Хочу дополнить:
    Всегда проверяйте параметры индексации в Яндекс Вебмастер и Google Analistic.

    Был сайт по продаже оборудования по всему миру. Яндекс по умолчанию автоматически внёс его в индекс только по нескольким упоминаемым на сайте городам. Причём проверка из Москвы показывает нормальную выдачу по запросу, а из других городов — нет.

    Ответить
  16. Людмила:

    Здравствуйте Петр! Скажите пожалуйста почему наш новый сайт в поисковиках находится только по запросу det-vremya.ru , а если ввести запрос «Детское время товары для детей и подростков» или что-то подобное, поисковик показывает что угодно, только не наш сайт. Создатель сайта на этот вопрос ответа не дает.Что делать в этой ситуации? Спасибо. С уважением Людмила

    Ответить
    • Пётр:

      В Яндексе всего 3 страницы вашего сайта.
      Возможно, он о нём совсем недавно узнал и пока не проиндексировал полностью. Возможно, ему что-то не нравится. Возможно, просто не считает сайт релевантным запросу. Возможно, что есть более качественные (по его мнению) сайты, которые больше понравятся посетителям.
      Напишите в сервис Яндекс.Вебмастер

      Ответить
  17. LP:

    У меня сайт, перестал индексироваться, скорее всего из-за не уникального контента, хотя не понятно тогда как люди выкладывают контент с ссылкой на авторство.

    Ответить
  18. PENSIONEER:

    Народ, чего вы так паритесь по этому яндексу? И уж тем более сравниваете его с гуглом. Какие мощностя у гугу и какие у яши))) Это всё равно, что равнять слона и дробину))) Нет у яндекса такой возможности быстро индексировать сайты. Потому и ссылаются на якобы всякие правила. Я свой сайт вообще нигде не регил, и яша нашёл и и гугл, гугу 160 страниц индекса, яша 3))) Тут ещё правильно нужно сайтмап.хмл и робот.тхт, обновлять сайтмап после добавления новостей… Вон смотрю сайты с тиц 700 у яши даже в каталогах не числятся, правда сайт с 2009 года и посетителей под лям в сутки))) Так что плевал я и на яндекс и на его каталоги))) Всему своё время, когда оборудования докупит яндекс, тогда и индексация ускорится

    Ответить
  19. Игорь:

    У меня яндекс уже месяц не добавляет в поиск новые страницы, хотя раньше максимум за пару дней индексировал. Странно. Никаких фильтров и ограничений нет.

    Ответить
  20. Антон:

    В я.вебмастере написано, робот при индексации выдает ошибку «не удалось скачать содержимое страницы», ошибка без кода «n/a». Все настройки перепроверили, всё нормально. (В гугле, конечно, всё нормально индексирует). В итоге в поиске яндекса только главная страница. Есть идеи?

    Ответить
    • birds:

      А в роботсе случайно не закрыли сайт от индексации? Еще я как-то встречал ситуацию, когда хостер блокировал ботов Яндекса, и соответственно они не могут попасть на сайт.

      Ответить
  21. Булат:

    Здравствуйте, у меня вот такая вот проблема, изначально Яндекс проиндексировал одну страницу «Главную», а дальше не индексировал, тогда решил вручную все забить, что бы по быстрее проиндексировало. Практически через пару часов, все страницы появились в поисковой выдаче. Начали появляться первые посетители, но уже как пару дней посетители почти нет, все которые и пришли, они только с Гугл, решил проверить в Яндексе индексацию страниц, и как вы поняли я нашел только одну страницы в поисковой выдаче «Главную» в чем причина может быть?

    Ответить
    • birds:

      Добавьте сайт в панель вебмастера, яндекс сейчас там указывает критичные проблемы на сайте. Если там записей не будет, пишите будем смотреть.

      Ответить
сайт web-ru.net
Я не спамлю...