Новые правила в Robots.txt для Яндекса

Новые правила в Robots.txt Яндекс

  Обновления правил Robots.txt в Яндекс

Буквально минут 30 назад в Яндекс.Вебмастере получил сообщение “Новые правила обработки директив Allow и Disallow в файлах robots.txt”.

На самом деле, никаких резких изменений не произошло.

Вот это сообщение:

 Добрый день!

Уведомляем вас об изменениях в
обработке директивы ‘Allow’ файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив ‘Allow’ и/или ‘Disallow’, то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол ‘*’ не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.


С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru

Очевидно, что теперь в Robots.txt для Яндекса директивы Allow и Disallow будут упорядочены по длине URL в правиле, и исходный порядок их в данном файле перестал иметь значение:

Robots.txt для Яндекса

  Robots.txt для Яндекс

Ранее, например, такая запись

Allow: */page/

Disallow: /

говорила роботу о том, что можно индексировать страницы лишь с адресами вида http://…/page/…

А такая запись

Disallow: /

Allow: */page/

запрещала индексирование всего сайта. Теперь 2-я запись будет преобразована к 1-й (путём сортировки) и в обоих случаях  произойдёт индексация страниц http://…/page/…

Едва ли это повлияло на большинство сайтов (хотя, на всякий случай проверьте свои robots’ы в этой форме – http://webmaster.yandex.ru/robots.xml).

Вообще, не очень ясно, для чего Яндекс ввёл новые правила в файле robots.txt. Ведь по сути ничего не изменилось..

web-ru.net - всё о продвижении сайтов
Случайные публикации:
  • Яндекс и ссылки - месяц спустя..Яндекс и ссылки - месяц спустя.....и сайтов по коммерческим запросам для Москвы. Так что данной статьёй хочу задать
  • Аннулирование тИЦ в Яндексе. Или как быстро узнать, что ваш сайт под фильтром АГС...Аннулирование тИЦ в Яндексе. Или как быстро узнать, что ваш сайт под фильтром АГС......тариях! А то я, к сожалению, только спустя 2 месяца обратил внимание на тот,
  • Как повысить кликабельность сайта в выдаче Яндекса?Как повысить кликабельность сайта в выдаче Яндекса?...Кроме того, чем больше CTR сайта в выдаче, тем выше он будет подниматься
  • Как изменить заголовок статьи WordPress на H1 и зачем? ВидеоурокКак изменить заголовок статьи WordPress на H1 и зачем? Видеоурок...тии воли и мотивации у женщин Видеоурок - как изменить заголовок статьи в WordPress
  • РСЯ - рекламная сеть Яндекса. Profit-Partner.ru: обзор, регистрация и добавление сайта в ЦОП Яндекса. ВидеоРСЯ - рекламная сеть Яндекса. Profit-Partner.ru: обзор, регистрация и добавление сайта в ЦОП Яндекса. Видео...м (Яндекс, Google...) и прочие сайты, разместившие на своих страницах контекстные
Оставьте комментарий:
Отзывов всего: 10
Через сайт Через ВКонтакте Через Facebook
  1. Георгий пишет:

    Здравствуйте Пётр! Помогите пожалуйста разобраться с файлом robots.txt
    Чего надо убрать, а чего добавить. Заранее спасибо!!!

    User-agent: Googlebot-Image
    Disallow: /

    User-agent: YandexImages
    Disallow: /

    User-agent: msnbot-MM
    Disallow: /

    User-agent: Googlebot-Mobile
    Allow: /*wap
    Disallow: /

    User-agent: YandexImageResizer
    Allow: /*wap
    Disallow: /

    User-agent: MediaPartners-Google
    Allow: /

    User-agent: Baiduspider
    Disallow: /

    User-agent: *
    Allow: /$
    Allow: /*action=.xml
    Disallow: /*action
    Disallow: /*wap
    Disallow: /*board=*wap
    Disallow: /*topic=*wap
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*PHPSESSID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Crawl-delay: 5
    Clean-param: PHPSESSID /index.php
    Host: inforiches-forum.ru

    Ответить
    • Пётр пишет:

      Здравствуйте!
      Ну и Robots у вас…
      Например, знаете, что это такое: User-agent: Baiduspider? – это вы “приглашаете” китайский поисковик Baidu, он вам нужен? :)
      Удалите всё, что до User-agent: *
      В остальном тоже, всё, скорей всего, неправильно (надо разбираться со структурой вашего сайта).
      Вы гляньте мой курс – http://seo4all.web-ru.net/ – там целое видео этой теме посвящено.

      Ответить
  2. Георгий пишет:

    Здравствуйте Пётр! Я и попал к Вам на этот блог после просмотра этого курса в надежде на помощь.
    Всё по удалял и оставил так:
    User-agent: *
    Allow: /$
    Disallow: /*action
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*ID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Host: inforiches-forum.ru

    Ответить
    • Пётр пишет:

      Георгий, Disallow: / – вот это означает запретить к индексации весь сайт. Так не надо делать.
      Посмотрите справку Яндекса: http://help.yandex.ru/webmaster/?id=996567#996571
      В общем, сделайте так для начала:
      User-agent: *
      Disallow:
      User-agent: Yandex
      Disallow:
      Host: inforiches-forum.ru

      В остальном – надо изучать структуру сайта.

      Ответить
  3. Георгий пишет:

    Добрый лень Пётр! Здесь вы прописали для яндекса
    User-agent: Yandex
    Disallow:
    а как прописать для других поисковиков?

    Ответить
  4. Пётр пишет:

    Здравствуйте, Георгий!
    Вот так: User-agent: *
    Звёздочка буквально и переводится как “все поисковики”.

    Ответить
  5. Георгий пишет:

    Спасибо, Пётр! Мне кажется вам действительно надо создать обучающий курс по SEO оптимизации. Я думаю желающих купить его будет масса. Ваш бесплатный курс даёт много понятий о этом. =)

    Ответить
    • Пётр пишет:

      Не за что :)
      Благодарю, Георгий, за добрые слова ;)

      Ответить
  6. Василий пишет:

    Здравстуйте Пётр! пожалуйста помоги чайнику я добавил файл Sitemap в Яндекс а мне показывает 15 ошибок “Некорректный URL” (не соответствует местоположению файла Sitemap) я туту в нете нашел вот тот форум forum.searchengines.ru/archive/index.php/t-241621.html что нужно в файле robots.txt после “User-agent: Yandex” прописать строчку Allow: / и тогда все заработает. правда google приняло, все замечательно работает, а вот Яндексюра показывает 15 ошибок.

    Рlease проверьте правильно ли составлен robots.txt

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag/

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag/
    Host: goldlineextra.com

    Sitemap: goldlineextra.com/sitemap.xml.gz
    Sitemap: goldlineextra.com/sitemap.xml

    Ответить
сайт web-ru.net
Я не спамлю...