Новые правила в Robots.txt для Яндекса

Новые правила в Robots.txt Яндекс

  Обновления правил Robots.txt в Яндекс

Буквально минут 30 назад в Яндекс.Вебмастере получил сообщение «Новые правила обработки директив Allow и Disallow в файлах robots.txt».

На самом деле, никаких резких изменений не произошло.

Вот это сообщение:

 Добрый день!

Уведомляем вас об изменениях в
обработке директивы ‘Allow’ файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив ‘Allow’ и/или ‘Disallow’, то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол ‘*’ не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.


С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru

Очевидно, что теперь в Robots.txt для Яндекса директивы Allow и Disallow будут упорядочены по длине URL в правиле, и исходный порядок их в данном файле перестал иметь значение:

Robots.txt для Яндекса

  Robots.txt для Яндекс

Ранее, например, такая запись

Allow: */page/

Disallow: /

говорила роботу о том, что можно индексировать страницы лишь с адресами вида http://…/page/…

А такая запись

Disallow: /

Allow: */page/

запрещала индексирование всего сайта. Теперь 2-я запись будет преобразована к 1-й (путём сортировки) и в обоих случаях  произойдёт индексация страниц http://…/page/…

Едва ли это повлияло на большинство сайтов (хотя, на всякий случай проверьте свои robots’ы в этой форме — http://webmaster.yandex.ru/robots.xml).

Вообще, не очень ясно, для чего Яндекс ввёл новые правила в файле robots.txt. Ведь по сути ничего не изменилось..

1 Star2 Stars3 Stars4 Stars5 Stars (2 оценок, среднее: 3,00 из 5)
Loading...
Случайные публикации:
  • Ближайшие изменения в Гугле - алгоритм Penguin 2.0Ближайшие изменения в Гугле - алгоритм Penguin 2.0...скажешь. НО. Если у вас до сих пор нормально ранжируются страницы на которые
  • 8 шагов по планированию нового веб-сайта.8 шагов по планированию нового веб-сайта.Если вы планируете создать новый веб-сайт, то не стоит делать это наобум....
  • Что такое feedproxy.google.com в ссылках на Feedburner и как это убрать?Что такое feedproxy.google.com в ссылках на Feedburner и как это убрать?...аписано выше. Для этого заходим в свой аккаунт, выбираем нужный фид - и находим ссылку
  • Инструмент подсказки ключевых слов от Google AdWords и его сравнение с Яндекс.Вордстат. ВидеоурокИнструмент подсказки ключевых слов от Google AdWords и его сравнение с Яндекс.Вордстат. ВидеоурокПрежде чем публиковать какие-либо материалы на своём сайте, или составлять...
  • SEO-плагин RDS bar для браузера Google Chrome. Установка, настройкаSEO-плагин RDS bar для браузера Google Chrome. Установка, настройкаРучной анализ SEO-параметров того или иного сайта весьма трудозатратен...
Оставьте комментарий:
комментариев 10
  1. Георгий:

    Здравствуйте Пётр! Помогите пожалуйста разобраться с файлом robots.txt
    Чего надо убрать, а чего добавить. Заранее спасибо!!!

    User-agent: Googlebot-Image
    Disallow: /

    User-agent: YandexImages
    Disallow: /

    User-agent: msnbot-MM
    Disallow: /

    User-agent: Googlebot-Mobile
    Allow: /*wap
    Disallow: /

    User-agent: YandexImageResizer
    Allow: /*wap
    Disallow: /

    User-agent: MediaPartners-Google
    Allow: /

    User-agent: Baiduspider
    Disallow: /

    User-agent: *
    Allow: /$
    Allow: /*action=.xml
    Disallow: /*action
    Disallow: /*wap
    Disallow: /*board=*wap
    Disallow: /*topic=*wap
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*PHPSESSID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Crawl-delay: 5
    Clean-param: PHPSESSID /index.php
    Host: inforiches-forum.ru

    Ответить
    • Пётр:

      Здравствуйте!
      Ну и Robots у вас…
      Например, знаете, что это такое: User-agent: Baiduspider? — это вы «приглашаете» китайский поисковик Baidu, он вам нужен? :)
      Удалите всё, что до User-agent: *
      В остальном тоже, всё, скорей всего, неправильно (надо разбираться со структурой вашего сайта).

      Ответить
  2. Георгий:

    Здравствуйте Пётр! Я и попал к Вам на этот блог после просмотра этого курса в надежде на помощь.
    Всё по удалял и оставил так:
    User-agent: *
    Allow: /$
    Disallow: /*action
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*ID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Host: inforiches-forum.ru

    Ответить
    • Пётр:

      Георгий, Disallow: / — вот это означает запретить к индексации весь сайт. Так не надо делать.
      Посмотрите справку Яндекса: http://help.yandex.ru/webmaster/?id=996567#996571
      В общем, сделайте так для начала:
      User-agent: *
      Disallow:
      User-agent: Yandex
      Disallow:
      Host: inforiches-forum.ru

      В остальном — надо изучать структуру сайта.

      Ответить
  3. Георгий:

    Добрый лень Пётр! Здесь вы прописали для яндекса
    User-agent: Yandex
    Disallow:
    а как прописать для других поисковиков?

    Ответить
  4. Георгий:

    Спасибо, Пётр! Мне кажется вам действительно надо создать обучающий курс по SEO оптимизации. Я думаю желающих купить его будет масса. Ваш бесплатный курс даёт много понятий о этом. =)

    Ответить
  5. Пётр:

    Здравствуйте, Георгий!
    Вот так: User-agent: *
    Звёздочка буквально и переводится как «все поисковики».

    Ответить
  6. Василий:

    Здравстуйте Пётр! пожалуйста помоги чайнику я добавил файл Sitemap в Яндекс а мне показывает 15 ошибок «Некорректный URL» (не соответствует местоположению файла Sitemap) я туту в нете нашел вот тот форум forum.searchengines.ru/archive/index.php/t-241621.html что нужно в файле robots.txt после «User-agent: Yandex» прописать строчку Allow: / и тогда все заработает. правда google приняло, все замечательно работает, а вот Яндексюра показывает 15 ошибок.

    Рlease проверьте правильно ли составлен robots.txt

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag/

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag/
    Host: goldlineextra.com

    Sitemap: goldlineextra.com/sitemap.xml.gz
    Sitemap: goldlineextra.com/sitemap.xml

    Ответить
Я не спамлю...