Новые правила в Robots.txt для Яндекса

Новые правила в Robots.txt Яндекс

  Обновления правил Robots.txt в Яндекс

Буквально минут 30 назад в Яндекс.Вебмастере получил сообщение «Новые правила обработки директив Allow и Disallow в файлах robots.txt».

На самом деле, никаких резких изменений не произошло.

Вот это сообщение:

 Добрый день!

Уведомляем вас об изменениях в
обработке директивы ‘Allow’ файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив ‘Allow’ и/или ‘Disallow’, то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол ‘*’ не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.


С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru

Очевидно, что теперь в Robots.txt для Яндекса директивы Allow и Disallow будут упорядочены по длине URL в правиле, и исходный порядок их в данном файле перестал иметь значение:

Robots.txt для Яндекса

  Robots.txt для Яндекс

Ранее, например, такая запись

Allow: */page/

Disallow: /

говорила роботу о том, что можно индексировать страницы лишь с адресами вида http://…/page/…

А такая запись

Disallow: /

Allow: */page/

запрещала индексирование всего сайта. Теперь 2-я запись будет преобразована к 1-й (путём сортировки) и в обоих случаях  произойдёт индексация страниц http://…/page/…

Едва ли это повлияло на большинство сайтов (хотя, на всякий случай проверьте свои robots’ы в этой форме — http://webmaster.yandex.ru/robots.xml).

Вообще, не очень ясно, для чего Яндекс ввёл новые правила в файле robots.txt. Ведь по сути ничего не изменилось..

web-ru.net - всё о продвижении сайтов
Случайные публикации:
  • Интересная CPA-сеть Clobucks.com - мой отзыв, обзор и инструкция по заработкуИнтересная CPA-сеть Clobucks.com - мой отзыв, обзор и инструкция по заработку...быстро вышел в плюс, так что рекомендую. Об инструментах в Clobucks
  • SEO-аудит сео-блога Grande-life.ru. ВидеоSEO-аудит сео-блога Grande-life.ru. Видео...качественный сайт, с хорошим контентом и дизайном. Но с некоторыми техническими
  • Как узнать, сколько мобильного трафика на сайте?Как узнать, сколько мобильного трафика на сайте?Решил дополнить тему заработка на мобильном трафике этой небольшой...
  • Как удалить Яндекс Диск с компьютера?Как удалить Яндекс Диск с компьютера?...ю", хотя никакой синхронизации без авторизации быть не может. Можно
  • Немного юмора от Яндекса - кириллическая капчаНемного юмора от Яндекса - кириллическая капчаС недавнего времени в Яндексе появилась "исключительно" кириллическа...
Оставьте комментарий:
комментариев 10
Через сайт Через ВКонтакте Через Facebook
  1. Георгий:

    Здравствуйте Пётр! Помогите пожалуйста разобраться с файлом robots.txt
    Чего надо убрать, а чего добавить. Заранее спасибо!!!

    User-agent: Googlebot-Image
    Disallow: /

    User-agent: YandexImages
    Disallow: /

    User-agent: msnbot-MM
    Disallow: /

    User-agent: Googlebot-Mobile
    Allow: /*wap
    Disallow: /

    User-agent: YandexImageResizer
    Allow: /*wap
    Disallow: /

    User-agent: MediaPartners-Google
    Allow: /

    User-agent: Baiduspider
    Disallow: /

    User-agent: *
    Allow: /$
    Allow: /*action=.xml
    Disallow: /*action
    Disallow: /*wap
    Disallow: /*board=*wap
    Disallow: /*topic=*wap
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*PHPSESSID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Crawl-delay: 5
    Clean-param: PHPSESSID /index.php
    Host: inforiches-forum.ru

    Ответить
    • Пётр:

      Здравствуйте!
      Ну и Robots у вас…
      Например, знаете, что это такое: User-agent: Baiduspider? — это вы «приглашаете» китайский поисковик Baidu, он вам нужен? :)
      Удалите всё, что до User-agent: *
      В остальном тоже, всё, скорей всего, неправильно (надо разбираться со структурой вашего сайта).
      Вы гляньте мой курс — http://seo4all.web-ru.net/ — там целое видео этой теме посвящено.

      Ответить
  2. Георгий:

    Здравствуйте Пётр! Я и попал к Вам на этот блог после просмотра этого курса в надежде на помощь.
    Всё по удалял и оставил так:
    User-agent: *
    Allow: /$
    Disallow: /*action
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*ID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Host: inforiches-forum.ru

    Ответить
    • Пётр:

      Георгий, Disallow: / — вот это означает запретить к индексации весь сайт. Так не надо делать.
      Посмотрите справку Яндекса: http://help.yandex.ru/webmaster/?id=996567#996571
      В общем, сделайте так для начала:
      User-agent: *
      Disallow:
      User-agent: Yandex
      Disallow:
      Host: inforiches-forum.ru

      В остальном — надо изучать структуру сайта.

      Ответить
  3. Георгий:

    Добрый лень Пётр! Здесь вы прописали для яндекса
    User-agent: Yandex
    Disallow:
    а как прописать для других поисковиков?

    Ответить
  4. Пётр:

    Здравствуйте, Георгий!
    Вот так: User-agent: *
    Звёздочка буквально и переводится как «все поисковики».

    Ответить
  5. Георгий:

    Спасибо, Пётр! Мне кажется вам действительно надо создать обучающий курс по SEO оптимизации. Я думаю желающих купить его будет масса. Ваш бесплатный курс даёт много понятий о этом. =)

    Ответить
  6. Василий:

    Здравстуйте Пётр! пожалуйста помоги чайнику я добавил файл Sitemap в Яндекс а мне показывает 15 ошибок «Некорректный URL» (не соответствует местоположению файла Sitemap) я туту в нете нашел вот тот форум forum.searchengines.ru/archive/index.php/t-241621.html что нужно в файле robots.txt после «User-agent: Yandex» прописать строчку Allow: / и тогда все заработает. правда google приняло, все замечательно работает, а вот Яндексюра показывает 15 ошибок.

    Рlease проверьте правильно ли составлен robots.txt

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag/

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag/
    Host: goldlineextra.com

    Sitemap: goldlineextra.com/sitemap.xml.gz
    Sitemap: goldlineextra.com/sitemap.xml

    Ответить
сайт web-ru.net
Я не спамлю...