Новые правила в Robots.txt для Яндекса

View Comments

• Здравствуйте Пётр! Помогите пожалуйста разобраться с файлом robots.txt
  Чего надо убрать, а чего добавить. Заранее спасибо!!!

  User-agent: Googlebot-Image
  Disallow: /

  User-agent: YandexImages
  Disallow: /

  User-agent: msnbot-MM
  Disallow: /

  User-agent: Googlebot-Mobile
  Allow: /*wap
  Disallow: /

  User-agent: YandexImageResizer
  Allow: /*wap
  Disallow: /

  User-agent: MediaPartners-Google
  Allow: /

  User-agent: Baiduspider
  Disallow: /

  User-agent: *
  Allow: /$
  Allow: /*action=.xml
  Disallow: /*action
  Disallow: /*wap
  Disallow: /*board=*wap
  Disallow: /*topic=*wap
  Disallow: /*topic=*.msg
  Disallow: /*topic=*.new
  Disallow: /*;
  Disallow: /*PHPSESSID
  Allow: /*board
  Allow: /*topic
  Disallow: /
  Crawl-delay: 5
  Clean-param: PHPSESSID /index.php
  Host: inforiches-forum.ru

• Здравствуйте!
  Ну и Robots у вас...
  Например, знаете, что это такое: User-agent: Baiduspider? - это вы "приглашаете" китайский поисковик Baidu, он вам нужен? :)
  Удалите всё, что до User-agent: *
  В остальном тоже, всё, скорей всего, неправильно (надо разбираться со структурой вашего сайта).

• Здравствуйте Пётр! Я и попал к Вам на этот блог после просмотра этого курса в надежде на помощь.
  Всё по удалял и оставил так:
  User-agent: *
  Allow: /$
  Disallow: /*action
  Disallow: /*topic=*.msg
  Disallow: /*topic=*.new
  Disallow: /*;
  Disallow: /*ID
  Allow: /*board
  Allow: /*topic
  Disallow: /
  Host: inforiches-forum.ru

• Георгий, Disallow: / - вот это означает запретить к индексации весь сайт. Так не надо делать.
  Посмотрите справку Яндекса: http://help.yandex.ru/webmaster/?id=996567#996571
  В общем, сделайте так для начала:
  User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: inforiches-forum.ru

  В остальном - надо изучать структуру сайта.

• Добрый лень Пётр! Здесь вы прописали для яндекса
  User-agent: Yandex
  Disallow:
  а как прописать для других поисковиков?

• Спасибо, Пётр! Мне кажется вам действительно надо создать обучающий курс по SEO оптимизации. Я думаю желающих купить его будет масса. Ваш бесплатный курс даёт много понятий о этом. =)

• Не за что :)
  Благодарю, Георгий, за добрые слова ;)

• Здравствуйте, Георгий!
  Вот так: User-agent: *
  Звёздочка буквально и переводится как "все поисковики".

• Здравстуйте Пётр! пожалуйста помоги чайнику я добавил файл Sitemap в Яндекс а мне показывает 15 ошибок "Некорректный URL" (не соответствует местоположению файла Sitemap) я туту в нете нашел вот тот форум forum.searchengines.ru/archive/index.php/t-241621.html что нужно в файле robots.txt после "User-agent: Yandex" прописать строчку Allow: / и тогда все заработает. правда google приняло, все замечательно работает, а вот Яндексюра показывает 15 ошибок.

  Рlease проверьте правильно ли составлен robots.txt

  User-agent: *
  Disallow: /cgi-bin
  Disallow: /wp-admin
  Disallow: /wp-includes
  Disallow: /wp-content/plugins
  Disallow: /wp-content/cache
  Disallow: /wp-content/themes
  Disallow: /trackback
  Disallow: */trackback
  Disallow: */*/trackback
  Disallow: */*/feed/*/
  Disallow: */feed
  Disallow: /tag/

  User-agent: Yandex
  Disallow: /cgi-bin
  Disallow: /wp-admin
  Disallow: /wp-includes
  Disallow: /wp-content/plugins
  Disallow: /wp-content/cache
  Disallow: /wp-content/themes
  Disallow: /trackback
  Disallow: */trackback
  Disallow: */*/trackback
  Disallow: */*/feed/*/
  Disallow: */feed
  Disallow: /tag/
  Host: goldlineextra.com

  Sitemap: goldlineextra.com/sitemap.xml.gz
  Sitemap: goldlineextra.com/sitemap.xml

• Здравствуйте, Василий,
  читайте это:
  http://web-ru.net/prodvizhenie-sajta/seo/chto-takoe-fajl-robots-txt-nastrojka-specsimvoly-i-direktivy-allow-disallow-sitemap-host-user-agent.html
  и
  http://web-ru.net/prodvizhenie-sajta/seo/sozdanie-robots-txt-dlya-raznyh-robotov-google-i-yandex.html