Как закрыть весь сайт от индексации в Robots.txt, оставив только главную страницу — и зачем так делать?

  Прячем в роботс.тхт всё, кроме главной

Нередко возникает необходимость скрыть в файле Robots.txt разделы или отдельные страницы сайта от «глаз» поисковых роботов. Это дело известное и причины для него могут быть разные: удаление дублей контента из индекса, выкидывание «застрявших» в индексе несуществующих страниц и т.д.

Однако при создании нового сайта бывает полезным закрыть от индексации всё, кроме главной страницы.

Например, вы создаёте интернет-магазин и дальше главной роботу лучше не ходить — чтобы не индексировать пока ещё «кривые» страницы (иначе в дальнейшем могут быть торможения при продвижении..).

Почему лучше оставить главную? В этом случае ПС узнает о существовании нового сайта и начнётся т.н. увеличение траста вашего ресурса (а иначе бы поисковик узнал о вашем проекте только при его полном запуске).

Так что если вам нужно оставить сайт открытым для пользователей, но закрыть всё «нутро» от поисковых систем и в то же время — заявить о себе поисковикам, то можно применить файл Robots.txt для этих целей. Как это делается — написано дальше.

Как закрыть сайт от индексации в Robots.txt, оставив поисковикам главную страницу?

Недавно у меня возникла такая задача, пришлось немного подумать. Как оказалось, всё очень просто — составляем такой Robots.txt:

User-agent: *
Disallow: /
Allow: /$

Вот и всё. Эффект от этого можно проверить инструментом Яндекса для анализа robots.txt.

Как закрыть сайт от индексации с помощью Robots.txt полностью:

Если вообще весь ресурс нужно спрятать от поисковиков, то это совсем просто:

User-agent: *
Disallow: /

Таким образом, если на период разработки сайта вы не желаете «отдавать» ПС внутренние недоделанные страницы, но хотите уже пустить туда пользователей — закрывайте в robots.txt от индексации всё, кроме главной. И не забудьте отредактировать данный файл, когда решите пустить и роботов

(2 оценок, среднее: 5,00 из 5)

Loading...

• Монетизация мобильного трафика на сайте - оплата за клики в Google Adsense...mobilnyj-redirekt.html#googleads с мобильного устройства. Лично мне "Фиксированные
• Pushadvert.biz обзор рекламной сетиРекламная сеть Pushadvert.biz – это относительно молодой, но крайне перспект...
• Как добавить комментарии Фейсбук на сайт WordPressFacebook является крупнейшей социальной сетью в мире. Вот почему многие блоги на...
• Что влияет на траст сайта?Продолжу тему доверия поисковых систем к сайту, т.е. траста, начатую в предыдуще...
• Как проверить текст на уникальность? Программа eTXT Антиплагиат - скачивание и настройки - ВидеоурокКак я рассказывал в предыдущей статье - 3 способа проверить уникальность текста...