Как закрыть весь сайт от индексации в Robots.txt, оставив только главную страницу — и зачем так делать?

Закрытие сайта от индексации в файле Robots.txt

  Прячем в роботс.тхт всё, кроме главной

Нередко возникает необходимость скрыть в файле Robots.txt разделы или отдельные страницы сайта от «глаз» поисковых роботов. Это дело известное и причины для него могут быть разные: удаление дублей контента из индекса, выкидывание «застрявших» в индексе несуществующих страниц и т.д.

Однако при создании нового сайта бывает полезным закрыть от индексации всё, кроме главной страницы.

Например, вы создаёте интернет-магазин и дальше главной роботу лучше не ходить — чтобы не индексировать пока ещё «кривые» страницы (иначе в дальнейшем могут быть торможения при продвижении..).

Почему лучше оставить главную? В этом случае ПС узнает о существовании нового сайта и начнётся т.н. увеличение траста вашего ресурса (а иначе бы поисковик узнал о вашем проекте только при его полном запуске).

Так что если вам нужно оставить сайт открытым для пользователей, но закрыть всё «нутро» от поисковых систем и в то же время — заявить о себе поисковикам, то можно применить файл Robots.txt для этих целей. Как это делается — написано дальше.

Как закрыть сайт от индексации в Robots.txt, оставив поисковикам главную страницу?

Недавно у меня возникла такая задача, пришлось немного подумать. Как оказалось, всё очень просто — составляем такой Robots.txt:

User-agent: *
Disallow: /
Allow: /$

Вот и всё. Эффект от этого можно проверить инструментом Яндекса для анализа robots.txt.

Как закрыть сайт от индексации с помощью Robots.txt полностью:

Если вообще весь ресурс нужно спрятать от поисковиков, то это совсем просто:

User-agent: *
Disallow: /

Таким образом, если на период разработки сайта вы не желаете «отдавать» ПС внутренние недоделанные страницы, но хотите уже пустить туда пользователей — закрывайте в robots.txt от индексации всё, кроме главной. И не забудьте отредактировать данный файл, когда решите пустить и роботов ;).

1 Star2 Stars3 Stars4 Stars5 Stars (Пока оценок нет)
Loading...
Случайные публикации:
  • Что интересного в Robots.txt для Google?Что интересного в Robots.txt для Google?...о файла Яндексом. По моим наблюдениям, об этом вообще почти никто не знает, хотя
  • Какой хостинг выбрать? На что обратить внимание, выбирая хостинг для сайта (мощность сервера, технологии, цены, uptime...)Какой хостинг выбрать? На что обратить внимание, выбирая хостинг для сайта (мощность сервера, технологии, цены, uptime...)Выбирая хостинг для своего будущего проекта в Интернете, желательно...
  • Целевой трафик на сайт: лучше меньше, да лучше!Целевой трафик на сайт: лучше меньше, да лучше!...исчиков, никакой другой пользы. Хотя главная задача, которую следует себе поставить -
  • Делаем правильный Robots.txt для Google и ЯндексаДелаем правильный Robots.txt для Google и Яндекса...усор вылетел из индекса. Как оказалось, Гугл медленно реагирует на изменения в robots.txt
  • Так ли важен валидный код на сайте по мнению Google?Так ли важен валидный код на сайте по мнению Google?Весьма часто приходится слышать, что не очень валидный код веб...
Оставьте комментарий:
комментариев 7
  1. Саша:

    Что траст будет набираться — это очень логично даже, надо это использовать сразу на молодых доменах.
    Хотя на только что купленный домен можно простой одностраничник повесить и скормить поисковикам.
    Но если сайт уже большой загружен и пока он в разработке, то да, полезно ))

    Ответить
    • Пётр:

      Но если сайт уже большой загружен и пока он в разработке

      — да, к таким сайтам это в первую очередь и стоит применять ;)

      Ответить
  2. Антон:

    А как закрыть только одну рубрику, и все статьи которые в ней находятся?

    Ответить
  3. Type.monkey:

    А если я хочу поставить страницу на реконструкции, она подойдет для траста?

    Ответить
    • Пётр:

      Ну если страница кривая совсем, то лучше её и не показывать.
      Если же имеете в виду сделать страницу, на которой будет написано «сайт на реконструкции» или типа того, то можно поставить её в качестве главной и разрешить к индексации.

      Ответить
  4. Саша:

    Вокруг Robots.txt всегда много разговоров. Хм..искал искал информацию по разработке сайтов, наткнулся на вашу статью. Спасибо, информация полезная в любом случае..закрывать от индексации правда порой необходимо. Когда работали по нашему сайту, закрывали все страницы кроме главной и этой wezom.com.ua/razrabotka_sajtov. Сейчас все нормально идет. Спасибо за статью.

    Ответить
Я не спамлю...