Как закрыть весь сайт от индексации в Robots.txt, оставив только главную страницу – и зачем так делать?

Закрытие сайта от индексации в файле Robots.txt

  Прячем в роботс.тхт всё, кроме главной

Нередко возникает необходимость скрыть в файле Robots.txt разделы или отдельные страницы сайта от “глаз” поисковых роботов. Это дело известное и причины для него могут быть разные: удаление дублей контента из индекса, выкидывание “застрявших” в индексе несуществующих страниц и т.д.

Однако при создании нового сайта бывает полезным закрыть от индексации всё, кроме главной страницы.

Например, вы создаёте интернет-магазин и дальше главной роботу лучше не ходить – чтобы не индексировать пока ещё “кривые” страницы (иначе в дальнейшем могут быть торможения при продвижении..).

Почему лучше оставить главную? В этом случае ПС узнает о существовании нового сайта и начнётся т.н. увеличение траста вашего ресурса (а иначе бы поисковик узнал о вашем проекте только при его полном запуске).

Так что если вам нужно оставить сайт открытым для пользователей, но закрыть всё “нутро” от поисковых систем и в то же время – заявить о себе поисковикам, то можно применить файл Robots.txt для этих целей. Как это делается – написано дальше.

Как закрыть сайт от индексации в Robots.txt, оставив поисковикам главную страницу?

Недавно у меня возникла такая задача, пришлось немного подумать. Как оказалось, всё очень просто – составляем такой Robots.txt:

User-agent: *
Disallow: /
Allow: /$

Вот и всё. Эффект от этого можно проверить инструментом Яндекса для анализа robots.txt.

Как закрыть сайт от индексации с помощью Robots.txt полностью:

Если вообще весь ресурс нужно спрятать от поисковиков, то это совсем просто:

User-agent: *
Disallow: /

Таким образом, если на период разработки сайта вы не желаете “отдавать” ПС внутренние недоделанные страницы, но хотите уже пустить туда пользователей – закрывайте в robots.txt от индексации всё, кроме главной. И не забудьте отредактировать данный файл, когда решите пустить и роботов ;).

web-ru.net - всё о продвижении сайтов
Случайные публикации:
  • Как посмотреть и почистить куки (cookies) в браузерах Опера, Мозила, Хром, Эксплорер, Safari. Программа для удаления cookieКак посмотреть и почистить куки (cookies) в браузерах Опера, Мозила, Хром, Эксплорер, Safari. Программа для удаления cookieВ предыдущей статье разбирался вопрос что такое куки и где они на...
  • Поиск людей в Яндексе. ИспользованиеПоиск людей в Яндексе. Использование...йтесь формой справа (на главной странице сервиса): Здесь мы можем ввести имя
  • Как в Dropbox получить прямую ссылку на файл? Папка Public и др. папки в Дропбокс, укорачивание ссылкиКак в Dropbox получить прямую ссылку на файл? Папка Public и др. папки в Дропбокс, укорачивание ссылкиДанной статьёй думаю завершить тему, связанную с сервисом Dro...
  • Облачный сервис Яндекс Диск - приглашения, регистрация и обзорОблачный сервис Яндекс Диск - приглашения, регистрация и обзорВ последнее время т.н. облачные технологии, можно сказать, потихоньку завоёвываю...
  • Что такое виджет? WordPress виджеты, скачивание, установка, настройкаЧто такое виджет? WordPress виджеты, скачивание, установка, настройка...ить его с исходной области на область "Доступные/неактивные виджеты". Видно,
Оставьте комментарий:
Отзывов всего: 7
Через сайт Через ВКонтакте Через Facebook
  1. Саша пишет:

    Что траст будет набираться – это очень логично даже, надо это использовать сразу на молодых доменах.
    Хотя на только что купленный домен можно простой одностраничник повесить и скормить поисковикам.
    Но если сайт уже большой загружен и пока он в разработке, то да, полезно ))

    Ответить
    • Пётр пишет:

      Но если сайт уже большой загружен и пока он в разработке

      – да, к таким сайтам это в первую очередь и стоит применять ;)

      Ответить
  2. Антон пишет:

    А как закрыть только одну рубрику, и все статьи которые в ней находятся?

    Ответить
  3. Type.monkey пишет:

    А если я хочу поставить страницу на реконструкции, она подойдет для траста?

    Ответить
    • Пётр пишет:

      Ну если страница кривая совсем, то лучше её и не показывать.
      Если же имеете в виду сделать страницу, на которой будет написано “сайт на реконструкции” или типа того, то можно поставить её в качестве главной и разрешить к индексации.

      Ответить
  4. Саша пишет:

    Вокруг Robots.txt всегда много разговоров. Хм..искал искал информацию по разработке сайтов, наткнулся на вашу статью. Спасибо, информация полезная в любом случае..закрывать от индексации правда порой необходимо. Когда работали по нашему сайту, закрывали все страницы кроме главной и этой wezom.com.ua/razrabotka_sajtov. Сейчас все нормально идет. Спасибо за статью.

    Ответить
сайт web-ru.net
Я не спамлю...