Как закрыть весь сайт от индексации в Robots.txt, оставив только главную страницу — и зачем так делать?
Прячем в роботс.тхт всё, кроме главной
Нередко возникает необходимость скрыть в файле Robots.txt разделы или отдельные страницы сайта от «глаз» поисковых роботов. Это дело известное и причины для него могут быть разные: удаление дублей контента из индекса, выкидывание «застрявших» в индексе несуществующих страниц и т.д.
Однако при создании нового сайта бывает полезным закрыть от индексации всё, кроме главной страницы.
Например, вы создаёте интернет-магазин и дальше главной роботу лучше не ходить — чтобы не индексировать пока ещё «кривые» страницы (иначе в дальнейшем могут быть торможения при продвижении..).
Почему лучше оставить главную? В этом случае ПС узнает о существовании нового сайта и начнётся т.н. увеличение траста вашего ресурса (а иначе бы поисковик узнал о вашем проекте только при его полном запуске).
Так что если вам нужно оставить сайт открытым для пользователей, но закрыть всё «нутро» от поисковых систем и в то же время — заявить о себе поисковикам, то можно применить файл Robots.txt для этих целей. Как это делается — написано дальше.
Как закрыть сайт от индексации в Robots.txt, оставив поисковикам главную страницу?
Недавно у меня возникла такая задача, пришлось немного подумать. Как оказалось, всё очень просто — составляем такой Robots.txt:
User-agent: *
Disallow: /
Allow: /$
Вот и всё. Эффект от этого можно проверить инструментом Яндекса для анализа robots.txt.
Как закрыть сайт от индексации с помощью Robots.txt полностью:
Если вообще весь ресурс нужно спрятать от поисковиков, то это совсем просто:
User-agent: *
Disallow: /
Таким образом, если на период разработки сайта вы не желаете «отдавать» ПС внутренние недоделанные страницы, но хотите уже пустить туда пользователей — закрывайте в robots.txt от индексации всё, кроме главной. И не забудьте отредактировать данный файл, когда решите пустить и роботов
Плагин WordPress для создания галерей - NextGen...от как будет выглядеть моя галерея на сайте. Или вы просто можете поставить
Поведенческие факторы поисковых систем. Как улучшить ПФ и в чём суть?После проведённого онлайн-семинара по продвижению сайта в поис...
Защита админки в WordPress - просто, быстро и надёжно!...(пока не ясно точно, что это было) решил защитить админку данного
Обзор CPA партнерской сетки Cpa.house....bMoney Яндекс Деньги Qiw Capitalist Карты банков. Обратите внимание, на
SEO-аудит блога о здоровье Sportzador.ru. ВидеоВ данной заметке - блог "О здоровье на здоровье". Разные проблемы с оптими...
Что траст будет набираться — это очень логично даже, надо это использовать сразу на молодых доменах.
Хотя на только что купленный домен можно простой одностраничник повесить и скормить поисковикам.
Но если сайт уже большой загружен и пока он в разработке, то да, полезно ))
— да, к таким сайтам это в первую очередь и стоит применять
А как закрыть только одну рубрику, и все статьи которые в ней находятся?
Так закройте с помощью Disallow всю эту рубрику, например,
Disallow: /category/name-of-category/
Если же у вас структура URL постов не содержит в себе рубрику, то делайте с помощью мета-тега robots: http://web-ru.net/prodvizhenie-sajta/seo/chto-takoe-meta-teg-robots-meta-name-robots-7-osnovnyh-variantov-googlebot.html
А если я хочу поставить страницу на реконструкции, она подойдет для траста?
Ну если страница кривая совсем, то лучше её и не показывать.
Если же имеете в виду сделать страницу, на которой будет написано «сайт на реконструкции» или типа того, то можно поставить её в качестве главной и разрешить к индексации.
Вокруг Robots.txt всегда много разговоров. Хм..искал искал информацию по разработке сайтов, наткнулся на вашу статью. Спасибо, информация полезная в любом случае..закрывать от индексации правда порой необходимо. Когда работали по нашему сайту, закрывали все страницы кроме главной и этой wezom.com.ua/razrabotka_sajtov. Сейчас все нормально идет. Спасибо за статью.
Интересная идея на счет того, чтобы открыть главную для индексации, гуглбот же может перейти по внутренним ссылкам с главной и проиндексировать страницы, даже если они закрыты в robots.txt