Как с помощью robots. txt закрыть сайт от индексации: простые шаблоны и как их применять

Благодаря файлу роботс можно не только дать рекомендации поисковым роботам, что следует сканировать, а что – нет. В этой статье вы поймете, как, используя robots. txt закрыть сайт от индексации, чтобы робот вообще не заглядывал на вашу площадку.

Когда это требуется? Если сайт находится на стадии разработки, и нежелательно портить его репутацию еще до запуска, или на период редизайна. В общем, когда меньше всего нужно, чтобы потенциальные клиенты видели его сырым. Есть два варианта решения: закрыть полностью или оставить одну страничку (главную). Второй способ лучше тем, что продвижение по поисковым системам начинается (или продолжается) еще до полного запуска.

Как закрыть сайт от индексации в robots.txt для ботов всех систем поиска

Вариант 1. Создать пустой текстовый документ (подойдет стандартный Блокнот) с именем robots в формате .txt и пишем:

User-agent: *

Disallow:

Вариант 2. Создать пустой документ «/robots.txt». Готово.

Довольно просто, дело двух минут. Но, как было сказано выше, лучше оставлять для сканирования главную страницу, чтобы в будущем избежать проблем с продвижением. Думаете, нужно прописывать кучу условий, запретов и разрешений? Вопреки, все довольно просто:

User-agent: *

Disallow: /

Allow: /$

Иногда требуется запретить для сканирования одну или несколько веб-страниц, когда площадка должна продолжать функционировать. Благодаря robots.txt закрыть страницу от индексации не только реально, но и просто. Рассмотрим на примере: нужно запретить доступ к странице www.inininioomn.com/user-bot-heal/uctID=765 Для этого вписываем в файл следующее:

User-agent: *

Disallow /user-bot-heal/uctID=765

Обратите внимание, что между строчками не должно быть пустой строки, а адрес сайта надо указать не полностью – без доменного имени. Поисковые роботы правильно вас поймут, и заданный путь индексироваться не будет.

Желательно закрывать от поисковиков страницы, которые не несут для них полезной информации: статистику, комментарии, форму регистрации, папки административной панели и т.п. Чем меньше файлов нужно будет индексировать, тем быстрее робот закончит с анализом, и тем меньше нагрузки будет на хостинг.

Как узнать, грамотно ли составлен файл?

Проверить, правильно ли был написан код, можно в системах Гугл и Яндекс вебмастеров. А если нужно узнать, занесен ли определенный документ в индекс, воспользуйтесь сервисом https://tools.pixelplus.ru/#internal-optimization. Нужно зарегистрироваться в проекте и воспользоваться инструментом «Определение возраста документа в Яндексе» на бесплатной основе:

Вывод: с помощью robots.txt закрыть от индексации весь сайт или отдельные его составляющие не составит труда. Это доказывает значимость файла. Чтобы изменения вступили в силу, остается загрузить его в корневую папку (каталог) сайта и ждать гостей в виде роботов-поисковиков.

Спасибо, что навестили блог. Подписывайтесь на обновления, и получайте только актуальные новости по продвижению ресурсов. Поделитесь информацией в социальных сетях.  Применяйте полученные знания на практике для успешного продвижения по поисковикам. Приятной работы!

Баннер 600x90

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Если Вы не бот решите задачку? *