Если вы владелец сайта, то у вас всегда есть выбор какие страницы вашего сайта будут участвовать в поиске, а какие – нет. Более того, существуют и такие страницы, которые нужно обязательно закрывать от индексации! О них и пойдет речь в данной статье.
Закрыть страницы от роботов поисковых систем можно с помощью файла robots.txt, который находится в корневой папке вашего сайта.
Исходя из практики, рекомендуем закрывать от индексации:
Страницы-дубли (полные и, возможно, частичные)
Дубли – это страницы, представляющие собой полные копии содержимого определенной страницы, под разными URL.
Дубли представляют большую опасность для сайта. Причины этого – конкуренция между данными страницами. Поисковая выдача может сильно «скакать» в позициях, т.к. меняются посадочные URL.
В некоторых случаях дублями могут также являться и мультиязычные страницы сайта, когда только лишь часть страницы переводится на другой язык, а основной контент дублируется.
Неинформативные страницы, такие как:
- страницы результатов поиска по сайту
- страницы фильтра продукции
- страницы перехода на вторую, третью…десятую страницу (в интернет-магазинах)
- версии для печати
- пустые страницы
Бывают случаи, когда в индекс попадают десятки, а то и сотни страниц с выдачей внутреннего поиска по сайту или с применения фильтра. Это неправильно, т.к. данная информация не несет никакой пользы для пользователей, а значит, противоречит требованиям поисковых систем.
Неготовый сайт
Если вы только недавно создали сайт, и он у вас находится еще в процессе доработки или на начальной стадии наполнения, то следует его закрыть от индексации, т.к. поисковая система, увидев неготовый для конкуренции, не полезный и сырой сайт – сразу осложнит вам путь к хорошим результатам.
