Оптимизация сайта – закрываем страницы от индексации

Существуют страницы сайта, созданные самостоятельно его разработчиком, либо автоматически, которые необходимо скрыть поискового робота. Как правило, страницы, не подлежащие индексации, являются полезными для пользователей, но информация, на них размещенная, не должна быть доступна широкой аудитории, следовательно, не должна попасть в результаты выдачи по поисковым запросам пользователей сети.

Необходимо скрывать от индексации страницы сайта, содержащие служебные данные и информацию, продублированную на проиндексированной странице. Распространение подобных страниц в поисковой системе, может нанести существенный ущерб репутации сайта, по причине ненадлежащего хранения персональных данных пользователей и, во втором случае, некачественного, с точки зрения поисковых систем, контента.

Безусловно, удаление «непубличных» страниц сайта, является ошибкой. Следствием удаления служебных страниц, созданных как вручную, так и автоматически, станет возникновение «ошибки 404» (ответ сервера об отсутствии запрошенных данных). Наличие технических ошибок при использовании сайта, наносит вред его поисковому продвижению. Решением вопроса является – закрытие страниц от поискового робота, иными словами, посетитель сайта данные страницы видит, а поисковая система нет.

Административный раздел сайта

Административная часть сайта предназначена исключительно для специалистов обслуживающих его, естественно, внесение страниц данного раздела, в индекс поисковой системы, неприемлемо. Если, для разработки сайта, использовалась система управления контентом (CMS), то все страницы администрирования автоматически исключаются из индекса директивой «Disallow» в генерируемом файле robot.txt (текстовый файл корневой директории, содержащий инструкции для поискового робота). Однако если файл, содержащий инструкции поисковому роботу, создан самостоятельно и корректировался в процессе разработки сайта, необходимо убедиться в том, что запрет на индексацию распространяется на все непубличные страницы.

Страницы, содержащие персональные данные пользователей

Данные страницы существуют практически на любом сайте или блоге, в которых реализована функция регистрации посетителей. Страницы, содержащие регистрационные данные посетителей, являются полезными для владельца сайта, однако их распространение крайне нежелательно.

Страницы оформления заказов и заявок

Эти страницы встречаются как в интернет-магазинах, так и на некоммерческих сайтах, они не несут смысловую нагрузку, следовательно, их необходимо закрыть от индексации в поисковых системах.

Подводя итог, можно отметить, что существуют различные способы закрытия страниц сайта от индексации. Написание запрещающих директив в файле-инструкции robot.txt, установка мета-тега «robots» в код соответствующей страницы, использование редиректа, указывающего на перемещение страницы (301 редирект), а также указание запрета на индексацию в файле каталога «.htaccess». Выбор оптимального решения зависит от характеристик, закрываемых от индексации, страниц.