Оптимизация сайта – закрываем страницы от индексации

Существуют страницы сайта, созданные самостоятельно его разработчиком, либо автоматически, которые необходимо скрыть поискового робота. Как правило, страницы, не подлежащие индексации, являются полезными для пользователей, но информация, на них размещенная, не должна быть доступна широкой аудитории, следовательно, не должна попасть в результаты выдачи по поисковым запросам пользователей сети.