Выберите способ для конкретного документа
Для HTML подходит <meta name="robots" content="noindex"> в head страницы. Если такой метатег добавляет общий шаблон, проверьте все затронутые типы страниц: случайный noindex может закрыть услуги вместе со служебным разделом.
Для PDF и других файлов без HTML-head применяют HTTP-заголовок X-Robots-Tag: noindex. Попросите администратора настроить его для конкретного пути или согласованного класса файлов, а не для всего сайта.
Пример проверки HTML и PDF
В учебном примере /request-received/ содержит публичное подтверждение отправки без личных данных, а /documents/old-guide.pdf — устаревшую инструкцию, которая временно нужна по прямой ссылке. Решение об исключении принимается отдельно для каждого документа.
Откройте исходный HTML первого адреса, найдите meta robots в head. Для файла выполните GET с выводом заголовков: curl -sS -D - -o /dev/null https://example.com/documents/old-guide.pdf . Убедитесь, что проверяете ответ PDF, а не страницу редиректа. example.com зарезервирован для примеров.
| Документ | Способ | Контроль |
|---|---|---|
| HTML-подтверждение | meta robots noindex | Исходный head и ответ GET |
| Публичный PDF | X-Robots-Tag: noindex | Заголовок самого файла |
| Личный договор | Авторизация | Без входа нет доступа к данным |
Не закрывайте роботу путь к самому запрету
Если robots.txt запрещает обход адреса, робот может не увидеть noindex. Исключение уже известного документа тогда нельзя подтвердить только наличием метатега. Проверьте применимые правила обхода и историю получения страницы.
Canonical тоже не заменяет noindex: это сигнал о предпочтительном адресе среди копий, а не команда скрыть документ. Для похожих страниц сначала решают, нужен ли отдельный публичный URL и что должно остаться в поиске.
Как проверить результат и отменить noindex
После публикации сохраните дату, URL, статус, метатег или заголовок. Уберите исключаемый адрес из XML-карты, если он больше не предназначен для поискового индекса. При наличии доступа проверьте URL в поисковой консоли после повторного обхода.
Чтобы вернуть документ, удалите все применимые запреты и проверьте доступность, внутренние ссылки и canonical. Удалённый noindex делает индексацию возможной, но не назначает срок включения или позицию.
Продолжить: Проверить запреты индексации; Программа видимости: состав и условия