Что должно быть в robots.txt вашего сайта
Откройте /robots.txt на основном HTTPS-адресе. Проверьте статус ответа и сам текст: страница ошибки CMS под кодом 200 не становится корректным файлом правил. Для поддомена или другого протокола действуют собственные настройки.
Составьте короткий список задач: разрешить страницы услуг, ограничить бесполезный обход служебных маршрутов, указать доступную XML-карту. Не переносите чужие названия корзины или поиска без сверки с маршрутами своей CMS.
Пример правил и проверка пяти URL
Учебный файл в приложении использует User-agent: *, Disallow: /internal-search/ и Allow: /internal-search/help/. Это пример ограничения встроенного поиска с одним открытым справочным адресом. Он не является конфигурацией для любого сайта.
Для Google при совпадении применимых Allow и Disallow учитывается наиболее специфичное правило, а при равной длине предпочтение получает разрешение. Отдельная группа для конкретного робота может изменить результат; сверяйте правила именно для него.
| Адрес на учебном хосте | Ожидаемый обход | Причина |
|---|---|---|
| /services/ | Разрешён | Нет подходящего запрета |
| /internal-search/ | Запрещён | Правило раздела |
| /internal-search/?q=lamp | Запрещён | Тот же префикс пути |
| /internal-search/help/ | Разрешён | Более конкретный Allow |
| /contact/ | Разрешён | Нет подходящего запрета |
Почему Disallow не заменяет noindex
Если адрес закрыт от обхода, Google может знать о нём по ссылкам и показать URL без изучения содержимого. Запрет обхода не равен гарантированному исключению из результатов. Чтобы робот прочитал noindex, ему нужен доступ к документу.
Личные кабинеты, договоры и персональные данные защищают авторизацией. Запрет в публичном robots.txt не мешает человеку открыть известный адрес и не заменяет серверные права доступа.
Как принять изменение у исполнителя
Сохраните прежний файл и результат проверки адресов до изменения. После публикации повторите те же URL в инструментах поисковой системы и обычным GET-запросом; отдельно проверьте доступность важных CSS и JavaScript.
Проверка синтаксиса подтверждает настройки, но не дату переобхода и не позиции. Для результата наблюдайте конкретные документы в поисковых отчётах. Доступ ботов нейросетей рассматривайте отдельно: их задачи отличаются от обычного поискового обхода.
Продолжить: Проверить правила обхода сайта; Программа видимости: состав и условия