Какие журналы нужны
У сайта с CDN, балансировщиком и приложением запрос может фиксироваться в разных местах. Уточните, какой журнал показывает обращение к публичному ресурсу, какой — только внутренний прокси. Не суммируйте эти строки как независимые посещения.
Запросите минимально необходимую выгрузку через согласованный канал. В аналитическую сводку не включают пароли, cookies, тела заявок и персональные параметры. Владелец определяет доступ и срок хранения исходных журналов.
Как подтвердить Googlebot
Google описывает проверку через обратное DNS-разрешение и последующее прямое разрешение, а также опубликованные диапазоны IP для разных категорий роботов. Совпадение слова Googlebot в User-Agent можно подделать.
При DNS-проверке недостаточно похожего имени: проверяют допустимый домен и соответствие исходному IP при прямом разрешении. Используйте текущую документацию нужной категории, не старый случайный список адресов.
Пример обезличенной сводки
Учебный период — семь полных дней в одном часовом поясе. После проверки роботов получили таблицу ниже. Отсутствие запроса у /services/new/ означает только отсутствие в исследованном журнале, а не отсутствие в интернете или индексе.
| Учебный URL | Подтверждённые запросы | Результат |
|---|---|---|
| /services/main/ | 12 | 12 ответов 200 |
| /catalog/?sort=price | 60 | 60 ответов 200 |
| /services/new/ | 0 | Проверить полноту источников |
| /old-guide/ | 3 | 3 ответа 404 |
Как превратить наблюдение в задачу
Большое число запросов к сортировке — повод проверить дубли и полезность адресов, а не немедленно запретить весь каталог. Для новой услуги проверьте доступность, ссылки и настройки обхода. У старого адреса выясните, кто продолжает на него ссылаться.
Повторите сводку после исправлений на сопоставимом интервале. Логи подтверждают получение запросов сервером; индексацию и поисковые показы проверяют другими инструментами. Совпадение по времени не доказывает влияние изменения на позиции.
Продолжить: Проверить фактический обход сайта; Программа видимости: состав и условия