Соберите независимый реестр страниц
Выгрузите опубликованные адреса из CMS и отдельно извлеките URL из XML-карты. Добавьте известные страницы из поисковых отчётов или журналов, если они доступны. Каждый источник неполон по-своему: sitemap может содержать устаревшие адреса, а CMS — закрытые технические документы.
Приведите протокол, хост и конечные адреса к понятному виду, сохраняя исходное значение. Не объединяйте разные страницы только потому, что у них похожие названия. Запишите дату и правила исключения служебных URL.
Сравните реестр с обходом от главной
Запустите согласованный обход публичной части с умеренной скоростью и зафиксируйте внутренние входящие ссылки. Если инструмент получил URL прямо из sitemap, это ещё не доказывает наличие ссылки из страницы. Разделяйте способы обнаружения.
В вымышленном примере три полезных документа есть в CMS. Обход от главной нашёл только два. Для /guides/care/ нужно проверить причины недостижимости и актуальность материала, а не сразу добавлять его в каждое меню.
| Учебный URL | В CMS / sitemap | Найден по ссылкам |
|---|---|---|
| /services/ | Да / да | Да |
| /contact/ | Да / да | Да |
| /guides/care/ | Да / да | Нет — кандидат на проверку |
Уточните причину и выберите действие
Отсутствие URL в обходе бывает связано не только с сиротством: проверьте авторизацию, запреты, ошибки ответа, JavaScript-навигацию и настройки самого краулера. Если краулер не нашёл URL, сначала проверьте ограничения обхода; этого ещё недостаточно для вывода, что ссылок нет.
Полезную действующую инструкцию свяжите с подходящей услугой или разделом. Дубль разберите по правилам каноникализации или объединения. Устаревший документ не нужно искусственно возвращать в навигацию только ради числа входящих ссылок.
Как принять исправление
Сохраните источник новой ссылки, её подпись и назначение. Google рекомендует доступные ссылки с href и понятный текст. Повторный обход от того же старта должен обнаружить исправленный маршрут, а конечная страница — отвечать своей задаче.
Изменение ссылок подтверждает доступность пути, но не включение в индекс или позицию. Если документ важен для ответа нейросети, дополнительно проверьте полноту содержания и фактическое цитирование; наличие ссылки само по себе этого не доказывает.
Продолжить: Проверить доступность важных страниц; Программа видимости: состав и условия