Начните с цели, а не общего списка AI-ботов
Владелец сайта может хотеть, чтобы открытые статьи находились в поиске, но не использовались для обучения определённых моделей. Может понадобиться отдельно ограничить нагрузку или сохранить доступ к закрытому кабинету только по авторизации. Эти задачи требуют разных механизмов и не сводятся к одной строке «разрешить ИИ».
robots.txt описывает правила обхода на соответствующем хосте. Он не является системой авторизации. Путь, запрещённый для добросовестного робота, может оставаться доступным обычному посетителю или клиенту, который не соблюдает протокол. Закрытые документы защищают соответствующим контролем доступа, а не публикацией их адресов в robots.txt.
Сведения о поставщиках ниже проверены по первичным документам 25 октября 2026 года. Перед рабочим изменением нужно открыть актуальные версии: имена агентов, назначения и способы проверки могут меняться. Учебный пример не является рекомендацией заменить действующий файл целиком.
Источники: RFC 9309: протокол исключения роботов
Справочник назначений: не смешивайте поставщиков
OpenAI описывает OAI-SearchBot как поисковый агент, а GPTBot — как агент сбора материалов, которые могут использоваться для обучения базовых моделей. Настройки независимы. ChatGPT-User связан с отдельными пользовательскими действиями; документация предупреждает, что robots.txt для таких обращений может не применяться.
Anthropic различает ClaudeBot, Claude-SearchBot и Claude-User. Компания заявляет соблюдение robots.txt своими роботами, включая пользовательского агента. Поэтому исключение OpenAI нельзя автоматически переносить на Claude-User. PerplexityBot предназначен для поиска, не для обучения базовых моделей; Perplexity-User действует по запросу пользователя и обычно игнорирует robots.txt.
Для Google важно различать Googlebot и управляющий токен Google-Extended. У Google-Extended нет собственного HTTP User-Agent: обход выполняют существующие агенты. По документации этот токен регулирует определённое использование в Gemini и связанных продуктах; он не управляет включением в Google Search и не является сигналом ранжирования.
| Поставщик / имя | Заявленное назначение | Что учитывать |
|---|---|---|
| OpenAI / OAI-SearchBot | Поиск | Отдельно от GPTBot; разрешение не гарантирует показ |
| OpenAI / GPTBot | Возможное обучение базовых моделей | Независимое решение владельца |
| OpenAI / ChatGPT-User | Пользовательские действия | robots.txt может не применяться |
| Anthropic / ClaudeBot | Материалы для обучения | Anthropic заявляет соблюдение robots.txt |
| Anthropic / Claude-SearchBot | Поиск | Отдельное назначение |
| Anthropic / Claude-User | Пользовательские запросы | Не переносить исключение OpenAI |
| Perplexity / PerplexityBot | Поиск, не обучение базовых моделей | Проверять текущую документацию и IP |
| Perplexity / Perplexity-User | Получение страницы по запросу | Обычно игнорирует robots.txt |
| Google / Google-Extended | Управляющий токен для указанного использования | Не отдельный HTTP-агент и не переключатель Google Search |
Источники: OpenAI: роботы и их назначения; Anthropic: роботы и управление доступом; Perplexity: поисковые и пользовательские обращения; Google: общие поисковые роботы и Google-Extended
Поиск, обучение и доступ проверяют независимо
Если разрешён OAI-SearchBot, это ещё не означает, что GPTBot получил такое же правило. И наоборот: запрет GPTBot не следует описывать как запрет всех ответов ChatGPT. Документация связывает агентов с разными процессами, а не с одним общим уровнем «видимости в ИИ».
У Google поиск с ИИ внутри Search использует применимые средства управления Search. Google-Extended относится к иному указанному в документации использованию. Назвать его универсальным запретом всех AI-функций Google было бы ошибкой. При выборе ограничения нужно читать описание конкретного продукта и желаемого результата.
Наконец, разрешение в robots.txt не отменяет блокировку на CDN, WAF или сервере. Если робот получает отказ, пустую страницу или ошибку, разрешающая строка не доставит ему текст. Проверяйте цепочку целиком, не ослабляя защиту ради непроверенного имени в заголовке.
Источники: OpenAI: роботы и их назначения; Google: общие поисковые роботы и Google-Extended
Учебная конфигурация: две конкретные цели
Условный сайт хочет разрешить OAI-SearchBot открытые статьи, исключить для него /private/ и /draft/, а GPTBot не разрешать обход. Для остальных автоматических агентов действует общее исключение этих двух каталогов. Это демонстрация выбора групп, а не готовая политика для любого бизнеса.
Каждая строка в таблице ниже соответствует отдельной строке файла; порядок строк внутри примера сохраняется. Пустая строка разделяет группы. В явной группе OAI-SearchBot ограничения повторены намеренно: нельзя рассчитывать, что группа со звёздочкой автоматически добавится к более подходящей группе.
Пример не содержит закрытых документов и не предлагает открывать реальные кабинеты. Он также не пытается с помощью правил GPTBot управлять поведением пользовательских обращений других поставщиков.
| Строка | Содержимое учебного файла |
|---|---|
| 1 | User-agent: * |
| 2 | Disallow: /private/ |
| 3 | Disallow: /draft/ |
| 4 | Пустая строка |
| 5 | User-agent: OAI-SearchBot |
| 6 | Disallow: /private/ |
| 7 | Disallow: /draft/ |
| 8 | Пустая строка |
| 9 | User-agent: GPTBot |
| 10 | Disallow: / |
Источники: Google: правила robots.txt; RFC 9309: протокол исключения роботов
Проверьте решение для каждого конкретного URL
Тест должен указывать хост, путь, агента и ожидаемый результат применения правил. Фраза «бот открыт» слишком общая. Ошибка может затрагивать только каталог, регистр пути или другую версию адреса. Проверяйте также исходный и конечный URL при перенаправлении.
Для нашего простого примера результаты приведены ниже. Они описывают применение выбранных групп, а не утверждают, что робот реально посетил страницу. Для фактического доступа дополнительно нужен ответ сервера и проверка блокировок. Поведение пользовательских fetcher не выводится из этой таблицы.
| Агент | Путь на учебном хосте | Ожидание по примеру | Причина |
|---|---|---|---|
| OAI-SearchBot | /blog/guide/ | Разрешён | В его группе нет запрета этого пути |
| OAI-SearchBot | /private/report/ | Запрещён | Явное правило /private/ |
| OAI-SearchBot | /draft/guide/ | Запрещён | Явное правило /draft/ |
| GPTBot | /blog/guide/ | Запрещён | Для GPTBot запрещён / |
| Claude-SearchBot | /blog/guide/ | Разрешён по общей группе | Нет более подходящей группы в примере |
| Claude-SearchBot | /private/report/ | Запрещён по общей группе | Правило /private/ |
| PerplexityBot | /draft/guide/ | Запрещён по общей группе | Правило /draft/ |
| Googlebot | /blog/guide/ | Разрешён по общей группе | Это не решение о фактической индексации |
Если добавить отдельную группу для другого агента, пересчитайте её тесты: общее ограничение может перестать быть применимой группой. Для более сложных шаблонов, Allow и Disallow проверяйте правила сопоставления по документации используемого протокола и инструмента, а не по порядку строк на глаз.
Пользовательские обращения и проверка настоящего агента
Запись ChatGPT-User или Perplexity-User в журнале нельзя оценивать как обычный плановый обход только по имени. Для этих обращений поставщики описывают отдельный режим по действию пользователя. У Claude-User документация Anthropic заявляет соблюдение robots.txt. Именно поэтому в рабочем реестре полезна колонка политики поставщика.
Строку User-Agent можно подделать. Если требуется отличить заявленного робота от произвольного клиента, используйте рекомендованный поставщиком способ проверки. Где опубликованы актуальные диапазоны IP, сверяйте их с официальным источником и фиксируйте дату. Не копируйте случайный список из статьи как бессрочное разрешение.
Отказ в журнале тоже требует контекста: код ответа, время, адрес и слой, который его выдал. По одной строке нельзя заключить, что robots.txt нарушен или что сервис получил текст. Это вопрос фактического доступа и заявленной политики, а не рейтинга нейровидимости.
Источники: OpenAI: роботы и их назначения; Anthropic: роботы и управление доступом; Perplexity: поисковые и пользовательские обращения
Частые ошибки при применении правил
Первая ошибка — открыть всё под видом поисковой оптимизации. Вторая — запретить обучение одним агентом и объявить, что сайт полностью исключён из всех AI-продуктов. Третья — добавить точную группу, забыв ограничения из общей. Каждая ошибка возникает из слишком общего представления о механизме.
Отдельно проверяйте расположение файла и хост. Правила одного поддомена не заменяют правила другого. robots.txt должен быть доступен по предусмотренному адресу; неожиданные статусы и ошибки получения файла обрабатываются системами по собственным документированным правилам. Не имитируйте проверку простым поиском слова Allow в тексте.
Не используйте robots.txt вместо удаления персональных или закрытых данных из публичного доступа. И не путайте запрет обхода с гарантированным исчезновением уже известного адреса из поиска. Для управления индексированием и отображением у конкретного сервиса есть отдельные средства и условия их обработки.
Источники: Google: правила robots.txt; RFC 9309: протокол исключения роботов
Что должно быть в приёмке изменения
До изменения сохраните исходный файл и желаемую политику по назначениям. Подготовьте точный diff и таблицу тестов для открытых и ограниченных URL. После согласования проверьте доставленный файл, результаты сопоставления и реальные ответы сервера. Оставьте возможность восстановить предыдущую версию.
В отчёте разделите четыре результата: правило опубликовано, URL-тест проходит, робот фактически получил ответ, страница наблюдается в поиске. Последний пункт не следует автоматически из первых трёх. Индексирование, цитирование и сроки обработки остаются внешними процессами.
Если задача состоит в диагностике видимости, начните с текущей конфигурации и конкретного проблемного URL. Это позволит понять, есть ли техническая преграда и что именно стоит менять. Массовое разрешение всех агентов без цели не заменяет такую проверку.
Продолжить: Как проверить доступность текста на JavaScript; Почему обращение робота не равно переходу