# Учебный robots.txt для поискового обхода

example.com зарезервирован для примеров. Маршруты вымышлены. Это не готовая конфигурация вашего сайта и не средство защиты данных.

```text
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml
```

| Путь | Ожидаемый обход для этой группы |
| --- | --- |
| /services/ | Разрешён |
| /internal-search/ | Запрещён |
| /internal-search/?q=lamp | Запрещён |
| /internal-search/help/ | Разрешён |
| /contact/ | Разрешён |

Отдельная группа конкретного робота может изменить результат. Проверяйте фактический хост, правила и адреса своего сайта. Disallow не заменяет noindex или авторизацию.