Напишите правила robots.txt и проверьте, что именно они блокируют
Этот генератор robots.txt собирает файл из групп user-agent и правил Allow/Disallow, добавляет ваш sitemap и в один клик применяет готовые настройки — например, блокировку ИИ-краулеров для обучения моделей или стандартный файл для WordPress. Затем тестер отвечает на главный вопрос: разрешён ли этот URL для этого краулера и какая строка это решает? Он следует RFC 9309 и задокументированному поведению Google — самая конкретная группа user-agent, самый длинный совпавший путь, при равенстве побеждает Allow, подстановочные знаки * и $ — и подсвечивает ошибки прямо при вводе. Всё работает в вашем браузере.
Как создать и проверить robots.txt
- 1Начните с пресета — Разрешить всё, Блокировать ИИ-краулеры, WordPress, Блокировать SEO-сервисы или Запретить всё — или редактируйте группы напрямую.
- 2В каждой группе перечислите user-agent, к которым она относится (
*— все краулеры), и добавьте пути Disallow и Allow, например/admin/или/*.pdf$. - 3Добавьте абсолютный URL вашей XML-карты сайта, проверьте предупреждения под результатом и скопируйте или скачайте
robots.txt. - 4Переключитесь в режим Проверка, введите имя краулера и по одному URL в строке — для каждого вы увидите вердикт, а также правило и группу, которые его определили. Вставьте туда любой действующий robots.txt, чтобы проверить его.
- 5Загрузите файл в корень хоста, чтобы он открывался по адресу
https://yourdomain.com/robots.txt.
Как работает robots.txt
Прежде чем обходить сайт, добросовестный краулер загружает /robots.txt из корня хоста и ищет правила, адресованные ему. Файл — это список групп: одна или несколько строк User-agent, за которыми идут правила Allow и Disallow. Строки Sitemap находятся вне групп и действуют для всех.
У каждого протокола, хоста и порта свой robots.txt: правила в https://example.com/robots.txt не распространяются на https://shop.example.com или http://example.com. Если файла нет (404), сканировать можно всё; ошибка сервера заставляет Google приостановить обход сайта.
Правила сопоставления — точно
- Выбор группы
- Краулер подчиняется только той группе, чей user-agent называет его наиболее конкретно, без учёта регистра: Googlebot-Image использует группу Googlebot-Image, если она есть, иначе группу Googlebot, иначе *. Группы с одним и тем же агентом объединяются. Правила группы * не добавляются к именованной группе.
- Побеждает самое длинное совпадение
- Внутри группы решает правило, путь которого совпадает с наибольшим числом символов пути URL. Disallow: /shop вместе с Allow: /shop/sale разрешает /shop/sale/shoes.
- При равенстве — Allow
- Если правила Allow и Disallow совпадают с одинаковой длиной, URL разрешён.
- * и $
- * соответствует любой последовательности символов, а $ в конце привязывает шаблон к концу URL: Disallow: /*.pdf$ блокирует /files/report.pdf, но не /report.pdf?download=1.
- Пути — это префиксы
- Disallow: /admin блокирует /admin, /admin/ и /administrator. Добавьте косую черту в конце, чтобы заблокировать только папку. Правила сравниваются с путём и строкой запроса с учётом регистра.
- Пустой Disallow
- Disallow: без пути разрешает всё; так принято записывать группу, которая ничего не блокирует.
Блокировка ИИ-краулеров
ИИ-компании публикуют user-agent своих краулеров, чтобы владельцы сайтов могли отказаться от сканирования. Пресет Блокировать ИИ-краулеры запрещает GPTBot, ChatGPT-User и OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot и anthropic-ai (Anthropic), Google-Extended (обучение Gemini), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot и другие, но оставляет обычным поисковикам свободный доступ.
Google-Extended и Applebot-Extended — это управляющие токены, а не отдельные краулеры: их блокировка исключает ваш контент из обучения Gemini и Apple Intelligence, не затрагивая Google Поиск и поисковый обход Applebot. Учтите, что поисковые боты, такие как OAI-SearchBot и Claude-SearchBot, отвечают за ссылки на источники в ответах ИИ-поиска; уберите их из списка, если хотите там появляться. Соблюдение правил добровольно, поэтому для краулеров, игнорирующих robots.txt, используйте правила сервера или файрвола.
Чего robots.txt не умеет
robots.txt управляет сканированием, а не индексацией. Запрещённый URL всё равно может появиться в результатах Google — без описания, — если на него ссылаются другие страницы. Чтобы убрать страницу из выдачи, разрешите сканирование и добавьте метатег robots noindex или заголовок X-Robots-Tag; Google игнорирует строки Noindex: в robots.txt с 2019 года. Создайте тег в генераторе мета-тегов.
Не используйте robots.txt, чтобы скрывать закрытые разделы: файл публичный и перечисляет именно те пути, которые вы не хотели бы показывать. Защищайте их авторизацией. И не блокируйте файлы CSS и JavaScript, нужные страницам для отображения, — иначе Google не увидит страницу так, как её видят посетители.
Crawl-delay, Host и другие директивы
Crawl-delay просит краулер выжидать несколько секунд между запросами. Bing и Яндекс его учитывают; Google игнорирует и сам подстраивает скорость обхода по ответам вашего сервера. Host была директивой только для Яндекса, указывающей главное зеркало, и сейчас устарела. Google читает не более 500 КиБ файла robots.txt.
Укажите краулерам вашу XML-карту сайта одной или несколькими строками Sitemap: с абсолютными URL; они могут стоять в любом месте файла. Саму карту сайта можно создать в генераторе sitemap.
Часто задаваемые вопросы
- Куда положить robots.txt?
- В корень хоста, чтобы он открывался по адресу https://example.com/robots.txt. robots.txt в подпапке игнорируется, а каждому поддомену нужен свой файл.
- Как заблокировать все краулеры?
- Используйте User-agent: * и затем Disallow: /. Краулеры, соблюдающие robots.txt, перестанут загружать страницы, хотя уже известные URL ещё какое-то время могут оставаться в поиске.
- Как заблокировать GPTBot и другие ИИ-краулеры?
- Добавьте группу с их user-agent — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot и так далее — и Disallow: /. Пресет «Блокировать ИИ-краулеры» запишет эту группу за вас и оставит поисковики разрешёнными.
- Удаляет ли Disallow страницу из Google?
- Нет. Он останавливает сканирование, но URL всё равно может попасть в индекс по ссылкам. Чтобы убрать страницу из выдачи, используйте метатег noindex на доступной для сканирования странице или удалите её через Search Console.
- Какое правило побеждает, если совпадают и Allow, и Disallow?
- То, у которого путь длиннее. При одинаковой длине побеждает Allow. Тестер показывает, какая строка решила судьбу каждого URL.
- Учитывает ли robots.txt регистр?
- Названия директив и значения user-agent — нет, а пути — да: Disallow: /Admin не блокирует /admin. Само имя файла должно быть robots.txt строчными буквами.
- Поддерживает ли Google Crawl-delay?
- Нет. Google игнорирует Crawl-delay и задаёт скорость обхода по тому, как отвечает ваш сервер. Bing и Яндекс его учитывают.
- Мой robots.txt куда-то загружается?
- Нет. Создание, разбор и проверка выполняются в вашем браузере.