Напишіть правила robots.txt і перевірте, що саме вони блокують
Цей генератор robots.txt збирає файл із груп user-agent і правил Allow/Disallow, додає ваш sitemap і в один клік застосовує готові налаштування — наприклад, блокування ШІ-краулерів для навчання моделей або стандартний файл для WordPress. Потім тестер відповідає на головне питання: чи дозволено цей URL для цього краулера і який рядок це вирішує? Він дотримується RFC 9309 і задокументованої поведінки Google — найконкретніша група user-agent, найдовший збіг шляху, за рівності перемагає Allow, символи підстановки * і $ — і підсвічує помилки просто під час введення. Усе працює у вашому браузері.
Як створити й перевірити robots.txt
- 1Почніть із пресета — Дозволити все, Блокувати ШІ-краулери, WordPress, Блокувати SEO-сервіси або Заборонити все — чи редагуйте групи напряму.
- 2У кожній групі перелічіть user-agent, яких вона стосується (
*— усі краулери), і додайте шляхи Disallow та Allow, наприклад/admin/або/*.pdf$. - 3Додайте абсолютну URL вашої XML-карти сайту, перегляньте попередження під результатом і скопіюйте або завантажте
robots.txt. - 4Перейдіть у режим Перевірка, введіть ім'я краулера й по одній URL у рядку — для кожної ви побачите вердикт, а також правило й групу, які його визначили. Вставте туди будь-який чинний robots.txt, щоб перевірити його.
- 5Завантажте файл у корінь хоста, щоб він відкривався за адресою
https://yourdomain.com/robots.txt.
Як працює robots.txt
Перш ніж обходити сайт, сумлінний краулер завантажує /robots.txt з кореня хоста й шукає правила, адресовані йому. Файл — це список груп: один або кілька рядків User-agent, за якими йдуть правила Allow і Disallow. Рядки Sitemap розташовані поза групами й діють для всіх.
Кожен протокол, хост і порт має власний robots.txt: правила в https://example.com/robots.txt не поширюються на https://shop.example.com чи http://example.com. Якщо файлу немає (404), сканувати можна все; помилка сервера змушує Google призупинити обхід сайту.
Правила зіставлення — точно
- Вибір групи
- Краулер підкоряється лише тій групі, чий user-agent називає його найконкретніше, без урахування регістру: Googlebot-Image використовує групу Googlebot-Image, якщо вона є, інакше групу Googlebot, інакше *. Групи з тим самим агентом об'єднуються. Правила групи * не додаються до іменованої групи.
- Перемагає найдовший збіг
- Усередині групи вирішує правило, шлях якого збігається з найбільшою кількістю символів шляху URL. Disallow: /shop разом з Allow: /shop/sale дозволяє /shop/sale/shoes.
- За рівності — Allow
- Якщо правила Allow і Disallow збігаються з однаковою довжиною, URL дозволено.
- * і $
- * відповідає будь-якій послідовності символів, а $ у кінці прив'язує шаблон до кінця URL: Disallow: /*.pdf$ блокує /files/report.pdf, але не /report.pdf?download=1.
- Шляхи — це префікси
- Disallow: /admin блокує /admin, /admin/ і /administrator. Додайте скісну риску в кінці, щоб заблокувати лише папку. Правила порівнюються зі шляхом і рядком запиту з урахуванням регістру.
- Порожній Disallow
- Disallow: без шляху дозволяє все; так прийнято записувати групу, яка нічого не блокує.
Блокування ШІ-краулерів
ШІ-компанії публікують user-agent своїх краулерів, щоб власники сайтів могли відмовитися від сканування. Пресет Блокувати ШІ-краулери забороняє GPTBot, ChatGPT-User і OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot і anthropic-ai (Anthropic), Google-Extended (навчання Gemini), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot та інші, але залишає звичайним пошуковикам вільний доступ.
Google-Extended і Applebot-Extended — це керувальні токени, а не окремі краулери: їх блокування виключає ваш вміст із навчання Gemini та Apple Intelligence, не зачіпаючи Google Пошук і пошуковий обхід Applebot. Зважайте, що пошукові боти, як-от OAI-SearchBot і Claude-SearchBot, відповідають за посилання на джерела у відповідях ШІ-пошуку; приберіть їх зі списку, якщо хочете там з'являтися. Дотримання правил добровільне, тож для краулерів, які ігнорують robots.txt, використовуйте правила сервера або файрвола.
Чого robots.txt не вміє
robots.txt керує скануванням, а не індексацією. Заборонена URL усе одно може з'явитися в результатах Google — без опису, — якщо на неї посилаються інші сторінки. Щоб прибрати сторінку з пошуку, дозвольте сканування й додайте метатег robots noindex або заголовок X-Robots-Tag; Google ігнорує рядки Noindex: у robots.txt з 2019 року. Створіть тег у генераторі мета-тегів.
Не використовуйте robots.txt, щоб приховувати закриті розділи: файл публічний і перелічує саме ті шляхи, які ви не хотіли б показувати. Захищайте їх автентифікацією. І не блокуйте файли CSS та JavaScript, потрібні сторінкам для відображення, — інакше Google не побачить сторінку так, як її бачать відвідувачі.
Crawl-delay, Host та інші директиви
Crawl-delay просить краулер чекати кілька секунд між запитами. Bing і Yandex його враховують; Google ігнорує й сам підлаштовує швидкість обходу за відповідями вашого сервера. Host була директивою лише для Yandex, що вказувала головне дзеркало, і тепер застаріла. Google читає не більше ніж 500 КіБ файлу robots.txt.
Вкажіть краулерам вашу XML-карту сайту одним або кількома рядками Sitemap: з абсолютними URL; вони можуть стояти будь-де у файлі. Саму карту сайту можна створити в генераторі sitemap.
Поширені запитання
- Куди покласти robots.txt?
- У корінь хоста, щоб він відкривався за адресою https://example.com/robots.txt. robots.txt у підпапці ігнорується, а кожному піддомену потрібен свій файл.
- Як заблокувати всі краулери?
- Використайте User-agent: * і далі Disallow: /. Краулери, що дотримуються robots.txt, перестануть завантажувати сторінки, хоча вже відомі URL ще якийсь час можуть лишатися в пошуку.
- Як заблокувати GPTBot та інші ШІ-краулери?
- Додайте групу з їхніми user-agent — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot тощо — і Disallow: /. Пресет «Блокувати ШІ-краулери» запише цю групу за вас і залишить пошуковики дозволеними.
- Чи видаляє Disallow сторінку з Google?
- Ні. Він зупиняє сканування, але URL усе одно може потрапити в індекс через посилання. Щоб прибрати сторінку з пошуку, використайте метатег noindex на доступній для сканування сторінці або видаліть її через Search Console.
- Яке правило перемагає, якщо збігаються і Allow, і Disallow?
- Те, у якого шлях довший. За однакової довжини перемагає Allow. Тестер показує, який рядок вирішив долю кожної URL.
- Чи враховує robots.txt регістр?
- Назви директив і значення user-agent — ні, а шляхи — так: Disallow: /Admin не блокує /admin. Саме ім'я файлу має бути robots.txt малими літерами.
- Чи підтримує Google Crawl-delay?
- Ні. Google ігнорує Crawl-delay і визначає швидкість обходу за тим, як відповідає ваш сервер. Bing і Yandex його враховують.
- Чи кудись завантажується мій robots.txt?
- Ні. Створення, розбір і перевірка виконуються у вашому браузері.