Écrivez les règles robots.txt, puis vérifiez exactement ce qu'elles bloquent
Ce générateur de robots.txt construit le fichier à partir de groupes de user agents et de règles Allow/Disallow, ajoute votre sitemap et applique en un clic des configurations prêtes à l'emploi, comme le blocage des robots d'entraînement d'IA ou un fichier WordPress standard. Le testeur répond ensuite à la question essentielle : cette URL est-elle autorisée pour ce robot, et quelle ligne en décide ? Il suit la RFC 9309 et le comportement documenté par Google — le groupe de user-agent le plus spécifique, le chemin correspondant le plus long, Allow l'emportant en cas d'égalité, et les jokers * et $ — et signale les erreurs pendant la saisie. Tout fonctionne dans votre navigateur.
Comment créer et tester un robots.txt
- 1Partez d'un préréglage — Tout autoriser, Bloquer les robots d'IA, WordPress, Bloquer les outils SEO ou Tout bloquer — ou modifiez directement les groupes.
- 2Dans chaque groupe, indiquez les user agents concernés (
*désigne tous les robots) et ajoutez des chemins Disallow et Allow comme/admin/ou/*.pdf$. - 3Ajoutez l'URL absolue de votre sitemap XML, vérifiez les avertissements sous le résultat, puis copiez ou téléchargez
robots.txt. - 4Passez en mode Tester, saisissez un nom de robot et une URL par ligne, et voyez chaque verdict avec la règle et le groupe qui l'ont décidé. Collez-y n'importe quel robots.txt en ligne pour l'auditer.
- 5Déposez le fichier à la racine de votre hôte pour qu'il soit servi à
https://yourdomain.com/robots.txt.
Comment fonctionne robots.txt
Avant d'explorer un site, un robot respectueux récupère /robots.txt à la racine de l'hôte et cherche les règles qui lui sont adressées. Le fichier est une liste de groupes : une ou plusieurs lignes User-agent suivies de règles Allow et Disallow. Les lignes Sitemap sont en dehors des groupes et s'appliquent à tous.
Chaque protocole, hôte et port a son propre robots.txt : les règles de https://example.com/robots.txt ne couvrent ni https://shop.example.com ni http://example.com. Un fichier absent (404) signifie que tout peut être exploré ; une erreur serveur amène Google à suspendre l'exploration du site.
Les règles de correspondance, précisément
- Choix du groupe
- Un robot n'obéit qu'au groupe dont le user-agent le désigne le plus précisément, sans tenir compte de la casse — Googlebot-Image utilise un groupe Googlebot-Image s'il existe, sinon le groupe Googlebot, sinon *. Les groupes qui nomment le même agent sont fusionnés. Les règles du groupe * ne s'ajoutent pas à un groupe nommé.
- La correspondance la plus longue gagne
- Dans le groupe, c'est la règle dont le chemin correspond au plus grand nombre de caractères du chemin de l'URL qui décide. Disallow: /shop avec Allow: /shop/sale autorise /shop/sale/shoes.
- Égalité en faveur d'Allow
- Si une règle Allow et une règle Disallow correspondent avec la même longueur, l'URL est autorisée.
- * et $
- * correspond à n'importe quelle suite de caractères, et $ en fin de motif l'ancre à la fin de l'URL : Disallow: /*.pdf$ bloque /files/report.pdf mais pas /report.pdf?download=1.
- Les chemins sont des préfixes
- Disallow: /admin bloque /admin, /admin/ et /administrator. Ajoutez une barre oblique finale pour ne bloquer que le dossier. Les règles s'appliquent au chemin et à la query string, en tenant compte de la casse.
- Disallow vide
- Disallow: sans chemin autorise tout ; c'est la façon habituelle d'écrire un groupe qui ne bloque rien.
Bloquer les robots d'IA
Les entreprises d'IA publient les jetons user-agent de leurs robots pour que les propriétaires de sites puissent refuser. Le préréglage Bloquer les robots d'IA interdit GPTBot, ChatGPT-User et OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot et anthropic-ai (Anthropic), Google-Extended (entraînement de Gemini), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot et d'autres, tout en laissant les moteurs de recherche classiques explorer librement.
Google-Extended et Applebot-Extended sont des jetons de contrôle et non des robots distincts : les bloquer exclut votre contenu de l'entraînement de Gemini et d'Apple Intelligence sans affecter Google Search ni l'exploration de recherche d'Applebot. Notez que les robots liés à la recherche, comme OAI-SearchBot et Claude-SearchBot, alimentent les citations dans les réponses de recherche IA ; retirez-les de la liste si vous voulez y apparaître. Le respect est volontaire : utilisez des règles serveur ou pare-feu pour les robots qui ignorent robots.txt.
Ce que robots.txt ne peut pas faire
robots.txt contrôle l'exploration, pas l'indexation. Une URL interdite peut tout de même apparaître dans les résultats Google — sans description — si d'autres pages pointent vers elle. Pour garder une page hors des résultats, autorisez l'exploration et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag ; Google ignore les lignes Noindex: de robots.txt depuis 2019. Générez la balise avec le générateur de balises meta.
N'utilisez pas robots.txt pour cacher des zones privées : le fichier est public et liste précisément les chemins que vous préféreriez garder discrets. Protégez-les par une authentification. Et ne bloquez pas les fichiers CSS et JavaScript nécessaires à l'affichage des pages, sinon Google ne peut pas voir la page comme vos visiteurs.
Crawl-delay, Host et autres directives
Crawl-delay demande à un robot d'attendre un certain nombre de secondes entre deux requêtes. Bing et Yandex le respectent ; Google l'ignore et ajuste automatiquement sa vitesse d'exploration selon les réponses de votre serveur. Host était une directive propre à Yandex pour le miroir préféré et elle est obsolète. Google lit au maximum 500 Kio d'un fichier robots.txt.
Indiquez votre sitemap XML aux robots avec une ou plusieurs lignes Sitemap: contenant des URL absolues ; elles peuvent se trouver n'importe où dans le fichier. Créez le sitemap avec le générateur de sitemap.
Questions fréquentes
- Où placer le fichier robots.txt ?
- À la racine de l'hôte, pour qu'il soit servi à https://example.com/robots.txt. Un robots.txt placé dans un sous-dossier est ignoré, et chaque sous-domaine a besoin du sien.
- Comment bloquer tous les robots ?
- Utilisez User-agent: * suivi de Disallow: /. Les robots qui respectent robots.txt cesseront de récupérer les pages, même si des URL déjà connues peuvent rester un moment dans les résultats.
- Comment bloquer GPTBot et les autres robots d'IA ?
- Ajoutez un groupe listant leurs user agents — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, etc. — avec Disallow: /. Le préréglage Bloquer les robots d'IA écrit ce groupe pour vous et laisse les moteurs de recherche autorisés.
- Disallow supprime-t-il une page de Google ?
- Non. Il arrête l'exploration, mais l'URL peut encore être indexée via des liens. Utilisez une balise meta noindex sur une page explorable, ou supprimez-la via la Search Console, pour l'exclure des résultats.
- Quelle règle l'emporte quand Allow et Disallow correspondent tous deux ?
- Celle dont le chemin est le plus long. À longueur égale, Allow l'emporte. Le testeur indique quelle ligne a décidé pour chaque URL.
- robots.txt est-il sensible à la casse ?
- Les noms de directives et les valeurs user-agent ne le sont pas, mais les chemins oui : Disallow: /Admin ne bloque pas /admin. Le nom du fichier lui-même doit être robots.txt en minuscules.
- Google prend-il en charge Crawl-delay ?
- Non. Google ignore Crawl-delay et règle sa vitesse d'exploration selon la façon dont votre serveur répond. Bing et Yandex le respectent.
- Mon robots.txt est-il envoyé quelque part ?
- Non. La création, l'analyse et les tests se font dans votre navigateur.