Escreva as regras do robots.txt e veja exatamente o que elas bloqueiam
Este gerador de robots.txt monta o arquivo a partir de grupos de user agents e regras Allow/Disallow, adiciona seu sitemap e aplica configurações prontas, como bloquear crawlers de treinamento de IA ou um arquivo padrão de WordPress, com um clique. Depois o testador responde à pergunta que importa: esta URL é permitida para este crawler, e qual linha decide isso? Ele segue a RFC 9309 e o comportamento documentado pelo Google — o grupo de user-agent mais específico, o caminho correspondente mais longo, Allow vencendo empates e os curingas * e $ — e aponta erros enquanto você digita. Tudo roda no seu navegador.
Como criar e testar um robots.txt
- 1Comece por um preset — Permitir tudo, Bloquear crawlers de IA, WordPress, Bloquear ferramentas de SEO ou Bloquear tudo — ou edite os grupos diretamente.
- 2Em cada grupo, liste os user agents a que ele se aplica (
*significa todos os crawlers) e adicione caminhos Disallow e Allow como/admin/ou/*.pdf$. - 3Adicione a URL absoluta do seu sitemap XML, confira os avisos abaixo do resultado e copie ou baixe o
robots.txt. - 4Mude para Testar, informe o nome de um crawler e uma URL por linha e veja cada veredito com a regra e o grupo que o decidiram. Cole ali qualquer robots.txt publicado para auditá-lo.
- 5Envie o arquivo para a raiz do seu host, para que ele seja servido em
https://yourdomain.com/robots.txt.
Como o robots.txt funciona
Antes de rastrear um site, um crawler bem-comportado baixa o /robots.txt da raiz do host e procura as regras endereçadas a ele. O arquivo é uma lista de grupos: uma ou mais linhas User-agent seguidas de regras Allow e Disallow. As linhas Sitemap ficam fora dos grupos e valem para todos.
Cada protocolo, host e porta tem seu próprio robots.txt: as regras em https://example.com/robots.txt não cobrem https://shop.example.com nem http://example.com. Um arquivo ausente (404) significa que tudo pode ser rastreado; um erro de servidor faz o Google pausar o rastreamento do site.
As regras de correspondência, com precisão
- Escolha do grupo
- Um crawler obedece apenas ao grupo cujo user-agent o nomeia de forma mais específica, sem diferenciar maiúsculas — o Googlebot-Image usa um grupo Googlebot-Image se existir; senão, o grupo Googlebot; senão, *. Grupos que nomeiam o mesmo agente são mesclados. Regras do grupo * não se somam a um grupo nomeado.
- A correspondência mais longa vence
- Dentro do grupo, decide a regra cujo caminho corresponde ao maior número de caracteres do caminho da URL. Disallow: /shop com Allow: /shop/sale permite /shop/sale/shoes.
- Empates vão para Allow
- Se uma regra Allow e uma Disallow correspondem com o mesmo comprimento, a URL é permitida.
- * e $
- * corresponde a qualquer sequência de caracteres, e $ no final prende o padrão ao fim da URL: Disallow: /*.pdf$ bloqueia /files/report.pdf, mas não /report.pdf?download=1.
- Caminhos são prefixos
- Disallow: /admin bloqueia /admin, /admin/ e /administrator. Adicione uma barra no final para bloquear só a pasta. As regras são comparadas com o caminho e a query string, diferenciando maiúsculas.
- Disallow vazio
- Disallow: sem caminho permite tudo; é o jeito convencional de escrever um grupo que não bloqueia nada.
Bloqueando crawlers de IA
As empresas de IA publicam os tokens de user-agent dos seus crawlers para que donos de sites possam optar por ficar de fora. O preset Bloquear crawlers de IA proíbe GPTBot, ChatGPT-User e OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot e anthropic-ai (Anthropic), Google-Extended (treinamento do Gemini), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot e outros, deixando os buscadores comuns livres para rastrear.
Google-Extended e Applebot-Extended são tokens de controle, não crawlers separados: bloqueá-los mantém seu conteúdo fora do treinamento do Gemini e da Apple Intelligence sem afetar a Busca do Google nem o rastreamento de busca do Applebot. Observe que os bots ligados a busca, como OAI-SearchBot e Claude-SearchBot, alimentam as citações nas respostas de busca com IA; tire-os da lista se quiser aparecer lá. O cumprimento é voluntário, então use regras de servidor ou firewall para crawlers que ignoram o robots.txt.
O que o robots.txt não consegue fazer
O robots.txt controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados do Google — sem descrição — se outras páginas apontarem para ela. Para manter uma página fora dos resultados, permita o rastreamento e adicione uma meta tag robots noindex ou um cabeçalho X-Robots-Tag; o Google ignora linhas Noindex: no robots.txt desde 2019. Gere a tag com o gerador de meta tags.
Não use o robots.txt para esconder áreas privadas: o arquivo é público e lista justamente os caminhos que você preferiria que ninguém encontrasse. Proteja-as com autenticação. E não bloqueie os arquivos CSS e JavaScript de que as páginas precisam para renderizar, senão o Google não consegue ver a página como os visitantes veem.
Crawl-delay, Host e outras diretivas
Crawl-delay pede que um crawler espere alguns segundos entre as requisições. Bing e Yandex respeitam; o Google ignora e ajusta a taxa de rastreamento automaticamente pelas respostas do seu servidor. Host era uma diretiva exclusiva do Yandex para o espelho preferido e está obsoleta. O Google lê no máximo 500 KiB de um arquivo robots.txt.
Indique seu sitemap XML aos crawlers com uma ou mais linhas Sitemap: usando URLs absolutas; elas podem ficar em qualquer lugar do arquivo. Crie o sitemap com o gerador de sitemap.
Perguntas frequentes
- Onde coloco o robots.txt?
- Na raiz do host, para que seja servido em https://example.com/robots.txt. Um robots.txt numa subpasta é ignorado, e cada subdomínio precisa do seu.
- Como bloqueio todos os crawlers?
- Use User-agent: * seguido de Disallow: /. Os crawlers que obedecem ao robots.txt vão parar de baixar páginas, embora URLs já conhecidas possam continuar nos resultados por um tempo.
- Como bloqueio o GPTBot e outros crawlers de IA?
- Adicione um grupo listando os user agents deles — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot e assim por diante — com Disallow: /. O preset Bloquear crawlers de IA escreve esse grupo para você e mantém os buscadores permitidos.
- Disallow remove uma página do Google?
- Não. Ele impede o rastreamento, mas a URL ainda pode ser indexada a partir de links. Use uma meta tag noindex numa página rastreável, ou remova-a pelo Search Console, para mantê-la fora dos resultados.
- Qual regra vence quando Allow e Disallow correspondem?
- A de caminho mais longo. Se as duas tiverem o mesmo comprimento, Allow vence. O testador mostra qual linha decidiu cada URL.
- O robots.txt diferencia maiúsculas de minúsculas?
- Os nomes das diretivas e os valores de user-agent não, mas os caminhos sim: Disallow: /Admin não bloqueia /admin. O próprio nome do arquivo tem de ser robots.txt em minúsculas.
- O Google suporta Crawl-delay?
- Não. O Google ignora o Crawl-delay e define a taxa de rastreamento pela forma como seu servidor responde. Bing e Yandex respeitam.
- Meu robots.txt é enviado para algum lugar?
- Não. A criação, a análise e os testes acontecem no seu navegador.