Escribe las reglas de robots.txt y comprueba exactamente qué bloquean
Este generador de robots.txt crea el archivo a partir de grupos de user agents y reglas Allow/Disallow, añade tu sitemap y aplica configuraciones listas para usar, como bloquear los crawlers de entrenamiento de IA o un archivo estándar de WordPress, con un clic. Después, el tester responde a la pregunta importante: ¿esta URL está permitida para este crawler y qué línea lo decide? Sigue el RFC 9309 y el comportamiento documentado por Google —el grupo de user-agent más específico, la ruta coincidente más larga, Allow gana en caso de empate y los comodines * y $— y señala los errores mientras escribes. Todo se ejecuta en tu navegador.
Cómo crear y probar un robots.txt
- 1Empieza con un preset —Permitir todo, Bloquear crawlers de IA, WordPress, Bloquear herramientas SEO o Bloquear todo— o edita los grupos directamente.
- 2En cada grupo, indica los user agents a los que se aplica (
*significa todos los crawlers) y añade rutas Disallow y Allow como/admin/o/*.pdf$. - 3Añade la URL absoluta de tu sitemap XML, revisa las advertencias bajo el resultado y copia o descarga
robots.txt. - 4Cambia a Probar, escribe el nombre de un crawler y una URL por línea, y verás cada veredicto con la regla y el grupo que lo decidieron. Pega ahí cualquier robots.txt en producción para auditarlo.
- 5Sube el archivo a la raíz de tu host para que se sirva en
https://yourdomain.com/robots.txt.
Cómo funciona robots.txt
Antes de rastrear un sitio, un crawler que respeta las normas descarga /robots.txt desde la raíz del host y busca las reglas dirigidas a él. El archivo es una lista de grupos: una o más líneas User-agent seguidas de reglas Allow y Disallow. Las líneas Sitemap quedan fuera de los grupos y se aplican a todos.
Cada protocolo, host y puerto tiene su propio robots.txt: las reglas de https://example.com/robots.txt no cubren https://shop.example.com ni http://example.com. Si el archivo no existe (404), se puede rastrear todo; un error del servidor hace que Google pause el rastreo del sitio.
Las reglas de coincidencia, con precisión
- Elegir el grupo
- Un crawler solo obedece al grupo cuyo user-agent lo nombra de forma más específica, sin distinguir mayúsculas — Googlebot-Image usa un grupo Googlebot-Image si existe; si no, el grupo Googlebot; si no, *. Los grupos que nombran al mismo agente se fusionan. Las reglas del grupo * no se suman a un grupo con nombre.
- Gana la coincidencia más larga
- Dentro del grupo, decide la regla cuya ruta coincide con más caracteres de la ruta de la URL. Disallow: /shop con Allow: /shop/sale permite /shop/sale/shoes.
- Los empates son para Allow
- Si una regla Allow y una Disallow coinciden con la misma longitud, la URL se permite.
- * y $
- * coincide con cualquier secuencia de caracteres, y $ al final ancla el patrón al final de la URL: Disallow: /*.pdf$ bloquea /files/report.pdf pero no /report.pdf?download=1.
- Las rutas son prefijos
- Disallow: /admin bloquea /admin, /admin/ y /administrator. Añade una barra final para bloquear solo la carpeta. Las reglas se comparan con la ruta y la query string, distinguiendo mayúsculas.
- Disallow vacío
- Disallow: sin ruta lo permite todo; es la forma habitual de escribir un grupo que no bloquea nada.
Bloquear crawlers de IA
Las empresas de IA publican los tokens de user-agent de sus crawlers para que los propietarios de sitios puedan excluirse. El preset Bloquear crawlers de IA prohíbe GPTBot, ChatGPT-User y OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot y anthropic-ai (Anthropic), Google-Extended (entrenamiento de Gemini), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot y otros, y deja libres a los buscadores normales.
Google-Extended y Applebot-Extended son tokens de control, no crawlers aparte: bloquearlos mantiene tu contenido fuera del entrenamiento de Gemini y Apple Intelligence sin afectar a Google Search ni al rastreo de búsqueda de Applebot. Ten en cuenta que los bots relacionados con búsqueda, como OAI-SearchBot y Claude-SearchBot, generan las citas en las respuestas de búsqueda con IA; quítalos de la lista si quieres aparecer ahí. El cumplimiento es voluntario, así que usa reglas de servidor o firewall para los crawlers que ignoran robots.txt.
Lo que robots.txt no puede hacer
robots.txt controla el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en Google —sin descripción— si otras páginas la enlazan. Para mantener una página fuera de los resultados, permite el rastreo y añade una metaetiqueta robots noindex o una cabecera X-Robots-Tag; Google ignora las líneas Noindex: en robots.txt desde 2019. Genera la etiqueta con el generador de meta tags.
No uses robots.txt para ocultar zonas privadas: el archivo es público y enumera justo las rutas que preferirías que nadie encontrara. Protégelas con autenticación. Y no bloquees los archivos CSS y JavaScript que las páginas necesitan para mostrarse, o Google no podrá ver la página como la ven los visitantes.
Crawl-delay, Host y otras directivas
Crawl-delay pide a un crawler que espere unos segundos entre peticiones. Bing y Yandex lo respetan; Google lo ignora y ajusta su ritmo de rastreo automáticamente según las respuestas de tu servidor. Host era una directiva exclusiva de Yandex para el espejo preferido y está obsoleta. Google lee como máximo 500 KiB de un archivo robots.txt.
Indica a los crawlers tu sitemap XML con una o más líneas Sitemap: con URLs absolutas; pueden ir en cualquier parte del archivo. Crea el sitemap con el generador de sitemaps.
Preguntas frecuentes
- ¿Dónde pongo el robots.txt?
- En la raíz del host, para que se sirva en https://example.com/robots.txt. Un robots.txt en una subcarpeta se ignora, y cada subdominio necesita el suyo.
- ¿Cómo bloqueo todos los crawlers?
- Usa User-agent: * seguido de Disallow: /. Los crawlers que respetan robots.txt dejarán de descargar páginas, aunque las URLs ya conocidas pueden seguir un tiempo en los resultados.
- ¿Cómo bloqueo GPTBot y otros crawlers de IA?
- Añade un grupo con sus user agents —GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, etc.— con Disallow: /. El preset Bloquear crawlers de IA escribe este grupo por ti y mantiene permitidos los buscadores.
- ¿Disallow elimina una página de Google?
- No. Detiene el rastreo, pero la URL puede seguir indexándose a partir de enlaces. Usa una metaetiqueta noindex en una página rastreable, o elimínala con Search Console, para sacarla de los resultados.
- ¿Qué regla gana cuando coinciden Allow y Disallow?
- La de la ruta más larga. Si las dos tienen la misma longitud, gana Allow. El tester muestra qué línea decidió cada URL.
- ¿robots.txt distingue mayúsculas y minúsculas?
- Los nombres de directiva y los valores de user-agent no, pero las rutas sí: Disallow: /Admin no bloquea /admin. El propio nombre del archivo debe ser robots.txt en minúsculas.
- ¿Google admite Crawl-delay?
- No. Google ignora Crawl-delay y fija su ritmo de rastreo según cómo responde tu servidor. Bing y Yandex sí lo respetan.
- ¿Se sube mi robots.txt a algún sitio?
- No. La creación, el análisis y las pruebas se hacen en tu navegador.