Wo lege ich die robots.txt ab?

Im Stammverzeichnis des Hosts, sodass sie unter https://example.com/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner wird ignoriert, und jede Subdomain braucht ihre eigene.

Wie blockiere ich alle Crawler?

Verwenden Sie User-agent: * gefolgt von Disallow: /. Crawler, die robots.txt befolgen, rufen dann keine Seiten mehr ab, bereits bekannte URLs können aber noch eine Weile in den Suchergebnissen bleiben.

Wie blockiere ich GPTBot und andere KI-Crawler?

Fügen Sie eine Gruppe mit ihren User-Agents hinzu – GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot und so weiter – mit Disallow: /. Die Vorlage KI-Crawler blockieren schreibt diese Gruppe für Sie und lässt Suchmaschinen weiter zu.

Entfernt Disallow eine Seite aus Google?

Nein. Es stoppt das Crawlen, aber die URL kann über Links trotzdem indexiert werden. Nutzen Sie ein noindex-Meta-Tag auf einer crawlbaren Seite oder entfernen Sie sie über die Search Console, um sie aus den Ergebnissen herauszuhalten.

Welche Regel gewinnt, wenn Allow und Disallow beide passen?

Die mit dem längeren Pfad. Sind beide gleich lang, gewinnt Allow. Der Tester zeigt, welche Zeile über jede URL entschieden hat.

Beachtet robots.txt Groß- und Kleinschreibung?

Direktivennamen und User-Agent-Werte nicht, Pfade aber schon: Disallow: /Admin blockiert /admin nicht. Der Dateiname selbst muss kleingeschrieben robots.txt lauten.

Unterstützt Google Crawl-delay?

Nein. Google ignoriert Crawl-delay und legt seine Crawling-Rate danach fest, wie Ihr Server antwortet. Bing und Yandex halten sich daran.

Wird meine robots.txt irgendwohin hochgeladen?

Nein. Erstellen, Parsen und Testen geschehen in Ihrem Browser.

robots.txt Generator & Tester: KI-Crawler blockieren

robots.txt-Regeln schreiben und genau prüfen, was sie blockieren

Dieser robots.txt-Generator baut die Datei aus Gruppen von User-Agents und Allow-/Disallow-Regeln, fügt Ihre Sitemap hinzu und wendet mit einem Klick fertige Vorlagen an, etwa das Blockieren von KI-Trainings-Crawlern oder eine Standarddatei für WordPress. Der Tester beantwortet dann die entscheidende Frage: Ist diese URL für diesen Crawler erlaubt, und welche Zeile entscheidet das? Er folgt RFC 9309 und dem von Google dokumentierten Verhalten – die spezifischste User-Agent-Gruppe, der längste passende Pfad, Allow gewinnt bei Gleichstand, sowie die Platzhalter * und $ – und markiert Fehler schon beim Tippen. Alles läuft in Ihrem Browser.

So erstellen und testen Sie eine robots.txt

1Starten Sie mit einer Vorlage – Alles erlauben, KI-Crawler blockieren, WordPress, SEO-Tools blockieren oder Alles blockieren – oder bearbeiten Sie die Gruppen direkt.
2Listen Sie in jeder Gruppe die User-Agents auf, für die sie gilt (* steht für alle Crawler), und fügen Sie Disallow- und Allow-Pfade wie /admin/ oder /*.pdf$ hinzu.
3Ergänzen Sie die absolute URL Ihrer XML-Sitemap, prüfen Sie die Warnungen unter der Ausgabe und kopieren oder laden Sie robots.txt herunter.
4Wechseln Sie zu Testen, geben Sie einen Crawler-Namen und eine URL pro Zeile ein und sehen Sie zu jedem Ergebnis die entscheidende Regel und Gruppe. Fügen Sie dort eine beliebige Live-robots.txt ein, um sie zu prüfen.
5Laden Sie die Datei in das Stammverzeichnis Ihres Hosts hoch, damit sie unter https://yourdomain.com/robots.txt erreichbar ist.

So funktioniert robots.txt

Bevor ein anständiger Crawler eine Website durchsucht, ruft er /robots.txt aus dem Stammverzeichnis des Hosts ab und sucht nach Regeln, die an ihn gerichtet sind. Die Datei ist eine Liste von Gruppen: eine oder mehrere User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln. Sitemap-Zeilen stehen außerhalb der Gruppen und gelten für alle.

Jedes Protokoll, jeder Host und jeder Port hat eine eigene robots.txt: Regeln unter https://example.com/robots.txt gelten nicht für https://shop.example.com oder http://example.com. Eine fehlende Datei (404) bedeutet, dass alles gecrawlt werden darf; ein Serverfehler lässt Google das Crawlen der Website pausieren.

Die Abgleichsregeln im Detail

Wahl der Gruppe: Ein Crawler befolgt nur die Gruppe, deren User-Agent ihn am spezifischsten nennt, ohne Beachtung der Groß-/Kleinschreibung – Googlebot-Image nutzt eine Googlebot-Image-Gruppe, falls vorhanden, sonst die Googlebot-Gruppe, sonst *. Gruppen, die denselben Agent nennen, werden zusammengeführt. Regeln der *-Gruppe kommen nicht zu einer benannten Gruppe hinzu.
Der längste Treffer gewinnt: Innerhalb der Gruppe entscheidet die Regel, deren Pfad die meisten Zeichen des URL-Pfads abdeckt. Disallow: /shop mit Allow: /shop/sale erlaubt /shop/sale/shoes.
Gleichstand geht an Allow: Passen eine Allow- und eine Disallow-Regel mit gleicher Länge, ist die URL erlaubt.
* und $: * passt auf jede Zeichenfolge, und $ am Ende bindet das Muster an das Ende der URL: Disallow: /*.pdf$ blockiert /files/report.pdf, aber nicht /report.pdf?download=1.
Pfade sind Präfixe: Disallow: /admin blockiert /admin, /admin/ und /administrator. Fügen Sie einen abschließenden Schrägstrich hinzu, um nur den Ordner zu blockieren. Regeln werden mit Pfad und Query-String abgeglichen, unter Beachtung der Groß-/Kleinschreibung.
Leeres Disallow: Disallow: ohne Pfad erlaubt alles; so schreibt man üblicherweise eine Gruppe, die nichts blockiert.

KI-Crawler blockieren

KI-Unternehmen veröffentlichen die User-Agent-Tokens ihrer Crawler, damit Website-Betreiber widersprechen können. Die Vorlage KI-Crawler blockieren sperrt GPTBot, ChatGPT-User und OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot und anthropic-ai (Anthropic), Google-Extended (Gemini-Training), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot und weitere, während normale Suchmaschinen weiter crawlen dürfen.

Google-Extended und Applebot-Extended sind Steuer-Tokens, keine eigenen Crawler: Wer sie blockiert, hält seine Inhalte aus dem Training von Gemini und Apple Intelligence heraus, ohne die Google-Suche oder das Such-Crawling von Applebot zu beeinträchtigen. Beachten Sie, dass suchbezogene Bots wie OAI-SearchBot und Claude-SearchBot Quellenangaben in KI-Suchantworten liefern; streichen Sie sie aus der Liste, wenn Sie dort erscheinen möchten. Die Einhaltung ist freiwillig – nutzen Sie Server- oder Firewall-Regeln für Crawler, die robots.txt ignorieren.

Was robots.txt nicht kann

robots.txt steuert das Crawlen, nicht die Indexierung. Eine gesperrte URL kann trotzdem in den Google-Ergebnissen erscheinen – ohne Beschreibung –, wenn andere Seiten auf sie verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, erlauben Sie das Crawlen und setzen ein Robots-Meta-Tag noindex oder einen X-Robots-Tag-Header; Google ignoriert Noindex:-Zeilen in robots.txt seit 2019. Erstellen Sie das Tag mit dem Meta-Tag-Generator.

Nutzen Sie robots.txt nicht, um private Bereiche zu verstecken: Die Datei ist öffentlich und listet genau die Pfade auf, die niemand finden soll. Schützen Sie diese mit einer Anmeldung. Und blockieren Sie keine CSS- und JavaScript-Dateien, die Seiten zum Darstellen brauchen, sonst sieht Google die Seite nicht so wie Ihre Besucher.

Crawl-delay, Host und andere Direktiven

Crawl-delay bittet einen Crawler, zwischen Anfragen einige Sekunden zu warten. Bing und Yandex halten sich daran; Google ignoriert es und passt seine Crawling-Rate automatisch an die Antworten Ihres Servers an. Host war eine reine Yandex-Direktive für den bevorzugten Spiegel und ist veraltet. Google liest höchstens 500 KiB einer robots.txt-Datei.

Verweisen Sie Crawler mit einer oder mehreren Sitemap:-Zeilen mit absoluten URLs auf Ihre XML-Sitemap; sie dürfen überall in der Datei stehen. Die Sitemap selbst erstellen Sie mit dem Sitemap-Generator.

Häufige Fragen

Wo lege ich die robots.txt ab?: Im Stammverzeichnis des Hosts, sodass sie unter https://example.com/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner wird ignoriert, und jede Subdomain braucht ihre eigene.
Wie blockiere ich alle Crawler?: Verwenden Sie User-agent: * gefolgt von Disallow: /. Crawler, die robots.txt befolgen, rufen dann keine Seiten mehr ab, bereits bekannte URLs können aber noch eine Weile in den Suchergebnissen bleiben.
Wie blockiere ich GPTBot und andere KI-Crawler?: Fügen Sie eine Gruppe mit ihren User-Agents hinzu – GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot und so weiter – mit Disallow: /. Die Vorlage KI-Crawler blockieren schreibt diese Gruppe für Sie und lässt Suchmaschinen weiter zu.
Entfernt Disallow eine Seite aus Google?: Nein. Es stoppt das Crawlen, aber die URL kann über Links trotzdem indexiert werden. Nutzen Sie ein noindex-Meta-Tag auf einer crawlbaren Seite oder entfernen Sie sie über die Search Console, um sie aus den Ergebnissen herauszuhalten.
Welche Regel gewinnt, wenn Allow und Disallow beide passen?: Die mit dem längeren Pfad. Sind beide gleich lang, gewinnt Allow. Der Tester zeigt, welche Zeile über jede URL entschieden hat.
Beachtet robots.txt Groß- und Kleinschreibung?: Direktivennamen und User-Agent-Werte nicht, Pfade aber schon: Disallow: /Admin blockiert /admin nicht. Der Dateiname selbst muss kleingeschrieben robots.txt lauten.
Unterstützt Google Crawl-delay?: Nein. Google ignoriert Crawl-delay und legt seine Crawling-Rate danach fest, wie Ihr Server antwortet. Bing und Yandex halten sich daran.
Wird meine robots.txt irgendwohin hochgeladen?: Nein. Erstellen, Parsen und Testen geschehen in Ihrem Browser.