Soll ich GPTBot und andere KI-Crawler sperren?

Was die robots.txt kann – und was nicht

Die robots.txt ist eine einfache Textdatei unter ihre-domain.de/robots.txt. Darin stehen Gruppen: eine Zeile User-agent mit dem Namen des Crawlers, darunter Regeln mit Disallow (nicht abrufen) oder Allow (abrufen). Seriöse Crawler halten sich daran; technisch erzwingen lässt sich nichts.

Zwei Missverständnisse sind häufig. Erstens: Die robots.txt ist laut Google kein Mittel, um eine Seite aus der Suche herauszuhalten – dafür gibt es noindex oder einen Passwortschutz. Zweitens: Abrufe, die ein Mensch direkt im Chat auslöst, behandeln manche Anbieter anders. OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln dabei womöglich nicht greifen; Perplexity schreibt zu Perplexity-User, dass robots.txt in der Regel ignoriert wird.

Die wichtigsten KI-Crawler im Überblick

Die Namen und Zwecke stammen aus den Dokumentationen der Anbieter, Stand Oktober 2026. Sie ändern sich gelegentlich; prüfen Sie im Zweifel die verlinkten Quellen.

Google-Extended: der Sonderfall

Google-Extended ist kein eigener Bot, sondern ein Name, den Sie in der robots.txt verwenden. Laut Googles Crawler-Übersicht steuern Sie damit, ob Inhalte für das Training künftiger Gemini-Modelle und für Grounding genutzt werden. Google schreibt ausdrücklich, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Rankingsignal dient.

Für die KI-Übersichten in der Google-Suche gilt dagegen der normale Googlebot. Wer den Googlebot sperrt, verschwindet aus der Suche insgesamt – das will praktisch kein Betrieb.

Drei typische Einstellungen

Alles erlauben (Standard)

Steht für einen Bot keine eigene Regel in der Datei und auch keine Sperre unter User-agent: *, darf er alles lesen. Für die meisten kleinen Betriebe ist das die einfachste und sinnvollste Lösung: Sie wollen gefunden werden, und Ihre Leistungsseiten sind kein Geschäftsgeheimnis.

Suche ja, Training nein

Wer nicht möchte, dass seine Texte in Trainingsdaten landen, sperrt nur die Trainings-Crawler. Die Datei enthält dann je eine Gruppe User-agent: GPTBot, User-agent: ClaudeBot und User-agent: Google-Extended mit der Zeile Disallow: /. Die Such-Crawler OAI-SearchBot, Claude-SearchBot und PerplexityBot werden nicht erwähnt und bleiben erlaubt.

Alles sperren

Eine Gruppe User-agent: * mit Disallow: / sperrt jeden Crawler, der sich an die Regeln hält – auch Google und Bing. Das ist für eine Firmenseite fast nie gewollt und kommt trotzdem vor, etwa wenn eine Testumgebung mit dieser Einstellung live geschaltet wurde.

Training sperren: Was Sie gewinnen und was nicht

Ob Sie Trainings-Crawler aussperren, ist eine Abwägung, keine technische Pflicht. Für eine Sperre spricht, dass Sie selbst entscheiden, wofür Ihre Texte und Fotos verwendet werden. Dagegen spricht wenig, solange Sie die Such-Crawler offen lassen – denn die entscheiden laut den Anbietern über die Anzeige in deren Suchfunktionen, nicht die Trainings-Crawler.

Zwei Dinge sollten Sie wissen. Erstens wirkt eine Sperre nur für die Zukunft: Anthropic beschreibt sie zum Beispiel als Signal, künftiges Material vom Training auszuschließen. Zweitens deckt die robots.txt nur Anbieter ab, die Sie kennen und eintragen. Für Ihre Sichtbarkeit bei Kunden ist das Thema deshalb meist zweitrangig; wichtiger ist, dass nichts versehentlich gesperrt ist, was Sie eigentlich offen haben wollen.

Häufige Fehler, die wir in Prüfungen sehen

• Die Sperre „für alle“ aus der Entwicklungszeit ist nie entfernt worden.
• Ein Sicherheits-Plugin oder die Firewall des Hosters blockt Bots unabhängig von der robots.txt. Anthropic weist darauf hin, dass IP-Sperren keine verlässliche Abmeldung sind, weil die Bots dann die robots.txt gar nicht lesen können.
• Tippfehler im Bot-Namen: Eine Regel für „GPT-Bot“ greift nicht für GPTBot.
• Leere Zeilen oder fehlende User-agent-Zeile, wodurch Regeln der falschen Gruppe zugeordnet werden.
• Die Sitemap fehlt in der robots.txt. Das ist kein Fehler, ein Hinweis mit Sitemap: und der vollständigen Adresse hilft Crawlern aber, alle Seiten zu finden.

So prüfen Sie Ihre Einstellung

Rufen Sie ihre-domain.de/robots.txt im Browser auf und lesen Sie die Gruppen von oben nach unten. Schneller geht es mit dem KI-Bereitschafts-Check: Er liest Ihre robots.txt und zeigt getrennt, ob die KI-Suchbots von OpenAI, Anthropic und Perplexity sowie ChatGPT-User Ihre Seite lesen dürfen und welche Trainings-Crawler gesperrt sind. Gesperrte Suchbots wertet er als Problem, gesperrte Trainings-Crawler nur als Hinweis, weil das eine bewusste Entscheidung sein kann. Ob eine Firewall Bots blockt, sieht er nicht.

Warum offene Such-Crawler nur der erste Schritt sind, erklärt der Ratgeber von ChatGPT empfohlen werden. Wenn Sie die robots.txt nicht selbst anpassen können, übernimmt das auf Wunsch die Webagentur Scherzinger (webagentur-scherzinger.com).