Für KI-Dienste gibt es nicht den einen Crawler. Training, Suche und Abruf auf Nutzeranfrage laufen über verschiedene Kennungen, und nur einige davon steuern Sie wirklich über die robots.txt. Der Beitrag fasst zusammen, was OpenAI, Anthropic, Perplexity und Google dokumentieren (Stand 13.10.2026).
Wonach gesucht wird
Quelle: SE Ranking, Deutschland, Oktober 2026 (Schätzwerte).
| Suchbegriff | Suchen pro Monat | Wettbewerb (KD) |
|---|---|---|
| robots.txt | 1.300 | 97 |
| ki crawler | 140 | 15 |
| gptbot | 90 | 32 |
| google extended | 30 | 23 |
Die Kennungen und ihr Zweck
| Kennung | Anbieter | Zweck laut Anbieter |
|---|---|---|
| OAI-SearchBot | OpenAI | Suche in ChatGPT |
| GPTBot | OpenAI | Training der Modelle |
| ChatGPT-User | OpenAI | Abruf bei Aktionen von Nutzern |
| ClaudeBot | Anthropic | Training der Modelle |
| Claude-SearchBot | Anthropic | Verbesserung der Suchqualität |
| Claude-User | Anthropic | Abruf, wenn Nutzer Claude fragen |
| PerplexityBot | Perplexity | Suche und Verlinkung, kein Training |
| Perplexity-User | Perplexity | Abruf bei Nutzeranfragen |
| Google-Extended | Training und Grounding bei Gemini, nicht die Google-Suche |
Drei typische Entscheidungen
- Sichtbar sein, aber nicht trainieren lassen: GPTBot, ClaudeBot und Google-Extended sperren, Such- und Abruf-Kennungen zulassen. OpenAI nennt diese Kombination selbst als Beispiel dafür, dass die Einstellungen unabhängig voneinander sind.
- Alles zulassen: nichts eintragen. So handhaben wir es für digital030.de, ausgenommen die Bereiche /api/ und /crm/.
- Nicht in ChatGPT-Suchantworten erscheinen: OAI-SearchBot sperren. Laut OpenAI kann die Adresse trotzdem als Navigationslink auftauchen. Dagegen hilft ein noindex-Meta-Tag, für das die Seite aber gecrawlt werden dürfen muss.
Grenzen der robots.txt
- Sie ist eine Bitte, keine Zugangssperre. Der Standard (RFC 9309) nennt die Regeln ausdrücklich keine Zugriffsberechtigung.
- Bei Abrufen, die ein Nutzer auslöst, gelten die Regeln laut OpenAI (ChatGPT-User) nicht unbedingt, laut Perplexity (Perplexity-User) in der Regel nicht.
- Änderungen brauchen Zeit: OpenAI nennt für die Suche etwa 24 Stunden.
- Firewalls und CDN können Crawler blockieren, auch wenn die robots.txt sie zulässt.
- Eine Sperre nimmt eine Seite nicht aus Google. Dafür braucht es noindex (Google).
Rechtlich ist § 44b UrhG relevant: Für online zugängliche Werke ist ein Nutzungsvorbehalt gegen Text und Data Mining nur wirksam, wenn er maschinenlesbar erfolgt. Ob eine bestimmte robots.txt-Zeile dafür genügt, beantworten wir nicht. Das ist keine Rechtsberatung.
Alle Kennungen mit Quellen und Beispielen: KI-Crawler und robots.txt. Zur Datei llms.txt: llms.txt: was es ist und was belegt ist. Zum Abhaken: Checkliste KI-Sichtbarkeit.
Wir prüfen mit Ihnen, welche Crawler Ihre Seite erreichen, und halten die Entscheidung fest. Jetzt Erstgespräch vereinbaren.