Wonach gesucht wird
Stand der Suchdaten: SE Ranking, Deutschland, Oktober 2026, jeweils Schätzwerte. Die Spalte KD gibt die Keyword Difficulty an (0 bis 100), CPC den geschätzten Klickpreis, k. A. steht für keine Angabe.
| Suchbegriff | Suchen pro Monat | KD | CPC |
|---|---|---|---|
| robots.txt | 1.300 | 97 | 1,40 € |
| llms.txt | 880 | 27 | 0,46 € |
| ki crawler | 140 | 15 | 1,85 € |
| ai crawler | 140 | 46 | 1,48 € |
| gptbot | 90 | 32 | k. A. |
| robots txt | 50 | 31 | 1,40 € |
| google extended | 30 | 23 | k. A. |
| claudebot, perplexitybot, chatgpt crawler | ohne messbares Volumen | k. A. | k. A. |
Der allgemeine Begriff „robots.txt“ ist groß, aber von Dokumentation und Ratgebern besetzt (KD 97). Die KI-spezifischen Begriffe sind klein und leichter (KD 15 bis 46). Auffällig ist „llms.txt“ mit 880 Suchen: Das Interesse an der Datei ist größer als der belegte Nutzen.
Die Kennungen im Überblick
| Anbieter | Kennung | Zweck laut Anbieter | Folge einer Sperre laut Anbieter |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Seiten in der Suche von ChatGPT anzeigen | Seite erscheint nicht in ChatGPT-Suchantworten, kann aber als Navigationslink auftauchen. Änderungen brauchen etwa 24 Stunden |
| OpenAI | GPTBot | Inhalte, die für das Training genutzt werden können | Inhalte sollen nicht für das Training verwendet werden |
| OpenAI | ChatGPT-User | Abruf bei Aktionen von Nutzern in ChatGPT und Custom GPTs | robots.txt-Regeln gelten hier laut OpenAI möglicherweise nicht. Nicht maßgeblich für die Suche |
| Anthropic | ClaudeBot | Sammeln von Webinhalten, die zum Training beitragen können | Künftige Inhalte sollen vom Training ausgeschlossen werden |
| Anthropic | Claude-SearchBot | Verbesserung der Suchqualität | Inhalt wird nicht für die Suche indexiert, was Sichtbarkeit und Genauigkeit mindern kann |
| Anthropic | Claude-User | Abruf, wenn Nutzer Claude etwas fragen | Abruf wird verhindert, was die Sichtbarkeit bei nutzergesteuerter Suche mindern kann |
| Perplexity | PerplexityBot | Seiten in Perplexity-Suchergebnissen anzeigen und verlinken, nicht für das Training | Perplexity empfiehlt, den Bot zuzulassen |
| Perplexity | Perplexity-User | Abruf bei Nutzeranfragen | Dieser Abruf ignoriert robots.txt-Regeln laut Perplexity in der Regel |
| Google-Extended | Training künftiger Gemini-Modelle und Grounding in Gemini Apps und Vertex AI | Keine Wirkung auf Aufnahme oder Ranking in der Google-Suche | |
| Googlebot | Crawling für die Suche, auch für AI Overviews und AI Mode | robots.txt für Googlebot steuert das Crawling für die Suche | |
| Microsoft | Bing | Suche und Copilot-Antworten | Laut Microsoft werden robots.txt und weitere unterstützte Mechanismen beachtet |
Quellen: OpenAI, „Overview of OpenAI Crawlers“; Anthropic, „Does Anthropic crawl data from the web“ (7. April 2026); Perplexity, „Perplexity Crawlers“; Google, „Google common crawlers“ (14.07.2026) und „AI features and your website“ (10.12.2025); Microsoft, Bing Webmaster Blog (10. Februar 2026). Abgerufen jeweils am 13.10.2026.
robots.txt: Beispiele und Grenzen
| Ziel | Eintrag in der robots.txt |
|---|---|
| Training durch OpenAI ausschließen, ChatGPT-Suche erlauben | User-agent: GPTBot, darunter Disallow: /. Für OAI-SearchBot keine Sperre eintragen |
| Training durch Anthropic ausschließen | User-agent: ClaudeBot, darunter Disallow: / |
| Gemini-Training und Grounding ausschließen, Google-Suche behalten | User-agent: Google-Extended, darunter Disallow: / |
| Nicht in ChatGPT-Suchantworten erscheinen | User-agent: OAI-SearchBot, darunter Disallow: / |
- Die robots.txt ist eine Bitte, keine Zugangssperre. Der Standard (RFC 9309) nennt die Regeln ausdrücklich keine Zugriffsberechtigung.
- Bei Abrufen, die ein Nutzer auslöst, gelten die Regeln laut OpenAI und Perplexity nicht unbedingt.
- Firewalls und CDN können Crawler blockieren, auch wenn die robots.txt sie zulässt. Google, OpenAI und Perplexity weisen auf Freigaben und IP-Listen hin.
- Anthropic weist darauf hin, dass Sperren über IP-Adressen den Ausschluss nicht zuverlässig sichern, weil Crawler dann die robots.txt nicht lesen können.
- Eine Sperre in der robots.txt nimmt eine Seite nicht aus Google. Dafür braucht es noindex (Google).
Erlauben oder sperren: Entscheidungshilfe
| Ziel | Naheliegende Einstellung | Was unbekannt bleibt |
|---|---|---|
| In KI-Suchantworten auftauchen | Such- und Abruf-Kennungen nicht sperren (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot, Bing) | Ob eine Seite tatsächlich zitiert wird |
| Inhalte nicht zum Training nutzen lassen | GPTBot, ClaudeBot und Google-Extended sperren | Ob ein Ausschluss spätere Nennungen beeinflusst: Kein Anbieter dokumentiert das |
| Nicht in den KI-Funktionen der Google-Suche vorkommen | Search generative AI control in der Search Console, siehe Google AI Overviews und AI Mode | Folgen für Besuche und Anfragen |
| Urheberrechtlich geschützte Inhalte schützen | Rechtlichen Rat einholen | Ob eine robots.txt-Zeile als Vorbehalt genügt |
Rechtlich ist § 44b UrhG relevant: Für online zugängliche Werke ist ein Nutzungsvorbehalt gegen Text und Data Mining nur wirksam, wenn er maschinenlesbar erfolgt (Gesetze im Internet, abgerufen 13.10.2026). Ob eine bestimmte robots.txt-Zeile dafür genügt, beantworten wir nicht. Das ist keine Rechtsberatung.
llms.txt und unsere eigene Website
llms.txt ist ein Vorschlag für eine Markdown-Datei mit Hinweisen und Links für KI-Agenten, kein Standard und keine Steuerung. Google schreibt, die Suche ignoriere sie. Wir pflegen für digital030.de eine llms.txt, erwarten davon aber keine Wirkung auf Google. Unsere robots.txt lässt alle Crawler zu, ausgenommen /api/ und /crm/. Mehr dazu im Beitrag llms.txt: was es ist und was belegt ist und im Beitrag robots.txt und KI-Crawler. Die Prüfung gehört auch in die Checkliste, die Wirkung auf die Technik der Website.
Häufige Fragen
Soll ich GPTBot sperren?›
Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?›
Gilt das auch für Gemini?›
Wie prüfe ich, ob Crawler kommen?›
Stand: 13. Oktober 2026
