Wie KI-Crawler Webseiten abrufen: ChatGPT, Claude, Perplexity und Gemini im Test

Eine Nginx-Messung von Ali Khallad zeigt, wie ChatGPT, Claude, Perplexity und Gemini eine Webseite ansteuern. ChatGPT, Claude und Perplexity holen die Seite live mit eigenem User-Agent ab. Gemini sendet keinen einzigen Request. Die Messung gilt lediglich für eine Domain, beleuchtet aber zentrale Unterschiede für SEO und GEO.

Wer seine Logs auf KI-Traffic prüft, stößt auf zwei sehr unterschiedliche Signale. Das eine ist der Live-Abruf durch den Anbieter, wenn ein Nutzer den Chatbot fragt. Das andere ist der Klick eines Menschen, der nach der KI-Antwort die Quelle aufruft.

Wie lief der Test ab?

Khallad richtete ein Nginx-Logformat ein, das User-Agent, Referrer und Accept-Header mitschreibt. Jeder Chatbot bekam einen Prompt mit einer eindeutigen Kennung im Query-String wie /?ai=chatgpt. So ließ sich später per Grep nachvollziehen, welcher Request zu welchem Anbieter gehört. Insgesamt wurden acht Chatbots überprüft: ChatGPT, Claude, Perplexity, Gemini, Meta AI, Manus, Microsoft Copilot und Grok. Fünf Anbieter meldeten sich mit eigenem User-Agent. Drei riefen die Webseite entweder gar nicht oder mit Hilfe eines gewöhnlichen Browser auf.

Anzeige

Wie arbeiten ChatGPT, Claude und Perplexity?

ChatGPT rief die Seite mehrfach gleichzeitig auf. Khallad zählte auf einer anderen Produktivseite in 24 Stunden Requests aus fünf verschiedenen IP-Bereichen bei Azure. Das Verhalten passt zur offiziellen Bot-Dokumentation von OpenAI.

Claude-User rief vor jedem Seitenabruf die robots.txt auf. Die Anfragen kamen aus dem IP-Block 216.73.216.0/24, der Anthropic gehört. Wer Claude blockieren will, schreibt in der robots.txt einen Disallow für User-agent: Claude-User. Das honoriert der Bot beim nächsten Aufruf.

Anthropic betreibt zudem zwei weitere Bots, die in der offiziellen Crawler-Dokumentation klar getrennt sind. Claude-SearchBot baut den Suchindex, ClaudeBot crawlt für das Training. Nur Claude-User kennzeichnet eine echte Live-Abfrage.

Perplexity crawlte die Seite ohne Accept-Header und ohne Referrer. Khallad regstriete insgesamt nur wenige Live-Abrufe. Das passt zur Bot-Dokumentation von Perplexity. Der Anbieter beantwortet viele Fragen aus dem eigenen Index. Live abgerufen wird nur dann, wenn der Index nicht ausreicht.