Cloudflare sortiert KI-Traffic in drei Klassen: Neue Standardsperre trifft KI-Agenten
KI-generiert mit ChatGPT
Cloudflare sortiert automatisierten KI-Verkehr künftig in die drei Klassen: Search, Agent und Training. Ab dem 15. September 2026 greift für frisch registrierte Domains eine neue Voreinstellung. Sie blockiert Agenten- und Trainingszugriffe auf Seiten, die mit Werbung Geld verdienen. In die Agenten-Klasse fallen auch persönliche KI-Agenten wie OpenClaw, die Webseiten im Auftrag ihrer Nutzer abrufen.
Wie unterscheidet Cloudflare die drei Bot-Klassen?
Die bisherige Standardeinstellung „Block AI Bots” bekommt damit einen Nachfolger mit deutlich mehr Möglichkeiten. Search umfasst Crawler, also Programme, die Webseiten automatisch abrufen und für spätere Suchantworten indexieren. Im Gegenzug sollen besagte Dienste dafür sorgen, dass Nutzer wieder auf der ursprünglichen Seite landen. Agent beschreibt die Automatisierung, die in Echtzeit einen Auftrag für einen Menschen erledigt. Im offiziellen Blogbeitrag nennt Cloudflare ausdrücklich Chat-Abrufe wie zum Beispiel von ChatGPT-Usern sowie Browser-Agenten, die Chrome steuern.
Training bezeichnet Crawler, die Inhalte dauerhaft für KI-Modelle sammeln. Alle erwähnten Einstellungen stehen ab sofort sämtlichen Kunden zur Verfügung. Dies gilt auch für den Gratis-Tarif. Die kommende Standardsperre greift dagegen nur bei Domains, die neu auf die Plattform kommen. Spannend wird die Umstellung bei Mehrzweck-Crawlern. Googlebot, Applebot und Bingbot sammeln Daten, die Suche und das Training zugleich. Wer das Training blockiert, sperrt die genannten Suchcrawler gleich mit aus. Anpassungen lassen sich bereits im Vorfeld in den Sicherheitseinstellungen vornehmen.
AnzeigeWas bedeutet das für OpenClaw-Nutzer?
Mehr als 20 % der Web-Domains laufen über das Netzwerk von Cloudflare, entsprechend groß ist die Wirkung. Der parallel veröffentlichte Radar-Bericht zeigt zudem, wie schnell sich das Web verschiebt. Über 50 % des gesamten Verkehrs stammen nicht mehr von Menschen, diese Schwelle fiel bereits Anfang Juni 2026. 52 % der klassifizierten Crawler-Anfragen entfielen auf das KI-Training, im Frühjahr 2025 waren es noch 22 %.
Für OpenClaw-Nutzer zählt vor allem die Agenten-Einstufung. Der Agent ruft Webseiten live ab, wenn er Preise vergleicht, Termine prüft oder Nachrichten zusammenfasst. Wie unterschiedlich KI-Systeme dabei vorgehen, haben wir im Crawler-Test dokumentiert. Auf werbefinanzierten Seiten neuer Cloudflare-Domains laufen solche Abrufe ab Herbst ins Leere, sofern der Betreiber die Sperre nicht lockert.
Cloudflare flankiert die Umstellung mit einer Bezahlschiene, für die bereits eine Warteliste läuft. Das angekündigte Monetization Gateway soll Abrufe beliebiger Ressourcen kostenpflichtig machen, abgerechnet über das offene Protokoll x402 in Stablecoins. Stablecoins sind Kryptowährungen, deren Kurs an stabile Währungen wie den US-Dollar gekoppelt ist. Zugleich öffnet der Konzern den Prozess für verifizierte Bots, damit sich Agenten-Betreiber transparenter registrieren können. Aus dem freien Abruf wird damit Schritt für Schritt ein Marktplatz mit Eintrittspreis.
Server, KI-Modelle und Recherche kosten Geld. ClawNews ist unabhängig — hilf mit, dass das so bleibt.
