Cloudflare hat eine wichtige Änderung an der Verarbeitung von automatisiertem Web-Traffic eingeführt. Dieses Update birgt einen Nebeneffekt, der einige Website-Betreiber überraschen könnte. Je nach Konfiguration bestimmter Einstellungen kann die Änderung dazu führen, dass Website-Betreiber unbeabsichtigt Googlebot und andere KI-Bots blockieren. Das Unternehmen kündigte diese Änderung im Rahmen seines zweiten Content Independence Day an und stellte sie allen Kunden zur Verfügung, auch denen mit dem kostenlosen Tarif.
Die Kernidee des Updates ist einfach. Cloudflare hat die Option, „KI-Bots“ als einheitliche Kategorie zu behandeln und alle Crawler dieser Kategorie entweder zu blockieren oder zuzulassen, ersetzt. Mit dem neuen Update können Kunden Crawler nun anhand ihrer tatsächlichen Aktivitäten auf der Website sortieren, anstatt anhand von Bezeichnungen. Diese Unterscheidung ist besonders wichtig, sobald am 15. September separate Standardeinstellungen in Kraft treten.
Sortierung der Krabbeltiere in drei Kategorien
Das neue System verwendet drei Kategorien von KI-gestützten Crawlern. Die erste Kategorie umfasst Such-Crawler, die eine Website indexieren, um später Fragen dazu beantworten zu können. Cloudflare verknüpft diese Aktivität mit dem Referral-Traffic.
Dann gibt es noch Agenten-Crawler. Das sind Echtzeit-Crawler, die im Auftrag des Anfragenden agieren, beispielsweise ChatGPT-Benutzer. Im Gegensatz zu herkömmlichen Crawlern, die selbstständig laufen, werden Agenten-Crawler von einer realen Person ausgelöst.
Schließlich gibt es noch Trainings-Crawler, die den Inhalt der Website durchsuchen, um eine KI zu trainieren oder zu optimieren. Diese Art von Crawler-Aktivität bereitet Publishern die größten Sorgen, da Trainings-Crawler keinen Traffic zurück zur ursprünglichen Website leiten.
Cloudflare zufolge will das Unternehmen Bot-Betreiber dazu bewegen, ihre Bots für jede dieser Aktionen in separaten Modi zu betreiben. So können Webseiten genau nachvollziehen, warum ein Bot die Seite besucht, anstatt alle Bots unter dem Begriff „KI“ zusammenzufassen.
Der 15. September als Stichtag, der alles verändert
Es gibt zwei wichtige Änderungen, die am 15. September 2023 in Kraft treten und die besondere Beachtung erfordern, wenn die Website Cloudflare-Dienste nutzt.
Für Neukunden und neue Websites von Bestandskunden werden Schulungs- und Agenten-Crawler auf Seiten mit Werbung standardmäßig blockiert, während Such-Crawler weiterhin zugelassen bleiben. Cloudflare teilte außerdem mit, dass Kunden, die die kostenlosen Dienste nutzen und die Einstellungen vor dem 15. September nicht geändert haben, diese Standardeinstellungen automatisch erhalten.
Die zweite Änderung verdient besondere Beachtung. Ab dem 15. September behandelt Cloudflare Crawler, die mehrere Zwecke erfüllen, anhand ihres Gesamtverhaltens und wendet dabei die jeweils strengste Regel an. Das heißt: Führt ein Crawler sowohl Such- als auch Trainingsfunktionen aus und der Website-Betreiber blockiert das Training, wird der gesamte Crawler blockiert, unabhängig von der Suchfunktion.
Cloudflare nennt Googlebot, Applebot und Bingbot als Beispiele, da diese das Web sowohl für die reguläre Suchindexierung als auch für das KI-Training durchsuchen. Websites, die die alte Option „KI-Bots blockieren“ aktiviert hatten, sind von dieser Änderung ebenfalls betroffen.
Falls ein Website-Betreiber Googlebot, Applebot oder Bingbot zulassen möchte, ist dies ganz einfach: Er kann die Einstellungen im Cloudflare-Dashboard überprüfen und anpassen. Cloudflare hat außerdem angekündigt, seine Kunden über die bevorstehende Frist zu informieren.
Ein neues Signal dafür, wie Bots Inhalte nutzen können
Neben den neuen Crawler-Kategorien testet Cloudflare auch ein neues Signal zur Inhaltsnutzung, das auf dem bestehenden Content-Signals-Framework für robots.txt-Dateien basiert. Es gibt drei Signalarten: Die restriktivste ist „Sofort“ – der Inhalt darf überhaupt nicht gespeichert werden. Die nächste ist „Referenz“ – der Crawler darf den Inhalt indexieren und einen Eintrag dazu erstellen; dies ist die neue Standardeinstellung. Schließlich gibt es noch das Signal „Vollständig“, das es einem Crawler erlaubt, den Inhalt zusammenzufassen und wiederzugeben.
Cloudflare hat klargestellt, dass es sich hierbei um Einstellungen und nicht um erzwungene Einschränkungen handelt. Ein Bot kann das Signal also weiterhin ignorieren und Inhalte speichern, selbst wenn der Wert auf „sofort“ gesetzt ist. Cloudflare hat außerdem die Kriterien für die Kennzeichnung eines Bots als „verifiziert“ geändert. Diese hängt nun von der Bot-Kategorie ab und garantiert daher keinen Zugriff mehr. Die vollständige Wiedergabe von Inhalten ist nicht mehr das Kriterium für die Verifizierung eines Bots. Zusätzlich hat Cloudflare für Kunden von Enterprise Bot Management ein durchsuchbares Verzeichnis namens BotBase eingeführt. Dieses enthält die Klassifizierung jedes Bots sowie die zugehörige Erkennungs-ID, mit der Sicherheitsregeln erstellt werden können.
Die Zahlen hinter der Entscheidung
Cloudflare nannte die Zahlen hinter diesem Update in einem Bericht zum ersten Jahrestag des Content Independence Day. Laut diesem Bericht machen KI-Trainings-Crawler mittlerweile den Großteil der Crawling-Anfragen im Cloudflare-Netzwerkverkehr aus – ein deutlicher Anstieg gegenüber rund 20 Prozent aller Anfragen im Frühjahr 2025. Die täglichen Anfragen von KI-Agenten haben sich in diesem Zeitraum um mehr als 1,700 Prozent erhöht.
Man sollte beachten, dass diese Daten lediglich den Netzwerkverkehr von Cloudflare widerspiegeln und die weltweite Crawler-Aktivität nicht berücksichtigen. Dennoch verdeutlichen die Zahlen, warum Cloudflare sich für einen so detaillierten Mechanismus anstelle eines einfachen Ein-/Ausschalters entschieden hat.
Warum Website-Betreiber darauf achten sollten
Das Problem mit den Änderungen vom 15. September liegt darin, dass die Blockierung von KI-Trainingsblöcken nun auch das Suchmaschinen-Crawling betrifft. Anders ausgedrückt: Durch die Blockierung der Trainingsschicht von Crawlern zum Schutz der Inhalte vor KI-Modellen könnten Website-Betreiber versehentlich auch Googlebot blockieren, da dieser zur selben Kategorie kombinierter Crawler gehört.
Eine solche Maßnahme ist wirksamer als eine Blockierung über die robots.txt-Datei. Eine robots.txt-Anweisung ist lediglich eine Anfrage, und Google crawlt Seiten manchmal trotzdem, obwohl die robots.txt-Datei dies untersagt. Eine Blockierung durch Cloudflare ist schwieriger zu umgehen, da sie auf Netzwerkebene wirkt. Indem Website-Betreiber den Zugriff des Googlebots auf eine bestimmte Website blockieren, stellen sie sicher, dass Google diese Website nicht crawlt und die entsprechenden Seiten in den Suchergebnissen weniger sichtbar sind.
Es ist nicht der erste Fall dieser Art. Im vergangenen Jahr hat die Zahl der Publisher, die auf die Standardeinstellung „Verweigern“ umgestellt haben – was das Blockieren von KI-Trainings- und Such-Crawlern beinhaltet –, deutlich zugenommen. Jedes Mal ist der Kompromiss derselbe: Der Schutz von Inhalten vor KI-Modellen kann die Sichtbarkeit in den Suchergebnissen beeinträchtigen.
Was Sie vor dem 15. September tun sollten
Alle Website-Betreiber, die Cloudflare nutzen, müssen vor dem 15. September Maßnahmen ergreifen und ihre Crawler-Einstellungen im Dashboard überprüfen. Die wichtigste Frage ist, ob Such-Crawler weiterhin zugelassen bleiben sollen, während Trainings- und Agenten-Crawler eingeschränkt werden sollen.
Dies betrifft insbesondere diejenigen, die die KI-Bot-Blockierung in der Vergangenheit aktiviert und seitdem nicht mehr überprüft haben. Die neue Regel für kombinierte Crawler kann dazu führen, dass Googlebot anstelle von KI-Bots blockiert wird. Nutzer des kostenlosen Tarifs werden nach Ablauf der Frist automatisch auf die neuen Standardeinstellungen umgestellt. Cloudflare geht davon aus, dass Betreiber von Crawlern mit gemischtem Zweck die Bots im Laufe des nächsten Jahres nach ihrem jeweiligen Zweck trennen werden. Sollte dies geschehen, haben Website-Betreiber die Möglichkeit, zwischen dem Schutz ihrer Inhalte vor KI-Crawlern und der Sichtbarkeit ihrer Website in den Suchergebnissen zu wählen. Andernfalls bleiben sie wie bisher verbunden.
Häufig gestellte Fragen
Frage 1: Was ändert Cloudflare an KI-Crawlern?
Cloudflare ermöglicht es Websites nun, KI-bezogene Crawler in drei Gruppen einzuteilen: Suche, Agent und Training. Der Website-Betreiber kann jede Gruppe separat verwalten.
Frage 2: Warum könnte dies den Googlebot blockieren?
Ab dem 15. September wendet Cloudflare die strengsten Regeln für Crawler an, die mehrere Zwecke verfolgen. Da Googlebot sowohl für Such- als auch für Trainingszwecke crawlt, kann die Blockierung der Trainingsgruppe auch zur Blockierung von Googlebot führen.
Frage 3: Wann tritt diese Änderung in Kraft?
Die Änderungen und die neuen Standardeinstellungen treten ab dem 15. September in Kraft. Website-Betreiber können ihre Einstellungen jederzeit vor diesem Datum überprüfen.
Frage 4: Betrifft dies kostenlose Cloudflare-Konten?
Ja. Nutzer des kostenlosen Tarifs, deren Einstellungen vor dem 15. September nicht geändert wurden, werden automatisch auf die neuen Standardregeln umgestellt.
Frage 5: Worin besteht der Unterschied zwischen Such-, Agenten- und Trainings-Crawlern?
Suchmaschinen-Crawler indexieren Inhalte und leiten den Traffic zurück auf eine Website. Agenten-Crawler agieren in Echtzeit für einen bestimmten Nutzer. Trainings-Crawler sammeln Inhalte, um KI-Modelle zu trainieren, und leiten den Traffic nicht zurück.
Frage 6: Was ist das neue Signal zur Inhaltsnutzung, das Cloudflare testet?
Cloudflare fügt der robots.txt-Datei ein Signal mit drei Einstellungen hinzu: sofort, Referenz und vollständig. Dieses Signal teilt Bots mit, wie sie die Inhalte einer Seite nutzen dürfen. Laut Cloudflare handelt es sich lediglich um eine Präferenz, die den Zugriff nicht blockiert.
Frage 7: Was ist mit dem „Verifiziert“-Bot-Label von Cloudflare passiert?
Die Verifizierung garantiert nun keinen uneingeschränkten Zugriff mehr überall. Es hängt von der Kategorie des Bots ab, und Crawler, die ganze Seiten reproduzieren, können derzeit nicht verifiziert werden.
Frage 8: Um wie viel ist der Datenverkehr der KI-gestützten Crawler gestiegen?
Laut einem Bericht von Cloudflare hat sich das KI-Training zu einer wichtigen Anfrageart bei Cloudflare entwickelt. Der Anteil der Anfragen stieg von 20 % im Frühjahr 2025 auf 1,700 % im Laufe des Jahres.
Frage 9: Soll ich „KI-Bots blockieren“ deaktivieren, wenn Googlebot meine Website weiterhin crawlen soll?
Wenn Sie den vollen Zugriff von Googlebot behalten möchten, sollten Sie dies vor dem 15. September in Erwägung ziehen.
Frage 10: Was ist BotBase?
Es handelt sich um ein durchsuchbares Verzeichnis, das Cloudflare für Kunden mit Enterprise Bot Management erstellt hat. Es zeigt die Klassifizierung jedes überwachten Bots an und stellt die Erkennungs-ID zur Erstellung von Sicherheitsregeln bereit.
