Cloudflare, Inc.NYSE: NET), das führende Cloud-Unternehmen im Bereich Konnektivität, hat heute eine neue „Accountable“-Kennzeichnung für das Crawling durch KI angekündigt. In diesem Zusammenhang hat Cloudflare die Funktion „Disallow AI Training“ eingeführt – eine Einstellung, mit der jede Website das Training von KI ablehnen kann, während sie weiterhin uneingeschränkt in den Suchergebnissen erscheint. Vor elf Wochen erklärte Cloudflare, dass Website-Betreiber Kontrolle darüber haben sollten, wie KI ihre Inhalte nutzt, und legte dar, was Crawler-Betreiber leisten müssen, um weiterhin Zugriff zu erhalten. Apple, Google und Microsoft werden nun als „Accountable“ gekennzeichnet und haben nachgewiesen, dass sie diese Kriterien erfüllen, oder konkrete Fristen für deren Erfüllung angegeben haben. Andere Crawler mit gemischter Nutzung werden blockiert, wenn Website-Betreiber das Training sperren („Block Training“).
Fast dreißig Jahre lang war die Vereinbarung zwischen Crawlern und Website-Betreibern einfach: Sie crawlen Ihre Seite und senden im Gegenzug Traffic zurück. KI hat die Bedingungen verändert. Crawler mit gemischter Nutzung – also Crawler, die Inhalte sowohl für einen Suchindex als auch für das KI-Training sammeln – machen mittlerweile 36,6 % des verifizierten Crawler-Traffics im Cloudflare-Netzwerk aus und bilden damit die größte Einzelkategorie. Die meisten Website-Betreiber möchten nach wie vor gefunden werden: Weniger als 1 % blockiert Such-Crawler, während 17 % das KI-Training einschränken. Bis heute bedeutete die Verweigerung des Trainings den Verlust der Indizierung durch Crawler, denen die entsprechenden Kontrollmechanismen fehlten.
„So verbessern wir das Internet: indem wir die Offenheit bewahren, die die Suche so wertvoll macht, und gleichzeitig den Menschen und Unternehmen hinter dem Web eine sinnvolle Kontrolle darüber geben, wie ihre Arbeit genutzt wird“, sagte Matthew Prince, Mitgründer und CEO von Cloudflare. „Wir freuen uns auf die weitere Zusammenarbeit mit Unternehmen wie Apple, Google und Microsoft, um gemeinsam ein gesundes Ökosystem aufzubauen.“
Crawler für gemischte Nutzung stellten die größte Herausforderung beim Training der KI dar. Als Nächstes stehen KI-Zusammenfassungen an: Jeder Betreiber, den Cloudflare als „Accountable“ einstuft, muss Website-Betreibern die Möglichkeit geben, KI-Zusammenfassungen abzulehnen. Derzeit handelt es sich dabei um eine Ja-oder-Nein-Entscheidung, die mit jedem Betreiber einzeln vereinbart wird. Bis Anfang nächsten Jahres möchte Cloudflare es Website-Betreibern ermöglichen, an einer zentralen Stelle festzulegen, wie viel von ihren Inhalten einbezogen wird.
Neue Kontrollen, neue Empfehlungen
Cloudflare ersetzt seine Schaltfläche „Block AI Bots“ durch drei unabhängige Steuerelemente: eines für die Suche, eines für das KI-Training und eines für KI-Agenten. Für neue Websites auf Cloudflare werden nun empfohlene Einstellungen vorgeschlagen, die auf ihr Geschäftsmodell zugeschnitten sind:
- Seiten mit Werbung: Das Crawling für die Suche ist aktiviert, das Trainieren von KI ist untersagt, und KI-Agenten werden auf Seiten mit Werbung blockiert.
- Alle anderen Seiten: Suchfunktionen, KI-Training und KI-Agenten sind allesamt zulässig, entsprechend der Vorgehensweise, wie sie bereits auf den meisten nicht werbefinanzierten Websites üblich ist.
Cloudflare ersetzt zudem seine Funktion „Managed Robots.txt“ durch „Bot Preference Sync“, mit der Website-Betreiber ihre Crawling-Einstellungen einmalig festlegen können, die dann automatisch auf alle unterstützten Crawler angewendet werden. Kunden können ihre Einstellungen und Präferenzen jederzeit ganz einfach ändern.
Accountable AI Crawling
Cloudflare hat klare Kriterien für ein verantwortungsbewusstes und transparentes Crawling durch KI festgelegt, auch für Crawler mit gemischter Nutzung. Es gibt vier Anforderungen, die Betreiber entweder erfüllen oder sich verpflichten müssen, innerhalb einer festgelegten Frist zu erfüllen:
- Website-Betreibern eine klare Option bieten, sich über die Datei „robots.txt“ oder einen vergleichbaren Standard vom KI-Training abzumelden
- Website-Betreibern die Möglichkeit geben, sich gegen KI-generierte Suchzusammenfassungen zu entscheiden
- Website-Betreibern auf URL-Ebene Einblick geben, wie ihre Inhalte für die Suche und das Training genutzt werden
- Öffentlich bestätigen, dass der Verzicht auf Training keinen Einfluss auf das Ranking einer Website in der klassischen Suche hat
Apple, Google und Microsoft haben gezeigt, dass sie diese Kriterien erfüllen. So bietet Google beispielsweise „Google-Extended“ an, eine Steuerungsfunktion, mit der Websites das Training deaktivieren können, ohne dabei die Suche zu deaktivieren, und sie haben Anfang des Jahres neue Tools angekündigt, womit Website-Betreiber KI in der Suche navigieren können. Andere führende KI-Unternehmen betreiben separate Crawler für die Suche und das Training. Dadurch kann Cloudflare deren Trainings-Crawler blockieren, ohne die Suche zu beeinträchtigen, weshalb Cloudflare die entsprechenden Crawler ebenfalls als „Accountable“ einstuft. Cloudflare veröffentlicht die vollständige Liste der qualifizierten Betreiber unter Cloudflare Radar.
Cloudflare beteiligt sich zudem aktiv an der Arbeit an offenen Standards im Rahmen der Internet Engineering Task Force (IETF), darunter „ai-prefs“ – eine Spezifikation, die derzeit entwickelt wird und es jeder Website ermöglichen soll, ihre Präferenzen hinsichtlich des Zugriffs durch KI auf standardisierte und übertragbare Weise auszudrücken. Die heutigen Steuerungsmöglichkeiten sind so konzipiert, dass sie mit diesen sich entwickelnden Standards kompatibel sind.
Um mehr über den Ansatz von Cloudflare in Bezug auf KI und Inhaltskontrolle zu erfahren, besuchen Sie bitte die folgenden Seiten:
- Blog: Das Beste aus beiden Welten: Bleiben Sie auffindbar und verhindern Sie gleichzeitig das Training von KI
- Blog: Content Independence Day – ein Jahr danach: Die Entwicklung des Geschäftsmodells für das agentische Internet
Über Cloudflare
Cloudflare, Inc. (NYSE: NET) ist das führende Cloud-Unternehmen für Konnektivität. Es befähigt Unternehmen, ihren Beschäftigten, Anwendungen und Netzwerken überall mehr Schnelligkeit und Sicherheit zu verleihen und gleichzeitig Komplexität und Kosten zu reduzieren. Die Connectivity Cloud von Cloudflare bietet die umfassendste, einheitliche Plattform mit cloudnativen Produkten und Entwickler-Tools, sodass jedes Unternehmen die Kontrolle erhält, die es zum Betreiben, Entwickeln und Beschleunigen seines Geschäfts benötigt.
Cloudflare wird von einem der größten und am besten verknüpften Netzwerke der Welt unterstützt und blockiert für seine Kunden jeden Tag Milliarden von Online-Bedrohungen. Mehrere Millionen Organisationen vertrauen auf Cloudflare - von den größten Marken über Unternehmer und kleine Geschäfte bis hin zu gemeinnützigen Organisationen, humanitären Gruppen und Regierungen auf der ganzen Welt.
Erfahren Sie mehr über die Connectivity Cloud von Cloudflare unter cloudflare.com/connectivity-cloud. Erfahren Sie mehr über die neuesten Internet-Trends und Einblicke unter radar.cloudflare.com.
Folgen Sie uns: Blog | X | LinkedIn | Facebook | Instagram
Zukunftsgerichtete Aussagen
Diese Pressemitteilung enthält zukunftsgerichtete Aussagen im Sinne von Abschnitt 27A des Securities Act von 1933 in der jeweils gültigen Fassung und Abschnitt 21E des Securities Exchange Act von 1934 in der jeweils gültigen Fassung, die mit erheblichen Risiken und Ungewissheiten verbunden sind. In einigen Fällen lassen sich zukunftsgerichtete Aussagen daran erkennen, dass sie Wörter wie „könnte“, „wird“, „sollte“, „erwartet“, „prüft“, „plant“, „geht davon aus“, „könnte“, „beabsichtigt“, „strebt an“, „prognostiziert“, „erwägt“, „glaubt“, „schätzt“, „prognostiziert“, „potenziell“ oder „fortsetzen“ oder die Verneinung dieser Wörter sowie andere ähnliche Begriffe oder Ausdrücke, die sich auf die Erwartungen, Strategien, Pläne oder Absichten von Cloudflare beziehen. Allerdings enthalten nicht alle zukunftsgerichteten Aussagen diese kennzeichnenden Wörter. Zu den in dieser Pressemitteilung ausdrücklich oder implizit enthaltenen zukunftsgerichteten Aussagen gehören unter anderem Aussagen über die Fähigkeiten und die Wirksamkeit von „Disallow AI Training“, „Bot Preference Sync“ und anderen Produkten und Technologien von Cloudflare, die Vorteile für die Kunden von Cloudflare durch die Nutzung von „Disallow AI Training“, „Bot Preference Sync“ und anderen Produkten und Technologien von Cloudflare erbringen, den Zeitpunkt, zu dem „Disallow AI Training“, „Bot Preference Sync“ oder einer der damit verbundenen Funktionen für alle aktuellen und potenziellen Cloudflare-Kunden allgemein verfügbar sein wird, die technologische Entwicklung von Cloudflare, zukünftige Geschäftstätigkeiten, Wachstum, Initiativen oder Strategien sowie Äußerungen von Cloudflare-Vertretern, des CEO und anderer. Die tatsächlichen Ergebnisse können aufgrund einer Reihe von Faktoren erheblich von den in zukunftsgerichteten Aussagen genannten oder implizierten Ergebnissen abweichen, darunter unter anderem die Risiken, die in den bei der Securities and Exchange Commission (SEC) eingereichten Unterlagen von Cloudflare detailliert beschrieben sind, einschließlich des Quartalsberichts von Cloudflare auf Formular 10-Q für den am 30. Juni 2026 endenden Zeitraum, eingereicht am 6. August 2026 sowie sonstige Einreichungen, die Cloudfare von Zeit zu Zeit bei der SEC tätigt.
Die in dieser Pressemitteilung dargelegten zukunftsgerichteten Aussagen beziehen sich nur auf Ereignisse zu dem Zeitpunkt, an dem die Aussagen gemacht werden. Cloudflare übernimmt keine Verpflichtung, zukunftsgerichtete Aussagen in dieser Pressemitteilung zu aktualisieren, um Ereignisse oder Umstände nach dem Datum dieser Pressemitteilung oder neue Informationen oder das Eintreten unvorhergesehener Ereignisse widerzuspiegeln, es sei denn, dies ist gesetzlich vorgeschrieben. Cloudflare wird die in den zukunftsgerichteten Aussagen offengelegten Pläne, Absichten oder Erwartungen möglicherweise nicht verwirklichen, und die Leser sollten sich nicht über Gebühr auf die zukunftsgerichteten Aussagen von Cloudflare verlassen.
© 2026 Cloudflare, Inc. Alle Rechte vorbehalten. Cloudflare, das Cloudflare-Logo und andere Cloudflare-Marken sind Marken und/oder eingetragene Marken von Cloudflare, Inc. in den USA und anderen Ländern. Alle anderen hier genannten Marken und Namen sind möglicherweise Marken ihrer jeweiligen Eigentümer.
Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.
Originalversion auf businesswire.com ansehen: https://www.businesswire.com/news/home/20260915130603/de/
© Business Wire, Inc.
Aviso legal :
Este comunicado de imprensa não é um documento produzido pela AFP. A AFP não será responsável por este conteúdo. Para mais informações, por favor entre em contato com as pessoas ou entidades mencionadas no comunicado.