Trainingsausschluss für KI-Crawler: Cloudflare trennt seit dem 15. September 2026 Suchindex und Modelltraining bei Apple, Google und Microsoft

Bis dahin verlor, wer einen Crawler aussperrte, der zugleich den Suchindex füllte und Modelle trainierte, beides. Cloudflare nennt solche Programme Mischnutzungs-Crawler; Googlebot, Applebot und Bingbot gehören dazu.

Welche Betreiber von Crawlern Cloudflare als rechenschaftspflichtig einstuft

Cloudflare vergibt die Einstufung „Accountable“, auf Deutsch rechenschaftspflichtig, an Betreiber mit vier Zusagen: Widerspruch gegen KI-Training über robots.txt, Widerspruch gegen KI-Zusammenfassungen, Einsicht in die für das Training genutzten Seiten und unveränderte Suchergebnisse. Apple, Google und Microsoft erfüllen laut Cloudflare diese Anforderungen; Amazon, Anthropic, Meta und OpenAI gelten ebenfalls als rechenschaftspflichtig, weil sie Such- und Trainings-Crawler getrennt betreiben. Microsoft will nach Darstellung von Cloudflare Anfang 2027 die Vorgabe aus der robots.txt auch für Bingbot beachten.

„Die Kontrolle über das KI-Training ist gelöst, die über KI-Zusammenfassungen noch nicht. Wer seine Inhalte in Antworten sehen will, muss sie so strukturieren, dass eine Maschine sie korrekt zitieren kann. Blockieren ist eine Einstellung, gefunden werden ist Arbeit“, sagt Alexander Weipprecht, Geschäftsführer der Provimedia GmbH.

Wie die Voreinstellungen für neue Domains seit September 2026 aussehen

Neue Domains erhalten laut Cloudflare seit dem 15. September 2026 eine von zwei Vorkonfigurationen, je nachdem, ob die Seite Werbung ausspielt. Drei Werte unterscheiden sich:

• Suche: bei beiden Seitentypen erlaubt
• Training: ohne Werbung erlaubt, mit Werbung Trainingsausschluss über robots.txt
• Agenten, also Abrufe im Auftrag eines Nutzers: ohne Werbung erlaubt, mit Werbung auf Seiten mit Anzeigen blockiert

Die robots.txt entscheidet, wer eine Seite lesen darf; was ein Sprachmodell daraus macht, entscheidet die Auszeichnung der Inhalte. Welche Rolle llms.txt und strukturierte Daten als technische Basis dabei spielen, beschreibt ein Beitrag der Provimedia GmbH.

Warum die Entscheidung vor allem WordPress-Betreiber trifft

WordPress lief nach der Erhebung von W3Techs mit Stand vom 21. September 2026 auf 40,2 Prozent aller Websites, Shopify folgte mit 5,4 Prozent und Wix mit 4,2 Prozent. Mehr als die Hälfte der Verbraucher liest laut Cloudflare KI-Zusammenfassungen in der Suche; Besucher aus KI-Suchen kaufen demnach drei- bis fünfmal so häufig wie Besucher aus der klassischen Suche. Das Plugin der Provimedia GmbH erzeugt aus WordPress-Beiträgen Antwortkarten nach schema.org. Bis Anfang 2027 will Cloudflare eine Einstellung anbieten, mit der Betreiber den Umfang ihrer Inhalte in KI-Zusammenfassungen festlegen; welche Betreiber ihre Zusagen einhalten, zeigt die Auswertungsplattform Radar laufend an.