KI-Training: Ein robots.txt-Eintrag soll für mehrere Anbieter gelten

Wer heute verhindern will, dass die eigenen Ratgeber, Produkttexte oder Fallstudien in das Training von KI-Modellen fließen, pflegt in der robots.txt für jeden Anbieter eine eigene Regel. Das soll ein gemeinsames Signal ersetzen: Google und OpenAI haben am 30. Oktober 2026 angekündigt, einen anbieterübergreifenden Eintrag zu beachten, der aus der Arbeitsgruppe AI Preferences (AIPREF) der Internet Engineering Task Force (IETF) stammt.

Ab wann gilt der neue Eintrag?#

Noch nicht. Google will die Steuerung laut Search Central Blog im Jahr 2027 gemeinsam mit anderen KI-Anbietern unterstützen, OpenAI spricht von den kommenden Monaten und will Einzelheiten später nachreichen. Grundlage ist bisher ein Entwurf, eine genaue Schreibweise des Eintrags nennt Google im Beitrag nicht. An der eigenen robots.txt musst du deshalb heute nichts umbauen.

Was passiert mit Google-Extended?#

Die bisherigen Regeln je Anbieter bleiben gültig, bei Google also Google-Extended, das es seit 2023 gibt. Neu ist eine Rangfolge: Schließt eine Website das Training über das gemeinsame Signal aus und nennt Google-Extended nicht ausdrücklich, wertet Google das so, als wäre Google-Extended gesperrt. Wer Google-Extended dagegen ausdrücklich erlaubt, kann weiter in Antworten der Gemini-Apps auftauchen und von dort Klicks bekommen.

Genau dort liegt die Abwägung für Content- und SEO-Teams. Ein pauschaler Ausschluss trifft alle teilnehmenden Anbieter, eine Ausnahme für einzelne verlangt weiter die alte, anbieterbezogene Regel. Wie viel Sichtbarkeit in KI-Antworten bringt, lässt sich inzwischen messen: Google zählt KI-Suchlinks im Web-Leistungsbericht, und Bing Webmaster Tools zeigt, wo KI-Antworten zitieren.

Microsoft trennt Training von KI-Antworten#

Microsoft geht einen eigenen Weg. Laut der Hilfe der Bing Webmaster Tools führt das Unternehmen getrennte Einstellungen für KI-Training und für KI-Grounding ein, also für die Nutzung von Inhalten in KI-Antworten. Sie ersetzen dort die alten Anweisungen NoArchive und NoCache.

Google begründet das gemeinsame Signal auch mit dem EU-Verhaltenskodex für Anbieter allgemeiner KI-Modelle unter dem AI Act, der robots.txt als Hauptweg für maschinenlesbare Vorbehalte anerkennt. Offen ist, welche weiteren Anbieter mitziehen und wie der Eintrag am Ende genau aussieht. Beides soll sich in der IETF-Arbeitsgruppe klären; Google hat angekündigt, über den Fortschritt zu berichten.