KI-Crawler blockieren: wie es geht und ob Sie es wollen sollten

Ihre Website ist online, und irgendwann in dieser Woche kommt ein Bot vorbei, der Ihre Seiten liest, um damit ein KI-Modell zu trainieren oder direkt Antworten daraus zu ziehen. Das passiert unbemerkt, und bis vor Kurzem hatten Sie kein Mitspracherecht. Inzwischen können Sie sehr wohl wählen. Die Frage ist aber nicht nur, wie Sie KI-Bots aussperren, sondern vor allem: Wollen Sie das überhaupt?

Drei Arten von Bots, drei verschiedene Abwägungen

Der Begriff "KI-Crawler" umfasst drei sehr unterschiedliche Dinge, und wer sie vermischt, trifft falsche Entscheidungen.

Trainings-Crawler sammeln Text für das Training künftiger Modelle. Dazu gehören GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended und CCBot (Common Crawl). Ihre Inhalte verschwinden in einem Modell und tauchen nie wieder mit Quellenangabe auf. Sie bekommen dafür nichts zurück.

Antwort-Bots rufen während eines Gesprächs live eine Seite ab, um dem Nutzer eine aktuelle Antwort zu geben, häufig mit Quellenlink. Das ähnelt eher einer Suchmaschine: Sie liefern Inhalte und erhalten Sichtbarkeit und manchmal Besucher.

Suchmaschinen-Crawler sind der klassische Googlebot und Bingbot. Die wollen Sie mit ziemlicher Sicherheit hereinlassen, denn das ist Ihr organischer Verkehr. Wichtig: Google trennt das bewusst. Googlebot pflegt den Suchindex, Google-Extended betrifft das KI-Training. Sie können Letzteres ablehnen, ohne Ihre Google-Platzierung zu gefährden.

Wie Sie es regeln

Der einfachste Weg ist robots.txt, die Textdatei im Stammverzeichnis Ihrer Website. Wenn Sie nur Trainings-Crawler aussperren möchten, tragen Sie dort Regeln für GPTBot, ClaudeBot, CCBot und Google-Extended ein, jeweils mit Disallow: /. Den Googlebot lassen Sie unangetastet.

Wichtig zu wissen: robots.txt ist eine Bitte, kein Türschloss. Sie beruht auf Freiwilligkeit. Die großen, etablierten Anbieter halten sich daran, denn ihr Ruf hängt davon ab. Unbekannte Scraper ignorieren sie schlicht. Wer wirklich blockieren will, braucht eine Lösung auf Serverebene oder beim Hosting-Anbieter oder CDN. Cloudflare bietet etwa eine Einstellung zum Abwehren von KI-Bots, und die wirkt durchsetzend statt bittend.

Daneben gewinnt eine neue Idee an Boden: llms.txt, eine Datei, in der Sie umgekehrt sauber angeben, was ein KI-System nutzen darf und wie Ihre Website aufgebaut ist. Es ist ein Vorschlag, kein Standard, und längst nicht alle unterstützen ihn. Aber er zeigt die Richtung dieser Debatte: weg vom Alles-oder-nichts, hin zu Vereinbarungen.

Die Abwägung, auf die es wirklich ankommt

Blockieren fühlt sich intuitiv nach Schutz der eigenen Arbeit an. Bedenken Sie aber, was Sie aufgeben. Immer mehr Menschen stellen ihre Frage direkt einem KI-Assistenten statt einer Suchmaschine. Fehlt Ihr Wissen in diesen Antworten, existieren Sie in diesem Kanal schlicht nicht. Wer auf Auffindbarkeit angewiesen ist, geht mit einer vollständigen Abschottung ein reales Risiko ein.

Ein brauchbarer Mittelweg für die meisten Organisationen: Trainings-Crawler ablehnen, Antwort-Bots hereinlassen. Ihre Inhalte füttern dann kein Modell, das Ihnen später Konkurrenz macht, aber Sie bleiben auffindbar, wenn jemand eine Frage stellt. Für Verlage und Kreative, die von ihren Inhalten leben, kann vollständiges Blockieren durchaus sinnvoll sein, besonders wenn Verhandlungen oder Lizenzen im Spiel sind.

Und rechtlich?

Der EU AI Act verpflichtet Anbieter allgemeiner KI-Modelle, das Urheberrecht zu achten und offenzulegen, mit welchen Daten trainiert wurde. Nach europäischem Urheberrecht können sich Rechteinhaber zudem gegen Text- und Data-Mining zu kommerziellen Zwecken verwahren, sofern dieser Vorbehalt maschinenlesbar erklärt wird. Genau deshalb ist die Zeile in Ihrer robots.txt mehr als eine technische Bitte: Sie ist der Ort, an dem Sie diesen Vorbehalt erklären. Wie das in der Praxis durchgesetzt wird, ist noch stark in Bewegung. Bei kommerziellen Interessen lohnt sich Rechtsberatung, statt auf eine Textdatei zu vertrauen.

Kurz zusammengefasst

• Unterscheiden Sie Trainings-Crawler von Antwort-Bots, und halten Sie Suchmaschinen davon getrennt.
• robots.txt ist der Standardweg, beruht aber auf Freiwilligkeit. Für harte Blockierung brauchen Sie Server oder CDN.
• Google-Extended abzulehnen berührt Ihre Google-Platzierungen nicht.
• Vollständiges Blockieren schützt Ihre Inhalte, macht Sie aber unsichtbar in einem wachsenden Kanal.

Wer verstehen möchte, warum diese Trainingsdaten für Modelle so entscheidend sind und warum eine KI-Antwort mit Quellenlink etwas grundlegend anderes ist als eine Antwort aus dem Gedächtnis des Modells, liest weiter unter Was ist ein LLM? und Was ist KI?.