«Neue Technologie soll ihrem Raubzug ein Ende bereiten», titelt die «Neue Zürcher Zeitung» am 31. Oktober 2025 und fährt fort: «Bis jetzt greifen Künstiche Intelligenz(KI)-Unternehmen die Informationen von Verlagen, Online-Foren und Bloggern ohne Gegenleistung ab. Neue technische Lösungen sollen Websites schützen und den Website-Betreibern zu ihrem Recht verhelfen.»

Das Google-Modell ist in Zeiten von Künstlicher Intelligenz überholt

Der Google-Crawler, das Computerprogramm von Google, das das Internet automatisch durchsucht, Webseiten besucht, deren Inhalte analysiert und diese Informationen für die Suchmaschine Google sammelt und indexiert, war lange Zeit ein willkommener Gast auf jeder Website. Denn als Gegenleistung schickte Google den Websites Besucherinnen und Besucher, die Werbung anschauen, Inhalte konsumieren oder Abos abschliessen.

«Dieses Modell ist in Zeiten von ‘Künstlicher Intelligenz’ überholt», schreibt die «Neue Zürcher Zeitung» und fährt fort: «Nutzerinnen und Nutzer von Chat-GPT und Co. klicken selten auf Links. Und selbst Google liefert zunehmend KI-generierte Antworten auf Nutzerfragen. Deshalb klicken auch Nutzerinnen und Nutzer von Google immer weniger auf Websites.»

Crawler der KI-Unternehmen sollen für die Inhalte von Websites bezahlen

Im Gegensatz zum Google-Crawler sind KI-Crawler nichts anderes als Datendiebe: Sie setzen beim Durchsuchen von Webseiten Verfahren der künstlichen Intelligenz ein, um Inhalte nicht nur technisch zu erfassen, sondern auch semantisch zu verstehen, zu bewerten und etwa für KI-Modelle oder Suchfunktionen aufzubereiten. Kein Wunder also, dass Kritiker die KI-Crawler als die Kakerlaken des Internets abstempeln: unerwünscht, unersättlich und unausrottbar.

Im modernen Internet braucht es deshalb einen neuen Deal: Die Crawler der KI-Unternehmen müssen für die von ihnen abgegriffenen Inhalte von Websites zur Kasse gebeten werden. Dafür zeichnen sich schon einige Lösungen ab.

Cloudflare arbeitet an der Monetarisierung von Zugriffen durch KI-Crawler

Cloudflare, San Francisco, betreibt eine globale Cloud-Plattform für die Internet-Infrastruktur. Die Dienste von Cloudflare machen Websites und damit verbundene Anwendungen sowie Netzwerke schneller, sicherer und zuverlässiger. Die Hauptaufgabe von Cloudflare besteht darin, als Schutzschild und Beschleuniger für Millionen von Websites weltweit zu fungieren. Cloudflare wird weltweit von allen Kundenarten genutzt: von Einzelpersonen und Bloggern bis hin zu den grössten Unternehmen der Welt.

Cloudflare entwickelt derzeit ein revolutionäres "Pay Per Crawl"-System zur Monetarisierung von KI-Zugriffen, das sich in der Beta-Phase befindet. Dieses Modell gibt Website-Betreibern drei Optionen:

• KI-Zugriffe erlauben: Künstliche Intelligenz(KI)-Crawler erhalten freien Zugriff

• KI-Zugriffe blockieren: KI-Crawlern wird der Zugriff vollständig verweigert

• KI-Zugriffe müssen bezahlt werden: Es wird eine Gebühr pro KI-Crawler-Anfrage verlangt

Das technische System basiert auf etablierten HTTP-Statuscodes und Authentifizierungsmechanismen. Cloudflare fungiert dabei als "Merchant of Record" und wickelt die Zahlungen ab. Website-Betreiber können individuelle Preise festlegen und auswählen, welche KI-Crawler sie zur Kasse bitten möchten.

Tollbit bietet innovative Lösungen für den Schutz des Urheberrechts

Tollbit, New York, bietet innovative Lösungen im Bereich des digitalen Urheberrechtsmanagements. Die Tools und Dienstleistungen von Tollbit ermöglichen es Website-Betreibern den Zugriff von Künstliche Intelligenz(KI)-Crawlern auf ihre urheberrechtlich geschützten Inhalte zu steuern und zu monetarisieren.

Über die von Tollbit bereitgestellte Infrastruktur können Website-Betreiber nachvollziehen, welche KI-Crawler auf ihre Inhalte zugreifen, und gezielt steuern, ob und zu welchen Bedingungen dieser Zugriff erlaubt wird. So wird sichergestellt, dass urheberrechtlich geschützte Inhalte nicht unautorisiert von KI-Systemen genutzt werden. Das eröffnet neue Möglichkeiten für eine faire Vergütung der Content-Ersteller.

ProRata will die Vergütung von Verlagen, Autoren, Musiklabels und anderen Rechteinhabern sicherstellen

ProRata ist ein 2024 gegründetes kalifornisches Technologieunternehmen, das sich zum Ziel gesetzt hat, das Problem der fehlenden Vergütung von Content-Erstellern im Zusammenhang mit der generativen Künstlichen Intelligenz(KI) zu lösen. Das von Bill Gross, dem Erfinder des Pay-per-Click-Werbemodells für Internetsuchmaschinen, gegründete Unternehmen entwickelt Attributions- und Monetarisierungstechnologien, die sicherstellen, dass Verlage, Autoren, Musiklabels und andere Rechteinhaber für die Nutzung ihrer Inhalte durch Künstliche Intelligenz(KI)-Systeme kreditiert und kompensiert werden.

Bei KI-Crawlern, die das Internet nach Inhalten durchsuchen und diese für Trainingsdatenbanken oder andere KI-Anwendungen verwenden, spielt ProRata bereits eine Rolle: Die Interessen der Urheber bleiben gewahrt, indem praktikable Lizenzmodelle und technische Schutzmassnahmen bereitstellt werden. Damit können Website-Betreiber sicherstellen, dass ihre urheberrechtlich geschützten Inhalte nicht ohne Zustimmung oder angemessene Vergütung von KI-Systemen genutzt werden.

Der RSL-Standard ist ein maschinenlesbares Lizenzmanagement gegen KI-Crawler

Der Really Simple Licensing(RSL)-Standard ist ein im September 2025 eingeführtes offenes Protokoll, das Website-Betreibern ermöglicht, maschinenlesbare Lizenz- und Vergütungsbedingungen für Künstlichen Intelligenz(KI)-Crawler und andere automatisierte Systeme festzulegen. Der Standard wird von einer neu gegründeten gemeinnützigen Organisation, dem RSL Collective, verwaltet.

KI-Crawler, die sich an den RSL-Standards halten, respektieren die Lizenzbedingungen und vermeiden eine unerlaubte Nutzung. Damit soll RSL einen effektiven Schutzmechanismus gegen die unkontrollierte, kostenlose Verbreitung und Nutzung von digitalen Inhalten durch KI-Systeme bieten. Die Wirksamkeit von RSL wird davon abhängen, ob die grossen KI-Unternehmen wie OpenAI, Anthropic, Google oder Meta den RSL-Standard akzeptieren und respektieren.