Text und Data Mining: Welche Botschaften senden österreichische Webseiten an KI-Anbieter?

In der empirischen Analyse untersuchte die bei der RTR eingerichteten Servicestelle für Künstliche Intelligenz (KI) umfassend, wie österreichische Webseitenbetreiber Nutzungsvorbehalte gegen die Sammlung und Verwendung von Daten, insbesondere für das Training generativer KI, über den robots.txt-Standard gegenüber unterschiedlichen KI-Anbietern äußern.

Die Ergebnisse der unten abrufbaren Erhebung zeigen, dass der robots.txt-Standard weit verbreitet ist. KI-Crawler haben bei Beschränkungen von Webseitenbetreibern seit etwa 2023 eine steigende Bedeutung. Crawler für das Sammeln von Daten für das Training von KI-Modellen werden öfter beschränkt als Crawler, welche einen Suchindex für KI-generierte Zusammenfassungen von Suchergebnissen aufbauen oder Crawler, welche in Echtzeit infolge von Nutzeranfragen auf Webseiten zugreifen.

Die von Expert:innen der KI-Servicestelle durchgeführte Erhebung basiert auf den frei verfügbaren Daten von Common Crawl und untersuchte neben österreichischen Webseiten auch Webseiten österreichischer öffentlicher Stellen, Medien sowie des Bildungsbereichs. Gastbeiträge von Expert:innen aus den Bereichen Urheberrecht und Künstliche Intelligenz ergänzen den Bericht aus unterschiedlichen Blickwinkeln.

Zitiervorschlag für diesen Bericht: 
RTR (2026): Text und Data Mining: Welche Botschaften senden österreichische Webseiten an KI-Anbieter?  https://www.rtr.at/analyse_text_data_mining