Liebe Community,
wir möchten euch hier einmal darüber informieren, dass wir derzeit auf nahezu allen Goobi viewer Instanzen massive Probleme mit KI-Bots haben. Diese Bots verursachen durch ihre massiven und teilweise sehr rücksichtslosen Abfragen eine erhebliche Belastung auf vielen Servern, was sich negativ auf die Performance und die Zugriffszeiten auswirkt. Dieses Problem beobachten wir bereits seit einigen Monaten, und es scheint weiter zu eskalieren. Die enorme Last führt teilweise sogar dazu, dass manche Tomcat-Server mehrfach täglich neu gestartet werden müssen.
Die Herausforderung dabei ist, dass diese Bots schwer von echten Nutzern zu unterscheiden sind. Sie tarnen sich mit unterschiedlichen User-Agents, Browser-Versionen und nutzen verschiedene IP-Adressen aus mehreren Herkunftsländern. In Wellen greifen sie die von euch bereitgestellten Bilder und Metadaten ab und rufen nahezu alle verfügbaren Funktionen des viewers auf, um die verschiedenen Daten abzufragen.
Pauschal alle Nutzer aus ausgewählten Ländern oder Regionen zu sperren, ist keine langfristige Lösung. Diese Methode hat in der Vergangenheit bei Suchmaschinen gut funktioniert, aber mit den aufkommenden KI-Systemen sind die Anfragen viel heterogener. Wir haben zunächst versucht, bestimmte User-Agents und IP-Ranges zu sperren. Seit etwa einer Woche setzen wir zudem eine spezielle Software (Anubis) ein, um bei solchen Anfragen zwischen echten Nutzern und Bots zu unterscheiden. Leider ist auch diese Methode nicht perfekt: Manchmal wird legitimen Nutzern, vor allem von mobilen Endgeräten, fälschlicherweise der Zugriff verweigert. Und natürlich kann auch die Sperrung von IPs dazu führen, dass in einigen Fällen echte Anfragen gestört werden.
Unser nächster Schritt besteht darin, eine zentrale Sperrliste zu erstellen und zu verwalten, die dann möglichst automatisiert über alle Server hinweg verteilt werden kann – idealerweise über IP-Bereiche, unterstützt durch Anubis. Wir gehen davon aus, dass diese Lösungsstrategie noch einige Tage in Anspruch nehmen wird und stetig angepasst wird. Aber wir bleiben dran.
Wenn ihr möchtet, könnt ihr gerne auch unsere Demo-Viewer-Instanz unter https://viewer.goobi.io ausprobieren und uns eine Rückmeldung geben, falls ihr dort Schwierigkeiten beim Zugriff bemerkt. Dort haben wir die gleiche Konfiguration eingerichtet, die die Bots aussperren soll. Solltet ihr auf Probleme stoßen, wäre es super, wenn ihr uns darüber informiert – das hilft uns bei der weiteren Bekämpfung dieses Problems. Schon jetzt vielen Dank dafür!
Wie ihr seht, arbeiten wir mit Hochdruck daran, das Problem zu lösen. Meldet euch einfach, wenn ihr Fragen habt! Vielen Dank für eure Geduld und euer Verständnis.
Viele Grüße,
Steffen