Goobi Workflow: Beauftragung zu PlugIN catalogue poller

Liebe Community,

wir würden den catalogue poller https://docs.goobi.io/goobi-workflow-plugins-de/administration/intranda_administration_catalogue_poller in goobi workflow erweitern lassen.

Folgende Entwicklungen fänden wir grundsätzlich sinnvoll und wichtig:

  1. Zeitsteuerung
    Der Catalogue Poller soll einmalig auf “Knopfdruck” ausgelöst werden können. Bis jetzt ist das in der Form nicht möglich.

  2. Körperschaften und Metadatengruppen
    Als der Catalogue Poller entwickelt wurde, gab es noch keine expliziten Körperschaften und auch keine flexiblen Metadatengruppen. Um dem Catalogue Poller nun die Möglichkeit zu geben, dass er auch damit umgehen kann und so alle Werte vollständig mappt, muss er hierzu erweitert werden.

  3. Blacklist / Whitelist
    Bisher funktioniert der Catalogue Poller so, dass er zum definierten Zeitpunkt alle festgelegten Datensätze eines Treffersets durchläuft und aus dem Katalog neu abfragt. Dabei werden grundsätzlich alle Daten verglichen, die nicht über eine Blacklist ausgeschlossen wurden. Neue Felder kommen also hinzu. Felder, die es im Katalog nicht gibt, kommen weg. Geänderte Felder werden aktualisiert. Alle Felder, die in der Blacklist stehen, werden nicht durch die Katalogabfrage geändert. Wir würden das gerne über eine Whitelist lösen, also bewußt Felder auswählen, die neu importiert werden sollen.

  4. Möglichkeit eines Testlaufs
    Bisher nimmt der Catalogue Poller die Änderungen bei einem Lauf stets auch tatsächlich vor. Wir würden uns hier einen Testlauf wünschen, bei dem die Änderungen nur angezeigt werden (als EXCEL- oder CSV-Datei), aber noch nicht wirklich eine Änderung stattfindet. Das soll einer Fehlkonfiguartion vorbeugen, bei der evtl. ungewollt Daten überschrieben werden.

  5. Konfigurierbarkeit aus der Nutzeroberfläche
    Die Konfiguration des Catalogue Pollers findet derzeitig ausschließlich über eine Konfigurationsdatei im Dateisystem statt, für die ein Zugriff via Terminal benötigt wird. Wir würden die komplette Konfiguration gerne direkt in Goobi workflow stattfinden lassen. Hierbei wird berücksichtigt, dass die Oberfläche dann möglichst intuitiv sein soll, Erläuterungen zu den Eingabefeldern aufführt und die Eingaben vor dem Speichern auf Sinnhaftigkeit und Validität prüft. So könnte bspw. sichergestellt werden, dass nur Metadaten in den Whitelists und Blacklists aufgeführt werden, die in den Regelsätzen auch vorhanden sind, Filter auch Ergebnisse liefern und ähnliche Prüfungen.


Ich fände Punkt 5 sehr sinnvoll. Was meint Ihr?

Beste Grüße,
Andreas Schlüter

Hallo Andreas,

ich versuche mir gerade ebenfalls den Catalogue Poller zu erschließen und Intranda hatte hierfür einen ersten Anwendungsfall konfiguriert (sh. Screenshot). Eine Weiterentwicklung würde ich ebenfalls begrüßen!

zu 1) In unserer aktuellen Version scheint ein Auslösen per “Knopfdruck” bereits möglich. Allerdings lassen sich, so mein Eindruck, in der Weboberfläche aktuell nur alle definierten Vorgänge/Sets auf einmal ausführen. Hier würde ich mir eine differenzierte Steuerung wünschen, gerade wenn man unterschiedliche Sets definieren (z.B. Projekte, Zeiträume, Vorgänge) und diese auch unabhängig voneinander aktualisieren möchte.

Hier eine Beispiel-Konfiguration, zunächst als Test für die Aktualisierung einzelner Vorgänge.
Mein Anwendungsfall wäre im nächsten Schritt z.B. alle ab Datum X angelegten Vorgänge zu aktualisieren, da es hier nach einem Update zu einigen Import-Fehlern aus ALMA kam, die ich darüber gern korrigieren würde (ohne die Vorgänge neu anlegen zu müssen).

zu 2) Klingt sinnvoll. Ist dies eine Annahme oder haben Tests ergeben, dass der Catalogue Poller Körperschaften und Metadatengruppen noch nicht verarbeitet werden können?

zu 3) Eine Whitelist fände ich auch hilfreich. Diese könnte ggf. eine längere Blacklist erübrigen, bzw. in einer anderen Fragestellung den bewussten Import von bestimmten Metadatenfeldern triggern.

zu 4) Halte ich auch für sehr sinnvoll, gerade um die Auswirkungen überprüfen zu können und eine umfangreiche Wiederherstellung über Backups eher aufwendig und umständlich wäre.

zu 5) Bin ich auch sehr dafür. Aktuell lässt sich in der Weboberfläche nur der Start via “Jetzt ausführen” auslösen, während die Konfiguration selbst im Dateisystem erfolgt.

Beste Grüße
Anja

Hallo Anja,

wir nutzen den CataloguePoller im Moment noch nicht. Wie die Oberfläche aussieht und wie der Poller funktioniert, weiß ich also nur aus der Dokumentation und aus mehreren e-mails von Intranda.

  1. Zeitsteuerung , auslösen auf “Knopfdruck”
    Sollte laut Intranda noch nicht funktionieren. Im Moment müsste man dafür zB einen Zeitpunkt wählen, der sehr weit in der Zukunft liegt, um damit eine regelmäßige Wiederholung auszuschließen.

  2. Körperschaften und Metadatengruppen
    Das ist eine Auskunft von Intranda, also vermutlich korrekt :slight_smile:

  3. Blacklist / Whitelist
    Sehe ich auch so, minimiert auch die Fehleranfälligkeit

  4. Konfigurierbarkeit aus der Nutzeroberfläche
    Wäre für mich der wichtigste (und auch der teuerste) Punkt.

Vielen Dank für Deine Anmerkungen!

Viele Grüße,
Andreas

Hallo @steffen,

werden beim aktuellen Catalogue Poller eigentlich auch die GND-Felder zB für die Verfasser mit abgegriffen?

Liebe Grüße,
Andreas

Hey,

der Catalogue Poller bedient sich hier für die Katalogabfrage des jeweilig konfigurierten Opac-Plugins. Wenn dort das Mapping für GND konfiguriert und gemappt ist (also für Eure sonstigen Katalogabfragen auch), dann nutzt der Catalogue Poller die gleiche Konfiguration mit.

Liebe Grüße,
Steffen

1 „Gefällt mir“

Liebe Community,

die Herzogin Anna Amalia Bibliothek beabsichtigt, für den Catalogue Poller eine grafische Benutzeroberfläche entwickeln zu lassen.

Wir suchen jetzt nach Mitstreitern. Ausnahmsweise steht die Finanzierung allerdings schon :slight_smile:
Was wir brauchen sind Einrichtungen, die mit uns gemeinsam testen möchten, ob die Umsetzung der grafischen Benutzeroberfläche tatsächlich den Bedürfnissen der Community entspricht.

Meldungen gerne hier oder per Direktnachricht an mich.

Beste Grüße,
Andreas

2 „Gefällt mir“

Hallo Andreas,

das sind ja gute Nachrichten. Sucht ihr noch Mitstreiter für Tests?

Beste Grüße
Anja

Hallo @aernicke ,

ja, natürlich sehr gerne. Das genaue Prozedere müßten wir mal mit @steffen besprechen. Wichtig wäre mir am Ende der Entwicklung, dass das PlugIn wirklich den Anforderungen der Community entspricht (und auch genutzt wird).

Beste Grüße,
Andreas

Hallo, hier gibt es leider noch nichts Neues zu berichten. @steffen , kannst Du was zum aktuellen Stand der Umsetzung sagen?