Bias und Evaluation - Beiträge zur Kritik der digitalen Edition mit generativer KI
Creators: name: Scholger, Martina
name: CUGLIANA, ELISA
name: Fischer, Franz
name: Pollin, Christopher
name: Sahle, Patrick
name: Vogeler, Georg
Publisher: name: Zenodo
Year: 2025
Subjects: Large Language Models
Generative AI
Digital Scholarly Editing
Bias
Normalization

description: Das Institut für Dokumentologie und Editorik hat sich im letzten Jahr besonders mit dem Einsatz von generativer KI für digitale Editionen beschäftigt und schon im März 2024 auf der DHd in einem Workshop Experimente für verschiedene Szenarien gesammelt (Pollin et al. 2024a). In der Rückschau auf den Workshop (Pollin et al. forthcoming) und in verschiedenen Beiträgen (Pollin, Steiner & Zach 2023; Pollin et al. 2024b; Pollin & Vogeler 2024; Scholger/Strutz/Pollin 2024) kommen wir zu dem Schluss, dass es vielversprechende Szenarien des Einsatzes von generativer KI im Editionsworkflow gibt: Retrokonversion, TEI-Kodierung, Named Entity Recognition, Textnormalisierung oder Anwendungsentwicklung sind nur einige Felder. Wir kommen aber auch zu dem Schluss, dass der Bias generativer KI, die konkrete Umsetzung der Workflows und insbesondere die Bewertung der Ergebnisse noch zu wenig erforscht sind. Wir möchten in unserem Beitrag dieses Defizit am Beispiel einer Normalisierungsaufgabe verdeutlichen. LLMs sind mit einem Corpus trainiert, das einen Bias zugunsten von modernen englischsprachigen Texten hat. Ein erwarteter und in einzelnen Experimenten beobachteter Effekt davon ist Hypernormalisierung, d.h. das LLM bevorzugt z.B. moderne Orthographie auch wenn der Prompt die Übernahme der Textvorlage beauftragt hatte. Für Normalisierungsaufgaben, die dazu dienen, Suche und Interpretation durch moderne Leser:innen durch Reduktion der Varianz zu vereinfachen, scheint ein LLM also eine besonders gut geeignete Technologie zu sein. In der digitalen Edition sind diese Aufgaben von besonderer Bedeutung, weil die Tendenz zur dokumentarischen und damit auch zur hyperdiplomatischen Transkription besonders hoch ist (Robinson 2013, Krebs & Machwitz 2020; Galka & Klug 2023). So sind seit den 1990er Jahren determinative Verfahren zur Normalisierung vorgeschlagen worden (Botzem & Kurschel 1993) und zuletzt von Cugliana & Barabucci (2022) in der digitalen Edition der frühneuhochdeutschen Übersetzung von Marco Polos Reisebericht eingesetzt worden. Eine systematische Evaluation eines LLMs für diese Aufgabe kann hier sowohl an einem solchen Verfahren gemessen werden als auch philologische Einblicke in die Normalisierung geben. Der Beitrag wird an diesem Beispiel grundlegende Fragen der digitalen Edition mit generativer KI diskutieren.

Bibliographie

Susanne Botzem / Henriette Kurschel. “The ICE Project.” In: Jaritz, Gerhard / Kropač, Ingo / Teibenbacher, Peter (Eds.) The Art of Communication. Proceedings of the Eighth International Conference of the Association for History and Computing, Graz, Austria, August 24 - 27, 1993 , Vol. 1. Grazer Grundwissenschaftliche Forschungen: Graz. p. 397-408

Elisa Cugliana / Gioele Barabucci, “Signs of the Times: Medieval Punctuation, Diplomatic Encoding and Rendition”, In: Journal of the Text Encoding Initiative [Online], Issue 14 | April 2021- March 2023. 2022. DOI: https://doi.org/10.4000/jtei.3715.

Selina Galka / Helmut W. Klug. “Minimal Editing: Die Hyperdiplomatische Transkriptionsplattform.” In: DHd 2023 Open Humanities Open Culture. 9. Tagung des Verbands "Digital Humanities im deutschsprachigen Raum" (DHd 2023), Trier, Luxemburg. https://doi.org/10.5281/zenodo.7715321. 

Sophia Victoria Krebs / Dana Machwitz. “Die (hyper-)diplomatische Transkription und ihre Erkenntnispotentiale. Workshop an der Bergischen Universität Wuppertal, 6./7. Februar 2020” editio, vol. 34, no. 1, 2020, pp. 235-238. https://doi.org/10.1515/editio-2020-0014

Christopher Pollin / Franz Fischer / Patrick Sahle / Martina Scholger / Georg Vogeler. “When it was 2024 - Generative AI in the filed of digital scholarly editions.” In: Zeitschrift für digitale Geisteswissenschaften. Forthcoming. 

Christopher Pollin / Georg Vogeler. Digital History mit LLMs: Modellieren, Extrahieren, Transformieren, Visualisieren. In: Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI), Universität des Saarlandes (ed.): ChatGPT und generative KI in der mediävistischen Grundlagenforschung  (Saarbrücken, 19.–20.09.2024) Saarbrücken 2024. [online]

Christopher Pollin / Alexander Czmiel / Stefan Dumont / Franz Fischer / Patrick Sahle / Torsten Schaßan / Martina Scholger / Georg Vogeler / Torsten Roeder / Christiane Fritze / Ulrike Henny-Krahmer. Generative KI, LLMs und GPT bei digitalen Editionen. In: DHd (ed.): DHd2024 – »Quo Vadis DH?«, (Passau, 26.02. – 01.03.2024) Zenodo. Passau 2024a. DOI: 10.5281/zenodo.10893761.

Christopher Pollin / Sabrina Strutz / Georg Maximilian Reiter / Christian Steiner / Helmut Klug. teiCrafter. In: Digital Edition Creation Pipelines: Tools and Transitions (DigEdTnT). 2024b. [online]

Christopher Pollin / Christian Steiner / Constantin Zach. New Ways of Creating Research Data.  Conversion of Unstructured Text to TEI XML using GPT on the Correspondence of Hugo Schuchard  with a Web Prototype for Prompt Engineering. In: FORGE 2023b. Tübingen 2023. DOI: 10.5281/zenodo.8425163

Peter Robinson. Towards a Theory of Digital Editions. In: Variants 10. 105–131. 2013. DOI: 10.1163/9789401209021_009.

Martina Scholger / Sabrina Strutz / Christopher Pollin. Empowering Text Encoding with Large Language Models: Benefits and Challenges. In: Universidad del Salvador (ed.): TEI Buenos Aires 2024 (Buenos Aires, 07.–11.10.2024) Buenos Aires 2024. PDF. DOI: 10.5281/zenodo.13969082.