Segmentierungs- und Annotationsverfahren für die Texte Udo Lindenbergs: Apostrophe und andere Herausforderungen (2023)

Abstract: In der Computerlinguistik ist eine kaskadische Prozessierung von Texten üblich. Dabei werden diese zuerst segmentiert (tokenisiert), d.h. Tokens und ggf. Satzgrenzen werden erkannt. Dabei entsteht meist eine Liste bzw. eine einspaltige Tabelle, die sukzessive durch weitere Prozessierungschritte um zusätzliche Spalten – also positionale Annotationen wie z.B. Wortarten und Lemmata für die Tokens in der ersten Spalte – ergänzt wird. Bei der Tokenisierung werden alle Spatien (Leerzeichen) gelöscht. Schon immer problematisch waren dabei Interpunktionszeichen, da diese äußerst ambig sein können, aber auch mehrteilige Namen, die Leerzeichen enthalten und eigentlich zusammengehören. Dieser Beitrag fokussiert auf den Apostroph, der in vielfältiger Weise in den Texten Udo Lindenbergs eingesetzt wird sowie auf mehrteilige Namen, die wir als Tokens erhalten möchten. Wir nutzen dafür das komplette Lindenberg-Archiv des songkorpus.de-Repositoriums, kategorisieren die auftretenden Phänomene, erstellen einen Goldstandard und entwickeln ein teils regel-, teils auf maschinellem Lernen basierendes Segmentierungswerkzeug, das insbesondere die auftretenden Apostrophe, aber auch - lexikonbasiert - mehrteilige Namen nach unseren Vorstellungen erkennt und tokenisiert. Im Anschluss trainieren wir den RNN-Tagger (Schmid, 2019) und zeigen auf, dass ein spezifisch für diese Texte angepasstes Training zu Genauigkeiten ≥ 96% führt. Dabei entsteht nicht nur ein Goldstandard des annotierten Korpus, das dem Songkorpus-Repositorium zur Verfügung gestellt wird, sondern auch eine angepasste Version des RNN-Taggers (verfügbar auf github), die für ähnliche Texte verwendet werden kann.

## tagging für die wortart-annotation und lemmatisierung verwenden wir den rnntagger (schmid, 2019), der auf rekurrenten neuronalen netzen basiert. der rnntagger wurde für deutsch und viele andere sprachen trainiert und ist für nicht-kommerzielle zwecke frei verfügbar @xcite . für unsere evaluationen haben wir den tagger auf unterschiedlichen korpora neu trainiert und verglichen. tabelle 4 zeigt die erzielten genauigkeiten. der tagger, der nur auf dem tiger-korpus trainiert wurde, erzielte mit der goldstandard-tokenisierung im mittel deutlich bessere ergebnisse (+0.6%) als mit der original-tokenisierung. zusätzliches training auf dem lindenberg-korpus verbesserte die ergebnisse sogar um +3,0% mit der goldstandard-tokenisierung (tiger+goldst.) und um +3,7% mit der original-tokenisierung (ti-ger+original).