Automatische Erkennung schweizerdeutscher Dialekte anhand von Audiodaten via Phonemtranskriptionen
Creators: name: Bolliger, Laura
name: Waldburger, Safiyya
Publisher: name: ZHAW Zürcher Hochschule für Angewandte Wissenschaften
Year: 2024
Subjects: 006: Spezielle Computerverfahren
430: Deutsch

description: Dialekte sind hauptsächlich ein mündliches Phänomen, sind sich meist sehr ähnlich und es stehen nur beschränkt Ressourcen für das Training eines Natural-Language-Processing-Modells zur Verfügung. Dies sind alles Hürden, die es für die automatische Dialekterkennung zu überwinden gilt. Die vorliegende Bachelorarbeit nahm sich den Herausforderungen an und prüfte einen neuen Ansatz, um schweizerdeutsche Dialekte anhand von Audiodaten zu erkennen. In einem ersten Schritt wurden Audiodaten aus dem SDS-200- und dem STT4SG-350-Korpus mit den neusten Phoneme-Recognizer-Modellen Wav2Vec2Phoneme und MultIPA zu Phonemsequenzen transkribiert. Anschliessend wurden einfache, traditionelle Klassifizierungsalgorithmen mit n-Gramm-Repräsentationen der generierten Phonemsequenzen trainiert. Den grössten Einfluss auf die Erkennungsrate der Modelle hatte eine Konkatenation mehrerer Samples zu längeren Phonemsequenzen. Zudem erwies sich eine n-Gramm-Länge von zwei bis fünf als ideal. Eine zusätzliche Tf-idf-Gewichtung war nur teilweise gewinnbringend. Unter den Classifiern und den Phoneme-Recognizern setzten sich Logistic-Regression und Support-Vector-Machine durch, unter den Phoneme-Recognizern MultIPA. Der beste Classifier – eine Logistic-Regression – erzielte einen F1-Macro-Score von bis zu 94 %. Der Ansatz überzeugte jedoch nicht nur mit hohen Scores, sondern auch mit einer grossen Trainingseffizienz. Die Phonemtranskriptionen mussten nur einmalig erstellt werden und die Classifier waren auf handelsüblichen Laptops innert weniger Minuten trainiert. Zudem ermöglicht der Ansatz mittels klassischer Algorithmen, die Feature-Importance zu untersuchen. Eine erste grobe Analyse ergab, dass hauptsächlich Features, die in einem bestimmten Dialekt klar häufiger oder seltener als in anderen Dialekten vorkommen, für die Identifizierung eines Dialekts relevant sind.
description: 
Dialects are mainly an oral phenomenon, most of them are very similar and there are only limited resources available to train a natural language processing model. These are obstacles that need to be overcome for the automatic dialect identification. This bachelor’s thesis addressed these challenges and tested a new approach to recognize Swiss German dialects from audio data. First audio samples from the SDS-200 and the STT4SG-350 corpus were transcribed into phoneme sequences, using the state-of-the-art phoneme recognizer models Wav2Vec2Phoneme and MultIPA. In a second step simple traditional classification algorithms were trained with n-gram representations of the generated phoneme sequences. The greatest impact on the model performance had the concatenation of several samples into longer phoneme sequences. Also, an n-gram length of two up to five proved to be ideal. An additional tf-idf was only partially beneficial. Among the classifiers logistic regression and support vector machine performed best, and MultIPA prevailed among the phoneme recognizers. The best classifier – a logistic regression – achieved an F1 macro score of up to 94%. However, the approach was not only compelling due to high scores, but also because of its great training efficiency. The phoneme transcriptions only had to be created once and the classifiers were trained on standard laptops within few minutes. Furthermore, the approach using the classical algorithms makes it possible to examine the feature importance. A first rough analysis showed that mostly features that are clearly more frequent or rarer in a certain dialect than in others are relevant for identifying a dialect.