title: Machine Learning for Stuttering Detection and Classification in Stuttering Therapy
title: Maschinelles Lernen zur Detektion und Klassifikaton von Stottern in der Stottertherapie
Creators: name: Bayerl, Sebastian P.
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024
Subjects: subject: stuttering
subject: pathological speech
subject: stammering
subject: machine learning
subject: dysfluency
subject: disfluency
subject: paralinguistics

description: This thesis comprehensively explores stuttering detection and classification, lever- aging diverse datasets and methodologies. It emphasizes the importance of stuttering classification in enhancing accessibility for individuals with speech disorders and delivers a structured overview, starting with the foundational elements of speech and machine learning and extending to the new methods developed during the course of this research. The thesis identifies existing research gaps, necessitating a thorough examination of available datasets and a review of historical methods deployed for stuttering detection. It highlights the absence of comparability in the field due to diversity in annotation methods and the scarcity of datasets. This work is a crucial step in advancing the automation of stuttering assessment and therapy evaluation. It introduces and evaluates the speech control index, a new metric to assess stuttering therapy recordings. It goes on to create the Kassel State of Fluency (KSoF) dataset, advancing German stuttering research with optimized annotation protocols and enabling cross-language research initiatives. An in-depth analysis of the Stuttering Events in Podcasts (SEP-28k) brings forth valuable insights into its composition, advocating for quality assurance in research data and speaker exclusivity while splitting data into train, development, and test sets. This thesis investigates speech transformer features for stuttering detection and sets new benchmarks in stuttering classification. It conclusively shows the utility of features learned using English stuttering data on German stuttering recordings. Furthermore, it evaluates end-to-end stuttering classification systems based on speech transformer models. This is done using multi-language and cross-corpus datasets, showing the developed methods’ generalizability and their contribution towards a general stuttering detection system. It does so by evaluating cross-corpus and multi-language stuttering classification systems. While the research concludes with the harder task of multi-label stuttering classification, it underscores the ongoing challenges due to data availability and the inherent ambiguity of stuttering. It advocates for the creation of new multimodal datasets and refinement in the processing of stuttered speech, focusing on improving the accessibility of speech technology. The thesis contains innovative contributions, empirical explorations, and insights, aiming to navigate the future pathway in the field of stuttering detection and classification.
description: Diese Dissertation befasst sich umfassend mit der Erkennung von Stottern, wobei ver- schiedene Datensätze und Methoden genutzt werden. Sie unterstreicht die Bedeutung der Stotterklassifikation für die Verbesserung der Zugänglichkeit für Menschen mit Sprechstörungen und liefert einen strukturierten Überblick, der mit einer grundlegenden Betrachtung von Sprache und des maschinellen Lernens beginnt und sich auf die neuen Methoden erstreckt, die im Laufe dieser Forschung entwickelt wurden. Basierend auf einer gründlichen Untersuchung der verfügbaren Datensätze und einem Überblick über die Methoden, die in der Vergangenheit zur Stottererkennung eingesetzten wurden, werden Forschungslücken aufgezeigt. Dabei wird klar, dass mangelnde Vergleichbarkeit von Methoden aufgrund der Heterogenität der Datensätze ein Kernproblem ist. Diese Dissertation ist daher ein entscheidender Schritt, um die Automatisierung der Beurteilung des Stotterns und der automatisierten Bewertung der Therapie vo- ranzutreiben. Sie führt den Speech Control Index ein, welcher eine neue Metrik zur Beurteilung von Stottertherapieaufnahmen ist. Darüber hinaus wird der Kassel State of Fluency (KSoF) Datensatz erstellt, der dazu beiträgt, die Stottererkennung im Thera- piebereich voranzutreiben. Mit dem Datensatz werden sprachübergreifende Experimente ermöglicht. Eine eingehende Analyse des Stuttering Events in Podcasts Datensatzes (SEP-28k) liefert wertvolle Erkenntnisse über seine Zusammensetzung und plädiert für Qualitätssicherung bei Forschungsdaten und Sprechexklusivität bei der Aufteilung von Daten in Training-, Development- und Testpartitionen. Diese Arbeit untersucht Transformer basierte Merkmale für die Stottererkennung und setzt damit neue Maßstäbe in der Stotterklassifikation. Sie zeigt schlüssig den Nutzen von Merkmalen, die mit englischen Daten gelernt wurden, für die Klassifikation von Stottern in deutschsprachigen Aufnahmen. Darüber hinaus werden End-to-End Klassi- fikationssysteme für Stottern auf der Grundlage von Transformermodellen erstellt und evaluiert. Dies geschieht mit mehrsprachigen und korpusübergreifenden Datensätzen, was die Generalisierbarkeit der entwickelten Methoden und ihren Beitrag zu einem generellen Stottererkennungssystem zeigt. Die Dissertation schließt mit der schwierigeren Aufgabe der Multi-Label-Klassifikation von Stottern und unterstreicht die Herausforderungen aufgrund der Datenverfügbarkeit und der Mehrdeutigkeit des Stotterns. Diese Arbeit plädiert für die Schaffung neuer multimodaler Datensätze und die Verbesserung der Verarbeitung von gestotterter Sprache, wobei der Schwerpunkt auf der Verbesserung der Zugänglichkeit von Sprachtechnologie liegt. Die Dissertation enthält innovative Beiträge, empirische Untersuchungen und Erkenntnisse, die den zukünftigen Weg im Bereich der Stottererkennung und -klassifizierung aufzeigen sollen.