title: Tackling Data Scarcity in Automatic Pathological Speech Analysis
title: Bewältigung der Datenknappheit bei der automatischen Analyse pathologischer Sprachsignale
Creators: name: Tayebi Arasteh, Soroosh
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: The emergence of speech as a crucial element in digital technology has raised significant privacy concerns due to its biometric nature, particularly evident in its use as a biomarker in healthcare. Speech is extensively used in applications such as detecting Parkinson’s and Alzheimer’s diseases and in speech therapy because it is cost-effective and non-invasive. However, the effectiveness of deep learning (DL) algorithms depends on having access to substantial amounts of speech data for training. Despite the daily influx of patients with speech or voice disorders at various institutions, utilizing this data for research is challenging due to strict privacy regulations. Since speech data can reveal a wealth of personal information, there is a pressing need for privacy-preserving technologies in voice data usage. As a result, the amount of data available for public research remains severely restricted. This thesis aims to increase the availability of pathological speech datasets for healthcare research by ensuring data privacy and security. It involves determining if pathological speech is more vulnerable to verification than healthy speech, guiding the development of anonymization techniques that protect personal information without altering diagnostic utility. Additionally, the thesis explores privacy-preserving collaborative learning models, particularly federated learning (FL), to enable collective analysis without sharing raw data, assessing its applicability to pathological speech. In the first part of the research, a DL-driven automatic speaker verification (ASV) approach was employed to analyze pathological speech data from various age groups and disorders. The findings indicated that pathological speech generally faces higher privacy breach risks compared to healthy speech. Specifically, adults with Dysphonia are at greater risk of re-verification, while conditions like Dysarthria showed similar risks to healthy speakers. Speech intelligibility did not affect the ASV system’s performance. For pediatric cases, particularly those with Cleft Lip and Palate (CLP), the recording environment significantly impacted re-verification risks. Combining data across different pathological types improved ASV performance, suggesting the benefits of pathological diversity. The second part of the thesis examines the impact of speaker anonymization on pathological speech. To address privacy concerns, this study focuses on anonymizing pathological speech from over 2,700 speakers across multiple German institutions. Both DL-based and signal processing-based anonymization methods were explored, showing significant privacy improvements across various disorders with minimal impact on diagnostic utility. Disorders such as Dysarthria, Dysphonia, and CLP experienced minimal utility changes, while Dysglossia showed slight improvements. These findings highlight that the impact of anonymization varies across different disorders, necessitating disorder-specific strategies to balance privacy with diagnostic utility. Additionally, the fairness analysis revealed consistent anonymization effects across most demographics, demonstrating the effectiveness of these methods in enhancing privacy while maintaining the utility of pathological speech for diagnostic purposes. The final part of the research explores the use of FL for detecting Parkinson's disease using speech signals. Given the stringent patient data privacy regulations that hinder data sharing between institutions, FL offers a solution by enabling collaborative model training without sharing raw data. This study utilized speech data from three real-world language corpora in German, Spanish, and Czech, each from a separate institution. The FL model outperformed all local models in terms of diagnostic accuracy and performed comparably to a model trained on centrally combined datasets, without requiring any data sharing. In conclusion, this thesis contributes to addressing data limitation challenges in the field of pathological speech processing by developing and evaluating methods that enhance privacy and diagnostic accuracy. The study demonstrates the effectiveness of anonymization and FL in enhancing privacy while maintaining diagnostic utility, highlighting the importance of customized approaches. This research paves the way for more effective and privacy-conscious healthcare applications of speech, ultimately improving patient outcomes.
description: Das Aufkommen der Sprache als entscheidendes Element in der digitalen Technologie hat aufgrund ihres biometrischen Charakters erhebliche Bedenken hinsichtlich des Schutzes der Privatsphäre aufgeworfen, was besonders bei ihrer Verwendung als Biomarker im Gesundheitswesen deutlich wird. Sprache wird in großem Umfang in Anwendungen wie der Erkennung von Parkinson- und Alzheimer-Krankheiten und in der Sprachtherapie eingesetzt, da sie kostengünstig und nicht invasiv ist. Die Effektivität von Deep-Learning (DL)-Algorithmen hängt jedoch davon ab, ob sie Zugang zu großen Mengen an Sprachdaten für das Training haben. Trotz des täglichen Zustroms von Patienten mit Sprach- oder Stimmstörungen in verschiedenen Einrichtungen ist die Nutzung dieser Daten für die Forschung aufgrund strenger Datenschutzbestimmungen eine Herausforderung. Da Sprachdaten eine Fülle von persönlichen Informationen offenbaren können, besteht ein dringender Bedarf an Technologien zur Wahrung der Privatsphäre bei der Nutzung von Sprachdaten. Infolgedessen bleibt die Menge der für die öffentliche Forschung verfügbaren Daten stark eingeschränkt. Ziel dieser Arbeit ist es, die Verfügbarkeit pathologischer Sprachdatensätze für die Gesundheitsforschung zu erhöhen, indem der Datenschutz und die Datensicherheit gewährleistet werden. Es geht darum, festzustellen, ob pathologische Sprache anfälliger für eine Verifizierung ist als gesunde Sprache, und die Entwicklung von Anonymisierungstechniken anzuleiten, die persönliche Informationen schützen, ohne den diagnostischen Nutzen zu beeinträchtigen. Darüber hinaus werden in dieser Arbeit datenschutzfreundliche Modelle des kollaborativen Lernens, insbesondere des Federated Learning (FL), untersucht, um eine kollektive Analyse ohne gemeinsame Nutzung von Rohdaten zu ermöglichen und ihre Anwendbarkeit auf pathologische Sprache zu bewerten. Im ersten Teil der Forschung wurde ein Deep-Learning-gesteuerter Ansatz zur automatischen Sprecherverifizierung (ASV) verwendet, um pathologische Sprachdaten verschiedener Altersgruppen und Störungen zu analysieren. Die Ergebnisse zeigten, dass bei pathologischer Sprache im Allgemeinen ein höheres Risiko der Verletzung der Privatsphäre besteht als bei gesunder Sprache. Insbesondere bei Erwachsenen mit Dysphonie besteht ein höheres Risiko der Re-Verifizierung, während bei Erkrankungen wie Dysarthrie ähnliche Risiken wie bei gesunden Sprechern bestehen. Die Sprachverständlichkeit hatte keinen Einfluss auf die Leistung des ASV-Systems. Bei pädiatrischen Fällen, insbesondere bei denen mit Lippen-Kiefer-Gaumenspalten (LKG), wirkte sich die Aufnahmeumgebung erheblich auf das Risiko der Re-Verifizierung aus. Die Kombination von Daten verschiedener Pathologietypen verbesserte die ASV-Leistung, was auf die Vorteile der pathologischen Vielfalt hindeutet. Im zweiten Teil werden die Auswirkungen der Anonymisierung von Sprechern auf pathologische Sprache untersucht. Um Bedenken hinsichtlich des Datenschutzes auszuräumen, konzentriert sich diese Studie auf die Anonymisierung pathologischer Sprache von über 2.700 Sprechern in mehreren deutschen Einrichtungen. Es wurden sowohl DL-basierte als auch signalverarbeitungsbasierte Anonymisierungsmethoden untersucht, die signifikante Verbesserungen der Privatsphäre bei verschiedenen Störungen mit minimalen Auswirkungen auf den diagnostischen Nutzen zeigten. Bei Störungen wie Dysarthrie, Dysphonie und LKG wurden minimale Änderungen des Nutzens festgestellt, während Dysglossie leichte Verbesserungen aufwies. Diese Ergebnisse verdeutlichen, dass die Auswirkungen der Anonymisierung bei den verschiedenen Störungen variieren und störungsspezifische Strategien erforderlich sind, um ein Gleichgewicht zwischen Datenschutz und diagnostischem Nutzen herzustellen. Darüber hinaus ergab die Fairness-Analyse konsistente Anonymisierungseffekte für die meisten demografischen Gruppen, was die Wirksamkeit dieser Methoden bei der Verbesserung der Privatsphäre unter Beibehaltung des Nutzens pathologischer Sprache für diagnostische Zwecke belegt. Im letzten Teil der Forschungsarbeit wird der Einsatz von FL zur Erkennung der Parkinson-Krankheit anhand von Sprachsignalen untersucht. In Anbetracht der strengen Datenschutzbestimmungen für Patientendaten, die den Datenaustausch zwischen Institutionen behindern, bietet FL eine Lösung, indem es ein kollaboratives Modelltraining ohne Austausch von Rohdaten ermöglicht. In dieser Studie wurden Sprachdaten aus drei realen Sprachkorpora in Deutsch, Spanisch und Tschechisch verwendet, die jeweils von einer anderen Institution stammen. Das FL-Modell übertraf alle lokalen Modelle in Bezug auf die diagnostische Genauigkeit und schnitt vergleichbar mit einem Modell ab, das auf zentral kombinierten Datensätzen trainiert wurde, ohne dass eine gemeinsame Datennutzung erforderlich war. Zusammenfassend lässt sich sagen, dass diese Arbeit dazu beiträgt, die Herausforderungen der Datenbeschränkung im Bereich der pathologischen Sprachverarbeitung zu bewältigen, indem sie Methoden entwickelt und evaluiert, die den Datenschutz und die diagnostische Genauigkeit verbessern. Die Studie zeigt die Effektivität von Anonymisierung und FL bei der Verbesserung der Privatsphäre unter Beibehaltung des diagnostischen Nutzens und unterstreicht die Bedeutung von maßgeschneiderten Ansätzen. Diese Forschung ebnet den Weg für effektivere und datenschut-zgerechtere Sprachanwendungen im Gesundheitswesen, die letztendlich zu besseren Ergebnissen für die Patienten führen.