title: Voice Modeling Methods for Automatic Speaker Recognition
Creators: name: Stadelmann, Thilo
Publisher: name: Philipps-Universität Marburg
Year: 2010
Subjects: Sprechererkennung
Algorithmus
MFCC
Artificial Intelligence: AI
Time Model
Eidetic Design
GMM
Methode
Mustererkennung
Temporal Modeling
Data processing, Computer science
Informatik
Allgemeine Didaktik
Automatische Sprechererkennung

description: Ein Stimmmodell (voice model) fasst die charakteristischen Eigenschaften einer Stimme in einer Datenstruktur zusammen. Diese wird zur maschinellen Weiterverarbeitung verwendet, z.B. zum Vergleich mit anderen Stimmen. Dies ist ein Hauptschritt auf dem Weg zur automatischen Sprechererkennung, welche wiederum der Kern mehrerer marktreifer Technologien ist: (a) biometrische Authentisierung, (b) automatische Spracherkennung und (c) multimediale Suche. Die automatische Sprechererkennung birgt mehrere Herausforderungen. Zum einen besteht das Problem der Datenknappheit, d.h. der zu kurzen Sprach-Äußerungen. Es entsteht durch die Eigenschaft des Sprachsignals, unterschiedliche Aspekte des Klangs in einer einzelnen eindimensionalen Zeitreihe unterzubringen: linguistische (was wurde gesagt?), prosodische (wie wurde es gesagt?), individuelle (wer hat es gesagt?), örtliche (wo befindet sich der Sprecher?) und emotionale Merkmale der Sprache an sich (um nur einige zu nennen) werden ebenso vermittelt wie Informationen über akustische Nebengeräusche. Um einen bestimmten Aspekt unabhängig von den übrigen Aspekten zu analysieren, müssen die ansonsten ähnlichen Analysetechniken auf eine bestimmte zeitliche Einheit im Signal geeicht werden, in der dieser Aspekt gegenüber anderen heraussticht. Beispielsweise entfaltet sich linguistische Information (welches Phonem oder welche Silbe wurde gerade ausgesprochen?) auf einer Skala von nur wenigen Millisekunden Länge. Sprecherspezifische Informationen hingegen lassen sich um so besser extrahieren, je länger der zu analysierende Sprachabschnitt ist. Lange, zusammenhängende Sprachäußerungen sind allerdings nicht immer verfügbar. Zum anderen wird das Sprachsignal leicht durch Nebengeräusche wie z.B. Musik oder Soundeffekte beeinträchtigt. Das Stimmmodell tendiert dann dazu, eher die Charakteristiken der Nebengeräusche abzubilden anstatt diejenigen der Stimme. Ein Modellvergleich geschieht dann fälschlicherweise hautptsächlich auf Basis der Nebengeräusche anstatt anhand der Stimme. Aktuelle Systeme zur automatischen Sprechererkennung arbeiten zufriedenstellend unter relativ kontrollierten Umständen wie in geräuscharmen Studioaufnahmen oder wenn zusätzliche Informationen z.B. über die Anzahl und Identität der auftretenden Sprecher verfügbar sind. Unter verschärften Bedingungen, wie sie beispielsweise in Filmen oder Amateurvideomaterial im Internet auftreten, sinkt die Erkennungsrate unter die für Endanwender oder eine Weiterverarbeitung akzeptable Schwelle. Zum Beispiel machen die typische Sprachdauer von ca. einer Sekunde in Kinofilmen und die dort auftretenden Soundeffekte eine Anwendung der meisten aktuellen Systeme auf solchen Daten unmöglich. In dieser Arbeit werden Methoden für die Stimmmodellierung untersucht, die robust gegenüber kurzen Sprachäußerungen und Nebengeräuschen sind. Das anvisierte Ziel ist die Indexierung von Filmen hinsichtlich der auftretenden Sprecher. Zu diesem Zweck werden algorithmische Verbesserungen vorgestellt, die (a) die Modellierung von kurzen Sprachsegmenten erlauben, (b) die Modellbildung auch unter beträchtlichem Nebengeräuscheinfluss ermöglichen und (c) einen effizienten Vergleich von Stimmmodellen durchführen können, um die Indexierung von großen Multimediaarchiven zu unterstützen. Neben diesen punktuellen algorithmischen Verbesserungen beschäftigen sich die folgenden Kapitel auch mit {prinzipiellen Schwächen aktueller Ansätze zur Stimmmodellierung. Mittels einer Studie mit menschlichen Probanden wird gezeigt, dass die Ausklammerung von zeitlichen Kontextinformationen aus dem Stimmmodell eine künstliche Obergrenze für die Leistungsfähigkeit automatischer Analysemethoden einführt. Eine beispielhafte Implementierung bestätigt den Nutzen der Informationsquelle zeitlicher Kontext durch die Halbierung der Fehlerrate. Dieses Resultat stellt das Sprechererkennungs-Paradigma der letzten beiden Dekaden in Frage und präsentiert einen zukunftsträchtigen neuen Weg. Die vorangegangenen Ergebnisse wurden mit einem neuartigen methodischen Ansatz zum Algorithmenentwurf namens "Eidetic Design" erzielt. Er sieht die Analyse von abstrakten Zwischenergebnissen bestehender Algorithmen mittels Introspektion vor. Das Ziel dabei ist, Nachteile und Fehler in den bestehenden Methoden intuitiv aufzudecken und Lösungen nahezulegen. Die Zwischenergebnisse bestehen häufig aus Matrizen voller Zahlen, deren Bedeutung sich dem menschlichen Beobachter nicht ohne weiteres erschließt. Der Kern des Ansatzes ist deshalb, Zwischenergebnisse in eine passende Domäne der Wahrnehmung zu transformieren (z.B. Sprachmerkmalsvektoren in hörbare Sprachsignale umzuwandeln), in der ihr Inhalt, ihre Bedeutung und potentielle Probleme intuitiv erfasst werden können. Schließlich wird die Nutzung der vorgestellten Verfahren in Problemen aus dem Video Retrieval und der Filmanalyse sowie ihre Implemetierung in der auf Nachfrage erhältlichen Softwarebibliothek sclib präsentiert.
description: Building a voice model means to capture the characteristics of a speaker´s voice in a data structure. This data structure is then used by a computer for further processing, such as comparison with other voices. Voice modeling is a vital step in the process of automatic speaker recognition that itself is the foundation of several applied technologies: (a) biometric authentication, (b) speech recognition and (c) multimedia indexing. Several challenges arise in the context of automatic speaker recognition. First, there is the problem of data shortage, i.e., the unavailability of sufficiently long utterances for speaker recognition. It stems from the fact that the speech signal conveys different aspects of the sound in a single, one-dimensional time series: linguistic (what is said?), prosodic (how is it said?), individual (who said it?), locational (where is the speaker?) and emotional features of the speech sound itself (to name a few) are contained in the speech signal, as well as acoustic background information. To analyze a specific aspect of the sound regardless of the other aspects, analysis methods have to be applied to a specific time scale (length) of the signal in which this aspect stands out of the rest. For example, linguistic information (i.e., which phone or syllable has been uttered?) is found in very short time spans of only milliseconds of length. On the contrary, speakerspecific information emerges the better the longer the analyzed sound is. Long utterances, however, are not always available for analysis. Second, the speech signal is easily corrupted by background sound sources (noise, such as music or sound effects). Their characteristics tend to dominate a voice model, if present, such that model comparison might then be mainly due to background features instead of speaker characteristics. Current automatic speaker recognition works well under relatively constrained circumstances, such as studio recordings, or when prior knowledge on the number and identity of occurring speakers is available. Under more adverse conditions, such as in feature films or amateur material on the web, the achieved speaker recognition scores drop below a rate that is acceptable for an end user or for further processing. For example, the typical speaker turn duration of only one second and the sound effect background in cinematic movies render most current automatic analysis techniques useless. In this thesis, methods for voice modeling that are robust with respect to short utterances and background noise are presented. The aim is to facilitate movie analysis with respect to occurring speakers. Therefore, algorithmic improvements are suggested that (a) improve the modeling of very short utterances, (b) facilitate voice model building even in the case of severe background noise and (c) allow for efficient voice model comparison to support the indexing of large multimedia archives. The proposed methods improve the state of the art in terms of recognition rate and computational efficiency. Going beyond selective algorithmic improvements, subsequent chapters also investigate the question of what is lacking in principle in current voice modeling methods. By reporting on a study with human probands, it is shown that the exclusion of time coherence information from a voice model induces an artificial upper bound on the recognition accuracy of automatic analysis methods. A proof-of-concept implementation confirms the usefulness of exploiting this kind of information by halving the error rate. This result questions the general speaker modeling paradigm of the last two decades and presents a promising new way. The approach taken to arrive at the previous results is based on a novel methodology of algorithm design and development called “eidetic design". It uses a human-in-the-loop technique that analyses existing algorithms in terms of their abstract intermediate results. The aim is to detect flaws or failures in them intuitively and to suggest solutions. The intermediate results often consist of large matrices of numbers whose meaning is not clear to a human observer. Therefore, the core of the approach is to transform them to a suitable domain of perception (such as, e.g., the auditory domain of speech sounds in case of speech feature vectors) where their content, meaning and flaws are intuitively clear to the human designer. This methodology is formalized, and the corresponding workflow is explicated by several use cases. Finally, the use of the proposed methods in video analysis and retrieval are presented. This shows the applicability of the developed methods and the companying software library sclib by means of improved results using a multimodal analysis approach. The sclib´s source code is available to the public upon request to the author. A summary of the contributions together with an outlook to short- and long-term future work concludes this thesis.