Spoken document retrieval based on phoneme recognition

Recently, vast amounts of audio and video material containing spoken information have become available in digital format, for example radio news recordings. Along with this development there is an increased demand to retrieve spoken information in response to a user's information need. This thesis addresses the problem of spoken document retrieval (SDR). A particular goal is to perform experimental studies on documents spoken in German. The approach taken by this thesis requires a phoneme recognizer, which initially generates phoneme sequences from the spoken documents. The main issues of phoneme-recognition{based SDR are (1) missing word boundaries in the phoneme sequences and (2) the high number of phoneme recognition errors, requiring an error-tolerant method to detect query words. We present Probabilistic String Matching (PSM); a new retrieval method where query words are spotted in document phoneme sequences that are corrupted by recognition errors. This method includes the detection of slots to given query words, the estimation of occurrence probabilities for such slots, and the calculation of retrieval scores for all documents using appropriate weighting functions. We develop various slot-detection and probability-estimation methods and verify their error-tolerant properties by word-spotting experiments. In the weighting function, each detected slot with its attached probability is interpreted as a fuzzy occurrence of the currently searched query word. Further, we successfully integrate a new weighting method that takes into account the length of query words. The PSM method can also be applied in other retrieval tasks operating on corrupted and continuous sequences, for example on OCR texts from scanned text material. We evaluate the retrieval e ectiveness of Probabilistic String Matching on a test collection containing more than 9 hours of documents spoken in German. The main result found in this thesis is that Probabilistic String Matching consistently outperforms comparable phoneme N-gram retrieval methods with considerable improvements. Compared with text retrieval, the e ectiveness of the best PSM method was found to decrease by 43% in terms of average precision. However, this result is based on a very poor phoneme recognizer with a 59% phoneme error rate and a word-spotting gure of merit of only 20%. We also study user interface issues for SDR. We describe the main elements of a suitable SDR user interface and present two prototype implementations of an audio and a video retrieval system. Finally, we introduce a new ranking principle for distributed multimedia documents. We show how this ranking principle can be satis ed, and we describe its relationship to Robertson's probability ranking principle. vii Zusammenfassung In letzter Zeit sind riesige Mengen von digitalem Audiound Video-Material mit gesprochenen Informationen verf ugbar geworden, zum Beispiel Radionachrichten. Mit dieser Entwicklung ist auch die Forderung entstanden, gesprochene Informationen zu einem gegebenen Informationsbed urfnis zu nden. Diese Arbeit befasst sich mit der Informationssuche in gesprochenen Dokumenten. Ein besonderes Ziel dabei sind experimentelle Studien mit Dokumenten, die in Deutsch gesprochen sind. Der in dieser Arbeit gew ahlte Ansatz benotigt einen Phonem-Erkenner, welcher vorerst aus den gesprochenen Dokumenten Phonem-Sequenzen erzeugt. Die Hauptprobleme bei phonem-basierter Informationssuche sind (1) fehlende Wortgrenzen in den Phonem-Sequenzen und (2) die hohe Anzahl von Erkennungsfehlern, was eine fehlertolerante Methode zur Lokalisierung von Anfragew ortern erfordert. Wir stellen Probabilistisches String Matching (PSM) vor; eine neue RetrievalMethode, bei welcher Anfragew orter in durch Erkennungsfehler korrumpierten Phonem-Sequenzen gesucht werden. Die PSM Methode umfasst die Lokalisierung von sogenannten Slots zu gegebenen Anfragew ortern, die Schatzung von Auftretenswahrscheinlichkeiten f ur Slots, und die Berechnung von Relevanzwerten f ur die Dokumente mittels geeigneter Gewichtungsfunktionen. Wir entwickeln mehrere Methoden f ur die Slot-Erkennung und die Schatzung von Auftretenswahrscheinlichkeiten, und wir veri zieren ihre fehlertoleranten Eigenschaften mit Experimenten zur Wort-Lokalisierung. In der Gewichtungsfunktion wird ein lokalisierter \Slot" mit der dazugeh origen Wahrscheinlichkeit als ein \fuzzy" Auftreten des gesuchten Anfragewortes aufgefasst. Im weiteren integrieren wir eine neue Gewichtungsmethode, welche die Lange der Anfragew orter miteinbezieht. Die PSM Methode kann auch f ur andere Retrieval-Probleme verwendet werden, zum Beispiel f ur OCR-Texte aus gescanntem Text-Material. Wir ermitteln die Retrieval-E ektivitat der PSM Methode auf einer Testkollektion von Dokumenten, die in Deutsch gesprochen sind. Die Kollektion umfasst mehr als 9 Stunden Sprache. Als Hauptresultat dieser Arbeit zeigen wir, dass die PSM Methode signi kant bessere Resultate erzielt als eine vergleichbare Methode, die auf Phonem N-Grammen basiert. Gegen uber dem Retrieval auf Texten sinkt die Retrieval-E ektivitat der PSM Methode um 43%. Allerdings basiert dieses Resultat auf einem sehr unzuverlassigen Phonem-Erkenner, welcher mit einer PhonemFehlerrate von 59% arbeitet. Im weiteren untersuchen wir Benutzerschnittstellen von Retrieval-Systemen f ur gesprochene Dokumente. Wir beschreiben die Hauptelemente von geeigneten Benutzerschnittstellen und stellen zwei Prototyp-Implementationen f ur ein Audiound ein Video-Retrieval-System vor. Schliesslich f uhren wir ein neues Rangierungspriix x