Detection and transcription of OOV words

This thesis deals with the problem of Out-Of-Vocabulary words in speech recognition. The standard response of speech recognition systems whenever they encounter such OOV words is to (silently) misrecognize them without issuing any warning to the user. In order to avoid this undesired behaviour, two di erent strategies are proposed. The rst strategy consists in preventing the problem, i.e. the occurrence of OOV words, and this thesis presents two ways of doing that. First, the system vocabulary is optimized using information extracted from other corpora and application domains, such that the number of expected OOV words be minimized. Using this method, the vocabulary coverage was signi cantly improved, especially for small vocabularies. The second method of reducing the number of OOV words consists of rede ning the concept of \word" based on morphological considerations. In particular, compound words are decomposed into their constituent parts, which are used as the lexical recognition units, and then the parts are rejoined to compounds. These units reduce the vocabulary size as well as the OOV rate, and improve the recognition performance at the same time. The second strategy consists in adapting the system to the occurrence of OOV words. This is done by incorporating explicit knowledge of OOV words into the system models. The acoustic model is complemented with additional garbage models for OOV words. The language model is especially tuned to detecting OOV words. When OOV words occur in the language-model training material, the context of OOV words can be explicitly modeled, and the system accuracy can be signi cantly improved by using models for OOV words. When all words in the training are included in the vocabulary, however, OOV words will not occur in the training material. In order to be able to train a language model for OOV words in this situation, we introduced a method dubbed iterative substitution, which simulates the occurrence of OOV words in the languagemodel training material. This method also produced positive experimental results. The next step after identifying OOV words as such is to identify new words which occur more than once. For this, the recognition system has to update its models to incorporate the new words in question, and a phonetic transcription of the new words has to be found. A method dubbed the cheap transcription algorithm is presented, which uses information extracted directly from the word-based search to compute the phonetic transcription. Since the phonetic representation of the input is available as a by-product of the recognition, little additional computation is required for the phonetic transcription. Experiments showed that the phonetic transcriptions obtained using the cheap transcription algorithm are almost as accurate as those obtained with a phoneme recognizer at a much higher cost. v Zusammenfassung Diese Dissertation beschaftigt sich mit dem Problem unbekannter Worter bei der Spracherkennung. Wenn unbekannte Worter in ein Spracherkennungssystem eingegeben werden, werden diese vom System (stillschweigend) mi erkannt. Hier werden zwei Strategien vorgeschlagen, um dieses unangenehme Systemverhalten zu vermeiden. Die erste Strategie ist eine Vermeidungsstrategie. Zwei Methoden werden eingef uhrt, deren Ziel es ist, die zu erwartende OOV-Rate zu minimieren. Bei der ersten Methode werden Informationen aus fremden Korpora und Anwendungsdomanen zur Vokabularoptimierung benutzt. Diese Methode konnte die Vokabularabdeckung signi kant verbessern. Bei der zweiten Methode wird das Konzept von \Wortern" umde niert und morphologische Aspekte werden mitbetrachtet. Hierbei werden Konstituenten anstelle von Ganzwortern als lexikalische Einheit verwendet, die nach der Erkennung wieder zu Ganzwortern zusammengefasst werden. Diese Methode f uhrt zu einer Reduktion der OOV-Rate bei gleichzeitiger Verringerung des Vokabulars sowie zu einer Verbesserung der Erkennungsrate. Die zweite Strategie ist eine Losungsstrategie, wobei das System auf das Auftreten von unbekannten Wortern getrimmt wird. Dieses wird durch Addieren von Wissen  uber unbekannte Worter in die Systemmodelle gewahrleistet. In das akustische Modell werden sogenannte Mullmodelle eingef ugt. Beim Sprachmodell wird der Kontext von unbekannten Wortern explizit modelliert. Wenn das Trainingsmaterial unbekannte Worter enthalt, kann deren Kontext beim Training direkt modelliert werden und das Systemverhalten wird dadurch signi kant verbessert. Wenn das Trainingsmaterial keine unbekannten Worter enthalt, ist eine explizite Modellierung nicht moglich. Um ein Sprachmodell f ur unbekannte Worter trotzdem trainieren zu konnen, wurde die Methode der iterativen Substitution entwickelt, die das Vorkommen von unbekannten Wortern im Trainingsmaterial simuliert. Iterative Substitution zeigte positive experimentelle Ergebnisse. Nach der Detektion ist es w unschenswert, da neue Worter dem Systemvokabular hinzugef ugt werden, damit sie bei wiederholtem Vorkommen wiedererkannt werden konnen. Daf ur m ussen die Systemmodelle aktualisiert werden, und eine phonetische Transkription der neuen Worter ist notwendig. Der Cheap Transcription Algorithm wurde zu diesem Zweck entwickelt. Dabei werden Informationen vom normalen (Wort-) Erkennungsprozess extrahiert, um eine phonetische Transkription zu erzeugen. Da die phonetische Transkription als "Abfallprodukt" der Erkennung entsteht, wird sehr wenig zusatzlicher Rechenaufwand daf ur benotigt. Dabei sind die Transkriptionen fast ebenso genau wie diejenigen eines Phonemerkenners. vii