Morphology-based language modeling for amharic

Language models are fundamental for many natural language processing applications. The most widely used type of language models are the corpus-based probabilistic ones. These models provide an estimate of the probability of a word sequence W based on training data. Therefore, large amounts of training data are required in order to ensure statistical significance. But even if the training data are very large, it is impossible to avoid the problems of data sparseness and out-of-vocabulary (OOV) words. These problems are particularly serious for languages with a rich morphology, which are characterized with high vocabulary growth rate and a correspondingly high perplexity of their language models. Since the vocabulary size directly affects system complexity, a promising direction is towards the use of sub-word units in language modeling. This study explored different ways of language modeling for Amharic, a morphologically rich Semitic language, using morphemes as units. Morpheme-based language models have been trained on automatically and manually segmented data using the SRI Language Modeling toolkit (SRILM). The quality of these models has been assessed in terms of perplexity, the probability they assign to the test set, and the improvement in word recognition accuracy obtained as a result of using them in a speech recognition task. The results show that the morpheme-based language models trained on manually segmented data always have a higher quality. A comparison with word-based models reveals that the word-based models fared better in terms of the probability they assigned to the test set. In terms of word recognition accuracy, however, interpolated (morpheme- and word-based) models achieved the best results. In addition, the morpheme-based models reduced the OOV rate considerably. Since using morpheme-based language models in a lattice rescoring framework does not solve the OOV problem, speech recognition experiments in which morphemes are used as dictionary entries and language modeling units have been conducted. The use of morphemes highly reduced the OOV rate and consequently boosted the word recognition accuracy of the 5k vocabulary morpheme-based speech recognition system. However, as morpheme-based recognition systems suffer from acoustic confusability and limited n-gram language model scope, their performance with a larger morph vocabulary was not as expected. When morphemes are used as units in language modeling, word-level dependencies might be lost. As a solution to this problem we have investigated root-based language models in the framework of factored language modeling. Although this produced far better test set probabilities, the much weaker predictions of a root-based model resulted in a loss in word recognition accuracy. In addition to the morpheme-based language models, several factored language models that integrate morphological information into word based models have also been developed. The results show that integrating morphological information leads to better models. In summary, the study showed that using morphemes in modeling morphologically rich languages is advantageous, especially in reducing the OOV rate. This, consequently, improves word recognition accuracy of small vocabulary morpheme-based speech recognition systems. Moreover, using morpheme-based language models as a complementary tool to the word-based models is fruitful. The study has also confirmed that the best way of evaluating a language model is by applying it to the application for which it was intended. Currently, this is the only way to reliably determine the actual contribution of the model to the performance of the target application. Sprachmodelle sind eine wichtige Grundlagen fur viele Anwendungen der Verarbeitung naturlicher Sprache. Am weitesten verbreitet sind hierbei die korpus-basierten probabilistischen Ansatze. Diese Modelle erlauben es, die Wahrscheinlichkeit einer Wortsequenz W auf der Grundlage von Trainingsdaten abzuschatzen. Dazu werden grose Mengen an Trainingsdaten benotigt, um die statistische Signifikanz sicherzustellen. Allerdings lasst sich auch beim Vorhandensein sehr groser Datenmengen das Problem der Datenknappheit und der lexikalischen Unvollstandigkeit (out-of-vocabulary, OOV) nicht vollstandig vermeiden. Diese Probleme sind besonders gravierend fur Sprachen mit einer reichhaltigen Morphologie, in denen der Wortschatz stark anwachst und zu Sprachmodellen mit hoher Perplexitat fuhrt. Da die Grose des Lexikons nicht beliebig gesteigert werden kann, besteht ein vielversprechender Ansatz in der Verwendung von Wortbestandteilen. Diese Arbeit hat sich das Ziel gestellt, einen optimalen Weg zur Modellierung der amharischen Sprache, einer morphologisch reichhaltigen semitischen Sprache, zu finden, wobei als Wortuntereinheiten Morpheme verwendet werden. Mit Hilfe des SRI Language Modeling toolkit (SRILM) wurde eine Reihe morphem-basierter Sprachmodelle sowohl auf automatisch als auch auf manuell segmentierten Korpusdaten trainiert. Der Vergleich dieser Modelle erfolgt hinsichtlich ihrer Perplexitat, der fur eine Testdatenmenge geschatzten Wahrscheinlichkeit, sowie der Steigerung der Worterkennungsrate, die sich durch ihre Verwendung in einem Spracherkenner erzielen lasst. Die automatisierte Ermittlung der Wortsegmentierung erfolgt mit Hilfe einer unuberwacht trainierten, korpus-basierten morphologischen Analyse (Morfessor). Die Resultate zeigen jedoch, dass die Sprachmodelle auf der Basis manuell segmentierter Daten generell besser sind. Die morphem-basierten Sprachmodelle wurden auch mit wort-basierten Modellen verglichen. Dabei zeigt sich, dass die wort-basierten Modelle hinsichtlich der Testdatenwahrscheinlichkeit besser abschneiden. Im Hinblick auf die Gemauigkeit der Spracherkennung ergeben jedoch interpolierte (morphem- und wort-basierten) Modelle die besten Ergebnisse durch Neubewertung von Worthypothesegraphen. Daruberhinaus waren die morphem-basierten Models in der Lage, die OOV-Rate drastisch zu reduzieren. Da sich durch die Verwendung morphem-basierter Sprachmodelle zur Neubewertung von Worthypothesegraphen das OOV-Problem nicht losen lasst, wurden auch Experimente mit einem Spracherkennungssystem durchgefuhrt, das die Morpheme direkt als Worterbucheintragung und als Basiseinheit zur Sprachmodellierung verwendet. Dabei wurde durch die Verwendung der Morphemes die OOV-Rate erheblich reduziert und die Morphemerkennungsrate auf den 5k Evaluationsdaten deutlich gesteigert. Allerdings bringen morphem-basierte Erkenner auch eine hohere akustische Verwechselbarkeit der Erkennungseinheiten, sowie eine Reduktion der effektiven Reichweite statistischer n-gramm-Modelle mit sich, sodass die Qualitat bei groseren Morphinventaren unter den Erwartungen blieb. Wenn Morpheme als Basiseinheiten zur Sprachmodellierung verwendet werden, konnen Abhangigkeiten auf der Wortebene verloren gehen. Als Losung fur dieses Problem wurden Modelle auf der Basis der Wortwurzel (root) im Rahmen von faktorisierten Sprachmodellen untersucht. Zwar ergeben sich auf dieser Modellierungsgrundlage erheblich bessere Werte fur die Testdatenwahrscheinlichkeit, wegen der schwacheren Vorhersagekraft konnte eine Verbesserung der Worterkennungsrate aber nicht erreicht werden. Zusatzlich zu den rein morphem-basierten Sprachmodellen wurden verschiedene faktorisierte Sprachmodelle entwickelt, die es gestatten, wort-basierte Modelle durch unterschiedliche morphologische Information anzureichern. Die Ergebnisse zeigen, dass die Verwendung solcher zusatzlicher Pradiktoren zu qualitativ besseren Modellen fuhrt. Mit der Arbeit konnte gezeigt werden, dass die Verwendung von Morphemen zur Modellierung morphologisch reichhaltiger Sprachen vorteilhaft ist und insbesondere zu einer Reduktion der OOV-Rate fuhrt. In der Folge ergeben sich auch verbesserte Werte fur die Worterkennungsrate von Spracherkennungssystemen mit kleinem Morpheminventar. Es hat sich herausgestellt, dass die Verwendung morphem-basierter Sprachmodelle als Zusatzkomponente in wort-basierten Modellen nutzbringend ist. Die Arbeit hat auch bestatigt, dass die Evaluation von Sprachmodellen stets durch Einbettung in diejenigen Anwendung erfolgen sollte fur die es entwickelt wurde. Nur so kann derzeit zuverlassig ermittelt werden, ob das Modell tatsachlich eine Verbesserung erbringt.