Adapting a pronunciation dictionary to Standard South African English for automatic speech recognition

Die uitspraakwoordeboek is a belangrike inligtingsbron wat benodig word gedurende die ontwikkeling van ’n outomatiese spraakherkenningstelsel (ASR stelsel). In die tesis pas ons ’n Britse Engels uitspraakwoordeboek aan na Standaard Suid-Afrikaanse Engels (SSAE) as ’n gevallestudie in dialekaanpassing. Ons ondersoek neem ons in drie verskillende rigtings: woordeboekkontrole, foneemoortolligheidsberekening en foneemaanpassing. ’n Uitspraakwoordeboek behoort getoets te word vir juisheid voordat dit in eksperimente of ander toepassings gebruik word. Die proses om ’n mens in diens te neem om ’n volledige uitspraakwoordeboek te kontroleer is toegeeflik en kan nie altyd geakkommodeer word nie. In ons woordeboekkontrole navorsing probeer ons om die mannekrag te verminder wat benodig word om uitspraakwoordeboeke te kontroleer deur outomatiese en halfoutomatiese tegnieke te implementeer wat inskrywings wat moontlik foutief is te vind en isoleer. Ons identifiseer nuwe tegnieke wat foute doeltreffend identifiseer, en wend hulle dan aan op ’n publieke domein Britse Engels uitspraakwoordeboek. Die ondersoek van foneemoortolligheid verg die oorweging van die moontlikheid dat nie alle foneemonderskydings nodig is in SSAE nie, sowel as die ondersoek van verskillende metodes om die onderskydings te ontleed. Die metodes wat ondersoek word sluit beide dataen kennisgedrewe uitspraak voorstelle in vir ’n uitspraakwoordeboek wat in outomatiese spraakherkenning gebruik word. Hierdie ondersoek gee ’n dieper taalkundige insig in die uitspraak van foneme in SSAE. Laasteliks kyk ons na foneemaanpassing deur die KIT foneme tussen twee dialekte van Engels aan te pas deur twee stelle aanpassingsreels te implementeer. Aanpassingsreels word in die letterkunde bekom maar word ook formuleer na ’n ondersoek van die taalkundige waarnemings in die data. Ons voorspellings is 93% akkuraat, wat aansienlik hoer is as die 71% wat behaalbaar is deur die implementering van reels wat voorheen geidentifiseer is. Die aanpassing van ’n Britse uitspraakwoordeboek na SSAE was die finale stap in die ontwikkeling van ’n SSAE uitspraakwoordeboek, wat die doel van die tesis is. ’n Outomatiese spraakherkenningstelsel was ook ontwikkel met die woordeboek en dit het ’n ongedwonge foneemakkuraatheid van 79.7%. ABSTRACT The pronunciation dictionary is a key resource required during the development of an automatic speech recognition (ASR) system. In this thesis, we adapt a British English pronunciation dictionary to Standard South African English (SSAE), as a case study in dialect adaptation. Our investigation leads us in three different directions: dictionary verification, phoneme redundancy evaluation and phoneme adaptation. A pronunciation dictionary should be verified for correctness before its implementation in experiments or applications. However, employing a human to verify a full pronunciation dictionary is an indulgent process which cannot always be accommodated. In our dictionary verification research we attempt to reduce the human effort required in the verification of a pronunciation dictionary by implementing automatic and semi-automatic techniques that find and isolate possible erroneous entries in the dictionary. We identify a number of new techniques that are very efficient in identifying errors, and apply them to a public domain British English pronunciation dictionary. Investigating phoneme redundancy involves looking into the possibility that not all phoneme distinctions are required in SSAE, and investigating different methods of analysing these distinctions. The methods that are investigated include both data driven and knowledge based pronunciation suggestions for a pronunciation dictionary used in an automatic speech recognition (ASR) system. This investigation facilitates a deeper linguistic insight into the pronunciation of phonemes in SSAE. Finally, we investigate phoneme adaptation by adapting the KIT phoneme between two dialects of English through the implementation of a set of adaptation rules. Adaptation rules are extracted from literature but also formulated through an investigation of the linguistic phenomena in the data. We achieve a 93% predictive accuracy, which is significantly higher than the 71 % achievable through the implementation of previously identified rules. The adaptation of a British pronunciation dictionary to SSAE represents the final step of developing a SSAE pronunciation dictionary, which is the aim of this thesis. In addition, an ASR system utilising the dictionary is developed, achieving an unconstrained phoneme accuracy of 79.7%.