Netze in der automatischen Spracherkennung-ein Paradigmenwechsel ? Neural Networks in Automatic Speech Recognition-a Paradigm Change ?

In der automatischen Spracherkennung, wie dem maschinellen Lernen allgemein, werden die Strukturen der zugehörigen stochastischen Modellierung heute mehr und mehr auf unterschiedliche Formen künstlicher neuronaler Netze umgestellt. Dieser Erneuerungsprozess, der schon vor nahezu 30 Jahren begann, führte in den vergangenen 10 Jahren zu erheblichen Verbesserungen in der Erkennungsgenauigkeit. Sowohl in der akustischen Modellierung von Sprache, als auch der a-priori Modellierung von Sprache auf der Textebene markieren künstliche neuronale Netze heute den Stand der Technik in der Spracherkennung für großes Vokabular, und weitere Verbesserungen werden erwartet. Diese Arbeit gibt einen Überblick über den aktuellen Stand der Forschung im Bereich der auf künstlichen neuronalen Netzen basierenden Modellierung von Systemen zur automatischen Spracherkennung. Dies beinhaltet Diskussionen zu den folgenden Themen: neuronale Netzwerktopologien und Zelltypen, Training und Optimierung, Auswahl der Eingabemerkmale, Adaption und Normalisierung, Multifunktionstraining, sowie neuronale Netzmodellierung statistischer Sprachmodelle. Ungeachtet der deutlichen Fortschritte in der Spracherkennung mittels neuronaler Netze, bleiben jedoch weiterhin viele offene Fragen zu klären, bevor eine vollständig konstistente und eigenständige Modellierung durch neuronale Netze in der Spracherkennung erreicht wird. Diese Arbeit schliesst mit einer Diskussion offener Probleme sowie potentieller zukünftiger Forschungsrichtungen, insbesondere bzgl. der Integration neuronaler Netze in den Entscheidungsprozess der automatischen Spracherkennung. Diese Arbeit ist eine Überarbeitung eines auf der SPECOM 2016 präsentierten Übersichtsartikels [Schlüter & Doetsch 2016]. In automatic speech recognition (ASR), as in general in the area of machine learning, the structures of the corresponding stochastic modeling more and more are changing to various forms of neural networks. This process of renewal that started about 30 years ago, lead to considerable improvements in recognition performance in the past 10 years. Both in acoustic modeling of speech, as well as the a priori language modeling on textual level, artificial neural network based modeling now marks the stateof-the-art for large vocabulary continuous speech recognition, and further improvements are to be expected. This work gives an overview of current research activities in neural network based modeling for automatic speech recognition systems. This includes discussions of network topologies and cell types, training and optimization, choice of input features, adaptation and normalization, multitask training, as well as neural network based statistical language modeling. Despite the clear progress obtained with neural network modeling in speech recognition, many questions remain to be investigated, yet to obtain a consistent and self-contained neural network based modeling approach that ties in with the former state-of-the-art. We will conclude by a discussion of open problems as well as potential future directions, especially w.r. t. to the integration of neural networks into automatic speech recognition decision process. This work is a revised version of a review article presented at SPECOM 2016 [Schlüter & Doetsch 2016].