METHOD OF DETERMINING THE EXCITATION CONDITION OF A SPEECH SEGMENT WITH AN APPLICATION TO AUTOMATIC SPEECH RECOGNITION

Abstract: 1. A method of excitation analysis for automatic speech recognition, wherein a signal parameter extraction from the speech signal which is to be recognised is carried out in a first extraction stage of a recognition system, and a feature specification and classification of the obtained features by comparison of predetermined features of the vocabulary of the recognition system are carried out and in a second extraction stage of the recognition system, and to specify the excitation state, namely either "voiced" (Z1 ), "unvoiced" (Z2 ) or "pause" (Z3 ) in the second extraction stage of the recognition system, selected parameters are obtained in the first excitation stage, namely the parameter for the nergy of the speech band (P1 ), the voicing parameter (P2 ) and the parameter for the spectral energy ratio (P3 ), characterised in that an auxiliary parameter (P4 ) for a relative energy is defined firstly from the parameter for the energy of the speech band (P1 ) and from the voicing parameter (P2 ), where the auxiliary parameter (P4 ) forms the ratio of the energy (P1 ) of the current speech signal to an intermediate value of the energy (E), which itself represents a gauge of the energy of the speech signal in voiced zones, that the parameters (P1 , P2 , P3 , P4 ) are then logic-linked in a logic-linking function unit in accordance with a predetermined logic-linking plan such that one of the three excitation states is characterised by the respective excitation state parameter (Z1 , Z2 or Z3 ), for which purpose a transformation of input signals (xi ) to output signals (yi ) of these function elements takes place prior to the logic-linking with the assistance of a specified function element, where the parameters (P1 , P2 , P3 , P4 ) function as input signals and where the output signals are the signals which are to be logic-linked, that the auxiliary parameter (P4 ) is generated by firstly comparing the voicing parameter (P2 ) with an empirically-determined constant (C1 ), that in the event that the voicing parameter (P2 ) is greater than the constant (C1 ) the intermediate value of the energy (E) is multiplied by a likewise empirically-determined further constant (C2 ) in order to form a new intermediate value (E), that the parameter for the energy (P1 ) is compared with the new intermediate value (E), that in the event that the parameter for the energy (P1 ) being greater than the new intermediate value (E) the intermediate value (E) assumes the value of the parameter for the energy (P1 ), that in the event that the parameter for the energy (P1 ) is not greater than the new intermediate value (E) the new intermediate value (E) for the energy is retained, that in the event that the voicing parameter (P2 ) is not greater than the constant (C1 ) the original intermediate value (E) for the energy remains unchanged, and that the value for the auxiliary parameter (P4 ) is specified as the difference between the valid intermediate value (E) for the energy and the parameter for the energy (P1 ).

Description: Verfahren zur Anregungsanalyse für die automatische Spracherkennunq Die vorliegende Erfindung betrifft ein Verfahren zur Anregungsanalyse für die automatische Spracherkennung, bei dem in einer ersten Extraktionsstufe eines Erkennungssystems eine Merkmalsextraktion aus dem zu erkennenden Sprachsignalabschnitt vorgenommen wird und bei dem in einer zweiten Extraktionsstufe des Erkennungssystems eine Klassifizierung der gewonnenen Merkmale durch Vergleich mit den vorgegebenen Merkmalen des Wortschatzes des Erkennungssystems durchgeführt wird. Zur Erkennung von Sprache, die in akustischer Form vorliegt, müssen geeignete Merkmale aus dem Sprachsignal extrahiert werden. Diese Merkmalsextraktion bildet die erste Stufe eines jeden Erkennungssystems. In einer zweiten Stufe, der Klassifikationsstufe, erfolgt dann der Vergleich der Merkmale des zu erkennenden Wortes mit den Merkmalen des Wortschatzes des Erkennungssystems. Wichtige Merkmale bilden den Anregungszustand, welcher vorliegt, wobei erkannt werden muss, ob ein Sprachsignalabschnitt als stimmhaft, stimmlos oder als Pause charakterisiert wird. Es sind mehrere Verfahren zur Extrakt-ion des Anregungszustandes bekannt. Diese bekannten Verfahren sind entweder sehr aufwendig und eignen sich deshalb nicht für eine Echtzeitverarbeitung, oder sie sind wenig aufwendig, jedoch ist eine korrekte Einteilung des Sprachsignals in die zugehörigen Anregungsbereiche "Stimmhaft", "Stimmlos't oder "Pause" nicht gewährleistet. Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Anregungsanalyse für die automatische Spracherkennung zu schaffen, das den Anregungszustand sicher und in Echtzeit aus dem Sprachsignal bestimmt. Die der vorliegenden Erfindung zugrundeliegende Aufgabe wird durch ein Verfahren nach dem Oberbegriff des Patentanspruchs 1 gelöst, das durch die in dem kennzeichnenden Teil des Patentanspruchs 1 angegebenen Merkmale charakterisiert ist. Vorteilhafte Weiterbildungen der Erfindung sind durch die in den Unteransprüchen angegebenen Merkmale gekennzeichnet. Im folgenden wird die Erfindung durch mehrere Figuren im einzelnen beschrieben. Fig. 1 zeigt eine schematische Darstellung eines Zweistufenprinzips für eine Anregungsparameterextraktion. Fig. 2 zeigt ein Flussdiagramm zur Bestimmung einer Relativenergie. Fig. 3 zeigt schematisch in Diagrammförm bzw. symbolisch die verschiedenen Funktionselemente zur Durchführung des erfindungsgemässen Verfahrens. Fig. 4 zeigt schematisch den Aufbau bzw. die Struktur einer Funktionseinheit zur Bestimmung des Anregungszustandes gemäss der vorliegenden Erfindung. Wie bereits erläutert, erfolgt die Extraktion der Anregungsparameter zweistufig, vgl. Fig. 1. In einer ersten Stufe werden aus dem Sprachsignal Signalparameter, aus denen in einer zweiten Stufe der Anregungszustand bestimmt wird, extrahiert. Bei den Signalparametern P1...P3 handelt es sich um in der Literatur bekannte Parameter, welche in Echtzeit beispielsweise mit einem Signalprozessor oder einer geeigneten Hardware-Schaltungsanordnung aus den Zeitabschnitten (z.B. 10 ms) des Sprachsignals ermittelt werden können. Der Signalparameter "Energie" (P1) bildet die in einem logarithmischen Massstab (z.B. in dB) gemessene Energie für einen Zeitabschnitt. Der sog. Voicing Parameter P2 berechnet sich aus der normierten Autokorrelationsfunktion des Sprachsignals oder bei Verwendung der Methode der "LPC" aus dem invers t'LPC-gefilterten" Sprachsignal. Das Energieverhältnis 23 wird als das Verhältnis der Energie des Sprachsignals in einem unteren Frequenzband (z.B. 0-2000 Hz) zu der Gesamtenergie des Sprachsignalbandes (z.B. 0-4000 Hz) definiert. Gemäss der vorliegenden Erfindung wird zur Lösung der zuvor genannten Aufgabe eine Bestimmung des Anregungszustandes Z1 bis Z3 aus den Parametern P1 bis P3 vorgenommen. Zunächst wird dazu nach dem Flussdiagramm gemäss Fig. 2 aus den Parametern P1 und P2 eine Relativenergie P4 ermittelt. Hierbei bilden die Grössen C1, C2 geeignete festzulegende Konstanten. Die Zwischengrösse E stellt ein Mass für die Energie des Sprachsignals in stimmhaften Bereichen des Sprachsignals dar. Die Stimmhaftigkeit wird anhand des Voicing-Parameters P2 getestet. Die Ausgangsgrösse P4 bildet das Verhältnis der Energie P1 des aktuellen Sprachsignalabschnittes zu der Energie E. Grundlage für die folgenden Verfahrensabschnitte bilden die in Fig. 3 dargestellten Funktionselemente, welche eine Transformation von Eingangssignalen x1 in ein Ausgangssignal yi vornehmen. Die Funktionselemente können entweder durch einen Mikroprozessor software-mässig oder durch eine geeignete Hardware-Schaltungsanordnung realisiert werden. Bei den Schwellenelementen und Bereichselementen sind die Schwellenwerte SO, S1 entsprechend der gewünschten Funktion einzustellen. In Fig. 4 ist zur Bestimmung des Anregungszustandes eine spezielle Verknüpfung der Funktionselemente gezeigt. Die eingetragenen Schwellenwerte sind nur zur Konkretisierung der angegebenen Schaltung zu verstehen. Der optimale Wert der Schwellenwerte hängt u.a. von der Bandbreite des Sprachsignals und der gewählten Skalierung der Signalparameter ab. Die Anregungszustände Z1 "Stimmhaftes", Z2 "Stimmlos", Z3 Pause nehmen Werte von 0 bis 1 an, und zwar derart, dass 1 = Z1 + Z2 T Z3 gilt. Je grösser der Wert eines Zustandes ist, um so sicherer kann einem Sprachsignalabschnitt der Zustand "Stimmhaft", "Stimmlos" oder "Pause" zugeordnet werden. Wird für die Sprachanalyse eine eindeutige Zuordnung eines Sprachsignals zu seinem betreffenden Zustand gefordert, so kann als Zustand derjenige gewählt werden, der den jeweils grössten Wert aufweist. Fig. 3 zeigt, wie bereits erläutert, schematisch in Diagrammform bzw. symbolisch die verschiedenen Funktionselemente zur Durchführung des erfindungsgemässen Verfahrens. In Fig. 3 sind mehrere unterschiedliche Funktionselemente, nämlich ein Schwellenelement mit einer Ausgangskennlinie mit einer positiven Steigung (vgl. Fig. 3, 1), ein zweites Schwellenelement mit einer Ausgangskennlinie mit negativer Steigung (vgl. Fig. 3.2), ein Bereichselement mit einer Ausgangskennlinie, die angibt, in welchem Wertebereich (beispielsweise Spannungsbereich) sich der Ausgangssignal pegel von dem unterscheidet, der sich einstellt, wenn das Eingangssignal ausserhalb des bestimmten Wertebereiches liegt (vgl. Fig. 3.3), ein Maximumelement mit n Signaleingängen und einem Signalausgang, das aus den n Eingangssignalen dasjenige mit dem maximalen Wert (beispielsweise Spannungswert) als das das Ausgangs signal bestimmende Eingangssignal identifiziert (vgl. Fig. 3.4), ein Differenz element mit mehreren Signal eingängen x1 ... n und einem Signalausgang y, das die Funktion "y = 1 - x1 - ... n erfüllt (vgl. Fig. 3.5), und ein Multiplikationselement mit zwei Signaleingängen x1 und x2 und einem Signalausgang y, das die Funktion "y = x1 . x2,: erfüllt (vgl. Fig. 3.6), gezeigt. Das Funktionselement gemäss Fig. 3.1 kann beispielsweise mittels einer Schmitt-Trigger-Schaltungsanordnung bzw. einer vergleichbaren Schaltungsanordnung oder vorzugweise software-mässig realisiert sein. Das Funktionselement ge mäss Fig. 3.2 kann auf ähnliche Weise wie dasjenige gemäss Fig. 3.1 realisiert sein. Das Funktionselement gemäss Fig. 3.3 kann ebenfalls beispielsweise mittels einer Schmitt Trigger-Schaltungsanordnung oder einer Z-Dioden-Schaltungsanordnung oder dgl. in an sich bekannter Weise oder vorzugsweise software-mässig realisiert sein.Das Funktionselement gemäss Fig. 3.4 kann beispielsweise in Form einer an sich bekannten Klemmschaltung oder vorzugsweise software-mässig realisiert sein. Das Funktionselement gemäss Fig. 3.5 kann beispielsweise mittels logischer Schaltkreiselemente oder vorzugsweise software-mässig realisiert sein. Schliesslich kann das Funktionselement gemäss Fig. 3.6 ebenfalls mittels einer logischen Schaltkreistechnik oder vorzugsweise software-mässig realisiert sein. Hardware-mässige Realisierungen sind beispielsweise in der Dissertation von Martin, Thomas "Acoustic Recognition of a limited Vocabulary in continuous Speech", University of Pensilvania, USA, beschrieben. Wie bereits erläutert, zeigt Fig. 4 schematisch den Aufbau bzw. die Struktur einer Funktionseinheit zur Bestimmung des Anregungszustandes gemäss der vorliegenden Erfindung. Die in Fig. 4 gezeigte Funktionseinheit F stellt jedoch nur ein bevorzugtes Ausführungsbeispiel für die Realisierung einer derartigen Funktionseinheit dar. Selbstverständlich können gemäss der Aufgabenstellung andere Verknüpfungsstrukturen verwendet werden. Die Funktionseinheit F weist gemäss dem gezeigten Ausführungsbeispiel eine Vielzahl von verschiedenen Funktionselementen, wie sie in Fig. 3 gezeigt sind, an ihrer Eingangsseite auf. Einem ersten Funktionselement 1, das ein Schwellenelement mit negativer Steigung ist, wird der Hilfsparameter P4 zugeführt. Einem zweiten Funktionselement 2, das ein Schwellenelement mit positiver Steigung ist, wird der Voicing-Parameter P2 zugeführt. Einem dritten Funktionselement 3, das ein Schwellenelement mit negativer Steigung ist, wird der Hilfsparameter P4 zugeführt. Einem vierten Funktionselement 4, das ein Schwellenelement mit positiver Steigung ist, wird der Parameter P3 für das spektrale Energieverhältnis zugeführt. Einem fünften Funktionselement 5, das ein Bereichselement ist, wird der Hilfsparameter P4 zugeführt. Einem sechsten Funktionselement 6, das ein Schwellenelement mit negativer Steigung ist, wird der Parameter P3 für das spektrale Energieverhältnis zugeführt. Einem siebten Funktionselement 7, das ein Schwellenelement mit negativer Steigung ist, wird der Voicing-Parameter P2 zugeführt. Einem achten Funktionselement 8, das ein Schwellenelement mit positiver Steigung ist, wird der Hilfsparameter P4 zugeführt. Einem neunten Funktionselement 9, das ebenfalls ein Schwellenelement mit positiver Steigung ist, wird der Parameter P3 für das spektrale Energieverhältnis zugeführt. Schliesslich wird einem zehnten Funktionselement 10, das ein Bereichselement ist, der Hilfsparameter P4 zugeführt. Die Ausgangssignale der auf der Eingangsseite der Funktionseinheit F angeordneten Funktionselemente 1 .... 10 werden, wie im folgenden beschrieben, miteinander verknüpft. Die Ausgangssignale des ersten Funktionselements 1 und des zweiten Funktionselementes 2 werden mittels eines Multiplikationselements 11 verknüpft bzw. multipliziert. Die Ausgangssignale des vierten bzw. fünften Funktionselementes 4 bzw. 5 werden ebenfalls mittels eines Multiplikationselements 12 miteinander verknüpft bzw. multipliziert. Das Ausgangssignal des sechsten Funktionselements 6 wird mittels eines weiteren Multiplikationselements 13 mit einem Faktor 0.5 multipliziert. Das Ausgangssignal des siebten Funktionselements 7 wird mittels eines weiteren Multiplikationselements 14 ebenfalls mit einem Faktor 0.5 multipliziert. Schliesslich werden die Ausgangssignale des neunten Funktionselements 9 und des zehnten Funktionselements 10 mittels eines weiteren Multiplikationselements 16 miteinander verknüpft bzw. multipliziert. Das Ausgangssignal des Multiplikationselements 11, das Ausgangssignal des Funktionselements 3 und das Ausgangssignal des Multiplikationselements 12 werden jeweils an getrennte Signaleingänge eines Maximumelements 17 geführt. Das Ausgangssignal des Multiplikationselements 13 und das Ausgangssignal des Multiplikationselements 14 werden mittels eines Addierers 15 addiert, und das Ausgangssignal dieses Addierers 15 dient als Eingangssignal für ein Differenzelement (1-x) 18. Das Ausgangssignal des achten Funktionselements 8 und das Ausgangssignal des Multiplikationselements 16 werden jeweils auf getrennte Signal eingänge eines weiteren Maximumelements 19 geführt. Das Ausgangssignal des ersten Maximumelements 17 und das Ausgangssignal des Differenzelements 18 werden mittels eines weiteren Multiplikationselements 20 miteinander verknüpft bzw. multipliziert. Das Ausgangssignal des Multiplikationselements 20 wird einem ersten Signalausgang Z1 der Funktionseinheit F, der ein Ausgangssignal für das Kriterium "Stimmhaft't abgibt, zugeführt. Ausserdem wird das Ausgangssignal des Multiplikatioselements 20 einem Signaleingang eines weiteren Differenzelements (1-x) 22 sowie dem Signaleingang eines anderen Differenzelements (1-Z1-Z2) 23 zugeführt. Das Ausgangssignal des zweiten Maximumelements 19 wird mittels eines weiteren Multiplikationselements 21 mit dem Ausgangssignal des Differenzelements (1-x) 22 verknüpft bzw. multipliziert. Das Ausgangssignal dieses Multiplikationselements wird zum einen einem zweiten Signalausgang der Funktionseinheit E, nämlich einem Signalausgang Z2 für ein Signal, das dem Kriterium '?Stimmlos" entspricht, sowie zum anderen einem zweiten Signaleingang des Differenzsignals (1-Z1-Z2) des Differenzelements 23 zugeführt. Das Ausgangssignal dieses zuletzt genannten Differenzelements 23 wird schliesslich einem dritten Signalausgang der Funktionseinheit F, nämlich einem Signalausgang Z3 zugeführt, der ein Ausgangssignal für das Kriterium "Pause" abgibt. 5 Patentansprüche 4 Figuren

Claims: Patentansprüche 1. Verfahren zur Anregungsanalyse für die automatische Spracherkennung, bei dem in einer ersten Extraktionsstufe eines Erkennungssystems eine Signalparameterextraktion aus dem zu erkennenden Sprachsignal vorgenommen wird und bei dem in einer zweiten Extraktionsstufe des Erkennungssystems eine Merkmalsbestimmung und eine Klassifizierung mit denn gewonnenen Merkmalen durch Vergleich mit den vorgegebenen Merkmalen des Wortschatzes des Erkennungssystems durchgeführt wird, dadurch g e k e n n z e i c h n e t dass zur Bestimmung des Anregungszustandes, nämlich entweder "Stimmhaft" (Z1), "Stimmlos" (Z2) oder Pause" (Z-) in der zweiten Extraktionsstufe des Erkennungssystems aus der ersten Extraktionsstufe gewonnene Parameter, nämlich der Parameter für die Energie des Sprachbandes (P1), der Voicing-Parameter (P2) und der Parameter für das spektra- le Energieverhältnis (P3), derart herangezogen werden, dass zunächst aus dem Parameter für die Energie des Sprachbandes (P1) und dem Voicing-Parameter (P2) ein Hilfsparameter (P4) für eine Relativenergie bestimmt wird, wobei der Hilfsparameter (P4) das Verhältnis der Energie (P1) des aktuellen Sprachsignals zu einer Zwischengrösse der Energie E, die ihrerseits ein Mass für die Energie des Sprachsi- gnals in stimmhaften Bereichen darstellt, bildet, und dass anschliessend die Parameter (P1, P2, P3, P4) in einer Verknüpfungsfunktionseinheit nach einem vorbestimmten Verknüpfungsschema derart verknüpft werden, dass einer der drei Anregungszustände durch den betreffenden Anregungszustands-Parameter (Z1, Z2 oder Z3) gekennzeichnet wird, wozu vor der Verknüpfung mit Hilfe festgelegter Funktionselemente eine Transformation von Eingangssignalen (xi) in Ausgangssignale (y1) dieser Funktionselemente durchgeführt wird, wobei als Eingangssignale die Parameter (P1, P2, P3, P4) fungieren und wobei die Ausgangssignale die zu verknüpfenden Signale sind. 2. Verfahren nach Anspruch 1, dadurch g e k e n nz e i c h n e t , dass zur Erzeugung des Hilfsparameters (P4) zunächst der Voicing-Parameter (P2) mit einer empirisch ermittelten Konstanten (C1) verglichen wird, dass für den Fall, dass der Voicing-Parameter (P2) grösser als die Konstante (C1) ist, eine Multiplikation der Zwischengrösse der Energie (E) mit einer ebenfalls empirisch ermittelten weiteren Konstanten (C2) zur Gewinnung einer neuen Zwischengrösse (E) durchgeführt wird, dass der Parameter für die Energie (P1) mit der neuen Zwischengrösse (E) verglichen wird, dass für den Fall, dass der Parameter für die Energie (P1) grösser als die neue Zwischengrösse (E) ist, die Zwischengrösse (E) den Wert des Parameters für die Energie (P1) annimmt, dass für den Fall, dass der Parameter für die Energie (P1) nicht grösser als die neue Zwischengrösse (E) ist, die neue Zwischengrösse (E) für die Energie erhalten bleibt, dass für den Fall, dass der Voicing-Parameter (P2) nicht grösser als die Konstante (C1) ist, die ursprüngliche Zwischengrösse (E) für die Energie unver ändert bleibt und dass der Wert für den Hilfsparameter (P4) als die Differenz zwischen der geltenden Zwischengrösse (E) für die Energie und dem Parameter für die Energie (P1) festgelegt wird. 3. Verfahren nach Anspruch 1, dadurch g e k e n nz e i c h n e t , dass die Funktionselemente durch einen Prozessor, vorzugsweise einen Mikroprozessor, softwaremässig realisiert sind. 4. Verfahren nach Anspruch 1, dadurch g e k e n nz e i c h n e t , dass Funktionselemente durch eine Hardware-Schaltungsanordnung realisiert sind. 5.Verfahren nach Anspruch 1, dadurch g e k e n nz e i c h n e t , dass zum Zwecke einer eindeutigen Zuordnung eines Sprachsignals zu seinem betreffenden Zustand derjenige Zustand ausgewählt wird, für den der jeweils höchste Signalwert ermittelt worden ist.

Inventors: HOGE, HARALD, DR., Höge, Harald, Dr.
Applicants: SIEMENS AKTIENGESELLSCHAFT BERLIN UND MUNCHEN
Application year: 1984
Main classification: G10L5
IPC codes: G10L11, G10L15