(57)【特許請求の範囲】
【請求項１】
入力音声を分析の単位であるフレーム毎に分析し、特徴パラメータを得る音声分析部と、「認識の基本単位」である音素または音節の特徴を表わす標準パターンを格納する標準パターン格納部と、前記特徴パラメータと前記標準パターンとの間の類似度を前記フレーム毎に算出するフレーム類似度算出部と、「言語単位」である単語または文節の発音に関する情報を前記認識の基本単位を表す発音記号によって表記した発音情報格納部と、前記発音情報格納部に格納されている全ての前記言語単位に対する前記入力音声の任意の区間による類似度を算出してラティスを作成するスポッティング部と、認識対象となる文による前記言語単位の間の結合情報を格納する構文情報格納部と、前記ラティスから前記入力音声の任意の区間による類似度が高く、前記入力音声を推定する際に手がかりとなるキーワードを選択し、前記結合情報を参照し、前記キーワードと係り受け関係規則を満たす述語を推定し、前記ラティスの音声区間の終端に前記述語が存在するか否かを判断するキーワード推定部と、前記述語が前記終端に存在する場合に、前記結合情報を参照し、前記キーワードから前記述語までの間をつなぐ第１の言語単位と前記入力音声の先頭から前記キーワードまでの間をつなぐ第２の言語単位とを前記ラティスから推定し、前記述語が前記終端に存在しない場合に、前記入力音声の後尾に仮想的に前記述語を追加し、前記結合情報を参照し、前記キーワードから前記仮想的述語までの間をつなぐ第３の言語単位と前記第２の言語単位とを前記ラティスから推定し、前記入力音声が前記述語を省略した表現であると解釈し、前記第２の言語単位、前記キーワード、第３の言語単位の順に接続することで前記入力音声が表わす文を推定し、認識結果として出力し、更に、前記第３の言語単位に述語を含む場合に、前記入力音声が倒置表現であると解釈し、前記キーワードと前記述語とが係り受けの関係規則を満たすと判断し、前記述語以後の第４の言語単位を推定し、前記第２の言語単位、前記キーワード、前記述語、前記第４の言語単位の順に接続することで前記入力音声の表わす文を推定し、認識結果として出力する入力文推定部とを具備する音声認識装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は人間の発声した音声、特に文音声等の連続音声を自動認識する音声認識装置に関するものである。
【０００２】
【従来の技術】
従来、文音声等の連続音声を認識する装置を実現する方法として、入力音声区間中に考えられうる単語または文節の存在仮説の集合データ（以後ラティスと呼ぶ）から実際に入力された単語または文節を構文情報を用いて推定する方法がある。
【０００３】
以下、従来技術として、文節についてラティスを求めた後、文節間の結合関係からなる構文情報を用いて入力文を推定する音声認識装置について説明する。
図６は従来の音声認識装置の構成を示したものである。図６において、１は入力音声を分析の単位であるフレーム毎に分析し、特徴パラメータを得る音声分析部、２は「認識の基本単位」（例えば音素。以後音素を用いて説明する。）の特徴を表わす標準パターンを格納する標準パターン格納部、３は特徴パラメータと標準パターンとの間の類似度をフレーム毎に算出するフレーム類似度算出部、４は「言語単位」である文節の発音に関する情報を上記認識の基本単位を表す発音記号によって表記した発音情報格納部、５は音声区間中における文節の存在仮説データの集合である文節ラティスを作成するスポッティング部、６は認識対象となる文における文節間の結合情報を格納する構文情報格納部、７はスポッティング部５で作成された文節ラティスから入力された文を推定する入力文推定部である。
【０００４】
以上のように構成された音声認識装置について、以下その動作について説明する。まず、音声信号は音声分析部１に入力される。音声分析部１は入力音声を分析し、音声の特徴を表す特徴パラメータの時系列を分析の基本単位であるフレーム毎に出力する。フレーム類似度算出部３は音声分析部１で得られた特徴パラメータ時系列と、標準パターン格納部２に音素毎に用意された標準パターンとの間の類似度を計算することによって得られるフレーム類似度を全音声区間について出力する。スポッティング部５では、考えられうる文節の存在を全音声区間に仮定し、発音情報格納部４に格納された各文節の音素表記とフレーム類似度算出部３で求めておいたフレーム類似度を用いて文節の始終端自由なパターン照合を行う。
【０００５】
図７はこうして得られた文節ラティスの一例である。文節ラティス中の各文節仮説にはその存在区間と類似度スコアが求められている。類似度スコアは文節仮説の存在可能性を表す尺度でありで、文節仮説区間中のフレーム類似度を最適に足し合わせる事等により計算される。構文情報格納部６には、文脈自由文法、オートマトン、係り受け構造規則等の枠組みに基づいた文節間の接続情報である構文情報が格納されている。係り受け構造規則に基づいた構文情報の一例を図８に示す。図８の構文情報は、受け文節となる動詞「飲みたい」と「食べたい」に関するものである。「飲みたい」に係る文節は２つあり、一つは「飲み物」という範疇の自立語と「を」という付属語から成る文節、もう一つは「もう一杯」「一杯」等の自立語のみから成る文節であることを表している。また、「食べたい」に係る文節は２つあり、一つは「食べ物」という範疇の自立語と「を」という付属語から成る文節、もう一つは「もう一枚」「一つ」等の自立語のみから成る文節であることを表している。
【０００６】
入力文推定部７では、上記文節ラティス中から文を成す文節仮説を探索しこれを認識結果とする。この時入力文推定部７では、文節仮説間の時間的な連続性や構文情報格納部６に格納された文節間のつながり情報を制約条件として、文を成す文節列を探索する。以下に、係り受け構文規則を用いて文末に位置する受け文節である述語を手がかりとした文節列探索処理を図９のＰＡＤ図を参照しながら説明する。まず、文節ラティス中から音声区間の終端付近に存在する述語となり得る文節仮説を探す（ステップＳ１）。見つかった述語となり得る文節仮説を部分文の集合とする（ステップＳ２）。部分文の集合が空になるまで以下の処理（ステップＳ４〜Ｓ１２）を繰り返す（ステップＳ３）。各部分文に対して時間的に前に隣接する文節仮説（以降、前隣接仮説と呼ぶ）を文節ラティス中から探索し（ステップＳ５）、それらの前隣接仮説を係り受けの関係で受けることができる文節が部分文に存在するか否か調べる（ステップＳ７）。具体的には、部分文を構成している各文節に関する係り受け構造規則を構文情報格納部６に問い合せる。前隣接仮説を係り受けの関係で受けることができる文節が部分文に存在する場合には、前隣接仮説をその部分文につなげたものを新部分文の集合に加える（ステップＳ８）。こうしてできた新部分文の集合の各部分文について、部分文が音声区間を前から後まで覆っているか調べる（ステップＳ１０）。覆っている部分文は新部分文の集合から除き、文候補の集合に加える（ステップＳ１１）。最後に新部分文の集合を部分文の集合とする。ここで、部分文の集合が空でなければステップＳ４からステップＳ１２の処理を繰り返す。以上の処理の結果、文候補の集合が得られる。大抵の場合、文候補は複数見つかる。認識結果として文候補から１つを選択するために、文候補を成す文節仮説の類似度スコアから計算できる評価関数を用意しておきその値が一番高いものを認識結果とする。また文候補の探索処理量を軽減するために、上記評価関数を用いてステップＳ１２において、新部分文のうち評価関数の値が高いものだけを次の処理（ステップＳ４）の対象となる部分文として残す。これは、一般にビームサーチ（枝がり法）と呼ばれる探索手法であり、残す数のことをビーム幅という。
【０００７】
【発明が解決しようとする課題】
しかしながら上記の従来の音声認識装置は、はっきり発声されない等の原因により文末の述語が類似度スコアの高い文節仮説として文節ラティス中に求められない場合には、正しく認識することができないという課題を有していた。また、文末の述語を文節ラティス探索の直接の手がかりとしているために、文末の述語が省略された文や文末に述語が無い倒置表現の文を認識することができないという課題を有していた。さらに、係り受け関係規則を満たす前隣接の文節仮説を文末から文頭までつないでいく従来の音声認識装置では、係り受け関係規則を満たす前隣接の文節仮説が見つからないと探索処理が途中で続かなくなり結果が得られないという課題を有していた。
【０００８】
本発明は、上記従来の課題を解決するもので、文末の述語が類似度スコアの高い文節仮説として文節ラティス中に求められない文音声や文末の述語が省略されたり文末に述語が無い倒置表現の文音声を正しく認識することができ、係り受け関係規則を満たす前隣接の文節仮説が見つからない場合にも探索処理が続けられる音声認識装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明の音声認識装置は、入力音声を分析の単位であるフレーム毎に分析し、特徴パラメータを得る音声分析部と、音素や音節等の「認識の基本単位」の特徴を表わす標準パターンを格納する標準パターン格納部と、上記特徴パラメータと標準パターンとの間の類似度をフレーム毎に算出するフレーム類似度算出部と、単語や文節等の「言語単位」の発音に関する情報を上記認識の基本単位を表す発音記号によって表記した発音情報格納部と、上記発音辞書に格納されている全ての言語単位に対する、入力音声の任意の区間における類似度を算出してラティスを作成するスポッティング部と、認識対象となる文における単語や文節等の言語単位間の結合情報を格納する構文情報格納部と、上記スポッティング部で作成されたラティスから音声により入力された文を推定し、これを認識結果とする入力文推定部と、上記入力推定部で入力文を推定する際に手がかりとするキーワードを上記スポッティング部で作成されたラティスから推定するキーワード推定部とから成る。
【００１０】
【作用】
この構成によって、文節ラティス中の類似度スコアの高い文節仮説をキーワードとし、このキーワードとこのキーワードから推定される述語を文節ラティス探索の手がかりとし、文末の述語が類似度スコアの高い文節仮説として文節ラティス中に求められない文音声や文末の述語が省略され文音声および文末に述語が無い倒置表現の文音声を認識することができる。また、入力文中の一部の文節が文節ラティスの文節仮説として捕まらなくても探索処理が進められ、入力文の一部を成す文節列を得ることができる。
【００１１】
【実施例】
（実施例１）
以下本発明の第１の実施例について、図面を参照しながら説明する。図１は本実施例における音声認識装置のブロック図である。本実施例においては、図６に示した従来の音声認識装置と同一構成部分には同一番号を付してその詳細な説明を省略する。
【００１２】
図１において、１は入力音声を分析の単位であるフレーム毎に分析し、特徴パラメータを得る音声分析部、２は「認識の基本単位」（例えば音素。以後音素を用いて説明する）の特徴を表わす標準パターンを格納する標準パターン格納部、３は特徴パラメータと標準パターンとの間の類似度をフレーム毎に算出するフレーム類似度算出部、４は「言語単位」である文節の発音に関する情報を上記認識の基本単位を表す発音記号によって表記した発音情報格納部、５は音声区間中における文節の存在仮説データの集合である文節ラティスを作成するスポッティング部、６は認識対象となる文における文節間の結合情報を格納する構文情報格納部、７はスポッティング部５で作成された文節ラティスから入力された文を推定する入力文推定部、８は入力推定部７で入力文を推定する際に手がかりとするキーワードを上記スポッティング部で作成されたラティスから推定するキーワード推定部である。
【００１３】
以上のように構成された音声認識装置について、その動作を説明する。まず、音声信号は音声分析部１に入力され、フレーム類似度算出部、スポッティング部を経て文節ラティスが作成されるところまでは従来例と同じである。キーワード推定部８では、文節ラティス中からまず類似度スコアの高い文節仮説（以降、キーワードと呼ぶ）を幾つか見つける。次に、構文情報格納部６の係り受け関係規則を参照することによって、キーワードを受ける述語を推定し、その述語が文節ラティスの音声区間の終端付近に存在するか調べる。推定された述語が文節ラティス中に存在する場合には、入力文推定部７において、その述語と先のキーワードを手がかりとして両者をつなぐように文節列を探索する。この時、構文情報格納部６の係り受け関係規則を用いる。
【００１４】
以上の動作の一例を示したのが図２である。図２の例は「ビールをもう一杯飲みたい」の発声に対して得られた文節ラティスの概略図であり、正解になるべき文節仮説「飲みたい」の類似度スコアは低くなっている。ビーム幅１のビームサーチにより探索を行うとする。まず、文節ラティス中において類似度スコアの一番高い文節仮説「ビールを」をキーワードとして見つける。次に、構文情報格納部６の係り受け関係規則において「ビールを」を係り文節としてもつことができる述語を探す。図８の係り受け関係規則を用いると述語として「飲みたい」が推定される。この述語の仮説が文節ラティスの音声区間の終端付近に存在するか調べると存在するので、その述語と先のキーワードを手がかりとして図８の係り受け関係規則を用いて前隣接する文節仮説をつなぎながら文節列を探索すれば「ビールを・もう一杯・飲みたい」という文節列が正しく探索でき、認識結果として出力する。
【００１５】
これに対して、従来の音声認識装置でビーム幅１のビームサーチにより探索を行うと、文末の述語の探索（図９のステップＳ１）において類似度スコアの高い「食べたい」が探索されてしまい、以降図８の係り受け関係規則を用いると「ピザを・もう一枚・食べたい」という文節列が探索されてしまう。
【００１６】
以上のように本実施例によれば、文節ラティスにおいて述語以外のキーワードを推定し上記キーワードから述語を推定するキーワード推定部を設けることにより、はっきり発声されない等の原因により文末の述語が類似度スコアの高い文節仮説として文節ラティス中に求められない場合にも正しく認識することができる。
【００１７】
（実施例２）
以下本発明の第２の実施例について、図面を参照しながら説明する。本実施例の音声認識装置の構成は第１の実施例と同一であるので詳細な説明を省略し、その動作を説明する。
【００１８】
まず、音声信号は音声分析部１に入力され、フレーム類似度算出部、スポッティング部を経て文節ラティスが作成され、キーワード推定部８においてキーワードとそのキーワードを受ける述語を推定するところまでは第１の実施例と同じである。キーワード推定部８では推定された述語が文節ラティスの音声区間の終端付近に存在するか調べられる。推定された述語が文節ラティス中に存在する場合には、入力文推定部７において、その述語と先のキーワードを手がかりとして両者をつなぐように文節列を探索する。この時、構文情報格納部６の係り受け関係規則を用いる。ここでキーワードと述語の間の区間に係り受け関係規則を満たす文節仮説が見つからない場合がある。この場合には、キーワードの前の音声区間において係り受け関係規則を満たす文節仮説を探す処理を行う。最悪の場合でも、キーワードと述語から成る文節列を認識結果とする。
【００１９】
以上の動作の一例を示したのが図３である。図３の例は「ビールをもう一杯飲みたい」の発声に対して得られた文節ラティスの概略図であり、正解になるべき文節仮説「もう一杯」が文節ラティスに存在していない。ビーム幅１のビームサーチにより探索を行うとする。まず、文節ラティス中において類似度スコアの一番高い文節仮説「ビールを」をキーワードとして見つける。次に、構文情報格納部６の係り受け関係規則において「ビールを」を係り文節としてもつことができる述語を探す。図８の係り受け関係規則を用いると述語として「飲みたい」が推定される。この述語の仮説が文節ラティスの音声区間の終端付近に存在するか調べると存在するので、その述語と先のキーワードを手がかりとして図８の係り受け関係規則を用いて前隣接の文節仮説をつなぎながら文節列を探索する。ところが述語「飲みたい」の文節仮説には係り受け関係規則を満足する前隣接の文節仮説が存在していないので、キーワードの前の音声区間において係り受け関係規則を満たす文節仮説を探す。図３の例ではキーワードが音声区間の先頭にあるので探索処理はここで終了となり、結果として「ビールを・飲みたい」という文節列が得られる。これは、正解文節列ではないが入力発声の一部は捕らえることができており、入力が文の場合においては意味的に近い結果が得られることが多い。
【００２０】
これに対して、従来の音声認識装置でビーム幅１のビームサーチにより探索を行うと、文末の述語の探索（図９のステップＳ１）において類似度スコアの高い「食べたい」が探索されてしまい、以降図８の係り受け関係規則を用いると「ピザを・もう一枚・食べたい」という文節列が探索されてしまう。また文節仮説「飲みたい」の類似度スコアが仮に「食べたい」よりも高い場合でも、係り受け関係規則を満たす前隣接の文節仮説を文末から文頭までつないでいく従来の音声認識装置では、係り受け関係規則を満たす前隣接の文節仮説が見つからないと探索処理が途中で続かなくなり結果が得られない。
【００２１】
以上のように、文節ラティスにおいて述語以外のキーワードを推定し上記キーワードから述語を推定するキーワード推定部とラティス中に適当な前隣接の仮説が存在しない場合にも入力文の推定処理を続けることができる入力文推定部を設けることにより、入力文中の一部の文節が文節ラティスの文節仮説として捕まらなくても探索処理が進められ、入力文の一部を成す文節列を得ることができる。
【００２２】
（実施例３）
以下本発明の第３の実施例について、図面を参照しながら説明する。本実施例の音声認識装置の構成は第１の実施例と同一であるのでその詳細な説明を省略し、その動作を説明する。
【００２３】
まず、音声信号は音声分析部１に入力され、フレーム類似度算出部、スポッティング部を経て文節ラティスが作成され、キーワード推定部８においてキーワードとそのキーワードを受ける述語を推定するところまでは第１の実施例と同じである。キーワード推定部８では推定された述語が文節ラティスの音声区間の終端付近に存在するか調べられる。推定された述語が文節ラティスにおいて音声区間の終端付近に存在しない場合には、述語が省略されたと見なし、入力文推定部７においてその述語が音声区間のうしろに存在すると仮定して、その述語と先のキーワードを手がかりとして両者をつなぐように文節列を探索する。この時、構文情報格納部６の係り受け関係規則を用いる。
【００２４】
以上の動作の一例を示したのが図４である。図４の例は述語が省略された「ビールをもう一杯」の発声に対して得られた文節ラティスの概略図である。まず、文節ラティス中において類似度スコアの一番高い文節仮説「ビールを」をキーワードとして見つける。次に、構文情報格納部６の係り受け関係規則において「ビールを」を係り文節としてもつことができる述語を探す。図８の係り受け関係規則を用いると述語として「飲みたい」が推定される。この述語の仮説が文節ラティスの音声区間の終端付近に存在するか調べると存在しないので、述語「飲みたい」が省略されていると見なして、その述語と先のキーワードを手がかりとして図８の係り受け関係規則を用いて前隣接する文節仮説をつなぎながら文節列を探索する。その結果「ビールを・もう一杯」という文節列が正しく探索でき、認識結果として出力する。
【００２５】
以上のように、音声区間において述語以外のキーワードを推定し述語が省略されているか否かを判断するキーワード推定部と述語が省略された入力文を推定することができる入力文推定部を設けることにより、正しく認識することができる。
【００２６】
（実施例４）
以下本発明の第４の実施例について、図面を参照しながら説明する。本実施例の音声認識装置の構成は第１の実施例と同一であるのでその詳細な説明を省略し、その動作を説明する。
【００２７】
まず、音声信号は音声分析部１に入力され、フレーム類似度算出部、スポッティング部を経て文節ラティスが作成され、キーワード推定部８においてキーワードとそのキーワードを受ける述語を推定するところまでは第１の実施例と同じである。キーワード推定部８では推定された述語が文節ラティスの音声区間の終端付近に存在するか調べられる。推定された述語が文節ラティスにおいて音声区間の終端付近に存在しない場合には、述語が省略されたと見なし、入力文推定部７においてその述語が音声区間のうしろに存在すると仮定して、その述語と先のキーワードを手がかりとして両者をつなぐように文節列を探索する。この時、構文情報格納部６の係り受け関係規則を用いる。探索の途中において、前隣接の文節仮説として推定述語の仮説が見つかった場合には、入力が倒置表現であったと解釈してその述語仮説をつなぎ探索を続ける。
【００２８】
以上の動作の一例を示したのが図５である。図５の例は倒置表現である「ビールを飲みたいもう一杯」の発声に対して得られた文節ラティスの概略図である。まず、文節ラティス中において類似度スコアの一番高い文節仮説「ビールを」をキーワードとして見つける。次に、構文情報格納部６の係り受け関係規則において「ビールを」を係り文節としてもつことができる述語を探す。図８の係り受け関係規則を用いると述語として「飲みたい」が推定される。この述語の仮説が文節ラティスの音声区間の終端付近に存在するか調べると存在しないので、述語「飲みたい」が省略されていると見なして、その述語と先のキーワードを手がかりとして図８の係り受け関係規則を用いて前隣接する文節仮説をつなぎながら文節列を探索する。まず、文節仮説「もう一杯」が見つかり、その前隣接の文節仮説として「飲みたい」が見つかる。これは推定述語であるので入力が倒置表現であったと解釈してその述語仮説をつなぎ探索を続ける。図５では、文節仮説「飲みたい」が文節仮説「もう一杯」と「ビールを」をつなぎ探索処理は終了する。その結果「ビールを・飲みたい・もう一杯」という文節列が正しく探索でき、認識結果として出力する。
【００２９】
以上のように、音声区間において述語以外のキーワードを推定し述語が省略されているか否かを判断するキーワード推定部と倒置表現の入力文を推定することができる入力文推定部を設けることにより、正しく認識することができる。
【００３０】
なお、上記実施例では文節ラティスを用いた例を説明したが、単語ラティスを用いる場合についても本発明はもちろん適用される。
【００３１】
【発明の効果】
以上のように本発明は、入力音声を分析の単位であるフレーム毎に分析し、特徴パラメータを得る音声分析部と、音素や音節等の「認識の基本単位」の特徴を表わす標準パターンを格納する標準パターン格納部と、上記特徴パラメータと標準パターンとの間の類似度をフレーム毎に算出するフレーム類似度算出部と、単語や文節等の「言語単位」の発音に関する情報を上記認識の基本単位を表す発音記号によって表記した発音情報格納部と、上記発音辞書に格納されている全ての言語単位に対する、入力音声の任意の区間における類似度を算出してラティスを作成するスポッティング部と、認識対象となる文における単語や文節等の言語単位間の結合情報を格納する構文情報格納部と、上記スポッティング部で作成されたラティスから入力音声である文を推定する入力文推定部と、上記入力推定部で入力文を推定する際に手がかりとするキーワードを上記スポッティング部で作成されたラティスから推定するキーワード推定部を設けることにより、文末の述語が類似度スコアの高い文節仮説として文節ラティス中に求められない文音声や述語が省略された文音声および倒置表現の文音声をも認識することができ、発話制約の少ない優れた音声認識装置を実現できるものである。
【図面の簡単な説明】
【図１】本発明による音声認識装置の実施例の構成図
【図２】第１の実施例における音声認識装置のラティス探索動作の概念図
【図３】第２の実施例における音声認識装置のラティス探索動作の概念図
【図４】第３の実施例における音声認識装置のラティス探索動作の概念図
【図５】第４の実施例における音声認識装置のラティス探索動作の概念図
【図６】従来技術による音声認識装置の構成図
【図７】スポッティングの結果得られた文節ラティスの一部を示す図
【図８】構文情報の記述内容を示す図
【図９】従来例の文節列探索処理を説明するＰＡＤ図
【符号の説明】
１  音声分析部
２  標準パターン格納部
３  フレーム類似度算出部
４  発音情報格納部
５  スポッティング部
６  構文情報格納部
７  入力文推定部
８  キーワード推定部
【図１】
0003577725.tif 000002
【図２】
0003577725.tif 000003
【図３】
0003577725.tif 000004
【図４】
0003577725.tif 000005
【図５】
0003577725.tif 000006
【図６】
0003577725.tif 000007
【図７】
0003577725.tif 000008
【図８】
0003577725.tif 000009
【図９】
0003577725.tif 000010