(57)【特許請求の範囲】
【請求項１】
入力音声の特徴量を抽出する手段と、音声記号列を文法により解析するＬＲチャート構文解析手段と、音声記号の統計情報収集手段と、入力音声の類を決定する照合手段とより成り、音声の類に対応する標準パターンと入力音声の特徴パターンとを比較することによって認識結果を得る連続音声認識方式において、照合開始時は、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補に対応する標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とし、前記得点が所定の値より大きくなった時点で、前記標準パターンの尤度加算を中止することを特徴とする連続音声認識方式。
【請求項２】
入力音声の特徴量を抽出する手段と、音声記号列を文法により解析するＬＲチャート構文解析手段と、音声記号の統計情報収集手段と、入力音声の類を決定する照合手段とより成り、音声の類に対応する標準パターンと入力音声の特徴パターンとを照合比較することによって認識結果を得る連続音声認識方式において、照合開始時は、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とし、前記得点が所定の値より大きくなった時点で、前記標準パターンの尤度加算を中止することを特徴とする連続音声認識方式。
【請求項３】
入力音声の特徴量を抽出する手段と、音声記号列を文法により解析するＬＲチャート構文解析手段と、音声記号の統計情報収集手段と、入力音声の類を決定する照合手段とより成り、音声の類に対応する標準パターンと入力音声の特徴パターンとを比較することによって認識結果を得る連続音声認識方式において、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起順序の尤度との和を候補の得点とする際に、前記生起順序の尤度を前記候補に対応する生起尤度に置換えることを特徴とする連続音声認識方式。
【請求項４】
請求項３の連続音声認識において、照合開始時は、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とし、前記得点が所定の値より大きくなった時点で、前記標準パターンの尤度加算を中止することを特徴とする連続音声認識方式。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、連続音声認識方式、より詳細には、入力音声の特徴量を抽出する手段と、音声記号列を文法により解析する構文解析手段と、音声記号の統計情報収集手段と、入力音声の類を決定する照合手段とを有し、音声の類に対応する標準パターンと入力音声の特徴パターンとを比較することによって入力音声の類を決定する照合する連続音声認識方式に関する。
【０００２】
【従来の技術】
確率論による従来の連続音声認識方式について説明すると、入力音声パターンＹが観測されたとき、音声の類を表す列（例えば音素列）の仮説Ｗの中で、認識結果となるものは、Ｂａｙｅｓの定理を用いて、下記の式（１）を最大にするＷ′を探すことに相当する。
【０００３】
【数１】
0003544740.tif 000002
【０００４】
ここで、Ｐ（Ｗ′＼Ｙ）は、音声パターンＹが観測されたとき、発声した列がＷ′である事後確率、Ｐ（Ｙ）は音声パターンＹが観測される確率である。
Ｐ（Ｙ＼Ｗ）は、仮説Ｗに対し、音声パターンＹが観測される事前確率である。Ｐ（Ｙ＼Ｗ）は、中川，“確率モデルによる音声認識”電子情報通信学会（１９８８）などに詳述される隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）などを用いて、仮説Ｗをあらかじめモデル化しておくことで、音声パターンＹの出力確率を計算することができる。
【０００５】
Ｐ（Ｗ）は、列Ｗが発話される確率であり、言語モデルに対応する。列Ｗは、Ｐ（Ｗ）によって種々の言語制約が与えられている。構文制御によるＰ（Ｗ）は、０，１的に与えられ、文脈自由文法などで記述し、ＡＴＲ編，“自動翻訳電話”，オーム社（１９９４）に詳述されるＬＲ（Ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ  Ｒｉｇｈｔｍｏｓｔ  ｄｅｒｉｖａｔｉｏｎ）パーサなどを用いて解析する。前出の文献による認識方式では、解析と同時に音素ＨＭＭから得られる尤度によって、パーサから得られた仮説を棄却するか存続するかを決定する。最終的に、最も大きい尤度をもつ仮説を認識結果とする。
【０００６】
一方、Ｐ（Ｗ）を音素，単語などを単位とする連鎖確率として与えておいて、最適音素系列を求める方法も行われている。連鎖確率には、生起確率（ｕｎｉ−ｇｒａｍ），一重マルコフ連鎖確率（ｂｉ−ｇｒａｍ），二重マルコフ連鎖確率（ｔｒｉ−ｇｒａｍ）などがあり、これらは、あらかじめテキストデータベースを用いて求めておく。認識時には、連鎖確率を用いて系列の出現確率が最も高くなるものを認識結果とする。この手法は、Ｌ．Ｒａｂｉｎｅｒ他，“Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ”，Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ  Ｉｎｔｅｒｎａｔｉｏｎａｌ（１９９３）などに詳述されている。
【０００７】
【発明が解決しようとする課題】
上述の従来の連続音声認識方式のうち、例として、一重マルコフ連鎖確率によりＰ（Ｗ）を与える場合には、下記の式（２）の確率を計算する。
【０００８】
【数２】
0003544740.tif 000003
【０００９】
ここで、Ｗ＝ω１，…，ωｎは、発声された音素列であるとする。また、“−”は発話前後の環界を示す。ωｋ−１の後に、ωｋが出現する条件付確率Ｐ（ωｋ＼ωｋ−１）は、テキストデータベースからあらかじめ下記の式（３）で求めておく。
Ｐ（ωｋ＼ωｋ−１）＝Ｎ（ωｋ−１，ωｋ）／Ｎ（ωｋ−１）      …（３）
ここで、Ｎ（・）は、データベース中に（・）が出現する回数である。認識時に用いるＷに対する尤度Ｓは、式（２）から得られる言語モデルの尤度Ｓ（ｌａｎｇ）とＨＭＭなどの音素モデルの尤度Ｓ（ｐｈｏｎｅ）との和により下記の式（４）のように表す。
Ｓ＝λＳ（ｐｈｏｎｅ）＋（１−λ）Ｓ（ｌａｎｇ）            …（４）
ここで、λは二つの尤度の混合比率を決定する値である。
【００１０】
この手法の問題点は、本来のＰ（Ｗ）を与える確率分布にできるだけ近似するために、式（３）の計算に大量のテキストデータベースが必要となることである。例えば、一重マルコフ連鎖確率を用いるよりも、二重マルコフ連鎖確率を用いた方が認識精度をあげることができるが、より大量のデータベースを必要とする。また、Ｐ（Ｗ）を近似的に求めることができても、テキストデータベースの音素列の内容と発話する認識タスクの音素列の内容とが異なる場合には、認識性能が劣化するという欠点がある。
そのため、連鎖確率を認識タスクに合わせて適応的に変更する方法が提案されている（特開平４−２９１３９９号公報）。しかし、この方法は、少量のテキストデータでよい代わりに、連鎖確率分布のタスクへの適応操作に削除補間法（ｄｅｌｅｔｅｄ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）と呼ばれる手続きを必要とする。
【００１１】
一方、Ｐ（Ｗ）を認識タスクに合わせて構文制御によりモデル化して、認識の探索範囲を狭めておき、さらに連鎖確率を組み合わせて認識性能を向上させた例も報告されている（Ｋ．Ｋｉｔａ，ｅｔ  ａｌ，“ＨＭＭ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ｓｔｏｃｈａｓｔｉｃ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌｓ”Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ｊｐｎ．（Ｅ），Ｖｏｌ．１２，Ｎｏ．３，ｐｐ．９９−１０５）。この例では、構文解析にＬＲアルゴリズムと二重マルコフ連鎖確率によるモデルとを組み合わせて認識システムを構築している。
ところが、通常のＬＲアルゴリズムでは、グラフ構造化スタックと呼ばれるデータ構造を用いるため、データ構造の記憶量が解析実行時に無視できないほど増大してしまう問題がある。また、認識対象の語の種類により、データを頻繁に生成消去することもあり、処理時間効率が低下するという問題があった。
【００１２】
最近では、鷹見  他，“逐次状態分割法による隠れマルコフ網の自動生成”，電子情報通信学会論文誌，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２１５５−２１６４（１９９３−１０）に報告されているように、音素単位ではなく当該音素の環境を考慮するようなモデルが提案されている。これは、音素モデルとしてのＨＭＭをさらに高精度化するためのものであるが、環境に依存しないＨＭＭに比べてモデルの数が多くなるために上記問題はさらに深刻となる。
また、認識の判定に用いる尤度は、式（４）により計算されるが、λは定数である。そのために、発話された全区間において常に両者の尤度を計算する必要があるため、認識に時間がかかるという問題点もある。
【００１３】
本発明は、上述のごとき実情に鑑みてなされたもので、機構が単純で、記憶量の小さい構文解析部により音声認識の照合範囲を小さくし、処理量の小さい統計情報収集手段を有し、更には、尤度計算の混合比率を可変にすることにより高速な照合をすることができる連続音声認識方式を提供することを目的としてなされたものである。
【００１４】
【課題を解決するための手段】
本発明は、上記課題を解決するために、入力音声の特徴量を抽出する手段と、音声記号列を文法により解析するＬＲチャート構文解析手段と、音声記号の統計情報収集手段と、入力音声の類を決定する照合手段とより成り、音声の類に対応する標準パターンと入力手声の特徴パターンとを比較することによって認識結果を得る連続音声認識方式において、
請求項１の発明においては、照合開始時は、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補に対応する標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とし、前記得点が所定の値より大きくなった時点で、前記標準パターンの尤度加算を中止すること、
請求項２の発明においては、照合開始時は、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とし、前記得点が所定の値より大きくなった時点で、前記標準パターンの尤度加算を中止すること、
請求項３の発明においては、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起順序の尤度との和を候補の得点とする際に、前記生起順序の尤度を前記候補に対応する生起尤度に置換えること、
請求項４の発明においては、請求項３の連続音声認識において、照合開始時は、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンとの尤度と、テキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とし、前記得点が所定の値より大きくなった時点で、前記標準パターンの尤度加算を中止することを特徴としたものである。
【００１５】
【作用】
ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補に対応する標準パターンと入力音声の特徴パターンとの尤度を求め、この尤度とテキストデータベースから算出した当該候補に対応する生起尤度及び／または生起順序の尤度との和を候補の得点とする。換言すれば、テキストデータベースから算出した当該候補に対する生起尤度及び／または生起順序の尤度をも候補決定に加えることにより、構文解析部の記憶容量を小さくしかつ音声認識の照合範囲を狭くし、高速な照合を可能とする。
更には、前記ＬＲチャート構文解析部から未知音声の照合対象となる音声類の候補を逐次決定し、当該候補とその先行または後続の類の環境を含めた標準パターンと入力音声の特徴パターンとの尤度を求めるようにし、環境依存型の音素モデルを組み合せ可能にする。
【００１６】
【実施例】
図１は、本発明の一実施例を説明するための概略ブロック図で、図中、１はフィルタバンク（入力音声の特徴量を抽出）、２は照合部（フィルタバンクからの特徴パターンとＬＲチャート解析部からの標準パターンを照合して尤度を求める）、３は枝刈り部（尤度の低い候補をＬＲチャート解析部の蓄積部から除外する）、４は判定部、５はＬＲチャート解析部、６は文法部、７はＨＭＭ連結部で、これらによって音素モデルの尤度を求める。１０はテキストデータ、１１は音素順序確率生成及び／又は生起尤度生成表、１２は尤度加算器、１３は尤度蓄積部で、これらによって言語モデルの尤度を求める。
本発明は、上述のようにして求めた音素モデルの尤度と言語モデルの尤度を加算，蓄積し、最も尤度の高いものを入力音声に対する候補とするようにしたものである。
【００１７】
図１において、音声はフィルタバンク１に入力され、ここで、周波数分析され、その特徴パターンが生成される。周波数分析は、通常１フレームあたり３ｍｓｅｃ〜３０ｍｓｅｃ程度の間隔で行われる。また、フィルタバンク１はいくつかのバンドパスフィルタによって構成されたものであり、通常は、８〜３２個程度使用される。分析手法として周波数分析を用いているが、新美，“音声認識”，共立出版（１９７９）などで詳述されているような線形予測（ＬＰＣ：Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）分析をはじめ、どのような音響分析手法を用いてもよい。
【００１８】
一方、認識対象となる類を導出するためのＬＲチャート構文解析は次のように動作する。文法部６には、文法を文脈自由文法などでタスクに応じて記述し、格納しておく。
実施例では、文法の終端記号、すなわち導出する類を音素にして話を進めるが、単語，音節などのような類を採用してもかまわない。ＬＲチャート解析部５では、文法から得られるＬＲ解析表を記憶している。解析表の内容は、Ａ．Ｖ．Ａｈｏ他，“Ｃｏｍｐｉｌｅｒｓ−Ｐｒｉｎｃｉｐｌｅｓ，  Ｔｅｃｈｎｉｑｕｅｓ，  ａｎｄ  Ｔｏｏｌｓ”，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ（１９８６）などに詳述されるＬＲ解析表と同じで、ＡＣＴＩＯＮ部とＧＯＴＯ部とから成り立っている。
【００１９】
ＬＲチャート解析部５では、ＬＲ解析表からどの音素を照合すればよいかを決定する。解析部の状態が進むたびにＨＭＭ連結部７で音素ＨＭＭを連結し、照合部２でＨＭＭと入力音声の特徴量との照合を行う。解析した文の句構造は、解析部のチャートに記録しておく。一方、タスクに応じたテキストデータベース１０から式（３）に従って、一重マルコフ連鎖確率の値をあらかじめ表にしておき、ＬＲチャート解析部５から導出された音素の連鎖確率値をこの表にしたがって得る。実施例では、一重マルコフ連鎖確率を用いているが、二重以上の連鎖確率（Ｎ−ｇｒａｍ）や生起確率（ｕｎｉ−ｇｒａｍ）を用いてもよい。
【００２０】
次に、尤度加算器１２により、ＨＭＭの照合により得られた尤度と音素順序確率生成表より得られた連鎖確率値（尤度）との和を式（４）に従って求める。尤度蓄積部１３には解析部から既に出力された音素記号列の尤度と、その尤度を算出した時点での入力音声のフレーム番号を記憶しておく。その後、照合部２では尤度蓄積部１３の情報により、解析部５から新たに出力された音素記号に対応するＨＭＭの照合開始フレームを決定する。開始フレームからのＨＭＭによる尤度と連鎖確率値との和を蓄積部１３の尤度に加え、認識候補の尤度を更新する。現時点までの全ての候補の尤度を枝刈り部３に送り、候補の数がある所定の数より多くなった場合には、尤度の低い候補を蓄積部から除外する。この操作を繰り返し、最終的に全ての解析を終了した候補の中から最も大きい尤度をもつものを認識結果として出力する。
本実施例では、音声特徴量とモデルとの尤度を音素ＨＭＭを用いて求めているが、標準パターンを用いて動的計画法を用いたり、神経回路網によって各音素の特徴をモデル化したものを用いてもかまわない。
【００２１】
図２は、本発明の他の実施例を説明するための概略ブロック図で、図中、１４はＬＲチャート解析部５が過去に出力した記号を記憶しておく音声記号記憶部で、その他、図１に示した実施例と同様の作用をする部分には、図１の場合と同一の参照番号が付してある。
この図２に示した発明は、図１に示した発明に音声記号記憶部１４を加え、ＨＭＭ連結部のＨＭＭに、先行音素や後続音素の環境を考慮したもので、この発明によれば、環境依存型音素ＨＭＭを用いることができ、認識精度を上げることができる。
【００２２】
図２において、例えば、／ａｋａ／と発声された音声の／ｋ／を認識するのに／ｋ／に対応するＨＭＭではなく、ｋの前後にａがあるという情報をもった／ａ−ｋ−ａ／というＨＭＭを用いる。
音声記号記憶部１４では、過去に解析部が出力した記号を現在から（Ｎ−１）個前まで記憶しておく。これによって、Ｎ個の音素によって過去の環境を考慮しているようなパターン辞書に対して照合命令を出すことができる。例えば、／ａｋａｉ／という記号列が解析部５から出力され、Ｎ＝２の記憶部をもっているとすれば、辞書パターンは順に／−ａ／，／ａｋ／，／ｋａ／，／ａｉ／，／ｉ−／を表すＨＭＭを順に照合することになる。
【００２３】
図３は、本発明の他の例を説明するための概略ブロック図で、図中、１５は尤度検出器、１６は切換えスイッチで、この発明は、図２に示した発明において、照合部２からの累積尤度の値を尤度検出器１５により検出して、ＨＭＭによる音素モデルの尤度を言語モデルの尤度に加算するかしないかを決定するようにしたもので、この発明によれば、入力音声区間全体を最後まで照合することなく、高速な音声認識が可能となる。尤度検出器１５では、あらかじめ設定した値より大きくなった累積尤度を得た時点で、スイッチ１６を点線位置より実線位置に切り換えて、ＨＭＭと入力音声の照合を中止する。その後は、解析部５から新たに出力された音素記号に連鎖確率値だけを蓄積部１３の尤度に加える。この操作を繰り返し、最終的に全ての解析を終了した候補の中から最も大きい尤度をもつものを認識結果として出力する。
【００２４】
図１から図３に示した発明において、出現順序に関する頻度が小さい音素が出現した場合、式（３）に示すような連鎖確率を計算できないことがある。その場合には、連鎖確率を出現確率で近似して音素順序確率の表を作成する。すなわち、以下のような手続きを行う。
Ｐ（ωｋ＼ωｋ−１）＝Ｎ（ωｋ）／Ｍ  ｉｆ  Ｎ（ωｋ−１，ωｋ）＜Ｃ      …（５）
Ｐ（ωｋ＼ωｋ−１）＝Ｎ（ωｋ−１，ωｋ）／Ｎ（ωｋ−１）ｅｌｓｅ        …（６）
ただし、Ｍはデータベース中に現れる全ての音素の出現回数であり、Ｃは定数である。この手続きによりテキストデータベースが比較的少量であってもよく、認識システムの記憶量を小さくすることができる。
【００２５】
【発明の効果】
本発明によれば、機構が単純で記憶量が小さい言語モデルを生成可能となる。また、環境依存型の音素モデルを組み合わせることが可能となる。さらに、言語モデルと音素モデルとの尤度の混合比率を変化することができる。その結果、音声認識の精度を保ったまま、照合範囲を小さくすることができ、高速な連続音声認識を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例を説明するための概略ブロック図である。
【図２】本発明の他の実施例を説明するための概略ブロック図である。
【図３】本発明の他の実施例を説明するための概略ブロック図である。
【符号の説明】
１…フィルタバンク、２…照合部、３…枝刈り部、４…判定部、５…ＬＲチャート解析部、６…文法部、７…ＨＭＭ連結部、１０…テキストデータ、１１…音素順序確率生成及び／又は生起尤度生成表、１２…尤度加算器、１３…尤度蓄積部、１４…音声記号記憶部、１５…尤度検出部、１６…スイッチ。
【図１】
0003544740.tif 000004
【図２】
0003544740.tif 000005
【図３】
0003544740.tif 000006