(57)【要約】【課題】少ない計算量かつ記憶領域で信頼度を計算できる音声認識方法および装置を提供する。【解決手段】音声信号の音響特徴量を多数の標準パターンと照合し、認識結果の各単語区間およびその照合スコアを取得する音声照合部１０５と、音声信号の音響特徴量を多数の参照パターンと照合して累積スコアを時系列で算出する評価用照合部１０７と、各時刻における累積スコアの最大値を記憶する最大スコア記憶部１０８と、各単語区間の開始時刻および終了時刻における累積スコアの最大値に基づいて各単語区間の評価用スコアを算出する評価用スコア算出部１０９ａと、各単語区間の照合スコアおよび評価用スコアに基づいて各単語区間の信頼度を算出する信頼度算出部１０９とを含む。【選択図】図１
2010175807.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声信号を分析して音響特徴量を抽出する手段と、
音声信号の音響特徴量を多数の標準パターンと照合して各単語に対応する区間およびその照合スコアを取得する手段と、
音声信号の音響特徴量を多数の参照パターンと照合して累積スコアを時系列で算出する手段と、
各時刻における累積スコアの最大値を記憶する手段と、
前記各単語区間の開始時刻および終了時刻における前記累積スコアの最大値に基づいて各単語区間の評価用スコアを算出する手段と、
前記各単語区間の照合スコアおよび評価用スコアに基づいて各単語区間の信頼度を算出する手段とを含むことを特徴とする音声認識装置。
【請求項２】
前記参照パターンが、連続音節認識文法の接続規則に従って音響モデルを連結して生成されたことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記累積スコアの最大値を記憶する手段は、同時刻に各参照パターンにおいて各音素の終端まで照合した結果の中で最大の累積スコアを記憶することを特徴とする請求項１または２に記載の音声認識装置。
【請求項４】
前記累積スコアの最大値を記憶する手段は、同時刻に各参照パターンにおいて各音節の終端まで照合した結果の中で最大の累積スコアを記憶することを特徴とする請求項１または２に記載の音声認識装置。
【請求項５】
前記信頼度を算出する手段は、各単語区間の照合スコアと評価用スコアとの差分を当該単語区間の時間長で除した値を信頼度とすることを特徴とする請求項１ないし４のいずれかに記載の音声認識装置。
【請求項６】
前記信頼度が所定の基準値を下回る単語区間の単語を認識結果から除外する手段をさらに含むことを特徴とする請求項１ないし５のいずれかに記載の音声認識装置。
【請求項７】
入力された音声信号を分析して音響特徴量を抽出する手順と、
音声信号の音響特徴量を多数の標準パターンと照合して各単語に対応する区間およびその照合スコアを取得する手順と、
音声信号の音響特徴量を多数の参照パターンと照合して累積スコアを時系列で算出する手順と、
各時刻における累積スコアの最大値を記憶する手順と、
前記各単語区間の開始時刻および終了時刻における前記累積スコアの最大値に基づいて各単語区間の評価用スコアを算出する手順と、
前記各単語区間の照合スコアおよび評価用スコアに基づいて各単語区間の信頼度を算出する手順とを含むことを特徴とする音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識方法および装置に係り、特に、音声認識結果を定量的に評価できる音声認識方法および装置に関する。
【背景技術】
【０００２】
従来の音声認識では、入力された音声の特徴量と音声の標準パターンとを、文法などの単語間の接続規則に従って連続的に照合し、照合終了時点における照合スコアが最も高い単語系列を認識結果とする手法が多く用いられる。しかしながら、認識装置に認識対象外の音声が入力された場合でも、認識可能な文章の中で最も照合スコアの高い単語系列が認識結果となるため、結果的に認識誤りとなる場合がある。このような誤認識を回避するためは、認識対象外の発声を検出するアルゴリズムの導入が必要となる。
【０００３】
非特許文献１では、得られた照合スコアが予め定められた閾値を下回ると認識対象外の発声と判定する手法が提案されている。しかしながら、認識時に得られる照合スコアは、話者や周辺環境などにより大きく変化するため、適切な閾値を設定することが困難であった。
【０００４】
特許文献１には、このような技術課題を解決するために、認識すべき単語の語彙、単語間の接続のし易さ、規則等を記述した言語モデルという言語的制約の中で、照合スコアの最も高い候補を認識結果とする第１の認識手法と、言語的制約の緩い第２の認識手法とを備え、第１の認識手法により得られた照合スコアと第２の認識手法により得られた評価用スコアとの差分に基づいて認識結果の信頼度を算出し、認識対象外の発声を検出する手法が提案されている。
【０００５】
前記特許文献１にはさらに、言語的制約の緩い第２の認識手法における評価用スコアの計算に要する処理量を削減するために、標準パターンが持つ代表ベクトルと入力音声との距離を発声全体について加算した値を用いて信頼度を算出する手法も提案されている。このようにして算出された信頼度は、単純な照合スコアと比較して、話者や発声環境による値の変動が少ないので、認識対象外発声の検出に用いる閾値を容易に決定することが可能となる。
【非特許文献１】電子情報通信学会研究報告  Vol89. No91 1989年6月  1〜8ページ「高騒音下における自動券売機用不特定話者単語音声認識装置の開発」
【特許文献１】特許第２８０８９０６号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された信頼度は、認識対象外の発声を検出する際の尺度として有効であるものの、言語的制約の強い第１の認識手法と言語的制約の緩い第２の認識手法とを並行して行う必要があるので計算量が増えてしまう。
特に、音声認識結果を利用する上では、発声毎ではなく単語毎などより細かな単位ごとに信頼度の算出、認識対象外発声の判定を行うことが必要な場面も多く、このような細かい単位での信頼度を効率良く計算する必要がある。
【０００７】
特許文献１に記載された第２の認識手法により得られた評価用スコアを用いて信頼度を計算する手法を用いる場合、第１の認識手法で得られた各単語に対応する音声区間を、第2の認識手法による認識で得られた評価スコアで評価することにより、単語単位などの細かな単位で信頼度を計算できる。
【０００８】
この評価スコアは、Viterbiアルゴリズムを用いて音響特徴量と標準パターンとを照合して発声終了時における最尤パスを求め、この最尤パスをもたらす音声区間と標準パターンとの対応関係を求め（中川聖一ら著：「確率モデルによる音声認識」電子情報通信学会）、その結果に基づいて、各単語区間と同一の区間を第２の認識手法で認識した際の照合スコアを求めればよい。しかしながら、照合スコアを最大とする音声区間と標準パターンとの対応関係を求める処理には多くの計算量および記憶領域が必要となる。
【０００９】
また、特許文献１で提案されているように、標準パターンが持つ代表ベクトルと入力音声との距離を加算した値を用い、単語単位など細かな単位での信頼度を算出する場合、各単語に対応する区間について代表ベクトルと入力音声との距離を加算するのみで良い。したがって、少ない計算量で信頼度を計算することが可能である。しかしながら、代表ベクトル間の前後関係（子音の代表ベクトルのあとに母音の代表ベクトルが続くなど）を考慮することが出来ないため、第１の認識手法と比較すると信頼度の精度は低くなる。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、単語単位等の細かな単位での信頼度を計算する際に、各単語に対応する音声区間の評価用スコアを、言語的制約の緩い認識手法で得られた照合スコアを用いて近似計算することにより、少ない計算量かつ記憶領域で信頼度を計算できる音声認識方法および装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、以下のような手段を講じた点に特徴がある。
【００１２】
(1)入力された音声信号を分析して音響特徴量を抽出する手段と、音声信号の音響特徴量を多数の標準パターンと照合し、認識結果の各単語区間およびその照合スコアを取得する手段と、音声信号の音響特徴量を多数の参照パターンと照合して累積スコアを時系列で算出する手段と、各時刻における累積スコアの最大値を記憶する手段と、前記各単語区間の開始時刻および終了時刻における前記累積スコアの最大値に基づいて各単語区間の評価用スコアを算出する手段と、前記各単語区間の照合スコアおよび評価用スコアに基づいて各単語区間の信頼度を算出する手段とを含むことを特徴とする。
【００１３】
(2)参照パターンが、連続音節認識文法の接続規則に従って音響モデルを連結して生成されたことを特徴とする。
【００１４】
(3)累積スコアの最大値を記憶する手段は、同時刻に各参照パターンにおいて各音素の終端まで照合した結果の中で最大の累積スコア、あるいは各音節の終端まで照合した結果の中で最大の累積スコアを記憶することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
(1)各単語に対応する音声区間の評価用スコアを求める際に、発声全区間での照合スコアを最大とする音声区間と評価用パターン列との対応関係を求める必要がないので、より少ない計算量および記憶領域で認識結果の信頼度を算出できるようになる。
(2)評価用スコアを求める際に、連続音節認識文法を用いることで、標準パターンの前後関係を考慮した照合が可能になるので、照合結果の精度が向上する。
(3)累積スコアの最大値を抽出する際に、音素の終端まで照合した結果の中で最大の累積スコア、あるいは音節の終端まで照合した結果の中で最大の累積スコアを記憶するようにすれば、最大値の候補を予め少数に絞り込めるので、計算量を更に減ぜられるようになる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。図１は、本発明の一実施形態に係る音声認識装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１７】
音声検出部１０１は、入力された信号から音声を含む音声期間を切り出して音響分析部１０２へ送る。音声の切り出しには、例えば一般的に広く用いられる音声のパワーの大小に基づく検出法が使用できる。この手法では、音声のパワーを逐次計算し、音声パワーが予め定められた閾値を一定時間連続して上回った時点で音声区間が開始したと判定し、その逆に、音声パワーが予め定められた閾値を一定時間連続して下回った時点で音声区間が終了したと判定する。
【００１８】
音響分析部１０２は、音声信号を音響分析して音響特徴パラメータ系列を出力する。音響特徴パラメータ系列とは、入力音声を一定時間間隔（例えば１０ms：以下、フレームと表現する）毎に分析して得られる特徴ベクトルの時系列であり、LPCケプストラムやMFCCが広く用いられている。
【００１９】
音響モデル記憶部１０３には、日本語の音声を構成する単位である音素ごとに用意されたHMM(HiddenMarkov Model：隠れマルコフモデル)等の標準モデルが記憶されている。HMMは、単語や単語を構成する音素を表現するのに適切な確率モデルの１つであり、本実施形態では、この標準モデルを日本語単語・文章を構成する音素列に即して連結することで、任意の日本語単語・文章に対応する標準パターンを作成できる。
【００２０】
言語モデル記憶部１０４には、日本語の単語間、音素間等の接続関係を規定する言語モデルが記憶されている。この言語モデルとしては、(1)単語間の接続関係を規定する文法規則、(2)N個の単語の組が連続する確率を規定する統計的言語モデル（鹿野ら著：「IT Text 音声認識システム」オーム社）などが使用できる。
【００２１】
音声照合部１０５は、前記言語モデル記憶部１０４に記憶されている言語モデルに記述された接続規則で音響モデルを接続して標準パターンを生成すると共に、Viterbiアルゴリズムを用いて音響特徴パラメータ系列と標準パターンとを照合する。この結果、音声区間の終了まで照合した時点で両者の照合スコアの累積値を最大とする最尤パスに関して、各音声区間と標準パターンとの対応関係が得られる（中川聖一ら著：「確率モデルによる音声認識」電子情報通信学会）。
【００２２】
本実施形態では、認識結果として、標準パターンを構成する各単語に対応する音声区間（単語区間）の開始時刻および終了時刻、ならびに各単語区間の照合スコアを取得できる。なお、認識結果としては、照合スコアを最大とする単語列に限らず、照合スコアの上位N位（Nベスト）の文章を表す単語列、認識結果を単語ネットワークで表した認識結果ラティス等、音声認識結果として一般的に用いられる各種形式を用いることが可能である。
【００２３】
連続音節認識文法記憶部１０６には、音節間の接続関係を規定する連続音節認識文法が記憶されている。評価用照合部１０７は、連続音節認識文法に記述された接続規則に従って音響モデルを連結することで参照パターンを生成すると共に、Viterbiアルゴリズムを用いて音響特徴パラメータ系列と全ての参照パターンとを照合する。また、照合の過程で音声信号の始端から各時刻までの音響特徴量と
照合した全参照パターンについて求まる累積スコアの中で最大値を選別して最大スコア記憶部１０８に記憶する。この一連の処理は音声区間の始端から終端まで繰り返され、各時刻における最大スコアが算出・記憶される。なお、照合を行う際は、ビームサーチなどの手法を併用することで、照合に関わる計算量を削減することが可能である。
【００２４】
信頼度算出部１０９において、評価用スコア算出部１０９ａは、前記音声照合部１０５で得られた最尤パスの各単語区間Wi（iは単語区間識別子）の開始時刻ts(i)および終了時刻te(i)と同一時刻における最大スコアQref_ts(i)およびQref_te(i)を前記最大スコア記憶部１０８から抽出し、各単語区間Wiの評価用スコアQwi_refを、次式(1)に基づいて、両者の差分として算出する。
Qwi_ref＝Qref_te(i)−Qref_ts(i)  …  (1)
【００２５】
前記信頼度算出部１０９はさらに、次式(2)に基づいて、各単語区間Wiの照合スコアQwiと評価用スコアQwi_refとの差分を各単語区間Wiの時間長Δtwi(＝te(i)−ts(i))で除して信頼度Piを算出する。
Pi＝(Qwi−Qwi_ref)／Δtwi  …  (2)
【００２６】
次いで、フローチャートを参照して本発明の一実施形態の動作を詳細に説明する。図２は、本発明に係る音声認識処理の手順を示したフローチャートであり、図３は、前記音声照合部１０５の動作を示したフローチャートであり、図４は、前記評価用照合部１０７の動作を示したフローチャートである。
【００２７】
ステップＳ１において、前記音声検出部１０１により音声区間の開始が検出されると、ステップＳ２では、前記音響分析部１０２において、検知された音声信号がフレーム単位で分析されて音響特徴ベクトルの時系列（音響特徴パラメータ系列）に変換される。ステップＳ３では、前記音声照合部１０５において音声認識が実行される。ステップＳ４では、前記評価用照合部１０７において音声認識が実行される。
【００２８】
前記音声照合部１０５では、図３のステップＳ３１において音響特徴パラメータ系列がフレーム単位で取り込まれる。ステップＳ３２では、前記音響モデル記憶部１０３に記憶されている音響モデルを、前記言語モデル記憶部１０４に記憶されている接続規則にしたがって接続することで標準パターンが生成される共に、Viterbiアルゴリズムを用いて音響特徴パラメータ系列と全ての標準パターンとを照合することで両者の尤度が照合スコアとして定量的に算出される。
【００２９】
ステップＳ３３では、未処理の音響特徴パラメータ系列の有無が判別され、全ての音響特徴パラメータ系列に関して照合が完了するまではステップＳ３１へ戻り、照合スコアの低い観測系列を枝刈りしながら上記の処理が繰り返される。
【００３０】
その後、全ての音響特徴パラメータ系列に関して照合処理が完了するとステップＳ３４へ進み、照合スコアの累積値（累積スコア）の最も高い観察系列が最尤パスすなわち認識結果とされる。ステップＳ３５では、この最尤パスをバックトレースすることで、各単語区間Wiの開始時刻ts(i)および終了時刻te(i)、ならびに当該単語区間Wiの照合スコアQwiが取得される。
【００３１】
一方、評価用照合部１０７では、図４のステップＳ４１において音響特徴パラメータ系列がフレーム単位で取り込まれる。ステップＳ４２では、前記音響モデル記憶部１０３に記憶されている音響モデルを、前記連続音節認識文法記憶部１０６に記憶されている接続規則にしたがって接続することで参照パターンが生成される共に、Viterbiアルゴリズムを用いて音響特徴パラメータ系列と全ての参照パターンとを照合することで両者の累積スコアQrefが算出される。ステップＳ４３では、音響特徴パラメータ系列と全ての参照パターンとを照合して得られた累積スコアQrefの中で、当該時刻での最大値のみが時刻情報と共に最大スコア記憶部１０８に記憶される。
【００３２】
図５は、音響特徴パラメータ系列（横軸）と参照パターン（縦軸）との照合方法の一例を示した図であり、ここでは、一つの単語が無音区間→子音区間→母音区間→無音区間の４区間で構成され、各区間が３つのHMM状態から構成されている。白丸印（○）で示した各状態は、自分自身のHMM状態への遷移（図５では、右隣りへの自己遷移）と隣接する他のHMM状態への遷移（図５では、右下隣りへのL-R遷移）との繰り返して遷移していく。
【００３３】
音声認識では、文法が許容する全ての参照パターンを探索する必要があるため、このような探索が同時刻に参照パターンごとに進行するが、ここでは、一つの参照パターンのみを示している。
【００３４】
本実施形態では、各HMM状態の時刻t1，t2，t3…において観察系列ごとに得られる累積スコアQrefの中から最大値が抽出されて最大スコア記憶部１０８に記憶される。すなわち、参照パターンごとに各時刻tiにおいて全てのHMM状態の自己遷移の累積スコアおよびL-R遷移の累積スコアが求められ、その中の最大値が時刻tiと共に記憶される。
【００３５】
ステップＳ４４では、未処理の音響特徴パラメータ系列の有無が判別され、全ての音響特徴パラメータ系列に関して照合が完了するまではステップＳ４１へ戻り、累積スコアの低い観測系列を枝刈りしながら上記の処理が繰り返される。
【００３６】
以上のようにして、音声照合部１０５および評価用照合部１０７での照合処理が完了すると図２のステップＳ５へ進み、前記音声照合部１０５で得られた最尤パスの各単語区間Wiの開始時刻ts(i)および終了時刻te(i)において、前記評価用照合部１０７で得られた累積スコアQrefの最大値Qref_s(i)，Qref_e(i)が、前記最大スコア記憶部１０８から評価用スコア算出部１０９ａに取り込まれ、上式(1)に基づいて各単語区間Wiの評価用スコアQref_wiが算出される。ステップＳ６では、上式(2)に基づいて各単語区間Wiの信頼度Piが算出される。信頼度Piが所定の閾値を下回る単語区間が含まれている場合には、当該単語を認識結果から除外したり、あるいは再度の発声を話者に要求したりする。
【００３７】
なお、上記の実施形態では、累積スコアQrefの最大値を、各時刻tiにおける全ての観察系列の累積スコアの中から抽出するものとして説明したが、本発明はこれのみに限定されるものではなく、同時刻に各参照パターンにおいて音素の終端まで照合した結果の中で累積スコアが最大となるものを記憶しても良い。このようにすれば、図５の時刻t4に示したように、単語ごとに黒丸印で示した２つの観察系列の累積スコアしか最大値の候補と成り得ないので処理負荷を軽減できる。
【００３８】
或いは、同時刻に各参照パターンにおいて音節の終端まで照合した結果の中で累積スコアが最大となるものを記憶しても良い。このようにすれば、図５の時刻t5に示したように、単語ごとに黒丸印で示した１つの観察系列の累積スコアしか最大値の候補と成り得ないので、処理負荷を更に軽減できるようになる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態に係る音声認識装置の構成を示したブロック図である。
【図２】本発明に係る音声認識処理の手順を示したフローチャートである。
【図３】音声照合部（１０５）の動作を示したフローチャートである。
【図４】評価用照合部（１０７）の動作を示したフローチャートである。
【図５】音響特徴パラメータ系列と参照パターンとの照合方法の一例を示した図である。
【符号の説明】
【００４０】
１０１…音声検出部，１０２…音響分析部，１０３…音響モデル記憶部，１０４…言語モデル記憶部，１０５…音声照合部，１０６…連続音節認識文法記憶部，１０７…評価用照合部，１０８…最大スコア記憶部，１０９…信頼度算出部
【図１】
2010175807.tif 000003
【図２】
2010175807.tif 000004
【図３】
2010175807.tif 000005
【図４】
2010175807.tif 000006
【図５】
2010175807.tif 000007