(57)【要約】【課題】音声単位別の正規化された尤度比モデルの作成およびこの尤度比モデルを用いて正規化された音声認識の信頼度を算出する。【解決手段】音響モデル２８０と、音声データと正解ラベルで構成される開発データ２００と、ＧＭＭ２１０とを用いて、音声データの音響特徴量をフレームごとに算出し、音響特徴量に対して、正解ラベルと音響モデル２８０を用いて、正解ラベルに含まれる音声単位の正解尤度を算出し、音響特徴量に対して、ＧＭＭ２１０によるＧＭＭ尤度を算出し、フレームごとに、正解尤度とＧＭＭ尤度の音声単位別尤度比を算出し、開発データ２００に含まれる音声単位ごとに、音声単位に対応する音声単位別尤度比を確率変数とする確率分布関数を正規化した正規化確率分布関数（音声単位別尤度比モデル）を作成する。音声認識結果に対する信頼度は、音声単位別尤度比モデルを用いて算出する。【選択図】図２
2011017818.tif 000002
【特許請求の範囲】
【請求項１】
音響モデルと、音声データとこの音声データに対応付けられた正解ラベルで構成される開発データと、混合正規分布（ＧＭＭ）とを記憶する記憶手段と、
上記音声データの音響特徴量をフレームごとに算出する特徴量分析手段と、
フレームごとの上記音響特徴量に対して、上記正解ラベルと上記音響モデルを用いて、正解ラベルに含まれる音声単位の正解尤度を算出する正解尤度算出手段と、
フレームごとの上記音響特徴量に対して、上記ＧＭＭによる尤度（ＧＭＭ尤度）を算出するＧＭＭ尤度算出手段と、
フレームごとに、上記正解尤度と上記ＧＭＭ尤度の比（音声単位別尤度比）を算出する音声単位別尤度比算出手段と、
上記開発データに含まれる音声単位ごとに、音声単位に対応する上記音声単位別尤度比を確率変数とする確率分布関数を正規化した正規化確率分布関数（音声単位別尤度比モデル）を作成する音声単位別尤度比モデル作成手段と
を含む音声単位別尤度比モデル作成装置。
【請求項２】
請求項１に記載の音声単位別尤度比モデル作成装置において、
上記ＧＭＭは、学習用音声データの有声区間から学習された混合正規分布である
ことを特徴とする音声単位別尤度比モデル作成装置。
【請求項３】
請求項１または請求項２に記載の音声単位別尤度比モデル作成装置において、
上記ＧＭＭ尤度算出手段は、学習用音声データの無声区間から学習された無声モデルも用いて、上記ＧＭＭ尤度を算出する
ことを特徴とする音声単位別尤度比モデル作成装置。
【請求項４】
記憶部には、音響モデルと、音声データとこの音声データに対応付けられた正解ラベルで構成される開発データと、混合正規分布（ＧＭＭ）とが記憶されており、
上記音声データの音響特徴量をフレームごとに算出する特徴量分析ステップと、
フレームごとの上記音響特徴量に対して、上記正解ラベルと上記音響モデルを用いて、正解ラベルに含まれる音声単位の正解尤度を算出する正解尤度算出ステップと、
フレームごとの上記音響特徴量に対して、上記ＧＭＭによる尤度（ＧＭＭ尤度）を算出するＧＭＭ尤度算出ステップと、
フレームごとに、上記正解尤度と上記ＧＭＭ尤度の比（音声単位別尤度比）を算出する第１音声単位別尤度比算出ステップと、
上記開発データに含まれる音声単位ごとに、音声単位に対応する上記音声単位別尤度比を確率変数とする確率分布関数を正規化した正規化確率分布関数（音声単位別尤度比モデル）を作成する音声単位別尤度比モデル作成ステップと
を有する音声単位別尤度比モデル作成方法。
【請求項５】
音響モデルと、請求項１から請求項３のいずれかに記載の音声単位別尤度比モデル作成装置によって作成された音声単位別尤度比モデルと、混合正規分布（ＧＭＭ）とを記憶する記憶手段と、
認識対象である音声信号の音響特徴量をフレームごとに算出する特徴量分析手段と、
フレームごとの上記音響特徴量に対して、上記音響モデルを用いて、音声認識結果と当該音声認識結果に含まれる音声単位の認識結果尤度を算出する認識処理手段と、
フレームごとの上記音響特徴量に対して、上記ＧＭＭによる尤度（参照尤度）を算出する参照尤度算出手段と、
フレームごとに、上記認識結果尤度と上記参照尤度の比（音声単位別尤度比）を算出する音声単位別尤度比算出手段と、
上記音声認識結果に含まれる音声単位ごとに、当該音声単位に対応するフレームごとの上記音声単位別尤度比を入力としたときの上記音声単位別尤度比モデルの出力値（フレーム信頼度）をそれぞれ求め、これらフレーム信頼度のフレーム平均値を音声単位信頼度として求める音声単位信頼度算出手段と
を含む音声認識信頼度算出装置。
【請求項６】
請求項５に記載の音声認識信頼度算出装置において、
上記音声認識結果に含まれる各音声単位に対応する上記音声単位信頼度の平均値を上記音声認識結果の信頼度として算出する信頼度算出手段を含む
ことを特徴とする音声認識信頼度算出装置。
【請求項７】
請求項５または請求項６に記載の音声認識信頼度算出装置において、
上記音響モデルは、上記音声単位別尤度比モデルを作成する際に用いられた音響モデルと同じ音響モデルであり、
上記ＧＭＭは、上記音声単位別尤度比モデルを作成する際に用いられたＧＭＭと同じＧＭＭである
ことを特徴とする音声認識信頼度算出装置。
【請求項８】
記憶手段には、音響モデルと、請求項１から請求項３のいずれかに記載の音声単位別尤度比モデル作成装置によって作成された音声単位別尤度比モデルと、混合正規分布（ＧＭＭ）とが記憶されており、
認識対象である音声信号の音響特徴量をフレームごとに算出する特徴量分析ステップと、
フレームごとの上記音響特徴量に対して、上記音響モデルを用いて、音声認識結果と当該音声認識結果に含まれる音声単位の認識結果尤度を算出する認識処理ステップと、
フレームごとの上記音響特徴量に対して、上記ＧＭＭによる尤度（参照尤度）を算出する参照尤度算出ステップと、
フレームごとに、上記認識結果尤度と上記参照尤度の比（音声単位別尤度比）を算出する音声単位別尤度比算出ステップと、
上記音声認識結果に含まれる音声単位ごとに、当該音声単位に対応するフレームごとの上記音声単位別尤度比を入力としたときの上記音声単位別尤度比モデルの出力値（フレーム信頼度）をそれぞれ求め、これらフレーム信頼度のフレーム平均値を音声単位信頼度として求める音声単位信頼度算出ステップと
を含む音声認識信頼度算出方法。
【請求項９】
請求項１から請求項３のいずれかに記載された音声単位別尤度比モデル作成装置および／または請求項５から請求項７のいずれかに記載された音声認識信頼度算出装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声単位別の尤度比モデルの作成およびこの尤度比モデルを用いて音声認識の信頼度を算出する技術に関する。
【背景技術】
【０００２】
音声認識技術では、音声認識結果の信頼度を計算し、この信頼度で音声認識結果の正誤などを判断することがあるため、このような信頼度が重要な指標の一つとなっている。
【０００３】
例えば、音節認識結果の尤度（音節尤度）を参照尤度として用いる信頼度の算出方法として非特許文献１が挙げられる。この技術は、図１に示すように、特徴量分析部９０１が入力されたフレームごとのテジタル音声信号の音響特徴量を求め、認識処理部９０２は、音響モデル９０３と辞書・言語モデル９０４を用いてフレームごとの音響特徴量に対する音声認識処理を行い音声認識結果とその認識尤度（タスク尤度）を算出し、音節尤度算出部９０５がフレームごとの音響特徴量から音節尤度を求め、信頼度算出部９０６が、タスク尤度を音節尤度で正規化して信頼度を得ている。このように、この技術は、認識対象辞書を用いた音声認識によるタスク尤度を音節認識による音節尤度で正規化し、語彙外入力における正誤判別能力を高めている。
【０００４】
また、特許文献１には、認識尤度（スコア）が第１位の単語と異なる認識尤度が第２位以降の単語のうち認識尤度の最も高い単語の認識尤度と、第１位の認識尤度との尤度差を参照尤度として用いる、N-bestによる信頼度算出方法が開示されている。
【０００５】
また、音声認識システムの開発などのためのオープンソースの汎用大語彙連続音声認識エンジンとしてJulius（非特許文献２参照）などが存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許3819896号公報
【非特許文献】
【０００７】
【非特許文献１】渡辺隆夫、塚田聡、「音節認識を用いたゆう度補正による未知発話のリジェクション」、電子情報通信学会論文誌 D Vol.J75-D2 No.12 pp.2002-2009, 1992.
【非特許文献２】Julius、[平成２１年７月２日検索]、インターネット〈http://julius.sourceforge.jp/index.php〉
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記非特許文献１に開示される技術によると、音節尤度の算出処理が累積されるため認識処理全体の処理量が大きい。
【０００９】
上記特許文献１に開示される技術によると、N-bestを求めることで参照尤度が求まるため算出処理は少ないが、語彙外入力に対して正誤判別能力が必ずしも良好とは言えない。
【００１０】
また、従来技術における信頼度の計算はフレーム長やフレーム数に依存しているため、認識尤度および参照尤度の値域が定まらない。このため、言語的単位（例えば単語）や発声時間によらず普遍的に信頼度を正規化する（例えば0〜100の値に収める）ことが困難である。
【００１１】
このような状況に鑑みて、本発明は、音声単位別の正規化された尤度比モデルの作成およびこの尤度比モデルを用いて正規化された音声認識の信頼度を算出する各技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、音声単位別の正規化された尤度比モデルを作成する技術に関して、音響モデルと、音声データとこの音声データに対応付けられた正解ラベルで構成される開発データと、混合正規分布（ＧＭＭ）とを用いて、音声データの音響特徴量をフレームごとに算出し（特徴量分析）、フレームごとの音響特徴量に対して、正解ラベルと音響モデルを用いて、正解ラベルに含まれる音声単位の正解尤度を算出し（正解尤度算出）、フレームごとの音響特徴量に対して、ＧＭＭによる尤度（ＧＭＭ尤度）を算出し（ＧＭＭ尤度算出）、フレームごとに、正解尤度とＧＭＭ尤度の比（音声単位別尤度比）を算出し（音声単位別尤度比算出）、開発データに含まれる音声単位ごとに、音声単位に対応する音声単位別尤度比を確率変数とする確率分布関数を正規化した正規化確率分布関数（音声単位別尤度比モデル）を作成する（音声単位別尤度比モデル作成）。
【００１３】
このＧＭＭは、学習用音声データの有声区間から学習された混合正規分布であるとし、ＧＭＭ尤度算出では、学習用音声データの無声区間から学習された無声モデルも用いて、上記ＧＭＭ尤度を算出するようにしてもよい。
【００１４】
また、本発明は、この尤度比モデルを用いて正規化された音声認識の信頼度を算出する技術に関して、音響モデルと、上記作成された音声単位別尤度比モデルと、混合正規分布（ＧＭＭ）とを用いて、認識対象である音声信号の音響特徴量をフレームごとに算出し（特徴量分析）、フレームごとの音響特徴量に対して、音響モデルを用いて、音声認識結果と当該音声認識結果に含まれる音声単位の認識結果尤度を算出し（認識処理）、フレームごとの音響特徴量に対して、ＧＭＭによる尤度（参照尤度）を算出し（参照尤度算出）、フレームごとに、認識結果尤度と参照尤度の比（音声単位別尤度比）を算出し（音声単位別尤度比算出）、音声認識結果に含まれる音声単位ごとに、当該音声単位に対応するフレームごとの音声単位別尤度比を入力としたときの音声単位別尤度比モデルの出力値（フレーム信頼度）をそれぞれ求め、これらフレーム信頼度のフレーム平均値を音声単位信頼度として求める（音声単位信頼度算出）。
【００１５】
音声認識結果に含まれる各音声単位に対応する音声単位信頼度の平均値を音声認識結果の信頼度として算出（信頼度算出）してもよい。
【００１６】
信頼度算出技術に関して、音響モデルを音声単位別尤度比モデルを作成する際に用いられた音響モデルと同じ音響モデルとし、ＧＭＭを音声単位別尤度比モデルを作成する際に用いられたＧＭＭと同じＧＭＭとすることが好ましい。
【００１７】
また、本発明の音声単位別尤度比モデル作成装置としてコンピュータを機能させるプログラムによって、コンピュータを音声単位別尤度比モデル作成装置として作動処理させることができる。同様に、本発明の音声認識信頼度算出装置としてコンピュータを機能させるプログラムによって、コンピュータを音声認識信頼度算出装置として作動処理させることができる。詳細は実施形態で説明するが、音声単位別尤度比モデル作成装置と音声認識信頼度算出装置を単一装置として実現することも可能であり、このような場合、本発明の音声単位別尤度比モデル作成装置および音声認識信頼度算出装置としてコンピュータを機能させるように記述されたプログラムによって、コンピュータを音声単位別尤度比モデル作成装置および音声認識信頼度算出装置として作動処理させることができる。
【発明の効果】
【００１８】
本発明に拠れば、音声単位別の正規化された尤度比モデルの作成し、この尤度比モデルを用いて正規化された音声認識の信頼度を算出するから、言語的単位や発声時間によらず普遍的に正規化された信頼度を得ることができ、また、その取り扱いが便利である。
【図面の簡単な説明】
【００１９】
【図１】音節認識結果尤度（音節尤度）を参照尤度として用いる従来の信頼度算出技術を説明する図。
【図２】本発明による実施形態の音素別尤度比モデル作成処理を実施する機能構成例を示す図。
【図３】本発明による実施形態の音素別尤度比モデル作成処理を実施する処理フローを示す図。
【図４】本発明による実施形態の音素別尤度比モデル作成処理の具体例を示す図。
【図５】本発明による実施形態の音声認識信頼度算出処理を実施する機能構成例を示す図。
【図６】本発明による実施形態の音声認識信頼度算出処理を実施する処理フローを示す図。
【図７】本発明による実施形態の音声認識信頼度算出処理の具体例を示す図。
【図８】ＧＭＭと無声モデルを用いた辞書構成を示す図。
【図９】認識結果とその音素信頼度の例を示す図。
【図１０】信頼度算出を含めた認識速度の比較表。
【図１１】正誤判別能力の度合いを評価する等誤り率の比較表。
【発明を実施するための形態】
【００２０】
図面を参照して本発明の実施形態を説明する。
本発明の実施形態である音声単位別尤度比モデル作成装置１は、それ単体で独立に存在するよりは、作成された音声単位別尤度比モデルを用いて音声認識を行う装置（本発明の実施形態である音声認識信頼度算出装置２）を構成する構成要素として存在することが実用的な場合がある。さらに云えば、音声単位別尤度比モデル作成装置１は、音声認識信頼度算出装置２とは容易に分離可能に音声認識信頼度算出装置２を構成する構成要素ではなく、音声認識信頼度算出装置２自体を或る機能に着眼して片面的に評価したものと云うこともできる。要するに、音声単位別尤度比モデル作成装置１は、音声認識信頼度算出装置２そのものであることが凡そ実用的と言うことができる。
ただし、音声単位別尤度比モデル作成装置１が、単体独立の構成要素として存在すること、音声認識信頼度算出装置２とは容易に分離可能に音声認識信頼度算出装置２を構成する構成要素であることを排除する趣旨ではない。例えば音声単位別尤度比モデルの作成自体を目的とするならば、音声単位別尤度比モデル作成装置１を単体独立の構成要素として実現することに何らの妨げは無い。
ここで音声認識信頼度算出装置２は、例えば専用のハードウェアで構成された専用機やパーソナルコンピュータのような汎用機といったコンピュータで実現されるとし、単体独立の構成要素として音声単位別尤度比モデル作成装置１を実現する場合も同様である。
【００２１】
音声認識信頼度算出装置２を単体単独の構成要素として、これをコンピュータで実現する場合のハードウェア構成例を説明する。音声単位別尤度比モデル作成装置１は、音声認識信頼度算出装置２を構成する構成要素として説明する。
【００２２】
＜音声認識信頼度算出装置２のハードウェア構成例＞
音声認識信頼度算出装置２は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、音声認識信頼度算出装置２に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００２３】
音声認識信頼度算出装置２の外部記憶装置には、音声単位別尤度比モデル作成のためのプログラム、音声認識信頼度算出のためのプログラム並びにこれらのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【００２４】
実施形態では、記憶部の所定の記憶領域に、開発データ２００がデータとして記憶されている。開発データ２００は、音声データ（肉声のアナログデータ）とこの音声データに対応付けられた音声単位（例えば音素、音節、半音節などであり、本実施形態では音素とする。）による正解ラベルから構成される開発データリストを複数含んでいる。但し、このような構成に限定されるものではなく、例えば、音響分析結果とこの音響分析結果に対応付けた音声単位による正解ラベルから構成するとしてもよいし、あるいは、ディジタル化された音声データとこの音声データに対応付けられた音声単位による正解ラベルから構成されるとしてもよい。このような開発データ２００は、音響モデルの学習などに用いる既存の学習データと同じであってもよく、例えば総音声時間長で１００時間を越えるデータ量を擁していることが望ましい。
【００２５】
また、記憶部の所定の記憶領域に、ＧＭＭ（Gaussian Mixture Model；混合正規分布（混合ガウス分布））２１０と無声モデル２２０がデータとして記憶されている。ＧＭＭ２１０は、例えば音声認識に用いる音響モデルを学習するための学習用音声データ（この学習用音声データに特別の限定は無い。）の無声区間を除く全音声区間から学習された、いわば可能な限り多くの音素（最良には全音素）の特徴を包含するように学習された一種の音響モデルである。また、無声モデル２２０は、例えば音声認識に用いる音響モデルを学習するための学習用音声データ（この学習用音声データに特別の限定は無く、ＧＭＭを学習する際に用いた学習用音声データと異なる学習用音声データでもよい。）の無声区間から学習された一種の音響モデルである。
【００２６】
音声認識信頼度算出装置２の記憶部には、音響特徴量を算出するためのプログラム、正解尤度を算出するためのプログラム、ＧＭＭ尤度を算出するためのプログラム、正解尤度とＧＭＭ尤度を用いて音素別尤度比を算出するためのプログラム、音素別尤度比モデルを作成するためのプログラム、音声認識を行うためのプログラム、参照尤度を算出するためのプログラム、認識結果尤度と参照尤度を用いて音素別尤度比を算出するためのプログラム、音素ごとに信頼度を算出するためのプログラム、認識結果に対する信頼度を算出するためのプログラムが記憶されている。
【００２７】
音声認識信頼度算出装置２では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（特徴量分析部、正解尤度算出部、ＧＭＭ尤度算出部、第１音素別尤度比算出部、音素別尤度比モデル作成部、認識処理部、参照尤度算出部、第２音素別尤度比算出部、音素信頼度算出部、認識信頼度算出部）を実現することで音素別尤度比モデルの作成並びに音声認識信頼度の算出が実現される。
なお、正解尤度算出部、ＧＭＭ尤度算出部、第１音素別尤度比算出部、音素別尤度比モデル作成部は、音声認識信頼度算出装置２の必須の構成要素ではない。また、実施形態の音声単位別尤度比モデル作成装置１は、特徴量分析部、正解尤度算出部、ＧＭＭ尤度算出部、第１音素別尤度比算出部、音素別尤度比モデル作成部を含んで構成されるが、認識処理部、参照尤度算出部、第２音素別尤度比算出部、音素信頼度算出部、認識信頼度算出部は、音声単位別尤度比モデル作成装置１の必須の構成要素ではない。
【００２８】
次に、実施形態として、図２−図８を参照しながら、音声単位別尤度比モデル作成装置１による音声単位別尤度比モデル作成処理を含む音声認識信頼度算出装置２による音声認識信頼度算出処理の流れを叙述的に説明する。
【００２９】
＜音素別尤度比モデル作成処理＞
開発データリストごとに以下の処理を行う（ステップＳ１−Ｓ６）。
図示しないＡ/Ｄ変換部などでテジタル化された、開発データリストに含まれる音声データを入力音声信号として、特徴量分析部１０１は、入力音声信号の複数サンプルのまとまり（以下、フレームという。）ごとにケプストラム、音声パワー（例えば参考文献１）など音声認識処理に用いるものと同じ種類の音響特徴量を算出する（ステップＳ２）。
（参考文献１）古井貞煕、“ディジタル音声処理”、東海大学出版会
【００３０】
次に正解尤度算出部１０２は、フレームごとの音響特徴量に対して、その入力音声信号に対応する正解ラベルと音響モデル２８０（音素環境依存モデル、音素環境独立モデルなど）とを用いて音声認識を行い、正解ラベルに含まれる音素の発声区間位置（以下、音素アライメントという。）Ａcorrect(f,T)［fはファイル名、Tはフレーム番号］を検出すると共に、フレームＴの音響特徴量に対する音素α(f,T)の音響モデル２８０の正解尤度Ｐcorrect(f,T)を各フレームにおいて算出する（ステップＳ３）。ここで用いる音響モデル２８０は音声認識時に用いる音響モデルと同じものである。
【００３１】
具体例を図４に示して説明する。例えば、発声内容が「とうきょう」である音声データ（便宜的にデータ名を1.pcmとする。）［フレーム長２９］と、その正解ラベルの音素列「t/ou/k/y/ou」（記号"/"で区切られている単位が音素である。）が与えられた場合、正解尤度算出部１０２は、例えば正解ラベルに含まれる音素「t」の発声区間である第５〜７フレームについて音素アライメントＡcorrect(‘1.pcm’,5≦T≦7)=「t」を検出し、それと共に、第５フレームの音響特徴量に対する音素「t」の音響モデルの正解尤度Ｐcorrect(‘1.pcm’,5)、第６フレームの音響特徴量に対する音素「t」の音響モデルの正解尤度Ｐcorrect(‘1.pcm’,6)、といったように順に正解尤度Ｐcorrect(‘1.pcm’,T)［T=5,6,7］を求める。また、正解尤度算出部１０２は、次の第８〜１３フレームが正解ラベルに含まれる音素「ou」の発声区間であるから、第８〜１３フレームについて音素アライメントＡcorrect(‘1.pcm’,8≦T≦13)=「ou」を検出し、それと共に、その区間の各フレームの音響特徴量に対する音素「ou」の音響モデルの正解尤度Ｐcorrect(‘1.pcm’,8)、・・・、Ｐcorrect(‘1.pcm’,13)を得る。以降のフレームも同様である。
なお、図４中の「sil」とは「silence」すなわち無声区間のことである。この無声区間についても同様に音素アライメントＡcorrect(f,T)と正解尤度Ｐcorrect(f,T)が求められる。
【００３２】
次に、ＧＭＭ尤度算出部１０３は、フレームごとの音響特徴量とＧＭＭ２１０と無声モデル２２０を用いて音声認識を行い、音響特徴量に対するＧＭＭ尤度ＰGMM(f,T)をフレームごとに算出する（ステップＳ４）。ＧＭＭ２１０は学習データの無声区間を除く全音声区間から学習された一種の音響モデルであるところ、実際の音声認識では認識対象音声に無声区間が含まれることが通常であるから、ＧＭＭ尤度算出部１０３は、無声モデル２２０も用いて音声認識を行いその尤度を求める。すなわち、ＧＭＭ尤度算出部１０３は、図８に示すようなＧＭＭ２１０と無声モデル２２０からなる辞書（文法）を用いて、両モデルによる音響特徴量に対する尤度をそれぞれ求め、その大きい方をＧＭＭ尤度ＰGMM(f,T)とする。なお、ＧＭＭによる尤度計算自体は例えば上記非特許文献２などで行われている手法を使えばよい。
【００３３】
図４に示す具体例の場合、ＧＭＭ尤度算出部１０３は、音声データ1.pcmから算出した音響特徴量に対するＧＭＭ尤度ＰGMM(‘1.pcm’,1)、ＰGMM(‘1.pcm’,2)、・・・、ＰGMM(‘1.pcm’,29)を求める。
【００３４】
次に、第１音素別尤度比算出部１０４は、フレームごとに、先に求められた正解尤度とＧＭＭ尤度の比Ｐcorrect(f,T)÷ＰGMM(f,T)を音素別尤度比Ｐratio(f,T)として算出し、その音素アライメントＡcorrect(f,T)とともに音素別尤度比記憶部２３０に記憶する（ステップＳ５）。
この処理を入力音声信号の全フレームについて実施する。
【００３５】
図４に示す具体例の場合、例えば第５フレーム（音素「t」）の音素別尤度比Ｐratio(‘1.pcm’,5)は、「正解尤度Ｐcorrect(‘1.pcm’,5)」÷「ＧＭＭ尤度ＰGMM(‘1.pcm’,5)」で算出される。また、第８フレーム（音素「ou」）の音素別尤度比Ｐratio(‘1.pcm’,8)は、「正解尤度Ｐcorrect(‘1.pcm’,8)」÷「ＧＭＭ尤度ＰGMM(‘1.pcm’,8)」で算出される。他のフレームについても同様である。
【００３６】
ステップＳ２−Ｓ５の各処理を開発データ２００に含まれる全ての開発データリストに対して実施した後（ステップＳ６）、音素別尤度比モデル作成部１０５は、音素ごとに尤度比モデルを作成する（ステップＳ７−Ｓ９）。具体的には、音素別尤度比モデル作成部１０５は、音素別尤度比記憶部２３０から、開発データ２００に含まれる音素の種類ごとに、音素αに対応する音素別尤度比Ｐratio(f,T)を読み込み、これら音素別尤度比Ｐratio(f,T)を確率変数とする確率分布関数（例えば正規分布）をその最大値（例えば出現累積値）で正規化した正規化確率分布関数Ｄ(α)を音素別尤度比モデルとして、音素別尤度比モデル記憶部２４０に記憶する。この処理を開発データ２００に含まれる音素の全ての種類について実施する。例えば開発データ２００に「t」、「ou」など３０種類の音素が含まれていた場合には、Ｄ(‘t’)、Ｄ(‘ou’)など３０種類の音素別尤度比モデルが作成されることになる。
上述の一連の処理が、＜音素別尤度比モデル作成処理＞である。
【００３７】
音素別尤度比モデル作成処理によって作成された音素別尤度比モデルによれば、後述する音声認識処理にて得られた音素αの音素別尤度比に対して、音素αの音素別尤度比モデルの出力値（確率変数として音素別尤度比を入力とするときの確率分布関数の出力値）は１を上限とする高い値となり、音素α以外の音素別尤度比モデルの出力値は０を下限とする低い値になる。
【００３８】
＜音声認識信頼度算出処理＞
図示しないＡ/Ｄ変換部などでテジタル化された、音声認識対象のデジタル音声信号を入力音声信号として、特徴量分析部１０１は、入力音声信号の複数サンプルのまとまり（以下、フレームという。）ごとにケプストラム、音声パワー（上記参考文献１参照）など音声認識処理に用いる音響特徴量を算出する（ステップＳ１ｐ）。
【００３９】
次に、認識処理部１０６は、フレームごとの音響特徴量と音響モデル２８０と音声認識用辞書（場合によっては言語モデルを含む。）２８２を用いて音声認識処理を行い、認識結果と、認識結果に含まれる音素の音素アライメントＡresult(T)と、各フレームの認識結果尤度Ｐresult(T)を求める（ステップＳ２ｐ）。Tはフレーム番号を表す。
【００４０】
具体例を図７に示して説明する。例えば、発声内容が「とうきょう」である入力音声信号［フレーム長２７］に対する認識結果第１位の音素列が「t/ou/k/y/ou」であった場合、認識処理部１０６は、例えば認識結果音素「t」の発声区間である第３〜５フレームについて音素アライメントＡresult(3≦T≦5)=「t」を得て、それと共にその区間の各フレームの音響特徴量に対する認識結果音素「t」の音響モデルの認識結果尤度Ｐresult(3)、・・・、Ｐresult(5)を得る。同様に、認識処理部１０６は、次の認識結果音素「ou」の発声区間である第６〜１２フレームについて音素アライメントＡresult(6≦T≦12)=「ou」を得て、それと共にその区間の各フレームの音響特徴量に対する認識結果音素「ou」の音響モデルの認識結果尤度Ｐresult(6)、・・・、Ｐresult(12)を得る。以降のフレームも同様である。
なお、図４中の無声区間silについても同様に音素アライメントＡresult(T)と認識結果尤度Ｐresult(T)が求められる。
【００４１】
また、参照尤度算出部１０７は、フレームごとの音響特徴量とＧＭＭ２１０と無声モデル２２０を用いて音声認識を行い、音響特徴量に対する参照尤度Ｐref(T)をフレームごとに算出する（ステップＳ３ｐ）。この処理は、ＧＭＭ尤度算出部１０３の処理と同様であり、図８に示すようなＧＭＭ２１０と無声モデル２２０からなる辞書（文法）を用いて、両モデルによる音響特徴量に対する尤度をそれぞれ求め、その大きい方を参照尤度Ｐref(T)とする。なお、音声認識信頼度算出処理で用いるＧＭＭ２１０と無声モデル２２０は、音素別尤度比モデル作成処理で用いたＧＭＭ２１０と無声モデル２２０と同じとする。
【００４２】
図７に示す具体例の場合、参照尤度算出部１０７は、入力音声信号から算出した音響特徴量に対する参照尤度Ｐref(1)、・・・、Ｐref(27)を求める。
【００４３】
次に、第２音素別尤度比算出部１０８は、フレームごとに、認識結果尤度と参照尤度の比Ｐresult(T)÷Ｐref(T)を音素別尤度比Ｐratio(T)として算出し、その音素アライメントＡcorrect(f,T)とともに音素別尤度比記憶部２５０に記憶する（ステップＳ４ｐ）。
【００４４】
図７に示す具体例の場合、例えば第３フレーム（認識結果音素「t」）の音素別尤度比Ｐratio(3)は、「認識結果正解尤度Ｐresult(3)」÷「参照尤度Ｐref(3)」で算出される。また、第６フレーム（認識結果音素「ou」）の音素別尤度比Ｐratio(6)は、「認識結果尤度Ｐresult(6)」÷「参照尤度ＰGMM(6)」で算出される。他のフレームについても同様である。
【００４５】
続いて音素信頼度算出部１０９は、一つ以上連続する同一の認識結果音素αに対応する音素アライメントＡresult(Tstart(α)≦T≦Tend(α))=「α」について以下の処理を行い、この処理を認識結果に現われる全ての認識結果音素について行う（ステップＳ５ｐ−Ｓ７ｐ）。なお、Tstart(α)は認識結果音素αの開始フレーム番号であり、Tend(α)は認識結果音素αの終了フレーム番号である。また、種類としては同じ認識結果音素であっても、開始フレーム番号が異なる場合には個別に当該処理を適用する。例えば、図７に示す例では、認識結果に認識結果音素「ou」が２回（第６〜１２フレーム、第１９〜２４フレーム）現われるが、種類としては同じ認識結果音素「ou」であっても開始フレーム番号が異なるため個別に当該処理を適用することとし、第６〜１２フレームについてTstart(‘ou’)=6、Tend(‘ou’)=12であり、同じく第１９〜２４フレームについてTstart(‘ou’)=19、Tend(‘ou’)=24である。
当該処理の内実は次のとおりである。音素信頼度算出部１０９は、音素アライメントＡresult(Tstart(α)≦T≦Tend(α))=「α」内の各フレームT=Tstart(α)，Tstart(α)+1，・・・，Tend(α)-1，Tend(α)について、音素別尤度比モデル記憶部２４０に記憶されている音素αの音素別尤度比モデルＤ(α)を用いて、音素別尤度比記憶部２５０に記憶されている音素別尤度比Ｐratio(T)に対応する音素別尤度比モデルＤ(α)の出力値Ｄ(α,Ｐratio(T))（以下、フレーム信頼度という。）を求める。以下、フレーム信頼度Ｄ(α,Ｐratio(T)) (Tstart(α)≦T≦Tend(α))をＣframe(T) (Tstart(α)≦T≦Tend(α))と記す。そして、音素信頼度算出部１０９は、この音素アライメントＡresult(Tstart(α)≦T≦Tend(α))=「α」について、フレーム信頼度Ｃframe(T) (Tstart(α)≦T≦Tend(α))の累積（総和）をフレーム数（Tend(α)-Tstart(α)+1）で割ったフレーム平均値を音素アライメントＡresult(Tstart(α)≦T≦Tend(α))=「α」における音素信頼度Ｃphone[Tstart(α)：Tend(α)]とする。
【００４６】
図７に示す具体例の場合、先頭から２番目の音素アライメントはＡresult(3≦T≦5)=「t」であるため、音素別尤度比モデル記憶部２４０に記憶されている音素「t」の音素別尤度比モデルＤ(‘t’)を用いて、フレームTごとに音素別尤度比Ｐratio(3)、Ｐratio(4)、Ｐratio(5)に対する音素別尤度比モデルＤ(‘t’,Ｐratio(T))の値であるフレーム信頼度Ｃframe(3)、Ｃframe(4)、Ｃframe(5)を求め、これらのフレーム平均値を求め音素信頼尺度Ｃphone[3:5]とする。その他の音素アライメントについても同様の処理を行う。
【００４７】
次に、信頼度算出部１１０は、音素信頼度算出部１０９によって計算された音素信頼度Ｃphoneの全音素アライメントにおける平均値を認識結果の信頼度Ｃとして算出する（ステップＳ８ｐ）。
【００４８】
図７に示す具体例では、認識結果第１位に対する信頼度Ｃの算出例を図示したが、認識結果第２位以降の各認識結果についても同様に信頼度を求める実施形態も許容される。
上述の一連の処理が、＜音声認識信頼度算出処理＞である。
【００４９】
信頼度の正規化については、図９に示す認識結果第１位のように、入力音声信号に対する認識結果が正解であった場合、いずれの音素アライメントにおいてもフレーム信頼度Ｃframe(T)は、１を上限とする高い値になるため、音素信頼尺度Ｃphone、ひいては信頼度Ｃも高い値となる。
一方、入力音声信号に対する認識結果が不正解であった場合、例えば図９に示す認識結果第２位のように発声内容が「とうきょう（t/ou/k/y/ou）」である入力音声信号に対する認識結果が「t/ou/ch/y/ou」であった場合、音素「k」を音素「ch」に誤認識したことになる。この音素アライメントにおいて本来「k」と発声している音素特徴量に対して、認識結果音素「ch」の音素別尤度比モデルから低いフレーム信頼度Ｃframe(T)が出力されることが推測される。そのため認識結果全体の信頼度も、正解時の信頼度と比較して低い値をとることになり、この信頼度の大小によって認識結果に対する確信度合い、つまり信頼度が高ければ正解の可能性が高い、信頼度が低ければ誤認識の可能性が高いことが表現できる。
【００５０】
≪補記≫
実施形態において、音声単位別尤度比モデルの作成のみを行う場合には、ステップＳ１ｐ−Ｓ８ｐの各処理を省略できる。また、実施形態において、音素信頼度のみを必要とする場合、ステップＳ８ｐの処理を省略することができる。ここでは、音声単位として音素を例としたが、音節などその他の音声単位を用いる場合には、上記説明において「音素」を「音節」などに読み替えればよい。
【００５１】
音声単位別尤度比モデル作成装置１と音声認識信頼度算出装置２を各別の装置として構成する場合などでは、音声単位別尤度比モデル作成装置１の音素別尤度比モデル作成部１０５が作成した音声単位別尤度比モデルを（例えば記録媒体を介して）音声認識信頼度算出装置２の記憶部に記憶し、音素信頼度算出部１０９がこの記憶された音声単位別尤度比モデルを用いて音素信頼度Ｃphoneを得ることができる。この場合、音声認識信頼度算出装置２が用いる音響モデル２８０は、音声単位別尤度比モデル作成装置１で用いられた音響モデル２８０と同じであることが好適であるが、必ずしも同一の音響モデルを用いる必要はない。一例として、音響モデルの学習に用いる学習データは重複するが、音響モデルの構造が異なる（ＨＭＭ（Hidden Markov Model）の状態や混合数が異なるなど）場合には、異なる音響モデルを用いることが可能である。
【００５２】
以上の実施形態の他、本発明である音声単位別尤度比モデル作成装置・方法、音声認識信頼度算出装置・方法は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、各実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００５３】
また、上記音声単位別尤度比モデル作成装置／音声認識信頼度算出装置における処理機能をコンピュータによって実現する場合、音声単位別尤度比モデル作成装置／音声認識信頼度算出装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記音声単位別尤度比モデル作成装置／音声認識信頼度算出装置における処理機能がコンピュータ上で実現される。
【００５４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、音声単位別尤度比モデル作成装置／音声認識信頼度算出装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【実施例１】
【００５８】
図１０に示す表１は信頼度算出を含めた認識速度（RTF: Real Time Factor; 認識処理時間を音声長で正規化した数値）の比較表である。本発明はＧＭＭを用いているところ、例えば本実施例で６４混合のガウス分布からなるＧＭＭを用いたとしても、本実施例の方が音節認識結果尤度による従来手法より遙かに計算量が少ない。むしろ、本実施例は計算量の少ないN-bestによる従来手法と同程度の計算量で済むことが比較表から見て取れる。
【００５９】
図１１に示す表２は正誤判別能力の度合いを評価する等誤り率（EER: Equal Error Rate; 正解を誤って棄却する誤棄却率と、誤認識や語彙外を誤って受理する誤受理率が等しくなる値で、等誤り率が小さい方が良いとされる）の比較表である。本発明は音素モデルを包含したＧＭＭを用いているため、本実施例は、音節認識結果尤度による従来手法と等価以上の良好な効果が得られており、かつN-bestによる従来手法よりも等誤り率が低く、正誤判別能力が良いことがわかる。
【図１】
2011017818.tif 000003
【図２】
2011017818.tif 000004
【図３】
2011017818.tif 000005
【図４】
2011017818.tif 000006
【図５】
2011017818.tif 000007
【図６】
2011017818.tif 000008
【図７】
2011017818.tif 000009
【図８】
2011017818.tif 000010
【図９】
2011017818.tif 000011
【図１０】
2011017818.tif 000012
【図１１】
2011017818.tif 000013