(57)【特許請求の範囲】
【請求項１】
入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルと、を出力する音声認識部と、
上記各単語の発話特徴量ベクトルを入力として、その各単語の正解不正解と誤り原因の推定値とその確からしさを推定する正誤・誤り原因推定部と、を備える音声認識装置であって、
上記正誤・誤り原因推定部は、
上記発話特徴量ベクトルと正誤・誤り原因ラベルベクトルとの関係を表す識別モデルに基づく条件付確率を計算するのに必要なモデルパラメータを記録したモデルパラメータ記録部と、
上記各単語の発話特徴量ベクトルを入力として、予め設定された上記正誤・誤り原因ラベルベクトルの取り得る状態毎に、上記識別モデルに基づく条件付確率を上記モデルパラメータを用いて計算する正誤・誤り原因条件付確率計算部と、
注目する正誤・誤り原因ラベルベクトルの要素について、上記条件付確率の周辺化を行い正誤ラベルと各誤り原因ラベルの周辺化条件付確率を計算する正誤・誤り原因条件付確率周辺化部と、
を具備することを特徴とする音声認識装置。
【請求項２】
請求項１に記載した音声認識装置において、
上記周辺化条件付確率が最大になる上記正誤・誤り原因ラベルベクトルを選択し、当該選択結果の正解不正解と誤り原因の推定値を、上記周辺化条件付確率の積で表せる条件付確率と共に出力する正誤・誤り原因選択部を、更に備えることを特徴とする音声認識装置。
【請求項３】
請求項１又は２に記載した音声認識装置において、
上記正誤・誤り原因ラベルベクトル若しくは誤り原因ラベルベクトルを入力として、それらラベルベクトルに対応した正誤・誤り原因メッセージを生成する正誤・誤り原因メッセージ生成部を、更に備えることを特徴とする音声認識装置。
【請求項４】
入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルと、を出力する音声認識過程と、
上記各単語の発話特徴量ベクトルを入力として、その各単語の正解不正解と誤り原因の推定値、及びその確からしさを推定する正誤・誤り原因推定過程と、を備える音声認識方法であって、
上記正誤・誤り原因推定過程は、
上記各単語の発話特徴量ベクトルを入力として、予め設定された正誤・誤り原因ラベルベクトルの取り得る状態毎に、モデルパラメータ記録部に記録された上記発話特徴量ベクトルと上記正誤・誤り原因ラベルベクトルとの関係を表す識別モデルに基づく条件付確率を計算するのに必要なモデルパラメータを用いて、上記識別モデルに基づく条件付確率を計算する正誤・誤り原因条件付確率計算ステップと、
注目する正誤・誤り原因ラベルベクトルの要素について、上記条件付確率の周辺化を行い正誤ラベルと各誤り原因ラベルの周辺化条件付確率を計算する正誤・誤り原因条件付確率周辺化ステップと、
を含むことを特徴とする音声認識方法。
【請求項５】
請求項４に記載した音声認識方法において、
上記周辺化条件付確率が最大になる上記正誤・誤り原因ラベルベクトルを選択し、当該選択結果の正解不正解と誤り原因の推定値を、上記周辺化条件付確率の積で表せる条件付確率と共に出力する正誤・誤り原因選択過程を、更に備えることを特徴とする音声認識方法。
【請求項６】
請求項４又は５に記載した音声認識方法において、
上記正誤・誤り原因ラベルベクトル若しくは誤り原因ラベルベクトルを入力として、それらラベルベクトルに対応した正誤・誤り原因メッセージを生成する正誤・誤り原因メッセージ生成過程を、更に備えることを特徴とする音声認識方法。
【請求項７】
請求項１乃至３の何れかに記載した音声認識装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力音声信号の音声認識結果が、どの程度信頼できるかを表す信頼度と誤り原因を推定するようにした音声認識装置と、その方法とプログラムに関する。
【背景技術】
【０００２】
音声認識結果の信頼度（正解不正解とその確からしさ）を推定する音声認識装置としては、特許文献１に開示されたものが知られている。図１０にその音声認識装置９００の機能構成を示して動作を簡単に説明する。音声認識装置９００は、記憶部４、発話分割部５、音声認識部６、音響モデル格納部１０、辞書・言語モデル格納部１２、情報変換部２０、信頼度付与部２２、識別モデル格納部２９、出力部２６、を備える。
【０００３】
記憶部４は、入力端子２に入力される音声信号を離散値化したディジタル音声信号として記憶する。発話分割部５は、所定値以上継続する無音区間に挟まれたディジタル音声信号を一発話として分割する。音声認識部６は、音響分析部８と認識探索部７とから構成される。音響分析部８は、ディジタル音声信号を特徴量ベクトルの時系列に変換する。認識探索部７は、音響モデル格納部１０と辞書・言語モデル格納部１２に格納された音響モデルと言語モデルを用いて、辞書・言語モデル格納部１２に登録されている単語列と特徴量ベクトルの時系列との照合を行い、照合尤度が最も高い単語列を認識結果として出力する。
【０００４】
音響分析部８における音声分析方法としてよく用いられるのは、ケプストラム分析であり、特徴量としてはＭＦＣＣ（Mel Frequency Cepstral Coefficient）、ΔＭＦＣＣ、ΔΔＭＦＣＣ、対数パワー、Δ対数パワー等があり、これらが１０〜１００次元程度の特徴量ベクトルを構成する。分析フレーム幅は３０ｍｓ程度、分析フレームシフト幅は１０ｍｓ程度で分析が実行される。
【０００５】
音響モデルは、上記 ＭＦＣＣ等の音声の特徴量を音素等の適切なカテゴリでモデル化したものである。この音響モデルを用いて入力音声のフレーム毎の特徴量と各カテゴリのモデルとの音響的な近さが音響尤度として計算される。現在のモデル化の手法としては、確率・統計理論によるＨＭＭ（Hidden Markov Model）に基づくものが主流となっている。言語モデルの形式は、単語リスト、定型文法、Ｎ−gramモデルの三つに大別される。孤立単語発声を認識対象とする音声認識装置においては、認識対象の単語を列挙した単語リストが用いられる（単語リストは辞書・言語モデル格納部１２に格納されている辞書と等価である）。定型的な文章発声を認識対象とする音声認識装置においては、辞書・言語モデル格納部１２に登録されている単語を連結して、装置で受理する発話内容（文章）を記述した定型文法が用いられる。自由な連続発話を認識対象とする音声認識装置においては、辞書・言語モデル格納部１２に登録されている単語のＮ連鎖確率を保持しているＮ−gramモデルが用いられ、これによりＮ連鎖以下の単語のつながり易さが言語尤度として計算される。以上のような音響モデル、言語モデルを用いた音声認識装置については、例えば非特許文献１と２に詳述されている。
【０００６】
情報変換部２０は、単語列を構成する各単語について、例えば図１１に示す様な発話特徴量ベクトルに変換する。発話特徴量ベクトルの各単語の品詞情報は、この例では３７種類に分類される。品詞情報に付随する音響尤度スコアと言語尤度スコアと音素継続時間長は、この例ではそれぞれの平均値、分散値、最大値、最小値、が計算される。
【０００７】
信頼度付与部２２は、発話特徴量ベクトルを評価して信頼度を付与する。信頼度の付与は、識別モデル格納部２９に格納されている予め学習した発話特徴量ベクトルと音声認識率とを関連付けた値と、情報変換部２０が出力する発話特徴量ベクトルとを対比することで行う。例えば、１０％間隔の音声認識率に対応させた発話特徴量ベクトルを用意して置くことで、音声認識結果が１００％信頼できるものか、或いは全く信頼できない信頼度の音声認識結果であるのかを、１０％の間隔で信頼度を付与することができる。出力部２６は、各発話単位毎に、単語系列と、各単語の発話特徴量ベクトルと、信頼度とを出力する。
【０００８】
しかし、信頼度を出力するだけでは不十分な場合もある。例えば、認識対象が男性話者に設定されている音声認識装置に、女性話者が音声入力すると音声が認識できないことが多い。図１２にその状況を示す。男性の発話する「名古屋」は認識されるが、女性の発話する「京都」は認識されない。この場面で、信頼度を基に再発声を促されても、使用者はなぜ再発声を促されたのか理由が分からず、音声認識装置の不適切な使用を繰り返してしまう可能性がある。
【０００９】
そこで、信頼度推定に加えて誤認識原因の同時推定を可能にした図１３に示す音声認識装置９５０も考案されている（非特許文献４）。音声認識装置９５０は、音声認識部９６と、正誤・誤り原因推定部９７を備える。音声認識部９６は、入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルと、を出力する。正誤・誤り原因推定部９７は、各単語の発話特徴量ベクトルを入力として、その各単語の正解不正解と誤り原因ラベルベクトルの推定値とその確からしさを、発話特徴量ベクトルと音声認識結果単語の正解不正解及び誤り原因との関係を表す識別モデルに基づく条件付確率を用いて推定する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−２４０５８９号公報
【非特許文献】
【００１１】
【非特許文献１】鹿野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄、IT Text 音声認識システム、オーム社、pp. 1-51, 2001
【非特許文献２】安藤彰男、リアルタイム音声認識、（社）電子情報通信学会、pp. 1-58, pp. 125-170, 2003
【非特許文献３】H. Jiang, “Confidence measures for speech recognition: A survey,” Speech Communication, vol. 45, pp. 455-470, 2005.
【非特許文献４】小川厚徳、中村篤、「最大エントロピーモデルに基づく信頼度と誤認識原因の同時推定」、日本音響学会2009年春季研究発表会2-5-17.
【非特許文献５】小川厚徳、中村篤、「信頼度と誤り原因の推定における識別モデルの検討」、日本音響学会2010年春季研究発表会１-Q-6.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の音声認識結果に信頼度を付与して出力する音声認識装置によれば、信頼度を利用することで認識結果が正しい或いは間違っているという推定に基づく運用が実現できる。
しかし、それだけではユーザが十分に音声認識装置を使いこなすことが出来ない。また、信頼度と誤認識原因の推定を行う音声認識方法も、発話特徴量ベクトルと音声認識結果単語の正解不正解及び誤り原因との関係を表す識別モデルに基づく条件付確率が、最も高い確率の正誤・誤り原因ラベルベクトルのみを基に正誤及び誤り原因の推定結果を確定してしまうため、その推定が不安定になる場合があった。
【００１３】
この発明はこの点に鑑みてなされたものであり、音声の認識誤りが生じた場合に、その正誤及び誤り原因推定を安定化させて、それを基に、利用者に適切な情報を提示することの出来る音声認識装置とその方法と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
この発明の音声認識装置は、音声認識部と正誤・誤り原因推定部を備える。音声認識部は、入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルとを出力する。正誤・誤り原因推定部は、音声認識結果である単語列中の各単語に対して、各単語の発話特徴量ベクトルを入力として各単語の正解不正解と誤り原因の推定値と、それらの確からしさを推定する。正誤・誤り原因推定部は、更に、モデルパラメータ記録部と、正誤・誤り原因条件付確率計算部と、正誤・誤り原因条件付確率周辺化部と、を具備する。
【００１５】
モデルパラメータ記録部は、発話特徴量ベクトルと正誤・誤り原因ラベルベクトルとの関係を表す識別モデルに基づく条件付確率を計算するのに必要なモデルパラメータを記録する。正誤・誤り原因条件付確率計算部は、各単語の発話特徴量ベクトルを入力として、予め設定された正誤・誤り原因ラベルベクトルの取り得る状態毎に、識別モデルに基づく条件付確率をモデルパラメータを用いて計算する。正誤・誤り原因条件付確率周辺化部は、注目する正誤・誤り原因ラベルベクトルの要素について、上記条件付確率の周辺化を行い正誤ラベルと各誤り原因ラベルの周辺化条件付確率を計算する。
【発明の効果】
【００１６】
この発明の音声認識装置は、正誤・誤り原因条件付確率周辺化部が、注目する正誤・誤り原因ラベルベクトルの要素について、条件付確率の周辺化を行い正誤ラベルと各誤り原因ラベルの周辺化条件付確率を計算する。その周辺化条件付確率を用いて正誤ラベル及び誤り原因ラベルを推定することで、正誤判定及び各誤り原因の推定を安定化させその推定精度を向上させることができる。また、図１４に示すように音声認識装置を利用する場面に合った適切なメッセージ、例えば「認識できませんでした。現在、男性の声を認識する設定になっていますので、女性の方が使用されている場合は、女性認識用ボタンを押して下さい。」等を提示することが出来る。
【図面の簡単な説明】
【００１７】
【図１】この発明の音声認識装置１００の機能構成例を示す図。
【図２】音声認識装置１００の動作フローを示す図。
【図３】正誤・誤り原因ラベルベクトルｙ→の取り得る値と正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）の一例を示す図。
【図４】この発明の音声認識装置２００の機能構成例を示す図。
【図５】音声認識装置２００の動作フローを示す図。
【図６】この発明の音声認識装置３００の機能構成例を示す図。
【図７】音声認識装置３００の動作フローを示す図。
【図８】正誤・誤り原因メッセージの一例を示す図。
【図９】評価実験結果の信頼度のＲＯＣ曲線を示す図。
【図１０】特許文献１の音声認識装置９００の機能構成を示す図。
【図１１】発話特徴量ベクトルｘ→の一例を示す図。
【図１２】従来の音声認識の状況の一例を示す図。
【図１３】従来の音声認識装置９５０の機能構成例を示す図。
【図１４】この発明の音声認識装置を用いた音声認識の状況の一例を示す図。
【発明を実施するための形態】
【００１８】
以下に、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は省略する。
【実施例１】
【００１９】
図１にこの発明の音声認識装置１００の機能構成例を示す。その動作フローを図２に示す。音声認識装置１００は、音声認識部３０、正誤・誤り原因推定部４０、を備える。音声認識装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２０】
音声認識部３０は、入力端子２に入力される音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルｘ→（→は図中の表記が正しい）と、を出力する（ステップＳ３０）。音声認識部３０は、従来技術で説明した音声認識装置９００の記録部４から情報変換部２０までの構成を含むものである。各単語の発話特徴量ベクトルｘ→も、例えば音響尤度スコアや言語尤度スコアから成る図１１に示したようなベクトルである。
【００２１】
正誤・誤り原因推定部４０は、更に、正誤・誤り原因条件付確率計算部４１と、モデルパラメータ記録部４２と、正誤・誤り原因条件付確率周辺化部４４と、を備える。正誤・誤り原因条件付確率計算部４１は、音声認識部３０が出力する各単語の発話特徴量ベクトルx→を入力として、識別モデルの一種である最大エントロピーモデル（ＭＥＭ：Maximum Entropy Model）に基づく条件付確率を、予め設定された正誤・誤り原因ラベルベクトルｙ→の取り得る状態毎に、モデルパラメータ記録部４２に記録されている素性関数fk（x→，ｙ→）とその重みパラメータλkと（これらが最大エントロピーモデルのモデルパラメータである）、を用いて計算する（ステップＳ４１）。最大エントロピーモデルは識別モデルの一例であり、最近の信頼度推定手法に用いられるものである。
【００２２】
正誤・誤り原因条件付確率周辺化部４４は、識別モデルに基づく条件付確率から正誤ラベルと各誤り原因ラベルの周辺化条件付確率を計算する（ステップＳ４４）。周辺化条件付確率とは、例えば、正誤ラベルが正解の場合の条件付確率の和である。詳しくは後述する。
【００２３】
この周辺化条件付確率を用いて正誤判定を推定することで、全ての正誤・誤り原因ラベルベクトルの条件付確率を総合的に用いることが出来る。よって、正誤判定及び各誤り原因の推定を安定化させその推定精度を向上させることが出来る。
【００２４】
正誤・誤り原因ラベルベクトルｙ→の具体例を示して更に詳しくこの発明を説明する。正誤・誤り原因ラベルベクトルｙ→とは、一つの正誤ラベルｙ0と一つ以上の誤り原因ラベルｙi,i≧１を各次元に持つベクトルである。正誤ラベルと誤り原因ラベルｙiは、例えば表１に示すようなものである。なお、以下の説明では、音声認識装置１００は孤立単語音声認識装置であり、静かな場所において男性の声で日本の地名発声を音声認識する場合を想定する。
【００２５】
【表１】
0005400727.tif 000002
【００２６】
正解不正解を表す正誤ラベルｙ０は、発話特徴量ベクトルｘ→から最大エントロピーモデルに基づいて推定された２値の情報である。ｙ０＝０が正解、ｙ０＝１が不正解を表す。
【００２７】
誤り原因ラベルｙ１は、語彙内（ｙ１＝０）か、語彙外（ｙ１＝１）かを表す。誤り原因ラベルｙ２は、雑音なし（ｙ２＝０）か、雑音あり（ｙ２＝１）かを表す。誤り原因ラベルｙ３は、男性（ｙ３＝０）か、女性（ｙ３＝１）かを表す。
【００２８】
誤り原因ラベルとしては、表１に示す４種類の他にも、例えば、音量が適切であるか/適切でないか、使用者の年齢層が想定内か/想定外か、などを挙げることができる。以降の説明では煩雑さを避ける目的で表１示す４種類に限定して説明を行う。
【００２９】
この場合、正誤・誤り原因ラベルベクトルｙ→の取り得る状態は２４＝１６状態に場合分けすることができる。しかし、例えば、ｙ→＝（ｙ０，ｙ１，ｙ２，ｙ３）＝（０，１，０，０）の「語彙外だけど認識できた」は有り得ない状態である。これらの存在しない組み合わせを考慮すると、正誤・誤り原因ラベルベクトルｙ→の取り得る状態は、図３に示すように１２状態である。図３は、正誤・誤り原因ラベルベクトルｙ→の取り得る状態と正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）の一例を示す図である。各行は正誤・誤り原因ラベルベクトルｙ→の取り得る状態を示す。また、図３の一番右の列は、ある発話特徴量ベクトルｘ→で計算された正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）の一例を示す。
【００３０】
このように有り得ない状態を含む正誤・誤り原因ラベルベクトルｙ→は、予め正誤・誤り原因条件付確率計算部４１に設けて置いても良いし、図１に破線で示すように正誤・誤り原因ラベルベクトル記録部４３を設け、そこに記録して置き、正誤・誤り原因条件付確率計算部４１がその正誤・誤り原因ラベルベクトルｙ→を参照するようにしても良い。
【００３１】
最大エントロピーモデルに基づく正誤・誤り原因推定では、例えばこれら１２状態の正誤・誤り原因ラベルベクトルｙ→と、発話特徴量ベクトルｘ→との関係を、予め学習データを用いて学習しておく。先ず、発話特徴量ベクトルｘ→と正誤・誤り原因ラベルベクトルｙ→の関係を表すＫ種類（例えば１００〜１００万種類程度）の素性関数ｆｋ（ｘ→，ｙ→），ｋ＝１，２，…，Ｋを用意する。そして、各素性関数ｆｋ（ｘ→，ｙ→）の重みパラメータλｋを、例えば準ニュートン法により学習して推定する。これらの素性関数ｆｋ（ｘ→，ｙ→）と重みパラメータλｋは、モデルパラメータ記録部４２に予め記録される。
【００３２】
正誤・誤り原因条件付確率計算部４１は、発話特徴量ベクトルｘ→を入力として、モデルパラメータ記録部４２に記録されている素性関数ｆｋ（ｘ→，ｙ→）と重みパラメータλｋを参照して式（１）に示す正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）を計算する。
【００３３】
【数１】
0005400727.tif 000003
【００３４】
正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）は、この例では１２個ある正誤・誤り原因ラベルベクトルｙ→毎に計算される。これらの値は、０〜１の確率値である（全ての正誤・誤り原因ラベルベクトルｙ→（この例では１２個）についてその条件付確率を足すと1.0になる。すなわち、Σｙ→ＰＭＥ（ｙ→｜ｘ→）＝1.0である。
【００３５】
図３に示す例では、正誤・誤り原因ラベルベクトルｙ→＝（０，０，１，０）「雑音ありだけど正解」の条件付確率（0.1）が、他の正誤・誤り原因ラベルベクトルよりも大きい。背景技術で説明した従来の音声認識装置７５０は、この最も高い条件付確率の正誤・誤り原因ラベルベクトルのみを基に正誤及び誤り原因推定結果を確定していた。
【００３６】
この発明の音声認識装置１００は、正誤・誤り原因ラベルベクトルｙ→の推定精度を条件付確率値の周辺化により向上させる点で新しい。周辺化とは、確率論において基本的な処理である。ここでは複数の確率変数（本発明ではｙ０,ｙ1,ｙ２,ｙ３）の同時確率が与えられた時に、ある一つの確率変数に注目してその他の確率変数についての確率を全て足し合わせる処理である。正誤・誤り原因条件付確率周辺化部４４は、注目する正誤・誤り原因ラベルベクトルｙ→の要素について、正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）の周辺化を行う（ステップＳ４４）。
【００３７】
例えば、正誤ラベルｙ０の周辺化条件付確率ＰＭＥｍ(ｙ０|ｘ→）は、式（２）で得ることができる。
【００３８】
【数２】
0005400727.tif 000004
【００３９】
式（２）の計算を図３の例で説明すると、正解を表すｙ０＝０の周辺化条件付確率ＰＭＥｍ(ｙ０＝０|ｘ→）は、正誤・誤り原因ラベルベクトルｙ→の状態数１２の内の０，１，２，３の４状態の正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）の和であり、ＰＭＥｍ(ｙ０＝０|ｘ→）＝0.3となる。不正解を表すｙ１＝１の周辺化条件付確率ＰＭＥｍ(ｙ０＝１|ｘ→）は、８〜１５の８状態の正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）の和であり、ＰＭＥｍ(ｙ０＝１|ｘ→）＝0.7となる。
【００４０】
このように正誤・誤り原因条件付確率ＰＭＥ（ｙ→｜ｘ→）を周辺化することで、全ての正誤・誤り原因ラベルベクトルの条件付確率を総合的に用いることができ、正誤及び誤り原因の推定精度を向上させる効果が期待できる。
【００４１】
この他の誤り原因ラベルｙｉ，ｉ＝１，２，３についても同様に周辺化条件付確率ＰＭＥｍ(ｙ＊|ｘ→）を求めることができる。語彙内（ｙ１＝０）か語彙外（ｙ１＝１）の周辺化条件付確率ＰＭＥｍ(ｙ１|ｘ→）は、図３の例ではＰＭＥｍ(ｙ１＝０|ｘ→）＝0.644、ＰＭＥｍ(ｙ１＝１|ｘ→）＝0.356である。同様に、雑音なしの周辺化条件付確率ＰＭＥｍ(ｙ２＝０|ｘ→）＝0.452、雑音ありの周辺化条件付確率ＰＭＥｍ(ｙ２＝１|ｘ→）＝0.548である。また、男性の周辺化条件付確率ＰＭＥｍ(ｙ３＝０|ｘ→）＝0.505、女性の周辺化条件付確率ＰＭＥｍ(ｙ３＝１|ｘ→）＝0.495である。
【００４２】
このような周辺化条件付確率ＰＭＥｍ(ｙ＊|ｘ→）を、音声認識装置１００は、その仕様に応じて全て出力しても良いし、例えば、正誤ラベルｙ０の正解のみの周辺化条件付確率ＰＭＥｍ(ｙ０＝０|ｘ→）を出力するようにしても良い。
【実施例２】
【００４３】
図４にこの発明の音声認識装置２００の機能構成例を示す。その動作フローを図５に示す。音声認識装置２００は、正誤・誤り原因推定部５０が、正誤誤り原因選択部５１を備える点で音声認識装置１００と異なる。
【００４４】
正誤誤り原因選択部５１は、正誤・誤り原因条件付確率周辺化部４４で計算された周辺化された条件付確率ＰＭＥｍ(ｙ＊|ｘ→）を入力として式（３）の計算で正誤・誤り原因ラベルベクトルの推定値ｙ→＾を求める（ステップＳ５１）。
【００４５】
【数３】
0005400727.tif 000005
【００４６】
等号で結ばれた式（３）の中央の項のｙｉ＾は、右側の項に示す通り、０か１の何れかであり、周辺化条件付確率ＰＭＥｍ(ｙ＊＝ｊ|ｘ→）のｊ＝０，１で大きな方の値を与えるｊである。上記した図３の例では、ＰＭＥｍ(ｙ０＝１|ｘ→）＝0.7、ＰＭＥｍ(ｙ１＝０|ｘ→）＝0.644、ＰＭＥｍ(ｙ２＝１|ｘ→）＝0.548、ＰＭＥｍ(ｙ３＝０|ｘ→）＝0.505、が大きな値を示したので、正誤・誤り原因ラベルベクトルの推定値ｙ→＾＝（ｙ→０＾，ｙ→１＾，ｙ→２＾，ｙ→３＾）は、（１，０，１，０）となる。
【００４７】
更に、正誤・誤り原因選択部５１は、正誤・誤り原因ラベルベクトルの推定値ｙ→＾の確からしさを表す周辺化条件付確率ＰＭＥｍ(ｙ→＾|ｘ→）を、式（４）に示すように正誤・誤り原因ラベルｙｉ毎の周辺化条件付確率ＰＭＥｍ(ｙ＊|ｘ→）の積で求める。
【００４８】
【数４】
0005400727.tif 000006
【００４９】
図３の例では、正誤・誤り原因ラベルベクトルの推定値ｙ→＾＝（１，０，１，０）の周辺化条件付確率ＰＭＥｍ(ｙ→＾|ｘ→）は、0.7×0.644×0.548×0.505＝0.125となる。このように音声認識装置２００によれば、音声認識結果の正解不正解とその誤り原因の推定値ｙ→＾と、その確からしさＰＭＥｍ(ｙ→＾|ｘ→）を推定することが可能である。
【実施例３】
【００５０】
図６にこの発明の音声認識装置３００の機能構成例を示す。その動作フローを図７に示す。音声認識装置３００は、音声認識装置２００の機能構成に更に、正誤・誤り原因メッセージ生成部６０の構成を加えたものである。
【００５１】
音声認識装置２００は、正誤・誤り原因ラベルベクトルの推定値ｙ→＾を出力するので、使用者はそのベクトルｙ→＾を確認することで、どのように対処すべきかを知ることができる。音声認識装置３００は、更に利便性を向上させることを目的に、正誤・誤り原因ラベルベクトルｙ→＾から正誤・誤り原因メッセージを生成するようにしたものである。
【００５２】
正誤・誤り原因メッセージ生成部６０は、正誤・誤り原因ラベルベクトルの推定値ｙ→＾に対応させたメッセージを出力するものであり、例えば、図８に示すように使用者により分かり易い対処方法を提示することを可能にする。図３の例では、正誤・誤り原因ラベルベクトルの推定値ｙ→＾＝（１，０，１，０）が推定されるが、このベクトルに対応するメッセージは「認識できませんでした。雑音が大きい場所で使用されている場合は、もう少し静かな場所で使用してください。」となる。
【００５３】
メッセージは、必ずしも音声認識結果が不正解と推定された場合（ｙ→＾の状態＝８〜１５）のみに出力するのではなく、音声認識結果が正解と推定された場合でも正しい使用方法を促すメッセージを提示するようにしても良い。
〔評価実験〕
この発明の効果を確認する目的で評価実験を行った。実験条件を簡単に説明する。孤立単語発声データベースを基に、８個のサブセットから成る学習データと評価データを準備した。各サブセットは、注目する語彙外単語の発声、雑音環境下での発声、女性の発声、の三つの誤り原因の有無の組み合わせに対応している。
【００５４】
語彙外単語、話者、及び、雑音種類については学習データと評価データで重複はないものとした。語彙内単語については、学習データと評価データで一部重複があり、何名かの話者は複数のサブセットで発声を行っている。
【００５５】
学習手順を説明する。男性クリーンＨＭＭ、四つのＧＭＭ(Gaussian Mixture Model、男声クリーンＧＭＭ、男声雑音ありＧＭＭ、女性クリーンＧＭＭ、女性雑音ありＧＭＭ)、及び3830単語発音辞書を準備した。男声クリーンＨＭＭ、四つのＧＭＭ、及び、3830単語発音辞書を用いて学習データに対して音声認識と発話特徴量ベクトルｘ→と正誤・誤り原因結果ベクトルｙ→とのペア取得処理を行い、認識結果単語と、発話特徴量ベクトルｘ→と正誤・誤り原因結果ベクトルｙ→の正解ペアを取得した。発話特徴量ベクトルｘ→は、フレーム平均ＨＭＭ/ＧＭＭ尤度、平均音素長、事後確率等から成る１８次元の特徴量ベクトルとした。
【００５６】
最大エントロピーモデルには総数Ｋ＝1080の素性関数を定義した。これらの素性関数と正解ペアを用いて最大エントロピーモデルの重みパラメータλｋを推定した。
【００５７】
次に評価手順を説明する。上記の男声クリーンＨＭＭ、四つのＧＭＭ及び、3830単語発音辞書を再度用いて、評価データに対して音声認識と発話特徴量ベクトルｘ→の取得処理を行い、認識結果単語と発話特徴量ベクトルｘ→を得た。次に、最大エントロピーモデルの識別処理により発話特徴量ベクトルｘ→に対応する正誤・誤り原因ラベルベクトルｙ→とその条件付確率を得た。続いて、その条件付確率に対して式（２）の周辺化処理を行い、信頼度（正誤）と各誤り原因とそれらの周辺化条件付確率を得た。
【００５８】
図９に、評価実験で得られた信頼度のＲＯＣ（Receiver Operator Characteristics）曲線を示す。横軸は認識結果が正しいのに誤りと誤推定した率である誤棄却率であり、縦軸は認識結果が誤っているのに正しいと誤推定した率である誤受理率である。図中の破線で示す直線は等誤り率（Equal Error Rate）を示す。この発明を実線、周辺化を行わない従来法を一点鎖線で示す。これらの曲線が図の左下に位置するほど信頼度（正誤）推定精度が高いことを示す。
【００５９】
この発明の方が、等誤り率を9.44％削減できた。この等誤り率の変化は、有意水準１％で統計的に有意である。このように、この発明の音声認識方法は、信頼度推定の精度を向上させる効果を奏する。
【００６０】
以上説明したこの発明の音声認識装置とその方法は、上述した実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、上記した装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力に応じて並列的にあるいは個別に実行されるものとしても良い。
【００６１】
また、例えば、最大エントロピーモデルに代わる識別モデルとして、サポートベクトルマシン(ＳＶＭ：Support Vector Machine)や、条件付確率場（ＣＲＦ：Coditional Random Fields）を用いることも可能である。また、この発明は、上述した実施形態で説明した孤立単語発声を認識する音声認識装置に限らず、定型文法に沿った発声を認識する音声認識装置や自由な連続発話を認識する音声認識にも用いることができる。
【００６２】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００６３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ-ＲＡＭ
（Random Access Memory）、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ-Ｒ
（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてフラッシュメモリー等を用いることができる。
【００６４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６５】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005400727.tif 000007
【図２】
0005400727.tif 000008
【図３】
0005400727.tif 000009
【図４】
0005400727.tif 000010
【図５】
0005400727.tif 000011
【図６】
0005400727.tif 000012
【図７】
0005400727.tif 000013
【図８】
0005400727.tif 000014
【図９】
0005400727.tif 000015
【図１０】
0005400727.tif 000016
【図１１】
0005400727.tif 000017
【図１３】
0005400727.tif 000018
【図１２】
0005400727.tif 000019
【図１４】
0005400727.tif 000020