(57)【要約】【課題】長い特徴量系列を学習データとして音響モデルを精度良く作成する。【解決手段】複数の音声データ各々の不正解状態系列ごとの重み係数を識別子と対応付けて記録する重み係数記録部と、その識別子を一つ特定する訓練例選択部と、識別子に対応した正解のViterbi状態系列である正解状態系列を記録した正解状態系列記録部と、識別子とその識別子と対応する重み係数と音声特徴量系列とを入力として正解の状態系列以外で最も尤度の高いViterbi状態系列である不正解状態系列を推定する不正解状態系列推定部と、不正解状態系列を最適化対象集合として記録する最適化対象記録部と、正解状態系列と不正解状態系列とを用いて、識別子に対応付けられた不正解状態系列ごとの重み係数に相当するラグランジュ未定乗数を、目的関数を最大化するように更新する重み係数更新部と、を具備する。【選択図】図１
2011158727.tif 000002
【特許請求の範囲】
【請求項１】
複数の音声データ各々に対する不正解状態系列ごとの重み係数を、訓練例識別子および不正解状態系列と対応付けて重み係数集合として記録する重み係数記録部と、
上記識別子を一つ特定する訓練例選択部と、
上記識別子に対応した正解のViterbi状態系列である正解状態系列を記録した正解状態系列記録部と、
上記識別子と、上記重み係数集合と、と音声特徴量系列と、を入力として上記正解の状態系列以外で最も尤度の高いViterbi状態系列である不正解状態系列を推定する不正解状態系列推定部と、
上記不正解状態系列を最適化対象集合として記録する最適化対象記録部と、
上記正解状態系列と上記不正解状態系列とを用い、上記識別子に対応付けられた不正解状態系列ごとの重み係数を、目的関数を最大化するように更新する重み係数更新部と、
を具備する音声認識用音響モデル作成装置。
【請求項２】
訓練例選択部が、識別子を一つ特定する訓練例選択過程と、
不正解状態系列推定部が、上記識別子と、重み係数集合と、音声特徴量系列とを入力として正解状態系列記録部に記録された上記識別子に対応した正解のViterbi状態系列以外で最も尤度の高いViterbi状態系列である不正解状態系列を推定する不正解状態系列決定過程と、
最適化対象記録部が、上記不正解状態系列を最適化対象集合として記録する最適化対象記録過程と、
重み係数更新部が、上記正解状態系列と、上記不正解状態系列とを用い上記識別子に対応付けられたViterbi状態系列ごとの重み係数を、目的関数を最大化するように更新する重み係数更新過程と、
を含む音声認識用音響モデル作成方法。  
【請求項３】
請求項１に記載した音声認識用音響モデル作成装置としてコンピュータを機能させるための装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、切除平面法（Modified Cutting Plane Algorithm、以降ＭＣＰＡと称する）を用いた音響モデル構築法を改善し、特に連続音声認識の高精度化を実現する音声認識用音響モデル作成装置とその方法と、プログラムに関する。
【背景技術】
【０００２】
隠れマルコフモデル（Hidden Markov Model、以降ＨＭＭと称する場合もある）や隠れマルコフカーネルマシン（Hidden Markov Kernel Machine、以降ＨＭＫＭと称する場合もある）等の音響モデルは、内部に有限個（Ｓ個とする）の状態を持ち、どの時刻にどの状態であったかを示す隠れ状態系列変数ｑ＝{ｑ（１），ｑ（２），…，ｑ（Ｔ）}（ｑ（・）∈[１‥Ｓ]）を内部的に用いて、単語列Ｗが発話された時に長さＴの音声特徴量系列Ｘが出現する確率を式（１）に示すように定義するモデルである。
【０００３】
【数１】
2011158727.tif 000003
【０００４】
ここで、Σall ｑは全ての取り得る隠れ状態系列変数ｑについての総和を表す。Ωは音響モデルのパラメータである。また、隠れ状態系列変数ｑは一次のマルコフ連鎖に従って生成されていると仮定され、式（２）を用いて計算される。
【０００５】
【数２】
2011158727.tif 000004
【０００６】
ここでΡを状態遷移確率行列と呼ぶ。Ｓbegin及びＳendは、それぞれ音声特徴量系列の始まる前と終わった後を示す特別な状態である。
【０００７】
ＭＣＰＡ法を説明する前に、音声認識装置３００の動作について図面を参照して説明する。図３に音声認識装置の機能構成を示す。その動作フローを図４に示す。音声認識装置３００は、特徴量抽出部３０、単語列探索部３１、音響モデル記録部３２、言語モデル記録部３３、を備える。特徴量抽出部３０は、一定時間長の音声波形を切り出したフレーム毎に、入力される認識用音声データを時系列の音声特徴量ベクトルに変換する（ステップＳ３０）。単語列探索部３１は、音声特徴量ベクトルに対する音響モデルのスコア系列と、言語モデルに対するスコア列とを参照して単語列探索を行い、最もスコアの大きい単語列を認識結果単語列として出力する（ステップＳ３１）。
【０００８】
ここで音響モデルの作成方法について説明する。音響モデルは、音声の持つ音響的特徴をモデル化したものであり、認識用音声データと音響モデルを参照することにより、音声データを音素や単語といったシンボルに変換する。そのため、音響モデルの作成は音声認識装置の性能を大きく左右する。通常、音声認識用音響モデルでは、各音素をLeft−to−right型のＨＭＭ若しくはＨＭＫＭで表現する。これらの音響モデルでは、時系列特徴量ベクトルは離散的な内部状態が一次のマルコフ連鎖に従って遷移し、その内部状態に依存した確率分布から出力されたものと考えられ、各状態毎に特徴量の出力確率を確率分布関数で表現する。そのため、実際に音響モデルとしてメモリに記録されている情報は、状態遷移確率行列Ρと、出力分布関数パラメータΛの二種類に分割することができる。出力分布関数パラメータは各状態毎に存在し、出力分布関数パラメータΛは各状態ｓの状態パラメータλｓを用いて、Λ＝{λ１，…，λｓ}のような集合で表すことができる。これらモデルパラメータの値を求めるのが音響モデルの作成過程となり、この過程を音響モデル作成方法と呼ぶ。
【０００９】
この発明は、音響モデル作成方法の特に性能を左右すると考えられている出力分布関数パラメータΛの推定方法に関する。音響モデルは確率統計的手法により、大量の学習用音声データχとそのラベル情報（単語列や音素列）Ｗから、パラメータΛを推定することにより作成される。
【００１０】
以降、音声データとラベル情報の組がＮ個あるとし、音声データχは個々の音声データＸｉ（１≦ｉ≦Ｎ）の集合として、χ＝{Ｘ１，…，ＸＮ}と定義する。また、ラベル情報Ｗも同様にＷ＝{Ｗ１，…，ＷＮ}と定義する。加えて、音声データ中の個々の音声データＸｉは時系列特徴量ベクトルでありフレーム数Ｔｉの数だけベクトルを含む系列データである。Ｘｉ中の個々のベクトルはＸｉ（ｔ）１≦ｔ≦Ｔｉで表す。
【００１１】
音響モデルの構築法は、より正確な統計モデルを作ることのできる統計的推定法と、より音声認識の性能を高くする音響モデルを作ることのできる識別学習法に大別される。厳密な統計的推定法の一つとしてはベイズ推論がある。ベイズ推論においては、全てのパラメータが確率的に取り扱われるため、パラメータの多様性も考慮したモデル化が可能であり、頑健性が高いと言われている。具体的には、モデルパラメータに対する事前の信念を記述したパラメータ事前分布Ｐ０（Λ）を導入し、それを元に学習データχ，Ｗを観測した後のモデルパラメータの確率分布であるパラメータ事後分布Ｐ（Λ）を算出するのがベイズ推論である。
【００１２】
最小相対エントロピー識別は、そのパラメータ事前分布Ｐ０（Λ）とパラメータ事後分布Ｐ（Λ）の枠組みを識別学習法に導入したもので、識別学習の過学習を緩和するのに効果が期待できる。最小相対エントロピー識別の推論は、正の時、モデルパラメータΛを用いた特徴量系列Ｘｉに関する識別ではエラー候補Ｗとは混同しないことを保障するように設計された識別関数Ｄ（Ｘｉ，Ｗ；Λ）から、その関数がどの程度余裕を持って正であるかを示す変数ξｉＷを減算したものの期待値が非負であるという条件を満たす確率分布Ｐ（Λ，ξ）の中で、事前分布とのＫＬダイバージェンスを最小にする分布を得ることで行われる。これを定式化すると、以下の最適化問題を得る。
【００１３】
【数３】
2011158727.tif 000005
【００１４】
ここで、<ｂ（ｘ）>ａ（ｘ）はｘが分布関数ａ（ｘ）に従う時のｂ（ｘ）の期待値である。Ｐ０（Λ，ξ）を事前分布と呼び、音声データを観測する前の各変数に対する信念を与える。この確率分布の関数型は最適化前に事前に与える。また、ＫＬダイバージェンスＫＬ[Ｐ（ｘ）‖Ｐ０（ｘ）]は式（４）で表現されるダイバージェンスである。
【００１５】
【数４】
2011158727.tif 000006
【００１６】
識別関数Ｄ（Ｘｉ，Ｗ；Λ）は、パラメータΛを用いた識別においてＸｉがエラー候補Ｗに混同されなければ正を、そうでなければ負を返す関数で以上の条件を満たす上では任意の形を取ることができる。
【００１７】
この問題を変形するため、ラグランジュ汎関数を導入する。ラグランジュ汎関数は、今回の場合、特に確率分布関数である変関数Ｐ（・）を、不等式制約汎関数ｇｍ[Ｐ（・）]の非負条件と、等式制約汎関数ｈｎ[Ｐ（・）]が零になるという条件を満たす変関数Ｐの候補の中で、汎関数ｆ[Ｐ（・）]を最小にするものを見つけるような最適化問題（式（５））に対し、式（６）と定義される関数である。
【００１８】
【数５】
2011158727.tif 000007
【００１９】
ここで、αｍおよびβｎをラグランジュ未定乗数と呼び、最適化問題の中の制約の数だけ存在する。αｍは各不等式制約に対する重み係数を意味し、ラグランジュ未定乗数と呼ばれる。
【００２０】
式（３）におけるラグランンジュ汎関数は、ｆ[Ｐ（Λ，ξ）]としてＫＬ[Ｐ（Λ，ξ）‖Ｐ０（Λ，ξ）]を、ｉとＷに対応した個数だけある不等式制約関数ｇｉＷ[Ｐ（Λ，ξ）]として<Ｄ（Ｘｉ，Ｗ；Λ）−ξｉＷ>Ｐ（Λ，ξ）を、また、等式制約関数ｈ[Ｐ（Λ，ξ）]として、確率分布の正規化制約（確率分布は積分して１にならなければならないという制約）すなわち＜１＞Ｐ（Λ，ξ）−１を代入することで、式（７）に示すように得られる。
【００２１】
【数６】
2011158727.tif 000008
【００２２】
ｉとＷの通り数に対応した数の不等式制約と１つの等式制約が存在するため、ラグランジュ未定乗数はαｉＷおよびβ１で表わされる。
【００２３】
凸最適化問題の最適解はラグランジュ汎関数の鞍点にあることが知られており、また鞍点はラグランジュ未定乗数αｉＷに関する最大点にあることが知られている。このラグランジュ汎関数の鞍点を変分法によって求めることで、事後分布Ｐ（Λ，ξ）と事前分布Ｐ０（Λ，ξ）の間に式（８）に示す関係が成立することが分かる。
【００２４】
【数７】
2011158727.tif 000009
【００２５】
式（８）より、αｉＷによって、最適化の解となる事後分布Ｐ（Λ，ξ）を記述可能であることが分かる。以降、αを用いて解くべき問題の不等式制約に関連するラグランジュ未定乗数の集合を示すこととする。すなわち、現在の問題ではα＝{αｉＷ｜∀ｉ∀Ｗ≠Ｗｉ}と定義される。以降、ラグランジュ未定乗数を単に重み係数とも記述する。
【００２６】
この関係式をラグランジュ関数（式（７））に代入し、双対問題を得ると、事後分布Ｐ（Λ，ξ）に関する最小化問題がαｉＷに関する最大化問題に変わり、以下の最適化問題になる。
【００２７】
【数８】
2011158727.tif 000010
【００２８】
ここで、Ｚ（α）内の期待値操作は、数値的解法（モンテカルロ法）または解析的解法で解くことが考えられる。一般に隠れマルコフモデルや隠れマルコフカーネルマシンといったようなモデルでは、解析的解法は利用することができない。以降で説明するＭＣＰＡ法はＤ（Ｘｉ，Ｗ；Λ）の近似、および適切な事前分布Ｐ０（Λ，ξ）の利用によってこれを可能にし、最適化を行う手法である。
【００２９】
式（８）で示されたように、最小相対エントロピー識別ではモデルパラメータの事後分布は係数集合α＝{αｉＷ｜∀ｉ∀Ｗ}で表現される。よって音響モデルの最適化問題は、トレーニングデータ番号ｉとそのエラー候補Ｗに関連付いた最適なαｉＷを求めることと等価になる。ＭＣＰＡ法はこのαｉＷを求めるためのアルゴリズムである。
【００３０】
最小相対エントロピー識別は隠れマルコフモデルの学習や、隠れマルコフカーネルマシンの学習に応用されており、この最適化問題を解く手法の改善が求められている。
【００３１】
〔ＭＣＰＡ法〕
以下に、隠れマルコフモデルや隠れマルコフカーネルマシンのような、隠れ状態系列を持つモデルを用いてＤ（Ｘｉ，Ｗ；Λ）を定義する際の一例を示す（式（１０））。
【００３２】
【数９】
2011158727.tif 000011
【００３３】
この識別関数の対数内の分数の分子は正解を評価した際の尤度であり、分母はエラー候補Ｗを評価した際の尤度であることから、特徴量系列Ｘｉがエラー候補Ｗに誤識別される場合のみ負になることが分かる。この他にも、制約の数を減らしたＭＭＩＥ型（式（１１））や、ＭＰＥ型（式（１２））が考えられる。
【００３４】
【数１０】
2011158727.tif 000012
【００３５】
ここで、Ａ（Ｗ,Ｗｉ）はRaw Accuracy関数である。これら全てはＭＣＰＡ法による最適化の枠組みの中で利用可能である。ここではＭＣＥ型での導出を示す。この識別関数を用いて最適なαｉＷを導出すると、式（８）の条件によって、パラメータの事後分布Ｐ（Ａ）を求めることができる。しかし、一般に隠れ状態系列を持つモデルを用いて定義したＤ（Ｘｉ,Ｗ：Λ）（式（１０）、もしくは式（１１）,（１２）のようにlogの中にΣallｑを含む関数）を導入してしまうと、最適化問題（式（９））のＺ（α）内に出現する期待値計算を解析的に解くことが不可能になってしまい最適化が実行できない。
【００３６】
そこで、音声認識で用いられているVitrbi近似を用いて識別関数を近似すると、式（１３）の近似識別関数Ｄ〜（Ｘｉ,Ｗ；Λ）を得る。
【００３７】
【数１１】
2011158727.tif 000013
【００３８】
ここでｑ＾Ｗはエラー候補Ｗに対応するViterbi状態系列、ｑ＾Ｗｉは正解単語列Ｗｉに対応するViterbi状態系列であり、現在推定中の重み係数集合αを用いて式（１４）のように示される。なお、Ｄ〜，ｑ＾等の表記は式中の記載が正しい。
【００３９】
【数１２】
2011158727.tif 000014
【００４０】
ここで、αｉＷはＰ（Λ）と対応付けることができるため（式（８））、上記の探索はＰ（Λ）で周辺化して、以下のようにすることで解くことができる。
【００４１】
【数１３】
2011158727.tif 000015
【００４２】
隠れマルコフカーネルマシンにおいては、この探索は厳密に実行することができるが、隠れマルコフモデルにおいては、この探索は事後確率Ｐ（Λ）を最大にするＭＡＰ解と呼ばれるΛ＾を推定し、それを用いてViterbiアライメントを求める方法が用いられる。
【００４３】
【数１４】
2011158727.tif 000016
【００４４】
式（９）において識別関数Ｄ（Ｘｉ,Ｗ；Λ）の代わりに近似識別関数Ｄ〜（Ｘｉ,Ｗ；Λ）を用いることでＺ（α）内に出現する期待値計算を解析的に解くことが可能になるが、近似を厳密に保つためにｑ＾Ｗとｑ＾Ｗｉ、すなわち正解例に対するViterbi状態系列と、不正解例に対するViterbi状態系列を逐次推定していかなければならなくなる。
【００４５】
ＭＣＰＡ法はこのような問題に対し、Viterbi状態系列ｑ＾Ｗｉおよびｑ＾Ｗの推定とパラメータ事後分布Ｐ（Λ）を構成するαｉＷの推定を交互に繰り返す方法で最適化を行うように変形したCutting Plane最適化法の変種である。
【００４６】
図５に従来のＭＣＰＡ法を実現する音声認識用音響モデル作成装置５００の機能構成例を示し、その動作を説明する。図６にその動作フローを示す。音声認識用音響モデル作成装置５００は、重み係数記録部５０、訓練例選択部５１、誤り単語列決定部５２、特徴量系列記録部５３、最適化対象記録部５４、アライメント決定部５５、正解単語列記録部５６、正解アライメント決定部５７、重み係数更新部５８、を備える。
【００４７】
重み係数記録部５０は、複数の音声データ識別子ｉとエラー候補Ｗの組み合わせ各々ごとの重み係数αｉＷを記録する。訓練例選択部５１は、最適化の反復計算において現在のステップで着目する特徴量系列を選択する（ステップＳ５１）。訓練例の選び方としては、ＭＣＰＡ法に基づいて最も識別マージンが小さいものを選ぶ、単純に識別子ｉの番号順に選ぶ、ランダムに選ぶ、順番をランダムにシャッフルし順番に選ぶ、などの選択方法が考えられる。
【００４８】
誤り単語列決定部５２は、最適化の目的関数に対し最も大きな影響を与えると考えられる変数αｉＷ′についての単語列Ｗ′（誤り単語列）を推定する（ステップＳ５２）。推定の方法としては、スラック変数に基づく方法と最尤推定に基づく方法が考えられる。最尤推定に基づく方法は、式（１８）によって誤り単語列Ｗ′を推定する。
【００４９】
【数１５】
2011158727.tif 000017
【００５０】
Ｐ（Ｘｉ｜Ｗ，α）は、式（８）に従い、ラグランジュ未定乗数αをパラメータΛに変換することで式（１９）のように表せる。
【００５１】
【数１６】
2011158727.tif 000018
【００５２】
この事後分布Ｐ（Λ）を用いた単語列Ｗの探索はＰ（Ｘｉ｜Ｗ，α）が隠れマルコフカーネルマシンであれば可能である。隠れマルコフモデルの場合は、ＭＡＰ解Λ＾（式（１７）を用いることで探索可能になる。ＭＡＰ解を用いたＰ（Ｘｉ｜Ｗ，α）は以下のように記述できる。
【００５３】
【数１７】
2011158727.tif 000019
【００５４】
これらの最適化（argmax）は既存の音声認識デコーダ（音声認識装置）を用いることで計算可能である。
【００５５】
最適化対象記録部５４は、誤り単語列Ｗ′を識別子ｉに対応する最適化対象として記録（追記）する（ステップＳ５４）。
【００５６】
正解単語列記録部５６は、識別子ｉに対応して記録している正解単語列Ｗｉを正解アライメント決定部５７に出力する（ステップＳ５６）。正解アライメント決定部５７は、識別子ｉに対応した正解単語列Ｗｉと、重み係数αｉＷと、特徴量系列Ｘｉとを入力として正解単語列Ｗｉに対応するViterbi状態系列ｑ＾Ｗｉを推定する（ステップＳ５７）。
【００５７】
【数１９】
2011158727.tif 000020
【００５８】
アライメント決定部５５は、最適化対象記録部５４から誤り単語列Ｗ′を一つ選択する（ステップＳ５５ａ）。そして、選択した誤り単語列Ｗ′と、重み係数αｉＷと、特徴量系列Ｘｉとを入力として誤り単語列Ｗ′のViterbi状態系列ｑ＾Ｗ′を推定する（ステップＳ５５ｂ）。例えば、最尤基準で決定する（式（２２））。
【００５９】
【数１８】
2011158727.tif 000021
【００６０】
この決定は式（１５）または式（１６）の方法に従うことで、既存の音声認識用デコードアルゴリズムで求めることができる。
【００６１】
重み係数更新部５８は、ステップＳ５１で選択された識別子ｉおよびステップＳ５５ａで選択された誤り単語列Ｗ′に関するラグランジュ未定乗数αｉＷ′を目的関数Ｊ（α）を最大にするように更新する（ステップＳ５８ａ）。ＭＣＰＡ法では同時に一つのｉおよびＷ′に関するラグランジュ未定乗数αｉＷ′についてのみの最適化を行う。全てのｉＷ′における集合αの中の要素を固定した上で、最適化対象となっているｉおよびＷ′に関するαｉＷ′のみを変数ａで置き変えた関数Ｊ（α）｜αｉＷ′←ａを変数ａについて最適化し、その結果をαｉＷ′に代入する。
【００６２】
【数２０】
2011158727.tif 000022
【００６３】
ここで、Ｊ（α）｜αｉＷ′←ａは、αｉＷ′にａを代入した後のＪ（α）（式（９））の値を示す。
【００６４】
重み係数更新部５８は、識別子ｉを固定した上で目的関数Ｊ（α）の増分が充分に小さくなるまで、あるいは、αｉＷ′の変化量が充分に小さくなるまで最適化対象集合Ｃｉの中の誤り単語列Ｗ′を選択する動作を繰り返す（ステップＳ５８ｂ）。
【００６５】
そして、重み係数更新部５８は全てのαｉＷ′が収束するまで訓練例の選択からの動作を繰り返す（ステップＳ５８ｃ）。収束の判断は、識別子ｉを固定して重み係数を更新する動作と同じである。収束の判断は、所定の回数を繰り返したか否で判断してもよい。
【先行技術文献】
【非特許文献】
【００６６】
【非特許文献１】久保、渡部、中村、マクダーモット、小林、“最小相対エントロピー識別学習に基づくカーネルマシンを利用した音声認識”情報処理学会研究報告、Vol.2009-SLP-77,No.6.
【非特許文献２】I. Tsochantaridis, T.Joachims, T.Hofmann, Y.Altun, ”Large Margin Methods for Structured and Interdependent Output Variables, ”Journal of Machine Learning Research, Vol.6,pp.1453-1484,2005.
【非特許文献３】D.Povey, P.C.Woodland, ”Minimum Phone Error and I-Smoothing for Improved Discriminastive Training, ”Proc.ICASSP2002,Vol.1,pp.105-108,2002.
【非特許文献４】T.Jaakkola, M.Meila, T.Jebara,”Maximum Entropy Discrimination,”Proc.Advances in Neural Information Processing Systems(NIPS),1999.
【非特許文献５】H.Kashima, T.Ide, T.Kato, M Sugiyama, ”Recent Advances and Trends in Large-scale Kernel Methods,”IEICE Transactions on Information and Systems,Vol.E92-D,No.7,pp.1338-1353,2009.
【発明の概要】
【発明が解決しようとする課題】
【００６７】
従来のＭＣＰＡ法は、特徴量系列（入力系列）が十分に短い時は音声認識性能の高い局所解に収束することが明らかになっているが、特徴量系列が長い時は性能の悪い局所解に収束してしまう問題がある。従来法で性能の悪い局所解に収束してしまう理由は、最適化の中において隠れ状態系列ｑおよびｑＷのアライメントが現在推定中のラグランジュ未定乗数αから得られたパラメータ事後分布Ｐ（Λ）を利用して行われるためであると考えられる。オンライン学習の枠組みで推定の途中にあるパラメータ事後分布は最適な分布からかけ離れた分布になっていることを多く、そのようなパラメータ事後分布に基づいて推定されたアライメントが利用されると、以降のパラメータ事後分布推定の推定結果に大きな悪影響を与えてしまう。孤立音素識別のように識別対象となる系列が充分に短い場合は、アライメントの自由度も充分に小さいため、この問題は無視できたが、連続音声認識のように識別対象となる系列が長い場合、性能への影響が大きい。
【００６８】
この発明は、このような課題に鑑みてなされたものであり、特徴量系列が長い場合でも精度の良い音声認識を実現することができるように従来のＭＣＰＡ法を改善した音声認識用音響モデル作成装置とその方法と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００６９】
この発明の音声認識用音響モデル作成装置は、重み係数記録部と、訓練例選択部と、正解状態系列記録部と、不正解状態系列決定部と、最適化対象記録部と、重み係数更新部と、を具備する。重み係数記録部は、複数の音声データ各々のViterbi状態系列ごとの重み係数を識別子と対応付けて重み係数集合として記録する。訓練例選択部は識別子を一つ特定する。正解状態系列記録部は識別子に対応した正解のViterbi状態系列である正解状態系列を記録する。不正解状態系列決定部は、識別子と、重み係数集合と、音声特徴量系列とを入力として上記正解の状態系列以外で最も尤度の高いViterbi状態系列である不正解状態系列を決定する。重み係数更新部は、正解状態系列と、上記不正解状態系列とを用い上記識別子と不正解状態系列に対応付けられた重み係数（ラグランジュ未定乗数）を目的関数を最大化するように更新する。
【発明の効果】
【００７０】
この発明の音声認識用音響モデル作成装置によれば、重み係数記録部が複数の音声データ各々のViterbi状態系列である不正解状態系列ごとの重み係数を記録し、重み係数更新部は、正解のViterbi状態系列である正解状態系列を用いて、その不正解状態系列ごとのの重み係数を目的関数を最大化するように更新する。この処理によって、推定の途中にあるパラメータ事後分布が最適な分布から大きく異なっているために音声認識性能が低い局所解に収束することが回避できる。その結果、この発明の音声認識用音響モデル作成装置は、音声認識性能を向上させる音響モデルの作成を可能にする。
【図面の簡単な説明】
【００７１】
【図１】この発明の音声認識用音響モデル作成装置１００の機能構成例を示す図。
【図２】音声認識用音響モデル作成装置１００の動作フローを示す図。
【図３】音声認識装置３００の機能構成を示す図。
【図４】音声認識装置３００の動作フローを示す図。
【図５】従来のＭＣＰＡ法を実現する音声認識用音響モデル作成装置５００の機能構成例を示す図。
【図６】音声認識用音響モデル作成装置５００の動作フローを示す図。
【発明を実施するための形態】
【００７２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。この発明の実施例の説明をする前に、この発明のポイントについて説明する。
【００７３】
〔この発明のポイント〕
この発明は、Viterbi状態系列の推定に関する不確実性を削減することで、より良い解を得られるようにする。ＭＣＰＡ法によるViterbi状態系列は、正解ラベルのViterbi状態系列と不正解ラベルのViterbi状態系列の二つに大別することができる。また、従来のＭＣＰＡ法では特に不正解ラベルのViterbi状態系列を求める際に、一旦、不正解単語列を求め、その不正解単語列からViterbi状態系列を推定して求めていた。
【００７４】
この発明は、不正解単語列についてのViterbiアライメントを介在させない。正解ラベルのViterbi状態系列ｑ＾Ｗｉは、例えば人手による状態系列を用いる。隠れマルコフカーネルマシンのトレーニングに利用する状態系列情報に関しては、ＨＭＭを用いて推定したViterbi状態系列情報を用いるといったような、別の音響モデルから予め推定する方法を取ることができるため、それを利用することを考える。このようにして得たViterbi状態系列情報をｑｉと表記する。
【００７５】
また、不正解ラベルの状態系列ｑ＾Ｗ′に関しては正解ｑｉと異なる全ての状態系列を不正解状態系列とみなし、不正解状態系列毎に個別に最適化対象集合Ｃｉに記録する。よって、性能の向上に有用な状態系列も、そうでない状態系列も全て保持することになり、状態系列の推定の不正確さに起因する性能の劣化を避けることができる。
【００７６】
この変更は、従来不正解候補として扱われてきた単語列Ｗ′を利用する代わりに、正解と異なる状態系列ｑ′≠ｑｉそのものを不正解候補とすることに対応する。このため、全ての訓練例に対する不正解単語列の数に対応してあった重み係数（ラグランジュ未定乗数）集合{αｉＷ}の代わりに、全ての訓練例ｉに対応するViterbi状態系列の重み係数（ラグランジュ未定乗数）{αｉｑ}が利用される。また、それに伴い、最適化対象集合{Ｃｉ}も不正解単語列Ｗの集合ではなく、不正解状態系列ｑの集合になる。
【００７７】
表１に従来のＭＣＰＡ法から変化した部分を示す。
【００７８】
【表１】
2011158727.tif 000023
このように全ての可能な状態系列を全て不正解候補として考えるように定式化を変更すると、上記した式（３）は次のように変形できる。
【００７９】
【数２１】
2011158727.tif 000024
【００８０】
ここで、Ｑｉは、訓練例ｉに対応して可能な隠れ状態系列すべての集合を表す。
【００８１】
Ｄ＾（Ｘｉ，ｑ；Λ）は識別関数（式（１０））の状態系列を固定したものとして以下のように表す。
【００８２】
【数２２】
2011158727.tif 000025
【００８３】
ここでｑｉは各訓練例ｉに対応する正解状態系列である。ここでＷｑは状態系列ｑが表す単語列であり、状態系列と単語列には多対一の関係があるため、一意に求めることができる。
【００８４】
この識別関数を用いた場合、事前分布Ｐ０（Λ，ξ）を適切に設定することで関数Ｊ（α）（式（９））内の期待値を求めることができる。ここでは、一般的に隠れマルコフカーネルマシンで用いられる以下の事前分布を用いた場合を示す。
【００８５】
【数２３】
2011158727.tif 000026
【００８６】
ここでｃは予め設定しておくハイパーパラメータである。δ（ｑｉ，ｑ）は二つの状態系列間の距離尺度を表す関数であり、正解単語列Ｗｉとｑに対応する単語列ｑＷの間の編集距離やハミング距離等の利用が考えられる。またＮ（・｜０，Ｉ）は原点を平均とした標準多変量正規分布関数を表す。
【００８７】
これらの事前分布を用いた場合、Ｊ（α）（式（９））は以下のようになる。
【００８８】
【数２４】
2011158727.tif 000027
【００８９】
ここで、Ｊλｓ（α）はパラメータλｓの適合度に対する項であり、以下の式で表わされる。
【００９０】
【数２５】
2011158727.tif 000028
【００９１】
ここで、Ｉ（ｑ，ｓ）は指示関数であり、ｑ＝ｓの時１、ｑ≠ｓの時０をとる。Ｊｑ（α）は状態系列の起こり易さに関連する補正項であり以下の式で表わされる。
【００９２】
【数２６】
2011158727.tif 000029
【００９３】
Ｊξｉｑ（α）は誤りを最小化するための項であり、以下の式で表わされる。
【００９４】
【数２７】
2011158727.tif 000030
【００９５】
この目的関数Ｊを最大にするαの最適化法として選択された識別子ｉに対して最も有効だと考えられる状態系列ｑを逐次選択し、最適化の対象としてαｉｑを追加していく手法がこの発明の音声認識用音響モデル作成方法である。
【実施例１】
【００９６】
図１にこの発明の音声認識用音響モデル作成装置１００の機能構成例を示す。その動作フローを図２に示す。音声認識用音響モデル作成装置１００は、重み係数記録部１０と、訓練例選択部１１と、状態系列決定部１２と、最適化対象記録部１３と、正解状態系列記録部１４と、重み係数更新部１５と、特徴量系列記録部５３と、を具備する。音声認識用音響モデル作成装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００９７】
重み係数記録部１０は、複数の音声データ各々に対する不正解状態系列ごとの重み係数を、識別子ｉおよび不正解状態系列ｑと対応付けて記録する。訓練例選択部１１は、識別子ｉを一つ特定する（ステップＳ１１）。
【００９８】
不正解状態系列推定部１２は、訓練例選択部１１で特定された識別子ｉと、重み係数集合αと、音声特徴量系列Ｘｉと、を入力として正解の状態系列以外で最も尤度の高いＨＭＭの状態系列である不正解状態系列ｑ′を推定する（ステップＳ１２）。
【００９９】
推定には、例えば最尤推定に基づく方法を用いる。
【０１００】
【数２８】
2011158727.tif 000031
【０１０１】
Ｐ（ｑ′｜Ｘｉ，α）は、従来のＭＣＰＡ法と同様、以下のようにαから求めたパラメータ事後分布Ｐ（Λ）をパラメータについて周辺化して探索する。
【０１０２】
【数２９】
2011158727.tif 000032
【０１０３】
また、ＭＡＰ解を用いて探索することも可能である。
【０１０４】
【数３０】
2011158727.tif 000033
【０１０５】
ここで、Λ＾は式（１７）と同様に求める。
【０１０６】
不正解状態系列ｑ′を最適化対象集合として記録する（ステップＳ１３）。重み係数更新部１５は、最適化対象記録部１３から不正解状態系列を一つ選び（ステップＳ１５ａ）、その選んだ不正解状態系列と正解状態系列とを用いて、識別子ｉに対応付けられたＨＭＭの状態系列の重み係数を目的関数Ｊ（α）を最大化するように更新する（ステップＳ１５ｂ）。
【０１０７】
この実施例では、最適化基準およびモデルの種類（隠れマルコフモデル/隠れマルコフカーネルマシン）によって異なるが、隠れマルコフカーネルマシンの最小相対エントロピー識別学習で、事前分布として式（２６）を用いた場合、式（２３）の具体例として以下の更新ルールが用いられる。
【０１０８】
【数３１】
2011158727.tif 000034
【０１０９】
ここでεは微小量、また、Ｊ（α）｜αｉｑ′←ａ１ｉｑ′および、Ｊ（α）｜αｉｑ′←ａ２ｉｑ′は、αｉｑ′にａ１ｉｑ′およびａ２ｉｑ′を代入した後のＪ（α）（式（２７））の値を示す。ｃは式（２６）で利用したハイパーパラメータである。Ｉ（ｘ，ｙ）はｘ＝ｙの時に１を、それ以外の時に０をとる指示関数である。Ｋ（ｘ，ｙ）はカーネル関数と呼ばれる関数で、予め設定しておく。
【０１１０】
式（３４）中、集合Ｑｉ′の要素についての総和Σｑ′∈Ｑｉ′があるが、これは実際にはΣｑ′∈Ｃｉ′と等価である。なぜなら、Ｃｉ′に含まれないＱｉ′の要素ｑ′に関連するαｉ′ｑ′は０であり、これは総和の計算に影響を及ぼさないためである。
【０１１１】
重み係数更新部１５は、識別子ｉを固定した上で目的関数Ｊ（α）の増分が充分に小さくなるまで、あるいは、αｉｑ′の変化量が充分に小さくなるまで最適化対象集合Ｃｉの中の不正解状態系列ｑ′を選択する動作を繰り返す（ステップＳ１５）。
【０１１２】
そして、重み係数更新部１５は全てのαｉｑ′が収束するまで訓練例の選択からの動作を繰り返す（ステップＳ１５）。収束の判断は、識別子ｉを固定して重み係数を更新する動作と同じである。収束の判断は、所定の回数を繰り返したか否で判断してもよい。
【０１１３】
〔評価実験〕
実施例１の有効性を確認する目的で、連続音素認識実験による評価を行った。テキストセットおよびトレーニングセットには米語読み上げ音声コーパスＴＩＭＩＴのトレーニングデータベース中の方言ＩＤ２の発話データを用いた。
【０１１４】
トレーニングデータの発話数は６０８発話、テストデータの発話数は２４発話である。
モデルは文献「K.-F. Lee, H. Hon,”Speaker-Independent Phone Recognition Using Hidden Markov Models,”IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 37, No.11,1989.」で定義された４８個の音素カテゴリ毎に３状態Left-to-Right型の隠れマルコフカーネルマシンとして作成した。また、カーネル関数としてはガウシアンカーネルを用いた。
【０１１５】
特徴量としてはMel-Frequency Cepstral Coefficients（ＭＦＣＣ）にエネルギーを加えた１３次元の特徴量ベクトルに、その一階/二階時間微分値を連結した３９次元の特徴量ベクトルを用いた。また、トレーニングデータ中に含まれる全てのベクトルの分散を正規化する線形変換を推定し、トレーニングデータとテストデータに対する前処理として利用した。
【０１１６】
【数３２】
2011158727.tif 000035
【０１１７】
ここで用いられる誤り数は、モデルで利用されている４８音素カテゴリを３９音素カテゴリに縮約して評価した。式（３５）で算出した音素正解精度を表２に示す。
【０１１８】
【表２】
2011158727.tif 000036
実施例１の方法によれば、音素正解精度が９．３％向上し、１９％のエラーを削減することができた。このように、この発明の音声認識用音響モデル作成方法の有効性が確認さ
れた。
【０１１９】
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１２０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１２１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2011158727.tif 000037
【図２】
2011158727.tif 000038
【図３】
2011158727.tif 000039
【図４】
2011158727.tif 000040
【図５】
2011158727.tif 000041
【図６】
2011158727.tif 000042