(57)【要約】【課題】本発明は、様々な正則化基準に適応でき、少ないトレーニングデータからでも頑健な音響モデルを作成することを目的とする。【解決手段】本発明の音響モデル作成装置は、正解統計量算出部、事前分布算出部、デコーダー、エラー統計量算出部、重み付き差分統計量算出部、音響モデル更新処理部を備える。正解統計量算出部は、正解統計量を正則化基準ごとに求める。事前分布算出部は、正規化基準に従って事前分布を算出または設定する。デコーダーは、混同しやすい学習用データをエラー候補として生成する。エラー統計量算出部は、エラー統計量を正則化基準ごとに求める。重み付き差分統計量算出部は、正解統計量とエラー統計量との重み付き差分統計量を求める。音響モデル更新処理部は、事前分布と重み付き差分統計量から音響モデルまたは事後分布を求め、求めた音響モデルに更新、または求めた事後分布を記録する。【選択図】図１
2010164780.tif 000002
【特許請求の範囲】
【請求項１】
学習用データを記録する学習用データ記録部と、
あらかじめ設定されたモデルおよび作成された音響モデルを記録するモデル記録部と、
あらかじめ設定された事前分布設定データを記録する事前分布設定データ記録部と、
発話ｉに対して特徴量系列Ｘｉを観測したときの時刻ｔにおいて正規分布ｎが出現する確率を算出し、あらかじめ定めた正則化基準に対応した正解統計量を正則化基準ごとに求める正解統計量算出部と、
正規化基準に従って事前分布Ｐを算出または設定する事前分布算出部と、
学習用データとあらかじめ設定されたモデルから、混同しやすい学習用データをエラー候補として生成するデコーダーと、
前記デコーダーが求めたエラー候補から、正規分布ｎ、発話ｉ、状態ｑ’に対して、前記あらかじめ定めた正則化基準に対応したエラー統計量を正則化基準ごとに求めるエラー統計量算出部と、
前記正解統計量と前記エラー統計量に対する重みを求め、当該重みを用いて前記正解統計量と前記エラー統計量との重み付き差分統計量を正則化基準ごとに求める重み付き差分統計量算出部と、
前記事前分布と前記重み付き差分統計量から音響モデルまたは事後分布を求め、前記モデル記録部のモデルを求めた音響モデルに更新、または求めた事後分布を記録する音響モデル更新処理部と
を備える音響モデル作成装置。
【請求項２】
請求項１記載の音響モデル作成装置であって、
前記正解統計量算出部が、正則化基準ごとに求める前記あらかじめ定めた正則化基準に対応した正解統計量を、
【数５１】
2010164780.tif 000053
とし、
前記エラー統計量算出部が、正則化基準ごとに求める前記あらかじめ定めた正則化基準に対応したエラー統計量を、
【数５２】
2010164780.tif 000054
とすることを特徴とする音響モデル作成装置。
【請求項３】
学習用データと、あらかじめ設定されたモデルと、事前分布設定データとを記録しておき、
発話ｉに対して特徴量系列Ｘｉを観測したときの時刻ｔにおいて正規分布ｎが出現する確率を算出し、あらかじめ定めた正則化基準に対応した正解統計量を正則化基準ごとに求める正解統計量算出処理ステップと、
正規化基準に従って事前分布を算出または設定する事前分布決定処理ステップと、
学習用データとあらかじめ設定されたモデルから、混同しやすい学習用データをエラー候補として生成するデコードステップと、
前記デコーダーが求めたエラー候補から、正規分布ｎ、発話ｉ、状態ｑ’に対して、前記あらかじめ定めた正則化基準に対応したエラー統計量を正則化基準ごとに求めるエラー統計量算出処理ステップと、
前記正解統計量と前記エラー統計量に対する重みを求め、当該重みを用いて前記正解統計量と前記エラー統計量との重み付き差分統計量を正則化基準ごとに求める重み最適化処理ステップと、
前記事前分布と前記重み付き差分統計量から音響モデルまたは事後分布を求め、前記モデル記録部のモデルを求めた音響モデルに更新、または求めた事後分布を記録する音響モデル更新処理ステップと
を有する音響モデル作成方法。
【請求項４】
請求項３記載の音響モデル作成方法であって、
前記正解統計量算出処理ステップで正則化基準ごとに求める前記あらかじめ定めた正則化基準に対応した正解統計量を、
【数５３】
2010164780.tif 000055
とし、
前記エラー統計量算出処理ステップで正則化基準ごとに求める前記あらかじめ定めた正則化基準に対応したエラー統計量を、
【数５４】
2010164780.tif 000056
とすること
を特徴とする音響モデル作成方法。
【請求項５】
請求項１または２記載の音響モデル作成装置としてコンピュータを動作させる音響モデル作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少ないトレーニングデータからでも頑健な音声認識器を構築可能にする音響モデル作成装置、音響モデル作成方法、音響モデル作成プログラムに関する。
【背景技術】
【０００２】
識別学習の一手法として、非特許文献１記載のMaximum Entropy Discrimination (MED)がある。しかし、この手法は音響モデル学習に適用されていなかった。一方、音声認識を識別的な枠組みで学習させる手法については、非特許文献２、３記載のMinimum Classification Error (MCE)、非特許文献４、５記載のMaximum Mutual Information Estimation (MMIE)、非特許文献６記載のMinimum Phone Error (MPE)等があり、音声認識の音響モデル学習において幅広く研究が行われてきた。近年、音響モデルの規模（パラメータ数）の増大に伴い、相対的にパラメータあたりの学習データ量が不足する傾向が頻繁に生じた。そこで、識別学習に正則化を取り入れる手法である非特許文献６記載の(MMIE, MCE or MPE) + I-smoothingや、非特許文献７記載のLarge-Margin Hidden Markov Models (LM-HMM)等が提案され注目されている。ここで、非特許文献６で提案されているI-smoothing は“最尤推定の結果に近い”という正則化基準を用いていることに相当する。また、非特許文献７で提案されているLM-HMM は“モデルパラメータの分散が小さくなりすぎず、スムーシングされている”という正則化基準を用いていることに相当する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】T. Jaakkola, M. Meila, T. Jebara, “Maximum Entropy Discrimination,” Proc. Advances in Neural Information Processing Systems (NIPS), 1999.
【非特許文献２】S. Katagiri, C.H. Lee, B.H. Juang, “New Discriminative Training Algorithms Based on the Generalized Descent Method,” Proc. IEEE Workshop on Neural Networks for Signal Processing, pp. 1-10, 1991.
【非特許文献３】E. McDermott, S. Katagiri, “String-Level MCE for Continuous Phoneme Recognition,” Proc. EUROSPEECH ’97, pp. 123-126, 1997.
【非特許文献４】L.R. Bahl, P.F. Brown, P.V. de Souza, R.L. Mercer, “Maximum Mutual Information Estimation of Hidden Markov Model Parameters for Speech Recognition,” Proc. ICASSP’86, pp. 49-52, 1986.
【非特許文献５】P.C. Woodland, D. Povey, “Large Scale Discriminative Training of Hidden Markov models for Speech Recognition,” Computer Speech and Language, Vol. 16, pp. 25-47, 2002.
【非特許文献６】D. Povey, P.C. Woodland, “Minimum Phone Error and I-Smoothing for Improved Discriminative Training,” Proc. ICASSP2002, Vol.1, pp. 105-108, 2002.
【非特許文献７】F. Sha, L.K. Saul, “Large Margin Hidden Markov Models for Automatic Speech Recognition,” Proc. Advances in Neural Information Processing Systems (NIPS), 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
パラメータの性質に関する制約を正則化基準には、“最尤推定の結果に近い”、“音声の分布に対する事前知識(話者適応タスクにおいて初期モデルとしてよく用いられる不特定話者モデルなど) に近い”、“モデルパラメータの分散が小さくなりすぎず、スムーシングされている”などがあり、この他にも広く考えることが可能である。しかし、従来の手法では、正則化基準に応じたパラメータ推定アルゴリズムが必要であり、そのため正則化基準として利用可能な知識も限られたものであった。例えば、マージン最大(Large-Margin) 正則化とI-smoothing の両性質を満たす正則化は、従来の手法では実現することが不可能であった。また、学習データが不足した際に生じる性能劣化を緩和する方法も求められている。
【０００５】
本発明は、このような問題を鑑みてなされたものであり、様々な正則化基準に適応でき、少ないトレーニングデータからでも頑健な音響モデルを作成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音響モデル作成装置は、学習用データを記録する学習用データ記録部、あらかじめ設定されたモデルおよび作成された音響モデルを記録するモデル記録部、あらかじめ設定された事前分布設定データを記録する事前分布設定データ記録部、正解統計量算出部、事前分布算出部、デコーダー、エラー統計量算出部、重み付き差分統計量算出部、音響モデル更新処理部を備える。正解統計量算出部は、発話ｉに対して特徴量系列Ｘｉを観測したときの時刻ｔにおいて正規分布ｎが出現する確率を正解ラベルの情報を基に算出し、正則化基準に対応した正解統計量を正則化基準ごとに求める。事前分布算出部は、正規化基準に従って事前分布を算出または設定する。デコーダーは、学習用データとあらかじめ設定されたモデルから、混同しやすい学習用データをエラー候補として生成する。エラー統計量算出部は、デコーダーが求めたエラー候補から、正規分布ｎ、発話ｉ、状態ｑ’に対して、正則化基準に対応したエラー統計量を正則化基準ごとに求める。重み付き差分統計量算出部は、正解統計量とエラー統計量に対する重みを求め、当該重みを用いて正解統計量とエラー統計量との重み付き差分統計量を正則化基準ごとに求める。音響モデル更新処理部は、事前分布と重み付き差分統計量から音響モデルを求め、モデル記録部のモデルを、求めた音響モデルに更新する。または、音響モデル更新処理部が、事前分布と重み付き差分統計量から事後分布を求め、モデル記録部に求めた事後分布を記録する。
【発明の効果】
【０００７】
本発明の音響モデル作成装置では、識別学習の一手法であるMaximum Entropy Discrimination (MED)（非特許文献１）の音響モデル学習への適用を行なっている。特に、音声認識の音響モデルにおいて一般的に用いられている連続分布型隠れマルコフモデル(Continuous density HMM (CD-HMM)) への適用を実現するためのMED の定式化を行い、実際に音響モデル学習に適用することで音声認識精度の向上している。通常CD-HMM のパラメータは、トレーニングデータとして与えられた音声を高確率で出力するように推定(最尤推定) されるが、MED を用いた場合、トレーニングデータを識別可能な上で、望ましいパラメータの性質を満たすように推定される。ここでいう望ましいパラメータの性質としては以下のものが考えられる。
（Ａ）最尤推定の結果に近い
（Ｂ）音声の分布に対する事前知識(話者適応タスクにおいて初期モデルとしてよく用いられる不特定話者モデルなど) に近い
（Ｃ）モデルパラメータの分散が小さくなりすぎず、スムーシングされている
【０００８】
これらの性質は、一般には学習データが不足した際に生じる性能劣化を緩和する役割を持つ。本発明の音響モデル作成装置では、一般的に知られているベイズ学習法と識別学習法の両手法を包含する学習手法として定式化し、これら望ましいパラメータの性質を、パラメータの事前分布として定式化している。そのため、事前分布を適切にデザインすることで、トレーニングデータを識別可能な上で上記の要求をなるべく満たすパラメータを得ることができる。また、このような望ましいパラメータの条件を加えることで、有限個のデータのみからパラメータ推定をすることにより生じる性能劣化を避け、頑健な推定を行なうことができる。
【０００９】
さらに、識別学習を行う際には経験的に分散を変化させないほうが、ロバストネスが高いということが言われている。本発明の音響モデル作成装置の場合、こうした経験則も事前分布の分散パラメータを適切な値に変化させることで導入することが可能であり、この他にも様々な正則化基準を導入できる可能性がある。
【図面の簡単な説明】
【００１０】
【図１】本発明の音響モデル作成装置の機能構成例を示す図。
【図２】本発明の音響モデル作成装置の処理フロー例を示す図。
【図３】重み付き差分統計量算出部１５０の機能構成例を示す図。
【図４】最適重み決定部１５５の処理フロー例を示す図。
【図５】コンピュータの機能構成例を示す図。
【発明を実施するための形態】
【００１１】
本発明の考え方
本発明では、識別学習の一手法であるMaximum Entropy Discrimination（MED）（非特許文献１）の音響モデル学習への適用を行なう。特に、音声認識の音響モデルにおいて一般的に用いられている連続分布型隠れマルコフモデル（Continuous density HMM（CD-HMM）)への適用を実現するためのMEDの定式化を行う。
【００１２】
本発明の音響モデル作成装置は、トレーニングデータを識別可能な上で、望ましいパラメータの性質を満たすように推定される。ここでいう望ましいパラメータの性質としては以下のものが考えられる。
（Ａ）最尤推定の結果に近い
（Ｂ）音声の分布に対する事前知識(話者適応タスクにおいて初期モデルとしてよく用いられる不特定話者モデルなど) に近い
（Ｃ）モデルパラメータの分散が小さくなりすぎず、スムーシングされている
【００１３】
これらの性質は、一般には学習データが不足した際に生じる性能劣化を緩和する役割を持つ。本発明の音響モデル作成装置では、一般的に知られているベイズ学習法と識別学習法の両手法を包含する学習手法として定式化し、これら望ましいパラメータの性質を、パラメータの事前分布として定式化している。そのため、事前分布を適切にデザインすることで、トレーニングデータを識別可能な上で上記の要求をなるべく満たすパラメータを得ることができる。また、このような望ましいパラメータの条件を加えることで、有限個のデータのみからパラメータ推定をすることにより生じる性能劣化を避け、頑健な推定を行なうことができる。なお、望ましいパラメータの条件を加えることで、有限個のデータのみからパラメータ推定をすることにより生じる性能劣化を避け、頑健な推定を行なうことを正則化（Regularization）と呼ぶ。また上記に３つあげたようなパラメータの性質に関する制約を正則化基準と呼ぶ。
【００１４】
本発明のポイントをまとめると、音響モデル作成装置は、音響モデルのパラメータを確率変数として捉え、正則化基準を表現する確率分布（事後分布）であるパラメータ事前分布を導入することで、正則化を事前分布と推定された分布との間のＫＬ距離最小化という方法で実践する。つまり、正則化基準をアルゴリズムではなく、一般の確率分布(事前分布) として表現するため、事前分布を調整することにより、様々な正則化基準が実現できる。
【００１５】
本発明の理論的な説明
ここでは、本発明の理論的な裏づけについて説明する。なお、Ｘｉはｉ番目の特徴量系列、Ｘｉｔはｉ番目の特徴量系列のｔフレーム目、Ｗはすべての単語列の集合、ＷｉはＸｉに対応する単語列、γｉＷはＷｉに対するスラック変数、ε（ｔ，ｓ；Ｘｉ）はＸを観測したとき、時刻ｔにおいて状態ｓである確率、ｑはHMM 状態系列もしくは混合成分系列、Ｑ（Ｗ）は単語列Ｗに対して考えられる状態系列全ての集合、Ｃｏｍｐ（Ｗ）はＷを認識させた際のN-bestリストでＷを除いたＮ個の単語列、Ｔ（ｑ，ｎ）は混合分布の成分まで固定された状態系列ｑ上で正規分布んを示す時間インデックスの集合、ｑｔ＝（ｗｔ，ｓｔ，ｍｔ）は状態系列q の時刻t での状態（ここでいう状態は混合分布中のどれが選択されるかも含めたもの）、Θ＝｛ｃｗｓ，ａｗ，θｋ｝は全モデルパラメータの集合、ｃｗｓはサブワードｗの状態ｓにおける混合比ベクトル、ａｗはサブワードｗの状態遷移確率行列、θｉ＝｛μｉ，τｉ｝は正規分布のモデルパラメータの平均と精度、λはラグランジュの未定乗数ベクトル、Λはラグランジュの未定乗数ベクトルをｑに対して和をとったもの、ｍ，α，βはNormal-Gamma 分布のパラメータ、φｃｗｓはDirichlet のパラメータ(混合比用)、ΦｗｓはDirichlet のパラメータ(遷移確率用)、Ｃはマージン事前分布のパラメータ、Δ０ｎ，Δ１ｎ，Δ２ｎは０次，１次，２次の重み付き差分統計量である。
MEDでは以下の最適化を考える。
【００１６】
【数１】
2010164780.tif 000003
【００１７】
ここで、Ｐ（Θ，γ）は求めたいパラメータの同時確率分布、Ｐ０（Θ，γ）はΘ，γに対する事前分布である。MEDでは、このようにパラメータΘ，γに対する正則化を事前分布の形で設定できる。また、Ｐ（Ｘｉ｜Ｗｉ）は正解系列が与えられた際の尤度、Ｐ（Ｘｉ｜Ｗ）は正解を含まない任意の系列が与えられた際の尤度である。
【００１８】
最適化の目的関数（minimize 以下）ではパラメータが十分に望ましい特性に近いことしか記述していないが、最適化の制約部分（subject to 以下）で推定結果のパラメータ分布を用いて識別がスコアγの余裕を持って正しく行なわれることを保証している。γ も確率変数として扱い、識別の余裕がどれだけあることが望ましいかという量をＰ０（γ）として表し、これも目的関数に加えている。まず、最適化問題の一般的解法について解説し、解きやすい形への問題変形を行なう。次に、具体的な事前分布形を指定した場合の解法について解説する。最後に、最適化を実際に実行するアルゴリズムについて解説する。
１  一般的な解法
式（１）において、対数部を差の形で書くと以下のような式が得られる。
【００１９】
【数２】
2010164780.tif 000004
【００２０】
以降では、この式をもとに出力分布としてCD-HMMを採用した際の解析解の導出について検討を行う。Ｐ（Ｘ｜Ｗ）はHMMなので、HMM状態系列ｑを導入すると、尤度は状態系列に対する周辺化が施された形式となる。つまり
【００２１】
【数３】
2010164780.tif 000005
【００２２】
である。ここでｑ∈Ｑ（Ｗ）は単語列Ｗに対して考えられる状態系列全ての集合である。また、状態系列が与えられた際、CD-HMMでは相当するパラメータを用いてその尤度が算出できるため、条件にパラメータΘを導入する。式（３）を式（２）に代入すると以下の式が得られる。
【００２３】
【数４】
2010164780.tif 000006
【００２４】
MEDのCD-HMMへの適用に関しては、この最適化問題を解くことが目的となる。
２  問題の変形
２．１  対数和積分の近似
この最適化問題を解く際に最も困難な箇所は、状態系列ｑに対しての和の対数の積分を行なわなければならない点である。この形の積分は解析的に解くことができない。これを解くためには、以下の３つの方針が考えられる。
（Ａ）マルコフチェインモンテカルロ(MCMC) 法等の数値的解法を用いる
（Ｂ）変分ベイズ法を用いて，局所最適解を求める
（Ｃ）近似を加え、直接解くことを避ける
本明細書中では、近似による解法を説明する。
近似の方針として、元の制約不等式の関係性をなるべく壊さないように近似を加えていく。
【００２５】
【数５】
2010164780.tif 000007
【００２６】
ここでΘ’は前のステップで得られたパラメータである。式（５）を式（４）に適用することは、式（４）よりも厳しい制約条件を問題に課すことになる。式（５）を式（４）に代入すると以下の式が得られる。
【００２７】
【数６】
2010164780.tif 000008
【００２８】
これを書き直すと以下のようになる。
【００２９】
【数７】
2010164780.tif 000009
【００３０】
で定義されるエントロピーである。
【００３１】
【数８】
2010164780.tif 000010
【００３２】
であるため、全ての状態系列に対して制約を満たすことができれば、近似的にもとの制約を満たしていると言うことができる。
したがって、先ほどのJensenの不等式と同様式(7) に上記の関係を用いることにより、以下の式が得られる。
【００３３】
【数９】
2010164780.tif 000011
【００３４】
このように、MEDに関してより厳しい制約条件を課すことにより、状態系列ｑに関しての和の演算を回避できる。
２．２  ラグランジュ関数を用いたウルフ双対問題への変形
制約付き最適化を簡単にするため、ラグランジュ汎関数を導入する。ラグランジュ関数は、
【００３５】
【数１０】
2010164780.tif 000012
【００３６】
と定義される関数であり、本問題におけるラグランジュ汎関数は次のようになる。
【００３７】
【数１１】
2010164780.tif 000013
【００３８】
ラグランジュ関数の二つめの項は元の問題の不等式制約を、三つめの項は確率分布の正規化制約（等式制約）を表している。KKT（Karush-Kuhn-Tucker）条件より、ラグランジュ関数の鞍点に最適なＰの関数型が表われるため、ラグランジュ汎関数を変分し、最適なＰの形を得る。
【００３９】
【数１２】
2010164780.tif 000014
【００４０】
第２項を１次までマクローリン展開し、残りをＭ２（Θ，γ）とおくとlog（Ｐ（Θ，γ）＋ε（Θ，γ）) は以下のように近似できる。
【００４１】
【数１３】
2010164780.tif 000015
【００４２】
従って上式を用いると、ラグランジュ汎関数の微小変化は以下のように表現される。
【００４３】
【数１４】
2010164780.tif 000016
【００４４】
【数１５】
2010164780.tif 000017
【００４５】
元の問題が凸最適化問題の場合、ラグランジュ関数はｘに対して凸、λに対して凹となることが知られており、すなわち停留点はλについての最大点にただ一つだけ存在することとなる。このことから、以下の双対問題を得ることができる。
【００４６】
【数１６】
2010164780.tif 000018
【００４７】
この問題をWolfe双対と呼び、この最適化にの結果として得られる、λを式（２１）の関係に従ってＰ（Θ，γ）に変換したものが、元の問題の解となる。
２．３  N-Bestによる制約の近似
【００４８】
【数１７】
2010164780.tif 000019
【００４９】
ここでComp(ｉ)はｉ番目の候補に対するN-best系列（混合分布の成分レベルまで特定する系列）の集合である。この近似の上で双対問題は以下のようになる。
【００５０】
【数１８】
2010164780.tif 000020
【００５１】
以降は、この目的関数の上で議論を進めていく。
３  実際の分布型を代入した評価関数
評価関数Ｊ（λ）の積分部分（パラメータ分布のPartition Function）を以下のようにＺ（λ）であらわす。
【００５２】
【数１９】
2010164780.tif 000021
【００５３】
Ｚ（λ）を評価できることが、MEDを解くことのできる条件となる。以降パラメータΘとマージンγは全て独立であると仮定する。
【００５４】
【数２０】
2010164780.tif 000022
【００５５】
CD-HMMの分布系は、CD-HMM中の正規分布Ｎ（正規分布のパラメータをθｑｔ）、状態遷移確率行列ａ, 混合比ベクトルｃを用いると
【００５６】
【数２１】
2010164780.tif 000023
【００５７】
と表現できる。従って、CD-HMMの分布系を代入したＺ（λ）は以下のように表現される。
【００５８】
【数２２】
2010164780.tif 000024
【００５９】
ここでＺａ（λ）Ｚｃ（λ）Ｚθ（λ）はCD-HMM中のパラメータａ，ｃ，θに関して、Ｚをそれぞれ分解したものである。
同様に評価関数Ｊ（λ）も、以下のようにパラメータごとに分解して考えることができる。
【００６０】
【数２３】
2010164780.tif 000025
【００６１】
以降はそれぞれのパラメータに対応した評価関数の項について求めていく。
３．１  マージン項
マージン項は制約毎に分解できる。
【００６２】
【数２４】
2010164780.tif 000026
【００６３】
【数２５】
2010164780.tif 000027
【００６４】
のように解析的に求めることができる。従って評価関数Ｊγは以下のように表現できる。
【００６５】
【数２６】
2010164780.tif 000028
【００６６】
HMMの状態系列のエントロピーＨは以下の式で求める。
【００６７】
【数２７】
2010164780.tif 000029
【００６８】
これはForward-Backwardアルゴリズム（Responsibility）から求められる。また、Viterbi近似を使う場合は、
【００６９】
【数２８】
2010164780.tif 000030
【００７０】
としてもよい。
３．２  正規分布
以降では，CD-HMM中の正規分布パラメータ（平均ベクトル、共分散行列）を対象にして、Ｚθ（λ）の解析解について考察する。このときＺθ（λ）は正規分布Ｎを用いて以下のように書き直すことができる。
【００７１】
【数２９】
2010164780.tif 000031
【００７２】
ここでε（ｔ，ｎ；Ｘｉ）はＸｉを観測したとき、時刻ｔにおいて正規分布ｎが出現する確率を示す。ε（ｔ，ｎ；Ｘｉ）は，期待値最大化（ＥＭ）アルゴリズムのE-stepに相当するForward-BackwardアルゴリズムやViterbiアルゴリズムを用いて算出することができる。 また、Λｉは, λｉｑ’のｑ’に関しての和であり
【００７３】
【数３０】
2010164780.tif 000032
【００７４】
で定義される。またｔ∈ Ｔ（ｑ’，ｎ）はn-bestの候補系列であり、混合分布の成分まで固定された状態系列ｑ’上で正規分布ｎを示す時間インデックスの集合である。一般に、音声認識用音響モデルでは正規分布として対角共分散行列が用いられる。従って、本明細書では、対角共分散行列を持つ正規分布に対して説明を行う。ただし、これらを非対角成分を持つ通常の共分散行列を用いて議論を進めることも可能である。その際は、事前分布にNormal-Wishart分布を用いればよい。
対角共分散行列の場合、正規分布は次元ごとの相関がなくなるため、次元ｄの積に分解することができる。
【００７５】
【数３１】
2010164780.tif 000033
【００７６】
以下では，分散を既知の値σ２とした場合と分散も含めて推定する場合の２通りに関しての解析解を導出する。
３．２．１  分散を既知とした場合
分散を既知の値σ２とする。このとき平均パラメータの平均をハイパーパラメータｍ、分散をハイパーパラメータｒを用いてｒσ２とし、共役事前分布である正規分布を用いることで以下の事前分布を設定した。
【００７７】
【数３２】
2010164780.tif 000034
【００７８】
【数３３】
2010164780.tif 000035
【００７９】
ここで上式の右辺第１項は正解統計量、右辺第２項はエラー統計量から計算される。例えば、右辺第１項は、ＥＭアルゴリズムのE-stepにおいてε（ｔ，ｎ；Ｘｉ）を算出したのち、ガウス分布ｎ、発話ｉに対しての３種類の統計量を以下のように計算し、重みΛｉを用いて加算重み和を行うことにより算出できる。
【００８０】
【数３４】
2010164780.tif 000036
【００８１】
この３つの統計量は正解ラベルの情報から算出されるので、正解統計量と呼ぶ。また右辺第２項は、ガウス分布ｎ、発話ｉ、状態系列ｑ’に対して以下の統計量を計算して、重みλｉｑ’を用いて加算重み和を行うことにより算出できる。
【００８２】
【数３５】
2010164780.tif 000037
【００８３】
この３つの統計量は音声認識処理（デコーダ）より作られるエラー候補から算出されるので、エラー統計量と呼ぶ。これらの統計量は変分ベイズ法などのベイズ推定や、MCMCなどのサンプリング法を用いても算出することができる。
ここから、評価関数Ｊの正規分布パラメータに関する項は、
【００８４】
【数３６】
2010164780.tif 000038
【００８５】
で与えられる。従って、評価関数Ｊを最大にする重みλｉｑ’を求めることにより、そのλｉｑ’を用いて重み付き差分統計量を算出することができる。重みλｉｑ’の推定は“６  最適化”で説明する。
３．２．２  分散も含めて推定する場合
簡単のため、分散σ２で積分するのではなく、精度τ＝１／σ で積分する形に変える。この場合、平均と精度の事前同時分布としては以下で定義される共役事前分布であるNormal-Gamma分布を用いる。
【００８６】
【数３７】
2010164780.tif 000039
【００８７】
Normal-Gamma分布のハイパーパラメータはβｎｄ，αｎ，ｒｎ，ｍｎｄである。この事前分布を式（４１）に代入すると
【００８８】
【数３８】
2010164780.tif 000040
【００８９】
と表現される。ここで、式（４４）で定義した重み付き差分統計量Δを用いると、
【００９０】
【数３９】
2010164780.tif 000041
【００９１】
で表現される。まずμに関しての積分を行いまとめると、
【００９２】
【数４０】
2010164780.tif 000042
【００９３】
が与えれる。さらにτｎｄに関しての積分を行うと、次のような解析解が得られる。
【００９４】
【数４１】
2010164780.tif 000043
【００９５】
従って評価関数Ｊθｎｄは、以下のように与えられる。
【００９６】
【数４２】
2010164780.tif 000044
【００９７】
ここで、ｃｏｎｓｔ．はλに依存しない項である。
４  推定結果を用いた音声認識
前述の最適化によって得られたラグランジュ未定乗数法とHMMのパラメータ分布（事後分布）には、式（２１）の関係が成り立つ。そのため、実際の音声認識を行なう際も、ラグランジュ未定乗数から得られる、パラメータ分布Ｐ（Θ，γ）を用いて行なうことになる。HMMパラメータ分布（事後分布）を用いた音声認識としては以下の手法が考えられる。
（Ａ）分布のモード値をパラメータとして一般のHMMを用いる方法
（Ｂ）分布の期待値をパラメータとして一般のHMMを用いる方法
（Ｃ）ベイズ予測識別に基づく方法（例えば、H. jiang, K. Hirose, Q. Huo, “Robust Speech Recognition Based on a Bayesian Prediction Approach,”IEEE Transactions on Speech and Audio Processing, Vol. 7, No. 4, pp. 426-440, 1999.）
本明細書では、分布のモード値を用いた場合の推定結果について導出する。
５  正規分布のパラメータ決定
正規分布のパラメータの分布は、以下の関数型で表される。
【００９８】
【数４３】
2010164780.tif 000045
【００９９】
５．１  平均パラメータ
平均の分布は以下の式で表現される。
【０１００】
【数４４】
2010164780.tif 000046
【０１０１】
この分布のモード値は以下の式で得ることができる。
【０１０２】
【数４５】
2010164780.tif 000047
【０１０３】
５．２  分散パラメータ
精度（分散の逆数）パラメータの分布は以下の式で表現される。
【０１０４】
【数４６】
2010164780.tif 000048
【０１０５】
この分布のモード値は以下の式で得ることができる。
【０１０６】
【数４７】
2010164780.tif 000049
【０１０７】
６  最適化
ここでは、“３．２  正規分布”で与えられた評価関数Ｊを最適化の基準にした場合の重みλｉｑ’の最適化について説明する。双対問題上での制約は
０≦λｉｑ’                （６０）
である。また、事前分布に前述の指数分布を用いることにより、
【０１０８】
【数４８】
2010164780.tif 000050
【０１０９】
より、
０≦λｉｑ’ ＜Ｃ              （６２）
と制限することができる。
最適化には既存の制約付き凸最適化手法が全て利用できる。代表的なものを以下に挙げる。
（Ａ）Gradient Descent（最急降下法）
（Ｂ）Newton法／準Newton法
（Ｃ）Line search法
【０１１０】
また、軸毎に独立した制約を持つ凸最適化であるため、全ての軸を同時に最適化する必要がない。よって、下記のような、同時に少数のラグランジュ未定乗数しか更新しないことで計算効率を高めるテクニックが利用可能である。
（Ａ）Axis Parallel Optimization法
（Ｂ）Sequencial Minimal Optimization法（例えば、J. Platt, “Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines,”Proc. Advances in Kernel Methods-Support Vector Learning, pp. 185-208, 1999.）
なお、後述の実験では、Line search法をAxis Parallel Optimizationを用いて高速化したものを利用した。
【０１１１】
次に、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【０１１２】
図１に本発明の音響モデル作成装置の機能構成例、図２に本発明の音響モデル作成装置の処理フロー例を示す。音響モデル作成装置１００は、学習用データを記録する学習用データ記録部１７０、あらかじめ設定されたモデルおよび作成された音響モデルを記録するモデル記録部１９０、あらかじめ設定された事前分布設定データを記録する事前分布設定データ記録部１８０、正解統計量算出部１１０、事前分布算出部１２０、デコーダー１３０、エラー統計量算出部１４０、重み付き差分統計量算出部１５０、音響モデル更新処理部１６０を備える。正解統計量算出部１１０は、発話ｉに対してＸｉを観測したときの時刻ｔにおいて正規分布ｎが出現する確率を算出し、あらかじめ定めた正則化基準に対応した正解統計量を正則化基準ごとに求める（Ｓ１１０）。例えば、発話ｉに対してＸｉを観測したときの時刻ｔにおいて正規分布ｎが出現する確率ε（ｔ，ｎ；Ｘ）を算出し、３種類の正解統計量（式（４５）参照）
【０１１３】
【数４９】
2010164780.tif 000051
【０１１４】
を求める。なお、他の正則化基準に従うのであれば、正解統計量の式を正則化基準に対応するよう適宜変更すればよい。事前分布算出部１２０は、正規化基準に従って事前分布Ｐ０（Θ，γ）を算出または設定する（Ｓ１２０）。デコーダー１３０は、学習用データとあらかじめ設定されたモデルから、混同しやすい学習用データをエラー候補として生成する（Ｓ１３０）。エラー統計量算出部１４０は、デコーダー１３０が求めたエラー候補から、正規分布ｎ、発話ｉ、状態ｑ’に対して、あらかじめ定めた正則化基準に対応したエラー統計量を正則化基準ごとに求める（Ｓ１４０）。例えば、デコーダー１３０が求めたエラー候補から、正規分布ｎ、発話ｉ、状態ｑ’に対しての３種類のエラー統計量（式（４６）参照）
【０１１５】
【数５０】
2010164780.tif 000052
【０１１６】
を求める。なお、他の正則化基準に従うのであれば、エラー統計量の式を正則化基準に対応するよう適宜変更すればよい。また、Ｔ（ｑ’，ｎ）は混合分布の成分まで固定された状態系列ｑ’上で正規分布ｎを示す時間インデックスの集合である。
【０１１７】
重み付き差分統計量算出部１５０は、正解統計量とエラー統計量に対する重みを求め、当該重みを用いて正解統計量とエラー統計量との重み付き差分統計量を正則化基準ごとに求める（Ｓ１５０）。例えば、正解統計量とエラー統計量に対する重みを求め、当該重みを用いて正解統計量とエラー統計量との３種類の重み付き差分統計量Δ０、Δ１、Δ２を求める（式（４０）、（４４）参照）。図３に重み付き差分統計量算出部１５０の機能構成例を示す。例えば、重み付き差分統計量算出部１５０は、最適重み決定部１５５、重み乗算部１５６、１５７、符号反転部１５８、加算部１５９で構成されえる。図４は、Axis Parallel Optimizationを用いた場合の最適重み決定部１５５の処理フロー（Ｓ１５５）を示している。この処理では、重み調整対象を選択し（Ｓ１５１）、目的関数が最大になる重みを探索し（Ｓ１５２）、差分統計量を更新する（Ｓ１５３）。繰り返しの条件を満足する場合には処理を終了し、繰り返しの条件を満たさない場合にはステップＳ１５１〜Ｓ１５３の処理を再度行う（Ｓ１５４）。繰り返しの条件とは、例えば、規定の回数ステップＳ１５１〜Ｓ１５３の処理を繰り返したかや、過去のＮ回の目的関数増加量の合計が閾値以下かなどがある。最適重み決定部１５５は、このような処理によって重みを正則化基準ごとに求める。なお、上述のように最適重みを決める方法は他の方法を用いてもよい。重み乗算部１５６は正則化基準ごとに正解統計量に重みを乗算し、重み乗算部１５７は正則化基準ごとにエラー統計量に重みを乗算する。符号反転部１５８は、重み付けされたエラー統計量の符号を反転し、加算部１５９で正則化基準ごとの重み付き差分統計量を求める。
【０１１８】
音響モデル更新処理部１６０は、事前分布Ｐ０（Θ，γ）と重み付き差分統計量から音響モデルを求め、モデル記録部１９０のモデルを、求めた音響モデルに更新する（式（５６）、（５８）参照）。なお、音響モデル更新処理部１６０は、事前分布Ｐ０（Θ，γ）と重み付き差分統計量から事後分布を求め、モデル記録部１９０に求めた事後分布を記録してもよい。
【０１１９】
上述のような構成とすることで、本発明の音響モデル作成装置では、識別学習の一手法であるMaximum Entropy Discrimination (MED)（非特許文献１）の音響モデル学習への適用を行なっている。特に、音声認識の音響モデルにおいて一般的に用いられている連続分布型隠れマルコフモデル(Continuous density HMM (CD-HMM)) への適用を実現するためのMED の定式化を行い、実際に音響モデル学習に適用することで音声認識精度の向上している。本発明の音響モデル作成装置では、一般的に知られているベイズ学習法と識別学習法の両手法を包含する学習手法として定式化し、これら望ましいパラメータの性質を、パラメータの事前分布として定式化している。そのため、事前分布を適切にデザインすることで、トレーニングデータを識別可能な上で上記の要求をなるべく満たすパラメータを得ることができる。また、このような望ましいパラメータの条件を加えることで、有限個のデータのみからパラメータ推定をすることにより生じる性能劣化を避け、頑健な推定を行なうことができる。
【０１２０】
図５に、コンピュータの機能構成例を示す。なお、本発明の音響モデル作成装置は、コンピュータ２０００の記録部２０２０に、本発明の各構成部としてコンピュータ２０００を動作させるプログラムを読み込ませ、処理部２０１０、入力部２０３０、出力部２０４０などを動作させることで実現できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
【０１２１】
実験
手法の有効性を検討するため、連続音素認識実験による評価を行なった。テストセット及びトレーニングセットにはTIMIT データベースを用いた。トレーニングセットの総発話数は3696発話、テストセットの総発話数は192発話である。HMMは音素（モノフォン）毎に３状態Left-to-Right HMM（遷移確率なし）として作成した。出力分布としては単一正規分布を用いた。また事前分布パラメータ（ハイパーパラメータ）の値として以下の設定を用いた。
ｍ＝Ｅステップで得られる１次統計量／Ｅステップで得られるOccupancy
ｒ＝１／Ｅステップで得られるOccupancy
α＝Ｅステップで得られるOccupancy
β＝Ｅステップで得られる２次統計量                            （６３）
Ｅステップで得られるガウス分布ｎのOccupancy、１次統計量、２次統計量はε（ｔ，ｎ；Ｘｉ）及び特徴量系列Ｘｉから計算することができる。
【０１２２】
従来の学習法であるML，MCEと、本発明の学習法であるMEDを用いた場合のPhoneme accuracy （％）は、以下のとおりである。
MLの場合、５７．７５％
MCLの場合、５９．５９％
MEDの場合、６０．４６％
この結果より、本発明の学習法が，従来の学習法を１％程度上回っていることがわかる。これにより、本手法の有効性を実験的に確認できたといえる。
【符号の説明】
【０１２３】
１００  音響モデル作成装置              １１０  正解統計量算出部
１２０  事前分布算出部                  １３０  デコーダー
１４０  エラー統計量算出部              １５０  重み付き差分統計量算出部
１５５  最適重み決定部                  １５６、１５７  重み乗算部
１５８  符号反転部                      １５９  加算部
１６０  音響モデル更新処理部            １７０  学習用データ記録部
１８０  事前分布設定データ記録部        １９０  モデル記録部
【図１】
2010164780.tif 000057
【図２】
2010164780.tif 000058
【図３】
2010164780.tif 000059
【図４】
2010164780.tif 000060
【図５】
2010164780.tif 000061