(57)【特許請求の範囲】
【請求項１】
音声認識のための音響モデルの統計モデルのパラメタであるモデルパラメタの自己応答関数を算出する自己応答関数算出手段と、
Ｍ個のモデルパラメタ間の自己応答関数の値を成分に持つ行列の固有値及び固有ベクトルを算出する固有値解析手段と、
前記固有値解析手段において算出された固有値及び固有ベクトルのうち、固有値の大きい方から、Ｍより小さいＭ´個の固有値とＭ´に対応する固有ベクトルの値を用いて、モデルパラメタの重みを算出し、モデルパラメタがその重みを持つとして、重み付き和として予測分布を算出する予測分布算出手段と、
を有することを特徴とする統計モデル学習装置。
【請求項２】
音声認識のための音響モデルの統計モデルを学習するためのデータである学習データから、隠れ変数を持つモデルである学習モデルの尤度が最大となるように、Ｍ個のモデルパラメタを算出するモデルパラメタ算出手段を有し、
前記自己応答関数算出手段は、モデルパラメタとして、前記算出されたＭ個のモデルパラメタを用いることを特徴とする請求項１記載の統計モデル学習装置。
【請求項３】
前記モデルパラメタ算出手段は、前記学習データと、前記統計モデルを用いてモデルパラメタを算出する際に使用するモデルパラメタの初期値であって、それぞれ異なるＭ個の初期値のそれぞれとを用いて、Ｍ個のモデルパラメタを算出することを特徴とする請求項２記載の統計モデル学習装置。
【請求項４】
前記学習データをＭ個の部分集合に分割する学習データ分割手段を有し、
前記モデルパラメタ算出手段は、前記Ｍ個の部分集合のそれぞれを用いて、Ｍ個のモデルパラメタを算出することを特徴とする請求項２記載の統計モデル学習装置。
【請求項５】
音声認識のための音響モデルの統計モデルのパラメタであるモデルパラメタの自己応答関数を算出する自己応答関数算出処理と、
Ｍ個のモデルパラメタ間の自己応答関数の値を成分に持つ行列の固有値及び固有ベクトルを算出する固有値解析処理と、
前記固有値解析処理において算出された固有値及び固有ベクトルのうち、固有値の大きい方から、Ｍより小さいＭ´個の固有値とＭ´に対応する固有ベクトルの値を用いて、モデルパラメタの重みを算出し、モデルパラメタがその重みを持つとして、重み付き和として予測分布を算出する予測分布算出処理と、
を含むことを特徴とする統計モデル学習方法。
【請求項６】
音声認識のための音響モデルの統計モデルのパラメタであるモデルパラメタの自己応答関数を算出する自己応答関数算出処理と、
Ｍ個のモデルパラメタ間の自己応答関数の値を成分に持つ行列の固有値及び固有ベクトルを算出する固有値解析処理と、
前記固有値解析処理において算出された固有値及び固有ベクトルのうち、固有値の大きい方から、Ｍより小さいＭ´個の固有値とＭ´に対応する固有ベクトルの値を用いて、モデルパラメタの重みを算出し、モデルパラメタがその重みを持つとして、重み付き和として予測分布を算出する予測分布算出処理と、
を情報処理装置に、実行させることを特徴とする統計モデル学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統計モデル学習装置、方法及びプログラムに関し、特に、モデルパラメタの状態密度の影響を考慮した、予測分布を算出する技術に関する。
【背景技術】
【０００２】
音声認識システムにおける音素のモデルや、話者照合システムにおける話者のモデルでは、統計モデルが用いられている。具体的には、音素モデルでは隠れマルコフモデル（以下、「ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｌｋｏｖ  Ｍｏｄｅｌ）」という）や、話者のモデルでは混合ガウスモデル（以下、「ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）」という）などがよく用いられている。【０００３】
これらの学習方法としては、ベイズ推定に基づく枠組みがあり、例えば、非特許文献１において数理的解説が記載されている。【０００４】
確率変数ｘの学習例である学習データを数１、統計モデルのパラメタであるモデルパラメタを数２、モデルパラメタが与えられたとき確率変数ｘが出現する確率密度関数を与える学習モデルを数３、モデルパラメタの事前分布を数４、と記述するとき、ベイズ推定の枠組みでは、学習データが与えられたときのモデルパラメタの確率密度である事後分布は、数５で表される。ここで、数５における分母Ｚ（Ｘｎ）は、分配関数と呼ばれ、数６で表される。【０００５】
【数１】
0005493867.tif 000002
【０００６】
【数２】
0005493867.tif 000003
【０００７】
【数３】
0005493867.tif 000004
【０００８】
【数４】
0005493867.tif 000005
【０００９】
【数５】
0005493867.tif 000006
【００１０】
【数６】
0005493867.tif 000007
【００１１】
このとき、学習データが与えられたときの確率変数ｘが出現する確率密度関数は、予測分布として数７で表される。【００１２】
【数７】
0005493867.tif 000008
【００１３】
しかし数６のモデルパラメタによる積分が困難であるため、実際によく用いられる、確率密度分布学習方法としては事後確率最大化法（ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒｉ：ＭＡＰ推定法。以下、「ＭＡＰ法」という）あるいは最尤推定法がある。【００１４】
ＭＡＰ法では、対数尤度関数を数８として、対数尤度関数を最大化するモデルパラメタを、推定パラメタ数９とし、予測分布を数１０として算出する。【００１５】
【数８】
0005493867.tif 000009
【００１６】
【数９】
0005493867.tif 000010
【００１７】
【数１０】
0005493867.tif 000011
【００１８】
最尤推定法ではＭＡＰ法において事前分布を用いない場合であり、数１１と置き換えればよい。【００１９】
【数１１】
0005493867.tif 000012
【００２０】
ＭＡＰ法あるいは最尤推定法では、ベイズ推定における数７で、尤度が最大となる１点のモデルパラメタのみを用いて予測分布としていることに相当する。そのような最尤推定法を用いた統計モデル学習装置について、例を挙げて説明する。【００２１】
図４に従来の最尤推定法による統計モデル学習装置を示す。この従来の最尤推定法による統計モデル学習装置は、学習データ入力部４０１と、パラメタ算出手段４０２と、予測分布算出手段４０３とから構成されている。このような構成を有する従来の最尤推定法による統計モデル学習装置は次のように動作する。【００２２】
図４の統計モデル学習装置は、学習データ入力部４０１から入力した学習データから、パラメタ算出手段４０２において、数９を満たすモデルパラメタを算出する。例えば、ＨＭＭやＧＭＭなどの学習モデルにおいてはＥＭアルゴリズムを用いて算出する。予測分布算出手段４０３において、算出されたモデルパラメタを用いて数１０として予測分布を算出する。【００２３】
また、本発明に関連する背景技術としては、他に、非特許文献２に記載の、ＨＭＭを用いた一般的な音響モデルの学習方法がある。また、特許文献１に記載の「統計モデル作成方法」も本発明に関連する技術である。
【特許文献１】特開２００１−０８３９８６号公報
【非特許文献１】渡辺澄夫著「代数幾何と学習理論」森北出版株式会社、２００６年４月２０日
【非特許文献２】L.Rabiner, B-H.Juang 著「音声認識の基礎」ＮＴＴアドバンステクノロジ株式会社、１９９５年
【発明の開示】
【発明が解決しようとする課題】
【００２４】
従来のＭＡＰ法、あるいは最尤推定法による学習方法の問題点は、予測分布の性能が低くなる場合があるということである。その理由は、尤度のみを考慮し、最尤となる１点だけで予測分布を算出し、モデルパラメタの分布が考慮されていないということである。パラメタの分布を考慮していないため、同じ尤度をもつパラメタの密度（数１２で表される状態密度）は無視される。【００２５】
【数１２】
0005493867.tif 000013
【００２６】
非特許文献１において指摘されているように、ＨＭＭやＧＭＭといった学習モデルは特異モデルといわれ、異なるパラメタにおいて数１３を満たすような同一の分布となる特異点が存在する。【００２７】
【数１３】
0005493867.tif 000014
【００２８】
これら特異点の周りでは状態密度が大きな値となるため、予測分布に強く影響し、パラメタ１点のみを用いる推定方法では性能が低くなる場合がある。すなわち、尤度は最大とならないモデルパラメタであっても、同じ尤度を算出する状態密度が大きくなるようなモデルパラメタは、数７で表される予測分布には大きな影響を与え、最尤となる１点のみを用いるＭＡＰ法や最尤推定法では十分な予測分布を与えない場合があるということである。【００２９】
本発明の目的は、数６のモデルパラメタによる積分に起因する計算量の問題を回避し、かつ、状態密度の影響を考慮した、予測分布を算出する、統計モデル学習装置を提供することにある。
【課題を解決するための手段】
【００３０】
上記目的を達成するために本発明は、モデルパラメタの自己応答関数を算出する自己応答関数算出手段と、Ｍ個のモデルパラメタ間の自己応答関数の値を成分に持つ行列の固有値及び固有ベクトルを算出する固有値解析手段と、前記固有値解析手段において算出された固有値及び固有ベクトルのうち、固有値の大きい方から、Ｍより小さいＭ´個の固有値とＭ´に対応する固有ベクトルの値を用いて、モデルパラメタの重みを算出し、モデルパラメタがその重みを持つとして、重み付き和として予測分布を算出する予測分布算出手段と、を有することを特徴とする。
【発明の効果】
【００３１】
本発明によれば、計算量の問題を回避し、かつ、状態密度の影響を考慮した、予測分布を算出する、統計モデル学習装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００３２】
本発明の実施の形態について図面を参照して詳細に説明する。【００３３】
図１及び図２を参照すると、本実施形態に係る統計モデル学習装置が示されている。本実施形態に係る統計モデル学習装置は、学習データ入力部２０１と、学習データ分割手段２０２と、分割学習データ記憶部２０３と、パラメタ算出手段２０４と、パラメタ記憶部２０５及び１０１、自己応答関数算出手段１０２と、固有値解析手段１０３と、予測分布算出手段１０４、とを有して構成される。本実施形態に係る統計モデル学習装置は、例えばパーソナルコンピュータで実現される。なお、ここでパラメタ記憶部２０５と１０１は同じものであってよい。【００３４】
学習データ入力部２０１は、学習データを、例えば、自身のコンピュータから、あるいは他のコンピュータからネットワークを通じて、入力するプログラムである。また、学習データ分割手段２０２は、学習データ入力部２０１で入力された学習データをＭ個に分割するプログラムである。また、分割学習データ記憶部２０３は、例えばハードディスク装置やメモリなどであり、分割されたＭ個のデータが記憶される。【００３５】
学習データ分割手段２０２は、全学習データを、重なりを許してもよいとして、Ｍ個の部分集団にランダムに分割する。学習データ量が十分にある場合は重なりを許さない分割でもよい。分割個数Ｍは、期待する計算量となるように設定して指定する、あるいは実験的に性能が高くなるように設定し指定する、又は計算量と性能の兼ね合いをみて指定することができる。【００３６】
パラメタ算出手段２０４は、分割されたＭ個の学習データそれぞれについて、Ｍ個のモデルパラメタを推定する、プログラムである。パラメタ記憶部２０５及び１０１は、例えばハードディスク装置やメモリなどであり、推定されたＭ個のモデルパラメタを記憶する。【００３７】
パラメタ算出手段２０４は、与えられた学習データに対し、数３で表される学習モデルの尤度が最大となるようにモデルパラメタを学習する。最尤推定に限らずＭＡＰ推定などを用いてもよく、数８、数９で表される。
学習モデルとしては、例えばＨＭＭやＧＭＭといった隠れ変数を持つ複雑なモデルを用いることができ、それらのモデルパラメタの、最尤あるいはＭＡＰ推定は、ＥＭアルゴリズムを用いることにより実行することが可能である。推定されたＭ個のモデルパラメタを数１４で表す。【００３８】
【数１４】
0005493867.tif 000015
【００３９】
これにより、学習データに対し、高い尤度を持つＭ個のモデルパラメタ候補を得ることができる。【００４０】
自己応答関数算出手段１０２は、モデルパラメタ間の確率変数ｘを通じた、自己応答関数を算出するプログラムである。自己応答関数算出手段１０２は、数１５で表される、確率変数ｘを通じたモデルパラメタω、ω´間の自己応答関数を算出する。【００４１】
【数１５】
0005493867.tif 000016
【００４２】
ここで、確率変数ｘの積分は、学習モデルがＧＭＭの場合には解析的に計算できる。またＨＭＭのようなより複雑なモデルの場合は、学習データの値の和に置き換えることにより実行できる。この学習データの和はすべてを用いる必要はない、あるいは逆に、学習データの線形結合といった点を含めることにより、学習データ以外の点の和も含めることによっても算出することができる。【００４３】
固有値解析手段１０３は、パラメタ算出手段２０４で算出されたＭ個のモデルパラメタ間における、自己応答関数算出手段１０２で算出された値を持つ行列において、固有値、固有ベクトルを算出する、プログラムである。【００４４】
固有値解析手段１０３では、Ｍ個のモデルパラメタ間の自己応答関数の値を成分とする、Ｍ行Ｍ列の行列を構成して、この行列の固有値（数１６）と対応する固有ベクトル（数１７）を算出する。【００４５】
【数１６】
0005493867.tif 000017
【００４６】
【数１７】
0005493867.tif 000018
【００４７】
予測分布算出手段１０４は、固有値解析手段１０３で算出された、Ｍ個の固有値及び固有ベクトルから、固有値が大きいＭ´個（Ｍ´＜Ｍ）の固有値とそれに対応した固有ベクトルを用いて、Ｍ個のモデルパラメタの重みを算出し、それら重みつき和として予測分布を算出する、プログラムである。【００４８】
予測分布算出手段１０４は、数１８で予測分布を算出する。【００４９】
【数１８】
0005493867.tif 000019
【００５０】
ここで、数１９から、学習モデルにおいて、１番目の固有ベクトルの成分の二乗が、固有値に対応することが分かる。【００５１】
【数１９】
0005493867.tif 000020
【００５２】
Ｍ´は期待する計算量となるように設定して指定する、あるいは実験的に性能が高くなるように設定し指定する、又は計算量と性能の兼ね合いをみて指定することができる。【００５３】
数１８と数７を比較すると、本発明では、モデルパラメタの事後分布（数５）ではなく、モデルパラメタの自己応答関数から算出された固有値及び固有ベクトルの値を用いて、重みつけた値となっている。【００５４】
これにより、数６のモデルパラメタの積分といった計算量の困難を回避し、学習データに対し尤度が高く、かつ自己応答関数の大きくなるモデルパラメタ、すなわち同じ尤度を与えるモデルパラメタに重みを大きくすることにより、状態密度の影響を考慮した予測分布が算出される。【００５５】
次に、本発明の別の実施の形態について説明する。図３を参照すると、本発明の別の実施形態の構成が示されている。本発明の別の実施形態は、学習データ入力部３０１と、パラメタ初期値記憶部３０２と、パラメタ算出手段３０３と、パラメタ記憶部３０４と、を有する構成である。【００５６】
パラメタ算出手段３０３において、入力された学習データと、異なるＭ個の初期パラメタを用いて、モデルパラメタをそれぞれＭ個算出し、パラメタ記憶部３０４に記憶する。【００５７】
パラメタ算出手段３０３は、与えられた学習データに対し、数３で表される学習モデルの尤度が最大となるようにモデルパラメタを学習する。最尤推定に限らずＭＡＰ推定などを用いてもよく、数８、数９で表される。【００５８】
学習モデルとしては、例えばＨＭＭやＧＭＭといった隠れ変数を持つ複雑なモデルを用いることができ、それらのモデルパラメタの、最尤あるいはＭＡＰ推定は、ＥＭアルゴリズムを用いることにより実行することが可能である。ＥＭアルゴリズムは初期パラメタに依存するため、同じ学習データを用いても、異なる初期値を用いると異なるモデルパラメタが推定される。あるいはまた、本実施の形態と前述の実施の形態を組み合わせ、学習データの分割と、異なる初期値を用いて、Ｍ個のモデルパラメタを算出することもできる。これらにより、学習データに対し、高い尤度を持つＭ個のモデルパラメタ候補を得ることができる。
以上で、本発明の別の実施形態についての説明を終える。【００５９】
次に、上述した各実施形態の要部の構成とその作用について、再度説明する。
上述した本発明の実施形態の統計モデル学習装置は、Ｍ個のモデルパラメタを記憶するパラメタ記憶部１０１と、モデルパラメタの自己応答関数を算出する自己応答関数算出手段１０２と、Ｍ個のモデルパラメタ間の自己応答関数の値を成分にもつ行列の固有値及び固有ベクトルを算出する固有値解析手段１０３と、算出された固有値及び固有ベクトルを用いて、予測分布を算出する予測分布算出手段１０４を有して構成されている。【００６０】
本実施形態では、このようにして、モデルパラメタ記憶部１０１に記憶された、Ｍ個のモデルパラメタ間の確率変数ｘを通じた、自己応答関数を自己応答関数算出手段１０２で算出する。この自己応答関数の値は、それぞれのモデルパラメタにおいて得られる確率変数ｘの確率密度関数の重なりが大きいとき大きな値となるため、同じ尤度を与えるモデルパラメタ間でその値が大きくなる。【００６１】
前記Ｍ個のモデルパラメタ間の自己応答関数の値を成分とする、Ｍ行Ｍ列の行列を構成して、この行列の固有値、固有ベクトルを、固有値解析手段１０３で算出し、固有値が大きいＭ´個（Ｍ´＜Ｍ）の固有値とそれに対応した固有ベクトルを用いて、Ｍ個のモデルパラメタの重みを算出し、それら重みつき和として予測分布を算出する。これにより、本実施形態は、数６のモデルパラメタによる積分を行うことなく自己応答関数の大きくなるモデルパラメタ、すなわち同じ尤度を与えるモデルパラメタに重みを大きくすることにより、状態密度の影響を考慮した予測分布が算出される。【００６２】
したがって、本実施形態の効果は、モデルパラメタによる積分を行うことなく、モデルパラメタの状態密度の影響を考慮した予測分布が算出できることにある。その理由は、モデルパラメタ間の自己応答関数を値とする行列の固有値解析を用いて、モデルパラメタの重みを算出しそれらの重みつき和として予測分布を算出しているためである。
【実施例１】
【００６３】
次に具体的な実施例を用いて、本発明を実施するための最良の形態を説明する。
本実施例は、音声認識のための音響モデルとしてＨＭＭを用い、特にＧＭＭをＨＭＭの各状態からの特徴ベクトルを出力する確率密度関数とする場合において、このＧＭＭのパラメタを学習する場合を例とする。なお、本実施例の構成を示す図面は、図１及び図２である。【００６４】
音声認識においては、音声データをケプストラム分析等により特徴ベクトルとし、学習データとする。
既存のＨＭＭを用いてビタービアライメントを実施することにより、ＨＭＭの各状態に学習データを割り当てることができる。今状態ｓのＧＭＭに着目すると、学習データ入力部２０１に、状態ｓに割り当てられた、特徴ベクトルを入力する。【００６５】
学習データ分割手段２０２において、入力されたデータをＭ個にランダムに分割する。パラメタ算出手段２０４は、前記Ｍ個に分割された学習データを用いて、Ｍ個のモデルパラメタをＥＭアルゴリズムにより算出する。
ＧＭＭの混合重み、平均ベクトル及び共分散行列をまとめたものがモデルパラメタである。【００６６】
自己応答関数算出手段１０２において数１５を用いてモデルパラメタ間の自己応答関数を算出するが、特徴ベクトルｘの積分は、ＧＭＭの場合解析的に実行することが可能である。あるいはまた、学習データ入力部２０１に入力された特徴ベクトルの和に置き換えることにより近似的に実行することもできる。【００６７】
固有値解析手段１０３において、固有値解析を行い、最も簡単な場合としては「Ｍ´＝１」として、最大固有値とその固有ベクトルの値を用いる。予測分布算出手段１０４においては、数１８においてＭ´＝１とし、予測分布として算出する。
この場合、数１８をみるとＭ個のＧＭＭの重みつき和の形となるため、予測分布全体も再びＧＭＭとなることが分かる。なお、ＧＭＭに限らず、特に混合分布型のモデルを学習する場合にはこの性質は、Ｍ´＝１と限らずとも、数１８により保たれる。【００６８】
なお、この出願は、２００７年１２月２０日に出願した、日本特許出願番号２００７−３２８４３５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施形態に係る統計モデル学習装置の構成を示すブロック図（その１）である。
【図２】本発明の実施形態に係る統計モデル学習装置の構成を示すブロック図（その２）である。
【図３】本発明の別の実施形態の構成を示すブロック図である。
【図４】従来技術を説明するための図である。
【符号の説明】
【００７０】
１０１    パラメタ記憶部
１０２    自己応答関数算出手段
１０３    固有値解析手段
１０４    予測分布算出手段
２０１    学習データ入力部
２０２    学習データ分割手段
２０３    分割学習データ記憶部
２０４    パラメタ算出手段
２０５    パラメタ記憶部
３０１    学習データ入力部
３０２    パラメタ初期値記憶部
３０３    パラメタ算出手段
３０４    パラメタ記憶部
４０１    学習データ入力部
４０２    パラメタ算出手段
４０３    予測分布算出手段
【図１】
0005493867.tif 000021
【図２】
0005493867.tif 000022
【図３】
0005493867.tif 000023
【図４】
0005493867.tif 000024