(57)【要約】      （修正有）【課題】予め全てのガウス分布の全共分散行列を求めることができない場合でも、パターン認識性能を向上させることができるモデル学習装置、モデル作成方法及びモデル作成プログラムを提供する。【解決手段】モデル学習装置１は、複数のガウス分布間で共有された全共分散行列を持つモデルを学習するモデル学習装置であって、第１算出部１０と、第２算出部１２と、を有する。第１算出部１０は、学習データからモデルに含まれるガウス分布の出現頻度と十分統計量とを算出する。第２算出部１２は、出現頻度及び十分統計量に基づいて、ガウス分布間での共分散行列の共有構造を選択し、選択した共有構造により共有された全共分散行列を算出する。【選択図】図１
2014052450.tif 000002
【特許請求の範囲】
【請求項１】
複数のガウス分布間で共有された全共分散行列を持つモデルを学習するモデル学習装置であって、
学習データからモデルに含まれるガウス分布の出現頻度と十分統計量とを算出する第１算出部と、
前記出現頻度及び前記十分統計量に基づいて、ガウス分布間での共分散行列の共有構造を選択し、選択した前記共有構造により共有された全共分散行列を算出する第２算出部と、
を有するモデル学習装置。
【請求項２】
前記第２算出部は、
前記出現頻度及び前記十分統計量を用いて計算した対数尤度の期待値に基づいて、前記共有構造を選択する
請求項１に記載のモデル学習装置。
【請求項３】
前記第２算出部は、
ガウス分布毎に尤度が最大となるクラスタを選択するクラスタ選択部と、
前記クラスタに属するガウス分布の平均ベクトル、前記出現頻度及び前記十分統計量に基づいて、前記共有された全共分散行列を更新する共有全共分散行列更新部と、
を有する請求項１に記載のモデル学習装置。
【請求項４】
前記第２算出部は、
前記出現頻度及び前記十分統計量を繰返し算出に用いたＬＢＧアルゴリズムによって前記共有された全共分散行列を算出する
請求項１に記載のモデル学習装置。
【請求項５】
前記モデルは、
混合ガウス分布を出力とする隠れマルコフモデルである
請求項１に記載のモデル学習装置。
【請求項６】
複数のガウス分布間で共有された全共分散行列を持つモデルを作成するモデル作成方法であって、
学習データからモデルに含まれるガウス分布の出現頻度と十分統計量とを算出する工程と、
前記出現頻度及び前記十分統計量に基づいて、ガウス分布間での共分散行列の共有構造を選択し、選択した前記共有構造により共有された全共分散行列を算出する工程と、
を含むモデル作成方法。
【請求項７】
複数のガウス分布間で共有された全共分散行列を持つモデルを作成するモデル作成プログラムであって、
学習データからモデルに含まれるガウス分布の出現頻度と十分統計量とを算出するステップと、
前記出現頻度及び前記十分統計量に基づいて、ガウス分布間での共分散行列の共有構造を選択し、選択した前記共有構造により共有された全共分散行列を算出するステップと、
をコンピュータに実行させるためのモデル作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、モデル学習装置、モデル作成方法及びモデル作成プログラムに関する。
【背景技術】
【０００２】
音声認識の音響モデルなどに使用されるガウス分布は、平均ベクトルと共分散行列とを含む。一般に、共分散行列として変数間の相関を考慮した全共分散行列を用いる方が、変数間の相関を考慮しない対角共分散行列を用いる場合よりも高い認識性能が得られる。しかし、ガウス分布当たりの学習データ量が不足すると、全共分散行列を求めることができなかったり、全共分散行列の値の信頼性が低くなったりするため、全共分散行列を用いることができない場合が多いという問題がある。
【０００３】
ガウス分布当たりの学習データ量が少ない場合でも信頼性の高い全共分散行列を求める手法として、複数のガウス分布間で一つの全共分散行列を共有し、それら複数のガウス分布の学習データを用いて共有する全共分散行列を学習する手法が考えられる。この手法により、全共分散行列当たりの学習データ量をガウス分布当たりの学習データ量よりも増加させることができる。このように、学習データ量に対する全共分散行列の数を調整することにより、信頼性の高い全共分散行列を求め、認識性能を向上させることが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２０１２６５号公報
【非特許文献】
【０００５】
【非特許文献１】Ｙ．Ｓｈｉｎｏｈａｒａ，  ｅｔ  ａｌ．，  “Ｃｏｖａｒｉａｎｃｅ  ｃｌｕｓｔｅｒｉｎｇ  ｏｎ  Ｒｉｅｍａｎｎｉａｎ  ｍａｎｉｆｏｌｄｓ  ｆｏｒ  ａｃｏｕｓｔｉｃ  ｍｏｄｅｌ  ｃｏｍｐｒｅｓｓｉｏｎ”，  Ｐｒｏｃ．  ＩＣＡＳＳＰ−２０１０，  ｐｐ．４３２６−４３２９，  Ｍａｒ．  ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の共有する全共分散行列を学習する手法では、予め全てのガウス分布の全共分散行列を求めておく必要があった。また、尤度最大という観点からは必ずしも最適ではないという問題があった。本発明が解決しようとする課題は、予め全てのガウス分布の全共分散行列を求めることができない場合でも、パターン認識性能を向上させることができるモデル学習装置、モデル作成方法及びモデル作成プログラムを提供することである。
【課題を解決するための手段】
【０００７】
実施形態のモデル学習装置は、複数のガウス分布間で共有された全共分散行列を持つモデルを学習するモデル学習装置であって、第１算出部と、第２算出部と、を有する。第１算出部は、学習データからモデルに含まれるガウス分布の出現頻度と十分統計量とを算出する。第２算出部は、出現頻度及び十分統計量に基づいて、ガウス分布間での共分散行列の共有構造を選択し、選択した共有構造により共有された全共分散行列を算出する。
【図面の簡単な説明】
【０００８】
【図１】実施形態にかかるモデル学習装置の構成を例示する構成図。
【図２】実施形態にかかるモデル学習装置における全共分散行列のクラスタリングの様子を表す概念図。
【図３】実施形態の第２算出部の第１の処理例を示すフローチャート。
【図４】実施形態の第２算出部の第２の処理例を示すフローチャート。
【図５】比較例における全共分散行列のクラスタリングの様子を表す概念図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、モデル学習装置の実施の形態を詳細に説明する。ここでは、音声認識に用いる隠れマルコフモデルに含まれる複数のガウス分布間で共有された全共分散行列を表す共有全共分散行列を持つモデルを学習する例について説明する。図１は、実施形態にかかるモデル学習装置１の構成を例示する構成図である。モデル学習装置１は、コンピュータとしての機能を備え、図１に示すように、例えば第１算出部（十分統計量算出部）１０及び第２算出部（共有全共分散行列算出部）１２を有する。第１算出部１０及び第２算出部１２は、ソフトウェア（プログラム）で構成されてもよいし、ハードウェアで構成されてもよい。
【００１０】
第１算出部１０は、混合ガウス分布を出力分布として持つ隠れマルコフモデル（統計モデル）を入力として、学習データから、隠れマルコフモデルに含まれるガウス分布ｍ（１≦ｍ≦Ｍ）の出現頻度Ｎｍと十分統計量Ｔｍ＝（Ｔ１ｍ，Ｔ２ｍ）とを算出する。時刻１からＵまでの学習データをＸ＝（ｘ（１），．．．，ｘ（Ｕ））とし、時刻ｕにおける状態ｍの占有確率をγｍ（ｕ）とすると、出現頻度及び十分統計量は下式（１）から下式（３）を用いて算出される。
【００１１】
【数１】
2014052450.tif 000003
【数２】
2014052450.tif 000004
【数３】
2014052450.tif 000005
【００１２】
ここで、・ｔは行列の転置を表わす。
【００１３】
第２算出部１２は、第１算出部１０が算出した出現頻度と十分統計量とを用いてガウス分布のクラスタリングを行い、同じクラスタに属するガウス分布間で共有される全共分散行列を算出する。そして、第２算出部１２は、共分散共有統計モデルを出力とする。ここで、第２算出部１２は、例えばＫ−ｍｅａｎｓアルゴリズム、ＬＢＧアルゴリズム、又は２分木クラスタリングアルゴリズムなどを用いてガウス分布のクラスタリングを行う。例えば、第２算出部１２は、クラスタのセントロイドを共有全共分散行列とし、サンプルをガウス分布とし、セントロイドとサンプルとの近さを表わす尺度（距離または類似度）を対数尤度の期待値（後述する下式４参照）とする。ここで、対数尤度の期待値が大きいほどセントロイドとサンプルとが近いことを表わしている。
【００１４】
図２は、実施形態にかかるモデル学習装置１における全共分散行列のクラスタリングの様子（共分散共有統計モデル）を表す概念図である。図２において、下側の楕円は十分統計量の空間ａを表し、上側の楕円は全共分散行列の空間ｂを表わす。
【００１５】
また、ばつ印（×）は各ガウス分布の十分統計量を表し、黒丸（●）はクラスタのセントロイドである共有全共分散行列を表わしている。また、ばつ印（×）と黒丸（●）とを結ぶ実線の両側矢印は、各ガウス分布の十分統計量とそれを用いて計算した対数尤度の期待値が最も大きい共有全共分散行列との対応関係を表わしている。さらに、破線は十分統計量の空間ａ上で形成されるクラスタの境界を表わしている。
【００１６】
図２に示すように、モデル学習装置１は、各ガウス分布の十分統計量と対応する共有全共分散行列とから求められる対数尤度の期待値の全ガウス分布に関する和を最大化するように全共分散行列のクラスタリングを行う。従って、モデル学習装置１は、予め各ガウス分布の全共分散行列を求める必要がない。また、モデル学習装置１は、第２算出部１２が対数尤度の期待値に基づいてクラスタリングを行っているため、対数尤度の期待値の和を最大化（尤度最大基準）するように最適な全共分散行列の共有構造を決定（選択）し、共有全共分散行列を求めることができる。
【００１７】
（第２算出部１２の第１の処理例）
第１の処理例として、第２算出部１２は、Ｋ−ｍｅａｎｓアルゴリズムを用いて、Ｍ個のガウス分布をＫ（Ｋ≦Ｍ）個のクラスタにクラスタリングし、共有全共分散行列を算出する。
【００１８】
図３は、第２算出部１２の第１の処理例を示すフローチャートである。図３に示すように、共有全共分散行列初期化ステップ１００（Ｓ１００）において、第２算出部１２は、まずＫ個のクラスタそれぞれに対して初期共有全共分散行列を設定する。ここで、第２算出部１２は、正定値対称行列の中からランダムに初期共有全共分散行列を選択してもよい。また、第２算出部１２は、Ｍ個のガウス分布をランダムにＫ個のクラスタに分割し、後述する下式（５）を用いて求めた共有全共分散行列を初期共有全共分散行列としてもよい。
【００１９】
クラスタ選択ステップ１０２（Ｓ１０２）において、第２算出部１２は、ガウス分布毎に尤度最大基準で最適なクラスタを選択する。つまり、第２算出部１２は、最適な共有構造を決定する。例えば、クラスタｋの共有全共分散行列をΣｋとし、ガウス分布ｍの平均ベクトルをμｍとすると、ガウス分布ｍがクラスタｋに割り当てられ、共有全共分散行列Σｋを用いる場合の学習データに対する対数尤度の期待値Ｌｍ（ｋ）は、下式（４）で算出される。なお、下式（４）における上付きの添え字ｉおよびｉ−１は算出の繰り返し回数を表わしている。
【００２０】
【数４】
2014052450.tif 000006
【００２１】
ここで、ｄは学習データｘ（ｕ）の次元数、Ｔｒ（）は行列のトレースを表わす。この対数尤度の期待値Ｌｍ（ｋ）を全てのクラスタに対して計算し、最大値を与えるクラスタをガウス分布ｍのクラスタとする。
【００２２】
共有全共分散行列更新ステップ１０４（Ｓ１０４）において、第２算出部１２は、各クラスタに属するガウス分布の平均ベクトル、出現頻度、及び十分統計量を用いて、下式（５）により共有全共分散行列を算出して更新する。つまり、第２算出部１２は、セントロイドを更新する。
【００２３】
【数５】
2014052450.tif 000007
【００２４】
ここで、Ｃｋはクラスタｋに属するガウス分布のインデックスの集合を表わす。
【００２５】
終了判定ステップ１０６（Ｓ１０６）において、第２算出部１２は、共有全共分散行列の算出の終了条件が満たされたか否かを判定する。第２算出部１２は、終了条件が満たされない場合（Ｓ１０６：Ｎｏ）にはＳ１０２の処理に進む。また、第２算出部１２は、終了条件が満たされた場合（Ｓ１０６：Ｙｅｓ）には処理を終了する。なお、終了条件には、「クラスタ選択ステップ１０２における処理の結果が前回と同じであること」、又は「算出の繰り返し回数が予め定められた繰り返し回数に達したこと」などが設定される。
【００２６】
なお、第２算出部１２は、図３に示した各ステップの処理をそれぞれ実行するソフトウェア又はハードウェアを有するように構成されてもよい。即ち、第２算出部１２は、共有全共分散行列初期化部（Ｓ１００）、クラスタ選択部（Ｓ１０２）、共有全共分散行列更新部（Ｓ１０４）、及び終了判定部（Ｓ１０６）などのソフトウェア又はハードウェアの機能ブロックを有するように構成されてもよい。
【００２７】
（第２算出部１２の第２の処理例）
第２の処理例として、第２算出部１２は、ＬＢＧアルゴリズム（Linde-Buzo-Gray  algorithm）を用いて、Ｍ個のガウス分布をＫ（Ｋ≦Ｍ）個のクラスタにクラスタリングし、共有全共分散行列を算出する。
【００２８】
図４は、第２算出部１２の第２の処理例を示すフローチャートである。図４に示すように、初期化ステップ２００（Ｓ２００）において、第２算出部１２は、全てのガウス分布を含む１つのクラスタを作成し、上式（５）を用いて全てのガウス分布の平均ベクトル、出現頻度、及び十分統計量を用いて１つの共有全共分散行列を算出する。そして、第２算出部１２は、クラスタ数Ｋ’を１とする。
【００２９】
クラスタ分割ステップ２０２（Ｓ２０２）において、第２算出部１２は、クラスタ数をＫ’個からｍｉｎ（Ｋ，ｎＫ’）個に増加させる（クラスタ分割）。ここで、ｎは１＜ｎ≦２であり、典型的にはｎ＝２が用いられる。また、ｍｉｎ（ａ，ｂ）は、ａ、ｂのうちの小さい方の値を出力する関数である。
【００３０】
より具体的には、第２算出部１２は、Ｋ’個の共有全共分散行列からｍｉｎ（Ｋ，ｎＫ’）−Ｋ’個を選択してそれぞれを２つに分割する。次に、第２算出部１２は、分割して得られた２（ｍｉｎ（Ｋ，ｎＫ’）−Ｋ’）個の共有全共分散行列と分割しなかったＫ’−（ｍｉｎ（Ｋ，ｎＫ’）−Ｋ’）個の全共分散行列とを合わせてｍｉｎ（Ｋ，ｎＫ’）個の共有全共分散行列を求める。そして、第２算出部１２は、クラスタ数Ｋ’をｍｉｎ（Ｋ，ｎＫ’）に更新する。
【００３１】
Ｋ−ｍｅａｎｓアルゴリズムステップ２０４（Ｓ２０４）において、第２算出部１２は、クラスタ分割ステップ２０２で求めたＫ’個の共有全共分散行列を初期共有全共分散行列としてＫ−ｍｅａｎｓアルゴリズムを実行し、Ｋ’個の共有全共分散行列を算出する。
【００３２】
終了判定ステップ２０６（Ｓ２０６）において、第２算出部１２は、クラスタ数が所望の数Ｋとなったか否かを判定する。第２算出部１２は、Ｋ’＜Ｋの場合（Ｓ２０６：Ｎｏ）にはＳ２０２の処理に進む。また、第２算出部１２は、Ｋ’＝Ｋの場合（Ｓ２０６：Ｙｅｓ）には処理を終了する。
【００３３】
なお、第２算出部１２は、図４に示した各ステップの処理をそれぞれ実行するソフトウェア又はハードウェアを有するように構成されてもよい。即ち、第２算出部１２は、初期化部（Ｓ２００）、クラスタ分割部（Ｓ２０２）、Ｋ−ｍｅａｎｓアルゴリズム部（Ｓ２０４）、及び終了判定部（Ｓ２０６）などのソフトウェア又はハードウェアの機能ブロックを有するように構成されてもよい。
【００３４】
また、第１算出部１０は、十分統計量Ｔｍ＝（Ｔ１ｍ，Ｔ２ｍ）の代わりに下式（６）で表わされる量を求めるように構成されてもよい。
【００３５】
【数６】
2014052450.tif 000008
【００３６】
この場合、上式（４）及び上式（５）は、それぞれ下式（７）及び下式（８）と表わされる。
【００３７】
【数７】
2014052450.tif 000009
【００３８】
【数８】
2014052450.tif 000010
【００３９】
本実施形態のモデル学習装置１は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００４０】
本実施形態のモデル学習装置１で実行されるモデル作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００４１】
また、本実施形態のモデル学習装置１で実行されるモデル作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のモデル学習装置１で実行されるモデル作成プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００４２】
また、本実施形態のモデル作成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００４３】
本実施形態のモデル学習装置１で実行されるモデル作成プログラムは、例えば上述した各部（第１算出部１０及び第２算出部１２）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からモデル作成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第１算出部１０及び第２算出部１２が主記憶装置上に生成されるようになっている。
【００４４】
以上のように、実施形態にかかるモデル学習装置１よれば、予め全てのガウス分布の全共分散行列を求めることができない場合でも、パターン認識性能を向上させることができる。つまり、モデル学習装置１は、ガウス分布当たりの学習データが不足して全共分散行列を求めることができない場合でも、尤度最大基準に基づいて最適な全共分散行列の共有構造を決定し共有全共分散行列を求めることができる。
【００４５】
（全共分散行列のクラスタリングの比較例）
図５は、比較例における全共分散行列のクラスタリングの様子を表す概念図である。図５においては、図２と同様に、下側の楕円は十分統計量の空間ａを表し、上側の楕円は全共分散行列の空間ｂを表わす。
【００４６】
また、ばつ印（×）は各ガウス分布の十分統計量を表し、白丸（○）は各ガウス分布の全共分散行列を表し、黒丸（●）はクラスタのセントロイドである共有全共分散行列を表わしている。また、ばつ印（×）から白丸（○）へ向かう点線の片側矢印は、各ガウス分布毎に十分統計量から全共分散行列を求めることを表わす。また、白丸（○）と黒丸（●）を結ぶ実線の両側矢印は、各ガウス分布の全共分散行列と距離が最も近い共有全共分散行列の対応関係を表わしている。
【００４７】
さらに、破線は、全共分散行列の空間ｂ上で形成されるクラスタの境界を表わしている。比較例の全共分散行列のクラスタリングでは、各ガウス分布の全共分散行列と、対応する共有全共分散行列との距離の和に基づいて、その和が最小になるようにクラスタリングが行われている。従って、予め各ガウス分布毎に十分統計量から全共分散行列を求めておく必要がある。また、比較例の全共分散行列のクラスタリングは、全共分散行列間の距離に基づいているため、尤度最大という観点からは必ずしも最適ではない。
【００４８】
また、本発明の実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４９】
１  モデル学習装置
１０  第１算出部
１２  第２算出部
Ｓ１００  共有全共分散行列初期化ステップ、共有全共分散行列初期化部
Ｓ１０２  クラスタ選択ステップ、クラスタ選択部
Ｓ１０４  共有全共分散行列更新ステップ、共有全共分散行列更新部
Ｓ１０６  終了判定ステップ、終了判定部
Ｓ２００  初期化ステップ、初期化部
Ｓ２０２  クラスタ分割ステップ、クラスタ分割部
Ｓ２０４  Ｋ−ｍｅａｎｓアルゴリズムステップ、Ｋ−ｍｅａｎｓアルゴリズム部
Ｓ２０６  終了判定ステップ、終了判定部
【図１】
2014052450.tif 000011
【図２】
2014052450.tif 000012
【図３】
2014052450.tif 000013
【図４】
2014052450.tif 000014
【図５】
2014052450.tif 000015