(57)【特許請求の範囲】
【請求項１】
複数の統計分布で構成される混合モデルに基づいて入力された信号系列のクラスを識別するクラスタリング装置において、前記混合モデルを構成する正規分布を特定する統計パラメータの元データとなる信号系列が入力される度に、前記統計パラメータを生成する統計解析装置であって、
前記統計パラメータを記憶する統計パラメータ記憶手段と、
前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段と、
この統計パラメータ生成手段で生成した統計パラメータを、前記統計パラメータ記憶手段に登録する新規パラメータ登録手段と、
前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμｉ及びμｊと、共分散行列Σｉ及びΣｊとに基づいて、（μｉ−μｊ）Ｔ（Σｉ＋Σｊ）−１（μｉ−μｊ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段と、
この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗｒ及びｗｓを加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμｒ及びμｓを重み係数ｗｒ及びｗｓに応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σｒ及びΣｓを（（ｗｒ（Σｒ＋μｒμｒＴ）＋ｗｓ（Σｓ＋μｓμｓＴ））／ｗ´）−μ´μ´Ｔ〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段と、
前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段と、
前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段と、
を備えていることを特徴とする統計解析装置。
【請求項２】
複数の統計分布で構成される混合モデルに基づいて入力された信号系列のクラスを識別するクラスタリング装置において、前記混合モデルを構成する正規分布を特定する統計パラメータの元データとなる信号系列が入力される度に、前記統計パラメータを生成するために、コンピュータを、
前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段、
この統計パラメータ生成手段で生成した統計パラメータを、統計パラメータ記憶手段に登録する新規パラメータ登録手段、
前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμｉ及びμｊと、共分散行列Σｉ及びΣｊとに基づいて、（μｉ−μｊ）Ｔ（Σｉ＋Σｊ）−１（μｉ−μｊ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段、
この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗｒ及びｗｓを加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμｒ及びμｓを重み係数ｗｒ及びｗｓに応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σｒ及びΣｓを（（ｗｒ（Σｒ＋μｒμｒＴ）＋ｗｓ（Σｓ＋μｓμｓＴ））／ｗ´）−μ´μ´Ｔ〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段、
前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段、
前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段、
として機能させることを特徴とする統計解析プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された信号系列の統計的性質を解析することで、複数の統計分布で構成される混合モデルを構築する統計解析装置、統計解析方法及び統計解析プログラムに関する。
【０００２】
【従来の技術】
従来、入力された信号系列を複数の意味を持ったクラスにクラス分けする場合に、その信号系列が特定のクラスに含まれるかどうかを識別する手法として、ベイズ（Ｂａｙｅｓ）識別規則（ベイズ線形識別規則、ベイズ二次識別規則）に基づいて識別する手法、パルツェン（Ｐａｒｚｅｎ）推定等の核関数に基づいて識別する手法、ｋ最近隣法に基づいて識別する手法、ガウス混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）に基づいて識別する手法等が存在する（例えば、非特許文献１参照。）。これらの手法では、訓練サンプルと呼ばれる既知の有限個のサンプルによって予めクラス毎の確率密度関数や、その訓練サンプルの分布を求めておく必要がある。
【０００３】
例えば、ベイズ識別規則に基づいてクラスを識別する手法は、訓練サンプルによって、ガウス分布のパラメータ（平均ベクトル、共分散行列）を求めることで、予め各クラスをガウス分布によりモデル化した確率密度関数として近似しておく。そして、未知のサンプル（未知サンプル）に対して事後確率の値が最大となるクラスを、その未知サンプルのクラスとして識別する。なお、このクラスを識別する識別境界は、ベイズ線形識別規則では直線となり、ベイズ二次識別規則では二次曲線となる。
【０００４】
また、核関数に基づいてクラスを識別する手法は、訓練サンプルのまわりを拡がりの小さな核関数で覆い、これらの核関数の総和によって各クラスの確率密度関数を近似して、未知サンプルに対して事後確率の値が最大となるクラスを、その未知サンプルのクラスとして識別する。一方、ｋ最近隣法に基づいてクラスを識別する手法は、確率密度関数を用いずに、未知サンプルと訓練サンプルとの距離を計算し、最も近いｋ個のサンプルの中で最も数の多いクラスを未知サンプルのクラスとして識別する。
【０００５】
また、ガウス混合モデルに基づいてクラスを識別する手法は、各クラスを複数のガウス分布の重み付き平均によって確率密度関数として近似して、未知サンプルに対して事後確率の値が最大となるクラスを、その未知サンプルのクラスとして識別する。また、この手法では、確率密度関数を構成する複数のガウス分布の平均ベクトル及び共分散行列、並びに個々のガウス分布に対する重み係数といったパラメータによって、クラス形状を表現している。なお、これらのパラメータは、一般的に、ＥＭアルゴリズム（観測できないパラメータを反復法により局所最適解を求めるアルゴリズム）等によって求められる。
【０００６】
【非特許文献１】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎ  ａｎｄ  Ｋ．Ｅ．Ｂａｓｆｏｒｄ著、“Ｍｉｘｔｕｒｅ  ｍｏｄｅｌｓ−Ｉｎｆｅｒｅｎｃｅ  ａｎｄａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｃｌｕｓｔｅｒｉｎｇ”、Ｍａｒｃｅｌ  Ｄｅｋｋｅｒ、１９８８年
【０００７】
【発明が解決しようとする課題】
前記従来の技術において、ベイズ識別規則に基づいてクラスを識別する手法では、予め訓練サンプル分のガウス分布のパラメータ（平均ベクトル、共分散行列）のみを抽出しておいてクラスを識別するため、簡単な構成で識別器を構築することができる。しかし、クラス形状がガウス分布に従わない場合、特にクラス形状が単峰でない場合は、モデル化誤差が大きくなってしまうという問題がある。
【０００８】
また、核関数やｋ最近隣法に基づいてクラスを識別する手法では、全ての訓練サンプルによって構成される識別境界によってクラスの識別を行うため、クラス形状が複雑な場合でもモデル化を行うことが可能である。しかし、この手法を用いて識別器を構成する場合、訓練データを全て識別器内に記憶しておく必要があり、メモリ消費量が大きくなるという問題がある。
【０００９】
また、ガウス混合モデルに基づいてクラスを識別する手法では、複数のガウス分布の重み付き平均によって各クラスを確率密度関数で近似するため、複雑なクラス形状をガウス分布における平均ベクトル、共分散行列や、重み係数等の少ないパラメータにより効率的に表現することができる。しかし、これらのパラメータを求めるには、ＥＭアルゴリズム等の反復演算を行わなければならず、多くの演算時間を要してしまうという問題がある。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、入力された信号系列を逐次統計的に解析することで、クラスを識別するために用いられる混合モデルを効率的に構築することを可能にした統計解析装置及び統計解析プログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の統計解析装置は、複数の統計分布で構成される混合モデルに基づいて入力された信号系列のクラスを識別するクラスタリング装置において、前記混合モデルを構成する正規分布を特定する統計パラメータの元データとなる信号系列が入力される度に、前記統計パラメータを生成する統計解析装置であって、前記統計パラメータを記憶する統計パラメータ記憶手段と、前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段と、この統計パラメータ生成手段で生成した統計パラメータを、前記統計パラメータ記憶手段に登録する新規パラメータ登録手段と、前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμｉ及びμｊと、共分散行列Σｉ及びΣｊとに基づいて、（μｉ−μｊ）Ｔ（Σｉ＋Σｊ）−１（μｉ−μｊ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段と、この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗｒ及びｗｓを加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμｒ及びμｓを重み係数ｗｒ及びｗｓに応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σｒ及びΣｓを（（ｗｒ（Σｒ＋μｒμｒＴ）＋ｗｓ（Σｓ＋μｓμｓＴ））／ｗ´）−μ´μ´Ｔ〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段と、前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段と、前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段と、を備える構成とした。
【００１２】
かかる構成によれば、統計解析装置は、統計パラメータ生成手段によって、入力される信号系列毎に、平均ベクトル、共分散行列及び重み係数を統計パラメータとして生成し、新規パラメータ登録手段によって、統計パラメータ生成手段で生成した統計パラメータを、統計パラメータ記憶手段に登録する。これによって、統計分布（正規分布）の形状を特定するパラメータのみを統計パラメータ記憶手段へ登録することになり、少ないパラメータ量で信号系列を表現することが可能になる。
【００１３】
なお、信号系列とは、統計分布の元となるデータであって、統計分布を生成できる１つ以上のデータの集まりを指す。また、統計パラメータとは、統計分布を特定するための数値であって、平均ベクトル、共分散行列及び重み係数を言う。
【００１４】
さらに、統計解析装置は、距離最小パラメータ対探索手段によって、統計パラメータ記憶手段に記憶されている全ての組み合わせとなる統計分布の統計パラメータ間の距離を求め、その距離が最小となる二組の統計パラメータ（統計パラメータ対）を探索する。これによって、最も類似性の高い２つの統計分布の統計パラメータが探索される。
【００１５】
なお、統計パラメータ間の距離とは、二組の統計パラメータにおいて、個々のパラメータがどれだけ類似しているかを示す指標であって、パラメータ間の差分量等で表される数値のことを言う。
【００１６】
そして、統計解析装置は、パラメータ統合手段によって、距離最小パラメータ対探索手段で探索された２つの統計分布の統計パラメータ（統計パラメータ対）を統合し、１つの統計分布の統合パラメータを生成する。これによって、最も類似する統計分布の統計パラメータを統合するだけの簡単な演算で、混合モデルを構築することができる。
さらに、統計解析装置は、統合前パラメータ削除手段によって、第１統計パラメータ及び第２統計パラメータを統計パラメータ記憶手段から削除し、統合パラメータ登録手段によって、統合パラメータを統計パラメータとして統計パラメータ記憶手段に登録する。
【００２８】
さらに、請求項２に記載の統計解析プログラムは、複数の統計分布で構成される混合モデルに基づいて入力された信号系列のクラスを識別するクラスタリング装置において、前記混合モデルを構成する正規分布を特定する統計パラメータの元データとなる信号系列が入力される度に、前記統計パラメータを生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２９】
すなわち、前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段、この統計パラメータ生成手段で生成した統計パラメータを、統計パラメータ記憶手段に登録する新規パラメータ登録手段、前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμｉ及びμｊと、共分散行列Σｉ及びΣｊとに基づいて、（μｉ−μｊ）Ｔ（Σｉ＋Σｊ）−１（μｉ−μｊ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段、この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗｒ及びｗｓを加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμｒ及びμｓを重み係数ｗｒ及びｗｓに応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σｒ及びΣｓを（（ｗｒ（Σｒ＋μｒμｒＴ）＋ｗｓ（Σｓ＋μｓμｓＴ））／ｗ´）−μ´μ´Ｔ〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段、前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段、前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段、とした。
【００３０】
かかる構成によれば、統計解析プログラムは、統計パラメータ生成手段によって、入力された信号系列の統計分布を特定する統計パラメータを生成し、新規パラメータ登録手段によって、その統計パラメータを統計パラメータ記憶手段へ登録（記憶）する。
【００３１】
そして、統計解析プログラムは、距離最小パラメータ対探索手段によって、統計パラメータ記憶手段に登録されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対を探索する。例えば、統計分布が正規分布であるときは、その正規分布の統計パラメータ間の距離を平均ベクトルの差分と共分散行列の和とによって定義される距離汎関数により算出する。
【００３２】
そして、統計解析プログラムは、パラメータ統合手段によって、類似性の高い２つの統計分布の統計パラメータを統合した統合パラメータを生成する。さらに、統合前パラメータ削除手段によって、統合前の統計パラメータを統計パラメータ記憶手段から削除し、統合パラメータ登録手段によって、パラメータ統合手段で統合した統合パラメータを統計パラメータ記憶手段へ登録（記憶）する。
これによって、最も類似する統計分布の統計パラメータを統合するだけの簡単な演算で、複数の統計分布で構成される混合モデルを構築することができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（統計解析装置の構成）
図１は、本発明における統計解析装置の構成を示したブロック図である。図１に示すように統計解析装置１は、入力された信号系列を統計解析することで、複数の統計分布で構成される混合モデルを構築するものである。ここでは、統計解析装置１を、統計パラメータ記憶手段１０と、統計パラメータ登録手段２０と、距離最小パラメータ対探索手段３０と、統計パラメータ統合手段４０とを、バス９を介して接続することにより構成した。
バス９には、統計パラメータのデータや、統計パラメータ記憶手段１０の記憶アドレス、書き込み／読み出し／消去等の各制御信号が流れる。
【００３４】
統計パラメータ記憶手段１０は、統計分布のパラメータ（統計パラメータ）を複数組記憶するもので、ハードディスク等の記憶媒体で構成されている。
ここで、統計パラメータは、混合モデルを構成する複数の統計分布（核関数）を一意に特定するパラメータと、個々の核関数に対する重み係数とを指す。例えば、混合モデルを、Ｍ個のガウス分布（正規分布）を統計分布として混合したガウス混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）としたとき、統計パラメータは、ＧＭＭを構成するｋ番目の核関数である正規分布の平均ベクトルμk及び共分散行列Σk、並びにその正規分布に対する重み係数
ｗkを指す。
【００３５】
なお、この統計パラメータ（平均ベクトルμk、共分散行列Σk及び重み係数ｗk）を用いることで、ｎ次元の確率変数をＸとしたときのガウス混合モデルによる確率密度関数ｐ（Ｘ）は、（１）式で表すことができる。
【００３６】
【数１】
0003986008.tif 000002
【００３７】
統計パラメータ登録手段２０は、入力された信号系列毎に統計分布を特定する統計パラメータを生成し、その統計パラメータを統計パラメータ記憶手段１０に登録するものである。ここでは、統計パラメータ登録手段２０を、統計パラメータ生成部２１と、新規パラメータ登録部２２とを備えて構成した。なお、この統計パラメータ登録手段２０に入力される信号系列とは、一般的な統計分布を生成することができる１つ以上のデータのことを言う。
【００３８】
統計パラメータ生成部（統計パラメータ生成手段）２１は、入力された信号系列毎に統計分布を特定する統計パラメータを生成し、その統計パラメータを新規パラメータ登録部２２へ通知するものである。この統計パラメータ生成部２１では、最新の１つの信号系列（訓練サンプル）に基づいて、ｔを平均ベクトルとする統計分布ｇを生成する。
【００３９】
例えば、核関数としてガウス分布（正規分布）を用いる場合、統計パラメータ生成部２１は、平均ベクトルｔ、共分散行列Σ0、重み係数“１”、ｎ次元の確率変数をＸとしたときの統計分布ｇ（Ｘ）を（２）式で生成する。なお、共分散行列Σ0は、各訓練サンプルの拡がりを規定するもので、従来の核関数に基づく手法における核関数の拡がりと同様に定めるものとする。また、Ｔは転置ベクトルを示す。
【００４０】
【数２】
0003986008.tif 000003
【００４１】
この（２）式において、平均ベクトルｔ、共分散行列Σ0及び重み係数“１”、すなわち（３）式に示すパラメータが、ガウス分布である統計分布を特定する統計パラメータＰとなる。
【００４２】
【数３】
0003986008.tif 000004
【００４３】
新規パラメータ登録部（新規パラメータ登録手段）２２は、統計パラメータ生成部２１で生成された統計パラメータＰを、統計パラメータ記憶手段１０へ登録するものである。なお、この統計パラメータ記憶手段１０へ登録は、既存のデータ（統計パラメータ）を残したままで追記（追加）することにより行う。
【００４４】
さらに、新規パラメータ登録部２２は、統計パラメータ記憶手段１０に登録する統計パラメータＰの最大数（最大統計パラメータ数）を予め閾値として定めておき、登録した統計パラメータＰの数がその閾値を超えた場合に、距離最小パラメータ対探索手段３０及び統計パラメータ統合手段４０にその旨を、バス９を介して通知するものでもある。なお、この閾値は、構築する混合モデルの複雑さ、精度あるいは統計パラメータ記憶手段１０の容量に基づいて決定するものとする。
【００４５】
距離最小パラメータ対探索手段３０は、（４）式に示すように、統計パラメータ記憶手段１０から、全ての組み合わせとなる二組の統計パラメータ対（Ｐi，Ｐj）を読み出して、統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対（Ｐr，Ｐs）を探索するものである。
【００４６】
【数４】
0003986008.tif 000005
【００４７】
なお、この（４）式において、ｄ（Ｐi，Ｐj）は二組の統計パラメータＰiと統計パラメータＰjとの間の距離を表す関数とする。
例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、統計パラメータＰi（平均ベクトルμi、共分散行列Σi、重み係数ｗi）と、統計パラメータＰj（平均ベクトルμj、共分散行列Σj、重み係数ｗj）との間の距離ｄ（Ｐi，Ｐj）を（５）式に示した距離汎関数により定義するものとする。
なお、Ｔは転置ベクトルを示す。
【００４８】
【数５】
0003986008.tif 000006
【００４９】
この距離汎関数は、（５）式からも分かるように、共分散行列（Σi及びΣj）の和が大きいほど、すなわち正規分布の裾が拡がっているほど、距離が近いとみなし、共分散行列（Σi及びΣj）の和が小さいほど、すなわち正規分布の裾が狭いほど、距離が遠いとみなす。このように、前記距離汎関数は、実際の距離だけではなく、正規分布の共分散行列に基づいて距離を算出する。
【００５０】
また、この距離最小パラメータ対探索手段３０で探索された、距離が最小となる統計パラメータ対（Ｐr，Ｐs）の第１統計パラメータＰr（平均ベクトルμr、共分散行列Σr、重み係数ｗr）及び第２統計パラメータＰs（平均ベクトルμs、共分散行列Σs、重み係数ｗs）、並びに第１統計パラメータＰr及び第２統計パラメータＰsが登録されている統計パラメータ記憶手段１０内のアドレスである第１記憶アドレスＡr及び第２記憶アドレスＡsは、統計パラメータ統合手段４０へ通知される。
【００５１】
なお、この第１記憶アドレスＡr及び第２記憶アドレスＡsは，統計パラメータ記憶手段１０の物理アドレスであってもよいし、第１統計パラメータＰr及び第２統計パラメータＰsを特定する識別子（例えば、ファイル名等）であってもよい。
【００５２】
統計パラメータ統合手段４０は、距離最小パラメータ対探索手段３０で探索された距離が最小となる統計パラメータ対を統合して、１つの統計パラメータとして、統計パラメータ記憶手段１０へ登録するとともに、統合前の統計パラメータ対を統計パラメータ記憶手段１０から削除するものである。ここでは、統計パラメータ統合手段４０を、パラメータ統合部４１と、統合前パラメータ削除部４２と、統合パラメータ登録部４３とを備えて構成した。
【００５３】
パラメータ統合部（パラメータ統合手段）４１は、距離最小パラメータ対探索手段３０で探索された第１統計パラメータＰr及び第２統計パラメータＰsを１つの統計分布の統計パラメータに統合して、統合パラメータＰ´を生成するものである。この統合パラメータＰ´は統合パラメータ登録部４３へ通知される。
例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、パラメータ統合部４１は、（６）式に示すように、第１統計パラメータＰrの重み係数ｗrと、第２統計パラメータＰsの重み係数ｗsとを加算することで、統合パラメータＰ´の重み係数ｗ´を算出する。
【００５４】
【数６】
0003986008.tif 000007
【００５５】
また、パラメータ統合部４１は、（７）式に示すように、平均ベクトル（μr及びμs）を重み係数（ｗr及びｗs）に応じて加算することで統合パラメータＰ´の平均ベクトルμ´を算出する。
【００５６】
【数７】
0003986008.tif 000008
【００５７】
さらに、パラメータ統合部４１は、（８）式に示すように、共分散行列Σrに平均ベクトルμrから導出される行列（μrμT）を加算した値と、共分散行列Σsに平均ベクトルμsから導出される行列（μsμT）を加算した値とを、重み係数（ｗr及びｗs）に応じて加算した後に平均ベクトルμ´から導出される行列（μ´（μ´）T）を減算することで、統合パラメータＰ´の共分散行列Σ´を算出する。
【００５８】
【数８】
0003986008.tif 000009
【００５９】
統合前パラメータ削除部（統合前パラメータ削除手段）４２は、距離最小パラメータ対探索手段３０から通知される、第１統計パラメータＰr及び第２統計パラメータＰsの統計パラメータ記憶手段１０上での記憶アドレスである第１記憶アドレスＡr及び第２記憶アドレスＡsに基づいて、統計パラメータ記憶手段１０に記憶されている第１統計パラメータＰr及び第２統計パラメータＰsを削除するものである。
【００６０】
この統合前パラメータ削除部４２では、距離最小パラメータ対探索手段３０で探索された第１統計パラメータＰr及び第２統計パラメータＰsが、パラメータ統合部４１によって統合され、１つの統計パラメータ（統合パラメータＰ´）となるため、不要となった第１統計パラメータＰr及び第２統計パラメータＰsを統計パラメータ記憶手段１０から削除する。
【００６１】
統合パラメータ登録部（統合パラメータ登録手段）４３は、パラメータ統合部４１から通知される統合パラメータＰ´を新しい統計パラメータとして、統計パラメータ記憶手段１０に登録（記憶）するものである。
【００６２】
以上、一実施形態に基づいて、統計解析装置１の構成について説明したが、統計解析装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して統計解析プログラムとして動作させることも可能である。
【００６３】
（統計解析装置の動作）
次に、図１及び図２を参照して、統計解析装置１の動作について説明する。図２は、統計解析装置１の動作を示すフローチャートである。
【００６４】
［統計パラメータ生成ステップ］
まず、統計解析装置１は、統計パラメータ登録手段２０の統計パラメータ生成部２１によって、入力された信号系列から統計分布を特定する統計パラメータを生成する（ステップＳ１）。例えば、核関数としてガウス分布（正規分布）を用いる場合、前記した（２）式のように、平均ベクトルｔ、共分散行列Σ0、重み係数“１”、ｎ次元の確率変数をＸとしたときの統計分布ｇ（Ｘ）を生成し、この統計分布ｇ（Ｘ）を特定するパラメータ、平均ベクトルｔ、共分散行列Σ0及び重み係数“１”を、統計パラメータＰとして新規パラメータ登録部２２へ通知する。
【００６５】
［新規パラメータ登録ステップ］
そして、統計解析装置１は、統計パラメータ登録手段２０の新規パラメータ登録部２２によって、統計パラメータ生成部２１で生成された統計パラメータＰ、例えば、平均ベクトルｔ、共分散行列Σ0及び重み係数“１”を、統計パラメータ記憶手段１０へ登録する（ステップＳ２）。
【００６６】
ここで、統計パラメータ記憶手段１０に登録されている統計パラメータＰの数が、予め定めた閾値（最大統計パラメータ数）を超過したかどうかを判定する（ステップＳ３）。そして、閾値を超過した場合（Ｓ３；Ｙｅｓ）は、統計パラメータ間の距離が最小となる２つの統計パラメータを探索し統合するため、ステップＳ４へ進む。一方、統計パラメータＰの数が、閾値に満たない場合（Ｓ３；Ｎｏ）は、統計パラメータの統合を行わずにステップＳ８へ進む。
【００６７】
［距離最小パラメータ対探索ステップ］
ステップＳ３において、統計パラメータＰの数が閾値に満たない場合、統計解析装置１は、距離最小パラメータ対探索手段３０によって、統計パラメータ記憶手段１０に記憶されている統計パラメータを参照し（読み出し）、全ての組み合わせとなる二組の統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対（距離最小パラメータ対）を探索する（ステップＳ４）。例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、距離汎関数（前記（５）式）が最小となる統計パラメータ対を探索する。
【００６８】
［パラメータ統合ステップ］
また、統計解析装置１は、統計パラメータ統合手段４０のパラメータ統合部４１によって、ステップＳ４で探索された距離最小パラメータ対（第１統計パラメータＰr及び第２統計パラメータＰs）を統合した統計パラメータ（統合パラメータＰ´）を生成する（ステップＳ５）。例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、前記（６）式〜（８）式によって距離最小パラメータ対を１つの統計分布の統計パラメータとして統合する。
【００６９】
［統合前パラメータ削除ステップ］
さらに、統計解析装置１は、統合前パラメータ削除部４２によって、距離最小パラメータ対探索手段３０から通知される第１統計パラメータＰr及び第２統計パラメータＰsの記憶アドレスである第１記憶アドレスＡr及び第２記憶アドレスＡsに基づいて、統計パラメータ記憶手段１０に記憶されている第１統計パラメータＰr及び第２統計パラメータＰsを削除する（ステップＳ６）。これによって、統合によって不要になった統合前の第１統計パラメータＰr及び第２統計パラメータＰsが統計パラメータ記憶手段１０上から削除される。
【００７０】
［統合パラメータ登録ステップ］
また、統計解析装置１は、統合パラメータ登録部４３によって、ステップＳ５で統合された統合パラメータＰ´を新しい統計パラメータとして、統計パラメータ記憶手段１０に登録（記憶）する（ステップＳ７）。
【００７１】
そして、入力された信号系列を全て処理したかどうかを判定し（ステップＳ８）、未処理の信号系列が存在する場合は（Ｓ８；Ｎｏ）、ステップＳ１へ戻って動作を続ける。また、未処理の信号系列が存在しない場合（Ｓ８；Ｙｅｓ）は、本動作を終了する。なお、このステップＳ８は、信号系列が連続的に入力される場合の動作を示しているが、不連続に、例えば、ある時間間隔を開けて信号系列が入力される場合は、その信号系列が入力される度にステップＳ１〜Ｓ７を動作することとする。
【００７２】
以上の各ステップによって、統計分布を生成する１つ以上のデータからなる信号系列を逐次統計解析することで、クラスを識別するための複数の統計分布で構成される混合モデルを、統計パラメータを統合するだけの簡単な演算で構築することができる。
【００７３】
なお、本発明によって構築された混合モデルは、従来の手法であるベイズ識別規則によって、未知の信号系列をクラスに分類（クラス分け）することが可能になる。すなわち、予め訓練サンプルと呼ばれる既知の複数のクラスｃに属するサンプル（信号系列）に基づいて、統計解析装置１で混合モデルを構築した後に、以下の手順によって、未知のサンプルがどのクラスに属するかを決定する。
【００７４】
まず、この混合モデルを構成する個々の統計分布のうちで、クラスｃに属する統計分布の統計パラメータである重み係数（ｗk(c)）の総和ν（ｃ）を（９）式により求める。ここでＭはクラスｃに属する統計分布の個数を表すものとする。
【００７５】
【数９】
0003986008.tif 000010
【００７６】
そして、ｎ次元の確率変数をＸとしたとき、各クラスｃの確率密度関数をｐ（Ｘ｜ｃ）で表現すると、ベイズ識別規則によって、未知のサンプルｘがどのクラスに属するかは、未知のサンプルｘが観測されたときに、そのサンプルｘがクラスｃに属する確率である事後確率Ｐ（ｃ｜ｘ）を最大化するｃを求めればよい。なお、この事後確率Ｐ（ｃ｜ｘ）は、サンプルｘの確率密度関数ｐ（ｘ｜ｃ）の値に前記（９）式の重み係数（ｗk(c)）の総和ν（ｃ）を乗算した値である。
すなわち、（１０）式により、サンプルｘが属するクラス（決定クラスｃest）を求めることができる。
【００７７】
【数１０】
0003986008.tif 000011
【００７８】
このように、本発明における統計解析装置、統計解析方法及び統計解析プログラムで構築された混合モデルは、ベイズ識別規則等の従来の手法によって、入力された信号（信号系列）のクラスを識別するために用いることができる。
【００７９】
（天気予報に用いる混合モデルの構築例）
次に、統計解析装置１の具体的な動作の一例として、天気予報に用いる混合モデルを構築する動作について説明する。
【００８０】
［混合モデルの概要］
まず、図３及び図４を参照して、天気予報に用いる混合モデル（ガウス混合モデル）の概要について説明する。なお、ここでは、説明を簡略化するため、天候を晴と雨の２種類、天候が変わる要因を気温と気圧の２種類とする。図３（ａ）、（ｂ）、（ｃ）には、既知の有限個のサンプル（訓練サンプル）によって、気温と気圧とに対応する天候が、晴は○印、雨は×印でプロットされており、それぞれ（図３（ａ）、（ｂ）、（ｃ））が、どの気温、どの気圧のときに、天候がどのクラス（晴又は雨）に属するかを判別するための識別規則を表している。また、ここでは、ガウス混合モデルと比較するために他のクラス識別手法（図３（ａ）及び（ｂ））についても簡単に説明を行う。
【００８１】
図３（ａ）は、直線によって、クラスを識別する線形識別規則を表している。この線形識別規則では、図中の直線Ｌ１によって、晴のクラスと雨のクラスとが区切られ、未知のサンプル（未知サンプル）が、その区切られた領域のどちらに属するかを判定することで、天候を推定（クラスを識別）するものである。
【００８２】
図３（ｂ）は、ガウス分布によって、クラスを識別するベイズ識別規則を表している。このベイズ識別規則では、ガウス分布によってクラスの識別を行うものである。ここでは、晴のクラスであるガウス分布をＦ１で、雨のクラスであるガウス分布をＲ１で表している。
【００８３】
図３（ｃ）は、ガウス混合モデルによって、クラスを識別した状態を表している。ガウス混合モデルは、図３（ａ）の線形識別規則や、図３（ｂ）のベイズ識別規則ではクラス分けが困難な複雑なクラス形状を、複数のガウス分布によって表現したものである。ここでは、晴のクラスであるガウス分布をＦ１、Ｆ２及びＦ３で表し、雨のクラスであるガウス分布をＲ１、Ｒ２及びＲ３で表している。このように、ガウス混合モデルは、複数のガウス分布によって複雑なクラス形状を表現できる。
【００８４】
また、図４は、図３（ｃ）のガウス混合モデルにおいて、複数のガウス分布を確率密度関数で近似したグラフを表している。なお、図４では、説明を簡略化するため、気温のみに基づいて、晴又は雨の確率密度関数を表しているが、三次元座標系（ｘ，ｙ，ｚ）において、ｘ座標に気温、ｙ座標に気圧、ｚ座標に晴又は雨の確率をとることも可能である。
【００８５】
図４（ａ）は、気温と晴の確率との関係を表している。また、図４（ｂ）は、気温と雨の確率との関係を表している。これによって、例えば、気温Ｔ１における晴の確率Ｐ１と、雨の確率Ｐ２とを比較することで、気温Ｔ１における天候がどのクラス（晴又は雨）に属するかを判別することができる。
【００８６】
［混合モデルの構築］
次に、図１、図５及び６を参照して、統計解析装置１がガウス混合モデルを構築する動作を具体的に説明する。図５は統計解析装置１に入力される信号系列の例として、天候と気温を既知のデータとした訓練（学習）サンプルの例を示している。図６は、図５の訓練サンプルで雨の日のデータのみを抽出してガウス混合モデルを構築する流れを示している。
【００８７】
以下、統計解析装置１が、図５の訓練サンプルから雨の日の気温（Ｄ１〜Ｄ５）のみを逐次入力されることで、気温と雨の関係を示すガウス混合分布を生成する動作を説明する。なお、ここでは統計解析装置１が生成するガウス分布の最大個数（最大統計パラメータ数）を３とする。
【００８８】
まず、統計解析装置１は、１つめの信号系列として、訓練サンプルＤ１（９月２日の気温２４℃）が入力されると、統計パラメータ登録手段２０の統計パラメータ生成部２１によって、図６（１）に示すように、横軸に気温、縦軸に雨の確率となるような気温２４℃を中心とするガウス分布（正規分布）ｇ１を生成する。
【００８９】
なお、このガウス分布ｇ１は前記した（２）式により生成することができる。このとき、（２）式の確率変数Ｘは気温（気温のみの１次元データ）、平均ベクトルｔは２４℃（１次元のデータを扱っているため平均値）となる。そして、このガウス分布ｇ１の統計パラメータが新規パラメータ登録部２２によって、統計パラメータ記憶手段１０に登録（記憶）される。
【００９０】
次に、統計解析装置１は、２つめの信号系列として、訓練サンプルＤ２（９月３日の気温２２℃）が入力されると、図６（２）に示すように、気温２２℃を中心とするガウス分布ｇ２を生成し、そのガウス分布ｇ２の統計パラメータを統計パラメータ記憶手段１０に登録する。なお、ガウス分布ｇ１とガウス分布ｇ２とは、共分散行列及び重み係数は同じで、平均ベクトル（平均値：気温）のみが異なるものとする。
【００９１】
また、統計解析装置１は、３つめの信号系列として、訓練サンプルＤ３（９月６日の気温１８℃）が入力されると、図６（３）に示すように、気温１８℃を中心とするガウス分布ｇ３（共分散行列及び重み係数はガウス分布ｇ１と同じ）を生成し、そのガウス分布ｇ３の統計パラメータを統計パラメータ記憶手段１０に登録する。
【００９２】
次に、統計解析装置１は、４つめの信号系列として、訓練サンプルＤ４（９月７日の気温１７℃）が入力されると、図６（４）に示すように、気温１７℃を中心とするガウス分布ｇ４（共分散行列及び重み係数はガウス分布ｇ１と同じ）を生成し、そのガウス分布ｇ４の統計パラメータを統計パラメータ記憶手段１０に登録する。
【００９３】
ここで、ガウス分布の最大個数（最大統計パラメータ数）が３を超過したため、統計解析装置１は、ガウス分布の統合を行う。すなわち、統計解析装置１は、距離最小パラメータ対探索手段３０によって、統計パラメータ記憶手段１０から、全ての組み合わせとなる二組の統計パラメータ対を読み出して、統計パラメータ間の距離が最小となる統計パラメータ対を探索する。
【００９４】
ここでは、ガウス分布ｇ３とガウス分布ｇ４との統計パラメータの距離が最小となるため、パラメータ統合部４１によって、ガウス分布ｇ３の統計パラメータとガウス分布ｇ４の統計パラメータとを統合した統合パラメータを生成する。この統合パラメータで特定されるガウス分布は、図６（４−２）に示すような気温１７．５℃を中心とし、面積がガウス分布ｇ３とガウス分布ｇ４とを統合したガウス分布ｇ４´となる。
【００９５】
そして、統計解析装置１は、統合前パラメータ削除部４２によって、ガウス分布ｇ３の統計パラメータとガウス分布ｇ４の統計パラメータとを統計パラメータ記憶手段１０から削除し、統合パラメータ登録部４３によって、ガウス分布ｇ４´の統計パラメータ（統合パラメータ）を、統計パラメータ記憶手段１０に登録する。
【００９６】
次に、統計解析装置１は、５つめの信号系列として、訓練サンプルＤ５（９月９日の気温２５℃）が入力されると、図６（５）に示すように、気温２５℃を中心とするガウス分布ｇ５（共分散行列及び重み係数はガウス分布ｇ１と同じ）を生成し、そのガウス分布ｇ５の統計パラメータを統計パラメータ記憶手段１０に登録する。
【００９７】
ここでも、ガウス分布の最大個数（最大統計パラメータ数）が３を超過するため、統計パラメータ間の距離が最小となるガウス分布ｇ１の統計パラメータとガウス分布ｇ５の統計パラメータとを統合する。ここで統合された統計パラメータ（統合パラメータ）で特定されるガウス分布は、図６（５−２）に示すような気温２４．５℃を中心とし、面積がガウス分布ｇ１とガウス分布ｇ５とを統合したガウス分布ｇ５´となる。
【００９８】
そして、統計解析装置１は、ガウス分布ｇ１の統計パラメータとガウス分布ｇ５の統計パラメータとを統計パラメータ記憶手段１０から削除し、ガウス分布ｇ５´の統計パラメータ（統合パラメータ）を、統計パラメータ記憶手段１０に登録する。
【００９９】
このように、統計解析装置１は、逐次入力される訓練サンプル（信号系列）によって、天気予報に用いる混合モデル（ガウス混合モデル）を構築することができる。そして、このガウス混合モデルで表現される確率密度関数によって、ある気温における天候を推定することができる。
【０１００】
なお、ここでは、１次元のデータとして気温のみに着目したガウス混合モデルを構築したが、気圧等を付加したｎ次元のデータであっても、同様にガウス混合モデルを構築することができる。
【０１０１】
以上、統計解析装置１の具体的な動作の一例として、天気予報に用いる混合モデル（ガウス混合モデル）を構築する動作について説明したが、本発明は、統計分布を生成することができるデータ（信号系列）であれば、特にデータの内容は問わない。例えば、統計解析装置１は、画像認識技術において、訓練サンプルとして、複数の人物の顔の特徴量データを信号系列として入力し、その信号系列を統計解析することで映像内に登場する人物を識別するために用いる、ガウス混合モデルを構築することができる。
【０１０２】
【発明の効果】
以上説明したとおり、本発明に係る統計解析装置及び統計解析プログラムでは、以下に示す優れた効果を奏する。
【０１０３】
本発明によれば、入力された信号系列を逐次統計解析することで、クラスを識別するための混合モデルを構築することができる。また、混合モデルの構築を、逐次入力される信号系列に基づいて、混合モデルを構成する統計分布の中から、統計パラメータ間の距離が最も近くなる統計パラメータ同士を統合するだけの簡単な演算で実現することができる。これによって、混合モデル構築に要する演算負荷を軽減し、混合モデル構築に要する処理時間を高速化することができる。
【０１０４】
また、本発明によれば、個々の統計分布の統計パラメータを統合する際に、個々の統計パラメータを重み付き加重平均によって求めることが可能になり、統合された統計分布の精度を高めることができる。
【０１０５】
また、本発明によれば、入力される信号系列から、正規分布を生成し、その正規分布を特定する統計パラメータとして、平均ベクトルや、共分散行列を用いることが可能になる。これによって、個々の統計パラメータを統合する際に、平均ベクトルや共分散行列といった数少ないパラメータによって、統計分布を特定することができ、混合モデル構築に要する演算負荷を軽減することができる。
【０１０６】
さらに、本発明によれば、統計パラメータ間の距離が最も近くなる統計パラメータ対（距離最小パラメータ対）を探索する際に、２つの正規分布における平均ベクトルの差分と、共分散行列の和とによって定義される距離汎関数を用いることで、正規分布間の距離を正規分布の共分散を加味し、最も類似性の高い２つの正規分布を探索することができる。これによって、精度の高い混合モデルを構築することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る統計解析装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る統計解析装置の動作を示すフローチャートである。
【図３】ガウス混合モデルによるクラス識別手法を説明するための説明図である。
【図４】確率密度関数によってガウス混合モデルを近似して、クラス識別を行う処理を説明するための説明図である。
【図５】天気予報に用いるガウス混合モデルを構築するための、訓練サンプルの一例を示す図である。
【図６】本発明の実施の形態に係る統計解析装置で、天気予報に用いるガウス混合モデルを構築する動作を説明するための説明図である。
【符号の説明】
１  ……統計解析装置
１０……統計パラメータ記憶手段
２０……統計パラメータ登録手段
２１……統計パラメータ生成部（統計パラメータ生成手段）
２２……新規パラメータ登録部（新規パラメータ登録手段）
３０……距離最小パラメータ対探索手段
４０……統計パラメータ統合手段
４１……パラメータ統合部（パラメータ統合手段）
４２……統合前パラメータ削除部（統合前パラメータ削除手段）
４３……統合パラメータ登録部（統合パラメータ登録手段）
９  ……バス
【図１】
0003986008.tif 000012
【図２】
0003986008.tif 000013
【図３】
0003986008.tif 000014
【図４】
0003986008.tif 000015
【図５】
0003986008.tif 000016
【図６】
0003986008.tif 000017