(57)【要約】【課題】特徴ベクトルの分布が多峰性を示す場合でも、パターン認識に適切な次元削減行列Ａを算出可能な演算装置を提供する。【解決手段】本装置は、パターン認識するクラス毎に、当該クラスに属するパターンの特徴ベクトルのサンプルを取得する（Ｓ１１０）。そして、各クラスについて、特徴ベクトル（サンプル）の組合せ（Ｘij1，Ｘij2）毎に、ベクトル間の類似度Ｇ（Ｘij1，Ｘij2）を算出する（Ｓ１５０）。具体的には、距離Ｄ＝||Ｘij1−Ｘij2||が大きい程、小さい実数値（非負）を採り、距離Ｄ＝||Ｘij1−Ｘij2||が小さい程、大きい実数値を採るように、類似度Ｇを算出する。そして、この類似度Ｇにより重み付けして、局所クラス間共分散行列ＢLocal及び局所クラス共分散行列Ｃiを算出する（Ｓ１６０，Ｓ１７０）。そして、局所クラス間共分散行列ＢLocalと、局所クラス共分散行列Ｃiの一般化平均との比が最大となる次元削減行列Ａを算出する（Ｓ１８０）。【選択図】図３
2010250670.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力された認識対象パターンの特徴ベクトルに、予め定められた次元削減行列を作用させて、前記特徴ベクトルを低次元空間に写像し、前記特徴ベクトルの次元削減後の値に基づき、前記パターンを、予め定められた複数のクラスのいずれかに分類するパターン認識装置
に用いる前記次元削減行列を算出するための演算装置であって、
前記複数のクラスについて、クラス毎に、当該クラスに属するパターンの特徴ベクトルを、複数個、サンプルとして取得するサンプル取得手段と、
前記サンプル取得手段がサンプルとして取得した各クラスの特徴ベクトル群に基づき、クラス毎に、当該クラスに属する二つの特徴ベクトルＸij1，Ｘij2（但し、Ｘij1は、第ｉクラスの第ｊ１（ｊ１＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルを表し、Ｘij2は、第ｉクラスの第ｊ２（ｊ２＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルを表し、Ｎiは、第ｉクラスのサンプル数を表す。）間の類似度Ｇ（Ｘij1，Ｘij2）を求める類似度算出手段と、
前記サンプル取得手段がサンプルとして取得した各クラスの特徴ベクトル群に基づき、前記類似度算出手段により求められた類似度Ｇ（Ｘij1，Ｘij2）を用いて、クラス毎に、式
【数１】
2010250670.tif 000023
に従う局所クラス共分散行列Ｃi（但し、Ｃiは、第ｉクラスの局所クラス共分散行列を表し、Ｔは、転置を表す。）を算出する局所クラス分散算出手段と、
前記サンプル取得手段がサンプルとして取得した各クラスの特徴ベクトル群に基づき、式
【数２】
2010250670.tif 000024
に従う局所クラス間共分散行列ＢLocal（但し、Ｌは、クラスの総数を表し、Ｎは、全クラスのサンプル数を表す。）を算出する局所クラス間分散算出手段と、
実数値ｍの入力を受け付ける入力受付手段と、
前記入力受付手段を通じて入力された実数値ｍと、前記局所クラス間分散算出手段により算出された局所クラス間共分散行列ＢLocalと、前記局所クラス分散算出手段により算出された各クラスの局所クラス共分散行列Ｃiとに基づき、評価関数Ｊ1（Ａ，ｍ）又は評価関数Ｊ2（Ａ，ｍ）
【数３】
2010250670.tif 000025
が最大になる次元削減行列Ａ（但し、Ｐiは、第ｉクラスの事前確率を表し、Ｐi＝Ｎi／Ｎである。）を、算出する行列算出手段と、
前記行列算出手段により算出された次元削減行列Ａを、出力する出力手段と、
を備え、
前記類似度算出手段は、二つの特徴ベクトルＸij1，Ｘij2間の距離Ｄ＝||Ｘij1−Ｘij2||に対して前記類似度Ｇ（Ｘij1，Ｘij2）が単調非増加となるように、前記類似度Ｇ（Ｘij1，Ｘij2）として、前記距離Ｄ＝||Ｘij1−Ｘij2||が大きい程、小さい非負の実数値を算出すること
を特徴とする演算装置。
【請求項２】
前記行列算出手段により算出された次元削減行列Ａを、前記サンプル取得手段が取得した各サンプルに作用させて、前記各サンプルの次元削減後の値を算出する低次元化手段
を備え、
前記出力手段は、前記行列算出手段により算出された次元削減行列Ａ及び前記低次元化手段の算出結果を表す情報を、出力する構成にされていることを特徴とする請求項１記載の演算装置。
【請求項３】
前記類似度算出手段は、前記距離Ｄ＝０であるときに、前記類似度Ｇ（Ｘij1，Ｘij2）＝１を算出し、前記距離Ｄが無限大であるとき又は前記距離Ｄが所定値以上であるときに、前記類似度Ｇ（Ｘij1，Ｘij2）＝０を算出することを特徴とする請求項１又は請求項２記載の演算装置。
【請求項４】
請求項１〜請求項３のいずれかに記載の演算装置としての機能を、コンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識装置に用いる次元削減行列を算出する演算装置及びプログラムに関する。
【背景技術】
【０００２】
従来、パターン認識装置としては、入力されたパターンの特徴を抽出して、特徴ベクトルを生成し、更に、この特徴ベクトルを低次元化して、パターン認識に有効な特徴ベクトル（又はスカラー量）を求め、当該低次元化後の値に基づき、入力されたパターンを複数のクラスのいずれかに分類し、パターン認識を実現するものが知られている。
【０００３】
入力されたパターンを装置により認識する際には、上述したように、パターンから様々な特徴量を抽出し、これらを要素として特徴ベクトルを生成するのであるが、高次元の特徴ベクトルでパターン認識を行う場合には、情報量が多すぎて、パターン認識に非常に長い時間を要する。また、認識に不要な情報が含まれている特徴ベクトルを用いて、パターン認識を行う場合には、パターンの認識精度が劣化する可能性がある。一方、認識に必要な情報が含まれていない特徴ベクトルを用いて、パターン認識を行っても、当然のことながら、良好なパターン認識結果を得ることができない。
【０００４】
このため、従来では、高次元の特徴ベクトルを生成し、この特徴ベクトルを低次元空間に写像したときに、特徴ベクトルが低次元空間上でクラス毎に分離し、同クラスの特徴ベクトルが特定領域に集中するような次元削減行列を求め、求めた次元削減行列を、特徴ベクトルに作用させることにより、特徴ベクトルを低次元化して、低次元化後の値がパターンの特徴を良好に表すようにしている。
【０００５】
このような次元削減法によって、特徴ベクトルを低次元化すれば、低次元空間において、各クラスの特徴ベクトルが分離し、同一クラスの特徴ベクトルが類似する値を示すので、特徴ベクトルがいずれのクラスに属するものであるのかを、効率的且つ精度よく判定することができる。
【０００６】
具体的に、次元削減法としては、従来、線形判別分析法や不等分散判別分析法を用いたものが知られている（例えば、特許文献１参照）。
線形判別分析法による次元削減では、まず、クラス毎に、クラスに属するパターンの特徴ベクトルを、サンプルとして複数個用意する。そして、これらのサンプル群から、各クラスの平均ベクトルμiを求めると共に、全クラスの平均ベクトルμ0を求める。
【０００７】
【数１】
2010250670.tif 000003
但し、μiは、第ｉクラスの平均ベクトルを表し、ｉは、クラスの総数をＬとして、値１から値Ｌまでの整数値を採る。また、Ｎは、全クラスのサンプル数、Ｎiは、第ｉクラスのサンプル数、Ｘijは、第ｉクラスの第ｊ（ｊ＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルを表す。
【０００８】
【数２】
2010250670.tif 000004
尚、ｘ1，…，ｘdは、ｄ次元の特徴ベクトルの各要素の値を表し、上付き文字Ｔは、転置を表す。
【０００９】
そして、これら平均ベクトルμ0及びクラス毎の平均ベクトルμiを用いて、クラス間共分散行列Ｂを求めると共に、各クラスの共分散行列Ｗiを求める。
【００１０】
【数３】
2010250670.tif 000005
但し、Ｐiは、第ｉクラスの事前確率であり、Ｐi＝Ｎi／Ｎである。また、Ｗiは、第ｉクラスの共分散行列を表す。
【００１１】
上述したようにして、クラス間共分散行列Ｂ及び各クラスの共分散行列Ｗiを求めた後には、クラス内共分散行列Ｗを、各クラスの共分散行列Ｗiの算術平均とし、評価空間（低次元空間）でのクラス間分散とクラス内分散との比｜Ｂ｜／｜Ｗ｜が最大となる次元削減行列Ａを求める。具体的には、評価関数Ｊ（Ａ）を次のように定義し、評価関数Ｊ（Ａ）が最大となる次元削減行列Ａを求める。
【００１２】
【数４】
2010250670.tif 000006
例えば、ｄ次元の特徴ベクトルＸijを、ｄ’次元の空間に写像して低次元化する場合には、次元削減行列Ａとして、評価関数Ｊ（Ａ）が最大となるｄ行ｄ’列の行列を求める（非特許文献１参照）。
【００１３】
クラス間分散は、クラス間のばらつきの程度を表し、クラス内分散は、クラス内のサンプルのばらつきの程度を表すものである。このため、上述のようにして行列Ａを求めれば、特徴ベクトルが低次元空間上でクラス毎に分離し、同クラスの特徴ベクトルが低次元空間上で特定領域に集中するような次元削減行列Ａを求めることができる。従来の線形判別分析法による次元削減では、このようにして、パターン認識に最適な次元削減行列Ａを求めている。
【００１４】
一方、不等分散判別分析法による次元削減では、クラス内共分散行列Ｗを、各クラスの共分散行列Ｗiの幾何平均として、評価空間（低次元空間）でのクラス間分散とクラス内分散との比｜Ｂ｜／｜Ｗ｜が最大となる次元削減行列Ａを求める。具体的には、評価関数Ｊ（Ａ）を次のように定義して、評価関数Ｊ（Ａ）が最大となる次元削減行列Ａを求める（非特許文献２参照）。
【００１５】
【数５】
2010250670.tif 000007
このようにして、従来の不等分散判別分析法を用いた次元削減では、パターン認識に最適な次元削減行列Ａを求めている。
【００１６】
しかしながら、従来手法では、パターン認識を精度よく実現するのに十分に、特徴ベクトルが低次元空間上でクラス毎に分離し、同クラスの特徴ベクトルが低次元空間上で特定領域に集中するような次元削減行列Ａを求めることができない場合があった。
【００１７】
例えば、２次元の特徴ベクトルを１次元に削減する場合であって、パターンのクラスが３種類ある場合には、図５（ａ）下段に示すように、３種類の各クラスの特徴ベクトルが、１次元空間上で、クラス毎に、重複しない領域に集中するのが好ましいが、線形判別分析法による次元削減では、特徴ベクトルの１次元空間上の分布が、図５（ｂ）（ｃ）に示すように、異なるクラス間で重複する領域の多い分布となってしまう場合があった。
【００１８】
また、このような性質を有する特徴ベクトルの集合に対しては、不等分散判別分析法によって次元削減行列Ａを求めても、特徴ベクトルの１次元空間上の分布が、線形判別分析法と同様に、異なるクラス間で重複する領域の多い分布になってしまう場合があった。このように、従来手法では、特徴ベクトルを適切に次元削減できずに、パターン認識の精度が十分に得られない場合があった。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０００−１１０９３号公報
【非特許文献】
【００２０】
【非特許文献１】フクナガケイノスケ（Keinosuke Fukunaga）著，「統計パターン認識（Introduction to Statistical Pattern Recognition）」，第２版，（米国），アカデミックプレス（Academic Press），１９９０年，ｐ．４４１−ｐ．４５９
【非特許文献２】サオン（Saon）外３名，「最尤識別特徴空間（Maximum likelihood discriminant feature space）」，音響・音声・信号処理国際会議（International Conference on Acoustics, Speech, and Signal Processing），２０００年，ｐ．１２９−ｐ．１３２
【発明の概要】
【発明が解決しようとする課題】
【００２１】
そこで、本発明者らは、上記問題について検討したところ、クラス内共分散行列Ｗを、一般化平均により定義することを想到するに至った。評価関数Ｊ（Ａ）を次のように定義して、評価関数Ｊ（Ａ）が最大となる次元削減行列Ａを求めるのである。
【００２２】
【数６】
2010250670.tif 000008
このようにして、次元削減行列Ａを求めれば、パラメータｍの調整によって、多くのケースでは、パターン認識を精度よく実現するのに十分に、特徴ベクトルが低次元空間上でクラス毎に分離し、同クラスの特徴ベクトルが低次元空間上で特定領域に集中するような次元削減行列Ａを求めることができ、従来よりも適切な次元削減行列Ａを求めることができる。
【００２３】
尚、パラメータｍ＝１であるとき、式（８）の評価関数Ｊ（Ａ）は、クラス内共分散行列Ｗを算術平均で定義した式（６）の評価関数に一致し、パラメータｍ＝０であるとき、式（８）の評価関数Ｊ（Ａ）は、クラス内共分散行列Ｗを幾何平均で定義した式（７）の評価関数に一致する。
【００２４】
しかしながら、クラス内共分散行列Ｗを一般化平均により定義しても、次のような問題があった。
即ち、各クラスの共分散行列Ｗiを、式（５）で求める従来手法は、対応するクラスの特徴ベクトルＸijの分布が単峰性であることを前提とした手法であるため、各クラスの特徴ベクトルＸijの分布が多峰性を示す場合、式（５）によって各クラスの共分散行列Ｗiを求める従来手法では、各クラスの特徴ベクトルＸijの分布を適切にモデル化できず、最適な次元削減行列Ａを求めることができないといった問題があった。
【００２５】
図６は、クラスＣＬ１及びクラスＣＬ２の夫々に属する特徴ベクトルの分布を表した図である。図６に示す分布では、クラスＣＬ１の特徴ベクトルが単峰性を示すものの、クラスＣＬ２の特徴ベクトルが多峰性を示すため、単峰性を前提とした従来手法によって共分散行列Ｗiを求める場合には、クラスＣＬ２の特徴ベクトルの集合が、図６一点鎖線で示す分布を有する特徴ベクトルの集合にモデル化されてしまう。このため、従来手法では、クラスＣＬ２の分散が、適切に評価されない。
【００２６】
従って、従来手法により共分散行列Ｗiを求めると、クラスＣＬ１及びクラスＣＬ２の特徴ベクトルの集合を最適に分離可能な次元削減行列Ａでは、評価関数Ｊ（Ａ）が最大とならず、従来手法では、真に最適な次元削減行列Ａを求めることができないのである。
【００２７】
本発明は、こうした問題に鑑みなされたものであり、特徴ベクトルの分布が多峰性を示す場合であっても、パターン認識に適切な次元削減行列Ａを算出することのできる演算装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
かかる目的を達成するためになされた本発明は、外部から入力された認識対象パターンの特徴ベクトルに、予め定められた次元削減行列を作用させて、特徴ベクトルを低次元空間に写像し、当該特徴ベクトルの次元削減後の値に基づき、入力されたパターンを、予め定められた複数のクラスのいずれかに分類するパターン認識装置に用いる上記次元削減行列を算出するための演算装置であって、サンプル取得手段と、類似度算出手段と、局所クラス分散算出手段と、局所クラス間分散算出手段と、入力受付手段と、行列算出手段と、出力手段と、を備えるものである。
【００２９】
サンプル取得手段は、上記複数のクラスについて、クラス毎に、当該クラスに属するパターンの特徴ベクトルを、複数個、サンプルとして取得する。
一方、類似度算出手段は、サンプル取得手段がサンプルとして取得した各クラスの特徴ベクトル群に基づき、クラス毎に、当該クラスに属する二つの特徴ベクトルＸij1，Ｘij2間の類似度Ｇ（Ｘij1，Ｘij2）を求める。
【００３０】
但し、Ｘij1は、第ｉクラスの第ｊ１（ｊ１＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルを表し、Ｘij2は、第ｉクラスの第ｊ２（ｊ２＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルを表し、Ｎiは、第ｉクラスのサンプル数を表す。
【００３１】
具体的に、本発明の類似度算出手段は、二つの特徴ベクトルＸij1，Ｘij2間の距離Ｄ＝||Ｘij1−Ｘij2||に対して類似度Ｇ（Ｘij1，Ｘij2）が単調非増加（広義単調減少）となるように、類似度Ｇ（Ｘij1，Ｘij2）として、距離Ｄ＝||Ｘij1−Ｘij2||が大きい程、小さい非負の実数値を算出する。
【００３２】
また、局所クラス分散算出手段は、サンプル取得手段がサンプルとして取得した各クラスの特徴ベクトル群に基づき、類似度算出手段により求められた類似度Ｇ（Ｘij1，Ｘij2）を用いて、クラス毎に、局所クラス共分散行列Ｃiを算出する。
【００３３】
但し、Ｃiは、第ｉクラスの局所クラス共分散行列を表し、第ｉクラスの局所クラス共分散行列Ｃiは、次式で定義されるものとする。尚、Ｔは、転置である。
【００３４】
【数７】
2010250670.tif 000009
この他、本発明では、式（４）で定義されるクラス間分散に代えて、類似度Ｇ（Ｘij1，Ｘij2）を用いて定義される局所クラス間分散の概念を導入しており、局所クラス間分散算出手段は、局所クラス間共分散行列ＢLocalを、次式に従って算出する。
【００３５】
【数８】
2010250670.tif 000010
但し、Ｌは、クラスの総数を表し、Ｎは、全クラスのサンプル数を表す。
【００３６】
この他、入力受付手段は、実数値ｍの入力を受け付ける。本発明の演算装置は、入力受付手段により、当該演算装置のユーザが所望するクラス内分散の定義情報（実数値ｍ）を取得する。
【００３７】
そして、行列算出手段は、入力受付手段を通じて入力された実数値ｍと、局所クラス間分散算出手段により算出された局所クラス間共分散行列ＢLocalと、局所クラス分散算出手段により算出された各クラスの局所クラス共分散行列Ｃiとに基づき、評価関数Ｊ1（Ａ，ｍ）又は評価関数Ｊ2（Ａ，ｍ）が最大になる次元削減行列Ａを算出する。
【００３８】
【数９】
2010250670.tif 000011
但し、Ｐiは、第ｉクラスの事前確率を表し、第ｉクラスの事前確率Ｐiは、Ｐi＝Ｎi／Ｎである。
【００３９】
本発明の演算装置は、このようにして、次元削減行列Ａを求め、求めた次元削減行列Ａを、出力手段により外部に出力する。
このように構成された本発明の演算装置によれば、ユーザは、実数値ｍとして複数の値を演算装置に入力することにより、入力値に対応した複数の次元削減行列Ａを演算装置から得て、これらの次元削減行列Ａをサンプルに作用させたときのサンプルの低次元空間での分布を、評価することにより、パターン認識に最適な次元削減行列Ａを求めることができる。
【００４０】
特に、本発明の演算装置によれば、評価関数が最大となる次元削減行列Ａを求めるに際し、各クラスのサンプル群（特徴ベクトル群）のばらつきを、従来の共分散行列Ｗiではなく、局所クラス共分散行列Ｃiで評価するようにした。
【００４１】
従来の共分散行列Ｗiは、式
【００４２】
【数１０】
2010250670.tif 000012
に置き換えることができるが、共分散行列Ｗi及び局所クラス共分散行列Ｃiの式を比較すると、局所クラス共分散行列Ｃiでは、類似度Ｇ（Ｘij1，Ｘij2）によって重み付けがなされているのが理解できる。そして、類似度Ｇ（Ｘij1，Ｘij2）は、上述したように、二つの特徴ベクトルＸij1，Ｘij2間の距離Ｄ＝||Ｘij1−Ｘij2||に対して単調非増加である。
【００４３】
即ち、図６に示すように、あるクラスの特徴ベクトル群が多峰性を示す場合には、局所クラス共分散行列Ｃiによって、同じクラスの特徴ベクトル群の内、同じ峰に属する特徴ベクトルのばらつきが、高い重み付けで評価され、峰を跨ぐ特徴ベクトル間のばらつきが、低い重み付けで評価される。尚、類似度Ｇ（Ｘij1，Ｘij2）が常に１ならば、局所クラス共分散行列Ｃiは、クラス共分散行列Ｗiと一致する。
【００４４】
また、本発明の演算装置によれば、各クラスのサンプル群（特徴ベクトル群）のばらつきを、従来のクラス間共分散行列Ｂではなく、局所クラス間共分散行列ＢLocalで評価するようにした。従来のクラス間共分散行列Ｂは、式
【００４５】
【数１１】
2010250670.tif 000013
に置き換えることができるが、クラス間共分散行列Ｂ及び局所クラス間共分散行列ＢLocalの式を比較すると、局所クラス間共分散行列ＢLocalでは、同じクラスの特徴ベクトルペアに対し、類似度Ｇ（Ｘij1，Ｘij2）によって重み付けがなされているのが理解できる。そして、類似度Ｇ（Ｘij1，Ｘij2）は、上述したように、二つの特徴ベクトルＸij1，Ｘij2間の距離Ｄ＝||Ｘij1−Ｘij2||に対して単調非増加である。
【００４６】
即ち、あるクラスの特徴ベクトル群が多峰性を示す場合には、局所クラス間共分散行列ＢLocalによって、同じクラスの特徴ベクトル群の内、同じ峰に属する特徴ベクトルのばらつきが、高い重み付けで評価され、峰を跨ぐ特徴ベクトル間のばらつきが、低い重み付けで評価される。尚、類似度Ｇ（Ｘij1，Ｘij2）が常に１ならば、局所クラス間共分散行列ＢLocalは、クラス間共分散行列Ｂと一致する。
【００４７】
従って、局所クラス共分散行列Ｃi及び局所クラス間共分散行列ＢLocalを用いて次元削減行列Ａを求めれば、多峰性を示すクラスの特徴ベクトル群について、各峰の特徴ベクトル群を無理に一つに集める方向に写像する次元削減行列Ａが最適解として求まってしまうのを防止することができ、各峰の特徴ベクトル群の夫々を峰毎に集める方向に写像する次元削減行列Ａを、評価関数最大の最適解として求めることができる。
【００４８】
よって、本発明によれば、多峰性を示すクラスを含む場合でも、パターン認識に良好な次元削減行列Ａを求めることができ、従来よりも好適なパターン認識装置を構成することができる。
【００４９】
尚、上述の演算装置は、行列算出手段により算出された次元削減行列Ａを、サンプル取得手段が取得した各サンプルに作用させて、各サンプルの次元削減後の値を算出する低次元化手段を備え、出力手段にて、上記算出された次元削減行列Ａ及び低次元化手段の算出結果を表す情報を、出力する構成にされるとよい（請求項２）。ここで「低次元化手段の算出結果を表す情報」としては、低次元化手段により求められた各サンプルの次元削減後の値そのものや、その統計情報（低次元空間での各サンプルの分布を表す情報等）を挙げることができる。
【００５０】
このように演算装置を構成すれば、パターン認識装置の設計者（ユーザ）は、別途、次元削減行列Ａをサンプルに作用させて、各サンプルを次元削減する作業をしなくても、パターン認識に最適な次元削減行列を決定するのに必要な情報を、演算装置から得ることができる。従って、本発明によれば、パターン認識装置を設計する際の次元削減行列Ａの決定を、効率的に行うことができる。
【００５１】
尚、出力手段は、低次元化手段により求められた各サンプルの次元削減後の値を、次元削減行列Ａと共に記述したデータファイルを出力する構成にされてもよいし、低次元空間での各サンプルの分布をグラフ化してなる画像を、表示装置を通じて画面に出力する構成にされてもよい。
【００５２】
ところで、上述の類似度算出手段は、距離Ｄ＝０であるときに、類似度Ｇ（Ｘij1，Ｘij2）＝１を算出し、距離Ｄが無限大であるとき又は距離Ｄが所定値以上であるときに、類似度Ｇ（Ｘij1，Ｘij2）＝０を算出する構成にすることができる（請求項３）。
【００５３】
具体的に、類似度算出手段は、次式で定義されるヒートカーネルに従って、類似度Ｇ（Ｘij1，Ｘij2）を算出する構成にすることができる。
【００５４】
【数１２】
2010250670.tif 000014
即ち、類似度算出手段は、類似度Ｇ（Ｘij1，Ｘij2）＝Ｈ（Ｘij1，Ｘij2）を算出する構成にすることができる。尚、σは、予め正の実数値に設定される調整パラメータである。この調整パラメータσは、事前にユーザが設定することができる。即ち、本発明の演算装置は、調整パラメータσとして、実数値の入力を受付可能な構成にすることができる。
【００５５】
このように、類似度算出手段を構成すれば、適切に、二つの特徴ベクトルＸij1，Ｘij2間の類似度Ｇ（Ｘij1，Ｘij2）を求めることができる。
また、類似度算出手段は、ｋ近傍法を用いて、類似度Ｇ（Ｘij1，Ｘij2）を算出する構成にされてもよい。
【００５６】
即ち、類似度算出手段は、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）を、類似度Ｇ（Ｘij1，Ｘij2）＝１とし、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2に該当しない特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）を、類似度Ｇ（Ｘij1，Ｘij2）＝０として算出する構成にすることができる。
【００５７】
この他、類似度算出手段は、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）を、ヒートカーネルＨ（Ｘij1，Ｘij2）を用いて、類似度Ｇ（Ｘij1，Ｘij2）＝Ｈ（Ｘij1，Ｘij2）となるように算出する構成にされてもよい。
【００５８】
更に言えば、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）については、ヒートカーネルＨ（Ｘij1，Ｘij2）以外の単調非増加関数にて定義されてもよい。
【００５９】
このように、類似度算出手段を構成しても、適切に、二つの特徴ベクトルＸij1，Ｘij2間の類似度Ｇ（Ｘij1，Ｘij2）を求めることができる。
この他、本発明の演算装置が有する各手段としての機能は、プログラムによりコンピュータに実現させることができる（請求項４）。また、本発明の演算装置としての機能を、コンピュータに実現させるためのプログラムは、例えば、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体に記録して提供することができる。
【図面の簡単な説明】
【００６０】
【図１】情報処理装置１の構成を表すブロック図である。
【図２】パターン認識装置５０の基本構成を表すブロック図である。
【図３】ＣＰＵ１１が実行する次元削減行列演算処理を表すフローチャートである。
【図４】サンプルデータファイルの構成（ａ）及び出力データファイルの構成（ｂ）を表す説明図である。
【図５】次元削減後の特徴ベクトルの分布を説明した説明図である。
【図６】従来技術の問題点に関する説明図である。
【発明を実施するための形態】
【００６１】
以下に本発明の実施例について、図面と共に説明する。但し、本発明は、以下に説明する実施例に限定されるものではなく、種々の態様を採りうる。
図１は、本実施例の情報処理装置１の構成を表すブロック図である。図１に示すように、本実施例の情報処理装置１は、各種演算処理を行うＣＰＵ１１と、ブートプログラム等を記憶するＲＯＭ１３と、プログラム実行時に作業領域として使用されるＲＡＭ１５と、ハードディスク装置（ＨＤＤ）１７と、キーボードやポインティングデバイス等で構成されるユーザインタフェース１９と、液晶ディスプレイ等で構成される表示装置２１と、記録メディア（磁気ディスクや光ディスク等）に記録されたデータを読み取るためのドライブ装置２３と、を備える。
【００６２】
ハードディスク装置１７には、オペレーティングシステムや各種アプリケーションソフトウェアが記憶されており、本実施例の情報処理装置１は、起動すると、ハードディスク装置１７にインストールされた上記オペレーティングシステムに従って動作し、ユーザインタフェース１９から入力される指令信号に従って、各種アプリケーションソフトウェアを実行する。
【００６３】
具体的に、本実施例の情報処理装置１には、次元削減行列Ａを設計するためのツールが、ハードディスク装置１７に、アプリケーションソフトウェアとしてインストールされており、ＣＰＵ１１は、ユーザインタフェース１９を通じて、上記ツールの実行指令が入力されると、ハードディスク装置１７にインストールされた上記ツールに従って、次元削減行列演算処理を実行する（図３参照）。
【００６４】
尚、上記ツールは、外部から入力された認識対象パターンの特徴ベクトルＸに、予め設定された次元削減行列Ａを作用させて、特徴ベクトルＸを低次元空間Ｓyに写像し、特徴ベクトルＸの次元削減後の値Ｙに基づき、パターンを、予め定められた複数のクラスのいずれかに分類するパターン認識装置に設定する次元削減行列Ａを算出するためのものである。
【００６５】
この種のパターン認識装置としては、マイクロフォンから入力されたユーザの発声音のパターンを認識対象パターンとして、その発声音パターンから、音声の特徴を抽出し、特徴ベクトルＸを生成するパターン認識装置や、カメラから入力された被写体の画像パターンを認識対象パターンとして、その画像パターンから、画像の特徴を抽出し、特徴ベクトルＸを生成するパターン認識装置が知られている。図２は、この種のパターン認識装置５０の基本構成を表すブロック図である。
【００６６】
図２に示すように、パターン認識装置５０は、ベクトル生成部５１と、次元削減部５３と、パターン認識部５５と、を備え、ベクトル生成部５１にて、認識対象パターンから、所定次元（ここではｄ次元とする）の特徴ベクトルＸ＝（ｘ1，ｘ2，…，ｘd）Tを生成する。そして、この特徴ベクトルＸを、次元削減部５３にて、予め設定された次元削減行列Ａに従い次元削減する。
【００６７】
そして、この次元削減後の値Ｙ＝ＡT・Ｘに基づき、パターン認識部５５にて、認識対象パターンを、予め定められた複数のクラスのいずれかに分類する。例えば、パターン認識部５５は、次元削減後の値Ｙが、第ｉクラスの領域にある場合、入力された認識対象パターンを、第ｉクラスのパターンであると認識する。
【００６８】
本実施例の情報処理装置１は、このような構成のパターン認識装置５０に設定する次元削減行列Ａを算出するためのものであり、具体的に、図３に示すようにして、次元削減行列演算処理を実行する。図３は、ＣＰＵ１１が実行する次元削減行列演算処理を表すフローチャートである。
【００６９】
また、図４（ａ）は、次元削減行列演算処理の実行時に、ハードディスク装置１７から読み出される特徴ベクトルＸのサンプルが記述されたデータファイル（以下、「サンプルデータファイル」という。）の構成を表す説明図である。
【００７０】
次元削減行列演算処理を実行すると、ＣＰＵ１１は、まず、表示装置２１に、ファイル選択画面を表示し、ユーザに、読出対象とするサンプルデータファイルを指定させる（Ｓ１１０）。そして、ユーザインタフェース１９を通じ、サンプルデータファイルが指定されると、ハードディスク装置１７から、指定されたデータファイルを読み出す（Ｓ１２０）。
【００７１】
図４（ａ）に示すように、サンプルデータファイルは、パターン認識装置５０が分類するクラスの総数Ｌ、特徴ベクトルＸの次元ｄ、写像先の次元ｄ’、及び、特徴ベクトルＸ間の類似度Ｇを評価する際に用いる調整パラメータσ（正の実数値）の情報が記述されたものであり、更に、クラス毎に、クラスに属するパターンの特徴ベクトルＸ＝（ｘ1，ｘ2，…，ｘd）Tのサンプルが、クラスの識別番号ｃ（ｃ＝１，２，…，Ｌ）に関連付けられて、複数個記述された構成にされている。以下、第ｉクラスの第ｊサンプルに対応する特徴ベクトルＸを、特に、Ｘijと表現する。
【００７２】
即ち、Ｓ１２０において、ＣＰＵ１１は、サンプルデータファイルに記録された、これらの値Ｌ，ｄ，ｄ’，σ，Ｘijを全て読み出す処理を行う。尚、このようなサンプルデータファイルは、予め、文書作成ソフト等を通じてユーザの操作により生成され、ハードディスク装置１７に記録される。
【００７３】
また、Ｓ１２０での処理を終えると、ＣＰＵ１１は、クラス内分散を定義付ける値ｍとして、実数値の入力を受け付けるための入力画面を表示装置２１に表示し、ユーザインタフェース１９を通じて、実数値ｍの情報を取得する（Ｓ１３０）。
【００７４】
そして、この処理を終えると、ＣＰＵ１１は、Ｓ１５０に移行し、サンプルデータファイルから読み出した値Ｌ，σ，Ｘijに従って、クラス毎に、当該クラスに属する特徴ベクトル（サンプル）Ｘij1，Ｘij2間の類似度Ｇ（Ｘij1，Ｘij2）を求める。
【００７５】
但し、Ｘij1は、第ｉクラスの第ｊ１（ｊ１＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルであり、Ｘij2は、第ｉクラスの第ｊ２（ｊ２＝１，２，…，Ｎi）サンプルに対応する特徴ベクトルである。
【００７６】
具体的には、特徴ベクトルの組合せ（Ｘij1，Ｘij2）毎に、次式に従って、類似度Ｇ（Ｘij1，Ｘij2）を算出する。
【００７７】
【数１３】
2010250670.tif 000015
尚、上述したように、調整パラメータσは、事前にユーザにより、正の実数値の範囲で設定され、サンプルデータファイルに記述される。このように、類似度Ｇ（Ｘij1，Ｘij2）を算出することで、本実施例では、特徴ベクトルＸij1，Ｘij2間のユークリッド距離Ｄ＝||Ｘij1−Ｘij2||に対して類似度Ｇ（Ｘij1，Ｘij2）が単調非増加となるように、類似度Ｇ（Ｘij1，Ｘij2）を算出する。即ち、類似度Ｇ（Ｘij1，Ｘij2）が、距離Ｄ＝||Ｘij1−Ｘij2||が大きい程、小さい非負の実数値（負でない実数値）となり、距離Ｄ＝||Ｘij1−Ｘij2||が小さい程、大きい非負の実数値となるように、類似度Ｇ（Ｘij1，Ｘij2）を算出する。
【００７８】
ちなみに、本実施例では、式（１８）により類似度Ｇ（Ｘij1，Ｘij2）を算出するため、Ｄ＝０で、Ｇ（Ｘij1，Ｘij2）＝１となり、距離Ｄが無限大で、Ｇ（Ｘij1，Ｘij2）＝０となる。但し、本実施例ではコンピュータで類似度Ｇ（Ｘij1，Ｘij2）を算出するので、距離Ｄが十分大きい値で、類似度Ｇ（Ｘij1，Ｘij2）は、値０となる。
【００７９】
また、このようにして、クラス毎及び特徴ベクトルの組合せ（Ｘij1，Ｘij2）毎に、類似度Ｇ（Ｘij1，Ｘij2）を算出すると、ＣＰＵ１１は、Ｓ１６０に移行し、類似度Ｇ（Ｘij1，Ｘij2）の算出結果に基づき、次式に従って、局所クラス間共分散行列ＢLocalを算出する。
【００８０】
【数１４】
2010250670.tif 000016
ここで、
【００８１】
【数１５】
2010250670.tif 000017
である。
【００８２】
また、Ｎiは、サンプルデータファイルに記述された第ｉクラスのサンプルの総数であり、Ｎは、全クラスのサンプル数、即ち、Ｎi（ｉ＝１，２，…，Ｌ）の総和である。
その後、ＣＰＵ１１は、Ｓ１７０に移行し、類似度Ｇ（Ｘij1，Ｘij2）の算出結果に基づいて、クラス毎に、局所クラス共分散行列Ｃiを算出する。但し、Ｃiは、第ｉクラスの局所クラス共分散行列を表す。
【００８３】
【数１６】
2010250670.tif 000018
また、Ｓ１７０での処理を終えると、ＣＰＵ１１は、Ｓ１８０に移行し、次式に示す評価関数Ｊ（Ａ，ｍ）が最大となるｄ行ｄ’列の次元削減行列Ａを求める。但し、Ｐiは、第ｉクラスの事前確率であり、Ｐi＝Ｎi／Ｎである。
【００８４】
【数１７】
2010250670.tif 000019
例えば、Ｓ１８０では、行列Ａの要素の値を走査して、評価関数Ｊ（Ａ，ｍ）が極大値を採る行列Ａを求める。尚、ｍ＝０である場合には、具体的に、次の評価関数Ｊ（Ａ，０）に従って、評価関数Ｊ（Ａ，０）が最大となるｄ行ｄ’列の次元削減行列Ａを求める。
【００８５】
【数１８】
2010250670.tif 000020
また、Ｓ１８０での処理を終えると、ＣＰＵ１１は、求めた次元削減行列Ａを、各サンプルの特徴ベクトルＸijに作用させて、各サンプル毎に、サンプルを低次元空間Ｓyに写像したときの値Ｙijを求める（Ｓ１９０）。
【００８６】
【数１９】
2010250670.tif 000021
その後、ＣＰＵ１１は、上記算出した次元削減行列Ａ、この次元削減行列Ａの算出時に用いたパラメータｍの値、及び、次元削減後の値Ｙijを、記述してなるデータファイルを生成し、これをハードディスク装置１７における上記サンプルデータファイルの読出先ディレクトリに書き込む（Ｓ２００）。尚、図４（ｂ）は、Ｓ２００においてハードディスク装置１７に出力するデータファイルの構成を表す説明図である。このデータファイルには、ＣＰＵ１１の動作により、値Ｙijに関連付けて、次元削減前のオリジナルの特徴ベクトルＸij及び当該特徴ベクトルＸijが属するクラスの値ｃも記述される。
【００８７】
また、Ｓ２００での処理を終えると、ＣＰＵ１１は、上記算出した次元削減行列Ａを表示装置２１の画面上に表示すると共に、各サンプルに対応する特徴ベクトルＸijを低次元空間Ｓyに写像したときの値Ｙijの分布を表すグラフを、表示装置２１の画面上に表示する（Ｓ２０５）。
【００８８】
具体的に、ｄ’＝１である場合には、値Ｙijがスカラー量であるので、横軸に、１次元空間Ｓyの座標を採り、縦軸に、その座標に写像されたサンプルの個数を採って、１次元空間Ｓyの各座標に写像されるサンプルの個数をクラス毎にグラフ表示する。例えば、図５（ａ）下段に示す構成のグラフを表示する。また、ｄ’＝２である場合には、値Ｙijが２次元のベクトルであるので、ｘｙ平面に、２次元空間Ｓyの座標を取り、ｚ軸に、その座標（ｘ，ｙ）に写像されたサンプルの個数を採って、２次元空間Ｓyの各座標に写像されるサンプルの個数をグラフ表示する。
【００８９】
その後、ＣＰＵ１１は、再演算の実行指令がユーザインタフェース１９を通じて入力されているか否かを判断し（Ｓ２１０）、再演算の実行指令が入力されている場合には（Ｓ２１０でＹｅｓ）、Ｓ１３０に移行し、改めて値ｍの入力を受け付ける。また、ユーザインタフェース１９を通じて値ｍが入力された後には、Ｓ１５０に移行し、この新規な値ｍを用いて、Ｓ１５０以降の処理を実行する。
【００９０】
一方、再演算の実行指令が入力されていないと判断すると（Ｓ２１０でＮｏ）、ＣＰＵ１１は、当該ツールの終了指令が入力されるか、再演算の実行指令が入力されるまで待機し、当該ツールの終了指令が入力されると（Ｓ２２０でＹｅｓ）、当該次元削減行列演算処理を終了する。
【００９１】
以上、本実施例の情報処理装置１について説明したが、この情報処理装置１では、クラス内分散を一般化平均で定義しているので、線形判別分析法や不等分散判別分析法によっては、適切な次元削減行列Ａを求めることができない場合であっても、適切な次元削減行列Ａを求めることができる（図５参照）。即ち、特徴ベクトルＸijを低次元空間Ｓyに写像したときに、特徴ベクトルＸijが低次元空間Ｓy上でクラス毎に分離し、同クラスの特徴ベクトルが特定領域に集中する図５（ａ）に示すような適切な次元削減行列Ａを求めることができる。
【００９２】
特に、本実施例の情報処理装置１では、各クラスのサンプル群（特徴ベクトル群）のばらつきを、従来の共分散行列Ｗiではなく、局所クラス共分散行列Ｃiにて評価するようにしているので、一層適切な次元削減行列Ａを求めることができる。
【００９３】
即ち、式（２１）で定義される局所クラス共分散行列Ｃi（ｉ＝１，…，Ｌ）を用いてばらつきを評価すれば、多峰性を示すクラスについては、同じクラスの特徴ベクトル群の内、同じ峰に属する特徴ベクトルのばらつきを、高い重み付けで評価することができ、峰を跨ぐ特徴ベクトル間のばらつきを、低い重み付けで評価することができる。
【００９４】
同様に、本実施例の情報処理装置１では、多峰性の集合に対応できるよう、局所クラス間共分散行列ＢLocalによって、クラス間分散を重み付け評価するようにした。
よって、局所クラス間共分散行列ＢLocal及び局所クラス共分散行列Ｃiを用いて次元削減行列Ａを求める本実施例によれば、多峰性を示すクラスの特徴ベクトル群について、各峰の特徴ベクトル群を無理に一つに集める方向に写像する次元削減行列Ａが最適解として求まってしまうのを防止することができ、各峰の特徴ベクトル群の夫々を峰毎に集める方向に写像する次元削減行列Ａを、評価関数最大の最適解として求めることができる。
【００９５】
従って、本実施例のツールを用いれば、サンプルの集合が多峰性を示す場合であっても、サンプルが低次元空間上でクラス毎に分離し、同クラスの特徴ベクトルが低次元空間上で特定領域に集中するような次元削減行列Ａを求めることができ、この次元削減行列Ａを用いることで、従来よりもパターン認識性能に優れた好適なパターン認識装置を構成することができる。
【００９６】
尚、パターン認識装置５０に設定する次元削減行列Ａの決定に当たっては、パラメータｍの値を走査し、各値ｍで求めた次元削減行列Ａにより各サンプルを低次元空間Ｓyに写像したときの分布を、出力されたデータファイルの内容や表示装置２１に表示されたグラフに基づいて、評価すればよい。このような作業を経て、本実施例では、最適な次元削減行列Ａを求めることができる。
【００９７】
また、本実施例では、演算結果をデータファイルとして出力するだけでなく、各サンプルに対応する特徴ベクトルＸijを低次元空間Ｓyに写像したときの値Ｙijの分布を表すグラフを、表示装置２１の画面上に表示出力するので、ユーザは、最適な次元削減行列Ａを求める作業を、効率的に行うことができる。
【００９８】
ところで、上記実施例では、分子を局所クラス間共分散行列ＢLocalで定義した式（２２）に示す評価関数Ｊ（Ａ，ｍ）に従って次元削減行列Ａを求めたが、Ｓ１８０では、分子を局所クラス間共分散行列と局所クラス共分散行列の和で定義してなる次の評価関数Ｊ（Ａ，ｍ）に従って、次元削減行列Ａを求めても良い。
【００９９】
【数２０】
2010250670.tif 000022
評価関数Ｊ（Ａ，ｍ）を、上式で定義して次元削減行列Ａを求めても、上記実施例と同様の効果を得ることができる。
【０１００】
この他、上記実施例では、式（１７）に示すヒートカーネルに従って、類似度Ｇ（Ｘij1，Ｘij2）を算出するようにしたが、Ｓ１５０では、ｋ近傍法を用いて、類似度Ｇ（Ｘij1，Ｘij2）を算出してもよい。
【０１０１】
即ち、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）を、類似度Ｇ（Ｘij1，Ｘij2）＝１とし、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2に該当しない特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）を、類似度Ｇ（Ｘij1，Ｘij2）＝０として、各特徴ベクトルの組合せに対応する類似度Ｇ（Ｘij1，Ｘij2）を算出してもよい。
【０１０２】
尚、パラメータｋの値については、Ｓ１２０でサンプルデータファイルから読み出すことができるように、予め、ユーザに、正の整数の範囲でパラメータｋの値を、サンプルデータファイルに記述させればよい。
【０１０３】
このように、類似度Ｇ（Ｘij1，Ｘij2）を算出しても、上記実施例と同様の効果を得ることができる。
また、Ｓ１５０では、特徴ベクトルＸij1からの距離Ｄが短いものからｋ個までの特徴ベクトルＸij2と上記特徴ベクトルＸij1との類似度Ｇ（Ｘij1，Ｘij2）を、ヒートカーネルＨ（Ｘij1，Ｘij2）を用いて、類似度Ｇ（Ｘij1，Ｘij2）＝Ｈ（Ｘij1，Ｘij2）となるように算出してもよい。距離Ｄ＝||Ｘij1−Ｘij2||が大きい程、類似度Ｇ（Ｘij1，Ｘij2）を小さくするという主旨に反しない限り、類似度Ｇ（Ｘij1，Ｘij2）の算出式としては、様々な関数を設定することができる。
［特許請求の範囲との対応関係］
本発明と上記実施例との対応関係は、次の通りである。即ち、本発明のサンプル取得手段は、ＣＰＵ１１が実行するＳ１２０の処理により実現され、類似度算出手段は、Ｓ１５０の処理により実現され、局所クラス間分散算出手段は、Ｓ１６０の処理により実現され、局所クラス分散算出手段は、Ｓ１７０の処理により実現されている。
【０１０４】
この他、入力受付手段は、Ｓ１３０の処理により実現され、行列算出手段は、Ｓ１８０の処理により実現され、低次元化手段は、Ｓ１９０の処理により実現され、出力手段は、Ｓ２００，Ｓ２０５の処理により実現されている。
【符号の説明】
【０１０５】
１…情報処理装置、１１…ＣＰＵ、１３…ＲＯＭ、１５…ＲＡＭ、１７…ハードディスク装置、１９…ユーザインタフェース、２１…表示装置、２３…ドライブ装置、５０…パターン認識装置、５１…ベクトル生成部、５３…次元削減部、５５…パターン認識部
【図１】
2010250670.tif 000026
【図２】
2010250670.tif 000027
【図３】
2010250670.tif 000028
【図４】
2010250670.tif 000029
【図５】
2010250670.tif 000030
【図６】
2010250670.tif 000031