(57)【特許請求の範囲】
【請求項１】
入力されたデータからクラス分類を行うためのパターンを抽出するパターン抽出装置であって、
前記入力されたデータのクラス内類似度を計算するクラス内類似度計算手段と、
前記入力されたデータのクラス間距離を計算するクラス間距離計算手段と、
入力されたデータと該データの圧縮表現であるパターンとの差異である圧縮歪みを計算する圧縮歪み計算手段と、
前記データと該データの圧縮表現から、前記圧縮歪みが小さくなる射影行列を求め、射影行列を正規化する射影行列計算手段と、
前記データと射影行列から、圧縮歪みが小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる該データの圧縮表現を計算する圧縮表現計算手段と、を備え、
入力されたデータからクラス分類を行うためのパターン、すなわち、圧縮歪みが小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる前記圧縮表現を抽出することを特徴とするパターン抽出装置。
【請求項２】
前記クラス内類似度計算手段は、クラス内距離の総和の微分値を計算し、
前記クラス間距離計算手段は、クラス間距離の総和の微分値を計算し、
前記圧縮歪み計算手段は、圧縮歪みの微分値を計算し、
前記射影行列計算手段は、前記圧縮歪み，クラス内距離の総和，クラス間距離の総和を含む式を射影行列に関して最適化するため、この式を射影行列に関して微分したものをゼロとすることで射影行列に関して最適化する式を求め、さらに、前記圧縮歪みの微分値に基づいてデータと圧縮表現から成る射影行列の連立一次方程式を算出し、この連立一次方程式から射影行列を求め、
前記圧縮表現計算手段は、前記圧縮歪み，クラス内距離の総和，クラス間距離の総和を含む式を圧縮表現に関して最適化するため、この式を圧縮表現に関して微分したものをゼロとすることで圧縮表現に関して最適化する式を求め、該最適化した式から前記圧縮歪みの微分値，クラス内距離の総和の微分値，クラス間距離の総和の微分値に基づいて、データと射影行列から成る圧縮表現の連立一次方程式を算出し、この連立一次方程式から圧縮表現を求めることを特徴とする請求項１記載のパターン抽出装置。
【請求項３】
前記クラス内類似度計算手段におけるクラス内距離の総和の微分値の計算、前記クラス間距離計算手段におけるクラス間距離の総和の微分値の計算、前記圧縮歪み計算手段における圧縮歪みの微分値の計算、射影行列計算手段の処理、圧縮表現計算手段の処理を、複数回繰り返し、最後に正規化した射影行列と最後に求めた圧縮表現とに基づいて、クラス分類を行うためのパターンを抽出することを特徴とする請求項２記載のパターン抽出装置。
【請求項４】
前記射影行列計算手段および圧縮表現計算手段は、
射影行列の連立一次方程式、圧縮表現の連立一次方程式をハウスホルダー変換，またはガウスの消去法で解くことを特徴とする請求項２または３に記載のパターン抽出装置。
【請求項５】
入力されたデータからクラス分類を行うためのパターンを抽出するパターン抽出方法であって、
クラス内類似度計算手段が、前記入力されたデータのクラス内類似度を計算するクラス内類似度計算ステップと、
クラス間距離計算手段が、前記入力されたデータのクラス間距離を計算するクラス間距離計算ステップと、
圧縮歪み計算手段が、入力されたデータと該データとの圧縮表現であるパターンとの差異である圧縮歪みを計算するステップと、
射影行列計算手段が、前記データと該データの圧縮表現から、前記圧縮歪みが小さくなる射影行列を求め、射影行列を正規化する射影行列計算ステップと、
前記圧縮表現計算手段が、前記データと射影行列から、前記圧縮歪みが小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる該データの圧縮表現を計算する圧縮表現計算ステップと、を有し、
入力されたデータからクラス分類を行うためのパターン、すなわち、圧縮歪みが小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる前記圧縮表現を抽出することを特徴とするパターン抽出方法。
【請求項６】
前記射影行列計算ステップは、
前記圧縮歪み計算手段が、圧縮歪みの微分値を計算し、
前記射影行列計算手段が、前記圧縮歪み，クラス内距離の総和，クラス間距離の総和を含む式を射影行列に関して最適化するため、この式を射影行列に関して微分したものをゼロとすることで射影行列に関して最適化する式を求め、さらに、前記圧縮歪みの微分値に基づいてデータと圧縮表現から成る射影行列の連立一次方程式を算出し、この連立一次方程式から射影行列を求め、
前記圧縮表現計算ステップは、
前記クラス内類似度計算手段が、クラス内距離の総和の微分値を計算し、
前記クラス間距離計算手段が、クラス間距離の総和の微分値を計算し、
前記圧縮歪み計算手段が、圧縮歪みの微分値を計算し、
前記圧縮表現計算手段が、前記圧縮歪み，クラス内距離の総和，クラス間距離の総和を含む式を圧縮表現に関して最適化するため、この式を圧縮表現に関して微分したものをゼロとすることで圧縮表現に関して最適化する式を求め、該最適化した式から前記圧縮歪みの微分値，クラス内距離の総和の微分値，クラス間距離の総和の微分値に基づいて、データと射影行列から成る圧縮表現の連立一次方程式を算出し、この連立一次方程式から圧縮表現を求めることを特徴とする請求項５記載のパターン抽出方法。
【請求項７】
前記射影行列計算ステップおよび圧縮表現計算ステップを複数回繰り返し、最後に正規化した射影行列と最後に求めた圧縮表現とに基づいて、クラス分類を行うためのパターンを抽出することを特徴とする請求項５または６記載のパターン抽出方法。
【請求項８】
射影行列計算ステップおよび圧縮表現計算ステップは、
射影行列の連立一次方程式、圧縮表現の連立一次方程式をハウスホルダー変換，またはガウスの消去法で解くことを特徴とする請求項６または７に記載のパターン抽出方法。
【請求項９】
請求項１〜４の何れか１項に記載のパターン抽出装置を構成する各手段として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、教師あり機械学習に係り、特にテキストや画像などのデータをクラス分類するためのパターン抽出方法に関する。
【背景技術】
【０００２】
従来、パターン抽出方法として、非特許文献１に示すように線形判別分析という手法があった。線形判別分析は次のように、与えられたｎ組のデータｘi∈Ｒmおよびそのラベルｙi∈{１，…，ｃ}からクラス分類が行いやすいパターンｚi∈Ｒc-1，ｃ＜ｍを抽出する。
【０００３】
【数１】
0005501896.tif 000002
【０００４】
ｗiは、クラス間分散とクラス内分散の比Ｊ（ｗ）を最大化するように選ぶ。
【０００５】
【数２】
0005501896.tif 000003
【０００６】
これは、下記の一般化固有値問題を解くことで求められる。
【０００７】
【数３】
0005501896.tif 000004
【０００８】
ｗiは、上位ｃ−１個の固有値の固有ベクトルとなる。
【０００９】
例えば、図９に示すようなｃｌａｓｓ１，ｃｌａｓｓ２のデータが与えられると、ベクトルｗは図９のｗで示す直線として求められる。この例は、クラス数ｃ＝２で、１（＝ｃ−１）次元の特徴が得られる。抽出されるパターンは、図１０に示すようになり、ｃｌａｓｓ１,ｃｌａｓｓ２がｘ軸上で上手く分離されていることが分かる（なお、図１０は、ｃｌａｓｓ１，ｃｌａｓｓ２の結果が見やすいように、ｙ軸の値をずらしてある。）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Ｃ．Ｍ．ビショップ著、（元田浩、栗田多喜男、樋口知之、松本裕治、村田昇共訳）、「パターン認識と機械学習  上」、シュプリンガー・ジャパン株式会社、２００７年１２月、ｐｐ．１７７〜１９０。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した線形判別分析では、下記に示す３つの問題点があった。
１．クラス数ｃ−１の次元の特徴しか得られない。
２．各クラスｃのデータはガウス分布を仮定しているため、多峰性のデータにフィットしない。
３．各クラスｃの平均値を分離する特徴しか得られない。
【００１２】
特に、図１１に示すようなｃｌａｓｓ１，ｃｌａｓｓ２のデータが与えられると、ベクトルｗは図１１のｗで示す直線として求められ、抽出されるパターンは、図１２に示すようになる。図１１のｃｌａｓｓ１，ｃｌａｓｓ２のデータは平均値がほぼ等しく、また、ｃｌａｓｓ１のデータが多峰性であることから、ｃｌａｓｓ１，ｃｌａｓｓ２がｘ軸上で分離できていない（なお、図１２は、ｃｌａｓｓ１，ｃｌａｓｓ２の結果が見やすいように、ｙ軸の値をずらしてある。）。
【００１３】
本発明は上記の課題を解決するものであり、クラス数以上の次元の特徴を得ると共に、多峰性のデータでも分類できるパターン抽出装置を提供することが主な課題となる。
【課題を解決するための手段】
【００１４】
本発明のパターン抽出装置の一態様は、入力されたデータからクラス分類を行うためのパターンを抽出するパターン抽出装置であって、前記入力されたデータのクラス内類似度を計算するクラス内類似度計算手段と、前記入力されたデータのクラス間距離を計算するクラス間距離計算手段と、入力されたデータと抽出されたパターンとの差異である圧縮歪みを計算する圧縮歪み計算手段と、前記データと圧縮表現から、前記圧縮歪みが小さくなる射影行列を求め、射影行列を正規化する射影行列計算手段と、前記データと射影行列から、圧縮歪み小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる圧縮表現を計算する圧縮表現計算手段と、を備え、前記射影行列と圧縮表現に基づいて、クラス分類を行うためのパターンを抽出することを特徴とする。
【００１５】
本発明のパターン抽出方法の一態様は、入力されたデータからクラス分類を行うためのパターンを抽出するパターン抽出方法であって、クラス内類似度計算手段が、前記入力されたデータのクラス内類似度を計算するクラス内類似度計算ステップと、クラス間距離計算手段が、前記入力されたデータのクラス間距離を計算するクラス間距離計算ステップと、圧縮歪み計算手段が、入力されたデータと抽出されたパターンとの差異である圧縮歪みを計算するステップと、射影行列計算手段が、前記データと圧縮表現から、前記圧縮歪みが小さくなる射影行列を求め、射影行列を正規化する射影行列計算ステップと、前記圧縮表現計算手段が、前記データと射影行列から、前記圧縮歪みが小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる圧縮表現を計算する圧縮表現計算ステップと、を有し、前記射影行列と圧縮表現に基づいて、クラス分類を行うためのパターンを抽出することを特徴とする。
【００１６】
なお、本発明は、前記パターン抽出装置を構成する各手段としてコンピュータを機能させるためのプログラムとしても構成することができる。このプログラムはネットワークを通じた態様で提供してもよく、記録媒体に格納した状態でもよい。
【発明の効果】
【００１７】
本発明によれば、クラス数以上の次元の特徴を得ると共に、多峰性のデータでも分類できるパターン抽出装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】実施形態におけるパターン抽出装置のブロック図である。
【図２】実施形態におけるパターン抽出装置の処理ステップを示すフローチャートである。
【図３】本実施形態のパターン抽出装置のハードウェア構成図である。
【図４】実施形態の具体例におけるデータを示す図である。
【図５】実施形態の具体例（ｔ＝１）におけるデータとＷを示す図である。
【図６】実施形態の具体例（ｔ＝２）におけるデータとＷを示す図である。
【図７】実施形態の具体例（ｔ＝３）におけるデータとＷを示す図である。
【図８】実施形態の具体例におけるデータを示す図である。
【図９】従来のパターン抽出方法におけるデータとｗを示す図である。
【図１０】従来のパターン抽出方法におけるデータを示す図である。
【図１１】従来のパターン抽出方法におけるデータとｗを示す図である。
【図１２】従来のパターン抽出方法におけるデータを示す図である。
【発明を実施するための形態】
【００１９】
本発明は、入力されたデータからクラス分類を行うためのパターンを抽出するものであって、パターンを抽出する際に、クラス内のデータは近くに、クラス間のデータは遠くに配置されるようにパターン修正を行うものである。その結果、抽出されたパターンがクラス間で分離しやすくなる。
【００２０】
また、与えられたデータと抽出されたパターンとの差異（圧縮ひずみ）を小さくすることにより、元のデータの情報を可能な限り保持する働きをする。その結果、クラス数以上の特徴を有効に抽出することが可能となる。
【００２１】
［実施形態］
≪構成例≫
図１〜図３に基づき本実施形態におけるパターン抽出装置１を説明する。
【００２２】
前記パターン抽出装置１は、教師あり機械学習に用いられ、例えば、テキストや画像等のデータをクラス分類するものである。
【００２３】
このパターン抽出装置１は、図３に示すように、コンピュータにより構成され、通常のコンピュータのハードウェアリソース、即ち、ＲＯＭ１１，ＲＡＭ１２，ＣＰＵ１３，通信インターフェイス（Ｉ／Ｆ）１４，ハードディスクドライブ装置１５，記憶媒体読取装置１６，記憶媒体１７などを備えている。
【００２４】
このハードウェアリソースとソフトウェアリソースとの協働の結果、前記パターン抽出装置１は、図１に示すように、データ入力手段２と、管理手段３と、クラス内類似度計算手段４と、クラス間距離計算手段５と、圧縮歪み計算手段６と、射影行列計算手段７と、圧縮表現計算手段８と、結果出力手段９と、を備える。
【００２５】
本実施形態におけるパターン抽出装置１は、データ入力手段２からデータＸ（ｘi，…，ｘn）を入力し、管理手段３において、全データ（ｘi，…，ｘn）の平均値μを算出し、全てのデータ（ｘi，…，ｘn）から平均値μを引く。
【００２６】
そして、前記クラス内類似度計算手段４でクラス内のデータの類似度を算出し、前記クラス間距離計算手段５でクラス間のデータの距離計算を行う。また、圧縮歪み計算手段６は、与えられたデータと抽出されたパターンとの差異（圧縮歪み）を計算する。
【００２７】
射影行列計算手段７は、データと圧縮表現Ｈから、前記圧縮歪みが小さくなる射影行列Ｗを求める。圧縮表現計算手段８は、データＸと射影行列Ｗから、圧縮歪みが小さくなり、かつ、クラス内類似度およびクラス間距離が大きくなる圧縮表現Ｈを求める。
【００２８】
本実施形態のパターン抽出装置１は、データＸ＝（х1，…，хn），хi∈Ｒm，ラベルｙ∈｛１，…ｃ｝（ｃはクラス数），抽出する特徴の次元数ｋ（０＜ｋ＜ｍ），クラス内類似度を重視する度合いα≧０，クラス間距離を重視する度合いβ≧０，距離のスケールσ＞０，及び、繰り返し数Ｔ＞０を入力とし、射影行列Ｗ，全データの平均値μ，圧縮表現Ｈを出力する。
【００２９】
図２は、本実施形態におけるパターン抽出装置１の処理ステップ（Ｓ１〜Ｓ６）を示すフローチャートである。本発明におけるパターン抽出方法は、以下の手順から成る。
Ｓ１：データＸ，ラベルｙ，抽出する特徴次元数ｋ，クラス内類似度を重視する度合いα，クラス間距離を重視する度合いβ，距離のスケールσ，繰り返し数Ｔを入力する。
Ｓ２：クラス内類似度ＬW，クラス間距離ＬB，圧縮表現Ｈを初期化する。
（ｆｏｒ  ｔ＝１  ｔｏ  ｄｏ）
Ｓ３：ｔが繰り返し数Ｔよりも小さいか否かを判定する。
Ｓ４：射影行列Ｗを計算する。
Ｓ５：圧縮表現Ｈを計算する。
（ｅｎｄ  ｆｏｒ）
Ｓ６：射影行列Ｗ，平均値μ，圧縮表現Ｈを出力する。
【００３０】
以下、前記各ステップ（Ｓ１〜Ｓ６）について詳細に説明する。
【００３１】
Ｓ１：（データの入力）
データ入力手段２は、ネットワーク、または、ファイル等から、データХ（х1，…，хn），ラベルｙ∈｛１，…ｃ｝（ｃはクラス数），および、パラメータ（抽出する特徴の次元数ｋ（０＜ｋ＜ｍ），クラス内類似度を重視する度合いα≧０、クラス間距離を重視する度合いβ≧０、距離のスケールσ＞０，及び、繰り返し数Ｔ＞０）を入力する。
【００３２】
Ｓ２：（初期化）
［管理手段３］
全てのデータ（ｘ1，…，ｘn）の平均値μを下記（９）式により算出する。
【００３３】
【数４】
0005501896.tif 000005
【００３４】
下記（１０）式に示すように、全てのデータ（ｘ1，…，ｘn）から平均値μを引く。
【００３５】
【数５】
0005501896.tif 000006
【００３６】
射影行列Ｗのサイズをｍ×ｋ，圧縮表現Ｈのサイズをｋ×ｎにする。ここで、ｍ，ｎはデータＸの行数，列数、また、ｋは入力時に指定する特徴の次元数を示す。
【００３７】
クラス内類似度計算手段４と、クラス間距離計算手段５の初期化を呼び出す。
【００３８】
［クラス内類似度計算手段４］
クラス内類似度行列ＬWを下記（１１）式により計算する。なお、下記（１１）式のＤWはクラス内データの度数行列を示し、ＳWはクラス内内積行列を示す。ここで、下記（１２）式のｓijWはＳWのｉｊ要素を示し、下記（１３）式のｄijWはＤWのｉｊ要素を示す。
【００３９】
【数６】
0005501896.tif 000007
【００４０】
［クラス間距離計算手段５］
クラス間類似度行列ＬBを下記（１４）式により計算する。なお、下記（１４）式のＤBはクラス間データの度数行列を示し、ＳBはクラス間内積行列を示す。ここで、下記（１５）式のsijBはＳBのｉｊ要素を示し、下記（１６）式のｄijBはＤBのｉｊ要素を示す。
【００４１】
【数７】
0005501896.tif 000008
【００４２】
［管理手段３］
圧縮表現Ｈを乱数で初期化する。
【００４３】
Ｓ３：（ｔ≦Ｔの判定）
［管理手段３］
ｔ≦Ｔか否か判定する。即ち、指定された繰り返し数ＴだけＳ４，Ｓ５の処理を行っていればＳ６へ移行し、そうでなければＳ４へ移行する。
【００４４】
Ｓ４：（射影行列Ｗの計算）
［射影行列計算手段７］
圧縮歪みＪC（Ｗ，Ｈ）と、クラス内距離の総和ＪW（Ｈ）と、クラス間距離の総和ＪB（Ｈ）と、から成る下記（１７）式を、射影行列Ｗに関して最適化する。すなわち、下記（１７）式を微分すると下記（１８）式となり、この（１８）式が０となるように、射影行列Ｗで最適化する。
【００４５】
【数８】
0005501896.tif 000009
【００４６】
圧縮歪み計算手段６を呼び出し、前記（１８）式中の∂ＪC／∂Ｗ（データと抽出されたパターンとの差異を小さくする項）を計算させる。
【００４７】
［圧縮歪み計算手段６］
射影行列計算に際して、圧縮歪みＪC（Ｗ，Ｈ）の下記（１９）式の微分値を求め、データと抽出されたパターンとの差異を小さくする項∂ＪC／∂Ｗを下記（２０）式により計算し、射影行列計算手段７に出力する。
【００４８】
【数９】
0005501896.tif 000010
【００４９】
［射影行列計算手段７］
前記（１８），（２０）式から下記（２１）式が成立する。そして、下記（２１）式の射影行列の転置行列ＷTについての連立一次方程式をハウスホルダー変換、または、ガウスの消去法等で解いて、射影行列Ｗを求める。
【００５０】
【数１０】
0005501896.tif 000011
【００５１】
次に、射影行列Ｗの各列ベクトルを下記（２２）式により、正規化する。
【００５２】
【数１１】
0005501896.tif 000012
【００５３】
Ｓ５：（圧縮表現Ｈの計算）
［圧縮表現計算手段８］
圧縮歪みＪC（Ｗ，Ｈ）と、クラス内距離の総和ＪW（Ｈ）と、クラス間距離の総和ＪB（Ｈ）と、から成る下記（２３）式を圧縮表現Ｈに関して最適化する。すなわち、下記（２３）式を微分すると下記（２４）式となり、下記（２４）式が０となるように、圧縮表現Ｈに関して最適化する。
【００５４】
【数１２】
0005501896.tif 000013
【００５５】
圧縮歪み計算手段６，クラス内類似度計算手段４，クラス間距離計算手段５を呼び出し、前記（２４）式中の∂ＪC／∂Ｈ（データと抽出されたパターンとの差異を小さくする項），∂ＪW／∂Ｈ（クラス内距離の総和ＪWを小さくする項，すなわち，クラス内データの類似度を大きくする項），∂ＪB／∂Ｈ（クラス間データの距離を大きくする項）を計算させる。
【００５６】
［圧縮歪み計算手段６］
圧縮表現Ｈの計算に際して、圧縮歪みＪC（Ｗ，Ｈ）の下記（１９）式を微分し、データと抽出されたパターンとの差異を小さくする項∂ＪC／∂Ｈを下記（２５）式により計算し、圧縮表現計算手段８に出力する。
【００５７】
【数１３】
0005501896.tif 000014
【００５８】
［クラス内類似度計算手段４］
圧縮表現Ｈの計算に際して、クラス内距離の総和ＪW（Ｈ）の下記（２６）式を微分し、クラス内のデータの類似度を大きくする項∂ＪW／∂Ｈを下記（２７）式により計算し、圧縮表現計算手段８に出力する。
【００５９】
【数１４】
0005501896.tif 000015
【００６０】
［クラス間距離計算手段５］
圧縮表現Ｈの計算に際して、クラス間距離の総和ＪB（Ｈ）の下記（２８）式を微分し、クラス間のデータの距離を大きくする項∂ＪB／∂Ｈを下記（２９）式により計算し、圧縮表現計算手段８に出力する。
【００６１】
【数１５】
0005501896.tif 000016
【００６２】
［圧縮表現計算手段８］
前記（２４），（２５），（２７），（２９）式から下記（３０）式が成立する。そして、下記（３０）式のｖｅｃ（Ｈ）についての連立一次方程式をハウスホルダー変換、または、ガウス消去法等で解いて、圧縮表現Ｈを求める。ここで、（３０）式中のＡは下記（３１）式、Ｃは下記（３２）式とする。
【００６３】
【数１６】
0005501896.tif 000017
【００６４】
また、ｖｅｃ（・）は、行列の列ベクトルを縦に積み重ねた列ベクトルである。すなわち、下記（３３）式，（３４）に示すようになる。
【００６５】
【数１７】
0005501896.tif 000018
【００６６】
Ｓ４〜Ｓ５の処理ステップをＴ回繰り返したら、Ｓ６へ移行する。
【００６７】
Ｓ６：（結果の出力）
［結果出力手段９］ネットワーク、または、ファイルなどに最後に正規化した射影行列Ｗ，平均値μ，および最後に求めた圧縮表現Ｈを出力する。
【００６８】
［具体例］
次に、具体例に基づいて、本実施形態のパターン抽出方法を説明する。
【００６９】
Ｓ１：（データの入力）
データ入力手段２は、図４に示すデータＸと、ラベルｙを入力する。データХの次元ｍ＝２，データ数ｎ＝２００とする。また、他のパラメータ（入力時に指定する特徴の次元数ｋ，クラス内類似度を重視する度合いα，クラス間距離を重視する度合いβ，距離のスケールσ，繰り返し数Ｔ）として、下記（３５）式〜（３９）式を入力する。
【００７０】
【数１８】
0005501896.tif 000019
【００７１】
Ｓ２：（初期化）
管理手段３は、データ（ｘi，…，ｘn）の平均値μを計算し、全てのデータ（ｘi，…，ｘn）から平均値μを引く。本具体例において、平均値μは下記（４０）式となる。
【００７２】
【数１９】
0005501896.tif 000020
【００７３】
管理手段３は、射影行列Ｗのサイズを２（ｍ）×１（ｋ），圧縮表現Ｈのサイズを１（ｋ）×２００（ｎ）と設定する。そして、クラス内類似度計算手段４とクラス間距離計算手段５の初期化を呼び出し、クラス内類似度行列ＬWとクラス間距離行列ＬBとを計算させる。また、圧縮表現Ｈを乱数で初期化する。
【００７４】
Ｓ３：（ｔ≦Ｔの判定）
管理手段３はループ部（Ｓ３〜Ｓ５）の処理に入る。ｔ＝１の場合、ｔ（＝１）＜Ｔ（＝３）であるため、Ｓ４へ移行し、管理手段３は射影行列計算手段７を呼び出す。
【００７５】
Ｓ４：（射影行列Ｗの計算）
射影行列計算手段７は、圧縮歪み計算手段６を呼び出し、前記（２０）式を計算させ射影行列Ｗを求め、射影行列Ｗを正規化する。その結果は、下記（４１）式となり、この射影行列Ｗは図５に示すようになる。
【００７６】
【数２０】
0005501896.tif 000021
【００７７】
Ｓ５：（圧縮表現Ｈの計算）
管理手段３は、圧縮表現計算手段８を呼び出す。この圧縮表現計算手段８は、圧縮歪み計算手段６を呼び出して前記（２５）式を計算させ、クラス内類似度計算手段４を呼び出して前記（２７）式を計算させ、クラス間距離計算手段５を呼び出して前記（２９）式を計算させ、圧縮表現Ｈを求める。
【００７８】
Ｓ３：ｔ＝２の場合、ｔ（＝２）＜Ｔ（＝３）であるため、Ｓ４，Ｓ５へ移行し、管理手段３は射影行列計算手段７と圧縮表現計算手段８を呼び出す。
【００７９】
Ｓ４，Ｓ５：ｔ＝１の時と同様に、射影行列Ｗ，圧縮表現Ｈを計算する。その結果、射影行列Ｗは下記（４２）式に示す値となり、図６に示すようになる。
【００８０】
【数２１】
0005501896.tif 000022
【００８１】
Ｓ３：ｔ＝３の場合、ｔ（＝３）≦Ｔ（＝３）であるため、管理手段３は射影行列計算手段７と圧縮表現計算手段８を呼び出し、Ｓ４，Ｓ５へ移行する。
【００８２】
Ｓ４，Ｓ５：射影行列計算手段７と圧縮表現計算手段８において、ｔ＝１，２の時と同様に射影行列Ｗ，圧縮表現Ｈを計算する。その結果、射影行列Ｗは下記（４３）式に示す値となり、図７に示すようになる。
【００８３】
【数２２】
0005501896.tif 000023
【００８４】
Ｓ３：ｔ＝４の場合、ｔ（＝４）＞Ｔ（＝３）であるため、管理手段３はループを終了させ、Ｓ６に移行する。
【００８５】
Ｓ６：結果出力手段９は、ｔ＝３で正規化した射影行列Ｗ，平均値μ，ｔ＝３で求めた圧縮表現Ｈをネットワークやファイルに出力する。
【００８６】
上記の処理（Ｓ１〜Ｓ６）の結果、得られた圧縮表現Ｈを図８に示す。ｃｌａｓｓ１とｃｌａｓｓ２がｘ軸上で分離できていることが分かる（なお、ｃｌａｓｓ１，ｃｌａｓｓ２の結果が見やすいように、ｙ軸の値をずらしてある）。
【００８７】
また、新規のデータХについては、下記（４４）式をｈについて解くことで得られる。
【００８８】
【数２３】
0005501896.tif 000024
【００８９】
以上示したように、本実施形態は、クラス内類似度計算手段４とクラス間距離計算手段５が、クラス内のデータは近くに、クラス間のデータは遠くに配置されるようにパターン修正を行う。こうすることで、抽出されたパターンがクラス間で分離しやすくなる。
【００９０】
また、圧縮歪み計算手段６は、与えられたデータと抽出されたパターンとの差異（圧縮歪み）を小さくすることで、元のデータの情報を可能な限り保持する働きをする。こうすることで、クラス数以上の特徴を有効に抽出することができる。
【００９１】
その結果、抽出する特徴の次元はパラメータｋ≦ｍによって変えることができ、かつ、圧縮歪み計算手段６により、抽出されたパターンと元のデータХとの差異が小さくなるので、有効な特徴が得られる。
【００９２】
また、各クラスのデータがガウス分布であることを仮定しておらず、各クラスのデータが多峰性であったとしても、クラス分類をすることができる。
【００９３】
さらに、各クラスの平均値に依存せず、平均値が等しくても分離することが可能となる。
【００９４】
本発明は、前記パターン抽出装置１の各手段２〜９の一部もしくは全部として、コンピュータを機能させるプログラムとしても構成することができる。この場合には、Ｓ１〜Ｓ６の全てのステップあるいは一部のステップをコンピュータに実行させる。
【００９５】
このプログラムは、ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ  Ｄｉｓｋ（登録商標）などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実行するので、該記録媒体も本発明を実行する。
【符号の説明】
【００９６】
１…パターン抽出装置
２…データ入力手段
３…管理手段
４…クラス内類似度計算手段
５…クラス間距離計算手段
６…圧縮歪み計算手段
７…射影行列計算手段
８…圧縮表現計算手段
９…結果出力手段
【図１】
0005501896.tif 000025
【図２】
0005501896.tif 000026
【図３】
0005501896.tif 000027
【図４】
0005501896.tif 000028
【図５】
0005501896.tif 000029
【図６】
0005501896.tif 000030
【図７】
0005501896.tif 000031
【図８】
0005501896.tif 000032
【図９】
0005501896.tif 000033
【図１０】
0005501896.tif 000034
【図１１】
0005501896.tif 000035
【図１２】
0005501896.tif 000036