(57)【要約】【課題】所定の値より大きな固有値を持つ主成分ベクトルとそれらに対応する固有値を選択的に用いた直交化により各クラスのパターン分布を直交化することで、高精度に識別可能なパターン認識装置を提供する。【解決手段】入力パターンを認識するパターン認識装置は、擬似直交化変換データ生成格納部３０３と擬似直交化変換部３０４と辞書部分空間生成部３０６と入力部分空間生成部３０５と類似度算出部３０８と識別部３０９とからなる。擬似直交化変換データ生成格納部は３０３は、複数の識別クラスにそれぞれ属する複数の学習パターンを主成分分析することにより得られる、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて、各識別クラスのパターン分布同士を直交状態に近づける擬似直交化変換を行うためのデータセットを生成し格納する。このデータセットを用いて、辞書部分空間や入力部分空間を擬似直交化変換部３０４において直交化する。【選択図】図３
2010055325.tif 000002
【特許請求の範囲】
【請求項１】
入力パターンを認識するパターン認識装置であって、該パターン認識装置は、
複数の識別クラスにそれぞれ属する複数の学習パターンをＫＬ展開（主成分分析）することにより得られる、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて、各識別クラスのパターン分布同士を直交状態に近づける擬似直交化変換を行うためのデータセットを生成し格納する擬似直交化変換データ生成格納部と、
前記擬似直交化変換データ生成格納部に格納されるデータセットを用いて、擬似直交化変換を行う擬似直交化変換部と、
複数の学習パターンに対して前記擬似直交化変換部を用いて、辞書部分空間を生成する辞書部分空間生成部と、
入力パターンに対して前記擬似直交化変換部を用いて、入力部分空間を生成する入力部分空間生成部と、
前記辞書部分空間生成部による辞書部分空間と前記入力部分空間生成部による入力部分空間の類似度を算出する類似度算出部と、
前記類似度算出部により算出される類似度を用いて、入力パターンが属する識別クラスを決定する認識部と、
を具備することを特徴とするパターン認識装置。
【請求項２】
請求項１に記載のパターン認識装置において、
前記擬似直交化変換データ生成格納部は、複数の学習パターンを非線形写像した上でＫＬ展開（主成分分析）を行い、
前記辞書部分空間生成部は、複数の学習パターンを非線形写像した上で辞書部分空間を生成し、
前記入力部分空間生成部は、入力パターンを非線形写像した上で入力部分空間を生成する、
ことを特徴とするパターン認識装置。
【請求項３】
請求項１又は請求項２に記載のパターン認識装置において、前記データセットは、以下の擬似自己相関行列の総和行列の固有ベクトルと固定値とを用いて表される、即ち、
2010055325.tif 000069
2010055325.tif 000070
2010055325.tif 000071
ラスの数、ｄｃはクラスｃにおいて擬似自己相関行列を求めるために用いる主成分ベクト
2010055325.tif 000072
ことを特徴とするパターン認識装置。
【請求項４】
請求項３に記載のパターン認識装置において、前記重み係数は以下のように表される、即ち、
2010055325.tif 000073
であることを特徴とするパターン認識装置。
【請求項５】
請求項３に記載のパターン認識装置において、前記重み係数は以下のように表される、即ち、
2010055325.tif 000074
であることを特徴とするパターン認識装置。
【請求項６】
入力パターンを認識するパターン認識方法であって、該パターン認識方法は、
複数の識別クラスにそれぞれ属する複数の学習パターンをＫＬ展開（主成分分析）することにより得られる、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて、各識別クラスのパターン分布同士を直交状態に近づける擬似直交化変換を行うためのデータセットを生成し格納する擬似直交化変換データ生成格納ステップと、
複数の学習パターンに対して前記データセットを用いて擬似直交化変換を行い、辞書部分空間を生成する辞書部分空間生成ステップと、
入力パターンに対して前記データセットを用いて擬似直交化変換を行い、入力部分空間を生成する入力部分空間生成ステップと、
前記辞書部分空間と前記入力部分空間の類似度を算出する類似度算出ステップと、
算出される類似度を用いて、入力パターンが属する識別クラスを決定する認識ステップと、
を具備することを特徴とするパターン認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパターン認識装置及びパターン認識方法に関し、特に、複数のクラスのパターンに対して直交化変換を行い高精度なパターン認識を実現可能なパターン認識装置及びパターン認識方法に関する。
【背景技術】
【０００２】
複数のクラスのパターン分布を識別するパターン識別の手法として、これまでも種々のものが研究開発されている。例えば、特許文献１に開示のものは、所謂相互部分空間法といわれているものである。相互部分空間法においては、各クラスのパターン分布に対して、ＫＬ展開（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開）を適用して、それぞれを部分空間で表すものである。ＫＬ展開とは、線形空間における特徴ベクトル分布を最も良く近似する部分空間を求める手法であり、数学的には主成分分析と等価である。相互部分空間法におけるパターン分布の識別においては、識別対象である入力パターン分布を表す入力部分空間と、各クラスの部分空間（以下、辞書部分空間と称する。）とのなす正準角を求め、正準角が最小となる辞書部分空間に対応するクラスに属すると判定する。例えば、手の画像を用いて手形状を「グー」、「チョキ」、「パー」の３つのクラスに識別する場合、まず３つの手形状ごとに手を回転させたり動かしたりしながら学習パターンを収集し、それらから各クラスの辞書部分空間を用意しておく。識別においては、ある一定時間に入力されたパターンから入力部分空間を生成し、３つの辞書部分空間とのなす正準角を求め、最も小さい正準角を有する辞書部分空間のクラスに属する手形状であると分類する。
【０００３】
この相互部分空間法は、文字認識の分野で多用されている部分空間法（例えば非特許文献１に記載）の拡張である。入力ベクトル、つまり、１次元部分空間と辞書部分空間のなす角度に基づいて識別する部分空間法に対して、相互部分空間法では、入力パターン分布と辞書パターン分布の両方を部分空間で表すために、部分空間法に比べてパターン変形に対する吸収能力が優れている。しかしながら、各クラスの辞書部分空間は、各クラスのパターン分布を表すという観点では最適な空間となっているが、他のクラスとの関係を考慮して生成していないため、高い識別結果を得るための最適な空間には必ずしもなっていなかった。
【０００４】
このような課題を解決したものとして、ＦＫＴ法（Ｆｕｋｕｎａｇａ−Ｋｏｏｎｔｚ  Ｔｒａｎｓｆｏｒｍ）が知られている。ＦＫＴ法は、各辞書部分空間を互いに直交化するための方法である。即ち、この方法では、各クラスのパターンに対して直交化変換を施し、変換されたパターンセットから互いに直交関係にある辞書部分空間を生成する。この方法は、
2010055325.tif 000003
スの総和行列Ｒを用いて直交化を実現する。ここで、行列Ｒは以下のように求まる。
【数１】
2010055325.tif 000004
但し、Ｔは行列の転置を表している。
【０００５】
直交化変換を実現するための直交化行列Ｏは、自己相関行列の総和Ｒの固有ベクトルｕｉとそれに対応する固有値λｉから次式で与えられる。
【数２】
2010055325.tif 000005
2010055325.tif 000006
2010055325.tif 000007
但し、行列Λ−１／２は、上記の固有値λｉの平方根の逆数を並べた対角行列である。また、ｄｉａｇ（ｖ）は、ｖベクトルが対角成分であり、それ以外は零を持つ対角行列を表している。そして、行列Ｈは、固有値λｉに対応する固有ベクトルｕｉを列ベクトル
2010055325.tif 000008
【０００６】
このような直交化変換を用いて、すべての学習パターン（辞書パターン）及び識別パターン（入力パターン）を変換した上で、部分空間法を適用する手法が直交部分空間法といわれるものである。
【０００７】
上述のような直交化以外にも、各クラスの部分空間を張る正規直交基底ベクトルｅを学習データとみなして自己相関行列の総和行列Ｐを求め、これを用いて直交化する方法も知られている。総和行列Ｐは以下のように求まる。
【数３】
2010055325.tif 000009
2010055325.tif 000010
ベクトルである。ここで、正規直交基底ベクトルは、分散の多い順に並べてある。
なお、数３の自己相関行列は射影行列と呼ばれる行列の条件を満たしているため、以下、各クラスの射影行列の総和行列と呼ぶ。
【０００８】
上述のような射影行列の総和行列を用いて各辞書部分空間を直交化変換した上で、相互部分空間法を適用する方法が直交相互部分空間法と呼ばれる手法であり、これは特許文献２に開示されている。
【０００９】
直交部分空間法と直交相互部分空間法で用いられている２つの直交化法の関係は次のようになる。即ち、前者の行列Ｒを用いた方法では、学習パターンの詳細な分布形状を考慮した上で直交化を行っている。これに対して、後者の行列Ｐを用いた方法では、固有値が大きい主成分ベクトルの方向情報のみを用い、詳細な分布形状を反映した固有値については強制的に１としているため、学習パターンの詳細な分布形状は直交化において考慮されていない。したがって、後者は前者の簡略版とみなすことができる。
【００１０】
さて、パターン分布が線形部分空間で高精度に近似できる場合には、これまで述べた直交化法により高い識別性能を実現可能である。しかしながら、パターン分布が複雑な境界を持つ場合には、他のクラスと重なりの無い線形部分空間でパターン分布を近似することが難しい。これを解決するために提案されたのが、カーネル非線形直交相互部分空間法であり、これは特許文献３に開示されている。
【００１１】
この方法は、対象パターンをカーネル関数による非線形写像を用いて入力空間Ιに比べて遥かに高い次元の特徴空間Ｆに写像した上で、写像パターンに対して先に説明した直交相互部分空間法を適用するものである。特徴空間の次元が極めて高いために、この空間においては各クラスのパターン分布を重なりの無い部分空間で表現できる。したがって、入力空間では複雑な境界で直交化できない場合でも、特徴空間では完全な直交化を実現でき、これにより高い識別性能が得られる。
【００１２】
【特許文献１】特開平１１−２６５４５２号公報
【特許文献２】特開２００５−３５３００号公報
【特許文献３】特開２００６−１８９８９５号公報
【非特許文献１】石井健一郎ら著「わかりやすいパターン認識」オーム社、１９９８年８月
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上述の自己相関行列の総和、又は射影行列の総和を用いた直交化は、直交部分空間法、直交相互部分空間法、及びその非線形拡張であるカーネル非線形直交相互部分空間法に適用され、それぞれ高い認識性能を実現している。しかしながら、これら従来の各直交化手法には、以下のような問題がある。
【００１４】
自己相関行列の総和に基づく直交化は、極めて小さな固有値を持つ主成分ベクトルまで含んだすべての主成分ベクトルを用いるために、学習パターン分布の形状を忠実に反映できる反面、計算が不安定になる上に過学習となる傾向が強い。このため、パターン変動に対して非常に敏感になるという問題があった。特に、少ない学習パターンに対してこの手法を適用する場合には、識別性能の低下を引き起こすおそれがあった。
【００１５】
これに加えて、自己相関行列の総和に基づく直交化を、カーネル関数を用いて非線形拡張する際には、全学習パターン数ｍに依存して、ｍ×ｍ行列の固有値問題を解く必要がある。このため、学習パターン数が大きくなるに連れて、解くべき行列のサイズが増大し、計算が困難になるという問題があった。相互部分空間法ベースの識別法は学習パターン数に依存して識別性能が向上する特性を有するので、これは識別性能の向上を目指す上で大きな障害となっていた。
【００１６】
一方、射影行列を用いた直交化では、先に述べたように各クラスのパターン分布の形状、つまり固有値の情報がまったく考慮されていない。このため、各クラスの学習パターン分布を包含する、即ち、大まかな近似となっている部分空間同士の直交化は確かに実現できるが、本来実現すべき学習パターン分布に対する直交化にはなっておらず、より高い認識性能を実現するには限界があった。
【００１７】
本発明は、斯かる実情に鑑み、予め決められた値より大きな固有値を持つ主成分ベクトルとそれらに対応する固有値を選択的に用いた直交化により各クラスのパターン分布を直交化し、さらに複雑なクラス境界を持つパターン分布の場合にはカーネル非線形主成分分析を適用することで、高精度に識別可能なパターン認識装置を提供しようとするものである。
【課題を解決するための手段】
【００１８】
上述した本発明の目的を達成するために、本発明によるパターン認識装置は、複数の識別クラスにそれぞれ属する複数の学習パターンをＫＬ展開（主成分分析）することにより得られる、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて、各識別クラスのパターン分布同士を直交状態に近づける擬似直交化変換を行うためのデータセットを生成し格納する擬似直交化変換データ生成格納部と、擬似直交化変換データ生成格納部に格納されるデータセットを用いて、擬似直交化変換を行う擬似直交化変換部と、複数の学習パターンに対して擬似直交化変換部を用いて、辞書部分空間を生成する辞書部分空間生成部と、入力パターンに対して擬似直交化変換部を用いて、入力部分空間を生成する入力部分空間生成部と、辞書部分空間生成部による辞書部分空間と入力部分空間生成部による入力部分空間の類似度を算出する類似度算出部と、類似度算出部により算出される類似度を用いて、入力パターンが属する識別クラスを決定する認識部と、を具備するものである。
【００１９】
また、擬似直交化変換データ生成格納部は、複数の学習パターンを非線形写像した上で主成分分析を行い、辞書部分空間生成部は、複数の学習パターンを非線形写像した上で辞書部分空間を生成し、入力部分空間生成部は、入力パターンを非線形写像した上で入力部分空間を生成しても良い。
【００２０】
また、データセットは、以下の擬似自己相関行列の総和を用いて表される、即ち、
2010055325.tif 000011
2010055325.tif 000012
2010055325.tif 000013
ラスの数、ｄｃはクラスｃにおいて擬似自己相関行列を求めるために用いる主成分ベクト
2010055325.tif 000014
ものであれば良い。
【００２１】
ここで、重み係数は以下のように表される、即ち、
2010055325.tif 000015
であれば良い。
【００２２】
また、重み係数は以下のように表される、即ち、
2010055325.tif 000016
であっても良い。
【００２３】
また、入力パターンを認識するパターン認識方法は、複数の識別クラスにそれぞれ属する複数の学習パターンをＫＬ展開（主成分分析）することにより得られる、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて、各識別クラスのパターン分布同士を直交状態に近づける擬似直交化変換を行うためのデータセットを生成し格納する擬似直交化変換データ生成格納ステップと、複数の学習パターンに対してデータセットを用いて擬似直交化変換を行い、辞書部分空間を生成する辞書部分空間生成ステップと、入力パターンに対してデータセットを用いて擬似直交化変換を行い、入力部分空間を生成する入力部分空間生成ステップと、辞書部分空間と入力部分空間の類似度を算出する類似度算出ステップと、算出される類似度を用いて、入力パターンが属する識別クラスを決定する認識ステップと、を具備するものである。
【発明の効果】
【００２４】
本発明のパターン認識装置には、各クラスのパターン分布のすべての主成分ベクトルと固有値を使うのではなく、予め決められた値より大きい固有値を持つ主成分ベクトルとその固有値を選択的に用いた直交化により、識別性能の向上と計算量の削減を同時に実現可能であるという利点がある。
【発明を実施するための最良の形態】
【００２５】
以下、本発明を実施するための最良の形態を図示例と共に説明する。従来技術の説明で述べたように、自己相関行列の総和行列Ｒや、射影行列の総和行列Ｐの固有値と固有ベクトルを用いた直交化には、それぞれ問題があった。そこで、本発明では、各クラスの学習パターンセットにＫＬ展開（主成分分析）を適用して得られる主成分ベクトルから、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて直交化を行う。即ち、まず予め決められた値より大きい固有値に対応する主成分ベクトルを選択する。そして、これらの主成分ベクトルと、それらに対応する固有値を用いて直交化を行う。
【００２６】
2010055325.tif 000017
。なお、ここではすべての主成分ベクトルを用いていないため、「擬似」と称している。
【数４】
2010055325.tif 000018
2010055325.tif 000019
2010055325.tif 000020
ラスの数、ｄｃはクラスｃにおいて擬似自己相関行列を求めるために用いる主成分ベクト
2010055325.tif 000021
2010055325.tif 000022
【００２７】
ここで、数４の重み係数について説明する。この重み係数は、例えば固有値をそのまま重み付け係数とすれば良い。これは、予め決められた値より大きい固有値のみを用いてこれを重み係数とし、それ以外は重み係数を強制的に零にすることを意味する。即ち、重み付け係数は以下のように表せば良い。
2010055325.tif 000023
【００２８】
また、例えば顔等の３次元物体の画像パターンセットから得られる固有値には、以下のような特性がある。即ち、上位１〜３個の固有値が極端に大きくなり、それ以降の固有値はそれらに比べて非常に小さくなる特性がある。このような特性が得られる画像パターンセットの場合、上述の固有値をそのまま重み付けとする手法では、下位の固有値の影響が極めて小さくなり、パターン分布を考慮した直交化の実現が困難となる場合もあった。そこで、これを解決するために、上位の固有値の影響を低減し、下位の固有値が十分に考慮されるような重み係数を用いれば良い。即ち、重み付け係数は以下のように表されても良い。
【数５】
2010055325.tif 000024
これにより、主成分ベクトルとそれらに対応する固有値（重み付けされたもの）を用いた直交化が可能となる。
【００２９】
本発明では、この擬似自己相関行列の固有ベクトルと固有値を用いて、擬似直交化行列
2010055325.tif 000025
【００３０】
さらに、より複雑なパターン分布に対応するために、カーネル非線形写像に基づく非線
2010055325.tif 000026
計算し、これを用いて特徴空間Ｆにおいて各クラス部分空間を擬似的に直交化する。
【００３１】
以下、まず非線形主成分分析について説明した後、非線形擬似直交化変換、擬似直交化行列の生成、擬似直交相互部分空間法を説明した上で、パターン識別装置の具体的な構成について説明する。
【００３２】
［非線形主成分分析］
対象パターンの分布が複雑で非線形構造を持つ場合、各クラスのパターン分布を他クラスの部分空間と重なりの無いように線形部分空間で表すことは難しい。この場合、非線形主成分分析（Ｋｅｒｎｅｌ  ＰＣＡ）を適用し、パターン分布を非線形部分空間で表し、これを用いて直交化変換等を適用する。
【００３３】
非線形主成分分析は、入力ベクトルのセット｛ｘ｝を非線形写像関数φ（ｘ）により極めて高次元の特徴空間Ｆへ写像し、写像されたベクトルのセット｛φ（ｘ）｝に対して、線形主成分分析を適用する方法である。特徴空間Ｆ上に生成された線形部分空間は、入力空間から見ると非線写像先の空間に生成されているので、「非線形部分空間」と呼ばれる。しかしながら、実体はあくまでも超高次元空間における線形部分空間と見なせる。
【００３４】
カーネル非線形主成分分析のアルゴリズムについて説明する。まずｄ次元ベクトル空間（入力空間Ｉ）のベクトルｘを非線形写像関数φ（ｘ）により、入力空間に比べて遥かに高い次元ｄφの特徴空間Ｆに非線形写像する。これを式に表すと以下のようになる。
【数６】
2010055325.tif 000027
【００３５】
特徴空間Ｆ上の写像に対して、主成分分析を行うためには、ベクトルｘとｙのそれぞれの写像φ（ｘ）と、写像φ（ｙ）の内積を計算する必要がある。しかしながら、特徴空間Ｆ上において、この内積（φ（ｘ）・φ（ｙ））を直接計算することは、ベクトルの次元が極めて高いために計算困難（無限次元空間では不可能）である。ところが、非線形写像φをカーネル関数ｋ（ｘ，ｙ）を介して定義すると、内積（φ（ｘ）・φ（ｙ））は、入力ベクトルｘとｙのみから計算が行える。つまり、（φ（ｘ）・φ（ｙ））＝ｋ（ｘ，ｙ）の関係が成立する。これが「カーネルトリック」と呼ばれる計算技法である。具体的な非線形写像φが存在するためには、関数ｋ（ｘ，ｙ）が対称であり、かつ任意の有限個の点集合に対してカーネル行列（後で定義）が半正定値になるという条件（Ｍｅｒｃｅｒの条件）、及びコーシー・シュワルツ不等式が成立する必要がある。これらの条件を満足する関数はカーネル関数と呼ばれ、例えば多項式関数やガウシアン関数が代表的であり、以下のような関数である。
【数７】
2010055325.tif 000028
2010055325.tif 000029
ここで、ガウシアン関数を適用した場合には、入力ベクトルは無限次元空間へ写像されることになる。
【００３６】
ｍ個のベクトルｘｉ（ｉ＝１，．．．，ｍ）に対するカーネル主成分分析は、何段階かの導出過程を経て、最終的にはカーネル関数を介して得られる以下のｍ×ｍのカーネル行列Ｋの固有値問題に帰着する。
【数８】
2010055325.tif 000030
2010055325.tif 000031
【００３７】
求めるべき非線形部分空間Ｖの第ｉ正規直交基底ベクトルｅｉは、ｍ個のベクトル｛ｘ１，．．．，ｘｍ｝の写像｛φ（ｘ１），．．．，φ（ｘｍ）｝の線形和で表される。即ち、以下の式で表される。
【数９】
2010055325.tif 000032
但し、ａｉｊはカーネル行列Ｋのｉ番目に大きい固有値λｉに対応する固有ベクトルａｉの第ｊ成分である。ここで、ａｉはｅｉが単位ベクトルであるという要請、即ち（ｅｉ・ｅｉ）＝１．０により、λｉ（ａｉ・ａｉ）＝１．０を満足するように基準化されている。
この基底ベクトルｅｉ自体は陽に求めることはできないが、写像φ（ｘ）のｅｉへの射影や、２つの非線形部分空間Ｖ１とＶ２の各基底ベクトルの内積は、次式に表されるように計算可能である。
【数１０】
2010055325.tif 000033
2010055325.tif 000034
2010055325.tif 000035
データセットから生成したカーネル行列の第ｊ番目の固有値に対応する固有ベクトルである。他の基底ベクトルの組み合わせに対しても、同様に内積が求まる。
【００３８】
［写像パターンの擬似直交化変換］
擬似直交化変換は、上述の非線形主成分分析を適用して、非線形擬似直交化変換へと拡張できる。特徴空間Ｆ上で擬似直交化変換を実現するための擬似直交化行列を、カーネル
2010055325.tif 000036
2010055325.tif 000037
【００３９】
以下では、クラス数をｒ、各クラスの学習サンプルをｍ個として説明する。まずクラスｃにおいて、ｍ個の学習パターンに対して非線形主成分分析を適用して、大きい方からｄ
2010055325.tif 000038
のクラスについて、同様にこれらの主成分ベクトルと固有値を求める。即ち、擬似自己相関行列の総和行列は以下のように表される。
【数１１】
2010055325.tif 000039
ここで、この行列の固有値問題はそのままでは解けない。そこで、一旦以下で定義する行列Ｗの固有値問題を解いて、得られた固有値と固有ベクトルから、擬似自己相関行列の総和行列の固有値と固有ベクトルを求める。即ち、
【数１２】
2010055325.tif 000040
但し、行列Ｅは各クラスの全主成分ベクトルをクラス順に列ベクトルとして並べたものである。即ち、
【数１３】
2010055325.tif 000041
ここで、行列Ｅの第ｉ列ベクトルを、Ｅｉ（ｉ＝１〜ｒ×ｄ）と表記する。例えば、Ｅ２
2010055325.tif 000042
【００４０】
行列Ｖは、各クラスの学習パターンセットに対して非線形主成分分析を適用して得られる固有値λを以下のように対角成分として並べ、対角成分以外は零とした（ｒ×ｄ）×（ｒ×ｄ）行列である。即ち、行列Ｖは以下のように表せる。
【数１４】
2010055325.tif 000043
【００４１】
行列ＥＴＥのｉ，ｊ要素（ＥＴＥ）ｉｊは、以下に示すように、基底ベクトル同士の内積計算から求まるので、数１０を用いることで、行列Ｗは具体的に以下のように計算することができる。
【数１５】
2010055325.tif 000044
【００４２】
［カーネル擬似直交化行列の生成］
2010055325.tif 000045
として求まる。また、固有値λｉに対応する固有ベクトルｄｉは、行列Ｗのβｉに対応する第ｉ固有ベクトルｂｉを結合係数としてＥｉの線形和として、次式により求まる。
【数１６】
2010055325.tif 000046
但し、ｂｉｊは固有ベクトルｂｉの第ｊ成分を表している。また、ｂｉは固有ベクトルｄｉが単位ベクトルであるという要請（ｄｉ・ｄｉ）＝１．０により、βｉ（ｂｉ・ｂｉ）＝１．０を満足するように基準化されている。
【００４３】
2010055325.tif 000047
ルｄｉから、以下のように求まる。
【数１７】
2010055325.tif 000048
【００４４】
2010055325.tif 000049
【数１８】
2010055325.tif 000050
【００４５】
さらに上述の数１８は、数９を適用して以下のように変形可能である。
【数１９】
2010055325.tif 000051
2010055325.tif 000052
成分であり、ζ（ｊ）はｊをｄで割った商に１を加えた値であり、η（ｊ）はｊをｄで割った余りである。
【００４６】
2010055325.tif 000053
（ｘ））は、以下で表される。
【数２０】
2010055325.tif 000054
2010055325.tif 000055
【数２１】
2010055325.tif 000056
ここで、数２１において、極端に小さい固有値βまで用いると計算が不安定になる。そこで、すべての固有値を使うのではなく、以下のように途中のｑ（≦ｒ×ｄ）で打ち切っても良い。
【数２２】
2010055325.tif 000057
【００４７】
さらに、上位の成分は各クラスの共通的な成分を反映しているので、識別性能を向上させるために、上記の下位成分の打ち切りと併せて、上位成分の打ち切りを併用することも有効である。
【数２３】
2010055325.tif 000058
【００４８】
［カーネル擬似直交相互部分空間法のアルゴリズム］
カーネル擬似直交化変換されたパターンχ（φ（ｘ））に相互部分空間法を適用すれば、カーネル擬似直交行列に基づく新しいカーネル直交相互部分空間法が構築できる。これをカーネル擬似直交相互部分空間法と呼ぶ。
【００４９】
図１は、カーネル擬似直交相互部分空間法の流れを説明するためのフローチャートであり、図２は、カーネル擬似直交相互部分空間法により擬似直交化変換される概念を説明するための図である。なお、以下では、１つのパターンは１つのベクトルで表現されているという前提で説明する。
【００５０】
2010055325.tif 000059
2010055325.tif 000060
０１）。
【００５１】
2010055325.tif 000061
2010055325.tif 000062
のセットから自己相関行列を求め、この行列の固有ベクトルの内、それに対応する固有値
2010055325.tif 000063
ステップ１０２）。同様に他クラスの辞書部分空間も求める（ステップ１０３）。
【００５２】
2010055325.tif 000064
2010055325.tif 000065
る（ステップ１０４）。
【００５３】
このように、本発明のパターン認識手法において、非線形写像を適用する場合には、主成分分析を行う前に学習パターンを非線形写像する。即ち、辞書部分空間を生成する前に、学習パターンを非線形写像する。また、入力部分空間を生成する前にも、入力パターンを非線形写像する。これにより、複雑なパターン分布であっても適用可能となる。
【００５４】
2010055325.tif 000066
の結果から類似度を計算する（ステップ１０５）。すべての類似度の中で、あるしきい値以上で最も高い類似度に該当するクラス部分空間のクラスを入力パターン分布のクラスに識別する（ステップ１０６）。
【００５５】
なお、これらの計算手順に限らず、先に学習パターンから各非線形クラス部分空間の基底ベクトルを求めておいて、これらの基底ベクトルを擬似直交化変換し、例えば直交化手法の１つであるＧｒａｍ−Ｓｃｈｍｉｄｔの直交化を適用することにより、各クラスの辞書部分空間を生成することも可能である。
【００５６】
図２を参照して上述の非線形写像が擬似直交化変換される概念を説明する。図示のように、入力部分空間の対象パターンの分布が複雑で非線形構造を有している場合、まず入力パターンを非線形写像する。なお、学習パターンであっても同様である。例えば３クラスある場合、各クラスの学習ベクトルのセット｛ｘ｝、｛ｙ｝、｛ｚ｝を非線形写像関数φ（）を用いて高次元の特徴空間Ｆに非線形写像する。その後、写像のセット｛φ（ｘ）｝、｛φ（ｙ）｝、｛φ（ｚ）｝に対して擬似直交化変換を行うことで、各クラスの学習パターンセット間の間隔が広がるような処理が行われる。これにより、識別性能が向上することになる。
【００５７】
以上説明したように、非線形写像を用いることで、複雑な分布に対しても高い識別性能を実現することが可能となる。しかしながら、数２１からも分かる通り、識別を行う際には、入力パターンとすべての学習パターンとの内積計算を行うため、学習パターン数が多くなるにしたがって、計算が困難となる場合がある。そこで、学習パターンが多い場合には、Ｋ−ｍｅａｎｓ法（Ｋ平均法）等のクラスタリング手段により、パターン数を絞り込んだデータセットを用いた上で、非線形写像による直交化を適用することも可能である。
【００５８】
さて、上述のような本発明のカーネル擬似直交部分空間法を、例えば手形状認識装置に適用した場合について、以下に具体的に説明する。本実施例の手形状認識装置は、手形状画像が入力されたときに、カーネル擬似直交相互部分空間法により、その入力された手形状の識別を行うものである。
【００５９】
図３は、手形状認識装置の構成を説明するためのブロック図であり、図４は、手形状認識装置における処理の流れを説明するためのフローチャートである。図３を参照すると、手形状認識装置は、手形状入力部３０１、手形状特徴抽出部３０２、カーネル擬似直交化行列データ格納部３０３、カーネル擬似直交化変換部３０４、入力部分空間生成部３０５、辞書部分空間生成部３０６、辞書部分空間格納部３０７、部分空間間類似度計算部３０８、手形状判定部３０９からなっている。
【００６０】
手形状入力部３０１は、認識対象（入力パターン）とする手形状画像を、例えばカメラを用いて撮像し（ステップ４０１）、画像中から色情報や背景画像との差分等を用いて、手形状パターンを切り出す（ステップ４０２）ものである。但し、このステップは本実施例では必ずしも必須のものではなく、必要により後述のように位置不変特徴を入力画像全体から直接抽出することで代替しても良い。
【００６１】
手形状特徴抽出部３０２は、手形状入力部３０１により入力された手形状パターンに対して２値化処理（ステップ４０３）を行った上で、位置不変量である高次局所自己相関係数（ＨＬＡＣ）を、識別に用いる特徴ベクトルとして抽出する（ステップ４０４）ものである。なお、ＨＬＡＣではなく、カメラによる連続画像に対してＣＨＬＡＣと呼ばれる時間と空間に対する不変特徴ベクトルを抽出するように構成しても良い。この他にも、様々な識別のための特徴ベクトルが、これに続く識別処理で適用可能である。例えば、最も簡単な特徴ベクトルとしては、手形状の濃淡パターンを直接ラスタスキャンすることで得られる特徴ベクトルを用いることが可能である。この場合、Ｔピクセル×Ｔピクセルの濃淡画像は、Ｔ×Ｔ次元ベクトルに変換されることになる。さらに、画像に対してフーリエ変換を施して得られる周波数の振幅特性や、ＳＨＩＦＴ、ＨＯＧ等の局所不変特徴も利用可能である。
【００６２】
カーネル擬似直交化行列データ格納部３０３は、上述の［カーネル擬似直交化行列の生成］の項で述べたように、複数のクラスの学習セットからカーネル擬似直交化行列の計算を行うためのデータセットを保持するものである。即ち、複数の識別クラスにそれぞれ属する複数の学習パターンを主成分分析することにより得られる、複数の上位の主成分ベクトルとそれらに対応する固有値を用いて、各識別クラスのパターン分布同士を直交状態に近づける擬似直交化変換を行うためのデータセットを生成し格納する。
【００６３】
カーネル擬似直交化変換部３０４は、まず上述の［写像パターンの擬似直交化変換］で述べた変換を各入力パターンの非線形写像に対して行う。予め規定された本数の特徴ベクトルが獲得されたら（ステップ４０５）、そのベクトルに対して、カーネル擬似直交化行列データ格納部３０３に格納されるデータセットを用いてカーネル擬似直交化行列による変換を行う（ステップ４０６）。
【００６４】
入力部分空間生成部３０５は、カーネル擬似直交化変換部３０４を用いて、変換されたベクトルに対してＫＬ展開（主成分分析）により入力部分空間を求める（ステップ４０７）ものである。
【００６５】
辞書部分空間生成部３０６は、Ｒクラスの学習ベクトルに対して、カーネル擬似直交化変換部３０４を用いて擬似直交化変換を行い、変換された学習ベクトルに対してＫＬ展開（主成分分析）を行い、辞書部分空間を生成する。
【００６６】
辞書部分空間格納部３０７は、辞書部分空間生成部３０６で生成されたＲクラスの辞書部分空間が格納されている。１個の辞書部分空間は、１つの手形状の見え方を表す。
【００６７】
部分空間間類似度計算部３０８は、Ｒ個の辞書部分空間と入力部分空間との類似度を、相互部分空間法によりＲ個算出する（ステップ４０８）。
【００６８】
ここで、入力部分空間生成部３０５において生成されたＮ次元入力部分空間をＡとし、同様に辞書部分空間生成部３０６で生成されたＭ次元辞書部分空間をＢとする。便宜上、Ｎ≦Ｍとすると、２つの部分空間に対して正準角と呼ばれるＮ個の角度が求まる。ＡとＢとの類似度Ｓは、これらの正準角θｉを用いて次式により決定される。
【数２４】
2010055325.tif 000067
但し、Ｎ'はＮ以下の値である。
ここで、ｃｏｓ２θｉは、以下の行列Ｘの固有値λの中で第ｉ番目に大きい固有値λｉとして求まる。
【数２５】
2010055325.tif 000068
但し、φｉとψｉは、部分空間ＡとＢの第ｉ正規直交基底ベクトル、（φｍ・ψｌ）、（ψｌ・φｎ）は、それぞれφｍとψｌ、ψｌとφｎの内積を表す。
【００６９】
手形状判定部３０９は、部分空間間類似度計算部３０８で算出されたＲ個の類似度の中でも最も高く、その値が予め設定されたしきい値より大きい場合（ステップ４０９）、その類似度が算出された辞書部分空間に対応する手形状を、入力された手形状が属する手形状クラスとして出力する（ステップ４１０）。それ以外の場合には、辞書部分空間格納部３０７に登録されていない手形状クラスであると出力する（ステップ４１１）。このような過程を経て手形状の認識を終了する。
【００７０】
図５を用いて、辞書部分空間と入力部分空間の類似度の判定の概念を説明する。図５は、辞書部分空間の個数Ｒが３個の場合の手形状判定の概念を説明するための図である。例えば、辞書部分空間には手形状として「グー」（５０３）、「チョキ」（５０４）、「パー」（５０５）の３個ある。また、入力部分空間にはカメラ等で撮像された入力パターン５０２がある。これら辞書部部分空間５０３、５０４、５０５及び入力部分空間５０２が、特徴空間Ｆ（５０１）へ写像された状態を表している。そして、特徴空間Ｆ（５０１）上における入力部分空間５０２と辞書部分空間５０３〜５０５との各類似度５０６〜５０８を求め、この大小関係に基づいて手形状の判定が行われる。
【００７１】
なお、本発明のパターン認識装置及びパターン識別方法は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、本発明のパターン識別装置及びパターン識別方法は、手形状に限らず、顔画像等、他の物体認識や文字、音声等の様々なメディア認識、さらには、データマイニング等に用いることも可能である。また、それぞれの入力情報に応じた特徴抽出を行った上で、本発明のパターン識別手法を適用しても良い。さらに、上述の実施例における構成・処理の一部又は全部は、コンピュータ用のプログラムで実現されていても構わず、コンピュータにこれらの処理を行わせるプログラムであっても良い。
【図面の簡単な説明】
【００７２】
【図１】図１は、本発明のパターン認識手法のカーネル擬似直交相互部分空間法の流れを説明するためのフローチャートである。
【図２】図２は、本発明のパターン認識手法のカーネル擬似直交相互部分空間法により擬似直交化変換される概念を説明するための図である。
【図３】図３は、本発明のパターン認識手法を用いた手形状認識装置の構成を説明するためのブロック図である。
【図４】図４は、本発明のパターン認識手法を用いた手形状認識装置における処理の流れを説明するためのフローチャートである。
【図５】図５は、辞書部分空間の個数Ｒが３個の場合の手形状判定の概念を説明するための図である。
【符号の説明】
【００７３】
３０１    手形状入力部
３０２    手形状特徴抽出部
３０３    カーネル擬似直交化行列データ格納部
３０４    カーネル擬似直交化変換部
３０５    入力部分空間生成部
３０６    辞書部分空間生成部
３０７    辞書部分空間格納部
３０８    部分空間間類似度計算部
３０９    手形状判定部
【図１】
2010055325.tif 000075
【図２】
2010055325.tif 000076
【図３】
2010055325.tif 000077
【図４】
2010055325.tif 000078
【図５】
2010055325.tif 000079