(57)【要約】【課題】認識するカテゴリ間の部分空間同士の角度を広げる場合に、同時に同一カテゴリに属する部分空間の間の角度も広げてしまうという問題があった。【解決手段】２つのパターンの集合の類似性をパターンの集合から主成分分析により生成した線型部分空間同士の角度で定義する手法において、カテゴリ間の差とカテゴリ内の変動を測る基準に部分空間同士の角度を用い、カテゴリ間の差の強調とカテゴリ内の変動の抑制を同時に行う手法を提供する。【選択図】図２
2010238149.tif 000002
【特許請求の範囲】
【請求項１】
複数の部分空間と前記複数の部分空間の各々が属するカテゴリとを取得する取得部と、
前記部分空間から射影行列を生成する射影行列生成部と、
前記カテゴリのうち同じカテゴリに属する部分空間を複数用いて、カテゴリ内変動行列を生成するカテゴリ内変動行列生成部と、
前記カテゴリのうち異なるカテゴリに属する部分空間を複数用いて、カテゴリ間変動行列を生成するカテゴリ内変動行列生成部と、
前記カテゴリ内変動行列と前記カテゴリ間変動行列とから定義される固有値問題から得られる固有値と固有ベクトルとを計算する固有値問題計算部と、
前記固有値と前記固有ベクトルとから特徴抽出で使用される特徴抽出行列を計算する特徴抽出計算部と、
を備え、
前記カテゴリ内変動行列は、前記同じカテゴリに属する部分空間から前記射影行列生成部により生成された射影行列の積の線型和により計算され、
前記カテゴリ間変動行列は、前記異なるカテゴリに属する部分空間から前記射影行列生成部により生成された射影行列の積の線型和により計算されることを特徴とする特徴抽出装置。
【請求項２】
前記固有値問題では、前記カテゴリ内変動行列と前記カテゴリ間変動行列との差の行列の固有値と固有ベクトルとを求めることを特徴とする請求項１の特徴抽出装置。
【請求項３】
前記固有値問題では、前記カテゴリ間変動行列の逆行列を左から又は右から前記カテゴリ内変動行列に掛けた積の行列の固有値と固有ベクトルとを求めることを特徴とする請求項１の特徴抽出装置。
【請求項４】
前記固有値問題では、以下の式で表される前記カテゴリ内変動行列と前記カテゴリ間変動行列とで定義される一般化固有値問題から得られる固有値と固有ベクトルとを求めることを特徴とする請求項１の特徴抽出装置。
【数１】
2010238149.tif 000023
（式中、Ｂはカテゴリ間変動行列、Ｗはカテゴリ内変動行列、λは一般化固有値問題の固有値、νはその固有ベクトルである。）
【請求項５】
前記特徴抽出計算部で計算される特徴抽出行列が、前記固有値の大きい順にＮ個選んだ前記固有ベクトルを基底とする空間への線型写像となる行列であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の特徴抽出装置。
【請求項６】
前記特徴抽出計算部で計算される特徴抽出行列が、前記固有値の大きい順にＮ個選んだ又は全ての固有ベクトルを基底とする空間への線型写像となる行列であり、
前記固有ベクトルの大きさが、対応する固有値の絶対値の平方根の逆数である固有ベクトルであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の特徴抽出装置。
【請求項７】
１つ以上の入力パターンから複数の特徴ベクトルを生成する特徴ベクトル生成部と、
前記複数の特徴ベクトルから部分空間を生成する部分空間生成部と、
前記部分空間に対して請求項１乃至請求項６のいずれか１項に記載の特徴抽出装置から求めた特徴抽出行列による線型変換を行う特徴抽出部と、
前記１つ以上のパターンに対して、予め前記特徴ベクトル生成部と前記部分空間生成部と前記特徴抽出部を用いて得られた辞書部分空間をカテゴリごとに格納する辞書部分空間格納部と、
前記特徴抽出部で得られた部分空間と前記辞書部分空間格納部に格納された各カテゴリの辞書部分空間との類似度を計算する類似度計算部と、
前記各カテゴリとの類似度から前記入力パターンの属するカテゴリを判定する判定部と、
を備えることを特徴とするパターン認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴抽出装置及びパターン認識装置に関する。
【背景技術】
【０００２】
特許文献１及び非特許文献１に示す顔認識等の分野で使われているパターン認識手法では、認識するカテゴリ間の差を強調する処理を施すことで、認識性能を向上させている。この手法では、２つのパターンの集合の類似性をパターンの集合から主成分分析により生成した線型部分空間同士の角度で定義している。そのため、カテゴリ間の差は認識するカテゴリ間の部分空間同士の角度で測っており、これらの角度を広げる線型変換によってカテゴリ間の差を強調する処理を行う。
【０００３】
一方、非特許文献２に示す線型判別分析では、カテゴリ間の差を強調するだけでなく、カテゴリ内の変動を抑える射影により、認識性能を向上させている。この手法では、カテゴリ間の差及びカテゴリ内の変動はパターン間のベクトル空間上の距離で測っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２２１４７９号公報
【非特許文献】
【０００５】
【非特許文献１】Tomokazu Kawahara, Masashi Nishiyama, Tatsuo Kozakaya, Osamu Yamaguchi,: “Face Recognition based on Whitening transformation of Distribution of Subspaces,” Subspace2007 (8th Asian Conference on Computer Vision Workshop) pp. 97-103
【非特許文献２】“パターン識別”、Richard O. Duda, Peter E. Hart, David G. Stork著、尾上守夫監訳、新技術コミュニケーションズ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１及び非特許文献１に示す手法では、部分空間の間の角度を基準として使用しているが、カテゴリ間の差のみを強調し、カテゴリ内の変動を抑える処理が全くないため、認識するカテゴリ間の部分空間同士の角度を広げる際、同時に同一カテゴリに属する部分空間の間の角度も広げてしまうという問題があった。
【０００７】
また、カテゴリ間の差の強調とカテゴリ内の変動の抑制を同時に行う非特許文献２に示す手法は、カテゴリ間の差及びカテゴリ内の変動を測る基準が部分空間の間の角度ではなく、パターンの間のベクトル空間上の距離であるため、２つのパターンの集合の類似性をパターンの集合から主成分分析により生成した線型部分空間同士の角度で定義する手法では基準が異なり、使用することができなかった。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、異なるカテゴリの部分空間同士の角度を広げつつ、同じカテゴリに属する部分空間の間の角度は狭めることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の特徴抽出装置は、複数の部分空間と前記複数の部分空間の各々が属するカテゴリとを取得する取得部と、前記部分空間から射影行列を生成する射影行列生成部と、前記カテゴリのうち同じカテゴリに属する部分空間を複数用いて、カテゴリ内変動行列を生成するカテゴリ内変動行列生成部と、前記カテゴリのうち異なるカテゴリに属する部分空間を複数用いて、カテゴリ間変動行列を生成するカテゴリ内変動行列生成部と、前記カテゴリ内変動行列と前記カテゴリ間変動行列とから定義される固有値問題から得られる固有値と固有ベクトルとを計算する固有値問題計算部と、前記固有値と前記固有ベクトルとから特徴抽出で使用される特徴抽出行列を計算する特徴抽出計算部と、を備え、前記カテゴリ内変動行列は、前記同じカテゴリに属する部分空間から前記射影行列生成部により生成された射影行列の積の線型和により計算され、前記カテゴリ間変動行列は、前記異なるカテゴリに属する部分空間から前記射影行列生成部により生成された射影行列の積の線型和により計算されることを特徴とする。
【発明の効果】
【００１０】
異なるカテゴリの部分空間同士の角度を広げつつ、同じカテゴリに属する部分空間の間の角度は狭めることができるため、認識性能を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】パターン認識装置の構成図である。
【図２】特徴抽出部の構成図である。
【図３】パターン認識部の構成図である。
【図４】特徴抽出部の動作を表したフローチャートを示す図である。
【図５】パターン認識部の動作を表したフローチャートを示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態に係る特徴抽出装置及びパターン認識装置は、画像をはじめ、音声など、特徴量をベクトルとして扱う様々な分野のパターン認識に適用可能である。以下、本発明の実施形態について、図１、図２及び図３を用いて説明する。
【００１３】
図１は、本発明の実施形態に係るパターン認識装置１０の構成図である。パターン認識装置１０は、パターン、特徴ベクトル又は特徴抽出行列などのデータを取得する取得部１０１と、制御部１０２と、演算結果を出力する出力部１０３と、取得部１０１で取得したデータなどを記憶する記憶部１０４と、を備える。制御部１０２はまた、特徴抽出部１０５と、パターン認識部１０６と、を有する。
【００１４】
図２は、特徴抽出部１０５の構成図である。特徴抽出部１０５は、学習用パターン取得部２０１と、特徴ベクトル生成部２０２と、学習用部分空間生成部２０３と、射影行列生成部２０４と、カテゴリ内変動行列生成部２０５と、カテゴリ間変動行列生成部２０６と、固有値問題計算部２０７と、特徴抽出行列出力部２０８と、を備える。特徴抽出部１０５は、特徴抽出装置として機能する。
【００１５】
図３は、パターン認識部１０６の構成図である。パターン認識部１０６は、パターン取得部３０１と、特徴ベクトル生成部３０２と、部分空間生成部３０３と、特徴抽出適用部３０４と、類似度計算部３０５と、判定部３０６と、を備える。
【００１６】
図４は、特徴抽出部１０５の動作を表したフローチャートを示す図である。
【００１７】
ステップＳ２０１では、学習用パターン取得部２０１は、取得部１０１で取得した認識対象となるパターンとそのパターンが属するカテゴリを記憶部１０４に送り、記憶部１０４に記憶させる。入力されるパターン及びカテゴリは、予めハードディスクやメモリカードなどの記憶媒体に記憶されたものや、パターンが画像の場合は、例えばパソコンに接続したカメラなどで実現できる。パターンが音声の場合は、例えばパソコンに接続したマイクなどで実現できる。
【００１８】
ステップＳ２０２では、特徴ベクトル生成部２０２は、記憶部１０４に記憶された１つ以上のパターンを処理することによって、１つ以上の特徴ベクトルを生成し、記憶部１０４に記憶させる。以下、この処理によって生成されたベクトルを「特徴ベクトル」と呼ぶ。入力されたパターンが画像の場合は、例えば、ラスタスキャンによりベクトルに変換する。入力されたパターンが音声の場合は、例えば、一定時間内の音声の周波数成分を並べたベクトルを使用する。
【００１９】
ステップＳ２０３では、学習用部分空間生成部２０３は、記憶部１０４に記憶されているカテゴリ情報に基づいて、同じカテゴリに属する１つ以上の特徴ベクトルから、以下の計算を行うことで得られる部分空間の基底を計算し、記憶部１０４に記憶させる。特徴ベクトルが１つの場合は、そのベクトルの長さを１に正規化し、特徴抽出部１０５へ出力する。複数の場合は、非特許文献１の方法で、部分空間の基底を計算し、特徴抽出部１０５へ出力する。非特許文献１の方法は、複数の特徴ベクトルをｘ１…ｘｎとしたとき、（数式１）で定義される自己相関行列を計算し、予め定めた数だけ固有値の大きい固有ベクトルを選び部分空間の基底とする。ただし、ｘＴはベクトルｘの転置である。
【数１】
2010238149.tif 000003
【００２０】
以下、この処理によって生成された部分空間の基底を学習用部分空間の基底と呼ぶ。また、この基底が属するカテゴリは、生成に使用した特徴ベクトルが属するカテゴリと同じものとする。
【００２１】
ステップＳ２０４では、射影行列生成部２０４は、学習用部分空間の基底から射影行列を生成する。
【００２２】
ステップＳ２０５では、カテゴリ内変動行列生成部２０５は、記憶部１０４に記憶されている学習用部分空間の基底とその基底が属するカテゴリを用いて、以下に定義及び計算方法を記述するカテゴリ内変動行列Ｗ（数式１０）を計算する。また、カテゴリ内変動行列生成部２０５は、計算結果を記憶部１０４に記憶させる。
【００２３】
まず、記号を設定する。特徴空間の次元をＣ、カテゴリ数をＮ、学習用部分空間の次元を ｄ、各カテゴリｉ（ｉ＝１,…,Ｎ）に属するＬｉ個の部分空間をＶｉ1，…，ＶｉＬｉ、各部分空間への射影行列をＰｉ1，…，ＰｉＬｉとする。ただし、正規直交基底Ψ１…Ψｄで張られる部分空間への射影行列Ｐを（数式２）と定義する。
【数２】
2010238149.tif 000004
【００２４】
次に各カテゴリｉの平均部分空間Ｍｉを定義する。（数式３）で定義される行列の固有ベクトルをφi１，…，φiＣ、対応する固有値をμi１≧…≧μiＣとすると、固有値が大きいｄ’の固有ベクトルφi１，…，φiｄ’を基底とする部分空間を各カテゴリｉのｄ’次元平均部分空間Ｍｉと定義する。平均部分空間Ｍｉの次元ｄ’は、実験により適切な値を求めてもよい。また、学習用部分空間の次元と同じｄにしてもよい。
【数３】
2010238149.tif 000005
【００２５】
ここで、各カテゴリｉの平均部分空間Ｍｉについて説明する。各カテゴリｉの平均部分空間Ｍｉの定義は、平均ベクトルを角度に基づいて拡張したものである。まず、平均ベクトルを特徴付ける性質について述べる。ｎ個のベクトルｘ1…ｘｎの平均ベクトルｘ−（ｘバー）＝ｘ１＋…＋ｘｎ／ｎは、各ベクトルからの距離の２乗和が最小となるベクトルと特徴付けられる。すなわち、平均ベクトルｘ−（ｘバー）は、以下の ベクトルｘに関する関数（数式４）の最小値を与えるベクトルである。ただし、||○||は特徴空間のノルムとする。
【数４】
2010238149.tif 000006
【００２６】
次に、２つの部分空間の間の角度とその射影行列の積との関係について述べる。２つのｄ次元部分空間をＶ１’、 Ｖ２’、その射影行列をＱ１’、 Ｑ２’、部分空間Ｖ１’、 Ｖ２’の間のｄ個の正準角をθ（１），…，θ（ｄ）、ｔｒ を行列のトレースとすると、行列と正準角の間で（数式５）が成り立つ。すなわち、２つの部分空間の間に定義される複数の正準各の余弦の２乗和が射影行列の積のトレースによって計算できる。正準角の定義及び（数式５）の導出等は非特許文献１に詳しい。（数式５）の値は大きいほど部分空間Ｖ１’、 Ｖ２’は近くなる。
【数５】
2010238149.tif 000007
【００２７】
（数式４）の最小化問題を正準角に基づく距離（数式５）に書き換える。（数式４）のベクトルを部分空間に、特徴空間の距離を正準角に基づいた距離（数式５）に変えると、（数式６）を最大化するｄ’次元部分空間Ｖ’を求める問題となる。ただし、ｎ個の部分空間をＶ１，…，Ｖｎ、その射影行列をＱ1，…，Ｑｎ、ｄ’次元部分空間Ｖ’への射影行列をＱとする。
【数６】
2010238149.tif 000008
【００２８】
最大化問題を解くために、（数式６）を以下の（数式７）のように変形する。ただし、Φ及びΔはそれぞれ、ΣＱｐ（ｐ＝１からｐ＝ｎまでの和）の固有ベクトルを並べた行列、対角線上に固有値を並べた対角行列で、Ｘはｄ’次元部分空間Ｖ’の正規直交基底を並べた行列である。
【数７】
2010238149.tif 000009
【００２９】
（数式７）は、ΦΔΦＴが定める２次形式の問題となるため、ＸにΣＱｐ（ｐ＝１からｐ＝ｎまでの和）＝ΦΔΦＴの固有ベクトルのうち、固有値の大きいｄ’個を代入したとき、最大となる。これは、前記定義した部分空間Ｖ１，…，Ｖｎの平均部分空間が（数式６）の値を最大にする部分空間であることを示している。
【００３０】
さて、カテゴリｉの平均部分空間Ｍｉを使い、カテゴリｉのカテゴリ内変動行列Ｗｉを（数式８）で定義する。ただし、Ｐｉは平均部分空間Ｍｉの射影行列とする。
【数８】
2010238149.tif 000010
【００３１】
カテゴリｉのカテゴリ内変動行列Ｗｉ（数式８）と部分空間の角度の関係について説明する。（数式８）に（数式５）を適用することで、（数式９）が得られる。ただし、θｉｋ（１），…，θｉｋ（ｄ）は部分空間Ｍｉ、Ｖｉｋの間のｄ個の正準角とする。
【数９】
2010238149.tif 000011
【００３２】
これにより、カテゴリｉのカテゴリ内変動行列Ｗｉ（数式８）のトレースはカテゴリｉに属する学習用部分空間とその平均部分空間の間の正準角の余弦の２乗の平均となる。
【００３３】
カテゴリ内変動行列Ｗを、各カテゴリｉのカテゴリ内変動行列Ｗｉの平均として以下のように定義する。
【数１０】
2010238149.tif 000012
【００３４】
ステップＳ２０６では、カテゴリ間変動行列生成部２０６は、記憶部１０４に記憶されている学習用部分空間の基底とその基底が属するカテゴリを用いて、以下に定義及び計算方法を記述するカテゴリ間変動行列Ｂ（数式１１）を計算する。また、カテゴリ間変動行列生成部２０６は、その計算結果を記憶部１０４に記憶させる。カテゴリ間変動行列は、各カテゴリｉの平均部分空間Ｍｉの射影行列Ｐｉを使い、以下の（数式１１）で定義する。
【数１１】
2010238149.tif 000013
【００３５】
（数式１１）の右辺は、Ｐｉ２＝Ｐｉを使い、式変形することで得られる。カテゴリ間変動行列Ｂ（数式１１）と部分空間の角度の関係について説明する。（数式１１）に（数式５）を適用することで、（数式１２）が得られる。ただし、θｉｋ（１），…，θｉｋ（ｄ）は部分空間Ｍｉ、Ｖ１ｋの間のｄ個の正準角とする。
【数１２】
2010238149.tif 000014
【００３６】
ただし、τｉｋ（１），…，τｉｋ（ｄ’）はカテゴリｉの平均部分空間Ｍｉとカテゴリｊの平均部分空間Ｍｊの間のｄ’個の正準角とする。これにより、カテゴリ間変動行列Ｂ（数式１１）のトレースは、各カテゴリの平均部分空間同士の正準角の余弦の２乗の平均となる。
【００３７】
ステップＳ２０７では、固有値問題計算部２０７は、記憶部１０４に記憶されたカテゴリ内変動行列Ｗとカテゴリ間変動行列Ｂから、以下の行列（数式１３）の固有値と固有ベクトルを計算する。また、固有値問題計算部２０７は、記憶部１０４に固有値と固有ベクトルを記憶させる。ただし、αは、実験により求める重み係数とする。Λは（数式１３）の左辺の行列の固有値を対角線上に並べた対角行列、Ｈはその固有ベクトルを並べた行列とする。
【数１３】
2010238149.tif 000015
【００３８】
（数式１３）の行列と部分空間の角度の関係について説明する。（数式１３）の行列のトレースは、（数式９）及び（数式１２）から、各カテゴリに属する学習用部分空間とその平均部分空間の間の正準角の余弦の２乗の平均から各カテゴリの平均部分空間同士の正準角の余弦の２乗の平均を重み付けして引いたものとなる。これにより、（数式１３）の行列の固有値は、対応する固有ベクトル方向の、角度を基準とした、各カテゴリ内の変動成分からカテゴリ間の差の成分を引いた値となる。
【００３９】
ステップＳ２０８では、特徴抽出行列出力部２０８は、記憶部１０４に記憶された固有値問題計算部２０７で得られた固有ベクトルのうち、固有値の大きい方からＤ個から以下に定義する行列ＨＤＴを計算する。また、特徴抽出行列出力部２０８は、その計算結果を記憶部１０４に記憶させるか又は出力部１０３に送る。ただし、ＨＤは、固有値の大きい方からＤ個選んだ（数式１３）の固有ベクトルν１，…，νＤ（縦ベクトル）を使い（数式１４）のように定義する。またＴは行列の転置を表す。固有ベクトルの数Ｄは実験等により定める。
【数１４】
2010238149.tif 000016
【００４０】
図５は、パターン認識部１０６の動作を表したフローチャートを示す図である。
【００４１】
ステップＳ３０１では、パターン取得部３０１は、取得部１０１で取得した認識対象となるパターンを記憶部１０４に記憶させる。取得するパターンは、予めハードディスクやメモリカードなどの記憶媒体に記憶されたものや、パターンが画像の場合は、例えばパソコンに接続したカメラなどで実現できる。パターンが音声の場合は、例えばパソコンに接続したマイクなどで実現できる。
【００４２】
ステップＳ３０２では、特徴ベクトル生成部３０２は、特徴ベクトル生成部２０２と同様の処理を行う。
【００４３】
ステップＳ３０３では、部分空間生成部３０３は、記憶部１０４に記憶された１つ以上の特徴ベクトルから、学習用部分空間生成部２０３と同様の処理を行い、計算した部分空間の基底を記憶部１０４に記憶させる。
【００４４】
ステップＳ３０４では、特徴抽出適用部３０４は、記憶部１０４に記憶された特徴抽出行列と部分空間生成部３０３で得られた部分空間の基底に対して、特徴抽出行列による掛け算を施した後、Ｇｒａｍ−Ｓｃｈｍｉｄｔ直交化を施し、得られた部分空間の基底を記憶部１０４に記憶させる。記憶部１０４に記憶された特徴抽出行列は、異なる装置から出力されたものを取得部１０１で取得し、記憶部１０４に送り、記憶したものを使用しても良い。また、予めハードディスクやメモリカードなどの記憶媒体に記憶されたものを取得部１０１から記憶部１０４へ送ったものでも良い。以下、この処理で得られた部分空間を取得部分空間と呼ぶ。
【００４５】
ステップＳ３０５では、類似度計算部３０５は、記憶部１０４に記憶された取得部分空間と、予め認識対象のカテゴリのパターンに対して、パターン取得部３０１、特徴ベクトル生成部３０２、部分空間生成部３０３、特徴抽出適用部３０４で行われる処理を行う。また、類似度計算部３０５は、生成した部分空間の基底（以下、この部分空間を「辞書部分空間」と呼ぶ）から、以下に定義する類似度を計算し、その計算結果を記憶部１０４に記憶させる。記憶部１０４に記憶された辞書部分空間の基底は、予めハードディスクやメモリカードなどの記憶媒体に記憶されたものを取得部１０１から記憶部１０４へ送ったものでも良い。
【００４６】
類似度は、非特許文献１にある方法を用いて計算することができる。すなわち、取得部分空間と辞書部分空間のなす角θ１の余弦の２乗ｃｏｓ２θ１を類似度とし、このｃｏｓ２θ１を以下のように計算する。取得部分空間と辞書部分空間の正規直交基底をそれぞれφ１，…，φＭ、Ψ１，…，ΨＮとし、（数式１５）のｘｉｊを成分に持つＭ×Ｍ行列Ｘ＝（ｘｉｊ）について、
【数１５】
2010238149.tif 000017
【００４７】
Ｘの固有値をλ１，…，λＭ（λ１≧…≧λＭ）とすると、最大固有値λ１が求める類似度となる（数式１６）。
【数１６】
2010238149.tif 000018
【００４８】
ステップ３０６では、判定部３０６は、記憶部１０４に記憶された類似度に基づいて、登録されたカテゴリの中で最も類似度が高く、その値が予め設定された閾値より大きい場合、そのカテゴリを入力されたパターンの属するカテゴリとして、それ以外の場合は該当するカテゴリなしと判定する。また、判定部３０６は、その判定結果を出力部１０３に出力する。
【００４９】
（変形例１）
特徴抽出行列出力部２０８は、特徴抽出行列をΛＤ−１／２ＨＤＴとして出力してもよい。ただし、ΛＤ−１／２は、固有値を大きい方からＤ個選び、各固有値の平方根の逆数を対角線上に並べた対角行列である。このとき、固有値の大きい方からＤ個選ぶのではなく、すべての固有値と固有ベクトルを使用してもよい。以後、この変換を白色化変換と呼ぶ。
【００５０】
（変形例２）
カテゴリ内変動行列生成部２０５で得られる各カテゴリｉのカテゴリ内変動行列Ｗｉとカテゴリ間変動行列生成部２０６で得られるカテゴリ間変動行列Ｂとして、各カテゴリｉの平均部分空間Ｍｉを使わずに定義する以下のものを用いてもよい。具体的には、各カテゴリｉのカテゴリ内変動行列を以下で定義ｆするＷｉ〜（数式１７）に、カテゴリ間変動行列をＢ〜（数式１８）に変えても良い。
【数１７】
2010238149.tif 000019
【数１８】
2010238149.tif 000020
【００５１】
また、このとき、特徴抽出行列出力部２０８で、出力する特徴抽出行列を（変形例１）のようにしても良い。
【００５２】
（変形例３）
固有値問題計算部２０７で、（数式１３）の行列の代わりに以下の行列（数式１９）の固有値問題を解き、その固有値及び固有ベクトルを用いて特徴抽出行列出力部２０８で出力する特徴抽出行列を生成してもよい。また、このとき、特徴抽出行列として、（変形例１）の特徴抽出行列を使用してもよい。また、各カテゴリｉのカテゴリ内変動行列Ｗｉとカテゴリ間変動行列Ｂをそれぞれ（変形例２）のＷｉ〜とＢ〜ものを用いても良い。
【数１９】
2010238149.tif 000021
【００５３】
（変形例４）
固有値問題計算部２０７で、（数式１３）の固有値問題を解く代わりに、以下の一般化固有値問題（数式２０）を解き、その固有値及び固有ベクトルを用いて特徴抽出行列出力部２０８で出力する特徴抽出行列を生成してもよい。
【数２０】
2010238149.tif 000022
【００５４】
ただし、λは一般化固有値問題の固有値、νはその固有ベクトルとする。また、このとき、特徴抽出行列として、（変形例１）の特徴抽出行列を使用してもよい。また、各カテゴリｉのカテゴリ内変動行列Ｗｉとカテゴリ間変動行列Ｂをそれぞれ（変形例２）のＷｉ〜とＢ〜ものを用いても良い。
【００５５】
（変形例５）
特徴抽出部１０５では、特徴抽出行列を複数生成してもよい。複数生成する方法は、学習用パターン取得部２０１で取得する学習用パターンをいくつかのグループに分割し、それぞれのグループでステップＳ２０１〜ステップＳ２０７の処理を行えばよい。学習用パターンをいくつかのグループに分ける方法は、予めパターンの変動が分かっている場合には変動ごとに分ければよい。またランダムにサンプリングしてもよい。
【００５６】
特徴抽出行列が複数ある場合には、特徴抽出行列毎に特徴抽出適用部３０４及び類似度計算部３０５で処理を行い、各処理で得られた類似度を重み付け加算して判定部３０６へ出力する。重みは実験により求める。また、重み付け加算の代わりに平均を用いても良い。
【図１】
2010238149.tif 000024
【図２】
2010238149.tif 000025
【図３】
2010238149.tif 000026
【図４】
2010238149.tif 000027
【図５】
2010238149.tif 000028