(57)【要約】【課題】誤識別が起こり得る類似クラスに対してのみピンポイントで適用可能な画像パターン識別装置を提供する。【解決手段】画像パターン識別装置は、入力部分空間生成部１０と辞書部分空間生成部２０と類似クラス選別部３０と入力差分部分空間生成部４０と特徴量生成部５０と辞書差分部分空間生成部６０と類似度演算部７０と出力部８０とを具備する。入力差分部分空間生成部４０は、入力差分部分空間Ｙｉ，Ｙｊをそれぞれ生成する。特徴量生成部５０は、特徴量Ｙｃｉ，Ｙｃｊをそれぞれ生成する。辞書差分部分空間生成部６０は、辞書差分部分空間ＤＰｉＰｊを生成する。類似度演算部７０は、各入力差分部分空間の特徴量Ｙｃｉ，Ｙｃｊと、辞書差分部分空間ＤＰｉＰｊとの相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を、相互部分空間法によりそれぞれ演算する。【選択図】図１
2012022540.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像パターンを複数の辞書パターンを用いて識別する画像パターン識別装置であって、該画像パターン識別装置は、
入力される画像パターンに対してＫＬ展開（主成分分析）を行い、入力部分空間Ｘを生成する入力部分空間生成部と、
複数の辞書パターンに対してそれぞれＫＬ展開（主成分分析）を行い、辞書部分空間Ｐｎを生成する辞書部分空間生成部と、
入力部分空間Ｘに類似する辞書部分空間Ｐｎが少なくとも２つある場合に、その２つの辞書部分空間Ｐｉ，Ｐｊを出力する類似クラス選別部と、
辞書部分空間Ｐｉ，Ｐｊと、入力部分空間生成部による入力部分空間Ｘとの差分である入力差分部分空間Ｙｉ，Ｙｊをそれぞれ生成する入力差分部分空間生成部と、
入力差分部分空間Ｙｉ，Ｙｊを、辞書部分空間Ｐｉ，Ｐｊの直交補空間にそれぞれ射影し、特徴量Ｙｃｉ，Ｙｃｊをそれぞれ生成する特徴量生成部と、
辞書部分空間Ｐｉ，Ｐｊの差分である辞書差分部分空間ＤＰｉＰｊを生成する辞書差分部分空間生成部と、
各入力差分部分空間の特徴量Ｙｃｉ，Ｙｃｊと、辞書差分部分空間ＤＰｉＰｊとの相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を、相互部分空間法によりそれぞれ演算する類似度演算部と、
相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の小さいほうに対応する辞書パターンのクラスを識別結果として出力する出力部と、
を具備することを特徴とする画像パターン識別装置。
【請求項２】
請求項１に記載の画像パターン識別装置において、
類似クラス選別部は、入力部分空間Ｘに類似する辞書パターンが３つ以上ある場合に、２つずつ辞書パターンのペアについてそれぞれ選別し、
類似度演算部は、各ペアについて相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を演算し、
出力部は、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の大きいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力する、
ことを特徴とする画像パターン識別装置。
【請求項３】
請求項１に記載の画像パターン識別装置であって、さらに、入力部分空間Ｘと辞書部分空間Ｐｉ，Ｐｊとの類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）を、相互部分空間法によりそれぞれ演算し、類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）と、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）との差分に基づく類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）を演算する第２類似度演算部を具備し、
出力部は、類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）の大きいほうに対応する辞書パターンのクラスを識別結果として出力する、
ことを特徴とする画像パターン識別装置。
【請求項４】
請求項３に記載の画像パターン識別装置において、
類似クラス選別部は、入力部分空間Ｘに類似する辞書パターンが３つ以上ある場合に、２つずつ辞書パターンのペアについてそれぞれ選別し、
第２類似度演算部は、各ペアについて類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）を演算し、
出力部は、類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）の小さいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力する、
ことを特徴とする画像パターン識別装置。
【請求項５】
請求項１乃至請求項４の何れかに記載の画像パターン識別装置において、類似クラス選別部は、相互部分空間法又は制約相互部分空間法により、入力部分空間Ｘに対して類似度が近接する辞書部分空間を抽出することを特徴とする画像パターン識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像パターン識別装置に関し、特に、入力される画像パターンを複数の辞書パターンを用いて識別する画像パターン識別装置に関する。
【背景技術】
【０００２】
入力される画像パターンを識別する手法として、これまでも種々のものが研究開発されている。例えば、特許文献１に開示のものは、所謂相互部分空間法（ＭＳＭ）といわれているものである。相互部分空間法においては、各クラスのパターン分布に対して、ＫＬ展開（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開）を適用して、それぞれを部分空間で表すものである。ＫＬ展開とは、線形空間における特徴ベクトル分布を最も良く近似する部分空間を求める手法であり、数学的には主成分分析と等価である。相互部分空間法におけるパターン分布の識別においては、識別対象である入力される画像パターン分布を表す入力部分空間と、各クラスの部分空間（以下、辞書部分空間と称する。）とのなす正準角を求め、正準角が最小となる辞書部分空間に対応するクラスに属すると判定する。例えば、手の画像を用いて手形状を「グー」、「チョキ」、「パー」の３つのクラスに識別する場合、まず３つの手形状ごとに手を回転させたり動かしたりしながら学習パターンを収集し、それらから各クラスの辞書部分空間を用意しておく。識別においては、ある一定時間に入力されたパターンから入力部分空間を生成し、３つの辞書部分空間とのなす正準角を求め、最も小さい正準角を有する辞書部分空間のクラスに属する手形状であると分類する。
【０００３】
この相互部分空間法は、文字認識の分野で多用されている部分空間法（例えば非特許文献１に記載）の拡張である。入力ベクトル、つまり、１次元部分空間と辞書部分空間のなす角度に基づいて識別する部分空間法に対して、相互部分空間法では、入力パターン分布と辞書パターン分布の両方を部分空間で表すために、部分空間法に比べてパターン変形に対する吸収能力が優れている。しかしながら、各クラスの辞書部分空間は、各クラスのパターン分布を表すという観点では最適な空間となっているが、他のクラスとの関係を考慮して生成していないため、高い識別結果を得るための最適な空間には必ずしもなっていなかった。
【０００４】
このような課題を解決した相互部分空間法の拡張法として、制約相互部分空間法（ＣＭＳＭ）や直交相互部分空間法（ＯＭＳＭ）が知られている（例えば特許文献２）。制約相互部分空間法は、共通部分空間を取り除き、識別に有効な特徴抽出を行うために制約部分空間と呼ばれる特徴空間へ射影を行うものである。この特徴抽出により、辞書部分空間同士のなす角を広げることで識別率を高めたものである。また、直交相互部分空間法は、全辞書部分空間を張る基底ベクトルに直交化変換を施し、基底ベクトルを明示的に直交化するものである。
【０００５】
一方、類似パターンを高精度に識別したいという要望に応えるものとして、混合類似度法が提案されている（非特許文献２）。これは、例えば文字認識における「大」、「犬」、「太」といった、全体構造がきわめて類似しており、その違いが局所部位のみに現れる特定パターンセット同士を高精度に識別可能なものである。混合類似度法では、誤識別を生じやすい類似パターンとの差分成分（差分ベクトル）に注目している。即ち、未知パターンとの差分ベクトルに、類似パターンとの差分ベクトル成分がどの程度含まれているかを求め、これを補正項として全体の類似度から差し引くことで、識別結果としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２６５４５２号公報
【特許文献２】特開２００５−３５３００号公報
【非特許文献】
【０００７】
【非特許文献１】石井健一郎ら著「わかりやすいパターン認識」オーム社、１９９８年８月
【非特許文献２】飯島泰蔵著「パターン認識理論」森北出版、１９８９年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
これらの相互部分空間法の拡張法には、以下のような課題があった。即ち、まず、識別クラス（辞書部分空間）が追加された場合には、すべてのクラスに対して直交化の再設計が必要となっていた。また、全体クラスを同時に最適化していたため、識別の観点からは最良の手法にはなっていなかった。さらに、全体クラスを同時に最適化するのは、計算量の観点からも非効率であり好ましいものではなかった。
【０００９】
また、混合類似度法については、文字認識等の静止画のパターン識別には適用可能であったが、動画像のような複数入力される画像パターンの識別には用いることができなかった。
【００１０】
本発明は、斯かる実情に鑑み、誤識別が起こり得る類似クラスに対してのみピンポイントで適用可能な画像パターン識別装置を提供しようとするものである。
【課題を解決するための手段】
【００１１】
上述した本発明の目的を達成するために、本発明による画像パターン識別装置は、入力される画像パターンに対してＫＬ展開（主成分分析）を行い、入力部分空間Ｘを生成する入力部分空間生成部と、複数の辞書パターンに対してそれぞれＫＬ展開（主成分分析）を行い、辞書部分空間Ｐｎを生成する辞書部分空間生成部と、入力部分空間Ｘに類似する辞書部分空間Ｐｎが少なくとも２つある場合に、その２つの辞書部分空間Ｐｉ，Ｐｊを出力する類似クラス選別部と、辞書部分空間Ｐｉ，Ｐｊと、入力部分空間生成部による入力部分空間Ｘとの差分である入力差分部分空間Ｙｉ，Ｙｊをそれぞれ生成する入力差分部分空間生成部と、入力差分部分空間Ｙｉ，Ｙｊを、辞書部分空間Ｐｉ，Ｐｊの直交補空間にそれぞれ射影し、特徴量Ｙｃｉ，Ｙｃｊをそれぞれ生成する特徴量生成部と、辞書部分空間Ｐｉ，Ｐｊの差分である辞書差分部分空間ＤＰｉＰｊを生成する辞書差分部分空間生成部と、各入力差分部分空間の特徴量Ｙｃｉ，Ｙｃｊと、辞書差分部分空間ＤＰｉＰｊとの相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を、相互部分空間法によりそれぞれ演算する類似度演算部と、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の小さいほうに対応する辞書パターンのクラスを識別結果として出力する出力部と、を具備するものである。
【００１２】
ここで、類似クラス選別部は、入力部分空間Ｘに類似する辞書パターンが３つ以上ある場合に、２つずつ辞書パターンのペアについてそれぞれ選別し、類似度演算部は、各ペアについて相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を演算し、出力部は、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の大きいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力しても良い。
【００１３】
さらに、入力部分空間Ｘと辞書部分空間Ｐｉ，Ｐｊとの類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）を、相互部分空間法によりそれぞれ演算し、類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）と、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）との差分に基づく類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）を演算する第２類似度演算部を具備し、出力部は、類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）の大きいほうに対応する辞書パターンのクラスを識別結果として出力しても良い。
【００１４】
また、類似クラス選別部は、入力部分空間Ｘに類似する辞書パターンが３つ以上ある場合に、２つずつ辞書パターンのペアについてそれぞれ選別し、第２類似度演算部は、各ペアについて類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）を演算し、出力部は、類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）の小さいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力しても良い。
【００１５】
また、類似クラス選別部は、相互部分空間法又は制約相互部分空間法により、入力部分空間Ｘに対して類似度が近接する辞書部分空間を抽出しても良い。
【発明の効果】
【００１６】
本発明の画像パターン識別装置には、誤識別が起こり得る類似クラスに対してのみピンポイントで適用可能であり、計算量が少ないにも関わらず識別率が高いという利点がある。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の画像パターン識別装置の構成を説明するための概略ブロック図である。
【図２】図２は、類似クラス選別部の一例を説明するためのブロック図である。
【図３】図３は、差分部分空間を説明するための概念図である。
【図４】図４は、本発明の画像パターン識別装置の各部分空間の処理の流れを説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明の画像パターン識別装置の構成を説明するための概略ブロック図である。図示の通り、本発明の画像パターン識別装置は、入力部分空間生成部１０と、辞書部分空間生成部２０と、類似クラス選別部３０と、入力差分部分空間生成部４０と、特徴量生成部５０と、辞書差分部分空間生成部６０と、類似度演算部７０と、出力部８０とから主に構成されている。
【００１９】
入力部分空間生成部１０は、入力される画像パターンに対してＫＬ展開（主成分分析）を行い、入力部分空間Ｘを生成する。ＫＬ展開（主成分分析）は、入力される画像パターンの分布を部分空間で近似するものである。ここで、入力される画像パターンは例えば動画像等の複数の画像であり、具体的には、例えば顔認識を行う場合の顔撮影用カメラにより撮影された連続画像である。
【００２０】
辞書部分空間生成部２０は、複数の辞書パターンに対してそれぞれＫＬ展開（主成分分析）を行い、辞書部分空間Ｐｎを生成する。なお、ｎは識別されるクラス数である。ここで、クラスとは、識別対象が手形状画像であれば、「グー」、「チョキ」、「パー」というようなものであり、顔画像であれば、人物名等である。辞書部分空間生成部２０も、入力部分空間生成部１０と同様に、入力される辞書パターンの分布を部分空間で近似するものである。なお、辞書部分空間生成部２０では、複数の識別クラスの辞書パターンのすべてについて予め辞書部分空間Ｐｎを生成しても良いし、必要なときに必要な辞書パターンに対して辞書部分空間Ｐｎを生成するようにしても良い。
【００２１】
類似クラス選別部３０は、入力部分空間Ｘに類似する辞書部分空間Ｐｎが少なくとも２つある場合に、その２つの辞書部分空間Ｐｉ，Ｐｊを出力する。ここでは、入力部分空間Ｘに対して、辞書部分空間Ｐｎから類似する辞書部分空間を２つ出力すれば良い。本発明の画像パターン識別装置では、類似クラス選別部３０については、入力部分空間Ｘに対して類似する２つの辞書部分空間を出力するための機能さえ有していれば良い。本発明の画像パターン識別装置は、入力部分空間Ｘに対して類似するパターンが２つ以上存在するとき、即ち、誤識別が起こり得る場合に、より効果を奏するものであり、類似するパターンが１つしかない場合、即ち、誤識別が起こらない場合には、以下に説明する本発明の識別は行う必要がない。類似クラス選別部３０における第１段階での識別である類似クラスの抽出については、後述のように、例えば相互部分空間法や制約相互部分空間法等の従来の又は今後開発されるべきあらゆる類似度演算手法を用いて行われれば良い。このように、類似クラス選別部３０では、このような第１段階の識別の結果、入力に対して類似するパターンが２つある場合に、これらを出力する。なお、１つしか類似する辞書部分空間が無い場合には、その辞書部分空間が属するクラスが識別結果となる。さらに、１つも類似する辞書部分空間がない場合には、識別クラス無しという識別結果となる。
【００２２】
換言すると、本発明の画像パターン識別装置は、類似した識別クラスのペアに対して識別を行い、正しい識別結果を出力するものであるため、識別対象となるクラス数が増えると、識別を行う組み合わせが増加してしまうため、効率的ではなくなってしまう。実際の識別に当たっては、すべてのクラスが互いに類似しているわけではないため、誤識別が起こり得る組み合わせは限られている。本発明の画像パターン識別装置は、このような誤識別が起こりやすい類似したクラスのペアに対して高精度な識別を行うことが可能な装置であるため、すべてのクラスに対して本発明を適用する必要はない。そこで、類似クラス選別部３０においては、例えば別の手法で類似したクラスを抽出し、抽出された少数のクラスに対してピンポイントで適用すれば良い。
【００２３】
図２に、類似クラス選別部の一例を説明するためのブロック図を示す。図中、図１と同一の符号を付した部分は同一物を表している。なお、図示例では、類似クラス選別部に第１段階での識別も含まれるように示しているが、本発明はこれに限定されず、識別自体は行わず、上述のように他の手法により抽出された２つの類似クラスを出力するものであれば良い。図示の通り、類似クラス選別部３０は、例えば類似度計算部３１と、類似クラス検出部３２とから構成されている。類似度計算部３１では、第１段階での識別として、例えば相互部分空間法（ＭＳＭ）や制約相互部分空間法（ＣＭＳＭ）により、入力部分空間Ｘと辞書部分空間Ｐｎとの類似度を総当たりで求める。ここで、例えば相互部分分解法を用いた類似度をＳＭＳＭＰｎ（Ｘ）と表す。そして、入力部分空間Ｘに類似する少なくとも２つの辞書部分空間Ｐｉ，Ｐｊを検出する。入力部分空間Ｘに類似するか否かは、類似度ＳＭＳＭＰｎ（Ｘ）の大きさで判断すれば良く、最も大きい２つの類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）の辞書部分空間Ｐｉ，Ｐｊを、類似クラスとして選別すれば良い。より具体的には、最も大きい類似度との差が所定の閾値よりも小さい場合、即ち、（最大類似度−類似度）＜閾値、の場合に、類似クラスがあると判断し、それらのクラスに対して本発明を適用し、入力部分空間がどちらのクラスに属するのかを識別する。最大類似度との差が閾値以上離れている場合、即ち、（最大類似度−類似度）＞閾値、の場合には、類似クラスは無いとして識別結果を出力部８０から出力する。なお、ここでいう類似クラスが無いというのは、入力部分空間Ｘに類似する辞書部分空間が１つしかない場合と１つも無い場合に分けられる。１つしかない場合には、それに対応する辞書部分空間を識別結果として出力すれば良く、１つも無い場合には、識別クラス無しとして出力すれば良い。これについても、最大類似度が所定の閾値よりも小さい場合には、１つも類似する辞書部分空間が無いとすれば良い。
【００２４】
ここで、相互部分空間法についてより詳細に説明する。相互部分空間法は、部分空間法の拡張である。これは、入力と辞書の２つの部分空間の成す最小角度に基づいて識別を行うものである。この最小角度を基準とした識別は、正準角の概念を用いて、以下のように一般化できる。ｆｉ次元部分空間Ｌｉとｆｊ次元部分空間Ｌｊの間には、ｆｊ個の正準角が定義可能である（便宜的にｆｉ＞ｆｊと仮定する）。部分空間ＬｉとＬｊを張る基底ベクトルを、それぞれｕｉ１，・・・ｕｉｆｉ，ｕｊ１，・・・ｕｊｆｊとすると、以下の行列Ｗのｋ番目に大きい固有値λｋが第ｋ正準角に対するｃｏｓ２θｋとなる。
【数１】
2012022540.tif 000003
【数２】
2012022540.tif 000004
なお、数２は、Ｗのｒ行ｓ列の要素を表したものである。
【００２５】
そして、本明細書では、複数の正準角によって一般化された方法を示すものとして、相互部分空間法の類似度をｎ個の正準角を用いて以下のように定義する。
【数３】
2012022540.tif 000005
【００２６】
次に、入力差分部分空間生成部４０は、類似クラス選別部３０からの辞書部分空間Ｐｉ，Ｐｊと、入力部分空間生成部１０による入力部分空間Ｘとの差分である入力差分部分空間Ｙｉ，Ｙｊをそれぞれ生成する。即ち、入力部分空間Ｘに対して、辞書部分空間Ｐｉ，Ｐｊとの差分部分空間を計算する。このように、入力差分部分空間Ｙｉ，Ｙｊは、２つの部分空間Ｐｉ，Ｘ、又はＰｊ，Ｘの差異をそれぞれ表す部分空間である。
【００２７】
ここで、差分部分空間について説明する。差分部分空間は、２つのベクトルに対する差分ベクトルの多次元への拡張である。図３は、差分部分空間を説明するための概念図である。図示の通り、差分部分空間Ｄは、２つの部分空間ＬｉとＬｊの差異を表す部分空間となっている。ここで、ｆｉ次元部分空間Ｌｉとｆｊ次元部分空間Ｌｊとの間には、ｆｊ個の正準角が定義できる（ｆｉ＞ｆｊ）。ここで、ｋ番目に小さい正準角θｋを形成する２つのベクトルｖｉｋとｖｊｋに対してｄｋ＝ｖｉｋ−ｖｊｋとすると、ｆｊ個の差分ベクトルｄｋ，ｋ＝１，・・・，ｆｊが求まる。これらの長さが１になるように正規化したものを、ｄｋバー，ｋ＝１，・・・，ｆｊとする。差分部分空間Ｄは、正規直交基底ベクトルｄｋバー，ｋ＝１，・・・，ｆｊで張られる空間である。
【００２８】
そして、差分部分空間の計算においては、ｋ番目の正準角θｉをなす２つのベクトルｖｉｋ，ｖｊｋは、以下のように求められる。
【数４】
2012022540.tif 000006
ここで、ａｋ［ｌ］は、数１のｋ番目に大きい固有値に対応する固有ベクトルのｌ番目の成分を意味する。ａｋ'［ｌ］は、ｕｉとｕｊを入れ替えた数２のｋ番目に大きい固有値に対応する固有ベクトルのｌ番目の成分を意味する。ｕｉとｕｊは、それぞれ部分空間ＬｉとＬｊを張る基底ベクトルを意味する。
【００２９】
以下、特徴量生成部５０や辞書差分部分空間生成部６０、類似度演算部７０の処理の流れを、図４を用いて説明する。図４は、本発明の画像パターン識別装置の各部分空間の処理の流れを説明するための図である。
【００３０】
まず、図４（ａ）に示されるように、特徴量生成部５０は、入力部分空間Ｘと辞書部分空間Ｐｉ，Ｐｊの差分である入力差分部分空間Ｙｉ，Ｙｊを、辞書部分空間Ｐｉ，Ｐｊの直交補空間にそれぞれ射影し、特徴量Ｙｃｉ，Ｙｃｊをそれぞれ生成する。なお、図示例では、辞書部分空間Ｐｉのみについて記載したが、Ｐｊについても同様である。
【００３１】
より具体的には、入力差分部分空間Ｙｉ，Ｙｊを張る基底ベクトルを、Ｐｉ，Ｐｊの補空間に射影する。そして、射影後のベクトルを、例えばグラムシュミットの直交化法等を用いて直交化する。直交化したベクトルで張る部分空間を、特徴量Ｙｃｉ，Ｙｃｊとする。補空間に射影することにより、入力差分部分空間Ｙに含まれる辞書部分空間Ｐの変動分を取り除くことになる。
【００３２】
そして、図４（ｂ）に示されるように、辞書差分部分空間生成部６０は、辞書部分空間Ｐｉ，Ｐｊの差分である辞書差分部分空間ＤＰｉＰｊを生成する。ここでも、上述の入力差分部分空間生成部４０での説明と同様に、辞書部分空間Ｐｉ，Ｐｊ同士の差分部分空間を計算する。辞書差分部分空間ＤＰｉＰｊは、２つの辞書部分空間Ｐｉ，Ｐｊの差異を表す部分空間である。なお、辞書差分部分空間に対しても、必要によりＰｉの補空間に射影しても良い。
【００３３】
図４（ｃ）に示されるように、類似度演算部７０は、各入力差分部分空間の特徴量Ｙｃｉ，Ｙｃｊと、辞書差分部分空間ＤＰｉＰｊとの相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を、例えば相互部分空間法によりそれぞれ演算する。即ち、辞書差分部分空間ＤＰｉＰｊと、特徴量Ｙｃｉ，Ｙｃｊの正準角を、数１〜３の相互部分空間法と同様の手順でそれぞれ求める。得られた正準角を、数３の相互部分空間法の類似度を求める式に代入し、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を求める。なお、ここでいう相違度Ｇは、類似クラス間の差異を意味するものであり、この値が大きいほど差異が大きいという性質のものである。
【００３４】
出力部８０は、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の小さいほうに対応する辞書パターンのクラスを識別結果として出力する。即ち、出力部８０では、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の値の大小を比較し、より小さいほう、即ち、クラス間の差異がより小さいほうに対応する辞書パターンのクラスを、識別結果として出力する。
【００３５】
このように、本発明の画像パターン識別装置によれば、入力部分空間に類似する２つの辞書部分空間に対して、どちらのクラスに属するのかを、ピンポイントで正確且つ高速に識別することが可能である。なお、本発明の画像パターン識別装置に用いられる手法は、相互部分空間法に混合類似度法の考えを取りこみつつ、これらの手法を改良して成されたものであるため、混合相互部分空間法と呼んでも良い。
【００３６】
次に、類似クラス選別部３０において、入力部分空間Ｘに類似する辞書パターンが３つ以上ある場合について説明する。例えば入力部分空間Ｘに類似する辞書パターンが３つある場合、類似したクラスの部分空間の差分部分空間を計算に用いているため、単純に相違度が最小のクラスを識別結果とすることはできない。そこで、３つ以上の類似クラスがある場合には、以下のような識別を行う。まず、２つずつ辞書パターンのペアを抽出する。例えば、すべての組み合わせについて総当たりで１対のペアを作る。そして、各ペアについて、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）を演算する。出力部８０では、これらの結果に基づき、各ペアについて、相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）の大きいほうを否定し、一度も否定されなかった相違度に対応する辞書パターンを識別結果として出力する。例えば、辞書部分空間がＰ１，Ｐ２，Ｐ３の３つある場合、以下の表１に示されるように、３クラスから２クラスを選び出す３通りのパターンのペアができる。
【表１】
2012022540.tif 000007
例えば入力される画像パターンの部分空間ＸがＰ１に属するものである場合には、結果は上記のように判定される。結果の○×△を説明すると、○は相違度Ｇが小さいもの、×は相違度Ｇが大きいものである。即ち、Ｐ１とＰ２のペアでは、Ｐ２が否定されており、Ｐ１とＰ３のペアでは、Ｐ３が否定されているという意味である。また、△はどちらかの相違度Ｇが大きいものである。即ち、Ｐ２とＰ３のペアでは、どちらかが否定されるという意味であり、Ｐ２が○のときはＰ３が×となり否定され、Ｐ３が○のときはＰ２が×となり否定される。このように３通りの組み合わせで識別を行った結果、一度も否定されていないクラスはＰ１ということが分かる。なお、表１の組み合わせの順序で上から判定して行った場合には、２回目の相違度Ｇの演算の時点でＰ１が一度も否定されないクラスであることが分かるため、３回目の相違度Ｇの演算は行わず、２回目の時点でＰ１を抽出すれば良い。このような識別結果から、出力部８０では、入力部分空間Ｘに対する識別結果として、辞書部分空間Ｐ１に対応する辞書パターンのクラスを出力する。
【００３７】
次に、本発明の画像パターン識別装置の他の例について説明する。上述の本発明の画像パターン識別装置に対して、さらに、入力部分空間Ｘと辞書部分空間Ｐｉ，Ｐｊとの類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）を、例えば相互部分空間法によりそれぞれ演算するようにしても良い。そして、第２類似度演算部を用意し、第２類似度演算部では、類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）と上述の相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）との差分に基づく類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）を演算する。即ち、以下の数式に示される演算を行えば良い。
【数５】
2012022540.tif 000008
但し、係数μは部分空間法の類似度に差異を反映させる度合いを示すパラメータ（０＜μ≦１）である。
【００３８】
そして、類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）の大きいほうに対応する辞書パターンのクラスを識別結果として出力部から出力すれば良い。即ち、差異の大きさを表すＧ項が小さいほど、類似度ＳＣＰＭＳＭの値は大きくなるため、大きいものに対応する辞書パターンのクラスが識別結果となる。なお、入力部分空間Ｘと辞書部分空間Ｐｉ，Ｐｊとの類似度は、相互部分空間法ではなく、制約相互部分空間法や直交相互部分空間法を用いて演算しても良い。
【００３９】
さらに、このような例であっても、上述の例と同様に、入力部分空間Ｘに類似する辞書パターンが３つ以上ある場合には、２つずつ辞書パターンのペアを抽出しても良い。例えば、すべての組み合わせについて総当たりで１対のペアを作る。そして、各ペアに付いて、第２類似度演算部では、各ペアについて、類似度ＳＭＳＭＰｉ（Ｘ），ＳＭＳＭＰｊ（Ｘ）と相違度ＧＰｉＰｊＰｉ（Ｘ），ＧＰｉＰｊＰｊ（Ｘ）との差分に基づく類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）を演算する。出力部では、これらの結果に基づき、各ペアについて、類似度ＳＣＰＭＳＭＰｉ（Ｘ），ＳＣＰＭＳＭＰｊ（Ｘ）の小さいほうを否定し、一度も否定されなかった類似度に対応する辞書パターンのクラスを識別結果として出力する。
【００４０】
さて、このような手法を用いた本発明の画像パターン識別装置の有効性について、具体的な実験結果を以下に示す。以下では、本発明の画像パターン識別装置が、特定の類似パターン集合のペアに対して適用できることを利用して、まず従来法、即ち、相互部分空間法、制約相互部分空間法により、第１段階の識別を行う。これにより、類似パターン集合のペアを抽出する。次に、これらの抽出された類似パターン集合のペアに対して、本発明の画像パターン識別装置を用いて第２段階の識別を行う。評価は、このようにして構成された２段階識別における最終的な識別率と、従来法で誤識別され得るパターンがどの程度正しく識別できたかの率に基づいて行う。
【００４１】
公開データベースであるＶｉｄＴＩＭＩＴを用いて評価を行った。このデータベースには、顔向きを変化させながら撮影した４３人の顔画像が含まれている。日時を変えて合計３回撮影されたものである。このデータには様々な顔向きが含まれるが、今回の実験では比較的正面を向いている顔のみを、各日時で撮影されたデータからそれぞれ目視により９０枚と１８０枚、合計２７０枚選択した。２７０枚のうち、１８０枚を学習データ、即ち、辞書パターンとして用い、残りの９０枚をテストデータ、即ち、入力される画像パターンとして用いた。
【００４２】
入力部分空間生成部において、９０枚からランダムサンプリングした３０枚のデータに対してＫＬ展開を適用して１０次元の入力部分空間が生成された。辞書部分空間生成部では、１８０枚からＫＬ展開を適用して３０次元の辞書部分空間が生成された。ここで、ランダムサンプリングする組み合わせは、すべて同じものを用いた。以上のようにして、各手法に対して合計６４５０回の識別実験を行った。
【００４３】
なお、前処理として、画像から背景を除去し、グレースケールに変換した。そして、グレースケールの画像に対してヒストグラムの平坦化処理を施した後、１５×１５ピクセルに縮小して評価を行った。
【００４４】
評価対象となる本願及び従来技術のすべての手法に対して、辞書部分空間と入力部分空間の次元を、それぞれ３０と１０に設定した。制約相互部分空間法においては、一般化差分部分空間を作る際に用いられる射影行列は、３０次元のクラス部分空間から生成した。また、類似度は、４つの正準角から求めた。制約空間の次元は、予備実験に基づいて４１０とした。数５の係数μは、０．１刻みで変化させて予備実験を行い、性能が最も良かった値である０．４に設定した。
【００４５】
第１段階の識別で使用する手法の違いにより、本発明の画像パターン識別装置に対して以下の３種類について評価する。
１）混合相互部分空間法１
本発明の画像パターン識別装置の第１段階の識別に相互部分空間法を用いるものである。相互部分空間法により得られた類似度において、第１位類似度と残りの類似度との差が閾値０．０１以下のクラスを類似人物クラスのグループとして抽出した。この類似グループのみに対して、第２段階の識別として、本発明の画像パターン識別装置を適用し、最終的な類似度を求める。
２）混合相互部分空間法２
本発明の画像パターン識別装置の第１段階の識別に制約相互部分空間法を用いるものである。最大の類似度との差が閾値０．１以下のクラスを抽出し、これらに対して、第２段階の識別として、本発明の画像パターン識別装置を適用し、最終的な類似度を求める。
３）混合相互部分空間法３
本発明の画像パターン識別装置の第１段階の識別に制約相互部分空間法を用いるが、辞書差分部分空間についても補空間に射影したものである。制約部分空間へ射影された各部分空間は、既に形状差から成る空間となっているため、これに対してさらに本発明の画像処理装置を適用するということは、３次元形状の差異のさらにその差異となっていると推察される。
【００４６】
上述のような識別実験の結果を、以下の表２に示す。
【表２】
2012022540.tif 000009
【００４７】
表２から分かる通り、相互部分空間法の識別率９６．６％に対して、混合相互部分空間法１を用いた本発明では、識別率９８．４％となり、本発明により３．５％の向上が見られたことになる。また、以下の表３に、混合相互部分空間法を適用した回数を示す。
【表３】
2012022540.tif 000010
【００４８】
表３から分かるように、識別回数６４５０回のうち、本発明における混合相互部分空間法が２５８回適用され、その結果、１１６個の誤識別が正常な識別に改善された。
【００４９】
この識別率は、高い識別性能が得られるとされる制約相互部分空間法と同じ結果となった。制約相互部分空間法は、制約部分空間への射影が必要である。これに対して、本発明の画像パターン識別装置を用いれば、大部分の識別クラスに対して相互部分空間手法のみを用いて最終判定されるために、トータルの計算量も少ない。さらに、新しく識別クラスが追加された場合には、従来の手法ではすべてのクラスの部分空間から制約部分空間を再度生成し直す必要があったが、本発明によれば、類似クラスの部分空間のみから差分部分空間を計算するだけで良いため、この点でも計算量を少なくすることが可能である。
【００５０】
また、全体の計算量としては増加してしまうが、混合相互部分空間法２では、識別率が９８．８％とさらに向上した。これは、制約相互部分空間法で誤識別した類似パターンが、本発明により正しく識別されたことを意味している。具体的には、表３に示されるように、３７回の誤りのうち、２５回が正解に改善されている。この結果から、本発明の画像パターン識別装置には、制約相互部分空間法と同程度以上の効果があるといえる。
【００５１】
さらに、混合相互部分空間法３でも高い識別率が得られていることから、特徴抽出を行った後でも、本発明が有効であることが分かる。したがって、本発明は高い汎用性を有していることが分かる。
【００５２】
このように、本発明の画像パターン識別装置は、誤識別しやすい特定の類似パターンに対して、少ない計算量で、高い識別率の識別が可能である。
【００５３】
なお、本発明の画像パターン識別装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。さらに、上述の実施例における構成・処理の一部又は全部は、コンピュータ用のプログラムで実現されていても構わず、コンピュータにこれらの処理を行わせるプログラムであっても良い。
【符号の説明】
【００５４】
１０    入力部分空間生成部
２０    辞書部分空間生成部
３０    類似クラス選別部
３１    類似度計算部
３２    類似クラス検出部
４０    入力差分部分空間生成部
５０    特徴量生成部
６０    辞書差分部分空間生成部
７０    類似度演算部
８０    出力部
【図１】
2012022540.tif 000011
【図２】
2012022540.tif 000012
【図３】
2012022540.tif 000013
【図４】
2012022540.tif 000014