(57)【特許請求の範囲】
【請求項１】
認識したい対象の入力パターンを入力する入力手段と、
前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、
前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、
（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、
前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、
前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、
前記識別手段は、
前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、
この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、
前記制約条件算出手段は、
前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、
前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、
前記第２部分空間を前記制約部分空間とする
ことを特徴とするパターン認識装置。
【請求項２】
認識したい対象の入力パターンを入力する入力手段と、
前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、
前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、
（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、
前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、
前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、
前記識別手段は、
前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、
この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、
前記制約条件算出手段は、
前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、
前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間である第３部分空間を生成し、
前記第３部分空間を前記制約部分空間とする
ことを特徴とするパターン認識装置。
【請求項３】
認識したい対象の入力パターンを入力する入力手段と、
前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、
前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、
（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、
前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、
前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、
前記識別手段は、
前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、
この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、
前記制約条件算出手段は、
前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、
前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、
前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、
前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間を求め、この共通部分空間を第３部分空間となし、
前記第２部分空間と前記第３部分空間の補部分空間との共通部分空間を求め、この共通部分空間を前記制約部分空間とする
ことを特徴とするパターン認識装置。
【請求項４】
認識したい対象の入力パターンを入力する入力手段と、
前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、
前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、
（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、
前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、
前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、
前記識別手段は、
前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、
この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、
前記制約条件算出手段は、
前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、
前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、
前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、
前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間を求め、この共通部分空間を第３部分空間となし、
前記第２部分空間と前記第３部分空間の射影行列に係数をかけて加算して、生成行列を求め、
前記生成行列の０より大きい固有値に対応する固有ベクトルが張る部分空間を求め、
この部分空間を３つ以上の前記要因の下において統合した制約部分空間とする
ことを特徴とするパターン認識装置。
【請求項５】
前記制約条件算出手段は、
３つ以上の前記要因の下において、前記複数の比較対象のパターンから算出された複数の第１部分空間をそれぞれ求め、前記複数の第１部分空間から複数の前記制約部分空間をそれぞれ算出し、
前記各制約部分空間の射影行列に係数をかけて加算して、生成行列を求め、
前記生成行列の０より大きい固有値に対応する固有ベクトルが張る部分空間を求め、
この部分空間を３つ以上の前記要因の下において統合した制約部分空間とする
ことを特徴とする請求項１から４の少なくとも一項に記載のパターン認識装置。
【請求項６】
前記制約条件算出手段の前記予め定めた要因とは、前記対象の経年変化、または、前記対象に対する照明変動である
ことを特徴とする請求項１から５の少なくとも一項に記載のパターン認識装置。
【請求項７】
前記対象が顔である
ことを特徴とする請求項１から５の少なくとも一項に記載のパターン認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
パターン情報に混入する識別に不必要なパターン情報を効率良く取り除いてパターン認識を安定に行う発明に関する。
【０００２】
【従来の技術】
（従来のパターンの認識の内容）
まず、従来の顔画像を対象にしたパターンの認識を例にとって説明する。
【０００３】
顔画像による個人認識は、指紋や手形による識別に比べて非接触で行なえるため使用者の心理的な負担が少なく、ヒューマンインタフェースからセキュリティシステムまで様々な分野への適用が考えられる。
【０００４】
最近の顔画像認識の技術動向に関しては、文献〔塩野充、真田英彦：“個人認証技術の最近の研究動向”、信学技報OSF92-17〕が詳しいが、従来の顔画像識別法は、大きく分けると以下の２つの方法に分類できる。
【０００５】
第１の方法は、目、鼻、口などの特徴点の位置、形状、サイズをパラメータ化して特徴ベクトルを生成し、予め登録されている対象人物の特徴ベクトルとの類似度を計算する方法である。最も類似度が高い辞書ベクトルを表す人物を当人と識別する。これらは「構造解析的方法」に分類される。
【０００６】
第２の方法は、瞳、鼻などの特徴点を基準とした２次元affine変換などの幾何学変換により位置、サイズを正規化された画像と予め登録されている辞書正規化画像とのパターンの類似度に基づいた方法である。第１の方法と同様に最も類似度が高い辞書画像を表す人物を当人と識別する。これらは従来の文字認識で実用化されている方法で「パターン的方法」に分類できる。
【０００７】
そして、文献〔赤松茂“コンピュータによる顔の認識の研究動向”、電子情報通信学会誌Vol.80〕によると、第１の方法に比べて第２の方法が識別率が高いことが報告されている。
【０００８】
第２の方法であるパターン的方法の代表である部分空間法は、これまで文字認識等で幅広く用いられてきた。入力ベクトルと各辞書部分空間との角度を類似度として求め、最小角度を成す部分空間に対応するカテゴリを入力ベクトルのカテゴリと決定する。単純な相関法などに比べて辞書側に冗長性を持たせているためパターンの変形に対する吸収能力に優れている。部分空間法に関する詳細は、「飯島泰蔵“パターン認識理論”森北出版（1989年）」「エルッキ・オヤ著“パターン認識と部分空間法”産業図書（1986年）」などに詳しい。
【０００９】
さらにパターン変形に対する吸収能力を高めた相互部分空間法〔前田賢一、渡辺貞一、“局所的構造を導入したパターン・マッチング法”、信学論(D)、vol.J68-D、No.3,pp.345-352、1985〕、特許〔３次元物体認識装置及びその方法：特願平１０−６６６６３号〕が開発されている。
【００１０】
（相互部分空間法の概念）
ここで、相互部分空間法は、本発明の理解の前提となるため、その内容を以下に詳しく説明する。
【００１１】
相互部分空間法では、辞書側と同様に入力側も部分空間で表し、入力部分空間と辞書部分空間の成す角度θのｃｏｓ2 θを類似度とする。
【００１２】
具体的にはｃｏｓ2 θは以下の式で定義される。
【００１３】
【数１】
0004087953.tif 000002
入力部分空間Ｐに対する射影行列をＰ、辞書部分空間Ｑの射影行列をＱとすると、部分空間ＰとＱとの成す角度θのｃｏｓ2 θは、ＱＰＱあるいはＰＱＰの固有値となる。
【００１４】
【数２】
0004087953.tif 000003
となる。
【００１５】
さらに計算の順序を変えて整理すると、
【数３】
0004087953.tif 000004
という行列Ｘの固有値問題となる。
【００１６】
Ｘの最大固有値が求める最小角度θ1 のｃｏｓ2 θ1 となる。
【００１７】
第２固有値は、最大角に直交する方向に計った角度のｃｏｓ2 θ2 、以下同様にＮ個のｃｏｓ2 θi が順次求まる。
【００１８】
これらのＮ個の角度θは、２つの部分空間が成す“正準角”として知られている。正準角については、文献〔F.chatclin，“行列の固有値”、伊理正夫、伊理由実訳、シュプリンガー・フェアラーク東京、1993年〕などに詳しい。
【００１９】
相互部分空間法は、入力側も辞書側と同様に部分空間で表現するために、パターン変形に対する吸収能力が非常に高い。入力部分空間は、入力される複数枚の画像セットに対してＫＬ展開により求める。あるいは、同時反復法を用いて、動画像から逐次生成することも可能である。
【００２０】
【発明が解決しようとする課題】
ところで、画像を用いた顔認識法の識別性能は、以下に挙げる変動の影響を受け易い。
【００２１】
1.顔向き、表情変化の影響
2.照明変動の影響
3.経年変化の影響（しわ、髪、鬚などの影響）
すなわち、顔認識法の識別性能は、これら３つの課題を解決することが重要である。
【００２２】
（課題１について）
課題１に関しては、顔の動画像系列に対して相互部分空間法を適用すれば、その影響を低減できることが確認されている〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997 〕。
【００２３】
しかしながら、残りの課題２，３に関して依然として解決されているとは言えない。
【００２４】
（課題２について）
課題２の照明変動に関しては、３次元物体である顔の認識は、平面上に書かれている文字の認識に比較してその影響をより受け易い。顔の側面から外光が照射されて影やハイライトが生じている場合、人は容易に同一人物として認識できるが計算機には正しく認識することが難しい。
【００２５】
高いパターン変形吸収能力を持つ相互部分空間法であるが、照明変動の影響に対するロバスト性は改善されていない。これは相互部分空間法において求める角度θ、つまり角度を計る２つのベクトルｕ，ｖの関係に制約が課せられていないからだと言える。さらに見方を変えるとベクトルｕ，ｖの差分ベクトルに制約が課せられていない事になる。
【００２６】
したがって、相互部分空間法を照明変動を含んだ画像に対して適用すると、最小角度θを成す２つのベクトルの差分ベクトルには照明変動成分が含まれる。異なる人物に対しても、照明変動成分を含むことで実際よりも最小角度が小さくなり、逆に同一人物であるにも拘らず最小角度が大きくなり、異なる人物と識別されてしまう。
【００２７】
（課題３について）
課題３の経年変化による識別性能の低下も同様である。この場合には、差分ベクトルに経年変化による皺などのパターン変動が含まれるために、認識性能が低下してしまう。
【００２８】
これらの変動に対する不安定さの原因は、照明位置や顔向きなどの変化によって生じる照明変動や経年変化によるパターン変動成分も含めて識別を行っている事に起因する。如何に、これらの識別に不要なパターン変化を取り除くかが解決すべき課題である。
【００２９】
（本発明の目的）
本発明は、上記のような点に鑑みなされたもので、パターン情報を収集する際に混入する識別に不必要なパターン変動成分を効率良く取り除いて、安定なパターン認識法及びその方法を提供することを目的とする。
【００３０】
特に顔画像認識に適用した場合には、照明変動成分を効率良く取り除いて安定な顔認識を実現する。
【００３１】
【課題を解決するための手段】
本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、  （１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、前記第２部分空間を前記制約部分空間とすることを特徴とするパターン認識装置である。本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、  （１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間である第３部分空間を生成し、前記第３部分空間を前記制約部分空間とすることを特徴とするパターン認識装置である。本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、  （１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間を求め、この共通部分空間を第３部分空間となし、前記第２部分空間と前記第３部分空間の補部分空間との共通部分空間を求め、この共通部分空間を前記制約部分空間とすることを特徴とするパターン認識装置である。本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、  （１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間を求め、この共通部分空間を第３部分空間となし、前記第２部分空間と前記第３部分空間の射影行列���係数をかけて加算して、生成行列を求め、前記生成行列の０より大きい固有値に対応する固有ベクトルが張る部分空間を求め、この部分空間を３つ以上の前記要因の下において統合した制約部分空間とすることを特徴とするパターン認識装置である。
【００３８】
【発明の実施の形態】
まず、本発明の実施の形態について順番に説明する。
【００３９】
（制約相互部分空間法の概念の説明）
本発明は、予め対象となる部分空間から認識に不必要な部分空間を取り除いておいて、２つの部分空間の成す角度を類似度として求める手段を提供する。この方法が、本発明において、初めて提案する技術思想であり、これを新しく“制約相互部分空間法”と名付ける。
【００４０】
【数４】
0004087953.tif 000005
この（１４）式が、制約相互部分空間法の概念を数式化したものであり、相互部分空間法の概念を数式化した（１）式と比べて制約条件が付加されている。
【００４１】
制約相互部分空間法の具体的な実現法について説明する。
【００４２】
部分空間Ｐ，Ｑを、制約部分空間Ｌへ射影した部分空間をＰ′，Ｑ′とする。また制約部分空間Ｌに対応する射影行列をＬとすると、以下の関係が成立する。
【００４３】
【数５】
0004087953.tif 000006
ここで部分空間Ｐ′，Ｑ′に属するベクトルｕ′，ｖ′を考えると、Ｌは線形部分空間なので、その差分に対して以下の関係が成り立つ。
【００４４】
【数６】
0004087953.tif 000007
これから制約条件下で２つの部分空間の成す角度を計算するには、２つの部分空間Ｐ，Ｑを制約部分空間Ｌへ射影した後で、射影された２つの部分空間Ｐ′，Ｑ′に対して相互部分空間法を適用すれば良いことが分かる。
【００４５】
（制約部分空間の生成）
この制約相互部分空間法において、重要なのがどのように制約部分空間の生成するかにある。
【００４６】
用途に応じた制約条件、すなわち、ある要因に基づいて発生するパターン認識に不要なパターンの条件を抑制するための制約条件を実現するための様々な制約部分空間が考えられる。
【００４７】
例えば、要因の一つである照明変動成分に依存しない部分空間を採用することで、ｕ，ｖの差分ベクトルに含まれる照明変動成分が無視されて、照明に対するロバスト性が向上する。
【００４８】
このような部分空間として２つの部分空間の差として求まる“差分部分空間”について説明する。
【００４９】
【数７】
0004087953.tif 000008
また、式（４）〜（１３）においてＰとＱ、ｖとｕを入れ換えた式（１３）の固有ベクトルをｃｕi とするとベクトルｖi は、以下の様に求まる。
【００５０】
【数８】
0004087953.tif 000009
ｕi とｖi の成す角度が２つの部分空間の成す最小角度、ｕ2 とｖ2 の成す角度がそれに直交する方向に計った最小角度となる。同様にｕ3 ，ｖ3 以降のベクトルが求まる。
【００５１】
求めたｅ個の差分ベクトルｄi はお互いに直交している。各差分ベクトルの長さを１．０に正規化した後で、差分部分空間の基底ベクトルとする。
【００５２】
ここで、同じ照明条件で生成した異なる人物ｉ，ｊの部分空間Ｈｉ，Ｈj の差分部分空間をＤijとする。ｍ人分の部分空間セットから２つの部分空間を取り出して合計ｍＣ２個の差分部分空間を求める。それらの共通部分空間を  Ｄとする。実際には、完全な共通部分空間は存在しない場合が多いため、共通部分空間に近い部分空間が求められる。
【００５３】
【数９】
0004087953.tif 000010
具体的に、差分部分空間Ｄはｍ人分の部分空間セットから以下の手順により求まる。
【００５４】
1.まず各人物の部分空間Ｈに対応する射影行列Ｈを求める。
【００５５】
2.ｍ個から２個を取り出して、合計ｗ＝ｍＣ２個の差分部分空間Ｄijを求める。
【００５６】
3.差分部分空間Ｄijの共通部分空間を求める。そのために射影行列ｗ個の射影行列Ｄk を平均した生成行列Ｇを求める。
【００５７】
【数１０】
0004087953.tif 000011
ここでαk は以下の式を満たす正の実数である。
【００５８】
【数１１】
0004087953.tif 000012
生成行列Ｇの固有値は、０．０〜１．０に分布する。０．０に対応する固有ベクトルは共通空間に完全に直交する空間を形成する基底ベクトルとなる。１．０に対応する固有ベクトルは、共通空間を形成する固有ベクトルである。これ以外の固有値に対応する固有ベクトルは、固有値の大きさが共通空間との近さを表す指標になっている。ここでは、固有値が０より大きい固有ベクトルを共通空間Ｄを張る基底ベクトルとする。また、パラメータαを調整することにより、各部分空間の重みを変えることができる。
【００５９】
この差分部分空間は、２つの部分空間が同じ照明条件で生成されているため、照明変動成分を含まない。よって、この部分空間を制約部分空間とすれば照明変動成分の影響を抑えた識別を実現することができる。定性的には、照明変動は主に頬、額領域に影響を及ぼすため、この領域の情報を無視することで照明変動に対するロバスト性が向上する。
【００６０】
また、差分部分空間は、他人との違いを強調して類似した人物同士に対する識別分解能を向上させる効果がある。目、口、鼻など他人との差が表れ易い特徴的な領域のパターン情報を重視して、逆にほほや額領域などの他人との区別には有効でないパターン情報は無視されることになる。
【００６１】
差分部分空間は、各人物毎に準備しても良い。この場合は、当人と他人との差分部分空間の共通部分空間がその人物固有の差分部分空間となる。各自に対して異なる差分部分空間が準備されることになる。
【００６２】
なお、部分空間に対する各操作に関する詳細は、文献〔エルッキ・オヤ著、小川英光、佐藤誠訳、“パターン認識と部分空間法”産業図書、1986〕あるいは〔Therrien,C.W.,"Eigenvalue properties of projection operators and their application to the subspace method of feature extraction",IEEE Trans.Comput,C-24,p.944-948,1975〕に詳しい。
【００６３】
（自己変動部分空間）
同一人物の変形を表す部分空間を“自己変動部分空間”と呼ぶ。自己変動部分空間Ｓは、各人物の部分空間の第２基底ベクトル以降が張る部分空間の共通部分空間として定義される。
【００６４】
（差分部分空間と自己変動部分空間の組み合わせ）
差分部分空間と自己変動部分空間との相関は高い。差分部分空間から自己変動成分に近い部分空間を取り除くことができれば、さらに識別性能が向上する。
【００６５】
【数１２】
0004087953.tif 000013
ここでＳは部分空間Ｓの射影行列、Ｉは単位行列を示している。
【００６６】
制約部分空間Ｌは、以下に示す生成行列ＧL の０より大きい固有値に対応する固有ベクトルが張る部分空間として求まる。
【００６７】
【数１３】
0004087953.tif 000014
ここで、重み係数α，βは正の実数である。
【００６８】
または文献「エルッキ・オヤ著：“パターン認識と部分空間法”産業図書（1986）」に述べてある２つの部分空間を直交化する方法を用いて、差分部分空間と自己変動部分空間を直交化すれば良い。
【００６９】
あるいは、参考文献〔エルッキ・オヤ著：“パターン認識と部分空間法”産業図書（1986年）〕に述べてある学習部分空間法の考え方を用いて差分部分空間を自己変動部分空間から遠ざける方向に回転させることもできる。この場合の回転方向は、差分部分空間と自己変動部分空間に相互部分空間法を適用して求まる最小角度を成す２つのベクトルｕ，ｖの中で自己変動部分空間に属するベクトルｖに直交する方向とすることができる。
【００７０】
【実施例】
本発明は、画像を初めとして様々なパターンの認識に適用可能であるが、説明をより具体的に行なうために、顔画像を対象にした場合を説明する。
【００７１】
（顔画像認識装置１０の内容）
以下、本発明の実施例を顔画像認識装置１０を例に取って説明する。
【００７２】
図１は、顔画像認識装置１０の概略構成図を示すブロック図である。顔画像認識装置１０は、画像入力部１１、顔領域抽出部１２、顔特徴点抽出部１３、正規化画像生成部１４、部分空間生成部１５、部分空間射影部１６、制約部分空間格納部１７、相互部分空間類似度計算部１８、辞書部分空間格納部１９、判定部２０、表示部２１からなる。
【００７３】
図２は、予めオフラインで行う辞書部分空間生成の流れを示している。
【００７４】
図３は、制約相互部分空間法の概念を示している。
【００７５】
そして、この顔画像認識装置１０は、ＩＴＶカメラをパソコンに接続してその機能を実現できる。この場合に、顔領域抽出部１２、顔特徴点抽出部１３、正規化画像生成部１４、部分空間生成部１５、部分空間射影部１６、相互部分空間類似度計算部１８、判定部２０の各機能を実現するプログラムをＦＤ，ＣＤ−ＲＯＭ，ＤＶＤなどの記録媒体に記録させておき、それをパソコンに記憶させれば良い。
【００７６】
（画像入力部１１）
画像入力部１１は、認識対象となる人物の画像を入力するためのものであり、例えばＩＴＶカメラからなる。この画像入力部１１から入力された画像０１はＡ／Ｄ変換器によりデジタル化されて顔領域抽出部１２に送られる。例えば、ＩＴＶカメラはモニタの下部に設置される。あるいはモニタの四角に設置しても良い。
【００７７】
（顔領域抽出部１２）
顔領域抽出部１２は、画像入力部１１から送られてきた入力画像から顔領域画像０２を常時抽出し続ける。
【００７８】
本実施例では、予め登録された標準顔画像（テンプレート）を全画面に渡って移動させながら相関値を計算し最も高い相関値をもっている領域を顔領域とする。相関値が設定されたしきい値より低い場合は、顔が存在しないとする。顔の向き変化に対応する為に部分空間法や複合類似度などにより複数のテンプレートを用いるとさらに安定に顔領域を抽出できる。この処理はカラー情報に基づく抽出法に置き換えて良い。
【００７９】
（顔特徴点抽出部１３）
顔特徴点抽出部１３では、抽出された顔領域内から瞳、鼻、口端などの特徴点を抽出する。形状情報とパターン情報を組み合わせた方法〔特願平８−６１４６３号〕が適用可能である。
【００８０】
この方法の基本的な考えは、位置精度の高い形状情報により特徴点の候補を求め、それをパターン照合で検証するというものである。本方法は形状情報により位置決めを行なうので高い位置精度が期待できる。
【００８１】
また、候補群からの正しい特徴点の選択に、マルチテンプレートを用いたマッチングを適用している為に特徴点の形状輝度の変動に対してロバストである。処理速度に関しては、計算コストの少ない分離度フィルターで絞り込んだ候補に対してのみパターン照合するので全体をパターン照合する方法に比べ計算量の大幅な削減が実現できる。この他にも、エッジ情報に基づく方法〔坂本静生、宮尾陽子、田島譲二、“顔画像からの目の特徴点抽出”、信学論D-ＩＩ,Vol.J76-D-Ｉ Ｉ,No.8,pp.1796-1804,August,1993〕、〔A．Ｌ.Yuillc,"Feature extraction from faces using deformable templates",IJCV,vol.8:2,pp.99-111,1992〕や固 有空間法を適用したEigen feature 法〔Alex Pentland,Rahark Moghaddam,Thad Starner,"View-based and modular eigenspaces for face recognition",CVPR '94,PP.84-91,1994〕、カラー情報〔佐々木努、赤松茂、末永康仁、“顔画像認識のための色情報を用いた顔の位置合わせ法”、IE91-2,pp.9-15,1991 〕に基づく方法が適用可能である。
【００８２】
（正規化画像生成部１４）
正規化画像生成部１４では、特徴点を基準にして正規化を施す。例えば、文献〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997〕に示された瞳、鼻穴を基準にした正規化処理を適用しても良い。この場合は、両瞳を結んだベクトル、及び鼻穴の中点と瞳中点を結んだベクトルの方向を、それぞれ水平、垂直に変換し、その長さを一定になるようにアフィン変換を施す。
【００８３】
（部分空間生成部１５）
部分空間生成部１５では、正規化画像生成部で逐次生成される正規化画像をヒストグラム平坦化、ベクトル長正規化を施した後でメモリに蓄える。予め規定された枚数の正規化画像が蓄えられたら、入力部分空間の生成を開始する。部分空間を逐次生成するために、同時反復法〔エルッキ・オヤ著、小川英光、佐藤誠訳、“パターン認識と部分空間法”，産業図書、1986年〕を適用する。これにより新しい正規化画像が入力される毎に部分空間が更新されてゆく。
【００８４】
なお、入力部分空間を生成するまでの処理についての詳細は、特許〔人物認証装置及び人物認証方法：特開平９−２５１５３４号〕及び文献〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997 〕に詳しい。
【００８５】
（部分空間射影部１６）
部分空間射影部１６では、部分空間生成部１５で生成された入力部分空間Ｐinを制約部分空間格納部１７に格納された制約部分空間Ｌ上へ射影した部分空間ＰinL を以下の手順により求める。
【００８６】
1.部分空間Ｐを張るｍ個の基底ベクトルを制約部分空間上へ射影する。
【００８７】
2.各射影ベクトルの長さを正規化する。
【００８８】
3.ｍ個の正規化ベクトルに対してグラムシュミットの直交化を施す。
【００８９】
4.直交化されたｍ個の正規化ベクトルが射影部分空間ＰinL の基底ベクトルとなる。
【００９０】
各部分空間の次元はデータの種類に応じて実験的に決める。例えば差分部分空間の次元数は７０、自己変動部分空間の次元は２０次元、入力部分空間の次元は５次元と設定する。重みパラメータに関しては同様に実験的に決める。例えばα＝０．７、β＝０．１などと設定する。
【００９１】
辞書部分空間格納部１９に格納された人物ｉの辞書部分空間ＨL i は、各人物に対応する部分空間Ｈi を制約部分空間へ射影した部分空間として予めオフライン処理で部分空間射影部１６により求めておく。この手順を図２に示す。
【００９２】
（相互部分空間類似度計算部１８）
相互部分空間類似度計算部１８では、入力部分空間ＰinL と辞書部分空間格納部１９に格納された人物ｉの辞書部分空間Ｈi L 間の最大ｃｏｓ2 θを式（１３）より求める。あるいは、２番目、３番目の固有値を考慮した類似度を求めても良い。例えば、Ｎ番目までの固有値の荷重平均や乗和、あるいは固有値の分布自体をベクトルと見なして類似度とすることもできる。この類似度を辞書登録されているｍ人に対して求める。
【００９３】
（判定部２０）
判定部２０では、ｍ人の中で最も類似度が高く、その値が予め設定されたしきい値より大きい場合、対応する人物ｉを本人と同定する。この場合、第２候補以降の類似度も考慮して決定しても良い。例えば、第２候補との類似度の差がしきい値より小さい場合は不確定とすることができる。
【００９４】
（表示部２１）
ＣＲＴ、スピーカなどの表示部２１では、識別結果を画面に表示したり音声で知らせる。
【００９５】
（制約部分空間の生成）
ここでは、差分部分空間と自己変動部分空間の生成手順について説明する。
【００９６】
(1) 各人物の部分空間生成
照明条件一定においてｍ人に対して複数枚の顔画像データを文献〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997 〕の方法により収集する。その際被験者の数は多い程好ましい。また収集の際には、被験者に顔を左右上下に向けてもらう。収集した正規化画像データに対して、ヒストグラム平坦化、ベクトル長正規化などの前処理を行った後に、ＫＬ展開を適用して部分空間を張る基底ベクトルを求める。
【００９７】
(2) 差分部分空間の生成
生成手順を図４に示す。
【００９８】
(1) で生成したｍ個の部分空間から２つの部分空間を取り出して、その差分部分空間を求める。これをｍＣ２個の組合せについて行う。さらにｍＣ２個の差分部分空間の共通部分空間を式（２４）により求め、差分部分空間とする。
【００９９】
あるいは、差分部分空間は人物ｉ，ｊの２つの部分空間から求めるのではなく、人物ｉ，ｊの正規化画像の差分画像の集合から求めることも可能である。異なる人物間の差分画像を、全ての組み合わせについて求める。収集した差分画像のデータセットに対してＫＬ展開を適用して固有ベクトルを求める。固有値が基準より大きい固有ベクトルを差分部分空間を張る基底ベクトルとする。
【０１００】
(3) 自己変動部分空間の生成
(1) で生成した各部分空間の第２基底ベクトル以降が張る部分空間を各人の自己変動部分空間として求める。求まったｍ個の自己変動部分空間の共通部分空間が自己変動部分空間となる。
【０１０１】
(4) 差分部分空間と自己変動部分空間を融合した制約部分空間を式（２９）により求める。
【０１０２】
（経年変化に対する制約部分空間）
【数１４】
0004087953.tif 000015
ここで、重み係数α，β，γは正の実数である。
【０１０３】
さらに、３つ以上の制約部分空間の統合も以下の式により容易に行える。
【０１０４】
【数１５】
0004087953.tif 000016
ここで、αは正の実数、Ｌi ，ｉ＝ｌ，ｎは制約部分空間Ｌi に対応する射影行列を表している。
【０１０５】
（前処理の併用）
本実施例では、ＴＶカメラから得られる輝度画像を対象とする例について説明した。
【０１０６】
既に述べた様に、本発明において、入力パターンの種類に関する制限は無い。輝度画像から直接生成した差分部分空間は照明変動の影響が多少残っていると思われるので、濃淡情報を照明変動の受け難い特徴量に変換した後、本発明を適用すれば、さらに識別性能の向上が期待できることは容易に類推できる。例えば、文献〔赤松茂、佐々木努、深町映夫、末永康仁、“濃淡画像マッチングによるロバストな正面顔の識別法−フーリエスペクトルによるＫＬ展開の応用−”、信学論(D-II)、J76-DII,7,pp.1363-1373,1993〕に述べられてある様に、濃淡画像から生成したフーリエスペクトルパターンを入力としても本発明の効果が増す。
【０１０７】
（情報フィルタリング処理への適用）
図７は、キーワードを使ってデータベース検索を行う情報フィルタリング装置１００に関する構成図である。
【０１０８】
情報フィルタリング装置１００は、プロファイル入力部１０１、部分空間生成部１０２、部分空間射影部１０３、制約部分空間格納部１０４、類似度算出部１０５、辞書部分空間格納部１０６、判定部１０７から構成される。
【０１０９】
情報フィルタリングでは、ユーザの関心や興味を記述したプロファイルとの類似度を算出し、類似度順にランキングする。
【０１１０】
ここで類似度の算出は、ベクトル空間法をベースに行う〔住田一男他、情報フィルタリング技術、東芝レビュー、Vol.51,No.1,pp.42-44(1996)〕。
【０１１１】
本実施例では、一つのプロファイルを一つの部分空間に対応させる。このためには、データ全体を一度にベクトル化するのではなく、ある規則で区切られたデータ、例えば、章毎のデータに対してベクトル化を行う。章毎に得られたベクトル群から部分空間を生成する。なお類似度は部分空間と部分空間の成す角度から得られる値とする。
【０１１２】
プロファイル入力部１０１に入力されたプロファイルは、部分空間生成部１０２において部分空間に変換される。入力部分空間は、部分空間射影部１０３において制約部分空間格納部１０４に格納された制約部分空間上に射影される。
【０１１３】
射影された入力部分空間は、類似度算出部１０５に送られて辞書部分空間格納部１０４に格納された辞書部分空間との類似度が相互部分空間法により求められる。
【０１１４】
類似度は判定部１０７に送られて入力プロファイルがどのプロファイルに近いかを判定する。
【０１１５】
本実施例で用いる制約部分空間は、予め用意された複数の部分空間に対して、以下の手順により生成する。
【０１１６】
1.異なるプロファイルとして分類すべき２つの部分空間の差分部分空間を全ての組み合わせに対して求める。
【０１１７】
2.求めた差分部分空間から共通部分空間を求め、この求めた制約部分空間１とする。
【０１１８】
3.同じプロファイルと分類したい２つの部分空間の差分部分空間を全ての組み合わせについて求める。
【０１１９】
4.求めた差分部分空間の共通部分空間を求めて、さらにこの共通部分空間と直交する部分空間を制約部分空間２とする。
【０１２０】
5.制約部分空間１と制約部分空間２を組み合わせた部分空間を最終的な制約部分空間とする。
【０１２１】
上記の制約部分空間を用いることにより、精度の悪いキーワードを選択しても、自動的にこれらの影響を取り除いて安定なデータベース検索が行える。
【０１２２】
なお、本発明は、上記の顔画像パターンの認識以外に、音声パターン、情報フィルタリングにおけるプロファイルパターンなどあらゆるパターン情報に対しても成り立つ。
【０１２３】
【発明の効果】
以上、本発明によれば、パターン情報を収得する際に混入する識別に不必要な情報を効率良く取り除いてパターン認識を安定に行うことができる。特に、顔画像認識に適用すると、高い変形吸収能力と照明変動に対する高いロバスト性が実現できる。
【図面の簡単な説明】
【図１】顔画像認識装置１０の構成図である。
【図２】辞書部分空間の生成手順の説明図である。
【図３】制約相互部分空間法の説明図である。
【図４】差分部分空間の生成の説明図である。
【図５】自己変動部分空間の生成の説明図である。
【図６】複数の制約部分空間の統合の説明図である。
【図７】情報フィルタリング装置の構成図である。
【符号の説明】
１１    画像入力部
１２    顔領域抽出部
１３    顔特徴点抽出部
１４    正規化画像生成部
１５    部分空間生成部
１６    制約部分空間格納部
１７    辞書部分空間格納部
１８    部分空間射影部
１９    相互部分空間計算部
２０    判定部
２１    表示部
【図１】
0004087953.tif 000017
【図２】
0004087953.tif 000018
【図３】
0004087953.tif 000019
【図４】
0004087953.tif 000020
【図５】
0004087953.tif 000021
【図６】
0004087953.tif 000022
【図７】
0004087953.tif 000023