(57)【特許請求の範囲】
【請求項１】
辞書パターンを入力するための辞書パターン入力部と、
前記辞書パターンから、ｍ個のカテゴリの各々に対応するｍ個の辞書部分空間を生成する辞書部分空間生成部と、
前記辞書部分空間の各々への射影行列の和行列を求め、前記和行列の固有ベクトルのうち固有値の小さい方から選んだｃ個の前記固有ベクトルから一つの制約部分空間を生成する制約部分空間生成部と、
前記辞書部分空間の各々を前記制約部分空間に射影して、前記カテゴリの各々に対応するｍ個の制約辞書部分空間を生成する辞書射影部と、
前記制約部分空間と前記制約辞書部分空間を出力する出力部と、
を有するパターン認識用辞書生成装置。
【請求項２】
前記制約部分空間生成部は、前記辞書部分空間の各々の基底ベクトルから前記射影行列を求めることを特徴とする請求項１記載のパターン認識用辞書生成装置。
【請求項３】
前記制約部分空間生成部は、同一カテゴリに属する辞書パターンから表現された辞書部分空間を一つの部分空間に統合してから制約部分空間を生成することを特徴とする請求項１乃至請求項２記載のパターン認識用辞書生成装置。
【請求項４】
ｍ個のカテゴリの各々に対応する辞書部分空間への射影行列から求められる和行列の固有ベクトルのうち、固有値の小さい方から選んだｃ個の固有ベクトルから生成された一つの制約部分空間を格納しておく制約部分空間格納部と、
前記辞書部分空間の各々を前記制約部分空間に射影して得られるｍ個の制約辞書部分空間を格納しておく制約辞書部分空間格納部と、
認識対象の入力パターンを入力する入力部と、
前記入力パターンから入力部分空間を生成する部分空間生成部と、
前記入力部分空間を前記制約部分空間に射影して制約入力部分空間を求める部分空間射影部と、
前記制約入力部分空間と前記制約辞書部分空間との間の正準角を求め、前記正準角を用いて前記対象を識別する識別部と、
を有することを特徴とするパターン認識装置。
【請求項５】
請求項１乃至請求項３記載のパターン認識用辞書生成装置からの出力のうち、
前記制約部分空間格納部には前記制約部分空間を格納し、
前記制約辞書部分空間格納部には前記制約辞書部分空間を格納することを特徴とする請求項４記載のパターン認識装置。
【請求項６】
辞書パターンを入力するための辞書パターン入力ステップと、
前記辞書パターンから、ｍ個のカテゴリの各々に対応するｍ個の辞書部分空間を生成する辞書部分空間生成ステップと、
前記辞書部分空間の各々への射影行列の和行列を求め、前記和行列の固有ベクトルのうち固有値の小さい方から選んだｃ個の前記固有ベクトルから一つの制約部分空間を生成する制約部分空間生成ステップと、
前記辞書部分空間の各々を前記制約部分空間に射影して、前記カテゴリの各々に対応するｍ個の制約辞書部分空間を生成する辞書射影ステップと、
前記制約部分空間と前記制約辞書部分空間を出力する出力ステップと、
を有するパターン認識用辞書生成方法。
【請求項７】
前記制約部分空間生成ステップでは、前記辞書部分空間の各々の基底ベクトルから前記射影行列を求めることを特徴とする請求項６記載のパターン認識用辞書生成方法。
【請求項８】
前記制約部分空間生成ステップでは、同一カテゴリに属する辞書パターンから生成された辞書部分空間を一つの部分空間に統合してから、制約部分空間を生成することを特徴とする請求項６乃至請求項７記載のパターン認識用辞書生成方法。
【請求項９】
入力パターンを部分空間で表現した入力部分空間と辞書パターンを部分空間で表現した辞書部分空間とを、前記辞書部分空間の間の共通な成分を抑制するための制約部分空間に射影してから識別する制約相互部分空間法を用いたパターン認識方法であって、
ｍ個のカテゴリの各々に属する辞書パターンの辞書部分空間を前記カテゴリの各々に対応する一つの部分空間に統合してから前記カテゴリの各々の射影行列を求めて、
ｍ個の前記射影行列から和行列を計算し、
前記和行列の固有ベクトルのうち、固有値の小さい方から選んだｃ個の前記固有ベクトルで張られる部分空間から前記制約部分空間を求める、
ことを特徴とするパターン認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はパターン認識を行う装置及びパターン認識方法に関する。
【０００２】
【従来の技術】
パターン認識の手法として、部分空間法（例えば、非特許文献１、非特許文献２）の拡張として開発された相互部分空間法と呼ばれる手法が提案されている（例えば、非特許文献３、特許文献１）。
【０００３】
相互部分空間法では、まず、予め辞書パターン分布を部分空間で表現して辞書部分空間を生成しておく。部分空間の生成は基底ベクトルを求めれば良い。
【０００４】
そして、認識対象の入力パターン分布を部分空間で表現して入力部分空間を生成する。それから、入力部分空間と予め生成しておいた各辞書部分空間との間のなす最小正準角を求め、認識対象は最小正準角が最小となる辞書部分空間に対応するカテゴリに属すると判定する。
【０００５】
カテゴリに属するとは、例えば画像を用いた人間の顔の認識であれば「現在認識を受けている人は当該辞書に登録された人である」ということである。
【０００６】
相互部分空間法では入力側、辞書側双方を部分空間で表現しているため、部分空間法に比べるとパターンの変形の吸収能力が優れているが、他のカテゴリとの関係を考慮していないために、例えば顔の認識の場合、照明条件などの影響を受け易いという問題があった。
【０００７】
そこで、識別に必要な本質的な特徴から構成される「制約部分空間」を予め用意し、比較すべき部分空間を制約部分空間に射影した上で相互部分空間法を適用する「制約相互部分空間法」と呼ばれる手法が提案されている（例えば、非特許文献４、特許文献２）。
【０００８】
制約相互部分空間法では図７に示すように、比較する部分空間Ｐ、Ｑを制約部分空間Ｌに射影して得られる部分空間Ｐ’、Ｑ’を相互部分空間法により比較する。
【０００９】
部分空間Ｐ’、Ｑ’は部分空間Ｐ、Ｑの本質的な特徴を受け継ぐので、部分空間Ｐ’、Ｑ’間の差異は部分空間Ｐ、Ｑ間の差異（図中ではベクトルｄで表現されているが一般には差異空間として表現される）のうち、本質的な部分を抽出したものになる。
【００１０】
従って、相互部分空間法よりもパターンの変形の吸収能力が優れているという利点がある。
【００１１】
【特許文献１】
特開平１１−２６５４５２号公報
【特許文献２】
特開２０００−３００６５公報
【００１２】
【非特許文献１】
飯島泰蔵、「パターン認識理論」、森北出版、（１９８９）
【非特許文献２】
エルッキオヤ著、「パターン認識と部分空間法」、産業図書、（１９８６）
【非特許文献３】
前田賢一、渡辺貞一、「局所的構造を導入したパターン・マッチング法」、信学論（Ｄ）、ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２、１９８５．
【非特許文献４】
福井和広，山口修，鈴木薫，前田賢一、「制約相互部分空間法を用いた環境変化にロバストな顔画像認識−照明変動を抑える制約部分空間の学習−」、電子情報通信学会論文誌（Ｄ−ＩＩ）、ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，ｎｏ．４ｐｐ．６１３−６２０、１９９９．
【００１３】
【発明が解決しようとする課題】
従来の制約相互部分空間法では、制約部分空間を２つの部分空間の差異を表す差分部分空間の集合から手続き的に生成している。
【００１４】
手続き的な生成手法では、まず、同一カテゴリ内に属する部分空間の全組み合わせについて差分部分空間を生成し、全ての差分部分空間の主成分部分空間から第１の変動部分空間を生成する。
【００１５】
「同一カテゴリに属する部分空間」とは、画像を用いた顔認識で例示すると「同一人物の顔画像から生成した部分空間」である。次に、異なるカテゴリに属する部分空間の全組み合わせについて差分部分空間を求め、求めた全ての差分部分空間の主成分部分空間から第２の変動部分空間を生成する。
【００１６】
ここで求めた第１の変動部分空間は、画像を用いた顔認識であれば「同一人物を異なる条件（表情、照明など）で撮影したときの変化」に相当するもので、識別の際にはできるだけ抑制したい成分を抽出した空間であると言える。一方、第２の変動部分空間は、画像を用いた顔認識であれば「他人と自分との違い」に相当するもので、識別の際には考慮したい成分を抽出した空間であると言える。
【００１７】
従って、第１の変動部分空間の補空間と第２の変動部分空間とは共に識別の際に考慮したい成分を抽出した空間であり、これらの共通部分を制約部分空間として算出する。
【００１８】
しかし、上述のような手続き的な制約部分空間の生成方法では、部分空間の全組み合わせについて差分部分空間を生成する必要がある。部分空間がｍ個存在するとmＣ2回の差分部分空間を計算する必要がある。そのため、カテゴリ数が多くなると求めるべき差分部分空間の数が膨大になって処理速度が遅くなるという問題があった。
【００１９】
本発明では、より簡単かつ計算量の少ない手法で制約部分空間を生成して用いるパターン認識装置及び方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するために本発明のパターン認識用辞書生成装置は、辞書パターンを入力するための辞書パターン入力部と、前記辞書パターンから辞書部分空間を生成する辞書部分空間生成部と、前記辞書部分空間の射影行列の和行列から制約部分空間を生成する制約部分空間生成部と、前記辞書部分空間を前記制約部分空間に射影して制約辞書部分空間を生成する辞書射影部と、前記制約部分空間と前記制約辞書部分空間を出力する出力部とを有する。
【００２１】
本発明のパターン認識用辞書生成装置では、前記制約部分空間生成部は、前記辞書部分空間の射影行列の和行列の固有値の小さい方から選んだｃ個の固有ベクトルから、前記制約部分空間を生成することを特徴としていても良い。
【００２２】
本発明のパターン認識用辞書生成装置では、前記制約部分空間生成部は、同一カテゴリに属する辞書パターンから表現された辞書部分空間を一つの部分空間に統合してから制約部分空間を生成することを特徴としていても良い。
【００２３】
本発明のパターン認識装置は、辞書パターンに対応する制約辞書部分空間を格納しておく制約辞書部分空間格納部と、認識対象の入力パターンを入力する入力部と、前記入力パターンから入力部分空間を生成する部分空間生成部と、予め、前記辞書パターンから生成した辞書部分空間への射影行列の総和を用いて生成した制約部分空間を格納しておく制約部分空間格納部と、前記入力部分空間を前記制約部分空間に射影して制約入力部分空間を求める部分空間射影部と、前記制約入力部分空間と前記制約辞書部分空間との間の正準角を求め、前記正準角を用いて前記対象を識別する識別部とを有することを特徴とする。
【００２４】
また、本発明のパターン認識装置は、上記パターン認識用辞書生成装置からの出力のうち、前記制約部分空間格納部には前記制約部分空間を格納し、前記制約辞書部分空間格納部には前記制約辞書部分空間を格納することを特徴としていても良い。
【００２５】
本発明のパターン認識用辞書生成方法は、辞書パターンを入力するための辞書パターン入力ステップと、前記辞書パターンから辞書部分空間を生成する辞書部分空間生成ステップと、前記辞書部分空間の射影行列の和行列から制約部分空間を生成する制約部分空間生成ステップと、前記辞書部分空間を前記制約部分空間に射影して制約辞書部分空間を生成する辞書射影ステップと、前記制約部分空間と前記制約辞書部分空間を出力する出力ステップとを有することを特徴とする。
【００２６】
また、本発明のパターン認識用辞書生成方法の前記制約部分空間生成ステップでは、前記辞書部分空間の射影行列の和行列の固有ベクトルのうち、固有値の小さい方から選んだｃ個を用いて前記制約部分空間を生成することを特徴としていても良い。
【００２７】
また、本発明のパターン認識用辞書生成方法の前記制約部分空間生成ステップでは、同一カテゴリに属する辞書パターンから生成された辞書部分空間を一つの部分空間に統合してから、制約部分空間を生成することを特徴としていても良い。
【００２８】
本発明のパターン認識方法は、前記制約部分空間として、同一カテゴリに属する辞書パターンから表現された辞書部分空間を一つの部分空間に統合してから射影行列を求めて、前記射影行列の全カテゴリ若しくは一部カテゴリ分の和行列を計算し、前記和行列について固有値の小さい方から選んだｃ個の固有ベクトルで張られる部分空間を用いることを特徴とする。
【００２９】
【発明の実施の形態】
（第１の実施形態）以下、本発明の一実施形態であるパターン認識装置を応用した顔画像認識装置について図面を参照して説明する。
【００３０】
図１は本発明の一実施形態に係る顔画像認識装置の概略構成図を示すブロック図である。本装置は、認識対象となる人物の画像を撮影して入力画像を得る画像入力部１１と、入力画像から顔面に相当する領域の顔領域画像を抽出する顔領域抽出部１２と、顔領域画像から目、鼻、口等の特徴点を抽出する顔特徴点抽出部１３とを有する。
【００３１】
さらに本装置は、抽出した特徴点を基準にして顔領域画像を正規化する変換を施す正規化画像生成部１４と、所定の枚数の正規化した顔領域画像から入力部分空間Ｐinを張る基底ベクトルを求めて入力部分空間Ｐinを生成する部分空間生成部１５と、入力部分空間Ｐinを制約部分空間Ｌに射影して制約入力部分空間ＰinLを張る基底ベクトルを求めて制約入力部分空間ＰinLを生成する部分空間射影部１６と、制約部分空間Ｌを張る基底ベクトルを格納しておく制約部分空間格納部１７とを有する。
【００３２】
また本装置は、制約入力部分空間ＰinLと制約辞書部分空間ＨiLを用いて類似度を計算する相互部分空間類似度計算部１８と、認識を行う前に予め生成しておいた制約辞書部分空間ＨiLを張る基底ベクトルを記憶しておく制約辞書部分空間格納部１９と、求めた類似度から、入力画像に写った人が辞書に登録された人であるか（辞書に複数人登録されている場合は、どの人か）を判定する判定部２０と、識別結果等の表示を行う表示部２１とを有する。
【００３３】
図３は本装置の外観を説明する図である。本装置の外部には、カメラ１１０１と、モニタ２１０１と、スピーカ２１０２と、本装置の操作用インターフェース５００１が露出している。
【００３４】
カメラ１１０１は画像入力部１１を構成する部品で、人物の画像を取得するために用いる。モニタ２１０１及びスピーカ２１０２は表示部２１を構成する部品で、識別結果を画像や音声で表示するために用いる。本実施形態ではカメラ１１０１は本装置の正面、モニタ２１０１下に取り付けるものとするが、使用状況等に応じて取り付け位置は適宜変えてよい。
【００３５】
画像入力部１１は、認識対象となる人物をカメラ１１０１で撮影して入力画像を得る。そして、入力画像をＡ／Ｄ変換器でデジタルデータに変換して出力する。入力画像はカメラ１１０１によって連続的に得られるので、順次Ａ／Ｄ変換して順次出力していく。
【００３６】
顔領域抽出部１２は、得られた入力画像から顔領域を抽出して顔領域画像を順次生成する。顔領域の抽出は、予め登録しておいた標準顔画像を用いたテンプレートマッチングにより行う。標準顔画像を入力画像中で移動させながら相関値を計算し、相関値が最も高い領域を顔領域とする。ただし、相関値が所定の閾値より低い場合は、顔が存在しないとする。例えば、１００％完全一致した場合の相関値を「１００」とした場合、閾値は「３０」に設定する。顔領域抽出にあたっては、顔向きの変化に対応するために部分空間法や複合類似度などにより複数のテンプレートを用いると、更に精度良く顔領域を抽出できる。
【００３７】
顔特徴点抽出部１３は抽出された顔領域画像から瞳、鼻、口端などの特徴点を抽出する。本実施形態では特徴点の抽出方法としては特開平９−２５１５３４号公報で提案されている位置精度の高い形状情報により求めた特徴点の候補をパターンマッチングで検証する方法を用いる。
【００３８】
ただし、特徴点を抽出することができればこの方法に限らず、例えば「坂本静生，宮尾陽子，田島譲二，”顔画像からの目の特徴点抽出”，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ。１７９６−１８０４，Ａｕｇｕｓｔ，１９９３．」及び「Ａ．Ｌ．Ｙｕｉｌｌｅ，”Ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｉｏｎ  ｆｒｏｍ  ｆａｃｅｓ  ｕｓｉｎｇ  ｄｅｆｏｒｍａｂｌｅ  ｔｅｍｐｌａｔｅｓ”，ＵＪＣＶ，ｖｏｌ８：２，ｐｐ．９９−１１１，１９９２」で提案されているエッジ情報に基づく方法や、「Ａｌｅｘ  Ｐｅｎｔｌａｎｄ，Ｂａｂａｃｋ  Ｍｏｇｈａｄｄａｍ，Ｔｈａｄ  Ｓｔａｒｎｅｒ，”Ｖｉｅｗ−ｂａｓｅｄ  ａｎｄ  ｍｏｄｕｌａｒ  ｅｉｇｅｎｓｐａｃｅｓ  ｆｏｒ  ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ”，ＣＶＰＲ’９４，ｐｐ．８４−９１，１９９４．」で提案されている固有空間法を適用したＥｉｇｅｎ  ｆｅａｔｕｒｅ法や、「佐々木努，赤松茂，末永康仁，”顔画像認識のための色情報を用いた顔の位置合わせ法”，ＩＥ９１−２，ｐｐ．９−１５，１９９１．」で提案されているカラー情報による方法を用いても良い。
【００３９】
正規化画像生成部１４では、「山口修，福井和広，前田賢一，”動画像を用いた顔認識システム”，信学技報，ＰＲＭＵ９７−５０，ｐｐ．１７−２４，１９９７．」で提案されている、瞳、鼻穴を基準にした正規化処理を施して正規化画像を生成する。正規化処理の内容は、両方の瞳を結んだ第１のベクトルと、鼻穴の中点と瞳の中点を結んだ第２のベクトルについて、第１のベクトルが水平になり、第１のベクトルと第２のベクトルが直交し、そして第１、第２のベクトルが所定の長さになるようにアフィン変換を施すというものである。
【００４０】
部分空間生成部１５では、正規化画像生成部１４で逐次生成される正規化画像をヒストグラム平坦化、ベクトル長正規化を施した後で図示しないメモリに蓄える。そして、所定の枚数の正規化画像が蓄積されたら、入力部分空間Ｐinの生成、すなわちＰinを張るｍ個の基底ベクトルを生成する。
【００４１】
本装置では画像入力部１１のカメラ１１０１を介して入力画像が連続的に得られ、順次、顔領域抽出処理、特徴点抽出処理、正規化処理が行われるので正規化画像も連続的に得ることができる。部分空間も正規化画像が得られる度に逐次生成して更新できれば、リアルタイムにパターン認識処理を行うことができてパターン入力が容易になる。そこで、本装置では部分空間を逐次生成する手法として「エルッキ・オヤ著，小川英光，佐藤誠  訳，”パターン認識と部分空間法”，産業図書，１９８６．」で述べられている同時反復法を適用する。
【００４２】
部分空間射影部１６では、部分空間生成部１５で生成された入力部分空間Ｐinを、制約部分空間格納部１７に格納されている制約部分空間Ｌ上へ射影して制約入力部分空間ＰinLを次の手順で生成する。
【００４３】
まず、入力部分空間Ｐinを張るｍ個の基底ベクトルを制約部分空間Ｌ上へ射影する。そして、射影した各基底ベクトルを、ベクトル長を正規化して正規化ベクトルにする。さらに、正規化ベクトルにグラムシュミットの直交化を施して正規直交化ベクトルにする。以上の手順で生成されたｍ個の正規直交化ベクトルは、入力部分空間Ｐinを制約部分空間Ｌに射影して生成した制約入力部分空間ＰinLの基底ベクトルである。
【００４４】
制約辞書部分空間格納部１９に格納されている人物ｉの制約辞書部分空間ＨiLは、各人物に対応する辞書部分空間Ｈiを制約部分空間Ｌに射影した部分空間で、人物ｉを辞書に登録した時点で予め部分空間射影部１６で生成しておく。制約辞書部分空間ＨiLの生成手順については後述する。
【００４５】
入力部分空間Ｐin、辞書部分空間Ｈi及び制約部分空間Ｌの次元数は、データの種類に応じて実験的に決める。顔パターンのデータが２２５次元の場合は、入力部分空間及び辞書部分空間は５〜１０次元に、制約部分空間は１５０〜１８０次元に設定すると良いことが実験的にわかっている。
【００４６】
相互部分空間類似度計算部１８では、制約入力部分空間ＰinLと制約辞書部分空間格納部１９に格納された人物ｉ（ｉ＝１・・・ｍ）の制約辞書部分空間ＨiLとのなす最小正準角θ1に対するｃｏｓ2θ1を、全ての辞書について計算して、類似度とする。
【００４７】
具体的にはｃｏｓ2θ1は以下の式で定義される。ただし、制約入力部分空間ＰinLに対する射影行列を行列Ｐとし、制約辞書部分空間ＨiLに対する射影行列を行列Ｈとし、行列ＰＨＰの最大固有値をλ1とする。
【００４８】
【数１】
0003995614.tif 000002
【００４９】
尚、類似度は、ｃｏｓ2θ1に限らず、第ｔ正準角θrまでのｔ個のｃｏｓ2θj（ｊ＝１〜ｔ）の加重平均、積、乗和、またはこれらをベクトル化したものを用いても構わない。
【００５０】
判定部２０では、ｍ人の中で類似度が最大かつ所定の閾値以上である人物ｒを本人と同定する。この時、第２候補以降の類似度も考慮して決定しても良い。例えば、第２候補との類似度の差が閾値より小さい場合は不確定とする。
【００５１】
表示部２１は液晶画面とスピーカとを持ち、識別結果を画面に表示して、音声で知らせる。また、表示部２１は識別結果を他の機器に出力する出力部も持っている。以下は図示していないが、表示部２１は電子錠に識別結果を出力し、電子錠は識別結果に応じて開錠や施錠を行う。
【００５２】
（具体的な制約辞書部分空間の生成手順）以下、制約辞書部分空間ＨiLを生成して制約辞書部分空間格納部１９に格納する処理で使用する本装置各部と、処理の流れを図２を用いて説明する。
【００５３】
図２は制約辞書部分空間生成に関わる主要部分を抽出した図である。主要部分は、辞書部分空間Ｈiを制約辞書部分空間ＨiLに射影する部分空間射影部１６と、制約部分空間Ｌを格納しておく制約部分空間格納部１７と、生成した制約辞書部分空間ＨiLを格納する制約辞書部分空間格納部１９と、図１の画像入力部１１から部分空間部１５までを利用して生成された辞書部分空間Ｈiを格納しておく部分空間格納部２２である。部分空間格納部２２は図１では図示されていないが、あとは図１と同じ物である。
【００５４】
本装置の制約部分空間生成処理では、登録する人物を撮影してから辞書部分空間Ｈiを生成する、すなわち辞書パターンを入力して辞書部分空間を生成する処理までは、識別を行う時に入力パターンたる識別対象の人物を撮影してから入力部分空間Ｐiを生成する処理と同じ動作であるので説明を省略する。
【００５５】
部分空間格納部２２は、部分空間生成部１５で生成された辞書部分空間Ｈiを受け取って格納しておく。そして、部分空間射影部１６は制約部分空間格納部１７から制約部分空間Ｌを読み出して、部分空間格納部２２に格納されている辞書部分空間Ｈiを順次読み出して制約部分空間Ｌへの射影を行い、制約辞書部分空間ＨiLを順次生成する。制約辞書部分空間格納部１９は生成された制約辞書部分空間ＨiLを格納する。
【００５６】
（具体的な制約部分空間の生成手順）以下、図４を参照して人間の顔認識を行う場合を例に挙げて制約部分空間の生成手順を説明する。
【００５７】
まず、各人物毎に様々な顔向き、表情、照明条件などを含んだ正規化顔パターンを収集する。収集には「山口修、福井和広、前田賢一，”動画像を用いた顔認識システム”，信学技報，ＰＲＭＵ９７−５０，ｐｐ．１７−２４，１９９７．」に記載された方法を用い、収集時には照明条件を多様に変化させながら被登録者の顔面の画像を上下左右様々な方向から撮影する（Ｓ４０１）。
【００５８】
収集したｆ次元の正規化画像データに対して、ヒストグラム平坦化、ベクトル長正規化などの前処理を行った後に、ＫＬ展開を適用して部分空間を張る基底ベクトルを求める。この時、同一人物について異なる条件で取得した顔画像から部分空間が生成済みの場合は、一つの部分空間に統合しておく。すなわち、一人に対して部分空間は一つだけ割り当てる（Ｓ４０２）。そして、求めた部分空間の基底ベクトルから射影行列を計算する（Ｓ４０３）。
【００５９】
全ての人物（ｍ人とする）を登録するまでステップＳ４０１からＳ４０３までを繰り返す（Ｓ４０４）。
【００６０】
このようにして生成したｍ人分の部分空間に対する射影行列の総和Ｇを求める（Ｓ４０５）。そして、行列Ｇの固有値問題を解いて固有値を求める（Ｓ４０６）。求めた全固有値のうち値の小さいほうからｃ個を選び、これらの固有値に対応する固有ベクトルをｃ次元の制約部分空間Ｌの基底ベクトルとする（Ｓ４０７）。
【００６１】
この手順で制約部分空間Ｌを求める際に注意すべき点は「一人に対して部分空間は一つだけ割り当てる」ということである。すなわち、同一人物を異なる条件で撮影した画像から生成された部分空間は、全て同一の部分空間に統合しておくということである。統合を行わないと、本来主成分空間Ｐに含まれるべき同一カテゴリ（すなわち、同一人物）内での変動が制約部分空間Ｌに含まれることになり、識別の精度を落とす結果になる。
【００６２】
上述の制約部分空間及び制約辞書部分空間の生成を行うための装置の構成を図５に示す。この装置の画像入力部１１、顔領域抽出部１２、顔特徴点抽出部１３、正規化画像生成部１４、部分空間生成部１５、部分空間射影部１６は図１のパターン認識装置と同じものである。
【００６３】
まず、画像入力部１１、顔領域抽出部１２、顔特徴点抽出部１３、正規化画像生成部１４、部分空間生成部１５を用いて、顔画像認識の時と同様に入力された辞書パターンから辞書部分空間Ｈiを生成する。そして部分空間格納部２２は辞書部分空間Ｈiを格納する。部分空間格納部２２は、今までに登録された辞書部分空間Ｈiを蓄積していく。
【００６４】
制約部分空間部２３は部分空間格納部２２から辞書部分空間Ｈiを読み出して前述の手順で制約部分空間Ｌを生成して出力部２４と部分空間射影部１６に出力する。部分空間射影部１６は制約部分空間Ｌと部分空間Ｈiを用いて制約辞書部分空間ＨiLを出力部２４へ出力する。出力部２４は制約部分空間生成部２３で生成された制約部分空間Ｌ及び部分空間射影部１６で生成された制約辞書部分空間ＨiLを図示しない外部の装置に出力する。例えば外部の装置として図１に示す顔画像認識装置を接続した場合、制約部分空間Ｌは制約部分空間格納部１７に、制約辞書部分空間ＨiLは制約辞書部分空間格納部に格納することになる。
【００６５】
（制約部分空間の生成方法）以下、各部分空間から制約部分空間を生成する方法について説明する。
【００６６】
まず、２カテゴリ識別問題について説明し、次にこれを複数カテゴリの場合に拡張する。
【００６７】
（２カテゴリ識別問題）２カテゴリ識別問題においては、２つの部分空間の差分部分空間を制約部分空間として適用する。差分部分空間は２つの部分空間の差異を表す部分空間であり、２つの部分空間のなす正準角に基づく定義のほか、２つの部分空間に対する射影行列の和を用いても定義できる。本発明では射影行列の和を用いる。
【００６８】
ｎ次元部分空間Ａに対する射影行列Ｘとｍ次元部分空間Ｂへに対する射影行列Ｙは、部分空間Ａ、Ｂの基底ベクトルφi、ψiを用いて数２に示す関係で表され、部分空間と射影行列は一意に対応していることがわかる。
【００６９】
【数２】
0003995614.tif 000003
【００７０】
射影行列の和Ｇ2＝Ｘ＋Ｙはｍ＞ｎとすると、射影行列の和Ｇ2の持つｎ×２個の正の固有値に対応するｎ×２個の固有ベクトルを持つ。そして、差分部分空間Ｄ2はＧ2の持つｎ×２個の固有ベクトルのうち、固有値が１．０より小さいｎ個の固有ベクトルｄにより張られる空間となることが数学的に示される。数３はこれを表したものである。ここで、Ｓは部分空間Ａと部分空間Ｂの和空間で、Ｐは主成分部分空間である。
【００７１】
【数３】
0003995614.tif 000004
【００７２】
また、射影行列の和Ｇ2のｎ×２個の固有ベクトルのうち、固有値が１．０より大きいｎ個が張る主成分部分空間Ｐ2は２つの部分空間Ａ、Ｂの共通的な空間とみなせ、部分空間Ａ、Ｂから等しく近い空間と解釈できる。
【００７３】
以上に示した差分部分空間Ｄ2と主成分部分空間Ｐ2との関係から、一般に２つの部分空間の和空間Ｓは、主成分部分空間Ｐと差分部分空間Ｄに直和分解できることが示された。このことから差分部分空間Ｄは和空間Ｓから主成分部分空間Ｐを取り除いた空間であるといえる。従って、差分部分空間は２つの部分空間の差異を表すと同時に、２つの部分空間の平均的な変動に対して直交、すなわちこれらの変動を受けにくいという識別を行う上で望ましい特性を持つ。
【００７４】
（複数カテゴリ識別の場合）「差分部分空間Ｄは２つの部分空間の和空間から両者の共通空間である主成分空間を取り除いた空間である」ということをさらに一般化して、複数カテゴリに対する差分部分空間Ｄnはｎ個のｍ次元部分空間の和空間からｎ個の部分空間の主成分部分空間Ｐnを取り除いた空間であると定義する。
【００７５】
具体的には、以下の式に示すように、ｎカテゴリに対する差分部分空間Ｄnを各カテゴリ部分空間から計算される射影行列Ｘiの総和行列Ｇnに対する固有ベクトルで、固有値が小さい方から順に選んだｃ個のベクトルｄn×m、ｄn×m-1、ｄn×m-2、・・・、ｄn×m-c+1により張られる空間とする。ただし、ｎ×ｍが正規化データ次元数ｆよりより大きい場合にはｄf、ｄf-1、ｄf-2、・・・ｄf-c+1、により張られる空間となる。
【００７６】
【数４】
0003995614.tif 000005
【００７７】
この一般化された差分部分空間Ｄnも識別する上で好ましい空間となっている。なぜならば、図６に示したようにｎ個の部分空間に対する主成分部分空間Ｐnは、各カテゴリ内におけるパターン変動の全体平均を示しているからである。従って、この主成分部分空間Ｐnと直交する差分部分空間Ｄnにはこれらのパターン変動が含まれずに、これ以外の変動、つまりカテゴリ間の変動成分が主に含まれる。
【００７８】
ここで差分部分空間Ｄnを改めて複数カテゴリに対する制約部分空間Ｌとする。このようにして複数カテゴリ識別問題に対しても射影行列を用いることで容易な計算で解析的に制約部分空間Ｌが生成できる。これにより、従来の手続き的な手法に比べて演算量を減らせるので、処理速度が向上する。
【００７９】
尚、２２５次元のデータの顔パターンを識別する場合、上記ｃの値は１５０〜１８０が良いことが実験的にわかっている。
【００８０】
また、本実施形態ではカメラ１１０１で撮影した輝度画像を用いた顔認識を取り上げたが、これに限らず一般のパターン認識においても適用可能である。例えば、「赤松  茂、佐々木  努、深町  映夫，”濃淡画像マッチングによるロバストな正面顔の識別法  −  フーリエスペクトルによるＫＬ展開の応用  −”，信学論（Ｄ−ＩＩ），．Ｊ７６−ＤＩＩ，７，ｐｐ．１３６３−１３７３，１９９３．」で提案されているように、濃淡画像から生成したフーリエスペクトルパターンを入力として本発明を適用しても良い。
【００８１】
また、本実施形態では、正規化顔パターンをもとに入力部分空間および辞書部分空間を生成しているが、正規化顔パターンから多数の正規化顔パターン集合の平均顔パターンを引いたデータを用いて入力部分空間及び辞書部分空間を生成しても良い。この場合には、制約部分空間も平均顔パターンが引かれたデータから生成された部分空間から先に述べた手順により生成する。識別は平均顔を引かない場合と同様に生成された部分空間を制約部分空間へ射影したうえで行なう。このように平均顔を引くことで、元は原点に存在するベクトルの始点が、顔集合の中央の点に変更されるために、識別性能が向上することが期待できる。
【００８２】
（非線形識別への拡張）本実施形態では線形識別を仮定していた。カーネルトリックと呼ばれる計算技法を用いることにより、非線形識別への拡張が実現できる。
【００８３】
まず、カーネルトリック法について説明する。カーネルトリック法では、ｍ次元の原パターンｘを、非線形変換φにより、原空間Ａに比べて遥かに高い次元ｄφの空間、或いは無限次元の空間（以下、非線形空間Ｂ）に写像する。
【００８４】
【数５】
0003995614.tif 000006
【００８５】
そして、非線形空間Ｂ上の写像に対して部分空間法に基づく識別を行う。従来は高次元空間における識別は高い性能が望めないとされていた。しかし、原パターンｘを高次元空間に写像することで、原空間では線形識別が不可能な場合でも線形分離可能な分布に変換することができる。
【００８６】
図８では、原空間Ａでは原パターンｘ１とｙ１とは線形分離不能であるが、高次元空間Ｂに写像した写像パターンφ（ｘ１）と写像パターンφ（ｙ１）とは線形分離可能となっている。
【００８７】
このことを顔パターンと顔に極めて類似した非顔パターンとの識別に応用すると、顔パターンと非顔パターンとにそれぞれ非線形変換を施すことで、識別することができるようになる。
【００８８】
しかし、非線形空間Ｂ上において、写像パターンφ（ｘ１）と写像パターンφ（ｙ１）との内積（φ（ｘ１）、φ（ｙ１））を直接計算するのは計算量が膨大なため実用的ではない。まして、非線形空間Ｂが無限次元の場合は計算不可能である。
【００８９】
ところが、非線形変換φをカーネル関数ｋ（ｘ、ｙ）を介して定義すると、内積（φ（ｘ１）、φ（ｙ１））は内積（ｘ１、ｙ１）から計算することができる。これがカーネルトリック法である。
【００９０】
非線形変換φが存在するためには、カーネル関数ｋ（ｘ、ｙ）がマーサーの条件を満たす必要がある。カーネル関数ｋ（ｘ、ｙ）には例えば以下のような関数を用いることができる（ｐは任意の数）。
【００９１】
【数６】
0003995614.tif 000007
【００９２】
例えば、原パターンが２５６次元でｐ＝５とした場合、数６の（１）式を用いると１０10次元という極めて高次元の空間に写像される。また、数６の（３）式を用いると無限次元空間へ写像されることになる。数６の（３）式におけるσは識別対象に応じて決定する任意の実数である。
【００９３】
カーネルトリックはベクトルパターンの内積計算から構成される全ての識別法において導入可能であり、容易に非線形識別への拡張が実現できる。
【００９４】
代表的な方法であるカーネル非線形部分空間法は非線形空間上において部分空間法を適用する方法である。原空間における部分空間法に比べて大きく識別性能が向上し、現在最も高性能な識別法の１つとされているサポートベクタマシンと同等もしくは問題によってはそれ以上の良好な性能が得られることが確認されている。
【００９５】
この手法については、例えば「津田 宏治，『ヒルベルト空間における部分空間法』，電子情報通信学会論文誌 (Ｄ−ＩＩ），ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，ｐｐ．５５２−５９９，１９９９」や、「前田栄作、村瀬洋『カーネル非線形部分空間法によるパターン認識』，電子情報通信学会論文誌（Ｄ−ＩＩ），ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，ｎｏ．４，ｐｐ．６００−６１２，１９９９」で述べられている。
【００９６】
この他にも、相互部分空間法にカーネルトリック法を導入した核非線形相互部分空間法や、投影距離法にカーネルトリック法を導入したカーネル投影距離法が提案されている。
【００９７】
核非線形相互部分空間法については、例えば「坂野鋭、武川直樹、中村太一，『核非線形相互部分空間法による物体認識』，信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ８４−Ｄ，Ｎｏ．８，ｐｐ．１５４９−１５５６，２００１．」で提案されている。
【００９８】
本実施形態における射影行列を用いた制約部分空間の生成、および部分空間の制約部分空間への射影も、全てベクトル同士の内積計算により構成される。したがってカーネル部分空間法などと同様にカーネルトリックを導入することで、非線形識別に拡張することができる。
【００９９】
【発明の効果】
以上、本発明によれば制約部分空間を各部分空間に対する射影行列の総和から容易に生成できるので、制約相互部分空間法による高精度な識別処理を従来より高速に実行可能となる。
【図面の簡単な説明】
【図１】  本発明の一実施形態のパターン認識装置を応用した顔画像認識装置の構成を表すブロック図。
【図２】  辞書部分空間の生成手順と辞書部分空間生成に関わる主要な部分の構成を説明する図。
【図３】  本発明の一実施形態のパターン認識装置を応用した顔画像認識装置の外観を説明する図。
【図４】  制約部分空間の生成処理を説明する図。
【図５】  制約部分空間と制約辞書部分空間を作成するパターン認識用辞書生成装置の構成を説明するブロック図。
【図６】  主成分部分空間と制約部分空間の関係を説明する図。
【図７】  制約相互部分空間法の概念を説明する図。
【図８】  非線形変換による高次元化の概念を説明する図。
【符号の説明】
１１  画像入力部
１２  顔領域抽出部
１３  顔特徴点抽出部
１４  正規化画像生成部
１５  部分空間生成部
１６  部分空間射影部
１７  制約部分空間格納部
１８  相互部分空間類似度計算部
１９  制約辞書部分空間格納部
２０  判定部
２１  表示部
２２  部分空間格納部
２３  制約部分空間生成部
２４  出力部
１１０１  カメラ
２１０１  モニタ
２１０２  スピーカ
５００１  操作用インターフェース
【図１】
0003995614.tif 000008
【図２】
0003995614.tif 000009
【図３】
0003995614.tif 000010
【図４】
0003995614.tif 000011
【図５】
0003995614.tif 000012
【図６】
0003995614.tif 000013
【図７】
0003995614.tif 000014
【図８】
0003995614.tif 000015