(57)【特許請求の範囲】
【請求項１】
撮影環境の変動による物体の見え方の変化を推定してモデル化する物体モデル化実行部と、
前記物体モデル化実行部において得られた物体モデルを事前にデータベースへ登録しておく物体モデル登録部とを有し、
認識対象となる物体の画像情報を入力する画像情報入力部と、
前記物体モデル登録部において事前に登録されている前記物体モデルと入力された前記画像情報を照合して、登録されている前記物体モデルとの類似度を割り当てる類似度判断部と、
割り当てられた前記物体モデルの中で最も類似していると判断された前記認識対象となる物体の種別を出力する物体認識部とを含み、
前記物体モデル化実行部において、物体のカメラに対する相対的な位置及び姿勢を変化させて連続して撮影した複数の画像を入力し、前記複数の画像それぞれに連続して含まれる複数の小領域を選択して追跡することにより、それぞれの小領域を、小領域の系列として選択し、該選択された小領域の系列に基づいて、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動および照明条件の相異による前記物体の見え方の変動をカバーする部分空間を同定し、該同定したそれぞれの小領域の部分空間を１セットにして物体モデルとして生成することを特徴とする画像認識装置。
【請求項２】
前記認識対象となる物体の表面特性としてランバーシャン反射モデルを仮定して、前記部分空間を同定する請求項１記載の画像認識装置。
【請求項３】
前記画像情報入力部において、画像から前記認識対象となる物体が存在する部分を切り出し、切り出された部分画像を用いて前記認識対象となる物体のモデル化を行う請求項１記載の画像認識装置。
【請求項４】
前記画像情報入力部において、画像から前記認識対象となる物体中の特徴的な小領域を選択し、選択された前記小領域に含まれる情報と前記小領域の配置情報に基づいて前記認識対象となる物体のモデル化を行う請求項１記載の画像認識装置。
【請求項５】
入力された前記画像情報に基づいて、前記物体の姿勢変化による見え方の変動と照明条件の変化による見え方の変動とを分離してモデル化を行う請求項１から４のいずれか一項に記載の画像認識装置。
【請求項６】
前記物体モデル化実行部において、前記小領域の系列に属する小領域ベクトルから、ＫＬ展開することによって、前記物体の姿勢変化及び照明条件の変化による画素の見え方の変動をカバーする部分空間を同定する、請求項１から４のいずれか一項に記載の画像認識装置。
【請求項７】
撮影環境の変動による物体の見え方の変化を推定してモデル化する工程と、
得られた物体モデルを事前にデータベースへ登録しておく工程とを有し、
認識対象となる物体の画像情報を入力する工程と、
事前に登録されている前記物体モデルと入力された前記画像情報を照合して、登録されている前記物体モデルとの類似度を割り当てる工程と、
割り当てられた前記物体モデルの中で最も類似していると判断された前記認識対象となる物体の種別を出力する工程とを含み、
前記モデル化の工程において、前記物体のカメラに対する相対的な位置及び姿勢を変化させて連続して撮影した複数の画像を入力し、前記複数の画像それぞれに連続して含まれる複数の小領域を選択して追跡することにより、それぞれの小領域を、小領域の系列として選択し、該選択された小領域の系列に基づいて、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動および照明条件の相異による前記物体の見え方の変動をカバーする部分空間を同定し、該同定したそれぞれの小領域の部分空間を１セットにして物体モデルとして生成することを特徴とする画像認識方法。
【請求項８】
撮影環境の変動による物体の見え方の変化を推定してモデル化する処理と、
得られた物体モデルを事前にデータベースへ登録しておく処理とを有し、
認識対象となる物体の画像情報を入力する処理と、
事前に登録されている前記物体モデルと入力された前記画像情報を照合して、登録されている前記物体モデルとの類似度を割り当てる処理と、
割り当てられた前記物体モデルの中で最も類似していると判断された前記認識対象となる物体の種別を出力する処理とをコンピュータに実行させ、
前記モデル化する処理は、前記物体のカメラに対する相対的な位置及び姿勢を変化させて撮影した複数の画像を入力し、前記複数の画像それぞれに連続して含まれる複数の小領域を選択して追跡することにより、それぞれの小領域を、小領域の系列として選択し、該選択された小領域の系列に基づいて、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動および照明条件の相異による前記物体の見え方の変動をカバーする部分空間を同定し、該同定したそれぞれの小領域の部分空間を１セットにして物体モデルとして生成する処理である、プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体の画像情報を変換した物体モデルをデータベースに蓄積し、画像認識時にデータベースを照会して物体を認識する画像認識装置に関する。
【０００２】
【従来の技術】
インターネット等に代表されるコンピュータネットワークの進展に伴い、誰でも容易に様々な情報へアクセスすることができるようになった反面、アクセスしているのが本人であるかどうか確認する技術、すなわち認証技術の重要性が高まっている。詐称者を本人と誤らない、あるいは本人を詐称者として棄却する確率を最小限にする必要があるからである。
【０００３】
かかる技術分野で最近注目されている技術の一つが、顔の画像による認証技術である。顔は指紋や声紋と同様、本人に固有のものだからであり、画像処理技術の進展によって識別判断の基準として用いる対象となりうるからである。
【０００４】
顔画像を認証判断の基準とする方法については、従来から種々の方法が開示されている。例えば、特願平１１−１１００２０号においては、入力画像から撮影環境の状態を示す環境パラメータと対象物の状態を示す対象状態パラメータ値とを推定し、その値を用いて、入力画像の撮影環境及び対象物の状態が登録画像の撮影環境及び対象物の状態に一致するように補正した「照合用画像」を用いて認識を行う技術が開示されている。
【０００５】
以下、開示されている環境パラメータ及び対象状態パラメータを用いた当該画像認識処理について図１から図４を参照しながら説明する。まず図１は、当該画像認識処理のデータベースへの登録フェーズにおける処理の流れを示す。
【０００６】
図１において、まず登録対象となる画像を入力する（ステップＳ１１）。ここでの画像入力は、正面から撮影した顔画像１枚で良いが、認識精度を高めるためには、正面画像の他に、様々な方向から撮影した顔画像を用意することが望ましい。
【０００７】
次に、入力した画像から、顔領域を切り出して（ステップＳ１２）、顔領域の画像を得る（ステップＳ１３）。すなわち、図２に示すように、登録対象となる画像上で顔領域を矩形領域で切り出す。
【０００８】
そして、得られた顔領域画像を各ピクセルを要素に持つＮ次元ベクトルとみなし、そのベクトルをｎ次元（ｎ≦Ｎ）の部分空間に射影し（ステップＳ１４）、その射影点をＰと表す。図２では、「ｓａｓｈｉｄａ」の１点に射影されている。
【０００９】
さらに、撮影環境の状態を示す環境パラメータ値ｅ、対象物の状態を表す対象状態パラメータ値ｓを推定し、その値と射影点Ｐとをペアにしてデータベースに登録する（ステップＳ１５）。ここで、画像から撮影環境の状態を示す環境パラメータ値ｅ、対象物の状態を表す対象状態パラメータ値ｓを推定する一般性のある方法は開示されていない。
【００１０】
次に、図３は当該画像認識処理における認識フェーズにおける処理の流れを示している。図３において、画像の入力から顔領域画像の切り出しまで（ステップＳ３１〜ステップＳ３３）は、図１に示した登録フェーズの場合（ステップＳ１１〜ステップＳ１３）と同様になる。
【００１１】
したがって、部分空間への射影は、図４に示すように「ｓａｓｈｉｄａ」の１点に射影される。
【００１２】
一方、入力画像から撮影環境の状態を示す環境パラメータ値ｅと対象物の状態を表す対象状態パラメータ値ｓを推定する。次に、あらかじめ登録されている登録画像の環境パラメータ値ｅと対象状態パラメータ値ｓと一致するように、入力画像から推定したパラメータ値を調整する。この調整によって、入力画像の撮影環境及び対象物の状態が、登録画像の撮影環境及び対象物の状態に一致するような照合用画像を生成する。この照合用画像を部分空間に射影して点Ｑを得る（ステップＳ３４）。
【００１３】
そうすることで、登録画像と照合用画像とは、照明等の撮影環境、対象物の位置や姿勢等の状態について同一条件で比較することになる。しかし、パラメータ値を調整して、入力画像の撮影環境及び対象物の状態が、登録画像の撮影環境及び対象物の状態に一致するような照合用画像を生成する一般性のある方法は開示されていない。
【００１４】
次に、登録されているＰとＱの部分空間上での距離を計算する（ステップＳ３５）。登録画像すべてについて、同様にして当該空間的距離を算出して、最近接点Ｐmを探す（ステップＳ３６）。
【００１５】
最後に、最近接点Ｐmに該当する登録画像を入力画像に対応するものとして認識することになる（ステップＳ３７）。
【００１６】
【発明が解決しようとする課題】
しかし、上述したような方法では、（１）画像から撮影環境の状態を示す環境パラメータ値、対象物の状態を表す対象状態パラメータ値を推定すること、（２）パラメータ値を調整して、入力画像の撮影環境及び対象物の状態が、登録画像の撮影環境及び対象物の状態に一致するような照合用画像を生成することがポイントとなっているにもかかわらず、これらの処理を実現する一般的な方法は知られていない。
【００１７】
特願平１１−１１００２０号においては、環境パラメータのうち照明パラメータを、顔領域画像の輝度値の平均値、分散、ヒストグラムから推定することや、環境パラメータのうちカメラパラメータとして、撮影に利用したカメラの解像度や、フォーカス、露出を用いることが提案されている。また、対象状態パラメータを、顔領域画像内の肌色占有面積を利用して推定することが提案されている。
【００１８】
しかし、（１）このようなパラメータ値を正しく推定することは一般に困難である。さらに、（２）１枚あるいは少数の画像からこれらのパラメータが変化したときに画像がどのように変化するかをモデル化することも困難である。したがって、上述の方法を実際に認識処理に適用するのは困難であると考えられる。
【００１９】
そのため、画像登録時に正面から撮影した顔画像を利用していることから、入力時に顔の向きが異なっていたり、照明条件が異なっている場合には、本人を詐称者であるものとして、あるいは詐称者を本人であるものとして誤認識する可能性があるという問題点があった。
【００２０】
本発明は、上記問題点を解消するために、画像認識時における入力画像の撮影条件に依存せずに、登録画像との照合を精度良く行うことができる画像認識装置及び方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる画像認識装置は、撮影環境の変動による物体の見え方の変化を推定してモデル化する物体モデル化実行部と、物体モデル化実行部において得られた物体モデルを事前にデータベースへ登録しておく物体モデル登録部とを有し、認識対象となる物体の画像情報を入力する画像情報入力部と、物体モデル登録部において事前に登録されている物体モデルと入力された画像情報を照合して、登録されている物体モデルとの類似度を割り当てる類似度判断部と、割り当てられた物体モデルの中で最も類似していると判断された認識対象となる物体の種別を出力する物体認識部とを含み、物体モデル化実行部において、固定された画像情報入力部に対する物体の相対的な位置及び姿勢を変化させて撮影した複数の画像情報を入力し、入力された複数の画像情報に基づいて将来起こりうる撮影環境変動による物体の見え方の変化を推定してモデル化することを特徴とする。
【００２２】
かかる構成により、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動や照明条件の相異による見え方の変動等に左右されることなく、登録されている物体モデルとの照合を精度良く行うことが可能となる。
【００２３】
また、本発明にかかる画像認識装置は、認識対象となる物体の表面特性としてランバーシャン反射モデルを仮定することが好ましい。照明変動による見え方の変動を予測しやすいからである。
【００２４】
また、本発明にかかる画像認識装置は、画像情報入力部において、画像から認識対象となる物体が存在する部分を切り出し、切り出された部分画像を用いて認識対象となる物体のモデル化を行うことが好ましい。余分な画像情報による誤認識を防止することができるからである。
【００２５】
また、本発明にかかる画像認識装置は、画像情報入力部において、画像から認識対象となる物体中の特徴的な小領域を選択し、選択された小領域に含まれる情報と小領域の配置情報に基づいて認識対象となる物体のモデル化を行うことが好ましい。特徴部分が画像によって部分的に隠された状態となっている場合も対応することができるからである。
【００２６】
また、サンプルデータが少ない場合、本発明にかかる画像認識装置は、物体モデル化実行部において、入力された画像情報に基づいて、物体の姿勢変化による見え方の変動と照明条件の変化による見え方の変動とを分離してモデル化を行うことが好ましい。サンプルデータが少ない場合であっても、正確に見え方の変動を推定することができるからである。
【００２７】
また、サンプルデータが十分に有る場合、本発明にかかる画像認識装置は、物体モデル化実行部において、入力された画像情報に基づいて、物体の姿勢変化による見え方の変動と照明条件の変化による見え方の変動とを分離せずにモデル化を行うことが好ましい。サンプルデータが十分にある場合においては、あえて分離してモデル化を行うことによって、近似的にモデル化する必要はなく、直接的に見え方の変動を求めることができるからである。
【００２８】
また、本発明は、上記のような画像認識装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、撮影環境の変動による物体の見え方の変化を推定してモデル化する工程と、得られた物体モデルを事前にデータベースへ登録しておく工程とを有し、認識対象となる物体の画像情報を入力する工程と、事前に登録されている物体モデルと入力された画像情報を照合して、登録されている物体モデルとの類似度を割り当てる工程と、割り当てられた物体モデルの中で最も類似していると判断された認識対象となる物体の種別を出力する工程とを含み、物体の相対的な位置及び姿勢を変化させて撮影した複数の画像情報を入力し、入力された複数の画像情報に基づいて将来起こりうる撮影環境変動による物体の見え方の変化を推定してモデル化する画像認識方法並びにそのような工程をプログラムとして記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２９】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動や照明条件の相異による見え方の変動等に左右されることなく、登録されている物体モデルとの照合を精度良く行うことができる画像認識装置を実現することが可能となる。
【００３０】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかる画像認識装置について、図面を参照しながら説明する。図５は本発明の実施の形態１にかかる画像認識装置の構成図である。図５において、５１は画像情報入力部を、５２は物体モデル化実行部を、５３は物体モデル登録部を、５４は物体モデルデータベースを、５５は類似度判断部を、５６は物体認識部を、それぞれ示す。
【００３１】
図５において、画像情報入力部５１は、認識対象となる画像を撮影するカメラや、当該カメラによって撮影された写真等を読み込むスキャナ、撮影された画像を圧縮して磁気記録媒体に保存しているファイルの読込装置等の、画像情報を入力するために用意された部分を示している。そして、画像情報入力部５１から入力された画像情報に基づいて、物体モデル化実行部５２において認識対象となるべき物体について、モデル化することになる。
【００３２】
物体モデル化実行部５２における画像情報のモデル化手法には種々の方法が考えられる。例えば特願平１１−１１００２０号においては、上述したように特徴パラメータを用いて物体モデルを一義的に表す方法が開示されている。
【００３３】
しかし、このようなモデル化手法では、以下の問題が発生する。まず、モデル化する際に入力する画像が、一つの物体について一つのみであることから、光源の位置や照度等の相異によって、同一の物体を同一のカメラ位置で撮影した場合であっても、異なる物体であると誤認識されてしまう可能性が残されるという問題である。
【００３４】
また、光源の位置や照度等が同一であっても、カメラと物体の位置が相異すれば、同様に異なる物体であると認識されてしまう可能性が高いという問題である。すなわち、カメラの角度やカメラとの距離が相異すれば、撮影される画像の大小や角度が大きく変化し、固有空間上の位置が大きく前後することで、異なる物体であると誤認識されてしまう可能性が高くなることも十分に予想されるからである。
【００３５】
かかる問題を解決するため、本実施の形態においては、登録時に、固定された画像情報入力部に対して物体の姿勢を連続的に変化させて、その連続画像に基づいて、入力時の環境変動、すなわち照明条件、対象物体の状態（カメラとの相対姿勢や相対距離）の相異によって画像がどのように変化するのかを予測し、当該予測に基づいた物体モデルを、部分空間として物体モデルデータベース５４に登録する点に特徴を有する。
【００３６】
以下、本実施の形態にかかる画像認識装置におけるモデル化手法について、図６及び図７を参照しながら説明する。まず、図６は本実施の形態にかかる画像認識装置における登録フェーズのモデル化処理の流れを示している。
【００３７】
図６に示すように、まず画像を入力するのであるが（ステップＳ６１）、入力するのは一つの画像自体ではなく、連続した複数の画像である。すなわち、図７に示すように、顔画像であっても正面から撮影した画像だけではなく、登録用の画像系列として徐々に首を振った連続的な画像を入力することになる。
【００３８】
次に、入力された画像系列について、各小領域を連続した複数の画像について追跡することで、連続した複数の画像から小領域の系列として選択することになる（ステップＳ６２）。すなわち、入力された画像系列について、「目」なら「目」を表す小領域について小領域系列として選択することになる。
【００３９】
そして、選択された小領域系列に基づいて、部分空間を新たに生成する（ステップＳ６３）。具体的には、図７に示すように、連続した画像について対応する部分、例えば顔画像で有れば「目の領域」について、部分空間を同定し、それを窓部分空間と呼ぶ。
【００４０】
当該窓部分空間においては、物体の位置や姿勢等の幾何学的変動や照明の位置や照度等の変動によって生じる小領域画像の見え方の変動をカバーしている。このような窓部分空間を、「目の領域」、「鼻の領域」、・・のように個々の領域に対応して同定し、そのセットを、物体モデルとして物体モデルデータベース５４に登録する（ステップＳ６４）。
【００４１】
次に、入力された画像を実際に認識する際の処理について図８及び図９を参照しながら説明する。図８は当該画像認識処理における画像認識処理の流れ図を示している。
【００４２】
図８において、物体モデルデータベース５４の照会対象となる画像を入力する（ステップＳ８１）。次に、その画像から顔領域を切り出し（ステップＳ８２）、さらに、顔領域の中から特徴的な部分である小領域（窓）を複数選択する（ステップＳ８３）。窓の選択方法の具体例としては、特願平１１−１１００２０号において実施形態２で用いられている「エッジ強度」を用いる方法等が考えられる。そして、図９のように、各窓の画素値を要素として持つベクトル（窓ベクトル）を、物体モデルデータベース５４に登録されている各窓部分空間に射影する（ステップＳ８４）。
【００４３】
類似度判断部５５において、窓ベクトルを窓部分空間に射影したときの垂線の足の長さを計算し、その長さに基づいて小領域と窓部分空間との類似度を定義する（ステップＳ８５）。そして、最も当該小領域に近い窓部分空間を見出し（ステップＳ８６）、かかる部分空間を有する登録物体モデルを入力画像中の物体の候補とする。入力画像中のすべての窓について同様の処理を行い、最終的に物体認識部５６で結果を統合して認識を行う（ステップＳ８７）。
【００４４】
なお、本実施の形態にかかる画像認識装置におけるモデル化手法においては、光源がどこにあるのか等はモデル化時点では問わない。しかし、連続画像撮影時においては光源の位置や角度は変化させないことが必要条件となる。変化してしまうと、入力時の撮影条件の変化に対する画像変化の予測計算が困難になるからである。
【００４５】
次に、登録時の窓部分空間の同定について、より詳細に説明する。まず、物体表面上の画素に対応する小領域である面素Ｑiを考える。面素Ｑiは反射係数ａiを有するランベーシャン面（Lambertian）であるものと仮定する。ここでランベーシャン面とは、鏡面反射のない反射面であることを意味する。
【００４６】
一般に、登録時と同じ顔を撮影する場合であっても、面素Ｑiとカメラ位置の相対関係や照明条件等が登録時に撮影したときの状況と一致することはまずあり得ない。したがって、入力時の撮影条件の変化によって、対応する窓内の対応する位置の画素値も変化することになる。
【００４７】
例えば、窓を固定した座標系において、座標ベクトルｘにおける変化前の画素値をＩ（ｘ）、変化後の画素値をＩ’（ｘ）とする。照明変動がないものと仮定した上で、選択された窓において回転量、サイズ変化量等が小さい場合には、窓固定座標系において対応する点の移動量Δｘは（数１）で表される。なお、（数１）において、Ａはアフィン変換のパラメータを要素として持つ２×２行列を、ｄはアフィン変換のパラメータを要素として持つ２×１の列ベクトルを、Ｄ＝Ｉ−ＡにおいてＩは２×２の単位行列を、それぞれ示す。
【００４８】
【数１】
0004443722.tif 000002
【００４９】
かかるΔｘが微少であるという範囲内で有ればアフィン変換で近似可能な非剛体変形も取り扱うことが可能となる。移動の前後で画素値が保存されるものと仮定して、テイラー展開を行うと、変化後の画素値をＩ’（ｘ）は変化前の画素値Ｉ（ｘ）を用いて（数２）のように近似できる。
【００５０】
【数２】
0004443722.tif 000003
【００５１】
したがって、変化後の画素値をＩ’（ｘ）は変化前の画素値をＩ（ｘ）を用いて（数３）のように表すことができることから、右辺第２項を幾何学的変化のみに基づいた窓内各画素値の変化量ベクトルΔＩgとして、（数４）のように整理できる。
【００５２】
【数３】
0004443722.tif 000004
【００５３】
【数４】
0004443722.tif 000005
【００５４】
以上より、変化量ベクトルΔＩgの自由度は‘６’であり、窓画像空間における部分空間は（数５）で表すことができる以下の６つの基底ベクトルω1、ω2、ω3、ω4、ω5、ω6で張ることができる。
【００５５】
【数５】
0004443722.tif 000006
【００５６】
一方、照明条件のみが変動する場合について考えると、面素Ｑiのレンズ方向への放射光度Ｌiは（数６）のように表すことができる。ここで、ベクトルｎiは面素Ｑiにおける法線ベクトルを、ベクトルｓは光線ベクトルを、それぞれ意味する。
【００５７】
【数６】
0004443722.tif 000007
【００５８】
撮影するフォトディテクタの開口面積をｂ、ＣＣＤの光電変換特性が線形であると仮定し比例定数をｋとすると、画素値Ｉ（ｘi）は（数７）のように表すことができる。
【００５９】
【数７】
0004443722.tif 000008
【００６０】
ここで、ｄはレンズの直径、ｆは焦点距離、ベクトルｕは光軸方向の単位ベクトル、ベクトルｖは面素Ｑiからレンズの中心に向かう単位ベクトルを意味する。
【００６１】
（数７）において、ベクトルｕ、ｂｋ、ｆ、ｄはカメラが変更されない限り一定であり、窓が十分に小さい場合にはベクトルｖは窓内のすべての画素について同一であるものと考えら、ベクトルｓも窓内すべての画素について同一であるものと考えられることから、画素値Ｉ（ｘi）は対応する面素の法線ベクトルｎiにその面素の反射係数ａiを乗じたベクトルａiｎi＝（ａiｎix、ａiｎiy、ａiｎiz）Tとベクトルｓとの内積に共通の係数を乗じたものと考えられる。
【００６２】
したがって、画素値Ｉ（ｘi）の自由度はベクトルａiｎiの有する自由度である‘３’であり、照明変動のみの場合の窓画像ベクトルの変動は、（数８）で表すことができる以下の３つの基底ベクトルνx、νy、νzで張ることができる３次元の部分空間で表すことができる。
【００６３】
【数８】
0004443722.tif 000009
【００６４】
したがって、照明条件が変化、あるいは画素Ｑiとカメラ位置の相対関係が変化する場合はベクトルω1、ω2、ω3、ω4、ω5、ω6、νx、νy、νzによって形成される９次元の部分空間内で変動する。したがって、画素Ｑiとカメラ位置の相対関係が変化する場合について十分なサンプルデータを得ることによって、ＫＬ変換を用いて９次元の窓部分空間を同定することが可能となる。
【００６５】
一例として、カメラ及び照明を固定して、面素Ｑiとカメラ位置の相対関係が変化する場合について説明する。まず面素Ｑiが形状変化せずに移動し、その結果として法線ベクトルｎが（ｎ＋Δｎ）に、レンズ中心への単位ベクトルｖが（ｖ＋Δｖ）に変化したものとする。また、面素Ｑの投影位置もベクトルｘtからｘに移動したものとする。
【００６６】
また、面素Ｑiの投影位置もベクトルｘi＾からｘiに移動したものとする。変化後の面素Ｑiのレンズ方向への表面放射光度Ｌi’は（数６）を用いて（数９）のように表すことができる。
【００６７】
【数９】
0004443722.tif 000010
【００６８】
したがって、対応する画素の放射照度を求めることで、画素値Ｉ’（ｘi）は（数１０）のように表すことができる。ここでΔＩvをカメラとの相対位置変化に基づく窓内各画素値の変化量ベクトルとし、ΔＩnをカメラとの相対位置変化による照明条件変化に基づく窓内各画素値の変化量ベクトルとする。
【００６９】
【数１０】
0004443722.tif 000011
【００７０】
ここで、先述した物体とカメラ位置の相対変化のみによる画素値の変化の関係（数４）を考慮すると、Ｉ（ｘi＾）＝Ｉ（ｘ）＋ΔＩgと考えることができるので、（数１０）は（数１１）のように表すことができる。
【００７１】
【数１１】
0004443722.tif 000012
【００７２】
ここでΔＩgの自由度は‘６’であるのに対して、ΔＩn及びΔＩvの自由度は‘３’であり、かつΔＩn及びΔＩvの意味する部分空間は結局同一の部分空間を表していることから、結局変化量ベクトルΔＩ＝Ｉ’（ｘ）−Ｉ（ｘ）の変動範囲は、最大９次元の部分空間内であることがわかる。
【００７３】
この場合、サイズの変化や物体の回転に代表される幾何学的な変動について、十分なサンプルデータを取得することは現実的には困難である。しかしながら、ベクトルω1、ω2、ω3、ω4、ω5、ω6によって形成される幾何学的変動に対応する部分空間（以下、「ジオメトリック変動部分空間」という。）については、一枚の小領域のみから推定することが可能である。
【００７４】
そこで、サンプルデータに基づいて、まずジオメトリック変動部分空間を求め、求めたジオメトリック変動部分空間の成分を取り除いた成分の分布を求める。この分布をＫＬ変換することで、νx、νy、νzによって形成される測光学的変動に対応する部分空間（以下、「フォトメトリック変動部分空間」という。）を求めることができる。こうすることで、任意の部分空間をジオメトリック変動部分空間とフォトメトリック変動部分空間とを用いて表すことが可能となる。
【００７５】
また、部分空間の同定には大別して２つの方法が考えられる。一つはジオメトリック変動部分空間とフォトメトリック変動部分空間とが直交しているものと仮定する方法、今一つは十分なサンプルデータが有る場合に用いるジオメトリック変動部分空間とフォトメトリック変動部分空間とを分けずに直接同定する方法である。
【００７６】
まず、ジオメトリック変動部分空間とフォトメトリック変動部分空間とが直交しているものと仮定する方法について説明する。初めに、顔画像に関するサンプルデータの収集は、登録対象者に首を振ってもらい、顔の姿勢を変化させることで行う。
【００７７】
基準小領域は、小領域空間にプロットした一つの小領域変化系列におけるデータ点分布の平均位置、もしくは変動範囲の中心を基準とし、基準小領域ベクトルｘsとして保存する。かかる基準としたのは、サンプルデータの中には偽りのデータも混在し、また幾何学的変形の線形近似の限界やランベーシャン表面との仮定からの逸脱、あるいは雑音の存在等によって、本来の部分空間から逸脱しているデータも存在するからである。
【００７８】
求めた基準小領域ベクトルｘsから、ベクトルω1、ω2、ω3、ω4、ω5、ω6を（数５）に基づいて計算する。画素値の微分はソーベルフィルタ（Sobel Filter）の畳み込みによって近似的に計算するものとする。
【００７９】
このようにベクトルω1、ω2、ω3、ω4、ω5、ω6が求まることで、ジオメトリック変動部分空間ベクトルΩを同定することができる。ただし、これらのベクトルは必ずしも一次独立とは限らないので、行列Ｇ＝［ω1、ω2、ω3、ω4、ω5、ω6］Tを特異値分解することで、部分空間ベクトルΩの正規直交基底ベクトルｕp（１≦ｐ≦６）を求める。ｐは行列Ｇの階数である。
【００８０】
次に、任意の窓画像ベクトルｘのジオメトリック変動部分空間Ωと直交する成分は、図１０に従って求めることができる。図１０において、ジオメトリック変動部分空間Ωの基準画像ベクトルをｘsとし、ベクトルｘとベクトルｘsとの差をジオメトリック変動部分空間Ωに直交射影したものをベクトルｘ’とする。
【００８１】
ジオメトリック変動部分空間Ωの直交射影行列Ｐは、正規直交基底ベクトルｕp（１≦ｐ≦６）を用いて（数１２）のように表すことができる。
【００８２】
【数１２】
0004443722.tif 000013
【００８３】
また、図６のベクトル関係より、ｘ’＝Ｐ＊（ｘ−ｘs）である。ここで、記号‘＊’は行列とベクトルの乗算を意味するものとする。
【００８４】
一方、ジオメトリック変動部分空間Ωの直交補空間ΩTへの直交射影行列ＱはＱ＝Ｉ−Ｐ（Ｉは単位行列）と表すことができることから、任意の小領域ベクトルｘのジオメトリック変動部分空間Ωと直交する成分は、（ｘ−ｘs）−ｘ’＝Ｑ＊（ｘ−ｘs）として求めることができる。
【００８５】
こうして求まったＱ＊（ｘ−ｘs）の分布からＫＬ展開することによってフォトメトリック変動部分空間Ψを同定する。まず、小領域変化系列に属する全ての小領域ベクトルｘjからｙj＝Ｑ＊（ｘj−ｘs）（ｊは１≦ｊの自然数）を計算する。そして、（数１３）によって、ベクトルｙの自己相関行列Ｒを求める。
【００８６】
【数１３】
0004443722.tif 000014
【００８７】
求まった行列Ｒの固有値・固有ベクトルを求め、降順にλ1、λ2、・・λNとし、各固有値に対応する正規直交固有ベクトルをｖ1、ｖ2、・・、ｖNとする。ここで、固有値を降順に所定の個数ｎまで加算した値が固有値の総和に対してしめる割合を累積寄与率と定義すると、累積寄与率が所定のしきい値を超えたときのｑ（個数）を部分空間の次元数と定める。したがって、フォトメトリック変動部分空間Ψの正規直交基底ベクトルはｖ1、ｖ2、・・、ｖqとなる。
【００８８】
このように、ジオメトリック変動部分空間Ωとフォトメトリック変動部分空間Ψが同定されるので、これらをベクトル結合することによって環境変動部分空間Γと窓部分空間Λを同定する。すなわち、（数１４）のように表すことができる。
【００８９】
（数１４）
Γ＝Ω＋Ψ
Λ＝ｘs＋Γ
【００９０】
よって、環境変動部分空間Γの正規直交基底ベクトルは、ジオメトリック変動部分空間Ωの正規直交基底ベクトルを並べた行列Ｕ＝［ｕ1、ｕ2、・・、ｕp］とフォトメトリック変動部分空間Ψの正規直交基底ベクトルを並べた行列Ｖ＝［ｖ1、ｖ2、・・、ｖq］になる。したがって、ベクトルｗi＝ｕi（ｉは１≦ｉ≦ｐの自然数）、ベクトルｗp+j＝ｖj（ｊは１≦ｊ≦ｑの自然数）として、環境変動部分空間Γの正規直交基底ベクトルを並べた行列Ｗ＝［ｗ1、ｗ2、・・、ｗr］（ｒ＝ｐ＋ｑ）を定めることで、環境変動部分空間Γとして部分空間を定めることが可能となる。
【００９１】
次に、十分なサンプルデータが有る場合においては、ジオメトリック変動部分空間とフォトメトリック変動部分空間とを分けずに直接部分空間を同定する方法を用いる。
【００９２】
この方法は、サンプルデータの収集や基準小領域の決定手法は、上述した方法と同様である。部分空間の同定は、ベクトル（ｘ−ｘs）の分布から直接ＫＬ展開することによって同定する。
【００９３】
まず、小領域変化系列に属する全ての小領域ベクトルｘjからｙj＝Ｑ＊（ｘj−ｘs）（ｊは１≦ｊ≦Ｍの自然数）を計算する。そして、ジオメトリック変動部分空間とフォトメトリック変動部分空間とが直交しているものと仮定する方法と同様に、（数１３）によってベクトルｙの自己相関行列Ｒを求める。
【００９４】
求まった行列Ｒの固有値・固有ベクトルを求め、降順にλ1、λ2、・・λNとし、各固有値に対応する正規直交固有ベクトルをｖ1、ｖ2、・・、ｖNとする。ここで、固有値を降順に所定の個数ｎまで加算した値が固有値の総和に対してしめる割合を累積寄与率と定義すると、累積寄与率が所定のしきい値を超えたときのｒ（個数）を部分空間の次元数と定める。したがって、環境変動部分空間Γの正規直交基底ベクトルを並べた行列Ｗ＝［ｗ1、ｗ2、・・、ｗr］として部分空間を定めることが可能となる。
【００９５】
このように、入力された画像と登録されている物体モデルとの照合は、上述した方法のいずれかを用いて物体モデルを同定することにより、入力された画像に最も近接した部分空間を同定することによって行われる。
【００９６】
以上のように本実施の形態によれば、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動や照明条件の相異による見え方の変動等に左右されることなく、登録されている物体モデルとの照合を精度良く行うことが可能となる。
【００９７】
また、本発明の実施の形態にかかる画像認識装置を実現するプログラムを記憶した記録媒体は、図１１に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１１２−１やフロッピーディスク１１２−２等の可搬型記録媒体１１２だけでなく、通信回線の先に備えられた他の記憶装置１１１や、コンピュータ１１３のハードディスクやＲＡＭ等の記録媒体１１４のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００９８】
また、本発明の実施の形態にかかる画像認識装置により生成された物体モデルデータ等を記録した記録媒体も、図１１に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１１２−１やフロッピーディスク１１２−２等の可搬型記録媒体１１２だけでなく、通信回線の先に備えられた他の記憶装置１１１や、コンピュータ１１３のハードディスクやＲＡＭ等の記録媒体１１４のいずれでも良く、例えば本発明にかかる画像認識装置を利用する際にコンピュータ１１３により読み取られる。
【００９９】
【発明の効果】
以上のように本発明にかかる画像認識装置によれば、物体モデル登録時と入力画像認識時における物体の姿勢の相異による見え方の変動や照明条件の相異による見え方の変動等に左右されることなく、登録されている物体モデルとの照合を精度良く行うことが可能となる。
【図面の簡単な説明】
【図１】  従来の画像認識装置における物体モデル登録処理の流れ図
【図２】  従来の画像認識装置における物体モデル登録処理の概念図
【図３】  従来の画像認識装置における処理の流れ図
【図４】  従来の画像認識装置における処理の概念図
【図５】  本発明の実施の形態にかかる画像認識装置のブロック構成図
【図６】  本発明の実施の形態にかかる画像認識装置における物体モデル登録処理の流れ図
【図７】  本発明の実施の形態にかかる画像認識装置における物体モデル登録処理の概念図
【図８】  本発明の実施の形態にかかる画像認識装置における処理の流れ図
【図９】  本発明の実施の形態にかかる画像認識装置における処理の概念図
【図１０】  ジオメトリック変動部分空間と直交する小領域ベクトルの求め方の説明図
【図１１】  記録媒体の例示図
【符号の説明】
５１  画像情報入力部
５２  物体モデル化実行部
５３  物体モデル登録部
５４  物体モデルデータベース
５５  類似度判断部
５６  物体認識部
１１１  回線先の記憶装置
１１２  ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１１２−１  ＣＤ−ＲＯＭ
１１２−２  フロッピーディスク
１１３  コンピュータ
１１４  コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【図１】
0004443722.tif 000015
【図２】
0004443722.tif 000016
【図３】
0004443722.tif 000017
【図４】
0004443722.tif 000018
【図５】
0004443722.tif 000019
【図６】
0004443722.tif 000020
【図７】
0004443722.tif 000021
【図８】
0004443722.tif 000022
【図９】
0004443722.tif 000023
【図１０】
0004443722.tif 000024
【図１１】
0004443722.tif 000025