(57)【要約】【課題】認識対象物体の環境による変動を抑制し、高精度に認識処理を行う。【解決手段】認識対象となる画像を入力する画像入力部１２と、入力画像から物体を検出する物体検出部１４と、認識対象の環境変動を表すモデル部分空間を保持する環境辞書２０と、検出した物体から認識に用いる特徴量を抽出する入力特徴抽出部１８と、前記入力特徴量とモデル部分空間を用いて両者を非類似にする射影変換を行う入力特徴変換部１８と、予め登録してある登録辞書２６との類似度を計算する類似度計算部２８とを具備する。【選択図】      図１
2007072620.tif 000002
【特許請求の範囲】
【請求項１】
認識対象が写った画像を入力する画像入力部と、
前記入力画像から入力部分空間を生成する入力部分空間生成部と、
複数の異なる環境条件下における３次元認識対象モデルを表すモデル部分空間を保持する環境辞書部と、
前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求める環境射影変換部と、
前記被認識対象に関する辞書部分空間を保持する登録辞書部と、
前記環境抑制部分空間と前記辞書部分空間との類似度を計算する類似度計算部と、
前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する認識部と、
を有する
ことを特徴とする画像認識装置。
【請求項２】
前記辞書部分空間同士で共通する成分を抑制するように前記環境抑制部分空間を射影変換して、前記被認識対象間の差異を拡げた新たな環境抑制部分空間を求める辞書射影変換部をさらに有し、
前記類似度計算部は、前記新たな環境抑制部分空間と前記辞書部分空間との類似度を計算する
ことを特徴とする請求項１記載の画像認識装置。
【請求項３】
前記入力画像から前記認識対象の特徴点を抽出する特徴点検出部を有し、
前記入力部分空間生成部は、前記特徴点から前記入力部分空間を生成する
ことを特徴とする請求項１または２記載の画像認識装置。
【請求項４】
前記環境条件とは、照明変化による条件、経年変化による条件、または、その両者による条件である
ことを特徴とする請求項１または２記載の画像認識装置。
【請求項５】
前記類似度計算部は、前記環境抑制部分空間と前記辞書部分空間の間の角度を類似度として用いる
ことを特徴とする請求項１または２記載の画像認識装置。
【請求項６】
前記入力部分空間の生成に使われる画像、前記辞書部分空間の生成に使われる画像の両者に環境変動を付与する環境摂動部を持つ
ことを特徴とする請求項１または２記載の画像認識装置。
【請求項７】
前記辞書射影変換部は、前記辞書部分空間の間の差異を大きくする射影行列を求め、この射影行列を用いて前記環境抑制部分空間を射影変換して前記新たな環境抑制部分空間を求める
ことを特徴とする請求項１または請求項２記載の画像認識装置。
【請求項８】
前記認識対象が写った画像を入力し、
前記入力画像から入力部分空間を生成し、
異なる環境条件下における３次元認識対象モデルを表すモデル部分空間を保持し、
前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求め、
前記被認識対象に関する辞書部分空間を保持し、
前記環境抑制部分空間と前記辞書部分空間との類似度を計算し、
前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する
ことを特徴とする画像認識方法。
【請求項９】
前記類似度を計算する前に、前記辞書部分空間同士で共通する成分を抑制するように前記環境抑制部分空間を射影変換して、前記被認識対象間の差異を拡げた新たな環境抑制部分空間を求め、前記新たな環境抑制部分空間と前記辞書部分空間との類似度を計算する
ことを特徴とする請求項８記載の画像認識方法。
【請求項１０】
前記入力部分空間を生成するときに、
前記入力画像から前記認識対象の特徴点を抽出し、前記特徴点から前記入力部分空間を生成する
ことを特徴とする請求項８または９記載の画像認識方法。
【請求項１１】
前記環境条件とは、照明変化による条件、経年変化による条件、または、その両者による条件である
ことを特徴とする請求項８または９記載の画像認識方法。
【請求項１２】
前記類似度を計算するときに、前記環境抑制部分空間と前記辞書部分空間の間の角度を類似度として用いる
ことを特徴とする請求項８または９記載の画像認識方法。
【請求項１３】
前記入力部分空間の生成に使われる画像、前記辞書部分空間の生成に使われる画像の両者に環境変動を付与する
ことを特徴とする請求項８または９記載の画像認識方法。
【請求項１４】
前記新たな環境抑制部分空間を求めるときに、前記辞書部分空間の間の差異を大きくする射影行列を求め、この射影行列を用いて前記環境抑制部分空間を射影変換して前記新たな環境抑制部分空間を求める
ことを特徴とする請求項８または請求項９記載の画像認識方法。
【請求項１５】
前記認識対象が写った画像を入力する画像入力機能と、
前記入力画像から入力部分空間を生成する入力部分空間生成機能と、
異なる環境条件下における３次元認識対象モデルを表すモデル部分空間を保持する環境辞書機能と、
前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求める環境射影変換機能と、
前記被認識対象に関する辞書部分空間を保持する登録辞書機能と、
前記環境抑制部分空間と前記辞書部分空間との類似度を計算する類似度計算機能と、
前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する認識機能と、
をコンピュータによって実現する
ことを特徴とする画像認識プログラム。
【請求項１６】
前記辞書部分空間同士で共通する成分を抑制するように前記環境抑制部分空間を射影変換して、前記被認識対象間の差異を拡げた新たな環境抑制部分空間を求める辞書射影変換機能をさらに有し、
前記類似度計算機能は、前記新たな環境抑制部分空間と前記辞書部分空間との類似度を計算する
ことを特徴とする請求項１５記載の画像認識プログラム。
【請求項１７】
前記入力画像から前記認識対象の特徴点を抽出する特徴点検出機能を有し、
前記入力部分空間生成部は、前記特徴点から前記入力部分空間を生成する
ことを特徴とする請求項１５または１６記載の画像認識プログラム。
【請求項１８】
前記環境条件とは、照明変化による条件、経年変化による条件、または、その両者による条件である
ことを特徴とする請求項１５または１６記載の画像認識プログラム。
【請求項１９】
前記類似度計算機能は、前記環境抑制部分空間と前記辞書部分空間の間の角度を類似度として用いる
ことを特徴とする請求項１５または１６記載の画像認識プログラム。
【請求項２０】
前記入力部分空間の生成に使われる画像、前記辞書部分空間の生成に使われる画像の両者に環境変動を付与する環境摂動機能を実現する
ことを特徴とする請求項１５または１６記載の画像認識プログラム。
【請求項２１】
前記辞書射影変換機能は、前記辞書部分空間の間の差異を大きくする射影行列を求め、この射影行列を用いて前記環境抑制部分空間を射影変換して前記新たな環境抑制部分空間を求める
ことを特徴とする請求項１５または１６記載の画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象物体の環境による変動を予め学習した環境辞書により個人毎に抑制し、高精度に認識処理を行う装置及びその方法に関する。
【背景技術】
【０００２】
顔画像を用いた認識は、物理的な鍵やパスワードと違い紛失や忘却の心配がないため、セキュリティの面で非常に有用な技術である。しかしながら、照明などの環境条件の変動を受けて認識対象の顔画像も多様に変動するため、高精度に認識を行うためには、環境変動を吸収しつつ、さらに個人間の差を抽出するような工夫が必要である。
【０００３】
非特許文献１によれば、取得過程（照明条件などの撮影環境）の異なる２つのタイプの画像が得られた場合に、それら２つの画像を考慮することで、環境変動に対してロバストに認識することができる。しかし、どのような環境で画像が撮影されるかは通常未知である。そのため、それら２種類の環境で撮影した顔画像を予め収集することも困難であり、利用できるシーンは限定される。
【０００４】
非特許文献２によれば、異なる複数の環境条件で撮影された画像について、撮影された環境毎に差分部分空間を計算し、また、個人の変動成分についても差分部分空間を計算し、それら差分部分空間から制約部分空間を計算し、この制約部分空間に辞書と入力を射影することで環境変動や自己変動を抑制して認識を行う。環境変動が既知でない場合についても、多様な環境で撮影した画像から制約部分空間を構築しておくことでロバストに認識することができる。しかし、多様な環境変動に対応するためには、多様な環境変動で撮影した画像を収集する必要がある。このように多様な画像を収集することは多大な労力を要する。さらに収集した画像には環境変動だけでなく、個人の変動も含まれるため、環境変動のみを抽出して抑制することは難しい。
【０００５】
特許文献１によると、予め保持している３次元形状情報に顔画像を重ね合わせた顔モデルを構築し、登録画像に対して照明などの変動を加味した画像を生成しておくことで、入力画像の環境変動に対してロバストに認識することができる。しかし、一般環境における照明変動を正しくコンピュータグラフィックス（以下、「ＣＧ」という）等で表現することは難しいため、登録画像に対して照明変動画像を生成しても、一般環境下で撮影された入力画像と同一の照明変動を表現できない場合が考えられる。また、生成した変動を抑制するような仕組みがないため、同様の処理を施した他人の画像との類似性が高くなり、誤認識に繋がる可能性がある。
【非特許文献１】相馬  正宣，長尾  健司，「取得過程の極端に異なる顔画像の照合」，信学論Ｄ−ＩＩ  Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，２２２５−２２３１，１９９７
【非特許文献２】福井  和広，山口  修，鈴木  薫，前田  賢一，「制約相互部分空間法を用いた環境変動にロバストな顔画像認識−照明変動の影響を抑える制約相互部分空間の学習−」．信学論Ｄ−ＩＩ  Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．４，６１３−６２０，１９９９
【特許文献１】特開２００３−３２３６２２公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、認識対象の環境変動に対応するためには、多様な環境変動を含む画像を収集もしくは生成する方法が有効である。しかし、従来技術では、環境変動が既知という制限があったり、収集に多大な労力を要したり、生成した変動を抑制するような仕組みがないなどの問題点がある。
【０００７】
そこで、本発明は、上記従来技術の問題点を解決するためのものであり、環境変動を抑制して高精度に認識することが可能な画像認識装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、認識対象が写った画像を入力する画像入力部と、前記入力画像から入力部分空間を生成する入力部分空間生成部と、複数の異なる環境条件下における３次元認識対象モデルを表すモデル部分空間を保持する環境辞書部と、前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求める環境射影変換部と、前記被認識対象に関する辞書部分空間を保持する登録辞書部と、前記環境抑制部分空間と前記辞書部分空間との類似度を計算する類似度計算部と、前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する認識部と、を有することを特徴とする画像認識装置である。
【発明の効果】
【０００９】
このように本発明によれば、環境変動による影響のみを取り除いて、高精度に認識することが可能である。
【発明を実施するための最良の形態】
【００１０】
（第１の実施形態）
以下、図１〜図３を参照して本発明に係わる第１の実施形態の画像認識装置１０について述べる。
【００１１】
（１）画像認識装置１０の構成
図１は、画像認識装置１０の構成を表す図である。
【００１２】
図１に示すように、画像認識装置１０は、対象となる人物の顔を入力する画像入力部１２と、入力された画像内から人物の顔を検出する物体検出部１４と、検出された顔から正規化画像を生成する画像正規化部１６と、認識に用いる特徴量を抽出する入力特徴抽出部１８と、環境変動に関する情報を持つ環境辞書２０と、特徴量と環境辞書２０から環境変動を抑制するような空間に射影する行列を計算する射影行列計算部２２と、計算した射影行列を記憶する環境射影辞書２３と、射影変換を行う射影変換部２４と、予め人物の顔に関する辞書特徴量が登録してある登録辞書２６と、前記辞書特徴量との類似度を計算する類似度計算部２８とを備えている。
【００１３】
画像認識装置１０の上記各部１２，１４，１６，１８，２２，２４，２８の機能は、コンピュータに記憶されたプログラムによって実現する。
【００１４】
（２）画像認識装置１０の動作
次に、図２のフローチャートを用いて、画像認識装置１０の動作について説明する。
【００１５】
（２−１）画像入力部１２の処理
ステップ１において、画像入力部１２は、処理対象となる顔画像を入力する。
【００１６】
画像入力部１２を構成する装置の一つの例として、ＵＳＢカメラやデジタルカメラ等が挙げられる。また、予め撮影、保存された顔画像データを保存している記録装置やビデオテープ、ＤＶＤ等を用いても良いし、顔写真をスキャンするスキャナーでも良い。ネットワーク等を経由して画像を入力してもよい。画像入力部１２より得られた画像は逐次、物体検出部１４に送られる。
【００１７】
（２−２）物体検出部１４の処理
ステップ２において、物体検出部１４が、顔特徴点として、画像中の目、鼻、口などの顔部位の顔特徴点の座標（ｘｉ  ，ｙｉ  ）を検出する。
【００１８】
顔特徴点の検出はどのような方法を用いてもよいが、例えば、非特許文献３（福井、山口、「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」，信学論（Ｄ−ＩＩ）Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．９，ｐ．２１７０−２１７７，１９９７．）に記載されている方法を用いて検出することができる。
【００１９】
（２−３）画像正規化部１６の処理
ステップ３において、画像正規化部１６が、検出された顔特徴点に基づいて正規化画像を生成する。
【００２０】
正規化画像の生成は、例えば、検出された座標をもとにアフィン変換を用いることで、大きさや傾きを正規化して切り出すことができる。また、特徴点が同一平面上に存在せず、かつ、４点以上検出された場合は以下に示す方法により、３次元形状情報を用いて検出された顔の部位を正確に指定した位置に正規化することができる。
【００２１】
まず、物体検出部１４から得られた顔特徴点（ｘｉ  ，ｙｉ  ）と、対応する３次元形状上の顔特徴点（ｘｉ  ，ｙｉ  ，ｚｉ  ）を用いて、カメラ運動行列Ｍを（１）式、（２）式及び（３）式により定義する。
【数１】
2007072620.tif 000003
【００２２】
次に算出されたカメラ運動行列Ｍを用いて、入力画像から３次元形状により規定される正規化画像を生成する。３次元形状上の任意の座標（ｘ´，ｙ´，ｚ´）は、（５）式により対応する入力画像上の座標（ｓ，ｔ）に変換することができる。
【数２】
2007072620.tif 000004
【００２３】
従って、３次元形状上の座標（ｘ´，ｙ´，ｚ´）は、対応する正規化画像の画素値Ｔ（ｘ´，ｙ´）は、入力画像上の画素値Ｉ（ｘ，ｙ）を用いて（６）式によって定義される。
【数３】
2007072620.tif 000005
【００２４】
（５）式及び（６）式について、３次元形状の正規化画像生成に必要な全ての座標について計算することで、正規化画像を得ることができる。
【００２５】
このように３次元形状情報を用いて正規化することで、顔の向きや大きさによらず正確に正規化画像を生成することができるが、その他のどのような正規化方法を用いて顔パターンを生成してもよい。
【００２６】
また、検出された特徴点位置を任意の方向に移動させるなどして摂動したり、切出し位置をずらしたり、パターン画像を回転や拡大・縮小することで複数の正規化画像を生成することができる。ビデオ入力のように画像が複数枚入力されてもよい。
【００２７】
（２−４）入力特徴抽出部１８の処理
ステップ４において、入力特徴抽出部１８が、生成された正規化画像をもとに、識別に必要な特徴量を抽出する。
【００２８】
例えば、正規化画像を、画素値を要素とする特徴ベクトルとみなして一般的に知られるＫ−Ｌ展開を行い、得られた正規直交ベクトルを入力画像に対応する人物の特徴量とする。人物の登録時には、この特徴量を記録しておく。
【００２９】
この特徴ベクトルの要素の選び方や生成方法はどのように行っても良いし、特徴ベクトルに対して微分処理やヒストグラム平坦化などのいかなる画像認識を行っても良いし、特徴量生成方法もこれに限らない。
【００３０】
（２−５）射影行列計算部２２の処理
ステップ５において、射影行列計算部２２が、予め保持された環境辞書２０を用いて、入力特徴抽出部１８で生成された特徴量から、環境変動による影響を抑制するような部分空間に射影する射影行列を計算して環境射影辞書２３に記憶させる。
【００３１】
射影行列の計算は、どのような方法を用いてもよいが、例えば非特許文献２に記されている方法により実現することができる。非特許文献２によれば、複数の特徴量（部分空間）があったとき、それらの差分部分空間から求まる制約部分空間を計算し、射影変換を行うことで、２つの部分空間を非類似にすることができる。このように特徴量間の差を強調するような部分空間への射影行列を計算し、射影変換を行うことを、以後、簡単のため「直交化」と呼ぶこととする。そして、非類似にするとは、対象となる部分空間同士で定義される距離や角度などの評価基準を最大化または最小化させることをいう。なお、二つの部分空間の直交化空間を求めるとは、二つの部分空間で共通する成分を抑制した部分空間を求めることである。
【００３２】
また、他にも、例えば以下に示す式を用いて射影行列Ｏを計算することができる。
【数４】
2007072620.tif 000006
【００３３】
環境辞書２０については、抑制するべき環境変動が適切に記述されていれば、どのようなものを用いてもよい。ここでは便宜上、環境変動と呼称しているが、照明変動のような環境に依存する変動だけでなく、人間の経年変動や、眼鏡などの装飾品による変動などにも応用することができる。
【００３４】
例えば、照明変動に関する環境辞書２０は、以下のような手順で生成することができる。
【００３５】
まず、ＣＧ技術を用いて作成した顔のモデルである３次元形状情報に基づいて、ＣＧ技術を用いて多様な方向から照明を当てた画像を生成する。図３は、ＣＧ技術を用いて異なる方向から照明を当てた画像の例である。環境辞書２０の生成はオフライン処理ですることができるため、高度なＣＧ技術を用いてより一般的な環境に近い照明条件を表現することができる。また、顔のモデルは、図３に示すように、個人的な特徴の差異を少なくするために、眉や髭などを取り除いた石膏像のような顔をＣＧで作成する。
【００３６】
得られたＣＧ画像について入力特徴抽出部１８と同一の処理を行い、抽出された特徴量をモデル特徴量として環境辞書２０に登録する。
【００３７】
このように３次元形状とＣＧを用いて生成された環境辞書２０のモデル特徴量は必要な環境変動のみを含むため、認識に必要な個人の特徴に影響を与えない。また、正規化画像生成に用いた３次元形状を環境辞書２０のモデル特徴量の生成にも用いることもできる。
【００３８】
正規化画像と環境辞書２０のモデル特徴量で共通の３次元形状を用いることで、正規化画像の照明変動をより適切に環境辞書２０のモデル特徴量に表現することができる。
【００３９】
他の環境変動に関しても、同様に予め複数の環境変動に関する画像を収集し、上記の手順を踏むことで、環境辞書２０のモデル特徴量を生成することができる。
【００４０】
（２−６）射影変換部２４の処理
ステップ６において、射影変換部２４では、射影行列計算部２２で得られた射影行列に基づいて、入力された特徴量を射影変換して環境変動による影響を抑制した特徴量（以下、環境抑制特徴量という）を生成する。この射影変換を行った環境抑制特徴量を用いて認識を行う。
【００４１】
（２−７）類似度計算部２８の処理
ステップ７において、類似度計算部２８では、登録辞書２６に記憶された人物の顔に関する辞書特徴量と、射影変換部２４で計算された環境抑制特徴量との類似度を計算する。このとき、登録辞書２６についても入力された特徴量に行ったのと同様に射影変換がされているものとする。
【００４２】
この類似度計算についてはどのような方法を用いてもよいが、例えば、非特許文献２に述べられている制約相互部分空間法のベースとなっている相互部分空間法などがある。このような認識方法により顔特徴量同士の類似度を算出することができる。その類似度をある所定の閾値で判定し、人物を同定する。閾値は事前の認識実験などで定めた値でも良いし、人物の特徴量に応じて増減させることもできる。
【００４３】
（３）第１の実施形態の効果
このように、第１の実施形態に係わる画像認識装置１０によれば、予め生成した環境辞書２０を用いることで、認識に重要な個人性を表す特徴を損なわず、環境変動による影響のみを取り除き、高精度に認識することが可能である。
【００４４】
（第２の実施形態）
次に、図４を参照して本発明に係わる第２の実施形態の画像認識装置１０について述べる。
【００４５】
（１）画像認識装置１０の構成
図４は、画像認識装置１０の構成を表す図である。
【００４６】
画像認識装置１０は、対象となる人物の顔を入力する画像入力部１２と、入力された画像内から人物の顔を検出する物体検出部１４と、検出された顔から正規化画像を生成する画像正規化部１６と、認識に用いる特徴量を抽出する入力特徴抽出部１８と、環境変動に関する情報を持つ環境辞書２０と、特徴量と環境辞書２０から環境変動を抑制するような空間に射影する行列を計算する第１射影行列計算部２２１と、計算した射影行列を記憶する環境射影辞書２３と、環境変動を抑制するために射影変換を行う第１射影変換部２４１と、予め登録してある登録辞書２６を用いて個人差を強調するような空間に射影する行列を計算する第２射影行列計算部２２２と、個人差を強調するために射影変換を行う第２射影変換部２４２と、予め登録してある登録辞書２６との類似度を計算する類似度計算部２８とを備えている。
【００４７】
（２）画像認識装置１０の動作
画像入力部１２、物体検出部１４、画像正規化部１６、環境辞書２０、入力特徴抽出部１８、登録辞書２６、類似度計算部２８は第１の実施形態に記載してあるものと同じである。
【００４８】
第１射影行列計算部２２１と第１射影変換部２４１は、第１の実施形態に記載した射影行列計算部２２と射影変換部２４と同じであり、入力特徴抽出部１８から得られる入力に対する特徴量と環境辞書２０の直交化して環境抑制特徴量を求める。
【００４９】
第２射影行列計算部２２２では、予め保存している登録辞書２６を用いて、第１射影変換部２４１で得られた環境抑制特徴量について個人差を強調するように直交化して個人射影辞書３０に登録する。
【００５０】
第２射影行列計算部２２２は、第１射影行列計算部２２１と同様に非特許文献２の方法を用いて、登録辞書２６の差分部分空間から求まる制約部分空間を計算し、射影変換を行うことで直交化することもできるし、式（７）〜（９）を用いることもできるし、どのような方法を用いて計算してもよい。
【００５１】
このとき、登録辞書２６についても予め環境辞書２０と直交化しておくことで、非特許文献２などの従来方法と異なり、入力特徴と登録辞書２６の両者について環境変動が抑制されているため、認識に有用な個人差をより効果的に抽出することができる。
【００５２】
第２射影変換部２４２では、第１射影変換部２４１から得られる環境抑制特徴量について、第２射影行列計算部２２２で求められた射影行列により射影変換を行い、個人差を強調した環境抑制特徴量を求める。
【００５３】
類似度計算部２８では、第１の実施形態と同様に第２射影変換部２４２で得られた個人差を強調した環境抑制特徴量と、登録辞書２６との類似度を計算する。
【００５４】
このように、第２の実施形態に係わる画像認識装置１０によれば、予め生成した環境辞書２０を用いて個人毎に環境変動を抑制した上で、さらに個人差を強調する空間を全体から生成することで、高精度に認識することが可能である。
【００５５】
（第３の実施形態）
次に、図５を参照して本発明に係わる第３の実施形態の画像認識装置１０について述べる。
【００５６】
（１）画像認識装置１０の構成
図５は、画像認識装置１０の構成を表す図である。
【００５７】
画像認識装置１０は、対象となる人物の顔を入力する画像入力部１２と、入力された画像内から人物の顔を検出する物体検出部１４と、検出された顔から正規化画像を生成する画像正規化部１６と、認識に用いる特徴量を抽出する入力特徴抽出部１８と、環境変動について入力画像を摂動させる環境摂動部３２と、環境変動に関する情報を持つ環境辞書２０と、特徴量と環境辞書２０から環境変動を抑制するような空間に射影する行列を計算する射影行列計算部２２と、計算した射影行列を記憶する環境射影辞書２３と、射影変換を行う射影変換部２４と、予め登録してある登録辞書２６との類似度を計算する類似度計算部２８とを備えている。
【００５８】
なお、本実施形態は第１の実施形態と比較して環境摂動部３２を追加したものであり、その他の動作は第１の実施形態と同じである。
【００５９】
（２）環境摂動部３２の動作
次に、環境摂動部３２の動作について説明する。
【００６０】
環境摂動部３２では、入力画像に対して環境変動を人為的に付与し、複数の環境変動から複数の入力環境変動画像を生成する。
【００６１】
この付与する環境変動は、環境辞書２０と同種類の変動が好ましいが、特に制限は設けない。入力画像に環境変動を付与するためには、どのような方法を用いてもよいが、例えば以下に示すような方法がある。
【００６２】
まず、画像正規化部１６で行う正規化処理を施した、環境変動を含むような画像を用意する。これは、環境辞書２０の生成の際に用いた図２のような画像でもよい。
【００６３】
画像正規化部１６で得られる入力画像に対する正規化画像と、先に述べた環境変動を含む正規化画像は、同じ正規化処理を行うことで画素毎に対応が取れているので、各画素について単純に積算することで、環境変動（図２の場合は照明変動）を含むような新しい正規化画像を得ることができる。
【００６４】
このような環境変動を含む正規化画像を複数用意する。つまり環境変動に関して摂動させることで、１枚の入力正規化画像から、複数の新しい正規化画像を生成することもできる。
【００６５】
環境変動に関する摂動の方法はこれに限るものではなく、例えば、環境変動に関する画像を予め主成分分析しておいて、それとの線形結合から求めても良いし、画像の一部をマスクするなどして環境変動との和を取るなどしても良い。また、登録辞書２６に保存される特徴量についても、環境摂動部３２を含む入力特徴量と同様の処理を行う。
【００６６】
このように、第３の実施形態に係わる画像認識装置１０によれば、入力の特徴量と登録辞書２６の特徴量の両者に環境摂動を加えることで、片方に環境変動の偏りがあった場合でも両者の環境変動をなるべく均質に保つことができ、後段の環境辞書２０との射影変換において、個人性にかかわる情報を維持しながら、高精度に認識することが可能である。
【００６７】
（変更例）
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００６８】
（１）変更例１
変更例１について図６と図７に基づいて説明する。
【００６９】
第３の実施形態においては、射影行列計算部２２に渡される特徴量と、射影変換部２４に渡される特徴量は同一であり、どちらも環境摂動を加えられていたが、環境辞書２０との射影行列生成に用いる特徴量と、射影変換を行い認識に用いる特徴量は、環境摂動を加えるかどうかは任意に選択することができる。
【００７０】
図６と図７は、それぞれ環境摂動の加え方を変更した場合の構成図である。
【００７１】
図６に示す構成図を持つような第１の変形例では、環境辞書２０との射影行列計算においては環境摂動を加え、環境射影辞書との射影変換については、環境摂動を加えない特徴量を用いて、類似度の計算を行う。
【００７２】
また、図７に示す構成図を持つような第２の変形例では、環境辞書２０との射影行列計算においては環境摂動を加えず、環境射影辞書との射影変換においては環境摂動を加えた特徴量を用いて、類似度の計算を行う。
【００７３】
（２）変更例２
変更例２について説明する。
【００７４】
第１の実施形態では、照明変動に関する環境辞書を準備して、射影変換を行ったが、これに加えて、経年変化の変動に関する環境辞書も準備してさらに射影変換を行っても良い。
【００７５】
また、複数の環境辞書を準備して、多段階で射影変換を行って、その環境変動を抑制してもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】第１の実施形態のフローチャートである。
【図３】３次元形状情報に環境変動を加えた例を示す図である。
【図４】本発明の第２の実施形態の構成を示すブロック図である。
【図５】本発明の第３の実施形態の構成を示すブロック図である。
【図６】本発明の第１の変形例の構成を示すブロック図である。
【図７】本発明の第２の変形例の構成を示すブロック図である。
【符号の説明】
【００７７】
１０    画像認識装置
１２    画像入力部
１４    物体検出部
１６    画像正規化部
１８    入力特徴抽出部
２０    環境辞書
２２    射影行列計算部
２４    射影変換部
２６    登録辞書
２８    類似度計算部
【図１】
2007072620.tif 000007
【図２】
2007072620.tif 000008
【図３】
2007072620.tif 000009
【図４】
2007072620.tif 000010
【図５】
2007072620.tif 000011
【図６】
2007072620.tif 000012
【図７】
2007072620.tif 000013
【手続補正書】
【提出日】平成18年3月6日(2006.3.6)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2007072620.tif 000014
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2007072620.tif 000015
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2007072620.tif 000016