(57)【要約】【課題】特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、当該対象者の３次元顔画像を作成する顔画像処理装置を提供する。【解決手段】顔画像処理装置は、２次元顔画像を入力する画像入力手段２１０と、予め３次元形状モデルとその３次元形状モデルにおける顔の特徴点位置とを記憶する記憶手段２５０と、３次元形状モデルの顔表面の正中線上に設定された基準点に対し、基準点より上部の特徴点までの長さと基準点より下部の特徴点までの長さの比率をその３次元形状モデルと異ならせた派生形状モデルを作成する派生モデル作成手段２３１と、派生形状モデル及び３次元形状モデルを２次元顔画像と比較して２次元顔画像に最も類似するものを選択する選択手段（２３２、２３３）と、選択された形状モデルと２次元顔画像を合成して、その人物の顔に対応した３次元顔画像を作成する個人モデル作成手段２４０とを有する。【選択図】図１
2009211148.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔が含まれる２次元顔画像と顔の３次元形状を表す３次元形状モデルを合成して該人物の顔に対応した３次元顔画像を作成する顔画像処理装置であって、
前記２次元顔画像を入力する画像入力手段と、
予め前記３次元形状モデルと該３次元形状モデルにおける顔の特徴点位置とを記憶する記憶手段と、
前記３次元形状モデルから、該３次元形状モデルの顔表面の正中線に沿った少なくとも上下に前記特徴点が存在する位置に設定された基準点に対し、該基準点より上部の前記特徴点までの長さと該基準点より下部の前記特徴点までの長さの比率を前記３次元形状モデルと異ならせた派生形状モデルを作成する派生モデル作成手段と、
前記派生形状モデル及び前記３次元形状モデルを前記２次元顔画像と比較して前記２次元顔画像に最も類似するものを選択する選択手段と、
前記選択された派生形状モデルまたは前記３次元形状モデルと前記２次元顔画像を合成して、前記人物の顔に対応した前記３次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。
【請求項２】
前記基準点は鼻尖点である、請求項１に記載の顔画像処理装置。
【請求項３】
前記派生モデル作成手段は、鼻尖点から鼻根点若しくは両目の中心位置を表す特徴点までの顔の正中線に沿った距離と、鼻尖点から口点を表す特徴点までの距離の比率を異ならせて前記少なくとも一つの派生形状モデルを作成する、請求項２に記載の顔画像処理装置。
【請求項４】
前記派生モデル作成手段は、前記３次元形状モデルの顔の輪郭形状を、水平方向と垂直方向の長さの比が変わるように変形して前記少なくとも一つの派生形状モデルを作成する、請求項１〜３の何れか一項に記載の顔画像処理装置。
【請求項５】
さらに、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、
前記３次元顔画像の顔向きを３次元空間で回転させて、前記人物の顔が前記所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、
前記補正顔画像と前記参照顔画像を照合し、前記人物を前記登録者として認証するか否かを決定する照合手段と、
を有する請求項１〜４の何れか一項に記載の顔画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、個人を撮影した２次元の顔画像と３次元の顔形状モデルからその個人の３次元の顔形状を推定して３次元顔画像を作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなる。
【０００３】
そこで、顔画像の照合に使用するための、対象者の顔の複数の２次元画像を作成するサンプル画像収集方法が提案されている（特許文献１を参照）。係る画像収集方法は、表面計測装置を用いて取得した顔の３次元の表面形状データ及びカラー情報から、対象者の顔の３次元コンピュータグラフィックスモデルを作成する。そして、その画像収集方法は、そのモデルに基づいて顔の向き又は照明条件を変動させてレンダリングすることにより、複数の２次元顔画像を作成する。
【０００４】
また、標準的な顔の３次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている（特許文献２を参照）。係る顔画像照合装置は、照合の際に取得した対象者の２次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した３次元顔モデル（３次元顔画像）を作成する。そして顔画像照合装置は、３次元顔モデルに対して顔の向き、照明条件、または表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。
【０００５】
【特許文献１】特開平４−２５６１８５号公報
【特許文献２】特開２００３−６６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された画像収集方法では、対象者ごとに顔の３次元コンピュータグラフィックスモデルを作成する必要がある。しかし、そのモデルの作成には、特殊な表面計測装置を用いて対象者本人の顔を計測する必要があるため、各対象者の顔の３次元コンピュータグラフィックスモデルを作成することは容易でない。そのため、係る画像収集方法を、一般に利用される顔認証装置に適用することは困難であった。
【０００７】
一方、特許文献２に記載された顔画像照合装置では、３次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが１ないし複数準備される。この標準フレームモデルは、一度作成すればよく、係る顔画像照合装置の何れについても使用することができるので、上記のような問題は生じない。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、例えば、鼻の頂点である鼻尖点と眼の間隔、鼻尖点と口の間隔など、個々人が持つ顔形状の特徴を反映しない。特に顔の中央に位置し立体形状が顕著となる鼻周辺の形状は、フレームモデルと２次元顔画像を合成する際の位置決め精度に与える影響が大きいが、標準的なフレームモデルでは個々人毎に異なる立体形状を反映できない。そのため、標準フレームモデルと２次元顔画像を合成するために、例えば、顔の凹凸形状において支配的な鼻尖点を中心として標準フレームモデルと２次元顔画像を位置合わせしようとしても、立体形状が異なれば顔の各特徴点間の距離も異なるため、適切な位置合わせを行えない場合があった。
どのような顔の特徴を持つ対象者に対しても顔形状の類似した標準フレームモデルを準備するためには、予め非常に多数の人の顔の形状データを取得する必要がある。しかも形状データが取得される各顔の形状は、互いに類似せず、できるだけ異なるものであることが望ましい。しかし、そのような多人数の顔の形状データを収集することは、多大な労力が必要となってしまう。また標準フレームモデルの数が増えるほど、照合時の計算量が増大するので、標準フレームモデルの数を増やし過ぎることは望ましくない。
【０００８】
そこで、本発明の目的は、少数の、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から当該対象者の顔形状を良好に再現した３次元顔画像を作成する顔画像処理装置を提供することにある。
また本発明の他の目的は、対象者の２次元の顔画像から作成された３次元顔画像を用いて、照合の誤り率が低い顔認証装置を提供することにある。
【課題を解決するための手段】
【０００９】
かかる課題を解決するための本発明は、人物の顔が含まれる２次元顔画像と顔の３次元形状を表す３次元形状モデルを合成してその人物の顔に対応した３次元顔画像を作成する顔画像処理装置を提供する。係る顔画像処理装置は、２次元顔画像を入力する画像入力手段と、予め３次元形状モデルとその３次元形状モデルにおける顔の特徴点位置とを記憶する記憶手段と、３次元形状モデルから、その３次元形状モデルの顔表面の正中線に沿った少なくとも上下に特徴点が存在する位置に設定された基準点に対し、基準点より上部の特徴点までの長さと基準点より下部の特徴点までの長さの比率を３次元形状モデルと異ならせた派生形状モデルを作成する派生モデル作成手段と、派生形状モデル及び３次元形状モデルを２次元顔画像と比較して２次元顔画像に最も類似するものを選択する選択手段と、選択された派生形状モデルまたは３次元形状モデルと２次元顔画像を合成して、その人物の顔に対応した３次元顔画像を作成する個人モデル作成手段とを有する。
【００１０】
顔の立体形状は個々人毎に異なる。そこで、本発明の顔画像処理装置は、予め記憶した顔の３次元形状モデルに対し基準点上下の長さの比が異なる派生形状モデルを作成することで、立体形状の大きさや長さが異なる顔形状のバリエーションを作成でき、より対象者の顔形状に類似した形状モデルを選択して３次元顔画像を作成することができる。
【００１１】
また本発明において、基準点は鼻尖点であることが好ましい。
さらに本発明において、派生モデル作成手段は、鼻尖点から鼻根点若しくは両目の中心位置を表す特徴点までの顔の正中線に沿った距離と、鼻尖点から口点を表す特徴点までの距離の比率を異ならせて少なくとも一つの派生形状モデルを作成することが好ましい。
【００１２】
さらに本発明において、派生モデル作成手段は、３次元形状モデルの顔の輪郭形状を、水平方向と垂直方向の長さの比が変わるように変形して少なくとも一つの派生形状モデルを作成することが好ましい。
【００１３】
さらに本発明に係る顔画像処理装置は、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、３次元顔画像の顔向きを３次元空間で回転させて、その人物の顔が所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、補正顔画像と参照顔画像を照合し、その人物を登録者として認証するか否かを決定する照合手段と、をさらに有することが好ましい。
【発明の効果】
【００１４】
本発明に係る顔画像処理装置は、少数の、顔の３次元形状モデルを用いて、対象者の２次元の顔画像から当該対象者の顔形状を良好に再現した３次元顔画像を作成できるという効果を奏する。
また本発明に係る顔認証装置は、対象者の２次元の顔画像から作成された３次元顔画像を用いて照合を行うことにより、照合の誤り率を低く抑制できるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る顔画像処理装置の実施の形態について図を参照しつつ説明する。
本発明を適用した顔画像処理装置は、対象者の顔画像を取得すると、その顔画像と事前に準備された顔の３次元形状を表す３次元形状モデルを位置合わせした上で合成し、対象者の３次元顔モデルを作成する。その際、顔画像処理装置は、３次元形状モデルを、鼻尖点などの基準点に対する高さ方向上下の長さの比率を変えるように変形して顔の特徴点間の距離や立体形状の大きさが異なる派生形状モデルを作成することにより、対象者の顔形状と良好に一致する顔形状を持つ３次元顔モデルの作成を図る。この３次元顔モデルは、本発明の３次元顔画像であって、２次元画像として得られる対象者の顔画像を、対象者の顔形状に適合した３次元形状モデル上に合成することで、当該３次元顔モデルを任意の方向に回転させることで、対象者の顔の向きが変化した画像を出力可能とするものである。
【００１６】
図１は、本発明を適用した顔画像処理装置２００の概略構成を示す。図１に示すように、顔画像処理装置２００は、画像入力手段２１０、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、個人モデル作成手段２４０及び記憶手段２５０を有する。
このうち、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０及び個人モデル作成手段２４０は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置２００の各部について詳細に説明する。
【００１７】
記憶手段２５０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段２５０は、顔画像処理装置２００を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶手段２５０は、顔の３次元形状モデル及び３次元形状モデルに対応する３Ｄ顔特徴点の３次元位置情報を記憶する。３次元形状モデルは複数存在してもよく、また一つであってもよい。３次元形状モデルは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元形状モデルは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。
【００１８】
また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点、口角点などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも顔特徴点抽出手段２２０において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、及び左右の口角点の１０箇所を記憶するものとした。
【００１９】
画像入力手段２１０は、例えば、監視カメラ等の画像取得手段と接続されるインターフェース回路であり、画像取得手段により２次元顔画像として取得された対象者の顔画像１００を顔画像処理装置２００に入力する。また、予め撮影された１ないし複数の顔画像を含む履歴情報を記録した記録媒体が存在する場合、画像入力手段２１０は、そのような記録媒体にアクセスするための読み取り装置と、キーボード、マウスなどの入力デバイスとディスプレイを含むユーザインターフェースとを有していてもよい。この場合、ユーザは、画像入力手段２１０のユーザインターフェースを介して、履歴情報から何れか一つの顔画像１００を選択する。なお、顔画像１００は、顔全体を含み、かつ顔の各特徴部分（目、鼻、口など）を他の特徴部分と区別できるものである。さらに顔画像１００は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像１００を、１２８×１２８画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、顔画像１００として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
【００２０】
顔特徴点抽出手段２２０は、画像入力手段２１０により取得された顔画像１００から顔特徴点を抽出する。そして顔特徴点抽出手段２２０は、抽出した顔特徴点の種別と顔画像１００上の位置情報（例えば、顔画像１００の左上端部を原点とする２次元座標値）を、位置合わせ情報算出手段２３０へ出力する。本実施形態において、顔特徴点抽出手段２２０は、記憶手段２５０に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１０箇所）に対応する顔特徴点を抽出する。顔特徴点抽出手段２２０は、顔画像１００から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段２２０は、顔画像１００に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段２２０は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔特徴点抽出手段２２０は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔特徴点抽出手段２２０は、顔の各部位に相当するテンプレートと顔画像１００とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、顔特徴点抽出手段２２０は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。
【００２１】
位置合わせ情報算出手段２３０は、記憶手段２５０に記憶された３次元形状モデルを、３Ｄ顔特徴点の相対的な位置関係が変わるように変形した派生形状モデルを複数作成し、それら派生形状モデル及び３次元形状モデルと、画像入力手段２１０で取得された顔画像１００の顔の向きが等しくなるように位置合わせを行う。そして位置合わせ情報算出手段２３０は、その位置合わせの結果として得られる位置合わせ情報を参照し、派生形状モデル及び３次元形状モデルのうち、最も位置合わせ誤差の少ない形状モデルを、個人モデル作成手段２４０へ出力する。そのために、位置合わせ情報算出手段２３０は、派生モデル作成手段２３１と、位置合わせ手段２３２と、類似形状選択手段２３３とを有する。位置合わせ手段２３２と類似形状選択手段２３３とが、本発明の選択手段として機能する。
【００２２】
派生モデル作成手段２３１は、記憶手段２５０に記憶されている３次元形状モデルを、３Ｄ顔特徴点の相対的な位置関係が変わるように変形した派生形状モデルを複数個作成する。
図２に、派生形状モデル作成の際に基準となる３次元の正規直交座標系(u,v,w)を示す。図２に示すように、正規直交座標系(u,v,w)のu軸は、３次元形状モデル１１０に対して、顔の正中線に沿った垂直軸として設定される。v軸は、３次元形状モデル１１０に対して、顔を左右に横断する方向の水平軸として設定される。w軸は、３次元形状モデル１１０に対して、顔を前後に横断する方向の水平軸として設定される。
【００２３】
派生モデル作成手段２３１は、３次元形状モデルの変形方法の一例として、基準点より上方の３Ｄ顔特徴点までの高さ方向の距離を変更することができる。なお、本実施形態では、基準点を鼻尖点とした。この場合、派生モデル作成手段２３１は、記憶手段２５０から３次元形状モデル及びその３Ｄ顔特徴点を読み出すと、左右それぞれの目領域中心の中点と鼻尖点とのu軸に沿った距離L1を求める。そして派生モデル作成手段２３１は、鼻尖点より上方の各３Ｄ顔特徴点について、鼻尖点に対するu軸方向に沿った距離（すなわち、垂直方向の距離）が所定の拡大／縮小率M1にしたがって拡大または縮小するように、鼻尖点より上方の各３Ｄ顔特徴点の位置を修正して派生形状モデルを作成する。その際、派生モデル作成手段２３１は、作成された派生形状モデルにおける左右それぞれの目領域中心の中点と鼻尖点とのu軸に沿った距離L1'と、オリジナルの３次元形状モデルについて求めた距離L1の比がRLからRUの範囲（ただし、RU>1.0>RL>0.0）内で、拡大／縮小率M1をＮ段階設定する。そして派生モデル作成手段２３１は、各段階の拡大／縮小率M1に基づいて、Ｎ個の派生形状モデルを作成する。なお、距離L1を、鼻尖点と両目頭の中点若しくは両目尻の中点間の正中線に沿った距離としてもよい。また、３Ｄ顔特徴点に鼻根点を含む場合、距離L1を鼻尖点と鼻根点間の距離としてもよい。
【００２４】
派生モデル作成手段２３１は、３次元形状モデルの変形方法の別の一例として、基準点である鼻尖点より下方の３Ｄ顔特徴点までの高さ方向の距離を変更することができる。この場合、派生モデル作成手段２３１は、記憶手段２５０から３次元形状モデル及びその３Ｄ顔特徴点を読み出すと、口点と鼻尖点とのu軸に沿った距離L2を求める。そして派生モデル作成手段２３１は、鼻尖点より下方の各３Ｄ顔特徴点について、鼻尖点に対するu軸方向に沿った距離（すなわち、垂直方向の距離）が所定の拡大／縮小率M2にしたがって拡大または縮小するように、鼻尖点より下方の各３Ｄ顔特徴点の位置を修正して派生形状モデルを作成する。その際、派生モデル作成手段２３１は、作成された派生形状モデルにおける口点と鼻尖点とのu軸に沿った距離L2'と、オリジナルの３次元形状モデルについて求めた距離L2の比がRLからRUの範囲（ただし、RU>1.0>RL>0.0）内で、拡大／縮小率M2をＮ段階設定する。そして派生モデル作成手段２３１は、各段階の拡大／縮小率M2に基づいて、Ｎ個の派生形状モデルを作成する。なお、距離L2を、鼻尖点と両口角点の中点との間の正中線に沿った距離としてもよい。
また派生モデル作成手段２３１は、上記の拡大／縮小率M1、M2を独立かつ両方とも変化させ、それら拡大／縮小率にしたがって各３Ｄ顔特徴点の垂直方向の位置を変更することにより、派生形状モデルを作成してもよい。
【００２５】
上記の距離L1とL2の比は、個人によって異なるものである。さらに、３次元形状モデル全体を同じ拡大／縮小率で線形に変形させてもL1とL2との比は変わらない。このため、対象者の顔画像１００におけるL1とL2の比が、３次元形状モデルにおけるL1とL2の比と異なる場合、３次元形状モデル全体を拡大または縮小しても、顔画像１００と３次元形状モデルを適切に位置合わせすることはできない。しかし、上記のような変形を行って、L1とL2の比が互いに異なる複数の派生形状モデルを作成することにより、顔画像１００と適切に位置合わせすることができる形状モデルを得ることが可能となる。
【００２６】
なお、派生形状モデルの作成数Ｎは、例えば、上記の拡大／縮小率M1またはM2を、RLからRUの範囲内で一定の変化量δずつ変化させる場合、以下の式で表せる。
【数１】
2009211148.tif 000003
この式から明らかなように、変化量δを小さくするほど、あるいはRUとRLの差を大きくするほど、作成される派生形状モデルの数Ｎは多くなる。そして、変化量δを小さくするほど、L1とL2との比を細かく設定できるので、顔画像１００の各顔特徴点との位置ずれ量が小さい３Ｄ顔特徴点を持つ派生形状モデルを作成することができる。また、RUとRLの差を大きくするほど、L1とL2との比の値の範囲が拡がるので、様々な顔に対してL1とL2との比の差が小さい派生形状モデルを作成することができる。
【００２７】
なお、拡大／縮小率M1、M2の最小値RL及び最大値RUは、L1とL2との比が人の顔として現実的に取り得る範囲をカバーするように設定される。例えば、３次元形状モデルが、上記のように多数の人物の顔形状を模した顔形状モデルを平均化して作成された、標準的な顔形状を有するものである場合、RL=0.8、RU=1.2とすることができる。また、変化量δは、顔画像１００と派生形状モデルとの位置合わせについて求められる精度と、派生形状モデルの作成及び派生形状モデルと顔画像１００の位置合わせに要する計算時間とを総合的に考量して決定される。例えば、RL=0.8、RU=1.2の場合、変化量δは、0.05に設定することができる。しかし、RL、RU、δは、上記の値に限定されず、本発明の実施形態及び顔画像処理装置２００に採用されるマイクロプロセッサの能力などに応じて、適宜最適化される。
派生モデル作成手段２３１は、作成した複数の派生形状モデルを位置合わせ手段２３２へ出力する。
【００２８】
位置合わせ手段２３２は、３次元形状モデル及び各派生形状モデルを回転、拡大／縮小して、顔画像１００と、それぞれ対応する顔特徴点同士の位置が最も一致するように、即ち顔向きが等しくなるように位置合わせを行い、その位置合わせ情報を算出する。そして位置合わせ手段２３２は、算出した各位置合わせ情報を評価するために、各位置合わせ情報を用いて顔画像１００と３次元形状モデルを位置合わせした場合の位置合わせ誤差を算出する。
【００２９】
位置合わせ情報は、例えば、３次元形状モデルまたは派生形状モデルに対して設定された３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元形状モデル上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
【００３０】
位置合わせ手段２３２は、例えば、以下のように位置合わせ誤差を算出する。まず、派生形状モデル上の３Ｄ顔特徴点を、２次元画像である顔画像１００上に投影する。そして位置合わせ手段２３２は、投影された各３Ｄ顔特徴点と、対応する各顔特徴点との距離Eiを算出し、その距離Eiの重み付き和として全体の位置ずれ量Eを求める。全体の位置ずれ量Eは、例えば以下の式で表される。
【数２】
2009211148.tif 000004
（２）式において、αiは、距離Eiに対する重み係数である。重み係数αiは、例えば、顔特徴点抽出手段２２０において抽出された各顔特徴点の位置の信頼度が高いほど、大きな値となるように設定される。例えば、顔特徴点抽出手段２２０が顔の各部位に相当するテンプレートを用いたテンプレートマッチングにより各顔特徴点の位置を決定する場合、顔特徴点の位置の信頼度は、テンプレートと顔画像１００が最も一致する場合の一致度とすることができる。また、特定の顔特徴点（例えば、鼻尖点）の位置合わせを重視したい場合には、その重視したい顔特徴点に対応する重み係数αiを、他の顔特徴点に対応する重み係数よりも大きくしてもよい。なお、顔特徴点の位置の信頼度が評価できない場合若しくは各顔特徴点の位置の信頼度がほぼ等しい場合、あるいは、全ての顔特徴点について位置ずれ量が均等になるように位置合わせしたい場合には、全ての重み係数αiを同じ値（例えば'1'）に設定する。
【００３１】
位置合わせ手段２３２は、この位置ずれ量Eが最小となるように、３次元形状モデルまたは派生形状モデルを、３次元の正規直交座標系(X,Y,Z)の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ手段２３２は、例えば、シミュレーティッドアニーリングまたは最急降下法などのエネルギー最小化手法を用いて、位置ずれ量Eが最小となるときの派生形状モデルの姿勢変化量（回転角、並進量、及び拡大／縮小率）を求めることができる。位置合わせ手段２３２は、上記の姿勢変化により各形状モデル毎に最小となった位置ずれ量Eを、顔画像１００と位置合わせした３次元形状モデルまたはその派生形状モデルに対する位置合わせ誤差とする。
また、位置合わせ手段２３２は、顔画像１００について抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデルまたは派生形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元形状モデルまたは派生形状モデルを回転、拡大／縮小して、位置合わせ誤差を算出してもよい。
位置合わせ手段２３２は、得られた位置合わせ誤差を、類似形状選択手段２３３へ出力する。
【００３２】
類似形状選択手段２３３は、３次元形状モデル及び派生形状モデルの中で位置合わせ誤差が最も小さいもの（すなわち、各３Ｄ顔特徴点の位置が顔画像１００の対応する各顔特徴点の位置と最も一致するもの）を最類似形状モデルとして個人モデル作成手段２４０へ出力する。
【００３３】
個人モデル作成手段２４０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する。すなわち、顔画像１００について抽出されている各顔特徴点と、最類似形状モデルとして選択された３次元形状モデル又は派生形状モデルについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて顔画像１００をテクスチャ画像として最類似顔形状モデルにマッピングする。なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像１００において顔の一部分の情報が欠落していることもある。そこで、顔画像１００をマッピングした３次元顔モデルに顔の情報やテクスチャの欠落部分が生じる場合、個人モデル作成手段２４０は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。あるいは、個人モデル作成手段２４０は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。具体的には、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。このような補間処理を行うことにより、顔画像１００が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した３次元顔モデルを作成することができる。
個人モデル作成手段２４０は、作成した３次元顔モデルを、記憶手段２５０に記憶するか、あるいは、顔画像処理装置２００を利用して、照合処理を行う顔認証装置などへ出力する。
【００３４】
以下、図３に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置２００による３次元顔モデル作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置２００を構成するマイクロプロセッサ上で動作し、顔画像処理装置２００全体を制御する制御手段（図示せず）により制御される。
最初に、顔画像処理装置２００は、画像入力手段２１０を介して、２次元画像である対象者の顔画像１００を取得する（ステップＳ３１０）。次に、顔特徴点抽出手段２２０は、取得された顔画像１００から顔特徴点を抽出する（ステップＳ３２０）。
【００３５】
次に、各３次元形状モデル及びその３次元形状モデルに関連付けられた３Ｄ顔特徴点が記憶手段２５０から読み込まれる（ステップＳ３３０）。そして、位置合わせ情報算出手段２３０の派生モデル作成手段２３１は、鼻尖点から上方の３Ｄ顔特徴点の位置関係と、鼻尖点から下方の３Ｄ顔特徴点の位置関係とを、垂直方向において非線形に変化させた派生形状モデルを複数作成する（ステップＳ３４０）。その後、位置合わせ情報算出手段２３０の位置合わせ手段２３２は、各３次元形状モデル及び派生形状モデルを、顔画像１００から抽出された各顔特徴点と、各３次元形状モデル及び派生形状モデルの対応する３Ｄ顔特徴点の２次元投影点の位置ずれ量Eが最小となるように、各形状モデルを、正規直交座標系(X,Y,Z)の各軸に沿って回転または併進させたり、拡大／縮小させる。位置合わせ手段２３２は、その位置ずれ量Eが最小となったときにこれを位置合わせ誤差として算出する（ステップＳ３５０）。
【００３６】
ステップＳ３５０の後、全ての３次元形状モデル及びこれらから作成した全ての派生形状モデルに対して、位置合わせ誤差が算出されたか否かが判定される（ステップＳ３６０）。そして、位置合わせ誤差を未算出の派生形状モデルまたは３次元形状モデルが存在する場合、制御はステップＳ３５０に戻り、位置合わせ誤差を未算出の派生形状モデルまたは３次元形状モデルに対してステップＳ３５０の処理が繰り返される。
【００３７】
次に、位置合わせ情報算出手段２３０の類似形状選択手段２３３は、全ての３次元形状モデル及び派生形状モデルの中から、位置合わせ誤差が最小となるものを最類似形状モデルとして選択する（ステップＳ３７０）。
最後に、個人モデル作成手段２４０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する（ステップＳ３８０）。
【００３８】
以上説明してきたように、本発明を適用した顔画像処理装置２００は、予め準備された３次元形状モデルについて、顔特徴点間の相対的な位置関係を非線形に変化させる。そして、係る顔画像処理装置２００は、３次元形状モデル上の３Ｄ顔特徴点と２次元顔画像上の対応する顔特徴点が最も一致するように３次元形状モデルを変形したものに２次元顔画像を合成して対象者の３次元顔モデルを作成するので、特殊な表面計測装置を用いることなく、また予め多人数の顔の形状データを収集していなくても、対象者の２次元の顔画像から、当該対象者の顔表面の立体形状を良好に再現した３次元顔モデルを作成できる。また、複数の３次元形状モデルを準備することにより、多様な派生形状モデルを作成できるので、対象者の２次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
【００３９】
次に、上記の顔画像処理装置２００を使用した顔画像登録装置について説明する。係る顔画像登録装置は、対象者の顔画像に基づいて作成された３次元形状モデルから、顔の向き、照明条件または表情を変えた複数の参照顔画像を作成するものである。なお、顔画像処理装置２００自体に、下記の顔画像登録装置の各部機能を備えるようにしてもよい。
図４に、係る顔画像登録装置４００の概略構成図を示す。顔画像登録装置４００は、上記の顔画像処理装置２００に対応する３次元顔モデル作成手段４１０と、変動顔画像作成手段４２０と、顔画像登録手段４３０と、レンダリング条件記憶手段４４０とを有する。ここで、レンダリング条件記憶手段４４０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、レンダリング条件記憶手段４４０は、３次元顔モデル作成手段４１０（顔画像処理装置２００）の記憶手段２５０と同一のハードウェアにより構成することもできる。また、変動顔画像作成手段４２０及び顔画像登録手段４３０は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、変動顔画像作成手段４２０及び顔画像登録手段４３０は、３次元顔モデル作成手段４１０（顔画像処理装置２００）の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図５に、顔画像登録装置４００による、参照顔画像作成処理の動作フローチャートを示す。以下、図４及び図５を参照しつつ、顔画像登録装置４００の各部及び参照顔画像作成処理について説明する。
【００４０】
顔画像登録装置４００は、例えば、監視カメラ等で撮影された顔画像の履歴情報から、対象者の２次元顔画像１００を取得すると、３次元顔モデル作成手段４１０により、その対象者の３次元顔モデルを作成する（ステップＳ５１０）。なお、３次元顔モデル作成手段４１０は、上記の顔画像処理装置２００と同様の構成及び機能を有するため、ここでは、その詳細な説明を省略する。
【００４１】
次に、顔画像登録装置４００の変動顔画像作成手段４２０は、レンダリング条件記憶手段４４０から、複数のレンダリング条件を読み出す。そして変動顔画像作成手段４２０は、各レンダリング条件にしたがって、対象者の３次元顔モデルから、顔の向き、照明条件、表情などを変化させた複数の変動顔画像を作成する（ステップＳ５２０）。なお、レンダリング条件には、顔の向き、照明方向及び照明光の輝度などを規定した照明条件、及び表情を指定した表情情報が含まれる。また、レンダリング手法として公知の様々な手法を用いることができるため、レンダリング手法の詳細な説明は省略する。
【００４２】
そして、顔画像登録手段４３０は、作成された各変動顔画像を、例えば顔認証装置の参照顔画像として、その対象者の識別情報と関連付けて登録する（ステップＳ５３０）。顔画像登録装置４００は、登録された参照顔画像を、顔画像登録装置４００の外部に設けられた記憶装置に記憶してもよく、あるいは、３次元顔モデル作成手段４１０（顔画像処理装置２００）の記憶手段２５０に記憶してもよい。
【００４３】
以上のように、本発明を適用した顔画像登録装置は、特殊な表面計測装置を用いることなく作成された対象者の３次元顔モデルから任意のレンダリング条件にしたがって参照顔画像を作成するので、顔の向き、照明条件、表情などを任意に変化させた多数の参照顔画像を容易に作成することができる。
【００４４】
次に、本発明を適用した別の実施形態である顔認証装置について説明する。係る顔認証装置は、対象者の顔画像に基づいて作成された３次元形状モデルから作成された所定の向き、照明条件、表情の顔画像と、予め登録された登録者の参照顔画像とを照合して、対象者を認証するか否か決定するものである。なお、顔画像処理装置２００自体に、下記の顔認証装置の各部機能を備えるようにしてもよい。
図６に、係る顔認証装置６００の概略構成図を示す。顔認証装置６００は、画像取得手段６１０と、上記の顔画像処理装置２００に対応する３次元顔モデル作成手段６２０と、入力顔画像補正手段６３０と、顔画像照合手段６４０と、参照顔画像記憶手段６５０とを有する。ここで、参照顔画像記憶手段６５０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、参照顔画像記憶手段６５０は、３次元顔モデル作成手段６２０（顔画像処理装置２００）の記憶手段２５０と同一のハードウェアにより構成することもできる。また、入力顔画像補正手段６３０及び顔画像照合手段６４０は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、入力顔画像補正手段６３０及び顔画像照合手段６４０は、３次元顔モデル作成手段６２０（顔画像処理装置２００）の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図７に、顔認証装置６００による、認証処理の動作フローチャートを示す。以下、図６及び図７を参照しつつ、顔認証装置６００の各部及び認証処理について説明する。
【００４５】
まず、画像取得手段６１０により、対象者の２次元顔画像１００が取得される（ステップＳ７１０）。画像取得手段６１０は、例えば、CCD、C-MOSセンサなどの光電変換素子の２次元アレイを有する検出器と、その検出器上に結像する光学系と、プロセッサ及びその周辺回路を有する。画像取得手段６１０は、光学系によって所定領域の像を検出器上に結像させて、その所定領域を撮影した画像データを取得する。そして画像取得手段６１０のプロセッサは、得られた画像データから、所定領域内に入った対象者の顔に相当する領域を切り出すことにより、顔画像１００を取得する。ここで、対象者の顔に相当する領域の抽出は、公知の様々な方法を用いて行うことができる。例えば、顔に対応するテンプレートを予め準備しておき、画像取得手段６１０は、そのテンプレートを用いて、画像データ全体とのテンプレートマッチングを行って一致度を算出する。そして画像取得手段６１０は、画像データ中、所定以上の一致度が得られた領域を切り出し、顔画像１００とする。
なお、画像取得手段６１０は、１枚の画像データから、１枚の顔画像のみを切り出してもよく、あるいは、１枚の画像データから、複数枚の顔画像を切り出してもよい。
【００４６】
次に、顔認証装置６００の３次元顔モデル作成手段６２０は、対象者の２次元顔画像１００から、その対象者の３次元顔モデルを作成する（ステップＳ７２０）。なお、３次元顔モデル作成手段６２０は、上記の顔画像処理装置２００と同様の構成及び機能を有するため、ここでは、その詳細な説明を省略する。そして、顔認証装置６００の入力顔画像補正手段６３０は、対象者の３次元顔モデルを、対象者の顔が所定の方向（例えば、正面方向）を向くように仮想３次元空間で回転し、２次元画像としてレンダリングして、入力補正顔画像を作成する（ステップＳ７３０）。なお、レンダリングを行う際、入力顔画像補正手段６３０は、照合に使用する参照顔画像の何れかに含まれる顔の特定部位（例えば、顔の皮膚部分の全体若しくは一部、あるいは鼻、目、口など）の平均輝度と、入力補正顔画像に含まれる、対応する特定部位の平均輝度が略等しくなるように、照明条件を調整してもよい。さらに、対象者の表情も、所定の表情となるように調整してもよい。また、レンダリング手法として公知の様々な手法を用いることができるため、レンダリング手法の詳細な説明は省略する。
【００４７】
入力補正顔画像が作成されると、顔認証装置６００の顔画像照合手段６４０は、入力補正顔画像と参照顔画像記憶手段６５０から読み込んだ各参照顔画像とを照合する（ステップＳ７４０）。各参照顔画像は、顔認証装置６００において事前に登録された登録者の顔画像であり、例えば、登録者の顔が上記の所定の方向（例えば、正面方向）を向いた状態の画像である。また、参照顔画像記憶手段６５０は、入力補正顔画像に写っている対象者の顔の向きが上記の所定の方向とずれた場合、あるいは顔画像１００の取得時の照明条件または対象者の表情の違いに対応して、正確に照合できるように、一人の登録者につき、顔の向き、照明条件、表情を変えた複数の参照顔画像を有していてもよい。なお、各参照顔画像は、例えば、上記の顔画像登録装置４００を用いて登録者の顔画像を取得することにより、予め作成されたものとすることができる。あるいは、各参照顔画像は、登録者の顔を、異なる角度、異なる照明条件、若しくは異なる表情で撮影した画像としてもよい。また、照合処理として、公知の様々な照合方法を用いることができる。例えば、顔画像照合手段６４０は、入力補正顔画像と参照顔画像のパターンマッチングを行う。そして顔画像照合手段６４０は、入力補正顔画像に含まれる顔領域内の各画素と参照顔画像の対応画素の輝度値の差の二乗和を、入力補正顔画像の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。顔画像照合手段６４０は、各参照顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、対象者を、一致度が最も高い値を有する参照顔画像に対応する登録者として認証する。一方、顔画像照合手段６４０は、何れの一致度も所定の基準値を超えない場合、対象者を認証しない。
認証結果は、顔認証装置６００から出力され、例えば、認証に成功した場合にのみ出入口を開放するようなセキュリティシステムにおいて利用される。
【００４８】
以上のように、本発明を適用した顔認証装置は、対象者の顔の特徴的な部位の位置に合わせて３次元形状モデルを変形し、そのモデルと対象者の顔の２次元顔画像を合成した３次元顔モデルに基づいて照合するので、照合精度を高めることができる。さらに係る顔認証装置は、参照顔画像の何れかとほぼ同じ顔の向きに調節した入力補正顔画像を照合に使用するので、撮影時に対象者がどちらを向いていても、正確に認証することができる。
【００４９】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、各３次元形状モデルとして、形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成したものを用いてもよい。そして、位置合わせ情報算出手段２３０は、各３次元形状モデルについてそれぞれ派生形状モデルを作成し、各派生形状モデルに対して位置合わせ情報を算出するようにしてもよい。
【００５０】
また、派生モデル作成手段２３１は、鼻尖点以外の顔特徴点を基準点とし、その基準点からの距離が拡大または縮小されるように、他の顔特徴点の位置を変更して派生形状モデルを作成してもよい。例えば、基準点を、鼻根点に設定してもよい。そして派生モデル作成手段２３１は、鼻根点から鼻根点より上方の顔特徴点(例えば、眉間点）までの距離を変更したり、鼻根点から鼻根点より下方の顔特徴点(例えば、鼻尖点、口点、オトガイ点）までの距離を変更して派生形状モデルを作成してもよい。また、基準点を口点に設定してもよい。そして派生モデル作成手段２３１は、口点からオトガイ点までの長さと、口点から鼻尖点若しくは鼻根点までの長さの比率を異ならせるように３次元形状モデルを変形して派生形状モデルを作成してもよい。
さらに、派生モデル作成手段２３１は、３次元形状モデルの鼻の高さを変えた派生形状モデルを作成してもよい。この場合、派生モデル作成手段２３１は、例えば、派生形状モデルの鼻の高さが、元の３次元形状モデルの鼻の高さの0.8倍〜1.2倍となるように、上記のw軸方向（すなわち、顔の前後方向）に沿って３次元形状モデルを拡大または縮小する。
【００５１】
また、派生モデル作成手段２３１は、顔内部の眉、目、鼻、口などの特徴部分の位置を変えるだけでなく、顔の輪郭形状も変更した派生形状モデルを作成してもよい。特に、本発明を適用した顔認証装置が、照合の際に顔の輪郭形状も照合情報として用いる場合、照合に使用する入力補正顔画像における顔の輪郭形状も、対象者の顔の輪郭形状に近似させることができるため、認証精度を向上することができる。顔の輪郭形状も変更した派生形状モデルを作成する場合、派生モデル作成手段２３１は、他の顔特徴点と同様に、垂直方向の拡大／縮小率を基準点である鼻尖点の上下で変更することにより、顔の輪郭形状を変更することができる。また、派生モデル作成手段２３１は、顔の輪郭形状を、その他の顔特徴点とは別個に変形し、その後において合成して派生形状モデルとしてもよい。この場合、顔の輪郭形状を変形するために、髪の毛に隠れる可能性の低い部位、例えば、左右の顎角点の中点を基準点とする。あるいは、顔の全体領域の重心を基準点としてもよい。そして派生モデル作成手段２３１は、その基準点の上下で垂直方向の拡大／縮小率を変更することにより、顔の輪郭形状を変更する。さらに、派生モデル作成手段２３１は、顔の輪郭形状について、水平方向の拡大／縮小率と垂直方向の拡大／縮小率を異ならせてもよい。このような変形を行うことにより、丸顔、細面など、様々な顔の輪郭形状を持つ派生形状モデルを作成することができる。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００５２】
【図１】本発明を適用した画像処理装置の概略構成図である。
【図２】派生形状モデル作成の基準となる座標系を示す図である。
【図３】本発明を適用した画像処理装置における３次元顔モデル作成処理の一例を示すフローチャートである。
【図４】本発明を適用した顔画像登録装置の概略構成図である。
【図５】本発明を適用した顔画像登録装置における参照顔画像登録処理の一例を示すフローチャートである。
【図６】本発明を適用した顔認証装置の概略構成図である。
【図７】本発明を適用した顔認証装置における認証処理の一例を示すフローチャートである。
【符号の説明】
【００５３】
１００    顔画像
２００    顔画像処理装置
２１０    画像入力手段
２２０    顔特徴点抽出手段
２３０    位置合わせ情報算出手段
２３１    派生モデル作成手段
２３２    位置合わせ手段
２３３    類似形状選択手段
２４０    個人モデル作成手段
２５０    記憶手段
４００    顔画像登録装置
４１０    ３次元顔モデル作成手段（顔画像処理装置）
４２０    変動顔画像作成手段
４３０    顔画像登録手段
４４０    レンダリング条件記憶手段
６００    顔認証装置
６１０    画像取得手段
６２０    ３次元顔モデル作成手段（顔画像処理装置）
６３０    入力顔画像補正手段
６４０    顔画像照合手段
６５０    参照顔画像記憶手段
【図１】
2009211148.tif 000005
【図２】
2009211148.tif 000006
【図３】
2009211148.tif 000007
【図４】
2009211148.tif 000008
【図５】
2009211148.tif 000009
【図６】
2009211148.tif 000010
【図７】
2009211148.tif 000011