(57)【要約】      （修正有）【課題】1枚の２Ｄ画像から直接、顔のバイリニア照明モデルを生成すること。【解決手段】任意の顔の３次元バイリニア照明モデルを生成する。多くの異なる顔について多数の画像が取得される。各顔毎に、複数の画像が様々な姿勢及び様々な照明で取得される。３相特異値分解が画像に適用されて、モデルのパラメータが求められる。モデルは、未知の顔のプローブ画像に当てはめることができる。次に、モデルは、未知の顔の画像ギャラリーのモデルと比較されて、プローブ画像中の顔を認識することができる。【選択図】図１
2006351007.tif 000002
【特許請求の範囲】
【請求項１】
顔のバイリニアモデルを生成する方法であって、
複数の顔のそれぞれについて、該顔の異なる姿勢及び該顔に対する異なる照明で取得される複数の２Ｄ画像を取得すること、
前記複数の顔のそれぞれについて、３Ｄ形状モデルを取得すること、
前記複数の顔のそれぞれについて、前記２Ｄ画像及び前記３Ｄ形状モデルを用いて点間対応を得ること、
前記複数の顔のそれぞれについて、前記２Ｄ画像から拡散テクスチャを求めること、
前記点間対応及び前記拡散テクスチャをベクトルに位置合わせすること、
前記ベクトルに特異値分解を適用して、形状及び照明の両方の結合変化を求めること、
前記形状及び前記照明から形状基底ベクトル及び照明基底ベクトルを求めること、及び
対応する形状基底及び照明基底を前記形状ベクトル及び前記照明ベクトルの一次結合と、形状パラメータとから再構成して、バイリニア顔モデルを生成すること
を備えた方法。
【請求項２】
前記２Ｄ画像は高ダイナミックレンジ画像である、請求項１に記載の方法。
【請求項３】
前記３Ｄ形状モデルはポリゴンメッシュの形態である、請求項１に記載の方法。
【請求項４】
前記ポリゴンメッシュを点サンプルの非構造化リストに変換すること
をさらに備えた、請求項１に記載の方法。
【請求項５】
前記特異値分解は３相高次分解である、請求項１に記載の方法。
【請求項６】
前記形状ベクトル及び前記照明ベクトルは３相テンソルである、請求項１に記載の方法。
【請求項７】
線形部分空間を用いて前記３Ｄ形状モデルを前記２Ｄ画像に当てはめること
をさらに備えた、請求項１に記載の方法。
【請求項８】
前記バイリニア顔モデルを用いて顔認識を行うこと
をさらに備えた、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータビジョンに関し、特に、顔のバイリニアモデルを生成すること、及び、バイリニアモデルを用いて画像中の顔を認識することに関する。
【背景技術】
【０００２】
顔認識は通常、未知の顔の「プローブ（probe：調査）」画像を既知の顔の画像「ギャラリー（gallery）」と比較することによって行われる。プローブ画像とギャラリー画像の間で姿勢、カメラ視点及び照明に変化がある場合、２Ｄ画像中の顔を高い信頼度で認識することは困難である。
【０００３】
１つの従来技術の顔認識方法は、同一性、表情、姿勢、及び照明等の複数の因子下の２Ｄ顔画像に高次特異値分解（ＳＶＤ）を適用することによって２Ｄ顔画像の多重線形解析を用いる（Ｍ．Ａ．Ｏ．ワシレスク（M.A.O. Vasilescu）及びＤ．テルゾパウロス（D. Terzopoulos）著「Multilinear Subspace Analysis of Image Ensembles」（Proceedings of Computer Vision and Pattern Recognition, 2003））。この方法は、顔の３Ｄ形状情報を考慮しないため、顔は完全な球形の凸面ではなく、様々な凹部及び隆起も含むことから、姿勢及び影を投げかける照明方向に変化がある場合に信頼性が低い。
【０００４】
この問題を軽減するために、顔の形状に関する３次元情報を用いることができる。３Ｄ形状情報は、レンジスキャナから直接得るか、又は１つ又は複数の画像から推定することができる。また、形状情報を用いて、姿勢及び照明が一様の合成画像を生成することもできる。代替的に、３Ｄ形状を用いて、球面調和関数によりランバート物体の分析照明部分空間を導出することができる。
【０００５】
形状情報を用いる様々な方法が、Ｒ．バスリ（R. Basri）及びＤ．ジェイコブズ（D. Jacobs）著「Lambertian Reflectance and Linear Subspace」（IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 25, no. 2, pp. 218-233, 2003）、Ｃ．ボーミエ（C. Beumier）及びＭ．アケロイ（M. Acheroy）著「Automatic 3D Face Authentication」（Image and Vision Computing, vol. 18, no. 4, pp. 315-321, 2000）、Ｖ．ブランツ（V. Blanz）及びＴ．フェッター（T. Vetter）著「Face Recognition based on fitting a 3D morphable model」（IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 9, pp. 1063-1074, 2003）、アレクサンダー  Ｍ．ブロンシテイン（Alexander M. Bronstein）、マイケル  Ｍ．ブロンシテイン（Michael M. Bronstein）、及びロン・キンメル（Ron Kimmel）著「Expression-Invariant 3D Face Recognition」（Proc. of the 4th Int. Conf. on Audio- and Video-Based Biometric Person Authentication, 2003, pp. 62.69）、キョン  Ｉ．チャン（Kyong I. Chang）、ケビン・ボウヤー（Kevin Bowyer）、及びパトリック・フリン（Patrick Flynn）著「Face Recognition Using 2D and 3D Facial Data」（Multimodal User Authentication Workshop, 2003）、Ａ．Ｓ．ゲオルギアデス（A. S. Georghiades）、Ｐ．Ｎ．ベルミュール（P. N. Belhumeur）、及びＤ．Ｊ．クリーグマン（D. J. Kriegman）著「From Few to Many: Illumination Cone Models for Face Recognition Under Variable Lighting and Pose」（IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, pp. 643-660, 2001）、Ｋ．リー（K. Lee）、Ｊ．ホー（J. Ho）、及びＤ．クリーグマン（D. Kriegman）著「Nine Points of Light: Acquiring Subspaces for Face Recognition under Variable Lighting」（Proceedings of Computer Vision and Pattern Recognition, 2001, vol. 1, pp. 519-526）、Ｓ．ロムダーニ（S. Romdhani）、Ｖ．ブランツ（V. Blanz）、及びＴ．フェッター（T. Vetter）著「Face Identification by Fitting a 3D Morphable Model using Linear Shape and Texture Error Functions」（European Conference on Computer Vision, 2002, pp. 3-19, 2002）、Ｊ．ファン（J. Huang）、Ｂ．ハイゼル（B. Heisele）、及びＶ．ブランツ（V. Blanz）著「Component-based Face Recognition with 3D Morphable Models」（Proc. of the 4th Int. Conf. on Audio- and Video-Based Biometric Person Authentication, 2003）、並びにレイ・チャン（Lei Zhang）及びディミトリス・サマラス（Dimitris Samaras）著「Face Recognition Under Variable Lighting using Harmonic Image Exemplars」（Proceedings of Computer Vision and Patten Recognition, pp. 19-25, 2003）に記載されている。
【０００６】
３次元形状情報は直接、姿勢及び照明に依存しないモデルとして使用することができる。この直接的な方法は、モーフィング可能なモデルを用いて、１枚の画像から顔の３Ｄ形状及び２Ｄテクスチャを得る。次に、主成分分析（ＰＣＡ）係数に基づいて、プローブ画像のモデルをギャラリー画像のモデルと比較する。しかし、この直接的な方法は、顔の基準ランドマークを手動で初期化することを必要とするとともに、収束したとしても数分かかる可能性があり、且つ極小値にしか収束しない非線形の反復当てはめ手順を用いる。したがって、いくつかの理由から、この直接的な方法はリアルタイム用途には適さない。
【０００７】
顔認識方法は、２Ｄの外見に基づくモデリングから導出される「或る部分空間からの距離」の認識パラダイムに関連する。これらの方法もまた３Ｄのモーフィング可能なモデルを用いることができるが、この３Ｄモデルは基本的に、直接的な方法におけるような顔認識に使用されるモデルではなく、以後の一様のモデリング及び部分空間の生成のための後処理ツールである。
【０００８】
顔の照明の変化を表す線形部分空間を生成するためのいくつかの方法が既知である。１つの方法は、照度差ステレオ画像を用いて、異なる照明下の７枚の正面画像から３Ｄ顔形状及び２Ｄ反射係数を再構成する。次に、推定３Ｄ形状を用いて、様々な姿勢及び照明について合成画像を描画し、人物特有の照明錐を訓練する（Ａ．Ｓ．ゲオルギアデス（A.S. Georghiades）、Ｐ．Ｎ．ベルミュール（P.N. Belhumeur）、及びＤ．Ｊ．クリーグマン（D.J. Kriegman）著「From Few to Many: Illumination Cone Models for Face Recognition Under Variable Lighting and Pose」（IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, pp. 643-660, 2001））。１枚の画像から顔を認識し、描画ステップ及び訓練ステップを排除することが望ましい。
【０００９】
バスリ等は、９枚の高調波画像が張る（span）低次元線形部分空間によって凸ランバート３Ｄ物体の任意の照明を近似する。９枚の高調波画像は、面法線及び反射係数が与えられれば分析により求めることができる。しかし、この方法もまた、顔については不正確であることが分かっている球面調和関数により分析ランバート照明を仮定する。
【００１０】
別の方法は、９枚の高調波画像の張る空間を近似するための点光源の９つの方向を求める。この方法は、３Ｄ形状、すなわち面法線及び反射係数を必要としない。しかし、認識すべき全ての顔について９枚の画像を取得することが常に現実的であるとは限らない（Ｋ．リー（K. Lee）、Ｊ．ホー（J. Ho）、及びＤ．クリーグマン（D. Kriegman）著「Nine Points of Light: Acquiring Subspaces for Face Recognition under Variable Lighting」（Proceedings of Computer Vision and Pattern Recognition, 2001, vol. 1, pp. 519-526, 2001））。
【００１１】
１枚のプローブ画像を用いて顔認識を行うことが望ましい。
【００１２】
別の方法は、１枚の画像から９枚の高調波画像を推定する（レイ・チャン（Lei Zhang）及びディミトリス・サマラス（Dimitris Samaras）著「Face Recognition Under Variable Lighting using Harmonic Image Exemplars」（Proceedings of Computer Vision and Pattern Recognition, pp. 19-25, 2003））。この方法は、３Ｄ顔データベースから得た３Ｄブートストラップセットを用いる（スディープ・サルカール（Sudeep Sarkar）著「USF HumanID 3-D Database」（University of South Florida, Tampa, FL））。レイ・チャン及びディミトリス・サマラスの方法もまた、球面調和関数を用いるランバート物体の分析照明部分空間に基づく。
【００１３】
しかし、顔は完全には凸面でないため、球面調和関数に基づく方法はいずれも固有の制限を持つ。実際に、顔は正確なランバート反射を有しないため、皮膚の表皮層及び真皮層における鏡面反射率、影、相互反射及び表面下散乱を処理することが難しい。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
したがって、１枚の２Ｄ画像から直接、顔のバイリニア照明モデルを生成することが望ましい。さらに、顔を高い信頼度で認識できるようにするために、全てのタイプの顔の標準的なモデルを得ることが望ましい。また、このようなモデルは、より大きな柔軟性を得るために物体に重点を置いた任意の視点及び照明の合成顔画像、例えば標準基底画像の描画を可能にする。さらに、コンパクトに記憶され、且つリアルタイムで使用することができるモデルを得ることが望ましい。
【課題を解決するための手段】
【００１５】
［発明の概要］
任意の顔の３次元バイリニア照明モデルを生成するための方法が提供される。多くの異なる顔について多数の画像が取得される。顔毎に、複数の画像が様々な姿勢及び様々な照明で取得される。
【００１６】
高次特異値分解が画像に適用されて、モデルのパラメータが求められる。モデルは、未知の顔のプローブ画像に当てはめることができる。次に、モデルは、未知の顔の画像ギャラリーのモデルと比較されて、プローブ画像中の顔を認識することができる。
【発明を実施するための最良の形態】
【００１７】
図１及び図２は、本発明の１つの実施の形態による、顔のバイリニア照明モデルを生成する方法及びシステムを示す。複数のカメラ１０１が、顔１０５の多数の２Ｄ反射率画像１０２を取得１１０する。顔毎に、その顔の複数の画像を様々な姿勢又は視点、及び様々な方向の照明で取得する。顔毎に、スキャナ１０３が顔の３Ｄ形状１０４を取得１２０する。
【００１８】
図２に示すように、人物がジオデシックドーム２０２の形態の筒状フレーム内の椅子２０１に座る。デジタルカメラ１０１がフレームに取り付けられて、様々な視点から顔に向けられる。このドームは平行光源２０３も含む。本発明では、ドーム２０２に椅子２０１に面して半球状に取り付けられる１６台のカメラ及び１５０個の光ＬＥＤを用いる。カメラ及びスキャナの出力は、画像及び３Ｄ形状データを処理するプロセッサ２００に接続される。
【００１９】
動作中、システムは、各ライトを順次オンにし、その一方で、カメラ１０１により２Ｄ画像１０２を同時に取得１１０する。本発明では、取得シーケンスを異なる露出設定で繰り返すことによって、高ダイナミックレンジ（ＨＤＲ）画像も取得することができる。
【００２０】
ドーム内に取り付けられる顔スキャナ１０３は、２つの構造化された投光機及び４台のカメラを含む。このスキャナの出力は、約４０，０００個の三角形を含むポリゴンメッシュである。このメッシュは、１ｍｍもの小さな特徴を分解する。このメッシュは、顔以外の領域を除去し三角形を縮退させるためにクロッピングする（cropping：画像の切り抜き）。
【００２１】
次に、ループ再分割を用いてメッシュを精緻化する（ループ（Loop）著「Smooth Subdivision Surfaces based on Triangles」（Master's thesis, Department of Mathematics, University of Utah, 1987））。その結果、５００，０００個〜１００万個の頂点を有する高解像度メッシュが得られる。この再分割は暗示的にノイズを除去する。
【００２２】
本発明では、高解像度メッシュを点サンプル、すなわち接続性のないサーフェルの非構造化リストに変換する（フィスター（Pfister）他に対し２００２年１月２９日付で発行された米国特許第６，３４２，８８６号「Method for interactively modeling graphical objects with linked and unlinked surface elements」（参照により本明細書中に援用される））。各サーフェルは、ＥＷＡスプラッティング（ツビッカー（Zwicker）等、２００２年）を用いた画像の再構成に必要な情報を格納する。
【００２３】
全てのカメラの内部パラメータ及び外部パラメータを較正し、３Ｄ−２Ｄ整合プロセスにより顔の３Ｄ点を各画像１０２中の対応する２Ｄ点に投影する。
【００２４】
バイリニア照明モデル
本発明では先ず、画像及び３Ｄ形状を用いて、全ての顔１０５について３Ｄの点間対応１３１を得る１３０。各反射率画像１０２からの照明サンプル、すなわち画素強度を顔上の３Ｄサンプル点から投影し、整合された、よって３Ｄ形状１０４と位置合わせされた２Ｄサンプルを得る。
【００２５】
本発明ではまた、顔毎の拡散テクスチャ１４１を、その顔の全ての画像から求める１４０。顔のテクスチャは形状及び反射率とつながっていないものと仮定して、本発明では、次式に従って拡散テクスチャを照明サンプルから除外する。
【００２６】
【数１】
2006351007.tif 000003
【００２７】
ここで、ベクトルｔｋハットは照明サンプルであり、ｔｋは、Ｎ個の点を有するメッシュ中の３Ｄ点ｐｋにおける拡散テクスチャである。テクスチャのない照明成分はｗであり、これは影も含むため、単なる反射率とは異なる。本発明の表記において、変数の上のベクトル記号「＾（ハット）」及び推定記号「〜（チルダ）」はしばしば省略される。また、数式における太字の変数は、全般的に、ベクトルおよび行列である。
【００２８】
顔毎の結果として、顔１０５の３Ｄ形状点（ｘ，ｙ，ｚ）、及び特定の視点又は姿勢からの照明条件（ｊ）毎のテクスチャのない照明成分（ｗ）が得られる。
【００２９】
図３に示すように、本発明では、全ての顔の３Ｄの点間対応（ｘ，ｙ，ｚ）及びテクスチャ成分ｗを強度軸３０１、照明軸３０２、及び形状軸３０３に沿って次のベクトル１５１に位置合わせ１５０する。
ａｉ，ｊ＝（ｘ１，・・・，ｘＮ，ｙ１，・・・，ｙＮ，ｚ１，・・・，ｚＮ，ｗ１，・・・，ｗＮ）
【００３０】
図４に示すように、本発明では次に、３相（three-mode）高次特異値分解（ＳＶＤ）をベクトル１５１に適用４１０して、形状及び照明の両方の結合変化を求める。結果として得られるデータ配列は、次のような積として表されるテンソルＤ４１１である。
Ｄ＝Ｃ×１Ｕ１×２Ｕ２×３Ｕ３
ここで、モード行列Ｕ１、Ｕ２、及びＵ３はそれぞれ形状軸、照明軸、及びデータ軸に沿った変化を表す。コアテンソルＣはモード行列間の相互作用を支配する。モードｋの積演算子×ｋに関する詳細については、Ｌ．Ｄ．ラソワー（L.D. Lathauwer）、Ｂ．Ｄ．ムーア（B.D. Moor）、及びＪ．バンデワーレ（J. Vandewalle）著「A Multilinear Singular Value Decomposition」（SIAM Journal of Matrix Analysis and Applications, vol. 21, no. 4, 2000）を参照のこと。
【００３１】
モードｋの積の結合的特性を用いて、モード行列Ｕ３をＺ＝Ｃ×３Ｕ３に組み込み、結果として、次のような簡略化された式を得ることができる。
Ｄ＝Ｚ×１Ｕ１×２Ｕ２
【００３２】
次に、本発明では、形状基底ベクトル及び照明基底ベクトル４３１を次のように求める４３０。よりコンパクトな表現を得るために、本発明では、最高次の特異ベクトルを削除するか又は切り捨て、縮小された低次元部分空間を保持する。
【００３３】
形状データの冗長性、すなわち照明軸３０２に沿った（ｘ，ｙ，ｚ）の組を利用するために、本発明では、推定コアテンソルＺチルダを２つの部分に分割する。したがって、ｉ番目の形状条件及びｊ番目の照明条件を有するデータベクトルｄチルダ４２１は次式によって推定４２０される。
【００３４】
【数２】
2006351007.tif 000004
【００３５】
基礎となる形状１０４は照明条件（ｊ）に無関係であるため、本発明では、あらゆるｊの推定Ｚｘｙｚチルダｘ２ｕj２を事前に決め、シングルトン次元（singleton dimension）を除去し、形状基底行ベクトルＺＳを得る。また、Ｚｗチルダｘ１ｕｉ１を推定するとともにシングルトン次元を除去することによって形状特有の照明基底Ｒｉを得る。したがって、式２は次のようになる。
【００３６】
【数３】
2006351007.tif 000005
【００３７】
ここで、ｕｉ１ハット及びｕｊ２ハットの推定値はそれぞれｄｉ，ｊチルダの形状係数及び照明係数である。
【００３８】
形状基底ベクトルＺＳ及び照明基底ベクトルＺｗチルダ４３１、並びに、形状パラメータα４４２の一次結合を用いて、本発明では、対応する形状基底及び照明基底４４１を次のように再構成４４０することができる。
【００３９】
【数４】
2006351007.tif 000006
【００４０】
ここで、ｓは形状ベクトル（ｘ，ｙ，ｚ）であり、照明基底Ｒの行は特定の形状パラメータα４４２の照明基底ベクトルである。
【００４１】
形状パラメータαは式５によって説明することができるが、任意の形状ｓを３Ｄ形状１０４以外の外部供給源から供給できる場合がある。このような場合、以下の線形系を解くことによって、形状ｓを当てはめて、本発明の形状に最も近い形状パラメータαを求めることができる。
【００４２】
【数５】
2006351007.tif 000007
【００４３】
本発明では、この技法を用いて、後述のように、モーフィング可能なモデルのような標準的な外部形状から照明部分空間を推定する。
【００４４】
９つの球面調和関数との比較
１つの正面に近いカメラ視点から取得したデータを用いて本発明のバイリニア照明モデル４４１を生成することにより、本発明では、このバイリニア照明モデルの部分空間が元データをどれだけ正確に再構成できるかを判断する。本発明ではまた、本発明の精度を、９つの球面調和関数を基底画像として用いること（上記のバスリ等を参照）によって得られる精度と比較する。
【００４５】
本発明では、多数の顔について複数の照明条件及び視点からの３Ｄ形状サンプル及び３Ｄ照明サンプルのグランドトルース（ground truth）を有するため、各方法について異なる数の基底から再構成誤差を測定する。
【００４６】
顔ｉ毎に、全ての照明条件ｊ及びカメラ視点ｋについて３Ｄ形状ｓｉ、拡散テクスチャｔｉ、及び照明サンプルｔｉ，ｊ，ｋハットを有する。照明サンプルのいくつかは、遮蔽のために各視点について取得できない。したがって、本発明では、有効なサンプルのみを含むあらゆるベクトルに表記ｔチルダを用いる。
【００４７】
ベクトルｓ及びｔチルダが与えられ、指数を省略した状態で、先ず本発明の方法を用いて、次に９枚の高調波画像を用いて照明基底Ｒを求める。次に、拡散テクスチャｔに行列ＲＴの各列を成分毎に掛ける。これにより、テクスチャにより重み付けされた照明基底Ｂを構成し、ｔチルダの再構成誤差は、
【００４８】
【数６】
2006351007.tif 000008
【００４９】
となる。ここで、ＢハットはＢチルダのＱＲ分解であり、ｔチルダに対応するＢの有効な行のみを含む。本発明では、各方法について、被写体、照明条件、カメラ視点、及び再構成に使用された基底の数の全ての組み合わせの再構成誤差を求め、照明部分空間を生成する。
【００５０】
図５は、異なる数の基底の再構成誤差を比較し、図６は異なる数のカメラ視点の再構成誤差を比較する。
【００５１】
１枚の画像からの推定
次に、顔の１枚の入力画像が与えられた状態で顔特有の照明部分空間を得る方法を説明する。モーフィング可能な形状を入力画像に当てはめた後で、本発明のバイリニア照明モデルから照明基底を導出する。これは、入力画像と動的に生成される照明部分空間の間の距離を最小化することによって達成される。
【００５２】
形状特有の照明部分空間
本発明では、各顔形状毎にベクトルｓを、各対応するテクスチャ毎にベクトルｔを構成する。形状ベクトルＳ及びテクスチャベクトルＴに対して主成分分析（ＰＣＡ）を別々に行う。次に、最初のＭ個の固有ベクトル並びにモデルパラメータα及びβを用いて、次式に従って任意の形状及びテクスチャを再構成することができる。
【００５３】
【数７】
2006351007.tif 000009
【００５４】
ここで、平均形状はＳバーであり、平均テクスチャはＴバーであり、形状のｉ番目の固有ベクトルはｅＳｉであり、テクスチャの固有ベクトルはｅｔｉである。
【００５５】
最適化パラメータはα、β、及びγを含む。パラメータγは６次元姿勢パラメータであり、そのうち３次元は平行移動、３次元は回転を示す。各反復中、本発明では、パラメータα及びβ、並びにγから形状（ｓ）及び拡散テクスチャ（ｔ）を生成する。また、ｓを所与の姿勢γの入力画像に投影することによってテクスチャｔハットを抽出する。式７と同様の誤差関数を最小化することによって最適パラメータを求める。
【００５６】
本発明では、テクスチャベクトルｔハットの代わりに、抽出されたテクスチャの可視点のみを含む推定テクスチャｔチルダを用いる。本発明では、滑降シンプレックス法を用いて以下の最適化を解く。
【００５７】
【数８】
2006351007.tif 000010
【００５８】
シンプレックス法は、勾配の代わりに費用関数を使用する非線形最適化プロセスである。シンプレックス法は、高次元パラメータ推定に特に適している。
【００５９】
顔認識のための照明基底
従来の顔認識システムでは、プローブ画像及びギャラリー画像は通常、目について位置合わせされ、他の顔の特徴はそれに応じて変換される。形状の変化はほとんどのシステムで暗示的又は明示的に用いられる。したがって、形状のない３Ｄ空間ではなく通常の２Ｄ画像空間において照明基底を導出することが重要である。
【００６０】
本発明では、２Ｄ照明基底画像を次のように求める。先ず、３Ｄ形状と整合されたフォン（Phong）の照明モデルの基底画像を、対応する再構成照明サンプルで割り（すなわち、Ｂ／ｔｓハット）、モデルの当てはめ及び精緻化を行う画像平面に投影する。投影した画素データを、プッシュプル補間を用いてクロッピングされた画像平面内に密に補間し、最後に、元のクロッピング画像を掛ける。この手順は再構成された基底毎に行われる。
【００６１】
［発明の効果］
顔のバイリニア照明モデル及び３Ｄ形状が１枚の画像から生成される。人間の顔の複雑な反射特性を処理するために、コンパクトなバイリニア照明モデルを用いる。このモデルは、３Ｄ表面点の統計値及び多数の照明条件下で取得された照明サンプルから生成される。
【００６２】
このモデルの再構成性能及び認識性能は、関連する従来モデルよりも優れている。さらに、このモデルは、異なる姿勢間で外挿することができる。この方法は、回復された３Ｄ形状と整合される再構成された照明基底を用いる、姿勢が一様の顔認識システムによって有効に用いることができる。
【００６３】
本発明を好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び修正をすべて網羅することである。
【図面の簡単な説明】
【００６４】
【図１】顔のバイリニアモデルを生成する方法のフロー図である。
【図２】顔の形状データ及び画像データを取得するシステムのブロック図である。
【図３】位置合わせされた形状点及びベクトルとしてのテクスチャ成分のブロック図である。
【図４】図３のベクトルからバイリニアモデルを生成するフロー図である。
【図５】異なる数の基底の再構成誤差を比較するグラフである。
【図６】異なる数のカメラ視点の再構成誤差を比較するグラフである。
【図１】
2006351007.tif 000011
【図２】
2006351007.tif 000012
【図３】
2006351007.tif 000013
【図４】
2006351007.tif 000014
【図５】
2006351007.tif 000015
【図６】
2006351007.tif 000016
【外国語明細書】
2006351007.tif 000017
2006351007.tif 000018
2006351007.tif 000019
2006351007.tif 000020
2006351007.tif 000021
2006351007.tif 000022
2006351007.tif 000023
2006351007.tif 000024
2006351007.tif 000025
2006351007.tif 000026
2006351007.tif 000027
2006351007.tif 000028
2006351007.tif 000029
2006351007.tif 000030
2006351007.tif 000031
2006351007.tif 000032
2006351007.tif 000033
2006351007.tif 000034
2006351007.tif 000035
2006351007.tif 000036
2006351007.tif 000037
2006351007.tif 000038
2006351007.tif 000039