(57)【要約】  顔写真などの２次元画像を用いた３次元の顔の復元技術を開示する。予備の顔知識または標準顔が、画像から疎な３次元情報を抽出し、画像対を識別するのに用いられる。より正確な３次元カメラ位置を決定するためにバンドル調整が実施され、画像対が調整され、高密度の３次元の顔の情報が、予備の顔知識を用いずに抽出される。例えばテンソル投票を用いてアウトライアが除去される。３次元表面が高密度３次元情報から抽出され、表面詳細が画像から抽出される。
2009525543.tif 000002
【特許請求の範囲】
【請求項１】
顔の予備知識を用いて疎な３次元顔特徴を見つけるために顔の複数の画像を解析することと、
データ駆動型の手法を用いて、いかなる予備知識も用いずに高密度３次元特徴を見つけるために、前記複数の画像を解析するのに前記疎な３次元顔特徴を用いることと
を含む顔復元方法。
【請求項２】
前記画像内の特徴を識別するために前記予備知識を用いることと、適当な画像対を見つけるために画像対間で調整を行うこととをさらに含む、請求項１に記載の方法。
【請求項３】
前記予備知識は、前記顔の部分を識別するのに用いられる、請求項１に記載の方法。
【請求項４】
前記予備知識は、標準顔を表すフェースマスクを識別するのに用いられる、請求項１に記載の方法。
【請求項５】
前記予備知識を用いることは、疎な３次元特徴を形成する顔特徴の組を抑制するために予備知識を用いることを含む、請求項１に記載の方法。
【請求項６】
前記適当な画像対は、角基線を含む画像対であり、前記角基線は、３次元情報を識別するには十分であるが、測定不安定性を、特定の量を超えて望ましくないほど増加させるほどには大きくない、請求項２に記載の方法。
【請求項７】
第１の特定の量よりも大きい角基線を必要とし、かつ第２の特定の量よりも大きい前記対内の特徴間の対応を必要とするために、前記画像対をテストすることをさらに含む、請求項２に記載の方法。
【請求項８】
特定の量よりも大きい前記画像間での特徴点の一致を有する画像クラスタを見つけるために前記複数の画像を解析する第２の解析と、追跡された１組の特徴点を形成するために、前記画像クラスタを用いて、前記予備知識を使用して実施される前記第１の解析を精密化することとをさらに含む、請求項１に記載の方法。
【請求項９】
前記画像クラスタは画像対を含む、請求項８に記載の方法。
【請求項１０】
前記追跡された特徴点の位置および動きを見つけるために、追跡された特徴点の組を用いることをさらに含む、請求項８に記載の方法。
【請求項１１】
前記疎な３次元の特徴を精密化するために、前記追跡された特徴点の位置を用いることをさらに含む、請求項１０に記載の方法。
【請求項１２】
高密度特徴を見つけることは、前記高密度特徴の探索の範囲を抑制することを含む、請求項１に記載の方法。
【請求項１３】
高密度特徴を見つけることは、他の特徴からの所定距離を超えるアウトライア部分を除去することを含む、請求項１に記載の方法。
【請求項１４】
アウトライア部分を除去することは、データをボクセルに変換することと、前記ボクセルからの所定距離を超えるデータを除去することとを含む、請求項１３に記載の方法。
【請求項１５】
所定量を超える量だけ表面特徴から逸脱する部分を除去することをさらに含む、請求項１に記載の方法。
【請求項１６】
前記除去することは、テンソル投票を用いることによって前記部分を検出するステップを含む、請求項１５に記載の方法。
【請求項１７】
顔の複数の画像を取得するカメラと、
顔の予備知識を使用して疎な３次元顔特徴を見つけるために前記複数の画像を解析し、データ駆動型の手法を用いて、いかなる予備知識も使用せずに、高密度特徴を見つけるために、前記疎な３次元顔特徴を用いて前記複数の画像を解析する処理部と
を含む顔復元システム。
【請求項１８】
前記カメラはスチルカメラである、請求項１７に記載のシステム。
【請求項１９】
前記カメラはビデオカメラである、請求項１７に記載のシステム。
【請求項２０】
前記処理部は、前記予備知識を用いて前記画像内の特徴を識別し、画像対間で調整を行って、適当な画像対を見つけるように動作する、請求項１７に記載のシステム。
【請求項２１】
前記処理部は、前記予備知識を用いて、標準顔を表すフェースマスクを識別する、請求項２０に記載のシステム。
【請求項２２】
前記処理部は、第１の特定の量よりも大きい角基線を必要とし、第２の特定の量よりも大きい前記対内の特徴間の対応を必要とするために、前記画像対をテストするように動作する、請求項１７に記載のシステム。
【請求項２３】
前記画像クラスタは画像対を含む、請求項２２に記載のシステム。
【請求項２４】
前記処理部は、他の特徴から所定距離を超えるアウトライア部分を除去することによって高密度特徴を見つける、請求項１７に記載のシステム。
【請求項２５】
前記処理部は、テンソル投票を用いて前記除去を実施する、請求項２４に記載のシステム。
【請求項２６】
複数の画像を調整し、前記複数の画像から少なくとも１つの顔を示す３次元情報を見つけるために、単一のカメラからの前記複数の画像を解析することを含む顔復元方法であって、前記解析することは、前記画像内の初期特徴を決定するために顔の予備知識を使用する初期解析と、いかなる予備知識も使用せずにさらなる情報を見つけるために前記顔の前記初期特徴を用いる後続の解析とを含む方法。
【請求項２７】
前記画像内の特徴を識別するために前記予備知識を用いることと、適当な画像対を見つけるために画像対間で調整を行うこととをさらに含む、請求項２６に記載の方法。
【請求項２８】
前記予備知識は前記顔の部分を識別するために用いられる、請求項２６に記載の方法。
【請求項２９】
前記予備知識は標準顔を表すフェースマスクを識別するために用いられる、請求項２８に記載の方法。
【請求項３０】
前記適当な画像対は、角基線を含む画像対であり、前記角基線は、３次元の情報を識別するには十分であるが、測定不安定性を、指定量を超えて望ましくないほど増加させるほどには大きくない、請求項２７に記載の方法。
【請求項３１】
前記後続の解析は、前記高密度特徴の探索の範囲を抑制することを含む、請求項２６に記載の方法。
【請求項３２】
他の特徴からの所定距離を超えるアウトライア部分を除去することをさらに含む、請求項２６に記載の方法。
【請求項３３】
前記アウトライア部分を除去することは、データをボクセルに変換することと、前記ボクセルからの所定距離を超えるデータを除去することとを含む、請求項３２に記載の方法。
【請求項３４】
表面特徴から所定量を超える量だけ逸脱する部分を除去することをさらに含む、請求項２６に記載の方法。
【請求項３５】
前記除去することは、テンソル投票を用いることによって前記部分を検出することを含む、請求項３４に記載の方法。
【請求項３６】
顔に関する疎な情報を見つけるために前記顔の複数の画像を解析することと、
データ駆動型の手法を用いて高密度情報を見つけるために、テンソル投票技術を用いて高密度情報の捜索の範囲を抑制することを含む、前記疎な情報を用いることと、
を含む方法。
【請求項３７】
顔の複数の画像を解析し、標準顔の予備知識を用いて、疎な情報を形成するのに用いられる前記画像間の一致を見つけることと、
前記一致を用いて画像対を形成することと、
高密度特徴からアウトライア部分を除去することを有して前記対を解析し、データ駆動型の手法を用いて、前記標準顔の予備知識なしに高密度特徴の組を見つけることと、
を含む顔処理方法。
【請求項３８】
人間の顔の複数の２次元画像から３次元の顔を自動的に復元する方法であって、
初期カメラ位置推定を導出する際に標準顔の予備の顔知識を用いることと、
画像対を選択し、前記画像対のそれぞれについて疎な特徴点を抽出することと、
前記初期カメラ位置推定および前記疎な特徴点を精密化することと、
前記画像対から高密度３次元ポイントクラウドを抽出する際に、単にデータ駆動型の手法を用いることと、
前記高密度３次元ポイントクラウドを単一の３次元クラウドに併合することと、
前記単一の３次元ポイントクラウドからアウトライアを除去して、除去済みの３次元ポイントクラウドを形成することと、
接続された表面を前記除去済みの３次元ポイントクラウドに固定することと、
被写体の顔の表面詳細および色情報を前記接続された表面にテクスチャマッピングすることとを含む方法。
【請求項３９】
人間の顔の複数の２次元画像から３次元の顔を自動的に復元する方法であって、
初期のカメラ位置推定を導出する際に標準顔の予備の顔知識を用いることと、
画像対を選択し、前記画像対のそれぞれについて疎な特徴点を抽出することと、
前記初期カメラ位置推定および前記疎な特徴点を精密化することと、
前記画像対から高密度３次元ポイントクラウドを抽出する際に、単にデータ駆動型の手法を用いることと、
前記高密度３次元ポイントクラウドを単一の３次元クラウドに併合することと、
前記単一の３次元ポイントクラウドからアウトライアを除去して除去済みの３次元ポイントクラウドを形成する際に、標準顔の予備の顔知識を用いることと、
接続された表面を前記除去済みの３次元ポイントクラウドに固定することと、
被写体の顔の表面詳細および色情報を前記表面にテクスチャマッピングすることとを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００６年１月３１日に出願された米国特許仮出願第６０／７６４００７号の優先権を主張するものである。この先行出願の開示は、本出願の開示の一部とみなされる（そして参照によって本出願の開示に組み込まれる）。
【０００２】
連邦政府による資金提供を受けた研究または開発
米国政府は、認可番号ＨＭＩ−５８２−０４−１−２００２に従って本発明の一定の権利を有することができる。
【背景技術】
【０００３】
従来の顔復元技術は、顔の３次元表現を作成するために顔の１つまたは複数の２次元画像（例えばデジタル写真）を使用することが多い。作成される表示は、それぞれ異なる顔の個々の特性を示す電子ファイルなどのファイルとすることができる。次いで、このファイルは、例えば顔認識、アニメーション、またはレンダリングのために使用することができる。
【０００４】
画像は、取得されると、顔が通常どのように見えるかについての予備的な知識または仮定に基づいて処理されることが多い。この知識は、「ドメイン知識」、「事前モデル」、またはより具体的には「標準顔（ｇｅｎｅｒｉｃ  ｆａｃｅ）」と呼ばれることが多い。例えば、予備的な顔知識は、目、鼻など、それぞれ異なる種類の顔の特徴の存在や、適当な位置を示すことができる。予備的な顔知識は、基本の顔形状および外観、カメラパラメータ、照明パラメータ、ならびに知られている他の要素、または推定の余地のある他の要素の一次結合で顔が形成されると仮定することができる。これらの要素を組み合わせて、顔の適当な外観を推定することができる。より具体的には、ドメイン知識は、アーティストによって定義された標準顔形状、または知られている複数の顔形状から計算された平均顔形状の形を取ることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
顔復元のためのある一般的な技術は、復元プロセスの全体にわたって、標準顔の予備的なの顔知識、そして場合によっては１組の顔測定基準や変形パラメータを使用する。別の一般的な技術は、予備的な顔知識の使用を控えようとするものであり、その代わりに、顔を復元するために純粋にデータ駆動型の手法を使用する。これは、例えば、複数の較正済みカメラからの複数の画像内の２次元の点の三角分割を用いて行うことができる。残念ながら、前者の手法は、プロセス全体にわたって標準顔を使用するために、非現実的なデータを提供することがある。後者の手法は、妥当なコストでは事実上提供するのが難しいさらなるハードウェア基盤を必要とする。純粋に、単一カメラのデータ駆動型の手法はマルチビューステレオ法のハードウェア制約の一部を緩和するが、プロセスの段階で制約が欠如しているために、それ自体は不安定になるおそれがある。
【課題を解決するための手段】
【０００６】
本出願では、補助技術を用いて３次元の顔情報を取得する技術を開示する。複数の態様によれば、処理操作の間のいくつかの時点で顔構造の予備知識が用いられるが、処理操作の間の他の部分は純粋にデータ駆動型である。
【０００７】
別の操作は、１組の２次元画像から３次元情報を決定するために単一のカメラを使用する。
【発明を実施するための最良の形態】
【０００８】
本明細書では、より一般的な目標を達成する様々な方法を行うために使用することができる一般的な構造および技術ならびにより具体的な実施形態について述べる。
【０００９】
本出願は、物体、例えば顔に関する３次元情報を決定することに関連する。本実施形態は、顔の３次元復元およびレンダリングに関して説明するが、これらの同じ技術は、任意の物体の複数のビューを復元およびレンダリングするために使用することができるということを理解されたい。本明細書に開示されている技術によって生成される３次元情報は、顔に使用される場合、アニメーション、認識、あるいはレンダリングなど、顔をベースとした任意のアプリケーションに使用することができる。本明細書に開示されている技術は、標準顔の予備知識にさらに広範に依存している他の技術よりも現実的なものとなることができる。
【００１０】
顔を復元するために顔の外観の強力な予備知識を用いた従来のシステムは事実上、顔を形成してレンダリングするために用いられる多数の基本形状を定量化するということを、本発明者らは認識している。強力な予備知識または標準顔による手法は、与えられた予備の顔知識および標準顔によって提供される自由度によって事実上制限されている。したがって、それらの情報およびその後の復元によって元の顔のすべての微妙な詳細が捕らえられるとは限らない。
【００１１】
この「顔空間」定量化は、システムによって復元できるすべての可能な顔の空間が予備知識および関連する変形によって制限されるために引き起こされる。標準顔または純粋な予備の顔知識に基づく方法は、顔空間全体をカバーできるほど十分な自由度を有することはできない。
【００１２】
一実施形態は、プロセスの重要な時点で予備の顔知識または標準顔の制約を無視し、その代わりにデータ駆動型手法を用いてデータに依存して、本明細書では高密度特徴と呼ばれる顔の詳細を見つけることによって、微妙な顔の詳細を捕捉する。データ駆動型の手法は、ノイズ、測定不安定性、およびアウトライアに有効に対処するために大量のデータを必要とする。しかし本発明のシステムは、純粋にデータ駆動型の手法を用いず、予備の顔知識または標準顔を組み込む方法によっても補助される。
【００１３】
一態様によれば、大量のデータは、複数の画像を得るように動作する単一のカメラから取得することができる。例えば、これは、移動する画像シーケンスを集団的に形成するビデオフレームを使用することができる。それは、１つまたは多数のカメラから得られた複数の異なる静止画像から取得することもできる。
【００１４】
米国特許第７１０３２１１号は、３次元の顔のモデルを生成するための方法を開示しており、この方法は、いかなる予備の顔知識も用いず、完全にデータ駆動型である。本発明のシステムは、ほとんどデータ駆動型のシステムを用いるが、情報の特定の部分を決定するのに予備の顔知識または標準顔を用いる。
【００１５】
図１のフローチャートを参照して一実施形態を開示する。図１は、操作を示すいくつかの例示的なサムネイル画像も示している。このフローチャートは、図２に示されているシステムなど、任意の汎用コンピュータ上で実施することができる。このシステムは、プロセッサ２００と、マウスおよびキーボードなどのユーザインターフェース２０５と、表示画面２１０とを含む。コンピュータは、例えばインテルベースのプロセッサ、または他の任意の種類のプロセッサとすることができる。コンピュータは、１つまたは複数のカメラ２１５、例えばスチルカメラやビデオカメラから生のまたは処理済みの画像データを受信する。プロセッサ２００は、本明細書に示されている説明に従ってその生画像データを処理する。別の手法として、カメラ情報は、メモリ２２０、例えばハードドライブに格納して、その後のいずれかの時点で処理することもできる。
【００１６】
一実施形態は、画像シーケンス、例えばビデオシーケンス、ビデオシーケンスからのストップモーションスタイル画像のシーケンス、または単純に複数の静止画像からの情報を抽出する。被写体が完全に静止したままであり、カメラが位置を変更しない場合を除いて、画像シーケンスは、１組の画像内に被写体の頭部の複数の異なるビューを有する。
【００１７】
１００において、初期の姿勢推定が決定される。これは、初期の頭部姿勢推定を導出し、そして顔の外観を表すマスクを導出するために、図３に示されているような顔追跡アルゴリズムを使用することができる。これは、頭部の適当な位置および姿勢、鼻や口などの顔の特徴の位置などを決定するために、顔構造の予備知識を使用する。図３は、３つの異なる画像３１０、３２０、および３３０内の３つの異なる姿勢を示している。同じフェースマスク３００が、それらの画像のそれぞれの上に重ね合わされる。フェースマスク３００は、標準顔を表し、したがって目、鼻、口などの場所を有する。このように、マスクは、画像の姿勢を推定するのに役立つ。
【００１８】
１１０において、姿勢推定技術は、疎特徴追跡モジュールに１組のビューを送る。モジュールに送られるビューは、３次元情報を抽出することができる抽出元の画像対の適切な候補と考えられるものである。疎特徴追跡モジュール１１０は、それぞれの画像対について１組の特徴対応を生成する。対の２つの画像は、これらの特徴対応を得ることができるように十分に類似している。
【００１９】
３次元情報の決定に使用することができる対を適切に作成する画像を選択するために、１２０において姿勢選択が実施される。これらの対は、姿勢が類似しており、類似の照明特性を有するべきである。
【００２０】
１３０において、１組の特徴点全体にわたって全体最適化が実施される。これは、カメラ位置推定を精密化し、疎な２次元特徴の３次元構造を計算するために使用される。
【００２１】
１３５において、精密化されたカメラ位置を使用して画像対を調整し、それによって、対応する特徴点の探索空間を対の画像の水平走査線に制限する。
【００２２】
１４０において、高密度特徴マッチングが、対の間で実施される。これによって、１１０で実施された疎な検出を超えたさらなる特徴が見つかる。これらの対応は、高密度３次元ポイントクラウドまたは不一致マップを形成するために、最適化されたカメラ姿勢を用いて三角分割によって決定される。
【００２３】
次いで、１４５において、個々の対に対応するポイントクラウドが、単一のクラウドに併合され、アウトライアが除去される。高密度特徴検出は、予備の顔知識または標準顔を使用せず、完全にデータ駆動型である。１５０は、高密度特徴マッチングの単純化として用いられる高密度特徴の計算補助を規定している。これは、アウトライア除去技術（テンソル投票など）を含むことができ、また領域探索最小化を含むこともできる。
【００２４】
１５５において、除去済みの最終的なポイントクラウドが使用されて、接続された表面を形成する。顔テクスチャが、正面画像から取得される。最終結果は、表面を表す情報である。これは、三角形パッチから形成された３次元メッシュとすることができる。あるいは最終結果は、例えば曲線スプライン、細区分表面、または他のデジタル表面定義によって定義された１組の３次元ポイントまたは表面とすることができる。
【００２５】
次に、操作に関してさらに詳細に述べる。
【００２６】
従来のステレオ復元は、１つまたは複数の類似の画像対を取得する複数のカメラの存在に依存していた。それらの複数の画像対の間の特徴対応が決定される。引き続いて、特徴対応は、点の最終的な３次元グループを見つけるために三角分割される。
【００２７】
一実施形態では、複数の画像を得るために単一のカメラが使用され、そして画像は、マルチビューステレオ画像として作り直される。一実施形態では、このプロセスは、頭部が静止しており、カメラが頭部に対して移動している、または移動されていると仮定する。これが当てはまる可能性は低いが、この仮定では、一般性は失われず、例えばカメラが静止している可能性もあり、頭部が移動している可能性もあり、またはカメラと頭部の両方が移動している可能性もある。
【００２８】
上述のように、１００において、まず複数の画像が解析されて、画像間のカメラ姿勢の初期推定を決定する。この初期推定は、推定を実施するために、顔を示す情報、例えば予備の顔知識または標準顔を使用する。それは、姿勢および画像間の対応を見つけるのに十分な情報をシステムが決定できるようにする「疎な」情報を提供する。
【００２９】
例えば、予備の顔知識または標準顔を用いて行われる初期推定は、顔の周囲長さを示す情報、顔の部分を定義するマスクの位置、または他の情報を提供することができる。これは、画像選択についての情報を提供し、１組の疎な特徴が一致するように制約する。疎な特徴を形成するために予備の顔知識または標準顔が使用されるが、高密度特徴が決定される前にデータ駆動型の最適化を使用して疎な特徴を精密化することもできる。
【００３０】
トラッカー姿勢推定モジュールは、画像を調査して、互いに対して調整することができる類似の画像を見つける。類似の画像は、類似の姿勢を定義する画像を含む。したがって、これによって、復元に使用される画像のサブセットを選択することが可能になる。画像は、基線情報、ならびに複数の画像にわたって確実に追跡された特徴点の両方を用いて選択される。
【００３１】
複数の異なる画像間には、測定の不安定さが常にある。例えば、１対の画像間の角基線が減少するにつれて、計算された３次元点の誤差が拡大する。したがって、この減少した角基線によって、３次元測定の不安定さが増す。それほど正確でない３次元情報は、画像間のより小さい角基線を有する画像から得ることができる。角基線が増加するにつれて、より正確な３次元情報を抽出することができるが、２つのビュー間の共通の表面積の減少も生じ、したがって、可能な一致が少なくなる。したがって画像対は、測定の不安定さと、誤差の数との間のバランスを保つように選択される。例えば、８から１５度の角基線、および画像対の間で一致する６つの点を有する画像が好ましいかもしれない。
【００３２】
バランス維持は、選択された複数の画像内の特徴点を追跡することによって実施することもできる。特徴間で信頼度の高い一致（例えば９０％超）を有する画像だけが、特徴の連鎖を確立するために保持される。フレーム対は、特徴点を満たし、また設定された基線基準をも満たす場合、１組の画像内に維持される。例えば、少なくとも５度の角基線を必要とすることなどの基線基準を設定することができる。特徴点基準によって、非常に不正確なトラッカー姿勢推定を有するフレームも除去される。
【００３３】
この疎なマッチングの段階は、シーケンスにわたって一致する１組の画像および特徴点をもたらす。この特徴点マッチングによってサポートされる一致は、姿勢トラッカーだけによって予測される一致よりも正確である可能性が高い。特徴点一致は、トラッカーによって予測された一致よりも大きい数のフレームもカバーし、したがって、カメラ姿勢精密化プロセスへのより多くの制約をもたらす可能性がある。これらの制約によって、１３０において、姿勢精密化の精度が高まる可能性がある。
【００３４】
バンドル調整は、画像の組、および画像の組間で一致する特徴点から開始する。これらは、上述したように、特徴追跡によって得られている。１３０で実施されるバンドル調整は、カメラパラメータ、および画像の組間の２次元対応に基づく点の３次元位置を解決する最適化技術である。最適化されたパラメータは、カメラの位置および向き、ならびに２次元特徴点の３次元構造を含むこともできる。最適化は、構造の部分解と、次いでカメラ姿勢の部分解とを交互に行うことによって実施することもできる。あるいはコンピュータが、適切な解が収束するまで、これらの計算の両方を実施することもできる。
【００３５】
したがって、バンドル調整は、カメラの姿勢を推定することと点の位置を推定することとの間のフリップフロップによって、各画像内のカメラの位置を、それが最終的に収束するまで反復して推定する。最終結果は、より正確なカメラ位置、ならびに点の構造である。これらは疎な「高信頼度」の点であるので、それは完全な高密度表現を提供しないが、それは、後の段階で行われる。
【００３６】
代替技術は、適切な値が得られるまで、単に値を反復して変更することもできる。
【００３７】
推定され精密化されたバンドル調整１３０としての一致した特徴点の３次元位置は、復元の範囲を制限するために後の段階で用いられる。これらは、後続のすべての段階において使用される最適化されたカメラ姿勢を形成する。
【００３８】
高密度特徴マッチング１４０は、画像対間の対応点に関するより多くの情報を見つける。しかし、制約なしの高密度マッチングは、各一致について完全な画像探索を必要とする可能性があるため、膨大な計算処理を伴う。制約なしの探索は、各画像内の各点を、あらゆる他の画像内の各点に対して比較する。
【００３９】
１５０は、高密度特徴探索の範囲を減少させるために使用される技術を一般的に表している。
【００４０】
一実施形態によれば、エピポーラ幾何学技術が使用される。エピポーラ幾何学では、対応する各アイテムは、対になった、またはクラスタ化された画像間に延びる単一の線に沿って位置しなければならない。このプロセスは、各エピポーラ線が水平走査線と一致するように画像を調整することによって、さらに簡略化することができる。これは、潜在的な各一致について画像をリサンプリングする必要性を回避する。
【００４１】
調整の後、各画像対の中の対応点を、マッチング処理を使用して見つける。予備の顔知識または標準顔は、追跡フェースマスクによってカバーされた領域へのマッチングを制限することによって、マッチング処理の助けとするために用いることもできる。これは、ある画像内の各ピクセルに固定のウィンドウサイズを使用してテンプレートが抽出されるように探索を単純化することを可能にする。テンプレートは、対の画像内の対応するエピポーラ線に沿ってマッチングされる。
【００４２】
最小の相関しきい値、および顔に適した制限付き不一致範囲が、誤った一致の数を減らすために用いられる。平坦な相関プロットを有するか、または明白なピークを持たない位置は除去される。しかし、最良の一致を見つけるために、複数の候補一致を維持することもできる。
【００４３】
マッチング処理の結果は、不一致量である。それぞれの（ｘ，ｙ，ｄ）三重項は、ある調整済み画像内のピクセル（ｘ，ｙ）を、対の画像内のピクセル（ｘ＋ｄ，ｙ）にマッピングする。
【００４４】
知られている姿勢は、不一致値を３次元点に変換するために三角分割することができる。それぞれの不一致ピクセルは、調整変換の逆を用いてその元の画像空間に変換される。その一致の３次元位置は、カメラの光学中心を通過する光線と、画像面内の対応する特徴一致の間の交差によって提供される。実際には、特徴一致およびカメラ推定の誤差によって、これらの線の正確な交差が妨げられる。光線間の直交距離を最小限に抑える３次元点を用いることもできる。
【００４５】
導出された構造内のアウトライアを除去することによって、別の制約がもたらされる可能性がある。バンドル調整プロセスからの３次元の結果によって、疎であるが、より正確な３次元顔構造の推定がもたらされる。これは、顔の微妙な幾何学的形状を捕捉するには十分ではない。一実施形態では、これは、高密度復元において許容可能な３次元計算への制約を提供するために用いられる。具体的には、計算された構造は、バンドル調整によって導出された構造から遠く逸脱すべきではない。この構造はまず、補間済みのバンドル調整された構造をボクセルに変換し、ボクセルから所定距離にあるデータを除去することによってデータを事前フィルタリングするために使用される。事実上、これは、データ最適化技術になる。
【００４６】
ボクセルテストによって、バンドルボクセルからの所定の距離を超えるものである総アウトライアが除去される。それは、フェースマスクの不正確な配置に起因する境界アーティファクトも除去する。しかし、特徴マッチングの誤差によって、復元ノイズがもたらされる可能性がある。ノイズは、ビュー内およびビュー間で相関しない場合、３次元構造内の疎な高周波変化のように見える。しかし、正確な一致は、顔構造の平滑性および連続性により、ビュー間で相関がある。
【００４７】
表面特徴を決定するためにテンソル投票を使用することもでき、したがって、相関構造の維持がテンソル投票である。３次元テンソル投票方式は、表面特徴を強化し決定するために用いることができる。テンソル投票は、各３次元点を、ボールテンソルあるいはスティックテンソルのいずれかとして符号化することを可能にする。テンソル内の情報は、投票操作によってそれらの隣接ものに伝播される。したがって、類似の構造を有する隣接のものは、テンソル投票プロセスによって互いに強化する。構造強化の量は、初期の構造特徴の影響を受ける。この技術は、ポイントクラウドから表面を回復する。
【００４８】
点をボールテンソルとしてやみくもに符号化するには、点法線の適切な初期推定が好ましいかもしれない。一実施形態では、頭部は、図４Ａに示されるように、円筒で近似される。円筒法線が得られる。円筒法線は、点法線近似として使用することもできる。
【００４９】
図４Ｂは、アンラップされ、三角分割された同じ点を示している。
【００５０】
別の実施形態では、このシステムは、３×３アイゲンシステムを使用することもでき、法線をそのアイゲンシステム内の第１の固有ベクトルとして固定することもできる。次いで、残りの基底ベクトルを、特異値分解を使用して計算することもできる。初期表面特徴、例えば２つの第１の固有ベクトル間の大きさの差によって定義されたものなどを、すべての点について一様に設定することもできる。
【００５１】
バンドル調整から得られた３次元点は、顔構造の非常に正確であるが疎な推定である。これらの点は、高められた表面特徴を伴うテンソル投票点の組に追加される。バンドル調整から得られた３次元点の間の平滑表面を補間するために、放射基底関数を使用することもできる。この実施形態では、３次元バンドル点の法線が、補間された表面から計算され、テンソル投票に用いられる。しかし、補間された表面自体は好ましくは、テンソル投票に使用されない。
【００５２】
テンソル投票の２回のパスの後、低い表面特徴を有する点は取り除かれ、高密度のポイントクラウドは顔の表面にわたって分散されたままである。
【００５３】
予備の顔知識または標準顔を、顔空間が制約を受けないように高密度復元段階に取り入れることもできる。具体的には、一実施形態は、例えば既存の標準顔表現への近似に基づいてアウトライアを決定して除去するために高密度プロセス内で予備の顔知識または標準顔を用いることもできるが、復元された点の３次元位置を計算したり修正したりするためには用いられない。
【００５４】
顔の詳細は、３次元ポイントクラウド内で有効に捕捉される。最終目標が顔の数学的記述である場合、３次元ポイントクラウドで十分かもしれない。
【００５５】
一実施形態は、ドメイン知識を使用して、高密度３次元構造に基づいて、メッシュを生成し、テクスチャ処理する。この実施形態は、円筒図法によって３次元ポイントクラウドを２次元平面上にアンラップするように動作する。円筒図法に続いて、それぞれの３次元ポイントクラウドは、対応する２次元マップ位置を有する。２次元マップ位置は、デローニ三角分割法を使用して三角分割することもできる。次いで、その接続性情報は、３次元点に転送され、結果として生じたメッシュに従って表面が定義される。図４Ｂに、円筒アンラッピングおよび三角分割が示されている。
【００５６】
本明細書では、より一般的な目標を達成する様々な方法を行うために用いることができる一般的な構造および技術ならびにより具体的な実施形態について述べている。
【００５７】
ほんのいくつかの実施形態について上記に詳細に開示したが、他の実施形態も可能であり、本発明者らは、これらを本明細書内に包含することを意図している。本明細書は、別のやり方で遂行することができるより一般的な目標を遂行するための特定の実施例について述べている。本開示は、例示的なものであり、特許請求の範囲は、当業者に予測できる可能性のあるいかなる修正物や代替物も網羅するものである。例えば、本明細書で論じた操作の多くは、標準顔または予備の顔知識を使用しない操作に言及している。これらの技術のすべてではないが、その一部では、こうした標準顔または予備の顔知識を用いてこれらの技術を交互に実施することができるということを理解されたい。
【００５８】
また、本発明者らは、単語「の手段」を使用する請求項だけが米国特許法第１１２条第６段落の下で解釈されることを意図している。さらに、本明細書からの制限は、それらの制限が特許請求の範囲に明示的に含まれていない限り、いずれの請求項においても推察されるものではない。本明細書に記載のコンピュータは、任意の種類のコンピュータ、汎用コンピュータ、またはワークステーションなど、何らかの特定目的のコンピュータとすることができる。コンピュータは、ウィンドウズＸＰまたはリナックス上で実行されるペンティアムクラスコンピュータとすることもでき、あるいはマッキントッシュコンピュータとすることもできる。またコンピュータは、ＰＤＡなどのハンドヘルドコンピュータ、携帯電話、またはラップトップとすることもできる。
【００５９】
プログラムは、ＣまたはＪａｖａ、Ｂｒｅｗ、あるいは他の任意のプログラミング言語で書くことができる。プログラムは、記憶媒体、例えば磁気または光学式の、例えばコンピュータハードドライブ、メモリスティックやＳＤメディアなどの取外し可能ディスクまたは媒体、あるいは他の取外し可能媒体内に常駐することもできる。プログラムは、ネットワークを介して実行することもでき、例えばサーバまたは他のマシンが、本明細書で述べた操作をローカルマシンが実施することを可能にする信号をローカルマシンに送信する。
【００６０】
特定の数値について本明細書で言及したが、値は、何らかの異なる範囲が具体的に言及されない限り、本発明適用の教示の範囲内に依然としてとどまりながら、２０％だけ増加または減少することができるということを考慮すべきである。
【図面の簡単な説明】
【００６１】
【図１】操作の全体的なフローチャートを示す図である。
【図２】フローチャートを実施することができる汎用コンピュータを示す図である。
【図３】３次元の顔トラッカーが汎用顔によってどのように補助されるか示す図である。
【図４Ａ】円筒空間に組み込まれた高密度３次元特徴を示す図である。
【図４Ｂ】アンラップされ、三角分割された高密度３次元特徴を示す図である。
【図１】
2009525543.tif 000003
【図２】
2009525543.tif 000004
【図３】
2009525543.tif 000005
【図４Ａ】
2009525543.tif 000006
【図４Ｂ】
2009525543.tif 000007
【手続補正書】
【提出日】平成20年10月2日(2008.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔の複数の画像内の特徴を識別するために顔の予備知識を用いて前記画像を解析して疎な３次元特徴を見つけ、適当な画像対を見つけるために画像対間で調整を行うことと、
データ駆動型の手法を用いて、いかなる予備知識も用いずに高密度３次元特徴を見つけるために、前記複数の画像を解析するのに前記疎な３次元顔特徴を用いることと、
を含む顔復元方法。
【請求項２】
前記予備知識は、標準顔を表すフェースマスクを識別するのに用いられる、請求項１に記載の方法。
【請求項３】
前記適当な画像対は、角基線を含む画像対であり、前記角基線は、３次元情報を識別するには十分であるが、測定不安定性を、特定の量を超えて望ましくないほど増加させるほどには大きくない、請求項１に記載の方法。
【請求項４】
第１の特定の量よりも大きい角基線を必要とし、かつ第２の特定の量よりも大きい前記対内の特徴間の対応を必要とするために、前記画像対をテストすることをさらに含む、請求項１に記載の方法。
【請求項５】
特定の量よりも大きい前記画像間での特徴点の一致を有する画像クラスタを見つけるために前記複数の画像を解析する第２の解析と、追跡された１組の特徴点を形成するために、前記画像クラスタを用いて、前記予備知識を使用して実施される前記第１の解析を精密化することとをさらに含む、請求項１に記載の方法。
【請求項６】
前記画像クラスタは画像対を含む、請求項５に記載の方法。
【請求項７】
前記追跡された特徴点の位置および動きを見つけるために、追跡された特徴点の組を用いることをさらに含む、請求項６に記載の方法。
【請求項８】
前記疎な３次元の特徴を精密化するために、前記追跡された特徴点の位置を用いることをさらに含む、請求項７に記載の方法。
【請求項９】
所定量を超える量だけ表面特徴から逸脱する部分を除去することをさらに含み、前記除去することは、テンソル投票を用いることによって前記部分を検出するステップを含む、請求項１に記載の方法。
【請求項１０】
初期カメラ位置推定を導出する際に標準顔の予備の顔知識を用いることと、
画像対を選択し、前記画像対のそれぞれについて疎な特徴点を抽出することと、
前記初期カメラ位置推定および前記疎な特徴点を精密化することと、
前記画像対から高密度３次元ポイントクラウドを抽出する際に、単にデータ駆動型の手法を用いることと、
前記高密度３次元ポイントクラウドを単一の３次元クラウドに併合することと、
前記単一の３次元ポイントクラウドからアウトライアを除去して、除去済みの３次元ポイントクラウドを形成することと、
接続された表面を前記除去済みの３次元ポイントクラウドに固定することと、
被写体の顔の表面詳細および色情報を前記接続された表面にテクスチャマッピングすることと、
をさらに含む、請求項１に記載の方法。
【請求項１１】
顔の複数の画像を取得するカメラと、
顔の複数の画像内の特徴を識別するために顔の予備知識を用いて前記画像を解析して疎な３次元顔特徴を見つけ、適当な画像対を見つけるために画像対間で調整を行い、データ駆動型の手法を用いて、いかなる予備知識も使用せずに、高密度特徴を見つけるために、前記疎な３次元顔特徴を用いて前記複数の画像を解析する処理部と、
を含む顔復元システム。
【請求項１２】
前記カメラはスチルカメラまたはビデオカメラである、請求項１１に記載のシステム。
【請求項１３】
前記処理部は、第１の特定の量よりも大きい角基線を必要とし、第２の特定の量よりも大きい前記対内の特徴間の対応を必要とするために、前記画像対をテストするように動作する、請求項１１に記載のシステム。
【請求項１４】
特定の量よりも大きい前記画像間での特徴点の一致を有する画像クラスタを見つけるために前記複数の画像を解析することを含み、前記画像クラスタは画像対を含む、請求項１１に記載のシステム。
【請求項１５】
前記処理部は、他の特徴から所定距離を超えるアウトライア部分を除去することによって高密度特徴を見つけ、前記処理部は、テンソル投票を用いて前記除去を実施する、請求項１１に記載のシステム。
【国際調査報告】
2009525543.tif 000008