(57)【要約】複数の特徴を含む３次元ソースオブジェクトにおける特徴に対して、特徴付けを行い、かつ、基準オブジェクト間で不変視点検索を実行することにより、そのようなオブジェクトの基準データベースの中から最もマッチングする３次元オブジェクトを探索する方法およびシステムを提供する。本発明はさらに、基準オブジェクトを変形することによりソースオブジェクトの３次元表現を作成することを含む。
2006520054.tif 000002
【特許請求の範囲】
【請求項１】
複数の特徴を含むソースオブジェクトの少なくとも１つの２Ｄソース投影を３Ｄ基準オブジェクトの基準ライブラリと比較する方法であって、
ａ．  類似と総称される複数の特徴を含むオブジェクトの３Ｄ基準表現を複数提供するステップと、
ｂ．  前記３Ｄ基準表現の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索するステップを含む方法。
【請求項２】
請求項１に記載の方法であって、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索するが前記検索ステップに含まれるようにした方法。
【請求項３】
請求項２に記載の方法であって、
少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点に最適に一致適合する前記３Ｄ基準表現の剛体運動を計算することが、当該の可能な２Ｄ投影の範囲にわたって検索することに含まれるようにした方法。
【請求項４】
請求項３に記載の方法であって、
ａ．  前記３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および
ｂ．  前記３Ｄ基準表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準表現における対応する特徴項目との間の最小平均２乗誤差推定を生成することにより前記最適な剛体運動が決められる方法。
【請求項５】
動的計画法を用いて前記特徴項目は、前記画像から生成される、請求項４に記載の方法。
【請求項６】
前記特徴項目は、ソース画像と３Ｄ基準オブジェクトの投影された画像との対応関係を用いて求められる、請求項４に記載の方法。
【請求項７】
前記剛体運動は、３次元におけるピッチ、ロール、ヨー、および並進を含んでいる、請求項３に記載の方法。
【請求項８】
画像ランドマークからカメラパラメータを推定することにより自動カメラ較正が実行される、請求項７に記載の方法。
【請求項９】
前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項１に記載の方法。
【請求項１０】
前記少なくとも１つの２Ｄソース投影に関連する既知の３Ｄ位置情報に基づいて前記剛体運動を制約するステップをさらに含む、請求項４に記載の方法。
【請求項１１】
前記複数の特徴を含むソースオブジェクトに類似するように、探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成するステップをさらに含む、請求項１に記載の方法。
【請求項１２】
前記探索された３Ｄ基準表現を大きな変形微分同相写像を用いて変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジを維持する、請求項１１に記載の方法。
【請求項１３】
前記変形は、前記３Ｄ基準表現の対称性に対して制約を強いるものである、請求項１１に記載の方法。
【請求項１４】
請求項１１に記載の方法であって、
前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形することを前記変形ステップが含む方法。
【請求項１５】
請求項１１に記載の方法であって、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現上の複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化することを前記変形ステップが含む方法。
【請求項１６】
前記変形を剛体運動なしで行う、請求項１１に記載の方法。
【請求項１７】
前記変形が少なくとも１つの剛体運動とアフィン運動を含むようにした、請求項１１に記載の方法。
【請求項１８】
請求項１１に記載の方法であって、少なくとも１つの２Ｄソース投影に関連する少なくとも１つの既知の３Ｄ位置情報と、前記複数の特徴を含むソースオブジェクトの３Ｄデータとにより前記変形が制約される、方法。
【請求項１９】
閉じた式を用いて前記変形が実行される、請求項１１に記載の方法。
【請求項２０】
前記変形がほぼリアルタイムで実行される、請求項１１に記載の方法。
【請求項２１】
ソース顔の少なくとも１つの２Ｄソース投影を３Ｄ基準アバターの基準ライブラリと比較する方法であって、
ａ．  アバターの３Ｄ基準表現を複数提供するステップと、
ｂ．  前記３Ｄ基準アバターの不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準アバターを探索するステップを含む方法。
【請求項２２】
前記検索ステップが、実際に投影を生成することなく、前記３Ｄアバターの可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準アバターを検索することを含む、請求項21に記載の方法。
【請求項２３】
請求項２２に記載の方法であって、少なくとも１つの前記２Ｄ投影における、前記ソース顔の視点と最適に一致適合する前記３Ｄ基準アバターの剛体運動を計算することが、当該の可能な２Ｄ投影の範囲にわたって検索することに含まれるようにした方法。
【請求項２４】
請求項２３に記載の方法であって、
ａ．  前記３Ｄ基準アバターに関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および、
ｂ．  前記３Ｄ基準アバターの剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準アバターにおける対応する特徴項目との間の最小平均２乗誤差推定を生成することにより前記最適な剛体運動は決められる、方法。
【請求項２５】
前記ソース顔に似るように、前記探索された３Ｄ基準アバターを変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄアバターを作成するステップをさらに含む、請求項２１に記載の方法。
【請求項２６】
前記３Ｄアバターにおける特徴項目と前記少なくとも1つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項２１に記載の方法。
【請求項２７】
請求項２５に記載の方法であって、前記探索された基準アバターを変形して、前記探索された基準アバターにおける複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化することを前記変形ステップが含む、方法。
【請求項２８】
複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つを３Ｄ基準オブジェクトの基準ライブラリと比較するシステムであって、
ａ．  類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現を複数含むデータベースと、
ｂ．  前記３Ｄ基準表現の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索するアナライザを備えるシステム。
【請求項２９】
請求項２８に記載のシステムであって、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を前記アナライザが検索する、システム。
【請求項３０】
請求項２９に記載のシステムであって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点と最適に一致適合する前記３Ｄ基準表現の剛体運動を前記アナライザが計算する、システム。
【請求項３１】
請求項３０に記載のシステムであって、
ａ．  前記３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および、
ｂ．  前記３Ｄ基準表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準表現における対応する特徴項目との間の最小平均２乗誤差推定を生成すること、
とにより前記最適な剛体運動を前記アナライザが決めるように構成されている、システム。
【請求項３２】
動的計画法を用いて前記特徴項目が前記画像から生成される、請求項３１に記載のシステム。
【請求項３３】
前記特徴項目は、ソース画像と３Ｄ基準オブジェクトの投影された画像との対応関係を用いて求められる、請求項３１に記載のシステム。
【請求項３４】
前記剛体運動が３次元におけるピッチ、ロール、ヨー、および並進を含んでいる、請求項３０に記載のシステム。
【請求項３５】
前記アナライザが、画像ランドマークからカメラパラメータを推定することにより自動カメラ校正を実行するようにさらに構成されている、請求項３４に記載のシステム。
【請求項３６】
前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項２８に記載のシステム。
【請求項３７】
前記アナライザが、前記少なくとも１つの２Ｄソース投影に関連する既知の３Ｄ位置情報に基づいて前記剛体運動を制約する、請求項３１に記載のシステム。
【請求項３８】
前記複数の特徴を含むソースオブジェクトに似るように、前記探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールをさらに備える、請求項２８に記載のシステム。
【請求項３９】
前記変形モジュールが、大きな変形微分同相写像を用いて、前記探索された３Ｄ基準表現を変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジが維持される、請求項３８に記載のシステム。
【請求項４０】
前記変形モジュールは、前記変形された探索された３Ｄ基準表現の対称性に対して制約を強いるものである、請求項３８に記載のシステム。
【請求項４１】
前記変形モジュールは、前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形するものである、請求項３８に記載のシステム。
【請求項４２】
請求項３８に記載のシステムであって、前記変形モジュールは、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現における複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化する、システム。
【請求項４３】
前記変形モジュールが剛体運動を用いない、請求項３８に記載のシステム。
【請求項４４】
前記変形モジュールが少なくとも１つの剛体運動とアフィン運動を用いる、請求項３８に記載のシステム。
【請求項４５】
前記変形モジュールの動作が、少なくとも１つの２Ｄソース投影に関連する少なくとも１つの既知の３Ｄ位置情報と、前記複数の特徴を含むソースオブジェクトの３Ｄデータとにより制約される、請求項３８に記載のシステム。
【請求項４６】
前記変形モジュールが閉じた式に従って動作する、請求項３８に記載のシステム。
【請求項４７】
前記変形モジュールが前記変形をほぼリアルタイムで実行する、請求項３８に記載のシステム。
【請求項４８】
ソース顔の２Ｄソース投影の少なくとも１つを３Ｄ基準アバターの基準ライブラリと比較するシステムであって、
ａ．  アバターの３Ｄ基準表現を複数含むデータベースと、
ｂ．  前記３Ｄ基準アバターの不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準アバターを探索するアナライザを備えるシステム。
【請求項４９】
前記アナライザが、実際に投影を生成することなく、前記３Ｄアバターの可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索する、請求項４８に記載のシステム。
【請求項５０】
前記アナライザが、少なくとも１つの前記２Ｄ投影における、前記ソース顔の視点と最適に一致適合する前記３Ｄ基準アバターの剛体運動を計算する、請求項４９に記載のシステム。
【請求項５１】
請求項５０に記載のシステムであって、
ａ．  前記３Ｄ基準アバターに関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および、
ｂ．  前記３Ｄ基準アバターの剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準アバターにおける対応する特徴項目との間の最小平均２乗誤差推定を生成することにより前記アナライザが、前記最適な剛体運動を決めるように構成されている、システム。
【請求項５２】
前記３Ｄアバターにおける特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項４８に記載のシステム。
【請求項５３】
前記ソース顔に似るように、前記探索された３Ｄ基準アバターを変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールをさらに備える、請求項４８に記載のシステム。
【請求項５４】
前記変形モジュールが、前記探索された基準アバターを変形して、前記探索された基準アバターにおける複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化する、請求項５３に記載のシステム。
【請求項５５】
３Ｄソースオブジェクトと少なくとも１つの３Ｄ基準オブジェクトを比較する方法であって、
ａ．  前記ソースオブジェクトと前記少なくとも１つの基準オブジェクトの２Ｄ表現を作成するステップと、
ｂ．  投影幾何を用いて前記３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を特徴づけるステップとを含む方法。
【請求項５６】
３Ｄソースオブジェクトを少なくとも１つの３Ｄ基準オブジェクトと比較するシステムであって、
ａ．  前記ソースオブジェクトと前記少なくとも１つの基準オブジェクトの２Ｄ表現を作成する投影モジュールと、
ｂ．  投影幾何を用いて前記３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を決めるアナライザとを備えるシステム。
【請求項５７】
複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つから３Ｄ表現を作成する方法であって、
ａ．  類似と総称される、複数の特徴を含むオブジェクトの少なくとも１つの３Ｄ基準表現の集合を提供するステップと、
ｂ．  前記集合から３Ｄ基準表現を探索するステップと、
ｃ．  前記複数の特徴を含むソースオブジェクトに似るように、前記少なくとも１つの２Ｄソース投影に従って、前記探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成するステップを含む方法。
【請求項５８】
前記少なくとも１つの２Ｄソース投影に基づいて前記探索ステップを実行するステップをさらに含む、請求項５７に記載の方法。
【請求項５９】
ａ．  前記集合が複数の３Ｄ基準表現を有し、
ｂ．  前記探索ステップが、前記３Ｄ基準表現の集合の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索することを含む、請求項５７に記載の方法。
【請求項６０】
前記検索ステップが、実際にすべての投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索することを含む、請求項５９に記載の方法。
【請求項６１】
請求項５７に記載の方法であって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点と最適に一致適合する前記３Ｄ基準表現の剛体運動を計算することを当該の可能な２Ｄ投影の範囲にわたって検索することを含む、方法。
【請求項６２】
前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項５７に記載の方法。
【請求項６３】
請求項５７に記載の方法であって、大きな変形微分同相写像を用いて、前記探索された３Ｄ基準表現を変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジが維持されるようにしたことを、前記変形ステップが含む方法。
【請求項６４】
前記変形ステップが、前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形することを含む、請求項５７に記載の方法。
【請求項６５】
前記変形ステップが、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現における複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化することを含む、請求項５７に記載の方法。
【請求項６６】
前記変形がほぼリアルタイムで実行される、請求項５７に記載の方法。
【請求項６７】
複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つから３Ｄ表現を作成するシステムであって、
ａ．  類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現を少なくとも１つ含むデータベースと、
ｂ．  前記集合から３Ｄ基準表現を探索するアナライザと、
ｃ．  前記複数の特徴を含むソースオブジェクトに似るように、前記少なくとも１つの２Ｄソース投影に従って、前記探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールを備えるシステム。
【請求項６８】
前記アナライザが前記少なくとも１つの２Ｄ投影に基づいて前記３Ｄ基準表現の前記探索を実行する、請求項６７に記載のシステム。
【請求項６９】
請求項６７に記載のシステムであって、
ａ．  前記データベースは、複数の３Ｄ基準表現を有しており、
ｂ．  前記アナライザが、前記３Ｄ基準表現の集合の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影ステップに最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索するものである、請求項６７に記載のシステム。
【請求項７０】
前記アナライザが、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索するものである、請求項６９に記載のシステム。
【請求項７１】
請求項７０に記載のシステムであって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点と最適に一致適合する前記３Ｄ基準表現の剛体運動を計算することが当該の可能な２Ｄ投影の範囲にわたる前記検索することに含まれるようにした、システム。
【請求項７２】
前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項６７に記載のシステム。
【請求項７３】
前記変形モジュールが大きな変形微分同相写像を用いて、前記探索された３Ｄ基準表現を変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジが維持される、請求項６７に記載のシステム。
【請求項７４】
前記変形モジュールが、前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形する、請求項６７に記載のシステム。
【請求項７５】
前記変形モジュールが、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現における複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化する、請求項６７に記載のシステム。
【請求項７６】
前記変形がほぼリアルタイムで実行される、請求項６７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオブジェクトのモデル化およびマッチングシステム、より詳細には２次元および３次元入力からの対象オブジェクトの３次元モデルの生成に関する。
【背景技術】
【０００２】
多くの状況において、オブジェクトの部分的な記述しか利用可能でない場合は、オブジェクトの３次元（３Ｄ）モデルを構築することが有用である。典型的な状況においては、３Ｄオブジェクトの２次元（２Ｄ）画像が１つまたは複数利用可能である。この２Ｄ画像は、様々な視点から撮影された写真であることが多い。複数の特徴を含むオブジェクトの３Ｄモデルを作成する一般的な方法は、モデル化されるオブジェクトの種類の包括的な例または典型的な例を表示する３Ｄベースモデルから始めて、次に、オブジェクトの２Ｄ画像を１つまたは複数用いてモデルにテクスチャを追加することである。例えば、複数の特徴を含むオブジェクトが人間の顔である場合、３Ｄ「アバター」（すなわち、電子的３Ｄグラフィック表現または絵的表現）は、人間の顔の既存の３Ｄ標準モデルを用い、そのモデルに顔の１つまたは複数の２Ｄ画像からのテクスチャをマッピングすることにより生成される。Ｆｒａｎｃｉｎｉ等に対する米国特許第６、５３２、０１１  Ｂ１号、およびＨａｓｈｉｍｏｔｏに対する米国特許第６、４３４、２７８  Ｂ１号を参照するとよい。この方法の大きな問題は、３Ｄジオメトリが、生成される実際の対象オブジェクトに対して、大して定義されてもおらず、適合化されてもいないことである。
【０００３】
上記の方法の一般的な変形形態では、テクスチャマッピングステップを実行する前に、一連の３Ｄベースモデルの中から、対象オブジェクトに最も似ているモデルが選択される。別法として、パラメータ化された単一のベースモデルが使用され、そのモデルのパラメータが対象に最も近似するように調節される。Ｂｌａｎｚ等に対する米国特許第６，５５６，１９６  Ｂ１号を参照するとよい。 これらの方法は、少なくともある程度、対象にマッチングするようにジオメトリを精緻にする役割を果たす。しかしながら、妥当な範囲の多様性を本来備える対象オブジェクトの場合、モデルのジオメトリを十分に対象に合わせることはできない。このように幾何学的なフィット性が欠けると、対象オブジェクトに対する３Ｄモデルの迫真性が損なわれる。
【０００４】
従来技術では通常、モデルのテクスチャリングに用いられる２Ｄ画像を、モデル化される３Ｄオブジェクトに関連する既知の視点から得る必要がある。このため、これらの方法を利用できるのは、対象オブジェクトを撮影できる制御された環境においてモデルが生成されるような状況だけに限定されることが多い。あるいは、２Ｄ画像を生成される３Ｄモデルに整合させるために、人間の介入に訴えなければならないことがあった。Ｌｉｕ等に対する米国公開第２００２／００１２４５４号を参照するとよい。この手作業が原因で、２Ｄ画像から３Ｄモデルを生成する速度が厳しく制限される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、３Ｄオブジェクトについて入手可能な２Ｄソースデータを系統的に利用して、オブジェクトの最適な３Ｄモデルを合成できる自動的方法が求められている。
【課題を解決するための手段】
【０００６】
本発明は、複数の特徴を含む対象オブジェクトを記述する部分的なソースデータしか利用可能でない場合にそのオブジェクトの最適な３Ｄモデルを生成するための自動的方法およびシステムを提供する。多くの場合、この部分的なソースデータは対象オブジェクトの１つまたは複数の２Ｄ投影または不明瞭な単一の投影を含むが、３Ｄカメラまたはスキャナーなどから得られた３Ｄデータを含んでいることもある。本発明は、対象オブジェクトが属するオブジェクトの様々な種類を、実行可能な範囲でカバーする一連の３Ｄ基準表現を使用する。本発明は、ソースデータと基準表現に共通である特徴項目を自動的に識別し、両者間の対応関係を決めることができる。例えば、対象オブジェクトが顔である場合、このシステムは目と口の端における点または鼻の輪郭を識別し、ソースデータにおけるこれらの特徴と基準表現におけるこれらの特徴との対応関係を決めることができる。必要に応じて、手作業による特徴項目の識別とマッチングを包含させることもできる。次に、各３Ｄ基準表現のすべての可能な位置（すなわち、配向と並進）を検索して、ソースデータに最もマッチングする投影となるような位置と基準表現の組み合わせを識別する。マッチング度は、３Ｄ表現の投影における特徴項目とソース投影における対応する特徴項目との間の最小平均２乗誤差（ＭＭＳＥ）などの尺度により決められる。２Ｄソース投影における特徴項目の推定逆投影位置と、３Ｄ表現における対応する特徴項目との比較が３Ｄにおいて行われる。次に、ソース投影との対応関係を最適化するために、最もマッチングする３Ｄ表現を変形してもよい。この変形中に、３Ｄ表現のジオメトリを定義するメッシュ内の各点が自由に移動できる。変形された３Ｄ表現を用いて、最もマッチングする位置（すなわち、配向と並進）の検索が繰り返される。また、変形と検索を収束が生じるまで繰り返してもよいし、任意の時点で終了してもよい。
【０００７】
したがって、３Ｄモデルのジオメトリは、２つの方法で対象オブジェクトに合わせて調整される。第１に、複数の基準表現を利用できる場合、一連の基準表現の中から最もマッチングする基準表現を選択することにより、最適な粗選択を実行できる。第２に、変形により、不正確な視点選択が原因で生じる誤差を反復によって徐々に低減する微調整が可能になる。本発明では、２Ｄソース投影を捕捉した視点に関する情報が不要である。その理由は、可能なすべての視点にわたって検索が実行され、投影された３Ｄ表現と２Ｄソースデータとの最良マッチングに対応する視点が選択されるからである。
【発明を実施するための最良の形態】
【０００８】
本出願は、２００３年３月６日出願の米国仮出願第６０／４５２、４２９号、第６０／４５２、４３０号、および第６０／４５２、４３１号の優先権を主張し、その利益を享受するものであり、それらの開示の内容は、参照により援用したものとする。
【０００９】
第１の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つを３Ｄ基準オブジェクトの基準ライブラリと比較する方法を含んでいる。この方法によれば、類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現が複数与えられ、３Ｄ基準表現の不変視点検索が実行されて、ソース投影（１つまたは複数）に最も似ている２Ｄ投影を有する３Ｄ基準表現が探索される。一部の実施態様においては、類似性は、３Ｄ表現における特徴項目と２Ｄソース投影（１つまたは複数）における対応する特徴項目との整合度により決定される。実際に投影を生成することなく、３Ｄ表現の可能な２Ｄ投影の何等かの範囲にわたって各３Ｄ基準表現を検索してもよい。可能な２Ｄ投影の何等かの範囲にわたる検索は、少なくとも１つの２Ｄ投影における、複数の特徴を含むソースオブジェクトの視点と最適に適合する３Ｄ基準表現の剛体運動を計算するステップを含んでもよい。この剛体運動は、３次元におけるピッチ、ロール、ヨー、および並進を含んでもよい。アスペクト比や視野などのカメラパラメータを画像ランドマークから推定することにより、自動カメラ較正を実行してもよい。
【００１０】
一部の実施態様においては、３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含む特徴項目が２Ｄソース投影（１つまたは複数）における特徴項目と投影的に一致適合するようにこれらの特徴項目の条件付き平均姿勢または幾何的位置合わせを推定することにより、最適な剛体運動を決めてもよい。投影された特徴項目の条件付き平均推定と３Ｄ基準表現における対応する特徴項目との間のＭＭＳＥ推定が生成される。２Ｄソース投影（１つまたは複数）に関連する既知の３Ｄ位置情報により剛体運動を制約してもよい。
【００１１】
一部の実施態様においては、特徴項目は、動的計画法を用いてソース投影から抽出される曲線と点を含んでもよい。さらに、領域および面および／またはサブボリュームを、等輪郭付け（マーチングキューブアルゴリズムなど）または自動分割アルゴリズムを用いて生成される特徴として用いてもよい。マッチングプロセスで使用される特徴項目を、２Ｄ投影（１つまたは複数）と少なくとも１つの３Ｄ基準オブジェクトの投影された画像との対応関係を用いて自動的に求めてもよい。
【００１２】
本発明は、複数の特徴を含むソースオブジェクトに似るように、探索された（すなわち、最もマッチングする）３Ｄ基準表現を変形することにより、２Ｄソース投影（１つまたは複数）の３Ｄ表現を作成するステップをさらに備えてもよい。一実施態様においては、この変形は、３Ｄ基準表現のジオメトリとトポロジを維持する働きをする大きな変形微分同相写像である。この変形ステップは、２Ｄソース投影（１つまたは複数）における特徴項目が、探索された３Ｄ基準表現における対応する特徴と整合するように、探索された３Ｄ表現を変形してもよい。この変形ステップは、剛体運動の有無にかかわらず行ってもよいし、アフィン運動を含んでもよい。さらに、２Ｄソース投影（１つまたは複数）に関連する少なくとも１つの既知の３Ｄ位置情報とソースオブジェクトの３Ｄデータとにより、この変形ステップを制約してもよい。この変形は、閉じた式を用いて実行してもよい。
【００１３】
第２の実施の形態においては、本発明は、複数の特徴を含むオブジェクトの２Ｄソース投影の少なくとも１つを３Ｄ基準オブジェクトの基準ライブラリと比較するシステムを備えている。このシステムは、類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現を複数含むデータベースと、３Ｄ基準表現の不変視点検索を実行して、ソース投影（１つまたは複数）に最も似ている２Ｄ投影を有する３Ｄ基準表現を探索するアナライザとを備えている。一部の実施態様においては、このアナライザは、３Ｄ表現における特徴項目と２Ｄソース投影（１つまたは複数）における対応する特徴項目との整合度により類似性を決定する。このアナライザは、実際に投影を生成することなく、３Ｄ表現の可能な２Ｄ投影の何等かの範囲にわたって各３Ｄ基準表現を検索してもよい。一部の実施態様においては、このアナライザは、少なくとも１つの２Ｄ投影における、複数の特徴を含むソースオブジェクトの視点と最適に適合する３Ｄ基準表現の剛体運動を計算することにより、可能な２Ｄ投影の何等かの範囲にわたって検索する。この剛体運動は、３次元におけるピッチ、ロール、ヨー、および並進を含んでもよい。このアナライザは、アスペクト比や視野などのカメラパラメータを画像ランドマークから推定することにより自動カメラ較正を実行するように構成してもよい。
【００１４】
一部の実施態様においては、このアナライザは、３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含む特徴項目が２Ｄソース投影（１つまたは複数）における特徴項目と投影的に一致適合するように、点、曲線、面、およびサブボリュームを含む特徴項目の条件付き平均を推定することにより最適な剛体運動を決めるように構成されている。このアナライザはさらに、投影された特徴項目の条件付き平均推定と３Ｄ基準表現における対応する特徴項目との間のＭＭＳＥ推定を生成するように構成される。２Ｄソース投影（１つまたは複数）に関連する既知の３Ｄ位置情報により剛体運動を制約してもよい。
【００１５】
一部の実施態様においては、このアナライザは、動的計画法を用いてソース投影から特徴項目を抽出するように構成される。さらなる実施態様においては、このアナライザは、マッチングプロセスで使用される特徴項目を、ソース画像と少なくとも１つの３Ｄ基準オブジェクトの投影された画像との対応関係を用いて自動的に見いだすように構成してもよい。
【００１６】
本発明は、複数の特徴を含むソースオブジェクトに似るように、探索された（すなわち、最もマッチングする）３Ｄ基準表現を変形することにより、少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールをさらに備えてもよい。一実施態様においては、この変形モジュールは、探索された３Ｄ基準表現のジオメトリとトポロジを維持する働きをする大きな変形微分同相写像を用いて、探索された３Ｄ基準表現を変形する。この変形モジュールは、２Ｄソース投影（１つまたは複数）における特徴項目が探索された３Ｄ基準表現における対応する特徴と整合するように、探索された３Ｄ表現を変形してもよい。この変形モジュールは、剛体運動を用いても用いなくてもよく、アフィン運動を用いてもよい。さらに、２Ｄソース投影（１つまたは複数）に関連する少なくとも１つの既知の３Ｄ位置情報とソースオブジェクトの３Ｄデータとにより、この変形モジュールを制約してもよい。この変形モジュールは、閉じた式に従って動作してもよい。
【００１７】
第３の実施の形態においては、本発明は、３Ｄソースオブジェクトを少なくとも１つの３Ｄ基準オブジェクトと比較する方法を備えている。この方法は、３Ｄソースオブジェクトと３Ｄ基準オブジェクト（１つまたは複数）の２Ｄ表現を作成するステップと、投影幾何を用いて３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を特徴付けるステップとを含んでいる。例えば、３Ｄソースオブジェクトの２Ｄ表現のための所定の視点により、この対応関係を特徴付けてもよい。
【００１８】
第４の実施の形態においては、本発明は、３Ｄソースオブジェクトを少なくとも１つの３Ｄ基準オブジェクトと比較するシステムを備えている。このシステムは、３Ｄソースオブジェクトと３Ｄ基準オブジェクト（１つまたは複数）の２Ｄ表現を作成する投影モジュールと、投影幾何を用いて３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を決めるアナライザとを備えている。
【００１９】
第５の実施の形態においては、上述の方法とシステムは、３Ｄオブジェクトが顔であり３Ｄ基準表現がアバターである場合に使用される。
【００２０】
第６の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つから３Ｄ表現を作成する方法を備えている。この方法によれば、類似と総称されるオブジェクトの３Ｄ基準表現が少なくとも１つ与えられ、与えられた表現（１つまたは複数）の１つが探索され、複数の特徴を含むソースオブジェクトに似るように、２Ｄソース投影（１つまたは複数）の３Ｄ表現が、探索された基準表現を２Ｄソース投影（１つまたは複数）に従って変形することにより作成される。一部の実施態様においては、２Ｄソース投影（１つまたは複数）を用いて基準表現が探索される。さらなる実施態様においては、基準表現の集合は複数のメンバーを含んでおり、必ずしも実際に投影を生成することなく、基準表現の集合の不変視点検索を実行することにより、２Ｄソース投影（１つまたは複数）に最も似ている基準表現が探索される。この検索は、少なくとも１つのソース投影における、複数の特徴を含むソースオブジェクトの視点と最適に一致適合する基準表現の剛体運動を計算するステップを含んでもよい。
【００２１】
好ましい実施態様においては、複数の特徴を含むソースオブジェクトに似るように、探索された基準表現を変形することにより、ソース投影（１つまたは複数）の３Ｄ表現が作成される。この変形は、大きな変形微分同相写像であってもよい。一部の実施態様においては、この変形により、ソース投影（１つまたは複数）における特徴項目が探索された３Ｄ基準表現における対応する特徴項目と整合するように、探索された基準表現が変形される。一部の実施態様においては、この変形はリアルタイムで実行される。
【００２２】
第７の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの少なくとも１つの２Ｄソース投影から３Ｄ表現を作成するシステムを備えている。このシステムは、類似と総称されるオブジェクトの３Ｄ基準表現を少なくとも１つ含むデータベースと、与えられた表現（１つまたは複数）の１つを探索するアナライザとを含んでいる。このシステムは、複数の特徴を含むオブジェクトに似るように、２Ｄソース投影（１つまたは複数）に従って、探索された基準表現を変形することにより、２Ｄソース投影（１つまたは複数）の３Ｄ表現を作成する変形モジュールをさらに含んでいる。一部の実施態様においては、このアナライザは、１つまたは複数の２Ｄソース投影を用いて基準表現を探索する。さらなる実施態様においては、基準表現の集合は複数の要素を含んでおり、アナライザが、必ずしも投影を実際に生成することなく、基準表現の集合の不変視点検索を実行して、２Ｄソース投影（１つまたは複数）に最も似ている基準表現を探索する。この検索は、少なくとも１つのソース投影における、複数の特徴を含むソースオブジェクトの視点と最適に一致適合する基準表現の剛体運動を計算するステップを含んでもよい。
【００２３】
好ましい実施態様においては、この変形モジュールは、複数の特徴を含むソースオブジェクトに似るように、探索された基準表現を変形することにより、ソース投影（１つまたは複数）の３Ｄ表現を作成する。この変形は、大きな変形微分同相写像であってもよい。一部の実施態様においては、この変形モジュールは、ソース投影（１つまたは複数）における特徴項目が探索された３Ｄ基準表現における対応する特徴項目と整合するように、探索された基準表現を変形する。一部の実施態様においては、この変形モジュールはリアルタイムで動作する。
【００２４】
図１は、複数の特徴を含む３Ｄ対象オブジェクトが顔であり、３Ｄ基準表現の集合がアバターである場合の、本発明の基本動作を示している。マッチングプロセスは、マッチングすべき様々な種類の頭部を、実施可能な範囲で表す一連の３Ｄ基準アバターから始まる。例えば、アバターは、男女の顔、毛髪の量とヘアスタイルが異なる顔、様々な年齢の顔、および様々な人種を表す顔を含んでもよい。通常この基準集合には多数の（例えば数百以上の）アバターが含まれるが、本発明は基準オブジェクトが１つであっても機能するし、記憶空間と計算時間により許容される数であればオブジェクトがいくつであっても機能する。状況によっては、基準アバターが１つだけ使用される。このような状況は、例えば、最もマッチングするアバターが手作業または他の手段で既に選択されている場合や、利用可能な基準アバターが１つしかない場合に生じる。図１は、対象顔のソースデータを、未知の視点から撮影された３Ｄ対象顔の単一の２Ｄ写真として示している。最初に、マッチングに用いられる選択された特徴が、ソース写真において識別される。これらの特徴は、口と目の端などの点、輪郭や眉を表す曲線、その他の特徴的な曲線、あるいは眉、鼻、頬などの部分領域であってもよい。これに対応する特徴が基準アバターにおいて識別される。対象写真における特徴の選択と基準アバターにおける対応する特徴の識別は、本発明に従って自動的に行ってもよい。次に、不変視点検索が行われる。この検索においては、各３Ｄアバターが、可能なあらゆる剛体運動を概念上施され、特徴が２Ｄに投影される。投影されたアバター特徴の位置が、対象写真における特徴の位置と比較される。所定の剛体運動により、投影された特徴とソース写真における特徴が最もマッチングした場合のアバターが、最良基準アバターとして選択される。図１は、中央のアバターが、最もマッチングする基準アバターであることを示している。
【００２５】
次に、最良基準アバターが、さらに対象写真にマッチングするように変形される。まず、写真における特徴が、最良マッチングに対応する配向と位置において、最良基準アバターの座標に逆投影される。次に、写真における逆投影された特徴と、対応するアバター特徴との距離が最短になるように、アバターのメッシュ点が３Ｄにおいて変形される。この変形により、さらに３Ｄ対象顔に似たアバターが得られる。剛体運動検索ステップと変形ステップは、例えば、適合の質の向上を容易に認識できなくなるまで繰り返し実行してもよい。その結果得られる３Ｄモデルが、対象顔に最もマッチングしたモデルである。
【００２６】
本発明は、ソース画像に対象顔の一部しか含まれない場合や、サングラスや顔の毛などにより対象顔が部分的に不明瞭である場合でも効果的に使用することができる。本発明の方法は、顔、動物、植物、建物など、複数の特徴を含むあらゆるオブジェクトに適している。説明を簡単にするために、以下の説明においては、典型的な（ただしこれに限定されない）応用として顔に焦点を当てる。
【００２７】
図２Ａ、図２Ｂ、および図２Ｃは、代表的なアバターの構成要素を示している。本発明の一実施態様においては、アバターのジオメトリが、アバターの面に近似する三角ポリゴン集合の頂点である、３Ｄにおける点のメッシュにより表される。図２Ａは、三角ポリゴン表現の正面図２０２と側面図２０４を示している。一表現においては、各頂点に明度が与えられており、各三角面を、その頂点に割り当てられた明度の平均に従って色付けしてもよい。この明度は、写真を基に作成できる、図２Ｂに示した２Ｄテクスチャマップ２０６から決定される。図２Ｃは、テクスチャを有する最終的なアバターの正面図２０８と側面図２１０である。このアバターは、アバターに対して固定されている座標系が関連付けられ、３つの角自由度（ピッチ、ロール、ヨー）と、３空間における剛体中心の３つの並進自由度により指標付けされる。さらに、顎、歯、目などアバターの個々の特徴が、アバター記述の一部を形成する独自の局所座標（例えば顎軸）を有してもよい。本発明は、異なるデータ表現が用いられるアバターにも同様に適用してもよい。例えば、テクスチャ値をＲＧＢ値として表してもよいし、あるいはＨＳＬなど他の色表現を用いて表してもよい。アバター頂点を表すデータとアバター頂点間の関係は、種々様々であってもよい。例えば、メッシュ点をつないで、アバターの面を表す非三角ポリゴンを形成してもよい。
【００２８】
本発明は、３Ｄアバターから２Ｄ画像を生成する従来型のレンダリングエンジンを含んでもよい。このレンダリングエンジンをＯｐｅｎＧＬまたはその他の任意の３Ｄレンダリングシステムに実装してもよい。これにより、３Ｄアバターのカメラ視点を表す２Ｄ画像平面に３Ｄアバターを迅速に投影することができる。また、レンダリングエンジンにアバター照明の指定を含めてもよい。これにより、様々なアバター照明に対応する２Ｄ投影を生成することができる。色、強度、および位置が様々に異なる様々な数の光源に対応する照明を生成してもよい。
【００２９】
マッチングに用いられる２Ｄソース投影における特徴項目は、手作業または自動的方法により選択される。これらの項目は、点または曲線であってもよい。ソース投影が正面図を含む場合、適切な点は、唇における変曲点、眉における点、目の端における点、または鼻孔の端であってもよく、適切な曲線は眉または唇を含んでもよい。ソース投影が側面図を含む場合、輪郭に対応する特徴点が使用され、特徴点は鼻または顎の先端を含んでもよい。適切な特徴項目曲線は、鼻、額、顎など輪郭が明確である部分を含んでもよい。
【００３０】
特徴項目が手作業で決められる場合、ユーザーが特徴点を個別に識別したり、あるいはスプライン曲線により描かれた点群をマークしたり、あるいは線を形成する点集合を選択できるようにするユーザーインターフェイスが提供される。
【００３１】
眼球、鼻孔、唇など顔の所定の特徴を検索することにより、２Ｄソース投影における特徴項目の自動検出が実行される。当業者が理解しているように、この方法では、実際のアバターから生成される訓練データから階層検出プローブが生成される、ベイズ識別器と決定木を用いてもよい。検出プローブは、大規模プローブにより好ましい検出が可能な場合に、特徴の配向など所定のパラメータだけがより細密に計算されるように、複数のピクセルスケールで記憶保存することが望ましい。特徴検出プローブは、検出プローブが特徴に合わせて細かく調整されるように区分され分離された特徴を有する、多数の個人を表す画像データベースから生成してもよい。この自動特徴検出方法では、パターン識別、ベイズネット、ニューラルネットワーク、または顔の画像における特徴の位置を決めるその他の既知の手法を使用してもよい。
【００３２】
ソース投影における曲線特徴の自動検出では、一連の点から曲線を生成する動的計画法を使用してもよい。その結果、最適な曲線を識別するために必要な計算の量が低減され、列加法性コスト関数が最大化される。このようなコスト関数は、背景に対する輪郭のコントラスト、眉の濃さ、唇間の皺など一連の特徴を表す。Ｎ個の点の経路を、開始ノードｘ０と、隣接するノードを接続するベクトル集合ｖ０，ｖ１，．．．，ｖＮ−１とを含む経路であるとみなすことができる。この経路を構成するノードは、
2006520054.tif 000003
として定義される。長さＮのすべての経路にわたって検索するのではなく、動的計画法を用いて最大（または最小）コスト経路を生成してもよい。これにより、アルゴリズムの複雑さがＫＮからＮＫ２に低減される。ここで、Ｎは経路の長さであり、Ｋはノードの総数である。低減される理由は、動的計画法では、コストが列加法性を有するという事実を利用して多数の次善経路を無視することができるからである。動的計画法の技術的特徴は十分に確定されているため、必要以上の実験をすることなく、本明細書で説明するように利用できる。
【００３３】
次に、アバター座標からソース投影への３Ｄ回転および並進が決められる。この手順は、ソース投影を捕捉した視点を求めることに相当する。好ましい実施態様においては、これは、２Ｄソース投影における選択された特徴項目集合に最もマッチングする、３Ｄ空間におけるアバターの位置を計算することにより達成される。一般に、これらの特徴項目は点、曲線、または部分領域であり、ソース投影は、これらの項目の位置を手作業でまたは自動的に測定できる写真である。位置計算は、２Ｄ特徴項目の３Ｄにおける逆投影位置の条件付き平均推定の計算に基づいてもよい。次に、特徴項目の３Ｄ位置の推定が与えられると仮定して、３Ｄにおける回転パラメータと並進パラメータのＭＭＳＥ推定が計算される。３Ｄ空間における位置はベクトルパラメータであるため、並進位置のＭＭＳＥ推定は閉じた形式である。すなわち、この推定は、２乗誤差関数に代入された場合、回転だけに関して陽関数をもたらす。回転はベクトルパラメータではないため、群の接空間、または歪対称行列の角速度を用いた局所表現を介した非線形勾配降下法を用いて計算してもよい。
【００３４】
本明細書に記述した最小２乗法または加重最小２乗法に加え、あるいはこれらの代わりに、ソース画像からの特徴項目の逆投影と３Ｄアバターにおける対応する項目との適合の質を測定するために用いられる距離メトリックは、例えば、三角不等式を満たしても満たさなくてもよいポワソンまたはその他の距離メトリックであってもよい。
【００３５】
３Ｄカメラやスキャナーから得られる実際の３Ｄソースデータなどから、３Ｄにおいて測定される特徴項目が利用可能な場合、逆投影された２Ｄ特徴の条件付き平均推定を計算する中間ステップなしで、特徴項目のマッチングを直接実行してもよい。閉じた形式の２次最適化、反復ニュートン降下法、勾配法などのアルゴリズムを利用すれば、３Ｄアバターの位置決めに用いられるコスト関数を最小化することができる。
【００３６】
最初に、基準アバターの変形を伴わない3Ｄ位置決め手法について検討する。以下では、３Ｄ基準アバターをＣＡＤ（コンピュータ支援設計）モデルまたはＣＡＤと呼ぶ。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），ｊ＝１，．．．，Ｎで表される特徴集合がＣＡＤモデル上で定義される。投影幾何マッピングは、正または負のｚと定義される。これは、投影がｚ軸に沿って行われることを意味する。すべての投影幾何において、
2006520054.tif 000004
（負のｚ軸投影の場合）、または
2006520054.tif 000005
（正のｚ軸投影の場合）が、点ｘｊの投影位置である。ここで、αは投影角である。剛体変換が、ｘｃ＝０を中心とする
2006520054.tif 000006
という形式であると仮定する。正の（すなわちｚ＞０）マッピングでありｎ＝０である場合、
2006520054.tif 000007
である。ここで、Ｎは投影角の余接である。全体を通じて、次のデータ構造が定義される。
（式１）
2006520054.tif 000008
（式２）
ここで、単位行列は
2006520054.tif 000009
である。負の（すなわちｚ＜０）マッピングの場合、
2006520054.tif 000010
であり、変換
2006520054.tif 000011
が行われる。
2006520054.tif 000012
【００３７】
３×３回転要素Ｏの接線における基底ベクトルＺ１、Ｚ２、Ｚ３、は、次のように定義される。
（式３）
2006520054.tif 000013
（式４）
2006520054.tif 000014
（式５）
2006520054.tif 000015
ここで、（式６）
2006520054.tif 000016
２Ｄ投影からの特徴点の逆投影をこの時点で実行してもよい。画像平面において特徴点ｐｊ＝（ｐｊ１，ｐｊ２），ｊ＝１，２，．．．が与えられれば、
2006520054.tif 000017
の最小ノルム推定は、
2006520054.tif 000018
により
2006520054.tif 000019
として与えられ、ＭＭＳＥ
2006520054.tif 000020
は、次の式を満たす。
（式７）
2006520054.tif 000021
基準アバターへのソース画像のマッチングプロセス時に、決められた点ｘが不確実であってもよい。これは、コスト上のマッチングがこの公式に組み込まれた共分散可変構造で実行されるということを意味している。この場合、ノルムは、ノルムにおけるこの変動性を表す３×３行列をその内部に持っている。
【００３８】
次に、最適な回転と並進を特徴点から推定してもよい。投影点ｐｊ，ｊ＝１，２，．．．が与えられれば、剛体変換の形式は
2006520054.tif 000022
である（中心ｘｃ＝０を中心とする）。次に、正の（ｚ＞０）マッピングでありｎ＝０である場合、
2006520054.tif 000023
である。
（式８）
2006520054.tif 000024
最適な並進／回転解は、次のように生成することが好ましい。すなわち、３×９行列
2006520054.tif 000025
を計算しコスト関数を余すところなく評価して、最小値
2006520054.tif 000026
を選択し並進
2006520054.tif 000027
を計算する。ここで最小値
2006520054.tif 000028
は、次のように、例えばピッチ、ロール、またはヨーによりパラメータ化してもよい直交群全体に対して総当り検索などを実行するか、あるいは収束するまで勾配検索アルゴリズムを実行することにより得られる。
総当り検索：（式９）
2006520054.tif 000029
勾配検索：（式１０）
2006520054.tif 000030
ここで、
2006520054.tif 000031
である。
【００３９】
典型的な応用においては、３Ｄ空間におけるオブジェクトの位置に関する一部の情報が既知である。例えば、追跡システムなど、動いているソースオブジェクトの連続写真を撮影するシステムにおいて、先行する画像から位置を知ることができる。本発明は、次のようにこの情報をマッチングプロセスに組み込んでもよい。
点列Pｉ，ｉ＝１，．．．，Ｎと、
2006520054.tif 000032
という形態の剛体変換（ｘｃ＝０を中心とする）が与えられれば、回転と並進
2006520054.tif 000033
のＭＭＳＥは次の式を満たす。
（式１１）
2006520054.tif 000034
３×９行列Ｍと３×１列ベクトルが次のように計算される。
（式１２）
2006520054.tif 000035
次に、収束するまで総当り検索または勾配検索アルゴリズムを実行することにより得られた最小値
2006520054.tif 000036
において、並進が
2006520054.tif 000037
と確定される。
総当り検索：（式１３）
2006520054.tif 000038
勾配検索：（式１４）
2006520054.tif 000039
ここで、αｎｅｗがコストの方向微分係数である指数表現におけるOｏｌｄの接線において、式３〜式５の基底ベクトルＺ１、Ｚ２、Ｚ３への投影が定義される。
【００４０】
様々な方法で回転／並進データに指標付けすることができる。例えば、固定された外部世界座標ではなくオブジェクトの中心を中心とした回転に従って指標索引付けするには、
2006520054.tif 000040
と定義することにより座標を再パラメータ化すればよい。本明細書に記述した方法はすべて、変更されない。
【００４１】
剛体運動に対する好ましい３Ｄアルゴリズムは、測定された画像と比較するために幾何学姿勢の状態を効率的に変更する。ジオメトリを微分同相写像変換するための好ましい３Ｄアルゴリズムは、ジオメトリを対象２Ｄ画像特徴にマッチングさせる。ただし、所定の画像特徴を利用しない方法を含め、３Ｄ表現とソース画像との比較を実行する他の方法を用いてもよいことは明らかである。
【００４２】
２Ｄソース画像と選択された３Ｄアバターとの最良マッチングをもたらす剛体運動（すなわち回転と並進）が確定された後、ソース画像との対応関係を上げるためにソース３Ｄアバターを変形してもよい。許容される変形は通常、元のアバターの微分同相写像に限られる。この微分同相写像はアバタートポロジを維持する働きをするため、変形の結果が顔になることが保証される。また、変形において、ジオメトリの対称性など位相的制約を強制してもよい。この制約は、ソースオブジェクトの部分が不明瞭であるような状況や、完全なジオメトリが部分的なソース情報から推測されるような状況において特に有用である。
【００４３】
図３Ａと図３Ｂは、アバターとソース画像のマッチングに及ぼすアバター変形の効果を示している。図３Ａでは、特徴点をソース画像３０２上で黒い十字として示している。例えば、左眉３０４の左端に特徴点がある。変形に先立つ最適な剛体運動により最もマッチングする基準アバターに属する対応する特徴点の投影を、白い十字として示している。左眉３０６の左端に相当する投影された点が、対応する眉３０４から著しくずれていることがわかる。図３Ｂでも、同じソース画像３０２上で特徴点を黒い十字として示している。この図では、白い十字として示した最もマッチングするアバター特徴点が、変形後に投影されている。例えば、投影された左眉特徴点３０８が、対応するソース特徴点３０４に近づくことで、図示したように、ソース特徴点とアバター特徴点との対応関係が著しく向上する。
【００４４】
特徴項目を検出し、最もマッチングする剛体運動とアバターの元のジオメトリを計算することにより確定される、アバター配置の初期条件から、３Ｄアバター微分同相写像計算が開始される。次に、３Ｄにおける変形されたアバター点と、３Ｄ座標に逆投影された２Ｄ標識点の条件付き平均推定との距離を最小化するために、アバター上のすべての点が、事前定義された公式に従ってそれぞれ単独で移動できるようにすることにより計算が進められる。この微分同相写像計算の後、この新たに変換されたアバターが新しい頂点位置を持っていることを前提として、３Ｄ標識剛体運動アルゴリズムが再びソース投影と特徴項目に適用されて、最も妥当なカメラ位置が見いだされる。その後、新しい微分同相写像が生成され、このプロセスが収束するまで続行される。別法として、繰り返しを行わないで、剛体運動計算を一度だけ実行し、微分位相写像変換を一回だけ適用する方法もある。カメラの配向（すなわち、測定されるソース投影の視点）が正確に知られている場合は、計算への固定入力としてその配向を用いることができるため、剛体変換は不要である。測定される特徴項目集合が、候補をなす頭部のサイバースキャンや３Ｄカメラ観測などから得られる３Ｄ特徴項目集合である場合、２Ｄ点集合から３Ｄ点を生成する条件付き平均アルゴリズムにより３Ｄ空間における候補点を中間生成することなく、アバターは点の候補集合に変換される。
【００４５】
アバターの微分位相写像変形のプロセスは、以下のとおりである。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），ｊ＝１，．．．，Ｎで表される特徴項目集合がＣＡＤモデル上で定義されていれば、投影幾何マッピングは
2006520054.tif 000041
で定義される。ここで、ｎはこの角度の余接であり、ｗとｈはそれぞれアスペクト比の幅と高さである。投影幾何上
2006520054.tif 000042
により特徴項目の観測を用いて
2006520054.tif 000043
である。目的は、測定される投影画像特徴項目に対応する未知のカメラ剛体運動を用いてＣＡＤモデル
2006520054.tif 000044
の変形を構築することである。各配向ｖ＝１，．．．，Ｖにおける投影点と以下の平滑化行列が構築される。
（式１５）
2006520054.tif 000045
（式１６）
2006520054.tif 000046
（式１７）
2006520054.tif 000047
ここで、例えば
2006520054.tif 000048
は、平方根逆ラプラス作用素
2006520054.tif 000049
に対応する。
【００４６】
一実施態様においては、剛体運動ではなく小さな変形だけを用いてアバターを変形してもよい。この実施態様では、測定される特徴項目はすべて、特徴点が測定された投影されたソース画像を生成した単一のカメラビューイング視点からの点であると想定される。目的は、マッピング
2006520054.tif 000050
を構築するＣＡＤモデルの変形を構築することである。
（式１８）
2006520054.tif 000051
まず、
2006520054.tif 000052
を用いて、モデル
2006520054.tif 000053
の変換が計算される。ここで、次の式が適用される。
（式１９）
2006520054.tif 000054
次に、剛体運動が追加され、オプティマイザについて次の式が解かれる。
（式２０）
2006520054.tif 000055
小さな変形
2006520054.tif 000056
を用いてモデルの変換が計算される。ここで、
2006520054.tif 000057
と次の式が適用される。
（式２１）
2006520054.tif 000058
別の実施態様においては、アバターの剛体運動を用いない微分位相写像変形が適用される。顔の形状の変化が広範囲に及ぶ場合、
2006520054.tif 000059
を満たす大きな変形
2006520054.tif 000060
が生成される。マッピング
2006520054.tif 000061
を構築するＣＡＤモデルの変形が構築される。
（式２２）
2006520054.tif 000062
収束するまで反復アルゴリズムを実行することにより、初期化
2006520054.tif 000063
を用いて新しいベクトル場からマッピングが繰り返し生成される。
（式２３）
2006520054.tif 000064
（式２４）
2006520054.tif 000065
ここで、
2006520054.tif 000066
である。大きな変形
2006520054.tif 000067
に対する剛体運動の追加が、次のように遂行される。
（式２５）
2006520054.tif 000068
収束するまで反復アルゴリズムを実行することにより、初期化
2006520054.tif 000069
を用いて新しいベクトル場からマッピングが生成される。
（式２６）
2006520054.tif 000070
（式２７）
2006520054.tif 000071
ここで
2006520054.tif 000072
である。
【００４７】
さらなる実施態様においては、アバターを１つまたは複数の２Ｄソース投影と対応付ける剛体運動（すなわち、回転／並進）が未知である場合、変形をリアルタイムで実行してもよい。本明細書に記述した手法を用いた剛体運動の推定を加えた、上記の方法に似た方法が用いられる。初期化
2006520054.tif 000073
が用いられる。ＣＡＤモデル
2006520054.tif 000074
を各写真に位置を合わせるために、上記の回転／並進手法を用いて剛体運動が計算され、生成する剛体運動
2006520054.tif 000075
が前のステップから確定され、リアルタイムの小さな変形または大きな変形の問題を解決するために、ＣＡＤモデル
2006520054.tif 000076
の変形または大きな変形
2006520054.tif 000077
が上記の手法を用いて計算される。
（小さな変形）（式２８）
2006520054.tif 000078
（大きな変形）（式２９）
2006520054.tif 000079
別の実施態様においては、微分同相写像変形を用いてアバターが変形される。リアルタイム変形アルゴリズムの解により、微分同相写像変形の解のための初期条件として使用できる変形が生成される。リアルタイム変形の解を初期条件として組み込み、次に微分同相写像変形計算を少数回（１〜１０）繰り返し実行することにより、リアルタイム微分同相写像変形が実施される。
【００４８】
変形はアフィン運動を含んでもよい。アフィン運動
2006520054.tif 000080
の場合（ここで、Ａは３×３一般線形行列）、
（式３０）
2006520054.tif 000081
最小２乗推定量
2006520054.tif 000082
が計算される。
（式３１）
2006520054.tif 000083
多くの場合、アバターの変形を行うために、投影画像における特徴項目と画像自体の両方を使用できる。ソースデータを増やしてソース画像を組み込むことにより、変形されるアバターと対象顔との適合の質を向上することができる。これを実施するために、変形手法にもう１つの条件が追加される。測定される画像をＩとする。Iには通常、
2006520054.tif 000084
により指標付けされた一連のピクセルに対応する、複数の測定される画像Ｉ（ν），ν＝１，２，．．．が含まれる。ここで、投影マッピング点は
2006520054.tif 000085
である。色（Ｒ，Ｇ，Ｂ）テンプレートでソース画像平面においてピクセルが不連続に設定されている場合、観測される投影ＩＩ（ｐ）は（Ｒ，Ｇ，Ｂ）ベクトルであり、投影行列は、投影行列
2006520054.tif 000086
に従って点
2006520054.tif 000087
に対して作用する
2006520054.tif 000088
になる。ここで、点ｘ（ｐ）は、画像平面において点ｐに投影される３Ｄ  ＣＡＤモデル上で遮られない、示現する点（光線上で投影に最も近い点）である。次に、テンプレート値の投影座標ｐにおける（Ｒ，Ｇ，Ｂ）成分上の差分から得られる、投影されたテンプレート行列が必要である。ノルムは、成分毎に解釈される。
（式３２）
2006520054.tif 000089
（式３３）
2006520054.tif 000090
行列ノルムは、
2006520054.tif 000091
である。
【００４９】
従来の剛体運動計算手法から既に知られていると想定される並進／回転が、各画像に関連付けられる。以下では、１つの２Ｄ画像が存在すると仮定し、但し、O，ｂが恒等式であり、すべての運動が
2006520054.tif 000092
として表されるとする。次に、ｕ（ｘ）＝Oｘ−ｘは回転運動であり、ｕ（ｘ）＝ｂは等速であり、
2006520054.tif 000093
は、「顎を回転する」や「眉を上げる」など基底関数に対する束縛運動であり、一般的運動ｕは次の式により与えられる。
（式３４）
2006520054.tif 000094
（式３５）
2006520054.tif 000095
これはｕにおいて線形であるため、ｕの各形式について、例えば非束縛一般スプライン運動について、閉じた式が存在する。
（式３６）
2006520054.tif 000096
この方法は、本明細書に記述した各種の可能な変形についての本発明の他の実施態様に組み込むことができる。
【００５０】
多数の特徴点、曲線、およびサブボリュームをソース投影（１つまたは複数）と３Ｄデータ（存在する場合）から自動的に生成する必要がある場合、ソース画像に対して、あるいはソースオブジェクトを分割できる基本３Ｄボリュームに対して画像照合が直接実行される。アバターが２Ｄ投影写真画像から生成される場合、測定される対象投影画像は、微分同相写像画像照合により生成される点、曲線、および部分領域に表示分類される。アバターから得られる表示分類された部分多様体をすべて有するテンプレート投影見本顔を定義すれば、微分同相写像を用いてこの投影見本を対象候補写真に全単射変換することができる。これにより、対象写真が、それを構成する部分多様体に自動的に表示分類される。これらの部分態様体の所定条件のもとでは、アバターを表示分類された写真にマッチングさせ、変換することができる。したがって、画像平面において、
2006520054.tif 000097
を満たす変形
2006520054.tif 000098
が生成される。テンプレート画像Ｉ０と対象画像I１は、次の式を満たすように変換される。
（式３７）
2006520054.tif 000099
与えられた微分同相写像が、テンプレートI０における表示分類された点、曲線、および領域に適用される。これにより、対象写真における点、曲線および領域が表示分類される。
【００５１】
対象ソースデータが３Ｄデータである場合、微分同相写像を用いて３Ｄ背景空間における全単射対応が定義され、画像平面ではなくボリュームにおいてマッチングが実行される。
【００５２】
以下の手法を用いて、アバターモデルを自動的に選択してもよい。アバターモデル｛ＣＡＤａ，ａ＝１，２，．．．｝と、一人の顔の一連の測定される写真が与えられている場合、分析される顔を最も代表するアバターモデルを選択する必要がある。アバターモデルが点、曲線、面、またはサブボリュームにより指定されると仮定する。例えば、Ｎ個の特徴初期点および対象点
2006520054.tif 000100
があると仮定する。ここで、
2006520054.tif 000101
であり、この点は各アバターａ＝１，２，．．．について１つである。
【００５３】
一実施態様においては、剛体運動ではなく小さな変形だけを用いてアバターが変形される。この実施態様では、測定される特徴項目はすべて、特徴点が測定された投影されたソースイメージを生成した単一のカメラビューイング視点からの点であると想定される。マッチング
2006520054.tif 000102
が構築され、メトリック距離が最短であるＣＡＤａモデルが選択される。選択された最適なアバターモデルは、メトリック距離において候補に最も近いモデルの１つである。アバターの選択において、上述した微分同相写像マッピング手法からの大きな変形メトリック、上述のリアルタイムメトリック、ユークリッド距離、ケンドールの相似メトリックなど様々な距離関数のいずれを用いてもよい。本明細書では、この手法をリアルタイムメトリックを用いて説明する。剛体運動が存在しない場合、写真からの１つまたは複数の特徴集合に基づいてメトリック距離を最小化するようにＣＡＤモデルが選択される。ここでは、１つの写真の場合について説明している。
（式３８）
2006520054.tif 000103
他の実施態様においては、未知または既知の剛体運動、大きな変形メトリック、またはアフィン運動を含む、式２８および式２９にそれぞれ記述した両方のメトリックを用いてもよい。
【００５４】
３Ｄボリュームにおける点、曲線、面、および／またはサブボリュームの特徴などの３D情報が与えられている場合にアバターを選択するために、測定値と候補ＣＡＤモデル群との距離を最小化するメトリックが選択される。まず、この距離を測定する２次形式メトリックを定義するＫ行列が計算される。
（式３９）
2006520054.tif 000104
Ｋは、例えば
2006520054.tif 000105
であってもよい。次に、ＣＡＤモデルと候補写真特徴点とのメトリック距離が、
2006520054.tif 000106
に従って計算され、距離が短いＣＡＤが選択される。正確なマッチングまたは不正確なマッチング（正確な場合σ＝０、不正確な場合
2006520054.tif 000107
）を用いることができる。
（式４０）
2006520054.tif 000108
（式４１）
2006520054.tif 000109
最小ノルムは、ＣＡＤモデル特徴点と写真特徴点との間の誤差により決められる。
【００５５】
本発明は、連結された対象オブジェクトのマッチングに用いてもよい。微分同相写像とリアルタイムマッピング手法により、３Ｄテンプレート表現が対象モデルに全単射的にマッピングされる。すなわち、テンプレートにおける情報がすべてマッピングされる。テンプレートモデルは、連結されたオブジェクトの様々な構成要素に対応する様々な領域で表示分類される。例えば顔の場合、連結された領域は歯、眉、まぶた、目、および顎を含んでもよい。これらの各下位構成要素を、モデルの運動中に、許容される連結モードを指定する連結モデルに従って連結することができる。マッピング手法により、これらの三角形下位構成要素が対象上へマッピングされる。これにより、対象が下位構成要素で自動的に表示分類される。このため、結果として選択されるＣＡＤモデルは、その構成部分が自動的に表示分類される。これにより、一連の運動中に各アバターを連結することができる。
【００５６】
ソースオブジェクトの３Ｄ直接測定値が、点、曲線、面、またはサブボリュームから得られる
2006520054.tif 000110
である場合、回転／並進の対応関係を決める手法は不変である。ただし、マッチング条件にはボリュームにおける直接測定値が含まれるため、ＭＭＳＥ手法を用いて未知のｚ深度への依存度を決めるために中間ステップは不要である。
【００５７】
したがって、最もマッチングする剛体運動は次の式に該当する。
【００５８】
（式４２）
2006520054.tif 000111
リアルタイム変形は次の式に該当する。
【００５９】
（式４３）
2006520054.tif 000112
微分同相写像変形は、
2006520054.tif 000113
により次の式に該当する。
【００６０】
（式４４）
2006520054.tif 000114
本明細書に記述した手法により、アスペクト比や視野などのカメラパラメータの自動較正が可能である。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），Ｊ＝１，．．．，Ｎで表される特徴集合がＣＡＤモデル上で定義される。
2006520054.tif 000115
に従って、正の奥行き方向での投影幾何マッピングが
2006520054.tif 000116
で定義される。投影幾何
2006520054.tif 000117
により、一部の特徴の観測が与えられる。
【００６１】
アバターの変換（アフィンまたはその他の）がないことを前提としてカメラ較正が決められる。次に、すべての深度座標が上記の座標に錐台の奥行きを加えたものになるように錐台距離を組み込むことにより、ｚ値がパラメータ化される。ビデオでは、異なるアスペクト比
2006520054.tif 000118
と視野
2006520054.tif 000119
を表示することができる。この手法により、測定された点
2006520054.tif 000120
からアスペクト比γ１，γ２が推定される。
（式４５）
2006520054.tif 000121
初期化
2006520054.tif 000122
を用いて、収束するまで計算が実行される。
【００６２】
最初のステップで、データ項
2006520054.tif 000123
が解かれ、次の回転／並進が計算される。
（式４６）
2006520054.tif 000124
（式４７）
2006520054.tif 000125
次に、ニュートン・ラプソン法、勾配法、共役勾配法などの最適化法を用いて式
2006520054.tif 000126
が最大化される。例えば勾配アルゴリズムを用いて、収束するまで計算が実行され、最初のステップが繰り返される。ここで示す勾配法では、安定性を考慮して刻み幅を選択している。
（式４８）
2006520054.tif 000127
（式４９）
2006520054.tif 000128
（式５０）
2006520054.tif 000129
本明細書に記述した手法を用いて、３Ｄソースオブジェクトを単一の基準オブジェクトと比較してもよい。ソースオブジェクトと基準オブジェクトの２Ｄ表現が作成され、数理最適化と投影幾何を用いて両者間の対応関係が決められる。通常、この対応関係は、２Ｄソース投影を捕捉した視点を指定することにより決められる。
【００６３】
ここで、本発明を組み込んだハードウェアシステム４００を示す図４を参照されたい。図示したように、このシステムは、解析される静止入力画像を提供するビデオソース４０２（例えば、ビデオカメラまたはスキャニング装置）を含んでいる。ビデオソース４０２の出力は、デジタイザ４０４によりフレームとしてピクセル配列にデジタル化される。デジタル化された画像は、すべてのシステムコンポーネントの通信を媒介するシステムバス４０６を通って伝送される。デジタル化された画像は、大容量記憶装置（ハードディスクまたは光学式記憶装置）４０８に記憶保存してもよいし、メインシステムメモリ４１０（具体的には、同じサイズの一連の入力画像バッファ４１２を定義するパーティション内に）に記憶保存してもよい。
【００６４】
図示したシステムの動作は、中央演算処理装置（「ＣＰＵ」）４１４が制御する。以下に説明する画像処理操作を迅速に実行できるように、このシステムにグラフィックス／画像処理ボード４１６を備えることが好ましい。これは、当業者にとって周知の標準コンポーネントである。
【００６５】
ユーザーは、キーボード４１８と位置検出装置（例えばマウス）４２０を用いてシステムと対話する。いずれかの装置からの出力を用いて、情報を指定し、あるいはディスプレイ４２０の所定の点または領域を選択して、システムにより実行される機能を指示することができる。
【００６６】
メインメモリ４１０は、ＣＰＵ４１４の動作と、ＣＰＵ４１４と他のハードウェアコンポーネントとの相互作用を制御する一群のモジュールを含んでいる。オペレーティングシステム４２４は、メモリアロケーション、ファイル管理、大容量記憶装置４０８の動作など、低レベルの基本的システム機能の実行を制御する。高レベルでは、一連の記憶された命令として実装されたアナライザ４２６が、後述するように本発明により実行される主要機能の実行を制御する。また、ユーザーインターフェイス４２８を定義する命令により、ディスプレイ４２２上での簡単な対話が可能になる。ユーザーインターフェイス４２８は、ユーザーに操作を指示する語またはグラフィック画像をディスプレイ４２２上に生成し、キーボード４１８および／または位置検出装置４２０からのコマンドを受け取る。最後に、メモリ４１０は、上述のように３Ｄ基準アバターのデータベースを記憶保存するためのパーティション４３０を含んでいる。
【００６７】
各画像バッファ４１２の内容は、「ラスター」、すなわち、画像を集合的に表す不連続ピクセル位置の規則的２Ｄパターンを定義する。この内容を用いて、ディスプレイ４２２を制御（例えば、画像処理ボード４１６または画像サーバーを用いて）し、その画像を表示してもよい。フレームバッファにおける各記憶場所の内容は、ディスプレイ４２２上での対応するピクセルの表示を直接制御する。
【００６８】
メインメモリ４１０の各モジュールを個別に説明してきたが、これは明確に表現するためだけにそうしたのである。システムが必要なすべての機能を実行する限り、これらのモジュールがシステムおよびシステムのプログラミングアーキテクチャ内でどのように分散されているかは重要ではない。同様に、ピクセルマップは概念的にグリッドとして構成されるが、ピクセルマップを実際にこの方法で保存する必要はない。むしろ、メモリ効率と伝送を考慮して、通常、ラスターパターンは順序付けられたピクセル配列として符号化される。
【００６９】
上述のように、本発明に関連する主要タスクの実行は、アナライザ４２６により制御される。複数の特徴を含む対象オブジェクトにマッチングするように基準３Ｄ表現をマッチングさせ変形するために必要なステップの実行において、アナライザ４２６は、ＣＰＵ４１４の動作を制御し、ＣＰＵ４１４とメインメモリ４１０との相互作用を制御する。図５は、アナライザ４２６の好ましい実装のコンポーネントを示している。投影モジュール５０２は３Ｄモデルを選択し、その２Ｄ投影を、選択された任意の平面上に作成する。一般に、各候補基準アバターの回転と並進の空間全体にわたる多数の投影を作成するには、効率的な投影モジュール５０２が必要とされる。変形モジュール５０４は、アバターがソースオブジェクトにさらに似るように、アバターに対して１つまたは複数の種類の変形を実行する。ソース画像から逆投影された特徴項目の条件付き平均推定とのマッチングを最適化するために、この変形は３Ｄ空間において実行され、アバターメッシュを定義するあらゆる点が自由に移動できる。一般に、複数の基準オブジェクトが提供されている場合、最もマッチングする基準オブジェクトにのみ変形が適用される。レンダリングモジュール５０６により、アバター照明の指定を含むオプションを用いて、３Ｄアバターを２Ｄに迅速に投影することができる。この２Ｄ投影は、選択された３Ｄアバター照明に対応する。特徴検出モジュール５０８は、２Ｄソース投影における所定の特徴項目を検索する。特徴は、目、鼻孔、唇を含んでもよく、複数の異なるピクセルスケールで動作するプローブを組み込んでもよい。
【００７０】
図６は、メインメモリで実行される本発明の機能を示している。ステップ６０２において、システムがソースイメージを調べ、上述のようにマッチングに利用できる眼球、鼻孔、唇など顔の特徴を自動的に検出する。ステップ６０４において、上述のように、式７を用いて、検出された特徴項目が候補アバターの座標系に逆投影される。ステップ６０６において、候補アバターの最適な回転／並進が、上述の手法と式８、式９、および式１０を用いて推定される。ステップ６０８において、本明細書に記述したように、式１１〜式１３を用いて、利用可能な２Ｄ投影に関してソースオブジェクトの位置に関する入手可能なあらゆる事前情報が計算に追加される。ソースの３Ｄ測定値を得ることができる場合、ステップ６１０に示したように、また式４０〜式４３を参照して上述したように、このデータを用いて剛体運動検索が制約される。すべての３Ｄ基準アバターにわたる回転／並進検索６０６が完了したら、式３８〜式４０を参照して上述したように、ステップ６１２において最もマッチングするアバターが選択される。その後、ステップ６１２において探索された最もマッチングするアバターが、ステップ６１４において変形される。ソースオブジェクトの３Ｄ測定値６１０が存在すれば、それを用いて変形６１４が制約される。さらに、ソース画像６１６の一部を用いて変形６１４に影響を与えてもよい。
【００７１】
本発明は、最もマッチングする基準アバターと対象オブジェクトとの対応関係を向上するために、最もマッチングする基準アバターに任意に適用することができる複数の異なる種類の変形を提供する。これらの変形は、上述のように、式１８と式１９を用いて、変形について閉じた式が見いだされる剛体運動を用いないリアルタイム変形を含んでもよい。剛体運動を用いない、アバターの微分同相写像変形を適用してもよい（式２２〜式２４）。別法として、アバターの未知の剛体運動を用いるリアルタイム変形を適用してもよい（式２８と式２９）。リアルタイム変形を繰り返すことにより、リアルタイム微分同相写像変形をアバターに適用してもよい。アフィン運動を用いてアバターを変形してもよい（式３０と式３１）。式３７を参照して上述したように、アバター内の部分多様体の識別を含め、ソースデータにおける多数の特徴項目に投影をマッチングさせることにより、アバターの変形を導いてもよい。対象オブジェクトが、連結されたモデルにより表される場合、上述の変形を連結された各構成要素に個別に適用してもよい。
【００７２】
ステップ６１８に示したように、また式４４〜式４９を参照して上述したように、本発明により、アスペクト比や視野などのカメラパラメータを推定することができる。
【００７３】
上述のように、ハードウェア実装の一部の実施の態様を、対象オブジェクトが顔であり基準オブジェクトがアバターである場合について説明してきたが、本発明は顔のマッチングに限定されるものではなく、マッチングされる対象オブジェクトの一般的種類に対応する３Ｄ基準表現のデータベースを用いて、複数の特徴を含むオブジェクトのマッチングに用いてもよい。
【００７４】
したがって、上述のことは、複数の特徴を含むオブジェクトを記述する部分的な情報しか入手できない場合にそのオブジェクトの３Ｄモデルの生成するための、非常に広範かつ有利な方法を表していることが理解されるであろう。本明細書で採用した用語と表現は、説明のために用いたものであり、これらに限定されるものではない。かかる用語と表現の使用においては、図示および説明した特徴またはその一部に相当するものを排除する意図は一切ないのであって、本発明の請求の範囲内で様々な変更が可能であることは明白である。例えば、適切なソフトウェア命令を用いて、あるいはハードウェア回路として、あるいはハードウェアとソフトウェアの組み合わせとして（ここで、例えば、ピクセル操作とレンダリングは専用ハードウェアコンポーネントにより実行される）、本発明の各種モジュールを汎用コンピュータに実装することができる。
【図面の簡単な説明】
【００７５】
各図面すべてにおいて、類似の参照文字は一般に同一部分を指している。図面は必ずしも実際の大きさを表しているわけではなく、一般に本発明の原理を説明することに重点が置かれている。以下の説明においては、本発明の様々な実施態様を以下の図面を参照しながら記述する。
【図１】対象オブジェクトから始めて、基準オブジェクトを使用し、検索と変形の実行後に最適な３Ｄモデルを提供する、本発明の各種構成要素を概略的に示している。
【図２Ａ】３Ｄアバターの構成要素を概略的に示している。
【図２Ｂ】３Ｄアバターの構成要素を概略的に示している。
【図２Ｃ】３Ｄアバターの構成要素を概略的に示している。
【図３】２Ｄ画像における特徴項目のマッチングを概略的に示している。
【図４】本発明による代表的なハードウェア環境を示すブロック図である。
【図５】図４に示したアナライザの構成要素を示すブロック図である。
【図６】アナライザにより実行される主要機能を示すブロック図である。
【符号の説明】
【００７６】
４２６    アナライザ
４３０    画像データベース
【図１】
2006520054.tif 000130
2006520054.tif 000131
2006520054.tif 000132
【図４】
2006520054.tif 000133
【図５】
2006520054.tif 000134
【図６】
2006520054.tif 000135
【国際調査報告】
2006520054.tif 000136
2006520054.tif 000137
2006520054.tif 000138