(57)【特許請求の範囲】
【請求項１】
自由視点映像コンテンツ内のオブジェクトをパーツに分割するステップと、
前記オブジェクトの前記パーツを追跡するステップと、
前記オブジェクトの前記パーツをスティッチングするステップと、
前記オブジェクトの前記パーツを統合して前記オブジェクトを再生するステップと、
を含み、
前記オブジェクトの前記パーツをスティッチングするステップは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングするステップを含み、前記第１の時点及び前記第２の時点は異なる時点とすることができる、
ことを特徴とする方法。
【請求項２】
前記オブジェクトの前記パーツを追跡するステップの後に、パーツの追跡の失敗を識別するステップをさらに含む、
請求項１に記載の方法。
【請求項３】
前記オブジェクトの前記パーツに基づいて、前記オブジェクトの前記パーツを追跡するステップの後にパーツベースのキーフレーム精緻化を、前記オブジェクトの前記パーツをスティッチングするステップの後に全メッシュトラッキングを、前記全メッシュトラッキングの後に再メッシュ化を実行するステップをさらに含む、
請求項２に記載の方法。
【請求項４】
前記オブジェクトを前記パーツに分割するステップは、前記オブジェクトを身体部分に分割するステップを含む、
請求項１に記載の方法。
【請求項５】
前記オブジェクトの前記パーツを追跡するステップは、前記パーツの位置及び場所情報を記憶するステップを含む、
請求項１に記載の方法。
【請求項６】
前記オブジェクトの前記パーツを統合して前記オブジェクトを再生するステップは、前記オブジェクトの前記パーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする、
請求項１に記載の方法。
【請求項７】
前記自由視点映像コンテンツは、最大１０台のビデオカメラを使用して取得される、
請求項１に記載の方法。
【請求項８】
前記自由視点映像コンテンツは、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを使用して取得される、
請求項１に記載の方法。
【請求項９】
アプリケーションを記憶する非一時的メモリと、
前記メモリに結合されたプロセッサと、
を備え、前記アプリケーションは、
自由視点映像コンテンツ内のオブジェクトをパーツに分割し、
前記オブジェクトの前記パーツを追跡し、
前記オブジェクトの前記パーツをスティッチングし、
前記オブジェクトの前記パーツを統合して前記オブジェクトを再生し、
前記プロセッサは、前記アプリケーションを処理するように構成され、
前記オブジェクトの前記パーツをスティッチングすることは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングすることを含み、前記第１の時点及び前記第２の時点は異なる時点とすることができる、
ことを特徴とする装置。
【請求項１０】
前記アプリケーションは、パーツの追跡の失敗をさらに識別する、
請求項９に記載の装置。
【請求項１１】
前記アプリケーションは、前記オブジェクトの前記パーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化をさらに実行する、
請求項１０に記載の装置。
【請求項１２】
前記オブジェクトを前記パーツに分割することは、前記オブジェクトを身体部分に分割することを含む、
請求項９に記載の装置。
【請求項１３】
前記オブジェクトの前記パーツを追跡することは、前記パーツの位置及び場所情報を記憶することを含む、
請求項９に記載の装置。
【請求項１４】
前記オブジェクトの前記パーツを統合することは、前記オブジェクトの前記パーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする、
請求項９に記載の装置。
【請求項１５】
前記装置は、最大１０台のビデオカメラを使用して前記自由視点映像コンテンツをさらに取得する、
請求項９に記載の装置。
【請求項１６】
前記装置は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを使用して前記自由視点映像コンテンツをさらに取得する、
請求項９に記載の装置。
【請求項１７】
それぞれが自由視点映像コンテンツをキャプチャするように構成された複数のカメラ装置と、
第１のコンピュータ装置と、
第２のコンピュータ装置と、
を備え、前記第１のコンピュータ装置は、
自由視点映像コンテンツ内のオブジェクトをパーツに分割し、
前記オブジェクトの前記パーツを追跡し、
前記オブジェクトの前記パーツをスティッチングし、
前記オブジェクトの前記パーツを統合して前記オブジェクトを再生する、
ように構成され、前記第２のコンピュータ装置は、
前記自由視点映像コンテンツを第２のコンピュータ装置上でレンダリングする、
ように構成され、
前記オブジェクトの前記パーツをスティッチングすることは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングすることを含み、前記第１の時点及び前記第２の時点は異なる時点とすることができる、
ことを特徴とするシステム。
【請求項１８】
前記第１のコンピュータ装置は、パーツの追跡の失敗を識別するように構成される、
請求項１７に記載のシステム。
【請求項１９】
前記第１のコンピュータ装置は、前記オブジェクトの前記パーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化を実行するように構成される、
請求項１８に記載のシステム。
【請求項２０】
前記オブジェクトを前記パーツに分割することは、前記オブジェクトを身体部分に分割することを含む、
請求項１７に記載のシステム。
【請求項２１】
前記オブジェクトの前記パーツを追跡することは、前記パーツの位置及び場所情報を記憶することを含む、
請求項１７に記載のシステム。
【請求項２２】
前記オブジェクトの前記パーツを統合することは、前記オブジェクトの前記パーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする、
請求項１７に記載のシステム。
【請求項２３】
前記複数のカメラ装置は、最大１０台のビデオカメラを含む、
請求項１７に記載のシステム。
【請求項２４】
前記複数のカメラ装置は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを含む、
請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元グラフィックスに関する。具体的には、本発明は、スパースビューマルチビュー３次元グラフィックス（ｓｐａｒｓｅ  ｖｉｅｗ  ｍｕｌｔｉ−ｖｉｅｗ  ｔｈｒｅｅ  ｄｉｍｅｎｓｉｏｎａｌ  ｇｒａｐｈｉｃｓ）に関する。
【背景技術】
【０００２】
コンピュータビジョン及びコンピュータグラフィックスの分野では、実際の人間の動作（パフォーマンス）を含む完全な３Ｄ映像をキャプチャすることが注目される話題の１つになってきている。最近では、再構成された幾何形状シーケンスを用いて、遠隔ユーザが仮想現実／拡張現実（ＶＲ／ＡＲ）ハードウェアを装着した時に物理的にリアルな動き及び外観をあらゆる視点で観察できるようにして没入的体験をもたらす自由視点映像（ＦＶＶ）などのアプリケーションが開発されている。この背景にある中核技術は、マルチビューカラーカメラ、単一の又は複数の深度センサ、或いはこれらの混合的な組み合わせを用いてパフォーマンスをキャプチャすることである。
【０００３】
過去１０年間、パフォーマンスキャプチャは、テンプレートモデル又は完全に事前スキャンされた３Ｄアクターを使用して、長い時間をかけてこれらを取り込みシーケンスに調和させることから、キャプチャリングの最中にリアルタイムで進化する４Ｄ（空間的及び時間的）形状の再構成にまで進化した。前者では、同じテンプレート又はアクターのみを含む特定のシーンにキャプチャが制限されるが、時間融合を基準とする後者は、事前のテンプレートを使用せずに一般的シーンと共に機能し、研究機関からも業界からも多くの注目を集めている。
【０００４】
動的シーン融合（例えば、ＤｙｎａｍｉｃＦｕｓｉｏｎ、ＶｏｌｕｍｅＤｅｆｏｒｍ、ＢａｙｅｓｉａｎＦｕｓｉｏｎ、Ｆｕｓｉｏｎ４Ｄ）には相当な努力が費やされてきたが、その主な焦点は、再構成におけるモデル品質及び完全性を高めることにある。大規模シーンの時間的位置合わせは、異常なほどの大空間で探索される解に依拠するため、通常、キャプチャすべきパフォーマンスは、緩やかな動きであって外れ値がない（例えば、複数の深度センサ及びカメラ）ものと仮定される。一方では、依然としてフレーム毎に位置合わせ誤差が蓄積して、長時間にわたるトラッキングを妨げる。数十ものフレームにわたるメッシュのトラッキングに成功した後にも、いくつかの三角形が過度に変形し、又はトポロジー的変化が発生して、基準モデルをリセットする必要がある。従って、これまでの融合法では、個別に再構成されたメッシュを時間フレーム毎に記憶し、これを長い時間をかけて単純に処理するか、或いは大量の帯域幅又はメモリを必要とする未構成シーケンスをもたらすキャッシュへの格納を行う柔軟な方法が好まれている。
【０００５】
ＦＶＶは、ユーザが映像の視点をいつでも変更できる映像である。例えば、スポーツ映像を観ているユーザは、ホームベースの後ろの視点から観ているスポーツ映像を外野からの視点に変更することができる。これにより、ユーザ／視聴者は、コンテンツを独自の視点から見ることができる。
【発明の概要】
【課題を解決するための手段】
【０００６】
自由視点映像コンテンツのためのメッシュトラッキング実装が、パーツベースのキーフレームを利用することによって、より効率的でより正確な自由視点映像の処理の実行を可能にする。
【０００７】
１つの態様では、方法が、自由視点映像コンテンツ内のオブジェクトをパーツに分割するステップと、オブジェクトのパーツを追跡するステップと、オブジェクトのパーツをスティッチングするステップと、オブジェクトのパーツを統合してオブジェクトを再生するステップと、を含む。方法は、パーツのトラッキングの失敗を識別するステップを含む。方法は、オブジェクトのパーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化を実行するステップを含む。オブジェクトをパーツに分割するステップは、オブジェクトを身体部分に分割するステップを含む。オブジェクトのパーツを追跡するステップは、パーツの位置及び場所情報を記憶するステップを含む。オブジェクトのパーツをスティッチングするステップは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングするステップを含み、第１の時点及び第２の時点は異なる時点とすることができる。オブジェクトのパーツを統合するステップは、オブジェクトのパーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする。方法は、最大１０台のビデオカメラを使用して自由視点映像コンテンツを取得するステップをさらに含む。方法は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを使用して自由視点映像コンテンツを取得するステップをさらに含む。
【０００８】
別の態様では、装置が、アプリケーションを記憶する非一時的メモリと、メモリに結合されたプロセッサとを備え、アプリケーションは、自由視点映像コンテンツ内のオブジェクトをパーツに分割し、オブジェクトのパーツを追跡し、オブジェクトのパーツをスティッチングし、オブジェクトのパーツを統合してオブジェクトを再生し、プロセッサは、アプリケーションを処理するように構成される。アプリケーションは、パーツのトラッキングの失敗をさらに識別する。アプリケーションは、オブジェクトのパーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化をさらに実行する。オブジェクトをパーツに分割することは、オブジェクトを身体部分に分割することを含む。オブジェクトのパーツを追跡することは、パーツの位置及び場所情報を記憶することを含む。オブジェクトのパーツをスティッチングすることは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングすることを含み、第１の時点及び第２の時点は異なる時点とすることができる。オブジェクトのパーツを統合することは、オブジェクトのパーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする。装置は、最大１０台のビデオカメラを使用して自由視点映像コンテンツをさらに取得する。装置は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを使用して自由視点映像コンテンツをさらに取得する。
【０００９】
別の態様では、システムが、それぞれが自由視点映像コンテンツをキャプチャするように構成された複数のカメラ装置と、第１のコンピュータ装置と、第２のコンピュータ装置とを備え、第１のコンピュータ装置は、自由視点映像コンテンツ内のオブジェクトをパーツに分割し、オブジェクトのパーツを追跡し、オブジェクトのパーツをスティッチングし、オブジェクトのパーツを統合してオブジェクトを再生するように構成され、第２のコンピュータ装置は、自由視点映像コンテンツを第２のコンピュータ装置上でレンダリングするように構成される。第１のコンピュータ装置は、パーツのトラッキングの失敗を識別するように構成される。第１のコンピュータ装置は、オブジェクトのパーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化を実行するように構成される。オブジェクトをパーツに分割することは、オブジェクトを身体部分に分割することを含む。オブジェクトのパーツを追跡することは、パーツの位置及び場所情報を記憶することを含む。オブジェクトのパーツをスティッチングすることは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングすることを含み、第１の時点及び第２の時点は異なる時点とすることができる。オブジェクトのパーツを統合することは、オブジェクトのパーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする。複数のカメラ装置は、最大１０台のビデオカメラを含む。複数のカメラ装置は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを含む。
【図面の簡単な説明】
【００１０】
【図１】いくつかの実施形態による時間的メッシュトラッキングを示す図である。
【図２】いくつかの実施形態による、キーフレームトラッキング及びパーツベースのキーフレームトラッキングを示す図である。
【図３】いくつかの実施形態による全身統合を示す図である。
【図４】いくつかの実施形態による、メッシュトラッキングを実行するように構成された例示的なコンピュータ装置のブロック図である。
【図５】いくつかの実施形態による、装置のネットワークを示す図である。
【図６】いくつかの実施形態による、メッシュトラッキング、融合及びキーフレームリセットのフレームワークのパイプラインを示す図である。
【図７】いくつかの実施形態による、メッシュセット上のＳｃｏｒｅ３Ｄｂ（ｘ）の例を示す図である。
【図８】いくつかの実施形態による、単一キーフレーム及び全メッシュの場合、並びに複数キーフレーム及びパーツ局所的再メッシュの場合の２パスモデリングパイプラインの例を示す図である。
【図９】いくつかの実施形態によるシームレスなメッシュブリッジを示す図である。
【図１０】いくつかの実施形態による、メッシュトラッキング法を利用した結果を示す図である。
【図１１】いくつかの実施形態による、メッシュトラッキング法を利用した結果を示す図である。
【発明を実施するための形態】
【００１１】
デンス（高密度）ビュー３Ｄ映像キャプチャでは、（例えば、４０〜１００台以上の）多くのカメラを利用して多くの異なる角度からコンテンツを取り込む。具体的には、各カメラ間のカメラ間間隔を非常に小さく（例えば、５度未満に）することができる。スパースビュー３Ｄ映像キャプチャではデンスビュー３Ｄ映像キャプチャ中に発生しない問題が発生するので、デンスビュー３Ｄ映像キャプチャではスパースビューと比べて相対的に処理が単純である。例えば、スパースビュー３Ｄ映像キャプチャを使用する際にはオクルージョンの問題がさらに大きくなる。
【００１２】
スパースビュー３Ｄ映像キャプチャでは、はるかに少ない数のカメラを使用して多くの異なる角度からコンテンツを取り込む。例えば、スパースビュー３Ｄ映像キャプチャでは、デンスビュー３Ｄ映像キャプチャが１００台のカメラを使用する同じ空間で１０台又はそれ未満のカメラを使用することができる。換言すれば、カメラ間の（少なくとも１つの又は全ての軸上の）間隔を４５度又は９０度にすることができる。
【００１３】
本明細書で説明する（パーツベースのメッシュトラッキング法とも呼ぶ）メッシュトラッキング法は、データノイズ及び外れ値を含む長いシーケンスに１つの基準メッシュを位置合わせできるようにトラッキングのロバスト性を高め、リセットが起きた時に、全体的なデータストリーミング及び符号化に影響を与えるリフレッシュコストを低下させる。
【００１４】
トラッキングのロバスト性を高めるために、パーツベースのメッシュトラッキングアルゴリズムを利用する。このメッシュトラッキング法は、人間の動きが主に関節構造に従うことを前提とし、全身の動きを局所部分の並進及び回転に分解することができる。分割によって最適化空間を低減し、ポーズフィッティングの範囲を拡張する。メッシュトラッキング法は、事前の関節動作を前提とせずに全体的なシーンをパーツに分離して解空間の次元を低減することのみを行い、従って関節動作よりも大きな揺動性を可能にすることができる。さらに、純粋な幾何形状ベースの非剛体ＩＣＰ位置合わせは接線ドリフト及び誤差累積を生じやすいので、ロバストな画像特徴をアンカーポイントとして使用してノイズ及び外れ値に対するトラッキングのロバスト性を高める。
【００１５】
次に、キーフレーム変更時のデータ符号化のコストを削減するために、パーツベースの局所的再メッシュアルゴリズムを利用する。頂点が変形している間、フレーム間メッシュ符号化が連続フレームにわたって同じ面連結性（ｆａｃｅ  ｃｏｎｎｅｃｔｉｖｉｔｙ）を使用する。基準フレーム／キーフレームのメッシュ連結性が更新された場合には、メモリ及び帯域幅のコストを増加させる全体的符号化のリセットを行う必要がある。パーツベースの再メッシュ法は、共有頂点及び連結性を依然として効率的に符号化できるようにキーフレームの局所的修正も可能にする。
【００１６】
このメッシュトラッキング法は、ノイズ、トポロジー変化及びデータ欠損を伴う長いシーケンスにおいてメッシュをロバストに追跡するためのパーツベースのトラッキングアルゴリズムと、形状品質を改善してメッシュ連結性を維持するための２パス融合フレームワークと、キーフレームリセットのコストを削減するためのパーツベースの局所的再メッシュアルゴリズムとを含む。
【００１７】
ほとんどのメッシュ変形技術は、埋め込み変形（ＥＤ）に基づいてメッシュワーピングフィールド（ｍｅｓｈ  ｗａｒｐｉｎｇ  ｆｉｅｌｄ）を計算する。この方法は、所定の又はサンプリングされたグラフノード上で近剛体変換を関連付けることによって、非剛体メッシュ変形を表現するための効率的な方法を提供する。後に、過剰に平滑化された自然な歪みにＬ０正則化及びトポロジー進化などを使用して対処するメッシュトラッキングの変形が設計される。
【００１８】
ストリーミング可能なＦＶＶは、高密度カメラ及び高品質データキャプチャから開始し、表面及びトポロジーの統計に基づいて追跡すべきキーフレームを定義する。この方法は、何十ものフレームを追跡することによって、フレーム間メッシュ符号化を可能にして帯域幅のコストを大幅に削減する。この方法は、トポロジー変化を伴う長いシーケンスにおけるキーフレームの再メッシュ化及びテクスチャアトラスのパラメータ化を最適化する。
【００１９】
パフォーマンスキャプチャは、シーンが制御されていて外れ値がない場合、ＥＤ又はスキニングシステム（ＬＢＳ）に基づいて、予め構築されたモデルを取り込みシーケンスに動画化する。ロバストなＬＢＳベースの方法は、ポーズ分析によってキーフレームを使用して、データ欠損及び外れ値における人物追跡を良好に制限する。
【００２０】
別の実装は、例えば深度及び画像シーケンスから又は複雑な着衣形状の下で人間のポーズ及び形状を推定するＳＭＰＬなどの人体パラメトリックモデルに焦点を当てる。大きなポーズ変化のシーンのフィッティングに完全な人物モデルを適用した場合、通常、解は不明瞭かつ不正確である。Ｓｔｉｔｃｈｅｄ  Ｐｕｐｐｅｔ（ＳＰ）法は、ポーズの空間をさらに効率的に探索するために、推論を容易にするために各パーツが３Ｄで剛体変換を受けることができる分散表現を使用する。
【００２１】
本明細書で説明するパーツベースのトラッキング法は、非剛体変換を受ける各パーツをモデル化してロバスト性を高める。全メッシュを幾何学的サンプリングによって分割して各パッチを剛体変換に関連付ける他のパッチベースの方法と区別するために、本明細書で説明するトラッキング内の各パーツは、シーケンス内に有意義な独立した動きを有する。
【００２２】
時間融合は、メッシュトラッキング法に基づくが、メッシュ連結性を維持することなく形状品質及び時間的円滑性を精緻化することにさらに焦点を合わせる。ほとんどの融合法は、単一ビューであるか、それとも複数ビューであるかにかかわらずフレームシーケンスを順に取り込み、各入力を共通座標フレームに位置合わせしていわゆるカノニカルメッシュに融合させることによって「デポージング（ｄｅ−ｐｏｓｉｎｇ）」する。
【００２３】
単一ビューＲＧＢＤセンサからのメッシュ完了は、詳細なスキャンを取得するための低コストな方法を提供し、多くの研究的興味を引く。フレーム単位の部分的深度を完全な３Ｄモデルにリアルタイムで増分的に融合させる非剛体及び動的融合法が開発されている。ターゲットモデルの動きは、非剛体であるが、ほとんど静止又は緩やかであると仮定される。最近の方法は、画像特徴一致又はシェーディングを利用して、例えばコリジョンの場合などの速い動き及びトポロジー変化における融合ロバスト性を高める。
【００２４】
深度センサとカメラとを組み合わせたマルチビュー設定では、自動視点映像及びホロポーテーション（ｈｏｌｏｐｏｒｔａｔｉｏｎ）などの４Ｄ再現技術を導入して、ＶＲ／ＡＲにおけるリアルなユーザ体験を可能にする。最新バージョンであるＦｕｓｉｏｎ４Ｄは、フレーム毎のメッシュトラッキング及び体積融合によるジオメトリ品質の改善を可能にするが、ＦＶＶのような連結性を維持することはできない。最も広く使用されているＴｒｕｎｃａｔｅｄ  Ｓｉｇｎｅｄ  Ｄｉｓｔａｎｃｅ  Ｆｕｎｃｔｉｏｎ（ＴＳＤＦ）の体積融合に加え、微妙な細部を強化するために、例えば占有グリッド上の確率的体積モデル及びベイズ融合（Ｂａｙｅｓｉａｎ  ｆｕｓｉｏｎ）などの他の体積方法も開発されている。簡単にするために、いくつかの実施形態では、メッシュトラッキング法が、標準的なＴＳＤＦを体積融合法として使用する。
【００２５】
メッシュトラッキング法では、特に２Ｄ画像から意味的パーツを検出するために、画像ベースのディープな畳み込みニューラルネットワーク（ＣＮＮ）が利用される。画像ベースの特徴一致の場合、Ｆｕｓｉｏｎ４Ｄは、ランダムフォレストベースのスパース画像特徴、グローバルパッチコライダー（ｇｌｏｂａｌ  ｐａｔｃｈ  ｃｏｌｌｉｄｅｒ）を使用するが、いくつかの実施形態では、最新のＣＮＮベースのオプティカルフローであるＦｌｏｗＮｅｔ２．０がメッシュトラッキング法において使用され、これによってさらに正確で緻密な一致をもたらすことができる。
【００２６】
いくつかの実施形態では、時間的メッシュトラッキング法が、スパースビュー設定からの３Ｄモデルシーケンスを入力として採用し、同じトポロジー及び同じ面連結性と、少ないノイズ及び抑制された外れ値を含む改善されたモデル品質とを有する時間的に整合したメッシュシーケンスを生成する。
【００２７】
入力モデルシーケンスは、人間モデル及びその他のオブジェクトを含む。時間的メッシュトラッキング法は、事前トレーニングされた事前人間モデルを使用して人物モデルの形状及びポーズを推定し、シーンを身体部分とその他のオブジェクトとに分割する（各オブジェクトは、独立パーツとして扱われる）。時間的メッシュトラッキング法は、キーフレームトラッキング法に基づいて各パーツのキーフレームプールを構築し、各キーフレームプールからの各選択されたキーフレームを追跡する。時間的メッシュトラッキング法は、追跡後に体積融合に基づいて各パーツを精緻化し、全てのパーツを統合することによってシーン全体を再構成し、パーツのキーフレームが全て同じである場合には面連結性を維持する。
【００２８】
本明細書で説明するメッシュトラッキング法には複数の実装が存在する。これらの実装の態様は、独立して機能することも、及び／又は各実装間で１又は２以上の態様を入れ替えることなどによって共に利用することもできる。
【００２９】
図１は、いくつかの実施形態による時間的メッシュトラッキングの図である。ＦＶＶコンテンツは、キーフレーム及び非キーフレームなどのフレームを含む。キーフレーム１００は、３Ｄ映像内のオブジェクトが鮮明なフレームであり、非キーフレーム１０２は、オブジェクトが乱れたフレームである。例えば、人物の腕及び脚が外側又は上下に伸びたフレーム（例えば、映像内の特定の時間）がキーフレーム１００である。人物の腕又は脚が身体に近接している場合、このフレームは非キーフレーム１０２である。換言すれば、キーフレーム１００は、何らかのオクルージョンを有し得る非キーフレーム１０２と比べて最低限のオクルージョンしか有していない。キーフレーム１００は、分析のためのテンプレートとして使用することができる。伸びた腕／脚は、縮こまった身体よりも鮮明な分析のための像をもたらすので、情報を抽出して操作する分析にはキーフレーム１００の方が有利である。キーフレーム１００から非キーフレーム１０２へは大きな変形を伴うことがあり、すなわちキーフレーム１００と非キーフレーム１０２との間の一致を決定するのは困難である。
【００３０】
キーフレーム１００は、画像マッチング（例えば、形状をテンプレートと比較してどのフレームがキーフレームであるかを決定すること）の自動的な使用、手動でのキーフレーム選択、及び／又は他のキーフレーム１００の決定方法などのあらゆる方法で決定することができる。さらに、キーフレーム１００は、最適化のためにのみ選択されるフレームであるため、処理される情報は少なくなる。キーフレーム１００を利用することによって映像の各フレームを個別に処理することはできるが、利用される計算は少ない。いくつかの実施形態では、映像が事前キャプチャされた（例えば、ダウンロードを介して取得された）映像であり、いくつかの実施形態では、映像がカメラ装置を用いてキャプチャされる。どのようにして映像がキャプチャされたかにかかわらず、ユーザが特定のポーズを取っていないキーフレーム１００を映像内で特定する。例えば、スパースビュー３Ｄカメラ設定を用いて人物がジャンプしている映像をキャプチャし、この映像に基づいてキーフレーム１００を特定／検出して使用する。
【００３１】
キーフレームと非キーフレームとの一致又は変形を判断するのは困難となり得るので、事前情報（例えば、ポーズ及び／又は分割）を利用してプロセスを支援する。事前情報は、パーツベースのキーフレームプール１０４を含むことができる。
【００３２】
キーフレーム１００及び非キーフレーム１０２から、パラメトリックモデルを使用又は決定／生成することができる。例えば、パラメトリックモデルは、キーフレーム１００又は非キーフレーム１０２をデータ構造（例えば、データベース）に記憶されているパラメトリックモデルと照合することによって決定され、キーフレームパラメトリックモデル１０４及び非キーフレームパラメトリックモデル１０６が存在するように、最も一致するものがパラメトリックモデルとして使用される。
【００３３】
パラメトリックモデル１０４、１０６をパーツに分離することにより、パーツベースのキーフレームプール１０８を生成／使用することができる。パーツは、特定のパーツが何であるかを判断してモデルの残り部分を除外すること、又は特定のパーツのみを抽出することなどによるあらゆる方法で分離／抽出することができる。特定のパーツは、そのパーツをデータベースのパーツと比較し、このパーツをデータベース内で最も一致するものとして識別することなどによるあらゆる方法で識別／決定（例えば、ポーズ分割）することができる。例えば、頭部とデータベースに記憶されている頭部、腕、脚及び胴部とを比較し、いずれかのマッチングアルゴリズムを使用し（例えば、画素数、形状、輪郭を比較し）、この頭部を頭部形状に一致すると判断し、これに従って識別する。いくつかの実施形態では、パーツベースのキーフレームプール１０８が階層／連結構造を有する（例えば、腕は人体上で胴に付着しているので、この構造は胴と腕の間の連結を含むが、腕と足は人体上でつながっていないので、構造内では腕が脚に連結しない）。この階層／連結構造は、融合及び／又は統合プロセスにおいてオブジェクトを再構築するために使用することができる。
【００３４】
パーツベースのキーフレームプール１０８内のパーツは、確率的メッシュトラッキングなどのいずれかのトラッキング実装を用いて追跡される。従って、追跡されるパーツは追跡パーツ１１０である。パーツの追跡は、パーツのタイプ、パーツに関する位置情報、パーツの時間情報、及び／又は他のいずれかの情報を記録することを含むことができる。
【００３５】
これらの追跡パーツ１１０を適切なキーフレーム及び／又は非キーフレーム情報と統合１１２してＦＶＶコンテンツ内の組立形状１１４を生成する。
【００３６】
図２に、いくつかの実施形態によるキーフレームトラッキングと、パーツベースのキーフレームトラッキングとを示す。キーフレームトラッキング２００は、（例えば、個々のパーツに分離されていない）全身のプールを使用し、身体全体にわたって変形量は不均一である。特に、図２に示すように、キーフレーム１をターゲット非キーフレームに使用する時にはアーチファクトが存在し、大きなポーズの変化がある。同様に、キーフレーム３をターゲット非キーフレームに使用する時にも大きなアーチファクトが存在する。
【００３７】
パーツベースのキーフレームトラッキング２０２は、より良い品質のためにさらに小さな局所的（意味的）変形を使用する。図示のように、ある時点からの腕を異なる時点からの脚と統合してＦＶＶコンテンツ内の組立形状を生成する。例えば、図示のように、多くの異なる時間セグメントと、各時間セグメントに対応するパーツ（例えば、腕及び脚）とが存在する。第１の時点から腕を選択し、第２の時点から脚を選択し、これらの選択されたパーツを融合及び／又は統合して第３の時点における形状を示す。どの時点のパーツを選択すべきであるかの判断は、ターゲット非キーフレーム（ポーズ）に密接に一致するパーツを特定すること、及び／又はアーチファクトを最低限しか又は全く含まないパーツを検索することなどのあらゆる方法で行うことができる。アーチファクトを最低限しか又は全く含まないパーツの発見は、画像処理機構を使用してアーチファクトを特定し、これらのアーチファクトを含むフレームを避けることなどのあらゆる方法で行うことができる。
【００３８】
図３は、いくつかの実施形態による全身統合の図である。ステップ３００において、パーツ分割を実行する。本明細書で説明したように、身体部分の分割は、画像処理技術を使用してエッジ及び異なる要素／部分を決定すること、或いは身体部分と記憶されている身体部分テンプレートとを比較し、一致に基づいて身体部分を分類することなどによるあらゆる方法で行うことができる。
【００３９】
ステップ３０２において、パーツを追跡する。身体部分は、画像処理を通じて特定の身体部分を特定すること、及び／又は各特定の身体部分に関する場所／位置情報を照合して記憶することなどによるあらゆる方法で追跡することができる。
【００４０】
ステップ３０４において、パーツをスティッチング又は融合する。例えば、異なる時点からのパーツを共にスティッチング又は融合して、場合によっては異なる時点におけるターゲット形状を構築する。さらなる例として、腕が部分的に隠れている場合、又は別のアーチファクトを生じる場合には、異なる時点における腕を利用する。いくつかの実施形態では、Ｆｕｓｉｏｎ４Ｄを利用してパーツを共にスティッチング又は融合する。
【００４１】
ステップ３０６において、パーツを統合して単一形状を形成する。ステップ３０４の融合によってパーツを統合し、統合によって（例えば、パーツの継ぎ目又は分離がない）単一形状を形成する。
【００４２】
いくつかの実施形態では、これよりも少ない又は多くのステップが実行される。例えば、ＦＶＶコンテンツの取得（例えば、カメラでのキャプチャリング）ステップ、テクスチャ処理ステップ、ＦＶＶコンテンツのレンダリング／表示ステップ、及び／又は他のいずれかのＦＶＶコンテンツ処理ステップといったさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。
【００４３】
図４は、いくつかの実施形態による、メッシュトラッキングを実行するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置４００は、画像及び映像などの情報の取得、記憶、計算、処理、通信及び／又は表示を行うために使用することができる。一般に、コンピュータ装置４００を実装するのに適したハードウェア構造は、ネットワークインターフェイス４０２、メモリ４０４、プロセッサ４０６、（単複の）Ｉ／Ｏ装置４０８、バス４１０及び記憶装置４１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ４０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置４１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置４００は、１又は２以上のネットワークインターフェイス４０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置４０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置４１２及びメモリ４０４には、メッシュトラッキングを実行するために使用されるメッシュトラッキングアプリケーション４３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置４００には、図４に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、メッシュトラッキングハードウェア４２０が含まれる。図４のコンピュータ装置４００は、メッシュトラッキングのためのアプリケーション４３０及びハードウェア４２０を含むが、メッシュトラッキングは、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、メッシュトラッキングアプリケーション４３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、メッシュトラッキングハードウェア４２０が、メッシュトラッキングを実行するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。
【００４４】
いくつかの実施形態では、（単複の）メッシュトラッキングアプリケーション４３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又は２以上のサブモジュールをさらに含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。
【００４５】
いくつかの実施形態では、メッシュトラッキングハードウェア４２０が、レンズ、画像センサ及び／又は他のいずれかのコンポーネントなどのカメラコンポーネントを含む。
【００４６】
好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。
【００４７】
図５は、いくつかの実施形態による装置のネットワークの図である。３Ｄ／ＦＶＶ映像コンテンツの取得には、複数のカメラ５００が利用される。映像コンテンツは、本明細書で説明するようなメッシュトラッキングを実行する１又は２以上のプロセッサ装置５０２によって処理される。処理されたコンテンツは、ネットワーク５０４（例えば、インターネット、セルラネットワーク又は他のいずれかのネットワーク）を介して１又は２以上のレンダー／ディスプレイ装置５０６に送信される。いくつかの実施形態では、コンテンツがネットワークを介さずに１又は２以上のレンダー／ディスプレイ装置５０６に直接送信される。装置の１又は２以上のネットワークの装置は、本明細書で説明するメッシュトラッキングを実行するように構成される。１又は２以上のプロセッサ装置５０２及び１又は２以上のレンダー／ディスプレイ装置５０６は、サーバ、パーソナルコンピュータ、スマートホン、テレビ、ゲームシステム、仮想現実装置、本明細書で説明した装置のいずれか、又は本明細書で説明した装置のいずれかの組み合わせ、などのいずれかの装置とすることができる。いくつかの実施形態では、（単複の）カメラ５００が、メッシュトラッキングのさらなる態様を実行する。
【００４８】
いくつかの実施形態では、メッシュトラッキング法をフレーム毎に実行してメッシュシーケンスを処理し、精緻化され追跡されたメッシュシーケンスを出力する。
【００４９】
図６に、いくつかの実施形態による、メッシュトラッキング、融合及びキーフレームリセットのフレームワークのパイプラインを示す。キーフレームは、シーケンス内で自動的に識別される。方法は、２つのキーフレーム間で２回のパスで実行され、第１のパスでは、パーツベースのアルゴリズムを使用してトラッキングを実行した後に、蓄積したメッシュを使用してキーフレームの形状を局所的に精緻化し、第２のパスでは、これを最終結果として再び追跡する。
【００５０】
フレームワークは、ＲＧＢ画像及び非構造化メッシュ情報などの入力６００を受信／取得／使用することを含む。第１のパス６１０は、パーツベースのトラッキング及び融合を含み、第２のパス６４０は、パーツベースの再メッシュ化を含み、この結果、追跡され精緻化されたメッシュ及び／又はその他の情報が出力６６０されるようになる。
【００５１】
方法は、第１のパスの最初のステップ６１２において、全体的な入力／キーフレームメッシュを意味的パーツに自動的に分割する。次に、ステップ６１４において、埋め込み変形において定義される適応的正則化重み（ａｄａｐｔｉｖｅ  ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｗｅｉｇｈｔ）を用いて各パーツを個別に追跡する。ステップ６１６において、各フレームの追跡後に、効率的なアルゴリズムによって全てのパーツを全メッシュにスティッチングする。ステップ６１８においてパーツの識別に失敗した場合、又はステップ６２０においてパーツの融合に失敗した場合、プロセスは、ステップ６２２におけるパーツ分割、パーツベースのトラッキング６２４、パーツのスティッチング６２６、パーツ失敗の識別６２８、及び融合失敗の識別６３０を含むステップを繰り返す。この反復プロセスは、入力からの正常に追跡されたパーツ及び失敗したパーツを新たなキーフレームとして利用してシーケンスを追跡し続ける。第１のパスが完了すると、キーフレームが識別される。
【００５２】
いくつかの実施形態では、処理が、第１のパス後に、全メッシュ体積融合６４２、全メッシュトラッキング６４４及び局所的再メッシュ化６４６を含む第２のパスに進み、これを全メッシュ体積融合６４８、全メッシュトラッキング６５０及び局所的再メッシュ化６５２として１回又は２回以上繰り返すことができる。
【００５３】
いくつかの実施形態では、トラッキングプロセスがシーケンスの最後に到達し、或いはフレームＴなどにおいていずれかのパーツのトラッキング失敗が識別されると、システムがキーフレームの更新を実行する。最初に、前回のキーフレームにおけるＴＳＤＦブレンディングを使用して新たな局所的に再メッシュ化されたキーフレームを抽出し、その後に第２のパスにおいて、各追跡されたメッシュの一致を使用して再び追跡を行って出力シーケンスｔ＝１；２、．．．、Ｔ−１を提供する。次に、フレームｔ＝Ｔにおける入力メッシュを正常に追跡されたパーツに局所的にスティッチングして新たなキーフレームを構築し、時間的に円滑な遷移を行う。また、新たなキーフレームは、局所的に更新された頂点セットと三角形との連結性を失敗領域のみに有するが、他の正常に追跡されたセットと共有する。新たに到来するシーケンスについても、開始すべき新たなキーフレームを使用してパイプライン全体を繰り返す。
【００５４】
いくつかの実施形態では、これよりも少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が実行される。メッシュトラッキング法に関するさらなる詳細については、本明細書においてさらに説明する。
【００５５】
この方法は、メッシュ連結性を維持するためのメッシュトラッキングフレームワークであり、従って各入力フレームを１フレームおきに追跡して出力メッシュの連結性がフレーム毎に変化するＦｕｓｉｏｎ４Ｄなどの時間融合方法とは異なる。また、この方法は、時間融合を用いて出力シーケンスの品質を精緻化し、パーツベースのトラッキングの目標が、ノイズ、トポロジー変化及びデータ欠損を含む長いシーケンスのロバスト性を高めるので、既存のメッシュトラッキング法とも異なる。
【００５６】
本明細書ではパーツベースの（メッシュトラッキング法とも呼ばれる）メッシュトラッキングアルゴリズムについて説明しているが、メッシュを全体として追跡した場合には、小さな非剛体領域（例えば、肘）が整合しない場合に一般的な失敗事例が発生し得ることを考えると、これによって大いに動きが決まる他の良好に追跡された隣接部分（例えば、前腕）が損なわれて追跡を失い始める。この方法では、最初に全メッシュをパーツに分割し、パーツを個別に追跡し、１つのフレームの追跡後に再びスティッチングする。具体的には、事前トレーニングされた人体分割を使用する一方で、分割を拡張することによってこの人体分割をあらゆる自由形状のメッシュ変形に対して一般的に保つ。本明細書で説明する方法は、キーフレームをフレームｔ−１からフレームｔまで追跡する。
【００５７】
入力メッシュ及びその２Ｄ  ＲＧＢ画像をキーフレームとして与えると、そのメッシュ上で意味的分割が初期化される。多人数ポーズ推定法（ｍｕｌｔｉ−ｐｅｒｓｏｎ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｍｅｔｈｏｄ）を使用して、各利用可能なビューのＲＧＢ画像上の人物及び身体部分を検出する。事前トレーニングされたＣＮＮベースの検出は、骨格ツリーの正及び負の両方向における各人物の骨格についてのＰａｒｔ  Ａｆｆｉｎｉｔｙ  Ｆｉｅｌｄｓ  （ＰＡＦ）と呼ばれる信頼性マップを提供する。正のマップ及び負のマップの両方の絶対値の平均を取って、ビューｉにおける各人物の骨格ｂ毎及び画像毎に信頼性マップＳｃｏｒｅ２Ｄｂ，ｉを生成する。画像内の隠れた骨格さえも推定するロバスト性のためにＣＮＮベースの方法を使用し、事前に交連骨格（ａｒｔｉｃｕｌａｔｅｄ  ｓｋｅｌｅｔｏｎ）を直接使用する代わりに全メッシュをパーツに分割する。
【００５８】
骨格ｂの任意の３Ｄポイントｘの信頼性であるＳｃｏｒｅ３Ｄb（ｘ）を推測するために、ビューｉの２Ｄ画像にメッシュを投影して、投影されたシルエット内の全ての２Ｄ信頼性を合計し、これをＴｏｔａｌＳｃｏｒｅｂ，ｉとして示す。ビューｉにおけるｘの信頼性は、Ｓｃｏｒｅ２Ｄｂ，ｉ（ｘ）としての２Ｄ投影位置において信頼性マップから直接アクセスされる。加重平均を使用してマルチビュースコアを組み合わせる。
【数１】
0006898602.tif 000002
（１）
【００５９】
図７に、いくつかの実施形態による、メッシュセット上のＳｃｏｒｅ３Ｄb（ｘ）の例を示す。人物毎に、例えばｐ＝１、．．．、１０であるｐ個のパーツを含むグラフにメッシュを分割する。例えば体幹などの各身体部分の信頼性のために、その身体部分に属する骨格の全てのスコアを合計する。Ｓｃｏｒｅ３Ｄb（ｘ）を正規化して１に加算することによって、トラッキング問題を解決する際の正則化を定義するために後で使用する各頂点のスキニング重み（ｓｋｉｎｎｉｎｇ  ｗｅｉｇｈｔ）Ｓが取得される。
【００６０】
図７では、２人の人物について検出されたＳｃｏｒｅ２Ｄと、複数のビューの１つのシルエット内で計算されたＴｏｔａｌＳｃｏｒｅとを左上に示す。ある身体部分（例えば、右前腕）が隠れている場合、ＴｏｔａｌＳｃｏｒｅは、依然としてＳｃｏｒｅ３Ｄを計算するための小さな重みに寄与する。左下には、シーン内の全ての人物の分割を示す。右上には、ノード距離及びスキニング重みによって共に定義されたＥＤグラフ及び正則化重みを示す。右下には、１つのビュー内で検出されたアンカー特徴点一致（ａｎｃｈｏｒ  ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を示しており、５％のランダムにダウンサンプリングされた点のみをプロットする。
【００６１】
また、スティッチングにおいてさらに使用できる３Ｄ信頼性スコアに基づいてハード分割も実行する。第一に、あるパーツのＳｃｏｒｅ３Ｄがそのパーツの百分率閾値を上回る場合、そのパーツの頂点にラベル付けする。次に、このラベルをメッシュにわたって伝搬させて、図７に示すような分割を構築する。パーツの頂点インデックスセットは、Γ’（ｐ）として示す。さらに、パーツ伝搬を継続して、各周辺パーツの対が５ｃｍ幅（又はその他の値）の重複領域を有するように、各パーツをΓ’（ｐ）まで拡張させる。この距離を、全メッシュ上で測地的距離（ｇｅｏｄｅｓｉｃ  ｄｉｓｔａｎｃｅ）として測定する。シーン内で検出された人物に加え、他の非人間オブジェクトをメッシュ連結された要素によって分割する。
【００６２】
各身体部分のトラッキングを埋め込み変形（ＥＤ）に基づいて公式化し、各パーツの重みを考慮することによって拡張させる。キーフレームの頂点セットからの均一にサンプリングされたシード（平均サンプリング距離σ）を全メッシュのＥＤグラフノードｇとして定義し、これらを本明細書で説明する各ハード分割されたパーツに分割する。各パーツのノード上で、解決すべきＥＤを個別に関連付ける。
【００６３】
ＥＤモデルは、最も近いＥＤノードｇkの変換への「スキニング」された補間を受ける頂点ｖmの変形を定義し、
【数２】
0006898602.tif 000003
（２）
ここでは、アフィン変換Ａk、変換ｔｋ及びグローバルリジッド（ｇｌｏｂａｌ  ｒｉｇｉｄ）［Ｒ，Ｔ］のリストが、解決すべきＥＤパラメータを構築する。
0006898602.tif 000004
のようなスキニング重みを一旦計算してキーフレームにおいて固定し、
ここでのＺは、１に加算するスキニング重みを正規化し、σは、平均シードサンプリング距離である。
【００６４】
フレームｔ−１〜ｔの身体部分の総トラッキング目的関数は以下のようになる。
【数３】
0006898602.tif 000005
（３）
埋め込みグラフ正則化は以下を含み、
【数４】
0006898602.tif 000006
（４）
この場合、
【数５】
0006898602.tif 000007
（５）
は、変形を剛体に制限するが、数値的に不安定になるほど固すぎず、平滑化項は以下のように定義される。
【数６】
0006898602.tif 000008
（６）
２つの身体部分間の変形を自然にモデル化するために、隣接ノード（ｇｉ，ｇｊ）間の正則化重みを以下のように定義し、
【数７】
0006898602.tif 000009
（７）
ここでのＳは、メッシュ分割ステップにおいて定義される頂点毎のパークスキニング重みであり、σg、σSは、それぞれノード及びＭｅａｎ（２｜｜Ｓｉ−Ｓｊ｜｜）の平均距離を示す。
【００６５】
データ項は、入力メッシュ上の各ビュー方向ｖに沿ったソース頂点
0006898602.tif 000010
からターゲット交点
0006898602.tif 000011
までの一致セットＣvdata＝｛ｃ1，ｃ2｝を検索し、
【数８】
0006898602.tif 000012
（８)
ここでの
0006898602.tif 000013
は法線
0006898602.tif 000014
を示し、和集合演算∪ｖは、全てのビューの一致をスタックする。実際上、
0006898602.tif 000015
は、実現不可能な明示的計算をもたらす行列の逆数を含むので、導関数の計算を単純化するために以前の反復の結果に固定される。誤差枝刈り関数（ｅｒｒｏｒ  ｐｒｕｎｉｎｇ  ｆｕｎｃｔｉｏｎ）Ｐｒｕｎｅを使用して誤った一致を除外し、
【数９】
0006898602.tif 000016
（９）
図１０及び図１１の事例では、距離閾値ｄ＝１０ｃｍ及びβ＝６０°を設定する。
【００６６】
純粋なＩＣＰベース又はガウスベースの形状位置合わせは接線ドリフト及び誤差累積を生じやすく、ノイズ及び外れ値の存在下ではこの問題が悪化する。大きな動きを含む長いシーケンスを追跡するには、アンカーポイントが誤差累積を制限する必要がある。ＣＮＮベースのオプティカルフローＦｌｏｗＮｅｔ２．０を特徴クルー（ｆｅａｔｕｒｅ  ｃｌｕｅ）として適合させる。トラッキングの開始時には、ｔ−１における整列したメッシュである
0006898602.tif 000017
をビューｖに投影し、ｔ−１からｔへのオプティカルフローにアクセスし、ｔにおける入力メッシュに逆投影することによって、特徴一致セット（ｆｅａｔｕｒｅ  ｃｏｒｒｅｓｐｏｎｄｉｎｇ  ｓｅｔ）Ｃvcorr＝｛ｃ1，ｃ2｝を一旦計算する。すると、項は以下のようになり、
【数１０】
0006898602.tif 000018
（１０）
ここでは０．０１の閾値と共にＨｕｂｅｒ関数ρ(□)をロバスチファイア（ｒｏｂｕｓｔｉｆｉｅｒ）として使用する。
【００６７】
ＴＳＤＦの絶対値を取る距離関数Ｈにおいて視体積交差項（ｖｉｓｕａｌ  ｈｕｌｌ  ｔｅｒｍ）及びその導関数を定義する。
【数１１】
0006898602.tif 000019
（１１）
勾配∇Ｈは、概ね３3ウィンドウ内に存在する。
【００６８】
他の全てのパラメータを固定することによってグローバルリジッド［Ｒ，Ｔ］変形を解決することから最適化が開始し、その後はＬＭソルバに従う。正規方程式を解く際には、反復毎にＪTＪ及びＪTｆのブロックをＧＰＵ上で直接構築し、カーネル融合されたＰＣＧを線形ソルバとして実行する。ＬＭソルバは、誤差関数が収束するか、或いは１０回の最大反復に到達すると停止する。
【００６９】
スティッチングによって、個別に追跡された身体部分を、スティッチングされたパペット人間モデリング法（ｓｔｉｔｃｈｅｄ  ｐｕｐｐｅｔ  ｈｕｍａｎ  ｍｏｄｅｌｉｎｇ  ｔｅｃｈｎｉｑｕｅ）に関連する全メッシュに組み立てる。以前の分割ステップにおける２つのパーツ間の重複領域を定義することにより、各頂点を、各パーツ内の２つの対応するエッジを連結する０の静止長を有する線形ばねとしてモデル化することができる。ばねの伸長力は、２つのパーツを互いに引っ張るとともにこれらの相互貫通（ｉｎｔｅｒ  ｐｅｎｅｔｒａｔｉｏｎｓ）を排除する。
【００７０】
上記で解いたパーツｐの独立したＥＤをＥＤｐとしてノードパラメータをＧpとし、全メッシュのＥＤをＥＤallとしてパラメータをＧとすると、Ｇp⊂Ｇになる。スティッチングの目的関数は、全メッシュのパラメータＧにわたって以下のように定義され、
【数１２】
0006898602.tif 000020
（１２）
ここでのＥＤ正則化項Ｅedは方程式４と同じであり、データフィッティング項は、変形された全メッシュが各個々の追跡されたパーツに一致すべきであることを示し、
【数１３】
0006898602.tif 000021
（１３）
ここでのΓ（ｐ）は、パーツｐの頂点インデックスサブセットであり、αp（ｘi）は、パーツの境界までの幾何学的距離に比例する適応的重み逆数である。
スティッチングエネルギーＥspringを使用して、ばねによって生成されるポテンシャルを最小化し、
【数１４】
0006898602.tif 000022
（１４）
ここでのΓ’（ｐ）∩Γ’（ｑ）は、２つの隣接する拡張パーツｐ、ｑ間の重複領域の頂点インデックスセットであり、ＥＤｐ（ｘi，Ｇ）、ＥＤq（ｘi，Ｇ）は、ＥＤノードの対応するサブセット上で計算される。
【００７１】
目的関数方程式１２の最小化はトラッキングのプロセスに類似し、パラメータＧを解くことで終了する。その後、Ｇで初期化された方程式３を最適化することによって別の全メッシュを追跡し、フレームｔにおける追跡された全メッシュを出力する。
【００７２】
メッシュ４Ｄ統合は、キーフレーム及び追跡されたメッシュ構造を一般的シーケンスで最適化するものである。追跡すべきオブジェクトをそれ以上キーフレームが表現できない場合、そのキーフレームは更新される。既存のＦＶＶ法は、キーフレームを全体的又は局所的に更新して、どのような入力であっても出力を一致させる。シーケンスが外れ値及びデータ欠損を含む場合、これらの方法は、キーフレームを頻繁に更新して揺らめく出力（ｆｌｉｃｋｅｒｉｎｇ  ｏｕｔｐｕｔ）を生じる。目標は、ノイズの多い入力からキーフレームを構築して精緻化することである。従って、トラッキングの失敗の識別及びキーフレームの最適化をパーツベースで行う異なる戦略を使用する。
【００７３】
パーツベースのメッシュトラッキングに失敗したら、キーフレームを識別する。追跡したパーツをスティッチングした後に、同じ誤差枝刈り基準を使用して、方程式８で抽出されたＩＣＰ一致セットＣvdataを全てのビューについて再評価する。不整合条件
0006898602.tif 000023
が成り立つ場合には、トラッキングの失敗が識別される。ターゲットメッシュ及びキーフレームメッシュが有意なトポロジー相違を有する場合には、ターゲットメッシュ上の全体的なＲＭＳ誤差及び測地誤差が大きなものになり得るので、これらの誤差は測定されない。不整合条件は、データ欠損又はトポロジー変化が発生した場合には大きな位置合わせ誤差を含む別のフレームに遭遇するまでキーフレームがトラッキングを継続するとの観察に一致する。
【００７４】
入力シーケンスが外れ値及び欠落データを含むことを考えると、失敗が識別された時には、失敗したパーツを除くトラッキング全体がリセットされるのではなく、正常に追跡されたパーツの処理は継続する。この方法は、最初にカノニカルＴＳＤＦを維持し、１次体積補間に基づいてＴＳＤＦのワーピングを定義する。パーツベースのＴＳＤＦ融合動作は、以下のように定義され、
【数１５】
0006898602.tif 000024
（１５）
ＥＤグラフＥＤｒを使用してパーツＰの組に近い全ての入力ＴＳＤＦ  Ｉをカノニカルフレームｒにブレンディングすることを示し、融合したカノニカルＴＳＤＦを寿命Ｌ内のフレームにワーピングさせる。例えば、第１のフレームを使用してシーケンス全体を１つのパーツとして追跡できる場合（図８の最も単純な場合）、結果として得られるＴＳＤＦシーケンスは、Ｆ（｛Ｉ1，．．．，ＩTＥ｝，ＥＤ1，｛１，．．．，ＴE｝，１）になる。
【００７５】
εを所与として不整合が識別された場合には、条件
0006898602.tif 000025
をチェックすることによって失敗したパーツを検出し、パーツベースの戦略を用いてこのキーフレームのメッシュ及びＴＳＤＦを更新する。例えば、図８のマルチキーフレームの事例では、フレームＴ1においてパーツ２のトラッキングに失敗し、パーツ１及び３では成功している場合、フレーム１，．．．，Ｔ1−１のＴＳＤＦシーケンスは、Ｆ（｛Ｉ1，．．．，ＩT1-1｝，ＥＤ1，｛１，．．．Ｔ1−１｝，｛ｐ1，ｐ2，ｐ3｝）となり、フレームＴ1においてＴＳＤＦが以下のように更新され、
【数１６】
0006898602.tif 000026
（１６）
ここでの
0006898602.tif 000027
は、パーツ２に近いフレームＴ1の入力ＴＳＤＦであり、演算
0006898602.tif 000028
は、図９に示すような標準的な１次ＴＳＤＦ補間である。ＦT1が構築されたら、ＥＤグラフＥＤT1に関連する新たなキーフレームを抽出し、フレームＴ2における別の失敗までパーツトラッキングプロセスを繰り返す。この時、フレームＴ2における更新は以下のようになる。
【数１７】
0006898602.tif 000029
（１７）
トラッキング全体を第１のパストラッキングとしてシーケンスの最後まで継続し、例えば上記の事例では、追跡されたメッシュ、ＴＳＤＦ及び全てのパーツのキーフレームインデックスセットが中間結果である。
【００７６】
第２のパスを使用して、１）メッシュ全体の精緻化、及び２）フレーム間メッシュ一致という２つの目標を達成する。例えば上記の事例では｛｛ＴE｝，｛Ｔ1，ＴE｝，｛Ｔ2，ＴE｝｝である第１のパスにおいて識別された全ての２つのフレーム間でメッシュ連結性が維持されるようになる。
【００７７】
全てのパーツについて共通寿命を探索し、フレーム１における最終のＴＳＤＦを以下によってブレンドする。
【数１８】
0006898602.tif 000030
（１８）
フレーム１においてブレンドされたＴＳＤＦから最終出力メッシュＭ1outを抽出し、新たなＥＤグラフを用いて構築する。次に、第１のパスの結果の一致を確立することによって、Ｍ1outを入力シーケンスへの全メッシュとして追跡する。新たな頂点セットから前回のキーフレームに線を向け、交点の重心座標を記録することによって、頂点一致セットＣrefを構築する。ｔ＝２、．．．、Ｔｉ−１について、同じ最適化方程式３を用いて全メッシュトラッキングを実行する。各フレームでは、以前に追跡したメッシュ上の重心座標で補間することによってＣrefのターゲットポイントを更新する。この項では、刈り込まれた一致セットＰｒｕｎｅ（Ｃref∪（∪vＣvcorr））を代わりに使用する。フレームｔ＝１、．．．Ｔ1−１からの出力メッシュシーケンスは、以下によって表すことができる。
【数１９】
0006898602.tif 000031
（１９）
【００７８】
キーフレームにおいてパーツ分割を実行し終えたので、パーティションラベルＭ（Ｐ）によって全メッシュからサブメッシュを選択するためのメッシュ演算を定義する。フレームＴ1では、以下のように局所的再メッシュを構築する：ブレンドされたＴＳＤＦ  ＦT1から精緻化されたメッシュＭT1tmpを以下のように抽出し、
【数２０】
0006898602.tif 000032
（２０）
Ｔ1におけるキーフレームを以下によって構築し、
【数２１】
0006898602.tif 000033
（２１）
ここでの演算Ｂｒｉｄｇｅは、２つの近隣のパッチからの２つのエッジループが存在すると仮定としてループ間のギャップを縫い合わせる。図９に、Ｂｒｉｄｇｅ演算の例を示す。この演算は、元々の頂点を固定することによってメッシュ連結性を保ち、ギャップ領域内に新たな三角形のみを追加する。
【００７９】
フレーム１と同様に、新たなＥＤグラフをＥＤT1として構築し、ＭT1outの同じメッシュ連結性を用いてフレームｔ＝Ｔ1，．．．，Ｔ2−１からの出力メッシュシーケンスを表す。
【数２２】
0006898602.tif 000034
（２２）
フレームＴ2において実行される別のＢｒｉｄｇｅプロセスでは、最終出力シーケンスが、
0006898602.tif 000035
及び
0006898602.tif 000036
という３つのサブシーケンスを含み、この場合、失敗したパーツのキーフレームではメッシュ連結性が局所的に更新される。
【００８０】
上述したように、図９の上部には、入力をカノニカルＴＳＤＦに融合するとともにワーピングしたカノニカルＴＳＤＦを入力パーツのＴＳＤＦと融合できるＴＳＤＦ融合動作を示す。図９の下部には、元々のパーツ上の三角形を保持しながら２つのエッジループ間のギャップを連結するメッシュブリッジ動作を示す。
【００８１】
図１０及び図１１に、いくつかの実施形態による、メッシュトラッキング法を利用した結果を示す。図１０には、単一ビューＲＧＢＤからのＭＰＩ  Ｂｏｘｉｎｇデータの結果を示す。速い動きをシミュレートするには、入力映像を一時的に１０フレーム毎にダウンサンプリングする。画像特徴一致を示している。図１０には、第１のパス及び第２のパスの結果もそれぞれ示す。対応する頂点はカラー符号化している。カノニカルメッシュは、ＶｏｌｕｍｅＤｅｆｏｒｍとも比較される。
【００８２】
図１０は、ＭＰＩ  ＢｏｘｉｎｇシングルビューＲＧＢＤシーケンスを用いたメッシュトラッキング法を検証するものである。速い動きをシミュレートするために、元々の入力を１０倍加速させ、追跡され精緻化されたメッシュシーケンスを定性的に示している。メッシュトラッキング法は、単一のキーフレームを使用することによってシーケンス全体をうまく追跡する。第１のパスは、正確な１対１のメッシュ頂点一致をもたらし、第２のパスは、大きな腕及び何らかの隠れた身体部分を復元することによってキーフレームを精緻化するとともに、１対１のメッシュ一致ももたらす。
【００８３】
図１１には、既存のＦＶＶ方法よりも少ないビューを含むハイブリッド設定（４つのビューを有するＴｓｉｎｇｈｕａ  ＪｕｍｐＸデータセットからのシミュレートされたＲＧＢＤ）でのトラッキングを示す。パーツベースのトラッキング結果は、ＦＶＶトラッキング法に匹敵する。図１１には、最終的な精緻化されたトラッキング結果を示す。対応する頂点はカラー符号化している。グラウンドトルースと比較したＲＭＳ誤差もプロットする。
【００８４】
本明細書で説明したメッシュトラッキング法を利用するには、デジタルカメラ／カムコーダなどの装置を使用して３Ｄ／ＦＶＶコンテンツを取得する。メッシュトラッキングは、ユーザの支援を伴って又はユーザの関与を伴わずに実行して、３Ｄ／ＦＶＶコンテンツを効率的に処理することができる。その後、取得したコンテンツを再生すると、（例えば、アーチファクトが少ない又は全くない）さらに正確なコンテンツが表示される。
【００８５】
動作中、時間的メッシュトラッキング法は、メッシュトラッキングに人間の事前モデルを組み込み、スパースビュー及び低解像度設定が、大量の外れ値を含むノイズの多いメッシュシーケンスにおける自動的な意味的人物モデル分割及びロバストなメッシュトラッキングを可能にする。時間的メッシュトラッキング法は、全メッシュトラッキングを並行する局所的パーツトラッキングの組に分解することによってトラッキングの失敗確率を抑え、少ない数の基準フレームの高い時間一貫性を達成する。時間的メッシュトラッキング法は、ノイズの多いデータ及び外れ値を所与とする高次元のキーフレームプーリング（ｋｅｙ−ｆｒａｍｅ  ｐｏｏｌｉｎｇ）及び探索を一連の低次元問題に低減するための並行化された効果的なソリューションをもたらす。
【００８６】
メッシュトラッキング法は、不完全な又はノイズの多い入力映像から３Ｄモデルシーケンスを再構成するとともに、フレーム間メッシュ一致の構築も行う。既存のＦｕｓｉｏｎ４Ｄ及び全メッシュ非剛体トラッキング法の限界を考えると、パーツベースのメッシュトラッキング法はロバスト性を高める。フレームを追跡するために、事前トレーニングを通じて全メッシュを意味的パーツに分割し、各パーツを並行して追跡し、シームレスにスティッチングする。全フレームを追跡した後に、キーフレーム及びパフォーム体積融合を識別してこれらの基準形状を精緻化する。パーツの定義を使用し、キーフレームにおいて局所的に再メッシュ化を行うことによって、シーケンスの最初から最後までの第２のパストラッキングを確立する。追跡された最終的な出力は、フレーム間符号化を効率的に構築する。結果は、速い動き及びノイズの多い入力シーンのロバストなトラッキング、並びにメッシュ圧縮における潜在的利点を示す。
【００８７】
本明細書で説明したメッシュトラッキング法は、入力メッシュシーケンスの品質及び構築メッシュ一致（ｂｕｉｌｄｉｎｇ  ｍｅｓｈ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を改善する。また、パーツベースのメッシュトラッキングアルゴリズム及びパーツベースの局所的再メッシュ化パイプラインを利用するメッシュトラッキング法は、トラッキングのロバスト性及びメッシュ符号化効率を高める。
【００８８】
本明細書で説明したメッシュトラッキング法は、人間の形状に焦点を当てているが、この方法は、あらゆる物体／物質（例えば、動物、植物、建物、車両、玩具）と共に利用することができる。
【００８９】
パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合
１．方法であって、
自由視点映像コンテンツ内のオブジェクトをパーツに分割するステップと、
オブジェクトのパーツを追跡するステップと、
オブジェクトのパーツをスティッチングするステップと、
オブジェクトのパーツを統合してオブジェクトを再生するステップと、を含む方法。
【００９０】
２．パーツのトラッキングの失敗を識別するステップをさらに含む、条項１の方法。
【００９１】
３．オブジェクトのパーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化を実行するステップをさらに含む、条項２の方法。
【００９２】
４．オブジェクトをパーツに分割するステップは、オブジェクトを身体部分に分割するステップを含む、条項１の方法。
【００９３】
５．オブジェクトのパーツを追跡するステップは、パーツの位置及び場所情報を記憶するステップを含む、条項１の方法。
【００９４】
６．オブジェクトのパーツをスティッチングするステップは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングするステップを含み、第１の時点及び第２の時点は異なる時点とすることができる、条項１の方法。
【００９５】
７．オブジェクトのパーツを統合するステップは、オブジェクトのパーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする、条項１の方法。
【００９６】
８．最大１０台のビデオカメラを使用して自由視点映像コンテンツを取得するステップをさらに含む、条項１の方法。
【００９７】
９．全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを使用して自由視点映像コンテンツを取得するステップをさらに含む、条項１の方法。
【００９８】
１０．装置であって、
アプリケーションを記憶する非一時的メモリと、メモリに結合されたプロセッサと、を備え、アプリケーションは、
自由視点映像コンテンツ内のオブジェクトをパーツに分割し、
オブジェクトのパーツを追跡し、
オブジェクトのパーツをスティッチングし、
オブジェクトのパーツを統合してオブジェクトを再生し、
プロセッサは、アプリケーションを処理するように構成される、装置。
【００９９】
１１．アプリケーションは、パーツのトラッキングの失敗をさらに識別する、条項１０の装置。
【０１００】
１２．アプリケーションは、オブジェクトのパーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化をさらに実行する、条項１１の装置。
【０１０１】
１３．オブジェクトをパーツに分割することは、オブジェクトを身体部分に分割することを含む、条項１０の装置。
【０１０２】
１４．オブジェクトのパーツを追跡することは、パーツの位置及び場所情報を記憶することを含む、条項１０の装置。
【０１０３】
１５．オブジェクトのパーツをスティッチングすることは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングすることを含み、第１の時点及び第２の時点は異なる時点とすることができる、条項１０の装置。
【０１０４】
１６．オブジェクトのパーツを統合することは、オブジェクトのパーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする、条項１０の装置。
【０１０５】
１７．装置は、最大１０台のビデオカメラを使用して自由視点映像コンテンツをさらに取得する、条項１０の装置。
【０１０６】
１８．装置は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを使用して自由視点映像コンテンツをさらに取得する、条項１０の装置。
【０１０７】
１９．システムであって、
それぞれが自由視点映像コンテンツをキャプチャするように構成された複数のカメラ装置と、
第１のコンピュータ装置と、
第２のコンピュータ装置と、
を備え、第１のコンピュータ装置は、
オブジェクトのパーツを追跡し、
オブジェクトのパーツをスティッチングし、
オブジェクトのパーツを統合してオブジェクトを再生する、
ように構成され、第２のコンピュータ装置は、
自由視点映像コンテンツを第２のコンピュータ装置上でレンダリングする、
ように構成される、システム。
【０１０８】
２０．第１のコンピュータ装置は、パーツのトラッキングの失敗を識別するように構成される、条項１９のシステム。
【０１０９】
２１．第１のコンピュータ装置は、オブジェクトのパーツに基づいて、パーツベースのキーフレーム精緻化、全メッシュトラッキング及び再メッシュ化を実行するように構成される、条項２０のシステム。
【０１１０】
２２．オブジェクトをパーツに分割することは、オブジェクトを身体部分に分割することを含む、条項１９のシステム。
【０１１１】
２３．オブジェクトのパーツを追跡することは、パーツの位置及び場所情報を記憶することを含む、条項１９のシステム。
【０１１２】
２４．オブジェクトのパーツをスティッチングすることは、第１の時点からの第１のパーツと第２の時点からの第２のパーツとをスティッチングすることを含み、第１の時点及び第２の時点は異なる時点とすることができる、条項１９のシステム。
【０１１３】
２５．オブジェクトのパーツを統合することは、オブジェクトのパーツが共にブレンドされて単一のオブジェクトの外観が提示されることを確実にする、条項１９のシステム。
【０１１４】
２６．複数のカメラ装置は、最大１０台のビデオカメラを含む、条項１９のシステム。
【０１１５】
２７．複数のカメラ装置は、全ての軸において他のカメラから少なくとも３０度分離したビデオカメラを含む、条項１９のシステム。
【０１１６】
本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。
【符号の説明】
【０１１７】
６００  入力
６１０  第１のパス〜パーツベースのトラッキング＆融合
６１２  パーツ分割
６１４  パーツベースのトラッキング
６１６  パーツスティッチング
６１８  失敗の識別
６２０  失敗したパーツでの融合
６２２  パーツ分割
６２４  パーツベースのトラッキング
６２６  パーツスティッチング
６２８  失敗の識別
６３０  失敗したパーツでの融合
６４０  第２のパス〜パーツベースの再メッシュ化
６４２  全メッシュの体積融合
６４４  全メッシュトラッキング
６４６  局所的再メッシュ化
６４８  全メッシュ体積融合
６５０  全メッシュトラッキング
６５２  局所的再メッシュ化
６６０  出力
【図１】
0006898602.tif 000037
【図２】
0006898602.tif 000038
【図３】
0006898602.tif 000039
【図４】
0006898602.tif 000040
【図５】
0006898602.tif 000041
【図６】
0006898602.tif 000042
【図７】
0006898602.tif 000043
【図８】
0006898602.tif 000044
【図９】
0006898602.tif 000045
【図１０】
0006898602.tif 000046
【図１１】
0006898602.tif 000047