(57)【要約】  モーションピクチャにおいて表面をキャプチャする方法は、マーキング材料で形成されるパターンによって表面を覆うステップと、表面を覆うパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、各画像フレームについて、複数の画像からメッシュオブジェクトを導出するステップと、フレームのシーケンスに亘って、各フレーム内のメッシュオブジェクトを追跡するステップと、追跡されたメッシュオブジェクトを用いて、表面の特徴をモデル化するアニメーションデータを生成するステップとを有する。【選択図】  図１
2010508609.tif 000002
【特許請求の範囲】
【請求項１】
マーキング材料で形成されるパターンによって表面を覆うステップと、
前記表面を覆うパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、
各画像フレームについて、複数の画像からメッシュオブジェクトを導出するステップと、
前記フレームのシーケンスに亘って、各フレーム内のメッシュオブジェクトを追跡するステップと、
前記追跡されたメッシュオブジェクトを用いて、表面の特徴をモデル化するアニメーションデータを生成するステップとを有する方法。
【請求項２】
前記マーキング材料は、表面に適合する請求項１記載の方法。
【請求項３】
前記メッシュオブジェクトは、表面をモデル化する請求項１記載の方法。
【請求項４】
前記メッシュオブジェクトは、複数の頂点によって定義される請求項１記載の方法。
【請求項５】
前記メッシュオブジェクトを追跡するステップは、前記複数の頂点の少なくとも１つの頂点を追跡するステップを含む請求項４記載の方法。
【請求項６】
前記アニメーションデータは、骨格データ、ＦＡＣＳアニメーション曲線及び形状アニメーションのうちの少なくとも１つの形式のラベリングされたマーカデータを含む請求項１記載の方法。
【請求項７】
前記表面は、人間の表面を含む請求項１記載の方法。
【請求項８】
前記パターンは、所定のパターンを含む請求項１記載の方法。
【請求項９】
前記パターンは、ランダムパターンを含む請求項１記載の方法。
【請求項１０】
表面上に配置されたパターンの複数の同期された画像をそれぞれが含む画像フレームのシーケンスを生成する画像取得モジュールと、
画像フレームのシーケンスを受け取り、前記表面上に配置されたパターンに基づいて、アニメーションデータを生成する表面キャプチャモジュールとを備えるシステム。
【請求項１１】
前記表面キャプチャモジュールは、
前記画像フレームのシーケンスを受け取り、メッシュオブジェクトの少なくとも１つのシーケンスを生成するメッシュ導出モジュールと、
前記メッシュオブジェクトの少なくとも１つのシーケンスを受け取り、追跡情報からアニメーションデータを生成する追跡モジュールとを備える請求項１０記載のシステム。
【請求項１２】
前記メッシュオブジェクトの少なくとも１つのシーケンスは、前記画像フレームのシーケンスの各画像フレームについて生成されたメッシュオブジェクトを含む請求項１１記載のシステム。
【請求項１３】
前記各画像フレームについて生成されたメッシュオブジェクトは、複数の頂点によって定義される請求項１２記載のシステム。
【請求項１４】
前記追跡モジュールは、前記メッシュオブジェクトの少なくとも１つのシーケンスに亘って１つのメッシュオブジェクトを定義する前記複数の頂点の少なくとも１つの頂点を追跡することによって前記追跡情報を生成する頂点追跡サブユニット含む請求項１３記載のシステム。
【請求項１５】
前記追跡モジュールは、予め定義された制約条件に基づいて、前記複数の頂点の少なくとも１つの頂点の空間的な移動を分析する顔面動作コーディングシステム（ＦＡＣＳ）クリーニングサブユニットを含む請求項１３記載のシステム。
【請求項１６】
前記追跡モジュールは、１つのメッシュオブジェクトの少なくとも１つのトポグラフィ的特徴を認識し、前記メッシュオブジェクトの少なくとも１つのシーケンスに亘ってトポグラフィ的特徴を追跡することによって追跡情報を生成するトポグラフィサブユニットを含む請求項１２記載のシステム。
【請求項１７】
前記追跡モジュールは、前記メッシュオブジェクトの少なくとも１つのシーケンスに亘って１つのメッシュオブジェクトのテクスチャ的特徴を追跡することによって追跡情報を生成するテクスチャ追跡サブユニットを含む請求項１２記載のシステム。
【請求項１８】
前記追跡モジュールは、骨格モデル情報に基づいて、追跡規則を生成する運動学的骨格サブユニットを含む請求項１１記載のシステム。
【請求項１９】
コンピュータにより読取可能な記録媒体に保存され、コンピュータに、
表面を覆うパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得させ、
各画像フレームについて、複数の画像からメッシュオブジェクトを導出させ、
前記フレームのシーケンスに亘って、各フレーム内のメッシュオブジェクトを追跡させ、
前記追跡されたメッシュオブジェクトを用いて、表面の特徴をモデル化するアニメーションデータを生成させる実行可能な命令を含むコンピュータプログラム。
【請求項２０】
前記メッシュオブジェクトは、複数の頂点によって定義され、前記コンピュータにメッシュオブジェクトを追跡させる実行可能な命令は、コンピュータに複数の頂点の少なくとも１つの頂点を追跡させる実行可能な命令を含む請求項１９記載のコンピュータプログラム。
【請求項２１】
前記コンピュータにメッシュオブジェクトを追跡させる実行可能な命令は、コンピュータにメッシュオブジェクトのトポグラフィ的特徴を認識させる実行可能な命令を含む請求項１９記載のコンピュータプログラム。
【請求項２２】
演技者の頭の３Ｄモデルを得るステップと、
３Ｄモデルを２Ｄテクスチャにアンラッピングするステップと、
前記２Ｄテクスチャにおいて表現されている演技者の顔の特徴の詳細を、既知のパターンに置換するステップと、
前記既知のパターンを有する２Ｄテクスチャを可撓性材料に印刷するステップと、
前記可撓性材料を演技者の顔に付すステップと、
前記演技者の顔を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、
前記画像フレームのシーケンスを用いて、演技者の顔を表すメッシュオブジェクトを導出するステップとを有する方法。
【請求項２３】
前記可撓性材料は、一時的タトゥシートを含む請求項２２記載の方法。
【請求項２４】
前記可撓性材料は、透明材料を含む請求項２２記載の方法。
【請求項２５】
前記演技者の頭の３Ｄモデルを得るステップは、演技者の頭のレーザスキャンを実行するステップを含む請求項２２記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、米国特許法第１１９条に基づき、２００６年１１月１日に出願された同時係属中の米国仮出願番号６０／８５６，１９９、発明の名称「Capturing Surface in Motion Picture」の優先権の利益を主張し、この文献の開示内容は、引用によって本願に援用される。更に、本出願は、同じ譲受人に譲渡されている２００３年５月２３日に出願された米国特許７，０６８，２７７、発明の名称「System and Method for Animating a Digital Facial Model」、２００３年５月１日に出願された米国特許出願１０／４２７，１１４、発明の名称「System and Method for Capturing Facial and Body Motion」、２００６年８月２５日に出願された米国特許出願１１／４６７，５０３、発明の名称「Labeling Used in Motion Capture」、２００７年７月２７日に、出願された米国特許出願１１／８２９，７１１、発明の名称「FACS Cleaning in Motion Capture」を引用によって組込み、これらの文献の開示内容は、引用によって本願に援用される。
【０００２】
本発明は、包括的には、モーションキャプチャに関し、より詳しくは、モーションマーカデータを用いて表面をキャプチャリングすることに関する。
【背景技術】
【０００３】
モーションキャプチャシステムは、演技者又はオブジェクトの運動をキャプチャし、演技者又はオブジェクトをアニメーション化する手法として、この運動をコンピュータが生成した演技者／オブジェクトにマッピングするために使用されている。これらのシステムは、モーションピクチャ及びビデオゲームの生成において、ソースデータとしての使用のために演技者又はオブジェクトのデジタル表現を作成し、コンピュータグラフィクス（「ＣＧ」）アニメーションを作成するために頻繁に用いられている。典型的なシステムでは、演技者は、マーカが様々な位置に取り付けられたスーツを着用する（例えば、胴体及び四肢に小さい反射マーカが取り付けられる）。そして、適切に配置されたデジタルカメラが、マーカを照射しながら、異なる角度からキャプチャボリューム内の演技者の体の運動を記録する。後に、システムは、画像を分析し、各フレームにおいて、演技者のスーツ上のマーカの位置（例えば、空間座標）と方向を判定する。システムは、マーカの位置を追跡することによって時間の経過に伴うマーカの空間的表現を作成し、動いている演技者のデジタル表現を構築する。そして、この動きを仮想空間においてデジタルモデルに適用し、場合によっては、このデジタルモデルをテクスチャリング及びレンダリングして、演技者及び／又は演技の完全なＣＧ表現が生成される。特殊効果の担当業者は、この技術を用いて、多くの大衆映画の現実感があるアニメーションを制作してきた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、モーションキャプチャシステムには、制約が存在する。具体的には、モーションキャプチャセッションから導出されるデータは、通常、演技者の体の末端等の硬いオブジェクト（rigid object）の運動をキャプチャする。例えば、演技者の前腕に配置されるマーカは、手及び上腕に連結された硬い（rigid）オブジェクトとして前腕の動きを記述するデータを展開（develop）するために使用されている。したがって、一旦、データが処理されると、動きは、棒又はロッドの動きと同様のものとなる。したがって、これらのデータは、演技者の「骨格（skeleton）」と呼ばれることもある。しかしながら、この場合、肘から手首にかけて先細りになるような前腕の形状及び前腕に沿った異なる位置における横断面の輪郭等を記述するデータが欠落する。
【課題を解決するための手段】
【０００５】
ここに開示する具体例は、モーションキャプチャにおける表面をキャプチャリングする方法、システム及びコンピュータプログラムを提供する。
【０００６】
一側面においては、モーションピクチャにおいて表面をキャプチャする方法が提供される。この方法は、マーキング材料で形成されるパターンによって表面を覆うステップと、表面を覆うパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、各画像フレームについて、複数の画像からメッシュオブジェクトを導出するステップと、フレームのシーケンスに亘って、各フレーム内のメッシュオブジェクトを追跡するステップと、追跡されたメッシュオブジェクトを用いて、表面の特徴をモデル化するアニメーションデータを生成するステップとを有する。
【０００７】
一具体例においては、マーキング材料は、表面に適合する。他の具体例においては、メッシュオブジェクトは、表面をモデル化する。他の具体例においては、アニメーションデータは、骨格データ、ＦＡＣＳアニメーション曲線及び形状アニメーションのうちの少なくとも１つの形式のラベリングされたマーカデータを含む。
【０００８】
他の側面においては、方法は、演技者の頭の３Ｄモデルを得るステップと、３Ｄモデルを２Ｄテクスチャにアンラッピングするステップと、２Ｄテクスチャにおいて表現されている演技者の顔の特徴の詳細を、既知のパターンに置換するステップと、既知のパターンを有する２Ｄテクスチャを可撓性材料に印刷するステップと、可撓性材料を演技者の顔に付すステップと、演技者の顔を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、画像フレームを用いて、演技者の顔を表すメッシュオブジェクトを導出するステップとを有する。
【０００９】
他の側面として、モーションピクチャにおいて表面をキャプチャするシステムを開示する。このシステムは、表面上に配置されたパターンの複数の同期された画像をそれぞれが含む画像フレームのシーケンスを生成する画像取得モジュールと、画像フレームのシーケンスを受け取り、表面上に配置されたパターンに基づいて、アニメーションデータを生成する表面キャプチャモジュールとを備える。
【００１０】
以下の詳述及び添付の図面によって、本発明の他の特徴及び利点が当業者にとって明らかとなる。
【００１１】
本発明の構造及び動作の両方についての詳細は、添付の図面を読むことによっても部分的に知ることができる。
【図面の簡単な説明】
【００１２】
【図１】一具体例に基づくモーションキャプチャシステムのブロック図である。
【図２】一具体例に基づいて表面をキャプチャする方法を説明するフローチャートである。
【図３】一具体例に基づく表面キャプチャシステムの機能的ブロック図である。
【図４】一具体例に基づく表面キャプチャモジュールの機能的ブロック図である。
【図５Ａ】ユーザ及びコンピュータシステムを示す図である。
【図５Ｂ】表面キャプチャシステムをホストするコンピュータシステムの具体例の機能的ブロック図である。
【図６】可撓性マーキング材料を用いる方法を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
演技者又はオブジェクトに離散的なマーカを取り付け、複数のモーションキャプチャカメラがマーカの運動を記録する手法が知られている。記録されたマーカの運動に基づいて、演技者又はオブジェクトの動きのモデルが導出（作成）され、このモデルを用いて、動きのグラフィカル表現が生成される。
【００１４】
本発明の具体例では、実質的に、演技者及び／又はオブジェクトの表面全体を覆うマーキング材料の既知のパターンが適用される。パターンの画像を記録し、デジタル化することによって、動きに加えて、演技者及び／又はオブジェクトの及びこれらに関連する形状、テクスチャ及び照明効果がキャプチャされる。このようにして適用される既知のパターン及び未知のパターンは、例えば、量子ナノドット、暗闇で発光する（すなわち、蛍光の）材料、仮想的にあらゆる可視光線、赤外線の又は紫外線のインク、塗料を含む材料、又は十分に既知又は未知のパターンで付すことができる材料を用いて生成することができる。
【００１５】
一具体例では、演技者の顔、体、手及び他の末端の形状、テクスチャ、光及び運動がキャプチャされる。他の具体例では、キャプチャボリューム内のセット及び小道具の形状、テクスチャ、光及び運動がキャプチャされる。更なる具体例では、補足的ライト−ダークマーカ法（supplementary light-dark marker approach）が、明るいフレーム及び暗いフレームの両方におけるテクスチャのキャプチャを提供する。これに代えて、暗闇で発光するマーカ材料の既知のパターン又はランダムパターンと共に、離散的なマーカ又は可視パターンとして付されるライトマーカ（例えば、反射マーカ又は能動光）を用いてもよい。
【００１６】
このように、演技者及び／又はオブジェクトに既知のパターン及び／又はランダムパターンを付し、次に、カメラによってそれらの運動を記録することによって、動きだけではなく、ジオメトリ（例えば、形状、テクスチャ又は照明等）をキャプチャすることができる。キャプチャされたパターンは、記録された画像の各フレーム毎に、メッシュオブジェクトとして再構築される。
【００１７】
フレームのシーケンスについて導出されたメッシュオブジェクトには、自動化された特徴追跡器（automated feature tracker）を適用できる。一具体例では、特徴追跡器は、トポグラフィ的認識、テクスチャ追跡、運動学的骨格、顔面動作コーディングシステム（facial action coding system：ＦＡＣＳ）クリーニングの組合せを用いて、連続的な、一貫してラベリングされたポイントデータを生成する。更に、ポイントデータは、キャプチャされたシーン内の全てのオブジェクトからの最終的な出力として、骨格データ、ＦＡＣＳアニメーション曲線又は形状アニメーションに決定することができる。
【００１８】
骨格データは、キャラクタ及びオブジェクトが、演技者を含むオリジナルと同様に動くように、キャラクタ及びオブジェクトをアニメーション化する。一旦、「キャラクタ−オブジェクト」がアニメーション化されると、「キャラクタ−オブジェクト」と「演技者−オブジェクト」との間の形状の相異が判定される。そして、骨格データにおいて欠落しているが、フレームオブジェクト毎のメッシュに存在する詳細情報が抽出され、キャラクタモデルに適用される。
【００１９】
また、メッシュオブジェクトデータは、ポストプロセシングの間のシミュレーション（例えば、揺れる衣服、髪又は皮膚）のためのガイドラインとして変形情報を抽出するために使用でき、また、骨格データがフレームオブジェクト毎のメッシュに密接に一致することを確認するために使用できる。従来のモーションキャプチャでは、マーカの運動だけが記録され、したがって、元のオブジェクトの特徴が失われるため、骨格データは、定量化することが難しい場合がある。
【００２０】
キャラクタのテクスチャ及び照明は、キャプチャの時点で「演技者−オブジェクト」について記録された、テクスチャに埋め込まれている照明と比較することができる。注目される影又は光の特徴は、ライトプローブを用いて照明に近似させるために使用される手法と同様の手法を用いて、抽出され、キャラクタのテクスチャ及び照明において、複写される。
【００２１】
他の具体例では、方法は、演技者の頭の３Ｄモデルを取得し、３Ｄモデルを２Ｄテクスチャにアンラッピングし、２Ｄテクスチャにおいて表現されている演技者の顔の特徴の詳細を既知のパターンに置換し、既知のパターンを有する２Ｄテクスチャを可撓性材料に印刷し、可撓性材料を演技者の顔に付し、演技者の顔を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得し、画像フレームを用いて、演技者の顔を表すメッシュオブジェクトを導出することを含む。
【００２２】
図１は、一具体例に基づくモーションキャプチャシステム１００のブロック図である。モーションキャプチャシステム１００は、モーションキャプチャプロセッサ１１０と、モーションキャプチャカメラ１２０、１２２、１２４と、ユーザワークステーション１３０と、演技者の体１４０及び顔１５０とを含み、演技者の体１４０及び顔１５０は、所定のパターンのマーカ材料１６０によって実質的に覆われている。図１では、１０個のマーカのみを示しているが、体１４０及び顔１５０において実質的により多くのマーカを用いてもよい。モーションキャプチャプロセッサ１１０は、有線又は無線によって、ワークステーション１３０に接続されている。モーションキャプチャプロセッサ１１０は、通常、ワークステーション１３０から制御データパケットを受信するように構成されている。
【００２３】
モーションキャプチャプロセッサ１１０には、３個のモーションキャプチャカメラ１２０、１２２、１２４が接続されているが、通常、様々なユーザ及びアニメーションに関連するニーズ及び要求に基づき、３個より多くのモーションキャプチャカメラが必要である。モーションキャプチャカメラ１２０、１２２、１２４は、マーカ１６０が付されている演技者の体１４０及び顔１５０にフォーカスされる。マーカ材料の配置は、例えば、演技者の体１４０、顔１５０、手１７０、腕１７２、脚１７４、１７８及び足１７６等の対象となる動きがキャプチャされるように構成されている。
【００２４】
モーションキャプチャカメラ１２０、１２２、１２４は、モーションキャプチャプロセッサ１１０によって制御され、マーカのフレーム毎の２次元（２Ｄ）画像をキャプチャする。画像は、画像フレーム内でキャプチャされ、各画像フレームは、画像フレームの時間的シーケンスの１つのフレームを表す。個々の画像フレームのそれぞれは、複数の２Ｄ画像を含み、各２Ｄ画像は、それぞれ１つのモーションキャプチャカメラ１２０、１２２又は１２４によって個別に生成されている。このようにしてキャプチャされた２Ｄ画像は、通常、ユーザワークステーション１３０において保存され、又はリアルタイムで表示され、又はこの両方が行われる。
【００２５】
モーションキャプチャプロセッサ１１０は、２Ｄ画像を統合し（すなわち、「再構築」を実行し）、３次元（「３Ｄ」）マーカデータの立体的フレームシーケンスを生成する。立体フレームのこのシーケンスは、「ビート（beat）」と呼ばれることも多く、これは、「ショット（shot）」又は「シーン（scene）」と同様のものと考えることができる。従来、マーカは、離散的オブジェクト又はビジュアルポイントである。再構築されたマーカデータは、複数の離散的マーカデータ点を含み、各マーカデータ点は、例えば、演技者１４０等のターゲットに連結されたマーカの空間的な（すなわち、３Ｄの）位置を表す。各立体フレームは、ターゲットの空間モデルを表す複数のマーカデータ点を含む。モーションキャプチャプロセッサ１１０は、立体フレームシーケンスを読み出し、追跡機能を実行し、各フレームのマーカデータ点を、シーケンス内の前フレーム及び次フレームのマーカデータ点で正確にマッピングする。
【００２６】
一例として、第１の立体フレームにおける個々のマーカデータ点は、演技者の体１４０に配置された単一のマーカに対応している。第１の立体フレームのこのようなマーカデータ点のそれぞれには、一意的ラベルが割り当てられる。そして、マーカデータ点は、第２の立体フレーム内の対応するマーカデータ点に関連付けられ、第１の立体フレームのマーカデータ点のための一意的ラベルは、第２の立体フレームの対応するマーカデータ点に割り当てられる。立体フレームシーケンスについてラベリング（すなわち、追跡）処理が完了すると、シーケンスに亘って、第１の立体フレームのマーカデータ点がトレース可能になり、各マーカデータ点について、個々の軌道が得られる。
【００２７】
通常、硬い（rigid）オブジェクト、若しくはオブジェクト又は体のセグメントの動きをキャプチャするために、離散的マーカが使用されている。例えば、上述のように、肘及び手首に取り付けられた硬い（rigid）マーカは、前腕の各端部の位置を定義する。前腕が動くと、肘及び手首のマーカの動きは、上述のように、立体フレームのシーケンスにおいて、追跡され、決定（resolved）される。このようにして、前腕の動きは、肘マーカ及び手首マーカによって定義されている端部のみによって、剛体（例えば、ロッド）としてモデル化される。ここで、前腕の並進運動は、肘マーカ及び手首マーカの空間的位置の変化を分析することによって容易に決定できるが、捻転は、手首又は肘を実質的に移動させずに行うことができるので、前腕の共通の捻転運動は、検出することが難しい。
【００２８】
一具体例では、離散的なマーカの使用とは異なり、マーカが付される表面に適合し、この表面を覆うマーカ材料を使用する。マーカ材料は、更に、上述した離散的なマーカと同様に追跡に適するパターンを有する。パターンは、表面を覆うので、離散点だけではなく、表面の実質的に全て又は任意の部分を追跡できる。一具体例では、このようにしてマーキングされ、追跡された表面は、各立体フレームにおいて、メッシュオブジェクトとして再構築され、ここで、パターンの追跡可能な特徴は、頂点によって表される。したがって、各立体フレームは、マーキング材料が付された表面のモデルを形成する頂点の組織（system）を含む。メッシュオブジェクトは、立体フレームのシーケンスに亘って追跡され、例えば、表面の様々な空間的並進、回転及び捻転を表す仮想アニメーションが得られる。
【００２９】
一具体例では、マーキング材料は、例えば、演技の間に用いられるセット又は小道具等のオブジェクトの１つ以上の表面に付される。この場合も、上述と同様の手法でメッシュオブジェクトが再構築され、メッシュオブジェクトの頂点が立体フレームのシーケンスに亘って追跡される。
【００３０】
図２は、一具体例に基づいて表面をキャプチャする方法２００を説明するフローチャートである。方法２００は、ブロック２１０において、パターン化されたマーキング材料によってターゲットオブジェクトの表面を覆うことを含む。マーキング材料は、通常、マーキング材料が付される表面に適合する。これにより、対応するメッシュオブジェクトは、展開される表面の様々な側面を正確に表現することができる。
【００３１】
様々な技術を用いて、表面にマーキング材料を付すことができる。マーキング材料は、通常、表面に適合する。
【００３２】
一具体例では、マーキング材料は、例えば、塗料又はインク等の液体形式であり、アニメータ又はアーチストによって選択されたパターンで、表面に塗布される。一具体例においては、マーキング材料は、演技者の体及び顔にドットの組織（system）として付され、ここで、ドットは、体又は顔の特定の部分を一意的に特定するパターンに配置される。一意的なパターンは、再構築及びマーカ追跡の間、容易に解釈されるので、この後のメッシュオブジェクト処理は、実質的に単純化される。他の具体例では、処理を単純化するために、様々な体の領域（すなわち、右膝、左膝等）を一意的に特定する演技者の体の上の形が形成されたマーキング（form-shaped markings）にマーキング材料を付す。更に、液体形式のマーキング材料は、表面の物理的側面、例えば、その形状及び演技の間に生じる様々な曲がり（contortion）を認識するために表面を覆うのに自然に適している。
【００３３】
上述の具体例について言えば、演技者の前腕は、１つ以上のパターンで塗布された液体形式のマーキング材料で実質的に覆われる。そして、パターンを表すメッシュオブジェクトが仮想空間内で再構築され、演技者の前腕の形状だけではなく、演技者の演技の間に起こる捻転もキャプチャされる。
【００３４】
他の具体例では、マーキング材料は、表面に付着する布又は可撓性を有するテープを含む。マーキング材料のストリップ（帯状のもの）が作成され、表面上の対象となる領域に付される。マーキング材料は、表面に直接付され、所望のパターンが形成される。これに代えて、マーキング材料は、一意的な及び／又はランダムな形状を含む形状に形成され、これらが表面に付される。他の具体例では、布を基材とするマーキング材料は、衣服として形成され、この上に、所望のパターンが縫われ、塗布され、又は染められる。例えば、演技者の前腕に、特有のパターンで構成された、前腕の形状に適合し、密着するスリーブを装着する。各演技において、前腕上の同じ位置に同じパターンを使用するために生じる高レベルな一貫性のために、異なる日の複数のセッションに亘って演技者が腕を伸ばす演技によって取得されたモーションキャプチャデータを統合することが簡単になり、より効率的になる。更に、密着する衣服は、演技者の前腕の形状に密接に適合するため、このような衣服上のパターンは、前腕の正確なメッシュ表現を生成する。
【００３５】
マーキング材料に構成され、又はマーキング材料によって形成されたパターンは、画像フレームの背景から区別できるものである必要がある。
【００３６】
一具体例では、マーキング材料は、照射される励起光より高い波長で発光する特性を有する物質である量子ナノドットを含む。すなわち、第１の波長の励起光を使用して量子ナノドットマーキング材料を照射すると、量子ナノドットマーキング材料は、これに応答して、量子シフトが生じ、第１の波長より周波数が高い第２の波長で発光する。照射された励起光は、取得された画像からフィルタリングされ、出射光、したがって、量子ナノドットを用いて形成されたパターンの画像だけが残る。
【００３７】
他の具体例では、マーカ材料は、反射材料を含む。演技の間、明るい光が材料を照射し、この結果、取得された画像におけるパターンの視覚的存在が強調され、再構築及び追跡が支援される。
【００３８】
他の具体例では、マーカ材料は、蛍光材料、すなわち、暗闇で発光する物質を含み、これを「ダークマーカ（dark marker）」とも呼ぶ。ダークマーカを使用して取得される画像は、発光する材料だけが可視である暗い環境で取得される。他のダークマーカ材料としては、赤外線照射下で使用される赤外線（「ＩＲ」）マーカ材料、紫外線照射下で使用される紫外線の（「ＵＶ」）マーカ材料等がある。
【００３９】
更なる具体例では、例えば、明るいストロボ光等、明るい照明条件と暗い照明条件とが交互に生じる環境において、ダークマーカ材料と連携させて、反射性を有するマーキング材料（「ライトマーカ（light marker）」）から形成される可視パターンを使用する。
【００４０】
マーキング材料に適用されるパターンは、例えば、画像取得、アニメータ／アーチストの好み及び／又はアニメーション製品等の要求に応じて異なる。一具体例では、パターンは、予め定められている。上述したように、一意的なパターンが作成され、ターゲット表面に付され、通常、マーカ追跡の間に領域をマッピングする。他の具体例では、パターンは、実質的にランダムパターンである。ランダムパターンは、一意的な所定のパターンと同様に、パターンが付された表面上の様々な位置間における生来的な一意性のために、追跡において有益である。
【００４１】
図２に示すように、ブロック２２０では、マーキング材料のパターンをキャプチャする画像のフレームのシーケンスを取得する。上述のように、キャプチャボリュームの周囲に正確に配置された複数のモーションキャプチャカメラ１２０、１２２、１２４が、演技の間、パターンの画像を同時に取得する。複数のカメラによって、画像取得を同時に繰り返すことによって、画像フレームと呼ばれる複数の画像が生成される。画像フレームのシーケンスは、通常、ビート又は演技の期間に亘る。
【００４２】
そして、ブロック２３０において、各画像フレームについて、その画像フレームのために同時に取得された複数の画像から、少なくとも１つのメッシュオブジェクトを導出する。単一の演技に複数のオブジェクト又は演技者が含まれることがあるので、これらを表現するために、複数のメッシュオブジェクトを生成してもよい。これにより得られるメッシュオブジェクトは、複数の画像フレームに対応する立体フレーム内で定義される頂点によって表現される。
【００４３】
一具体例では、マーカ材料によって組み込まれるパターンは、複数の細かく分散されたマーキングを含む。各マーキングの位置は、フレームの各画像において判定され、キャプチャボリュームの周囲のモーションキャプチャカメラの空間配置に関する情報に連携させて、マーキングは、キャプチャボリューム内の空間的位置に解決される。解決された各空間的位置は、マーカデータ点、より詳しくは、パターンが付された表面のモデルを表すメッシュオブジェクトの頂点とみなすことができる。このようにして、メッシュオブジェクトは、表面の形状を実質的にキャプチャする。また、一具体例では、メッシュオブジェクトは、表面のテクスチャもキャプチャする。他の具体例では、メッシュオブジェクトは、更に、画像フレームがキャプチャされた時点での表面における照明効果をキャプチャする。例えば、演技者の前腕に巻回される反射マーカ材料で作られたパターンは、前腕表面における光線の入射角に応じた様々な度合いで、照射される点光源の光を反射する。したがって、照射光の反射のレベルは、アニメーションの要求に応じて使用するための光と影の情報（light and shadow information）を提供する。
【００４４】
そして、ブロック２４０において、立体フレームのシーケンスに亘って、各立体フレームに対応するメッシュオブジェクトを追跡する。一具体例では、第１の立体フレームのメッシュオブジェクトの各頂点を、シーケンスの他の立体フレームのメッシュオブジェクトの対応する頂点に関連付ける。この処理は、立体フレームのシーケンスに亘って各頂点がトレース可能になるまで繰り返される。
【００４５】
ブロック２５０では、パターン、したがってパターンが付された表面のモーションモデルを表現するアニメーションデータを生成する。アニメーションモデルは、演技中の表面の並進及び捻転運動に加えて、形状、テクスチャ及び照明効果を含む表面の少なくとも１つの特徴を含む。アニメーションデータは、通常、パターンが付された表面に関連するデジタルモデルであるキャラクタモデルに適用される。例えば、演技者の前腕に付されたパターンから導出されたアニメーションデータを用いて、アニメーション化されたキャラクタの対応する前腕又は仮想的にアニメーション内の他のあらゆるオブジェクトがアニメーション化される。例えば、演技者の顔の運動から導出されたアニメーションデータについては、アニメーションデータは、ＦＡＣＳアニメーション曲線を含み、これは、演技者の顔面筋群に対応するデジタル顔モデル上の仮想筋肉群をトリガするために使用される。一具体例では、アニメーションデータは、アニメーション化された体又は体の末端の動きを駆動するための骨格データを含む。他の具体例では、アニメーションデータは、例えば、形状をアニメーション化するために用いられる立体フレームのシーケンスのメッシュオブジェクト頂点（すなわち、形状アニメーションデータ）を含む。
【００４６】
図３は、一具体例に基づく表面キャプチャシステム３００の機能的ブロック図である。表面キャプチャシステム３００は、画像取得モジュール３１０及び表面キャプチャモジュール３２０を備える。
【００４７】
画像取得モジュール３１０は、図１に示すように、モーションキャプチャカメラ１２０、１２２、１２４と、モーションキャプチャプロセッサ１１０と、ユーザワークステーション１３０とを備える。画像取得モジュール３１０は、画像フレームを生成し、各画像フレームは、例えば、複数のモーションキャプチャカメラ１２０、１２２、１２４によってビートの間に同時に取得された、演技者１４０に付されたマーキング材料の少なくとも１つのパターンの複数の２Ｄ画像を含む。画像取得モジュール３１０において生成される画像フレームは、通常、ビートの間に記録された画像フレームのシーケンスを含む。表面キャプチャモジュール３２０は、画像フレームを受け取り、画像フレームから導出されるアニメーションデータを生成する。
【００４８】
図４は、一具体例に基づく表面キャプチャモジュール３２０の機能的ブロック図である。図４に示すように、表面キャプチャモジュール３２０は、メッシュ導出モジュール４１０及び追跡モジュール４２０を含む。追跡モジュール４２０は、更に、頂点追跡サブユニット４３０、トポグラフィサブユニット４４０、テクスチャ追跡サブユニット４５０、運動学的骨格サブユニット４６０及びＦＡＣＳクリーニングサブユニット４７０を含む。
【００４９】
メッシュ導出モジュール４１０は、画像フレームを受け取り、画像フレームに対応する立体フレーム内で定義されるメッシュオブジェクトを生成する。通常、各画像フレームについて、その画像フレームに関して同時に取得される複数の画像から少なくとも１つのメッシュオブジェクトが導出される。これにより得られるメッシュオブジェクトは、画像フレームに対応する立体フレーム内で定義される頂点によって表現される。
【００５０】
マーカ材料によって組み込まれるパターンは、複数の細かく分散されたマーキングを含んでいてもよい。マーキングは、画像フレームの各画像において位置が特定され、キャプチャボリュームの周囲のモーションキャプチャカメラの空間配置に関する情報に連携させて、マーキングは、キャプチャボリュームの空間的位置に決定される。決定された各空間的位置は、マーカデータ点、より詳しくは、パターンが付された表面の対応するフレームのモデルを表すメッシュオブジェクトの頂点を表す。メッシュオブジェクトは、表面の形状を実質的にキャプチャする。表面が十分にテクスチャ化されている一具体例では、メッシュオブジェクトは、表面のテクスチャをキャプチャする。他の具体例では、メッシュオブジェクトは、画像フレームがキャプチャされた時点での表面における照明効果をキャプチャする。例えば、演技者の前腕に巻回される反射マーカ材料で作られたパターンは、前腕表面における光線の入射角に応じた様々な度合いで、照射される点光源の光を反射する。したがって、照射光の反射のレベルは、アニメーションの要求に応じて使用するための光と影の情報を提供する。
【００５１】
追跡モジュール４２０は、各立体フレームに対応するメッシュオブジェクトを受け取り、立体フレームのシーケンスに亘って追跡する。一具体例では、頂点追跡サブユニット４３０によって、第１の立体フレームのメッシュオブジェクトの各頂点を、シーケンスの他の立体フレームのメッシュオブジェクトの対応する頂点に関連付ける。この関連付けは、全体のシーケンスに亘って各頂点がトレース可能になるまで、シーケンスの立体フレーム間で繰り返される。
【００５２】
トポグラフィサブユニット４４０は、トポグラフィ的認識機能を用いて、立体フレームのシーケンスに亘って、メッシュオブジェクトの１つ以上のトポグラフィ的特徴をトレースする。トポグラフィ的特徴のトレースは、頂点追跡サブユニット４３０の追跡精度を向上させ、一具体例においては、単独のメッシュオブジェクト追跡技術として使用される。
【００５３】
テクスチャ追跡サブユニット４５０は、テクスチャ認識機能を用いて、立体フレームのシーケンスに亘って、メッシュオブジェクトにおいて表される１つ以上のテクスチャ的特徴をトレースする。テクスチャ的特徴のトレースは、頂点追跡サブユニット４３０の追跡精度を向上させ、一具体例においては、単独のメッシュオブジェクト追跡技術として使用される。
【００５４】
運動学的骨格サブユニット４６０は、体の骨格要素の動きに様々な制約条件（すなわち、「規則」）を適用できる。骨格データは、画像フレームにおいてキャプチャされたマーカ材料のパターンから導出される。例えば、演技者の前腕は、肘を手首に接続するロッド又は棒と同様の骨格要素によってモデル化される。上述のように、この手法は、前腕の並進運動をキャプチャする際には有効であるが、前腕の捻転等の捻りを含む運動をキャプチャするには不十分である。ここで、前腕のために定義された骨格要素の運動を制約する規則に基づいて、フレーム間の頂点の関連付けを制約することによって、メッシュオブジェクト追跡の精度が向上する。２つのフレームの間で、候補となる１つ以上の頂点ラベリング割当が、不自然な、あり得ない又は不可能な前腕の運動を示すと運動学的骨格サブユニット４６０が判定した場合、これらの頂点割当には、低い得点が付され、制約規則に基づく骨格要素の「許容できる」運動に一致する他の頂点割当が優先される。このように、運動学的骨格分析によって、頂点追跡サブユニット４３０の追跡精度が向上する。
【００５５】
ＦＡＣＳは、一般的に、人間の表情を系統的に分類する標準の概念階層を提供するが、このスキームは、例えば、体の運動にも適用可能である。顔の様々な表情を表す顔運動データは、図１に示したものと同様のモーションキャプチャシステムを用いてキャプチャされ、ＦＡＣＳに基づいて分類される。
【００５６】
一具体例では、「ＦＡＣＳマトリクス」は、基本表情（key facial expression）の初期の概略的な判定のための基礎を形成する。演技者は、マーキング材料によって実現されたパターンを顔に装着し、様々な表情を演技するように指示される。基本表情は、通常、小さいキャプチャボリューム内で、照明が厳密に制御され、演技者による不要な運動が厳しく制限された理想的な条件下でキャプチャされる。多くの場合、顔の運動から体の運動を分離するために、演技者は、座らされ、又は立ったまま動かないようにされる。
【００５７】
ＦＡＣＳマトリクスにおいて維持される基本表情は、後に、ポストプロセシングの間に、「顔基底ベクトル（facial basis vector）」と同様に使用される。演技者の演技の間に生成された新たな表情は、分析され、基本表情の重み付けされた組合せが判定される。一具体例では、ＦＡＣＳマトリクスは、重み付けされた組合せによる第１のパス上では適切に記述されない更なる表情を組み込むことによって、ポストプロセシングの間に拡張される。これらの表情は、新たな基本表情として追加され、この結果、ＦＡＣＳマトリクスが理解する表情（すなわち、顔基底ベクトル）の範囲を広めることによって、ＦＡＣＳマトリクスのロバスト性が高まる。
【００５８】
顔面動作コーディングシステム（「ＦＡＣＳ」）クリーニングサブユニット４７０は、演技者の顔を表すメッシュオブジェクトに制約規則を適用できる。例えば、顔のメッシュオブジェクトの頂点が分析され、所定の規則に基づいて「許容できない」運動が特定される。すなわち、頂点のフレーム間の空間的な移動（すなわち、運動）は、ＦＡＣＳマトリクスにおいて維持されている基本表情によって定義される制約条件に基づいて分析される。一具体例では、許容できる顔のメッシュオブジェクト頂点運動だけを返し、これにより、フィルタリング効果を提供し、顔のメッシュオブジェクト頂点における雑音アーチファクト（例えば、メッシュオブジェクト頂点の異常値）を除外する。クリーニングは、更に、顔のメッシュオブジェクト頂点が演技者の演技の間に隠された場合（例えば、顔上のマーキング材料のパターンの視界が小道具によって遮蔽された場合）に、顔のメッシュオブジェクト頂点があるはずの空間的位置を判定することを含む。そして、ＦＡＣＳクリーニングは、ＦＡＣＳマトリクスにおいて維持されている基本表情に適合する頂点によって、このようにして生じた顔のメッシュオブジェクト頂点軌道におけるギャップを埋める。このようにして、ギャップがない、正確にラベリングされた、雑音のないメッシュオブジェクト頂点が生成される。
【００５９】
追跡モジュール４２０は、パターン、したがって、パターンが付された表面のモーションモデルを表すアニメーションデータを生成する。アニメーションモデルは、演技中の表面の並進及び捻転運動に加えて、形状、テクスチャ及び照明効果を含む表面の少なくとも１つの特徴を含む。アニメーションデータは、通常、パターンが付された表面のデジタルモデルであるキャラクタモデルに適用される。例えば、演技者の腕１７２に付されたパターンから導出されたアニメーションデータを用いて、アニメーション化されたキャラクタ又はオブジェクトの対応する腕（又は他の何らかの四肢の可能性もある。）がアニメーション化される。アニメーションデータが演技者の顔１５０の運動から導出される場合、アニメーションデータは、演技者の顔１５０の顔面筋群に対応するデジタル顔モデル上の仮想筋肉群をトリガするために使用される。
【００６０】
図５Ａは、コンピュータシステム５００及びユーザ５０２の表現を示している。ユーザ５０２は、コンピュータシステム５００を使用して、セグメント追跡を実行する。コンピュータシステム５００は、画像フレームデータを処理するセグメント追跡システム５９０を保存し、実行する。
【００６１】
図５Ｂは、セグメント追跡システム５９０をホストするコンピュータシステム５００を示す機能的ブロック図である。コントローラ５１０は、コンピュータシステム５００及びそのコンポーネントの動作を制御するプログラマブルプロセッサである。コントローラ５１０は、メモリ５２０又は埋め込まれたコントローラメモリ（図示せず）から命令をロードし、これらの命令を実行してシステムを制御する。実行時には、コントローラ５１０は、セグメント追跡システム５９０をソフトウェアシステムとして提供する。これに代えて、このサービスは、コントローラ５１０又はコンピュータシステム５００における独立したコンポーネントとして実装してもよい。
【００６２】
メモリ５２０は、コンピュータシステム５００の他のコンポーネントによる使用のために一時的にデータを保存する。一具体例では、メモリ５２０は、ＲＡＭとして実装される。他の具体例では、メモリ５２０は、フラッシュメモリ及び／又はＲＯＭ等の長期的又は持続的メモリを含む。
【００６３】
ストレージ５３０は、コンピュータシステム５００の他のコンポーネントによる使用のために、一時的に又は長期間、データを保存し、例えば、セグメント追跡システム５９０によって用いられるデータを保存する。一具体例では、ストレージ５３０は、ハードディスクドライブである。
【００６４】
媒体装置５４０には、リムーバブル媒体が挿入され、挿入された媒体からデータを読み出し及び／又は媒体にデータを書き込む。一具体例では、媒体装置５４０は、光ディスクドライブである。
【００６５】
ユーザインタフェース５５０は、コンピュータシステム５００のユーザからユーザ入力を受け付け、ユーザに情報を提供するコンポーネントを含む。一具体例では、ユーザインタフェース５５０は、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ５１０は、ユーザからの入力に基づいて、コンピュータシステム５００の動作を調整する。
【００６６】
入出力（Ｉ／Ｏ）インタフェース５６０は、例えば、外部ストレージ装置又は補助装置（例えば、プリンタ又はＰＤＡ）等の対応する入出力装置に接続する１つ以上の入出力ポートを含む。一具体例では、入出力インタフェース５６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート及び／又はパラレルポートを含む。他の具体例では、入出力インタフェース５６０は、外部機器と無線で通信するための無線インタフェースを含む。
【００６７】
ネットワークインタフェース５７０は、例えば、イーサネット（登録商標）接続をサポートするＲＪ−４５又は「Ｗｉ−Ｆｉ」インタフェース（これに限定されるものではないが、８０２．１１を含む。）等の有線及び／又は無線ネットワーク接続を含む。
【００６８】
コンピュータシステム５００は、通常のコンピュータシステムが備える更なるハードウェア及びソフトウェア（例えば、電源、冷却装置、オペレーティングシステム）を含むが、図５Ｂでは、簡潔性のためにこれらのコンポーネントを示していない。他の具体例では、異なる構成（例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成）を有するコンピュータシステムを用いてもよい。
【００６９】
図６は、可撓性マーキング材料を展開及び使用して、アニメーションデータを生成する方法６００のフローチャートである。一具体例では、方法は、既知のパターン及び／又は識別可能なランダムパターンが印刷された一時的タトゥを使用する。まず、６１０において、演技者の頭の立体モデルを得る。このモデルは、例えば、テクスチャマップを生成するレーザスキャニングを用いて得られる。次に、６２０において、例えば、レーザスキャンによって生成された顔テクスチャをアンラッピングすることによって、上述のようにして得られた３Ｄモデルを２Ｄ形式にアンラッピングする。６３０では、演技者の顔の特徴の詳細を、少なくとも１つの既知のパターンを有する２Ｄ形式（例えば、テクスチャマップ）に置換する。他の具体例では、既知のパターンに印刷されたグリッドが含まれる。グリッドは、一次的マーカパターンとして機能し、既知のパターンは、二次的マーカパターンとして機能し、グリッド頂点のラベリングが容易になる。すなわちグリッドは、一様であるという利点を有し、このため、ターゲット表面の正確なデジタルモデル（すなわち、メッシュオブジェクト）が容易に得られる。しかしながら、グリッドの生来的な一様性のために、グリッド頂点は、個別に識別することが困難であるため、グリッドは、追跡することが難しい。グリッド上に付されるマーカの既知のパターンを二次的リファレンスとして用いて、（一次的）グリッド頂点を解決する際の補助としてもよい。
【００７０】
そして、６４０において、既知のパターンを有する２Ｄテクスチャマップを可撓性(flexible)材料に印刷する。一具体例では、可撓性材料は、一時的タトゥシートを含む。包括的に言えば、如何なる可撓性材料及び／又は透明材料を用いてもよい。６５０では、パターンが印刷された可撓性材料（例えば、一時的タトゥシート）を演技者の顔に付す。シーン内で演技する各演技者には、通常、それぞれ一意的なパターンが与えられる。
【００７１】
他の具体例では、演技者の顔の運動が、顔に付されている一時的タトゥによって過剰に制限されてしまう場合、顔タトゥを、個別のタトゥとして付されるより小さなセクションに分割してもよい。
【００７２】
次に、６６０において、図１に関連して上述したモーションキャプチャのための方法及びシステムに基づいて、画像フレームのシーケンスを取得する。画像データをキャプチャした後、６７０において、画像データを用いて、マーカが装着された演技者又はオブジェクトを表す１つ以上のメッシュオブジェクト（すなわち、３Ｄモデル）を再構築する。
【００７３】
一具体例では、一時的タトゥは、暗闇で発光するインクによって印刷してもよい。そして、光の遮断及び暗視カメラを使用するモーションキャプチャスキームを用いて、タトゥ上のパターンを記録してもよい。他の具体例では、紫外線又は赤外線の光を利用するマーカ、又は再帰反射材料を利用するマーカを使用してもよい。
【００７４】
本発明の様々な例示的な具体例について説明した。但し、他の具体例も可能であり、これらも本発明の範囲内に含まれる当業者にとって明らかである。例えば、既知のパターン及び識別可能なランダムパターンは、演技者又はオブジェクトの表面に印刷、塗布又はインク書きしてもよい。更に、所望のパターンを得るために、印刷、塗布、インク書き、タトゥ、量子ナノドット及び生来的な肉体的特徴の如何なる組合せを用いてもよい。
【００７５】
更に、説明を簡潔にするために、モジュール又はブロック内に機能をグループ化している。特定の機能は、本発明から逸脱することなく、あるモジュール又はブロックから他のモジュール又はブロックに移行させることができる。
【００７６】
したがって、本発明は、上述した実施の形態のみには限定されない。
【図１】
2010508609.tif 000003
【図２】
2010508609.tif 000004
【図３】
2010508609.tif 000005
【図４】
2010508609.tif 000006
【図５Ａ】
2010508609.tif 000007
【図５Ｂ】
2010508609.tif 000008
【図６】
2010508609.tif 000009
【国際調査報告】
2010508609.tif 000010