【手続補正書】
【提出日】平成18年6月30日(2006.6.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
身体の複数の点を定義する身体マーカ及び顔の複数の点を定義する顔マーカが付けられた少なくとも１人の演技者を収容する動き捕捉空間と、
上記動き捕捉空間内で動作中の上記少なくとも１人の演技者の外側面の全てが、略常にその少なくとも１台の視野に入るように、該動き捕捉空間の周囲に配設された複数の顔の動きカメラと、
上記複数の顔の動きカメラに接続され、上記少なくとも１人の演技者の顔の動きを反映したデジタル表現を生成するモーションキャプチャプロセッサとを備えるモーションキャプチャシステム。
【請求項２】
更に、上記動き捕捉空間の周囲に配設された複数の身体の動きカメラを備え、
上記複数の顔の動きカメラは、上記複数の身体の動きカメラの視野よりも狭い視野を有し、上記モーションキャプチャプロセッサは、該複数の身体の動きカメラに接続され、上記デジタル表現は、上記少なくとも１人の演技者の身体の動きを反映していることを特徴とする請求項１記載のモーションキャプチャシステム。
【請求項３】
上記動き捕捉空間は、４分割空間に分割された矩形の領域からなり、該４分割空間は、それぞれ動き捕捉空間の周囲と一致する複数の側面を有し、上記複数の顔の動きカメラは、該４分割空間のそれぞれの側面に向けて配設されている第１のカメラ群を含むことを特徴とする請求項１記載のモーションキャプチャシステム。
【請求項４】
上記複数の顔の動きカメラは、上記第１のカメラ群から空間的に離れ、上記４分割空間のそれぞれの側面に向けて配設された第２のカメラ群を含むことを特徴とする請求項３記載のモーションキャプチャシステム。
【請求項５】
上記第１のカメラ群は、上記第２のカメラ群の視野と略重なるように該第２のカメラ群に対して配設されていることを特徴とする請求項４記載のモーションキャプチャシステム。
【請求項６】
上記第１及び第２のカメラ群は、それぞれ少なくとも３台のカメラからなることを特徴とする請求項３記載のモーションキャプチャシステム。
【請求項７】
上記複数の顔の動きカメラは、上記動き捕捉空間のそれぞれの角に、該動き捕捉空間の中心に向けて配設されている第３のカメラ群を含むことを特徴とする請求項３記載のモーションキャプチャシステム。
【請求項８】
上記複数の顔の動きカメラの第１の一部は、床から第１の高さに配設されており、該複数の顔の動きカメラの第２の一部は、該第１の高さよりも高い第２の高さに配設されていることを特徴とする請求項１記載のモーションキャプチャシステム。
【請求項９】
上記複数の顔の動きカメラの第１の一部は、上記動き捕捉空間を挟んで対向する側面に配設された該第１の一部の他のカメラが視野に入らないように、僅かに上向きに配設されていることを特徴とする請求項８記載のモーションキャプチャシステム。
【請求項１０】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、固定されていることを特徴とする請求項２記載のモーションキャプチャシステム。
【請求項１１】
上記複数の顔の動きカメラの一部及び上記複数の身体の動きカメラの一部は、上記動き捕捉空間内において、動きを追跡するために移動できることを特徴とする請求項２記載のモーションキャプチャシステム。
【請求項１２】
上記動き捕捉空間の面積は、約１００ｆｔであることを特徴とする請求項１記載のモーションキャプチャシステム。
【請求項１３】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、上記動き捕捉空間を照明するように配設された偏光光の光源と、他のカメラから該動き捕捉空間を越えてくる偏光光を遮断する偏光フィルタとを備えることを特徴とする請求項２記載のモーションキャプチャシステム。
【請求項１４】
更に、上記動き捕捉空間の音声を拾う少なくとも１本のマイクロホンを備える請求項１記載のモーションキャプチャシステム。
【請求項１５】
身体の複数の点を定義する身体マーカ及び顔の複数の点を定義する顔マーカが付けられた少なくとも１人の演技者を収容する動き捕捉空間と、
上記動き捕捉空間の周囲に配設された複数の身体の動きカメラと、
上記複数の身体の動きカメラの視野よりも狭い視野を有し、上記動き捕捉空間内で動作中の上記少なくとも１人の演技者の外側面の全てが、略常にその少なくとも１台のカメラの視野に入るように、該動き捕捉空間の周囲に配設された顔の動きカメラと、
上記複数の身体の動きカメラ及び上記複数の顔の動きカメラに接続され、上記少なくとも１人の演技者の顔の動きと身体の動きを組み合わせた動きを反映したデジタル表現を生成するモーションキャプチャプロセッサとを備える顔と身体の組合せモーションキャプチャシステム。
【請求項１６】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、固定されていることを特徴とする請求項１５記載の顔と身体の組合せモーションキャプチャシステム。
【請求項１７】
上記複数の顔の動きカメラの一部及び上記複数の身体の動きカメラの一部は、上記動き捕捉空間内において、動きを追跡するために移動できることを特徴とする請求項１５記載の顔と身体の組合せモーションキャプチャシステム。
【請求項１８】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、上記動き捕捉空間を照明するように配設された偏光光の光源と、他のカメラから該動き捕捉空間を越えてくる偏光光を遮断する偏光フィルタとを備えることを特徴とする請求項１５記載の顔と身体の組合せモーションキャプチャシステム。
【請求項１９】
身体の複数の点を定義する身体マーカ及び顔の複数の点を定義する顔マーカが付けられた少なくとも１人の演技者を収容する動き捕捉空間を定めるステップと、
上記動き捕捉空間の周囲に複数の身体の動きカメラを配設するステップと、
上記複数の身体の動きカメラの視野よりも狭い視野を有し、上記動き捕捉空間内で動作中の上記少なくとも１人の演技者の外側面の全てが、略常にその少なくとも１台の視野に入るように、該動き捕捉空間の周囲に複数の顔の動きカメラを配設するステップと、
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラからのデータを処理して、上記少なくとも１人の演技者の身体の動きと顔の動きを組み合わせた動きを反映したデジタル表現を生成するステップとを有するモーションキャプチャ方法。
【請求項２０】
上記動き捕捉空間を、該動き捕捉空間の周囲と一致する複数の側面を有する４分割空間に分割するステップと、
上記複数の顔の動きカメラの第１のカメラ群を、上記４分割空間のそれぞれの側面に向けて配設するステップとを有する請求項１９記載のモーションキャプチャ方法。
【請求項２１】
更に、上記複数の顔の動きカメラの第２のカメラ群を、上記第１のカメラ群から空間的に離し、上記４分割空間のそれぞれの側面に向けて配設するステップを有する請求項２０記載のモーションキャプチャ方法。
【請求項２２】
更に、上記第１のカメラ群を、上記第２のカメラ群の視野と略重なるように該第２のカメラ群に対して配設するステップを有する請求項２１記載のモーションキャプチャ方法。
【請求項２３】
上記第１及び第２のカメラ群は、それぞれ少なくとも３台のカメラからなることを特徴とする請求項２１記載のモーションキャプチャ方法。
【請求項２４】
更に、上記複数の顔の動きカメラの第３のカメラ群を、上記動き捕捉空間のそれぞれの角に、該動き捕捉空間の中心に向けて配設するステップを有する請求項１９記載のモーションキャプチャ方法。
【請求項２５】
更に、上記複数の顔の動きカメラの第１の一部を床から第１段の高さに配設し、該複数の顔の動きカメラの第２の一部を該第１段の高さより高い第２の高さに配設するステップを有する請求項１９記載のモーションキャプチャ方法。
【請求項２６】
更に、上記複数のカメラの第１の一部を、上記動き捕捉空間を挟んで対向する側面に配設された該第１の一部の他のカメラが視野に入らないように、僅かに上向きに配設するステップを有する請求項２５記載のモーションキャプチャ方法。
【請求項２７】
更に、上記複数の顔の動きカメラ及び上記複数の身体の動きカメラを固定するステップを有する請求項１９記載のモーションキャプチャ方法。
【請求項２８】
更に、上記複数の顔の動きカメラの一部分及び上記複数の身体の動きカメラの一部を、上記動き捕捉空間内において、動きを追跡するために移動するステップを有する請求項１９記載のモーションキャプチャ方法。
【請求項２９】
更に、上記動き捕捉空間を偏光光で照明するとともに、他のカメラから該動き捕捉空間を越えてくる偏光光を遮断する偏光フィルタを、上記複数の顔の動きカメラ及び上記複数の身体の動きカメラに設けるステップを有する請求項１９記載のモーションキャプチャ方法。
【請求項３０】
更に、上記動き捕捉空間内の音声を録音するステップを有する請求項１９記載のモーションキャプチャ方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【発明の名称】モーションキャプチャシステム及び方法
【技術分野】
【０００１】
本発明は、３次元グラフィック及びアニメーションに関し、特に、複数の演技者を収容する空間内において顔の動きと身体の動きを同時に捕捉するモーションキャプチャシステム及び方法に関する。
【０００２】
本出願は、２００３年３月１３日に出願された出願番号６０／４５４，８７２号、発明の名称「モーションキャプチャシステム」に基づく、優先権を主張するものである。
【背景技術】
【０００３】
モーションキャプチャシステムは、実際の物体の動きを捉え、コンピュータで生成された物体上にその動きをマッピングするために用いられる。このようなモーションキャプチャシステムは、多くの場合、映画及びビデオゲームの制作で用いられており、コンピュータグラフィック（以下、CGという）アニメーションを生成するためのソースデータとして用いられる人物のデジタル表現を生成する。代表的なモーションキャプチャシステムは、演技者が様々な位置にマーカを装着した（例えば胴体及び手足に小型の反射マーカを装着した）スーツを着て、マーカを照明し、デジタルカメラによって様々な角度から演技者の動きを記録する。モーションキャプチャシステムでは、画像を解析して、各フレーム内の演技者のスーツに装着されたマーカの位置（例えば空間座標）及び動きの方向を測定する。モーションキャプチャシステムは、マーカの位置を追跡することにより、時間の経過に伴うマーカの空間的な表現を生成して、演技中の演技者のデジタル表現を生成する。そして、演技者の動きをデジタルモデルに適用し、テクスチュアリング及びレンダリングして、演技者及び／又は演技の完全なＣＧ表現を生成する。特殊効果を専門とする会社は、この技術を用い、多くの有名な映画では驚異的な現実感があるアニメーションを制作している。
【０００４】
モーションキャプチャシステムは、演技者の顔の要素の動きを追跡し、演技者の顔の動き及び表情の表現（例えば笑い、泣き、微笑み）を生成する。身体の動きキャプチャと同様に、マーカを、演技者の顔に装着し、カメラで演技者の表情を記録する。顔の動きは、身体の動きが大きな筋肉の動きを伴うのに比べて、小さい筋肉の動きを伴うので、顔マーカは、身体マーカに比べて通常遙かに小さく、そのカメラは、身体の動きを捕捉するのに通常用いられるカメラよりも高解像度である。複数のカメラは、通常、カメラの焦点が顔にあった状態に保つように動きが制限された演技者の物理的な動きによって、共通の平面内に配置される。顔のモーションキャプチャシステムは、顔のマーカを一様に照明するとともに、カメラと顔間の相対的な移動量が最小限となるように、ヘルメット又は演技者に物理的に装着される他の器具に取り付けられる。この理由から、顔の動きと身体の動きは、通常、別のステップで捕捉される。そして、捕捉された顔の動きデータは、捕捉された身体の動きデータと、後続のアニメーション化処理の一部として後で組み合わされる。
【０００５】
キーフレーミング等の従来のアニメーション技術に対して、モーションキャプチャシステムは、リアルタイムで見ることができるという利点がある。制作チームは、演技者の動きの空間的な表現をリアルタイム又は略リアルタイムで見直すことができ、演技者は、最適データを捕捉するために身体的な演技を変更することができる。更に、モーションキャプチャシステムは、他のアニメーション技術を用いて容易に再現することができない身体の動きの微妙なニュアンスを検出し、それによって、自然な動きをより正確に反映したデータを生成する。この結果、モーションキャプチャシステムが収集したソースマテリアルを用いて生成されたアニメーションは、実写により近い現実感を実現することができる。
【０００６】
モーションキャプチャシステムには、これらの利点があるが、顔の動きと身体の動きを別々に捕捉すると、多くの場合、アニメーションデータの現実感が損なわれることがある。顔の動きと身体の動きには密接不可分に関連しており、顔の表現は、多くの場合、それに対応する身体の動きによってより強調される。例えば、演技者は、身体の動作（すなわちボディランゲージ）を用いて、例えば興奮して話すときに腕をバタバタ動かし、しかめっ面をするときは眉をひそめて、表情に対応した感情及び強調を伝える。動きを別々に捕捉した場合、顔の動きと身体の動きとの間のこの関係は失われ、別々に捕捉された動きを同期させることは困難である。顔の動きと身体の動きを組み合わせたとき、得られるアニメーションは、多くの場合、目立って不自然に見えてしまう。モーションキャプチャの目的は、より現実的なアニメーションを生成することであり、顔の動きと身体の動きが連係していない従来のモーションキャプチャシステムは、重大な欠点を有する。
【０００７】
従来のモーションキャプチャシステムは、他の物体、例えば柱又は他の演技者などの妨害によって、演技者の動きデータが失われるという欠点がある。特に、身体マーカ又は顔マーカの一部がデジタルカメラの視野から遮蔽された場合、身体の動き又は顔の動きのデータの一部は、集まらない。これにより動きデータに遮蔽（occlusion）、すなわち抜けが生じる。遮蔽は、従来のＣＧ技術を用いて、ポストプロダクションでデータを補うことはできるが、補充したデータは、実際の動きデータで得られる品質を欠き、視聴者は、アニメーションの欠陥を見分けることができる。従来のモーションキャプチャシステムは、この問題を避けるために、一度に捕捉する物体を複数から、例えば１人の演技者に限定している。演技者の演技の質は、多くの場合、他の演技者及び物体との相互作用に依存するので、捕捉する物体を１人の演技者にすると、動きデータは現実感がなくなる。更に、別々の演技を自然に見える方法で組み合わせることは、困難である。
【０００８】
更に、従来のモーションキャプチャシステムでは、モーションキャプチャと同時に音声が録音されないというもう一つの欠点がある。アニメーションでは、まず音声トラックを録音し、次に、音声トラックに同期するように登場人物をアニメーション化する。顔の動きを捕捉する際には、演技者は、録音された音声トラックに唇の動きを同期させる。演技者にとって、音声トラックに顔の動きを完全に同期させることは困難であるため、動きデータの視覚的な品質は、一層落ちてしまう。また、身体の動きは、多くの場合、発話方法に影響を与え、身体の動きと顔の動きを別々に捕捉すると、身体の動きと顔の動きを組み合わせた完成品に音声トラックを同期させることは、ますます困難である。
【０００９】
したがって、上述した従来技術の欠点及び他の欠点を克服したモーションキャプチャシステムを提供することが、望まれている。特に、複数の演技者を収容する１つの空間において、身体の動きと顔の動きとを同時に捕捉することができるモーションキャプチャシステムが望まれている。また、身体のモーションキャプチャ及び顔のモーションキャプチャと同時に音声を録音できるモーションキャプチャシステムを提供することが、望まれている。
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明に係るモーションキャプチャシステム及び方法は、複数の演技者を収容する空間内において、顔の動きと身体の動きとを同時に捕捉することができる。また、モーションキャプチャシステム及び方法は、身体の動きと顔の動きとを同時に、音声を録音することができる。
【００１１】
より詳しくは、本発明に係るモーションキャプチャシステム及び方法は、身体の複数の点を定義する身体マーカ及び顔の複数の点を定義する顔マーカが付けられた少なくとも１人の演技者を収容する動き捕捉空間を備える。動き捕捉空間は、あらゆる所望の幾何学形状、例えば楕円形、円形、矩形、多角形等の形状を有する。複数の身体の動きカメラ及び複数の顔の動きカメラは、動き捕捉空間の周囲に配設される。顔の動きカメラは、身体の動きカメラの視野よりも狭い視野を有する。顔の動きカメラは、動き捕捉空間内で動作中の演技者の外側面の全てが、略常に複数の顔の動きカメラの少なくとも１台の視野に入るように配設されている。複数の顔の動きカメラ及び複数の身体の動きカメラは、モーションキャプチャプロセッサに接続されており、モーションキャプチャプロセッサは、演技者の身体の動きと顔の動きを組み合わせた動きを反映したデジタルモデルを生成する。少なくとも１本のマイクロホンが、動き捕捉空間の音声を拾うように配設されている。
【００１２】
本発明の実施の形態では、動き捕捉空間は、４分割空間に分割された矩形の領域からなる。４分割空間は、それぞれ動き捕捉空間の周囲と一致する複数の側面を有する。また、複数の顔の動きカメラは、４分割空間のそれぞれの側面に向けて配設された第１のカメラ群を含む。更に、複数の顔の動きカメラは、第１のカメラ群から空間的に離れ、４分割空間のそれぞれの側面に向けて配設された第２のカメラ群を含む。第１のカメラ群は、第２のカメラ群の視野と略重なるように、第２のカメラ群に対して配設されている。また、第１及び第２のカメラ群は、それぞれ少なくとも３台のカメラを含む。更に、複数の顔の動きカメラは、動き捕捉空間のそれぞれの角に、動き捕捉空間の中心に向けて配設された第３のカメラ群を含む。
【００１３】
本発明の一実施の形態では、複数の顔の動きカメラの第１の一部は、床から第１の高さに配設され、複数の顔の動きカメラの第２の一部は、床から第１の高さより高い第２の高さに配設されている。複数の顔の動きカメラの第１の一部は、動き捕捉空間を挟んで対向する側面に配設された第１の一部の他のカメラが視野に入らないようにように僅かに上向きに配設されている。
【００１４】
また、本発明の一実施の形態では、複数の顔の動きカメラ及び複数の身体の動きカメラは、動き捕捉空間を照明するように配設された偏光光の光源と、他のカメラから動き捕捉空間を越えてくる偏光光を遮断する偏光フィルタとを備える。
【００１５】
身体の動きと顔の動きを捕捉するモーションキャプチャシステム及び方法を、本発明の効果及び目的と同様に、当業者が完全に理解できるように、以下、好ましい実施の形態について、詳細に説明する。
【発明を実施するための最良の形態】
【００１６】
本発明に係るモーションキャプチャシステム及び方法は、複数の演技者を収容する空間内において、身体の動きと顔の動きとを同時に捕捉することができる。更に、本発明は、身体の動きと顔の動きとを捕捉し、同時に音声を録音することができるモーションキャプチャシステムの要求も満たす。図面における同じ構成要素には、同じ指示符号を付し、以下に詳細に説明する。
【００１７】
以下、本発明に係るモーションキャプチャシステムについて、図面を参照しながら説明する。図１は、本発明を適用したモーションキャプチャシステムの構成を示すブロック図である。図１に示すように、モーションキャプチャシステム１０は、複数の顔の動きカメラ１４１〜１４ｎと、複数の身体の動きカメラ１６１〜１６ｎと、これらのカメラと通信するモーションキャプチャプロセッサ１２とを備える。モーションキャプチャプロセッサ１２は、例えば、関連するデータファイルを格納することができるデータ記憶装置２０を備えるプログラム可能なコンピュータからなる。モーションキャプチャプロセッサ１２には、１台以上のワークステーション１８１〜１８ｎがネットワークを用いて接続されており、コンピュータグラフック（以下、ＣＧという）アニメーションを制作するプロセスにおいて、複数のグラフィックアーティストが、格納されたデータファイルも用いて仕事をすることができる。顔の動きカメラ１４１〜１４ｎ及び身体の動きカメラ１６１〜１６ｎは、動き捕捉空間（後述する）に向けて配設され、動き捕捉空間内における１人以上の演技者の組み合わされた動きを捕捉する。
【００１８】
各演技者の顔及び身体には、マーカが付けられており、これらのマーカは、モーションキャプチャ空間３０内で演技者が演技している間に、顔動きカメラ１４１〜１４ｎ及び身体動きカメラ１６１〜１６ｎによって検出される。マーカは、反射素子又は照明素子とすることができる。特に、各演技者の身体は、例えば、頭、足、腕及び胴体を含む身体の様々な位置に装着された複数の反射マーカによってマークされる。また、演技者は、マーカが装着されている無反射の材料で作られたボディスーツを着用する。また、演技者の顔を複数のマーカでマークする。顔マーカは、通常、身体マーカよりも小さく、顔マーカの数は、身体マーカよりも多く用いられる。十分な解像度で顔の動きを捕捉するためには、多数の顔マーカ（例えば１００個以上）を用いることが望ましい。一実施の形態では、１５２個の小さい顔マーカと６４個の大きい身体マーカを演技者に装着させる。身体マーカの幅又は直径は、５ｍｍ〜９ｍｍであり、顔マーカの幅又は直径は、２ｍｍ〜４ｍｍである。
【００１９】
顔マーカの位置の精度を保証するために、所望のマーカ位置に対応した適切な位置に穴を開けた各演技者のマスクを作成してもよい。マスクを演技者の顔に被せて、穴の位置を演技者の顔に直接ペンでマークする。そして、顔マーカを演技者の顔のマークされた位置に付ける。顔マーカは、演劇の分野では知られている化粧のりなどの適切な材料を用いて、演技者の顔に貼り付けることができる。このように、長期間（例えば数ヶ月）に亘るモーションキャプチャ生成において、たとえマーカを毎日貼り付け、且つ剥がしたとしても、演技者の一貫した動きデータを無理なく得ることができる。
【００２０】
モーションキャプチャプロセッサ１２は、顔の動きカメラ１４１〜１４ｎ及び身体の動きカメラ１６１〜１６ｎから受信される２次元映像を処理して、捕捉した動きの３次元デジタル表現を生成する。特に、モーションキャプチャプロセッサ１２は、各カメラ１４１〜１４ｎ、カメラ１６１〜１６ｎからの２次元データを受信し、画像捕捉処理の一部として、これらの２次元データを複数のデータファイルの形でデータ記憶装置２０に保存する。そして、これらの２次元データファイルは、画像処理プロセスの一部として、３次元座標の単一のセットに分解され、３次元座標は、連結されて、個々のマーカの動きを表す軌跡ファイルの形とされる。画像処理プロセスでは、１台以上のカメラからの映像が用いられ、各マーカの位置が決定される。例えば、あるマーカは、動き捕捉空間内の演技者の顔の形状及び身体の一部による遮蔽（occlusion）が原因で、一部のカメラでしか捉えることができない場合もある。この場合、画像処理プロセスでは、妨害がなく、マーカを捉えることができる他のカメラからの映像を用いて、動き捕捉空間におけるマーカの位置を決定する。
【００２１】
マーカの位置を決定するのに複数のカメラからの映像を用いることにより、画像処理プロセスでは、画像情報を複数の角度から評価し、三角測量処理を用いて空間的な位置を決定する。そして、軌跡ファイルに基づいて、運動の計算を行い、演技者の演技に対応した身体及び顔の動きを反映したデジタル表現を生成する。時間軸上の空間情報を用いた運動の計算は、各マーカの経過を、マーカの空間上の移動として測定する。適切なデータ管理プロセスを用いて、全プロセスに関する多数のファイルのデータ記憶装置２０に対する保存及び／又は検索を制御することができる。モーションキャプチャプロセッサ１２及びワークステーション１８１〜１８ｎは、例えばVicon Motion System Ltd又はMotion Analysis Corp.から入手可能な商業ソフトウェアパッケージを用いて、これらのデータの処理機能又は他のデータ処理機能を実行する。
【００２２】
更に、モーションキャプチャシステム１０は、動きに加えて音声を録音することができる。複数のマイクロホン２１１〜２４ｎは、動き捕捉空間の周囲に配設され、演技者の演技中の音声（例えば会話）を拾う。モーションキャプチャプロセッサ１２には、マイクロホン２４１〜２４ｎが直接又はオーディオインタフェース２２を介して接続されている。マイクロホン２４１〜２４ｎは、所定の位置に固定することもでき、動きを追跡するようにブーム上を移動させることもでき、演技者に装着して、無線でモーションキャプチャプロセッサ１２又はオーディオインタフェース２２と通信することもできる。モーションキャプチャプロセッサ１２は、録音した音声を受信し、音声をデジタルファイルの形で、タイムトラック又は動きデータと同期させる他のデータとともに、データ記憶装置２０に保存する。
【００２３】
図２及び図３は、複数のモーションキャプチャカメラを周囲に配設した動き捕捉空間３０の一具体例を示す。動き捕捉空間３０は、周縁３２を有する。動き捕捉空間３０は、格子線で分割された矩形の領域として示される。なお、動き捕捉空間３０は、実際には、動き捕捉空間３０の床を定義する格子を有する３次元空間である。動きは、床の上の３次元空間内において捕捉される。本発明の実施の形態では、動き捕捉空間３０の床面積は、約１０ｆｔ×１０ｆｔであり、高さは、床から約６ｆｔである。動き捕捉空間は、制作における特定の要求に合わせて、様々な大きさ及び形状、例えば楕円、円形、矩形、多角形とすることができる。
【００２４】
図２は、周縁３２の周囲に複数のモーションキャプチャカメラを略円状のパターンで配設した動き捕捉空間３０の平面図である。個々のカメラは、カメラのレンズの方向を示す鋭角の三角形で示され、複数の異なる方向から動き捕捉空間３０に向けて配設されている。具体的には、複数のモーションキャプチャカメラは、複数の身体の動きカメラ１６１〜１６８と、複数の顔の動きカメラ１４１〜１４ｎとからなる。なお、図２において、顔の動きカメラ１４１〜１４ｎの数は多いため、全てのカメラに指示符号を付していない。本発明の実施の形態では、顔の動きカメラ１４の台数ｎは、身体の動きカメラ１６の台数よりも多い。身体の動きカメラ１６１〜１６８は、動き捕捉空間３０の１側面当たり約２台が配設され、顔の動きカメラ１４１〜１４ｎは、動き捕捉空間３０の１側面当たり約１２台が配設されている。顔の動きカメラ１４１〜１４ｎ及び身体の動きカメラ１６１〜１６８は、実質的に同じカメラであるが、顔の動きカメラ１４の集束レンズは、身体の動きカメラ１６の集束レンズよりも狭い視野を有するものが選ばれている。
【００２５】
図３は、動き捕捉空間３０の床の上を大まかに３つの段に分けて、モーションキャプチャカメラを配設した動き捕捉空間３０の側面図である。動き捕捉空間３０の下段には、顔の動きカメラ１４１〜１４３２が、１側面当たり約８台配設されている。本発明の実施の形態では、各顔の動きカメラ１４１〜１４３２は、動き捕捉空間３０を挟んで対向する側面に配設されたカメラが視野に入らないように僅かに上向きになっている。モーションキャプチャカメラは、通常、動き捕捉空間３０を照明する光源（例えば発光ダイオードのアレー）を備える。この光源からの直接光は、反射マーカからの反射光よりも非常に強いので、モーションキャプチャカメラが他のモーションキャプチャカメラの光源を「視界に捉えない（see）」ことが望ましい。動き捕捉空間３０の中段には、身体の動きカメラ１６３〜１６７が、動き捕捉空間３０の１側面当たり約２台配設されている。上述したように、身体の動きカメラ１６の視野は、顔の動きカメラ１４より広く、それぞれの視野内に動き捕捉空間３０のより広い範囲を含む。
【００２６】
動き捕捉空間３０の上段には、複数の顔の動きカメラ（例えば１４３３〜１４５２）が、動き捕捉空間３０の１側面当たり約５台配設されている。本発明の実施の形態では、各顔の動きカメラ１４３３〜１４５２は、動き捕捉空間３０を挟んで対向する側面に配設されたカメラが視野に入らないようにやや下向きになっている。図２の左側に示すように、動き捕捉空間３０の中段には、多数の顔の動きカメラ（例えば１４５３〜１４６０）も、動き捕捉空間３０の正面（front edge）に焦点を定めて配設されている。通常演技者の演技は、動き捕捉空間３０の正面を向いて行われるので、遮蔽に起因して失われるデータ量を減すために、その領域におけるカメラの台数は多くなっている。更に、数台の顔の動きカメラ（例えば１４６１〜１４６４）が、動き捕捉空間３０の中段に、動き捕捉空間３０の角に焦点を定めて配設されている。これらの顔の動きカメラ１４６１〜１４６４によって、遮蔽に起因して失われるデータ量は、少なくなる。
【００２７】
本発明の好ましい実施の形態では、身体の動きカメラ１６及び顔の動きカメラ１４は、演技者の外側面の全てが、実質的に、少なくとも１台のカメラで常に捉えられるように、マークされた演技者の画像を多くの異なる角度から記録する。更に、好ましくは、身体の動きカメラ１６及び顔の動きカメラ１４は、演技者の外側面の全てが、実質的に、少なくとも３台のカメラで常に捉えられるように、配設されている。演技者の不規則な表面は、カメラを複数の高さに配設することにより、動き捕捉空間３０内における演技者の動きとしてモデル化される。それによって、本発明のモーションキャプチャシステム１０は、演技者の身体の動きを顔の動き（すなわち表情）と同時に記録する。また、上述したように、音声もモーションキャプチャと同時に録音することができる。
【００２８】
図４は、顔の動きカメラ１４の配設の一具体例を示す動き捕捉空間３０の平面図である。動き捕捉空間３０は、図形的に４分割空間ａ、ｂ、ｃ、ｄに分割される。顔の動きカメラ１４１〜１４６４は、複数のカメラをそれぞれ表すカメラ群３６、３８にグループ化されている。例えば、そのようなカメラ群の１つは、例えば動き捕捉空間３０の下段に配設された２台の顔の動きカメラと、動き捕捉空間３０の上段に配設された１台の顔の動きカメラとを含む。また、カメラ群内の他のカメラ配設も効果的に用いることができる。２つのカメラ群３６、３８は、物理的には、互いに隣接し、水平方向に識別できる距離オフセットして配設されている。２つのカメラ群３６、３８は、それぞれ４分割空間ｄの正面に約４５度の角度から焦点を定めている。第１のカメラ群３６の視野は、４分割空間ｃの正面の一部から４分割空間ｄの正面の右端まで広がり、第２のカメラ群３８の視野は、４分割空間ｄの正面の左端から４分割空間ｄの右側面の一部まで広がっている。したがって、第１のカメラ群３６の視野と第２のカメラ群３８の視野は、４分割空間ｄの正面の大体の長さにおいて重なっている。４分割空間ａ、ｂ、ｃ、ｄの他の各（周縁３２に一致した）外縁のカメラ群は、同様に配設されている。
【００２９】
図５は、顔の動きカメラ１４の配設の一具体例を示す動き捕捉空間３０の平面図である。動き捕捉空間３０は、図４と同様に、図形的に４分割空間ａ、ｂ、ｃ、ｄに分割される。顔の動きカメラ１４１〜１４６４は、複数のカメラをそれぞれ表すカメラ群４２、４４にグループ化されている。図４の実施の形態と同様に、カメラ群は、異なる高さに配設された１台以上のカメラを含む。カメラ群４２、４４は、図５に示すように、動き捕捉空間３０の角から動き捕捉空間３０に向けて配設されている。このように角に配設されたカメラ群４２、４４は、例えば遮蔽に起因して他のカメラでは記録されない演技者の画像を記録する。また、他のカメラ群も動き捕捉空間３０の他の角に配設されている。
【００３０】
カメラの高さ及び角度を動き捕捉空間３０に対して多様化することによって、演技者から捕捉される利用可能なデータが増えるとともに、データの遮蔽の可能性が減少する。また、動き捕捉空間３０内の複数の演技者を同時に捕捉することができる。更に、カメラの台数を増やし、高さ及び角度を多様化することにより、動き捕捉空間３０の広さは、従来技術のそれよりも広くなり、これによって、動き捕捉空間３０内の可動範囲が広がり、したがって、より複雑な演技をすることができる。なお、顔の動きカメラ及び身体の動きカメラを他にも効果的に配設できることは、明らかである。例えば、動き捕捉空間３０の段数を増やし又は減らし、各段のそれぞれのカメラの実際の高さを変えることもできる。
【００３１】
上述した本発明の好ましい実施の形態では、身体の動きカメラ及び顔の動きカメラは、固定されている。このように、モーションキャプチャプロセッサ１２は、身体マーカ及び顔のマーカの動きを測定できる固定された基準点を有する。このような配設により、動き捕捉空間３０の大きさが制限されるという欠点がある。より大きな空間（例えば、キャラクタが長い距離を走るシーン）を必要とする演技の動きを捕捉する場合、演技は、複数に分割され、動きは別々に捕捉される。本発明の他の実施の形態では、一部のカメラは固定され、他のカメラは、演技に従って移動する。可動カメラの全ては、コンピュータ制御のサーボモータによって移動でき、あるいは人間のカメラオペレータによって手動で移動することができる。モーションキャプチャプロセッサ１２は、カメラの動きを追跡し、このカメラの動きを、捕捉したデータの後続の処理において除去し、演技者の演技に対応する身体の動き及び顔の動きを反映した３次元のデジタル表現を生成する。
【００３２】
図６は、動き捕捉空間３０内の２人の演技者５２、５４を反映した動き捕捉データを示す動き捕捉空間３０の斜視図である。図６は、図１を参照して説明したワークステーション１８のオペレータによって、動き捕捉データがどのように見えるかを示している。図６は、図２及び図３と同様に、動き捕捉空間３０の下段に配設された顔の動きカメラ１４１〜１４１２と、上段に配設された顔の動きカメラ１４３３〜１４４０と、動き捕捉空間３０の角に配設された顔の動きカメラ１４６０、１４６２とを含む複数の顔の動きカメラを示している。２人の演技者５２、５４は、彼らの身体及び顔に装着された反射マーカに対応した斑点（cloud of dots）として現れる。上述したように、演技者の顔に装着されたマーカの数は、身体のそれよりも多い。演技者の身体及び顔の動きは、上述したように、モーションキャプチャシステム１０によって追跡される。
【００３３】
図７及び図８は、ワークステーション１８のオペレータによって見える動き捕捉データを示す図である。動き捕捉データは、図６と同様に、２人の演技者５２、５４を反映し、集中した点は、演技者の顔を表し、他の点は、身体の点を表している。また、動き捕捉データは、楕円形で示す３つの遮蔽領域６２、６４、６６を含んでいる。遮蔽領域６２、６４、６６は、１台のカメラから別のカメラの視野に入る光に起因して、信頼性が高い動きデータが捕捉できなかった場所を表している。この光は、反射マーカからの照明光よりも非常に強く、モーションキャプチャプロセッサ１２は、この光を身体マーカ又は顔マーカと判断する。モーションキャプチャプロセッサ１２によって実行される画像処理プロセスによって、図７及び図８に示す遮蔽領域６２、６４、６６を定義することにより、カメラの照明を除去した仮想のマスクを生成する。制作会社は、遮蔽領域によって隠される動きを物理的に避けるために、演技者の演技を制御しようとすることができる。しかしながら、動き捕捉データは、その幾つかが損失することは避けられず、図８に示すように、演技者５４の顔は、身体的な動きによって遮蔽領域６４に略完全に隠されてしまう。
【００３４】
図９は、遮蔽の問題を減少させるモーションキャプチャシステムの一実施の形態を示す図である。特に、図９では、カメラ８４とカメラ７４は、物理的に、動き捕捉空間（図示せず）を挟んで対向するように配設されている。カメラ８４、７４は、カメラの視界を照明する光源８８、７８をそれぞれ備えている。更に、カメラ８４、７４は、カメラのレンズの前面には移設された偏光フィルタ８６、７６をそれぞれ備える。以下の説明から明らかなように、偏光フィルタ８６、７６は、互いに偏光面を異にして（すなわち回転されて）配向されている。また、光源８８は、光を放出し、この光は偏光フィルタ８６によって偏光される。偏光光は、カメラ７４の偏光フィルタ７６に届くが、偏光フィルタ７６によって反射又は吸収されて、カメラ７４には届かない。この結果、カメラ７４は、カメラ８４からの照明光を「視界に捉えなく（see）」、それによって、遮蔽領域が形成されるのを回避でき、仮想のマスクが必要なくなる。
【００３５】
上述では、身体及び顔に物理的なマーカを取り付けて動きを追跡するのに、光学的な検出方法を用いることについて説明したが、当業者には、他の方法によっても動きを効果的に追跡できることは明らかである。例えば、演技者の身体的特徴（例えば鼻又は目の形）は、マーカの代わりに、固有のマーカとして用いることができる。そのような身体の特徴をベースとしたモーションキャプチャシステムでは、各演技の前に、演技者にマーカを付けることを省略することができる。また、光学的マーカ以外の他の媒体も、マーカに相当するものとして検出することができる。例えば、マーカを、超音波又は電磁波送出素子とし、動き捕捉空間の周囲に配設した、対応する受信機で検出するようにすることもできる。この場合、上述したカメラは、単に光学センサとして用いられたものであり、他の複数のセンサも効果的に用いることができることは、明らかである。
【００３６】
上述した身体の動きと顔の動きを捕捉するモーションキャプチャシステム及び方法の好ましい実施の形態では、当業者にとって、本発明がある特定の効果を奏することは、明らかである。なお、本発明の範囲及び趣旨を逸脱することなく、上述した実施の形態に様々な変更、改良を加え、他の実施の形態を用いることができることは、明らかである。
【図面の簡単な説明】
【００３７】
【図１】本発明を適用したモーションキャプチャシステムの構成を示すブロック図である。
【図２】複数のモーションキャプチャカメラを周囲に配設した動き捕捉空間の平面図である。
【図３】複数のモーションキャプチャカメラを周囲に配設した動き捕捉空間の側面図である。
【図４】顔の動きカメラを角に配設した動き捕捉空間の平面図である。
【図５】顔の動きカメラを角に配設した動き捕捉空間の平面図である。
【図６】動き捕捉空間内の２人の演技者を反映した動き捕捉データを示す動き捕捉空間の斜視図である。
【図７】動き捕捉空間内の２人の演技者を反映したデータの遮蔽領域を示す動き捕捉データである。
【図８】図７に示す演技者の１人が、遮蔽領域によって隠されている場合の動き捕捉データである。
【図９】モーションキャプチャシステムに用いられるモーションキャプチャカメラの他の実施の形態を示すブロック図である。