(57)【要約】モーションキャプチャ空間における身体の複数の点及び顔の複数の点を定義するために少なくとも１人の演技者に装着された身体マーカ及び顔マーカを備えるモーションキャプチャシステム及びモーションキャプチャ空間において少なくとも１人の演技者に装着された身体マーカ及び顔マーカによって身体の複数の点及び顔の複数の点を定義するモーションキャプチャ方法。モーションキャプチャ空間３０の周囲に配置された複数の身体の動きカメラ及び顔の動きカメラ。身体の動きカメラの視野よりも狭い視野を有するモーションキャプチャカメラ。モーションキャプチャ空間３０内で動作中の演技者の横から見える全ての側面が、略常に複数の顔の動きカメラ群の少なくとも１台の視野に入るように配置された顔の動きカメラ。演技者の組み合わされた身体の動きと顔の動きを反映したデジタルモデルを生成する複数の顔の動きカメラ及び複数の身体の動きカメラを接続しているモーションキャプチャプロセッサ１２。モーションキャプチャ空間の音を録音する方向に向けて配置されている少なくとも１つのマイクロホン。
2006520476.tif 000002
【特許請求の範囲】
【請求項１】
モーションキャプチャ空間における身体の複数の点及び顔の複数の点を定義するために、少なくとも１人の演技者に装着された身体マーカ及び顔マーカと、
上記モーションキャプチャ空間内で動作中の上記少なくとも１人の演技者の横から見える全ての表面が、略常にその少なくとも１台の視野に入るように、該モーションキャプチャ空間の周囲に配置された複数の顔の動きカメラと、
上記複数の顔の動きカメラに接続され、上記少なくとも１人の演技者の顔の動きを反映したデジタル表現を生成するモーションキャプチャプロセッサとを備えるモーションキャプチャシステム。
【請求項２】
更に、上記モーションキャプチャ空間の周囲に配置された複数の身体の動きカメラを備え、
上記複数の顔の動きカメラは、上記複数の身体の動きカメラの視野よりも狭い視野を有し、上記モーションキャプチャプロセッサは、該複数の身体の動きカメラに接続され、上記デジタル表現は、上記少なくとも１人の演技者の身体の動きを反映していることを特徴とする請求項１に記載のモーションキャプチャシステム。
【請求項３】
上記モーションキャプチャ空間は、複数の４分割空間に分割された長方形の領域からなり、該複数の４分割空間は、それぞれ該モーションキャプチャ空間の周囲と一致する複数の辺を有し、上記複数の顔の動きカメラは、該辺のそれぞれ一辺に向けて配置されている第１のカメラ群を含むことを特徴とする請求項１に記載のモーションキャプチャシステム。
【請求項４】
上記複数の顔の動きカメラは、上記辺のそれぞれ一辺に向けて配置されている第２のカメラ群を含み、該第２のカメラ群は、上記第１のカメラ群から空間的に離れていることを特徴とする請求項３に記載のモーションキャプチャシステム。
【請求項５】
上記第１のカメラ群は、上記第２のカメラ群の視野と略重なるように該第２のカメラ群に対して配置されていることをを特徴とする請求項４に記載のモーションキャプチャシステム。
【請求項６】
上記第１及び第２のカメラ群は、それぞれ少なくとも３台のカメラからなることを特徴とする請求項３に記載のモーションキャプチャシステム。
【請求項７】
上記複数の顔の動きカメラは、上記モーションキャプチャ空間のそれぞれの角に、該モーションキャプチャ空間の中心に向けて配置されている第３のカメラ群を含むことを特徴とする請求項３に記載のモーションキャプチャシステム。
【請求項８】
上記複数の顔の動きカメラの第１の一部は、地上から第１の高さに配置されており、該複数の顔の動きカメラの第２の一部は、上記第１の高さよりも高い第２の高さに配置されていることを特徴とする請求項１に記載のモーションキャプチャシステム。
【請求項９】
上記複数の顔の動きカメラの第１の一部は、上記モーションキャプチャ空間を略交差して配置されている該第１の一部の他のカメラが視野に入らないようにやや上向きに配置されていることを特徴とする請求項８に記載のモーションキャプチャシステム。
【請求項１０】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、固定されていることを特徴とする請求項２に記載のモーションキャプチャシステム。
【請求項１１】
上記複数の顔の動きカメラの一部及び上記複数の身体の動きカメラの一部は、上記モーションキャプチャ空間内において動きを追跡するために移動できることを特徴とする請求項２に記載のモーションキャプチャシステム。
【請求項１２】
上記モーションキャプチャ空間の面積は、約１００平方フィートであることを特徴とする請求項１に記載のモーションキャプチャシステム。
【請求項１３】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、上記モーションキャプチャ空間を照明するように配置された偏光光の光源と、他のカメラから該モーションキャプチャ空間を越えてくる偏光光を遮断する偏光フィルタとを更に備えることを特徴とする請求項２に記載のモーションキャプチャシステム。
【請求項１４】
更に、上記モーションキャプチャ空間の音をひろう少なくとも１本のマイクロホンを備える請求項１に記載のモーションキャプチャシステム。
【請求項１５】
モーションキャプチャ空間における身体の複数の点及び顔の複数の点を定義するために、少なくとも１人の演技者に装着された身体マーカ及び顔マーカと、
上記モーションキャプチャ空間の周囲に配置された複数の身体の動きカメラと、
上記モーションキャプチャ空間内で動作中の上記少なくとも１人の演技者の横から見える全ての側面が、略常にその少なくとも１台の視野に入るように、該モーションキャプチャ空間の周囲に配置され、上記複数の身体の動きカメラの視野よりも狭い視野を複数の有する顔の動きカメラと、
上記複数の身体の動きカメラ及び上記複数の顔の動きカメラに接続され、上記少なくとも１人の演技者の顔の動きと身体の動きが組み合わされた動きを反映したデジタル表現を生成するモーションキャプチャプロセッサとを備える顔の動きと身体の動きが組み合わされた動きを捕捉する顔及び身体モーションキャプチャシステム。
【請求項１６】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、固定されていることを特徴とする請求項１５に記載の顔及び身体モーションキャプチャシステム。
【請求項１７】
上記複数の顔の動きカメラの一部及び上記複数の身体の動きカメラの一部は、上記モーションキャプチャ空間内において動きを追跡するために移動できることを特徴とする請求項１５に記載の顔及び身体モーションキャプチャシステム。
【請求項１８】
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラは、上記モーションキャプチャ空間を照明するように配置された偏光光の光源と、他のカメラから該モーションキャプチャ空間を越えてくる偏光光を遮断する偏光フィルタとを更に備えることを特徴とする請求項１５に記載の顔及び身体モーションキャプチャシステム。
【請求項１９】
モーションキャプチャ空間内において、少なくとも１人の演技者に装着された身体マーカ及び顔マーカによって、身体の複数の点及び顔の複数の点を定義するステップと、  
上記モーションキャプチャ空間の周囲に複数の身体の動きカメラを配置するステップと、
上記複数の身体の動きカメラの視野よりも狭い視野を有し、上記モーションキャプチャ空間内で動作中の上記少なくとも１人の演技者の横から見える全ての表面が、略常にその少なくとも１台の視野に入るように、上記モーションキャプチャ空間の周囲に複数の顔の動きカメラを配置するステップと、
上記複数の顔の動きカメラ及び上記複数の身体の動きカメラからのデータを処理して、上記少なくとも１人の演技者の身体の動きと顔の動きが組み合わされた動きを反映したデジタル表現を生成するステップとを有するモーションキャプチャ方法。
【請求項２０】
更に、上記モーションキャプチャ空間を、該モーションキャプチャ空間の周囲と一致する複数の辺を有する複数の４分割空間に分割するステップと、
上記辺のそれぞれ一辺へ向けて上記複数の顔の動きカメラの第１のカメラ群を配置するステップとを有する請求項１９に記載のモーションキャプチャ方法。
【請求項２１】
更に、上記辺のそれぞれ一辺に向けて、及び上記第１のカメラ群から空間的に離して上記複数の顔の動きカメラの第２のカメラ群を配置するステップを有する請求項２０に記載のモーションキャプチャ方法。
【請求項２２】
更に、上記第１のカメラ群を、上記第２のカメラ群の視野とが略重なるように配置するステップを有する請求項２１に記載のモーションキャプチャ方法。
【請求項２３】
上記第１及び第２のカメラ群は、それぞれ少なくとも３台のカメラからなることを特徴とする請求項２１に記載のモーションキャプチャ方法。
【請求項２４】
更に、上記モーションキャプチャ空間のそれぞれの角に、該モーションキャプチャ空間の中心に向けて上記複数の顔の動きカメラの第３のカメラ群を配置するステップを有する請求項１９に記載のモーションキャプチャ方法。
【請求項２５】
更に、上記複数の顔の動きカメラの第１の一部を地上から第１段の高さに配置し、上記複数の顔の動きカメラの第２の一部を該第１段の高さより高い第２の高さに配置するステップを有する請求項１９に記載のモーションキャプチャ方法。
【請求項２６】
更に、上記複数のカメラの第１の一部を、上記モーションキャプチャ空間を略交差して配置された該第１の一部の他のカメラが視野に入らないように、やや上向きに配置するステップを有する請求項２５に記載のモーションキャプチャ方法。
【請求項２７】
更に、上記複数の顔の動きカメラ及び上記複数の身体の動きカメラを固定するステップを有する請求項１９に記載のモーションキャプチャ方法。
【請求項２８】
更に、上記モーションキャプチャ空間内において上記複数の顔の動きカメラの一部分及び上記複数の身体の動きカメラの一部を、動きを追跡するために移動するステップを有する請求項１９に記載のモーションキャプチャ方法。
【請求項２９】
更に、上記モーションキャプチャ空間を偏光光で照明するとともに、他のカメラから該モーションキャプチャ空間を越えてくる偏光光を偏光フィルタによって遮断するステップを有する請求項１９に記載のモーションキャプチャ方法。
【請求項３０】
更に、上記モーションキャプチャ空間内の音を録音するステップを有する請求項１９に記載のモーションキャプチャ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元グラフィック及びアニメーションに関し、特に、複数の演技者を収容する空間内において顔の動きと身体の動きを同時に捕捉するモーションキャプチャシステム及び方法に関する。
【背景技術】
【０００２】
モーションキャプチャシステムは、実際の物体の動きを捕捉し、コンピュータで生成された物体上にその動きをマッピングするために用いられる。このようなモーションキャプチャシステムは、多くの場合、映画及びビデオゲームの制作で用いられており、コンピュータグラフィック（以下、CGとする）アニメーションを生成するソースデータとして用いられる人物のデジタル表現を生成する。代表的なモーションキャプチャシステムにおいては、演技者は、様々な位置にマーカを装着した（例えば胴体及び肢体に小型の反射マーカを装着した）スーツを着て、マーカを照射した状態において、デジタルカメラによって様々な角度から演技者の動きを録画する。モーションキャプチャシステムは、画像を解析して各フレーム内の演技者のスーツに装着されたマーカの位置（例えば空間座標）及び方向を測定する。モーションキャプチャシステムは、マーカの位置を追跡することにより、時間の経過に伴うマーカの空間的な表現を生成し、及び動作中の演技者のデジタル表現を作成する。演技者の動きは、デジタルモデルに適用され、そして、そのモデルは、テクスチュアリング及びレンダリングされ、演技者及び／又は演技の完全なＣＧ表現が作成される。この技術は、特殊効果を専門とする会社で用いられており、多くの有名な映画では信じ難いほど現実的なアニメーションを制作している。
【０００３】
モーションキャプチャシステムは、演技者の顔の要素の動きを追跡し、演技者の顔の動き及び表現（例えば笑い、泣き、微笑み）を生成する。身体の動きキャプチャと同様に、マーカは、演技者の顔に装着され、カメラは、演技者の表現を録画する。顔の動きは、身体の動きが大きな筋肉の動きを伴うのに比べて小さい筋肉の動きを伴うので、顔マーカは、対応する身体マーカに比べて通常ずっと小さく、カメラは、身体の動きを捕捉するのに通常用いられるカメラよりも高解像度である。カメラは、一般的に、演技者の顔に焦点を維持するために制限を受ける演技者の身体的な動きと同一平面上に配置される。顔のモーションキャプチャシステムは、顔マーカを一様に照明し、カメラと顔との間の相対的な動きの度合いを最小限化するために、ヘルメットに内蔵され、あるいは、演技者に物理的に取り付けられるように実装されていてもよい。
【０００４】
顔の動きと身体の動きは、このため通常別々のステップで捕捉される。
【０００５】
そして、捕捉された顔の動きデータは、その後、アニメーション化処理の一部として捕捉された身体のモーションデータと組み合わされる。
【０００６】
キーフレーミングのような従来のアニメーション技術に対するモーションキャプチャシステムの利点は、リアルタイムで視覚化できることである。制作チームは、演技者の動きの空間的な表現をリアルタイム又は略リアルタイムで見直しでき、演技者は、最適データを捕捉するために身体の偏光することができる。
【０００７】
更に、モーションキャプチャシステムは、他のアニメーション技術を用いて容易に再現できない身体の動きの微妙なニュアンスを検出し、それによって、より自然な動きをより正確に反映したデータを生成する。この結果、モーションキャプチャシステムを用いて収集されたソースマテリアルを用いて生成されたアニメーションは、より生き生きした外見を示す。
【０００８】
モーションキャプチャシステムには、これらの利点もあるが、顔の動きと身体の動きを別々に捕捉することにより、多くの場合あまり生き生きしていないアニメーションデータになる。
【０００９】
顔の動きと身体の動きは、別々にはできないほど連係しており、顔の表現は、多くの場合、それに対応する身体の動きによってより充実される。例えば、演技者は、身体の動き（例えばボディランゲージ）を用いて、興奮して話すときに腕を振る、又はしかめ面をするときに肩をすくめるなどのように、感情を伝達し、対応する顔の表現を強調する。顔の動きと身体の動きの間の連係は、動きが別々に捕捉されると失われてしまい、別々に捕捉された動きを同期させることは、困難である。このアニメーションは、顔の動きと身体の動きを組み合わせると、結果として著しく異常に見えてしまう。より現実的なアニメーションを生成することは、モーションキャプチャの目的であるが、顔の動きと身体の動きが連係しないと、従来のモーションキャプチャシステムは、著しい欠陥を示す。
【００１０】
従来のモーションキャプチャシステムの別の欠点は、別の物体、例えば小道具又は他の演技者などの影響によって演技者のモーションデータが失われることである。特に、身体マーカ又は顔マーカの一部がデジタルカメラの視野から遮断される場合、身体の動き又は顔の動きの一部のデータは、集まらない。これによりモーションデータにオクルージョンすなわち抜けが生じる。オクルージョンは、従来のＣＧ技術を用いてポストプロダクトでデータを補うことはできるが、塗りつぶしデータは、実際のモーションデータの質を欠き、視聴者は、モーションデータの質の欠落をアニメーションの欠陥として見分けることができる。従来のモーションキャプチャシステムは、この問題を避けるために、一度に捕捉する対象を複数から、例えば１人の演技者に限定している。演技者の演技の質は、他の演技者及び物体との相互作用に依存するので、捕捉する対象を１人にすることは、モーションデータを現実的ではなくしている。そしてまた、別々の演技を自然に見える方法で組み合わせることは、更に困難である。
【００１１】
従来のモーションキャプチャシステムの更にもう１つの欠点は、モーションキャプチャと同時に音が録音されないことである。アニメーションでは、まず音声トラックを録音し、音声トラックに同期するように登場人物をアニメーション化する。顔の動きを捕捉する際には、演技者は、録音された音声トラックに唇の動きを同期させる。演技者にとって音声トラックに顔の動きを完全に同期させることは、困難であるため、モーションデータの視覚的な質は、必然的に一層落ちてしまう。また、身体の動きは、発話方法に影響を与えており、身体の動きと顔の動きを別々に捕捉することは、音声トラックと同期して身体の動きと顔の動きが組み合わされた完成品に同期させるることを困難にしている。
【００１２】
したがって、上述した先行技術の欠点及び別の欠点を克服するモーションキャプチャシステムを提供することが、望まれている。更に、複数の演技者を収容する１つの空間において同時に身体の動きと顔の動きを捕捉できるモーションキャプチャシステムを提供することが、望まれている。また、身体のモーションキャプチャ及び顔のモーションキャプチャと同時に音を録音できるモーションキャプチャシステムを提供することが、望まれている。
【００１３】
本願は、発明の名称を「モーションキャプチャシステム」とし、２００３年３月１３日に出願され、出願番号６０／４５４，８７２とし、３５Ｕ．Ｓ．Ｃ１１９（ｅ）に従って、優先権を主張するものである。
【発明の開示】
【課題を解決するための手段】
【００１４】
本発明において、本発明に係るモーションキャプチャシステム１０及びモーションキャプチャ方法は、複数の演技者を収容する空間内において顔の動きと身体の動きを同時に捕捉できる。モーションキャプチャシステム１０及びモーションキャプチャ方法は、身体の動きと顔の動きと同時に音を録音できる。
【００１５】
更に、モーションキャプチャシステム１０及びモーションキャプチャ方法は、モーションキャプチャ空間３０における複数の身体の複数の点及び顔の複数の点を定義するために演技者に装着された身体マーカ及び顔マーカとを備える。モーションキャプチャ空間３０は、例えば楕円形、円形、長方形、多角形のような望ましいあらゆる幾何学形状を有する。複数の身体の動きカメラ及び複数の顔の動きカメラは、モーションキャプチャ空間３０の周囲に配置されている。顔の動きカメラは、身体の動きカメラの視野より狭い視野を有する。顔の動きカメラは、モーションキャプチャ空間３０内で動作中の演技者の横から見える演技者の全ての表面が、略常に複数の顔の動きカメラの少なくとも１台の視野に入るように配置されている。モーションキャプチャプロセッサ１２は、複数の顔の動きカメラ及び複数の身体の動きカメラに接続され、演技者の組み合わされた身体の動きと顔の動きを反映したデジタルモデルを生成する。少なくとも１本のマイクロホンは、モーションキャプチャ空間３０の音をひろうように配置されている。
【００１６】
本発明の実施形態において、モーションキャプチャ空間３０は、複数の４分割空間に分割された長方形の領域からなる。複数の４分割空間は、モーションキャプチャ空間３０の周囲と一致する複数の辺を有する。更に、複数の顔の動きカメラは、辺のそれぞれ１辺に向けて配置される第１のカメラ群を含む。更に、複数の顔の動きカメラは、第２のカメラ群を含み、第２のカメラ群は、辺のそれぞれ一辺に向けて配置され、及び第１のカメラ群から空間的に離れて配置されている。第１のカメラ群は、第２のカメラ群の視野と略重なるように第２のカメラ群に対して配置されている。更に、第１及び第２のカメラ群は、それぞれ少なくとも３台のカメラを含む。更に、複数の顔の動きカメラは、第３のカメラ群を含み、第３のカメラ群は、モーションキャプチャ空間３０それぞれの角に、モーションキャプチャ空間３０の中心に向けて配置される。
【００１７】
本発明の別の実施形態において、複数の顔の動きカメラの第１の一部は、地上から第１の高さに配置され、及び複数の顔の動きカメラの第２の一部は、地上から第１の高さより高い第２の高さに配置される。複数の顔の動きカメラの第１の一部は、モーションキャプチャ空間３０を略交差して配置される第１の一部の他のカメラが視野に入らないようにようにやや上向きに配置されている。
【００１８】
更に、本発明の別の実施形態において、複数の顔の動きカメラ及び複数の身体の動きカメラは、モーションキャプチャ空間を照明するように配置された偏光光の光源と、他のカメラからモーションキャプチャ空間を越えてくる偏光光を遮断するための偏光フィルタとを備える。
【００１９】
身体の動きと顔の動きを捕捉するモーションキャプチャシステム及びモーションキャプチャ方法は、当業者にとって利用可能であり、同様に以下の最良の実施形態の記述の観点から、身体の動きと顔の動きを捕捉するモーションキャプチャシステム及びモーションキャプチャ方法は、その有効性及び目的の実現も可能である。以下図面を参照して、まず簡単に説明する。
【発明を実施するための最良の形態】
【００２０】
本発明は、以下に詳細の説明において、複数の演技者を収容する空間内において身体の動きと顔の動きの両方を同時に捕捉できるモーションキャプチャシステムの要望を満たす。更に、本発明は、身体の動きと顔の動きの捕捉と同時に音を録音できるモーションキャプチャシステムの要望も満たす。以下の詳細な説明では、１枚以上の図面における同じ構成要素には、同じ指示符号を付している。
【００２１】
図１は、本発明の実施形態に係るモーションキャプチャシステム１０の構成を示すブロック図である。図１に示すように、モーションキャプチャシステム１０は、複数の顔の動きカメラ１４１―１４ｎ及び複数の身体の動きカメラ１６１―１６ｎと通信するよう適用されたモーションキャプチャプロセッサ１２を含む。更に、モーションキャプチャプロセッサ１２は、関連するデータファイルを格納できるよう適用されたデータ記憶装置２０を有するプログラム可能なコンピュータを備える。１台以上のワークステーション１８１―１８ｎは、ＣＧアニメーションの生成処理において格納したデータファイルを複数のグラフィックアーティストたちが用いて仕事できるネットワークを用いるモーションキャプチャプロセッサ１２に接続されている。顔の動きカメラ１４１―１４ｎ及び身体の動きカメラ１６１―１６ｎは、モーションキャプチャ空間（以下に説明する）に向けて配置されており、モーションキャプチャ空間内において演じる１人以上の演技者の組み合わされた動きを捕捉する。
【００２２】
各演技者の顔及び身体を、モーションキャプチャ空間内において演技者が演技している状態で、顔の動きカメラ１４１―１４ｎ及び身体の動きカメラ１６１―１６ｎが検出するマーカで標示する。マーカは、反射型又は照明された素子である。特に、各演技者の身体は、頭部、足、腕及び胴体を含む身体の各位置に装着される複数の反射型マーカで標示する。また、演技者は、マーカを装着した非反射型材料で作られたボディスーツを着用できる。また、演技者の顔は、複数のマーカによって標示される。顔マーカは、通常身体マーカよりも小さく、身体マーカより多数のマーカが用いられる。十分な解像度で顔の動きを捕捉するために、多数の顔マーカ（例えば、１００個以上）を使用することが望ましい。一具体例において、１５２個の小さい顔マーカ及び６４個の大きい身体マーカを演技者に装着させている。身体マーカは、５ミリメートルから９ミリメートルの幅又は直径を有し、顔マーカは、２ミリメートルから４ミリメートルの幅又は直径を有する。
【００２３】
顔マーカを装着する位置の整合性を保つために、マーカの好ましい位置に対応する適切な位置にドリルで孔を開けられた各演技者の顔の形をしたマスクを作成する。マスクを演技者の顔に被せて、ペンを用いて孔の位置を演技者の顔に直接標示できる。そして顔マーカは、演技者の顔の標示された位置に適用できる。顔マーカは、演劇の分野では知られている化粧のりなどの適切な材料を用いて演技者の顔に装着できる。このように長期間にわたる（例えば、数ヶ月）モーションキャプチャ制作において、マーカは、毎日装着され、着脱されるが、１人の演技者から非常に一貫したモーションデータを得ることができる。
【００２４】
モーションキャプチャプロセッサ１２は、顔の動きカメラ１４１―１４ｎ及び身体の動きカメラ１６１―１６ｎから受信する２次元画像を処理し、捕捉した動きの３次元デジタル表現を生成する。特に、モーションキャプチャプロセッサ１２は、各カメラから２次元データを受信し、複数のデータファイルの形式で画像捕捉処理の一部としてデータ記憶装置２０へ保存する。２次元データファイルは、単一系列の３次元座標へと解像されて、画像処理プロセスの一部として個々のマーカの動きを表現するトラジェクトリファイルの形式で互いに関連付けられる。
【００２５】
画像処理プロセスは、各マーカの位置を測定するために１台以上のカメラからの画像を用いる。マーカは、例えばモーションキャプチャ空間内の演技者の顔つき又は身体の部分によるオクルージョンが原因でカメラの一群に映るだけかもしれない。画像処理プロセスは、その場合、マーカを遮断されることなく映す他のカメラからの画像を用いて、モーションキャプチャ空間におけるマーカの位置を測定する。
【００２６】
画像処理プロセスは、複数のカメラからの画像を用いてマーカの位置を測定するために、複数の角度からの画像情報を検討し、三角測量処理を用いて空間的な位置を測定する。運動エネルギの計算をトラジェクトリファイル上で実行し、演技者の演技に対応する身体の動きと顔の動きを反映したデジタル表現を生成する。運動エネルギの計算は、時間経過に伴う空間情報を用いて、各マーカが空間を移動するのに伴う各マーカの進行を測定する。また、適切なデータ管理処理をデータ記憶装置２０へ、又はデータ記憶装置２０からの全体の処理過程に関連する多数のファイルの入出庫を管理するために用いることができる。モーションキャプチャプロセッサ１２及びワークステーション１８１―１８ｎは、ヴィコンモーションシステムズ又はモーションアナライシスコープ社製などの商業ソフトウェアパッケージを用いて、上記のデータの処理機能又はその他のデータ処理機能を実行する。
【００２７】
更に、モーションキャプチャシステム１０は、動きに加えて音を録音できる。複数のマイクロホン２１１―２４ｎは、モーションキャプチャ空間の周囲に配置され、演技者の演技中の音（例えば、会話）をひろう。モーションキャプチャプロセッサ１２は、直接又はオーディオインタフェース２２を介してマイクロホン２４１―２４ｎに接続される。マイクロホン２４１―２４ｎは、固定もでき、又はブーム上で動かして動きを追跡もでき、又は演技者に装着し、モーションキャプチャプロセッサ１２又はオーディオインタフェース２２と無線で通信もできる。モーションキャプチャプロセッサ１２は、モーションデータと同期する時間トラック又は他のデータと録音した音を受信し、及びデジタルファイルの形式でデータ記憶装置２０に格納する。
【００２８】
図２及び図３は、複数のモーションキャプチャカメラに囲まれたモーションキャプチャ空間３０の一具体例を示す。モーションキャプチャ空間３０は、周縁３２を有する。モーションキャプチャ空間３０は、格子線で分割された長方形の領域として示される。モーションキャプチャ空間３０は、実際に格子がモーションキャプチャ空間３０の床となる３次元空間である。動きは、床上の３次元空間において捕捉される。本発明の最良の実施形態において、モーションキャプチャ空間３０は、約１０フィート×１０フィートの床面積からなり、床上約６フィートの空間からなる。楕円、円形、長方形、多角形などのその他の大きさ及び形状のモーションキャプチャ空間は、制作の特定の必要性に合わせて有効に用いることができる。
【００２９】
図２は、周縁３２の周囲に円状のパターンでモーションキャプチャカメラを配置しているモーションキャプチャ空間３０の平面図である。個々のカメラは、カメラのレンズの方向を示す鋭角の三角形で図示されており、複数の別々の方向からモーションキャプチャ空間３０に向けて配置された複数のカメラである。更に、複数のモーションキャプチャカメラは、複数の身体の動きカメラ１６１−１６８及び複数の顔の動きカメラ１４１−１４Ｎを含む。図２における多数の顔の動きカメラ１４１−１４Ｎは、その全ての図に数字がふられていない。本発明の実施形態において、顔の動きカメラの台数は、身体の動きカメラの台数よりも多い。身体の動きカメラ１６１−１６８は、モーションキャプチャ空間３０の側面毎に約２台配置され、及び顔の動きカメラ１４１−１４Ｎは、モーションキャプチャ空間３０の側面毎に約１２台配置されている。顔の動きカメラ１４１−１４Ｎ及び身体の動きカメラ１６１−１６８は、略同じカメラであるが、顔の動きカメラの集束レンズは、身体の動きカメラの集束レンズよりもより狭い視野を有するものが選ばれている。
【００３０】
図３は、モーションキャプチャ空間３０の床上を約３段に分けてモーションキャプチャカメラを配置しているモーションキャプチャ空間３０の側面図である。モーションキャプャ空間３０の下段は、モーションキャプチャ空間３０の側面毎に約８台の顔の動きカメラ１４１−１４３２を含む。本発明の実施形態において、下段に配置された各顔の動きカメラ１４１−１４３２は、モーションキャプチャ空間３０を交差して反対側に配置されたカメラが視野に入らないようにやや上向きになっている。モーションキャプチャカメラは、通常モーションキャプチャ空間３０を照明する光源（例えば、発光ダイオードの配列）を有する。モーションキャプチャカメラの光源は、モーションキャプチャカメラに明るい反射率となり反射型マーカからのデータを包み込んでしまうため、モーションキャプチャカメラが別のモーションキャプチャカメラを映さないことは、好ましい。モーションキャプチャ空間３０の中段は、モーションキャプチャ空間３０の側面毎に約２台配置されたの身体の動きカメラ１６３−１６７を含む。上述の通り、身体の動きカメラは、顔の動きカメラより広範囲の視野を有し、その相対的な視野によりモーションキャプチャ空間３０をより広範囲に映すことができる。
【００３１】
モーションキャプチャ空間３０の上段には、複数の顔の動きカメラ（例えば、１４３３−１４５２）を含み、モーションキャプチャ空間３０の側面毎に約５台ずつ配置されている。本発明の実施形態において、モーションキャプチャ空間３０の上段に含まれる顔の動きカメラ１４３３−１４５２は、モーションキャプチャ空間３０の略交差して配置されているカメラを視野に入れないようにやや下向きになっている。図２の左側において、顔の動きカメラ（例えば、１４５３−１４６０）は、モーションキャプチャ空間３０の中段に含まれ、正面の辺に焦点を当てている。通常演技者の演技は、モーションキャプチャ空間３０の正面の辺を向いて行われるため、その領域におけるカメラの台数は、増えるため、オクルージョンが原因となって失われるデータ量を減少できる。更に、数台の顔の動きカメラ（例えば、１４６１−１４６４）は、モーションキャプチャ空間３０の中段に含まれ、モーションキャプチャ空間３０の角に焦点を当てている。これらのカメラによりオクルージョンが原因となって失われるデータ量は、少なくなる。
【００３２】
本発明の最良の実施形態において、身体の動きカメラ及び顔の動きカメラは、標示された演技者の画像を様々な角度から録画するため、演技者たちの横から見える全ての表面を、少なくとも１台のカメラに略常に映している。更に、カメラの配置は、演技者の横から見える全ての表面を略常に少なくとも３台のカメラで映していることが望ましい。演技者の不規則な面は、カメラを複数の高さに配置することにより、モーションキャプチャ空間３０内において演技者が動くのに伴いモデル化される。本発明のモーションキャプチャシステム１０は、演技者の身体の動きと顔の動き（例えば、表情）を同時に録画する。また、上記において述べた通り、音の録音もモーションキャプチャと同時に行うことができる。
【００３３】
図４は、モーションキャプチャ空間３０の平面図であり、顔の動きカメラの配置の一具体例を示している。モーションキャプチャ空間３０は、複数の４分割空間に視覚的に分割されており、ａ、ｂ、ｃ、ｄと各区間に分割されている。顔の動きカメラは、カメラ群３６，３８にグループ化されており、各カメラ群は、複数のカメラを含む。そのようなカメラ群の１つは、例えばモーションキャプチャ空間３０の下段に配置されている２台の顔の動きカメラ及びモーションキャプチャ空間３０の上段に配置されている１台の顔の動きカメラである。また、カメラ群内における他のカメラの配置も有効に用いることができる。２群のカメラ群３６，３８は、物理的に隣り合うように配置されており、互いのカメラとはっきりと識別できる距離で配置されている。２群の各カメラ群３６，３８は、複数の４分割空間ｄの正面の辺におよそ４５度の角度から焦点を当てている。第１のカメラ群３６の視野は、複数の４分割空間ｃの正面の辺の一部から複数の４分割空間ｄの右辺の端まで届く。第２のカメラ群３８の視野は、複数の４分割空間ｄの正面の辺の左端から複数の４分割空間ｄの右端の一部まで届く。このため、第１のカメラ群３６及び第２のカメラ群３８の各視野は、複数の４分割空間ｄの正面の辺の大体の長さにおいて重なる部分を有する。カメラ群は、複数の４分割空間ａ、ｂ、ｃ、ｄの他の外側の各辺から（周縁３２と一致する）同様に配置されている。
【００３４】
図５は、モーションキャプチャ空間３０の平面図であり、顔の動きカメラの別の配置の一具体例を示す。モーションキャプチャ空間３０は、図４と同様に複数の４分割空間ａ、ｂ、ｃ、ｄに視覚的に分割されている。顔の動きカメラは、カメラ群４２、４４にグループ化されており、各カメラ群は、複数のカメラを含む。カメラ群は、図４の実施形態と同様に異なる高さに配置された１台以上のカメラを含む。カメラ群４２、４４は、この配置においてモーションキャプチャ空間３０の角からモーションキャプチャ空間に向けて配置される。モーションキャプチャ空間３０の角のカメラ群４２、４４は、オクルージョンなどが原因となって他のカメラに録画されない、演技者の画像を記録する。また、その他のカメラ群もモーションキャプチャ空間３０の他の角に配置される。
【００３５】
モーションキャプチャ空間３０は、複数のカメラの高さ及び角度を有するので、モーションキャプチャ空間３０内において動作する演技者から捕捉できるデータが増え、データのオクルージョンの蓋然性を減少できる。これによりモーションキャプチャ空間３０内において複数の演技者を同時に捕捉できる。更に、本発明のモーションキャプチャ空間３０は、カメラの台数の多さ及び多様性において先行技術のモーションキャプチャ空間よりも広域となり、そのためモーションキャプチャ空間３０におけるより大きく複雑な演技ができる。また、顔の動きカメラ及び身体の動きカメラの他のいくつもの配置を、有効に用いることができる。例えば、モーションキャプチャ空間３０の段分けをより細かく又はより少なく分けることもでき、各段における各カメラの実際の位置も変えることができる。
【００３６】
本発明の最良の実施形態である上述の内容において、身体の動きカメラ及び顔の動きカメラは、固定されている。このように、モーションキャプチャプロセッサ１２は、身体マーカ及び顔のマーカの動きを測定する固定された基準点を有する。カメラを固定して配置することの欠点は、モーションキャプチャ空間３０の大きさを限定してしまうことである。より大きな空間（例えば、ある距離を登場人物が駆け回るシーン）を必要とする演技の動きを捕捉する場合、演技は、動きを別々に捕捉するため複数のセグメントに分割される。本発明の別の実施形態において、カメラの一部は、固定されており、別のカメラは、演技にあわせて移動する。移動できるカメラは、コンピュータ制御又はカメラオペレータにより動かすことができる。モーションキャプチャプロセッサ１２は、カメラの動きを追跡し、捕捉したデータをその後処理する過程でこのカメラの動きを除去して、演技者の演技に対応する身体の動きと顔の動きを反映した３次元のデジタル表現を生成する。
【００３７】
図６は、モーションキャプチャ空間３０の斜視図であり、モーションキャプチャ空間３０内における２人の演技者５２、５４を反映したモーションキャプチャデータを示す。図６は、図１において詳述したワークステーション１８のオペレータから、モーションキャプチャデータは、どのように見えるかを示している。図６は、図２及び図３と同様に複数の顔の動きカメラを示し、モーションキャプチャ空間３０の下段に配置された１４１−１４１２、上段に配置された１４３３−１４４０、及びモーションキャプチャ空間３０の角に配置されたカメラ１４６０，１４６２を示す。２人の演技者５２、５４は、演技者たちの身体及び顔に装着した反射型マーカに対応する点の大群として映される。上述している通り、演技者の顔は、身体よりも多数のマーカを装着している。演技者の身体の動きと顔の動きは、大体において上述しているようにモーションキャプチャシステム１０によって追跡される。
【００３８】
図７及び図８において、モーションキャプチャデータは、ワークステーション１８のオペレータにどのように見えるかを示している。モーションキャプチャデータは、図６と同様に２人の演技者５２、５４を反映し、点の集中は、演技者の顔を示し、その他の点は、演技者の身体の点を示す。更に、モーションキャプチャデータは、複数の楕円形で標示された３つのオクルージョン領域６２，６４，６６を含む。オクルージョン領域６２，６４，６６は、あるカメラから他のカメラの視界内に射し込む偏光光が原因となって捕捉できなかったモーションデータの部分である。偏光光は、反射型マーカからの照明を包み込み、モーションキャプチャプロセッサ１２は、偏光光を身体マーカ又は顔マーカと解釈する。モーションキャプチャプロセッサ１２が実行する画像処理プロセスは、図７及び図８において示すオクルージョン領域６２，６４，６６を定義することによってカメラの照明を除去した仮装の顔を生成する。制作会社は、演技者の演技を制御して、オクルージョン領域によって不明瞭になる動きを物理的に避けようとする。しかし、いくつかのモーションキャプチャデータの損失は、不可避的に発生し、図８で示すように演技者５４の顔は、身体的な動きによってオクルージョン領域６４にほぼ完全に隠されてしまっている。
【００３９】
図９は、オクルージョン問題を減少させるモーションキャプチャシステム１０の実施形態を示す。特に、図９は、モーションキャプチャ空間３０（図示されていない）を越えて向き合うように物理的に対置されたカメラ８４及び７４を示す。カメラ８４、７４は、カメラの視界を照明する光源８８、７８を含む。更に、カメラ８４、７４は、カメラのレンズの前面に配置された偏光フィルタ８６、７６を含む。以下の詳細な説明によって明らかになるが、偏光フィルタ８６，７６は、互いに位相外れで配置されて（例えば、回転させられて）いる。光源８８は、偏光フィルタ８６によって偏光光の光源を出射する。
【００４０】
偏光光は、カメラ７４の偏光フィルタ７６へ届くが、偏光光は、カメラ７４へ通過せずに、偏光フィルタ７６によって反射される、或いは吸収される。カメラ８４は、カメラ７４からの照明を結果として映すことはなく、そのためオクルージョン領域の形成を回避し、若しくは仮装マスキングの必要性を未然に防ぐ。
【００４１】
また上述の内容により、動きを追跡する身体及び顔に取り付けられた物理的なマーカの光学センシングの使用について述べているが、動きを追跡する他の方法も有効に用いることができる。例えば、演技者の身体的特徴（例えば、鼻又は目の形）は、マーカを装着するかわりに、動きを追跡する固有のマーカとして用いることができる。そのような身体的特徴を基礎にするモーションキャプチャシステムは、演技に先立って演技者にマーカを装着する手間を省くことができる。更に、光学媒体以外の他の媒体も対応するマーカを検出するのに用いることができる。例えば、身体的特徴を基礎とするマーカは、モーションキャプチャ空間３０の周囲に配置された対応する受信機が検出する超音波又は電磁気エミッタからなる。この点において、上述したカメラは、光学センサであり、及びセンサの他の種類も有効に用いることができる。
【００４２】
上述した身体の動きと顔の動きを捕捉するシステム及び方法の最良の実施形態において、当業者にとって本発明のある利点が達成されていることは、明らかである。様々な変更、適用及びその他の実施形態は、本発明の範囲及び意図に含まれている。本発明は、以下の請求項によって更に定義される。
【図面の簡単な説明】
【００４３】
【図１】本発明におけるモーションキャプチャシステム１０を示すブロック図である。
【図２】モーションキャプチャ空間３０の周囲に複数のモーションキャプチャカメラを配置したモーションキャプチャ空間３０の平面図である。
【図３】モーションキャプチャ空間３０の周囲に複数のモーションキャプチャカメラを配置したモーションキャプチャ空間３０の側面図である。
【図４】モーションキャプチャ空間３０の角に顔の動きカメラを配置する一具体例を示すモーションキャプチャ空間３０の平面図である。
【図５】モーションキャプチャ空間３０の角に顔の動きカメラを配置する一具体例を示すモーションキャプチャ空間３０の平面図である。
【図６】モーションキャプチャ空間３０における２人の演技者を映すモーションキャプチャデータを示すモーションキャプチャ空間３０の斜視図である。
【図７】モーションキャプチャ空間３０における２人の演技者を映し、及びデータのオクルージョン領域を示すモーションキャプチャデータを示す。
【図８】図７におけるモーションキャプチャデータを示し、演技者の１人は、オクルージョン領域によって隠されている。
【図９】モーションキャプチャシステム１０において用いられるモーションキャプチャカメラの別の実施形態を示すブロック図である。
【図１】
2006520476.tif 000003
【図２】
2006520476.tif 000004
【図３】
2006520476.tif 000005
【図４】
2006520476.tif 000006
【図５】
2006520476.tif 000007
【図６】
2006520476.tif 000008
【図７】
2006520476.tif 000009
【図８】
2006520476.tif 000010
【図９】
2006520476.tif 000011
【国際調査報告】
2006520476.tif 000012