(57)【要約】【解決手段】映画およびビデオゲームのために生成されたシーンをもつ３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートする方法は、物理的な空間内でオブジェクトの位置および向きを追跡するステップと、前記物理的な空間内の前記オブジェクトの追跡された位置に対応させて前記３Ｄ環境内に前記仮想的なカメラを配置するステップと、前記仮想的なカメラの視界内でショットを撮影するステップと、前記仮想的なカメラで撮影された前記３Ｄ環境の撮影されたショットを表示するステップとを含み、前記仮想的なカメラの前記視界は、前記オブジェクトの追跡された位置および向きにしたがって測定される。【選択図】図１
2012523269.tif 000002
【特許請求の範囲】
【請求項１】
映画およびビデオゲームのための方法であって、
シーンを有する３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートするステップと、
物理的な空間内でオブジェクトの位置および向きを追跡するステップと、
前記物理的な空間内の前記オブジェクトの追跡された位置に対応させて前記３Ｄ環境内に前記仮想的なカメラを配置するステップと、
前記仮想的なカメラの視界内でショットを撮影するステップと、
前記仮想的なカメラで撮影された前記３Ｄ環境の撮影されたショットを表示するステップとを含み、
前記仮想的なカメラの前記視界は、前記オブジェクトの追跡された位置および向きにしたがって測定されることを特徴とする方法。
【請求項２】
前記オブジェクトは、ズーム、フォーカス、再生および記録を含むカメラ制御機能をもった物理的なビデオカメラである請求項１の方法。
【請求項３】
前記カメラ制御機能の１つは、仮想的な３Ｄ環境における前記仮想的なカメラの配置を調整するためのスケーラビリティ制御を含む請求項２の方法。
【請求項４】
実際の映画撮影セッションの感触を与える滑らかな動きでカメラを動かすために前記物理的なビデオカメラは台車上に構成される請求項２の方法。
【請求項５】
映画およびビデオゲームのための３Ｄ環境のシーンを生成するステップをさらに含む請求項１の方法。
【請求項６】
前記３Ｄ環境の前記生成されるシーンはフィルムカメラを用いて撮影される請求項５の方法。
【請求項７】
前記３Ｄ環境の前記生成されるシーンはモーションキャプチャセッションで撮影される請求項５の方法。
【請求項８】
１つの仮想的なカメラの動作をシミュレートするステップは、１つの仮想的なカメラのシミュレーションセッションであり、最も良いカメラの動きと角度を提供するテークを選択するために複数の仮想的なカメラのシミュレーションセッションを実行するステップをさらに含む請求項７の方法。
【請求項９】
前記複数の仮想的なカメラのシミュレーションセッションが記録されることにより、各セッションを評価して比較することが可能である請求項８の方法。
【請求項１０】
複数のモーションキャプチャセッションを実行するステップをさらに含み、前記複数の仮想的なカメラのシミュレーションセッションは、最も良いカメラの動きと角度を提供するテークを選択するために前記複数のモーションキャプチャセッションのそれぞれに対して実行される請求項８の方法。
【請求項１１】
仮想的な３Ｄ環境のシーンにライブアクションのモーションキャプチャセッションを統合するステップをさらに含む請求項１の方法。
【請求項１２】
異なるライブアクションのモーションキャプチャセッションが複数の仮想的なカメラのシミュレーションセッションのそれぞれに対して実行されるような複数の仮想的なカメラのシミュレーションセッションを実行するステップをさらに含む請求項１１の方法。
【請求項１３】
前記仮想的なカメラの視界内でショットを撮影するステップは、前記仮想的な３Ｄ環境のシーン内で動作する前記ライブアクションのモーションキャプチャセッションの俳優のショットを撮影するステップを含む請求項１１の方法。
【請求項１４】
前記オブジェクトの位置は、複数の位置追跡機を用いて追跡される請求項１の方法。
【請求項１５】
前記オブジェクトの向きは、前記オブジェクトに取り付けられた加速度計およびジャイロスコープの少なくとも一つを用いて追跡される請求項１の方法。
【請求項１６】
前記３Ｄ環境の前記撮影されたショットは、前記オブジェクトの接眼部および前記物理的な空間の壁に配置されたモニタの少なくとも一つの上で表示される請求項１の方法。
【請求項１７】
仮想的な環境において仮想的なカメラの動きをシミュレートするための方法であって、
前記仮想的な環境を含むビデオファイルを受信するステップと、
カメラオペレータによって操作される物理的なカメラを追跡して前記物理的なカメラの位置と向きを生成するステップと、
前記物理的なカメラの前記生成された位置と向きを用いて、前記仮想的な環境内の前記仮想的なカメラの動きをシミュレートするステップとを含むことを特徴とする方法。
【請求項１８】
映画のショットを創作するために前記カメラオペレータが前記仮想的な環境内を実質的に自由に動くステップをさらに含む請求項１７の方法。
【請求項１９】
前記ビデオファイルは、ビデオゲームに対するファイルを含む請求項１７の方法。
【請求項２０】
映画のショットを創作するステップは、前記仮想的なカメラの視界内で映画のショットを撮影するステップを含み、前記視界は、前記物理的なカメラの前記位置と向きに関して測定される請求項１７の方法。
【請求項２１】
前記物理的なカメラは、ズーム、フォーカス、再生および記録を含むカメラ制御機能をもつ請求項１７の方法。
【請求項２２】
前記カメラ制御機能の１つは、前記仮想的な環境における前記仮想的なカメラの視界を調整するためのスケーラビリティ制御を含む請求項２１の方法。
【請求項２３】
１つの仮想的なカメラの動作をシミュレートするステップは、１つの仮想的なカメラのシミュレーションセッションであり、最も良いカメラの動きと角度を提供するテークを選択するために複数の仮想的なカメラのシミュレーションセッションを実行するステップをさらに含む請求項１７の方法。
【請求項２４】
前記複数の仮想的なカメラのシミュレーションセッションが記録されることにより、各セッションを評価して比較することが可能である請求項２３の方法。
【請求項２５】
複数のモーションキャプチャセッションを実行するステップをさらに含み、前記複数の仮想的なカメラのシミュレーションセッションは、最も良いカメラの動きと角度を提供するテークを選択するために前記複数のモーションキャプチャセッションのそれぞれに対して実行される請求項２３の方法。
【請求項２６】
仮想的な環境において仮想的なカメラの動きをシミュレートするためのシステムであって、
物理的な空間内で動作する物理的なカメラの位置を追跡するように構成された位置追跡機と、
前記物理的なカメラの向きを追跡するように構成された向き追跡機と、
実行可能なインストラクションを含むコンピュータプログラムを格納したストレージメディアを含むプロセッサと、
前記仮想的なカメラで撮影された３Ｄ環境の撮影されたショットを表示するように構成されたディスプレイとを含み、
前記インストラクションは前記プロセッサに、
前記仮想的な環境を含むビデオファイルを受信するステップと、
カメラオペレータによって操作される物理的なカメラを追跡して前記物理的なカメラの位置と向きを生成するステップと、
前記物理的なカメラの前記生成された位置と向きを用いて、前記仮想的な環境内の前記仮想的なカメラの動きをシミュレートするステップとを実行させることを特徴とするシステム。
【請求項２７】
前記プロセッサは、前記物理的なカメラ、前記位置追跡機、および前記向き追跡機からの入力を受け取るように構成されたゲームコンソールである請求項２６のシステム。
【請求項２８】
前記向き追跡機は、前記物理的なカメラに結合された加速度計およびジャイロスコープの少なくとも一つを含む請求項２６のシステム。
【請求項２９】
前記ディスプレイは前記カメラの接眼部を含む請求項２６のシステム。
【請求項３０】
前記物理的なカメラは、実際の映画撮影セッションの感触を与える滑らかな動きでカメラを動かすために台車上に構成される請求項２６のシステム。
【請求項３１】
前記物理的なカメラは、ズーム、フォーカス、再生および記録を含むカメラ制御機能をもつ請求項２６のシステム。
【請求項３２】
前記カメラ制御機能の１つは、前記仮想的な環境における前記仮想的なカメラの配置を調整するためのスケーラビリティ制御を含む請求項２６のシステム。
【請求項３３】
映画およびビデオゲームのために生成されたシーンを有する３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートするためのコンピュータプログラムを格納したコンピュータ読み取り可能なストレージメディアであって、
前記コンピュータプログラムは実行可能なインストラクションを含み、前記インストラクションはコンピュータに、
物理的な空間内でオブジェクトの位置および向きを追跡するステップと、
前記物理的な空間内の前記オブジェクトの追跡された位置に対応させて前記３Ｄ環境内に前記仮想的なカメラを配置するステップと、
前記仮想的なカメラの視界内でショットを撮影するステップと、
前記仮想的なカメラで撮影された前記３Ｄ環境の撮影されたショットを表示するステップとを実行させ、
前記仮想的なカメラの前記視界は、前記オブジェクトの追跡された位置および向きにしたがって測定されることを特徴とするストレージメディア。
【請求項３４】
映画およびビデオゲームに対して前記３Ｄ環境のシーンを生成するステップをコンピュータに実行させる実行可能なインストラクションをさらに含む請求項３３のストレージメディア。
【請求項３５】
前記３Ｄ環境のシーンにライブアクションのモーションキャプチャセッションを統合するステップをコンピュータに実行させる実行可能なインストラクションをさらに含む請求項３３のストレージメディア。
【請求項３６】
前記仮想的なカメラの視界内でショットを撮影するステップをコンピュータに実行させる実行可能なインストラクションは、前記３Ｄ環境のシーン内で動作する前記ライブアクションのモーションキャプチャセッションの俳優のショットを撮影するステップをコンピュータに実行させる実行可能なインストラクションを含む請求項３５のストレージメディア。
【請求項３７】
前記３Ｄ環境内に前記仮想的なカメラを配置するステップをコンピュータに実行させる実行可能なインストラクションは、カメラのズーミング制御機能を用いて前記３Ｄ環境において前記仮想的なカメラの配置を調整するステップをコンピュータに実行させる実行可能なインストラクションを含む請求項３５のストレージメディア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映画およびビデオゲームに関し、特に、映画およびビデオゲームのために生成されたシーン内で動作する仮想的なカメラの動作をシミュレートすることに関する。
【背景技術】
【０００２】
モーションキャプチャシステムは、現実のオブジェクトの動きをキャプチャし、現実のオブジェクトをコンピュータ生成されたオブジェクトにマップするために使われる。そのようなシステムはしばしば、コンピュータグラフィックス（ＣＧ）アニメーションを創作するためのソースデータとして使われるデジタル表現を創作するために映画やビデオゲームの制作で使われる。典型的なモーションキャプチャシステムを用いたセッションにおいて、俳優は、いろいろな場所に取り付けられたマーカーを有する（たとえば、体や手足に取り付けられた小さな反射性のマーカーを有する）スーツを着用し、デジタルカメラは俳優の動きを記録する。そして、システムは画像を解析して、各フレームにおいて俳優のスーツ上のマーカーの位置を（たとえば空間座標として）決定し、また、向きを決定する。マーカーの位置を追跡することにより、システムは時間をかけてマーカーの空間的な表現を創作し、動いている俳優のデジタル表現を構築する。動きはその後、デジタルモデルに適用される。デジタルモデルはその後、テクスチャが付けられ、レンダリングされ、俳優および／または演技の完全なＣＧ表現を生成する。この技術は、多くの人気映画やゲームにおいて現実的なアニメーションを生成するために特殊効果会社によって使われてきた。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、映画およびビデオゲームのために生成されたシーンをもつ３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートすることを提供する。
【課題を解決するための手段】
【０００４】
ある実施の形態において、３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートするための方法が開示される。この方法は、物理的な空間内でオブジェクトの位置および向きを追跡するステップと、前記物理的な空間内の前記オブジェクトの追跡された位置に対応させて前記３Ｄ環境内に前記仮想的なカメラを配置するステップと、前記仮想的なカメラの視界内でショットを撮影するステップと、前記仮想的なカメラで撮影された前記３Ｄ環境の撮影されたショットを表示するステップとを含み、前記仮想的なカメラの前記視界は、前記オブジェクトの追跡された位置および向きにしたがって測定される。
【０００５】
別の実施の形態において、仮想的な環境において仮想的なカメラの動きをシミュレートするための方法が開示される。この方法は、前記仮想的な環境を含むビデオファイルを受信するステップと、カメラオペレータによって操作される物理的なカメラを追跡して前記物理的なカメラの位置と向きを生成するステップと、前記物理的なカメラの前記生成された位置と向きを用いて、前記仮想的な環境内の前記仮想的なカメラの動きをシミュレートするステップとを含む。
【０００６】
別の実施の形態において、仮想的な環境において仮想的なカメラの動きをシミュレートするためのシステムが開示される。このシステムは、物理的な空間内で動作する物理的なカメラの位置を追跡するように構成された位置追跡機と、前記物理的なカメラの向きを追跡するように構成された向き追跡機と、実行可能なインストラクションを含むコンピュータプログラムを格納したストレージメディアを含むプロセッサと、前記仮想的なカメラで撮影された３Ｄ環境の撮影されたショットを表示するように構成されたディスプレイとを含み、前記インストラクションは前記プロセッサに、前記仮想的な環境を含むビデオファイルを受信するステップと、カメラオペレータによって操作される物理的なカメラを追跡して前記物理的なカメラの位置と向きを生成するステップと、前記物理的なカメラの前記生成された位置と向きを用いて、前記仮想的な環境内の前記仮想的なカメラの動きをシミュレートするステップとを実行させる。
【０００７】
さらに別の実施の形態において、映画およびビデオゲームのために生成されたシーンを有する３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートするためのコンピュータプログラムを格納したコンピュータ読み取り可能なストレージメディアが開示される。前記コンピュータプログラムは実行可能なインストラクションを含み、前記インストラクションはコンピュータに、物理的な空間内でオブジェクトの位置および向きを追跡するステップと、前記物理的な空間内の前記オブジェクトの追跡された位置に対応させて前記３Ｄ環境内に前記仮想的なカメラを配置するステップと、前記仮想的なカメラの視界内でショットを撮影するステップと、前記仮想的なカメラで撮影された前記３Ｄ環境の撮影されたショットを表示するステップとを実行させ、前記仮想的なカメラの前記視界は、前記オブジェクトの追跡された位置および向きにしたがって測定される。
【０００８】
本発明の他の特徴や利点は、これから詳述する説明および図面を参酌することで技術分野の当業者にとってより容易に明らかになる。
【図面の簡単な説明】
【０００９】
【図１】映画およびビデオゲームのために生成されたシーン内で動作する仮想的なカメラの動作をシミュレートするために物理的なカメラを追跡するための物理的な空間を示す図である。
【００１０】
【図２】異なる制御機能を有する物理的なビデオカメラの一例を示す図である。
【００１１】
【図３】物理的な空間のセットアップの一例を示す図である。
【００１２】
【図４】映画およびビデオゲームのために生成されたシーン内で動作する仮想的なカメラの動作をシミュレートするための処理を説明するフローチャートである。
【００１３】
【図５】完全にレンダリングされた動画を含むビデオゲームにおけるシーンの一例を示す図である。
【００１４】
【図６】プレイヤが１人称の視点をもち続ける終局の映画ショットの一例を示す図である。
【００１５】
【図７】モーションキャプチャセッションを示すいくつかの異なるカメラアングルの一例を示す図である。
【００１６】
【図８】生命のような特徴がグラフィカルキャラクタに追加されたショットの一例を示す図である。
【００１７】
【図９】物理的なカメラをもち、物理的な空間内で動作するカメラオペレータを示す図である。
【００１８】
【図１０】図２で示した物理的なビデオカメラの別のビューを示す図である。
【００１９】
【図１１】物理的なカメラの別の実装を示す図である。
【発明を実施するための形態】
【００２０】
ここに記述される実施の形態は、映画およびビデオゲームのために生成されたシーン内で動作する仮想的なカメラの動作をシミュレートするための方法とシステムを提供する。ある実施の形態では、生成されたシーンは、上述のモーションキャプチャセッションから生成されたコンピュータアニメーションシーンである。仮想的なカメラの動作は、記録、再生、巻き戻し、早送りのような典型的なカメラ制御機能すべての他、パン、並進、回転、ズームその他の類似の機能を有する物理的なカメラを用いてシミュレートされる。
【００２１】
この詳細な説明を読めば、いろいろな実施の形態およびアプリケーションにおいて本発明をどのように実装すればよいか、明らかになるであろう。もっとも、本発明のいろいろな実施の形態がここに記載されるが、これらの実施の形態は例示のみを目的として提示されており、限定されるものではない。いろいろな実施の形態の詳細な説明はそれ自体が本発明の範囲や外延を限定するものと解されるべきではない。
【００２２】
より現実的な生命のようなアニメーションを（しばしば３Ｄ環境において）提供する技術が登場したおかけで、ビデオゲームは、単なるゲーム以上によりインタラクティブなエンターテインメントとなってきている。（図７に示したものと類似する）モーションキャプチャセッションは、一連のモーションキャプチャカメラを用いて、俳優の身体のマーカーをキャプチャし、キャプチャされたマーカーをコンピュータに移し、マーカーをスケルトンに適用してグラフィカルキャラクタを生成し、グラフィカルキャラクタに生命のような特徴を付加する（図８参照）。プレイヤがゲーム世界に没頭するために、プレイヤはストーリーに関わりを保つ必要がある。（たとえばモーションキャプチャセッションにおいてモーションキャプチャカメラを用いて）ビデオゲームのために生成されたシーン内で動作する仮想的なカメラの動作をシミュレートすることにより、二つの形態の映画ショットをプレイヤに提示する。完全にレンダリングされた動画（たとえば図５参照）と、プレイヤをゲームに没頭させるためにプレイヤが一人称の視点をもつ終局の映画ショット（たとえば図６参照）である。
【００２３】
ある実施の形態では、図１に示すように、映画やビデオゲーム（「３Ｄ環境」）のために生成されたシーンの中で動作する仮想的なカメラオペレーティングの動作をシミュレートするために、物理的な空間１００の中でオブジェクトの位置と向きを追跡する。ある構成では、そのオブジェクトは、パン、チルト、ロール、ピッチ、ヨー、並進、ズーム、フォーカス、再生、記録、その他の類似の制御機能を有する物理的なビデオカメラ１０２である。図２は、異なる制御機能を有する物理的なビデオカメラの一例を示す。図１０は、物理的なビデオカメラの別のビューある。図１１は、物理的なビデオカメラの別の実装を示す。
【００２４】
ある実施の形態では、３Ｄ環境における生成されたシーンは、最初はフィルムカメラおよび／またはモーションキャプチャカメラで撮影され、処理され、物理的なビデオカメラに供給される。図７は、いくつかの異なるカメラアングルの一例を示し、モーションキャプチャセッションが示されている。代替的な実施の形態では、シーンはコンピュータグラフィックスによって（たとえば、キーフレーム・アニメーションを用いて）生成される。
【００２５】
図１に例示した実施の形態では、ビデオカメラ１０２の位置は、天井に取り付けられた位置追跡機１４０を用いて追跡される。図１に例示した実施の形態では、追跡機１４０に対する支持物は、グリッドパターン１３０で配列されている。追跡機１４０はまた、ビデオカメラ１０２の向きを検知するために使われる。もっとも、典型的な構成では、カメラ１０２に取り付けられた加速度計またはジャイロスコープを用いてカメラの向きを検知する。
【００２６】
３Ｄ環境に対するシーンがいったん生成されると、物理的な空間１００内のカメラ１０２の追跡された位置に対応させて３Ｄ環境内に仮想的なカメラを配置することにより、カメラ１０２は３Ｄ環境内で動作する仮想的なカメラとしてシミュレートされる。その後、カメラ１０２の追跡された向きにしたがって測定された仮想的なカメラの視界内で映画のショット（場面）が撮影される。カメラのオペレータは、監督が望む映画のショットを撮影（あるいは「創作」）し、創作された映画のショットをコンピュータに格納する。創作された場面は、ビデオカメラ１０２の接眼部に表示されたり、物理的な空間１００の壁に配置されたモニタ１１０に伝送されたりする。このように、映画のショットを「創作」するプロセスには、生成されたシーンを物理的なカメラ１０２に供給するステップと、物理的な空間１００内でカメラ１０２の位置と向きを追跡するステップと、物理的な空間１００内の物理的なカメラ１０２の追跡された位置に対応させて３Ｄ環境内に仮想的なカメラを配置するステップと、仮想的なカメラの視界内でショットを撮影するステップと、カメラ１０２の接眼部および／またはモニタ１１０を通して見るために仮想的なカメラの視界内の３Ｄ環境の撮影されたショットを表示するステップとを含み、仮想的なカメラの視界は、カメラ１０２の追跡された向きにしたがって測定される。撮影されたショットは有線または無線で配信してビデオカメラ上で表示することができる。図３は、物理的な空間１００の配置の一例を示す。
【００２７】
要約すると、３Ｄ環境内で動作する仮想的なカメラの動作をシミュレートするためのシステムについて述べた。このシステムは、位置追跡機、向き追跡機、プロセッサ、およびディスプレイを含む。位置追跡機は、物理的な空間内で動作する物理的なカメラの位置を追跡するように構成される。向き追跡機は、物理的なカメラの向きを追跡するように構成される。プロセッサは、実行可能なインストラクションを含むコンピュータプログラムを格納するストレージメディアを含む。この実行可能なインストラクションはプロセッサに、（１）映画またはビデオゲームにために生成されたシーンを有する３Ｄ環境内に仮想的なカメラを配置するステップと、（２）仮想的なカメラの視界内でショットを撮影するステップとを実行させ、仮想的なカメラは、物理的な空間内で動作する物理的なカメラの追跡された位置に対応させて３Ｄ環境内に配置され、仮想的なカメラの視界は、物理的なカメラの追跡された向きにしたがって測定される。ディスプレイは、仮想的なカメラで撮影された３Ｄ環境の撮影されたショットを表示するように構成される。
【００２８】
上述のように、３Ｄ環境においてシミュレートされた仮想的なカメラは、カメラオペレータがモーションキャプチャされた（あるいはキーフレームアニメの）キャラクタまたはオブジェクトに対して前進、後退、周回することを可能にすることによって、モーションキャプチャカメラを補完し、３Ｄ環境の現実的な一人称の視点を生成する。たとえば、図９は、物理的なカメラ９１０を保持し、物理的な空間（たとえば図１の符号１００）内で操作するカメラオペレータ９００を示す。カメラ９１０は、天井の追跡機によって位置が追跡され、カメラ９１０に取り付けられたセンサによって向きが追跡されるから、これらの追跡された情報は、プロセッサに伝送され、プロセッサは、３Ｄ環境内の仮想的なカメラのビューと動きを表すビデオを送り返す。このビデオは壁にあるモニタや物理的なカメラ９１０に取り付けられたディスプレイ（たとえば接眼部）に表示される。
【００２９】
仮想的なカメラのシミュレーションが上述の本発明の異なる実施の形態を通して利用可能となる以前は、モーションキャプチャセッション（あるいはアニメーションキーフレームセッション）が、どこにカメラが位置するのかを決定し、モーションキャプチャされる俳優（あるいはアニメのキャラクタ）がそれに応じて動くように指示することに関与していた。しかしながら、上述のような技術が利用できるようになったことで、モーションキャプチャセッション（あるいはアニメーション・キーフレーム・セッション）が完了した後でも、カメラの位置と角度を決定することができる。さらに、仮想カメラシミュレーションセッションをリアルタイムで実行することができることから、最も良いカメラの動きと角度を提供する特定のテーク（take）を選択する前に、複数の仮想カメラシミュレーションセッションを実行して記録することができる。複数のセッションを記録することで、カメラの動きと角度に関して各セッションを評価して比較することができる。場合によっては、複数の仮想カメラシミュレーションセッションをいくつかの異なるモーションキャプチャセッションの各々について実行し、最も良い組み合わせを選択することができる。
【００３０】
ある実施の形態では、仮想的なカメラ１０２が配置された３Ｄ環境１００にライブアクションモーションキャプチャセッションが統合される。この実施の形態では、俳優が身につけたマーカー（図示せず）の動きを照明源１５０によって照明し、デジタルカメラ１６０によって記録する。代替的な実施の形態では、デジタルカメラ１６０は、照明源１５０を必要とせず、マーカーの動きを直接記録する。３Ｄ環境において動いている俳優のデジタル表現はその後、生成されたシーンに統合される。このようにして、本実施の形態では、カメラオペレータ１２０は、３Ｄ環境においてモーションキャプチャされた俳優を含む生成されたショットを見る。別の実施の形態では、複数の仮想カメラシミュレーションセッションが実行され、異なるライブアクションモーションキャプチャセッションが複数の仮想カメラシミュレーションセッションの各々に対して実行される。
【００３１】
別の実施の形態では、物理的なカメラ一式が台車上に乗せられ、実際の映画撮影セッションの感触を与える滑らかな動きでカメラを動かせるように構成される。さらなる実施の形態では、ビデオカメラ１０２は、３Ｄ環境において仮想的なカメラの配置を変更したり、調整するためのズーミング能力を提供するズーミング制御機能を含む。たとえば、このズーミング制御機能を用いて仮想的なカメラを空中からのビューまたはクローズアップのビューに置くことができる。このようにして、ある例では、仮想的なカメラを空中からのビューに置いたとき、３Ｄ環境の空中からのショットを撮影することができる。別の例では、カメラをクローズアップのビューに置いたとき、３Ｄ環境のランニング接写ショット（たとえばカメラジッタ付きで）を撮影することができる。この実施の形態では、３Ｄ環境において仮想的なカメラの配置を調整することができるため、仮想的なカメラの位置はスケーラブルにすることもできる。たとえば、スケールに応じて、物理的な空間におけるカメラを３フィート動かすことで３Ｄ環境における仮想的なカメラを３フィートまたは３マイル動かすことができる。このスケーラビリティによって、ヘリコプターショット、クレーンショット、ハンドヘルドカメラショットを含む幅広い種類のショットを創作することができる。
【００３２】
これらの例では、物理的なカメラはカメラオペレータの手にあり、監督が望む映画のショットを創作し、創作された映画のショットをコンピュータに格納する。このように、映画のショット（すなわち、カメラオペレータによって作られたショット）は、後処理されたモーションキャプチャセッションシーン、コンピュータ生成されたシーン、またはフィルムカメラシーン（すなわち、俳優の演技から作られたシーン）を用いて生成される。これにより、監督は、俳優に複数のテークを実行させることなく、望ましいショットが取得できるまで、後処理されたシーンからの映画ショットの創作を複数回実行することができるようになる。
【００３３】
図４は、ある実施の形態にしたがって映画とビデオゲームのために生成されたシーンの中で動作する仮想的なカメラの動作をシミュレートするためのプロセスを説明するフローチャート４００である。図４に図示された実施の形態では、ボックス４１０でシーンが生成される。シーンはフィルムカメラまたはモーションキャプチャカメラで撮影することによって生成され、処理され、物理的なカメラ１０２に伝送される。ボックス４２０で、カメラ１０２の位置と向きが物理空間内で追跡される。上述のように、ある実装例では、カメラ１０２の位置は、天井に付けられ、グリッドパターン１３０で配置された位置追跡部１４０を用いて追跡される。追跡部１４０またはカメラ１０２に取り付けられた加速度計／ジャイロスコープを用いて向きを検知する。物理的なカメラ１０２は位置と向きが追跡され、その結果、カメラ１０２の位置と向きは仮想的なカメラの動きの中で適切にシミュレートされる。
【００３４】
ボックス４３０において、物理空間１００内のカメラ１０２の追跡された位置に対応して、仮想的なカメラが３Ｄ環境内に設置される。物理空間１００内のカメラ１０２の追跡された位置に対応づけて仮想的なカメラを３Ｄ環境に配置することにより、カメラ１０２は、３Ｄ環境内で動作する仮想的なカメラとしてシミュレートされる。ボックス４４０において、物理的なカメラ１０２の制御機能からの位置と向きを含む入力を用いて、仮想的なカメラの視界（field of view (FOV)）内で映画ショットが撮影される。仮想的なカメラのＦＯＶは、物理的なカメラ１０２の追跡された向きにしたがって測定される。ボックス４５０で、仮想的なカメラで撮影された３Ｄ環境の撮影されたショットを、たとえばビューイングすするために表示する。上述の実施の形態では、撮影されたショットは、カメラ１０２の接眼部および／またはモニタ１１０に表示される。
【００３５】
ある実施の形態では、物理的な空間内のカメラトラッキングセットアップ全体はゲームであり、ゲームの中でプレイヤは、ゲーム内で生成されたアクションにしたがってカメラオペレータの役割をする。このセットアップは、ゲームを調整するためのプロセッサと、天井に搭載しうる位置追跡機と、プレイヤが保持するカメラに結合された向き追跡機（たとえば、加速度計、ジャイロスコープなど）、プレイヤによって撮影されたアクションの映画ショットを記録するためにプロセッサに結合された記録デバイスとを含む。ある構成では、このプロセッサはソニープレイステーション（商標または登録商標）のようなゲームコンソールである。
【００３６】
ここに開示した実施の形態の説明は、当該分野の当業者が本発明を作成し、利用することができるように提供される。これらの実施の形態に多数の変更を加えられることは当業者には容易に理解され、ここで明らかにした原則は、本発明の趣旨と範囲から逸脱することなく、他の実施の形態に適用することができる。たとえば、明細書は、物理的なカメラを用いて仮想的なカメラの動作をシミュレートすることを記述したが、追跡しうる任意のオブジェクトを用いて、仮想的なカメラをシミュレートすることもできる。別の例では、明細書は、映画やビデオゲームのために生成されたシーン内で動作するカメラのようなオブジェクトの動作をシミュレートすることを記述したが、オブジェクトは、コンサート、パーティ、ショー、不動産見学のような他のアプリケーション内で動作するようにシミュレートすることもできる。別の例では、１以上の物理的なオブジェクト（たとえば、それぞれが異なる動きとビュー角をもつ二人のプレイヤ間でフライトのシーンをシミュレートするために追跡される二つのカメラ）を追跡して、オブジェクト間のインタラクションをシミュレートすることもできる。よって、本発明をここで示した実施の形態に限定する意図はなく、ここに開示した原則や新規の特徴に合ったもっとも広い範囲が認められるべきである。
【００３７】
本発明のいろいろな実装は、電子的なハードウェア、コンピュータソフトウェア、あるいはこれらの技術の組み合わせで実現される。ある実装は、１以上のコンピューティングデバイスによって実行される１以上のコンピュータプログラムを含む。一般に、コンピューティングデバイスは１以上のプロセッサ、１以上のデータストレージコンポーネント（たとえば、揮発性または不揮発性メモリモジュールや、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭドライブ、磁気テープドライブのような永続性のある光ストレージデバイスおよび磁気ストレージデバイス）、１以上の入力デバイス（たとえば、ゲームコントローラ、マウスおよびキーボード）、および１以上の出力デバイス（たとえば、ディスプレイデバイス）を含む。
【００３８】
コンピュータプログラムは、通常、永続性のあるストレージメディアに格納されており、実行時にメモリにコピーされる。少なくとも１つのプロセッサは、所定の順序でメモリからプログラムインストラクションを読み出してコードを実行する。プログラムコードを実行するとき、コンピュータは入力デバイスおよび／またはストレージデバイスからデータを受け取り、そのデータを操作し、その後、結果として得られたデータを出力デバイスおよび／またはストレージデバイスに供給する。
【００３９】
ここで述べた様々な例示的なモジュールおよび方法のステップを、電子的なハードウェア、ソフトウェア、ファームウェアあるいはこれらの組み合わせで実装するできることは、当業者であれば理解できよう。ハードウェアとソフトウェアの間でこのような入れ替えが可能であることを明確に説明するために、様々な例示的なモジュールおよび方法のステップをここでは機能性の観点から一般的に説明した。そのような機能性をハードウェアとして実装するか、ソフトウェアとして実装するかは、その特定のアプリケーションやシステム全体に課された設計上の制約に依存する。当業者は、ここに述べた機能を特定アプリケーション毎にいろいろな方法で実装することができるが、そのような実装の決定を本発明の範囲からの逸脱をもたらすものとして解釈するべきではない。また、モジュールまたはステップ内に機能をグループ化したことは説明を簡単にするためである。特定の機能をあるモジュールまたはステップから別のモジュールまたはステップに移しても、本発明から逸脱することはない。
【００４０】
さらに、ここに開示する実施の形態に関連づけて説明した方法や技術のステップは、直接ハードウェアで具体化してもよく、プロセッサで実行されるソフトウェアモジュールで具体化してもよく、あるいは両者の組み合わせで具体化してもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいはネットワークストレージメディアを含む他の形態のストレージメディアに格納することができる。典型的なストレージメディアは、プロセッサがストレージメディアに対して情報を読み書きすることができるように、プロセッサに接続される。別の例では、ストレージメディアをプロセッサに統合してもよい。プロセッサとストレージメディアをＡＳＩＣ内に搭載することもできる。
【図１】
2012523269.tif 000003
【図２】
2012523269.tif 000004
【図３】
2012523269.tif 000005
【図４】
2012523269.tif 000006
【図５】
2012523269.tif 000007
【図６】
2012523269.tif 000008
【図７】
2012523269.tif 000009
【図８】
2012523269.tif 000010
【図９】
2012523269.tif 000011
【図１０】
2012523269.tif 000012
【図１１】
2012523269.tif 000013
【国際調査報告】
2012523269.tif 000014