(57)【要約】  ビデオデータ（２０６）およびオーディオデータ（２０８）を取得するためのシステムが実現される。例示的な一実施形態では、システムは、有形的表現媒体（２０４）上に記録するのに適している、被写体（１０８）に相対的な方位角値で撮った被写体（１０８）のイメージを表すビデオデータ（２０６）を取得するように適合されたカメラ（１０２）と、被写体（１０８）に相対的な方位角値からオーディオデータ（２０６）を取得するように適合されている、有形的表現媒体（２０４）上のビデオデータ（２０６）に対応するオーディオデータ（２０８）を取得するように適合されたマイク（１０４）と、有形的表現媒体（２０４）上の対応するビデオデータ（２０６）およびオーディオデータ（２０８）とともに格納されている方位角データに対応するデータを供給するように適合されているコンパス（１０６）とを備える。
2010514261.tif 000002
【特許請求の範囲】
【請求項１】
ビジュアライゼーション出力（１０４）を作成するように適合されたビジュアライゼーションアプリケーション（１０２）と、
前記ビジュアライゼーション出力（１０４）、入力データ（１０８）、および第１のイメージ（１１０）を受け取り、第２のイメージ（１１２）を表すデータを作成するように適合された視覚効果モジュール（１０６）であって、前記第２のイメージは前記ビジュアライゼーション出力（１０４）、前記入力データ（１０８）、および前記第１のイメージ（１１０）を含む、視覚効果モジュール（１０６）と
を備えたことを特徴とするシステム（１００）。
【請求項２】
前記入力データ（１０８）は、メタデータを含むことを特徴とする請求項１に記載のシステム（１００）。
【請求項３】
前記ビジュアライゼーションアプリケーション（１０２）は、カメラ位置、照明、三次元シーンモデリング、または三次元セット寸法に関係するデータを用いて前記ビジュアライゼーション出力（１０４）を作成することを特徴とする請求項１に記載のシステム（１００）。
【請求項４】
前記ビジュアライゼーションアプリケーション（１０２）は、セット上の動作を制御するように適合されることを特徴とする請求項１に記載のシステム（１００）。
【請求項５】
制御される前記動作は、照明、カメラ位置もしくは動き、またはセット寸法を含むことを特徴とする請求項４に記載のシステム（１００）。
【請求項６】
前記ビジュアライゼーション出力（１０４）は、三次元要素を含むことを特徴とする請求項１に記載のシステム（１００）。
【請求項７】
前記視覚効果モジュール（１０６）は、前記第１のイメージ（１１０）または他のすでにキャプチャーされているイメージからの１つまたは複数のプレート（２０８）を使用するように適合されることを特徴とする請求項１に記載のシステム（１００）。
【請求項８】
前記視覚効果モジュール（１０６）は、１つまたは複数の三次元要素（２１０）を使用するように適合されることを特徴とする請求項１に記載のシステム（１００）。
【請求項９】
前記入力データは、照明データ、カメラ位置データ、カメラ動きデータ、およびセット寸法のうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム（１００）。
【請求項１０】
ビジュアライゼーションアプリケーション（１０２）を用いて、ビジュアライゼーション出力（１０４）を作成するステップと、
視覚効果合成器１０６を用いて、入力データ（１０８）を使用して前記ビジュアライゼーション出力（１０４）および第１のイメージ（１１０）を合成し、第２のイメージ（１１２）を作成するステップと
を含むことを特徴とするイメージを合成する方法（３００）。
【請求項１１】
前記入力データ（１０８）は、メタデータを含むことを特徴とする請求項１０に記載の方法（３００）。
【請求項１２】
前記ビジュアライゼーションアプリケーション（１０２）は、カメラ位置、照明、三次元シーンモデリング、または三次元セット寸法に関係する前記入力データを用いて前記プリビジュアライゼーション出力（１０４）を作成することを特徴とする請求項１０に記載の方法（３００）。
【請求項１３】
前記ビジュアライゼーションアプリケーション（１０２）を用いて、前記セット上の動作を制御することを特徴とする請求項１０に記載の方法（３００）。
【請求項１４】
制御される前記動作は、照明、カメラ位置もしくは動き、またはセット寸法を含むことを特徴とする請求項１３に記載の方法（３００）。
【請求項１５】
前記第２のイメージ（１１２）は、合成プレート（２０８）および視覚効果三次元要素（２１０）からの情報を含むことを特徴とする請求項１０に記載の方法（３００）。
【請求項１６】
ビジュアライゼーションプロセス（２０２）を実行して出力（１０４）を生成するステップと、
第１のイメージ（１１０）を表すデータをキャプチャーするステップ（２０４）と、
入力データ（１０８）を使用して前記出力（１０４）および前記第１のイメージ（１１０）を組み合わせて第２のイメージ（１１２）を作成するステップと
を含むことを特徴とする方法（２００）。
【請求項１７】
前記入力データ（１０８）は、メタデータを含むことを特徴とする請求項１６に記載の方法（２００）。
【請求項１８】
前記ビジュアライゼーションプロセス（２０２）は、カメラ位置、照明、三次元シーンモデリング、または三次元セット寸法に関係するデータを用いて前記出力（１０４）を作成することを特徴とする請求項１６に記載の方法（２００）。
【請求項１９】
前記合成イメージ（１１２）は、合成プレート（２０８）および視覚効果三次元要素（２１０）からの情報を含むことを特徴とする請求項１６に記載の方法（２００）。
【請求項２０】
前記ビジュアライゼーションプロセス（２０２）は、前記セット上の動作を制御することを含むことを特徴とする請求項１６に記載の方法（２００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映画、テレビ、ゲームなどの視覚効果（ＶＦＸ）の合成を行うための改善されたシステムおよび方法に関するものである。
【背景技術】
【０００２】
この節は、以下で説明され、および／または請求されている本発明のさまざまな態様に関係しうる技術のさまざまな態様を読者に紹介することを目的とする。本発明のさまざまな態様の理解を高めることを容易にするための背景となる情報を読者に提供するうえでこの説明は有益であると思われる。したがって、これらの記述はこの観点から読まれるべきであり、従来技術の承認として読まれるべきではないことを理解されたい。
【０００３】
視覚効果（ＶＦＸ）合成は、とりわけ、コンピューター生成イメージまたはライブオンセットイメージキャプチャー（live on-set image capture）などの２つまたは複数の入力イメージソースから最終的な合成イメージを作成するプロセスである。「合成」という用語は、さまざまなソースからイメージを合成し「合成」イメージを形成する活動に由来する。現在、ＶＦＸ合成は、映画、テレビ番組、ビデオゲームなどの連続した作成ワークフローにおける孤立した１つの段階である。ＶＦＸ合成の既知の方法では、プリビジュアライゼーション（プリビズまたは単にビジュアライゼーション）、キャプチャー、およびデイリー（dailies）のレビューなどの事前ワークフローステップを利用することができない。プリビジュアライゼーションは、フィルム中のシーンがスクリプトまたはストーリーボード上の単純な記述を超えてレンダリングされるプロセスである。ビジュアライゼーション、つまりプリビズは、フィルムのストーリーボードセットの単純な撮影から、スクリプトの音読、イマジネーションに任すところのほとんどない完全にレンダリングされた三次元映像に至るまで、非常に広い範囲にわたる。このプロセスは、「低コスト」の環境においてアイデアを生み出すためのたたき台となる。また、これは、そうしたアイデアを曖昧さの少ない形で表現して他の人々に伝える一手段としても使用されうる。プリビジュアライゼーションは、ポストプロダクションにおいて非線形オフライン編集が果たすのと同じ役割をプリプロダクションにおいて果たす。考えを変えたとしても大きな不利益を被ることなく、映像作品などについて素早く、容易に創造的な決定を下すことができる日が来たのである。したがって、映画制作者は、多くの異なるオプションを試み、それらの変更が未来のシーンに対しどのような影響を及ぼすかを確認することができ、映像作品全体のより流動的な感覚を感じられるようにできる。最低限のエネルギーが費やされている場合に、プロセスの早い段階では取りかからないショットをなくすことにより、制作時にかなりの時間および費用を節約できる。しかし、これらのプロセスから得られる関連情報は、効果的なＶＦＸ合成を簡単に行えるように系統立てて再利用可能な形では収集されていない。さらに、既知のＶＦＸ合成器は、セット条件などに関するフィードバックを提供する見込みを持たないで、合成すべきイメージまたはデータがキャプチャー時にどのように記録されていようと、またそれが何であろうと処理しなければならない。ＶＦＸ合成プロセスを改善できるシステムおよび方法が望まれる。
【発明の概要】
【０００４】
開示されている実施形態と範囲に関して整合しているいくつかの態様について以下で述べる。これらの態様は、本発明がとりうる特定の形態の簡単な概要を読者に単に示すだけのために提示されており、これらの態様により、本発明の範囲を制限することは意図していないことが理解されるであろう。実際、本発明は、以下に述べられないさまざまな態様を包含することができる。
【０００５】
イメージの合成に役立つシステムが実現される。システムは、初期グラフィックス出力を生成するように適合されたプリビジュアライゼーションアプリケーションを備える。システムは、さらに、初期グラフィックス出力、入力データ、およびキャプチャーイメージを受け取り、初期グラフィックス出力、入力データ、およびキャプチャーイメージに基づき合成イメージを作成するように適合された視覚効果（ＶＦＸ）合成器を備える。
【０００６】
また、イメージを合成する方法も実現される。例示的な一方法は、プリビジュアライゼーションアプリケーションを用いて初期グラフィックス出力を生成するステップ、および視覚効果（ＶＦＸ）合成器を用いて、入力データを使用して初期グラフィックス出力およびキャプチャーイメージを合成し、合成イメージを作成するステップを含む。
【０００７】
それに加えて、他の方法も、実現される。この方法は、プリビジュアライゼーションプロセスを実行して初期グラフィックス出力を作成するステップを含む。この方法は、さらに、イメージをキャプチャーしてキャプチャーイメージを作成するステップと、入力データを使用して初期グラフィックス出力およびキャプチャーイメージを合成し、合成イメージを作成するステップを含む。
【図面の簡単な説明】
【０００８】
【図１】本発明の例示的な一実施形態によるシステムを示すブロック図である。
【図２】本発明の例示的な一実施形態によるワークフローを示すブロック図である。
【図３】本発明の例示的な一実施形態によるプロセスを示すプロセスフロー図である。
【発明を実施するための形態】
【０００９】
本発明の１つまたは複数の特定の実施形態について、以下で説明する。これらの実施形態の説明を簡潔にするために、本明細書では、実際の実施のすべての特徴が説明されるわけではない。このような実際の実施の開発において、実施毎に異なる可能性のある、システムに関係した制約条件およびビジネスに関係した制約条件への準拠など、開発者の具体的目標を達成するために、多くの実施特有の決定を下さなければならないことは理解されるであろう。さらに、このような開発努力は、複雑で、時間がかかるとかもしれないが、それでも、本開示を利用する当業者にとっては設計、製作、および製造の通常の業務であることは理解されるであろう。
【００１０】
図１は、本発明の例示的な一実施形態によるシステムを示すブロック図である。この図は、参照番号１００により一般に参照される。図１に示されているシステムは、初期グラフィックス出力１０４を作成するように適合されたプリビジュアライゼーションアプリケーション１０２を備える。プリビジュアライゼーションアプリケーション１０２は、１つまたは複数のソフトウェアモジュールを備えることができる。プリビジュアライゼーションアプリケーション１０２は、登場人物配置、照明、セット、つまり映画またはビデオの撮影または録画の配置、制御、カメラ位置などに関する初期データに基づき初期グラフィックス出力１０４を作成するように適合されうる。
【００１１】
初期グラフィックス出力１０４は、グラフィックストーリーボード、アニメーションストーリーボードなどを含むことができ、他にも情報はあるが、シーン毎に登場人物、行動、外観を示すことができる。初期グラフィックス出力１０４は、プリント出力、コンピューターファイルなどの形態とすることができる。本発明の例示的な一実施形態では、初期グラフィックス出力１０４は、後述のようなオンセットラフ合成（on-set rough composite）を作成するために使用できる初期ＶＦＸ三次元（３Ｄ）要素を含む。
【００１２】
図１に示されているシステムは、さらに、プリビジュアライゼーションアプリケーション１０２から初期グラフィックス出力１０４を受け取るように適合されたＶＦＸ合成器１０６も備える。ＶＦＸ合成器は、１つまたは複数のソフトウェアモジュールを備えることができる。ＶＦＸ合成器１０６は、さらに、入力データ１０８およびキャプチャーイメージ１１０を受け取るように適合される。図１に示されている例示的な実施形態では、入力データ１０８は、メタデータ、つまりデータに関するデータを含む。入力メタデータ１０８は、キャプチャーイメージ、創造的プロセスに関わるアーチストの意図、または例えばカメラ配置、照明モデル、セットの寸法、およびモデルなどの撮影の他の態様に関するデータを含むさまざまな制作パラメーターに関係しうる。入力メタデータ１０８の一部または全部を、さらに、プリビジュアライゼーションアプリケーション１０２に送ることができる。キャプチャーイメージ１１０は、シーン撮影時にセットでキャプチャーされるイメージとすることができる。ＶＦＸ合成器１０６は、初期グラフィックス出力１０４、入力メタデータ１０８、キャプチャーイメージ１１０、および場合によってはラフ合成イメージ１１２それ自体からプリビジュアライゼーションアプリケーションへのフィードバックに基づきラフ合成イメージ１１２を作成するように適合される。ラフ合成イメージ１１２をリアルタイムにセットで使用し、最終的な合成イメージを作成するのに先立ってカメラ位置、照明デザインなどの制作データを精緻化することができる。
【００１３】
当業者であれば、本発明の例示的な一実施形態は、単一のイメージをキャプチャーするのに役立つだけでなく、一連の静止画または動画をキャプチャーするためにも使用されうることを理解するであろう。アーチストは、オンセットでショットをキャプチャーし、１つまたは複数の固定されたもしくは動くＶＦＸ要素をショットのすべてのピクチャに合成することができる。
【００１４】
図２は、本発明の例示的な一実施形態によるワークフローまたは方法を示すブロック図である。ブロック図は、参照番号２００により一般に参照される。図２に表されている例示的な方法は、プリビジュアライゼーションアプリケーション１０２（図１）を使用して実行されうるプリビジュアライゼーションプロセス２０２（プリビズ）を含む。プリビジュアライゼーションプロセス２０２は、カメラセットアップ、照明、セット制御などに関係するデータを受け取ることができる。図２に示されている方法のさまざまなプロセスへのデータ入力は、一般に、入力メタデータ１０８（図１）に対応する、メタデータ２１８として参照される。
【００１５】
図２に示されている方法の次のプロセスは、キャプチャープロセス２０４である。キャプチャープロセス２０４は、プリビジュアライゼーションアプリケーション１０２（図１）の初期グラフィックス出力１０４（図１）と合成されるイメージ（または複数の静止画または動画）をキャプチャーする動作を表す。キャプチャープロセス２０４中、とりわけ、レンズデータ、カメラ位置（絶対および／または相対）、時刻、グローバルポジショニングシステム（ＧＰＳ）位置、照明モデルデータ、セットメートル法化データなどのメタデータも集めることができる。
【００１６】
キャプチャープロセス２０４の後、ＶＦＸエディター１０４（図１）によりＶＦＸ編集プロセスで処理する前に、結果として得られる（複数の）イメージをオンセットデイリープロセス２０６でレビューすることができる。入力メタデータ１０８（図１）に加えて、ＶＦＸ編集プロセスは、キャプチャーイメージ１１０（図１）の一部を含みうる、プレートに使用される対数／線形変換（log to lin conversion）などのメタデータを組み込むことができる。これは、図２に示されているように、ＶＦＸ合成プロセスは通常線光で行われるため有用である。ＶＦＸ編集プロセスは、１つまたは複数の合成プレート２０８および１つまたは複数のＶＦＸ  ３Ｄ要素２１０を伴う。合成プレート２０８は、キャプチャーイメージ１１０の表現を含むことができる。それに加えて、すでにキャプチャーされているイメージの他のプレートも使用できる（例えば、背景プレートとしての山の風景）。（複数の）合成プレート２０８および（複数の）ＶＦＸ  ３Ｄ要素２１０は、ＶＦＸ編集時に、上述の入力メタデータを使用してラフ合成イメージ１１２に組み合わせることができる。表示ルックアップテーブル（ＬＵＴ）データ、密度空間（対数）データの出力、初期合成情報などのラフ合成イメージ１１２と関連するメタデータは、図２に示されているように、ＶＦＸ合成器１０６により出力され、デイリーまたは最終ＶＦＸ合成のために収集されうる。ラフ合成イメージ１１２および収集されたメタデータは、プリビジュアライゼーションプロセス２０２またはキャプチャープロセス２０４のいずれかで図２に例示されている方法を再開するための入力として使用されうる（例えば、カメラ位置の調整またはプリビジュアライゼーションアプリケーションから出力されるグラフィックスの変更）。
【００１７】
ラフ合成イメージ１１２は、デイリーレビュープロセス２１４で評価されうる。デイリーレビュープロセス２１４は、初期の色補正を行う際に役立つことができる。デイリーレビュープロセス２１４の後に、最終的な合成イメージプロセス２１６を実行すると、結果としてＶＦＸイメージが仕上がる。
【００１８】
プリビジュアライゼーションアプリケーション１０２およびＶＦＸ合成器１０６によるさまざまなデータ入力２１８の使用および図２に示されている方法の反復的な性質により、既知のＶＦＸ合成ワークフローの自動化および短縮が容易になる。さらに、図２に示されている例示的な方法は、キャプチャープロセス２０４の実行中にまたはその後まもなくオンセットですぐにレビューできるようにＶＦＸ要素および合成プレートのラフ合成を行う。それに加えて、プリビジュアライゼーションアプリケーション１０２およびリアルタイムＶＦＸ合成器１０６の出力を利用して、セット（例えば、照明、カメラ位置または動き、セット寸法など）のキャリブレーションおよび／またはさらには制御を自動的におよび／または手動で行うことができる。このようにして、制作クルーによる所望の芸術的ビジョンをキャプチャーするプロセスを改善することができる。カメラ位置、照明、およびセットメートル法化（set metrification）などの関連するデータの使用により、ＶＦＸ  ３Ｄ要素の合成が容易になり、また結果もより納得のゆくものとなる。
【００１９】
図３は、本発明の例示的な一実施形態によるプロセスを示すプロセスフロー図である。このプロセスは、参照番号３００により一般に参照される。ブロック３０２で、このプロセスが開始する。ブロック３０４で、プリビジュアライゼーションアプリケーション１０２（図１）を用いて、初期グラフィックス出力１０４（図１）を作成する。ブロック３０６で、ＶＦＸ合成器１０６（図１）を用いて、入力メタデータ１０８（図１）を使用して初期グラフィックス出力１０４（図１）およびキャプチャーイメージ１１０（図１）を合成し、ラフ合成イメージ１１２を作成する。ブロック３０８で、プロセスは終了する。
【００２０】
本発明は、さまざまな修正および代替の形態に応じて変わりうるが、特定の実施形態が、図面の実施例で示され、本明細書において詳細に説明される。しかし、本発明は、開示されている特定の形態に限定されることを意図されていないことは理解されるであろう。むしろ、本発明は、以下の添付の特許請求の範囲により定められる本発明の精神および範囲内にあるすべての修正形態、等価形態、および代替の形態を対象とする。
【図１】
2010514261.tif 000003
【図２】
2010514261.tif 000004
【図３】
2010514261.tif 000005
【国際調査報告】
2010514261.tif 000006