(57)【要約】 【解決手段】    時間および空間におけるライト（照明）のモデリングのための方法およびシステムが開示されている。本願に開示された発明の方法およびシステムは、例えば、動画のセットにおいて、異なる位置および時刻（３０２、３０４、３０６）で視覚的効果（ＶＦＸ）を合成（３０８）するために用いられるライトモデルを構築するために、ライトの検出を収集する。ライトモデルは、予め定められた物理空間のための空間および／または時刻全体にわたる配光を表す。ライトモデルを用いて、特定のライトの検出が得られなかった（３１４）中間のまたは他の位置および／または時刻のライティングが予測または補間される。ライトモデルは、場面のオブジェクト（例えば、自然なまたはＣＧ要素）を、あたかもそれらがその空間においてあるかのようにレンダリングするために用いることができる。
2010510572.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた物理空間におけるライトをモデリングするための方法であって：
第１の空間位置における少なくとも１つの第１のライト検出、および第２の空間位置における少なくとも１つの第２のライト検出を得るステップ；および
前記少なくとも１つの第１および第２のライト検出に基づき、予め定められた物理空間に配光モデルを構築するステップ；
を有する方法。
【請求項２】
前記配光モデルを構築するステップが、前記少なくとも１つの第１および第２のライト検出から予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するステップ、を有する請求項１記載の方法。
【請求項３】
前記予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するステップが、三角測量によって実行される、請求項２記載の方法。
【請求項４】
前記配光モデルに基づいて、第４の空間位置でのライトの輝度を予測するステップ、を更に有する、請求項１記載の方法。
【請求項５】
前記第４の空間位置でのライトの輝度は、前記少なくとも１つの第１のライト検出および前記少なくとも１つの第２のライト検出を補間することによって特定される、請求項４記載の方法。
【請求項６】
前記少なくとも１つの第１のライト検出を、少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間に得るステップ、を更に有する請求項１記載の方法。
【請求項７】
少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間とは異なる別の時間の瞬間における前記第１の空間的位置でのライトの輝度を、前記配光モデルに基づいて予測するステップ、を有する請求項６記載の方法。
【請求項８】
前記少なくとの１つの第１および第２のライト検出は、前記少なくとも１つの第１および第２の空間位置における、少なくともライトの輝度およびライトの方向を含む、請求項１記載の方法。
【請求項９】
前記少なくとも１つの第１および第２のライト検出は、少なくとも１つのカメラによって得られ、前記少なくとの１つの第１および第２のライト検出を得るステップは、
カメラの焦点中心および焦点面を特定するステップ；
前記焦点中心から前記予め定められた物理空間の少なくとも１つの空間位置まで光線を通すステップ；および
前記光線が通る前記焦点面の位置を特定するステップ、
を更に有する請求項８記載の方法。
【請求項１０】
前記焦点面の前記位置の画素値は、前記予め定められた物理空間の前記少なくとも１つの空間位置の色輝度に比例し；かつ
前記焦点中心から前記予め定められた物理空間の前記少なくとも１つの空間位置への前記光線の角度によって、前記少なくとも１つの空間位置からのライトの方向が特定される、
請求項８記載の方法。
【請求項１１】
場面の新しいイメージを作成する方法であって：
予め定められた時刻に場面のイメージを得るステップ；
前記場面の３次元座標を特定するステップ；
前記予め定められた時刻および前記３次元座標に基づいて、前記場面の選択された空間位置でのライトの情報を予測するステップ；および
前記予測されたライトの情報を伴う前記場面の前記選択された空間位置でのオブジェクトをレンダリングするステップ、
を有する方法。
【請求項１２】
前記レンダリングされたオブジェクトを場面に合成するステップ、を更に有する請求項１１記載の方法。
【請求項１３】
前記オブジェクトは、コンピュータ・グラフィックス・要素、およびセグメント化されたオブジェクトの１つである、請求項１２記載の方法。
【請求項１４】
前記ライトの情報を予測するステップは、
第１の空間位置における少なくとも１つの第１のライト検出、および第２の空間位置での少なくとも１つの第２のライト検出を得るステップ；および
前記少なくとも１つの第１および第２のライト検出に基づき、予め定められた物理空間に配光モデルを構築するステップ；
を有する請求項１１記載の方法。
【請求項１５】
前記少なくとの１つの第１および第２のライト検出は、前記少なくとも１つの第１および第２の空間位置における、ライトの輝度およびライトの方向を含む、請求項１４記載の方法。
【請求項１６】
前記配光モデルを構築するステップが、前記少なくとも１つの第１および第２のライト検出から予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するステップ、を有する請求項１４記載の方法。
【請求項１７】
前記配光モデルに基づいて、第４の空間位置でのライトの輝度を予測するステップ、を更に有する、請求項１４記載の方法。
【請求項１８】
前記少なくとも１つの第１のライト検出を、少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間に得るステップ、を更に有する請求項１４記載の方法。
【請求項１９】
少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間とは異なる別の時間の瞬間における前記第１の空間的位置でのライトの輝度を、前記配光モデルに基づいて予測するステップ、を有する請求項１８記載の方法。
【請求項２０】
予め定められた物理空間内のライトをモデリングするためのシステムであって：
第１の空間位置における少なくとも１つの第１のライト検出、および第２の空間位置における少なくとも１つの第２のライト検出を得る少なくとも２つのセンサ；および
少なくとも１つのライトモデルを生成するために構成された後処理装置；を有し、前記後処理装置は：
前記予め定められた物理空間の配光モデルを生成するために、前記少なくとも１つの第１および第２のライト検出から前記予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するよう構成されたライトモデルビルダ；
を有するシステム。
【請求項２１】
前記後処理装置は、前記特定された配光モデルに基づき、第４の空間位置でライトの輝度を予測するよう構成されたライト予測器、を更に有する請求項２０記載のシステム。
【請求項２２】
前記少なくとも２つのセンサは、前記少なくとも１つの第１のライト検出を、少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間に得るよう更に構成された、請求項２１記載のシステム。
【請求項２３】
前記ライト予測器は、少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間とは中間的に異なる別の時間の瞬間における前記第１の空間的位置でのライトの輝度を、前記配光モデルに基づいて予測するよう更に構成された請求項２２記載のシステム。
【請求項２４】
前記少なくとの１つの第１および第２のライト検出は、前記少なくとも１つの第１および第２の空間位置における、ライトの輝度およびライトの方向を含む、請求項２０記載のシステム。
【請求項２５】
前記後処理装置は、予め定められた時刻に場面のイメージを得るよう更に構成され、前記後処理装置は、前記場面の３次元座標を特定するジオメトリ検出器を有し、前記ライト予測器は、前記予め定められた時刻および前記３次元座標に基づいて、前記場面の選択された空間位置でのライトの情報を予測する、請求項２１記載のシステム。
【請求項２６】
前記後処理装置は、前記予測されたライトの情報を伴う前記場面の前記選択された空間位置でのオブジェクトをレンダリングするよう構成されたレンダラー、を更に有する請求項２５記載のシステム。
【請求項２７】
前記レンダリングされたオブジェクトを場面に合成する合成器、を更に有する請求項２６記載のシステム。
【請求項２８】
前記オブジェクトは、コンピュータ・グラフィックス・要素、およびセグメント化されたオブジェクトの１つである、請求項２６記載のシステム。
【請求項２９】
予め定められた物理空間のライトのモデリングのための方法のステップをマシンによって実行可能なインストラクションによるプログラムを明確に組み込んだ、マシン可読のプログラム記憶装置であって、前記方法は、
第１の空間位置における少なくとも１つの第１のライト検出、および第２の空間位置における少なくとも１つの第２のライト検出を得るステップ；および
前記少なくとも１つの第１および第２のライト検出に基づき、予め定められた物理空間に配光モデルを構築するステップであって、前記配光モデルを構築するステップが、前記少なくとも１つの第１および第２のライト検出から予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するステップを有するところのステップ；および
前記配光モデルに基づき、第４の空間位置でライトの輝度を予測するステップ；
を有するプログラム記憶装置。
【請求項３０】
前記方法は、
前記少なくとも１つの第１のライト検出を、少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間に得るステップ、
少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間とは異なる別の時間の瞬間における前記第１の空間的位置でのライトの輝度を、前記配光モデルに基づいて予測するステップ、
を有する請求項２９記載のプログラム記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願に開示された発明は、一般にコンピュータ・グラフィック処理およびディスプレイシステムに関する。より詳細には、時刻および空間におけるライト（照明、light）のモデリングのための方法およびシステムに関する。
【背景技術】
【０００２】
動画の製作のために、例えばデジタル的にレンダリングされたイメージを、従来のフィルムカメラ、または最近のデジタルカメラによって撮影された本当の場面のイメージに合成することが近年においては要望されている。例えば、従来の特殊効果ツールを使用した場合、作成するには非常に高価であり、また不可能であるような映画の場面においては、デジタル的に視覚的効果（ＶＦＸ：ｖｉｓｕａｌ  ｅｆｆｅｃｔｓ）をフィルム上に生成することが望ましい。しかも、視覚的効果は、完全にリアルで、現実を錯覚させるように再現できることが望ましい。「イメージベースのライト」としばしば呼ばれる手法を含む、写真画像に挿入するためのデジタル・オブジェクトをレンダリングする方法は、当該技術分野において知られている。端的に説明すると、イメージベースのライトは、撮影され、キャプチャされた場面の特定の位置での現実の情報を収集し、デジタル・オブジェクトのレンダリングに、この情報を使用することである。これによって、あたかもレンダリングされたオブジェクトが場面に存在する実物であるかのように、それが全く同様に照らされる。そして、画面から遊離したような見え方をせずに、場面の写真画像（またはビデオ・シーケンスのフレーム）に挿入されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
現在、グローバルなライトの空間の位置をキャプチャリングする方法が幾つか存在する。現在の解決策としては、球面ミラーボールに対して高いダイナミック・レンジのピクチャを幾つか撮影するか、または、専用カメラによって高いダイナミック・レンジのパノラマのピクチャを撮影する方法が挙げられる。最も単純な方法は、普通のカメラを用いて、場面に置かれたミラーボールの写真を撮ることである。ミラーボールは、カメラの方向の半球面だけでなく、実際に場面の周辺全体を反射する。ボールの外側の表面を反射した光線は、後ろ半分の環境からカメラに対し入射する。普通のカメラを使用して全方向のイメージを得る他の方法としては、異なる方向の多くのピクチャのモザイクを撮影し、周知のように、イメージをつなぎ合わせるプログラムを使用して、それらを結合することである。各撮影において特に広いエリアをカバーする好適な方法は魚眼レンズを使用することである。これによれば、ユーザは、わずか２つのイメージでも全視野をカバーすることができる。最終的な技術は特殊スキャンパノラマカメラ（例えばドイツのＳｐｈｅｒｏｎＶＲ  ＡＧから販売されているＰａｎｏＣａｍ（登録商標）カメラ）を使用することである。これは３６０度の視野全体をスキャンする回動カメラヘッド内の垂直列のイメージセンサを使用する。しかしながら、専門のカメラおよび球面ミラーボールは、光測定をするために適切に設計され、かつ調整されることを必要とする。また、これらのシステムは、空間的に一地点の時刻に特定の時刻のライトをキャプチャできるに過ぎない。しかしながら、ＶＦＸアプリケーションは一般に、全ての領域のライトの情報を必要とする。たとえば、動画の集合に対して、および時刻と共にライトの環境が変化する場合に情報が必要となる。
【０００４】
他の方法は、ライトの情報をキャプチャするために、カメラ配列を使用する。カメラ配列においては、カメラが平坦な平面に均一に置かれるので、カメラ配列の視野は特定のアングルおよび特定の空間位置に限られている。ＶＦＸアプリケーションにおいては、通常、広い視野およびライトの情報（実質的にあらゆる位置）が必要である。現在のカメラ配列での解決策はＶＦＸアプリケーションに限界を与える。
【０００５】
さらにまた、既存のシステムは、複数の地点からおよび／または複数の時刻でのライトの情報を集めない。既存のシステムは、系統的に、ライトのモデルを構築しておらず、他の場所でのおよび／または他の時刻のライトの予測または補間をすることができない。したがって、ＶＦＸの合成のための既存のシステムの機能は限定されており、キャプチャリングおよびモデリングは単純なグローバルなライトに限られている。
【課題を解決するための手段】
【０００６】
異なる位置、および、異なる時刻での動画の集合におけるライトのモデリングのための方法およびシステムが開示されている。本願に開示された発明の方法およびシステムは、異なる位置および時刻でライトの検出（reading）を収集する。これによって視覚的効果（ＶＦＸ）を合成するために用いられる必要なライトのモデルを構築することができる。ライトモデルを用いて、ライトは、特定のライトの検出が得られなかった他の位置および／または時刻に対して、予測または補間されてもよい。
【０００７】
本願に開示された発明の方法およびシステムは、幾つかの予め定められた物理空間の複数の位置および／または複数の時刻でライトの情報を収集する（例えば、複数のライトの検出された位置、ライトの情報が得られる複数の地点におけるピクチャまたはイメージ、など）。そして、予め定められた物理空間のために、空間および／または時刻全体の配光を表すライトモデルを構築する。配光モデルは、空間および時刻の放射輝度関数を特徴づけるものであり、あるいは、これに近似するものである。ここで放射輝度とは、特定の位置および方向でのライトの強さである。配光モデルは、場面の特定の位置の放射輝度値を特定することにより、構築できる。配光モデルは、ライトの情報がキャプチャされなかった位置および時刻にライトを補間する方法を含んでもよい。ライトモデルは、あたかもそれらがその空間にあるかのように、レンダリング・オブジェクト（例えば、自然なまたはＣＧ要素）のために用いることができる。レンダリング・プロセスのために、ライトの補間／予測は、所望の空間および瞬間に対して実行される。レンダリングされたオブジェクトは、例えば、ライトの情報が収集された場面または背景と合成することができる。
【０００８】
本願に開示された発明の一態様においては、予め定められた物理空間におけるライトをモデリングするための方法が開示されている。本発明の方法は、第１の空間位置で少なくとも１つの第１のライトの検出、および第２の空間位置で少なくとも１つの第２のライトの検出を得るステップ、および、少なくとも１つの前記第１および第２のライトの検出に基づいて、配光のモデルを予め定められた物理空間に構築するステップ、を有する。方法は、更に前記配光モデルに基づく空間位置でのライトの輝度を予測するステップを含む。
【０００９】
別の態様においては、前記少なくとも１つの第１のライト検出を、少なくとも１つの第１の時間の瞬間（instant  of  time）および少なくとも１つの第２の時間の瞬間に得るステップ、および、少なくとも１つの第１の時間の瞬間および少なくとも１つの第２の時間の瞬間とは異なる別の時間の瞬間における前記第１の空間的位置でのライトの輝度を、前記配光モデルに基づいて予測するステップ、を有する。
【００１０】
本願に開示された発明の別の態様では、場面の新しいイメージを作成する方法であって：予め定められた時刻に場面のイメージを得るステップ；前記場面の３次元座標を特定するステップ；前記予め定められた時刻および前記３次元座標に基づいて、前記場面の選択された空間位置でのライトの情報を予測するステップ；および前記予測されたライトの情報を伴う前記場面の前記選択された空間位置でのオブジェクトをレンダリングするステップ、を有する。
【００１１】
更なる態様において、予め定められた物理空間のライトをモデリングするためのシステムが提供される。予め定められた物理空間内のライトをモデリングするためのシステムであって：第１の空間位置における少なくとも１つの第１のライト検出、および第２の空間位置における少なくとも１つの第２のライト検出を得る少なくとも２つのセンサ；および  少なくとも１つのライトモデルを生成するために構成された後処理装置；を有し、前記後処理装置は：前記予め定められた物理空間の配光モデルを生成するために、前記少なくとも１つの第１および第２のライト検出から前記予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するよう構成したライトモデルビルダ；を有するシステムが提供される。
【００１２】
他の態様として、予め定められた物理空間のライトのモデリングのための方法のステップをマシンによって実行可能なインストラクションによるプログラムを明確に組み込んだ、マシン可読のプログラム記憶装置であって、前記方法は、第１の空間位置における少なくとも１つの第１のライト検出、および第２の空間位置における少なくとも１つの第２のライト検出を得るステップ；および前記少なくとも１つの第１および第２のライト検出に基づき、予め定められた物理空間に配光モデルを構築するステップであって、前記配光モデルを構築するステップが、前記少なくとも１つの第１および第２のライト検出から予め定められた物理空間の少なくとも１つの第３の空間位置の放射輝度を特定するステップを有するところのステップ；および前記配光モデルに基づき、第４の空間位置でライトの輝度を予測するステップ；を有するプログラム記憶装置が提供される。
【００１３】
上述のおよび他の態様、特長および本願に開示された発明の効果は、以下の説明および以下の好ましい実施例の詳細な説明から明らかになる。そして、これらは添付の図面を参照して説明する。図面において、類似する参照符号は図の全体にわたって同様の要素を意味する。図面は、開示の概念を図示するためのものであって、可能な唯一の構成であるというわけではないことを理解すべきである。
【図面の簡単な説明】
【００１４】
【図１】本発明の一態様に基づきライトモデルを使用した視覚的効果（ＶＦＸ）を合成する、時間および空間のライトモデルのシステムの典型的な実例を示す図である。
【図２】本発明の一態様に基づきライトモデルを使用した視覚的効果（ＶＦＸ）を合成する、典型的なライトモデルのセットでのシステムセットアップを示す図である。
【図３】本願に開示された発明の一態様によるライトモデルを使用した時間および空間のライトのモデリングおよびライトの予測の典型的な方法を示すフローチャートである。
【図４】本発明の一態様に基づき１つのイメージのピクセル輝度をライトおよび方向輝度に換算する技術を示す図である。
【図５】本発明の一態様に基づき、３次元（３Ｄ）空間の場面位置を識別するために、少なくとも２つのイメージの間の三角測量を用いてピクセルのマッチングを行う技術を示す図である。
【図６】本発明の一態様に基づき、場面の新しい位置でのライトの輝度および方向を補間する技術を示す図である。
【図７】本発明の一態様に基づき、ＶＦＸ合成の典型的な方法を示すフローチャートの図である。
【発明を実施するための形態】
【００１５】
図１及び図２に示される要素は、ハードウェア、ソフトウェアまたはそれらの組み合わせの様々な形態により実現され得る。好ましくは、これらの要素は１つ以上の適切にプログラムされた汎用デバイスのハードウェアおよびソフトウェアの組み合せでインプリメントされる。このデバイスはプロセッサ、メモリおよび入出力インタフェースを含んでもよい。
【００１６】
本願明細書は、本願に開示された発明の原理を開示する。本願明細書において明示的に記載されておらず、あるいは示されていない場合であっても、当業者であれば、開示の原理を実現するさまざまな組み合わせを構成することが可能である。しかも、それらは、本願発明の範囲内に含まれるものである。
【００１７】
本願明細書において詳述するすべての実施例および条件に関する記述は、説明を目的とするものであり、発明者によってなされた開示の原理を読者が理解するのを助けることを目的とする。しかも、特に詳述されたこれらの実施例および条件に限定されるものではないと解釈すべきである。
【００１８】
そして、本願明細書において、概念、開示された態様および具体的な実施例は、構成および機能の均等物を包含する。加えて、かかる均等物は、現在知られている均等物および将来の均等物の両者を含む。すなわち、構造の如何を問わず、同じ機能を持つよう創作されたいかなる要素も含まれる。
【００１９】
したがって、本願明細書および図面において開示されるブロック図は、本願発明の原理を実現する例示的回路の概念的な図を当業者に対して示すものである。同様に、すべてのフローチャート、フロー図、状態遷移図、疑似コードなどは基本的にコンピュータ可読媒体において示すことができる。これらは、コンピュータあるいはプロセッサが明示的に示されているかどうかに関係なく、コンピュータ又はプロセッサによって実行できる種々のプロセスを示している。
【００２０】
図に示されるさまざまな要素の機能は、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアおよび専用ハードウェアを用いることにより提供されてもよい。機能がプロセッサによって提供される場合、その機能は単一の専用プロセッサ、単一の共用プロセッサ、または、複数の個々のプロセッサによって提供されてもよい。そして、その幾つかは共有されていてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアのみを指すものと理解してはならない。したがって、デジタル信号処理プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアの格納のための読取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）および不揮発性記憶装置が例示として挙げられるが、これに限定されるものではない。
【００２１】
通常のものであれカスタム化されたものであれ、他のハードウェアも含まれる。同様に、図に示されるいかなるスイッチも、概念的なものである。それらの機能は、プログラム制御、専用のロジック、または、手動でさえ実行することができる。実装を行う者による特定の技術は、その状況に応じて選択される。
【００２２】
請求項において、特定された機能を実行するための手段として表されるいかなる要素も、例えば、その機能を実行するいかなる方法をも包含するものとする。したがって、ａ）その機能を実行する回路の要素またはそれらのいずれの組み合わせ、ｂ）ファームウェア、マイクロコード等を含むソフトウェアおよびそのソフトウェアを実行するための適切な回路であって、その機能を実行するものが含まれる。かかる請求項に記載の開示は、さまざまな詳述された手段により提供される機能が結合されたものであり、かつ請求項が必要とする方法でそれらが結合される。それらの機能を提供するいかなる手段も、本願明細書において示される機能と均等である。
【実施例】
【００２３】
本願に開示された発明は、動画における空間および時間全体のライトのモデリングの課題を解決するものである。例えば、ライトは、フォトリアリスティックな画像エフェクト（ＶＦＸ：ｖｉｓｕａｌ  ｅｆｆｅｃｔ）の合成において、非常に重要である。合成することは、特定の視覚的効果を生成するために前景および／または背景画像にＣＧ（computer  generated）要素を結合するために、動画生成において広く用いられる標準てきなプロセスである。バックグラウンドおよび前景プレートと同じライトによって描画され合成された場合、ＣＧ要素はより写真のようにリアルに見える。本願に開示された発明は、空間および時間全体のライトをモデル化するための方法およびシステムを提供する。本願に開示された発明の方法およびシステムは、予め定められた空間および時間（例えば、動画の場面およびセット）のライトを表すモデルを構築するために、異なる位置および時刻におけるライトの検出を収集する。ライトのモデルを用いて、特定のライトの検出が得られなかった他の位置および／または時刻において、ライトを予測しおよび／または補間することができる。本願に開示された発明の技術は、ライトが空間および／または時間とともに変化する複雑な場面の動画のポストプロダクションプロセスにおいて、ＶＦＸ合成を向上するために、抽出されたライトモデルを使用することを可能とする。さらに、異なる瞬間でのライトの情報を収集することによって、他の時刻におけるライトが補間できる。そして、例えば、日没における様々な野外ライトの状況を把握する際に、これは非常に役立つ。
【００２４】
ここで図１を参照する。図１において、本願明細書に開示された発明の一実施例による典型的なシステムコンポーネントが示されている。スキャンニング装置１０３は、フィルムプリント１０４（カメラのネガティブフィルム）を走査してデジタル形式（例えばＣｉｎｅｏｎ−ｆｏｒｍａｔまたはＳＭＰＴＥ  ＤＰＸファイル）で提供されてもよい。スキャンニング装置１０３は、例えば、テレシネ、またはビデオ出力を有するＡｒｒｉ  ＬｏｃＰｒｏ（登録商標）のようなフィルムからビデオ出力を生成するいかなる装置を含んでもよい。あるいは、ポストプロダクションプロセスまたはデジタル画像１０６からのファイル（例えば、既にコンピュータ可読の形式のファイル）が、直接用いられてもよい。コンピュータ可読ファイルのソースとして考えられるのは、ＡＶＩＤ（登録商標）エディタ、ＤＰＸファイル、Ｄ５テープ等である。なお、これらに限定されない。
【００２５】
走査されたフィルムプリントは、後処理装置１０２（例えば、コンピュータ）に入力される。コンピュータは、ハードウェアを含む周知のコンピュータプラットフォームにインプリメントされる。ハードウェアとしては、１つ以上の中央処理装置（ＣＰＵ）、メモリ１１０（例えばランダムアクセスメモリ（ＲＡＭ）および／または読取り専用メモリ（ＲＯＭ））、および入出力（Ｉ／Ｏ）ユーザーインターフェース１１２（例えばキーボード）、カーソル制御装置（例えば、マウスまたはジョイスティック）およびディスプレイ装置が挙げられる。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードを含む。本願明細書において記載されているさまざまな方法および機能は、マイクロ命令コードの一部でもよく、またはオペレーティングシステムを介して実行されるソフトウェア・アプリケーションプログラム（またはそれらの組み合わせ）であってもよい。加えて、さまざまな他の周辺デバイスは、さまざまなインタフェースおよびバス構造、例えば、パラレルポート、シリアルポートまたは汎用シリアルバス（ＵＳＢ）によってコンピュータプラットフォームに接続されてもよい。他の周辺デバイスは、追加記憶デバイス１２４およびプリンタ１２８を含んでもよい。プリンタ１２８は、３Ｄモデル化されたオブジェクトを使用してフィルム１２６の場面が変更されまたは置き換えられ修正されたバージョンを印刷するために使用されてもよい。本願発明の技術については、以下に説明する。
【００２６】
あるいは、すでにコンピュータ可読形のファイル／フィルムプリント１０６（例えば、外部ハードディスク１２４に保存され得るデジタル映画）は、コンピュータ１０２に直接入力されてもよい。なお、本願明細書において用いられる「フィルム」という用語は、フィルムプリントまたはデジタルキャプチャを指してもよいことに注意されたい。フィルムが走査されるかまたはデジタル形式にすでにあるかどうかに関わりなく、フィルムのデジタル・ファイルの表示またはフレームは、例えば、フレーム番号、フィルムのスタートからの時間、などの位置に関する情報を含み得る。デジタル動画の各フレームは、１つのイメージを含む。（例えば、Ｉ１、Ｉ２，…Ｉｎ）。
【００２７】
ソフトウェアプログラムは、メモリ１１０に格納されたライト合成モジュール１１４を含む。これは、レンダリングし、予測されたライトを考慮してオブジェクトをイメージに合成するためのものである。ライト合成モジュール１１４は、予め定められた空間位置（例えば、場面またはセット）の少なくとも１つのライトモデルを表している放射輝度情報を生成するためのライトモデルビルダ１１６を含む。場面をレンダリングするときに、少なくとも１つの生成されたライトモデルは後の使用のためのライトモデルライブラリ１１７に保存される。３Ｄジオメトリエクストラクタ１１８は、２Ｄイメージまたは２Ｄイメージの部分による場面キャプチャの３Ｄジオメトリを生成するために設置される。３Ｄジオメトリエクストラクタ１１８は、イメージを編集するソフトウェアによって手動で、オブジェクトを含んでいるイメージ領域をなぞることによって、または、自動の検出アルゴリズムによってオブジェクトを含んでいるイメージ領域を分離することによってオブジェクトを識別してもよい。ライト合成モジュール１１４は、場面に置かれるオブジェクトのライト環境または放射輝度を予測するためのライト予測器１２０を有する。ＣＧ要素レンダラー１２２は、ライト予測器１２０によって生成されたライトの情報によって場面のオブジェクトをレンダリングするために設けられる。レンダラーは、従来技術において周知であり、Ｌｉｇｈｔｗａｖｅ  ３Ｄ、ＥｎｔｒｏｐｙおよびＢｌｅｎｄｅｒを含むが、これに限定されるものではない。
【００２８】
図２は、ＶＦＸ合成するために、動画のライトの検出の収集およびライトをモデリングするためにセットされる典型的なシステムセットアップ２００を示す。ライトの情報は、リアルに合成するために使用される。この実施例の場合、ライトセンサのネットワーク、例えば、ｐ１、ｐ２、ｐ３．．．ｐｎが、位置情報を収集するためにセット２０２の周辺に配置される。セット２０２は、動画の１つ以上の場面を実演するために使用する予め定められた物理空間である。追加センサは、（複数の）カメラ２０４に接続され、この（これらの）位置、方向および動作を追跡する。ライトの情報は、実際の撮影の前に、撮影の間、または、撮影の後キャプチャすることができる。ライト／位置的センサのネットワークの代わりに、またはそれに加えて、光センサを備えた１つ以上のプログラムされた自律ロボットによって、閉塞されたエリアを含む目標空間をよりよくカバーするために必要なライトおよび位置情報を収集することができる。ライトの検出バリエーションに基づいて、自律ロボットは、より多くあるいはより少ないライトの検出を決定することができる。光センサ（例えば、ｐ１、ｐ２、ｐ３，．．．ｐｎ）および／またはカメラ２０４からの情報、例えば、カメラパラメータは、図１にて図示したように、ユーザーインターフェース１１２を介してシステム１００に手動で入力されてもよい。または有線または無線接続を介して、システム１００に自動的に送信されてもよい。
【００２９】
図３は、本願に開示された発明のライト抽出および予測のための技術を示すフローチャートを示す。システムは、光センサを使用して、空間および時間のライトを表すモデルを構築するために、異なる位置での必要なライトの検出を収集する。構築されたライトのモデルを用いて予測または補間することにより、光センサによって特定のライトの検出が直接得られなかった他の位置および／または時刻におけるライトの情報が得られる。
【００３０】
ステップ３０２、３０４および３０６において、物理空間（例えば、セット２０２）におけるライトの色輝度および方向およびセンサｐ１，ｐ２，．．．ｐｎの空間位置、がキャプチャされる。ライトの強さおよび方向は、さまざまな手法でキャプチャされてもよい。１つの典型的な方法は、カメラセンサを使用して１つ以上のピクチャを撮影することである。ピクチャは、図４に関して後述するように異なる方向からライトの強さによってコード化される。焦点中心４０２および、カメラの焦点面４０４が既知であると仮定する（キャリブレーションによって得られてもよい）。場面位置４０６のライトの方向および輝度は焦点中心４０２から焦点面４０４を通って特定の位置４０６までの光線４０８によって特定できる。焦点面４０４は、画像平面でもある。焦点面の位置４１０の画素値は場面位置４０６のライトの強さに比例する。そして、ライトの方向は光線４０８によって特定される。光線４０８によって、場面位置４０６から焦点中心４０２への方向に対応する方向またはアングルが決定される。
【００３１】
ステップ３０８において、異なる位置から集められたライトの情報は、放射輝度を再構築するために用いられる。放射輝度は、５次元の関数を持ち、自由空間のあらゆるライトの位置またはライトの方向、および輝度にコード化される。正式には、放射輝度は、単位立体角当たり、照射方向に対して垂直な単位面積当たり、ある地点から特定の方向へ進んでいるパワー（単位時刻当たりのエネルギー量）として定義される。放射輝度は、したがって、位置および方向の関数である。位置Ｐ＝（ｘ，ｙ，ｚ）およびｚ軸が表面法線に沿う座標系における極座標θおよびφで方向が与えられた場合、放射輝度は、以下の式で与えられる。
【００３２】
Ｌ（Ｐ，θ，φ）      （１）
セットにおいて、異なる位置での、継続した時間で計測された値によって、システムは、その時間におけるこの５次元（５Ｄ）関数を得ることができる。あるいは、ユーザは、ステップ３１０で、実際のセットの光源の輝度および位置をシステムに入力してもよい。あるいは、メタデータを入力しても良い。すなわち、メタデータとしては、カメラパラメータ、３Ｄのジオメトリ等が挙げられる。ライトは時刻とともに大幅に変化しないとみなされるため、ステップ３１２において、多くのサンプル時刻からのライトモデルが構築され利用される。
【００３３】
全体の時刻の放射輝度が完全に再構築されると、あらゆる空間位置のライトの情報は単に指定された空間位置での放射輝度関数  Ｌ（Ｐ，θ，φ）を計算することによって得ることができる。
【００３４】
本願に開示された発明のシステムでは、カメラセンサは異なる位置に適当に配置されているため、一般的に完全な放射輝度を再構築することが可能でなくてもよい。しかしながら、一定のライト条件を与えられれば、センサの数を増加させセンサ位置を最適化することによって、放射輝度は、所望の解像度まで再構築することができる。例えば、屋外シーンのような同一のライトの環境においては、センサおよびその位置検出は必要ではない。
【００３５】
カメラ・センサーシステムの場合、放射輝度は、センサによってキャプチャされるイメージの少なくとも２つのピクセルの関係を検出することによって、部分的に再構築できる。この技術は、図５に図示される。２つのカメラセンサ５０２、５０４の視野が重複する場合、２つのピクセルを３Ｄ空間、キャプチャされたイメージで、単一の場面位置５０６に対応するピクセルを発見することが可能である。例えば、イメージ５１０のピクセル５０８およびイメージ５１４のピクセル５１２である。２つの対応するピクセル５０８、５１２が識別された場合、場面位置５０６の３Ｄ位置は、焦点中心５０２、５０４からイメージピクセル５０８、５１２を通る光線５１６、５１８が３Ｄ位置５０６に至る交差する点を見つけることにより、計算することができる。これは、三角測量として公知の方法である。ピクセル位置の関係を見つけることは、さまざまな手法によって実現できる。最も直接的な手法は、ピクセルの色値の一致を取ることである。加えて、空間連続性制約は、対応しているピクセルの信頼性を高くするために取り入れることができる。例えば、同じ場面位置に対応するピクセルの相違は、いたる場所でスムーズに変化すると仮定できる。ごくわずかな不連続であるイメージは、エッジであり、その強さは連続的ではないと仮定できる。したがって、一致する位置のペアの不一致およびその近傍のポイントのペアの不一致は、類似していなければならない。
【００３６】
信頼性の高い三角測量のために、カメラ・センサ・パラメータを知ることも必要である。カメラ・センサ・パラメータは既知であってもよく、キャリブレーションによって特定されてもよい。カメラセンサの焦点中心が床と平行にされる場合、カメラ・センサ・パラメータの特定は非常に単純である。２つのカメラセンサが同じズーム比および他の固有のパラメータを有する場合、２つのカメラセンサは同じ設定、および同じ投影ジオメトリを有する。その結果、２つのカメラセンサの位置が既知である限り、場面位置は三角測量によって見つけることができる。一旦場面位置が見つかると、場面の面が完全拡散面であるとみなされる場合、ライトの方向および輝度はその特定の場面位置で完全に再現できる。これを図５に示す。完全拡散面は、方向反射率が発光（illumination）方向に依存しない表面である。つまり、表面から発せられる放射輝度は、確度と独立している。場面の面が完全拡散面でない場合、再現されたライトの方向および輝度は近似値である。
【００３７】
カメラセンサの数は、放射輝度の必要解像度に従って選択され、かつライトの状態に依存する。より多くのカメラセンサがあれば、結果として放射輝度はより高い空間的分解能になる。より少ないカメラセンサの場合には、結果としてある程度の場面のエリアが遮蔽（occlusion）されることがある。キャプチャプロセスにおいて、重要な場面エリアがライトの複雑さに基づいてカバーされるよう、カメラセンサが動的に追加されてもよい。ステップ３１４において、システム１００は、中間の位置でライトの情報を予測するために、再構築されたライトモデルを利用する。ライトの情報は、ＶＦＸ合成するために必要とされてもよい。放射輝度が、所与の時刻の間において、完全に再構築できた場合または近似値がえられた場合、ライトの情報は、指定された位置での５Ｄ放射輝度関数を計算することによって直ちに得ることができる。しかし、ほとんどの場合、放射輝度は完全には再構築されない。そして、ライトの情報は補間によって指定された位置において推定される。図６は、線形補間を使用した特定の予測の方式を示している。光源６０６の位置およびライトの強さが三角測量によって既知であると仮定して、新しい位置（例えば、場面位置６０８）のライトの輝度は、光センサ（例えば、光センサ６０２および光センサ６０４）を有する位置でのライトの検出の組合せとして計算できる。例えば、２つの光センサがある場合、新しい位置６０８のためのライトの強さＩｎｅｗ＝（Ｉ１＋Ｉ２）／２である。Ｉ１およびＩ２はそれぞれセンサ位置６０２および６０４のライトの検出である。そして、Ｉｎｅｗは場面位置６０８でのライトの補間された検出情報である。
【００３８】
図７は、本願に開示された発明のシステム１００から得られるライトモデルを使用して合成したＶＦＸを実行するためのフローチャートを示す。合成する処理は、特定の視覚的効果を実現するために、背景および／または前景プレートをＣＧ要素と結合する。前景および背景プレートは、異なるソースによってキャプチャされたものでもよい。ステップ７０２において、イメージ（例えば、背景プレート）は、時刻Ｉにおいてシステム１０２によってキャプチャされる。イメージをキャプチャするカメラの位置は、記録されるかまたは手動で後処理装置１０２に入力される。実施例において、後処理装置１０２は、コンピュータ可読フォーマットのデジタル・マスターイメージファイルを得る。デジタル・ビデオ・ファイルは、デジタルカメラによってイメージの時系列的なシーケンスをキャプチャすることによって得られてもよい。あるいは、イメージシーケンスは、従来のフィルム−タイプのカメラによってキャプチャされてもよい。このシナリオにおいては、フィルムはスキャンニング装置１０３で走査され、そして、この処理はステップ２０２へ進む。図２に図示したように、センサ網のセンサ（例えば、カメラ）の位置は、システムに記録され、および／または入力される。
【００３９】
次に、ステップ７０４で、３Ｄジオメトリエクストラクタ１１８は、本当の場面の３Ｄジオメトリを生成する。３Ｄジオメトリエクストラクタ１１８は、キャプチャされたイメージからオブジェクトをセグメント化し、イメージを得るために用いたカメラの位置を使用して、場面の中でのオブジェクトの三次元（３Ｄ）座標を計算する（場面における座標ｐ）。上述したカメラセンサ網は、場面およびセットの３Ｄジオメトリを再構築するのに役立つ情報を集めてもよい。したがって、ステップ７０６で、３Ｄジオメトリエクストラクタ１１８は、ライト予測器１２０と相互に機能し合うことができる。これによって、ライトの情報（例えば、補間される要素／オブジェクトの放射輝度）を予測することができる。
【００４０】
システムのオペレータは、ＣＧ要素／セグメント化したオブジェクトがどこで、いつ場面に描かれるか、かつ合成されるかを決定する。ＣＧ要素／セグメント化されたオブジェクトを挿入する位置および時刻が決定されると、上述したように、ライト予測器は、以前にシステム１００によって構築された少なくとも１つの配光モデルを使用する。例えば、時刻Ｉ（イメージのキャプチャ時刻で判定される）およびＣＧ要素がレンダリングされる位置のための、場面およびライトモデルの３Ｄジオメトリが、ＣＧ要素・レンダラー１２２に送信される。そして、ステップ７０８で、ＣＧに要素がレンダリングされる。レンダリングされた要素は、（不図示の）合成器（compositor）によって、イメージに挿入されてもよい。ステップ７１０で、純粋なＣＧ要素の代わりにこの手順の後、他のイメージから、レンダリングされるオブジェクトがイメージから抽出されかつ合成されてもよい。
【００４１】
レンダリングされたＣＧ要素は、イメージを含んでいるファイルとは別の、デジタル・ファイル１３０に保存されてもよい。デジタル・ファイルのＣＧ要素１３０は、後の検索のための記憶装置１２４に格納されてもよい。例えば、フィルムの編集ステージにおいて、合成器によってオブジェクトがまだ存在しないイメージにＣＧ要素が挿入されてもよい。上述した技術によって作成されたＣＧ要素を含む、全ての映像が編集された後、デジタル映画１２９のための完全なデジタル・ファイルが作成されかつ記憶装置１２４に格納されてもよい。
【００４２】
以上、時間および空間におけるライトをモデリングするための方法およびシステムについて説明した。本願に開示された発明の方法およびシステムは、たとえば、映画の場面またはセットにおいて、映像効果（ＶＦＸ）に用いるライトモデルを構築するために、異なる位置および時刻におけるライトの検出を収集する。ライトモデルを用いて、特定のライトの検出が得られていない他の位置および時刻におけるライティングを予測し補間することができる。ＣＧ要素またはオブジェクトのためのライトが場面またはセットの背景および前景プレートに合えば合うほど、ＶＦＸはより映像的にリアルに見えることとなる。本願に開示された発明の方法およびシステムは、全体のセットおよび時間にわたって正確にライトをモデル化し抽出するため、既存のシステムにより得られたものよりも、より映像的にリアリスティックな結果を得ることができる。
【００４３】
本願明細書において、本願に開示された発明の説明を含む実施例が詳細に図と共に記載されているが、当業者であれば、これらの説明を含む他の変形例を構成することができるであろう。時間および空間のライトモデリングのための方法およびシステムについて解説したが、これらは、例示の目的であって、限定する目的で記載したものではない。修正変更が上記の説明を考慮して当業者によってなされてもよいことに注意されたい。したがって、添付の請求の範囲に記載された範囲および精神に含まれる具体的な実施例の開示に対し、変更を加えることができると解釈すべきである。
【図１】
2010510572.tif 000003
【図２】
2010510572.tif 000004
【図３】
2010510572.tif 000005
【図４】
2010510572.tif 000006
【図５】
2010510572.tif 000007
【図６】
2010510572.tif 000008
【図７】
2010510572.tif 000009
【国際調査報告】
2010510572.tif 000010
2010510572.tif 000011
2010510572.tif 000012