(57)【要約】      （修正有）【課題】方法およびシステムが、任意のシーンの反射率関数を推定する。【解決手段】シーンは、様々な照明条件下で照明される。照明条件毎に１つの照明画像および１つの観察画像が関連付けられる。照明画像と観察画像の対からの反射画像中の画素毎に複数の重複しないカーネルが求められる。次に各カーネルの重みが求められて、反射画像として表される反射率関数が推定される。【選択図】図１Ａ
2006004432.tif 000002
【特許請求の範囲】
【請求項１】
シーンの反射率関数を推定する方法であって、
前記シーンから取得した反射画像中の画素毎に複数のカーネルからなるセットを求めること、および
各カーネルの重みを求めることによって、前記反射画像によって表される前記シーンの反射率関数を推定すること
を含む、シーンの反射率関数を推定する方法。
【請求項２】
関連付けられた照明をそれぞれ有する照明画像のセットを取得すること、
前記シーンを各照明画像により照明すること、
照明画像毎に、該照明画像に前記関連づけられた照明に従う前記シーンの観察画像を取得すること、および
前記照明および照明画像と前記観察画像の対から前記反射画像を求めること
をさらに含む請求項１に記載の方法。
【請求項３】
前記照明は任意の自然照明である請求項２に記載の方法。
【請求項４】
関連づけられた照明をそれぞれ有する照明画像のセットを取得すること、
照明画像毎に、該照明画像に前記関連づけられた照明に従う前記シーンの観察画像を取得すること、および
前記照明および照明画像と前記観察画像の対から前記反射画像を求めること
をさらに含む請求項１に記載の方法。
【請求項５】
前記カーネルは、様々なサイズの重複しない矩形であり、前記反射画像の軸と位置合わせされる請求項１に記載の方法。
【請求項６】
前記シーンの照明は、前記照明画像をモニタ上に表示することによって行われる請求項２に記載の方法。
【請求項７】
前記シーンの照明は、センサによって測定される請求項４に記載の方法。
【請求項８】
前記重みを２次計画法によって推定すること
をさらに含む請求項１に記載の方法。
【請求項９】
前記反射率関数を用いて新たな照明下で前記シーンの新たな画像をレンダリングすること
をさらに含む請求項１に記載の方法。
【請求項１０】
前記新たな照明は任意の照明画像によるものである請求項９に記載の方法。
【請求項１１】
前記新たな画像中の各画素の値は、前記任意の照明画像に適用した場合の前記反射画像中の対応する画素の前記複数のカーネルの加重和である請求項９に記載の方法。
【請求項１２】
前記複数のカーネルからなるセットは、前記照明画像のセットの階層的なｋｄ木分割を用いて求められる請求項２に記載の方法。
【請求項１３】
前記分割は、最小誤差を生じる再分割に従う請求項１２に記載の方法。
【請求項１４】
前記再分割は、各カーネルのエネルギーに基づく請求項１３に記載の方法。
【請求項１５】
前記エネルギーは、前記カーネルの面積に該カーネルの重みを掛けたものである請求項１４に記載の方法。
【請求項１６】
１画素当たりのカーネルの数が１より大きい請求項１に記載の方法。
【請求項１７】
各カーネルに関連する放射は該カーネルの面積に比例する請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像の取得およびレンダリングに関し、特に自然照明からシーンの反射率関数を推定し、推定した反射率関数に従って画像をレンダリングすることに関する。
【背景技術】
【０００２】
任意の現実世界のシーンの画像を取得し、その後、環境中の任意の自然照明を表す反射率関数を用いてシーンの新たなまたは合成画像をレンダリングすることが望ましい。このような表現には、本物のような画像の合成、シーン解析、造形物の３Ｄ走査、オブジェクトおよび顔の認識、ならびに画像ベースのモデルの再照明（relighting）といった多くの用途がある。
【０００３】
通常の従来技術の方法は、制御された入射照明（例えば点光源または構造化された照明パターン）、および多数の照明画像を必要とする。制御された入射照明を用いるシステムは、通常、オブジェクトの小さなシーンのためのものであっても、大型かつ高価であり、スタジオの定位置に固定されている。街、陸地、または海の風景のような大きなシーンの場合、照明を制御することは不可能である。
【０００４】
したがって、任意の自然照明および少数の照明画像を使用して、任意のシーンの反射率の正確な推定値をサイズに関係なく求めることが望ましい。さらに、反射率関数の推定を行う小型かつ安価でポータブルなシステムを提供することが望ましい。
【０００５】
コンピュータグラフィックスおよびコンピュータビジョンにおいて自然シーンの取得の問題はよく知られている。一般に、反射フィールドが取得される。反射フィールドは双方向散乱面反射（ＢＳＳＲＤＦ）としても知られている（Debevec等著「Acquiring the reflectance field of a human face」（Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 145-156, 2000））。
【０００６】
分布関数も得ることができる（Nicodemus等著「Geometric considerations and nomenclature for reflectance」（Monograph 160, National Bureau of Standards (US), October 1977））。分布関数は、シーン中の２つの異なる画素における入射輝度と出射輝度の比率として定義され、正式には、
【０００７】
【数１】
2006004432.tif 000003
【０００８】
として表され、ここで、ωｉは画素
【０００９】
【数２】
2006004432.tif 000004
【００１０】
における入射照明の方向であり、ω０は画素
【００１１】
【数３】
2006004432.tif 000005
【００１２】
において放出される放射の観察方向である。この関数は、シーン中の点を２次元パラメータ化するものと仮定すると、８次元である。
【００１３】
８次元関数のサンプリングは困難であるため、反射フィールドの４次元の部分空間または４Ｄスライスを使用することができる。
【００１４】
大きなシーンの場合、入射照明は遠く離れており、方向ωｉからシーン中の画素に到達し、反射フィールドは何らかの固定された視野方向ω０について取得されると仮定することができる。結果として得られる関数
【００１５】
【数４】
2006004432.tif 000006
【００１６】
は、遠くの照明から観察点への光伝達の重み関数または反射率関数と呼ばれる（Zongker等著「Environment matting and compositing」（Computer Graphics, SIGGRAPH 99 Proceedings, pp. 205-214, 1999））。しかし、自然照明で照らされた任意のシーンの４Ｄ反射率関数を得ることは難しい。
【００１７】
表面座標が１０００×１０００点に離散化され、入射照明が１０００×１０００画素の画像で表されるシーンを考える。反射率関数を直接サンプリングして表にするには１０１２個の値が必要となる。これは、メモリへの記憶に問題を生じる。さらに、１００個の高解像度画像を引き受ける必要があり、取得時間がひどく長くなる。
【００１８】
実際に、ほとんどの直接サンプリング方法は、低解像度（低周波数）の入射照明のみを用いる。その結果、これらの方法は、反射光、屈折、および影のような高周波数効果を表現することができない。
【００１９】
一方、環境マッティング（environment matting）方法は、鏡面反射材料、屈折性材料、および光沢材料の反射率関数に重点を置く。しかし、環境マッティング方法は、濃い影（hard shadows）や拡散材料と鏡面反射材料の組み合わせを表現するのが難しい。
【００２０】
反射率関数を推定する方法は、順方向の方法と逆方向の方法に分類することができる。ほとんどの順方向の方法は、反射率関数を網羅的にサンプリングし、その結果を表にする。入射照明の方向ごとに、順方向の方法は、固定視野方向に対する反射率関数の重さを記憶する。実際には、シーンの点毎に反射率の表を記憶しなければならないため、低解像度の入射照明のみが用いられる。Debevec等は、約２０００個の方向で最も高い解像度の入射照明を用いる。
【００２１】
多項テクスチャマップは、各反射フィールドの表を２変量多項式により表現することによって表現の小ささを改善することができる（Malzbender等著「Polynomial texture maps」（Computer Graphics, SIGGRAPH 2001 Proceedings, pp. 519-528, 2001））。これらの直接的な方法は、拡散オブジェクトまたは光沢のあるオブジェクト、例えば人間の顔、造形物、および複雑な外見を有する他のオブジェクトに対して非常に良好に機能する。
【００２２】
しかし、これらの方法は、高頻度の現象、例えば屈折、不連続な光、または濃い影を表現することができない。さらに、これらの方法では、サンプル数が増加しても近似誤差の漸進的な改良がなされない。
【００２３】
ウェーブレット環境マッティングは、これらの欠点のいくつかに対処する（Peers等著「Wavelet environment matting」（Proceedings of the Eurographics Symposium on Rendering, Eurographics Association, pp. 157-166, 2003））。ウェーブレットパターンを有する画像は入射照明として用いられ、フィードバックループが、現在の近似の誤差に基づいて、放出すべき次のパターンを決定する。反射率関数は、測定が多く行われるほど漸進的に精緻化される。しかし、この方法は、鏡面反射性および屈折性の高い材料、あるいは影の濃いシーンに多数のウェーブレットパターン、例えば２４００パターンもの画像を必要とする。各画素は、対応するウェーブレットパターンの係数を記憶するため、この表現は比較的大きくなり、例えばロスレス圧縮の１つの環境マット（environment matte）につき２．５ＧＢとなる。レンダリングも、新たな入射照明の多数のウェーブレットベースの画像の加重和を必要とするため、時間がかかる。
【００２４】
固定された視点に対して入射照明の位置および方向の両方を変化させることによって８次元反射フィールドの６次元スライスを測定することも可能である（Masselus等著「Relighting with 4D incident light fields」（ACM Transactions on Graphics (TOG) 22, 3, pp. 613-620, 2003））。Masselus等は、シーンの取得にプロジェクタシステムを用い、その結果を表にする。この結果はサンプリング解像度を制限する。
【００２５】
逆方向の方法は、シーンを観察し、観察される出力が入力照明ドメインの特定の領域から生じる確率を求める。入力照明は通常、環境マップ等の有界領域によって表され、この有界領域が次に、基底関数、例えばガウスカーネルの和としてモデル化される（Blinn等著「Texture and reflection in computer generated images」（Communications of the ACM (SIGGRAPH '76 Proceedings) 19, 10, pp. 542-547, 1976））。
【００２６】
この逆方向の方法では、所与の観察、例えば画像の画素を最も良く説明する基底関数の重みおよびパラメータを求めることが必要である。環境マッティング技法は、２Ｄ関数のみを用いて各画素における観察を説明する。これにより、表現は非常に小さくなるとともに、この方法は、鏡面反射材料および屈折性材料に良好に機能する。この方法は、オフラインのみで機能し、近似誤差の漸進的な精緻化は行わない。さらに、２Ｄ関数のみでは、自然照明下で任意のシーン、特に非常に複雑な照明に曝される可能性がある大きなシーンを表す複雑な反射率関数の特性を取り込むのに表現力が十分でない場合がある。
【００２７】
環境マッティングへの高品質の拡張は、鏡面反射材料、屈折性材料、および光沢のある材料に対して優れた結果を達成する（Chuang等著「Environment matting extensions: Towards higher accuracy and real-time capture」（Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 121-130, 2000））。ボックス関数の代わりに、小さな表現を提供することができる有向２Ｄガウスカーネルが用いられる。しかし、複雑な入射照明を伴うレンダリングは、ガウスカーネルを新たな照明と重畳しなければならないため遅い。また、この方法は、近似値を漸進的に精緻化することができない。さらに、２Ｄガウスカーネルは、大きな拡散成分中の小さな光沢反射ローブ等の不連続なまたはより複雑な反射率関数を表現することが難しい。また、この方法は、不安定性および雑音を生じる可能性があるいくつかの非線形の最適化ステップを用いる。
【００２８】
ハイブリッド方法は、低周波数成分のための順方向の方法と、高周波数の反射および屈折のための高品質の環境マッティングとを組み合わせる。低周波数データは、主成分分析（ＰＣＡ）を用いて圧縮される。しかし、この表現は小さくなく、この方法は上述した他の問題のいずれにも対処しない。
【００２９】
事前に計算された放射伝達反射率関数は、リアルタイムレンダリングにおける本物らしさを高める。このような方法において、放射伝達は、グローバル照明アルゴリズムおよびシーンの詳細なモデルを用いて事前に決められている（Sloan等著「Precomputed radiance transfer for real-time rendering in dynamic, low-frequency lighting environments」（ACM Transaction on Graphics 21, pp. 527-536, ISSN 0730-0301, Proceedings of ACM SIGGRAPH 2002, July 2002））。
【００３０】
レンダリング性能を高めるために、入射照明は、球面調和関数、あるいはウェーブレットを用いて表現することができる。その場合、通常は伝達行列の頂点毎に記憶される反射率関数を、ＰＣＡ、またはウェーブレットを用いて圧縮することができる（Ng等著「All-frequency shadows using non-linear wavelet lighting approximation」（ACM Transactions on Graphics 22, pp. 376-381, 2003））。
【００３１】
あらゆるサイズのシーンについて、全ての周波数において正確であるとともに、影のような不連続な照明を含む多くの異なる照明効果を処理する反射率関数を推定するシステムおよび方法を提供することが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【００３２】
本発明は、反射率関数、すなわち任意のシーンにおける、固定された視点に対する、任意の自然照明下の照明の伝達の記述を推定するシステムおよび方法を提供する。
【課題を解決するための手段】
【００３３】
本方法は、入力信号すなわち入射光を出力信号すなわち反射光に変換する「ブラックボックス」の線形系としてシーンを処理する。本方法は、必要とされる精度を達成するまで反射率関数の近似値を漸進的に精緻化するという点で階層的である。
【００３４】
本方法は、反射フィールドに新規の表現を用いる。実際に、従来技術のパラメータ反射率関数とは異なり、反射率関数は画像、すなわち反射画像の形態である。反射画像の各画素は、重み付きカーネル（weighted kernels）のセットと関連付けられる。反射率関数は次に、任意の照明条件の画像と合成されて、任意の照明下のシーンの合成画像をレンダリングすることができる。
【００３５】
この表現は小さく、漸進的に精緻化されることができ、複雑な照明を伴うシーンの再照明をリアルタイムで求めることができる。この表現および対応する方法は、鏡面反射、光沢、屈折、および拡散要素を有するシーンの反射率関数の効果的な推定を可能にする。本方法は、薄い影および濃い影、相互反射、焦線（caustics）、および面下散乱も処理する。
【発明の効果】
【００３６】
本発明は、以下の特性を有する反射率関数を推定するシステムおよび方法を提供する。
【００３７】
本方法は、構造化された照明パターンまたは点光源を必要としない。その代わりに、本発明は、投影または測定された任意の自然照明を用いることができる。
【００３８】
本方法は、反射率関数の高周波数（例えば鏡面反射）成分と、低周波数（例えば拡散）成分との両方に対して良好に機能する。
【００３９】
本発明は、不連続な反射フィールド、例えば濃い影を伴うシーンも処理する。反射フィールドの基礎となる表現は小さい。反射フィールドの１つの４Ｄスライスは、少数の２Ｄスライスに必要な記憶容量と同じ記憶容量で良好に表現することができる。
【００４０】
漸進的な精緻化を用いることによって、本発明による反射率関数は、複雑に変化する入射照明を対話的にリアルタイムで統合することを可能にする。
【発明を実施するための最良の形態】
【００４１】
システム構造
図１に示すように、本発明のシステム１００は、反射率関数１０１を推定し、推定した反射率関数を用いて、任意の照明１３５を用いたシーンの新たな画像１０２をレンダリングする。
【００４２】
本発明による反射率関数１０１は、複数の画素１０６を含む反射画像１０５の形態である。各画素は、以下でより詳細に説明される複数の重み付きカーネル３０１のセット３００と関連付けられる。
【００４３】
本システム１００は、光源１１０、例えば周囲のシーン中のモニタまたは人工または自然光１１１（図１Ｂを参照）と、センサ１２０と、プロセッサ１３０と、レンダリング画像１０２の出力装置１４０とを含み、これらはすべてネットワークによって接続される。「静物」のシーンの場合、シーンはオブジェクト１０３を含み得る。センサはカメラであってもよい。センサは、照明１１１に従うシーンの観察画像１３２を取得する。
【００４４】
モニタ１１０は、照明画像１３１に従って高解像度の入射照明１１１を生成する。モニタは例えば、８５Ｈｚのリフレッシュレートにて８００×６００の出力解像度に設定されたＣＲＴである。
【００４５】
この構成において、照明画像１３１毎に観察画像１３２が取得される。すなわち、観察画像と照明画像は対１５０になっている。
【００４６】
図１Ｂに示すように、本発明では、例えば第２のセンサ１２５を用いて大規模なシーン１０４の入射照明１１１を測定し、対応する照明画像１３１を取得することもできる。これは、合成入射照明を設けることが不可能であり、かつ自然光が容易に利用できる大きな屋外のオブジェクト１０４（例えば街）の反射率の推定に適している可能性がある。この構成において、異なる照明条件（すなわち、晴れた朝、曇った夕方、月光等）毎に１つの観察画像１３２が取得される。ここでもまた、観察画像１３２と照明画像１３１は対１５０になっている。
【００４７】
本発明は、可視光によって照明されるシーンに限定されないことに留意すべきである。任意の形態の検出可能な電磁放射を用いて、対応する放射源でシーンを照明することができることに留意すべきである。照明画像および観察画像は、コンピュータグラフィックスおよびアニメーションの技法を用いて生成されてもよいことにも留意すべきである。
【００４８】
プロセッサ１３０は、従来のハードウェア、例えばコンピュータシステムを用いて、以下でより詳細に説明される本発明による方法を実行する。
【００４９】
出力装置１４０は、表示装置、プロジェクタ、またはプリンタとすることができる。
【００５０】
理想的には、システム１００は、全方向および遠方からの高解像度の入射照明を生成するか、あるいはそれに曝される。小さなオブジェクト１０３の場合、これは、シーン１０３から数メートル離れて配置された大きめのモニタ１１０、例えば大型ＬＣＤスクリーンを使用することによって達成することができる。しかし、標準的なモニタまたはラップトップスクリーンを使用して、システムを携帯可能にすることもできることに留意すべきである。
【００５１】
代替的な実施の形態について図１Ｂに示すように、第２のセンサ１２５を用いて、周囲のシーンの自然照明１１１を測定する画像を取得することができる。この場合、自然照明を用いて反射率関数１０１を推定する。
【００５２】
較正
本発明では、モニタ１１０とカメラ１２０の両方が線形応答を示すものと仮定する。本発明では、露光時間と放射値の間の関係がカメラの動作範囲にわたって線形であることを確認することができる。本発明では、図２に示すように、較正手順２００を用いてＣＲＴモニタ１１０の非線形性を補正する。
【００５３】
本発明では、均一な色の較正画像２１１をモニタ１１０上に表示する２１０。画像は、フレームバッファの値を色チャネル毎に、他の２つのチャネルを固定値（例えば１２８）に保ったまま、０〜２５５の間で増分単位を１として変化させることによって生成される。本発明では次に、カメラ１２０を用いて対応する較正出力画像を取得する２２０。観察画像は、モニタのフレームバッファ値と、カメラ１２０によって取得される放射との間のマッピングテーブル２３１を求める２３０ために用いられる。本発明では、本方法の動作中に、マッピングテーブルを用いて、最適化ステップ中に画像２４１を線形化する２４０。
【００５４】
通常、シーンのフルダイナミックレンジを取り込むのに１つの画像では不十分である。これは、一部のエリアは露出不足となり、他のエリアは露出過剰となる可能性があるためである。したがって、本発明では、Debevec等著「Recovering high dynamic range radiance maps from photographs」（Computer Graphics, SIGGRAPH 97, Proceedings, pp. 369-378, 1997）によって記載されるような高ダイナミックレンジ（ＨＤＲ）イメージングを用いて複数の画像を取得する。
【００５５】
画像２４１毎に、本発明では、指数関数的に増加する露光時間を用いて４つの較正画像２１１を取得し、最小二乗線形フィッテイングを用いて応答線の傾きを求める。本発明では、応答線の傾きを、１画素につき１つの浮動小数点放射測定値としてマッピングテーブル２３１に記憶する。あらゆる測定を行う前に、本発明では、室内の周囲光で１つのＨＤＲ画像を取得し、この「周囲」画像を各観察画像から差し引く。
【００５６】
計算および記憶する量を最小化するために、本発明では、前処理ステップにおいて、どの取得画素が関心のシーン要素を示すかを判定する。これは、手動で、背景マスクを規定することによって、あるいは背景の減算により自動的に行うことができる。
【００５７】
表現
本発明を説明するために用いられる表記は、Ng等著「All-frequency shadows using non-linear wavelet lighting approximation」（ACM Transactions on Graphics 22, 3, pp. 376-381, 2003）およびPeers等著「Wavelet environment matting」（Proceedings of the Eurographics Symposium on Rendering, Eurographics Association, pp. 157-166, 2003）に従う。
【００５８】
本発明では、入射照明１１１が２Ｄパラメータ化可能である、すなわち、照明を環境マップによって表すことができると仮定する。この問題をブラックボックス線形系として考えると、次のように書き表すことができる。
Ｂ＝ＴＬ                              （１）
ここで、Ｌはベクトルでスタックした入射照明であり、Ｂは結果として得られる、同じくベクトルでスタックした新たなすなわち「再照明」画像であり、Ｔは光伝達行列または反射率関数１０１である。
【００５９】
行列Ｔの各列は反射率関数Ｔｉを表すため、Ｔ＝［Ｔ０，．．．，Ｔｎ］である。画像Ｂ＝［ｂｉ］中の単一の画素の画素値は次のように表される。
ｂｉ＝Ｔｉ×Ｌ                          （２）
【００６０】
画素値ｂｉは２つのベクトルＴｉ（反射率関数）とＬ（入射照明）の内積であることに留意されたい。本発明では、式（２）中のＴｉを２Ｄ矩形カーネルのセットの加重和として次のように近似する。
【００６１】
【数５】
2006004432.tif 000007
【００６２】
ここで、ｗｋ，ｉは各２Ｄ矩形カーネルＲｋ，ｉ３０１の重み３０２である。
【００６３】
図３は、本発明による軸位置合わせされた重み付き２Ｄカーネル１〜２５のセット３００の例を示す。１画素につき１つの重み付けされていないカーネルを単に用いる代わりに、本発明では、様々な重み３０２、サイズおよび位置の複数のカーネルを考慮する。このカーネルのセットは、画像３０１を矩形エリアに分割するか、または「タイルのように並べる」ことができるが、これは必須ではない。
【００６４】
シーン中の光伝達が線形で加法的であると仮定すると、式（２）は次のようになる。
【００６５】
【数６】
2006004432.tif 000008
【００６６】
項（Ｒｋ，ｉ×Ｌ）は、対応する２ＤカーネルＲｋ，ｉの領域から到来する入射照明Ｌの寄与を決める。本発明では、エリア総和テーブルを用いて任意のカーネルの（Ｒｋ，ｉ×Ｌ）を求める。これにより、非常に効率的なレンダリングプロセスがもたらされる。反射画像１０５中の画素ｂｉ１０６毎に、本発明では、関連する複数のカーネル１〜２５のセットの重みｗｋ，ｉ３０２ならびに位置およびサイズを有するベクトルを記憶し、全ての周波数において頑強性を提供する。
【００６７】
仮定
上述のように、本発明では、シーン中の光伝達は線形プロセスであると仮定する。また本発明では、図２に関して説明したように、光源１１０および検出装置１２０の応答曲線を線形化することができると仮定する。さらに、本発明では、シーン要素が静的であり、入射照明１１１が２Ｄパラメータ化可能であると仮定する。
【００６８】
推定プロセス
すると、反射フィールドの取得に関する問題は、複数の入力（すなわち入射照明Ｌ１１１）および複数の出力（すなわち観察画像Ｂ１３２）を有する線形系のインパルス応答関数の推定と等価となる。
【００６９】
方法の入力および出力
このプロセスは次のように記述することができる。
Ｂｊ＝ＴＬｊ                              （５）
ここで、Ｌｊは異なる自然入射照明１１１のセットである。例えば、照明画像１３１または図１Ｂの直接光源１１０のために、Ｂｊは結果として得られるシーンの観察画像１３２のセットであり、Ｔは反射フィールドを記述する。
【００７０】
図１Ａの実施の形態において、本発明では、屋内および屋外シーン、例えば台所、庭、街、木等の数百の照明画像１３１を用いる。照明画像１３１は、モニタ１１０上に表示されて、スタジオ環境において任意の自然照明を模す。本発明では、画素ｂｉ，ｊをｊ番目の観察画像１３２中の画素ｉとして示す。Ｌｊおよびｂｉ，ｊが与えられると、プロセスは、複数の２Ｄ矩形カーネル１〜２５のセット３００の重みｗｋ，ｉ、位置、およびサイズを反射フィールドの各画素１０６  ｂｉについて推定する。
【００７１】
本発明では、照明画像１３１と対応する観察出力画像１３２の数ｎを増やすにつれて、カーネルセット３００を精緻化して、反射率関数１０１の推定値を改善する。
【００７２】
本発明では、各（ＲＧＢ）色チャネルの重み３０２を別々に求めることに留意されたい。しかし本発明は、１画素につき１つの２Ｄカーネル位置セットのみを記憶する。これは、本発明では、１つの色チャネルが他の色チャネルに影響を与える分散を、原理的には可能であるにもかかわらずモデル化しないことを意味する。またこれは、モニタのスペクトルとカメラの画素フィルタの間に色のクロストークがないことを仮定する。
【００７３】
図４に示すように、本発明では第１に、反射画像１０５中の画素ｂｉ１０６毎に、入射照明マップの階層的な４分木分割を用いて対応するカーネルセット３００を推定する４１０。
【００７４】
第２のステップにおいて、本発明では、各画素ｂｉの周囲の小さな近傍内の他の画素４０１の推定値を用いてカーネルセット３００を精緻化する。
【００７５】
カーネルの再分割
本発明者は、問題を画素ｂｉ毎に個別に解くことができることを観察している。本発明では、Ｗ≧０となるように以下の最適化問題を解く。
ａｒｇｍｉｎＷ｜｜ＡｉＷ−Ｂｉ｜｜２                    （６）
スタックしたベクトルＷｉは、単一の画素ｂｉ１０６について求められる重みｗｋ，ｉ３０２を含む。Ａｉｋ，ｊ＝［Ｒｋ，ｉ×Ｌｊ］であり、ここでＬｊは照明画像のうちの１つであり、Ｂｉ＝ｂｉ，ｊである。
【００７６】
カーネルの重みｗが正となるように制限した場合、解は安定する。式（６）は、Ｗ≧０となるような以下の線形系と等しくなる。
ａｒｇｍｉｎＷ０．５ＷＴｉＡＴｉＡｉＷｉ−ＷＴｉＡＴｉＢｉ     （７）
推定される重みは、系を最小二乗の点で最も良く満たす。
【００７７】
階層的な４分木再分割
図５に示すように、本発明は、各照明画像１３１の階層的な４分木再分割５００を用いて、各画素ｂｉのカーネルの位置およびサイズを見つける。
【００７８】
本発明は、照明画像全体を占めるカーネル５０１から開始する。本発明は、照明画像を大きさの等しい２つの矩形５１１〜５１２に再分割する。カーネルを縦または横に再分割するオプションがあるので、本発明では、式（６）において最小誤差を生じる再分割を選択する。破線によって示される図示の経路５３０は、最小誤差を生じる再分割を示す。
【００７９】
この誤差を測定するために、本発明では、式（７）を用いてカーネルの重み３０２を解く。２回目の反復において、本発明では、１回目の反復から生じた２つのカーネルに４つの可能な分割５２０を有し、以下同様となる。再帰的再分割は、Ｋ個のカーネルからなるセットが求められるか、あるいはＫ−１回の再分割が行われると停止する。本発明者は、Ｋ＝２５の場合に処理時間を依然として最小化しながら良好な品質が得られることを発見した。
【００８０】
概して、本発明では、ｋ回目の反復において２×ｋ個の可能な再分割がある。したがって、ｋ回目の反復において、本発明では、式（７）を用いてＯ（ｋ２）回の２次計画最適化を行う。
【００８１】
全ての可能なサイズの等しい再分割を試行する代わりに、本発明では、最も高いエネルギーを有するカーネルを再分割する。本発明では、エネルギーを面積×重さとして定義する。これは、本発明が、画素毎にＯ（ｋ）回の２次計画最適化しか行わず、これにより性能を１０倍に高めることを意味する。
【００８２】
しかし、本発明のエネルギー測度は完全ではなく、所与のカーネルの最適な分割をし損なう可能性がある。これにより、空間的に補正する必要がある場合がある部分最適な推定値が生じる。
【００８３】
空間補正
本発明では、式（６）に従って閾値τよりも大きい誤差を有する各画素ｂｉの空間補正を行う。本発明者は、隣接画素のカーネルは通常同様であることを観察している。本発明の精緻化プロセス４２０は以下のように進む。
【００８４】
画素ｂｉ毎に、近傍からカーネルの位置を試し、式（７）を用いて新たな重みを解く。式（６）を用いて新たな誤差を求め、誤差が現在の誤差よりも小さいかを判定する。誤差が小さい場合、最小誤差を生じる近傍からカーネルの位置およびサイズをコピーする。本発明では、この手順を誤差の高い全ての点について、誤差が閾値未満になるまで再帰的に繰り返す。これにより、空間コヒーレンスが確保され、全体的な誤差が減る。
【００８５】
次に、本発明では、誤差が一定となるまでカーネルを全方向に１画素移動させることによって、全ての新たなカーネルの位置を最適化する。空間補正は、特に照明画像１３１の数が少ない、すなわち３０未満である場合に、反射率関数の推定値を改善する。
【００８６】
照明画像の数が多い、例えば１００よりも多い場合、誤差補正は通常行う必要がない。
【００８７】
レンダリング
この時点で、複数の重み付きカーネル３０１の反射画像１０５によって表される反射率関数１０１を用いて、任意の照明条件１３５について新たな画像１０２をレンダリングすることができる。
【００８８】
本発明では、反射率関数に対話型レンダラを用いる。レンダラはソフトウェアで実施される。新たな任意の照明１３５は、総和エリアテーブルにロードおよび変換される。
【００８９】
図６に示すように、本発明では、反射画像中の画素１０６毎に、式（４）を求めて、レンダリング画像１０２中の対応する画素６０１の色を、新たな照明画像１３５に適用した場合のカーネルセット３００の加重和６０２として決める。
【００９０】
本発明のシステムおよび方法は、鏡面反射オブジェクト、屈折オブジェクト、拡散オブジェクト、および光沢のあるオブジェクトを含むシーン等の様々なシーンに適用することができる。本発明は、影の薄いシーン、影の濃いシーン、および面下散乱シーンにも良好に機能する。
【００９１】
照明画像の解像度は８００×６００画素であり、観察画像の解像度は１０２４×７６８画素である。画素毎のカーネルの数は２５であり、この数は、上記の全てのシーンに良好に機能する。本発明は、照明画像のセットに加えて自然画像のテストセットを用いて、反射率関数の推定値を検証する。反射率関数の推定値の品質の標準的なテストとして、本発明ではまず、新たな照明下におけるシーンの実際の写真を、本発明の推定された反射率関数を用いて予測値と比較する。
【００９２】
概して、本発明の予測は、光沢のあるオブジェクト、拡散オブジェクト、および透明オブジェクトに非常に良好に機能する。オブジェクトの近くの濃い影と、オブジェクトからもっと離れた薄い影とが良好に再現され、相互反射が正確に再現される。拡散要素もまた正確に再現される。中空のオブジェクトの場合、面下散乱および屈折の両方も正確に再現される。
【００９３】
改良
上述の均等なカーネルの再分割プロセスは、例えば４分木ではなく２次元ｋｄ木と同様の不均等な再分割を用いることによって改良することができる。
【００９４】
本発明を好適な実施の形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るそうした変形および変更をすべて網羅することである。
【図面の簡単な説明】
【００９５】
【図１Ａ】本発明による反射率関数を推定するシステムのブロック図である。
【図１Ｂ】本発明の代替的な実施の形態のブロック図である。
【図２】本発明によって用いられる較正プロセスのフロー図である。
【図３】本発明による重み付きカーネルセットに再分割された反射画像として表される反射率関数のブロック図である。
【図４】本発明による反射率関数を推定する方法のフロー図である。
【図５】本発明による反射画像の階層的な再分割のブロック図である。
【図６】本発明による反射率関数を用いたレンダリングのブロック図である。
【図１Ａ】
2006004432.tif 000009
【図１Ｂ】
2006004432.tif 000010
【図２】
2006004432.tif 000011
【図３】
2006004432.tif 000012
【図４】
2006004432.tif 000013
【図５】
2006004432.tif 000014
【図６】
2006004432.tif 000015
【外国語明細書】
2006004432.tif 000016
2006004432.tif 000017
2006004432.tif 000018
2006004432.tif 000019
2006004432.tif 000020
2006004432.tif 000021
2006004432.tif 000022
2006004432.tif 000023
2006004432.tif 000024
2006004432.tif 000025
2006004432.tif 000026
2006004432.tif 000027
2006004432.tif 000028
2006004432.tif 000029
2006004432.tif 000030
2006004432.tif 000031
2006004432.tif 000032
2006004432.tif 000033
2006004432.tif 000034
2006004432.tif 000035
2006004432.tif 000036
2006004432.tif 000037
2006004432.tif 000038
2006004432.tif 000039
2006004432.tif 000040
2006004432.tif 000041