現実のオブジェクトのカラー映像及び深さ映像を用いて前記オブジェクトに適用された拡散性照明情報を抽出する拡散性抽出部と、前記抽出された拡散性照明情報を用いて前記現実のオブジェクトに対する拡散反射映像を復元する拡散反射復元部と、前記復元された拡散反射映像と前記カラー映像を用いて鏡面反射映像及び影映像のうち少なくとも1つを生成する誤差映像分離部と、を備えることを特徴とする照明処理装置。前記鏡面反射映像と前記影映像のうち少なくとも1つから指向性照明情報を抽出する指向性照明情報抽出部をさらに備える、ことを特徴とする請求項1に記載の照明処理装置。前記抽出された拡散性照明情報、前記抽出された指向性照明情報、及び前記カラー映像を用いて前記現実のオブジェクトに適用された照明環境の明るさを決定する照明条件決定部をさらに備える、ことを特徴とする請求項2に記載の照明処理装置。前記拡散反射復元部は、前記深さ映像の法線マップを生成する法線マップ生成部と、前記生成された法線マップから前記深さ映像の低次基底関数モデルを生成するモデル生成部と、前記低次基底関数モデルを前記カラー映像に適用して前記カラー映像を最も近似するように再生成する1つ以上の拡散性照明定数を求める照明定数算出部と、を備えることを特徴とする請求項1乃至3の何れか一項に記載の照明処理装置。前記拡散性照明情報は、前記1つ以上の拡散性照明定数の組合せである、ことを特徴とする請求項1乃至4の何れか一項に記載の照明処理装置。前記誤差映像分離部は、前記拡散反射映像と前記カラー映像の明るさを比較して明るさ値誤差を示す誤差映像を生成し、前記誤差映像を鏡面反射映像と影映像に分離する誤差映像分離部をさらに備える、ことを特徴とする請求項1乃至5の何れか一項に記載の照明処理装置。前記鏡面反射映像は前記誤差映像で予め設定された基準値よりも明るいピクセルを含み、前記影映像は前記誤差映像で前記基準値よりも暗いピクセルを含む、ことを特徴とする請求項6に記載の照明処理装置。前記指向性照明情報抽出部は、前記鏡面反射映像のローカル領域ごとに最も明るい地点の法線ベクトル及び前記現実のオブジェクトを撮影したカメラの位置を用いて、前記現実のオブジェクトに適用された照明の方向を前記指向性照明情報として抽出する、ことを特徴とする請求項2又は3に記載の照明処理装置。前記指向性照明情報抽出部は、前記影映像をなすピクセルごとに影を発生させた照明方向を抽出し、前記抽出された照明方向の分布度でピーク値を示す方向を前記指向性照明情報として抽出する、ことを特徴とする請求項2又は3に記載の照明処理装置。前記照明条件決定部は、以下の数式を用いて前記照明の明るさを決定し、前記skは照明の明るさ、前記Sは照明の全体数、前記Iは前記カラー映像、Lは前記拡散性照明情報をなす拡散性照明定数の全体数、前記fDは拡散反射を表現するモデル、前記fSは鏡面反射を表現するモデル、前記ckは前記拡散性照明定数、前記bkは指向性照明情報をなす照明の方向、前記depthは前記深さ映像の深さ値、は視点である、ことを特徴とする請求項3に記載の照明処理装置。現実のオブジェクトのカラー映像及び深さ映像を用いて前記オブジェクトに適用された拡散性照明情報を抽出し、前記抽出された拡散性照明情報を用いて前記現実のオブジェクトに対する拡散反射映像を復元するステップと、前記復元された拡散反射映像と前記カラー映像を用いて鏡面反射映像及び影映像のうち少なくとも1つを生成するステップと、を含むことを特徴とする照明処理方法。前記抽出された拡散性照明情報、前記抽出された指向性照明情報、及び前記カラー映像を用いて前記現実のオブジェクトに適用された照明環境の明るさを決定するステップをさらに含む、ことを特徴とする請求項11に記載の照明処理方法。前記カラー映像及び深さ映像は、3次元映像に実際適用されるオブジェクトの映像である、ことを特徴とする請求項11又は12に記載の照明処理方法。前記拡散反射映像を復元するステップは、前記深さ映像の法線マップを生成するステップと、前記生成された法線マップから前記深さ映像の低次基底関数モデルを生成するステップと、前記低次基底関数モデルを前記カラー映像に適用して前記カラー映像を最も近似するように再生成する1つ以上の拡散性照明定数を求めるステップと、を含むことを特徴とする請求項11乃至13の何れか一項に記載の照明処理方法。前記拡散性照明情報は、前記1つ以上の拡散性照明定数の組合せである、ことを特徴とする請求項11乃至14の何れか一項に記載の照明処理方法。前記拡散反射映像と前記カラー映像の明るさを比較して明るさ値誤差を示す誤差映像を生成し、前記誤差映像を分析して前記誤差映像を鏡面反射映像と影映像に分離するステップをさらに含む、ことを特徴とする請求項11乃至15の何れか一項に記載の照明処理方法。前記鏡面反射映像は前記誤差映像で予め設定された基準値よりも明るいピクセルを含み、前記影映像は前記誤差映像で前記基準値よりも暗いピクセルを含む、ことを特徴とする請求項16に記載の照明処理方法。前記鏡面反射映像と前記影映像のうち少なくとも1つから指向性照明情報を抽出するステップをさらに含む、ことを特徴とする請求項11乃至17の何れか一項に記載の照明処理方法。前記抽出された拡散性照明情報、前記抽出された指向性照明情報、及び前記カラー映像を用いて前記現実のオブジェクトに適用された照明環境の明るさを決定するステップをさらに含む、ことを特徴とする請求項18に記載の照明処理方法。前記指向性照明情報を抽出するステップは、前記鏡面反射映像のローカル領域ごとに最も明るい地点の法線ベクトル及び前記現実のオブジェクトを撮影したカメラの位置を用いて、前記現実のオブジェクトに適用された照明の方向を前記指向性照明情報として抽出することを含む、ことを特徴とする請求項18又は19に記載の照明処理方法。前記決定するステップは、以下の数式を用いて前記照明の明るさを決定し、前記skは照明の明るさ、前記Sは照明の全体数、前記Iは前記カラー映像、前記Lは前記拡散性照明情報をなす拡散性照明定数の全体数、前記fDは拡散反射を表現するモデル、前記fSは鏡面反射を表現するモデル、前記ckは前記拡散性照明定数、前記bkは指向性照明情報をなす照明の方向、前記depthは前記深さ映像の深さ値、は視点である、ことを特徴とする請求項12に記載の照明処理方法。カラー映像及び深さ映像に基づいて鏡面反射映像と影映像のうち少なくとも1つを生成する映像生成部と、前記生成された鏡面反射映像と影映像のうち少なくとも1つから指向性照明情報を抽出する照明情報抽出部と、を備えることを特徴とする映像処理装置。前記抽出された指向性照明情報に基づく照明条件が適用された仮想のオブジェクトを前記カラー映像に合成する映像合成部をさらに備える、ことを特徴とする請求項22に記載の映像処理装置。カラー映像及び深さ映像に基づいて前記カラー映像に適用された指向性照明情報を抽出する照明情報抽出部と、前記抽出された指向性照明情報に基づく照明条件が適用された仮想のオブジェクトを前記カラー映像に合成する映像合成部と、を備えることを特徴とする映像処理装置。一実施形態において、照明処理装置は、現実のオブジェクトのカラー映像及び深さ映像を用いて前記オブジェクトに適用された拡散性照明情報を抽出する拡散性抽出部と、前記抽出された拡散性照明情報を用いて前記現実のオブジェクトに対する拡散反射映像を復元する拡散反射復元部と、前記復元された拡散反射映像と前記カラー映像を用いて鏡面反射映像及び影映像のうち少なくとも1つを生成する誤差映像分離部とを備える。本発明によれば、補助装置を追加的に使用しなくても、現実のオブジェクトを撮影して取得したカラー映像と深さ映像から当該オブジェクトに適用された照明条件を取得することができる。また、本発明によれば、映像に仮想オブジェクトを追加する場合、当該映像から取得した照明条件を仮想オブジェクトに適用することによって、より実感できるレンダリング結果を取得することができる。以下、本発明の実施形態について添付の図面を参照しながら詳細に説明する。オブジェクトを実感できるように表現するレンダリング技術は、形状、材料特性、照明を正確にモデリングすることが求められる。形状モデリングの場合、深さ映像を撮影する深さカメラの発展により、リアルタイムで動く物体の形状情報を取得することができる。材料特性モデリングの場合、Lambertian、Phong、TorranceCook、OrenNayar、EmpericalBSSRDF、BRDFなどの様々な実験的/物理的モデルが提案されている。光モデリングの場合、従来は、Lambertian物体またはChromeBallなどの補助装置を用いてオブジェクトに適用された光モデル、すなわち、照明条件を抽出する。一方、図1、図2及び図3の照明処理装置100a、100b、200は補助装置を利用することなく、現実のオブジェクトのカラー映像と深さ映像を用いて照明条件を抽出する。図1、図2及び図3の照明処理装置100a、100b、200は、デジタルカメラ、携帯電話、スマートフォンなどのCEConsumerElectronics機器に適用されてもよい。ここで、照明条件は、現実のオブジェクトに適用された照明方向に関する情報及び現実のオブジェクトに適用された照明の明るさに関する情報を含んでもよい。照明処理装置によって生成される照明条件は、例えば、拡散性diffuse照明情報と指向性direction照明情報を含んでもよい。すなわち、拡散性照明情報と指向性照明情報を結合すれば、オリジナルの照明条件を復元することができる。拡散性照明情報と指向性照明情報のいずれか1つを用いてオリジナルの照明条件を復元する実施形態も可能である。拡散性照明情報を周波数領域で調べると、オリジナルの照明条件の低周波成分に対応する特性を示す。指向性照明情報を周波数領域で調べると、オリジナルの照明条件の高周波成分に対応する特性を示す。周波数領域において、拡散性照明情報は連続的な形態を有してもよく、指向性照明情報は不連続的な形態を有してもよい。現実のオブジェクトは光を反射してもよい。例えば、現実のオブジェクトの表面で全方向性反射特性を有する拡散反射diffusereflectionや指向性反射特性を有する鏡面反射specularreflectionが発生する。現実のオブジェクトを撮影した映像を用いると、拡散反射の影響を受けたピクセルからなる拡散反射映像を生成したり、鏡面反射の影響を受けたピクセルからなる鏡面反射映像を生成してもよい。また、現実のオブジェクトやその周辺には光の指向性特性に応じて影が生じることがあり、オリジナルの映像で影の影響を受けたピクセルからなる影映像を生成してもよい。拡散性照明情報は、拡散反射映像から取得されてもよい。一方、指向性照明情報は、鏡面反射映像と影映像のうち少なくとも1つから抽出されてもよい。もちろん、拡散性照明情報を用いて拡散反射映像を生成したり、指向性照明情報を用いて鏡面反射映像や影映像を生成する実施形態も可能である。一実施形態によれば、照明処理装置は、現実のオブジェクトのカラー映像及び深さ映像を用いて拡散性照明情報を抽出してもよい。照明処理装置は、抽出された拡散性照明情報を用いて拡散反射映像を生成してもよい。また、照明処理装置は、拡散反射映像とオリジナルの映像を用いて鏡面反射映像を生成してもよい。照明処理装置は、生成された鏡面反射映像から指向性照明情報を抽出してもよい。また、照明処理装置は、拡散反射映像とオリジナルの映像を用いて影映像を生成してもよい。照明処理装置は、生成された影映像から指向性照明情報を抽出してもよい。照明処理装置は抽出された照明情報を用いて照明条件生成し、これを仮想オブジェクトに適用してもよい。すなわち、図1、図2及び図3に示す照明処理装置100a、100b、200を含む映像処理装置は、特定のシーンがある映像を用いて照明条件を生成し、生成された照明条件が適用された仮想オブジェクトを前記映像に挿入する。例えば、映像処理装置は、深さ映像及びカラー映像に基づいて指向性照明情報を抽出し、前記抽出された指向性照明情報に基づく照明条件が適用された仮想オブジェクトを前記カラー映像に合成してもよい。図1は、一実施形態に係る照明処理装置を示すブロック図である。図1を参照すると、照明処理装置100aは、拡散反射抽出部105、拡散反射復元部115、及び指向性照明に基づく映像生成部125を備える。拡散性抽出部105は、リアルオブジェクトのカラー映像及び深さ映像を用いて、リアルオブジェクトに適用された拡散性照明情報を抽出する。拡散反射復元部115は、抽出された拡散性照明情報を用いて拡散反射映像を復元する。拡散性照明情報は、テクスチャー形態で格納されてもよい。指向性照明に基づく映像生成部125は、拡散反射復元部115によって復元された拡散反射映像とカラー映像との間の誤差映像から鏡面反射映像を生成する。指向性照明に基づく映像生成部125は、復元された拡散反射映像とカラー映像との間の誤差映像から影映像を生成してもよい。図2は、他の実施形態に係る照明処理装置を示すブロック図である。図2を参照すると、照明処理装置100bは、拡散反射復元部110、指向性照明情報抽出部120、及び照明条件決定部130を備える。拡散反射復元部110は、現実のオブジェクトのカラー映像及び深さ映像を用いて現実のオブジェクトに適用された拡散性照明情報を抽出し、抽出された拡散性照明情報を用いて現実のオブジェクトに対する拡散反射映像を復元する。拡散性照明情報はテクスチャー形態で格納されてもよい。指向性照明情報抽出部120は、拡散反射復元部110によって復元された拡散反射映像とカラー映像との間の誤差映像から指向性照明情報を抽出する。照明条件決定部130は、抽出された拡散性照明情報、抽出された指向性照明情報、及び入力されたカラー映像を用いて現実のオブジェクトに適用された照明条件を決定する。図3は、現実のオブジェクトに適用された照明条件を取得するための照明処理装置の一実施形態を示すブロック図である。図3を参照すると、照明処理装置200は、撮影部210、拡散反射復元部220、誤差映像分離部230、指向性照明情報抽出部240、及び照明条件決定部250を備える。撮影部210は、任意の照明環境で現実のオブジェクトを撮影してカラー映像と深さ映像を出力する。撮影部210は、カラー映像を取得するためのカラーカメラと深さ映像を取得するための深さカメラをそれぞれ備えたり、または、カラーカメラと深くカメラが統合された形態のカメラで実現されてもよい。または、撮影部210は、ステレオまたは多視点カメラから深さ映像を取得した後、取得された深さ映像をカラー映像と共に出力してもよい。図4は、撮影部210から出力されて入力映像として用いられるカラー映像と深さ映像の一例を示す図である。図4を参照すると、照明環境によって、現実のオブジェクトで拡散反射と鏡面反射が発生する。拡散反射復元部220は、現実のオブジェクトのカラー映像及び深さ映像を用いて現実のオブジェクトに適用された拡散性照明情報を抽出し、抽出された拡散性照明情報を用いてオブジェクトに対する拡散反射映像を復元する。拡散反射復元部220は、拡散性照明情報を抽出するために深さ映像に基づく低次基底関数モデルを用いてもよい。図5は、深さ映像と深さ映像のノーマルマップに基づく低次基底関数モデリング方式を説明する図である。図5に示された低次基底関数モデルを用いると、ConvexLambertian物体の場合、9個の低次基底関数を用いて多い例えば、99以上の画素値を正確に復元することができる。低次基底関数モデルを用いると、拡散反射復元部220は、それぞれ異なる形状のオブジェクトごとに相異なる形状の各オブジェクトに適する低次基底関数モデルを生成してもよい。したがって、拡散反射復元部220は、図5に示すような低次基底関数モデルを用いてオブジェクトで発生した拡散反射をLambertianLawによって定義及び表現してもよい。LambertianLawとは、拡散反射は、光ベクトルlと物体表面の方向の法線ベクトルnの内積に比例するという理論である。図6は、図3に示された拡散反射復元部220をより具体的に示すブロック図である。図6を参照すると、拡散反射復元部220は、法線マップ生成部221、モデル生成部223、レンダリング部225、及び照明定数算出部227を備える。法線マップ生成部221は、入力される深さ映像から深さ映像の法線マップを生成する。法線マップは、オブジェクトに対する法線ベクトルをテクスチャーに表したものである。モデル生成部223は、生成された法線マップから深さ映像の低次基底関数モデルを生成する。低次基底関数モデルの例として、図3に示すようなSHBFSphericalHarmonicsBasisFunctionモデルが挙げられる。レンダリング部225は、深さ映像から生成された低次基底関数モデルをレンダリングする。照明定数算出部227は、レンダリングされた低次基底関数モデルをカラー映像に適用し、カラー映像を最も近似するように再生成する1つ以上の拡散性照明定数を求めることができる。照明定数算出部227は、最適化過程によって1つ以上の拡散性照明定数を求める。照明定数算出部227は、低次基底関数モデルをカラー映像に適用し、拡散性照明定数を変更しながら臨時的なカラー映像を生成する最適化過程によって、1つ以上の拡散性照明定数を求めることができる。臨時的なカラー映像を生成する最適化過程において、数式1が用いられてもよい。すなわち、照明定数算出部227は、の結果を最小にするckを1つ以上求めてもよい。ここで、Iは入力されたカラー映像を示す。拡散性照明定数は、例えば、c1~c9、すなわち、9個を算出してもよく、これに限定されない。数式1を参照すると、Idiffuseは映像を示すベクトルとして、ベクトルの各エレメントは映像をなすピクセルのカラー値を示す。ckは拡散性照明定数、kは照明定数のインデックス、Dkdepthはレンダリングされた低次基底関数モデルである。拡散性照明情報は、1つ以上の拡散性照明定数の組合として表現されてもよい。したがって、照明定数算出部227は、1つ以上の拡散性照明定数からなる拡散性照明情報を用いて現実のオブジェクトに対する拡散反射映像を復元してもよい。復元された拡散反射映像は、1つ以上の拡散性照明定数を含む拡散性照明情報と低次基底関数モデルの組合せからなり得る。図7は、図3に示す誤差映像分離部230によって行われる一連の過程を説明する図である。図3及び図7を参照すると、誤差映像分離部230は、拡散反射復元部220で復元された拡散反射映像とオリジナルの映像の明るさを比較し、明るさ値の誤差を示す誤差映像を求める。オリジナルの映像は、撮影部210によって出力されるカラー映像であってもよい。誤差映像分離部230は、復元された拡散反射映像とカラー映像との差値を算出し、差値を組み合わせて誤差映像を求める。差値は、復元された拡散反射映像とカラー映像で互いに同一の位置にあるピクセルの強度の差であってもよい。誤差映像分離部230は誤差映像を分析し、誤差映像を鏡面反射映像と影映像に分離する。誤差映像分離部230は、予め設定された基準値を誤差映像に適用して誤差映像を鏡面反射映像と影映像に分離してもよい。すなわち、誤差映像分離部230は、誤差映像を基準値よりも明るいピクセルからなる鏡面反射映像と、基準値よりも暗いピクセルからなる影映像に分離する。誤差映像分離部230は、誤差映像の各ピクセル値の分布を示すヒストグラムに基準値を適用して誤差映像を分離してもよい。再び図3を参照すると、指向性照明情報抽出部240は、拡散反射復元部220によって復元された拡散反射映像とカラー映像との間の誤差映像から指向性照明情報を抽出する。すなわち、指向性照明情報抽出部240は、誤差映像から分離された鏡面反射映像と影映像に基づいて指向性照明情報を求めることができる。指向性照明情報抽出部240は、鏡面反射映像から第1指向性照明情報を抽出する第1抽出部241、影映像から第2指向性照明情報を抽出する第2抽出部243を備える。第1抽出部241は、鏡面反射映像のうち最も明るい地点の法線ベクトル及び現実のオブジェクトを撮影した撮影部210の位置を用いてオブジェクトに適用された照明方向を逆追跡し、逆追跡された照明方向を用いて第1指向性照明情報を抽出する。図8は、鏡面反射映像に基づいて第1指向性照明情報を抽出する方法を説明する図である。図8を参照すると、第1抽出部241は、鏡面反射映像の各ローカル領域で最も明るい地点を探索する。ローカル領域は、鏡面反射映像のうち地域的にさらに明るく形成される楕円または他の形状のクラスタを意味する。一実施形態において、ローカル領域は、周辺よりも閾値以上の明るさを示すピクセル集合であってもよい。例えば、ローカル領域は、図7に示す鏡面反射映像のうち円形状の白く表示された部分701、703、705であってもよい。第1抽出部241は、GaussianMeanFittingを用いてローカル領域を探索してもよい。第1抽出部241は、ローカル領域ごとに最も明るい地点の法線ベクトル及び撮影部210の位置を用いてオブジェクトに適用された照明の位置を逆追跡してもよい。逆追跡される照明の位置は、現実のオブジェクトに適用された照明の方向を示してもよい。第1抽出部241は撮影部210の位置から視界viewを把握することができ、ローカル領域内で最も明るい地点の法線ベクトルnormalを把握することができる。したがって、第1抽出部241は鏡面反射映像の場合、法線ベクトルを基準として光の入射角θrと反射角θrが同一であるという原理を用いて照明方向を逆追跡することができる。照明方向を逆追跡するために、第1抽出部241は、Phong、BlinnPhong、TorranceCookTorranceSparrowなどの多様な鏡面反射モデルの1つを用いてもよい。一方、第2抽出部243は、影映像をなす全てのピクセルごとに影を発生させた影線rayを生成し、生成された影の線のうち分布度が最も大きい影線に対応する方向を第2指向性照明情報として抽出してもよい。図9及び図10は、影映像に基づいて第2指向性照明情報を抽出する方法を説明するための例示図である。図9を参照すると、二重線は影映像をなすピクセル、点線の矢印は影ピクセルに影を発生させ得る照明方向を仮想に表示したものであり、これを影線rayという。第2抽出部243は任意の光方向を変更しながら、影映像をなす各ピクセル例えば、pshごとに影を発生させる影線を任意に生成してもよい。第2抽出部243は、Uniform、RandomSamplingなどの技術を用いて影線を任意に生成してもよい。第2抽出部243は、生成された全ての影線の方向を図10に示すように、全ての影ピクセルに対して累積させて影線の分布度を求める。一実施形態において、影線は映像の撮影地点を中心とする半球形態の仮想空間を仮定し、照明が半球の表面にあると仮定する場合、撮影地点から照明のある地点まで0~180°範囲の水平方向の角度θと0~90°範囲の垂直方向の角度Φに表現されてもよい。第2抽出部243は、分布度が最も高い角度に該当する方向を指向性照明情報に含まれるものとして類推してもよい。図10に示すように、2つのピークに該当する角度θ、Φ、すなわち、照明の方向が指向性照明情報に含まれてもよい。一実施形態において、第2抽出部243は、分布度が最も高い影線の角度を求めるとき、分布度のピークをより精密に探索するために分布度を任意の連続関数例えば、GaussianMixture、Polynomialなどに適用してサンプリングで選択されていない影rayも指向性照明情報として抽出してもよい。第2抽出部243は、抽出された1つ以上の鏡面反射照明を組み合わせて指向性照明情報を生成してもよい。照明条件決定部250は、抽出された拡散性照明情報、抽出された指向性照明情報、及び入力されたカラー映像を用いてオブジェクトに適用された照明環境の明るさを決定する。一例として、抽出された拡散性照明情報は拡散性照明定数であってもよく、抽出された指向性照明情報は照明のベクトルであってもよい。照明条件決定部250は、数式2を用いて照明の明るさを決定する。数式2において、skは照明の明るさ、Sは照明の全体数、Iは撮影部210から入力されたカラー映像、Lは前記拡散性照明情報をなす拡散性照明定数の全体数である。また、fDは拡散反射を表現するモデル、fSは鏡面反射を表現するモデル、ckは拡散性照明定数、bkは指向性照明情報をなす照明の方向、depthは深さ映像の深さ値、は視点である。数式2を参照すると、照明の明るさ決定部250は、を最小化するパラメータを算出することによって、照明環境の明るさを求める。また、照明条件決定部250は、指向性照明情報を照明方向に利用してもよい。指向性照明情報は複数の照明方向情報を含んでもよい。図11は、一実施形態に係る照明処理方法を説明するフローチャートである。図11に示す照明処理方法は、図1、図2、または図3を参照して説明した照明処理装置100a、100b、200で各動作を制御または処理する制御部図示せずまたは少なくとも1つのプロセッサ図示せずによって動作されてもよい。ステップ910において、照明情報処理装置はカメラを用いて現実のオブジェクトのカラー映像と深さ映像を取得する。ステップ920において、照明処理装置は、取得されたカラー映像及び深さ映像を用いて、現実のオブジェクトに適用された拡散性照明情報を抽出する。ステップ920は、深さ映像に基づく低次基底関数モデルを用いて拡散性照明情報を抽出してもよい。これは図12を参照してより詳しく説明する。ステップ930において、照明処理装置は、抽出された拡散性照明情報を用いてオブジェクトに対する拡散反射映像を復元する。ステップ940において、照明処理装置は、復元された拡散反射映像とオリジナル映像すなわち、取得されたカラー映像の明るさを比較して誤差映像を算出する。ステップ950において、照明処理装置は、算出された誤差映像を分析し、誤差映像を鏡面反射映像と影映像に分離する。鏡面反射映像は誤差映像のうち予め設定された基準値よりも明るいピクセルからなる映像であり、影映像は誤差映像のうち前記基準値よりも暗いピクセルからなる映像である。ステップ960において、照明処理装置は、分離した鏡面反射映像から第1指向性照明情報を抽出する。例えば、照明処理装置は、鏡面反射映像の各ローカル領域で最も明るい地点の法線ベクトル及び現実のオブジェクトを撮影したカメラの位置を用いて現実のオブジェクトに適用された照明の方向を逆追跡し、逆追跡された照明の方向を第1指向性照明情報として抽出してもよい。ステップ970において、照明処理装置は、分離された影映像から第2指向性照明情報を抽出する。例えば、照明処理装置は、影映像をなす全てのピクセルごとに影を発生させた影線rayを生成し、生成された影線のうち分布度が最も大きい影線に対応する方向を第2指向性照明情報として抽出してもよい。ステップ980において、照明処理装置は、抽出された拡散性照明情報、抽出された第1及び第2指向性照明情報、及び取得されたカラー映像を数式2に適用し、オブジェクトに適用された照明環境の明るさを決定する。図12は、図11に示すステップ920をより具体的に説明するためのフローチャートである。ステップ1010において、照明処理装置は、ステップ910で取得された深さ映像から深さ映像の法線マップを生成する。ステップ1020において、照明処理装置は、生成された法線マップから深さ映像の低次基底関数モデルを生成する。ステップ1030において、照明処理装置は、深さ映像から導き出された低次基底関数モデルをレンダリングし、レンダリングされた低次基底関数モデルをカラー映像に適用し、カラー映像を最も近似するように再生成する1つ以上の拡散性照明定数を求める。図13は、一実施形態に係る照明処理装置を含む映像処理装置の構成を示す図である。図13を参照すると、映像処理装置1100は、映像生成部1110、情報抽出部1120、及び映像合成部1130を備える。また、映像処理装置1100はディスプレイ1140をさらに備えてもよい。映像生成部1110は、カラー映像及び深さ映像に基づいて鏡面反射映像と影映像のうち少なくとも1つを生成する。すなわち、映像生成部1110は、図3に示す誤差映像分離部230の機能を行ってもよい。照明情報抽出部1120は、鏡面反射映像と影映像のうち少なくとも1つから指向性照明情報を抽出する。また、照明情報抽出部1120は、カラー映像及び深さ映像に基づいて拡散性照明情報を抽出してもよい。他の実施形態として、映像生成部1110が拡散性照明情報を抽出し、これを用いて拡散性映像を生成してもよい。映像合成部1130は、指向性照明情報及び拡散性照明情報のうち少なくとも1つを用いて照明条件を生成し、生成された照明条件が適用された仮想のオブジェクトをカラー映像に合成する。したがって、映像処理装置1100は、入力された映像の特定のシーンから照明条件を生成し、抽出された照明条件が適用された仮想のオブジェクトを前記特定のシーンに挿入してもよい。また、映像処理装置1100は、ディスプレイ1140によって仮想のオブジェクトが挿入された場面を表示する。拡散性照明情報と指向性照明情報のいずれか1つのみを用いて照明条件を生成し、生成された照明条件が適用された仮想のオブジェクトをカラー映像に挿入する実施形態も可能である。また、鏡面反射映像と影映像のいずれか1つのみを用いて指向性照明情報を抽出する実施形態も可能である。これに適するように、先に説明した照明処理装置や映像処理装置の構成要素の機能が修正されてもよい。本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの1つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー登録商標ディスク及び磁気テープのような磁気媒体、CDROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるようなマシンコードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高水準コードを含む。上述したハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアのレイヤで動作するように構成されてもよい。上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。