(57)【要約】【課題】高品位なレンダリング画像を生成可能な処理装置を提供する。【解決手段】処理装置（１０４）は、被写体の法線情報を取得する法線情報取得部（１０４ｃ）と、撮影条件または法線信頼度の少なくとも一方に基づいて、レンダリング時の仮想光源角度の最大値を決定し、最大値以下の仮想光源角度を取得する光源条件取得部（１０４ｄ）と、最大値以下の仮想光源角度に基づいて、レンダリング画像を生成するレンダリング部（１０４ｅ）とを有する。【選択図】図３
2020173591.tif 000002
【特許請求の範囲】
【請求項１】
被写体の法線情報を取得する法線情報取得部と、
撮影条件または法線信頼度の少なくとも一方に基づいて、レンダリング時の仮想光源角度の最大値を決定し、前記最大値以下の仮想光源角度を取得する光源条件取得部と、
前記最大値以下の前記仮想光源角度に基づいて、レンダリング画像を生成するレンダリング部と、を有することを特徴とする処理装置。
【請求項２】
少なくとも３つの異なる光源位置で撮影された複数の撮影画像を入力画像として取得する入力画像取得部を更に有し、
前記法線情報取得部は、前記入力画像を用いて前記被写体の前記法線情報を取得することを特徴とする請求項１に記載の処理装置。
【請求項３】
前記仮想光源角度は、光軸または視線ベクトルとレンダリング時の仮想光源ベクトルとのなす角であることを特徴とする請求項１または２に記載の処理装置。
【請求項４】
前記仮想光源角度は、入力画像を撮影した際の光源ベクトルとレンダリング時の仮想光源ベクトルとのなす角であることを特徴とする請求項１または２に記載の処理装置。
【請求項５】
前記仮想光源角度は、入力画像を撮影した際の複数の光源ベクトルとレンダリング時の仮想光源ベクトルとのなす角の最小値であることを特徴とする請求項４に記載の処理装置。
【請求項６】
前記光源条件取得部は、レンダリング時の仮想光源強度の最大値を決定することを特徴とする請求項１乃至５のいずれか一項に記載の処理装置。
【請求項７】
前記仮想光源強度は、レンダリング画像におけるベース画像の割合に基づいて決定されることを特徴とする請求項６に記載の処理装置。
【請求項８】
前記ベース画像は、少なくとも３つの異なる光源位置で撮影された複数の撮影画像である入力画像に基づく画像であることを特徴とする請求項７に記載の処理装置。
【請求項９】
前記ベース画像は、環境光画像であることを特徴とする請求項７に記載の処理装置。
【請求項１０】
入力画像が撮影された際の撮影条件を取得する撮影条件取得部を更に有し、
前記光源条件取得部は、前記撮影条件に基づいて前記仮想光源角度の前記最大値を決定することを特徴とする請求項１乃至９のいずれか一項に記載の処理装置。
【請求項１１】
前記撮影条件は、前記入力画像が撮影された際の被写体距離であることを特徴とする請求項１０に記載の処理装置。
【請求項１２】
前記光源条件取得部は、前記被写体距離が遠いほど前記仮想光源角度の前記最大値を小さくすることを特徴とする請求項１１に記載の処理装置。
【請求項１３】
前記撮影条件は、前記入力画像におけるノイズ量、前記入力画像が撮影された際のＩＳＯ感度、および、前記入力画像が撮影された際の発光ばらつきの少なくとも一つであることを特徴とする請求項１０に記載の処理装置。
【請求項１４】
前記光源条件取得部は、前記レンダリング画像の領域毎に前記仮想光源角度の前記最大値を決定することを特徴とする請求項１０に記載の処理装置。
【請求項１５】
前記法線情報の信頼度である法線信頼度を取得する法線信頼度取得部を有し、
前記光源条件取得部は、前記法線信頼度に基づいて前記仮想光源角度の前記最大値を決定することを特徴とする請求項１乃至１４のいずれか一項に記載の処理装置。
【請求項１６】
前記光源条件取得部は、前記法線信頼度がないと判定される領域に基づいて、前記仮想光源角度の前記最大値を決定することを特徴とする請求項１５に記載の処理装置。
【請求項１７】
前記光源条件取得部は、前記法線信頼度がないと判定される領域が多いほど前記仮想光源角度の前記最大値を小さくすることを特徴とする請求項１６に記載の処理装置。
【請求項１８】
前記光源条件取得部は、前記法線信頼度が小さいほど前記仮想光源角度の前記最大値を小さくすることを特徴とする請求項１５に記載の処理装置。
【請求項１９】
前記法線信頼度取得部は、少なくとも３つの異なる光源位置で撮影された複数の撮影画像である入力画像と、前記入力画像の少なくとも一つと同じ光源条件下での見えを再現した再現レンダリング画像とに基づいて、前記法線信頼度を取得することを特徴とする請求項１５乃至１８のいずれか一項に記載の処理装置。
【請求項２０】
光源部と、
請求項１乃至１９のいずれか一項に記載の処理装置と、を有することを特徴とする処理システム。
【請求項２１】
前記光源部は、それぞれ位置が異なる３つ以上の光源を備えることを特徴とする請求項２０に記載の処理システム。
【請求項２２】
被写体を撮像する撮像部と、
請求項１乃至１９のいずれか一項に記載の処理装置と、を有することを特徴とする撮像装置。
【請求項２３】
被写体の法線情報を取得するステップと、
撮影条件または法線信頼度の少なくとも一方に基づいて、レンダリング時の仮想光源角度の最大値を決定し、前記最大値以下の仮想光源角度を取得するステップと、
前記最大値以下の前記仮想光源角度に基づいて、レンダリング画像を生成するステップと、を有することを特徴とする処理方法。
【請求項２４】
請求項２３に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンダリング画像を生成する処理装置に関する。
【背景技術】
【０００２】
被写体に関するより多くの物理情報を取得することにより、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像をレンダリング処理により生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、および、光源情報等で決定される。
【０００３】
特許文献１には、被写体の形状情報としての法線（面法線）を取得（計測）する方法として照度差ステレオ法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２２１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラなどの撮像装置において照度差ステレオ法により被写体の法線を取得する際、互いに位置の異なる複数の光源位置からの光を被写体に照射する必要がある。光源の位置が固定されている場合、被写体が遠くなるほど、撮像装置が備える撮像光学系の光軸（あるいは視線）と光源から被写体への光とのなす角度（照射角度）は小さくなる。複数の光源位置における輝度変化から被写体の法線を決定する照度差ステレオ法では、照射角度が小さくなると輝度変化が低下し、撮像装置内でのノイズの影響が強くなる。その結果、算出される法線にばらつきが生じる。
【０００６】
また、照度差ステレオ法で法線を算出した場合、仮定した反射特性とは異なる反射特性の被写体については法線誤差が生じる。このため、誤差が生じた法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差が生じる。例えば、ランバート拡散反射モデルを仮定した照度差ステレオ法で金属や透明体等の拡散反射が少ない被写体の法線を算出すると、特に大きな法線誤差が生じる。このため、取得した法線を用いてレンダリング画像を生成すると、レンダリング画像に破綻が生じる。また、レンダリング画像を生成する際の仮想光源の角度が大きくなると、仮想光源下での見えの変化は大きくなるが、法線誤差の影響も大きくなる。
【０００７】
そこで本発明は、高品位なレンダリング画像を生成可能な処理装置、処理システム、撮像装置、処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての処理装置は、被写体の法線情報を取得する法線情報取得部と、撮影条件または法線信頼度の少なくとも一方に基づいて、レンダリング時の仮想光源角度の最大値を決定し、前記最大値以下の仮想光源角度を取得する光源条件取得部と、前記最大値以下の前記仮想光源角度に基づいて、レンダリング画像を生成するレンダリング部とを有する。
【０００９】
本発明の他の側面としての処理システムは、光源部と、前記処理装置とを有する。
【００１０】
本発明の他の側面としての撮像装置は、被写体を撮像する撮像部と、前記処理装置とを有する。
【００１１】
本発明の他の側面としての処理方法は、被写体の法線情報を取得するステップと、撮影条件または法線信頼度の少なくとも一方に基づいて、レンダリング時の仮想光源角度の最大値を決定し、前記最大値以下の仮想光源角度を取得するステップと、前記最大値以下の前記仮想光源角度に基づいて、レンダリング画像を生成するステップとを有する。
【００１２】
本発明の他の側面としてのプログラムは、前記処理方法をコンピュータに実行させる。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、高品位なレンダリング画像を生成可能な処理装置、処理システム、撮像装置、処理方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における撮像装置の外観図である。
【図２Ａ】実施例１における撮像装置のブロック図である。
【図２Ｂ】実施例１における処理システムのブロック図である。
【図３】実施例１における処理方法を示すフローチャートである。
【図４】実施例１における撮像素子の受光部と撮像光学系の瞳との関係を示す図である。
【図５】実施例１における撮像部の模式図である。
【図６】実施例１における撮像装置の他の例を示す図である。
【図７】実施例１における撮影条件と光源条件の最大値との関係を示す図である。
【図８】実施例２における撮像装置のブロック図である。
【図９】実施例２における処理方法を示すフローチャートである。
【図１０】実施例２における法線信頼度と光源条件の最大値との関係を示す図である。
【図１１】実施例３における処理システムの外観図である。
【図１２】Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１７】
照度差ステレオ法は、被写体の法線（面法線）と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から法線を算出する方法である。反射特性は、所定の法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。図１２は、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。図１２に示されるように、鏡面反射成分は、光源ベクトルｓと視線方向ベクトルｖの２等分線と、法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。
【００１８】
以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位法線ベクトルをｎとする。このとき、輝度値ｉは、ランバートの余弦則より、以下の式（１）のように表される。
【００１９】
【数１】
2020173591.tif 000003
【００２０】
ここで、異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ１、ｓ２、…、ｓＭ、光源ベクトルの各成分の輝度値をｉ１、ｉ２、・・・ｉＭとすると、式（１）は以下の式（２）のように表される。
【００２１】
【数２】
2020173591.tif 000004
【００２２】
式（２）において、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ１Ｔ、…ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ−１を用いることにより、Ｅρｄｎは以下の式（３）のように表される。
【００２３】
【数３】
2020173591.tif 000005
【００２４】
式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρｄとの積であり、正規化したベクトルが物体の法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρｄは積の形でのみ条件式に現れるため、Ｅρｄを１つの変数とすると、式（３）は単位法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ１〜ｓ３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１、ｓ２に対して線形独立に選択することが好ましい。
【００２５】
Ｍ＞３の場合、求める未知変数より多い条件式が得られる。このため、任意に選択した３つの条件式から、Ｍ＝３の場合と同様の方法で単位法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位法線ベクトルｎを算出してもよい。
【００２６】
被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。
【００２７】
またＭ＞３の場合、３以上Ｍ−１以下の複数の条件式が得られるため、単位法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位法線ベクトルｎの連続性を条件として用いることができる。単位法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば、以下の式（４）で表される評価関数が最小となる解を選択すればよい。
【００２８】
【数４】
2020173591.tif 000006
【００２９】
また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。
【００３０】
【数５】
2020173591.tif 000007
【００３１】
既知の法線がなく、全画素位置で法線の不定性があるとすれば、以下の式（６）で示されるように、式（５）の全画素での総和が最小となるように解を選択してもよい。
【００３２】
【数６】
2020173591.tif 000008
【００３３】
なお、最近傍以外の画素での法線を用いることや、注目する画素位置からの距離に応じて重み付けした評価関数を用いてもよい。また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位法線ベクトルを決定することができる。
【００３４】
また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）をｖとすると、以下の式（７）が成り立つ。
【００３５】
【数７】
2020173591.tif 000009
【００３６】
式（７）で表されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば、単位法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。
【００３７】
以上の照度差ステレオ法によって法線ｎおよび反射率ρ（＝Ｅρｄ）を取得すると、式（１）に対して任意の光源ベクトルｓを与えることにより、任意の光源下での輝度値ｉを算出することができる。すなわち、任意の光源下での見えを再現したレンダリング画像を生成することが可能となる。式（１）ではランバート拡散反射でのレンダリング画像を生成するが、その他の拡散反射特性やそれに加えて鏡面反射特性でのレンダリング画像を生成することもできる。
【実施例１】
【００３８】
次に、図１および図２Ａを参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１の外観図である。図２Ａは、撮像装置１のブロック図である。
【００３９】
撮像装置１は、レンダリング処理を行ってレンダリング画像（リライティング画像）を生成する。図１に示されるように、撮像装置１は、被写体を撮像する撮像部１００および光源部２００を有する。図２Ａに示されるように、撮像部１００は、撮像光学系１０１および撮像素子１０２を有する。光源部２００は、互いに異なる複数の位置からの光を被写体に光を照射可能に構成されている。本実施例において、光源部２００は８つの光源２００ａ〜２００ｈを有するが、これに限定されるものではない。照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、入力画像を取得するために少なくとも３つ以上の光源を備えていればよい。また本実施例において、撮像部１００を構成する撮像光学系の光軸ＯＡから等距離の位置に同心円状に８つの光源を等間隔で配置しているが、これに限定されるものではない。また本実施例において、光源部２００は、撮像装置１に内蔵されているが、これに限定されるものではない。光源部２００は、撮像装置１に着脱可能に取り付けられるように構成されていてもよい。
【００４０】
撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。すなわち撮像素子１０２は、撮像光学系１０１により形成された被写体の像（光学像）を光電変換し、アナログ電気信号（入力画像に対応する画像データ）を生成する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換により生成されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。
【００４１】
画像処理部（処理装置）１０４は、Ａ／Ｄコンバータ１０３から入力されたデジタル信号に対して、各種の画像処理を行う。また本実施例において、画像処理部１０４は、被写体の法線情報を算出し、任意の光源下でのレンダリング画像を生成する。画像処理部１０４は、入力画像取得部１０４ａ、撮影条件取得部１０４ｂ、法線情報取得部１０４ｃ、光源条件取得部１０４ｄ、および、レンダリング部１０４ｅを有する。
【００４２】
画像処理部１０４により処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部（ディスプレイ）１０５に表示してもよい。本実施例において、入力画像取得部１０４ａ、撮影条件取得部１０４ｂ、法線情報取得部１０４ｃ、光源条件取得部１０４ｄ、および、レンダリング部１０４ｅは、撮像装置１に内蔵されている。ただし本発明は、これに限定されるものではなく、前述の各部の少なくとも一部を撮像装置１とは別に設けてもよい。
【００４３】
情報入力部１０８は、ユーザにより選択された撮影条件（絞り値、露出時間、ＩＳＯ感度、および、焦点距離など）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０の制御指示に応じて光源部２００の発光状態を制御する。また情報入力部１０８は、ユーザにより選択された光源条件（仮想光源角度、仮想光源強度、および、仮想光源色など）をシステムコントローラ１１０に供給する。画像処理部１０４は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の仮想光源条件でレンダリング画像（リライティング画像）を生成する。なお本実施例において、撮像光学系１０１は、撮像装置１と一体的に構成されているが、これに限定されるものではない。本発明は、撮像素子を有する撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えて構成される一眼レフカメラやミラーレスカメラ等のカメラシステムにも適用可能である。
【００４４】
次に、図３を参照して、本実施例におけるレンダリング処理（処理方法）について説明する。図３は、レンダリング処理を示すフローチャートである。本実施例のレンダリング処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体（システムコントローラ１１０の内部メモリ等）に記憶されている。
【００４５】
まず、ステップＳ１０１において、入力画像取得部１０４ａは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで撮像部１００により取得された複数の入力画像を取得する。複数の入力画像は、単一の光源の位置を（駆動部などを用いて）変更しながら単一の光源からの光を順次照射することで取得することができる。または、複数の入力画像を、それぞれ位置の異なる複数の光源（例えば、図１に示される８つの光源２００ａ〜２００ｈ）からの光を順次照射して取得してもよい。
【００４６】
また、後述するステップＳ１０３にてランバート反射等の拡散反射モデルを仮定した照度差ステレオ法で法線情報を取得する場合、入力画像として撮影画像から鏡面反射成分を除去した複数の拡散反射画像を用いてもよい。画像から鏡面反射成分を除去した拡散反射画像を取得するため、例えば、２色性反射モデルによる手法を用いることができる。ただし、画像から鏡面反射成分を除去する手法はこれに限定されるものではなく、種々の手法を用いることが可能である。
【００４７】
続いてステップＳ１０２において、撮影条件取得部１０４ｂは、入力画像を取得した際の撮影条件を取得する。撮影条件取得部１０４ｂは、例えば、撮影条件として被写体までの距離情報（被写体距離）を取得する。本実施例において、距離情報は、ステップＳ１０１にて取得された入力画像が撮影された際のオートフォーカス、またはユーザが手動でフォーカスを行った際のフォーカスレンズの位置から取得される。また、異なる視点から撮影した複数の視差画像を取得するステレオ法によって距離情報を取得してもよい。ステレオ法では、取得した複数の視差画像中の被写体の対応点の視差量と撮影した各視点の位置情報および光学系の焦点距離から三角測量によって奥行きを取得する。距離情報は、被写体の対応点で算出された奥行きの平均値としてもよく、または、被写体の特定の点における奥行きとしてもよい。
【００４８】
視差画像から距離情報を取得する場合、複数の視差画像の撮像部（撮像系）１００は、図４に示されるように、撮像光学系１０１の瞳のうち互いに異なる領域Ｐ１、Ｐ２を通過した複数の光束を撮像素子１０２の互いに異なる受光部（画素）に導いて光電変換を行う。
【００４９】
図４は、撮像素子１０２の受光部と撮像光学系１０１の瞳との関係を示す図である。撮像素子１０２には、受光部であるＧ１画素とＧ２画素の対（画素対）が複数配列されている。複数のＧ１画素をまとめてＧ１画素群といい、複数のＧ２画素をまとめてＧ２画素群という。対のＧ１画素とＧ２画素は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して撮像光学系１０１の射出瞳ＥＸＰと共役な関係を有する。また、マイクロレンズＭＬと受光部との間には、カラーフィルタＣＦが設けられている。
【００５０】
図５は、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像部（撮像系）の模式図である。Ｇ１画素は射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。撮像している物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束は通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、マイクロレンズＭＬごとに設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。
【００５１】
図４および図５において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなった場合や、領域Ｐ１と領域Ｐ２とが部分的にオーバーラップする場合でも、得られた複数の画像を視差画像として扱うことができる。
【００５２】
図６は、撮像装置の他の例を示す図である。図６に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１、２）を設けることで視差画像を取得することができる。また、複数のカメラを用いて同一被写体を撮像する場合も視差画像が得られる。
【００５３】
また本実施例において、撮影条件としてＩＳＯ感度やノイズ量を取得してもよい。または、入力画像を取得した際の互いに異なる複数の光源位置からの光の発光（光量）ばらつきを撮影条件として取得してもよい。
【００５４】
続いて、図３のステップＳ１０３において、法線情報取得部１０４ｃは、法線情報を取得する。本実施例において、具体的には、法線情報取得部１０４ｃは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像を用いて、被写体の法線情報および反射率を取得する。法線情報および反射率は、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて算出される。なお本実施例において、法線情報取得部１０４ｃは、複数の入力画像に基づいて法線情報および反射率を算出するが、他のユニットが算出した法線情報や反射率を取得してもよく、入力画像を取得しなくてもよい。
【００５５】
ここで、取得した法線情報には、前述のように種々の要因により誤差が生じている。例えば、被写体までの距離が遠くなるほど、撮像装置１が備える撮像光学系１０１の光軸（あるいは視線）と光源から被写体への光がなす角度（照射角度）が小さくなる。複数の光源位置での輝度変化から被写体の法線を決定する照度差ステレオ法では、照射角度が小さくなると輝度変化が低下し、撮像装置１内でのノイズの影響が強くなる。その結果、算出される法線にばらつきが生じる。さらに、照度差ステレオ法で面法線を算出した場合、仮定した反射特性とは異なる反射特性の被写体については法線誤差が生じる。そのため、誤差が生じた面法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差が生じる。例えば、ランバート拡散反射モデルを仮定した照度差ステレオ法で金属や透明体等の拡散反射が少ない被写体の面法線を算出すると、特に大きな法線誤差が生じる。このため、取得した面法線を用いてレンダリング画像を生成すると、レンダリング画像に破綻が生じる。
【００５６】
また、レンダリング時の仮想光源角度が大きくなると、仮想光源下での見えの変化は大きくなるが、法線誤差がレンダリング画像に与える影響が大きくなる。式（１）で示されるように、レンダリング画像は法線ベクトルと仮想光源ベクトルの内積、つまり法線ベクトルと仮想光源ベクトルのなす角の余弦にしたがって変化する。法線ベクトルに誤差が生じると、法線ベクトルと仮想光源ベクトルのなす角が９０°に近づくにつれ、レンダリング画像における誤差が大きくなる。また、照度差ステレオ法においては、互いに異なる複数の光源位置における輝度変化から法線情報を算出しているため、レンダリング時の仮想光源が撮影時の光源位置から離れるほどレンダリング画像における誤差が大きくなる。
【００５７】
続いてステップＳ１０４において、光源条件取得部１０４ｄは、ステップＳ１０２にて取得した撮影条件に基づいて、レンダリング画像を生成するための（レンダリング時の）光源条件の範囲（最大値）を決定する。ここで、光源条件は、仮想光源角度または仮想光源強度の一方または両方である。
【００５８】
仮想光源角度とは、視線ベクトルまたは光軸とレンダリング時の仮想光源ベクトルとのなす角度である。仮想光源強度は、仮想光源下での見えを再現したレンダリング画像の強度であり、式（１）で生成されるレンダリング画像を１として考えた場合の、生成するレンダリング画像の割合である。すなわち仮想光源強度は、レンダリング画像におけるベース画像の割合に基づいて決定される。例えば、仮想光源強度が０．５である場合には式（１）を用いて生成されるレンダリング画像を０．５倍したものが設定した仮想光源強度におけるレンダリング画像として生成される。また、入力画像等のベース画像に仮想光源下での見えを再現したレンダリング画像を加算あるいは加重平均してレンダリング画像を生成する場合、最終的なレンダリング画像のうち仮想光源下での見えを再現したレンダリング画像の割合を仮想光源強度としてもよい。したがって、仮想光源強度が大きいほど、仮想光源下での見えの変化は大きくなるが、法線誤差がレンダリング画像に与える影響が大きくなる。
【００５９】
光源の位置が固定されている場合、被写体が遠くなるほど、撮像光学系１０１の光軸（あるいは視線）と光源方向がなす角（照射角度）が小さくなる。複数の光源位置での輝度変化から被写体の法線を算出する照度差ステレオ法では、照射角度が小さくなると輝度変化が低下し、ノイズの影響が強くなる。ノイズの影響が強くなると、算出される法線にばらつきが生じる。ばらついた法線を用いてレンダリング画像を生成すると、ノイズが増幅されてしまう。したがって、被写体までの距離（被写体距離）が遠くノイズの影響が強くなる場合、光源条件の範囲（最大値）を小さくする。
【００６０】
例えば、光源条件が仮想光源角度である場合、被写体までの距離が遠いほど仮想光源角度の最大値を小さくする。これにより、仮想光源角度を大きくした際に、法線誤差がレンダリング画像に与える影響を低減することができる。または、光源条件が仮想光源強度である場合、距離が遠いほど仮想光源強度の最大値を小さくする。また、光源条件が仮想光源角度および仮想光源強度の両方である場合、被写体までの距離が遠いほど仮想光源角度および仮想光源強度のそれぞれの最大値を小さくする。被写体までの距離が遠いほど光源条件の範囲を制限することで、被写体までの距離が遠くなった際にノイズが法線やレンダリング画像に与える影響を低減することができる。また、撮影条件としてＩＳＯ感度やノイズ量を取得した場合、ノイズ量が多くなる条件ほど光源条件の範囲を小さくする。すなわち、ＩＳＯ感度が高いほど光源条件の範囲を小さくする。また、撮影条件として入力画像を取得した際の複数の光源の発光ばらつきを取得した場合、発光ばらつきが大きいほど光源条件の範囲を小さくする。
【００６１】
互いに位置の異なる複数の光源位置で被写体の撮像を行って得られた撮影画像を入力画像として取得する際に、複数の光源位置からの光量にばらつきが大きいほど法線誤差が生じるため、光源条件の範囲を小さくすればよい。前述の撮影条件が大きいほど光源条件の範囲を制限することで、ノイズや発光ばらつきが法線やレンダリング画像に与える影響を低減することができる。
【００６２】
ここで、光源条件の範囲を決定する際の仮想光源角度は、視線ベクトルもしくは光軸とレンダリング時の仮想光源ベクトルとのなす角、または、撮影時の光源ベクトルとレンダリング時の仮想光源ベクトルとのなす角である。または、仮想光源角度は、撮影時の複数の光源ベクトルとレンダリング時の仮想光源ベクトルとのなす角の最小値としてもよい。
【００６３】
図７は、本実施例における撮影条件と光源条件の最大値との関係を示す図である。図７において、横軸は撮影条件（距離、ＩＳＯ感度、ノイズ量、発光ばらつき）、縦軸は光源条件の最大値をそれぞれ示す。例えば、図７に示されるように、前述の距離情報等の撮影条件が大きくなるほど光源条件の最大値を小さくする。図７では撮影条件に対して光源条件の最大値が線形になるように決定しているが、本実施例はこれに限定されるものではない。撮影条件に対して光源条件の最大値が非線形あってもよい。また、撮影条件に対する光源条件の最大値の関係を関数として記憶しておいてもよく、または、撮影条件に対する光源条件の最大値を離散的にテーブルとして記憶しておいてもよい。また、レンダリング画像における領域毎に光源条件の範囲を決定してもよい。例えば、被写体までの距離が遠い領域ほど仮想光源強度の最大値を小さくする。
【００６４】
続いて、図３のステップＳ１０５において、光源条件取得部１０４ｄは、ステップＳ１０４にて決定された光源条件の範囲（最大値）に基づいて、光源条件を取得する。光源条件として仮想光源角度を取得する場合、ステップＳ１０４にて仮想光源角度の範囲（最大値）を決定し、その範囲に基づいて仮想光源角度を取得する。決定した仮想光源角度の範囲内で仮想光源角度を設定できるようにしてもよく、または、範囲外の仮想光源角度を設定した場合には警告を表示させるようにしてもよい。光源条件として仮想光源強度を取得する場合、ステップＳ１０４にて仮想光源強度の範囲（最大値）を決定し、その範囲に基づいて仮想光源強度を取得する。決定した仮想光源強度の範囲内で仮想光源強度を設定できるようにしてもよく、または、範囲外の仮想光源強度を設定した場合には警告を表示させるようにしてもよい。光源条件として仮想光源角度および仮想光源強度の両方を取得する場合、ステップＳ１０４にて仮想光源角度および仮想光源強度の範囲（最大値）を決定し、その範囲に基づいて仮想光源角度および仮想光源強度を取得する。決定した仮想光源角度および仮想光源強度の範囲内で仮想光源角度および仮想光源強度を設定できるようにしてもよく、または、範囲外の光源条件を設定した場合には警告を表示させるようにしてもよい。
【００６５】
光源条件は、ユーザが指定した仮想光源角度や仮想光源強度としてもよく、または、設定できる最大の光源条件にするなどして自動で決められた光源条件であってもよい。あるいは、ユーザが指定した仮想光源角度を取得した際には、仮想光源強度は設定できる最大値にするなどして自動で決められた仮想光源強度にするようにしてもよい。ユーザが指定した仮想光源強度を取得した際には、仮想光源角度は設定できる最大値にするなどして自動で決められた仮想光源角度にするようにしてもよい。ユーザによって選択された光源条件は、情報入力部１０８からシステムコントローラ１１０に供給され、光源条件取得部１０４ｄがシステムコントローラ１１０からの情報に基づいて光源条件を取得する。
【００６６】
続いてステップＳ１０６において、レンダリング部１０４ｅは、ステップＳ１０５にて取得した光源条件に基づいて、レンダリング画像を生成する。レンダリング画像は、光源条件に基づいて生成した仮想光源下での見えを再現したレンダリング画像のみでもよく、または、入力画像等のベース画像に対して加算や加重平均したものでもよい。いずれの場合でも、ステップＳ１０５にて取得した光源条件となるレンダリング画像を生成する。ベース画像としては、前述のように光源位置を変化させて取得した入力画像（少なくとも３つの異なる光源位置で撮影された複数の撮影画像である入力画像に基づく画像）を用いることができる。または、ベース画像として、光源を照射せずに撮影して得られた環境光画像など、光源環境が異なる画像を用いてもよい。また、レンダリング画像の生成においては、ステップＳ１０３の法線情報算出において仮定した反射特性でなくてもよく、または、その他の拡散反射特性やそれに加えて鏡面反射特性でのレンダリング画像を生成してもよい。また、入力画像やベース画像を反射率とみなしてレンダリング画像を生成してもよい。
【００６７】
このように本実施例において、処理装置（画像処理部１０４）は、法線情報取得部１０４ｃ、光源条件取得部１０４ｄ、および、レンダリング部１０４ｅを有する。法線情報取得部は、被写体の法線情報を取得する。光源条件取得部は、撮影条件に基づいて、レンダリング時の仮想光源角度の最大値を決定し、最大値以下の仮想光源角度を取得する。レンダリング部は、最大値以下の仮想光源角度に基づいて、レンダリング画像を生成する。好ましくは、処理装置は、少なくとも３つの異なる光源位置で撮影された複数の撮影画像を入力画像として取得する入力画像取得部１０４ａを有する。法線情報取得部は、入力画像を用いて被写体の法線情報を取得する。また好ましくは、光源条件取得部が仮想光源角度の最大値よりも大きい仮想光源角度の値を取得した場合に警告を表示する。
【００６８】
なお本実施例では、撮像装置１を用いて被写体の面法線を算出してレンダリング画像を生成しているが、これに限定されるものではない。例えば図２Ｂに示されるように、撮像装置１とは異なる処理システム２を用いて処理を行ってもよい。図２Ｂは、処理システム２のブロック図である。処理システム２は、処理装置５００、撮像部５０１、および光源部５０２を有する。処理装置５００は、入力画像取得部５００ａ、撮影条件取得部５００ｂ、法線情報取得部５００ｃ、光源条件取得部５００ｄ、および、レンダリング部５００ｅを有する。
【００６９】
処理システム２を用いてレンダリング画像を生成する場合、まず、入力画像取得部５００ａが互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像を取得する。次に、撮影条件取得部５００ｂは撮影時の撮影条件を取得し、法線情報取得部５００ｃは複数の入力画像に基づいて被写体の法線情報および反射率を算出する。そして光源条件取得部５００ｄは、撮影条件に基づいてレンダリング画像を生成するための光源条件の範囲（最大値）を決定し、光源条件の範囲に基づいて光源条件を取得する。そしてレンダリング部５００ｅは、取得した光源条件に基づいてレンダリング画像を生成する。なお、撮像部５０１および光源部５０２はそれぞれ、個別の装置であってもよいし、光源部５０２が撮像部５０１に内蔵されていてもよい。
【００７０】
本実施例によれば、撮影条件に基づいて光源条件の範囲（最大値）を決定することで、高品位なレンダリング画像を生成することができる。
【実施例２】
【００７１】
次に、本発明の実施例２について説明する。本実施例の撮像装置１ａは、実施例１の撮像装置１と同様に、被写体の法線を取得し、高品位なレンダリング画像を生成する。また本実施例の撮像装置１ａは、法線信頼度に基づいて光源条件の範囲（最大値）を決定し、決定した範囲に基づいて光源条件を取得する。
【００７２】
図８は、本実施例における撮像装置１ａのブロック図である。図９は、本実施例におけるレンダリング処理（処理方法）を示すフローチャートである。本実施例のレンダリング処理は、実施例１と同様に、システムコントローラ１１０および撮像制御部１０７により、コンピュータプログラムとしての画像処理プログラムに従って実行される。
【００７３】
画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の法線情報を取得し、レンダリング画像を生成する。図８に示されるように、画像処理部１０４は、入力画像取得部１０４ａ、法線情報取得部１０４ｃ、光源条件取得部１０４ｄ、レンダリング部１０４ｅ、および、法線信頼度取得部１０４ｆを有する。なお、図９のステップＳ２０１、Ｓ２０２、およびＳ２０６は、実施例１のステップＳ１０１、Ｓ１０３、およびＳ１０６とそれぞれ同様であるため、それらの詳細な説明は省略する。
【００７４】
ステップＳ２０３において、法線信頼度取得部１０４ｆは、ステップＳ２０２にて取得した法線情報および反射率とステップＳ２０１にて取得した入力画像が撮影された際の光源条件に基づいて、再現レンダリング画像を生成する。すなわち法線信頼度取得部１０４ｆは、取得した法線情報および反射率を用いて、入力画像を再現したレンダリング画像を生成する。再現レンダリング画像の生成は、ステップＳ２０２にて法線情報を算出する際に仮定した反射特性を用いてレンダリング処理により行う。ランバート拡散を仮定して法線情報を算出した場合、式（１）に従って、複数の再現レンダリング画像を生成する。また、再現レンダリング画像は、複数の入力画像のうち一部の入力画像に対応したレンダリング画像としてもよく、または、複数の入力画像の全てに対応する複数のレンダリング画像としてもよい。
【００７５】
また法線信頼度取得部１０４ｆは、ステップＳ２０１にて取得した入力画像とステップＳ２０３にて取得した再現レンダリング画像とに基づいて、法線情報の信頼度である法線信頼度を取得する。前述のように、照度差ステレオ法で面法線を算出した場合、仮定した反射特性とは異なる反射特性の被写体については法線誤差が生じる。このため、誤差が生じた面法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差が生じる。
【００７６】
そこで法線信頼度取得部１０４ｆは、ステップＳ２０１にて取得した入力画像とステップＳ２０３にて取得した再現レンダリング画像との差分に基づいて、法線信頼度を取得する。差分が大きいほど法線信頼度が低いことを意味する。法線信頼度は、入力画像とステップＳ２０３にて取得した再現レンダリング画像との差分としてもよい。または、法線信頼度は、差分を反射率で除した正規化差分を法線信頼度としてもよく、または、差分を入力画像や複数の入力画像の平均値または中央値等の入力画像に基づく画像で除した正規化差分を法線信頼度として用いてもよい。差分を反射率や入力画像で除することで、算出した差分から明るさの影響を除外することができる。
【００７７】
または、複数の入力画像と複数の再現レンダリング画像との複数の差分における最大値である最大差分または平均値である平均差分を法線信頼度としてもよい。また、最大差分や平均差分を反射率で除した正規化最大差分または正規化平均差分を法線信頼度としてもよい。あるいは、最大差分や平均差分を入力画像や複数の入力画像の平均値または中央値等の入力画像に基づいた画像で除した正規化最大差分や正規化平均差分を法線信頼度としてもよい。
【００７８】
また、法線情報を用いたレンダリング処理では、光が遮られて発生する影を再現することができない。したがって、入力画像と再現レンダリング画像との差分をとった際に入力画像における影領域で差分が大きくなり、法線情報が正確であってもエラー領域と検出されてしまう。そこで、法線情報に加えて形状情報を用いて影まで再現した再現レンダリング画像を生成することが好ましい。形状情報がない場合、入力画像における影領域を検出し、検出した影領域においては差分をとらないようにするとよい。入力画像における影領域は、輝度値がしきい値以下である領域とすればよい。あるいは、入力画像と再現レンダリング画像との差分と符号に基づいて法線信頼度を取得するとよい。例えば、入力画像における影領域では、入力画像から再現レンダリング画像を引いた値が負となるため、負の差分領域は差分が大きく（信頼度が低く）ならないようにする。
【００７９】
また、入力画像とステップＳ２０３にて取得した再現レンダリング画像との差分に基づいた法線信頼度をしきい値処理したものを法線信頼度としてもよい。具体的には、入力画像と再現レンダリング画像との差分に対して、しきい値以上の差分である領域は信頼度なし領域とし、しきい値より小さい差分である領域は信頼度あり領域とする。なお本実施例では、入力画像と再現レンダリング画像との差分に基づいて法線信頼度を取得する。ただし本実施例は、これに限定されるものではなく、複数の入力画像における輝度値をフィッティングすることで法線情報を取得し、得られたフィッティング誤差やその誤差をしきい値処理したものを法線信頼度として取得してもよい。
【００８０】
続いてステップＳ２０４において、光源条件取得部１０４ｄは、ステップＳ２０３にて取得した法線信頼度に基づいて、光源条件の範囲（最大値）を決定する。法線信頼度が低い場合、光源条件の範囲を小さくする。具体的には、法線信頼度である入力画像と再現レンダリング画像との差分の平均値や中央値、最大値が大きく、信頼度が低いほど光源条件の範囲を小さくする。または、法線信頼度がない領域の画素数が多いほど光源条件の範囲を小さくする。例えば、光源条件が仮想光源角度である場合、法線信頼度が低いほど仮想光源角度の最大値を小さくする。または、光源条件が仮想光源強度である場合、法線信頼度が低いほど仮想光源強度の最大値を小さくする。法線信頼度が低いほど光源条件の範囲を制限することで、法線誤差がレンダリング画像に与える影響を低減することができる。
【００８１】
図１０は、本実施例における法線信頼度と光源条件の最大値との関係を示す図である。図１０において、横軸は法線信頼度、縦軸は光源条件の最大値をそれぞれ示す。例えば、図１０に示されるように、法線信頼度が低くなるほど光源条件の最大値を小さくする。図１０では法線信頼度に対して光源条件の最大値が線形になるように決定しているが、本実施例はこれに限定されるものではない。法線信頼度に対して光源条件の最大値が非線形あってもよい。また、法線信頼度に対する光源条件の最大値の関係を関数として記憶しておいてもよく、または、法線信頼度に対する光源条件の最大値を離散的にテーブルとして記憶しておいてもよい。
【００８２】
続いてステップＳ２０５において、光源条件取得部１０４ｄは、ステップＳ２０４にて決定された光源条件の範囲（最大値）に基づいて、光源条件を取得する。光源条件として仮想光源角度を取得する場合、ステップＳ２０４にて仮想光源角度の範囲（最大値）を決定し、その範囲に基づいて仮想光源角度を取得する。決定した仮想光源角度の範囲内で仮想光源角度を設定できるようにしてもよく、または、範囲外の仮想光源角度を設定した場合には警告を表示させるようにしてもよい。光源条件として仮想光源強度を取得する場合、ステップＳ２０４にて仮想光源強度の範囲（最大値）を決定し、その範囲に基づいて仮想光源強度を取得する。決定した仮想光源強度の範囲内で仮想光源強度を設定できるようにしてもよく、または、範囲外の仮想光源強度を設定した場合には警告を表示させるようにしてもよい。光源条件として仮想光源角度および仮想光源強度の両方を取得する場合、ステップＳ２０４にて仮想光源角度および仮想光源強度の範囲を決定し、その範囲に基づいて仮想光源角度および仮想光源強度を取得する。決定した光源条件の範囲内で光源条件を設定できるようにしてもよく、または、範囲外の光源条件を設定した場合には警告を表示させるようにしてもよい。
【００８３】
光源条件は、ユーザが指定した仮想光源角度や仮想光源強度としてもよく、または、設定できる最大の光源条件にするなどして自動で決められた光源条件であってもよい。または、ユーザが指定した仮想光源角度を取得した際には、仮想光源強度は設定できる最大値にするなどして自動で決められた仮想光源強度にするようにしてもよい。ユーザが指定した仮想光源強度を取得した際には、仮想光源角度は設定できる最大値にするなどして自動で決められた仮想光源角度にするようにしてもよい。ユーザによって選択された光源条件は、情報入力部１０８からシステムコントローラ１１０に供給され、光源条件取得部１０４ｄがシステムコントローラ１１０からの情報に基づいて光源条件を取得する。
【００８４】
なお本実施例では、法線信頼度に基づいて光源条件の範囲（最大値）を決定し、決定した範囲に基づいて光源条件を取得したが、実施例１で説明したような撮影条件にも基づいて光源条件の範囲を決定してもよい。法線信頼度および撮影条件に基づいて光源条件を決定する場合、撮影条件が大きく、法線信頼度が低いほど光源条件の範囲を小さくすればよい。または、撮影条件に基づいて決定された光源条件の範囲と、法線信頼度に基づいて決定された光源条件の範囲とで、より小さい範囲を採用するあるいは平均の範囲を採用する等してもよい。
【００８５】
このように本実施例において、法線信頼度取得部１０４ｆは、法線情報の信頼度である法線信頼度を取得する。光源条件取得部１０４ｄは、法線信頼度に基づいて仮想光源角度の最大値を決定する。好ましくは、光源条件取得部は、法線信頼度がないと判定される領域に基づいて、仮想光源角度の最大値を決定する。より好ましくは、光源条件取得部は、法線信頼度がないと判定される領域が多いほど仮想光源角度の最大値を小さくする。また好ましくは、光源条件取得部は、法線信頼度が小さいほど仮想光源角度の最大値を小さくする。また好ましくは、法線信頼度取得部は、少なくとも３つの異なる光源位置で撮影された複数の撮影画像である入力画像と、入力画像の少なくとも一つと同じ光源条件下での見えを再現した再現レンダリング画像とに基づいて、法線信頼度を取得する。
【００８６】
本実施例によれば、撮影条件や法線信頼度に基づいて光源条件の範囲を決定することで、高品位なレンダリング画像を生成することができる。
【実施例３】
【００８７】
次に、図１１を参照して、本発明の実施例３について説明する。実施例１および実施例２では、光源を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニットとから構成される処理システムについて説明する。図１１は、処理システム３の外観図である。処理システム３は、被写体３０３を撮像する撮像装置３０１、および、複数の光源ユニット３０２を備えて構成される。本実施例の撮像装置３０１は、実施例１の撮像装置１と同様の構成であるが、光源部として照度差ステレオ法用の複数の光源を内蔵する必要はない。
【００８８】
光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御できることが好ましい。また、照度差ステレオ法では少なくとも３つの光源を順次照射して撮像された画像が必要であるが、光源が移動可能に構成された光源ユニットを使用する場合、少なくとも一つの光源ユニットを備えていればよい。ただし、光源を移動させて、少なくとも互いに異なる３つの光源位置で撮像を行う必要がある。なお、光源ユニット３０２が自動で光源位置を変更できない場合や光源ユニット３０２が撮像装置３０１により制御できない場合、撮像装置３０１の表示部に表示される光源位置に位置するようにユーザに光源ユニット３０２を調整させてもよい。なお、本実施例の法線算出処理は、実施例１または実施例２の処理と同様であるため、詳細な説明は省略する。
【００８９】
本実施例によれば、撮影条件に基づいて光源条件の範囲を決定することで、高品位なレンダリング画像を生成することができる。
【００９０】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９１】
各実施例によれば、高品位なレンダリング画像を生成可能な処理装置、処理システム、撮像装置、処理方法、および、プログラムを提供することができる。
【００９２】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９３】
１０４  画像処理部（処理装置）
１０４ｃ  法線情報取得部
１０４ｄ  光源条件取得部
１０４ｅ  レンダリング部
【図１】
2020173591.tif 000010
【図２Ａ】
2020173591.tif 000011
【図２Ｂ】
2020173591.tif 000012
【図３】
2020173591.tif 000013
【図４】
2020173591.tif 000014
【図５】
2020173591.tif 000015
【図６】
2020173591.tif 000016
【図７】
2020173591.tif 000017
【図８】
2020173591.tif 000018
【図９】
2020173591.tif 000019
【図１０】
2020173591.tif 000020
【図１１】
2020173591.tif 000021
【図１２】
2020173591.tif 000022