(57)【要約】  本技術は、光学レンズのぼけ味を、正確に再現することができるようにする画像処理装置及び画像処理方法に関する。光線再現部は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現する。集光処理部は、光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、実空間点から発せられる主光線がエミュレーションレンズを介して到達する仮想センサ上の位置である像面シフト位置によって行い、光線を、仮想センサ上に集光する集光処理を行う。本技術は、例えば、複数の視点の画像から、様々な光学レンズを用いて撮影を行った画像を再構成するライトフィールド技術に適用することができる。
2016175044.tif 000002
【特許請求の範囲】
【請求項１】
実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現する光線再現部と、
前記光線再現部で再現された前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、
前記光線を、前記仮想センサ上に集光する
集光処理を行う集光処理部と
を備える画像処理装置。
【請求項２】
前記集光処理部は、前記光線が前記エミュレーションレンズを介して前記仮想センサに結像する際の結像値を、前記仮想センサ上に加算する前記集光処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記集光処理部は、前記像面シフト位置によって、前記結像値を加算する前記仮想センサ上の位置の位置合わせを行う前記集光処理を行う
請求項２に記載の画像処理装置。
【請求項４】
前記集光処理部は、前記光線と、前記エミュレーションレンズの、点光源に対する応答を表すPSF(Point Spread Function)強度分布とを用いて、前記結像値を求める
請求項３に記載の画像処理装置。
【請求項５】
前記集光処理部は、前記光線が到達する前記PSF強度分布の位置を特定し、前記光線が到達する前記PSF強度分布の位置における前記PSF強度分布と、前記光線の輝度との積を、前記光線の結像値として求める
請求項４に記載の画像処理装置。
【請求項６】
前記集光処理部は、前記PSF強度分布と、前記光線の輝度との積で求められる前記光線の結像値の分布のスケールを、前記仮想センサのスケールに一致させて、前記結像値を、前記仮想センサ上に加算する
請求項５に記載の画像処理装置。
【請求項７】
前記光線再現部は、前記複数の視点の画像を用いて、前記仮想レンズに入射する光線に輝度を割り当てる
請求項２に記載の画像処理装置。
【請求項８】
前記光線再現部は、前記光線が前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てる
請求項２に記載の画像処理装置。
【請求項９】
前記集光処理部は、前記エミュレーションレンズを通過する光線を規定するレンズ情報を用いて、前記集光処理を行う
請求項２に記載の画像処理装置。
【請求項１０】
前記集光処理部は、前記像面シフト位置を表す像面シフト情報を、前記レンズ情報として用いて、前記位置合わせを行う
請求項９に記載の画像処理装置。
【請求項１１】
前記集光処理部は、前記エミュレーションレンズの、点光源に対する応答を表すPSF(Point Spread Function)強度分布を、前記レンズ情報として用いて、前記結像値を求める
請求項９に記載の画像処理装置。
【請求項１２】
前記集光処理部は、前記光線が到達する前記PSF強度分布の位置を表すPSF角度成分情報を、前記レンズ情報として用いて、前記PSF角度成分情報が表す前記PSF強度分布の位置における前記PSF強度分布と、前記光線の輝度との積を、前記結像値として求める
請求項１１に記載の画像処理装置。
【請求項１３】
前記集光処理部は、前記PSF強度分布のスケールを表す像面ピッチを、前記レンズ情報として用いて、前記像面ピッチと、前記仮想センサの画素のスケールを表す画素ピッチとに基づいて、前記PSF強度分布と前記光線の輝度との積で求められる前記光線の結像値の分布のスケールを、前記仮想センサのスケールに一致させて、前記結像値を、前記仮想センサ上に加算する
請求項１２に記載の画像処理装置。
【請求項１４】
前記集光処理部は、前記仮想センサの平面の一部の複数位置である複数の情報点に対応する実空間点に対して生成された、前記エミュレーションレンズを通過する光線を規定するレンズ情報を用いて、前記集光処理を行う
請求項１に記載の画像処理装置。
【請求項１５】
前記集光処理部は、前記仮想センサの中心から延びる所定の１軸であるレンズ情報生成軸上の前記複数の情報点に対応する実空間点に対する前記レンズ情報を用いて、前記集光処理を行う
請求項１４に記載の画像処理装置。
【請求項１６】
前記集光処理部は、前記実空間点に対応する前記仮想センサの画素が、前記レンズ情報生成軸上に位置するように、前記仮想センサの画素、又は、前記レンズ情報生成軸を、前記仮想センサの中心を中心として回転するときの回転角度だけ、前記実空間点から発せられる光線、又は、前記レンズ情報生成軸のレンズ情報を回転し、前記集光処理を行う
請求項１５に記載の画像処理装置。
【請求項１７】
前記集光処理部は、前記仮想センサの画素、又は、前記レンズ情報生成軸を、前記回転角度だけ回転したときの、前記仮想センサの画素に対応する前記情報点に対応する実空間点に対する前記レンズ情報を用いて、前記集光処理を行う
請求項１６に記載の画像処理装置。
【請求項１８】
前記レンズ情報は、前記像面シフト位置を表す像面シフト情報を含み、
前記集光処理部は、前記像面シフト位置を、前記回転角度だけ逆回転した位置によって、前記位置合わせを行う
請求項１７に記載の画像処理装置。
【請求項１９】
前記集光処理部は、前記レンズ情報に含まれる前記像面シフト情報を用いた補間によって得られる前記像面シフト位置を用いて、前記集光処理を行う
請求項１８に記載の画像処理装置。
【請求項２０】
実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現することと、
前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、
前記光線を、前記仮想センサ上に集光する
集光処理を行うことと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置及び画像処理方法に関し、特に、例えば、光学レンズのぼけ味を、正確に再現することができるようにする画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
複数の視点の画像から、例えば、リフォーカスを行った画像、すなわち、光学系のフォーカス位置を変更して撮影を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2013-238927号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ライトフィールド技術については、実際の光学レンズを用いて撮影を行った場合の画像に生じるぼけ味を正確に再現することが要請されている。【０００５】
本技術は、このような状況に鑑みてなされたものであり、光学レンズのぼけ味を、正確に再現することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の画像処理装置は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現する光線再現部と、前記光線再現部で再現された前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、前記光線を、前記仮想センサ上に集光する集光処理を行う集光処理部とを備える画像処理装置である。【０００７】
本技術の画像処理方法は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現することと、前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、前記光線を、前記仮想センサ上に集光する集光処理を行うこととを含む画像処理方法である。【０００８】
本技術の画像処理装置及び画像処理方法は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線が再現される。そして、前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、前記光線を、前記仮想センサ上に集光する集光処理が行われる。【０００９】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１０】
また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができ、そのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１１】
本技術によれば、例えば、光学レンズのぼけ味を、正確に再現することができる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】撮影装置１１の構成例を示す平面図である。
【図３】画像処理装置１２の構成例を示すブロック図である。
【図４】画像処理システムの処理の例を説明するフローチャートである。
【図５】視差情報生成部３１の構成例を示すブロック図である。
【図６】基準視差マップ生成部４１での基準視差マップの生成の例を説明する図である。
【図７】周辺画像PL#iの視差マップの生成の例を説明する図である。
【図８】周辺画像PL#iの視差マップの未登録エリアへの、視差の補間を説明する図である。
【図９】多層視差マップの生成の例を説明する図である。
【図１０】視差情報生成部３１での基準視差マップ及び多層視差マップそれぞれの生成の処理の例を説明するフローチャートである。
【図１１】実際の光学レンズを用いて、所定の被写体を撮影した実写画像の例を示す図である。
【図１２】画像処理装置１２で得られるエミュレーション画像の例を示す図である。
【図１３】飽和画素復元処理を行わない場合に、鮮やかなぼけが再現されない原理を説明する図である。
【図１４】飽和画素復元処理を行うことで、鮮やかなぼけが再現される原理を説明する図である。
【図１５】標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する第１の取得方法を説明する図である。
【図１６】飽和画素復元部３３の第１の構成例を示すブロック図である。
【図１７】飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
【図１８】飽和画素復元部３３の第２の構成例を示すブロック図である。
【図１９】飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
【図２０】撮影装置１１の他の構成例を示す平面図である。
【図２１】飽和画素復元部３３の第３の構成例を示すブロック図である。
【図２２】視差マップの視差の補正の例を説明する図である。
【図２３】飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
【図２４】注目視点のHDR撮影画像の注目画素の画素値を取得する処理の例を説明するフローチャートである。
【図２５】レンズエミュレーション部３５のレンズエミュレーション処理の概要を説明する図である。
【図２６】実際の光学レンズによる集光処理と、レンズエミュレーション処理の集光処理とを説明する図である。
【図２７】入射光線再現部３６の構成例を示すブロック図である。
【図２８】実空間点を説明する図である。
【図２９】多層視差マップを用いて、実空間点を求める求め方を説明する図である。
【図３０】光線生成部１０２で行われる光線の生成の例を説明する図である。
【図３１】衝突判定部１０３で行われる衝突判定と、輝度割り当て部１０４で行われる光線への輝度の割り当てとを説明する図である。
【図３２】入射光線再現部３６が行う入射光線再現処理で得られる最大数のデータを模式的に示す図である。
【図３３】入射光線再現部３６が行う入射光線再現処理の例を説明するフローチャートである。
【図３４】衝突判定の処理の例を説明するフローチャートである。
【図３５】光線輝度割り当ての処理の例を説明するフローチャートである。
【図３６】エミュレーションレンズ情報生成部３７で生成されるレンズ情報を説明する図である。
【図３７】レンズ情報を生成する対象となる実空間点とフォーカス位置とを説明する図である。
【図３８】光学レンズのPSF強度分布の例を示す図である。
【図３９】PSF強度分布を生成する方法の例を説明する図である。
【図４０】エミュレーションレンズ情報生成部３７で生成されるPSF強度分布を模式的に示す図である。
【図４１】エミュレーションレンズ情報生成部３７で生成される像面ピッチを模式的に示す図である。
【図４２】PSF角度成分情報を生成する方法の例を説明する図である。
【図４３】PSF角度成分情報を生成する方法の例を説明する図である。
【図４４】PSF角度成分情報の詳細を説明する図である。
【図４５】エミュレーションレンズ情報生成部３７で生成されるPSF角度成分情報を模式的に示す図である。
【図４６】像面シフト情報を説明する図である。
【図４７】PSF角度成分情報を生成する方法の例を説明する図である。
【図４８】エミュレーションレンズ情報生成部３７で生成される像面シフト情報を模式的に示す図である。
【図４９】レンズ情報を生成するエミュレーションレンズ情報生成部３７の構成例を示すブロック図である。
【図５０】エミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。
【図５１】集光処理部３８で行われる集光処理の概要を説明する図である。
【図５２】集光処理のうちの、結像値を求める処理の例を説明する図である。
【図５３】集光処理のうちの、結像値を求める処理の他の例を説明する図である。
【図５４】集光処理のうちの、結像値（の分布）を、仮想センサ上に加算する処理の例を説明する図である。
【図５５】集光処理部３８の構成例を示すブロック図である。
【図５６】集光処理部３８が行う集光処理の例を説明するフローチャートである。
【図５７】光線加算処理の例を説明するフローチャートである。
【図５８】レンズ情報の情報量の削減の概要を説明する図である。
【図５９】レンズ情報生成軸の具体例を示す図である。
【図６０】レンズ情報生成軸の情報点に対してだけレンズ情報を生成する場合の、エミュレーションレンズ情報生成部３７の構成例を示すブロック図である。
【図６１】エミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。
【図６２】レンズ情報生成軸の情報点（に対応する実空間点）に対して生成されたレンズ情報を用いて行われる集光処理の例を説明する図である。
【図６３】光線回転法による集光処理の例を示している。
【図６４】レンズ情報生成軸に対して生成されたレンズ情報を用いて集光処理を行う集光処理部３８の構成例を示すブロック図である。
【図６５】集光処理部３８が行う集光処理の例を説明するフローチャートである。
【図６６】光線加算処理の例を説明するフローチャートである。
【図６７】光線回転法による集光処理を行う場合に、回転前の光線が結像する仮想センサ上の結像位置である像面シフト位置を求める方法を説明する図である。
【図６８】像面シフト情報の、情報点の並びの方向の補間を説明する図である。
【図６９】像面シフト情報の、視差方向の補間を説明する図である。
【図７０】レンズエミュレーション部３５によるレンズエミュレーション処理の結果得られるエミュレーション画像の例を示す図である。
【図７１】レンズエミュレーション部３５によるレンズエミュレーション処理の結果得られるエミュレーション画像の他の例を示す図である。
【図７２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
＜本技術を適用した画像処理システムの一実施の形態＞
【００１５】
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【００１６】
図１において、画像処理システムは、撮影装置１１、画像処理装置１２、及び、表示装置１３を有する。
【００１７】
撮影装置１１は、被写体を、複数の視点から撮影し、その結果得られる複数の視点の撮影画像を、画像処理装置１２に供給する。
【００１８】
画像処理装置１２は、撮影装置１１からの複数の視点の撮影画像を用いた画像処理を行うことで、エミュレーション対象の光学レンズであるエミュレーションレンズを用いて被写体を撮影した場合と同様のエミュレーション画像を生成し、表示装置１３に供給する。
【００１９】
表示装置１３は、画像処理装置１２からのエミュレーション画像を表示する。
【００２０】
エミュレーション画像は、例えば、一眼レフカメラやミラーレスカメラに着脱可能な光学レンズを用いて被写体を撮影した画像に生じるぼけ味を忠実に再現した画像になっている。したがって、ユーザは、高価な光学レンズを購入しなくても、そのような高価な光学レンズのぼけ味を享受することができる。
【００２１】
なお、図１において、画像処理システムを構成する撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのすべてを、例えば、ディジタル（スチル／ビデオ）カメラや、スマートフォン等の携帯端末等のような、独立した装置に内蔵させることができる。
【００２２】
また、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それぞれを別個に、独立した装置に内蔵させることができる。
【００２３】
さらに、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのうちの任意の２つと、残りの１つとを、それぞれ別個に、独立した装置に内蔵させることができる。
【００２４】
例えば、撮影装置１１及び表示装置１３を、ユーザが所持する携帯端末に内蔵させ、画像処理装置１２を、クラウド上のサーバに内蔵させることができる。
【００２５】
また、画像処理装置１２の一部のブロックを、クラウド上のサーバに内蔵させ、画像処理装置１２の残りのブロックと、撮影装置１１及び表示装置１３とを、携帯端末に内蔵させることができる。
【００２６】
＜撮影装置１１の構成例＞
【００２７】
図２は、撮影装置１１の構成例を示す平面図である。
【００２８】
撮影装置１１は、複数のカメラユニット２１iを有し、その複数のカメラユニット２１iによって、複数の視点の撮影画像を撮影する。
【００２９】
図２では、撮影装置１１は、複数としての、例えば、７個のカメラユニット２１1，２１2，２１3，２１4，２１5，２１6、及び、２１7を有し、それらの７個のカメラユニット２１1ないし２１7は、２次元平面上に配置されている。
【００３０】
さらに、図２では、７個のカメラユニット２１1ないし２１7は、それらのうちの１つである、例えば、カメラユニット２１1を中心として、他の６個のカメラユニット２１2ないし２１7が、カメラユニット２１1の周辺に、正６角形を構成するように配置されている。
【００３１】
したがって、図２では、７個のカメラユニット２１1ないし２１7のうちの、任意の１つのカメラユニット２１i(i=1,2,...,7)と、そのカメラユニット２１iに最も近い他の１つのカメラユニット２１j(i=1,2,...,7)との（光軸どうしの）距離は、同一の距離Lになっている。
【００３２】
カメラユニット２１iと２１jとの距離Lとしては、例えば、20mm程度を採用することができる。この場合、撮影装置１１は、ICカード等のカードサイズ程度の大きさに構成することができる。
【００３３】
なお、撮影装置１１を構成するカメラユニット２１iの数は、７個に限定されるものではなく、２個以上６個以下の数や、８個以上の数を採用することができる。
【００３４】
また、撮影装置１１において、複数のカメラユニット２１iは、上述のような正６角形等の正多角形を構成するように配置する他、任意の位置に配置することができる。
【００３５】
ここで、以下、カメラユニット２１1ないし２１7のうちの、中心に配置されたカメラユニット２１1を、基準カメラユニット２１1ともいい、その基準カメラユニット２１1の周辺に配置されたカメラユニット２１2ないし２１7を、周辺カメラユニット２１2ないし２１7ともいう。
【００３６】
＜画像処理装置１２の構成例＞
【００３７】
図３は、図１の画像処理装置１２の構成例を示すブロック図である。
【００３８】
図３において、画像処理装置１２は、視差情報生成部３１、キャリブレーションデータ取得部３２、飽和画素復元部３３、レンズ設計データ取得部３４、及び、レンズエミュレーション部３５を有する。
【００３９】
画像処理装置１２には、撮影装置１１から、カメラユニット２１1ないし２１7で撮影された７視点の撮影画像が供給される。
【００４０】
ここで、撮影装置１１が画像処理装置１２に供給する７視点の撮影画像としては、標準輝度撮影画像PL1ないしPL7と、低輝度撮影画像PH1ないしPH7とがある。
【００４１】
標準輝度撮影画像PL#iは、カメラユニット２１iにおいて、例えば、撮影時に適切と推定される所定の露光時間（シャッタスピード）（以下、標準露光時間ともいう）で撮影された画像である。標準露光時間としては、例えば、自動露出機能によって設定された露光時間等を採用することができる。
【００４２】
低輝度撮影画像PH#iは、カメラユニット２１iにおいて、標準露光時間よりも短い露光時間（標準露光時間に対応するシャッタスピードよりも速いシャッタスピード）で撮影された画像である。
【００４３】
したがって、低輝度撮影画像PH#iでは、大まかには、標準輝度撮影画像PL#iに映る被写体が、暗く映っている。
【００４４】
画像処理装置１２において、標準輝度撮影画像PL#iは、視差情報生成部３１、及び、飽和画素復元部３３に供給され、低輝度撮影画像PH#iは、飽和画素復元部３３に供給される。
【００４５】
視差情報生成部３１は、撮影装置１１から供給される標準輝度撮影画像PL#iを用いて、視差情報を求め、レンズエミュレーション部３５を構成する、後述する入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８に供給する。
【００４６】
すなわち、視差情報生成部３１は、撮影装置１１から供給される標準輝度撮影画像PL#iそれぞれの、他の標準輝度撮影画像PL#jとの視差情報を求める処理を、複数の視点の標準輝度撮影画像PL#iの画像処理として行う。そして、視差情報生成部３１は、その視差情報が登録された視差マップを生成し、レンズエミュレーション部３５に供給する。
【００４７】
さらに、視差情報生成部３１は、標準輝度撮影画像PL#iのうちの、基準カメラユニット２１1で撮影された標準輝度撮影画像PL1に対しては、後述する多層視差マップを生成し、レンズエミュレーション部３５に供給する。
【００４８】
ここで、視差情報としては、視差(disparity)そのものの他、視差に対応する距離（奥行き）を採用することができる。本実施の形態では、視差情報として、視差及び距離のうちの、例えば、視差を採用することとする。
【００４９】
キャリブレーションデータ取得部３２は、カメラユニット２１1ないし２１7の光学レンズの歪み値とシェーディング係数とを、キャリブレーションデータとして取得する。
【００５０】
ここで、キャリブレーションデータは、例えば、図示せぬメモリに記憶されており、あるいは、インターネット上のサーバ等から提供されている。キャリブレーションデータ取得部３２は、メモリやインターネット上のサーバから、キャリブレーションデータを取得し、視差情報生成部３１、及び、入射光線再現部３６に供給する。
【００５１】
視差情報生成部３１、及び、入射光線再現部３６は、キャリブレーションデータ取得部３２から供給されるキャリブレーションデータを用いて、周辺カメラユニット２１2ないし２１7で撮影された撮影画像（標準輝度撮影画像PL2ないしPL7、又は、後述するHDR撮影画像HD2ないしHD7）を、基準カメラユニット２１1で撮影された撮影画像（標準輝度撮影画像PL1、又は、後述するHDR撮影画像HD1）に合致させるキャリブレーション処理を行う。
【００５２】
すなわち、視差情報生成部３１、及び、入射光線再現部３６は、周辺カメラユニット２１2ないし２１7それぞれに代えて、基準カメラユニット２１1を用いて撮影を行ったならば得られるであろう撮影画像に、周辺カメラユニット２１2ないし２１7で撮影された撮影画像を補正するキャリブレーション処理を、キャリブレーションデータを用いて行う。
【００５３】
そして、視差情報生成部３１、及び、入射光線再現部３６は、周辺カメラユニット２１2ないし２１7で撮影された撮影画像については、キャリブレーション処理後の撮影画像を用いて、処理を行う。
【００５４】
なお、以下では、説明を簡単にするため、キャリブレーション処理については、言及しない。
【００５５】
飽和画素復元部３３は、カメラユニット２１iから供給される標準輝度撮影画像PL#iの画素のうちの、画素値が飽和している飽和画素の画素値を、カメラユニット２１iから供給される低輝度撮影画像PH#iを用いて復元する。
【００５６】
飽和画素復元部３３は、飽和画素の画素値の復元によって、標準輝度撮影画像PL#iを、その標準輝度撮影画像PL#iよりも高ダイナミックレンジの（画素値に割り当てられるビット数が多い）撮影画像HD#iに変換し、入射光線再現部３６に供給する。
【００５７】
なお、飽和画素復元部３３において、標準輝度撮影画像PL#iよりも高ダイナミックレンジの撮影画像HD#iは、入射光線再現部３６の他、視差情報生成部３１にも供給することができる。
【００５８】
この場合、視差情報生成部３１では、標準輝度撮影画像PL#iに代えて、高ダイナミックレンジの撮影画像HD#iを用いて、視差情報を求める画像処理を行うことができる。高ダイナミックレンジの撮影画像HD#iを用いて、視差情報を求める場合には、視差情報を、より高精度に求めることができる。
【００５９】
ここで、以下、飽和画素の画素値の復元によって得られる高ダイナミックレンジの撮影画像HD#iを、HDR(High Dynamic Range)撮影画像HD#iともいう。
【００６０】
また、基準カメラユニット２１1で撮影された標準輝度撮影画像PL1及び低輝度撮影画像PH1、並びに、（それらの標準輝度撮影画像PL1及び低輝度撮影画像PH1から得られる）HDR撮影画像HD1を、以下、基準画像ともいう。
【００６１】
さらに、周辺カメラユニット２１iで撮影された標準輝度撮影画像PL#i及び低輝度撮影画像PH#i、並びに、（それらの標準輝度撮影画像PL#i及び低輝度撮影画像PH#iから得られる）HDR撮影画像HD#iを、以下、周辺画像ともいう。
【００６２】
レンズ設計データ取得部３４は、エミュレーション対象の光学レンズであるエミュレーションレンズのレンズ設計データを取得し、エミュレーションレンズ情報生成部３７に供給する。
【００６３】
ここで、レンズ設計データは、例えば、図示せぬメモリに記憶されており、あるいは、インターネット上のサーバ等から提供されている。レンズ設計データ取得部３４は、メモリやインターネット上のサーバから、レンズ設計データを取得し、エミュレーションレンズ情報生成部３７に供給する。
【００６４】
なお、エミュレーションレンズは、実在する光学レンズである必要はなく、実在しない光学レンズであっても良い。実在しない光学レンズは、理論的にあり得る光学レンズであっても良いし、理論的にあり得ない光学レンズであっても良い。
【００６５】
エミュレーションレンズとして、実在しない光学レンズを採用する場合には、そのエミュレーションレンズのレンズ設計データは、例えば、ユーザが図示せぬ操作部を操作することにより入力する。レンズ設計データ取得部３４は、ユーザが入力するレンズ設計データを取得する。
【００６６】
レンズエミュレーション部３５は、レンズエミュレーション処理を行い、そのレンズエミュレーション処理によって得られるエミュレーション画像を、表示装置１３（図１）に供給する。
【００６７】
レンズエミュレーション処理では、レンズエミュレーション部３５は、視差情報生成部３１から供給される視差マップ（必要に応じて、後述する多層視差マップを含む）、飽和画素復元部３３から供給される７視点の撮影画像HD1ないしHD7、及び、レンズ設計データ取得部３４から供給されるレンズ設計データを用い、被写体をエミュレーションレンズを用いて撮影したならば得られるであろう画像であるエミュレーション画像を生成する。
【００６８】
したがって、レンズエミュレーション部３５は、エミュレーションレンズを有する撮影装置（図示せず）のエミュレーションを行うエミュレータとして機能する。
【００６９】
レンズエミュレーション部３５は、入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８を有する。
【００７０】
入射光線再現部３６は、飽和画素復元部３３から供給される７視点の撮影画像HD1ないしHD7と、視差情報生成部３１から供給される視差マップとを用いて、実空間内の実空間点から、仮想的な光学レンズである仮想レンズに入射する光線（の情報）を再現する入射光線再現処理を、７視点の撮影画像HD1ないしHD7の画像処理として行う。
【００７１】
ここで、入射光線再現部３６で再現される光線が入射する仮想レンズは、入射光線再現部３６に供給される７視点の撮影画像HD1ないしHD7（PL1なしいPL7)を撮影する複数の撮影部としてのカメラユニット２１1ないし２１7を合成開口とする仮想なレンズである。
【００７２】
カメラユニット２１1ないし２１7が、例えば、図２に示したように、正６角形状に配置され、１のカメラユニット２１iと、そのカメラユニット２１iに最も近い他の１つのカメラユニット２１jとの距離がLになっている場合、仮想レンズの開口である合成開口は、周辺カメラユニット２１2ないし２１7の光軸を結ぶ、直径が2Lの略円形状になる。
【００７３】
入射光線再現部３６は、仮想レンズに入射する光線を再現し、集光処理部３８に供給する。
【００７４】
エミュレーションレンズ情報生成部３７は、視差情報生成部３１から供給される視差マップと、レンズ設計データ取得部３４から供給されるレンズ設計データとを用いて、エミュレーションレンズの特性、すなわち、エミュレーションレンズを通過する光線を規定するエミュレーションレンズ情報を生成し、集光処理部３８に供給する。
【００７５】
ここで、以下、エミュレーションレンズ情報を、単に、レンズ情報ともいう。
【００７６】
レンズ情報は、エミュレーションレンズと等価な価値を有するので、売買の対象とすることができる。レンズ情報は電子的なデータであり、複製が容易であるから、違法な複製を防止するため、レンズ情報の使用には、認証を義務づけることができる。
【００７７】
集光処理部３８は、視差情報生成部３１から供給される視差マップ、入射光線再現部３６から供給される光線、及び、エミュレーションレンズ情報生成部３７から供給されるレンズ情報を用いて、光線をエミュレーションレンズを介して、仮想的なイメージセンサである仮想センサ上に集光する（ディジタル）集光処理を行う。
【００７８】
そして、集光処理部３８は、集光処理の結果得られるエミュレーション画像を、表示装置１３（図１）に供給する。
【００７９】
なお、画像処理装置１２は、サーバとして構成することもできるし、クライアントとして構成することもできる。さらに、画像処理装置１２は、サーバクライアントシステムとして構成することもできる。画像処理装置１２を、サーバクライアントシステムとして構成する場合には、画像処理装置１２の任意の一部のブロックをサーバで構成し、残りのブロックをクライアントで構成することができる。
【００８０】
＜画像処理システムの処理＞
【００８１】
図４は、図１の画像処理システムの処理の例を説明するフローチャートである。
【００８２】
ステップＳ１において、撮影装置１１は、複数の視点としての７視点の撮影画像PL1ないしPL7及びPH1ないしPH7を撮影する。撮影画像PL#iは、画像処理装置１２（図３）の視差情報生成部３１、及び、飽和画素復元部３３に供給され、撮影画像PH#iは、飽和画素復元部３３に供給される。
【００８３】
そして、処理は、ステップＳ１からステップＳ２に進み、視差情報生成部３１は、撮影装置１１から供給される撮影画像PL#iを用いて、視差情報を求め、その視差情報が登録された視差マップ（多層視差マップを含む）を生成する視差情報生成処理を行う。
【００８４】
視差情報生成部３１は、視差情報生成処理により得られる視差マップを、レンズエミュレーション部３５を構成する入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８に供給し、処理は、ステップＳ２からステップＳ３に進む。
【００８５】
ステップＳ３では、飽和画素復元部３３は、カメラユニット２１iから供給される撮影画像PL#iの画素のうちの飽和画素の画素値を、カメラユニット２１iから供給される撮影画像PH#iを用いて復元する飽和画素復元処理を行う。
【００８６】
飽和画素復元部３３は、飽和画素復元処理によって得られる高ダイナミックレンジの撮影画像HD#iを、入射光線再現部３６に供給し、処理は、ステップＳ３からステップＳ４に進む。
【００８７】
ステップＳ４では、レンズ設計データ取得部３４が、エミュレーションレンズのレンズ設計データを取得し、エミュレーションレンズ情報生成部３７に供給する。
【００８８】
さらに、ステップＳ４では、エミュレーションレンズ情報生成部３７が、視差情報生成部３１から供給される視差マップと、レンズ設計データ取得部３４から供給されるレンズ設計データとを用いて、エミュレーションレンズのレンズ情報を生成するエミュレーションレンズ情報生成処理を行う。
【００８９】
エミュレーションレンズ情報生成部３７は、エミュレーションレンズ情報生成処理によって得られるレンズ情報を、集光処理部３８に供給し、処理は、ステップＳ４からステップＳ５に進む。
【００９０】
ステップＳ５では、入射光線再現部３６は、飽和画素復元部３３から供給される７視点の撮影画像HD1ないしHD7と、視差情報生成部３１から供給される視差マップとを用いて、実空間内の実空間点から、仮想レンズに入射する光線を再現する入射光線再現処理を行う。
【００９１】
入射光線再現部３６は、入射光線再現処理によって得られる光線（の情報）を、集光処理部３８に供給し、処理は、ステップＳ５からステップＳ６に進む。
【００９２】
ステップＳ６では、集光処理部３８は、視差情報生成部３１から供給される視差マップ、入射光線再現部３６から供給される光線、及び、エミュレーションレンズ情報生成部３７から供給されるレンズ情報を用いて、光線をエミュレーションレンズを介して、仮想センサ上に集光する集光処理を行う。
【００９３】
集光処理部３８は、集光処理の結果得られるエミュレーション画像を、表示装置１３に供給し、処理は、ステップＳ６からステップＳ７に進む。
【００９４】
ステップＳ７では、表示装置１３が、集光処理部３８からのエミュレーション画像を表示する。
【００９５】
＜視差マップの生成＞
【００９６】
図５は、図３の視差情報生成部３１の構成例を示すブロック図である。
【００９７】
図５において、視差情報生成部３１は、基準視差マップ生成部４１、及び、多層視差マップ生成部４２を有する。
【００９８】
基準視差マップ生成部４１には、撮影装置１１から撮影画像PL1ないしPL7が供給される。
【００９９】
基準視差マップ生成部４１は、撮影装置１１からの撮影画像PL1ないしPL7のうちの、１の画像である基準画像PL1の、他の撮影画像（周辺画像）PL2ないしPL7との視差を登録した視差マップである基準視差マップを生成し、多層視差マップ生成部４２に供給する。
【０１００】
多層視差マップ生成部４２は、例えば、基準視差マップ生成部４１からの基準視差マップを用いて、周辺画像PL2ないしPL7の視差マップを生成する。
【０１０１】
そして、多層視差マップ生成部４２は、基準画像PL1の基準視差マップ、及び、周辺画像PL2ないしPL7の視差マップを用いて、基準カメラユニット２１1の視点（位置）を基準とする視差が登録された多層視差マップを生成する。
【０１０２】
基準画像PL1の基準視差マップ、周辺画像PL2ないしPL7の視差マップ、及び、多層視差マップのうちの、必要な視差マップは、入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８（図３）に供給される。
【０１０３】
図６は、図５の基準視差マップ生成部４１での基準視差マップの生成の例を説明する図である。
【０１０４】
すなわち、図６は、撮影画像PL1ないしPL7の例を示している。
【０１０５】
図６では、撮影画像PL1ないしPL7には、所定の背景の手前側に、前景としての所定の物体objが映っている。撮影画像PL1ないしPL7それぞれについては、視点が異なるため、例えば、周辺画像PL2ないしPL7それぞれに映る物体objの位置は、基準画像PL1に映る物体objの位置から、視点が異なる分だけずれている。
【０１０６】
基準視差マップ生成部４１は、基準画像PL1の画素を、順次、注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の撮影画像PL2ないしPL7、すなわち、周辺画像PL2ないしPL7のそれぞれから検出する。
【０１０７】
基準画像PL1の注目画素に対応する、周辺画像PL2ないしPL7それぞれの対応画素を検出する方法としては、例えば、ブロックマッチング等の任意の方法を採用することができる。
【０１０８】
ここで、基準画像PL1の注目画素から、周辺画像PL#iの対応画素に向かうベクトル、すなわち、注目画素と対応画素との位置ずれを表すベクトルを、視差ベクトルv#i,1ということとする。
【０１０９】
基準視差マップ生成部４１は、周辺画像PL2ないしPL7のそれぞれについて視差ベクトルv2,1ないしv7,1を求める。そして、基準視差マップ生成部４１は、視差ベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利した視差ベクトルv#i,1の大きさを、注目画素（の位置）の視差として求める。
【０１１０】
ここで、撮影装置１１において、図２で説明したように、基準画像PL1を撮影する基準カメラユニット２１1と、周辺画像PL#2ないしPL#7を撮影する周辺カメラユニット２１2ないし２１7それぞれとの距離が、同一の距離Lになっている場合に、基準画像PL1の注目画素に映る部分が、周辺画像PL#2ないしPL#7にも映っているときには、視差ベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。
【０１１１】
すなわち、この場合、視差ベクトルv2,1ないしv7,1は、基準カメラユニット２１1に対する周辺画像PL#2ないしPL#7の位置（視点）に応じた向きの、大きさが等しいベクトルになる。
【０１１２】
但し、撮影画像PL1ないしPL7それぞれの視点は異なるため、周辺画像PL#2ないしPL#7の中には、オクルージョンが生じている画像、すなわち、基準画像PL1の注目画素に映る部分が、前景に隠れて映っていない画像があり得る。
【０１１３】
基準画像PL1の注目画素に映る部分が映っていない周辺画像（以下、オクルージョン画像ともいう）PL#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
【０１１４】
そのため、オクルージョン画像PL#iについては、基準画像PL1の注目画素に映る部分が映っている周辺画像PL#jの視差ベクトルv#j,1とは、大きさが異なる視差ベクトルv#i,1が求められる。
【０１１５】
周辺画像PL#2ないしPL#7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じてる画像よりも少ないと推定される。そこで、基準視差マップ生成部４１は、上述のように、視差ベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利した視差ベクトルv#i,1の大きさを、注目画素の視差として求める。
【０１１６】
図６では、視差ベクトルv2,1ないしv7,1の中で、３つの視差ベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、視差ベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しい視差ベクトルが存在しない。
【０１１７】
そのため、３つの視差ベクトルv2,1，v3,1，v7,1が大きさが、注目画素の視差として求められる。
【０１１８】
なお、基準画像PL1の注目画素の、任意の周辺画像PL#iとの視差の方向は、基準カメラユニット２１1と、周辺カメラユニット２１iとの位置関係から認識することができる。
【０１１９】
基準視差マップ生成部４１は、基準画像PL1の画素を、順次、注目画素に選択し、視差を求める。そして、基準視差マップ生成部４１は、基準画像PL1の各画素の位置（xy座標）に対して、その画素の視差を登録した視差マップを、基準視差マップとして生成する。したがって、視差マップは、画素の位置と、その画素の視差とを対応付けたマップ（テーブル）である。
【０１２０】
ここで、基準画像PL1の視差マップ（基準視差マップ）の他、周辺画像PL#iの視差マップも、同様に生成することができる。
【０１２１】
但し、周辺画像PL#iの視差マップの生成にあたって、視差ベクトルの多数決は、周辺画像PL#iと、他の撮影画像PL#jとの視点の関係（カメラユニット２１iと２１jとの位置関係）に基づき、視差ベクトルの大きさを調整して行われる。
【０１２２】
すなわち、例えば、周辺画像PL5の視差マップを生成する場合、例えば、周辺画像PL5と基準画像PL1との間で得られる視差ベクトルは、周辺画像PL5と周辺画像PL2との間で得られる視差ベクトルの２倍の大きさになる。
【０１２３】
これは、周辺画像PL5を撮影する周辺カメラユニット２１5と、基準画像PL1を撮影する基準カメラユニット２１1との光軸どうしの距離である基線長が、距離Lであるのに対して、周辺画像PL5を撮影する周辺カメラユニット２１5と、周辺画像PL2を撮影する周辺カメラユニット２１2との基線長は、距離2Lになっているためである。
【０１２４】
そこで、いま、例えば、周辺カメラユニット２１5と基準カメラユニット２１1との基線長である距離Lを、基準基線長ということとすると、視差ベクトルの多数決は、基線長が基準基線長Lに換算されるように、視差ベクトルの大きさを調整して行われる。
【０１２５】
すなわち、例えば、周辺画像PL5を撮影する周辺カメラユニット２１5と、基準画像PL1を撮影する基準カメラユニット２１1の基線長Lは、基準基線長Lに等しいので、周辺画像PL5と基準画像PL1との間で得られる視差ベクトルは、その大きさが1倍に調整される。
【０１２６】
また、例えば、周辺画像PL5を撮影する周辺カメラユニット２１5と、周辺画像PL2を撮影する周辺カメラユニット２１2の基線長2Lは、基準基線長Lの２倍に等しいので、周辺画像PL5と基準画像PL1との間で得られる視差ベクトルは、その大きさが1/2倍（基準基線長と、周辺カメラユニット２１5と周辺カメラユニット２１2との基線長との比の値倍）に調整される。
【０１２７】
周辺画像PL5と他の撮影画像PL#iとの間で得られる視差ベクトルについても、同様に、その大きさが、基準基線長Lとの比の値倍に調整される。
【０１２８】
そして、大きさの調整後の視差ベクトルを用いて、視差ベクトルの多数決が行われる。
【０１２９】
なお、基準視差マップ生成部４１において、基準画像PL1（の各画素）の視差は、例えば、撮影装置１１で撮影される撮影画像の画素の精度で求めることができる。また、基準画像PL1の視差は、例えば、撮影装置１１で撮影される撮影画像の画素より細かい精度（以下、画素以下精度ともいう）、すなわち、例えば、1/4画素等の精度で求めることができる。
【０１３０】
視差を画素以下精度で求める場合、視差を用いる処理では、その画素以下精度の視差を、そのまま用いることもできるし、画素以下精度の視差の小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
【０１３１】
本実施の形態では、視差を画素以下精度で求め、特に断らない限り、計算の容易化のために、画素以下精度の視差を整数化して用いることとする。
【０１３２】
図７は、周辺画像PL#iの視差マップの生成の例を説明する図である。
【０１３３】
周辺画像PL#iの視差マップは、基準画像PL1の視差マップ（基準視差マップ）と同様に生成することができる他、基準視差マップを利用して、いわば簡易的に生成することができる。
【０１３４】
多層視差マップ生成部４２（図５）は、周辺画像PL#iの視差マップを、基準視差マップを利用して生成することができる。
【０１３５】
図７では、基準視差マップを利用して、周辺画像PL2及びPL5それぞれの視差マップが生成されている。
【０１３６】
ここで、図７には、基準画像PL1、周辺画像PL2及びPL5と、その基準画像PL1、周辺画像PL2及びPL5それぞれの視差マップとが示されている。
【０１３７】
基準画像PL1の視差マップ（基準視差マップ）としては、各画素の視差を、濃淡で表現した視差マップの平面図と、横軸を画素の水平位置とするとともに、縦軸を視差とする視差マップとが示されている。
【０１３８】
周辺画像PL2及びPL5の視差マップについても、同様である。
【０１３９】
多層視差マップ生成部４２は、基準視差マップを利用して、周辺画像PL#iの視差マップを生成する場合、基準視差マップにおいて、基準画像を撮影するカメラユニット２１1と、周辺画像PL#iを撮影するカメラユニット２１iとの位置関係に応じた方向（以下、カメラ位置関係方向ともいう）に、各画素の位置に登録されている視差を、その視差だけ移動することで、周辺画像PL#iの視差マップを生成する。
【０１４０】
例えば、周辺画像PL2の視差マップを生成する場合には、周辺画像PL2を撮影するカメラユニット２１2から、基準画像を撮影するカメラユニット２１1を見た方向である左方向を、カメラ位置関係方向として、基準視差マップの各画素の位置に登録されている視差が、その視差だけ、カメラ位置関係方向である左方向に移動されることで、周辺画像PL2の視差マップが生成される。
【０１４１】
また、例えば、周辺画像PL5の視差マップを生成する場合には、周辺画像PL5を撮影するカメラユニット２１5から、基準画像を撮影するカメラユニット２１1を見た方向である右方向を、カメラ位置関係方向として、基準視差マップの各画素の位置に登録されている視差が、その視差だけ、カメラ位置関係方向である右方向に移動されることで、周辺画像PL5の視差マップが生成される。
【０１４２】
以上のように、基準視差マップを利用して、周辺画像PL#iの視差マップが生成された場合、その周辺画像PL#iの視差マップでは、周辺画像PL#iには映っているが、基準画像P1には映っていない部分の画素に対するエリアが、視差が登録されていない未登録エリア（図７において、斜線を付してある部分）になる。
【０１４３】
そこで、多層視差マップ生成部４２は、基準視差マップを利用して生成された周辺画像PL#iの視差マップの未登録エリアに、視差を補間することで、周辺画像PL#iの視差マップを完成させる。
【０１４４】
図８は、周辺画像PL#iの視差マップの未登録エリアへの、視差の補間を説明する図である。
【０１４５】
ここで、図８でも、図７と同様に、基準画像PL1、周辺画像PL2及びPL5と、その基準画像PL1、周辺画像PL2及びPL5それぞれの視差マップとが示されている。
【０１４６】
多層視差マップ生成部４２は、周辺画像PL#iの視差マップにおいて、未登録エリアの画素から、カメラ位置関係方向に延びる直線であるカメラ位置関係方向直線を、１方向と反対方向とのそれぞれに辿っていって、最初に到達する、視差が登録されている画素である視差登録画素を検出する。
【０１４７】
さらに、多層視差マップ生成部４２は、カメラ位置関係方向直線の１方向の視差登録画素の視差と、反対方向の視差登録画素の視差とのうちの、小さい方の視差（より遠い距離に対応する視差）を、未登録エリアの画素の補間に用いる補間視差に選択する。
【０１４８】
そして、多層視差マップ生成部４２は、未登録エリアの画素の視差を、補間視差で補間し（未登録エリアの画素の視差として、補間視差を登録し）、周辺画像PL#iの視差マップを完成させる。
【０１４９】
図８では、周辺画像PL2の視差マップについては、未登録エリア（図７）の右側の境界に隣接する画素（視差登録画素）に登録されている視差が、補間視差に選択され、未登録エリアの画素の視差が、補間視差に補間されている（補間視差が、未登録エリアの画素の視差として伝搬されている）。
【０１５０】
また、図８では、周辺画像PL5の視差マップについては、未登録エリア（図７）の左側の境界に隣接する画素（視差登録画素）に登録されている視差が、補間視差に選択され、未登録エリアの画素の視差が、補間視差に補間されている。
【０１５１】
図９は、多層視差マップの生成の例を説明する図である。
【０１５２】
ここで、図９でも、図７及び図８と同様に、基準画像PL1、周辺画像PL2及びPL5と、その基準画像PL1、周辺画像PL2及びPL5それぞれの視差マップとが示されている。
【０１５３】
多層視差マップ生成部４２は、基準画像PL1の基準視差マップ、及び、周辺画像PL2ないしPL7の視差マップ（の１以上）を用いて、多層視差マップを生成する。
【０１５４】
すなわち、多層視差マップ生成部４２は、周辺画像PL#iの各画素を、順次、注目画素に選択し、その注目画素に対応する、基準画像の対応画素を検出する。
【０１５５】
例えば、周辺画像PL#iの注目画素の位置から、周辺画像PL#iの視差マップの注目画素に登録されている視差だけ、カメラ位置関係方向（ここでは、カメラユニット２１1からカメラユニット２２iを見た方向）に移動した位置の基準画像PL1の画素が、周辺画像PL#iの注目画素に対応する、基準画像PL1の対応画素として検出される。
【０１５６】
そして、基準視差マップにおいて、基準画像PL1の対応画素に対して、周辺画像PL#iの注目画素の視差が登録される。
【０１５７】
多層視差マップの生成では、基準視差マップにおいて、基準画像PL1の対応画素に対して、視差が、既に登録されているが、周辺画像PL#iの注目画素の視差が、対応画素に対して既に登録されている視差と異なる場合には、その既に登録されている視差に追加する形で登録される。
【０１５８】
以上のように、基準視差マップに、周辺画像PL#iの視差マップに登録されている視差が、追加する形で、いわば反映され、その反映後の基準視差マップが、多層視差マップとなる。
【０１５９】
その結果、多層視差マップは、基準カメラユニット２１1の視点（以下、基準視点ともいう）から見える部分の視差の他、基準視点からでは、前景に隠れて見えない部分（オクルージョンが生じている部分）の少なくとも一部の視差が登録された視差マップとなる。
【０１６０】
多層視差マップでは、例えば、前景の領域の画素に、その前景までの距離に対応する視差と、基準視点からでは、その前景の影に隠れて見えない背景までの距離に対応する視差とのような、いわば多層の視差（複数の視差）が登録される。
【０１６１】
図１０は、図５の視差情報生成部３１での基準視差マップ及び多層視差マップそれぞれの生成の処理の例を説明するフローチャートである。
【０１６２】
基準視差マップを生成する基準視差マップ生成処理では、ステップＳ１１において、基準視差マップ生成部４１は、撮影装置１１からの周辺画像PL2ないしPL7のうちの、まだ、注目画像に選択していない画像の１つを、注目画像に選択し、処理は、ステップＳ１２に進む。
【０１６３】
ステップＳ１２では、基準視差マップ生成部４１は、撮影装置１１からの基準画像PL1の各画素について、注目画像との視差ベクトルv（図６）を検出し、処理は、ステップＳ１３に進む。
【０１６４】
ステップＳ１３では、基準視差マップ生成部４１は、周辺画像PL2ないしPL7のすべてを、注目画像に選択したかどうかを判定する。
【０１６５】
ステップＳ１３において、まだ、周辺画像PL2ないしPL7のすべてを、注目画像に選択していないと判定された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０１６６】
また、ステップＳ１３において、周辺画像PL2ないしPL7のすべてを、注目画像に選択したと判定された場合、処理は、ステップＳ１４に進む。
【０１６７】
ステップＳ１４では、基準視差マップ生成部４１は、図６で説明したように、基準画像の各画素について、周辺画像PL2ないしPL7のそれぞれに対して視差ベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利した視差ベクトルv#i,1の大きさを、視差に決定する。
【０１６８】
そして、基準視差マップ生成部４１は、基準画像の各画素に対して、視差を登録した基準視差マップを生成し、多層視差マップ生成部４２に供給して、基準視差マップ生成処理は、終了する。
【０１６９】
多層視差マップを生成する多層視差マップ生成処理では、ステップＳ２１において、多層視差マップ生成部４２は、図７で説明したように、基準視差マップ生成部４１からの基準視差マップを用いて、周辺画像PL2ないしPL7の視差マップを生成し、処理は、ステップＳ２２に進む。
【０１７０】
ステップＳ２２では、多層視差マップ生成部４２は、図８で説明したように、周辺画像PL#iの視差マップの未登録エリアに、視差を補間することで、周辺画像PL#iの視差マップを完成させ、処理は、ステップＳ２３に進む。
【０１７１】
ステップＳ２３では、多層視差マップ生成部４２は、図９で説明したように、基準視差マップに、周辺画像PL2ないしPL7の視差マップを反映することで、多層視差マップを生成し、多層視差マップ生成処理は、終了する。
【０１７２】
＜飽和画素の復元＞
【０１７３】
図１１は、実際の光学レンズを用いて、所定の被写体を撮影した実写画像の例を模式的に示す図である。
【０１７４】
図１１のＡは、フォーカスをパンフォーカスに設定した実写画像の例を示している。
【０１７５】
図１１のＡの実写画像では、奥側に位置する電球が、比較的、ぼけずに鮮明に映っている。
【０１７６】
図１１のＢは、フォーカスを（光学レンズの主点から）、比較的手前の位置である、例えば、1mの距離に設定した実写画像の例を示している。
【０１７７】
図１１のＢの実写画像では、1mの距離にある被写体（図１１では、缶）は、ぼけずに鮮明に映っているが、その他の距離にある被写体は、ぼけて映っている。また、図１１のＢの実写画像では、奥側に位置する電球が、ぼけてはいるが、輝度が高いために、比較的鮮やかに映っている。
【０１７８】
図１２は、図３の画像処理装置１２で得られるエミュレーション画像の例を示す図である。
【０１７９】
図１２のＡは、画像処理装置１２において、飽和画素復元処理を行わない場合に得られるエミュレーション画像の例を示している。
【０１８０】
図１２のＡのエミュレーション画像では、図１１のＢの場合と同様に、フォーカスが手前の位置に設定されており、そのため、奥側に位置する電球が、ぼけている。
【０１８１】
但し、図１２のＡのエミュレーション画像では、奥側に位置する電球が、ぼけてはいるが、図１１のＢの場合とは異なり、あまり、鮮やかではない。
【０１８２】
図１２のＢは、画像処理装置１２において、飽和画素復元処理を行う場合に得られるエミュレーション画像の例を示している。
【０１８３】
図１２のＢのエミュレーション画像では、図１１のＢの場合と同様に、フォーカスが手前の位置に設定されており、そのため、奥側に位置する電球が、ぼけている。
【０１８４】
さらに、図１２のＢのエミュレーション画像では、奥側に位置する電球が、図１１のＢの場合と同様に、鮮やかにぼけている。
【０１８５】
したがって、飽和画素復元処理によれば、後で行われるレンズエミュレーション処理において、実際の光学レンズのぼけ味を、正確に再現することができる。
【０１８６】
すなわち、飽和画素復元処理によれば、実際の光学レンズを用いて撮影された実写画像と同様の鮮やかなぼけを再現することができる。
【０１８７】
図１３は、飽和画素復元処理を行わない場合に、鮮やかなぼけが再現されない原理を説明する図である。
【０１８８】
図１３のＡは、被写体の光強度の例を示している。
【０１８９】
図１３のＡにおいて、横軸は、カメラユニット２１iを構成する図示せぬイメージセンサの水平方向の位置（水平座標）を表し、縦軸は、そのイメージセンサに照射される被写体からの光の光強度を表す。
【０１９０】
図１３のＡでは、非常に大きな光強度S0の光が、カメラユニット２１i（のイメージセンサ）に照射されている。
【０１９１】
図１３のＢは、カメラユニット２１iにおいて、光強度S0の光を受光したときに出力される撮影画像の輝度の例を示している。
【０１９２】
図１３のＢにおいて、横軸は、光強度S0の光を受光したカメラユニット２１iが出力する撮影画像の水平方向の画素の位置を表し、縦軸は、その撮影画像の画素の輝度を表す。
【０１９３】
光強度S0の光に対応する輝度は、カメラユニット２１iが画素値として出力することができる最大値である撮影限界輝度THLを超えており、そのため、撮影画像では、光強度S0の光を発する被写体の輝度が、撮影限界輝度THLにカット（クランプ）されている。
【０１９４】
ここで、撮影限界輝度THLに対応する光強度をS1(<S0)と表すこととする。
【０１９５】
図１３のＣは、光強度S0の光に対応する輝度が、光強度S1に対応する撮影限界輝度THLにカットされた撮影画像を用いた、レンズエミュレーション処理で生成されるエミュレーション画像の例を示している。
【０１９６】
図１３のＣにおいて、横軸は、エミュレーション画像の水平方向の画素の位置を表し、縦軸は、そのエミュレーション画像の画素の輝度を表す。
【０１９７】
エミュレーション画像の生成において、光強度S1に対応する撮影限界輝度THLを画素値として有する画素に映る被写体がぼかされる場合、その被写体が映る画素の周辺に、光強度S1が分散する形になって、被写体の輝度は、撮影限界輝度THLから、さらに低下する。
【０１９８】
以上のように、撮影限界輝度THLに対応する光強度S1よりも大きな光強度S0の光を発する被写体（例えば、電球等）は、撮影画像において、撮影限界輝度THLに対応する光強度S1の光を発する被写体として映る。
【０１９９】
そして、そのような撮影限界輝度THLに対応する光強度S1の光を発する被写体が映る撮影画像を用いたエミュレーション画像の生成において、被写体がぼかされると、元の光強度S0よりも小さい光強度S1が分散し、被写体に、鮮やかさが現れない。
【０２００】
図１４は、飽和画素復元処理を行うことで、鮮やかなぼけが再現される原理を説明する図である。
【０２０１】
図１４のＡは、カメラユニット２１iにおいて、光強度S0の光を受光したときに出力される撮影画像の輝度の例を示している。
【０２０２】
図１４のＡの撮影画像の輝度は、図１３のＢと同様であり、光強度S0の光を発する被写体の輝度が、その光強度S0よりも小さい光強度S1に対応する撮影限界輝度THLにカットされている。
【０２０３】
図１４のＢは、飽和画素復元処理後の撮影画像の輝度の例を示している。
【０２０４】
飽和画素復元処理では、撮影画像において、画素値が撮影限界輝度THLにカットされた被写体の画素値として、撮影限界輝度THLに、式S1+S2≒S0を満たす光強度S2に対応する輝度が加えられた輝度が復元される。
【０２０５】
その結果、飽和画素復元処理後の撮影画像では、画素値が撮影限界輝度THLにカットされた画素は、ほぼ、元の光強度S0≒S1+S2に対応する輝度を画素値として有する。
【０２０６】
図１４のＣは、飽和画素復元処理後の撮影画像を用いて生成されるエミュレーション画像の例を示している。
【０２０７】
図１４のＣにおいて、横軸は、エミュレーション画像の水平方向の画素の位置を表し、縦軸は、そのエミュレーション画像の画素の輝度を表す。
【０２０８】
エミュレーション画像の生成において、光強度S1+S2に対応する輝度を画素値として有する画素に映る被写体がぼかされる場合、その被写体が映る画素の周辺に、光強度S1+S2は分散するが、光強度S1+S2は、非常に大きいため、分散しても、被写体の輝度は、飽和画素復元処理を行わない場合よりも高い輝度になる。
【０２０９】
以上のように、飽和画素復元処理によれば、画素値が撮影限界輝度THLにカットされた、大きな光強度S0の光を発する被写体（例えば、電球等）の輝度が、（ほぼ）元の大きな光強度S0に対応する輝度に復元される。
【０２１０】
そして、そのような大きな光強度S0に対応する輝度の被写体が映る撮影画像を用いたエミュレーション画像の生成（レンズエミュレーション処理）において、被写体がぼかされた場合には、被写体に、鮮やかなぼけが現れる。
【０２１１】
したがって、実際の光学レンズを用いて撮影された実写画像と同様の鮮やかなぼけを再現することができる。
【０２１２】
ここで、飽和画素復元部３３は、図３で説明したように、カメラユニット２１iから供給される標準輝度撮影画像PL#iの画素のうちの、画素値が飽和している飽和画素の画素値を、カメラユニット２１iから供給される低輝度撮影画像PH#iを用いて復元する飽和画素復元処理を行う。
【０２１３】
標準輝度撮影画像PL#iの画素の画素値が飽和しているとは、図１３及び図１４で説明したように、標準輝度撮影画像PL#iの画素の画素値が撮影限界輝度THLにカットされているか、又は、標準輝度撮影画像PL#iの画素の画素値が、撮影限界輝度THLに近いことを意味する。
【０２１４】
また、飽和画素復元処理にあたっては、同一の被写体が映った標準輝度撮影画像PL#iと、低輝度撮影画像PH#iとが必要となる。同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する方法としては、任意の方法を採用することができる。
【０２１５】
以下では、同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する方法として、第１の取得方法、第２の取得方法、及び、第３の取得方法について説明する。
【０２１６】
なお、飽和画素復元処理の対象とする撮影画像は、Rawデータの画像、又は、輝度の線形性を保つために、ガンマ補正前のデモザイク画像であることが望ましい。
【０２１７】
図１５は、標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する第１の取得方法を説明する図である。
【０２１８】
第１の取得方法では、撮影装置１１を構成するすべてのカメラユニット２１1ないし２１7において、露光時間（シャッタスピード）を変更して、例えば、２回等の複数回の撮影を短時間で行う。
【０２１９】
すなわち、第１の取得方法では、撮影装置１１を構成するすべてのカメラユニット２１1ないし２１7において、標準露光時間（撮影時に適切と推定される、例えば、自動露出機能によって設定される露光時間等）での撮影と、その標準露光時間よりも短い露光時間での撮影とが、連続して行われる。
【０２２０】
標準露光時間で撮影された撮影画像が、標準輝度撮影画像PL#iとなり、標準露光時間よりも短い露光時間で撮影された撮影画像が、低輝度撮影画像PH#iとなる。
【０２２１】
したがって、第１の取得方法で得られる標準輝度撮影画像PL#iと低輝度撮影画像PH#iとは、異なるタイミングで撮影された画像である。
【０２２２】
いま、標準露光時間をX[秒]と表すこととすると、その標準露光時間Xよりも短い、低輝度撮影画像PH#iの露光時間としては、例えば、X/16[秒]等を採用することができる。
【０２２３】
図１５は、カメラユニット２１1，２１2、及び、２１5それぞれで撮影される標準輝度撮影画像PL1，PL2、及び、PL5と、低輝度撮影画像PH1，PH2、及び、PH5との例を示している。
【０２２４】
低輝度撮影画像PH#iの露光時間は、標準輝度撮影画像PL#iの標準露光時間よりも短いので、低輝度撮影画像PH#iでは、被写体が、標準輝度撮影画像PL#iよりも暗く映る。
【０２２５】
図１６は、図３の飽和画素復元部３３の第１の構成例を示すブロック図である。
【０２２６】
すなわち、図１６は、標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iが、第１の取得方法により取得される場合の、飽和画素復元部３３の構成例を示している。
【０２２７】
図１６において、飽和画素復元部３３は、飽和判定部５１、及び、復元部５２を有する。
【０２２８】
飽和判定部５１には、撮影装置１１（図１）から標準輝度撮影画像PL#iが供給される。
【０２２９】
飽和判定部５１は、撮影装置１１からの標準輝度撮影画像PL#iの各画素が、飽和画素であるかどうかを判定する飽和判定を行い、その飽和判定の判定結果を、復元部５２に供給する。
【０２３０】
復元部５２には、飽和判定部５１から飽和判定の判定結果が供給される他、撮影装置１１から標準輝度撮影画像PL#iと低輝度撮影画像PH#iとが供給される。
【０２３１】
復元部５２は、撮影装置１１からの標準輝度撮影画像PL#iの画素のうちの飽和画素を、飽和判定部５１からの飽和判定の判定結果（飽和判定結果）に応じて特定する。
【０２３２】
さらに、復元部５２は、飽和画素の画素値を、撮影装置１１からの低輝度撮影画像PL#iを必要に応じて用いて復元し、その復元によって得られる、標準輝度撮影画像PL#iよりも高ダイナミックレンジのHDR撮影画像HD#iを、入射光線再現部３６（図３）に供給する。
【０２３３】
図１７は、図１６の飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
【０２３４】
ステップＳ３１において、飽和判定部５１は、７個のカメラユニット２１1ないし２１7の視点（位置）の中から、まだ、注目視点に選択していない視点の１つを、注目視点を選択し、処理は、ステップＳ３２に進む。
【０２３５】
ステップＳ３２では、飽和判定部５１は、撮影装置１１から供給される７視点の標準輝度撮影画像PL1ないしPL7のうちの、注目視点の標準輝度撮影画像PL#iの画素の中から、まだ、注目画素に選択していない画素の１つを、注目画素に選択し、処理は、ステップＳ３３に進む。
【０２３６】
ステップＳ３３では、飽和判定部５１は、注目視点の標準輝度撮影画像PL#iの注目画素の画素値である標準画素値が、所定の閾値TH1以上であるかどうかの飽和判定を行う。
【０２３７】
ステップＳ３３において、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が、閾値TH1以上でないと判定された場合、すなわち、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が飽和していない場合、飽和判定部５１は、標準画素値が飽和していない旨の飽和判定結果を、復元部５２に供給し、処理は、ステップＳ３４に進む。
【０２３８】
ステップＳ３４では、復元部５２は、飽和判定部５１からの、標準画素値が飽和していない旨の飽和判定結果に応じて、撮影装置１１からの注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値を、注目視点のHDR撮影画像HD#iの、注目画素の位置の画素（この画素も、以下、注目画素ともいう）の画素値に選択し、処理は、ステップＳ３７に進む。
【０２３９】
一方、ステップＳ３３において、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が、閾値TH1以上であると判定された場合、すなわち、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が飽和しているか、又は、飽和している可能性が高い場合、飽和判定部５１は、標準画素値が飽和している旨の飽和判定結果を、復元部５２に供給し、処理は、ステップＳ３５に進む。
【０２４０】
ステップＳ３５では、復元部５２は、飽和判定部５１からの、標準画素値が飽和している旨の飽和判定結果に応じて、撮影装置１１からの注目視点の低輝度撮影画像PH#iの、注目画素の位置の画素（この画素も、以下、注目画素ともいう）の画素値である低輝度画素値が、閾値TH1よりも小さい所定の閾値TH2以上であるかどうかを判定する。
【０２４１】
ステップＳ３５において、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値が、閾値TH2以上でないと判定された場合、すなわち、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値が小さく、ノイズである可能性が高い場合、処理は、ステップＳ３４に進む。
【０２４２】
ステップＳ３４では、上述したように、復元部５２が、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値を、注目視点のHDR撮影画像HD#iの注目画素の画素値に選択し、処理は、ステップＳ３７に進む。
【０２４３】
一方、ステップＳ３５において、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値が、閾値TH2以上であると判定された場合、すなわち、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値がノイズではないとみなすことができる、ある程度の値になっている場合、処理は、ステップＳ３６に進む。
【０２４４】
ステップＳ３６では、復元部５２は、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値を所定数倍にした画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部５２は、復元画素値を、注目視点のHDR撮影画像HD#iの注目画素の画素値に選択し、処理は、ステップＳ３６からステップＳ３７に進む。
【０２４５】
ここで、復元画素値を求めるときに用いる所定数倍（以下、復元ゲインともいう）としては、標準輝度撮影画像PL#iの露光時間（標準露光時間）と、低輝度撮影画像PH#iの露光時間との比の値が採用される。
【０２４６】
したがって、例えば、図１５で説明したように、標準露光時間がX[秒]であり、低輝度撮影画像PH#iの露光時間がX/16[秒]である場合には、復元ゲインは、16=X/(X/16)倍になる。
【０２４７】
ステップＳ３７では、飽和判定部５１は、注目視点の標準輝度撮影画像PL#iの画素のすべてを、注目画素に選択したかどうかを判定する。
【０２４８】
ステップＳ３７において、まだ、注目視点の標準輝度撮影画像PL#iの画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０２４９】
また、ステップＳ３７において、注目視点の標準輝度撮影画像PL#iの画素のすべてを、注目画素に選択したと判定された場合、処理は、ステップＳ３８に進む。
【０２５０】
ステップＳ３８では、飽和判定部５１は、７視点のすべてを、注目視点に選択したかどうかを判定する。
【０２５１】
ステップＳ３８において、まだ、７視点のすべてを、注目視点に選択していないと判定された場合、処理は、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０２５２】
また、ステップＳ３８において、７視点のすべてを、注目視点に選択したと判定された場合、復元部５２は、以上の処理により得られる７視点のHDR撮影画像HD1ないしHD7を、入射光線再現部３６（図３）に供給し、飽和画素復元処理は、終了する。
【０２５３】
なお、低輝度撮影画像PH#iとしては、露光時間が標準露光時間より短い第１の低輝度撮影画像と、露光時間が第１の低輝度撮影画像よりも短い第２の低輝度撮影画像とを採用することができる。
【０２５４】
第１の取得方法では、撮影装置１１において、露光時間を変更して、３回の撮影を連続して行うことにより、標準輝度撮影画像PL#i、第１の低輝度撮影画像、及び、第２の低輝度撮影画像を取得することができる。
【０２５５】
第２の低輝度撮影画像は、標準輝度撮影画像の画素値が飽和し、さらに、第１の低輝度撮影画像の画素値も飽和している場合に、その画素値が飽和している飽和画素の復元に用いることができる。
【０２５６】
図１８は、飽和画素復元部３３の第２の構成例を示すブロック図である。
【０２５７】
すなわち、図１８は、同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを、第２の取得方法により取得する場合の、飽和画素復元部３３の構成例を示している。
【０２５８】
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２５９】
第２の取得方法では、撮影装置１１を構成するすべてのカメラユニット２１1ないし２１7において、標準露光時間よりも小さい一定の露光時間で、複数回の撮影を短時間で行う高速撮影を行う。
【０２６０】
そして、第２の取得方法では、カメラユニット２１iの高速撮影により得られる複数の高速撮影画像を、異なる枚数だけ加算することにより、標準輝度撮影画像PL#iと低輝度撮影画像PH#iとが生成（取得）される。
【０２６１】
例えば、高速撮影の露光時間が、1/4000秒である場合に、標準輝度撮影画像PL#iの露光時間（標準露光時間）を、1/60秒とするとともに、低輝度撮影画像PH#iの露光時間を、1/1000秒とするときには、標準輝度撮影画像PL#iと低輝度撮影画像PH#iとは、以下のように生成することができる。
【０２６２】
すなわち、標準輝度撮影画像PL#iは、高速撮影画像を66枚又は67枚だけ加算することにより生成することができる。また、低輝度撮影画像PH#iは、高速撮影画像を4枚だけ加算することにより生成することができる。
【０２６３】
図１８では、飽和画素復元部３３は、撮影装置１１から、高速撮影画像が供給されることを前提として、その高速撮影画像から、第２の取得方法により、標準輝度撮影画像PL#iと低輝度撮影画像PH#iとを取得（生成）する。そして、飽和画素復元部３３は、その標準輝度撮影画像PL#iと低輝度撮影画像PH#iとを用いて、飽和画素復元処理を行う。
【０２６４】
すなわち、図１８において、飽和画素復元部３３は、飽和判定部５１、復元部５２、標準輝度撮影画像生成部６１、及び、低輝度撮影画像生成部６２を有する。
【０２６５】
したがって、図１８の飽和画素復元部３３は、飽和判定部５１、及び、復元部５２を有する点で、図１６の場合と共通する。
【０２６６】
但し、図１８の飽和画素復元部３３は、標準輝度撮影画像生成部６１、及び、低輝度撮影画像生成部６２を有する点で、図１６の場合と相違する。
【０２６７】
標準輝度撮影画像生成部６１、及び、低輝度撮影画像生成部６２には、撮影装置１１から、高速撮影によって得られた７視点の高速撮影画像が供給される。
【０２６８】
標準輝度撮影画像生成部６１は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を、所定の枚数だけ加算することにより、標準輝度撮影画像PL#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
【０２６９】
低輝度撮影画像生成部６２は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を、標準輝度撮影画像生成部６１より少ない枚数だけ加算することにより、低輝度撮影画像PH#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
【０２７０】
図１９は、図１８の飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
【０２７１】
ステップＳ４１において、標準輝度撮影画像生成部６１は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を加算することにより、標準輝度撮影画像PL#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
【０２７２】
さらに、ステップＳ４１では、低輝度撮影画像生成部６２は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を加算することにより、低輝度撮影画像PH#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
【０２７３】
そして、処理は、ステップＳ４１からステップＳ４２に進み、以下、ステップＳ４２ないしＳ４９において、図１７のステップＳ３１ないしＳ３８とそれぞれ同様の処理が行われる。
【０２７４】
図２０は、撮影装置１１の他の構成例を示す平面図である。
【０２７５】
すなわち、図２０は、同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを、第３の取得方法により取得する場合の、撮影装置１１の構成例を示している。
【０２７６】
図２０では、撮影装置１１は、19個のカメラユニットで構成される。
【０２７７】
すなわち、図２０では、1個のカメラユニットを、基準カメラユニットとし、基準カメラユニットを中心として、水平方向に5個のカメラユニットが配置されている。
【０２７８】
さらに、基準カメラユニットを中心とする5個のカメラユニットの上下のそれぞれに、水平方向に並ぶ4個のカメラユニットが配置されている。
【０２７９】
また、基準カメラユニットを中心とする5個のカメラユニットの上側の4個のカメラユニットの上には、水平方向に並ぶ3個のカメラユニットが配置されている。
【０２８０】
さらに、基準カメラユニットを中心とする5個のカメラユニットの下側の4個のカメラユニットの下には、水平方向に並ぶ3個のカメラユニットが配置されている。
【０２８１】
また、図２０では、撮影装置１１を構成する19個のカメラユニットのうちの、基準カメラユニットの左上、左下、右上、及び、右下にそれぞれ隣接する4個のカメラユニットは、ND(Neutral Density)フィルタが装着されたNDフィルタ付きカメラユニットになっている。
【０２８２】
ここで、以下、NDフィルタが装着されていないカメラユニットを、通常カメラユニットともいう。
【０２８３】
図２０において、U1は、通常カメラユニットを表し、U2は、NDフィルタ付きカメラユニットを表す。
【０２８４】
第１及び第２の取得方法では、複数回の撮影を行うことで、同一の被写体が映った、露光時間の異なる標準輝度撮影画像PL#iと低輝度撮影画像PH#iと取得したが、第３の取得方法では、１回の撮影（1shot撮影）だけで、標準輝度撮影画像PL#iと低輝度撮影画像PH#iと取得する。
【０２８５】
すなわち、第３の取得方法では、撮影装置１１の15=19-4個の通常カメラユニットU1と、4個のNDフィルタ付きカメラユニットU2とにおいて、例えば、標準露光時間の撮影が行われる。
【０２８６】
通常カメラユニットU1において、標準露光時間の撮影が行われることにより、標準露光時間の標準輝度撮影画像を取得することができる。
【０２８７】
一方、いま、4個のNDフィルタ付きカメラユニットU2それぞれにおいて、NDフィルタを介して観測される光の輝度が、NDフィルタを介さない場合の、例えば、1/16，1/256，1/4096 ，1/65536であるとする。すなわち、4個のNDフィルタ付きカメラユニットU2それぞれの光に対する感度が、通常カメラユニットU1の1/16，1/256，1/4096 ，1/65536であるとする。
【０２８８】
この場合、4個のNDフィルタ付きカメラユニットU2それぞれにおいて、標準露光時間の撮影が行われることにより、等価的に、標準露光時間の1/16，1/256，1/4096 ，1/65536の露光時間の第１の低輝度撮影画像、第２の低輝度撮影画像、第３の低輝度撮影画像、及び、第４の低輝度撮影画像を取得することができる。
【０２８９】
したがって、第３の取得方法で得られる標準輝度撮影画像、及び、第１ないし第４の低輝度撮影画像は、同一のタイミングで、異なる感度で撮影された、異なる視点の画像である。
【０２９０】
図２１は、飽和画素復元部３３の第３の構成例を示すブロック図である。
【０２９１】
すなわち、図２１は、同一の被写体が映った標準輝度撮影画像、及び、低輝度撮影画像を、第３の取得方法により取得する場合の、飽和画素復元部３３の構成例を示している。
【０２９２】
図２１において、飽和画素復元部３３は、視差情報取得部７１、標準輝度撮影画像生成部７２、低輝度撮影画像生成部７３、飽和判定部７４、及び、復元部７５を有する。
【０２９３】
視差情報取得部７１は、撮影装置１１（図２０）を構成する19視点（19個）のカメラユニットで撮影される撮影画像（標準輝度撮影画像、第１ないし第４の低輝度撮影画像）それぞれの視差マップを取得し、標準輝度撮影画像生成部７２、及び、低輝度撮影画像生成部７３に供給する。
【０２９４】
視差情報取得部７１において、19視点のカメラユニットで撮影される撮影画像それぞれの視差マップは、19視点のカメラユニットで撮影される撮影画像を用いて、視差情報生成部３１（図３）の場合と同様に生成することができる。また、視差情報取得部７１において、19視点のカメラユニットで撮影される撮影画像それぞれの視差マップは、視差情報生成部３１から取得することができる。
【０２９５】
標準輝度撮影画像生成部７２には、視差情報取得部７１から視差マップが供給される他、撮影装置１１から、15視点の通常カメラユニットU1で撮影された標準輝度撮影画像が供給される。
【０２９６】
標準輝度撮影画像生成部７２は、4個のNDフィルタ付きカメラユニットU2の4視点（以下、NDカメラ視点ともいう）の標準輝度撮影画像を、撮影装置１１からの15個の通常カメラユニットU1の15視点（以下、通常カメラ視点ともいう）の標準輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて生成し、撮影装置１１からの15個の通常カメラ視点の標準輝度撮影画像とともに、飽和判定部７４、及び、復元部７５に供給する。
【０２９７】
すなわち、標準輝度撮影画像生成部７２は、NDカメラ視点の（第１ないし第４の）低輝度撮影画像の画素を、順次、注目画素に選択し、視差情報取得部７１からの視差マップを参照することで、注目画素に対応する、通常カメラ視点の標準輝度撮影画像の対応画素を検出する。そして、標準輝度撮影画像生成部７２は、通常カメラ視点の標準輝度撮影画像の対応画素の画素値を、NDカメラ視点の標準輝度撮影画像の注目画素の画素値として採用することで、NDカメラ視点の標準輝度撮影画像を生成する。
【０２９８】
なお、NDカメラ視点の低輝度撮影画像の注目画素に対応する対応画素は、15個の通常カメラ視点の標準輝度撮影画像のそれぞれから検出することができる。
【０２９９】
NDカメラ視点の通常輝度撮影画像の注目画素の画素値には、15個の通常カメラ視点の標準輝度撮影画像のそれぞれから検出される15個の対応画素のうちの、例えば、基準カメラユニット（19個のカメラユニットの中心のカメラユニット）の標準輝度撮影画像の対応画素の画素値を採用することができる。
【０３００】
また、NDカメラ視点の通常輝度撮影画像の注目画素の画素値には、15個の通常カメラ視点の標準輝度撮影画像のそれぞれから検出される15個の対応画素のうちの、例えば、画素値が近い対応画素の集合の中で、対応画素の数が最も多い集合の対応画素の画素値の平均値を採用することができる。
【０３０１】
低輝度撮影画像生成部７３には、視差情報取得部７１から視差マップが供給される他、撮影装置１１から、4個のNDカメラ視点のNDフィルタ付きカメラユニットU2で撮影された第１ないし第４の低輝度撮影画像が供給される。
【０３０２】
低輝度撮影画像生成部７３は、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像を、撮影装置１１からの4個のNDカメラ視点の第１ないし第４の低輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて生成し、撮影装置１１からの4個のNDカメラ視点の第１ないし第４の低輝度撮影画像とともに、復元部７５に供給する。
【０３０３】
すなわち、低輝度撮影画像生成部７３は、通常カメラ視点の標準輝度撮影画像の画素を、順次、注目画素に選択し、視差情報取得部７１からの視差マップを参照することで、注目画素に対応する、NDカメラ視点の第１ないし第４の低輝度撮影画像それぞれの対応画素を検出する。そして、低輝度撮影画像生成部７３は、NDカメラ視点の第１ないし第４の低輝度撮影画像それぞれの対応画素の画素値を、通常カメラ視点の第１ないし第４の低輝度撮影画像それぞれの注目画素の画素値として採用することで、通常カメラ視点の第１ないし第４の低輝度撮影画像を生成する。
【０３０４】
以上のように、標準輝度撮影画像生成部７２において、4個のNDカメラ視点の標準輝度撮影画像を生成するとともに、低輝度撮影画像生成部７３において、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像を生成することで、撮影装置１１（図２０）を構成する19個のカメラユニットの19の視点のすべてについて、標準輝度撮影画像と、第１ないし第４の低輝度撮影画像とを得ることができる。
【０３０５】
なお、本実施の形態では、説明を簡単にするため、4個のNDカメラ視点の標準輝度撮影画像と、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像とを、あらかじめ生成することとしたが、4個のNDカメラ視点の標準輝度撮影画像の画素値、及び、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像の画素値は、必要な画素について、必要なときに生成することができる。
【０３０６】
飽和判定部７４は、標準輝度撮影画像生成部７２からの19視点の標準輝度撮影画像それぞれの各画素が、飽和画素であるかどうかを判定する飽和判定を行い、その飽和判定の判定結果（飽和判定結果）を、復元部７５に供給する。
【０３０７】
復元部７５には、上述したように、飽和判定部７４から飽和判定の判定結果が供給される。さらに、復元部７５には、上述したように、標準輝度撮影画像生成部７２から、19視点の標準輝度撮影画像が供給されるとともに、低輝度撮影画像生成部７３から、19視点の第１ないし第４の低輝度撮影画像が供給される。
【０３０８】
また、復元部７５には、例えば、図２０の撮影装置１１から、第１ないし第４の低輝度撮影画像用の復元ゲインが供給される。
【０３０９】
ここで、第１の低輝度撮影画像用の復元ゲインとは、第１の低輝度撮影画像を用いて飽和画素の復元が行われるときに用いられる、図１７で説明した復元ゲインである。
【０３１０】
したがって、第１の低輝度撮影画像用の復元ゲインは、標準輝度撮影画像の露光時間（標準露光時間）と、第１の低輝度撮影画像の露光時間との比の値である。
【０３１１】
例えば、図２０で説明したように、第１の低輝度撮影画像の露光時間が、（等価的に）標準露光時間の1/16倍である場合には、第１の低輝度撮影画像用の復元ゲインは、16=1/(1/16)倍になる。
【０３１２】
第２ないし第４の低輝度撮影画像用の復元ゲインも、第１の低輝度撮影画像用の復元ゲインと同様に求めることができる。
【０３１３】
復元部７５は、標準輝度撮影画像生成部７２からの19視点の標準輝度撮影画像それぞれについて、飽和画素を、飽和判定部７４からの飽和判定結果に応じて特定する。
【０３１４】
さらに、復元部７５は、飽和画素の画素値を、低輝度撮影画像生成部７３からの第１ないし第４の低輝度撮影画像、及び、撮影装置１１（図２０）からの第１ないし第４の低輝度撮影画像用の復元ゲインを、必要に応じて用いて復元し、その復元によって得られる、標準輝度撮影画像よりも高ダイナミックレンジのHDR撮影画像を、入射光線再現部３６（図３）に供給する。
【０３１５】
図２２は、視差マップの視差の補正の例を説明する図である。
【０３１６】
図２１の飽和画素復元部３３では、上述したように、標準輝度撮影画像生成部７２において、視差情報取得部７１で取得された視差マップを参照することで、NDカメラ視点の低輝度撮影画像の注目画素に対応する、通常カメラ視点の標準輝度撮影画像の対応画素が検出される。また、低輝度撮影画像生成部７３において、視差情報取得部７１で取得された視差マップを参照することで、通常カメラ視点の標準輝度撮影画像の注目画素に対応する、NDカメラ視点の（第１ないし第４の）低輝度撮影画像の対応画素が検出される。
【０３１７】
標準輝度撮影画像生成部７２、及び、低輝度撮影画像生成部７３において、以上のように、ある１視点の画像の注目画素に対応する、他の１視点の画像の対応画素を検出する際に参照される視差マップに登録される視差は、必要に応じて補正される。
【０３１８】
ここで、説明を簡単にするため、撮影装置１１が、図２２に示すように、水平方向に並んだ３個のカメラユニットUa，Ub、及び、Ucで構成されることとする。
【０３１９】
また、３個のカメラユニットUa，Ub、及び、Ucのうちの、例えば、一番左側のカメラユニットUaを、多層視差マップが生成される対象の基準画像を撮影する基準カメラユニットとする。
【０３２０】
さらに、基準カメラユニットUaと、一番右側のカメラユニットUcとは、通常カメラユニットであり、中央のカメラユニットUbは、NDフィルタ付きカメラユニットであるとする。基準カメラユニットUaと、通常カメラユニットUcとでは、標準輝度撮影画像が撮影され、NDフィルタ付きカメラユニットUbでは、低輝度撮影画像が撮影される。
【０３２１】
ここで、基準カメラユニットUaで撮影される標準輝度撮影画像を、基準画像Ua、又は、標準輝度撮影画像Uaともいう。また、NDフィルタ付きカメラユニットUbで撮影される低輝度撮影画像を、低輝度撮影画像Ubともいう。さらに、通常カメラユニットUcで撮影される標準輝度撮影画像を、標準輝度撮影画像Ucともいう。
【０３２２】
いま、視差情報取得部７１において、基準カメラユニットUaと通常カメラユニットUcとの基線長（光軸どうしの距離）を、基準基線長として、基準カメラユニットUaで撮影された標準輝度撮影画像（基準画像）Uaの視差マップ（基準視差マップ）が生成されたとする。
【０３２３】
基準カメラユニットUaの視点（基準視点）以外の視点の視差マップ、すなわち、例えば、通常カメラユニットUcで撮影された標準輝度撮影画像Ucの視差マップは、図７及び図８で説明したように、基準視差マップを利用して、簡易的に生成することができる。
【０３２４】
具体的には、通常カメラユニットUcで撮影された標準輝度撮影画像Ucの視差マップは、基準視差マップにおいて、図７で説明したように、基準カメラユニットUaと、通常カメラユニットUcとの位置関係に応じたカメラ位置関係方向に、各画素の位置に登録されている視差を、その視差だけ移動し、さらに、図８で説明したように、未登録エリアに、補間視差を補間することで生成することができる。
【０３２５】
このように、基準視差マップを利用して生成された、標準輝度撮影画像Ucの視差マップに登録された視差は、基準カメラユニットUaと通常カメラユニットUcとの基線長である基準基線長だけ離れた２点に対する視差である。
【０３２６】
そのため、標準輝度撮影画像Ucの注目画素に対応する、低輝度撮影画像Ubの対応画素を検出するときには、標準輝度撮影画像Ucの視差マップに登録された視差が、標準輝度撮影画像Ucを撮影する通常カメラユニットUcと、低輝度撮影画像Ubを撮影するNDフィルタ付きカメラユニットUbとの基線長だけ離れた２点に対する視差となるように補正される。
【０３２７】
すなわち、いま、基準カメラユニットUaと通常カメラユニットUcとの基線長である基準基線長を、acと表すとともに、NDフィルタ付きカメラユニットUbと通常カメラユニットUcとの基線長をbcと表すこととすると、標準輝度撮影画像Ucの視差マップに登録された視差は、基線長bcと基準基線長との比の値bc/ac倍されるように補正される。
【０３２８】
例えば、基準カメラユニットUaとNDフィルタ付きカメラユニットUbとの基線長ab、及び、NDフィルタ付きカメラユニットUbと通常カメラユニットUcとの基線長bcが、いずれも、5mmであるとする。
【０３２９】
この場合、基準カメラユニットUaと通常カメラユニットUcとの基線長acである基準基線長は、10mmになる。
【０３３０】
いま、基準視差マップを利用して生成された、標準輝度撮影画像Ucの視差マップに登録された注目画素の視差が、例えば、10（画素）であるとすると、その視差10は、基線長bc=5mmと基準基線長ac=10mmとの比の値5/10倍され、視差5に補正される。
【０３３１】
そして、標準輝度撮影画像Ucの注目画素に対応する、低輝度撮影画像Ubの対応画素としては、注目画素の位置から、視差5だけずれた位置の低輝度撮影画像Ubの画素が検出される。
【０３３２】
図２３は、図２１の飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
【０３３３】
ステップＳ６１において、視差情報取得部７１は、撮影装置１１（図２０）を構成する19視点のカメラユニットで撮影される撮影画像（標準輝度撮影画像、第１ないし第４の低輝度撮影画像）それぞれの視差マップを取得し、標準輝度撮影画像生成部７２、及び、低輝度撮影画像生成部７３に供給する。
【０３３４】
さらに、ステップＳ６１では、標準輝度撮影画像生成部７２が、撮影装置１１（図２０）を構成する19視点のカメラユニットのうちの、15個の通常カメラ視点の標準輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて、4個のNDカメラ視点の標準輝度撮影画像を生成し、15個の通常カメラ視点の標準輝度撮影画像とともに、飽和判定部７４、及び、復元部７５に供給する。
【０３３５】
また、ステップＳ６１では、低輝度撮影画像生成部７３が、撮影装置１１からの4個のNDカメラ視点の第１ないし第４の低輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像を生成し、4個のNDカメラ視点の第１ないし第４の低輝度撮影画像とともに、復元部７５に供給する。
【０３３６】
そして、処理は、ステップＳ６１からステップＳ６２に進み、飽和判定部７４は、撮影装置１１（図２０）を構成する19個のカメラユニットの19視点の中から、まだ、注目視点に選択していない視点の１つを、注目視点を選択し、処理は、ステップＳ６３に進む。
【０３３７】
ステップＳ６３では、飽和判定部７４は、標準輝度画像生成部７２から供給される19視点の標準輝度撮影画像のうちの、注目視点の標準輝度撮影画像の画素の中から、まだ、注目画素に選択していない画素の１つを、注目画素に選択し、処理は、ステップＳ６４に進む。
【０３３８】
ステップＳ６４では、注目視点のHDR撮影画像の注目画素（注目視点の標準輝度撮影画像の注目画素と同一位置の画素）の画素値を取得する処理が行われ、処理は、ステップＳ６５に進む。
【０３３９】
ステップＳ６５では、飽和判定部７４は、注目視点の標準輝度撮影画像の画素のすべてを、注目画素に選択したかどうかを判定する。
【０３４０】
ステップＳ６５において、まだ、注目視点の標準輝度撮影画像の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ６３に戻り、以下、同様の処理が繰り返される。
【０３４１】
また、ステップＳ６５において、注目視点の標準輝度撮影画像の画素のすべてを、注目画素に選択したと判定された場合、処理は、ステップＳ６６に進む。
【０３４２】
ステップＳ６６では、飽和判定部７４は、撮影装置１１（図２０）を構成する19個のカメラユニットの19視点のすべてを、注目視点に選択したかどうかを判定する。
【０３４３】
ステップＳ６６において、まだ、19視点のすべてを、注目視点に選択していないと判定された場合、処理は、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０３４４】
また、ステップＳ６６において、19視点のすべてを、注目視点に選択したと判定された場合、復元部５２は、以上の処理により得られる19視点のHDR撮影画像を、入射光線再現部３６（図３）に供給し、飽和画素復元処理は、終了する。
【０３４５】
なお、図２３では、撮影装置１１を構成する19個のカメラユニットの19視点のすべてを対象に、飽和画素復元処理を行うこととしたが、飽和画素復元処理は、19視点のうちの、15個の通常カメラ視点だけを対象に行うことができる。
【０３４６】
この場合、飽和画素復元処理において得られるHDR撮影画像は、19視点のHDR撮影画像ではなく、15個の通常カメラ視点のHDR撮影画像となるが、図２１の飽和画素復元部３３は、標準輝度撮影画像生成部７２を設けずに構成することができる。
【０３４７】
図２４は、図２３のステップＳ６４で行われる、注目視点のHDR撮影画像の注目画素の画素値を取得する処理の例を説明するフローチャートである。
【０３４８】
ステップＳ７１において、飽和画素判定部７４は、標準輝度撮影画像生成部７２からの注目視点の標準輝度撮影画像の注目画素の画素値を、注目画素の標準画素値として取得し、処理は、ステップＳ７２に進む。
【０３４９】
ステップＳ７２では、飽和判定部７４は、注目視点の標準輝度撮影画像の注目画素の標準画素値が、閾値TH1以上であるかどうかの飽和判定を行う。
【０３５０】
ステップＳ７２において、注目視点の標準輝度撮影画像の注目画素の標準画素値が、閾値TH1以上でないと判定された場合、すなわち、注目視点の標準輝度撮影画像の注目画素の標準画素値が飽和していない場合、飽和判定部７４は、標準画素値が飽和していない旨の飽和判定結果を、復元部７５（図２１）に供給し、処理は、ステップＳ７３に進む。
【０３５１】
ステップＳ７３では、復元部７５は、飽和判定部７４からの、標準画素値が飽和していない旨の飽和判定結果に応じて、標準輝度撮影画像生成部７２からの注目視点の標準輝度撮影画像の注目画素の標準画素値を、注目視点のHDR撮影画像の注目画素（注目視点の標準輝度撮影画像の注目画素と同一位置の画素）の画素値に選択し、処理はリターンする。
【０３５２】
一方、ステップＳ７２において、注目視点の標準輝度撮影画像の注目画素の標準画素値が、閾値TH1以上であると判定された場合、すなわち、注目視点の標準輝度撮影画像の注目画素の標準画素値が飽和しているか、又は、飽和している可能性が高い場合、飽和判定部７４は、標準画素値が飽和している旨の飽和判定結果を、復元部７５に供給し、処理は、ステップＳ７４に進む。
【０３５３】
ステップＳ７４では、復元部７５は、飽和判定部７４からの、標準画素値が飽和している旨の飽和判定結果に応じて、低輝度撮影画像生成部７３からの注目視点の第１ないし第４の低輝度撮影画像の注目画素（注目視点の標準輝度撮影画像の注目画素と同一位置の画素）の画素値を、それぞれ、注目画素の第１ないし第４の低輝度画素値v1ないしv4として取得する。
【０３５４】
さらに、復元部７５は、撮影装置１１から第１ないし第４の低輝度撮影画像用の復元ゲインg1ないしg4を取得し、処理は、ステップＳ７４からステップＳ７５に進む。
【０３５５】
ステップＳ７５では、復元部７５は、注目視点の第１の低輝度撮影画像の注目画素の画素値である第１の低輝度画素値v1が、閾値TH1と、閾値TH1より小さい閾値TH2とを用いた式TH2<v1<TH1を満たすかどうかを判定する。
【０３５６】
ステップＳ７５において、第１の低輝度画素値v1が、式TH2<v1<TH1を満たすと判定された場合、すなわち、第１の低輝度画素値v1が、ノイズのように小さい値ではなく、かつ、飽和もしていない場合、処理は、ステップＳ７６に進む。
【０３５７】
ステップＳ７６では、復元部７５は、注目視点の第１の低輝度撮影画像の注目画素の画素値である第１の低輝度画素値v1を、第１の低輝度撮影画像用の復元ゲインg1倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
【０３５８】
また、ステップＳ７５において、第１の低輝度画素値v1が、式TH2<v1<TH1を満たさないと判定された場合、処理は、ステップＳ７７に進む。
【０３５９】
ステップＳ７７では、復元部７５は、注目視点の第２の低輝度撮影画像の注目画素の画素値である第２の低輝度画素値v2が、式TH2<v2<TH1を満たすかどうかを判定する。
【０３６０】
ステップＳ７７において、第２の低輝度画素値v2が、式TH2<v2<TH1を満たすと判定された場合、すなわち、第２の低輝度画素値v2が、ノイズのように小さい値ではなく、かつ、飽和もしていない場合、処理は、ステップＳ７８に進む。
【０３６１】
ステップＳ７８では、復元部７５は、注目視点の第２の低輝度撮影画像の注目画素の画素値である第２の低輝度画素値v2を、第２の低輝度撮影画像用の復元ゲインg2倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
【０３６２】
また、ステップＳ７７において、第２の低輝度画素値v2が、式TH2<v2<TH1を満たさないと判定された場合、処理は、ステップＳ７９に進む。
【０３６３】
ステップＳ７９では、復元部７５は、注目視点の第３の低輝度撮影画像の注目画素の画素値である第３の低輝度画素値v3が、式TH2<v3<TH1を満たすかどうかを判定する。
【０３６４】
ステップＳ７９において、第３の低輝度画素値v3が、式TH2<v3<TH1を満たすと判定された場合、すなわち、第３の低輝度画素値v3が、ノイズのように小さい値ではなく、かつ、飽和もしていない場合、処理は、ステップＳ８０に進む。
【０３６５】
ステップＳ８０では、復元部７５は、注目視点の第３の低輝度撮影画像の注目画素の画素値である第３の低輝度画素値v3を、第３の低輝度撮影画像用の復元ゲインg3倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
【０３６６】
また、ステップＳ７９において、第３の低輝度画素値v3が、式TH2<v3<TH1を満たさないと判定された場合、処理は、ステップＳ８１に進む。
【０３６７】
ステップＳ８１では、復元部７５は、注目視点の第４の低輝度撮影画像の注目画素の画素値である第４の低輝度画素値v4を、第４の低輝度撮影画像用の復元ゲインg4倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
【０３６８】
なお、飽和画素復元処理の結果得られる、高ダイナミックレンジの複数の視点の(HDR)撮影画像は、視差情報生成部３１での視差情報の生成や、レンズエミュレーション部３５でのエミュレーション画像の生成の他、複数の視点の撮影画像が必要な任意の画像処理の対象とすることができる。
【０３６９】
また、飽和画素復元処理は、複数のカメラユニット２１iを有する撮影装置１１等で撮影された、複数の視点の撮影画像の他、ライトフィールド技術を適用することができる任意の画像を対象として行うことにより、鮮やかなぼけを再現することができる。
【０３７０】
ライトフィールド技術を適用することができる画像を撮影する方法としては、複数のカメラユニット２１iを有する撮影装置１１を用いて複数の視点の撮影画像を撮影する方法の他、例えば、Ren.Ng、他７名，"Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02に記載されている、MLA(Micro Lens Array)を用いて撮影を行う方法がある。
【０３７１】
＜レンズエミュレーション部３５のレンズエミュレーション処理の概要＞
【０３７２】
図２５は、図３のレンズエミュレーション部３５のレンズエミュレーション処理の概要を説明する図である。
【０３７３】
レンズエミュレーション処理では、入射光線再現部３６（図３）において、撮影装置１１の撮影の被写体となった実空間内に存在する物体上の点等の実空間点から発せられる光線（実空間点自体が発光する場合の、その実空間点が発する光の他、実空間点で反射された反射光を含む）のうちの、仮想レンズに入射する光線が再現される。
【０３７４】
仮想レンズは、撮影装置１１（図２）を構成するカメラユニット２１1ないし２１7を合成開口とする仮想なレンズであり、その実体は、カメラユニット２１1ないし２１7である。
【０３７５】
また、レンズエミュレーション処理では、エミュレーションレンズ情報生成部３７（図３）において、エミュレーションレンズを通過する光線を規定するレンズ情報（エミュレーションレンズ情報）が生成される。
【０３７６】
図３で説明したように、エミュレーションレンズは、実在する光学レンズであっても良いし、実在しない光学レンズであっても良い。
【０３７７】
また、レンズ情報としては、エミュレーションレンズの、点光源に対する応答を表すPSF(Point Spread Function)強度分布等がある。
【０３７８】
レンズエミュレーション処理では、集光処理部３８（図３）において、エミュレーションレンズ情報生成部３７で得られるレンズ情報を用い、入射光線再現部３６で再現される光線を、エミュレーションレンズを介して、仮想センサ上に集光する集光処理としてのディジタル信号処理が行われる。
【０３７９】
仮想センサの実体は、例えば、図示せぬメモリであり、集光処理では、レンズ情報を用いて、光線の輝度に対応する値が、メモリ（の記憶値）に加算されることで、エミュレーション画像が生成される。
【０３８０】
図２６は、実際の光学レンズによる集光処理と、レンズエミュレーション処理の集光処理とを説明する図である。
【０３８１】
図２６のＡは、実際の光学レンズによる集光処理を示している。
【０３８２】
実際の光学レンズは、実空間内の物体から発せられる無数の光線をサンプリングし、実際の光学レンズのレンズ特性に従って、結像面に結像する。
【０３８３】
実際の光学レンズでは、例えば、絞りによって、光学レンズでサンプリングされる光線の角度が変化する。
【０３８４】
すなわち、絞りを絞った場合には、物体から、光軸に対して、大きな角度wで広がる光線は、光学レンズでサンプリングされない。一方、絞りを開いた場合には、物体から、光軸に対して、大きな角度wで広がる光線が、光学レンズでサンプリングされる。
【０３８５】
図２６のＡの画像picAは、絞りを絞って撮影された画像であり、被写界深度が深く、全体的にフォーカスが合っているような画像になっている。また、画像picAでは、右上の子供のキャラクタの後ろに電球が存在するが、その電球から、光軸に対して、大きな角度で広がる光線が、光学レンズでサンプリングされておらず、そのため、子供のキャラクタの後ろには、電球が映っていない。
【０３８６】
図２６のＡの画像picBは、絞りを開いて撮影された画像であり、被写界深度が浅く、一部分にのみフォーカスが合い、他の大部分がぼけた画像になっている。また、画像picBでは、右上の子供のキャラクタの後ろに電球が存在し、その電球から、光軸に対して、大きな角度で広がる光線が、光学レンズでサンプリングされており、そのため、子供のキャラクタの後ろに、電球の一部が映っている。
【０３８７】
図２６のＢは、レンズエミュレーション処理の集光処理を示している。
【０３８８】
レンズエミュレーション処理の集光処理では、撮影装置１１の複数のカメラユニット２１iにおいて撮影（記録）された、実空間内の物体から発せられる光線を用いて、その複数のカメラユニット２１iを合成開口とする仮想レンズに入射する光線が再現（生成）される。
【０３８９】
ここで、図２６のＢでは、複数としての３個のカメラユニット２１1，２１2、及び、２１5で、３本の光線が撮影されている。そして、その３本の光線の間を補間するように、仮想レンズに入射する光線が再現されている。
【０３９０】
レンズエミュレーション処理の集光処理では、以上のように、仮想レンズに入射する光線が再現された後、その光線が、エミュレーションレンズのレンズ情報に従って、仮想センサ上に集光される。これにより、その集光の結果得られるエミュレーション画像において、実際にエミュレーションレンズを用いて撮影した場合と同様のぼけ味が再現される。
【０３９１】
＜仮想レンズに入射する光線の再現＞
【０３９２】
図２７は、図３の入射光線再現部３６の構成例を示すブロック図である。
【０３９３】
図２７において、入射光線再現部３６は、実空間点選択部１０１、光線生成部１０２、衝突判定部１０３、及び、輝度割り当て部１０４を有する。
【０３９４】
実空間点選択部１０１には、視差情報生成部３１から視差マップが供給される。
【０３９５】
実空間点選択部１０１は、視差情報生成部３１からの視差マップのうちの多層視差マップを用いて、撮影装置１１で撮影された実空間内の空間点を、注目実空間点に選択し、光線生成部１０２に供給する。
【０３９６】
光線生成部１０２は、実空間点選択部１０１からの注目実空間点から、仮想レンズに入射する光線（としての直線）を生成し、衝突判定部１０３に供給する。
【０３９７】
衝突判定部１０３には、光線生成部１０３から光線が供給される他、視差情報生成部３１から視差マップが供給される。
【０３９８】
衝突判定部１０３は、視差情報生成部３１からの視差マップのうちの多層視差マップを用いて、光線生成部１０３からの光線が、仮想レンズに入射するまでに、実空間内の物体に衝突するかどうかを判定する衝突判定を行う。
【０３９９】
そして、衝突判定部１０３は、衝突判定の結果残った光線を、輝度割り当て部１０４に供給する。
【０４００】
輝度割り当て部１０４には、衝突判定部１０３から光線が供給される他、視差情報生成部３１から視差マップが供給されるとともに、飽和画素復元部３３から複数としての７視点の(HDR)撮影画像HD#iが供給される。
【０４０１】
輝度割り当て部１０４は、視差情報生成部３１からの視差マップと、飽和画素復元部３３からの撮影画像HD#iとを用いて、衝突判定部１０３から光線、すなわち、衝突判定の結果残った光線に、輝度を割り当て、その輝度の割り当て後の光線を、集光処理部３８（図３）に供給する。
【０４０２】
図２８は、実空間点を説明する図である。
【０４０３】
すなわち、図２８は、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、上から見た場合の概略の平面図である。
【０４０４】
ここで、実空間内の位置（実空間点）を規定する３次元座標系として、仮想レンズ又はエミュレーションレンズの主点を原点とするとともに、撮影装置１１（図２）を正面から見たときの水平方向及び垂直方向をx軸及びy軸と、原点から奥行き方向（被写体の方向）をz軸と、それぞれする３次元座標系を用いることとする。
【０４０５】
基準画像のある画素pに映る物体（被写体）の実空間内の位置である実空間点(x,y,z)は、画素pの基準画像上の位置（カメラユニット２１1の図示せぬイメージセンサ上の位置）と、その画素pの視差dとから求めることができる。
【０４０６】
そこで、実空間点選択部１０１は、多層視差マップに登録されている画素pの位置と視差dとから、その視差dがある画素pに対応する実空間点（画素pに映り得る物体の実空間内の位置）を求める。
【０４０７】
いま、多層視差マップに登録されている視差dがある実空間点（の集合）を、視差登録位置ということとすると、実空間点選択部１０１は、視差登録位置を構成する実空間点を、順次、注目実空間点に選択する。
【０４０８】
なお、図２８において、THETAは、基準画像（基準カメラユニット２１1）の水平方向の画角を表す。視差登録位置は、仮想レンズの光軸を中心として、画角THETAで広がる範囲に存在する。
【０４０９】
仮想レンズの光軸は、基準画像の中心を通る、基準画像に垂直な直線（基準カメラユニット２１1の光軸）である。
【０４１０】
図２９は、多層視差マップを用いて、実空間点を求める求め方を説明する図である。
【０４１１】
いま、多層視差マップを表現する多層視差マップ空間として、基準画像の水平方向及び垂直方向の位置を、x軸及びy軸とするとともに、視差情報生成部３１（図３）で得られる視差の取り得る値を、z軸をとする３次元空間を用いることとする。
【０４１２】
かかる多層視差マップ空間においては、位置(x,y)の画素の視差dは、位置(x,y,d)に、視差を登録する旨の視差フラグをたてることで登録することができる。
【０４１３】
ここで、本実施の形態では、多層視差マップに登録し得る視差の最大値を、Dmaxと表すとともに、最小値を、Dminと表すこととする。この場合、多層視差マップ空間のz軸方向のサイズは、Dmax-Dmin+1となる。なお、Dminとしては、例えば、0（無限遠）を採用することができる。
【０４１４】
また、多層視差マップに登録されている視差dは、例えば、式z=37.4/dに従って、仮想レンズの主点（基準カメラユニット２１1）からの奥行き方向の実空間内の距離zに変換することができる。
【０４１５】
なお、視差dを、距離zに変換する式は、式z=37.4/dに限定されるものではなく、基準カメラユニット２１1の解像度や、画角、焦点距離によって異なる。
【０４１６】
いま、基準画像の、x座標がXpicのある画素pを、注目画素pとして注目すると、図２９の多層視差マップでは、注目画素pに対して、視差D1とD2とが登録されている。
【０４１７】
実空間点選択部１０１は、注目画素pに対する視差D1及びD2を、順次、注目する注目視差に選択し、その注目視差がある注目画素pに対応する実空間点を、注目実空間点に選択する。
【０４１８】
いま、視差D1及びD2のうちの、視差D1が、注目視差に選択されたこととする。
【０４１９】
また、基準画像（視差マップ）の水平方向(x軸方向）の画素数を、widthと表すとともに、基準画像の水平方向の画角を、THEATAと表すこととする。さらに、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置（距離）を、x1と表すこととする。
【０４２０】
実空間点選択部１０１は、まず、注目視差D1を、実空間の距離z=z1に変換する。
【０４２１】
そして、実空間点選択部１０１は、注目視差D1に対応する距離z=z1を用いて、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置（距離）x1を求める。
【０４２２】
すなわち、実空間における距離x1と、多層視差マップ空間における画素数Xpic-width/2とは、対応する。さらに、実空間における、水平方向の画角の1/2を表す距離z1×tan(THEATA/2)と、多層視差マップ空間における、水平方向の画角の1/2を表す画素数width/2とは、対応する。
【０４２３】
x1とXpic-width/2との比と、z1×tan(THEATA/2)とwidth/2との比とは、一致するので、式x1:Xpic-width/2=z1×tan(THEATA/2):width/2が成り立つ。
【０４２４】
したがって、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置x1は、式x1=((Xpix-width/2)(z1×tan(THEATA/2))/(width/2)に従って求めることができる。
【０４２５】
実空間点選択部１０１は、以上のようにして、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置x1を求める。
【０４２６】
実空間点選択部１０１は、同様にして、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのy軸方向の位置を求め、これにより、注目視差D1がある注目画素pに対応する実空間点P1（のxyz座標）を求める。
【０４２７】
視差D2がある画素pに対応する実空間点も、同様にして求めることができる。
【０４２８】
図３０は、図２７の光線生成部１０２で行われる光線の生成の例を説明する図である。
【０４２９】
すなわち、図３０は、仮想レンズを正面（被写体側）から見た正面図である。
【０４３０】
光線生成部１０２は、仮想レンズ（の合成開口）を含むエリアをレンズエリアとして設定する。
【０４３１】
図３０では、仮想レンズを囲む、例えば、最小の矩形のエリアが、レンズエリアに設定されている。
【０４３２】
光線生成部１０２は、レンズエリア（に囲まれた仮想レンズ）を、小領域であるレンズエリアユニットに分割し、実空間点を点光源とみなして、その点光源としての実空間点から、各レンズエリアユニット（の、例えば、中心）に入射する光線の生成、すなわち、実空間点から、各レンズエリアユニットに入射する光線としての直線の算出を行う。
【０４３３】
図３０では、レンズエリアは、水平方向がLx個で、垂直方向がLy個の、合計で、Lx×Ly個のレンズエリアユニットに分割されている。
【０４３４】
この場合、光線生成部１０２では、１つの実空間点について、その実空間点と、Lx×Ly個のレンズエリアユニットのそれぞれとを結ぶLx×Ly本の直線が、仮想レンズに入射する光線として、密に生成される。
【０４３５】
ここで、水平方向又は垂直方向に隣接するレンズエリアユニット（の中心）どうしの距離を、実空間点から発せられる２つの光線の角度を区別することができる角度分解能ということとする。
【０４３６】
例えば、合成開口（仮想レンズの直径）が40mmであり、レンズエリアの水平方向及び垂直方向のレンズエリアユニットの数Lx及びLyが21個であるとすると、角度分解能は、40/21mmである。
【０４３７】
また、レンズエリアを、レンズエリアユニットに分割する水平方向の直線と垂直方向の直線との交点である格子点を、格子点LP#i(i=1,2,...,(Lx+1)(Ly+1))とも記載することとする。
【０４３８】
水平方向又は垂直方向に隣接する格子点LP#iとLP#jとの距離は、角度分解能を表す。
【０４３９】
図３１は、図２７の衝突判定部１０３で行われる衝突判定と、輝度割り当て部１０４で行われる光線への輝度の割り当てとを説明する図である。
【０４４０】
すなわち、図３１は、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、上から見た場合の概略の平面図である。
【０４４１】
衝突判定部１０３は、光線生成部１０３からの、実空間点から発せられ、仮想レンズのLx×Ly個のレンズエリアユニットに向かうLx×Ly本の光線が、仮想レンズに入射するまでに、実空間内の物体に衝突するかどうかを判定する衝突判定を、多層視差マップを用いて行う。
【０４４２】
すなわち、衝突判定部１０３は、実空間点から発せられ、仮想レンズのレンズエリアユニットに向かう光線が、そのレンズエリアユニットに入射するまでに視差登録位置と衝突（交わる）場合、光線が衝突すると判定する。
【０４４３】
一方、衝突判定部１０３は、実空間点から発せられ、仮想レンズのレンズエリアユニットに向かう光線が、そのレンズエリアユニットに入射するまでに視差登録位置と衝突しない場合、光線が衝突しないと判定する。
【０４４４】
そして、衝突判定部１０３は、衝突判定の結果残った光線、すなわち、衝突しないと判定された光線を、輝度割り当て部１０４に供給する。
【０４４５】
なお、衝突判定部１０３は、衝突判定の結果残った光線には、その光線を発した実空間点(x,y,z)に対応する視差d=Dを割り当て、衝突すると判定された光線には、その光線が衝突した視差登録位置に対応する視差d=D'を割り当てる。
【０４４６】
衝突判定の後、ある実空間点(x,y,z)から発せられた光線が、物体に衝突せずに、仮想レンズに入射するかどうかは、その光線に割り当てられた視差が、その光線を発した実空間点(x,y,z)の視差に一致するかどうかで認識することができる。
【０４４７】
すなわち、光線に割り当てられた視差が、その光線を発した実空間点(x,y,z)の視差に一致する場合、その光線は、物体に衝突せずに、仮想レンズに入射する。一方、光線に割り当てられた視差が、その光線を発した実空間点(x,y,z)の視差に一致しない場合、その光線は、光線に割り当てられた視差に対応する奥行きの位置で、物体に衝突し、仮想レンズには届かない。
【０４４８】
輝度割り当て部１０４は、多層視差マップと、撮影画像HD#iとを用いて、衝突判定部１０３からの、衝突判定の結果残った光線に、輝度を割り当てる。
【０４４９】
すなわち、輝度割り当て部１０４は、７視点の撮影画像HD1ないしHD7のそれぞれについて、衝突判定の結果残った光線を発する実空間点(x,y,z)に対応する対応画素を求める。
【０４５０】
さらに、輝度割り当て部１０４は、視差マップを参照することにより、撮影画像HD1ないしHD7の対応画素の中で、実空間点(x,y,z)の奥行きzに対応する視差d=Dと一致する視差が登録されている画素を、輝度の割り当てに用いる光線輝度割り当て用画素として検出する。
【０４５１】
そして、輝度割り当て部１０４は、光線輝度割り当て用画素の画素値としてのR(Red),G(Green),B(Blue)の値を用いて、光線に輝度を割り当てる。
【０４５２】
すなわち、輝度割り当て部１０４は、例えば、光線輝度割り当て用画素の画素値（R,G,Bの値）の平均値を、光線の輝度として、光線に割り当てる。
【０４５３】
以上のように、実空間点(x,y,z)から発せられた光線が、物体に衝突し、仮想レンズに入射しない場合、衝突判定部１０３において、その光線に対し、その光線が衝突した視差登録位置に対応する視差が割り当てられる。
【０４５４】
一方、実空間点(x,y,z)から発せられた光線が、物体に衝突せずに、仮想レンズに入射する場合、衝突判定部１０３において、その光線に対し、その光線を発した実空間点(x,y,z)に対応する視差が割り当てられる。
【０４５５】
さらに、物体に衝突せずに、仮想レンズに入射する光線に対しては、輝度割り当て部１０４において、輝度としての画素値（R,G,Bの値）が割り当てられる。
【０４５６】
図３２は、図２７の入射光線再現部３６が行う入射光線再現処理で得られる最大数のデータを模式的に示す図である。
【０４５７】
いま、基準画像HD1が、N個の画素pix1，pix2，...，pix#Nで構成され、視差マップ（多層視差マップ）に登録し得る視差dが、最小値Dminから最大値Dmaxまでの、1画素刻みの、DPN=Dmax-Dmin+1個の整数値であるとする。
【０４５８】
この場合、入射光線再現処理では、最大で、図３２に示すように、N個の画素pix1，pix2，...，pix#Nのうちの任意の画素pix#nと、DPN個の視差Dmin，Dmin+1，...，Dmaxのうちの任意の視差dとの組み合わせ（pix#n，d）に対応する実空間点に対して、画素値テーブルが登録される。
【０４５９】
組み合わせ（pix#n，d）に対応する実空間点に対する画素値テーブルには、図３２に示すように、組み合わせ（pix#n，d）に対応する実空間点から、レンズエリア（図３０）のLx×Ly個のレンズエリアユニットのうちの、左からi番目で、上からj番目のレンズエリアユニット(i,j)に向かう光線に割り当てられた視差Dが登録される。
【０４６０】
さらに、組み合わせ（pix#n，d）に対応する実空間点から、レンズエリアユニット(i,j)に向かう光線に、輝度としてのR,G,Bの値が割り当てられている場合には、組み合わせ（pix#n，d）に対応する実空間点に対する画素値テーブルには、その輝度としてのR,G,Bの値が登録される。
【０４６１】
図３３は、図２７の入射光線再現部３６が行う入射光線再現処理の例を説明するフローチャートである。
【０４６２】
ステップＳ１０１において、入射光線再現部３６（図２７）の実空間点選択部１０１、衝突判定部１０３、及び、輝度割り当て部１０４は、視差情報生成部３１から、視差マップを取得し、処理は、ステップＳ１０２に進む。
【０４６３】
ステップＳ１０２では、実空間点選択部１０１は、基準画像HD1の画素のうちの、まだ、注目画素に選択していない画素の１つを、注目画素に選択し、処理は、ステップＳ１０３に進む。
【０４６４】
ステップＳ１０３では、実空間点選択部１０１は、視差情報生成部３１からの視差マップ（多層視差マップ）を参照し、注目画素に登録されている視差のうちの、まだ、注目視差に選択していない視差の１つを、注目視差に選択し、処理は、ステップＳ１０４に進む。
【０４６５】
ステップＳ１０４では、実空間点選択部１０１は、注目視差の注目画素（注目視差がある注目画素）に対応する実空間点(x,y,z)=(x0,y0,z0)を、注目実空間点に選択し、光線生成部１０２に供給して、処理は、ステップＳ１０５に進む。
【０４６６】
ステップＳ１０５では、光線生成部１０２は、仮想レンズのレンズエリアユニット（図３０）のうちの、まだ、注目レンズエリアユニットに選択していないレンズエリアユニットの１つを、注目レンズエリアユニットに選択し、処理は、ステップＳ１０６に進む。
【０４６７】
ステップＳ１０６では、光線生成部１０２は、注目実空間点(x0,y0,z0)から、注目レンズエリアユニットの中心点(lx,ly,0)に向かう光線（を表す直線式）を、注目光線として生成し、衝突判定部１０３に供給して、処理は、ステップＳ１０７に進む。
【０４６８】
ここで、注目実空間点(x0,y0,z0)から、注目レンズエリアユニットの中心点(lx,ly,0)に向かう光線としての直線は、式(x-lx)/(x0-lx)=(y-ly)/(y0-ly)=z/z0で表される。
【０４６９】
ステップＳ１０７では、衝突判定部１０３は、光線生成部１０２からの注目光線を対象とした衝突判定を行い、処理は、ステップＳ１０８に進む。
【０４７０】
ステップＳ１０８では、輝度割り当て部１０４は、衝突判定部１０３での衝突判定の判定結果（衝突判定結果）に基づき、注目光線が衝突するかどうかを判定する。
【０４７１】
ステップＳ１０８において、注目光線が衝突しないと判定された場合、すなわち、衝突判定部１０３によるステップＳ１０７での衝突判定において、注目光線に、注目実空間点に対応する視差（注目視差）に等しい視差が割り当てられた場合、処理は、ステップＳ１０９に進む。
【０４７２】
ステップＳ１０９では、輝度割り当て部１０４は、注目光線に輝度を割り当てる光線輝度割り当てを行い、集光処理部３８に供給して、処理は、ステップＳ１１０に進む。
【０４７３】
一方、ステップＳ１０８において、注目光線が衝突すると判定された場合、すなわち、衝突判定部１０３によるステップＳ１０７での衝突判定において、注目光線に、注目実空間点に対応する視差（注目視差）に等しくない視差が割り当てられた場合、処理は、ステップＳ１０９をスキップして、ステップＳ１１０に進む。
【０４７４】
したがって、注目光線が衝突する場合、その注目光線については、ステップＳ１０９の光線輝度割り当ては行われない。
【０４７５】
ステップＳ１１０では、光線生成部１０２は、仮想レンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したかどうかを判定する。
【０４７６】
ステップＳ１１０において、まだ、仮想レンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択していないと判定された場合、処理は、ステップＳ１０５に戻り、以下、同様の処理が繰り返される。
【０４７７】
また、ステップＳ１１０において、仮想レンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したと判定された場合、処理は、ステップＳ１１１に進む。
【０４７８】
ステップＳ１１１では、実空間点選択部１０１は、多層視差マップにおいて注目画素に登録されている視差のすべてを、注目視差に選択したかどうかを判定する。
【０４７９】
ステップＳ１１１において、まだ、多層視差マップにおいて注目画素に登録されている視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ１０３に戻り、以下、同様の処理が繰り返される。
【０４８０】
また、ステップＳ１１１において、多層視差マップにおいて注目画素に登録されている視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ１１２に進む。
【０４８１】
ステップＳ１１２では、実空間点選択部１０１は、基準画像HD1の画素のすべてを、注目画素に選択したかどうかを判定する。
【０４８２】
ステップＳ１１２において、まだ、基準画像HD1の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ１０２に戻り、以下、同様の処理が繰り返される。
【０４８３】
また、ステップＳ１１２において、基準画像HD1の画素のすべてを、注目画素に選択したと判定された場合、入射光線再現処理は終了する。
【０４８４】
図３４は、図３３のステップＳ１０７の衝突判定の処理の例を説明するフローチャートである。
【０４８５】
ステップＳ１２１において、衝突判定部１０３は、衝突判定用の判定用視差dを、初期値としての最大値Dmaxに設定し、処理は、ステップＳ１２２に進む。
【０４８６】
ステップＳ１２２では、衝突判定部１０３は、判定用視差dに対応する奥行き（距離）Zを求め、処理は、ステップＳ１２３に進む。
【０４８７】
ステップＳ１２３では、衝突判定部１０３は、判定用視差dに対応する奥行きZが、注目実空間点(x0,y0,z0)の奥行きz0に等しいかどうかを判定する。
【０４８８】
ステップＳ１２３において、判定用視差dに対応する奥行きZが、注目実空間点(x0,y0,z0)の奥行きz0に等しくないと判定された場合、処理は、ステップＳ１２４に進む。
【０４８９】
ステップＳ１２４以降では、注目実空間点(x0,y0,z0)から注目レンズエリアユニットの中心点(lx,ly,0)に向かう注目光線が、判定用視差dに対応する奥行きZで、物体に衝突するかどうかが確認される。
【０４９０】
すなわち、ステップＳ１２４では、衝突判定部１０３は、式z=Zで表される平面、すなわち、奥行きZの位置にある光軸に垂直な平面を、衝突判定用の平面としての判定層に設定し、処理は、ステップＳ１２５に進む。
【０４９１】
ここで、視差dに対応する奥行き（距離）Zにある光軸に垂直な、式z=Zで表される平面を、以下、z=Zの視差平面ともいう。ステップＳ１２４では、z=Zの視差平面が、判定層に設定される。
【０４９２】
ステップＳ１２５では、衝突判定部１０３は、注目光線と判定層との交点(Px,Py,Z)を求め、処理は、ステップＳ１２６に進む。
【０４９３】
ここで、図３３で説明したように、注目光線としての直線は、(x-lx)/(x0-lx)=(y-ly)/(y0-ly)=z/z0で表される。
【０４９４】
したがって、注目光線のx座標とy座標とは、それぞれ、式x=z/z0(x0-lx)+lxと、式y=z/z0(y0-ly)+lyとで表される。
【０４９５】
式x=z/z0(x0-lx)+lx、及び、式y=z/z0(y0-ly)+lyのzに、Zを代入することで、式z=Zで表される判定層上の注目光線のx座標及びy座標、すなわち、注目光線と判定層との交点(Px,Py,Z)のx座標Px及びy座標Pyを求めることができる。
【０４９６】
したがって、x座標Px及びy座標Pyは、それぞれ、式x=Z/z0(x0-lx)+lx、及び、式y=Z/z0(y0-ly)+lyに従って求めることができる。
【０４９７】
ステップＳ１２６では、衝突判定部１０３は、注目光線と判定層との交点(Px,Py,Z)に対応する基準画像の画素（以下、交点画素ともいう）を求め、処理は、ステップＳ１２７に進む。
【０４９８】
ステップＳ１２７では、衝突判定部１０３は、多層視差マップにおいて、交点画素（の位置）に、判定用視差dが登録されているかどうか（交点画素に登録されている視差が判定用視差dに等しいかどうか）を判定する。
【０４９９】
ステップＳ１２７において、交点画素に、判定用視差dが登録されていないと判定された場合、すなわち、注目光線と判定層との交点(Px,Py,Z)に、物体がなく、注目光線が、交点(Px,Py,Z)で衝突しない場合、処理は、ステップＳ１２８に進む。
【０５００】
ステップＳ１２８では、衝突判定部１０３は、判定用視差dを1だけデクリメントして（減少させて）、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
【０５０１】
ここで、ステップＳ１２８において、判定用視差dがデクリメントされることで、判定層は、視差の最大値Dmaxに対応する、仮想レンズに最も近い位置から、注目実空間点(x0,y0,z0)に向かって移動していく。
【０５０２】
また、ステップＳ１２７において、交点画素に、判定用視差dが登録されていると判定された場合、すなわち、注目光線と判定層との交点(Px,Py,Z)に、物体があり、注目光線が、交点(Px,Py,Z)で衝突する場合、処理は、ステップＳ１２９に進む。
【０５０３】
ステップＳ１２９では、衝突判定部１０３は、注目光線が、仮想レンズに到達する前に、物体に衝突する旨の衝突判定結果を表すために、注目光線に、判定用視差dを割り当て、処理はリターンする。
【０５０４】
一方、ステップＳ１２３において、判定用視差dに対応する奥行きZが、注目実空間点(x0,y0,z0)の奥行きz0に等しいと判定された場合、すなわち、視差の最大値Dmaxに対応する、仮想レンズに最も近い位置から、注目実空間点(x0,y0,z0)までの間、注目光線が、物体に衝突しなかった場合、処理は、ステップＳ１３０に進む。
【０５０５】
ステップＳ１３０では、衝突判定部１０３は、注目光線が、仮想レンズに到達するまでに、物体に衝突しない旨の衝突判定結果を表すために、注目光線に、注目視差（この時点での判定用視差dでもある）、すなわち、注目実空間点(x0,y0,z0)に対応する視差dを割り当て、処理はリターンする。
【０５０６】
なお、図３４では、視差の最大値Dmaxを初期値とするとともに、注目実空間点(x0,y0,z0)に対応する視差をゴールとして、判定用視差を、初期値からゴールとなる視差までデクリメントすることとしたが、判定用視差は、視差の最大値Dmaxから、注目実空間点(x0,y0,z0)に対応する視差までの範囲に亘り、どのように値を変えても良い。
【０５０７】
図３５は、図３３のステップＳ１０９の光線輝度割り当ての処理の例を説明するフローチャートである。
【０５０８】
ステップＳ１３１において、輝度割り当て部１０４は、７視点の撮影画像HD1ないしHD7のそれぞれから、注目実空間点(x0,y0,z0)に対応する対応画素を検出し、処理は、ステップＳ１３２に進む。
【０５０９】
ステップＳ１３２では、輝度割り当て部１０４は、例えば、撮影画像HD1ないしHD7それぞれの視差マップを参照することにより、撮影画像HD1ないしHD7の対応画素の中で、注目実空間点(x0,y0,z0)の奥行きz0に対応する視差d、すなわち、注目視差と一致する視差が登録されている画素を、輝度の割り当てに用いる光線輝度割り当て用画素として検出し、処理は、ステップＳ１３３に進む。
【０５１０】
ステップＳ１３３では、輝度割り当て部１０４は、例えば、光線輝度割り当て用画素の画素値（R,G,Bの値）の平均値を、光線の輝度として、注目光線に割り当て、処理はリターンする。
【０５１１】
以上のように、入射光線再現部３６（図２７）では、光線生成部１０２において、多層マップに視差が登録されている実空間点、つまり、撮影装置１１が撮影を行う実空間に存在する物体上の点から、その撮影装置１１を構成する７視点のカメラユニット２１1ないし２１7を合成開口とする仮想レンズに入射する光線としての直線が生成される。すなわち、入射光線再現部３６では、実空間点から仮想レンズに入射する光線として、その光線を幾何学的に記述する直線が求められる。
【０５１２】
さらに、入射光線再現部３６では、衝突判定部１０３において、光線が、仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定が行われる。
【０５１３】
そして、入射光線再現部３６では、輝度割り当て部１０４において、カメラユニット２１1ないし２１7で撮影された７視点の撮影画像HD1ないしHD7を用いて、衝突判定の結果残った光線に輝度が割り当てられる。
【０５１４】
したがって、７視点の撮影画像HD1ないしHD7を用いて、仮想レンズ、ひいては、エミュレーションレンズに入射する光線群を再現することができる。
【０５１５】
すなわち、エミュレーションレンズを構成する、例えば、いわゆる前玉のレンズを、仮想レンズに対応させることで、仮想レンズに入射する光線群は、エミュレーションレンズに入射する光線群ともなる。したがって、仮想レンズに入射する光線群を再現することにより、エミュレーションレンズに入射する光線群を再現することができる。
【０５１６】
その結果、エミュレーションレンズに入射する光線群が、そのエミュレーションレンズで集光されることで生じるぼけ味を、後述する集光処理で再現することが可能となる。
【０５１７】
＜レンズ情報の生成＞
【０５１８】
図３６は、図３のエミュレーションレンズ情報生成部３７で生成されるレンズ情報を説明する図である。
【０５１９】
レンズ情報（エミュレーションレンズ情報）としては、PSF強度分布、像面ピッチ、PSF角度成分情報、及び、像面シフト情報がある。
【０５２０】
PSF強度分布は、エミュレーションレンズの、点光源から発せられる光線に対する応答を表す。
【０５２１】
像面ピッチは、PSF強度分布のスケールを表す。
【０５２２】
PSF角度成分情報は、点光源から発せられる光線が、エミュレーションレンズを介して到達するPSF強度分布の位置を表す。
【０５２３】
像面シフト情報は、実空間点から発せられる光線のうちの、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置である像面シフト位置を表す。
【０５２４】
図３７は、レンズ情報を生成する対象となる実空間点とフォーカス位置とを説明する図である。
【０５２５】
すなわち、図３７は、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略の側面図である。
【０５２６】
レンズ情報は、エミュレーションレンズを通過する光線を規定する情報であり、その光線は、実空間点から発せられる。
【０５２７】
また、エミュレーションレンズを通過する光線は、仮想センサ上に集光されるが、光線の集光の仕方は、エミュレーションレンズのフォーカス位置（焦点距離）fによって異なる。
【０５２８】
したがって、レンズ情報は、エミュレーションレンズのフォーカス位置fごとに、最大で、画像処理装置１２（図３）で扱うべき実空間点の最大数（以下、最大実空間点数ともいう）に等しい数だけ生成することができる。
【０５２９】
いま、図３２で説明したように、基準画像HD1が、N個の画素pix1，pix2，...，pix#Nで構成され、視差マップ（多層視差マップ）に登録し得る視差dが、最小値Dminから最大値Dmaxまでの、1画素刻みの、DPN=Dmax-Dmin+1個の整数値であるとする。
【０５３０】
この場合、最大実空間点数は、N×DPN個になる。
【０５３１】
また、いま、エミュレーションレンズのフォーカス位置fとして、f1，f2，...，f#FmaxのFmax個の位置を取り得ることとする。
【０５３２】
この場合、レンズ情報は、最大で、Fmax×N×DPN個だけ生成することができる。
【０５３３】
ここで、本実施の形態では、仮想センサのサイズ（スケール）は、エミュレーションレンズに基づいて規定する。
【０５３４】
例えば、エミュレーションレンズが、35mmフルサイズのイメージセンサ用の光学レンズである場合、そのようなエミュレーションレンズに基づいて、仮想センサのサイズは、35mmフルサイズに設定される。すなわち、仮想センサの横及び縦のサイズは、例えば、それぞれ、36mm及び24mmに設定される。
【０５３５】
さらに、本実施の形態では、仮想センサのピクセルピッチは、基準画像の画素数（解像度）に基づいて、仮想センサが、基準画像の画素数と同一の画素数（又は、基準画像の画素数未満の画素数）を有するように規定する。
【０５３６】
例えば、エミュレーションレンズが、35mmフルサイズのイメージセンサ用の光学レンズであり、基準画像の水平方向の画素数が、Nx画素である場合、上述のように仮想センサの横のサイズは36mmであるので、仮想センサのピクセルピッチは、36mm/Nxとなる。
【０５３７】
なお、ある実空間点(X,Y,Z)は、奥行きz=Zに対応する視差d=Dがある、基準画像のある画素に対応する。
【０５３８】
また、仮想センサのピクセルピッチは、基準画像の画素数（解像度）に基づいて規定するので、仮想センサの画素は、基準画像の画素に対応させることができる。仮想センサが、基準画像の画素数と同一の画素数を有する場合には、基準画像の画素と、その画素と同一の位置にある仮想センサの画素とが対応する。
【０５３９】
さらに、基準画像のある画素の視差を、そのまま、その画素に対応する仮想センサの画素の視差として採用すると、実空間点(X,Y,Z)は、奥行きz=Zに対応する視差d=Dがある、仮想センサのある画素に対応する。
【０５４０】
この場合、ある実空間点に対するレンズ情報は、その実空間点に対応する仮想センサの画素（位置）と視差との組み合わせに対するレンズ情報であるとみなすことができる。
【０５４１】
図３８は、ある光学レンズのPSF強度分布の例を示す図である。
【０５４２】
図３８において、水平方向は、光学レンズのフォーカス位置fを表し、垂直方向は、光学レンズからの光が結像する結像面上の結像位置の、光学中心からの距離である像高を表す。
【０５４３】
ここで、結像面は、仮想センサの面に相当する。また、図３８の水平方向については、左方向は、光学レンズに対して近いフォーカス位置fを表し、右方向は、光学レンズに対して遠いフォーカス位置fを表す。さらに、図３８の垂直方向については、上方向は、小さい像高を表し、下方向は、大きい像高を表す。
【０５４４】
図３８に示すように、PSF強度分布は、光学レンズのフォーカス位置fによって異なる。
【０５４５】
また、PSF強度分布は、結像位置の像高、すなわち、仮想センサの平面上の位置によって、異なる。
【０５４６】
さらに、PSF強度分布は、光学レンズの主点から被写体（ここでは、点光源）までの距離、すなわち、被写体の視差によっても、異なる。
【０５４７】
したがって、PSF強度分布は、例えば、フォーカス位置fと、仮想センサの画素（の位置）と、被写体の視差との組によって異なる。
【０５４８】
図３９は、PSF強度分布を生成する方法の例を説明する図である。
【０５４９】
図３９は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
【０５５０】
エミュレーションレンズ情報生成部３７は、最大で、Fmax個のフォーカス位置fそれぞれについて、最大実空間点数N×DPNの実空間点、すなわち、仮想センサを構成する画素の最大数Nと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する実空間点に対して、PSF強度分布を生成する。
【０５５１】
ここで、仮想センサを構成する画素の最大数Nは、基準画像HD1を構成する画素pix1ないしpix#Nの数Nに等しい。図３７で説明したように、本実施の形態では、説明を簡単にするため、仮想センサは、基準画像HD1と同様に、画素pix1ないしpix#NのN個で構成されることとする。
【０５５２】
エミュレーションレンズ情報生成部３７は、実空間点に対して、点光源を設定し、その実空間点に設定した点光源から発せられる光線を追跡する光線追跡を、エミュレーションレンズのレンズ設計データを用いて行うことにより、PSF強度分布を生成する。
【０５５３】
光線追跡では、点光源から発せられる光線を、入射ベクトルとして、その入射ベクトルと、エミュレーションレンズの最も被写体側の屈折面との交点が算出され、その交点から入射する光線としての入射ベクトルが屈折面で屈折されて射出されるベクトルが、射出ベクトルとして算出される。
【０５５４】
さらに、光線追跡では、射出ベクトルを、次の屈折面への入射ベクトルとして、その入射ベクトルと、次の屈折面との交点が算出される。
【０５５５】
光線追跡では、以上の処理が、エミュレーションレンズの最後の屈折面まで繰り返される。
【０５５６】
そして、エミュレーションレンズ情報生成部３７では、エミュレーションレンズの最後の屈折面から射出された射出ベクトルを、仮想センサ上で観測し、その観測の結果得られる射出ベクトルとしての光線の光強度を記録することで、PSF強度分布が生成される。
【０５５７】
いま、エミュレーションレンズ情報生成部３７は、実空間点（の点光源）から発せられる主光線、すなわち、実空間点から発せられる光線のうちの、エミュレーションレンズの主点Oを通る光線である主光線が仮想センサに到達する位置を中心（重心）とする矩形のエリアを、分布エリアということとする。
【０５５８】
分布エリアとしては、例えば、実空間点から発せられる主光線を中心とする矩形のエリアであって、実空間点から発せられる光線がエミュレーションレンズを介して到達する仮想センサ上の点を囲む最小の（又は最小に近い）矩形のエリアを採用することができる。さらに、分布エリアは、横×縦がPX×PYの解像度で、情報の記録が可能なエリアになっていることとする。PX及びPYとしては、例えば、255を採用することができる。
【０５５９】
エミュレーションレンズ情報生成部３７は、PSF強度分布となる光強度を、分布エリアに、横×縦がPX×PYの解像度で記録することで、PSF強度分布を生成する。
【０５６０】
図４０は、エミュレーションレンズ情報生成部３７で生成されるPSF強度分布を模式的に示す図である。
【０５６１】
図３９で説明したように、PSF強度分布は、最大で、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される。
【０５６２】
いま、例えば、図４０に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対するPSF強度分布を登録したテーブルを、フォーカス位置fの強度分布テーブルということとする。
【０５６３】
エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれの強度分布テーブルが生成される。
【０５６４】
強度分布テーブルに登録されるPSF強度分布は、図３９で説明したように、分布エリアに、横×縦がPX×PYの解像度で記録されている。
【０５６５】
したがって、PSF強度分布を配列に記録する場合、そのPSF強度分布の配列の数は、最大で、Fmax×N×DPN×PX×PYになる。
【０５６６】
ここで、分布エリアにおいて、PSF強度分布の１の光強度が記録される単位（PSF強度分布のサンプリングの単位）を、分布エリアユニットということとする。分布エリアユニットは、例えば、正方形のエリアとして観念することができる。
【０５６７】
分布エリアは、図３９で説明したように、実空間点から発せられる光線が到達する仮想センサ上の点を囲む最小の矩形のエリアであるため、可変のサイズになっている。
【０５６８】
また、図３８で説明したように、PSF強度分布は、フォーカス位置fや、結像位置の像高（実空間点（点光源）と光軸との距離）、被写体（実空間点（点光源））までの距離（視差）によって異なる。
【０５６９】
そして、そのようなPSF強度分布を囲む最小の分布エリアのサイズ（スケール）も、PSF強度分布ごとに異なる。
【０５７０】
集光処理では、後述するように、サイズの異なる分布エリアに記録されたPSF強度分布に応じた、仮想センサ上に結像する光線の結像値を加算することで、エミュレーション画像が生成される。
【０５７１】
PSF強度分布に応じた結像値を加算するにあたっては、サイズの異なる分布エリアに記録されたPSF強度分布に応じた結像値の分布のスケールを、仮想センサのスケールに一致させる必要がある。そして、そのためには、PSF強度分布のスケールを表す情報が必要となる。
【０５７２】
そこで、エミュレーションレンズ情報生成部３７は、PSF強度分布が記録された分布エリアを構成する分布エリアユニットのサイズ（ピッチ）である像面ピッチを、PSF強度分布のスケールを表す情報として求める。
【０５７３】
いま、像面ピッチがIPであり、仮想センサの画素ピッチがPPであるとすると、集光処理では、PSF強度分布から求められる光線の結像値の分布が、IP/PP倍に縮小（又は拡大）され、仮想センサ上で加算される。
【０５７４】
なお、PSF強度分布は、可変のサイズではなく、固定のサイズの分布エリアに、PX×PYの解像度で記録することができる。
【０５７５】
PSF強度分布を、可変のサイズではなく、固定のサイズの分布エリアとする場合には、像面ピッチは、その固定のサイズの１つだけで済む。
【０５７６】
但し、分布エリアの固定のサイズは、少なくとも、分布が、仮想センサ上の主光線の到達位置から最も広がるPSF強度分布に合わせる必要が生じるので、分布が狭いPSF強度分布の解像度が劣化する。
【０５７７】
図４１は、エミュレーションレンズ情報生成部３７で生成される像面ピッチを模式的に示す図である。
【０５７８】
像面ピッチは、１のPSF強度分布ごとに生成される。
【０５７９】
いま、例えば、図４１に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対するPSF強度分布の像面ピッチを登録したテーブルを、フォーカス位置fの像面ピッチテーブルということとする。
【０５８０】
エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれの像面ピッチテーブルが生成される。
【０５８１】
したがって、像面ピッチを配列に記録する場合、その像面ピッチの配列の数は、最大で、Fmax×N×DPNになる。
【０５８２】
図４２は、PSF角度成分情報を生成する方法の例を説明する図である。
【０５８３】
すなわち、図４２は、エミュレーションレンズを正面（被写体側）から見た正面図である。
【０５８４】
エミュレーションレンズ情報生成部３７は、例えば、図３０で説明した光線生成部１０２が光線の生成の際に、仮想レンズに対して行うのと同様の処理を、エミュレーションレンズに対して行う。
【０５８５】
すなわち、エミュレーションレンズ情報生成部３７は、エミュレーションレンズの、例えば、前玉を含むエリアをレンズエリアとして設定する。
【０５８６】
図４２では、エミュレーションレンズの前玉を囲む、例えば、最小の矩形のエリアが、レンズエリアに設定されている。
【０５８７】
エミュレーションレンズ情報生成部３７は、レンズエリア（で囲まれるエミュレーションレンズ）を、小領域であるレンズエリアユニットに分割する。そして、エミュレーションレンズ情報生成部３７は、実空間点を点光源とみなして、その点光源としての実空間点から、各レンズエリアユニットに入射する光線が、エミュレーションレンズを介して到達するPSF強度分布の位置を表すPSF角度成分情報を求める。
【０５８８】
図４２では、図３０の仮想レンズの場合と同様に、レンズエリアは、水平方向がLx個で、垂直方向がLy個の、合計で、Lx×Ly個のレンズエリアユニットに分割されている。
【０５８９】
図４２でも、図３０の場合と同様に、エミュレーションレンズを囲むレンズエリアを、レンズエリアユニットに分割する水平方向の直線と垂直方向の直線との交点である格子点を、格子点LP#i(i=1,2,...,(Lx+1)(Ly+1))とも記載する。
【０５９０】
ここで、本実施の形態では、説明を簡単にするため、径が、仮想レンズ（の合成開口）とエミュレーションレンズの前玉（の開口）とで一致しており、レンズエリアのサイズ、及び、レンズエリアの分割数Lx×Lyも、仮想レンズとエミュレーションレンズとで一致していることとする。
【０５９１】
なお、集光処理は、エミュレーションレンズに入射する光線を用いて行われるため、仮想レンズの径が、エミュレーションレンズの径以上の径であれば良い。
【０５９２】
また、仮想レンズに入射する光線と、エミュレーションレンズに入射する光線とを対応させるため、仮想レンズのレンズエリアユニットと、エミュレーションレンズのレンズエリアユニットと（のサイズ）は、一致させることとする。
【０５９３】
図４３は、PSF角度成分情報を生成する方法の例を説明する図である。
【０５９４】
図４３は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
【０５９５】
エミュレーションレンズ情報生成部３７は、最大で、Fmax個のフォーカス位置fそれぞれについて、最大実空間点数N×DPNの実空間点、すなわち、仮想センサを構成する画素の最大数Nと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する実空間点に対して、PSF角度成分情報を生成する。
【０５９６】
エミュレーションレンズ情報生成部３７は、実空間点（の点光源）から発せられ、エミュレーションレンズの格子点LP#iに入射する光線が、仮想センサに到達する到達点AP#iを求める。
【０５９７】
そして、エミュレーションレンズ情報生成部３７は、仮想センサの到達点AP#iを、PSF強度分布（の分布エリア）上の点に換算した分布エリア到達点AP#i（光線が到達する分布エリアユニット）と、格子点LP#iとの（位置の）セットを、PSF角度成分情報として求める。
【０５９８】
なお、実空間点から発せられ、エミュレーションレンズに入射する光線は、必ずしも、仮想センサに到達するとは限らない。すなわち、エミュレーションレンズに入射する光線の中には、図４３において点線の矢印で示すように、仮想センサに到達しない（仮想センサで受光されない）光線が存在する。
【０５９９】
図４４は、PSF角度成分情報の詳細を説明する図である。
【０６００】
エミュレーションレンズ情報生成部３７は、エミュレーションレンズのレンズエリアユニットの4個の頂点である4個の格子点LP#i1，LP#i2，LP#i3，LP#i4それぞれについて、実空間点から発せられ、格子点LP#i1，LP#i2，LP#i3，LP#i4をそれぞれ通って到達するPSF強度分布上の到達点である分布エリア到達点AP#i1，AP#i2，AP#i3，AP#i4を求める。
【０６０１】
そして、エミュレーションレンズ情報生成部３７は、エミュレーションレンズのレンズエリアユニットの4個の頂点である4個の格子点LP#i1，LP#i2，LP#i3，LP#i4と、分布エリア到達点AP#i1，AP#i2，AP#i3，AP#i4とのセットを、4個の格子点LP#i1，LP#i2，LP#i3，LP#i4を頂点とするレンズエリアユニットを通る光線が到達するPSF強度分布のエリア（位置）を表すPSF角度成分情報として生成する。
【０６０２】
結局、PSF角度成分情報は、エミュレーションレンズの格子点LP#iに入射する光線が、エミュレーションレンズを介して、分布エリア到達点AP#iに到達する場合の、その分布エリア到達点AP#iと、格子点LP#iとのセットになる。
【０６０３】
ここで、レンズエリアユニットを通る光線が到達するPSF強度分布のエリアを、対応エリアともいう。
【０６０４】
図４４では、対応エリアは、分布エリア到達点AP#i1，AP#i2，AP#i3，AP#i4を頂点とする四角形の領域である。
【０６０５】
分布エリア到達点AP#iの粒度（解像度）は、PSF強度分布が記録された分布エリアの分布エリアユニット（図４０）の大きさとなる。すなわち、分布エリア到達点AP#iは、分布エリアの、ある分布エリアユニットの位置を表す。
【０６０６】
図４５は、エミュレーションレンズ情報生成部３７で生成されるPSF角度成分情報を模式的に示す図である。
【０６０７】
PSF角度成分情報は、最大で、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される。
【０６０８】
いま、例えば、図４５に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対するPSF角度成分情報を登録したテーブルを、フォーカス位置fのPSF角度成分情報テーブルということとする。
【０６０９】
エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれのPSF角度成分情報テーブルが生成される。
【０６１０】
PSF角度成分情報テーブルに登録されるPSF角度成分情報は、エミュレーションレンズの格子点LP#iと、その格子点LP#iに入射する光線がエミュレーションレンズを介して到達するPSF強度分布の分布エリア上の分布エリア到達点AP#iとのセットである。
【０６１１】
本実施の形態では、図４２で説明したように、エミュレーションレンズのレンズエリアは、PX×PY個のレンズエリアユニットに分割されるので、格子点LP#iの数は、(Lx+1)(Ly+1)個になる。
【０６１２】
したがって、PSF角度成分情報を配列に記録する場合、そのPSF角度成分情報の配列の数は、最大で、Fmax×N×DPN×(PX+1)×(PY+1)になる。
【０６１３】
図４６は、像面シフト情報を説明する図である。
【０６１４】
図４６は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
【０６１５】
本実施の形態では、仮想レンズと、エミュレーションレンズの前玉とを対応させ、入射光線再現部３６において、仮想レンズに入射する光線を、エミュレーションレンズに入射する光線として再現する。
【０６１６】
しかしながら、エミュレーションレンズは、一般に、複数のレンズを有するため、仮想レンズと、エミュレーションレンズとでは、入射瞳の（z方向の）位置にずれが生じる。
【０６１７】
そのため、仮想センサにおいて、仮想レンズを介して観察される画像と、エミュレーションレンズを介して観察される画像とが異なることがある。
【０６１８】
図４６のＡは、仮想センサにおいて、仮想レンズを介して観察される画像の例を説明する図である。
【０６１９】
図４６のＡでは、仮想レンズに対して、実空間内の物体obj1から発せられる主光線としての直線と、その物体obj2よりも手前側にある物体obj2から発せられる主光線としての直線とが、重なっている。
【０６２０】
そのため、物体obj1の、仮想レンズに対する像面シフト位置、すなわち、物体obj1から発せられる主光線が仮想レンズを介して到達する仮想センサ上の位置である像面シフト位置と、物体obj2の、仮想レンズに対する像面シフト位置とは一致する。
【０６２１】
その結果、仮想センサにおいて、物体obj2は観察されるが、その物体obj2よりも奥側にある物体obj1は、物体obj2に隠れて観察されない。
【０６２２】
図４６のＢは、仮想センサにおいて、エミュレーションレンズを介して観察される画像の例を説明する図である。
【０６２３】
図４６のＢにおいて、物体obj1及びobj2は、図４６のＡの場合と同一の位置にある。
【０６２４】
エミュレーションレンズについては、入射瞳の位置、ひいては、主点が、仮想レンズとの間でずれている。そのため、エミュレーションレンズに対しては、実空間内の物体obj1から発せられる主光線としての直線と、その物体obj2よりも手前側にある物体obj2から発せられる主光線としての直線とが、重ならずにずれる。
【０６２５】
したがって、物体obj1の、エミュレーションレンズに対する像面シフト位置と、物体obj2の、エミュレーションレンズに対する像面シフト位置とが一致しないので、仮想センサにおいて、物体obj2と、その物体obj2よりも奥側にある物体obj1との両方が観察される。
【０６２６】
以上のように、仮想レンズとエミュレーションレンズとの入射瞳の位置のずれに起因して、実空間点の像面シフト位置が、仮想レンズとエミュレーションレンズとで異なる。
【０６２７】
そこで、エミュレーションレンズ情報生成部３７は、エミュレーションレンズの集光を正確に再現すべく、エミュレーションレンズに対する像面シフト位置を表す像面シフト情報を、レンズ情報の1つとして生成する。
【０６２８】
ここで、像面シフト情報は、仮想レンズとエミュレーションレンズとの入射瞳の位置のずれを補正する情報であるということができ、かかる観点からは、像面シフト情報は、入射瞳補正情報であるということができる。
【０６２９】
図４７は、像面シフト情報を生成する方法の例を説明する図である。
【０６３０】
図４７は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
【０６３１】
エミュレーションレンズ情報生成部３７は、最大で、Fmax個のフォーカス位置fそれぞれについて、最大実空間点数N×DPNの実空間点、すなわち、仮想センサを構成する画素の最大数Nと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する実空間点に対して、像面シフト情報を生成する。
【０６３２】
エミュレーションレンズ情報生成部３７は、実空間点（の点光源）から発せられ、エミュレーションレンズの主点を通る主光線が、仮想センサに到達する到達点を、像面シフト位置として、その像面シフト位置を表す、例えば、仮想センサの中心からのｘ軸及びy軸方向の座標（距離）を、像面シフト情報として求める。
【０６３３】
図４８は、エミュレーションレンズ情報生成部３７で生成される像面シフト情報を模式的に示す図である。
【０６３４】
像面シフト情報は、最大で、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される。
【０６３５】
いま、例えば、図４８に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対する像面シフト情報を登録したテーブルを、フォーカス位置fの像面シフト情報テーブルということとする。
【０６３６】
エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれの像面シフト情報テーブルが生成される。
【０６３７】
したがって、像面シフト情報を配列に記録する場合、その像面シフト情報の配列の数は、最大で、Fmax×N×DPNになる。
【０６３８】
なお、エミュレーションレンズのレンズ情報（PSF強度分布、像面ピッチ、PSF角度成分情報、及び、像面シフト情報）は、そのエミュレーションレンズのレンズ設計データを用いて、光線追跡等の演算を行うことにより求めることができる他、エミュレーションレンズが、実在する光学レンズである場合には、その光学レンズを用いて、光線を実測することにより求めることができる。
【０６３９】
図４９は、レンズ情報を生成するエミュレーションレンズ情報生成部３７（図３）の構成例を示すブロック図である。
【０６４０】
図４９において、エミュレーションレンズ情報生成部３７は、実空間点選択部１３１、情報算出部１３２、及び、フォーカス位置選択部１３３を有する。
【０６４１】
実空間点選択部１３１は、視差情報生成部３１（図３）からエミュレーションレンズ情報生成部３７に供給される多層視差マップを参照し、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する最大実空間点数N×DPNの実空間点の中から、注目実空間点を選択する。
【０６４２】
情報算出部１３２は、レンズ設計データ取得部３４（図３）からエミュレーションレンズ情報生成部３７に供給されるレンズ設計データを用いて、実空間点選択部１３１で選択された注目実空間点と、フォーカス位置選択部１３３で選択された注目フォーカス位置fとに対するレンズ情報を生成し、集光処理部３８に供給する。
【０６４３】
フォーカス位置選択部１３３は、Fmax個のフォーカス位置fの中から、注目フォーカス位置を選択する。
【０６４４】
図５０は、図４９のエミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。
【０６４５】
ステップＳ１４１において、フォーカス位置選択部１３３は、Fmax個のフォーカス位置fの中から、注目フォーカス位置を選択し、処理は、ステップＳ１４２に進む。
【０６４６】
ここで、本実施の形態では、レンズ情報の情報量を削減するため、注目フォーカス位置に対してだけレンズ情報を生成する。注目フォーカス位置の選択は、例えば、ユーザの操作等に応じて行うことができる。また、注目フォーカス位置としては、例えば、あらかじめ決められたデフォルトのフォーカス位置を選択することができる。
【０６４７】
なお、レンズ情報は、注目フォーカス位置だけでなく、Fmax個のフォーカス位置fのそれぞれに対して生成することができる。
【０６４８】
ステップＳ１４２では、実空間点選択部１３１が、視差情報生成部３１から供給される多層視差マップを取得し、処理は、ステップＳ１４３に進む。
【０６４９】
ステップＳ１４３では、実空間点選択部１３１は、仮想センサの画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ１４４に進む。
【０６５０】
ステップＳ１４４では、実空間点選択部１３１は、視差情報生成部３１からの多層視差マップに登録されている注目画素の視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ１４５に進む。
【０６５１】
ステップＳ１４５では、実空間点選択部１３１は、注目視差がある注目画素に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ１４６に進む。
【０６５２】
ステップＳ１４６では、情報算出部１３２が、注目実空間点、すなわち、注目フォーカス位置、注目画素、及び、注目視差のセットに対するレンズ情報であるPSF強度分布、像面ピッチ、PSF角度成分情報、及び、像面シフト情報を、図３９ないし図４８で説明したようにして求め、処理は、ステップＳ１４７に進む。
【０６５３】
ステップＳ１４７では、実空間点選択部１３１は、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したかどうかを判定する。
【０６５４】
ステップＳ１４７において、まだ、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ１４４に戻り、以下、同様の処理が繰り返される。
【０６５５】
また、ステップＳ１４７において、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ１４８に進む。
【０６５６】
ステップＳ１４８では、実空間点選択部１３１は、仮想センサの画素のすべてを、注目画素に選択したかどうかを判定する。
【０６５７】
ステップＳ１４８において、まだ、仮想センサの画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ１４３に戻り、以下、同様の処理が繰り返される。
【０６５８】
また、ステップＳ１４８において、仮想センサの画素のすべてを、注目画素に選択したと判定された場合、エミュレーションレンズ情報生成処理は終了する。
【０６５９】
＜集光処理＞
【０６６０】
図５１は、図３の集光処理部３８で行われる集光処理の概要を説明する図である。
【０６６１】
図５１は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
【０６６２】
集光処理部３８は、エミュレーションレンズ情報生成部３７からのレンズ情報を用いて、入射光線再現部３６から供給される光線のうちの衝突判定の結果残った光線が、エミュレーションレンズを介して仮想センサに結像する際の結像値を求め、仮想センサ上に加算する処理を、集光処理として行う。
【０６６３】
図５２は、集光処理のうちの、結像値を求める処理の例を説明する図である。
【０６６４】
なお、図５２では、図が煩雑になるのを避けるため、エミュレーションレンズのレンズエリアが、5×5個のレンズエリアユニットに分割されている。
【０６６５】
図４３で説明したように、実空間点から発せられ、エミュレーションレンズに入射する光線は、必ずしも、仮想センサに到達するとは限らない。すなわち、エミュレーションレンズに入射する光線の中には、仮想センサに到達する光線と、仮想センサに到達しない光線とが存在する。
【０６６６】
いま、実空間点から発せられ、エミュレーションレンズに入射する光線の中で、仮想センサに到達する光線が入射するレンズエリアユニットの領域を、有効光線領域ということとする。
【０６６７】
図５２では、ある実空間点(x,y,z)から発せられる光線について、5×5個のレンズエリアユニットのうちの、中央部分の3×3個のレンズエリアユニットrp1ないしrp9が、有効光線領域になっている。
【０６６８】
また、図５２では、実空間点(x,y,z)から発せられ、レンズエリアの格子点p#iを通る光線が到達する分布エリア到達点が、PSF強度分布が記録された分布エリアの分布エリアユニットq#iになっている。
【０６６９】
実空間点(x,y,z)から発せられ、レンズエリアの格子点p#iを通る光線が到達する分布エリア到達点となる分布エリアユニットq#iは、PSF角度成分情報から認識することができる。
【０６７０】
図５２では、実空間点(x,y,z)から発せられ、レンズエリアユニットrp1を通る光線BLが、PSF強度分布（が記録された分布エリア）の対応エリアrq1に到達している。
【０６７１】
ここで、レンズエリアユニットrp1は、格子点p1，p2，p5，p6を頂点とするレンズエリアユニットである。
【０６７２】
また、図５２では、実空間点(x,y,z)から発せられ、格子点p1，p2，p5，p6を通る光線は、PSF強度分布が記録された分布エリアの分布エリアユニットq1，q2，q5，q6にそれぞれ到達する。この分布エリアユニットq1，q2，q5，q6を頂点とする領域が、対応エリアrq1である。
【０６７３】
PSF角度成分情報によれば、実空間点(x,y,z)から発せられ、格子点p1，p2，p5，p6を通る光線は、PSF強度分布が記録された分布エリアの分布エリアユニットq1，q2，q5，q6にそれぞれ到達することが認識される。その結果、格子点p1，p2，p5，p6を頂点とするレンズエリアユニットrp1を通る光線BLが、分布エリアユニットq1，q2，q5，q6を頂点とする対応エリアrq1に到達することが認識される。
【０６７４】
図５２では、対応エリアrq#jは、実空間点(x,y,z)から発せられ、レンズエリアユニットrp#jを通る光線の対応エリアになっている。
【０６７５】
集光処理部３８は、PSF角度成分情報を用いて、実空間点(x,y,z)から発せられ、レンズエリアユニットrp1を通る光線BLについて、その光線BLが到達する対応エリアrq1を特定する。
【０６７６】
そして、集光処理部３８は、光線BLに割り当てられている輝度と、対応エリアrq1内のPSF強度分布、すなわち、対応エリアrq1を構成する分布エリアユニット（の位置）それぞれに記録されているPSF強度分布との積を、光線BLがエミュレーションレンズを介して仮想センサに結像する際の結像値として求める。
【０６７７】
以上のように、光線BLの結像値は、光線BLに割り当てられている輝度と、対応エリアrq1を構成する分布エリアユニットそれぞれに記録されているPSF強度分布との積であるので、分布エリアユニットを粒度とする分布となる。
【０６７８】
集光処理部３８は、実空間点(x,y,z)から発せられ、レンズエリアユニットrp1以外のレンズエリアユニットを通る光線についても、同様にして、結像値を求める。
【０６７９】
なお、実空間点(x,y,z)から発せられ、5×5個のレンズエリアユニットにそれぞれ入射する光線については、それらの光線のうちの、有効光線領域になっていないレンズエリアユニットに入射する光線（以下、非有効光線ともいう）は、仮想センサに到達しない。そのため、非有効光線が入射するレンズエリアユニットについては、その非有効光線が到達する対応エリアが存在しない。したがって、結像値は、有効光線領域になっているレンズエリアユニットrp1ないしrp9を通る光線についてだけ求めることができる。
【０６８０】
図５３は、集光処理のうちの、結像値を求める処理の他の例を説明する図である。
【０６８１】
なお、図５３において、図５２と対応する部分については、同一の符号を付してある。
【０６８２】
図５３では、5×5個のレンズエリアユニットの、有効光線領域になっている中央部分の3×3個のレンズエリアユニットrp1ないしrp9のうちの、レンズエリアユニットrp7ないしrp9には、実空間点(x,y,z)から発せられた光線が、その実空間点(x,y,z)よりも手前にある物体に遮られることによって到達しない。
【０６８３】
このため、図５３では、実質的に、有効光線領域になっているレンズエリアユニットrp1ないしrp9のうちの、実空間点(x,y,z)から発せられた光線が到達するレンズエリアユニットrp1ないしrp6それぞれを通る光線についてだけ、結像値（の分布）が求められる。
【０６８４】
図５４は、集光処理のうちの、結像値（の分布）を、仮想センサ上に加算する処理の例を説明する図である。
【０６８５】
図５２で説明したように、実空間点(x,y,z)から発せられる光線の結像値は、分布エリアユニットを粒度とする分布になる。いま、説明を分かりやすくするために、実空間点(x,y,z)から発せられる光線の結像値の分布が、その結像値を求めるのに用いられたPSF強度分布が記録された分布エリアに記録されていることとする。すなわち、実空間点(x,y,z)から発せられる光線の結像値が、その結像値を求めるのに用いられたPSF強度分布が記録された分布エリアに、分布エリアユニット単位で記録されていることとする。
【０６８６】
集光処理部３８は、実空間点(x,y,z)に対する像面ピッチを用いて、その実空間点(x,y,z)から発せられる光線の結像値の分布が記録された分布エリアのスケールを、仮想センサのスケールに一致させるように、分布エリアのスケールを調整する。
【０６８７】
すなわち、像面ピッチがIPであり、仮想センサの画素ピッチがPPであるとすると、集光処理部３８は、光線の結像値の分布が記録された分布エリアを、IP/PP倍に縮小（又は拡大）する処理を、分布エリアのスケールの調整として行う。
【０６８８】
また、集光処理部３８は、実空間点(x,y,z)から発せられる光線が、エミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、その実空間点(x,y,z)に対する像面シフト情報が表す像面シフト位置によって行う。
【０６８９】
すなわち、集光処理部３８は、実空間点(x,y,z)から発せられる光線の結像値の分布が記録された、スケールの調整後の分布エリアと仮想センサとの位置合わせを、分布エリアの中心点CPと仮想センサの像面シフト位置とが一致するように行う。
【０６９０】
集光処理部３８は、以上のように、結像値の分布が記録された分布エリアのスケールの調整を行い、かつ、スケールの調整後の分布エリアと仮想センサとの位置合わせを行った上で、分布エリアに分布している結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。
【０６９１】
なお、結像値（が記録された分布エリア）のスケールの調整と、位置合わせとについては、どちらを先に行ってもよいし、同時に行ってもよい。
【０６９２】
図５５は、図３の集光処理部３８の構成例を示すブロック図である。
【０６９３】
図５５において、集光処理部３８は、実空間点選択部１４１、結像値算出部１４２、スケール調整部１４３、結像位置認識部１４４、及び、加算部１４５を有する。
【０６９４】
実空間点選択部１４１は、視差情報生成部３１（図３）から集光処理部３８に供給される多層視差マップを参照し、基準画像HD1を構成するN個の画素pix1ないしpix#Nそれぞれと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する最大実空間点数N×DPNの実空間点の中から、注目実空間点を選択する。
【０６９５】
結像値算出部１４２は、エミュレーションレンズ情報生成部３４から集光処理部３８に供給されるレンズ情報のうちの、PSF強度分布及びPSF角度成分情報を用いて、入射光線再現部３６から集光処理部３８に供給される光線のうちの、実空間点選択部１３１で選択された注目実空間点から発せられる光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
【０６９６】
スケール調整部１４３は、エミュレーションレンズ情報生成部３４から集光処理部３８に供給されるレンズ情報のうちの像面ピッチを用いて、結像値算出部１４２から供給される結像値の分布が記録された分布エリアのスケールを調整し、結像位置認識部１４４に供給する。
【０６９７】
結像位置認識部１４４は、エミュレーションレンズ情報生成部３４から集光処理部３８に供給されるレンズ情報のうちの像面シフト情報から、エミュレーションレンズを介した光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、スケール調整部１４３からのスケールの調整後の分布エリアとともに、加算部１４５に供給する。
【０６９８】
加算部１４５は、仮想センサとしてのメモリを内蔵し、結像位置認識部１４４からのスケールの調整後の分布エリアと仮想センサとの位置合わせ（結像値を加算する仮想センサ上の位置の認識）を、結像位置認識部１４４からの像面シフト位置によって行う。
【０６９９】
さらに、加算部１４５は、仮想センサとの位置合わせ後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で（累積）加算する。
【０７００】
そして、加算部１４５は、仮想センサ、すなわち、メモリ上に得られる結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給する。
【０７０１】
図５６は、図５５の集光処理部３８が行う集光処理の例を説明するフローチャートである。
【０７０２】
なお、本実施の形態では、図５０で説明したように、レンズ情報の情報量を削減するため、注目フォーカス位置に対してだけレンズ情報が生成される。そのため、集光処理は、フォーカス位置が、レンズ情報が生成されたときの注目フォーカス位置に設定されていることとして行われる。
【０７０３】
但し、レンズ情報は、Fmax個のフォーカス位置（図３７）のそれぞれに対して、あらかじめ生成しておくことができる。この場合、集光処理部３８では、注目フォーカス位置を設定し、その注目フォーカス位置に対するレンズ情報を用いて、集光処理を行うことができる。
【０７０４】
又は、エミュレーションレンズ情報生成部３７において、集光処理部３８で注目フォーカス位置を設定してから、その注目フォーカス位置に対して、レンズ情報を生成することができる。
【０７０５】
ステップＳ１５１において、実空間点選択部１４１が、視差情報生成部３１から供給される多層視差マップを取得し、処理は、ステップＳ１５２に進む。
【０７０６】
ステップＳ１５２では、実空間点選択部１４１は、基準画像HD1の画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ１５３に進む。
【０７０７】
ステップＳ１５３では、実空間点選択部１４１は、視差情報生成部３１からの多層視差マップに登録されている注目画素の視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ１５４に進む。
【０７０８】
ステップＳ１５４では、実空間点選択部１４１は、注目視差がある注目画素に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ１５５に進む。
【０７０９】
ステップＳ１５５では、結像値算出部１４２が、エミュレーションレンズのレンズエリアユニットのうちの、まだ、注目レンズエリアユニットとしていないレンズエリアユニットの１つを、注目レンズエリアユニットに選択し、処理は、ステップＳ１５６に進む。
【０７１０】
ステップＳ１５６では、結像値算出部１４２は、入射光線再現部３６から供給される光線の中から、注目実空間点から注目レンズエリアユニットに向かう光線を、注目光線として取得し、処理は、ステップＳ１５７に進む。
【０７１１】
ステップＳ１５７において、結像値算出部１４２は、注目光線が、注目実空間点からエミュレーションレンズに到達するかどうかを判定する。
【０７１２】
ステップＳ１５７において、注目光線がエミュレーションレンズに到達すると判定された場合、すなわち、注目光線に割り当てられている視差（図３３ないし図３５で説明した入射光線再現処理で割り当てられた視差）が、注目視差と等しい場合、処理は、ステップＳ１５８に進む。
【０７１３】
ステップＳ１５８では、結像値算出部１４２、スケール調整部１４３、結像位置認識部１４４、及び、加算部１４５において、エミュレーションレンズに到達する注目光線、すなわち、衝突判定の結果残っている注目光線を対象として、後述する光線加算処理が行われ、処理は、ステップＳ１５９に進む。
【０７１４】
一方、ステップＳ１５７において、注目光線がエミュレーションレンズに到達しないと判定された場合、すなわち、注目光線に割り当てられている視差（図３３ないし図３５で説明した入射光線再現処理で割り当てられた視差）が、注目視差と等しくない場合、処理は、ステップＳ１５８をスキップして、ステップＳ１５９に進む。したがって、注目光線がエミュレーションレンズに到達しない場合、注目光線については、光線加算処理は、行われない。
【０７１５】
ステップＳ１５９では、結像値算出部１４２が、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したかどうかを判定する。
【０７１６】
ステップＳ１５９において、まだ、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択していないと判定された場合、処理は、ステップＳ１５５に戻り、以下、同様の処理が繰り返される。
【０７１７】
また、ステップＳ１５９において、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したと判定された場合、処理は、ステップＳ１６０に進む。
【０７１８】
ステップＳ１６０では、実空間点選択部１４１は、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したかどうかを判定する。
【０７１９】
ステップＳ１６０において、まだ、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ１５３に戻り、以下、同様の処理が繰り返される。
【０７２０】
また、ステップＳ１６０において、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ１６１に進む。
【０７２１】
ステップＳ１６１では、実空間点選択部１４１は、基準画像HD1の画素のすべてを、注目画素に選択したかどうかを判定する。
【０７２２】
ステップＳ１６１において、まだ、基準画像HD1の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ１５２に戻り、以下、同様の処理が繰り返される。
【０７２３】
また、ステップＳ１６１において、基準画像HD1の画素のすべてを、注目画素に選択したと判定された場合、加算部１４５は、いままでの処理により得られる、仮想センサ上の結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給して、集光処理は、終了する。
【０７２４】
図５７は、図５６のステップＳ１５８で行われる光線加算処理の例を説明するフローチャートである。
【０７２５】
ステップＳ１７１において、結像値算出部１４２は、図５２及び図５３で説明したように、エミュレーションレンズ情報生成部３７からの、注目フォーカス位置fについての注目実空間点（に対応する注目画素及び注目視差）に対するPSF強度分布（が記録された分布エリア）、及び、PSF角度成分情報を用いて、注目光線が到達するPSF強度分布が記録された分布エリア上の位置である対応エリアを求める。
【０７２６】
さらに、結像値算出部１４２は、図５２及び図５３で説明したように、対応エリアのPSF強度分布と、注目光線に割り当てられた輝度（図３３ないし図３５で説明した入射光線再現処理で割り当てられた輝度）との積を、注目光線の結像値（の分布）として求める。
【０７２７】
そして、結像値算出部１４２は、注目光線の結像値が記録された分布エリアを、スケール調整部１４３に供給し、処理は、ステップＳ１７１からステップＳ１７２に進む。
【０７２８】
ステップＳ１７２では、スケール調整部１４３は、図５４で説明したように、エミュレーションレンズ情報生成部３４からの、注目フォーカス位置fについての注目実空間点に対する像面ピッチを用いて、結像値算出部１４２からの結像値の分布が記録された分布エリアを縮小又は拡大することで、その分布エリアのスケールを、仮想センサのスケールと一致するスケールに調整する。
【０７２９】
さらに、スケール調整部１４３は、スケールの調整後の分布エリアを、結像位置認識部１４４を介して、加算部１４５に供給し、処理は、ステップＳ１７２からステップＳ１７３に進む。
【０７３０】
ステップＳ１７３では、結像位置認識部１４４は、エミュレーションレンズ情報生成部３４からの、注目フォーカス位置fについての注目実空間点に対する像面シフト情報から、エミュレーションレンズを介した注目光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、加算部１４５に供給して、処理は、ステップＳ１７４に進む。
【０７３１】
ステップＳ１７４では、加算部１４５は、スケール調整部１４３で得られたスケールの調整後の分布エリアと仮想センサとの位置合わせを、結像位置認識部１４４からの像面シフト位置によって行う。
【０７３２】
すなわち、加算部１４５は、スケールの調整後の分布エリアの中心点CP（図５４）と、仮想センサの像面シフト位置とが一致するように、スケールの調整後の分布エリアと仮想センサとの位置合わせを行う。
【０７３３】
そして、加算部１４５は、仮想センサとの位置合わせ後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。すなわち、加算部１４５は、仮想センサとしてのメモリの記憶値と、結像値とを加算し、その結果得られる加算値によって、メモリの記憶値を書き換える。なお、仮想センサとしてのメモリの記憶値は、集光処理（図５６）の開始時に、０に初期化される。
【０７３４】
以上により、光線加算処理は終了し、処理はリターンする。
【０７３５】
以上のように、レンズエミュレーション部３５（図３）では、入射光線再現部４６において、衝突判定の結果残る、仮想レンズに入射する光線を再現する。
【０７３６】
また、エミュレーションレンズ情報生成部３７において、レンズ情報、すなわち、PSF強度分布、像面ピッチ、PSF角度成分情報、像面シフト情報を生成する。
【０７３７】
さらに、集光処理部３８において、衝突判定の結果残る光線が、エミュレーションレンズを介して仮想センサに結像する際の結像値として、PSF角度成分情報が表すPSF強度分布の位置におけるPSF強度分布と光線の輝度との積を求める。
【０７３８】
また、集光処理部３８において、像面ピッチに基づいて、光線の結像値の分布のスケールを、仮想センサのスケールに一致させる。
【０７３９】
そして、集光処理部３８において、像面シフト位置によって、結像値を加算する仮想センサ上の位置の位置合わせを行い、仮想センサ上で結像値の加算を行って、その加算により得られる加算値を画素値とするエミュレーション画像を生成する。
【０７４０】
以上のようなレンズエミュレーション部３５の処理によれば、実際の光学レンズと同等の集光が、ディジタル信号処理で再現され、その結果、実際の光学レンズのぼけ味やその他の集光特性を正確に再現（反映）したエミュレーション画像を生成することができる。
【０７４１】
したがって、ユーザは、実際の光学レンズを購入しなくても、その光学レンズを用いて撮影をしたかのような高品位な撮影体験（高品位の光学レンズを用いて行われる撮影の体験）を享受することができる。
【０７４２】
＜レンズ情報の情報量の削減＞
【０７４３】
図５８は、レンズ情報の情報量の削減の概要を説明する図である。
【０７４４】
図５８のＡは、実際の光学レンズのレンズ情報のうちのPSF強度分布の例を示している。
【０７４５】
すなわち、図５８のＡは、光線が実際の光学レンズを介して結像する実際のイメージセンサ上の結像位置と、その結像位置に結像する光線に適用されるPSF強度分布との関係を、模式的に示している。
【０７４６】
図３８で説明したように、PSF強度分布は、フォーカス位置fや、結像位置の像高（光軸からの距離）、被写体（実空間点）までの距離（視差）によって異なる。
【０７４７】
すなわち、例えば、実際のイメージセンサ上の結像位置の像高（その結像位置に結像する実空間点の、光軸からの距離）が異なれば、その結像位置に結像する実空間点から発せられる光線に適用される実際の光学レンズのPSF強度分布は異なる。
【０７４８】
したがって、実際のイメージセンサにおいて、実際の光学レンズのPSF強度分布は、結像位置の像高が異なれば異なる無限の情報となる。
【０７４９】
以上のように、結像位置の像高が異なれば、PSF強度分布は異なるが、逆に言えば、同一の像高、すなわち、光軸から同一の距離にある実空間点に対しては、フォーカス位置f、及び、視差（実空間点までの距離）が変わらない限り、PSF強度分布は、共通になる。
【０７５０】
すなわち、いま、説明を簡単にするため、フォーカス位置f、及び、視差が一定であることとする。
【０７５１】
イメージセンサのある像高rのある位置pos1を、光軸を中心として所定の角度aだけ回転した回転後の位置pos2に対応する実空間点に対するPSF強度分布は、位置pos1に対応する実空間点に対するPSF強度分布を、光軸を中心として所定の角度aだけ回転した回転後のPSF強度分布に一致する。
【０７５２】
以上のように、位置pos2に対応する実空間点に対するPSF強度分布が、位置pos1に対応する実空間点に対するPSF強度分布を、光軸を中心として所定の角度aだけ回転した回転後のPSF強度分布に一致することから、位置pos2に対応する実空間点に対する像面ピッチは、位置pos1に対応する実空間点に対する像面ピッチに一致する。
【０７５３】
また、位置pos2に対応する実空間点に対するPSF角度成分情報は、位置pos1に対応する実空間点に対するPSF角度成分情報を、光軸を中心として所定の角度aだけ回転した回転後のPSF角度成分情報に一致する。
【０７５４】
さらに、位置pos2に対応する実空間点に対する像面シフト情報（が表す像面シフト位置）は、位置pos1に対応する実空間点に対する像面シフト情報を、光軸を中心として所定の角度aだけ回転した回転後の像面シフト情報に一致する。
【０７５５】
以上のように、フォーカス位置f、及び、視差が一定である場合、イメージセンサの像高が同一の位置に対応する実空間点に対するレンズ情報は、共通になる。
【０７５６】
そこで、エミュレーションレンズ情報生成部３７では、仮想センサのすべての画素に対応する実空間点ではなく、仮想センサの平面の一部の複数位置である複数の情報点に対応する実空間点に対してのみレンズ情報を生成することで、レンズ情報の情報量を削減することができる。
【０７５７】
すなわち、エミュレーションレンズ情報生成部３７は、例えば、仮想センサの中心（光軸）から、仮想センサの平面内に延びる所定の１軸（に対応する実空間点）を、レンズ情報を生成する対象のレンズ情報生成軸として、そのレンズ情報生成軸上の複数位置（に対応する実空間点）を、レンズ情報を生成する情報点に設定する。
【０７５８】
そして、エミュレーションレンズ情報生成部３７は、レンズ情報生成軸の情報点（に対応する実空間点）に対するレンズ情報を生成する。
【０７５９】
図５８のＢは、レンズ情報生成軸の例を示している。
【０７６０】
図５８のＢでは、仮想センサの中心から上方向に延びる１軸が、レンズ情報生成軸になっている。
【０７６１】
以上のようなレンズ情報生成軸の情報点に対して生成されたレンズ情報は、例えば、仮想センサの中心を中心として回転することにより、その回転と同じ回転角だけ、レンズ情報生成軸を回転したときの、その回転後のレンズ生成軸に一致する仮想センサの位置に対応する実空間点から発せられる光線の集光処理に適用することができる。
【０７６２】
図５９は、レンズ情報生成軸の具体例を示す図である。
【０７６３】
いま、図５９に示すように、仮想センサの中心から、その仮想センサの、対角にある1の画素に向かう軸を、対角軸ということとする。
【０７６４】
図５９では、対角軸に、15等の複数の位置が、情報点として、等間隔に設定されている。
【０７６５】
さらに、図５９では、情報点が設定された対角軸が、上方向に向くように、仮想センサの中心を中心として回転され、その回転後の対角軸が、レンズ情報生成軸になっている。
【０７６６】
したがって、図５９では、レンズ情報生成軸は、横幅が0で、縦の長さが、仮想センサの対角の長さ（対角にある画素どうしの距離）の1/2の、仮想センサの中心から垂直方向（上方向）に延びる線分である。
【０７６７】
エミュレーションレンズ情報生成部３７では、以上のようなレンズ情報生成軸の情報点に対応する実空間点に対してだけ、レンズ情報を生成することができる。レンズ情報生成軸の情報点に対応する実空間点は、x=0で表される平面内の点になる。
【０７６８】
なお、レンズ情報のうちの、PSF強度分布、PSF角度成分情報、及び、像面ピッチについては、15個程度の情報点で十分であるが、像面シフト情報については、15個程度の情報点では、集光処理でのエミュレーションレンズの集光特性の再現性が低下することがある。
【０７６９】
そこで、像面シフト情報については、仮想センサの中心から、対角にある1の画素までの距離（仮想センサの像高の最大値）を、仮想センサの画素ピッチで除算した値（仮想センサの対角の画素数の1/2に近い値）等を、レンズ情報生成軸に設ける情報点の数として採用することができる。
【０７７０】
ここで、図４０、図４１、図４５、及び、図４８で説明したように、レンズ情報が、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される場合、レンズ情報の配列の数は、以下のような膨大な数になる。
【０７７１】
すなわち、PSF強度分布の配列の数は、図４０で説明したように、最大で、Fmax×N×DPN×PX×PYになる。像面ピッチの配列の数は、図４１で説明したように、最大で、Fmax×N×DPNになる。PSF角度成分情報の配列の数は、図４５で説明したように、最大で、Fmax×N×DPN×(PX+1)×(PY+1)になる。像面シフト情報の配列の数は、図４８で説明したように、最大で、Fmax×N×DPNになる。
【０７７２】
なお、PX及びPYは、図４２で説明したように、レンズエリアを構成するレンズエリアユニットの横（水平方向）及び縦（垂直方向）の数を、それぞれ表す。
【０７７３】
一方、レンズ情報生成軸に設ける情報点の数を、Ninfoと表すこととすると、レンズ情報の配列の数は、以下のようになる。
【０７７４】
すなわち、PSF強度分布の配列の数は、最大で、Fmax×Ninfo×DPN×PX×PYになる。像面ピッチの配列の数は、最大で、Fmax×Ninfo×DPNになる。PSF角度成分情報の配列の数は、最大で、Fmax×Ninfo×DPN×(PX+1)×(PY+1)になる。像面シフト情報の配列の数は、最大で、Fmax×Ninfo×DPNになる。
【０７７５】
したがって、レンズ情報生成軸の情報点に対してだけ、レンズ情報を生成する場合には、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して、レンズ情報を生成する場合に比較して、レンズ情報の情報量を、Ninfo/Nに削減することができる。
【０７７６】
例えば、仮想センサの画素数Nが、1892×1052であり、情報点の数Ninfoが15である場合には、レンズ情報の情報量を、15/(1892×1052)に削減することができる。
【０７７７】
その結果、レンズ情報生成軸によれば、エミュレーションレンズのぼけ味やその他の集光特性を、少ないデータ量で再現することができる。
【０７７８】
図６０は、レンズ情報生成軸の情報点に対してだけレンズ情報を生成する場合の、図３のエミュレーションレンズ情報生成部３７の構成例を示すブロック図である。
【０７７９】
なお、図中、図４９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７８０】
図６０において、エミュレーションレンズ情報生成部３７は、実空間点選択部２３１、情報算出部１３２、及び、フォーカス位置選択部１３３を有する。
【０７８１】
したがって、図６０のエミュレーションレンズ情報生成部３７は、情報算出部１３２、及び、フォーカス位置選択部１３３を有する点で、図４９の場合と共通する。
【０７８２】
但し、図６０のエミュレーションレンズ情報生成部３７は、実空間点選択部１３１に代えて、実空間点選択部２３１が設けられている点で、図４９の場合と相違する。
【０７８３】
実空間点選択部２３１は、視差情報生成部３１（図３）から供給される多層視差マップを参照し、仮想センサ上のレンズ情報生成軸のNinfo個の情報点それぞれと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応するNinfo×DPN個の実空間点の中から、注目実空間点を選択する。
【０７８４】
図６１は、図６０のエミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。
【０７８５】
ステップＳ２１１において、フォーカス位置選択部１３３は、図５０のステップＳ１４１と同様に、Fmax個のフォーカス位置fの中から、注目フォーカス位置を選択し、処理は、ステップＳ２１２に進む。
【０７８６】
ステップＳ２１２では、実空間点選択部２３１は、図５０のステップＳ１４２と同様に、視差情報生成部３１から供給される多層視差マップを取得し、処理は、ステップＳ２１３に進む。
【０７８７】
ステップＳ２１３では、実空間点選択部２３１は、レンズ情報のうちの、PSF強度分布、PSF角度成分情報、及び、像面ピッチの生成に用いるレンズ情報生成軸を設定し、処理は、ステップＳ２１４に進む。
【０７８８】
すなわち、軸痛感点選択部２３１は、例えば、仮想センサの最大像高（仮想センサの中心から、対角の1画素までの距離）を等分する、あらかじめ決められた所定数（例えば、15等）の情報点を有するレンズ情報生成軸を、仮想レンズの中心を始点として、垂直方向（上方向）に設定する。
【０７８９】
ステップＳ２１４では、実空間点選択部２３１は、レンズ情報生成軸の情報点のうちの、まだ、注目情報点としていない情報点の１つを、注目情報点に選択し、処理は、ステップＳ２１５に進む。
【０７９０】
ステップＳ２１５では、実空間点選択部２３１は、視差情報生成部３１からの多層視差マップに登録されている、注目情報点の位置の画素（注目情報点に近い画素）に登録され得る視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ２１６に進む。
【０７９１】
ステップＳ２１６では、実空間点選択部２３１は、注目視差がある注目情報点（仮想センサの平面上の注目情報点の位置）に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ２１７に進む。
【０７９２】
ステップＳ２１７では、情報算出部１３２が、注目実空間点、すなわち、注目フォーカス位置、注目情報点、及び、注目視差のセットに対するPSF強度分布、像面ピッチ、及び、PSF角度成分情報を、図５０のステップＳ１４６と同様に求め、処理は、ステップＳ２１８に進む。
【０７９３】
ステップＳ２１８では、実空間点選択部２３１は、多層視差マップに登録され得る視差のすべてを、注目視差に選択したかどうかを判定する。
【０７９４】
ステップＳ２１８において、まだ、多層視差マップに登録され得る視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ２１５に戻り、以下、同様の処理が繰り返される。
【０７９５】
また、ステップＳ２１８において、多層視差マップに登録され得る視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ２１９に進む。
【０７９６】
ステップＳ２１９では、実空間点選択部２３１は、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したかどうかを判定する。
【０７９７】
ステップＳ２１９において、まだ、レンズ情報生成軸の情報点のすべてを、注目情報点に選択していないと判定された場合、処理は、ステップＳ２１４に戻り、以下、同様の処理が繰り返される。
【０７９８】
また、ステップＳ２１９において、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したと判定された場合、処理は、ステップＳ２２０に進み、以下、像面シフト情報が生成される。
【０７９９】
ステップＳ２２０では、実空間点選択部２３１は、レンズ情報のうちの、像面シフト情報の生成に用いるレンズ情報生成軸を設定し、処理は、ステップＳ２２１に進む。
【０８００】
すなわち、実空間点選択部２３１は、例えば、仮想センサの最大像高を、仮想センサの画素ピッチで除算した値の数だけの情報点が等間隔に配置されたレンズ情報生成軸を、仮想レンズの中心を始点として、垂直方向に設定する。
【０８０１】
ステップＳ２２１では、実空間点選択部２３１は、レンズ情報生成軸の情報点のうちの、まだ、注目情報点としていない情報点の１つを、注目情報点に選択し、処理は、ステップＳ２２２に進む。
【０８０２】
ステップＳ２２２では、実空間点選択部２３１は、視差情報生成部３１からの多層視差マップに登録されている注目情報点の位置の画素に登録され得る視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ２２３に進む。
【０８０３】
ステップＳ２２３では、実空間点選択部２３１は、注目視差がある注目情報点に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ２２４に進む。
【０８０４】
ステップＳ２２４では、情報算出部１３２が、注目実空間点、すなわち、注目フォーカス位置、注目情報点、及び、注目視差のセットに対する像面シフト情報を、図５０のステップＳ１４６と同様に求め、処理は、ステップＳ２２５に進む。
【０８０５】
ステップＳ２２５では、実空間点選択部２３１は、多層視差マップに登録され得る視差のすべてを、注目視差に選択したかどうかを判定する。
【０８０６】
ステップＳ２２５において、まだ、多層視差マップに登録され得る視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ２２２に戻り、以下、同様の処理が繰り返される。
【０８０７】
また、ステップＳ２２５において、多層視差マップに登録され得る視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ２２６に進む。
【０８０８】
ステップＳ２２６では、実空間点選択部２３１は、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したかどうかを判定する。
【０８０９】
ステップＳ２２６において、まだ、レンズ情報生成軸の情報点のすべてを、注目情報点に選択していないと判定された場合、処理は、ステップＳ２２１に戻り、以下、同様の処理が繰り返される。
【０８１０】
また、ステップＳ２２６において、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したと判定された場合、エミュレーションレンズ情報生成処理は終了する。
【０８１１】
図６１のエミュレーションレンズ情報生成処理では、以上のようにして、多層視差マップに登録され得る視差それぞれと、レンズ情報生成軸の情報点それぞれとのセットに対応する実空間点に対するレンズ情報が求められる。
【０８１２】
図６２は、以上のように、レンズ情報生成軸の情報点（に対応する実空間点）に対して生成されたレンズ情報を用いて行われる集光処理の例を説明する図である。
【０８１３】
レンズ情報生成軸の情報点に対して生成されたレンズ情報を用いて、集光処理を行う方法としては、レンズ情報を回転する方法（以下、レンズ情報回転法ともいう）と、集光処理に用いる光線を回転する方法（以下、光線回転法ともいう）とがある。
【０８１４】
いま、例えば、ある実空間点rspに対応する仮想センサの画素（位置）が、レンズ情報生成軸上に位置するように、仮想センサ（の画素）、又は、レンズ情報生成軸を、仮想センサの中心を中心として回転するときの角度を、一致回転角度ALPHAということとする。
【０８１５】
実空間点rspに対応する仮想センサの画素と、レンズ情報生成軸とは、仮想センサの中心を中心として、一致回転角度ALPHAを形成する。
【０８１６】
レンズ情報回転法、及び、光線回転法では、実空間点rspに対応する仮想センサの画素が、レンズ情報生成軸上に位置するように、仮想センサ（の画素）、又は、レンズ情報生成軸を、仮想センサの中心を中心として、一致回転角度ALPHAだけ回転したときに、実空間点rspに対応する仮想センサの画素に最も近い情報点（以下、対応情報点ともいう）が検出される。
【０８１７】
ここで、仮想センサの中心を中心として回転するときの回転角度について、時計回りの方向を正とする。この場合、レンズ情報生成軸を、仮想センサの中心を中心として、一致回転角度+ALPHAだけ回転するか、又は、仮想センサを、仮想センサの中心を中心として、一致回転角度-ALPHAだけ回転することにより、実空間点rspに対応する仮想センサの画素は、レンズ情報生成軸上に位置する状態になる。
【０８１８】
以下、説明を簡単にするため、対応情報点の検出にあたっては、レンズ情報生成軸、及び、仮想センサのうちの、例えば、レンズ情報生成軸を、一致回転角度+ALPHAだけ回転することとする。
【０８１９】
レンズ情報回転法、及び、光線回転法では、上述のように、レンズ情報生成軸を、仮想センサの中心を中心として、一致回転角度+ALPHAだけ回転したときに、実空間点rspに対応する仮想センサの画素に最も近い情報点が、対応情報点として検出される。
【０８２０】
そして、対応情報点（に対応する実空間点）に対するレンズ情報を、実空間点rspから発せられる光線に適用して、集光処理が行われる。
【０８２１】
但し、レンズ情報回転法では、対応情報点に対するレンズ情報（のうちのPSF強度分布、PSF角度成分情報、及び、像面シフト情報）が、一致回転角度+ALPHAだけ回転されて、実空間点rspから発せられる光線に適用される。
【０８２２】
一方、光線回転法では、実空間点rspから発せられる光線が、一致回転角度-ALPHAだけ回転され、その回転後の光線に、対応情報点に対するレンズ情報が適用される。
【０８２３】
図６２は、レンズ情報回転法による集光処理の例を示している。
【０８２４】
図６２のＡは、注目実空間点に対応する仮想センサの注目画素が、レンズ情報生成軸上の画素（以下、軸上画素ともいう）である場合の、集光処理における結像値の算出の例を示している。
【０８２５】
すなわち、図６２のＡは、注目実空間点に対応する仮想センサの注目画素についての対応情報点に対するPSF強度分布（が記録された分布エリア）の例を示している。
【０８２６】
図６２のＡにおいて、レンズエリアユニットU1に入射する光線は、PSF強度分布の対応エリアUC1に到達する。
【０８２７】
注目実空間点に対応する仮想センサの注目画素が、軸上画素である場合、注目実空間点から発せられ、レンズエリアユニットU1に入射する光線については、注目画素に対する対応情報点に対するPSF強度分布を（回転せずに）そのまま用い、レンズエリアユニットU1に入射する光線に割り当てられた輝度と、対応エリアUC1のPSF強度分布との積が、結像値として求められる。
【０８２８】
図６２のＢは、注目実空間点に対応する仮想センサの注目画素が、レンズ情報生成軸を、仮想センサの中心を中心として、例えば、90度だけ回転した直線上の画素（以下、90度回転画素ともいう）である場合の、集光処理における結像値の算出の例を示している。
【０８２９】
図６２のＢにおいて、注目画素である90度回転画素の一致回転角度+ALPHAは、90度である。
【０８３０】
いま、注目画素である90度回転画素に対する対応情報点が、図６２のＡの場合の軸上画素に対する対応情報点に一致することとする。
【０８３１】
この場合、レンズ情報回転法では、注目実空間点から発せられた光線については、注目画素に対する対応情報点に対するPSF強度分布を、例えば、そのPSF強度分布が記録された分布エリアの中心を中心として、一致回転角度+ALPHAである90度だけ回転した回転後のPSF強度分布を用いて、結像値が求められる。
【０８３２】
回転後のPSF強度分布（が記録された分布エリア）については、レンズエリアユニットU1を、光軸を中心として、一致回転角度+ALPHAである90度だけ回転した場合の回転後のレンズエリアユニットU1の位置にあるレンズエリアユニットU2に入射する光線が、PSF強度分布の対応エリアUC1に到達する。
【０８３３】
したがって、注目画素が90度回転画素である場合、レンズ情報回転法では、注目実空間点から発せられ、レンズエリアユニットU2に入射する光線の結像値として、レンズエリアユニットU2に入射する光線に割り当てられた輝度と、対応エリアUC1のPSF強度分布との積が求められる。
【０８３４】
図６３は、光線回転法による集光処理の例を示している。
【０８３５】
注目実空間点に対応する仮想センサの注目画素が、軸上画素である場合、光線回転法では、注目実空間点から発せられた光線の結像値は、レンズ情報回転法と同様に求められる。
【０８３６】
一方、注目実空間点に対応する仮想センサの注目画素が、例えば、90度回転画素である場合、光線回転法では、注目実空間点から発せられた光線を、一致回転角度-ALPHA=-90度だけ回転した回転後の光線を用いて、その光線の結像値が求められる。
【０８３７】
図６３のＡは、注目実空間点から発せられた光線の回転を示している。
【０８３８】
注目実空間点に対応する仮想センサの注目画素が、90度回転画素である場合、エミュレーションレンズに入射する光線を、光軸を中心として、一致回転角度-ALPHA=-90度だけ回転する。
【０８３９】
図６３のＡでは、光線の回転前において、注目実空間点からレンズエリアユニットU1に、光線R1が入射しており、注目実空間点からレンズエリアユニットU2に、光線R2が入射している。
【０８４０】
レンズエリアユニットU2は、レンズエリアユニットU1を、光軸を中心として、一致回転角度+ALPHA=+90度だけ回転した位置にある。
【０８４１】
したがって、エミュレーションレンズに入射する光線を、光軸を中心として、一致回転角度-ALPHA=-90度だけ回転した場合、回転前にレンズエリアユニットU2に入射していた光線R2が、レンズエリアユニットU1に入射する。
【０８４２】
図６３のＢは、注目画素である90度回転画素についての対応情報点に対するPSF強度分布（が記録された分布エリア）の例を示している。
【０８４３】
図６３のＢでは、図６２のＡの場合と同様に、レンズエリアユニットU1に入射する光線が、PSF強度分布の対応エリアUC1に到達している。
【０８４４】
回転後の光線R2は、レンズエリアユニットU1に入射するので、その光線R2の結像値VFは、その光線R2の輝度と、レンズエリアユニットU1に対する対応エリアUC1のPSF強度分布との積として求められる。
【０８４５】
図６３のＣは、光線R2の結像値VFの逆回転の例を示している。
【０８４６】
光線回転法では、結像値VFを、仮想センサ上に加算するときに、その結像値VF（が記録された分布エリア）が、光軸を中心として、光線を回転した一致回転角度-ALPHA=-90度だけ逆回転される。
【０８４７】
すなわち、結像値VF（が記録された分布エリア）は、光軸を中心として、一致回転角度+ALPHA=+90度だけ回転されてから、仮想センサ上に加算される。
【０８４８】
レンズ情報生成軸に対して生成されたレンズ情報を用いて行う集光処理では、レンズ情報回転法を採用しても良いし、光線回転法を採用しても良い。
【０８４９】
レンズ情報回転法によれば、光線回転法よりも、集光処理に要する演算量を少なくすることができる。
【０８５０】
但し、レンズ情報回転法では、エミュレーションレンズの集光特性の再現性が低下することがあり得る。
【０８５１】
すなわち、レンズ情報回転法では、レンズ情報（像面ピッチを除く）が、一致回転角度+ALPHAだけ回転される。
【０８５２】
この場合、回転後のレンズ情報のうちの、例えば、PSF角度成分情報が表す分布エリア到達点AP#i（図４４）の座標系は、一致回転角度+ALPHAだけ傾いた座標系になる。そのため、一致回転角度+ALPHAが、90度の整数倍である場合を除き、回転前のPSF角度成分情報が表す分布エリア到達点AP#iになり得る位置と、回転後のPSF角度成分情報が表す分布エリア到達点AP#iとなり得る位置との間には、ずれが生じる。
【０８５３】
PSF角度成分情報が表す分布エリア到達点AP#iは、分布エリアの分布エリアユニット（図４０）の粒度で、光線が到達するPSF強度分布上の位置を表すので、その粒度によっては、回転前のPSF角度成分情報が表す分布エリア到達点AP#iになり得る位置と、回転後のPSF角度成分情報が表す分布エリア到達点AP#iとなり得る位置との間に生じるずれが、エミュレーションレンズの集光特性の再現に、悪影響を及ぼすことがある。
【０８５４】
すなわち、回転後のPSF角度成分情報が表す対応エリア（図４４）では、PSF強度分布が、他の対応エリアのPSF強度分布と一部重複することや、本来、ある対応エリアに含まれるべきPSF強度分布の部分が、その対応エリアから欠けることがある。
【０８５５】
この、PSF強度分布の重複や欠けの程度が大きい場合には、エミュレーションレンズの集光特性の再現性が低下する。
【０８５６】
そこで、集光処理には、光線回転法を採用することができる。
【０８５７】
但し、分布エリア到達点AP#iが表す、光線が到達するPSF強度分布上の位置の粒度が、十分細かければ、集光処理に、レンズ情報回転法を用いても、エミュレーションレンズの集光特性を、十分正確に再現することができるので、その場合には、レンズ情報回転法を採用することができる。
【０８５８】
図６４は、レンズ情報生成軸に対して生成されたレンズ情報を用いて集光処理を行う集光処理部３８の構成例を示すブロック図である。
【０８５９】
なお、図中、図５５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８６０】
図６４において、集光処理部３８は、実空間点選択部１４１、結像値算出部２４２、スケール調整部１４３、結像位置認識部２４４、加算部２４５、及び、回転処理部２４６を有する。
【０８６１】
したがって、図６４の集光処理部３８は、実空間点選択部１４１、及び、スケール調整部１４３を有する点で、図５５の場合と共通する。
【０８６２】
但し、図６４の集光処理部３８は、結像値算出部１４２、結像位置認識部１４４、及び、加算部１４５に代えて、それぞれ、結像値算出部２４２、結像位置認識部２４４、及び、加算部２４５が設けられている点で、図５５の場合と相違する。
【０８６３】
さらに、図６４の集光処理部３８は、回転処理部２４６が新たに設けられている点で、図５５の場合と相違する。
【０８６４】
結像値算出部２４２は、レンズ情報回転法、又は、光線回転法により、実空間点選択部１３１で選択された注目実空間点から発せられた光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
【０８６５】
すなわち、結像値算出部２４２は、光線回転法に従い、回転処理部２４６から供給されるPSF強度分布及びPSF角度成分情報を用いて、同じく回転処理部２４６から供給される、一致回転角度-ALPHAだけ回転された光線のうちの、実空間点選択部１３１で選択された注目実空間点から発せられた光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
【０８６６】
又は、結像値算出部２４２は、レンズ情報回転法に従い、回転処理部２４６から供給される、一致回転角度+ALPHAだけ回転されたPSF強度分布及びPSF角度成分情報を用いて、同じく回転処理部２４６から供給される、実空間点選択部１３１で選択された注目実空間点から発せられた光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
【０８６７】
結像位置認識部２４４は、回転処理部２４６から供給される像面シフト情報、又は、一致回転角度+ALPHAだけ回転された像面シフト情報から、エミュレーションレンズを介した光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、スケール調整部１４３からのスケールの調整後の分布エリアとともに、加算部２４５に供給する。
【０８６８】
加算部２４５は、図５５の加算部１４５と同様の処理を行う。
【０８６９】
すなわち、加算部２４５は、仮想センサとしてのメモリを内蔵し、結像位置認識部２４４からのスケールの調整後の分布エリアと仮想センサとの位置合わせを、結像位置認識部２４４からの像面シフト位置によって行う。
【０８７０】
さらに、加算部２４５は、仮想センサとの位置合わせ後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。
【０８７１】
そして、加算部２４５は、仮想センサ、すなわち、メモリ上に得られる結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給する。
【０８７２】
なお、加算部２４５は、レンズ情報回転法による集光処理が行われる場合には、上述のように、図５５の加算部１４５と同様の処理を行う。
【０８７３】
一方、光線回転法による集光処理が行われる場合には、加算部２４５は、位置合わせ後の分布エリア（に記録された結像値）を、回転処理部２４６で光線を回転したときの一致回転角度-ALPHAだけ逆回転してから、すなわち、一致回転角度+ALPHAだけ回転してから、その回転後の分布エリアに記録された結像値を、仮想センサ上に加算する。
【０８７４】
回転処理部２４６には、入射光線再現部３６（図３）から光線が供給されるとともに、エミュレーションレンズ情報生成部３４（図３）からレンズ情報生成軸の情報点に対するレンズ情報が供給される。
【０８７５】
回転処理部２４６は、レンズ情報回転法による集光処理が行われる場合には、実空間点選択部１４１で選択された注目実空間点に対応する仮想センサの画素が、レンズ情報生成軸上の画素になるように、レンズ情報生成軸を回転するときの一致回転角度+ALPHAだけ、エミュレーションレンズ情報生成部３４からのレンズ情報生成軸の情報点に対するレンズ情報のうちのPSF強度分布、PSF角度成分情報、及び、像面シフト情報を回転する。
【０８７６】
そして、回転処理部２４６は、回転後のPSF強度分布及びPSF角度成分情報を、結像値算出部２４２に供給するとともに、回転後の像面シフト情報を、結像位置認識部２４４に供給する。
【０８７７】
さらに、回転処理部２４６は、入射光線再現部３６からの光線を、回転せずに、そのまま、結像値算出部２４２に供給する。
【０８７８】
一方、回転処理部２４６は、光線回転法による集光処理が行われる場合には、実空間点選択部１４１で選択された注目実空間点に対応する仮想センサの画素が、レンズ情報生成軸上の画素になるように、仮想センサ（の画素）を回転するときの一致回転角度-ALPHAだけ、入射光線再現部３６からの光線を回転する。
【０８７９】
そして、回転処理部２４６は、回転後の光線を、結像値算出部２４２に供給する。
【０８８０】
さらに、回転処理部２４６は、エミュレーションレンズ情報生成部３４からのレンズ情報生成軸の情報点に対するレンズ情報のうちのPSF強度分布及びPSF角度成分情報を、回転せずに、そのまま、結像値算出部２４２に供給するとともに、像面シフト情報を、回転せずに、そのまま、結像位置認識部２４４に供給する。
【０８８１】
図６５は、図６４の集光処理部３８が行う集光処理の例を説明するフローチャートである。
【０８８２】
なお、本実施の形態では、図６１で説明したように、レンズ情報の情報量を削減するため、注目フォーカス位置に対してだけレンズ情報が生成される。そのため、集光処理は、フォーカス位置が、レンズ情報が生成されたときの注目フォーカス位置に設定されていることとして行われる。
【０８８３】
但し、レンズ情報は、Fmax個のフォーカス位置（図３７）のそれぞれに対して、あらかじめ生成しておくことができる。この場合、集光処理部３８では、注目フォーカス位置を設定し、その注目フォーカス位置に対するレンズ情報を用いて、集光処理を行うことができる。
【０８８４】
又は、エミュレーションレンズ情報生成部３７において、集光処理部３８で注目フォーカス位置を設定してから、その注目フォーカス位置に対して、レンズ情報を生成することができる。
【０８８５】
ここで、図６５では、光線回転法による集光処理を行うこととする。
【０８８６】
ステップＳ２５１ないしＳ２５４において、図５６のステップＳ１５１ないしＳ１５４と、それぞれ同様の処理が行われる。
【０８８７】
すなわち、実空間点選択部１４１は、ステップＳ２５１において、視差情報生成部３１から供給される多層視差マップを取得し、ステップＳ２５２において、基準画像HD1の画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択する。
【０８８８】
さらに、実空間点選択部１４１は、ステップＳ２５３において、視差情報生成部３１からの多層視差マップに登録されている注目画素の視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、ステップＳ２５４において、注目視差がある注目画素に対応する実空間点を、注目実空間点に選択する。
【０８８９】
そして、処理は、ステップＳ２５４からステップＳ２５５に進み、回転処理部２４６は、実空間点選択部１４１で選択された注目実空間点に対応する仮想センサの画素が、レンズ情報生成軸上の画素になるように、仮想センサを回転するときの一致回転角度-ALPHAを算出し、処理は、ステップＳ２５６に進む。
【０８９０】
ステップＳ２５６では、回転処理部２４６が、エミュレーションレンズのレンズエリアユニットのうちの、まだ、注目レンズエリアユニットとしていないレンズエリアユニットの１つを、注目レンズエリアユニットに選択し、処理は、ステップＳ２５７に進む。
【０８９１】
ステップＳ２５７では、回転処理部２４６は、入射光線再現部３６から供給される光線の中から、注目実空間点から注目レンズエリアユニットに向かう光線を、注目光線として取得し、処理は、ステップＳ２５８に進む。
【０８９２】
ステップＳ２５８では、回転処理部２４６は、注目光線を、ステップＳ２５５で算出された一致回転角度-ALPHAだけ、光軸を中心として回転し、回転後の注目光線を、結像値算出部２４２に供給して、処理は、ステップＳ２５９に進む。
【０８９３】
ステップＳ２５９では、結像値算出部２４２は、回転処理部２４６からの回転後の注目光線が、注目実空間点からエミュレーションレンズに到達するかどうかを判定する。
【０８９４】
ステップＳ２５９において、回転後の注目光線がエミュレーションレンズに到達すると判定された場合、すなわち、回転後の注目光線に割り当てられている視差（図３３ないし図３５で説明した入射光線再現処理で割り当てられた視差）が、注目視差と等しい場合、処理は、ステップＳ２６０に進む。
【０８９５】
ステップＳ２６０では、結像値算出部２４２、スケール調整部１４３、結像位置認識部２４４、及び、加算部２４５において、エミュレーションレンズに到達すると判定された回転後の注目光線、すなわち、衝突判定の結果残っている注目光線が回転された、回転後の注目光線を対象として、後述する光線加算処理が行われ、処理は、ステップＳ２６１に進む。
【０８９６】
一方、ステップＳ２５９において、回転後の注目光線がエミュレーションレンズに到達しないと判定された場合、すなわち、回転後の注目光線に割り当てられている視差が、注目視差と等しくない場合、処理は、ステップＳ２６０をスキップして、ステップＳ２６１に進む。したがって、回転後の注目光線がエミュレーションレンズに到達しない場合、その回転後の注目光線については、光線加算処理は、行われない。
【０８９７】
ステップＳ２６１ないしＳ２６３では、図５６のステップＳ１５９ないしＳ１６１と同様の処理が行われる。
【０８９８】
すなわち、ステップＳ２６１では、回転処理部２４６が、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したかどうかを判定し、まだ、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択していないと判定した場合、処理は、ステップＳ２５６に戻り、以下、同様の処理が繰り返される。
【０８９９】
また、ステップＳ２６１において、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したと判定された場合、処理は、ステップＳ２６２に進み、実空間点選択部１４１は、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したかどうかを判定する。
【０９００】
ステップＳ２６２において、まだ、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ２５３に戻り、以下、同様の処理が繰り返される。
【０９０１】
また、ステップＳ２６２において、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ２６３に進み、実空間点選択部１４１は、基準画像HD1の画素のすべてを、注目画素に選択したかどうかを判定する。
【０９０２】
ステップＳ２６３において、まだ、基準画像HD1の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ２５２に戻り、以下、同様の処理が繰り返される。
【０９０３】
また、ステップＳ２６３において、基準画像HD1の画素のすべてを、注目画素に選択したと判定された場合、加算部２４５は、いままでの処理により得られる、仮想センサ上の結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給して、集光処理は、終了する。
【０９０４】
図６６は、図６５のステップＳ２６０で行われる光線加算処理の例を説明するフローチャートである。
【０９０５】
ステップＳ２７１において、結像値算出部２４２は、注目実空間点に対応する仮想センサの画素（位置）を、図６５のステップＳ２５５で算出された一致回転角度-ALPHAだけ回転した回転後の画素に最も近い情報点である対応情報点を、レンズ情報生成軸の情報点の中から検出する。
【０９０６】
さらに、結像値算出部２４２は、回転処理部２４６からのレンズ情報生成軸の情報点に対するレンズ情報の中から、対応情報点と注目視差とに対応する実空間点に対するレンズ情報を取得する。
【０９０７】
そして、結像値算出部２４２は、対応情報点と注目視差とに対応する実空間点に対するレンズ情報のうちの、注目フォーカス位置fについてのPSF強度分布（が記録された分布エリア）、及び、PSF角度成分情報を用いて、回転処理部２４６からの回転後の注目光線が到達するPSF強度分布が記録された分布エリア上の位置である対応エリアを求める。
【０９０８】
さらに、結像値算出部２４２は、対応エリアのPSF強度分布と、回転後の注目光線に割り当てられた輝度（図３３ないし図３５で説明した入射光線再現処理で割り当てられた輝度）との積を、回転後の注目光線の結像値（の分布）として求める。
【０９０９】
そして、結像値算出部２４２は、回転後の注目光線の結像値が記録された分布エリアを、スケール調整部１４３に供給し、処理は、ステップＳ２７１からステップＳ２７２に進む。
【０９１０】
ステップＳ２７２では、スケール調整部１４３は、エミュレーションレンズ情報生成部３４からのレンズ情報生成軸の情報点に対するレンズ情報の中から、対応情報点と注目視差とに対応する実空間点に対するレンズ情報を取得する。
【０９１１】
そして、スケール調整部１４３は、対応情報点と注目視差とに対応する実空間点に対するレンズ情報のうちの、注目フォーカス位置fについての像面ピッチを用いて、結像値算出部２４２からの結像値の分布が記録された分布エリアを縮小又は拡大することで、その分布エリアのスケールを、仮想センサのスケールと一致するスケールに調整する。
【０９１２】
さらに、スケール調整部１４３は、スケールの調整後の分布エリアを、結像位置認識部２４４を介して、加算部２４５に供給し、処理は、ステップＳ２７２からステップＳ２７３に進む。
【０９１３】
ステップＳ２７３では、結像位置認識部２４４は、回転処理部２４６からのレンズ情報生成軸の情報点に対するレンズ情報の中から、対応情報点と注目視差とに対応する実空間点に対するレンズ情報を取得する。
【０９１４】
そして、結像位置認識部２４４は、対応情報点と注目視差とに対応する実空間点に対するレンズ情報のうちの、注目フォーカス位置fについての像面シフト情報と、回転処理部２４６が注目光線を回転した一致回転角度-ALPHAとから、エミュレーションレンズを介した、回転前の注目光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、加算部２４５に供給して、処理は、ステップＳ２７４に進む。
【０９１５】
ステップＳ２７４では、加算部２４５は、スケール調整部１４３で得られたスケールの調整後の分布エリアと仮想センサとの位置合わせを、結像位置認識部２４４からの像面シフト位置によって行う。
【０９１６】
すなわち、加算部２４５は、スケールの調整後の分布エリアの中心点CP（図５４）と、仮想センサの像面シフト位置とが一致するように、スケールの調整後の分布エリアと仮想センサとの位置合わせを行う。
【０９１７】
さらに、ステップＳ２７４では、加算部２４５は、位置合わせ後の分布エリア（に記録された結像値）を、回転処理部２４６が注目光線を回転したときの一致回転角度-ALPHAだけ光軸（又は中心点CP）を中心として逆回転し、すなわち、一致回転角度+ALPHAだけ光軸（又は中心点CP）を中心として回転し、処理は、ステップＳ２７５に進む。
【０９１８】
ステップＳ２７５では、加算部２４５は、回転後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。すなわち、加算部２４５は、仮想センサとしてのメモリの記憶値と、結像値とを加算し、その結果得られる加算値によって、メモリの記憶値を書き換える。
【０９１９】
以上により、光線加算処理は終了し、処理はリターンする。
【０９２０】
以上のように、レンズ情報を、仮想センサの平面の一部の複数位置である複数の情報点に対応する実空間点に対して生成し、そのレンズ情報を用いて、集光処理を行う場合には、エミュレーションレンズのぼけ味やその他の集光特性を、少ないデータ量で、正確に再現することができる。
【０９２１】
なお、本実施の形態では、レンズ情報生成軸として、仮想センサの中心から垂直方向に延びる、仮想センサの対角の長さの1/2の線分（図５９）を採用したが、レンズ情報生成軸としては、仮想センサの中心から延びる任意の１軸を採用することができる。
【０９２２】
すなわち、レンズ情報生成軸としては、例えば、仮想センサの中心と、仮想センサの対角の１画素とを結ぶ線分を採用することができる。
【０９２３】
また、複数の情報点は、仮想センサの中心から延びるレンズ情報生成軸を等分する複数の点に限定されるものではない。
【０９２４】
すなわち、複数の情報点としては、例えば、仮想センサの平面の像高が異なる、直線上に並ぶ複数の点、又は、直線上に並んでいない複数の点を採用することができる。なお、複数の情報点の像高は、0から、仮想センサの像高の最大値までの範囲に、万遍なく散らばっていることが望ましい。
【０９２５】
図６７は、光線回転法による集光処理（図６５及び図６６）を行う場合に、回転前の光線が結像する仮想センサ上の結像位置である像面シフト位置を求める方法（図６６のステップＳ２７３で結像位置を認識する方法）を説明する図である。
【０９２６】
ここで、像面シフト位置が、例えば、仮想センサの左上の画素を原点とし、仮想センサの画素ピッチを1とする2次元座標系の座標(x,y)で表現されることとする。
【０９２７】
また、像面シフト情報は、像面シフト位置の、光軸（仮想センサの中心）SOからの、x方向及びy方向それぞれの距離（マイクロメートル）を表すこととする。
【０９２８】
結像位置認識部２４４は、図６６のステップＳ２７３で説明したように、注目視差がある対応情報点に対応する実空間点に対する像面シフト情報と、回転処理部２４６が注目光線を回転した一致回転角度-ALPHAとから、回転前の注目光線が結像する仮想センサ上の結像位置である像面シフト位置（以下、回転前像面シフト位置ともいう）を認識する。
【０９２９】
ここで、対応情報点は、仮想センサの中心SOから上方向に延びるセンサ情報生成軸上の点であり、そのような対応情報点と注目視差とに対応する実空間点に対する像面シフト情報img_heightは、仮想センサの中心SOから、その中心SOを通り、垂直方向に延びる直線上の位置Aまでの距離を表す。位置Aは、対応情報点と注目視差とに対応する実空間点から発せられる主光線が、エミュレーションレンズを介して到達する仮想センサ上の位置である。
【０９３０】
いま、仮想センサの横幅（左端の画素と右端の画素との間の距離）を、widthと表すとともに、仮想センサの画素ピッチ（隣接する画素どうしの距離）を、Sensor_pitchと表すこととする。
【０９３１】
回転前の注目光線が結像する仮想センサ上の結像位置である回転前像面シフト位置は、位置Aを、注目光線を回転したときの一致回転角度-ALPHAだけ逆回転した位置、すなわち、一致回転角度+ALPHAだけ回転した位置になる。
【０９３２】
したがって、回転前像面シフト位置のx座標Xは、式X=width/2+(img_height×cos(90°-ALPHA))/Sensor_pitchに従って求めることができる。
【０９３３】
回転前像面シフト位置のy座標も、同様に求めることができる。
【０９３４】
結像位置認識部２４４は、以上のようにして、回転前像面シフト位置（のx座標及びy座標）を求めて認識する。
【０９３５】
そして、加算部２４５では、以上のように、対応情報点と注目視差とに対応する実空間点に対する像面シフト情報img_heightが表す位置（像面シフト位置）Aを、注目光線を回転したときの一致回転角度-ALPHAだけ逆回転する（一致回転角度+ALPHAだけ回転する）ことにより得られる回転前像面シフト位置によって、スケールの調整後の分布エリアと仮想センサとの位置合わせが行われる。
【０９３６】
すなわち、加算部２４５では、スケールの調整後の分布エリアの中心点CP（図５４）と、仮想センサの回転前像面シフト位置とが一致するように、スケールの調整後の分布エリアと仮想センサとの位置合わせが行われる。
【０９３７】
なお、回転前像面シフト位置は、以上のように、対応情報点と注目視差とに対応する実空間点に対する像面シフト情報img_heightが表す位置（像面シフト位置）を回転することにより求められるため、その回転に起因する丸め誤差が生じる。
【０９３８】
この丸め誤差により、回転前像面シフト位置の精度が低下し、この回転前像面シフト位置の精度の低下に起因して、集光処理でのエミュレーションレンズの集光特性の再現性が低下することがある。
【０９３９】
そこで、回転前像面シフト位置の精度の低下を抑制するため、像面シフト情報（が表す像面シフト位置）については、補間を行うことができる。
【０９４０】
像面シフト情報（が表す像面シフト位置）の補間には、情報点の並びの方向（光軸と垂直な方向）（像高の方向）の補間と、視差方向の補間とがある。
【０９４１】
図６８は、像面シフト情報（が表す像面シフト位置）の、情報点の並びの方向の補間を説明する図である。
【０９４２】
光線回転法による集光処理は、注目実空間点に対応する仮想センサの画素（位置）を、一致回転角度-ALPHAだけ回転した回転後の画素（位置）に最も近い情報点である対応情報点と注目視差とに対応する実空間点に対するレンズ情報（以下、単に、対応情報点に対するレンズ情報ともいう）を用いて行われる。
【０９４３】
図６８では、注目実空間点に対応する仮想センサの画素（位置）ppを、一致回転角度-ALPHAだけ回転した回転後の画素（位置）pp'が、隣接する情報点AとBとの間にあり、その回転後の画素pp'に最も近い情報点である対応情報点が、情報点Bになっている。
【０９４４】
この場合、情報点の並びの方向の補間としては、回転後の画素pp'を挟む情報点A及びBそれぞれに対する像面シフト位置ih1及びih2を用いた補間が、例えば、回転後の画素pp'から情報点A及びBそれぞれまでの距離a及びbの比に従って行われる。
【０９４５】
すなわち、情報点の並びの方向の補間では、例えば式ih=(ih1×b+ih2×a)/(a+b)に従って、情報点の並びの方向の補間値としての像面シフト位置ihが求められる。
【０９４６】
そして、対応情報点である情報点Bに対する像面シフト位置ih2に代えて、情報点の並びの方向の補間値としての像面シフト位置ihを用いて、注目実空間点から発せられる光線の結像値の位置合わせが行われる。
【０９４７】
図６９は、像面シフト情報（が表す像面シフト位置）の、視差方向の補間を説明する図である。
【０９４８】
本実施の形態では、図６で説明したように、視差を、例えば、1/4画素の精度で求めて、その1/4画素の精度の視差を、整数化して用いることとしている。
【０９４９】
そのため、例えば、図３２等では、視差マップに登録し得る視差dを、最小値Dminから最大値Dmaxまでの、1画素刻みのDPN=Dmax-Dmin+1個の整数値としたが、視差マップには、1/4画素の精度の視差を登録しておき、視差マップに登録されている視差を用いるときに、その視差を、整数化することができる。
【０９５０】
以上のように、視差マップに、1/4画素の精度等の画素以下精度の視差が登録されている場合、像面シフト情報の、視差方向の補間は、視差マップに登録されている画素以下精度の視差を、整数化せずにそのまま用いて行うことができる。
【０９５１】
例えば、いま、視差マップに、1/4画素の精度の視差が登録されていることとする。
【０９５２】
図６１のエミュレーションレンズ情報生成処理では、注目情報点及び注目視差に対応する注目実空間点に対するレンズ情報としての像面シフト情報（が表す像面シフト位置）が、視差マップに登録され得る視差を、注目視差に選択して求められる。
【０９５３】
このエミュレーションレンズ情報生成処理で注目視差に選択される、視差マップに登録され得る視差としては、最小値Dminから最大値Dmaxまでの、1画素刻みのDPN=Dmax-Dmin+1個の整数値が用いられる。
【０９５４】
したがって、エミュレーションレンズ情報生成処理では、整数値の視差に対して、像面シフト位置が求められる。
【０９５５】
図６９では、ある整数値の視差Dの次に大きい視差が、整数値D+1になっている。そして、整数値の視差Dに対して、像面シフト位置ih1が求められ、次に大きい整数値の視差D+1に対して、像面シフト位置ih2が求められている。
【０９５６】
一方、図６５の集光処理では、基準画像から選択された注目画素の視差として、視差マップに登録されている視差の中から、注目視差が選択される（ステップＳ２５３）。
【０９５７】
この場合、視差マップに登録されている視差は、整数化され、注目視差に選択される。
【０９５８】
そして、集光処理では、対応情報点及び注目視差に対応する実空間点に対するレンズ情報を用いて、光線加算処理（図６６）が行われる。
【０９５９】
この光線加算処理で用いられるレンズ情報のうちの、像面シフト情報（が表す像面シフト位置）については、視差マップに登録されている視差を整数化せずに用いて、視差方向の補間を行うことができる。
【０９６０】
すなわち、図６９では、対応情報点及び注目視差に対応する実空間点の視差（注目視差）が、1/4画素の精度の視差であるD+0.75になっている。
【０９６１】
ここで、視差マップに登録されている視差が、1/4画素の精度の視差である場合、整数値の視差Dから、次の整数値の視差D+1までの間の、1/4画素の精度の視差としては、D+0.25，D+0.5，D+0.75がある。
【０９６２】
視差マップに登録されている視差を整数化して用いる場合に、その整数化を、例えば、小数点以下の切り捨てによって行うこととすると、注目視差が、D，D+0.25，D+0.5、又は、D+0.75である場合には、いずれの場合にも、整数値Dに整数化される。
【０９６３】
そして、整数値Dに整数化された注目視差に対する像面シフト位置ih1を用いて、光線加算処理（図６６）が行われる。
【０９６４】
視差方向の補間としては、整数化していない注目視差D+0.75を挟む整数値の視差D及びD+1それぞれに対する像面シフト位置ih1及びih2を用いた補間が、注目視差D+0.75から整数値の視差D及びD+1それぞれまでの距離0.75及び0.25の比に従って行われる。
【０９６５】
すなわち、視差方向の補間では、式ih=ih1×0.25+ih2×0.75に従って、視差方向の補間値としての像面シフト位置ihが求められる。
【０９６６】
そして、整数値Dに整数化された注目視差に対する像面シフト位置ih1に代えて、視差方向の補間値としての像面シフト位置ihを用いて、光線加算処理（のうちの、光線の結像値の位置合わせ）が行われる。
【０９６７】
以上のような、像面シフト情報（が表す像面シフト位置）の補間を行う場合には、集光処理でのエミュレーションレンズの集光特性の再現性を向上させることができる。
【０９６８】
なお、像面シフト情報については、情報点の並びの方向の補間、及び、視差方向の補間のうちの一方だけを行うこともできるし、両方を行うこともできる。
【０９６９】
＜エミュレーション結果＞
【０９７０】
図７０は、レンズエミュレーション部３５（図３）によるレンズエミュレーション処理の結果得られるエミュレーション画像の例を示す図である。
【０９７１】
図７０は、物体obj1の手前側に、棒状の物体obj2が配置されている実空間を撮影した撮影画像から得られたエミュレーション画像を示している。
【０９７２】
エミュレーション画像によれば、物体obj1の、棒状の物体obj2によって隠れている部分が発する光線が、物体obj2に衝突して見えなくなっていることを確認することができる。
【０９７３】
図７１は、レンズエミュレーション部３５によるレンズエミュレーション処理の結果得られるエミュレーション画像の他の例を示す図である。
【０９７４】
なお、図７１のエミュレーション画像は、図７０と同様に、物体obj1の手前側に、棒状の物体obj2が配置されている実空間を撮影した撮影画像から得られたエミュレーション画像である。
【０９７５】
図７１のＡは、像面シフト位置として、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置ではなく、主光線が仮想レンズを介して到達する仮想センサ上の位置を採用した場合のエミュレーション画像を示している。
【０９７６】
集光処理において、像面シフト位置として、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置ではなく、主光線が仮想レンズを介して到達する仮想センサ上の位置を採用した場合、光線の結像値を加算する仮想センサの位置に、仮想レンズとエミュレーションレンズとの入力瞳の位置のずれに起因する誤差が生じる。そのため、図７１のＡでは、エミュレーション画像において、奥側の物体obj1のうちの、棒状の物体obj2によって隠れて見えないはずの部分が、見えてしまっている。
【０９７７】
図７１のＢは、像面シフト情報の補間を行わなかった場合のエミュレーション画像を示している。
【０９７８】
図７１のＢでは、像面シフト情報（が表す像面シフト位置）の回転に起因する丸め誤差の影響により、棒状の物体obj2の輪郭を形成する垂直方向に延びる線分が、でこぼこになっていることを確認することができる。
【０９７９】
像面シフト位置として、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置を採用することや、像面シフト情報の補間を行うことで、エミュレーション画像において、図７１に示した症状が生じることを防止することができる。
【０９８０】
＜本技術を適用したコンピュータの説明＞
【０９８１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０９８２】
図７２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０９８３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
【０９８４】
あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０９８５】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０９８６】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
【０９８７】
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
【０９８８】
これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０９８９】
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０９９０】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０９９１】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０９９２】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０９９３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０９９４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０９９５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９９６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９９７】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０９９８】
なお、本技術は、以下のような構成をとることができる。
【０９９９】
＜１＞
実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現する光線再現部と、
前記光線再現部で再現された前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、
前記光線を、前記仮想センサ上に集光する
集光処理を行う集光処理部と
を備える画像処理装置。
＜２＞
前記集光処理部は、前記光線が前記エミュレーションレンズを介して前記仮想センサに結像する際の結像値を、前記仮想センサ上に加算する前記集光処理を行う
＜１＞に記載の画像処理装置。
＜３＞
前記集光処理部は、前記像面シフト位置によって、前記結像値を加算する前記仮想センサ上の位置の位置合わせを行う前記集光処理を行う
＜２＞に記載の画像処理装置。
＜４＞
前記集光処理部は、前記光線と、前記エミュレーションレンズの、点光源に対する応答を表すPSF(Point Spread Function)強度分布とを用いて、前記結像値を求める
＜３＞に記載の画像処理装置。
＜５＞
前記集光処理部は、前記光線が到達する前記PSF強度分布の位置を特定し、前記光線が到達する前記PSF強度分布の位置における前記PSF強度分布と、前記光線の輝度との積を、前記光線の結像値として求める
＜４＞に記載の画像処理装置。
＜６＞
前記集光処理部は、前記PSF強度分布と、前記光線の輝度との積で求められる前記光線の結像値の分布のスケールを、前記仮想センサのスケールに一致させて、前記結像値を、前記仮想センサ上に加算する
＜５＞に記載の画像処理装置。
＜７＞
前記光線再現部は、前記複数の視点の画像を用いて、前記仮想レンズに入射する光線に輝度を割り当てる
＜２＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記光線再現部は、前記光線が前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てる
＜２＞ないし＜７＞のいずれかに記載の画像処理装置。
＜９＞
前記集光処理部は、前記エミュレーションレンズを通過する光線を規定するレンズ情報を用いて、前記集光処理を行う
＜２＞ないし＜８＞のいずれかに記載の画像処理装置。
＜１０＞
前記集光処理部は、前記像面シフト位置を表す像面シフト情報を、前記レンズ情報として用いて、前記位置合わせを行う
＜９＞に記載の画像処理装置。
＜１１＞
前記集光処理部は、前記エミュレーションレンズの、点光源に対する応答を表すPSF(Point Spread Function)強度分布を、前記レンズ情報として用いて、前記結像値を求める
＜９＞に記載の画像処理装置。
＜１２＞
前記集光処理部は、前記光線が到達する前記PSF強度分布の位置を表すPSF角度成分情報を、前記レンズ情報として用いて、前記PSF角度成分情報が表す前記PSF強度分布の位置における前記PSF強度分布と、前記光線の輝度との積を、前記結像値として求める
＜１１＞に記載の画像処理装置。
＜１３＞
前記集光処理部は、前記PSF強度分布のスケールを表す像面ピッチを、前記レンズ情報として用いて、前記像面ピッチと、前記仮想センサの画素のスケールを表す画素ピッチとに基づいて、前記PSF強度分布と前記光線の輝度との積で求められる前記光線の結像値の分布のスケールを、前記仮想センサのスケールに一致させて、前記結像値を、前記仮想センサ上に加算する
＜１２＞に記載の画像処理装置。
＜１４＞
前記集光処理部は、前記仮想センサの平面の一部の複数位置である複数の情報点に対応する実空間点に対して生成された、前記エミュレーションレンズを通過する光線を規定するレンズ情報を用いて、前記集光処理を行う
＜１＞ないし＜１３＞のいずれかに記載の画像処理装置。
＜１５＞
前記集光処理部は、前記仮想センサの中心から延びる所定の１軸であるレンズ情報生成軸上の前記複数の情報点に対応する実空間点に対する前記レンズ情報を用いて、前記集光処理を行う
＜１４＞に記載の画像処理装置。
＜１６＞
前記集光処理部は、前記実空間点に対応する前記仮想センサの画素が、前記レンズ情報生成軸上に位置するように、前記仮想センサの画素、又は、前記レンズ情報生成軸を、前記仮想センサの中心を中心として回転するときの回転角度だけ、前記実空間点から発せられる光線、又は、前記レンズ情報生成軸のレンズ情報を回転し、前記集光処理を行う
＜１５＞に記載の画像処理装置。
＜１７＞
前記集光処理部は、前記仮想センサの画素、又は、前記レンズ情報生成軸を、前記回転角度だけ回転したときの、前記仮想センサの画素に対応する前記情報点に対応する実空間点に対する前記レンズ情報を用いて、前記集光処理を行う
＜１６＞に記載の画像処理装置。
＜１８＞
前記レンズ情報は、前記像面シフト位置を表す像面シフト情報を含み、
前記集光処理部は、前記像面シフト位置を、前記回転角度だけ逆回転した位置によって、前記位置合わせを行う
＜１７＞に記載の画像処理装置。
＜１９＞
前記集光処理部は、前記レンズ情報に含まれる前記像面シフト情報を用いた補間によって得られる前記像面シフト位置を用いて、前記集光処理を行う
＜１８＞に記載の画像処理装置。
＜２０＞
実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を再現することと、
前記光線がエミュレーション対象のエミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、前記実空間点から発せられる主光線が前記エミュレーションレンズを介して到達する前記仮想センサ上の位置である像面シフト位置によって行い、
前記光線を、前記仮想センサ上に集光する
集光処理を行うことと
を含む画像処理方法。
【符号の説明】
【１０００】
１１  撮影装置，  １２  画像処理装置，  １３  表示装置，  ２１1ないし２１7  カメラユニット，  ３１  視差情報生成部，  ３２  キャリブレーションデータ取得部，  ３３  飽和画素復元部，  ３４  レンズ設計データ取得部，  ３５  レンズエミュレーション部，  ３６  入射光線再現部，  ３７  エミュレーションレンズ情報生成部，  ３８  集光処理部，  ４１  基準視差マップ生成部，  ４２  多層視差マップ生成部，  ５１  飽和判定部，  ５２  復元部，  ６１  標準輝度撮影画像性支部，  ６２  低輝度撮影画像生成部，  ７１  視差情報取得部，  ７２  標準輝度撮影画像生成部，  ７３  低輝度撮影画像生成部，  ７４  飽和判定部，  ７５  復元部，  １０１  実空間点選択部，  １０２  光線生成部，  １０３  衝突判定部，  １０４  輝度割り当て部，  １３１  実空間点選択部，  １３２  情報算出部，  １３３  フォーカス位置選択部，  １４１  実空間点選択部，  １４２  結像値算出部，  １４３  スケール調整部，  １４４  結像位置認識部，  １４５  加算部，  ２３１  実空間点選択部，  ２４２  結像値算出部，  ２４４  結像位置認識部，  ２４５  加算部，  ２４６  回転処理部，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
2016175044.tif 000003
【図２】
2016175044.tif 000004
【図３】
2016175044.tif 000005
【図４】
2016175044.tif 000006
【図５】
2016175044.tif 000007
【図６】
2016175044.tif 000008
【図７】
2016175044.tif 000009
【図８】
2016175044.tif 000010
【図９】
2016175044.tif 000011
【図１０】
2016175044.tif 000012
【図１１】
2016175044.tif 000013
【図１２】
2016175044.tif 000014
【図１３】
2016175044.tif 000015
【図１４】
2016175044.tif 000016
【図１５】
2016175044.tif 000017
【図１６】
2016175044.tif 000018
【図１７】
2016175044.tif 000019
【図１８】
2016175044.tif 000020
【図１９】
2016175044.tif 000021
【図２０】
2016175044.tif 000022
【図２１】
2016175044.tif 000023
【図２２】
2016175044.tif 000024
【図２３】
2016175044.tif 000025
【図２４】
2016175044.tif 000026
【図２５】
2016175044.tif 000027
【図２６】
2016175044.tif 000028
【図２７】
2016175044.tif 000029
【図２８】
2016175044.tif 000030
【図２９】
2016175044.tif 000031
【図３０】
2016175044.tif 000032
【図３１】
2016175044.tif 000033
【図３２】
2016175044.tif 000034
【図３３】
2016175044.tif 000035
【図３４】
2016175044.tif 000036
【図３５】
2016175044.tif 000037
【図３６】
2016175044.tif 000038
【図３７】
2016175044.tif 000039
【図３８】
2016175044.tif 000040
【図３９】
2016175044.tif 000041
【図４０】
2016175044.tif 000042
【図４１】
2016175044.tif 000043
【図４２】
2016175044.tif 000044
【図４３】
2016175044.tif 000045
【図４４】
2016175044.tif 000046
【図４５】
2016175044.tif 000047
【図４６】
2016175044.tif 000048
【図４７】
2016175044.tif 000049
【図４８】
2016175044.tif 000050
【図４９】
2016175044.tif 000051
【図５０】
2016175044.tif 000052
【図５１】
2016175044.tif 000053
【図５２】
2016175044.tif 000054
【図５３】
2016175044.tif 000055
【図５４】
2016175044.tif 000056
【図５５】
2016175044.tif 000057
【図５６】
2016175044.tif 000058
【図５７】
2016175044.tif 000059
【図５８】
2016175044.tif 000060
【図５９】
2016175044.tif 000061
【図６０】
2016175044.tif 000062
【図６１】
2016175044.tif 000063
【図６２】
2016175044.tif 000064
【図６３】
2016175044.tif 000065
【図６４】
2016175044.tif 000066
【図６５】
2016175044.tif 000067
【図６６】
2016175044.tif 000068
【図６７】
2016175044.tif 000069
【図６８】
2016175044.tif 000070
【図６９】
2016175044.tif 000071
【図７０】
2016175044.tif 000072
【図７１】
2016175044.tif 000073
【図７２】
2016175044.tif 000074
【国際調査報告】
2016175044.tif 000075
2016175044.tif 000076
2016175044.tif 000077
2016175044.tif 000078