(57)【要約】【課題】複数のライトフィールド画像を記憶する場合のデータ量を抑える。【解決手段】デジタルカメラ１００の再構成部１５０は、それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数のライトフィールド画像から複数生成する。ＨＤＲ合成部１６０は、生成した複数の再構成画像の合成比率を、その複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する。特定部１７０は、複数の再構成画像を構成する画素のうち、決定した合成比率が所定の比率以上である画素を特定する。削減部１８０は、ライトフィールド画像において、特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する。保存部１９０は、削減部１８０によりデータ量が削減された複数のライトフィールド画像をＳＤに保存する。【選択図】図５
2014160912.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記削減手段は、前記特定した画素と何れにも対応しない画素を、前記所定条件を満たす画素とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記削減手段は、前記所定条件を満たす画素を含むサブ画像について、該サブ画像の画素の画素値を特定の値に変更し、該変更後のサブ画像を含むライトフィールド画像を圧縮するものであり、
前記記憶手段は、前記圧縮されたライトフィールド画像を複数記憶することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記削減手段は、前記サブ画像を構成する全ての画素が前記所定条件を満たす画素である場合に、該サブ画素を構成する全ての画素の画素値を特定の画素値に変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記削減手段は、前記複数のライトフィールド画像それぞれが含む何れかのサブ画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が前記所定条件を満たす画素である場合、該領域を削除してデータ量を削減することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
被写体からの光りを捉えるメインレンズと、該メインレンズが捉えた光りをさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする撮像装置。
【請求項７】
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成ステップと、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減ステップと、
前記削減ステップにより前記データ量が削減された複数のライトフィールド画像を記憶する記憶ステップと、を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、様々なデジタルカメラが知られている。
例えば、撮影後にユーザがピント及び被写界深度を変更できるライトフィールドカメラが知られている。このライトフィールドカメラに関連する技術として、特許文献１には、複数のサブ画像を含むライトフィールド画像から、任意の焦点距離における被写体の画像を再構成する技術が開示されている。
【０００３】
一方、白とびや黒つぶれがないハイダイナミックレンジ（High Dynamic Range :HDR)画像が得られるＨＤＲカメラが知られている。このＨＤＲカメラに関連する技術として、特許文献２には、露出を変えて高速連写した複数の画像を適正な合成比率で合成することによりＨＤＲ画像を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５１５１１０号公報
【特許文献２】特開２０１２−０３４３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したライトフィールドカメラにて露出を変えて高速連写した複数のライトフィールド画像からそれぞれ再構成した複数の再構成画像を合成することでＨＤＲ画像を得ることができる。このＨＤＲ画像のピント及び被写界深度の調整を可能にするには、複数のライトフィールド画像を記憶しておく必要がある。このため、記憶するデータ量が大きくなるという問題があった。
【０００６】
そこで、この発明は、上記問題に鑑みてなされたものであって、複数のライトフィールド画像を記憶する場合のデータ量を抑える装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、この発明に係る画像処理装置は、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のライトフィールド画像を記憶する場合のデータ量を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。
【図２】図１に示したデジタルカメラの光学系の構成例を示す模式図である。
【図３】ライトフィールド画像の概念図である。
【図４】ライトフィールド画像と再構成画像の一例を示す写真である。
【図５】デジタルカメラの機能構成を示すブロック図である。
【図６】実施形態に係る再構成処理の流れの一例を示すフローチャートである。
【図７】部分画像定義テーブルの一例を示す図である。
【図８】配置間隔テーブルの一例を示す図である。
【図９】ライトフィールド画像から再構成画像を生成する処理の概要を示す図である。
【図１０】画素対応テーブルの一例を示す図である。
【図１１】再構成画像の合成を説明するための図であり、（a）は露出の異なる再構成画像を、（ｂ）は判定用画像を、（ｃ）はＨＤＲ画像を、それぞれ示す。
【図１２】合成比率設定グラフの一例を示す図である。
【図１３】合成比率対応テーブルの一例を示す図である。
【図１４】実施形態に係るデータ量削減処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明の実施形態を図面に基づいて説明する。
まず、図１を参照しながらデジタルカメラ１００のハードウェア構成について説明する。図１に示すように、デジタルカメラ１００は、撮影部１１０と画像処理部１２０と操作部１３０と表示部１４０とを備える撮像装置である。
撮影部１１０は、メインレンズ１１１とマイクロレンズアレイ１１２と撮像素子１１３とを備える。この撮影部１１０の詳細については後述する。
次に、画像処理部１２０は、ＣＰＵ（Central Processing Unit）１２１とＲＯＭ（Read Only Memory）１２２とＲＡＭ（Random Access Memory）１２３とＳＤ（Secure Digital Memory Card）１２４とを備える。
【００１１】
このうち、ＣＰＵ１２１は、画像処理部１２０及びデジタルカメラ１００を制御する中央演算装置である。
ＲＯＭ１２２は、ＣＰＵ１２１が実行するプログラムを格納している不揮発性メモリである。
ＲＡＭ１２３は、ＣＰＵ１２１が実行するプログラムを一時的に展開し、ＣＰＵ１２１が各種処理を行う際の作業領域として使用する揮発性メモリである。
【００１２】
ＳＤ１２４は、各種画像のデータ、各種テーブル及び各種設定情報を記憶する記憶手段である。各種画像のデータとしては、例えば後述するライトフィールド画像のデータ及びＨＤＲ画像のデータなどである。また、各種テーブルとしては、例えば後述する部分画像定義テーブル、配置間隔テーブル及び合成比率設定グラフなどである。また、各種設定情報としては、例えばメインレンズ１１１の焦点距離ｆＭＬ、絞り（Ｆ値）及びマイクロレンズアレイ１１２と撮像素子１１３との位置情報などである。
【００１３】
次に、操作部１３０は、撮影部１１０による撮影処理のトリガとなるシャッターキー及びデジタルカメラ１００の電源を入れるための電源スイッチなど複数のスイッチを備える。
表示部１４０は、液晶ディスプレイ又は有機ＥＬ（Electroluminescence）ディスプレイなどの表示手段である。この表示部１４０は、ＳＤ１２４に記憶された各種画像のデータに基づいて、その各種画像を表示する。
【００１４】
ここで、図２を参照しながら、デジタルカメラ１００の撮影部１１０の詳細について説明する。図２に示すように、デジタルカメラの光学系においては、被写体ＯＢから見て、メインレンズ１１１と、マイクロレンズアレイ１１２と、撮像素子１１３と、がその順番で配置されている。
メインレンズ１１１は、一又は複数の凸レンズ、凹レンズ又は非球面レンズなどから構成される。このメインレンズ１１１は、被写体ＯＢ上の点から射出された光束を集光して結像面ＭＡに結像させる。
【００１５】
マイクロレンズアレイ１１２は、平面状に格子状に配置されたＮ×Ｍ個（Ｎ及びＭは２以上の任意の整数値）のマイクロレンズ１１２−１乃至１１２−Ｎ×Ｍから構成される。図３には、縦一列（Ｍ個）のマイクロレンズが図示されている。なお、各マイクロレンズ１１２−ｉ（ｉは、１乃至Ｎ×Ｍの範囲内の整数値）は、同じ大きさの径をもち、マイクロレンズアレイ１１２に同じ間隔で格子状に配列されている。
このマイクロレンズ１１２−ｉは、被写体ＯＢからメインレンズ１１１を介して入射されてくる光束を入射方向毎に集光して、撮像素子１１３上にサブ画像として結像させる。
【００１６】
撮像素子１１３は、各マイクロレンズ１１２−ｉにより結像された複数のサブ画像を含むライトフィールド画像（Light Field Image :LFI）を生成するイメージセンサである。
このライトフィールド画像は、被写体ＯＢを同時に複数の視点から見た複数のサブ画像を含む。このライトフィールド画像の概念図を図３に示す。この図３は、ブロック状の被写体ＯＢを撮影したライトフィールド画像の一例である。
このライトフィールド画像は、格子状に配置されたＮ×Ｍ個のマイクロレンズ１１２−ｉのそれぞれに対応するサブ画像（Ｓ１１〜ＳＭＮ）から構成される。例えば、左上のサブ画像Ｓ１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブ画像ＳＭＮは、被写体ＯＢを右下から撮影した画像に相当する。
【００１７】
このライトフィールド画像の写真の一例を図４（a）に示す。ライトフィールド画像は、被写体ＯＢを同時に複数の視点から見た複数のサブ画像を含むので、デジタルカメラ１００の画像処理部１２０が各サブ画像を適切に合成することで、メインレンズ１１１から所定の距離だけ前方に離れた面に焦点を合わせた画像を再構成することができる（図４（ｂ））。ライトフィールド画像から図４（ｂ）に示すような再構成画像（Reconstructed Image :RI）を生成する処理である再構成処理については後述する。
なお、この実施形態では各サブ画像はグレースケール画像であり、サブ画像を構成する各画素は画素値を持つ。
【００１８】
ここで、ＣＰＵ１２１は、ＲＯＭ１２２内の各種プログラムを読み出し、ＲＡＭ１２３に展開した後、その各種プログラムに従って画像処理部１２０を制御することで、図５に示すような各部の機能を発揮することができる。機能としては、図５に示すように、再構成部１５０、ＨＤＲ合成部１６０、特定部１７０、削減部１８０及び保存部１９０を備える。なお、各部の機能の実行主体はＣＰＵ１２１であるが、説明の便宜上、各部の機能を実行主体として説明する。
【００１９】
まず、再構成部１５０は、それぞれ異なる視点から被写体ＯＢを撮影した複数のサブ画像を含むライトフィールド画像から再構成画像を生成する生成手段である。
具体的には、再構成部１５０は、ライトフィールド画像に含まれる各サブ画像の画像ズレ係数に基づいて、各サブ画像から部分画像を切り取る際の大きさと、再構成面に部分画像を配置する際の配置間隔と、を特定する。ここで、サブ画像から部分画像を切り取るとは、部分領域の境界を決定した上でサブ画像の画像データを全て残したままサブ画像から部分画像を抽出することをいう。
【００２０】
次に、その特定した大きさの部分画像を配置間隔に従って再構成面に順次配置して再構成画像を生成する。なお、再構成面とは、再構成が可能な再構成距離範囲内のうち、所定の再構成距離における仮想的な面である。この再構成距離範囲は、メインレンズ１１１などの光学系の性能等により定まるものである。この再構成距離範囲は、具体的には、サブ画像間の被写体の画素ずれ（視差）が最も大きくなるメインレンズ１１１から最も近い距離と、視差が最も小さくなるメインレンズ１１１から最も遠い距離と、の間の範囲となる。この実施形態においては、一例として、再構成が可能な再構成距離範囲はメインレンズ１１１の手前２０ｃｍから１０ｍの範囲内であり、所定の再構成距離は２ｍであるものとする。以下、再構成処理について図６のフローチャートを参照しながら詳述する。
【００２１】
再構成部１５０は、撮像素子１１３により生成されたライトフィールド画像を取得してＲＡＭ１２３の所定領域に設定されたバッファメモリに一時的に保存すると図６の再構成処理を開始する。
まず、再構成部１５０は、ｋ１をカウンタ変数として、ライトフィールド画像のｋ１番目のサブ画像に注目する（ステップＳ１１）。次に、再構成部１５０は、ステップＳ１１で注目したサブ画像である注目サブ画像の画像ズレ係数を算出する（ステップＳ１２）。具体的には、再構成部１５０は、注目サブ画像に写る被写体が、その注目サブ画像を中心とした所定範囲の周囲のサブ画像においてどの程度ずれて映っているかを示す係数である画像ズレ係数を算出する。画像ズレ係数は、例えば以下の方法で算出する。
【００２２】
注目サブ画像の中心の所定領域（例えば、中心の１０×１０の画素の領域）を中心領域とし、その中心領域に対応する部分が右隣（無い場合は、左隣）のサブ画像のどこにあるのかを求める。具体的には、右隣の中心の１０×１０の画素の領域を算出対象領域とする。そして、中心領域と算出対象領域の各画素値の差分絶対値和をとる。次に、右に１画素ずらした算出対象領域について同様に差分絶対値和をとる。これを起こりうる画素ずれ（視差）の範囲について繰り返す。得られた差分絶対値和が最小である算出対象領域が中心領域と対応する領域である。また、その最小の差分絶対値和が得られた画素ずれの数を画像ズレ係数とする。
【００２３】
次に、再構成部１５０は、部分画像の大きさを特定する（ステップＳ１３）。具体的には、再構成部１５０は、ＳＤ１２４に記憶された図７に示す部分画像定義テーブルを参照して、算出した画像ズレ係数と対応する部分画像の大きさを特定する。例えば、画像ズレ係数が８画素である場合、部分画像の大きさは注目サブ画像の中心６×６画素の領域である。なお、この部分画像定義テーブルは、予めＳＤ１２４に記憶されているものとする。また、この部分画像定義テーブルの部分画像の大きさは、画像ズレ係数が大きい程大きくなる。これは画像ズレ係数が大きいと被写体ＯＢの位置がサブ画像間で大きくずれていることを意味し、隣接するサブ画像の部分画像を繋げて再構成画像を生成するにあたって情報の抜けを作らないためには部分画像の大きさが大きい方が好ましいからである。一方で、画像ズレ係数が小さい画像については部分画像を小さくして、隣同士のサブ画像間に現れる情報の重複が、再構成画像上に過度に現れないようにしている。
【００２４】
次に、再構成部１５０は、配置間隔を特定する（ステップＳ１４）。具体的には、再構成部１５０は、再構成距離と画像ズレ係数とメインレンズ１１１の焦点距離と配置間隔とを対応付けた図８に示す配置間隔テーブルを参照して、部分画像の配置間隔を特定する。この配置間隔テーブルでは、予め実験により求められた好適な配置間隔が設定されている。また、この配置間隔テーブルは、予めＳＤ１２４に記憶されているものとする。再構成部１５０は、例えば再構成距離が２ｍ、算出した画像ズレ係数が３画素、設定情報であるメインレンズ１１１の焦点距離が５ｍである場合、配置間隔２画素を特定する。
【００２５】
次に、再構成部１５０は、部分画像を再構成面に重ね合わせ配置する（ステップＳ１５）。具体的には、再構成部１５０は、特定した大きさの部分画像を注目サブ画像から切り出して、その切り出した部分画像を配置間隔に従って構成面に配置する。この際、部分画像の一辺の大きさは配置間隔よりも大きいので、再構成面に配置した部分画像同士には重なりが生ずる。重なった部分については、画素の画素値を加算平均して再構成画像の画素値とする。
【００２６】
次に、再構成部１５０は、全サブ画像処理済か否か判断し（ステップＳ１６）、処理済でない場合（ステップＳ１６；Ｎｏ）、カウンタをインクリメントして（ステップＳ１７）、全サブ画像を処理するまでステップＳ１１乃至Ｓ１５の処理を繰り返す。再構成部１５０は、全サブ画像処理済みであると判断すると（ステップＳ１６；Ｙｅｓ）、生成した再構成画像をＳＤ１２４に記憶して処理を終了する。また、再構成部１５０は、ＲＡＭ１２３に一時的に記憶しているライトフィールド画像を消去する。
【００２７】
ここで、図９を参照しながらライトフィールド画像から再構成画像を生成する処理の概要について説明する。なお、説明の便宜上、特定した部分画像の大きさの一辺が配置間隔の２倍である場合を例にとって説明する。なお、この例では再構成面の端の部分を除いて、部分画像が４枚ずつ重なる。
まず、再構成部１５０は、ライトフィールド画像の左上のサブ画像Ｓ１１をサブ画像として注目する（ステップＳ１１）。そして、再構成部１５０は、ステップＳ１２乃至１４の処理の後、注目サブ画像Ｓ１１から部分画像ＰＩ１１を切り出し、その切り出した部分画像ＰＩ１１を再構成面の左上に配置する（ステップＳ１５）。
【００２８】
ステップＳ１１に戻って、再構成部１５０は、次に右隣のサブ画像Ｓ１２に注目する（ステップＳ１１）。再構成部１５０は、注目サブ画像Ｓ１２から部分画像ＰＩ１２を切り出して、その切り出した部分画像ＰＩ１２を先ほど再構成面に配置した部分画像ＰＩ１１の右隣に配置する（ステップＳ１５）。切り出した部分画像ＰＩ１２の一辺が配置間隔の２倍であるので、水平方向に重なりをもって配置される。再構成部１５０は、同様に、サブ画像Ｓ１２の右隣のサブ画像Ｓ１３から部分画像ＰＩ１３を切り出し、水平方向に重なりをもって配置する（図９（ａ）参照）。
【００２９】
再構成部１５０は、この処理をライトフィールド画像の右端まで繰り返す。再構成部１５０は、右端のサブ画像Ｓ１Ｎの処理が済んだら、ライトフィールド画像の左端に戻る。そして、再構成部１５０は、上から２段目のサブ画像Ｓ２１に注目し（ステップＳ１１）、注目したサブ画像Ｓ２１から切り出した部分画像ＰＩ２１を最初に再構成面に配置した部分画像Ｐ１１の下側に配置する（ステップＳ１５）。再構成部１５０は、切り出した部分画像ＰＩ２１の一辺が配置間隔の２倍であるので垂直方向に重なりをもって配置する（図９（ｂ）参照）。
【００３０】
再構成部１５０は、２段目の全てのサブ画像Ｓ２１〜Ｓ２Ｎの処理が済んだら、ライトフィールド画像の次の段のサブ画像を処理する。再構成部１５０は、ライトフィールド画像の右下のサブ画像ＳＭＮまで処理すると（ステップＳ１６；Ｙｅｓ）、生成した再構成画像をＳＤ１２４に記憶して再構成処理を終了する。
【００３１】
なお、再構成部１５０は、図６乃至９を参照して説明した再構成処理の後、後述するデータ削減処理用に、生成した再構成画像を構成する各画素を示す座標と、サブ画像を構成する各画素を示す座標と、を対応付けた図１０に示す画素対応テーブルを作成してＳＤ１２４に記憶する。
この画素対応テーブルにおいて再構成画像の各画素の座標は、再構成面の左上を座標原点（０，０）とし、水平方向をｘ座標、垂直方向をｙ座標で表したものである。また、サブ画像の各画素の座標は、ライトフィールド画像を構成する左上のサブ画像Ｓ１１から右下のサブ画像ＳＭＮの各画素の座標のうち、再構成画像の各画素の座標と対応する座標を示している。例えば、再構成画像の画素の座標（０，０）と対応するのは、ライトフィールド画像を構成する左上のサブ画像Ｓ１１の画素の座標（ｘ１，ｙ１）である。一方、再構成画像の画素の座標（１，１）と対応するのは、Ｓ１１（ｘ３，ｙ３）、Ｓ１２（ｘ２，ｙ２）、Ｓ２１（ｘ１，ｙ１）及びＳ２２（ｘ１，ｙ１）である。このことは、座標（１，１）の再構成画像の画素は、Ｓ１１、Ｓ１２、Ｓ２１及びＳ２２の各座標における部分画像の画素が重ね合っていることを示す。
【００３２】
図５に戻って、ＨＤＲ合成部１６０は、再構成部１５０によって露出が異なる複数のライトフィールド画像から生成した複数の再構成画像を、画素毎に所定の合成比率を用いて合成する合成手段である。
具体的には、ＨＤＲ合成部１６０は、露出を変えて高速３連写した３枚のライトフィールド画像から再構成部１５０により再構成された３枚の再構成画像をＳＤ１２４から取得する。次に、ＨＤＲ合成部１６０は、取得した３枚の再構成画像を画素毎に所定の合成比率を用いて合成しＨＤＲ画像を生成し、ＳＤ１２４に記憶する。以下、ＨＤＲ画像を生成するためのＨＤＲ合成処理について図１１を参照しながら詳述する。
【００３３】
まず、ＨＤＲ合成部１６０は、再構成部１５０により再構成された３枚の再構成画像（図１１（a）参照）をＳＤ１２４から取得する。図１１（a）に示す３枚の再構成画像は左から順に、露出アンダーのライトフィールド画像から再構成された再構成画像（以下、「露出アンダー再構成画像」という）、適正露出のライトフィールド画像から再構成された再構成画像（以下、「適正露出再構成画像」という）、露出オーバーのライトフィールド画像から再構成された再構成画像（以下、「露出オーバー再構成画像」という）である。なお、露出アンダーは適正露出未満の露出を意味し、露出オーバーは適正露出を超える露出を意味する。図示するように、露出アンダー再構成画像は適正露出未満の露出であるため画像全体に渡って暗く、露出オーバー再構成画像は適正露出を超える露出であるため画像全体に渡って明るい。
【００３４】
次に、ＨＤＲ合成部１６０は、露出アンダー再構成画像と適正露出再構成画像と露出オーバー再構成画像とを構成する各画素の画素値を平均化し、平均化後の画像を平滑化して判定用画像を作成する（図１１（ｂ））。これにより３枚の再構成画像の画素値（０：黒〜２５５：白）が平均化されるので明るさが平均化されるとともに、平滑化によりランダムなノイズが除去された判定用画像が得られる。なお、平滑化は公知の手法により（例えば、平均化後の画像に対してεフィルタをかけることにより）行うことができる。
【００３５】
次に、ＨＤＲ合成部１６０は、ＳＤ１２４に記憶された図１２に示す合成比率設定グラフを参照して、判定用画像の画素値に基づいて画素毎に露出アンダー用合成比率Ｒｕ、適正露出用合成比率Ｒｍ、及び露出オーバー用合成比率Ｒｏをそれぞれ決定する。なお、判定用画像の各画素の画素値は、上述したように３枚の再構成画像の各画素の画素値が平均化されて平滑化されたものである。このため、判定用画像の各画素の画素値に基づいて定まるＲｕ、Ｒｍ及びＲｏそれぞれの合成比率は、３枚の再構成画像の各画素の画素値に応じて定まるともいえる。すなわち、ＨＤＲ合成部１６０は、複数の再構成画像の合成比率を、その複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段ともいえる。
図１２に示した合成比率設定グラフは、判定用画像の画素値が低い場合（暗い場合）、明るい露出オーバー再構成画像の画素の合成比率が高くなるようにＲｏが高く設定されている。一方、合成比率設定グラフは、判定用画像の画素値が高い場合（明るい場合）、暗い露出アンダー再構成画像の画素の合成比率が高くなるようにＲｕが高く設定されている。
【００３６】
例えば、判定用画像の画素値が高い場合（図１１（ｂ）の判定用画像の右上を注目画素とするような場合）、合成比率設定グラフに基づいてＲｕ、Ｒｍ及びＲｏの合成比率がそれぞれ概ね７０％、３０％及び０％となる。
ここで、適正露出再構成画像の注目画素の画素値を「ＲＩｍ」とし、露出アンダー再構成画像の注目画素の画素値を「ＲＩｕ」とし、露出オーバー再構成画像の注目画素の画素値を「ＲＩｏ」とする。この場合、ＨＤＲ画像の画素の画素値を「ＨＤＲｍｉｘ」とすると、ＨＤＲｍｉｘは次の（１）の式で表される。
ＨＤＲｍｉｘ＝Ｒｕ×ＲＩｕ＋Ｒｍ×ＲＩｍ＋Ｒｏ×ＲＩｏ・・・・（１）
【００３７】
ＨＤＲ合成部１６０は、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれの同一座標の画素を注目画素に設定し、その注目画素と同一座標にある判定用画像の画素の画素値に基づいてＲｕ、Ｒｍ、Ｒｏをそれぞれ決定する。そして、ＨＤＲ合成部１６０は、上記（１）の式に基づいてＨＤＲ画像の画素の画素値であるＨＤＲｍｉｘを算出する。ＨＤＲ合成部１６０は、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像の画素全てについてＨＤＲｍｉｘを算出して、図１１（ｃ）に示すＨＤＲ画像を生成し、ＳＤ１２４に記憶する。
【００３８】
なお、ＨＤＲ画像、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれの各画素を示す座標位置は同じである。ＨＤＲ合成部１６０は、後述するデータ量削減処理用に、ＨＤＲ画像の各画素を示す座標と合成比率Ｒｕ、Ｒｍ及びＲｏとを対応付けた図１３に示す合成比率対応テーブルを作成してＳＤ１２４に記憶する。
この合成比率対応テーブルにおいてＨＤＲ画像の各画素の座標は、ＨＤＲ画像の左上を座標原点（０，０）とし、水平方向をｘ座標、垂直方向をｙ座標で表したものである。また、合成比率は、ＨＤＲ画像の各画素を示す座標と同じ座標位置にある露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれの各画素をどれだけの合成比率（Ｒｕ、Ｒｍ及びＲｏ）で合成したかを示している。図中に示すＡ乃至Ｉは、図１２の合成比率設定グラフに基づいて決定した各合成比率を示している。
【００３９】
図５に戻って、特定部１７０は、複数の再構成画像を構成する画素のうち、ＨＤＲ合成部１６０により決定した合成比率が０よりも大きい画素を特定する特定手段である。
具体的には、特定部１７０は、図１３の合成比率対応テーブルを参照して、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれについて合成比率が０よりも大きい画素を複数特定する。これは、ＨＤＲ画像と各再構成画像とは各画素を示す座標位置が同じであるため、図１３の合成比率対応テーブルを参照すればＨＤＲ画像の画素の座標から各再構成画像の合成比率が０よりも大きい画素を特定できるからである。なお、特定部１７０の具体的な特定方法については後述する。
【００４０】
次に、削減部１８０は、特定部１７０により特定した複数の画素（合成比率が０よりも大きい複数の画素）と何れにも対応しない画素を含むサブ画像のデータ量を削減する削減手段である。
具体的には、削減部１８０は、特定部１７０により特定した複数の画素と何れにも対応しない画素を含むサブ画像について、そのサブ画像の画素の画素値を特定の値に変更し、その変更後のサブ画像を含むライトフィールド画像を圧縮してデータ量を削減する。なお、削減部１８０による具体的なデータ量の削減方法については後述する。
【００４１】
次に、保存部１９０は、削減部１８０によりデータ量が削減された複数のライトフィールド画像をＳＤ１２４に保存する手段である。
以上、図１乃至図１１を参照しながら説明したデジタルカメラ１００の一つの特徴的な点は、ＨＤＲ画像の生成にあたり合成に用いなかった合成比率が０の再構成画像の画素と対応する画素を含むサブ画像のデータ量を削減してライトフィールド画像をＳＤ１２４に保存する点である。そこで、以下この点に関連するデータ量削減処理について、図１４のフローチャートを参照しながら説明する。
【００４２】
なお、この図１４のフローチャートは、ＣＰＵ１２１が、ＲＯＭ１２２に記憶された各種プログラムを実行して図５に示した各部の機能を発揮することにより実施する。また、この図１４のフローチャートの処理開始にあたって、ＣＰＵ１２１は各ライトフィールド画像のサブ画像の画素の座標には、予め合成に用いないことを示すフラグ０を設定する初期設定処理を実行する。
ＣＰＵ１２１は、露出を変えて高速３連写して得られた３枚のライトフィールド画像（ＬＦＩ）を撮像素子１１３から取得してＲＡＭ１２３の所定領域に設定されたバッファメモリに一時的に保存するとデータ量削減処理を開始する。
【００４３】
まず、ＣＰＵ１２１は、露出の異なる３枚のライトフィールド画像をそれぞれ再構成して３枚の再構成画像を取得する（ステップＳ２１）。具体的には、ＣＰＵ１２１は、所定の再構成距離（この実施形態においては２ｍ）において図６に示した再構成処理をライトフィールド画像それぞれに行って再構成画像を３枚取得する。また、ＣＰＵ１２１は、図１０の画素対応テーブルを作成してＳＤ１２４に記憶する。
【００４４】
次に、ＣＰＵ１２１は、３枚の再構成画像をＨＤＲ合成してＨＤＲ画像を取得する（ステップＳ２２）。具体的には、ＣＰＵ１２１は、図１１を参照しながら説明したＨＤＲ合成処理を行って、３枚の再構成画像を画素毎に所定の合成比率を用いて合成してＨＤＲ画像を取得する。また、ＣＰＵ１２１は、図１３の合成比率対応テーブルを作成してＳＤ１２４に記憶する。
【００４５】
次に、ＣＰＵ１２１は、ｋ２をカウンタ変数として、ＨＤＲ画像のｋ２番目の画素に注目する（ステップＳ２３）。次に、ＣＰＵ１２１は、ｋ３をカウンタ変数として、注目画素の座標と対応するサブ画像の画素の座標をｋ３番目のライトフィールド画像について特定する（ステップＳ２４）。具体的には、ＣＰＵ１２１は、ＨＤＲ画像の注目画素の座標がＨＤＲ（Ｘ，Ｙ）であった場合、座標ＨＤＲ（Ｘ，Ｙ）と３枚の再構成画像の座標は同一であることを利用してサブ画像の画素の座標を特定する。
【００４６】
まず、ＣＰＵ１２１は、３枚の再構成画像の中から１枚を選択する。そして、ＣＰＵ１２１は、選択した再構成画像の生成元となったライトフィールド画像（ｋ３＝１）において、ＨＤＲ（Ｘ，Ｙ）と対応するサブ画像の画素の座標を、図１０の画素対応テーブルを参照して特定する。例えば、選択した露出オーバー再構成画像の画素の座標ＨＤＲ（Ｘ，Ｙ）が（１，１）の場合、４つのサブ画像Ｓ１１、Ｓ１２、Ｓ２１及びＳ２２から切り出した部分画像の重ね合わせであり、４つのサブ画像の座標はそれぞれＳ１１（ｘ３，ｙ３）、Ｓ１２（ｘ２，ｙ２）、Ｓ２１（ｘ１，ｙ１）及びＳ２２（ｘ１，ｙ１）である。
ここで、説明の便宜上、座標ＨＤＲ（Ｘ，Ｙ）と対応する４つのサブ画像の座標をそれぞれＳｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）として説明する。サブ画像Ｓｂ１乃至Ｓｂ４は、再構成画像の座標ＨＤＲ（Ｘ，Ｙ）位置にある画素と対応する画素を含むサブ画像である。また、サブ画像Ｓｂ２乃至Ｓｂ４の各座標は、座標ＨＤＲ（Ｘ，Ｙ）と対応するサブ画像Ｓｂ１の座標（ｘ，ｙ）を基準として、その基準座標（ｘ，ｙ）からどれだけずれているかを係数αを用いて表している。ここで、αは再構成距離によって変化する係数である。この実施形態では、再構成距離は２ｍであるので、Ｓｂ１を基準とした場合に再構成距離２ｍで生じる画素ずれ（視差）分がαとなる。
【００４７】
次に、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０か否か判断する（ステップＳ２５）。具体的には、ＣＰＵ１２１は、図１３の合成比率対応テーブルを参照してＨＤＲ画像の注目画素の座標ＨＤＲ（Ｘ，Ｙ）と対応する合成比率Ｒｕ、Ｒｍ及びＲｏを特定する。次に、ＣＰＵ１２１は、注目画素の合成比率Ｒｕ、Ｒｍ及びＲｏのうち、１番目（ｋ３＝１）のライトフィールド画像から生成した再構成画像の合成比率が０か否か判断する。例えば、１番目のライトフィールド画像が露出オーバーのライトフィールド画像である場合、露出オーバー再構成画像の合成比率Ｒｏを参照して、注目画素におけるＲｏの合成比率が０か否か判断する。
【００４８】
次に、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０でない（合成に用いる）場合（ステップＳ２５；Ｎｏ）、ステップＳ２４で特定したｋ３番目のライトフィールド画像のサブ画像の画素の座標にフラグ１をたてる（ステップＳ２６）。すなわち、合成に用いないことを示すフラグ０がたっているサブ画像の画素の座標をフラグ１に上書きする。ここでは、ＣＰＵ１２１は、例えば露出オーバー再構成画像の合成比率Ｒｏが０でない場合、ステップＳ２４で特定した４つのサブ画像の画素の座標Ｓｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）それぞれに１をたてる。
【００４９】
一方で、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０である（合成に用いない）場合（ステップＳ２５；Ｙｅｓ）、ステップＳ２７に進む。
【００５０】
次に、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済か否かについて判断する（ステップＳ２７）。ここで、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済でない場合（ステップＳ２７；Ｎｏ）、残りのライトフィールド画像についてステップＳ２４乃至Ｓ２６の処理を行うために、カウンタｋ３をインクリメントして（ステップＳ２８）、ステップＳ２４に戻る。上述の例の場合、１番目のライトフィールド画像は露出オーバーのライトフィールド画像であったため、２番目のライトフィールド画像は適正露出又は露出アンダーのライトフィールド画像から選択される。
【００５１】
全てのライトフィールド画像についてステップＳ２４乃至Ｓ２６の処理を終了すると、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済であるとして（ステップＳ２７；Ｙｅｓ）、ＨＤＲ画像の全画素注目済か否か判断する（ステップＳ２９）。ＣＰＵ１２１は、ＨＤＲ画像の全画素注目済でない場合（ステップＳ２９；Ｎｏ）、カウンタｋ２をインクリメントして（ステップＳ３０）、ステップＳ２３に戻り、ＨＤＲ画像の全画素が注目済みとなるまでステップＳ２３乃至Ｓ２７の処理を繰り返す。
【００５２】
次に、ＣＰＵ１２１は、ＨＤＲ画像の全画素を注目済であると判断すると（ステップＳ２９；Ｙｅｓ）、ＨＤＲ画像の全画素の座標とそれぞれ対応するサブ画像の画素の座標のうち、合成に用いる画素の座標について全てフラグ１がたったものとして（フラグが０のままのサブ画像の画素については、ＨＤＲ合成に用いられることがないものとして）、ステップＳ３１に進む。ステップＳ３１では、ＣＰＵ１２１は、各ライトフィールド画像に含まれるサブ画像の中から、サブ画像内の画素の座標のフラグが全て０の（フラグ１がたてられなかった）サブ画像を特定する。次に、ＣＰＵ１２１は、その特定したサブ画像内の画素値を全て０に設定する（ステップＳ３２）。
【００５３】
このステップＳ３１及びＳ３２の処理では、ＣＰＵ１２１は、各ライトフィールド画像それぞれに含まれる複数のサブ画像のうち、ＨＤＲ合成に用いないサブ画像を全て特定し、その特定したサブ画像内の画素値を全て特定の画素値である０に変更するようにしている。
【００５４】
次に、ＣＰＵ１２１は、各ライトフィールド画像を圧縮保存する。具体的には、ＣＰＵ１２１は、画素値を全て０に変更したサブ画像を含むライトフィールド画像を複数圧縮してＳＤ１２４に保存する（ステップＳ３３）。例えば、ビットマップ形式で記憶する場合はＬＺＨ等のランレングス圧縮を実行する。また、ＪＰＥＧの符号化形式で記憶する場合でも、ＤＣＴ係数を量子化した後の係数圧縮にラングレンス符号化（２次元ハフマン符号化）を用いているので、サブ画像の画素値を０にしておけば符号化後のデータ量を削減することができる。これにより、ＳＤ１２４は、データ量が削減された複数のライトフィールド画像を記憶することになる。なお、ＣＰＵ１２１は、各ライトフィールド画像を圧縮保存した後、ＲＡＭ１２３に一時的に記憶している各ライトフィールド画像を削除する。
【００５５】
また、図１４においてＣＰＵ１２１が実施した各処理のうち、ステップＳ２１は再構成部１５０の機能に、ステップＳ２２はＨＤＲ合成部１６０の機能に、ステップＳ２３乃至Ｓ３０は特定部１７０の機能に、ステップＳ３１及びＳ３２は削減部１８０の機能に、ステップＳ３３は保存部１９０の機能に、それぞれ対応する。
【００５６】
以上、図１４の処理では、デジタルカメラ１００は、再構成部１５０、ＨＤＲ合成部１６０、特定部１７０、削減部１８０及び保存部１９０の機能を備えることにより、ＨＤＲ合成に用いる再構成画像の画素を複数特定して、その特定した複数の画素と何れにも対応しない画素（合成に用いられない画素）がサブ画像を構成する全ての画素である場合に、サブ画像全ての画素値を特定の画素値である０に変更する。その後、そのサブ画像を含むライトフィールド画像を複数圧縮保存する。このことにより、圧縮効率を高めることができるので、ＨＤＲ画像用に複数のライトフィールド画像をＳＤ１２４に記憶する場合であってもデータ量を抑えることができる。
【００５７】
なお、圧縮効率が高まるのは、例えばビットマップ形式のライトフィールド画像をＺＩＰ又はＬＨＡ形式のライトフィールド画像に可逆圧縮する際には一般的に、ランレングス圧縮が用いられるので画素値が全て０のサブ画像については圧縮により大きくデータ量を削減できるからである。また、例えばビットマップ形式のライトフィールド画像をＪＰＥＧ形式のライトフィールド画像に非可逆圧縮する場合には、少なくとも一部のサブ画像について画素値を全て０とすることでライトフィールド画像の高周波成分を低減できるので、画質を確保しながら圧縮率を上げることができる。さらに、少なくとも画素値を０としたサブ画像を含むブロックで、量子化率を低く設定してもよい。これにより、画素値が全て０のサブ画像については圧縮により大きくデータ量を削減できるので、圧縮効率が高まる。
【００５８】
また、ユーザは、図１４の処理の後、ＳＤ１２４に記憶された各ライトフィールド画像に基づいて、再構成距離を変化させたＨＤＲ画像を得ることができる。この場合、ＣＰＵ１２１は、ユーザの設定した再構成距離で再構成画像を生成して（例えば、再構成距離１．５ｍの場合、メインレンズ１１１から１．５ｍの距離にピントを合わせた再構成画像を生成して）ＨＤＲ合成を行うが、このＨＤＲ合成の際の各画素の合成比率は再構成距離２ｍの場合と同じ合成比率を用いる。これは、合成比率は各再構成画像を平均化して平滑化した判定用画像の明るさに応じて変化するが、この明るさは再構成距離を変化させても（例えば２ｍから１．５ｍにしても）極端に変化することはないからである。このため、ユーザが後からピント調整を行う場合であっても、所定の再構成距離において１度図１４の処理を行っておけば足り、予め全ての再構成距離に渡って図１４の処理を繰り返し行っておく必要がないので計算量を大幅に削減することができる。ただし、予め全ての再構成距離に渡って図１４の処理を繰り返し行ってもよく、例えば再構成距離範囲内において所定間隔で所定回数図１４の処理を行って、再構成距離が変化した場合に用いる合成比率の精度をあげてもよい。
【００５９】
以上で実施形態の説明を終了するが、デジタルカメラ１００の具体的な構成や図１４に示した処理の内容等が上述の実施形態で説明したものに限られないことはもちろんである。
例えば、上述した実施形態では、図１のＣＰＵ１２１が画像処理部１２０及びデジタルカメラ１００を制御したが、デジタルカメラ１００に別途ＣＰＵを設けてもよい。この場合、画像処理部１２０のＣＰＵ１２１は、画像処理部１２０の制御に特化し、表示部１４０への表示制御や操作部１３０の操作検知等は行わない。
【００６０】
また、画像処理部１２０のＳＤ１２４に代えて、他のリムーバブルな記録媒体（例えば、ＣＤ、ＤＶＤ等）を用いてもよい。この場合、このリムーバルな記録媒体に上述した各種画像のデータが記録される。
【００６１】
また、図５に示した再構成部１５０が行う図６の再構成処理において、サブ画像間の被写体ＯＢの画素ずれに基づいて、メインレンズ１１１から被写体ＯＢまでの距離推定を行って、その推定した距離と再構成距離との差分に応じて被写体ＯＢにボケを付加した再構成画像を生成するようにしてもよい。なお、被写体ＯＢまでの距離推定は、画素ずれとメインレンズ１１１からの距離とを対応付けたテーブルを用いて行う。例えば、このテーブルを用いて画素ずれの値が示す被写体の距離を画素毎に推定する。そして、推定した被写体の距離と再構成距離との差が大きいほど、強いガウシアンフィルタによりボケ付加を行えばよい。このとき、画素値に適用するフィルタを合成比率にも適用し、フィルタ後の合成比率を用いてステップＳ２５〜Ｓ２６の処理を行うことで、フィルタを適用した場合のＨＤＲ画像を生成する場合に参照される画素の座標にフラグ１を立てることが出来る。
【００６２】
また、この実施形態において行う再構成処理は、図６に示した再構成処理に限られない。すなわち、再構成画像の各画素の座標とライトフィールド画像のサブ画像の各画素の座標を対応付けることができる再構成処理であれば、図６の部分画像を重ね合わせて再構成画像を生成する手法でなくてもよい。例えば別の手法として、特許文献１の光線追跡の手法を用いて再構成画像を生成してもよい。
【００６３】
また、図５に示したＨＤＲ合成部１６０が行うＨＤＲ合成処理は、再構成画像の各画素の座標と合成比率とを対応付けることができる手法であれば別の手法でもよい。例えば、トーンマッピングによる合成又は細部強調やトーン圧縮による露出合成により合成してもよい。さらに、この実施形態においては、露出が異なる複数のライトフィールド画像からそれぞれ生成した再構成画像をＨＤＲ合成する場合を例にとって説明したが、合成はＨＤＲ合成に限られない。例えば、透明度が異なる複数のライトフィールド画像からそれぞれ生成した再構成画像を合成してもよい。この場合は、図１４のステップＳ２２の再構成処理において、複数の再構成画像から目的に応じた合成画像を生成し、この合成画像を用いてステップＳ２２以下の処理を実行すればよい。
また、図１４の処理では、ステップＳ２５及びＳ２６において、ＨＤＲ画像の注目画素の合成比率が０より大きい（合成に用いる）の場合、注目画素の座標と対応するサブ画像の画素の座標にフラグ１をたてるようにしたが、これに限られない。例えば、合成比率が所定の比率以上（例えば５％以上）の再構成画像の画素について、上記同様にフラグをたてるようにしてもよい。
【００６４】
また、図１４の処理では、ステップＳ２６において、注目画素と対応するサブ画像の画素の座標にフラグをたてるようにしたが、これに限られない。例えば、特定したサブ画像の画素の座標が、Ｓｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）である場合、αを再構成距離の変化に応じて起こりうる画素ずれ（視差）の範囲分変化させて、その変化させたαによって決定される座標全てにフラグをたてるようにしてもよい。このことにより、ユーザが後から再構成距離を変化させた場合であっても、合成処理にあたり必要な画素が抜けてしまう事態を防ぐことができる。
【００６５】
また、図１４に示したデータ量削減処理では、ステップＳ２４乃至Ｓ２７において、ＨＤＲ画像の注目画素の座標と対応するサブ画像の座標をライトフィールド画像毎にそれぞれ別々に特定してフラグをたてる処理を行ったが、別の手法でもよい。例えば、注目画素の座標と対応するサブ画像の座標は各ライトフィールド画像において同じであるため、１つライトフィールド画像のサブ画像の座標を特定した後、合成比率に応じてそれぞれのライトフィールド画像のサブ画像の座標にフラグをたてる処理を同時に行ってもよい。このことにより、ステップＳ２７及びＳ２８の処理を省略できるのでデータ量削減処理の計算量を抑えることができる。
【００６６】
また、図１４の処理では、ステップＳ３１及びＳ３２において、各ライトフィールド画像に含まれるサブ画像の中から、サブ画像内の画素の座標のフラグが全て０のサブ画像（フラグ１をたてなかったサブ画像）を特定し、その特定したサブ画像内の画素値を全て０に設定した。言い換えると、サブ画像内の画素の座標に一つでもフラグ１をたてるとサブ画像の各画素の画素値の値を変えない。これは、所定の再構成距離において合成に用いる画素がサブ画像内で１つだけである場合に、全ての画素値を特定の値に変更してしまうと、異なる再構成距離において合成に用いる他の画素の画素値まで変更されてしまうからである。すなわち、たとえサブ画素内で合成に用いる画素が１つだけであってもサブ画像内全ての画素値を変更しないことで、再構成距離が変わった場合に用いるおそれがある他の画素の画素値を確保しておくことができる。
ただし、上述したサブ画像内の画素の座標のフラグが全て０でなくても画素値を変更してもよい。例えば、サブ画像内のある領域に含まれる画素の座標のフラグが全て０であれば、その領域の画素値を全て０にしてもよい。その領域については高圧縮が期待できるからである。また、画素値０を別の特定の画素値にしてもよい。同じ画素値が連続すればサブ画像の圧縮率が高まるからである。
【００６７】
また、この実施形態では、ライトフィールド画像のデータ量を削減する手法として、サブ画像内の画素値を特定の画素値に変更して連続する同じ画素値にして、圧縮率を高めた上で圧縮することによりデータ量を削減したが、別の手法でもよい。例えば、サブ画像内の画素の座標のフラグが全て０又は所定の合成比率以下のサブ画像についてはサブ画像のデータを削除して、ライトフィールド画像のデータ量を削減してもよい。
あるいは、サブ画像内の所定の閾値以上の面積を持つ領域に含まれる画素の座標のフラグが全て０又は所定の合成比率以下であれば、その領域を削除してライトフィールド画像のデータ量を削減してもよい。また、ライトフィールド画像においてサブ画像を構成しない領域は合成に用いることがないので、この領域を削除してもよい。これらのことは、ライトフィールド画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が合成に用いられない場合、その領域を削除してデータ量を削減することを意味する。
【００６８】
また、この実施形態では、各種画像がグレースケール画像であることを前提に説明したが、各種画像はカラー画像でもよい。この場合、例えばＲＧＢ又はＹＵＶ等の任意の色空間を用いることができる。
【００６９】
また、この発明の画像処理部１２０の各処理（再構成処理、ＨＤＲ合成処理及びデータ量削減処理）は、通常のＰＣ等のコンピュータによっても実施することができる。
具体的には、上記実施形態では、各処理に係る機能を発揮するためのプログラムが、ＲＯＭ１２２に予め記憶されているものとして説明した。しかし、図５の各部の機能を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ及びＭＯ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各部の機能を発揮することができるコンピュータを構成してもよい。
また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、コンピュータがダウンロード等することができるようにしてもよい。
【００７０】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態をとることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
【００７１】
（付記１）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする画像処理装置。
【００７２】
（付記２）
前記削減手段は、前記特定した画素と何れにも対応しない画素を、前記所定条件を満たす画素とすることを特徴とする付記１に記載の画像処理装置。
【００７３】
（付記３）
前記削減手段は、前記所定条件を満たす画素を含むサブ画像について、該サブ画像の画素の画素値を特定の値に変更し、該変更後のサブ画像を含むライトフィールド画像を圧縮するものであり、
前記記憶手段は、前記圧縮されたライトフィールド画像を複数記憶することを特徴とする付記１又は２に記載の画像処理装置。
【００７４】
（付記４）
前記削減手段は、前記サブ画像を構成する全ての画素が前記所定条件を満たす画素である場合に、該サブ画素を構成する全ての画素の画素値を特定の画素値に変更することを特徴とする付記３に記載の画像処理装置。
【００７５】
（付記５）
前記削減手段は、前記複数のライトフィールド画像それぞれが含む何れかのサブ画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が前記所定条件を満たす画素である場合、該領域を削除してデータ量を削減することを特徴とする付記１又は２に記載の画像処理装置。
【００７６】
（付記６）
被写体からの光りを捉えるメインレンズと、該メインレンズが捉えた光りをさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする撮像装置。
【００７７】
（付記７）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成ステップと、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減ステップと、
前記削減ステップにより前記データ量が削減された複数のライトフィールド画像を記憶する記憶ステップと、を含むことを特徴とする画像処理方法。
【００７８】
（付記８）
コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段、として機能させるためのプログラム。
【符号の説明】
【００７９】
１００…デジタルカメラ、１１０…撮影部、１１１…メインレンズ、１１２…マイクロレンズアレイ、１１３…撮像素子、１２０…画像処理部、１２１…ＣＰＵ、ＲＯＭ…１２２、ＲＡＭ…１２３、ＳＤ…１２４、１３０…操作部、１４０…表示部、１５０…再構成部、１６０…ＨＤＲ合成部、１７０…特定部、１８０…削減部、１９０…保存部
【図１】
2014160912.tif 000003
【図２】
2014160912.tif 000004
【図３】
2014160912.tif 000005
【図４】
2014160912.tif 000006
【図５】
2014160912.tif 000007
【図６】
2014160912.tif 000008
【図７】
2014160912.tif 000009
【図８】
2014160912.tif 000010
【図９】
2014160912.tif 000011
【図１０】
2014160912.tif 000012
【図１２】
2014160912.tif 000013
【図１３】
2014160912.tif 000014
【図１４】
2014160912.tif 000015
【図１１】
2014160912.tif 000016