(57)【要約】      （修正有）【課題】情報量を削減した、再構成可能な光線空間情報を生成することが可能な画像処理装置を提供する。【解決手段】光線空間情報を取得して、同一の領域に入射した光束を瞳分割した光束を記録した画素群について画素値の分散を算出し、算出された分散に基づいて該画素群の画素数以下の画素で代表させて、情報量を圧縮した光線空間情報を生成する。【選択図】図１
2015154217.tif 000002
【特許請求の範囲】
【請求項１】
各画素が、該画素に対応する領域に入射する、被写体からの光束を瞳分割した光束を記録した光線空間情報を取得する取得手段と、
前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出手段と、
前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素で代表させて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記算出された分散が小さいほど、該分散に対応する前記画素群を代表させる画素の数を少なくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記分散に対応する画素群に含まれる画素のうち、前記算出された分散の大きさに対して予め定められた数の画素によって該画素群を代表させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記分散に対応する画素群に含まれる、瞳中央部を通過した光束を記録した画素のうちから前記予め定められた数の画素を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記分散に対応する画素群に含まれる画素の画素値から生成した値を有する、前記算出された分散の大きさに対して予め定められた数の画素によって前記画素群を代表させることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項６】
前記分散に対応する画素群に含まれる画素の画素値から生成した値は、少なくとも該画素群に含まれる一部の画素群の画素値の総和であり、
前記生成手段は、前記算出された分散が小さいほど、総和を算出する前記一部の画素群の画素の数を多くすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
各画素が、該画素に対応する領域に入射する、被写体からの光束を瞳分割した光束を記録した光線空間情報を取得する取得手段と、
前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出手段と、
前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素数に間引いて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の画像処理装置により生成された、情報量が圧縮された光線空間情報を取得する取得手段と、
前記取得手段により取得された前記情報量が圧縮された光線空間情報から、同一の領域に入射した光束を瞳分割した光束を記録した画素群に対応する画素を特定する特定手段と、
前記特定手段により特定された画素の画素値に基づいて前記同一の領域に入射した光束を瞳分割した光束を記録した画素群に含まれる画素を補間することで、圧縮前の情報量を有する光線空間情報を復号する復号手段と、
前記復号手段により復号された前記圧縮前の情報量を有する光線空間情報から、所定の被写体距離に合焦する画像を生成する再構成手段と、
を有することを特徴とする画像生成装置。
【請求項９】
前記復号手段は、前記特定された画素の画素値を前記対応する画素群の１以上の画素の画素値とすることにより前記対応する画素群に含まれる画素を補間することを特徴とする請求項８に記載の画像生成装置。
【請求項１０】
前記復号手段は、前記特定された画素の画素値を、前記画素値の算出に用いられた画素数で除算して得られた値を、前記画素群の１以上の画素の画素値とすることにより前記対応する画素群に含まれる画素を補間することを特徴とする請求項８に記載の画像生成装置。
【請求項１１】
取得手段が、各画素が、該画素に対応する領域に入射する、被写体からの光束を瞳分割した光束を記録した光線空間情報を取得する取得工程と、
算出手段が、前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出工程と、
生成手段が、前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素で代表させて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１２】
取得手段が、各画素が、該画素に対応する領域に入射する、被写体からの光束を瞳分割した光束を記録した光線空間情報を取得する取得工程と、
算出手段が、前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出工程と、
生成手段が、前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素数に間引いて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１３】
請求項１乃至７のいずれか１項に記載の画像処理装置により生成された、情報量が圧縮された光線空間情報から所定の被写体距離に合焦する画像を生成する画像生成装置の制御方法であって、
取得手段が、前記情報量が圧縮された光線空間情報を取得する取得工程と、
特定手段が、前記取得工程において取得された前記情報量が圧縮された光線空間情報から、同一の領域に入射した光束を瞳分割した光束を記録した画素群に対応する画素を特定する特定工程と、
復号手段が、前記特定工程において特定された画素の画素値に基づいて前記同一の領域に入射した光束を瞳分割した光束を記録した画素群に含まれる画素を補間することで、圧縮前の情報量を有する光線空間情報を復号する復号工程と、
再構成手段が、前記復号工程において復号された前記圧縮前の情報量を有する光線空間情報から、所定の被写体距離に合焦する画像を生成する再構成工程と、
を有することを特徴とする画像生成装置の制御方法。
【請求項１４】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１５】
コンピュータを、請求項８乃至１０のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像生成装置、制御方法およびプログラムに関し、特に取得した光線空間情報を記録する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置の中には、撮像面に入射した被写体からの反射光束の強度分布をその入射方向の情報とともに記録するものが知られている。このような撮像装置により記録された入射方向を含む光束の強度分布の情報は光線空間情報（Light Field Information）と呼ばれる。また、光線空間情報は入射方向ごとに反射光束の強度分布を有しているため、該情報から撮像装置の任意の焦点距離の面における反射光束の強度分布を再現することができることも知られている（非特許文献１）。従って、光線空間情報からは、任意の被写体距離に合焦した画像（再構成画像）を、光線空間情報の記録後に生成（再構成）することができる。
【０００３】
光線空間情報を記録可能な構成として、固体撮像素子の前面にマイクロレンズアレイを配置し、一つのマイクロレンズに対して複数の画素を対応づけることにより、瞳領域を通過した光束を分離して各画素に記録できる撮像装置が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｒｅｎ．Ｎｇ、外７名，「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マイクロレンズアレイを有する撮像装置は、マイクロレンズの各々に数十の画素を対応づけた構成により、各マイクロレンズに結像した光束を該数十の画素に分離した光線空間情報を記録する。このようにして記録された光線空間情報から生成可能な再構成画像の画素数は、多くてもマイクロレンズの個数である。即ち、同一画素数の画像を得るためには、マイクロレンズアレイを有さない一般的な撮像装置で記録されるデータに比べ、数十倍もの情報量を有する光線空間情報を記録することが必要になる。このため、マイクロレンズアレイを有する撮像装置により生成された光線空間情報の処理には、画像処理や記録に係る回路規模の増大、読み出し時等の動作遅延といった問題が生じうる。
【０００６】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、情報量を削減した、再構成可能な光線空間情報を生成することが可能な画像処理装置、画像生成装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、各画素が、該画素に対応する領域に入射する、被写体からの光束を瞳分割した光束を記録した光線空間情報を取得する取得手段と、光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出手段と、算出された分散に基づいて、該分散に対応する画素群を該画素群の画素数以下の画素で代表させて、光線空間情報の情報量を圧縮した光線空間情報を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、情報量を削減した、再構成可能な光線空間情報を生成することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】本実施形態に係る光線空間情報の情報量を削減したデータ形式の例を模式的に示す図
【図３】本実施形態におけるマイクロレンズアレイの例と撮像面に配置される画素を模式的に示す図
【図４】実施形態１に係る、画素の選択方法（選択種別）と代表値選出方法を模式的に示す図
【図５】実施形態１に係る画素の補間処理を模式的に示す図
【図６】マイクロレンズに対応する画素値の分散値と被写体距離の関係の一例と選択種別の対応を示す図
【図７】実施形態１に係る選択種別の判定方法を示すフローチャート
【図８】実施形態２に係る選択種別と代表値選出方法を模式的に示す図
【図９】実施形態２に係る画素値の補間処理を模式的に示す図
【発明を実施するための形態】
【００１０】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、被写体からの反射光束の強度および入射方向の情報を有する画素値から構成される光線空間情報（ＬＦデータ）を記録可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明はＬＦデータを記録可能なデジタルカメラに限らず、記録されたＬＦデータを読み込んで、情報量を削減したＬＦデータを生成可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。
【００１１】
（１  デジタルカメラの構成）
図１は本実施形態のデジタルカメラの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。なお、図１における破線で示す矢印は制御信号を表す。
【００１２】
被写体からの反射光束は、撮像光学系１２９で集光されてマイクロレンズアレイ１２７を通過した後、撮像素子１０１へ投影されて光電変換される。本実施形態におけるマイクロレンズアレイ１２７の一例と撮像面に配置される画素を模式的に図３に示す。本実施形態のデジタルカメラは、例えば撮像素子の前面に、４×４画素に対して１つの割合で対応付けられたマイクロレンズが格子状に配置されている。図３の例では、水平方向に１０２４個、垂直方向に７６８個のマイクロレンズが配置されている。枠線で示す領域３０４をより詳細に示したものが領域３０３である。領域３０３領域には、９つのマイクロレンズが格子状に配置されており、そのうちの１つのマイクロレンズ３０２を通過した反射光束は、該マイクロレンズに対応付けられた撮像素子の画素領域（マイクロレンズブロック）３０１に投影される。投影された光束はマイクロレンズブロック３０１に配置された１６個の各画素Ａ〜Ｐで受光されてＬＦデータとして記録される。このような構成のマイクロレンズアレイを有する場合、一度の撮影で記録されるＬＦデータにおける画素の総数は、マイクロレンズ数に１６画素を乗じた１２５８２９１２となる。
【００１３】
撮像素子１０１は、例えばイメージセンサを層に積層した構造によって各画素が３層構造を有し、ＲＧＢの色成分を分別したＲＧＢ形式でＬＦデータを出力する。出力されたアナログのＬＦデータは、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１０３により増幅処理やＡ／Ｄ変換処理がなされる。デジタル化されたＬＦデータはメモリ１０５に格納される。
【００１４】
本実施形態のデジタルカメラでは、ＬＦデータの情報量を削減するために、１つのマイクロレンズブロックの画素群の分散に基づいて画素を間引く処理を行う。そのため、ＣＰＵ１２５は、分散演算部１２３にＬＦデータの各マイクロレンズブロックの画素に対する演算処理を行わせる。具体的には、ＡＦＥ１０３から出力されたＬＦデータは、ラインメモリ１２１へマイクロレンズブロックの幅である４ライン毎に出力されて格納される。ラインメモリ１２１に格納されたＬＦデータは、マイクロレンズブロック毎に分割されて分散演算部１２３へ出力される。分散演算部１２３は、入力されたマイクロレンズブロックの１６画素のデータに対してマイクロレンズブロック毎に画素値の分散値を算出する。なお、分散演算部１２３の具体的な処理については後述する。ＣＰＵ１２５は、分散演算部１２３により算出された分散値に基づいて、マイクロレンズブロックの画素群から処理対象となる画素を選択するための選択方法（選択種別）を判定し、選択種別の情報を画素選択部１０７へ出力する。なお、選択種別についての具体的な説明は後述する。
【００１５】
画素選択部１０７は、メモリ１０５に格納されたＬＦデータを順次読み出して、ＣＰＵ１２５により指定される選択種別の情報に従って処理対象となる画素の選択処理を施す。画素選択部１０７は、画素の選択処理によって画素を間引き、情報量の削減されたＬＦデータ（圧縮ＬＦデータ、簡易ＬＦデータ）を順次記録部１１９へ出力する。後に詳細を説明するが、画素選択部１０７から出力される圧縮ＬＦデータは、例えば図２に示すような情報量が削減されたデータとして出力される。記録部１１９は、画素選択部１０７から出力された圧縮ＬＦデータを、例えば不揮発性メモリ等に記録する。
【００１６】
また、画素選択部１０７は、記録部１１９への圧縮ＬＦデータの出力に加え、一次現像部１１１へ圧縮ＬＦデータを出力する。一次現像部１１１は、例えば予め設定された変換特性により傷補正、シェーディング補正、色バランス補正などを行って、補正後の圧縮ＬＦデータを画素補間部１１３へ出力する。
【００１７】
画素補間部１１３は、読み込んだ圧縮ＬＦデータから選択種別を判定し、該選択種別に基づいてマイクロレンズブロック内の画素の補間を行う。そして画素補間部１１３は、補間により復号したＬＦデータを再構成演算部１１５へ出力する。なお、本発明の説明において、圧縮ＬＦデータに対して各マイクロレンズブロックの補間処理を行い、圧縮前の情報量を有するＬＦデータを得ることを復号という。
【００１８】
再構成演算部１１５は、復号されたＬＦデータを用いて、任意の被写体距離に合焦した画像を再構成する処理を行い、圧縮部１１７へ再構成した画像データを出力する。圧縮部１１７は例えば静止画においてはＪＰＥＧ、動画においてはＭＰＥＧなどの所定の圧縮方式で情報量を圧縮して記録部１１９へ圧縮された画像データを出力し、記録部１１９はメモリカードなどの記録媒体へ圧縮された画像データを記録する。
【００１９】
なお、単色撮像素子やベイヤー配列の撮像素子に対して本発明を適用してもよい。
【００２０】
（２  ＬＦデータの削減処理）
本発明に係るＬＦデータの削減処理の概要について、図を参照しながら詳細に説明する。
【００２１】
撮像光学系１２９の瞳を通過してマイクロレンズアレイ１２７の各マイクロレンズの位置に結像した光束は、該マイクロレンズに対応付けられたマイクロレンズブロックの画素群に展開して受光され、ＬＦデータとして出力される。このとき、各マイクロレンズの位置に結像した光束は瞳の全領域を通過した光束であるため、展開された光束を受光した複数の画素からの出力は、対応する瞳の領域（一部）を通過して入射した光束に対応する出力となっている。つまり、マイクロレンズにより瞳分割が実現され、ＬＦデータの画素は、異なる分割瞳を通過した、入射方向の異なる光束の光量を示している。
【００２２】
このようなＬＦデータの特性に基づくと、各マイクロレンズに対応するマイクロレンズブロックにおける画素値の分散は、撮像時の撮像光学系の条件と被写体の関係によって変化する。まず、再構成画像を生成した場合に被写界深度に含めることが可能な被写体距離の範囲（再構成有効範囲）に含まれる被写体のうち、撮像時の撮像光学系の条件で被写界深度に含まれていた被写体について説明する。該被写界深度に含まれていた被写体、即ち撮像時の撮像光学系の条件により合焦状態にあった被写体については、該被写体の任意の１点から様々な方向に反射して入射する光束が、撮像面上の一点、即ち１つのマイクロレンズに収束する。従って、マイクロレンズによって展開され、対応するマイクロレンズブロックに分離して受光される光束は同一の被写体の１点から反射した経路の異なる光束であるため、分離されたとしても略同一の画素値が出力される。つまり、撮像時に合焦状態にあった被写体からの反射光束が収束するマイクロレンズブロックの画素値の分散は極めて小さくなる。
【００２３】
次に、再構成有効範囲に含まれる被写体のうち、撮像時の条件で被写界深度に含まれない被写体について、該被写体の１点から様々な方向に反射して入射する光束は、合焦状態にあった被写体に比べて結像する位置がずれる。即ち、該１点から様々な経路を通って入射する光束は、近傍のマイクロレンズに拡散し、必ずしも同一ではないマイクロレンズに結像することになる。また該マイクロレンズには他の被写体の１点から反射して入射する光束も結像しうる。つまり、被写界深度に含まれていない被写体の像が結像されるマイクロレンズに対応するマイクロレンズブロックでは、各画素が異なる被写体からの光束に対応する画素値を示すため、分散が大きくなる。
【００２４】
再構成有効範囲外に存在する被写体については、該被写体の１点から様々な方向に反射して入射する光束は、マイクロレンズに到達した時点ですでにボケており、さらに結像する位置も再構成有効範囲内の被写体からの光束に比べて大きくずれる。即ち、統計的には様々な被写体からの光束が混ざった光束として入射しているため却って分散が小さくなる。
【００２５】
ここで、マイクロレンズブロックにおいて画素値の分散が小さい場合、即ち画素値が類似している場合、一部の画素群を同一の画素値を有するものとみなしたとしても、生成する再構成画像の画質への影響は低いと考えられる。即ち、画素値が類似する画素群を全て同一の画素値を有するものとみなせば、該画素群についてはうち１つの画素値のみを記録するようにしても、記録後に補間により少なくとも同一の画素値を有する画素群を復元することができる。故に、本発明に係るデジタルカメラでは、得られたＬＦデータに含まれる各マイクロレンズブロックの分散に応じて、該ブロック内の画素数以下の数の画素値で全画素を代表させて記録する。このようにすることで、該ブロックに係り記録するＬＦデータのデータ量を削減できる。本実施形態では、マイクロレンズブロックに含まれる画素のうちから一部の画素を選択し、該画素の画素値を代表する値として記録することで、ＬＦデータのデータ量を削減する。つまり、各マイクロレンズブロックにおける画素値の分散に応じて選択的に画素値を記録するようにすれば、補間により撮影時と同等のＬＦデータを作り出すことが可能な圧縮ＬＦデータを生成することができる。
【００２６】
本実施形態では、上述したようにマイクロレンズブロックにおける画素値の分散値を算出し、圧縮ＬＦデータを生成する際に取捨する該画素群内の画素を決定する。より詳しくは、マイクロレンズブロックにおける画素値の分散値が小さいほど少ない画素を代表する画素（間引き後に残す画素）として選択し、分散値が大きいほどブロック内の画素数に近い数の画素を代表する画素として選択する。マイクロレンズブロックにおける画素値の分散値は、例えば以下の数１を用いて算出する。分散演算部１２３は、ラインメモリ１２１から４×４の画素の画素値を読み出して各マイクロレンズブロックの分散値を算出する。
【００２７】
【数１】
2015154217.tif 000003
ここで、
2015154217.tif 000004
を示す。
【００２８】
マイクロレンズブロックの画素群における分散値Ｓ２が小さくなる場合は、該マイクレンズブロックの画素群の画素値は類似度が高いと判断することができる。他方、分散値Ｓ２が大きい場合は、該マイクレンズブロックの画素群の画素値は類似度が低いと判断することができる。
【００２９】
図６は、所定の状態にある被写体についての、マイクロレンズブロックにおける画素値の分散値（以下、単にマイクロレンズブロックの分散値とする）と被写体距離との関係を例示した図である。なお、被写体距離は、撮影時におけるデジタルカメラと各被写体との距離を示すものであるが、マイクロレンズブロックに係る被写体距離とは次のように定義するものとする。撮影により得られたＬＦデータから任意の被写体距離に合焦する再構成画像を生成した場合に、該画像内で合焦している被写体の画素位置に対応するマイクロレンズが特定できる。このとき、撮影により得られたＬＦデータ内の、特定されたマイクロレンズに対応するマイクロレンズブロックに係る被写体距離は、該再構成画像の生成に用いた被写体距離として定義される。即ち、１つマイクロレンズブロックに係る被写体距離は、該ブロックに対応する再構成画像の画素位置において合焦する被写体の被写体距離を示している。
【００３０】
図６において横軸は被写体距離を示し、縦軸はマイクロレンズブロックの分散値Ｓ２を示している。図６の例では、撮影時は撮像光学系の条件で被写体距離が２．５ｍの位置の被写体に合焦しており、その周辺の被写体距離の被写体が被写界深度内に含まれている。上述したように、撮影時の被写界深度に含まれていた被写体はその光束が撮像面において同一のマイクロレンズに収束するため、対応するマイクロレンズブロックにおける分散値は、他の被写体距離の分散値に比べて小さい。一方、撮像時の被写界深度の中心周辺から被写体距離が離れるに従って分散値が増加して被写体距離が１．５ｍおよび４ｍ付近でピークとなっている。その他、再構成有効範囲より近距離の被写体や再構成有効範囲より遠距離の被写体であっても、類似した被写体の光束が特定のマイクロレンズを通過する場合、分散値が小さな値となっている。なお、図６に示す分散値はあくまでも一例であり、構図や被写体によって分散値の分布に偏りや変動が生じ得る。
【００３１】
このように撮影時の焦点状態及び撮像範囲内の被写体の配置によっては各マイクロレンズブロックでは様々な分散値を取り得る。従って本実施形態では、再構成画像を生成する際の画質劣化を低減しつつ情報量を削減するために、マイクロレンズブロックについて記録する画素を選択する方法を、分散値に応じて３つの選択種別のうちから選ぶ。具体的には画素選択部１０７は、分散値の大きさを３つの値域に分け、算出したマイクロレンズブロックの分散値がいずれの値域に入るかによって、３つのいずれの選択種別を選ぶべきかを判定する。本実施形態では、分散値が小さいと定める値域には選択する画素が１画素の選択種別「１×１」が、分散値が大きいと定める値域には全ての画素（１６画素）を選択する選択種別「４×４」が、中間の値域には４画素を選択する選択種別「２×２」が設定される。例えば図６の縦軸に示されるように分散値の値域が設定される場合、対応する被写体が被写界深度に含まれるマイクロレンズブロックでは分散値が小さくなるため、１×１の選択種別が該ブロックについて選ばれる。これは、代表する１つの画素（代表画素）と選択されない画素との画素値の差分が小さいため、１つの画素値から該ブロック内の全ての画素値と同等の画素値を補間可能であることによる。一方、図６において対応する分散値が大きいと判断される値域に入るマイクロレンズブロックの場合、全ての画素を補間可能なような代表画素を選択することができないため、１６画素全てを記録用に選択する。
【００３２】
次に、選択種別に応じた画素の選択方法について説明する。分散値の小さいマイクロレンズブロック、つまり選択種別が「１×１」の場合、画素選択部１０７は、例えば図４（ａ）の画素Ｆのように１６画素のうちいずれか１画素を代表画素（図４（ａ）では３１１）として選択する。分散値が中程度のマイクロレンズブロック（即ち選択種別が「２×２」）である場合、画素選択部１０７は、１６画素のうち４画素（例えば図４（ｂ）における画素Ｆ、Ｇ、Ｊ、Ｋ）を代表画素として選択する。各代表画素、例えば画素Ｆは、該画素および近接する画素Ａ、Ｂ、Ｅで構成される４つの画素を代表する。この場合の代表画素は図４（ｂ）において代表画素３１２である。分散値が大きいマイクロレンズブロック（即ち選択種別が「４×４」）である場合は、画素選択部１０７は、１６画素のうち全ての画素を代表画素として選択する。図４（ｃ）では、画素Ａ〜Ｐの全画素が代表画素として選択されている。なお、図４の代表画素の選択においては、マイクロレンズの中心近傍に対応する画素を優先的に選択する方法をとっている。このように瞳中央部を通過する光束を受光する画素を選択することにより、マイクロレンズブロックの周辺画素への光線ケラレによる光量不足の影響を低減することができる。また、分散値の算出の際に得られた平均値や画素群における中央値に近い画素値を有する画素を優先的に選択するようにしてもよい。平均値や中央値に近い画素を選択することによりマイクロレンズブロック内の画素値の分布傾向を反映した画素の選択を行うことができる。
【００３３】
得られた代表画素は、圧縮ＬＦデータとして新たなデータ形式で記録される。圧縮ＬＦデータは、代表画素と各マイクロレンズブロックの区切りを表すデータから構成される。マイクロレンズブロックから１６の画素が記録された場合は情報量の削減効果が得られないが、１６より少ない画素数の代表画素が記録される場合には、情報量の削減効果が生じる。なお、マイクロレンズブロックの区切りを示すデータには、代表画素に対応するマイクロレンズの座標や代表画素のマイクロレンズブロック内の座標、さらに判定された選択種別を示すデータを持たせても良い。図２に、圧縮ＬＦデータのデータ形式の例を模式的に示す。図２において「Ｑ」で示す要素、例えば３２４１、３２４２、３２４３はマイクロレンズブロックの区切りを表し、その他の要素は代表画素を表している。また３２１１および３２１２で示す画素Ｆは、対応するマイクロレンズブロックからＦの位置の１つの画素が選択されて記録されていることを示しており、１６の画素を記録する場合と比較して情報量が削減されることが分かる。
【００３４】
（３  ＬＦデータの削減処理の動作）
上述のＬＦデータの削減処理に対応する動作を説明する。なお、以下では、説明を簡単にするために、ＬＦデータのＲＧＢチャネルのうちの１つのチャネルのデータについて処理を行うものとして説明する。
【００３５】
分散演算部１２３は、ラインメモリ１２１に格納されたＬＦデータをマイクロレンズブロックの単位で順次取得して分散値を算出してＣＰＵ１２５へ出力する。ＣＰＵ１２５は取得した分散値に基づいて選択種別の判定処理を行う。図７のフローチャートは各マイクロレンズブロックに対する分散演算部１２３とＣＰＵ１２５の処理の流れを示す。図７に示すフローチャートは、分散演算部１２３が、ラインメモリ１２１に格納されたＬＦデータをマイクロレンズブロック毎に取得すると開始される。分散演算部１２３およびＣＰＵ１２５は、図７に示す処理をＬＦデータにおけるマイクロレンズブロックの数だけ行う。
【００３６】
Ｓ２０１において分散演算部１２３は、取得したマイクロレンズブロックの１６の画素の各々の画素値を取得して上述の数１に示す演算により画素値の分散値を算出して、ＣＰＵ１２５へ出力する。
【００３７】
Ｓ２０３においてＣＰＵ１２５は、分散演算部１２３から取得した画素値の分散値に基づいて、選択種別を判定する。ＣＰＵ１２５は、図６に示す選択種別のように各選択種別を分散値に応じて判定するための、予め定められた閾値のテーブルを参照する。ＣＰＵ１２５は、取得した分散値を、小さい分散値を判断するための閾値Ａおよび大きな分散値を判断するための閾値Ｂと比較する。ＣＰＵ１２５は、取得した分散値が閾値Ａ以下である場合、処理をＳ２０５に進める。一方、取得した分散値が閾値Ａより大きく、かつ、閾値Ｂ以下である場合、ＣＰＵ１２５は処理をＳ２０７へ進める。さらに、取得した分散値が閾値Ｂより大きい場合、ＣＰＵ１２５は処理をＳ２０９へ進める。
【００３８】
Ｓ２０５においてＣＰＵ１２５は、取得したマイクロレンズブロックに対して選択種別を特定する識別子に「１×１」を示す値を格納する。選択種別を特定する識別子に値を格納すると、フローチャートの処理を終える。
【００３９】
Ｓ２０７においてＣＰＵ１２５は、取得したマイクロレンズブロックに対して選択種別を特定する識別子に「２×２」を示す値を格納し、フローチャートの処理を終える。他方、Ｓ２０９においてＣＰＵ１２５は、選択種別を特定する識別子に「４×４」を示す値を格納して、フローチャートの処理を終える。
【００４０】
なお、分散演算に最低限必要なマイクロレンズブロックのライン幅である４ライン分のメモリを利用する構成とすることにより、画素選択部１０７での演算に必要とするメモリ容量を削減している。これによりデジタルカメラにメモリ容量の制限のある場合においても高速な動作を実現し、引いては処理の重い再構成画像生成のメモリ帯域の確保が実現できる。
【００４１】
図７に示した一連の処理によりマイクロレンズブロックに対する選択種別が設定されると、ＣＰＵ１２５は、設定した選択種別を画素選択部１０７に出力し、選択種別に従った１以上の代表画素の選択を行わせる。ＣＰＵ１２５から選択種別を取得した画素選択部１０７は、メモリ１０５に格納されたＬＦデータを読み出して、マイクロレンズブロック毎に代表画素を選択する処理を行う。画素選択部１０７は、選択種別に応じて予め定められたマイクロレンズブロック内の画素にアクセスして、所定の画素を記録する。つまり、上述のように、取得した選択種別が「１×１」を示す場合、画素選択部１０７は、１６画素のうち予め決められた所定の画素（例えば画素Ｆ）にアクセスしてその画素値を記録部１１９へ出力する。また選択種別が「２×２」を示す場合も同様に、画素選択部１０７は１６画素のうち予め決められた４つの所定の画素にアクセスしてその画素値を出力する。選択種別が「４×４」を示す場合、画素選択部１０７は１６画素の全てにアクセスして出力する。
【００４２】
また、画素選択部１０７は、例えば選択した画素に対応する選択種別を示すビットをマイクロレンズブロックの区切りを示すデータに挿入して該区切りを示すデータを構成し、画素値と共に出力する。画素選択部１０７は、全てのマイクロレンズブロックについて、選択した画素値とマイクロレンズブロックの区切りを示すデータと合わせて記録部１１９へ出力すると処理を終了する。
【００４３】
（４  圧縮ＬＦデータに対する補間処理とその動作）  
次に、このような削減処理によって情報量が削減された圧縮ＬＦデータを用いて、再構成画像の生成に用いるＬＦデータを復号する処理について説明する。
【００４４】
図５は、本実施形態に係る画素の補間処理を模式的に示す図である。分散値の小さいマイクロレンズブロックでは１６画素のうち１画素が代表画素として記録されているから、該代表画素を用いてマイクロレンズブロックの画素を補間する。例えば図５（ａ）において、画素３１１が選択されている場合、画素補間部１１３は、該代表画素Ｆの画素値を用いて他の１５画素を補間する。また、分散値が中程度のマイクロレンズブロックである場合、１６画素のうち４画素が代表画素として選択されているため、選択された４画素を用いてマイクロレンズブロックの画素を補間する。例えば図５（ｂ）において代表画素３１２に示す４つの画素が選択されている場合、画素補間部１１３は、代表画素Ｆ、Ｇ、Ｊ、Ｋの画素値を用いて各々の画素の近傍の画素を補間する。画素分散値の大きいマイクロレンズブロックについては、１６画素のうち全ての画素が代表画素として選択されているため、画素補間部１１３は、全ての画素をそのまま用いる。図５（ｃ）では全ての画素がそのまま用いられている。
【００４５】
次に、上述のマイクロレンズブロックに対する補間処理の動作について各機能ブロックの動作を説明する。画素選択部１０７から出力された圧縮ＬＦデータは、一次現像部１１１により所定の補正処理が行われて画素補間部１１３へ出力される。画素補間部１１３は、一次現像部１１１で補正された圧縮ＬＦデータを取得して、再構成画像を生成するためのマイクロレンズブロックに対する補間処理を行い、ＬＦデータを得る。画素補間部１１３は、取得した圧縮ＬＦデータを走査して、マイクロレンズブロックの区切りを示すデータと代表画素を特定して、該画素の画素値を取得する。まず画素補間部１１３は、例えば特定したマイクロレンズブロックの区切りを示すデータから選択種別を示すビット列を読み出して選択種別を判別し、選択種別に応じて読み込むべき画素値の数を特定する。その後、画素補間部１１３は特定した画素の数だけ画素値を読み込み、選択種別に応じてマイクロレンズブロックに対する補間処理を行う。なお、画素補間部１１３は、ＬＦデータの走査時に代表画素の数をカウントし、代表画素の数から選択種別を判別してもよい。画素補間部１１３は、選択種別が「１×１」を示す場合、取得した１つの代表画素の画素値を用いてマイクロレンズブロックの全画素を補間する。同様に、画素補間部１１３は、選択種別が「２×２」を示す場合、例えば図５（ｂ）で示したように、４つのそれぞれの画素について予め決められた位置の画素を補間する。一方、選択種別が「４×４」を示す場合、画素補間部１１３は、読み出した画素値をそのままマイクロレンズブロックの画素値として用いる。画素補間部１１３は、補間した全てのマイクロレンズブロックの画素値をＬＦデータとして再構成演算部１１５へ出力する。
【００４６】
再構成演算部１１５は、画素補間部１１３から取得したＬＦデータを用いてユーザ等の設定により決められた被写体距離に合焦する再構成画像を生成する。
【００４７】
以上説明したように、画素値の分散値に応じてマイクロレンズブロックの画素を選択して記録することにより、ＬＦデータの情報量の削減が可能となる。また、画素値の分散値を用いることにより、再構成画像の画質低下を低減した圧縮ＬＦデータを生成することが可能となる。
【００４８】
（実施形態２）
次に本発明の実施形態２について説明する。本実施形態のデジタルカメラは実施形態１と同一の構成であってよく、画素値の選択および補間処理に係る動作以外共通である。このため、重複する説明は省略し、相違点について重点的に説明する。
【００４９】
（１  ＬＦデータの削除処理とその動作）
実施形態１において、各マイクロレンズブロックの画素を選択し、該画素の画素値を代表画素の画素値として記録したのに対し、実施形態２は、マイクロレンズブロック内の所定の画素値の総和を代表画素の画素値として記録する。なお、以下の説明では、該代表画素の画素値を代表値という。また、該総和を求めるために選択される画素を示すマイクロレンズブロック内の領域を分割ブロックという。そして、マイクロレンズブロック内の各画素は、代表値とした総和を、総和に用いた画素の数で除算して得られる値（総和した画素値の平均値）により補間される。
【００５０】
分散値の小さいマイクロレンズブロックの場合、１６画素を一つの分割ブロックとして１６画素で単一の値を代表値とする画素値を決定する。例えば図８（ａ）は総和値Ｔ１が対応するマイクロレンズブロックの代表値となる。総和値は、以下に示す数２において１６画素の値を加算することにより算出される。
【００５１】
【数２】
2015154217.tif 000005
ここで、
2015154217.tif 000006
を示す。
【００５２】
分散値が中程度のマイクロレンズブロックの場合、１６画素を４つの分割ブロックに分割して分割ブロック毎に総和を計算し、分割ブロックそれぞれの代表値を決定する。例えば図８（ｂ）は、総和値Ｔ２、Ｔ３、Ｔ４、Ｔ５が代表値として決定されている。総和値Ｔ２は画素Ａ、Ｂ、Ｅ、Ｆの、総和値Ｔ３は画素Ｃ、Ｄ、Ｇ、Ｈの、総和値Ｔ４は画素Ｉ、Ｊ、Ｍ、Ｎの画素値の総和である。また総和値Ｔ５は画素Ｋ、Ｌ、Ｏ、Ｐの画素値の総和により算出される。分散値の大きいマイクロレンズブロックの場合、全１６画素が代表値として決定される。図８（ｃ）では、Ａ〜Ｐの各画素がそのまま利用されている。
【００５３】
次に画素選択部１０７の動作について説明する。画素選択部１０７は、メモリ１０５に格納されたＬＦデータを読み出すと、ＣＰＵ１２５から出力される選択種別に従って、一つのマイクロレンズブロック内の１６の画素の画素値を取得する。画素選択部１０７は、選択種別に応じて予め定められた画素を選択して図８に示す総和値を算出し、代表値として記録部１１９へ出力する。画素選択部１０７は、全てのマイクロレンズブロックについて、代表値としての総和値とマイクロレンズブロックの区切りを示すデータとを合わせて記録部１１９へ出力すると処理を終了する。
【００５４】
（２  圧縮ＬＦデータの補間処理とその動作）
実施形態２に係る補間処理について図９を用いて説明する。本実施形態の補間処理は、画素選択部１０７で決定されたマイクロレンズブロックの代表値、即ち総和値Ｔを以下に示す数３へ代入し、所定の画素に対する平均値を算出する。算出された平均値を用いて対応する各画素を補間する。
【００５５】
【数３】
2015154217.tif 000007
ここで、
2015154217.tif 000008
を示す。
【００５６】
分散値が小さいマイクロレンズブロックについては、１６画素から単一の総和値が決定され、該総和値を１６の画素数で除算した平均値Ｒを各画素の画素値として補間する。例えば図９（ａ）では総和から求めた平均値Ｒを用いてマイクロレンズブロック内の画素値が補間される。分散値が中程度のマイクロレンズブロックの場合、１６画素から４つの分割ブロックが構成され、４つの代表値からそれぞれ得られる平均値が画素値として補間される。図９（ｂ）の例では総和値Ｔ２を数３へ代入して得られる平均値Ｓが、対応する分割ブロック内の４つの画素を補間し、総和値Ｔ３から得られる平均値Ｕが対応する分割ブロック内の４つの画素を補間する。同様に、総和値Ｔ４から得られる平均値Ｖ、総和値Ｔ５から得られる平均値Ｗが、対応する分割ブロック内の各画素を補間する。分散値が大きいマイクロレンズブロックの場合は、総和が算出されていないため、図９（ｃ）に示すように１６画素のそれぞれの画素値がそのまま用いられる。
【００５７】
次に画素補間部１１３の動作について説明する。画素補間部１１３は、取得した圧縮ＬＦデータを走査して、マイクロレンズブロックの区切りを示すデータと画素値を特定し、画素値を取得する。具体的には、画素補間部１１３は、例えば特定したマイクロレンズブロックの区切りを示すデータを特定し、該データから選択種別を示すビット列を読み出して選択種別を判別する。そして画素補間部１１３は、該選択種別に応じて読み込むべき画素の数を特定し、特定した画素の数だけ画素値を取得する。その後、画素補間部１１３は、選択種別に応じた補間処理を行う。画素補間部１１３は、選択種別が「１×１」を示す場合、取得した画素値（総和値）を対象となる画素数１６で除算して平均値を算出し、マイクロレンズブロック内の画素を補間する。同様に、画素補間部１１３は、選択種別が「２×２」を示す場合、４つの画素値（総和値）を取得して、それぞれの総和値について平均値を算出し、予め決められた分割ブロックの画素を補間する。一方、選択種別が「４×４」を示す場合、画素補間部１１３は、読み出した画素値を補間することなくマイクロレンズブロックの画素値として用いる。画素補間部１１３は、取得した圧縮ＬＦデータの走査が完了すると、処理を完了する。
【００５８】
本実施形態では、ＬＦデータの補間において総和値から求めた平均値を用いるため、総和に用いる画素の中に飛び込みノイズ等の影響を受けた画素値があったとしても、復号後のＬＦデータではノイズによる画素値の変化の影響を低減することができる。つまり、本実施形態のデジタルカメラでは、実施形態１において説明した情報量の削減という効果に加え、ＬＦデータにもともと含まれていた飛び込みノイズ等の特定の画素に対する変質の影響を低減することができる。
【００５９】
なお、本実施形態では画素選択部１０７において決定される代表値について、所定の画素値の総和値を代表値とする例を説明したが、代表値を所定の画素値の平均値としてもよく、上述の効果が得られる。また、分散値が小さいあるいは中程度となる場合において、総和値の算出に影響を与える特異な画素、例えば画素値が所定の偏差より大きくなる画素、を総和の対象から除いた上で総和値を算出するようにしてもよい。これにより特定の画素値をもつ特異な画素値による総和値の変動を低減した代表値の算出を行うことができる。
【００６０】
以上説明したように本発明によれば、情報量を削減した、再構成可能な光線空間情報を生成することができる。
【００６１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015154217.tif 000009
【図２】
2015154217.tif 000010
【図３】
2015154217.tif 000011
【図４】
2015154217.tif 000012
【図５】
2015154217.tif 000013
【図６】
2015154217.tif 000014
【図７】
2015154217.tif 000015
【図８】
2015154217.tif 000016
【図９】
2015154217.tif 000017