(57)【要約】【課題】複数の視点画像を用いて、画像内の所定の領域との対比により他の領域の合焦状態を変更した画像を、撮影後に生成可能な画像処理装置を提供する。【解決手段】画像処理装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、それぞれの単位画素の第１の所定の位置と第２の所定の位置の副画素から得られる信号を画像信号からそれぞれ選択した第１の視点画像と第２の視点画像との間の、像のずれを示す像ずれ量を領域ごとに検出する検出手段と、検出された領域ごとの像ずれ量に基づいて、第１の視点画像と第２の視点画像とを領域ごとに比率を異ならせて合成し、深度を変更した画像を生成する処理手段と、を有する。【選択図】図９
2018022984.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、
それぞれの前記単位画素の第１の所定の位置と第２の所定の位置の副画素から得られる信号を前記画像信号からそれぞれ選択した第１の視点画像と第２の視点画像との間の、像のずれを示す像ずれ量を領域ごとに検出する検出手段と、
検出された領域ごとの前記像ずれ量に基づいて、前記第１の視点画像と前記第２の視点画像とを領域ごとに比率を異ならせて合成し、深度を変更した画像を生成する処理手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記処理手段は、
前記第１の視点画像と前記第２の視点画像とを合成するためのそれぞれの重みを、検出された領域ごとの前記像ずれ量に基づいて領域ごとに設定する設定手段と、
設定された領域ごとの前記それぞれの重みに基づいて前記第１の視点画像と前記第２の視点画像とを加算して、深度の変更された画像を生成する生成手段と、を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、検出された領域ごとの前記像ずれ量と、撮像された被写体の所定領域における像ずれ量との関係に応じて、前記それぞれの重みを異ならせる、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記それぞれの重みを、検出された領域ごとの前記像ずれ量と前記所定領域における像ずれ量との差が大きい領域よりも、検出された領域ごとの前記像ずれ量と前記所定領域における像ずれ量との差が小さい領域において、重みづけの差が大きくなるように設定する、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記処理手段は、検出された領域ごとの前記像ずれ量と前記所定領域における像ずれ量との差が大きい領域よりも、検出された領域ごとの前記像ずれ量と前記所定領域における像ずれ量との差が小さい領域において、前記第１の視点画像と前記第２の視点画像との視差の差が大きくなるように前記第１の視点画像と前記第２の視点画像を修正する修正手段を更に有し、
前記生成手段は、前記修正手段により視差が修正された前記第１の視点画像と前記第２の視点画像とを加算して、深度の変更された画像を生成する、ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記検出手段は、領域ごとの前記像ずれ量を、前記第１の視点画像と前記第２の視点画像との間のコントラストの差が所定の値より小さい領域において検出する、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記検出手段は、空間周波数成分が異なる複数の被写体が混成する領域を除いて、領域ごとの前記像ずれ量を検出する、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子と、
請求項１から７のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項９】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列して画像信号を取得し、それぞれの前記単位画素の第１の所定の位置と第２の所定の位置の副画素から得られる信号を前記画像信号からそれぞれ選択した第１の視点画像と第２の視点画像とを出力する撮像素子と、
前記第１の視点画像と前記第２の視点画像との間の、像のずれを示す像ずれ量を領域ごとに検出する検出手段と、
検出された領域ごとの前記像ずれ量に基づいて、前記第１の視点画像と前記第２の視点画像とを領域ごとに比率を異ならせて合成し、深度を変更した画像を生成する処理手段と、を有することを特徴とする撮像装置。
【請求項１０】
取得手段が、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得工程と、
検出手段が、それぞれの前記単位画素の第１の所定の位置と第２の所定の位置の副画素から得られる信号を前記画像信号からそれぞれ選択した第１の視点画像と第２の視点画像との間の、像のずれを示す像ずれ量を領域ごとに検出する検出工程と、
処理手段が、検出された領域ごとの前記像ずれ量に基づいて、前記第１の視点画像と前記第２の視点画像とを領域ごとに比率を異ならせて合成し、深度を変更した画像を生成する処理工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、プログラム並びに撮像装置に関する。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つとして、撮像素子で得られる信号を用いて位相差方式の焦点検出を行う撮像面位相差方式が知られている。特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる撮像装置が開示されている。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を通過した光束を受光するように構成されているため、いわゆる瞳分割を実現することができる。瞳分割により得られる複数の視点信号間の視差から像ずれ量を算出することができるため、得られた像ずれ量をデフォーカス量に換算することで、位相差方式の焦点検出を行うことができる。また、特許文献２には、複数に分割された光電変換部で受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第４４１０８０４号明細書
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮影装置を用いた撮影では、主被写体にピントを合わせつつ、前景や背景を大きくボカすことにより、主被写体を効果的に際立たせる撮影表現が用いられる場合がある。撮影後にピント状態を変更可能な技術として、上述の瞳分割により得られる複数の視点信号を用いてピント状態を変更した合成画像を生成するリフォーカス技術が知られている。しかしながら、リフォーカス技術は、仮想的な合焦位置を変更することによって合成画像全体のピント状態を変更する技術であり、画像内の所定の領域に対して他の領域の合焦度合やぼけ具合をより強調するものではない。従って、上述の瞳分割により得られる複数の視点画像を用いて、ボケた前景や背景等の所定の領域との対比により被写体等の他の領域の合焦状態を際立たせる効果を調整可能な技術が望まれている。
【０００５】
本発明の目的は、上記の問題点に鑑みてなされたものである。すなわち、複数の視点画像を用いて、画像内の所定の領域との対比により他の領域の合焦状態を変更した画像を、撮影後に生成可能な画像処理装置及びその制御方法、プログラム並びに撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、それぞれの単位画素の第１の所定の位置と第２の所定の位置の副画素から得られる信号を画像信号からそれぞれ選択した第１の視点画像と第２の視点画像との間の、像のずれを示す像ずれ量を領域ごとに検出する検出手段と、検出された領域ごとの像ずれ量に基づいて、第１の視点画像と第２の視点画像とを領域ごとに比率を異ならせて合成し、深度を変更した画像を生成する処理手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の視点画像を用いて、画像内の所定の領域との対比により他の領域の合焦状態を変更した画像を、撮影後に生成することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】第１の実施形態における画素配列を概略的に示す図
【図３】第１の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）
【図４】第１の実施形態における画素と瞳分割の関係を概略的に示す図
【図５】第１の実施形態における画素内部の光強度分布の例を示す図
【図６】第１の実施形態における瞳強度分布の例を示す図
【図７】第１の実施形態における撮像素子と瞳分割の関係を概略的に示す図
【図８】第１の実施形態における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係を概略的に示す図
【図９】第１の実施形態における深度修正処理に係る一連の動作を示すフローチャート
【図１０】第１の実施形態における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明する図
【図１１】第１の実施形態における撮像画像を例示する図
【図１２】第１の実施形態における撮像画像及び視点画像のコントラスト分布を例示する図
【図１３】第１の実施形態における視点画像間の視差と遠近競合の関係を概略的に示す図
【図１４】第１の実施形態における（Ａ）コントラスト差分量分布、（Ｂ）コントラスト分布、（Ｃ）像ずれ量分布を例示する図
【図１５】第１の実施形態における所定シフト量からの像ずれ差分量分布を例示する図
【図１６】第１の実施形態における視差を先鋭化する処理の効果を説明する図
【図１７】第１の実施形態における合成処理による深度修正可能範囲を概略的に説明する図
【図１８】第２の実施形態における画素配列を概略的に示す図
【図１９】第２の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）
【発明を実施するための形態】
【０００９】
以下、例示的な実施形態について図面に基づいて詳細に説明する。以下の実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はＬＦデータを処理可能な任意の機器に適用可能である。任意の機器には、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。
【００１０】
（第１の実施形態）
図１は、本実施形態に係る画像処理装置の一例のとしてのデジタルカメラ１００の機能構成例を示すブロック図である。撮影レンズ（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルター１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。撮像素子１０７の詳細は後述する。
【００１１】
ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。
【００１２】
被写体照明用の電子フラッシュ１１５は、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置を含み、撮影時に使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
【００１３】
制御部１２１は、例えばＣＰＵ（中央演算処理装置）を含み、デジタルカメラ１００全体の動作を制御する。制御部１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を含む。制御部１２１は、ＲＯＭに記憶された所定のプログラムをＲＡＭに展開、実行することにより、デジタルカメラ１００の各部を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。
【００１４】
電子フラッシュ制御回路１２２は制御部１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は制御部１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は制御部１２１の制御指令に従い、撮像素子１０７により取得された画像信号に対してガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。
【００１５】
フォーカス駆動回路１２６は制御部１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は制御部１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は制御部１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。
【００１６】
表示部１３１は、例えばＬＣＤ（液晶表示装置）等の表示デバイスを含み、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、後述する深度変更処理により生成された合成画像等を表示する。操作部１３２は、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作スイッチやタッチパネルを含み、操作指示信号を制御部１２１に出力する。記録媒体１３３は、フラッシュメモリ等のデジタルカメラ１００に着脱可能な記録媒体であり、撮影済み画像データ、後述するＬＦデータ、生成された合成画像等を記録する。
【００１７】
（撮像素子の構成）
本実施形態に係る撮像素子１０７の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）とする。図２に示す例は、２次元ＣＭＯＳセンサー（撮像素子）の画素（単位画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示している。
【００１８】
２列×２行の画素群２００は、例えば左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置される。さらに、各画素（単位画素）は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【００１９】
図２に示す例では、４列×４行の画素（８列×４行の副画素）を撮像面上に配置することで、撮像画像および分割数２（分割数ＮＬＦ）の複数の視点画像を生成するための画像信号（ＬＦデータ）を取得可能である。本実施形態の撮像素子では、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行＝約２０７５万画素とする。また、副画素の列方向周期ＰＳを２μｍとし、副画素数ＮＳを横１１１５０列×縦３７２５行＝約４１５０万画素とする。
【００２０】
図２に示した撮像素子１０７の１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。
【００２１】
図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇには、各画素の受光面側（＋ｚ方向）にマイクロレンズ３０５が形成され、このマイクロレンズ３０５によって入射光が集光される。さらに、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２の複数の光電変換部が形成され、第１光電変換部３０１と第２光電変換部３０２が、それぞれ第１副画素２０１と第２副画素２０２に対応する。より一般的に、（ｘ方向にＮｘ分割、ｙ方向にＮｙ分割された分割数ＮＬＦの）第１光電変換部から第ＮＬＦ光電変換部の複数の光電変換部が形成され、第１光電変換部から第ＮＬＦ光電変換部が、それぞれ、第１副画素から第ＮＬＦ副画素に対応する。
【００２２】
第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。
【００２３】
画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。
【００２４】
図４は、画素構造と瞳分割との対応関係を概略的に示している。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
【００２５】
撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。なお、撮像素子１０７が配置された面を撮像面とする。
【００２６】
２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第ＮＬＦ瞳部分領域）は、各々、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。また、第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第ＮＬＦ瞳部分領域）は、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）でそれぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。
【００２７】
また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第ＮＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。また、瞳領域５００は、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。
【００２８】
各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）は、マイクロレンズの光軸に平行な断面における光強度分布を示している。また、図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面における光強度分布を示している。図５において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を示している。また、ｎＦΔは後述するリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示している。入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットは約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４に示した第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００２９】
図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
【００３０】
次に、図７を参照して、撮像素子１０７と瞳分割との対応関係について説明する。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。撮像素子１０７の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含む画像信号が取得される。なお、この画像信号はＬＦ（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データともいわれる。
【００３１】
まず、この画像信号（ＬＦデータ）から、画素ごとに、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の中から特定の副画素の信号を選択する。これにより、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。
【００３２】
また、ＬＦデータの信号について、画素ごとに、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成することにより、画素数Ｎの解像度を有する撮像画像を生成することができる。なお、上述した視点画像および撮像画像は、制御部１２１が撮像素子１０７からＬＦデータを取得して生成する例を説明するが、撮像素子１０７の内部で生成されてもよく、画像処理回路１２５がＬＦデータを取得して生成してもよい。
【００３３】
以上のように本実施形態の撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、ＬＦデータを取得することができる。なお、上述した説明では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。
【００３４】
（デフォーカス量と像ずれ量の関係）
さらに、図８を参照して、撮像素子１０７により取得されるＬＦデータに基づいて生成可能な第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）のデフォーカス量と像ずれ量との関係について説明する。
【００３５】
図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量の関係を概略的に示している。撮像面６００には撮像素子（不図示）が配置され、結像光学系の射出瞳は、図４、図７の場合と同様に、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【００３６】
デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（すなわち合焦位置）にある合焦状態では、ｄ＝０である。例えば、被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００３７】
前ピン状態（ｄ＜０）では、被写体８０２から受光した光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像信号としてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、図８に示すように、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義することができ、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様に｜ｐ｜がデフォーカス量｜ｄ｜に比例する傾向がある。
【００３８】
したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。
【００３９】
（深度修正処理に係る一連の動作）
次に、図９を参照して、撮像画像の被写界深度（単に深度ともいう）を再修正する深度修正処理について説明する。特に、本実施形態では、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）のデフォーカス量と像ずれ量の関係性から得られる像ずれ量分布に基づいて深度修正処理を行う例について説明する。この深度修正処理では、合焦近傍の被写体の深度を領域ごとに修正した出力画像（合成画像）を生成する。なお、図９に示す深度修正処理に係る一連の動作は、例えば操作部１３２がユーザによる撮影指示又は予め記録媒体１３３に記録されたＬＦデータの選択を検出した場合に開始される。深度修正処理に係る一連の動作は、制御部１２１が不図示のＲＯＭに記録されたプログラムを不図示のＲＡＭに展開、実行し、画像処理回路１２５等の各部を制御することにより実現される。
【００４０】
＜視点画像と撮像画像の生成＞
Ｓ１では、制御部１２１は、入力画像信号（すなわちＬＦデータ）から視点画像と撮影画像を生成する。制御部１２１は、例えば撮像素子１０７からＬＦデータを取得して、結像光学系の異なる瞳部分領域ごとの複数の視点画像を生成するともに、結像光学系の異なる瞳部分領域を合成した撮像画像を生成する。
【００４１】
より具体的に、まず、制御部１２１は撮像素子１０７からＬＦデータを取得する。もしくは、予め本実施形態の撮像素子１０７により撮影され、記録媒体１３３に保存されているＬＦデータを取得してもよい。次に、制御部１２１は、結像光学系の異なる瞳部分領域ごとに、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）を生成する。なお、以下の説明ではＬＦデータを単にＬＦとも表す。また、ＬＦデータの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ（１≦ｋ≦ＮＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（１）に従って生成する。
【００４２】
【数１】
2018022984.tif 000003
【００４３】
なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２としてｘ方向に２分割する例を示している。制御部１２１は、更に、ＬＦデータから、画素ごとに、第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）のうちの特定の副画素の信号を選択する。すなわち、第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）のうち特定の瞳部分領域に対応した、第１視点画像或いは第２視点画像（第１視点画像から第ＮＬＦ視点画像）を生成する。なお、生成される各視点画像は、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である。
【００４４】
ここで、図１０を参照して、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１０（Ａ）〜（Ｃ）には、第１光電変換部３０１が受光する第１瞳部分領域５０１と第２光電変換部３０２が受光する第２瞳部分領域５０２と結像光学系の射出瞳４００との関係を示している。
【００４５】
図１０（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、結像光学系の射出瞳４００は、第１瞳部分領域５０１と第２瞳部分領域５０２により概ね均等に瞳分割される。これに対して、図１０（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００は不均一に瞳分割されてしまう。図１０（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。
【００４６】
同様に、図１０（Ｃ）に示す、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じる。このため、図１０（Ｃ）に示す場合にも結像光学系の射出瞳４００が不均一に瞳分割されてしまう。図１０（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。
【００４７】
このように、瞳分割が不均一になることに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きく、また他方の強度が小さくなるシェーディングが生じる。そして、このシェーディングは画素ごと、すなわちＲＧＢごとに生じる。
【００４８】
このため、制御部１２１は、必要に応じて、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）に対して、（ＲＧＢごとに）シェーディング補正処理（光学補正処理）を行っても良い。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理などを行っても良い。
【００４９】
更に、制御部１２１は、結像光学系の異なる瞳部分領域を合成した撮像画像を生成する。すなわち、それぞれの視点画像がそれぞれの瞳部分領域に対応するのに対し、撮像画像は瞳領域に対応する。制御部１２１は、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（２）に従って生成する。
【００５０】
【数２】
2018022984.tif 000004
【００５１】
制御部１２１は、入力画像信号（ＬＦデータ）から、画素ごとに、第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を取り出して合成する。これにより、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像が生成される。なお、必要に応じて、生成された撮像画像に対するシェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理などを行っても良い。図１１には、上述した処理によって生成され、更にデモザイキング処理が施された撮像画像の例を示している。中央に人物（人形）が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。
【００５２】
このようにＳ１では、撮像素子１０７を用いて取得したＬＦデータから、異なる瞳部分領域ごとの複数の視点画像が生成されるとともに、異なる瞳部分領域の信号を合成した撮像画像が生成される。
【００５３】
＜コントラスト分布の生成＞
Ｓ２において、制御部１２１は、Ｓ１において生成した撮像画像と複数の視点画像に対し、空間周波数の高周波帯域成分を領域ごとに抽出したコントラスト分布を生成する。生成されたコントラスト分布は、視点画像間の差に応じた調整に用いられる。
【００５４】
まず、制御部１２１は、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）を用いて、撮像輝度信号Ｙを生成する。例えば、式（３Ａ）に従って、位置（ｊ，ｉ）ごとに、各ＲＧＢの色重心が一致するように撮像輝度信号Ｙを生成する。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜ＮＬＦ）を用いて、第ｋ視点輝度信号Ｙｋを式（３Ｂ）に従って生成する。
【００５５】
【数３】
2018022984.tif 000005
【００５６】
次に、制御部１２１は、得られた撮像輝度信号Ｙ（ｊ，ｉ）に空間周波数の高周波成分を抽出するバンドパスフィルターを適用して、撮像高周波信号ｄＹ（ｊ，ｉ）を生成する。例えば、バントパスフィルタとして２次元バンドパスフィルター｛ＦＢＰＦ（ｊＢＰＦ、ｉＢＰＦ）｜−ｎＢＰＦ≦ｊＢＰＦ≦ｎＢＰＦ、−ｍＢＰＦ≦ｉＢＰＦ≦ｍＢＰＦ｝を適用し、撮像高周波信号ｄＹ（ｊ，ｉ）を式（４Ａ）に従って生成する。同様に、バンドパスフィルターを第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜ＮＬＦ）に適用して、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）を式（４Ｂ）に従って生成する。
【００５７】
【数４】
2018022984.tif 000006
【００５８】
本実施形態は、２次元バンドパスフィルターを、例えばｘ方向（瞳分割方向）の１次元フィルターＦｘ（ｉＢＰＦ）とｙ方向（瞳分割方向と直交する方向）の１次元フィルターＦｙ（ｊＢＰＦ）との直積により構成する。すなわち、２次元バンドパスフィルターは、ＦＢＰＦ（ｊＢＰＦ、ｉＢＰＦ）＝Ｆｙ（ｊＢＰＦ）×Ｆｘ（ｉＢＰＦ）のように表すことができる。瞳分割方向であるｘ方向の１次元フィルターＦｘ（ｉＢＰＦ）は、ｘ方向の空間周波数の高周波成分を抽出するためのものであり、例えば０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］のように混合フィルターとして構成される。すなわち、１次微分型フィルター［１、２、０、−２、−１］と２次微分型フィルター［１、０、−２、０、１］とを組み合わせている。一般的に、微分型フィルター処理を行うと、フィルター処理後の信号において、正符号から負符号に変化する部分に０点が存在する。このため、絶対値演算と組み合わせる場合、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある（但し、節が発生する位置は、微分型フィルターの微分の次数により異なる）。このため、本実施形態では、例えば１次微分型フィルターと２次微分型フィルター（一般には、異なる次数の微分型フィルター）を組み合わせた混合型フィルターにより、節の発生を抑制する。なお、必要に応じて、［１、２、０、−２、−１］などの１次微分型フィルター、［１、０、−２、０、１］などの２次微分型フィルター、高次微分型フィルター、及びより一般的な１次元バンドパスフィルターを用いても良い。
【００５９】
また、瞳分割方向と直交する方向であるｙ方向の１次元フィルターＦｙ（ｊＢＰＦ）には、ｙ方向の高周波ノイズを抑制するために高周波カット（ローパス）フィルターを用いる。この高周波カット（ローパス）フィルターには、例えば、［１、１、１、１、１］や［１、４、６、４、１］などを用いることができる。また、必要に応じて、ｘ方向とｙ方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルター処理を行っても良い。本実施形態では、２つの１次元フィルターの直積で構成される２次元バンドパスフィルターを例示したが、これに限定されず、一般的な２次元バンドパスフィルターを用いることができる。
【００６０】
さらに、制御部１２１は、撮像高周波信号ｄＹ（ｊ，ｉ）を規格化して規格化撮像高周波信号ｄＺ（ｊ，ｉ）を生成する。例えば、Ｙ０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を式（５Ａ）に従って撮像輝度信号Ｙ（ｊ，ｉ）により規格化する。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜ＮＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）を、式（５Ｂ）に従って生成する。この例では、分母のＹ０＞０との最大値判定により０による除算を防止する。また、必要に応じて、制御部１２１は、式（５Ａ）及び式（５Ｂ）における規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対してローパスフィルターを適用し、高周波ノイズを抑制しても良い。
【００６１】
【数５】
2018022984.tif 000007
【００６２】
次に、制御部１２１は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）を用いて撮像コントラスト分布Ｃ（ｊ，ｉ）を生成する。例えば、撮像コントラスト分布Ｃ（ｊ，ｉ）は、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γとして、式（６Ａ）に従って生成される。撮像輝度信号Ｙ（ｊ，ｉ）が低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が０に設定される（式（６Ａ）の１行目）。一方、規格化撮像高周波信号ｄＺ（ｊ，ｉ）がコントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値は１に設定される（式（６Ａ）の３行目）。それ以外の場合、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される（式（６Ａ）の２行目）。以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値が０に近い場合にはコントラストが低く、１に近い場合にはコントラストが高いことを示す。また、本実施形態では、撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１の範囲のトーンカーブを調整するため、γのべき乗を適用している。トーンカーブが低コントラスト側では緩やかに変化し高コントラスト側では急峻に変化するように、例えば指数γは１．５以上２．５以下に設定される。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））を撮像コントラスト分布としても良い。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜ＮＬＦ）を、式（６Ｂ）に従って生成する。
【００６３】
【数６】
2018022984.tif 000008
【００６４】
本実施形態の撮像コントラスト分布Ｃ（ｊ，ｉ）の分布例を図１２（Ａ）に、第１視点コントラスト分布Ｃ１（ｊ，ｉ）の分布例を図１２（Ｂ）に、第２視点コントラスト分布Ｃ２（ｊ，ｉ）の分布例を図１２（Ｃ）に、それぞれ示している。図１２（Ａ）から図１２（Ｃ）に示す分布例では、画像の右側に示す［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。値が１の近傍である白い部分はｘ方向の空間周波数の高周波成分が多く、高コントラストである領域を示し、値が０の近傍である黒い部分はｘ方向の空間周波数の高周波成分が少なく、低コントラストである領域を示している。
【００６５】
＜コントラスト分布における遠近競合又はオクルージョン＞
本実施形態における複数の視点画像（第１視点画像と第２視点画像）間の視差と、遠近競合やオクルージョンとの関係を、図１３（Ａ）〜（Ｃ）を用いて説明する。図１３（Ａ）〜（Ｃ）の撮像面６００には撮像素子１０７（不図示）が配置され、図４、図７、図８と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。
【００６６】
図１３（Ａ）は、撮影画像において遠近競合が生じている例を示している。すなわち、被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合が生じている。この例を、結像光学系の第１瞳部分領域５０１を通過する光束と、第２瞳部分領域５０２を通過する光束とに、それぞれ分けて図１３（Ｂ）、図１３（Ｃ）に示す。
【００６７】
図１３（Ｂ）では、被写体ｑ１からの光束は、第１瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、第１瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子１０７の各画素の副画素２０１で受光される。このとき、制御部１２１は、副画素２０１の受光信号から第１視点画像を生成する。すなわち、第１視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１が重ならずに、異なる位置で撮影される。したがって、図１３（Ｂ）に示す例における第１視点画像では、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じていない。
【００６８】
一方、図１３（Ｃ）では、被写体ｑ１からの光束は、第２瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。また、手前の被写体ｑ２からの光束は、第２瞳部分領域５０２を通過して、デフォーカス状態でボケ像Γ２に広がり、撮像素子の各画素の副画素２０２で受光される。このとき、制御部１２１は、副画素２０２の受光信号から第２視点画像を生成する。すなわち、第２視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって撮影される。したがって、図１３（Ｃ）に示す例における第２視点画像では、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じている。
【００６９】
このように、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、第１視点画像と第２視点画像との間で遠近競合やオクルージョンが生じている状態が異なる場合がある。すなわち、図１３（Ａ）〜（Ｃ）に示した例は、当該領域近傍において第１視点画像と第２視点画像間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。
【００７０】
第１視点コントラスト分布Ｃ１（ｊ，ｉ）と第２視点コントラスト分布Ｃ２（ｊ，ｉ）の差分量分布Ｃ１（ｊ，ｉ）−Ｃ２（ｊ，ｉ）を図１４（Ａ）に例示する。図１４（Ａ）に示す分布例では、右側の［−１、１］の範囲のグレースケール表示にて、第１視点画像のコントラストと第２視点画像のコントラスト間の差（第１視点コントラスト分布と第２視点コントラスト分布の差分量）の大小の指標を表している。値が０の近傍である黒い部分は、第１視点画像のコントラストと第２視点画像のコントラスト間の差が小さい領域を示している。一方、値が±１の近傍である白い部分は、第１視点画像のコントラストと第２視点画像のコントラスト間の差が大きい領域を示している。
【００７１】
図１４（Ａ）では、中央下部における、人物（人形）の胴体と市松模様の平板との境界の領域において、第１視点画像のコントラストと第２視点画像のコントラスト間の差が大きい領域（白い領域）が検出されている。すなわち、コントラスト間の差が大きい領域では、人物の胴体と市松模様の平板とにより遠近競合やオクルージョンが生じていることを示している。また、コントラスト間の差が大きい領域では、遠近競合やオクルージョンが生じている領域以外に、第１視点画像と第２視点画像との間で空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きくなっている領域なども検出される。検出された領域では、第１視点画像と第２視点画像との間で空間周波数成分が大きく異なる被写体像がそれぞれ撮影されている。上述したように、第１視点画像と第２視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。
【００７２】
なお、これらの空間周波数成分が異なる複数被写体像の混成領域に先鋭化や平滑化などの画像処理を強く行う場合、画質品位が低下する場合がある。したがって、本実施形態では、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ１（ｊ，ｉ）−Ｃ２（ｊ，ｉ）｜を用いて、空間周波数成分が異なる複数被写体像の混成領域を検出する。これにより検出された混成領域での先鋭化や平滑化などの画像処理を抑制しながら適用することができる。これにより、画質品位を良好に保持しながら、先鋭化や平滑化の画像処理を施すことができる。
【００７３】
次に、制御部１２１は、空間周波数成分が異なる複数被写体像の混成領域を検出するため、コントラスト差分量分布ＣＤＩＦＦ（ｊ，ｉ）を生成する。例えば、制御部１２１は、第１視点コントラスト分布Ｃ１（ｊ，ｉ）と第２視点コントラスト分布Ｃ２（ｊ，ｉ）を用いて、コントラスト差分量分布ＣＤＩＦＦ（ｊ，ｉ）を式（７Ａ）に従って生成する。更に、制御部１２１は、式（７Ｂ）に従って、撮像コントラスト分布Ｃ（ｊ，ｉ）にコントラスト差分量分布ＣＤＩＦＦ（ｊ，ｉ）をかけ合わせ、コントラスト分布ＭＣＯＮ（ｊ，ｉ）を生成する。
【００７４】
【数７】
2018022984.tif 000009
【００７５】
コントラスト差分量分布ＣＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲で分布し、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では値が０に近づく。一方、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では値が１に近づく。すなわち、コントラスト分布ＭＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）にコントラスト差分量分布ＣＤＩＦＦ（ｊ，ｉ）をかけ合わせた分布であるため、空間周波数成分が異なる複数被写体像の混成領域では値が０の近傍に抑制される。
【００７６】
図１４（Ｂ）には、生成されたコントラスト分布ＭＣＯＮ（ｊ，ｉ）の分布例を示している。この分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。値が１の近傍である白い部分はｘ方向の空間周波数の高周波成分が多く、高コントラストな領域を示す。一方、値が０の近傍である黒い部分はｘ方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。図１２（Ａ）に示した撮像コントラスト分布Ｃ（ｊ，ｉ）に対して、視点画像コントラスト分布の差分量分布の絶対値が大きい領域においてコントラスト値が抑制されている。すなわち、第１視点コントラスト分布Ｃ１（ｊ，ｉ）と第２視点コントラスト分布Ｃ２（ｊ，ｉ）の差分量分布の絶対値｜Ｃ１（ｊ，ｉ）−Ｃ２（ｊ，ｉ）｜が大きい領域においてコントラスト値が抑制されている。
【００７７】
なお、上述した説明では、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ１（ｊ，ｉ）−Ｃ２（ｊ，ｉ）｜に対して単調減少な線形関数を用いた。しかし、必要に応じてより一般的な関数を用いても良い。
【００７８】
このように本実施形態では、撮像画像と複数の視点画像とから、視点画像ごとのコントラスト間の差に応じて、コントラスト分布ＭＣＯＮ（ｊ，ｉ）を生成する。コントラスト分布ＭＣＯＮ（ｊ，ｉ）は、視点画像ごとのコントラスト間の差が大きい領域より、差が小さい領域の方が大きくなり、また、所定の空間周波数帯域において撮像画像の空間周波数成分が少ない領域より、多い領域の方が大きくなる。また、当該コントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きくなる。なお、繰り返しコントラスト分布ＭＣＯＮ（ｊ，ｉ）を生成する場合、生成したコントラスト分布ＭＣＯＮ（ｊ，ｉ）を記録媒体１３３などに記録しておき、２回目以降の処理では生成を省略してもよい。このようにすることで処理を高速化することができる。
【００７９】
＜像ずれ量分布の生成＞
次に、Ｓ３において、制御部１２１は、コントラスト分布ＭＣＯＮ（ｊ，ｉ）と第１視点画像と第２視点画像（複数の視点画像）とを用いて像ずれ量分布を生成する。例えば、制御部１２１は、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値以上である各位置（ｊ，ｉ）において、第１視点画像と第２視点画像の相関（信号の一致度）に基づく像ずれ量分布を生成する。
【００８０】
制御部１２１は、まず、式（３Ｂ）に従って生成された第１視点輝度信号Ｙ１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルター処理を行って第１焦点検出信号ｄＹＡを生成する。また、式（３Ｂ）に従って生成された第２視点輝度信号Ｙ２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルター処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルターとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルターの通過帯域を調整しても良い。
【００８１】
次に、制御部１２１は、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）以上である各位置（ｊ，ｉ）において、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を算出する。すなわち、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域において、像ずれ量の算出を行う。このようにすることで、像ずれ量の算出精度を高精度化し、処理を高速化することができる。例えば、制御部１２１は、上述した各位置（ｊ，ｉ）において、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向にシフトさせながら、信号の一致度を表す相関量を算出する。そして、相関量に基づいて焦点検出信号が最も一致する際の像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を生成する。一方、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満である各位置（ｊ，ｉ）は、像ずれ量の算出から除外する。
【００８２】
焦点検出信号をシフトさせて相関量を算出する処理は、例えば以下のように行うことができる。まず、位置（ｊ，ｉ）を中心として、行方向ｊ２（−ｎ２≦ｊ２≦ｎ２）番目、瞳分割方向である列方向ｉ２（−ｍ２≦ｉ２≦ｍ２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ２、ｉ＋ｉ２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ２、ｉ＋ｉ２）とする。ここで、シフト量をｓ（−ｎｓ≦ｓ≦ｎｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲＥＶＥＮ（ｊ，ｉ、ｓ）を式（８Ａ）に従って算出する。また、同様に、相関量ＣＯＲＯＤＤ（ｊ，ｉ、ｓ）を式（８Ｂ）に従って算出する。
【００８３】
【数８】
2018022984.tif 000010
【００８４】
相関量ＣＯＲＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトした相関量である。相関量ＣＯＲＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を生成する。
【００８５】
なお、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０，２）未満であり、像ずれ量の算出から除外された領域は、ＭＤＩＳ（ｊ，ｉ）＝０とする。必要に応じて、０以外の値を設定しても良い。
【００８６】
図１４（Ｃ）には、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）の分布例を示す。この例では、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値０．２以上であり、かつ像ずれ量が算出されている領域を、［−６、６］の範囲のグレースケール表示で表示している。なお、図１４（Ｃ）では、第１視点画像と第２視点画像との間の像ずれ量を、１ピクセル（１画素）単位で示している。マイナス符号の値（黒色で示す値）は前ピン状態の領域を表し、０付近の値は合焦近傍の領域をそれぞれ示している。また、プラス符号の値（白色で示す値）は、後ピン状態の領域を示している。なお、図１４（Ｃ）の分布例では、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値０．２未満であり、像ずれ量の算出から除外されてＭＤＩＳ（ｊ，ｉ）＝０に設定された領域に関しては、黒で表示している。
【００８７】
このように本実施形態では、コントラスト分布ＭＣＯＮ（ｊ，ｉ）に応じて像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を算出し、高コントラスト、かつ、遠近競合やオクルージョンが生じていない領域において、複数の視点画像から像ずれ量を算出できるようにしている。なお、先に求めた像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を記録媒体１３３に記録し、２回目以降における像ずれ量分布ＭＤＩＳ（ｊ，ｉ）の算出を省略してもよい。このようにすれば、処理時間を短縮することができる。また、必要に応じて、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）をデフォーカス分布に変換してもよい。例えば、制御部１２１は、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離などに応じた変換係数を、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）に適用して、デフォーカス量分布に変換することができる。
【００８８】
＜像ずれ差分量分布の生成＞
Ｓ４において、制御部１２１は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）と所定の像ずれ量（単に所定像ずれ量ともいう）とに基づいて像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）を生成する。まず、制御部１２１は、（被写体の所定領域において）深度修正処理を行いたい所定像ずれ量ｐを設定する。例えば、図１４（Ｃ）に示した像ずれ量分布ＭＤＩＳの例では、人物（人形）の目の近傍の領域での像ずれ量は約２．５である。例えば、制御部１２１は、人物（人形）の目の近傍の領域を深度修正処理したい場合、所定像ずれ量ｐ＝２．５と設定する。後述するように、画像内の目の近傍の領域との対比により他の領域の合焦状態（深度）を変更した画像を生成する。所定像ずれ量の設定は、例えば、ユーザが操作部１３２を介して撮像画像上の位置を特定することにより設定してよい。
【００８９】
次に、制御部１２１は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）、所定像ずれ量ｐ、コントラスト分布ＭＣＯＮ（ｊ，ｉ）に基づき、像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）を式（９）に従って算出する。ただし、σｐ＞０とする。
【００９０】
【数９】
2018022984.tif 000011
【００９１】
像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜に対して単調減少する線形関数と、コントラスト分布ＭＣＯＮ（ｊ，ｉ）とを、かけ合わせた分布である。像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）は、｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜＜σｐで正、｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜＝σｐで０、｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜＞σｐで負となる。なお、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であるために像ずれ量の算出から除外された領域は、ＭＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σｐ）×ＭＣＯＮ（ｊ，ｉ）とする。ただし、当該除外された領域については、必要に応じて他の値を設定しても良い。
【００９２】
例えば、図１５には上述した像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）の分布例を示している。コントラスト分布ＭＣＯＮの値が所定値０．２以上であるために像ずれ量が算出されている領域では、右側の［−１、１］の範囲のグレースケール表示にて像ずれ差分量を示している。プラス（＋）符号である白側の部分は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐとの差分の絶対値｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜が小さく、かつ、コントラストが高い領域を示している。マイナス（−）符号である黒側の部分は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐとの差分の絶対値｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜が大きく、かつ、コントラストが高い領域を示している。なお、図１５の表示例では、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値が所定値０．２未満であるために像ずれ量の算出から除外され、ＭＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σｐ）×ＭＣＯＮ（ｊ，ｉ）と設定された領域に関しては、黒で表示している。
【００９３】
＜修正視点画像の生成＞
Ｓ５において、制御部１２１は、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）とに対して、像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）に応じて、第１の先鋭化および第１の平滑化の処理を行う。制御部１２１は、この第１の先鋭化および第１の平滑化により、第１修正視点画像と第２修正視点画像（第１修正視点画像から第ＮＬＦ修正視点画像）を生成する。具体的に、制御部１２１は、第１視点画像と第２視点画像（複数の視点画像）に対して、像ずれ差分量分布が０以上（ＭＤＩＦＦ（ｊ，ｉ）≧０）の領域では、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）。一方、像ずれ差分量分布が０未満（ＭＤＩＦＦ（ｊ，ｉ）＜０）の領域に対しては、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）。
【００９４】
まず、第１視点画像と第２視点画像（複数の視点画像）に対して、視点画像間の差を拡大して視差を先鋭化する処理、もしくは、視点画像間の差を縮小して視差を平滑化する処理の強さを指定する第１の強度パラメーターｋｃｔ（ｋｃｔ≧０）を設定する。次に、第１の強度パラメーター分布Ｋｃｔ（ｊ，ｉ）を、式（１０）に従って設定する。本実施形態では、第１の強度パラメーター分布Ｋｃｔ（ｊ，ｉ）は、ｋｃｔを比例係数として像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）に比例する。
【００９５】
【数１０】
2018022984.tif 000012
【００９６】
さらに、制御部１２１は、第１視点画像Ｉ１（ｊ，ｉ）と第２視点画像Ｉ２（ｊ，ｉ）（第１視点画像から第ＮＬＦ視点画像）とに対して、式（１１Ａ）および式（１１Ｂ）に従って第１修正視点画像ＭＩ１（ｊ，ｉ）と第２修正視点画像ＭＩ２（ｊ，ｉ）（第１修正視点画像から第ＮＬＦ修正視点画像）とを生成する。
【００９７】
【数１１】
2018022984.tif 000013
【００９８】
式（１１Ａ）は、第１の強度パラメーター分布（像ずれ差分量分布）が０以上の領域において、第１視点画像と第２視点画像（複数の視点画像）と間の差を拡大し、視差を先鋭化する（クロストーク補正、第１の先鋭化）処理を表す。一方、式（１１Ｂ）は、第１の強度パラメーター分布（像ずれ差分量分布）が０未満の領域において、第１視点画像と第２視点画像（複数の視点画像）と間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理を表す。
【００９９】
図１６は、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する処理の例を示している。横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図１６では、先鋭化する処理前の第１視点画像（修正前Ａ）と第２視点画像（修正前Ｂ）の例とを破線のグラフで示している。また、式（１１Ａ）に従って先鋭化した後の第１修正視点画像（修正後Ａ）と第２修正視点画像（修正後Ｂ）との例を実線のグラフで示している。視点画像間の差を拡大して視差を先鋭化する処理を適用することにより、処理前に視点画像間の差が大きかった部分はより拡大されるが、処理前に視点画像間の差が小さかった部分はそれほど変化しない。このように、視点画像間の視差が先鋭化されることがわかる。一方、式（１１Ｂ）における平滑化する処理を適用することにより、第１視点画像と第２視点画像（複数の視点画像）と間の差が縮小され、視点画像間の視差が平滑化される。なお、上述したコントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理又は平滑化の処理のいずれかを適用しても良い。
【０１００】
このように、式（７Ａ）〜（７Ｂ）、式（９）、式（１０）、式（１１Ａ）および式（１１Ｂ）により、制御部１２１は、視点画像毎のコントラスト間の差が大きい領域よりもコントラスト間の差が小さい領域に、各視点画像への先鋭化や平滑化を強く適用する。また、コントラスト分布の値が小さい領域よりも大きい領域に、各視点画像への先鋭化や平滑化を強く適用する。すなわち、式（９）、式（１０）、式（１１Ａ）および式（１１Ｂ）を用いることにより、像ずれ量分布の所定シフト量からの差が小さい領域には先鋭化の処理を適用し、差が大きい領域には平滑化の処理を適用することになる。また、式（９）、式（１０）、式（１１Ａ）を用いることにより、像ずれ量分布の所定シフト量からの差が大きい領域よりも差が小さい領域に先鋭化を強く適用する。一方、式（９）、式（１０）、式（１１Ｂ）を用いることにより、像ずれ量分布の所定シフト量からの差が小さい領域よりも差が大きい領域に平滑化を強く適用する。
【０１０１】
このように、式（１１Ａ）および式（１１Ｂ）より、複数の視点画像の画素毎に、複数の視点画像間の差を拡大して視差を先鋭化、もしくは、複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成する。式（１１Ａ）の第１の先鋭化の処理、および、式（１１Ｂ）の第２の平滑化の処理は、各（ｊ，ｉ）画素に含まれる第１光電変換部に対応する第１視点画像Ｉ１（ｊ，ｉ）と、第２光電変換部に対応する第２視点画像Ｉ２（ｊ，ｉ）間の演算処理である。
【０１０２】
＜重み係数の設定＞
Ｓ６において、制御部１２１は、第１修正視点画像と第２修正視点画像（第１修正視点画像から第ＮＬＦ修正視点画像）毎の重み係数を設定する。具体的には、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）の値が所定像ずれ量ｐの近傍である領域（差が小さい領域）では、被写界深度を深くするように一方の視点画像に重み係数を偏らせる（すなわち重み付けの差を大きくする）。一方、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）の値が所定像ずれ量ｐの近傍でない領域（差が大きい領域）では、被写界深度を浅くするように各視点画像に均等な重みづけを設定する（すなわち重み付けの差を小さくする）。以下の処理では、このような重み係数を像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）に基づいて設定する。
【０１０３】
すなわち、制御部１２１は、像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）から、第１修正視点画像ＭＩ１（ｊ、ｉ）の第１重み係数分布Ｗ１（ｊ、ｉ）を、式（１２Ａ）に従って算出する。また、第２修正視点画像ＭＩ２（ｊ、ｉ）の第２重み係数分布Ｗ２（ｊ、ｉ）を、式（１２Ｂ）に従って算出する。
【０１０４】
【数１２】
2018022984.tif 000014
【０１０５】
式（１２Ａ）および式（１２Ｂ）に示すように、第１重み係数分布Ｗ１（ｊ、ｉ）と第２重み係数分布Ｗ２（ｊ、ｉ）の差は、｜Ｗ１（ｊ、ｉ）−Ｗ２（ｊ、ｉ）｜＝ｍａｘ（ＭＤＩＦＦ（ｊ，ｉ）、０）となる。したがって、本実施形態では、像ずれ量分布の所定シフト量からの差が大きい領域よりも差が小さい領域の方が、重み係数間の差｜Ｗ１（ｊ、ｉ）−Ｗ２（ｊ、ｉ）｜が大きい。すなわち、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）の値が所定像ずれ量ｐの近傍である領域において（重み係数間の差が大きくなるようにして）被写界深度を修正するようにしている。なお、必要に応じて、第１重み係数分布Ｗ１（ｊ、ｉ）と第２重み係数分布Ｗ２（ｊ、ｉ）に対して、高周波カット（ローパス）フィルター処理を行って平滑化しても良い。
【０１０６】
＜合成処理による出力画像の生成＞
Ｓ７において、制御部１２１は、加算処理（合成処理）を行って深度修正された出力画像を生成する。具体的には、第１修正視点画像と第２修正視点画像（第１修正視点画像から第ＮＬＦ修正視点画像）毎に重み係数をかけて、式（１３）に従う加算処理（合成処理）を行い、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）に基づき深度修正された出力画像を生成する。
【０１０７】
【数１３】
2018022984.tif 000015
【０１０８】
制御部１２１は、まず、式（１２Ａ）の第１重み係数分布Ｗ１（ｊ、ｉ）を第１修正視点画像ＭＩ１（ｊ、ｉ）に乗算するとともに、式（１２Ｂ）の第２重み係数分布Ｗ２（ｊ、ｉ）を第２修正視点画像ＭＩ２（ｊ、ｉ）に乗算する。そして、これらを合成することにより、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）の値が所定像ずれ量ｐ近傍である領域において被写界深度を修正する。このように本実施形態では、複数の視点画像から像ずれ量分布を生成し、像ずれ量分布に基づいて、複数の視点画像毎に重み係数を変更（複数の視点画像の加算比率を変更）して合成し、被写界深度を修正した出力画像を生成する。制御部１２１は、出力画像の生成を完了すると、深度修正処理に係る一連の動作を終了する。
【０１０９】
（修正視点画像の効果）
次に、図１７を参照して深度修正範囲を説明したうえで、上述した合成処理において修正視点画像を用いる場合の効果について説明する。撮像面６００には撮像素子１０７（不図示）が配置されており、図４、図７、図８の場合と同様に、結像光学系の射出瞳が第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【０１１０】
許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は、±Ｆ×δである。これに対して、Ｎｘ×Ｎｙ（例えば、２×１）に分割されて狭くなった第１瞳部分領域５０１（または５０２）の瞳分割方向（ｘ方向）の実効絞り値Ｆ０１（またはＦ０２）は、Ｆ０１＝Ｎｘ×Ｆ（またはＦ０２＝Ｎｘ×Ｆ）となって暗くなる。第１修正視点画像（または第２修正視点画像）ごとの実効的な被写界深度は、±Ｎｘ×Ｆ×δとなってＮｘ倍深くなるとともに、合焦範囲がＮｘ倍に広がる。実効的な被写界深度「±Ｎｘ×Ｆ×δ」の範囲内では、第１修正視点画像（または第２修正視点画像）ごとに合焦した被写体像が取得されている。したがって、１つの修正視点画像の重み係数を１（他の修正視点画像の係数を０）とすることにより、瞳分割方向の被写界深度を、概ね、Ｎｘ倍に深くすることができる。
【０１１１】
しかしながら、図６に示した瞳強度分布の例のように、画素部ごとに形成される直径数ｕｍのマイクロレンズと複数に分割された光電変換部による瞳分割では、光の波動性による回折ボケのために、緩やかな瞳分割となる。そのため、第１視点画像と第２視点画像（複数の視点画像）の瞳分割方向（ｘ方向）の深度が十分に深くならず、第１視点画像と第２視点画像（複数の視点画像）を用いて深度修正処理をしても、深度修正効果が十分に得られない場合がある。
【０１１２】
このため、上述した深度修正処理では、第１視点画像と第２視点画像（複数の視点画像）に対し、式（１１Ａ）に従って第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）ようにした。すなわち、第１の強度パラメーター分布（像ずれ差分量分布）が０以上（Ｋｃｔ（ｊ，ｉ）＝ｋｃｔ×ＭＤＩＦＦ（ｊ，ｉ）≧０）の画素ごとに、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する画像処理を適用する。これにより、回折ボケがあっても、生成された第１修正視点画像と第２修正視点画像（複数の修正視点画像）の瞳分割方向（ｘ方向）の実効的な絞り値Ｆを大きく（深度を深く）修正することができ、深度修正効果を向上させることができる。
【０１１３】
以上説明したように本実施形態では、異なる瞳部分領域を通過した信号から得られる複数の視点画像について像ずれ量分布を生成し、当該像ずれ量分布に基づく視点画像ごとの重み係数を用いて、複数の視点画像を合成（出力画像を生成）するようにした。すなわち、像ずれ量分布が所定シフト量からの差が小さい場合には、一方の視点画像に加重を偏らせるように重み係数を算出して複数の視点画像を合成し、深度を深くする。他方、像ずれ量分布が所定シフト量からの差が大きい場合には、複数の視点画像の加重が均等になるように重み係数を算出して複数の視点画像を合成し、深度を浅くする。このようにすることで、合焦近傍の被写体をボケた前景や背景との対比により際立たせる（合成画像の深度修正効果を向上させる）効果を、撮影後に調整することができる。換言すれば、複数の視点画像を用いて、画像内の所定の領域との対比により他の領域の合焦状態を変更した画像を、撮影後に生成することが可能になる。
【０１１４】
（第２の実施形態）
次に、第２の実施形態を説明する。なお、第１の実施形態では、撮像素子１０７が、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２を有する単位画素を有する場合を例に説明した。一方、第２の実施形態では、単位画素内の光電変換部がｙ方向にも２分割された構造の撮像素子を用いる点が異なる。このため、デジタルカメラ１００の構成は第１の実施形態と同一である。従って、同様の構成及び処理については同一の符号を付与してそれらの詳細な説明を省略し、相違点を中心に説明する。
【０１１５】
図１８は、本実施形態における撮像素子１０７の画素と副画素の配列の概略図を示している。図１８に示すｘ方向（水平方向）、ｙ方向（垂直方向）、およびｚ方向（光軸方向）の定義は実施形態１で示した図２と同様である。図１８は、本実施形態に係る撮像素子１０７の画素配列を４列×４行の範囲（副画素配列については８列×８行の範囲）で示している。２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【０１１６】
図１８に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４（分割数ＮＬＦ）の複数の視点画像を生成するための入力画像信号を取得可能である。本実施形態の撮像素子では、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行＝約２０７５万画素とする。また、副画素の周期ＰＳを２μｍとし、副画素数ＮＳを横１１１５０列×縦７４５０行＝約８３００万画素とする。
【０１１７】
図１９（Ａ）は、図１８に示した１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を示している。図１９（Ａ）におけるｘ軸、ｙ軸およびｚ軸の定義は実施形態１と同様である。また、図１９（Ｂ）は、図１９（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を示している。
【０１１８】
図１９（Ａ）および、図１９（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数ＮＬＦ）の第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）に対応する。
【０１１９】
（多視点画像と撮像画像）
図９に示したＳ１において、制御部１２１は、本実施形態の撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。もしくは、制御部１２１は、予め本実施形態の撮像素子１０７により撮影され、記録媒体に保存されているＬＦデータを用いても良い。
【０１２０】
次に、制御部１２１は、結像光学系の異なる瞳部分領域毎に、第１副画素２０１から第４副画素２０４の信号から視点画像（第１視点画像から第ＮＬＦ視点画像）を生成する。このとき、ＬＦの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ（１≦ｋ≦ＮＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、上述した式（１）に従って生成する。
【０１２１】
本実施形態は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例であり、図１８に示した画素配列に対応したＬＦデータから、画素ごとに特定の副画素の信号を選択する。すなわち、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の中から、画素ごとに、特定の副画素の信号を選択する。図１８の例では、制御部１２１は、結像光学系の第１瞳部分領域から第４瞳部分領域における特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像から第４視点画像を生成する。
【０１２２】
更に、制御部１２１は、結像光学系の異なる瞳部分領域を通過した光束を合成した撮像画像を生成する。すなわち、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（２）に従って生成する。
【０１２３】
本実施形態は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例では、上述のＬＦデータから、画素ごとに、全ての副画素の信号を取得して合成する。すなわち、制御部１２１は、４分割された第１副画素２０１から第４副画素２０４の信号を全て合成し、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。
【０１２４】
図９に示したＳ２以降の一連の動作は、第１の実施形態と同様である。従って、制御部１２１は、実施形態１と同様に、Ｓ２〜Ｓ７の処理を行って、出力画像を生成し、深度修正処理に係る一連の動作を終了する。このようにすることで、合焦近傍の被写体をボケた前景や背景との対比により際立たせる（合成画像の深度修正効果を向上させる）効果を、撮影後に調整することができる。
【０１２５】
なお、上述の実施形態では、撮像素子の各画素部における光電変換部について、分割数を４にする場合を例に説明した。しかし、各画素部における光電変換部の分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、ＮＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、ＮＬＦ＝１６の１６分割など）も可能である。
【０１２６】
以上説明したように本実施形態では、各単位画素を４分割する副画素から得られる４つの視点画像について像ずれ量分布を生成し、当該像ずれ量分布に基づく視点画像ごとの重み係数を用いて、複数の視点画像を合成するようにした。すなわち、実施形態１と同様、像ずれ量分布が所定シフト量からの差が小さい場合には、一方の視点画像に加重を偏らせるように重み係数を算出して複数の視点画像を合成し、深度を深くする。他方、像ずれ量分布が所定シフト量からの差が大きい場合には、複数の視点画像の加重が均等になるように重み係数を算出して複数の視点画像を合成し、深度を浅くする。このようにすることで、合焦近傍の被写体をボケた前景や背景との対比により際立たせる（合成画像の深度修正効果を向上させる）効果を、撮影後に調整することができる。換言すれば、複数の視点画像を用いて、画像内の所定の領域との対比により他の領域の合焦状態を変更した画像を、撮影後に生成することが可能になる。
【０１２７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２８】
１０７...撮像素子、１２１...制御部、１２５...画像処理回路
【図１】
2018022984.tif 000016
【図２】
2018022984.tif 000017
【図３】
2018022984.tif 000018
【図４】
2018022984.tif 000019
【図５】
2018022984.tif 000020
【図６】
2018022984.tif 000021
【図７】
2018022984.tif 000022
【図８】
2018022984.tif 000023
【図９】
2018022984.tif 000024
【図１０】
2018022984.tif 000025
【図１１】
2018022984.tif 000026
【図１２】
2018022984.tif 000027
【図１３】
2018022984.tif 000028
【図１４】
2018022984.tif 000029
【図１５】
2018022984.tif 000030
【図１６】
2018022984.tif 000031
【図１７】
2018022984.tif 000032
【図１８】
2018022984.tif 000033
【図１９】
2018022984.tif 000034