(57)【要約】【課題】ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができる。【解決手段】画像処理装置が、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、それぞれの単位画素の所定の位置の副画素から得られる信号を画像信号から選択して得られる第１の視点画像と、それぞれの単位画素の全ての副画素から得られる信号を画像信号から選択して得られる撮像画像とに基づいて、第１の視点画像の光量を補正する処理手段と、を有し、処理手段は、単位画素に入射する光量に対する、複数の副画素の間の該光量の分布の偏りを補正することにより、第１の視点画像の光量を補正する。【選択図】図９
2018014649.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、
それぞれの前記単位画素の所定の位置の副画素から得られる信号を前記画像信号から選択して得られる第１の視点画像と、それぞれの前記単位画素の全ての副画素から得られる信号を前記画像信号から選択して得られる撮像画像とに基づいて、前記第１の視点画像の光量を補正する処理手段と、を有し、
前記処理手段は、前記単位画素に入射する光量に対する、前記複数の副画素の間の該光量の分布の偏りを補正することにより、前記第１の視点画像の光量を補正する、
することを特徴とする画像処理装置。
【請求項２】
前記処理手段は、前記第１の視点画像から得られる、前記所定の位置の副画素で受光する光量と、前記撮像画像から得られる、前記単位画素に入射する光量との割合に基づいて、前記偏りを補正する補正量を求める、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、前記偏りの発生を前記副画素の位置に応じて統計処理することにより、前記偏りを補正する前記補正量を求める、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
各副画素に対して求められた前記補正量を予め記憶する記録手段を更に有し、
前記処理手段は、前記記録手段に記録された前記補正量を用いて、前記第１の視点画像の光量を補正する、ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記処理手段は、前記所定の位置の副画素に欠陥を有する単位画素である欠陥画素が存在する場合、光量が補正された後の前記第１の視点画像から得られる、欠陥画素でない単位画素における前記所定の位置の副画素で受光する光量と、光量が補正された後の前記撮像画像から得られる、欠陥画素でない単位画素に入射する光量との割合に基づいて、欠陥画素の前記所定の位置の副画素から得られる信号を補正する、ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記処理手段は、光量が補正された後の前記撮像画像から得られる、前記欠陥画素に入射する光量を更に用いる、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記処理手段は、分光感度の異なる前記単位画素における副画素から得られる信号ごとに前記第１の視点画像の光量を補正する、ことを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
焦点検出信号を生成する焦点検出手段を更に有し、
前記処理手段は、更に、それぞれの前記単位画素の前記所定の位置と異なる位置の副画素から得られる信号を前記画像信号から選択して得られる第２の視点画像の光量を補正し、
前記焦点検出手段は、前記処理手段によって補正された前記第１の視点画像と前記第２の視点画像とに基づいてデフォーカス量を算出し、当該デフォーカス量に基づいて前記焦点検出信号を生成する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記焦点検出手段は、前記処理手段によって補正された前記第１の視点画像と前記第２の視点画像とに基づいて得られる像ずれ量に対し、前記撮像素子の光学特性と前記結像光学系の光学特性とに基づく変換係数を適用することにより、前記デフォーカス量を算出する、ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
焦点検出信号を生成する焦点検出手段を更に有し、
前記処理手段は、前記取得手段により取得された前記画像信号を表示又は記録に用いる場合、更に、それぞれの前記単位画素の前記所定の位置と異なる位置の副画素から得られる信号を前記画像信号から選択して得られる第２の視点画像の光量を補正し、前記画像信号を焦点検出に用いる場合、予め記録されている補正関連データを用いて、前記第１の視点画像の光量を補正し、
前記焦点検出手段は、前記処理手段によって補正された前記第１の視点画像に少なくとも基づいてデフォーカス量を算出し、当該デフォーカス量に基づいて前記焦点検出信号を生成する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１１】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子と、
請求項１から１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項１２】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列して画像信号を取得し、
それぞれの前記単位画素の所定の位置の副画素から得られる信号を前記画像信号から選択して得られる第１の視点画像と、
それぞれの前記単位画素の全ての副画素から得られる信号を前記画像信号から選択して得られる撮像画像と、を出力する撮像素子と、
前記撮像素子から出力された前記第１の視点画像と前記撮像画像とに基づいて、前記第１の視点画像の光量を補正する処理手段と、を有し、
前記処理手段は、前記単位画素に入射する光量に対する、前記複数の副画素の間の該光量の分布の偏りを補正することにより、前記第１の視点画像の光量を補正する、
することを特徴とする撮像装置。
【請求項１３】
取得手段が、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得工程と、
処理手段が、それぞれの前記単位画素の所定の位置の副画素から得られる信号を前記画像信号から選択して得られる第１の視点画像と、それぞれの前記単位画素の全ての副画素から得られる信号を前記画像信号から選択して得られる撮像画像とに基づいて、前記第１の視点画像の光量を補正する処理工程と、を有し、
前記処理工程では、前記単位画素に入射する光量に対する、前記複数の副画素の間の該光量の分布の偏りを補正することにより、前記第１の視点画像の光量を補正する、
することを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、プログラム並びに撮像装置に関する。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つとして、撮像素子で得られる信号を用いて位相差方式の焦点検出を行う撮像面位相差方式が知られている。特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる撮像装置が開示されている。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を通過した光束を受光するように構成されているため、いわゆる瞳分割を実現することができる。瞳分割により得られる複数の視点信号間の視差から像ずれ量を算出することができるため、得られた象ずれ量をデフォーカス量に換算することで、位相差方式の焦点検出を行うことができる。また、特許文献２には、複数に分割された光電変換部で受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。
【０００３】
なお、複数に分割された光電変換部では、上述したように撮影レンズの射出瞳の異なる領域を通過した光束を受光するため、光強度の空間分布および角度分布を取得することができる。従って、複数に分割された光電変換部を用いて撮影された複数の視点信号は、光強度の空間分布および角度分布の情報を含むＬＦ（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データと等価である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第４４１０８０４号明細書
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された撮像素子で取得されたＬＦデータを用いる場合、撮影レンズの射出瞳と撮像素子の入射瞳とのずれに起因して、光電変換部の間に光量分布の偏りが生じる場合がある。このため、視点画像に光量の変動（シェーディング）が生じて画質品位が低下し、位相差方式の焦点検出精度が低下する場合がある。上述した特許文献では、視点画像に生じる光量の変動は考慮されておらず、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減する技術が求められている。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置及びその制御方法、プログラム並びに撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、それぞれの単位画素の所定の位置の副画素から得られる信号を画像信号から選択して得られる第１の視点画像と、それぞれの単位画素の全ての副画素から得られる信号を画像信号から選択して得られる撮像画像とに基づいて、第１の視点画像の光量を補正する処理手段と、を有し、処理手段は、単位画素に入射する光量に対する、複数の副画素の間の該光量の分布の偏りを補正することにより、第１の視点画像の光量を補正する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】第１の実施形態における画素配列を概略的に示す図
【図３】第１の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）
【図４】第１の実施形態における画素と瞳分割の関係を概略的に示す図
【図５】第１の実施形態における画素内部の光強度分布例を示す図
【図６】第１の実施形態における瞳強度分布を例示する図
【図７】第１の実施形態における撮像素子と瞳分割の関係を概略的に示す図
【図８】第１の実施形態における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係を概略的に示す図
【図９】第１の実施形態における補正処理の一連の動作を示すフローチャート（前半）
【図１０】第１の実施形態における補正処理の一連の動作を示すフローチャート（後半）
【図１１】第１の実施形態における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明する図
【図１２】第１の実施形態における撮像画像の射影信号、視点画像の射影信号及びシェーディング曲線の例を示す図
【図１３】第１の実施形態における（Ａ）撮像画像、（Ｂ）シェーディング補正前の第１視点画像、（Ｃ）シェーディング補正後の第１視点画像を例示する図
【図１４】第１の実施形態における（Ａ）欠陥補正前の第１視点画像、（Ａ）欠陥補正後の第１視点画像を例示する図
【図１５】第１の実施形態における（Ａ）補正前の第２視点画像、（Ａ）補正後の第２視点画像を例示する図
【図１６】第２の実施形態における画素配列を概略的に示す図
【図１７】第２の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はＬＦデータを処理可能な任意の機器に適用可能である。任意の機器には、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。
【００１１】
（第１の実施形態）
第１の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を、図１を参照しながら説明する。
【００１２】
図１は本実施形態に係る撮像装置の機能構成例を示すブロック図である。撮影レンズ（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。撮像素子１０７の詳細は後述する。
【００１３】
ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。
【００１４】
被写体照明用の電子フラッシュ１１５は、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置を含み、撮影時に使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
【００１５】
制御部１２１は、例えばＣＰＵ（中央演算処理装置）を含み、デジタルカメラ１００全体の動作を制御する。制御部１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を含む。制御部１２１は、ＲＯＭに記憶された所定のプログラムをＲＡＭに展開、実行することにより、デジタルカメラ１００の各部を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。
【００１６】
電子フラッシュ制御回路１２２は制御部１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は制御部１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は制御部１２１の制御指令に従い、撮像素子１０７により取得された画像信号に対してガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。
【００１７】
フォーカス駆動回路１２６は制御部１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は制御部１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は制御部１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。
【００１８】
表示部１３１は、例えばＬＣＤ（液晶表示装置）等の表示デバイスを含み、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作スイッチやタッチパネルを含み、操作指示信号を制御部１２１に出力する。記録媒体１３３は、フラッシュメモリ等のデジタルカメラ１００に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。
【００１９】
（撮像素子の構成）
本実施形態に係る撮像素子１０７の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）とする。図２に示す例は、２次元ＣＭＯＳセンサー（撮像素子）の画素（単位画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示している。
【００２０】
２列×２行の画素群２００は、例えば左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置される。さらに、各画素（単位画素）は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【００２１】
図２に示す例では、４列×４行の画素（８列×４行の副画素）を撮像面上に配置することで、撮像画像および分割数２（分割数ＮＬＦ）の複数の視点画像を生成するための画像信号（ＬＦデータ）を取得可能である。本実施形態の撮像素子１０７では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数ＮＨ＝６０００列、垂直（行方向）画素数ＮＶ＝４０００行、画素数ＮはＮＨ×ＮＶ＝２４００万画素とする。また、副画素の列方向周期ＰＳを３μｍとし、副画素数ＮＳを水平１２０００列×垂直４０００行＝４８００万画素とする。
【００２２】
図２に示した撮像素子１０７の１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。
【００２３】
図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇには、各画素の受光面側（＋ｚ方向）にマイクロレンズ３０５が形成され、このマイクロレンズ３０５によって入射光が集光される。さらに、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２の複数の光電変換部が形成され、第１光電変換部３０１と第２光電変換部３０２が、それぞれ第１副画素２０１と第２副画素２０２に対応する。より一般的に、ｘ方向にＮｘ分割、ｙ方向にＮｙ分割された分割数ＮＬＦ）の第１光電変換部から第ＮＬＦ光電変換部の複数の光電変換部が形成され、第１光電変換部から第ＮＬＦ光電変換部が、それぞれ、第１副画素から第ＮＬＦ副画素に対応する。
【００２４】
第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。
【００２５】
画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。
【００２６】
図４は、画素構造と瞳分割との対応関係を概略的に示している。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
【００２７】
撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。なお、撮像素子１０７が配置された面を撮像面とする。
【００２８】
２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第ＮＬＦ瞳部分領域）は、各々、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。また、第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第ＮＬＦ瞳部分領域）は、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）でそれぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。
【００２９】
また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第ＮＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。また、瞳領域５００は、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。
【００３０】
各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）は、マイクロレンズの光軸に平行な断面における光強度分布を示している。また、図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面における光強度分布を示している。図５において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を示している。また、ｎＦΔは後述するリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示している。入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットは約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４に示した第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００３１】
図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
【００３２】
次に、図７を参照して、撮像素子１０７と瞳分割との対応関係について説明する。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。撮像素子１０７の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含むＬＦデータ（画像信号）が取得される。
【００３３】
ＬＦデータの信号について、画素ごとに、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成することにより、画素数Ｎの解像度を有する撮像画像を生成することができる。
【００３４】
また、ＬＦデータから、画素ごとに、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の中から特定の副画素の信号を選択することにより、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。
【００３５】
以上のように本実施形態の撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、ＬＦデータを取得することができる。なお、上述した説明では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。
【００３６】
（デフォーカス量と像ずれ量の関係）
さらに、図８を参照して、撮像素子１０７により取得されるＬＦデータに基づいて生成可能な第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）のデフォーカス量と像ずれ量との関係について説明する。
【００３７】
図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量の関係を概略的に示している。撮像面６００には撮像素子（不図示）が配置され、結像光学系の射出瞳は、図４、図７の場合と同様に、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【００３８】
デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（すなわち合焦位置）にある合焦状態では、ｄ＝０である。例えば、被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００３９】
前ピン状態（ｄ＜０）では、被写体８０２から受光した光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、図８に示すように、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義することができ、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様に｜ｐ｜がデフォーカス量｜ｄ｜に比例する傾向がある。
【００４０】
したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。
【００４１】
（撮像画像に基づく視点画像の補正処理）
以下の実施形態では、撮像画像に基づき、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）に対するキズ補正やシェーディング補正等の画像処理（補正処理）を行い、出力画像を生成する例について説明する。
【００４２】
まず、図９および図１０を参照して、取得されたＬＦデータに基づいて、補正処理を行い、出力画像を生成する一連の流れについて説明する。なお、図９および図１０に示す処理は、制御部１２１がＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は制御部１２１の指示に応じて動作する。
【００４３】
（撮像画像と視点画像）
まず、図９に示すＳ１の前処理として不図示の処理（ステップＳ０）を予め行う。Ｓ０において制御部１２１は、撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の異なる瞳部分領域ごとの、少なくとも１つの視点画像とを生成する。
【００４４】
制御部１２１は、Ｓ０において、撮像素子１０７により取得されたＬＦデータを取得する。なお、予め撮像素子１０７により撮影され、記録媒体に保存されているＬＦデータを用いても良い。
【００４５】
より具体的に、制御部１２１は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。なお、以下の説明ではＬＦデータを単にＬＦとも表す。また、ＬＦの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ（１≦ｋ≦ＮＬＦ）として、第ｋ副画素信号とする。すなわち、撮像素子１０７は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（１）に従って生成する。
【００４６】
【数１】
2018014649.tif 000003
【００４７】
なお、本処理は、撮像素子１０７がＬＦデータを生成する際に行ってもよい。この場合、撮像素子１０７は、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するため、各副画素信号をアナログ／デジタル変換（Ａ／Ｄ変換）を行う前に、撮像素子１０７内の静電容量部（ＦＤ）において式（１）に従う各副画素信号の合成を行ってもよい。必要に応じて、撮像素子１０７内のＦＤに蓄積された電荷を電圧信号に変換する際に、式（１）に従う各副画素信号の合成を行っても良いし、必要に応じて、Ａ／Ｄ変換を行った後に、式（１）に従う各副画素信号の合成を行っても良い。
【００４８】
なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２であるｘ方向２分割の場合であり、図２に例示した画素配列に対応した入力画像（ＬＦデータ）を用いる。このため、撮像素子１０７は、画素ごとに、ｘ方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成した撮像画像を生成する。この撮像画像は、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である。
【００４９】
なお、後述する視点画像の補正処理では、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉ（ｊ、ｉ）に対してもＲＧＢ毎のシェーディング補正処理、欠陥補正処理を行う。
【００５０】
次に、撮像素子１０７は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（２）に従って生成する。
【００５１】
【数２】
2018014649.tif 000004
【００５２】
なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２であるｘ方向２分割、ｋ＝１の場合である。撮像素子１０７は、図２に例示した画素配列に対応したＬＦデータに基づいて、画素ごとに、ｘ方向２分割された第１副画素２０１の信号を選択する。よって、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の中から、結像光学系の第１瞳部分領域５０１に対応した第１視点画像Ｉ１（ｊ、ｉ）を生成する。この第１視点画像Ｉ１（ｊ、ｉ）は、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である。なお、必要に応じて、ｋ＝２を選択し、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ２（ｊ、ｉ）を生成しても良い。
【００５３】
このように本実施形態では、ＬＦデータに基づく、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の異なる瞳部分領域ごとの、少なくとも１つの視点画像とを生成する。すなわち、撮像素子１０７により取得されたＬＦデータに基づいて、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）と、を生成する。このとき、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）とから、第２視点画像Ｉ２（ｊ、ｉ）を生成してもよい。このようにすれば、撮像画像Ｉ（ｊ、ｉ）に対して、各画素が光電変換部を有しない従来の撮像素子で取得される撮像画像と同様の画像処理を適用することができる。また、必要に応じて、各視点画像への処理を同等にするために、第１視点画像Ｉ１（ｊ、ｉ）と、第２視点画像Ｉ２（ｊ、ｉ）と、を生成し、記録媒体へ保存しても良い。
【００５４】
（視点画像のシェーディング補正（光量補正））
次に、図９に示すＳ１におけるシェーディング補正（光量補正）について説明する。本処理では、制御部１２１は、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）に対してＲＧＢ毎のシェーディング補正を行う。なお、以降の処理についても制御部１２１が実行する場合を例に説明するが、その一部又は全部を画像処理回路１２５が実行してもよい。
【００５５】
まず、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１１は、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示している。図１１では、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。
【００５６】
図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。
【００５７】
同様に、図１１（Ｃ）に示す、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じる。このため、図１１（Ｃ）に示す場合にも結像光学系の射出瞳４００が不均一に瞳分割されてしまう。図１１（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。
【００５８】
このように、瞳分割が不均一になることに伴い、第１視点画像と第２視点画像の強度も不均一になり（すなわち光量分布が偏り）、第１視点画像と第２視点画像のいずれか一方の強度が大きく、また他方の強度が小さくなるシェーディングが生じる。そして、このシェーディングは画素ごと、すなわちＲＧＢごとに生じる。
【００５９】
そこで、上述したシェーディングによる不均一な信号強度分布を一様に近づけて良好な画質品位の視点画像を生成するため、ＲＧＢごとのシェーディング補正を行う。すなわち、本実施形態では、補正撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）に対するＲＧＢ毎のシェーディング補正を行う。
【００６０】
具体的には、図９に示すＳ１において、制御部１２１は、非飽和かつ非欠陥（キズ）である有効画素の検出を行う（Ｓ１−１）。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれにおいても非飽和かつ非欠陥となる有効画素Ｖ１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれにおいても非飽和かつ非欠陥である場合、有効画素をＶ１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥である場合（すなわち非有効画素）、Ｖ１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉｋについてシェーディング補正を行う場合も、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉｋ（ｊ、ｉ）のいずれもが非飽和かつ非欠陥である場合、有効画素をＶｋ（ｊ、ｉ）＝１とする。
【００６１】
撮像信号の飽和判定閾値をＩＳとして、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定し、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、第ｋ視点画像の飽和判定閾値をＩＳｋとして、第ｋ視点画像Ｉｋ（ｊ、ｉ）＞ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を飽和と判定し、第ｋ視点画像Ｉｋ（ｊ、ｉ）≦ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳｋ≦ＩＳ）である。
【００６２】
本実施形態の撮像素子１０７では、各画素の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）のいずれかの光電変換部にて蓄積電荷が飽和した場合に、画素外ではなく、同一画素内の他の光電変換部（副画素）に漏れこむ（電荷クロストーク）ように構成される。いずれかの副画素（例：第２副画素）が飽和し、副画素間（例：第２副画素から第１副画素）の電荷クロストークが生じると、電荷が溢れた元の副画素（例：第２副画素）と、電荷の漏れこみ先の副画素（例：第１副画素）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれず、シェーディングの正しい検出に必要な情報が含まれなくなる。
【００６３】
高ＩＳＯの場合に比べて、低ＩＳＯの場合の方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、低ＩＳＯでの撮像信号の飽和判定閾値ＩＳが、高ＩＳＯでの撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、低ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳｋが、高ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳｋ以下であることが望ましい。
【００６４】
さらに、結像光学系の射出瞳距離が、第１の所定瞳距離より短く（もしくは、第２の所定瞳距離より長く）、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによるシェーディングを生じる場合、周辺像高では、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなる場合に、電荷クロストークが生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の撮像信号の飽和判定閾値ＩＳが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の第ｋ視点画像の飽和判定閾値ＩＳｋが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の第ｋ視点画像の飽和判定閾値ＩＳｋ以下であることが望ましい。
【００６５】
ここで、図２に示したベイヤー配列の撮像画像Ｉは、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義することができる。すなわち、Ｒの撮像画像をＲＩ（２ｊ２−１、２ｉ２−１）＝Ｉ（２ｊ２−１、２ｉ２−１）、Ｇｒの撮像画像をＧｒＩ（２ｊ２−１、２ｉ２）＝Ｉ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの撮像画像をＧｂＩ（２ｊ２、２ｉ２−１）＝Ｉ（２ｊ２、２ｉ２−１）、Ｂの撮像画像をＢＩ（２ｊ２、２ｉ２）＝Ｉ（２ｊ２、２ｉ２）とする。このとき、整数ｊ２および整数ｉ２は、それぞれ１≦ｊ２≦ＮＶ／２、１≦ｉ２≦ＮＨ／２である。
【００６６】
同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに取り扱う。すなわち、Ｒの第ｋ視点画像をＲＩｋ（２ｊ２−１、２ｉ２−１）＝Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点画像をＧｒＩｋ（２ｊ２−１、２ｉ２）＝Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点画像をＧｂＩｋ（２ｊ２、２ｉ２−１）＝Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点画像をＢＩｋ（２ｊ２、２ｉ２）＝Ｉｋ（２ｊ２、２ｉ２）とする。
【００６７】
次に、図９に示すＳ１において制御部１２１は、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩに基づく射影処理を行う（Ｓ１−２）。具体的には、撮像画像ＲＩ（２ｊ２−１、２ｉ２−１）、ＧｒＩ（２ｊ２−１、２ｉ２）、ＧｂＩ（２ｊ２、２ｉ２−１）、ＢＩ（２ｊ２、２ｉ２）を、式（３Ａ）から式（３Ｄ）に従って、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影する。これにより、制御部１２１は、撮像画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）を生成する。
【００６８】
なお、飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、制御部１２１は、撮像画像と有効画素Ｖｋとの積を取って飽和信号値等を除外したうえで、射影処理を行い（式（３Ａ）上段から式（３Ｄ）上段の分子）、射影処理に用いた有効画素数で規格化（式（３Ａ）上段から式（３Ｄ）上段の分母）する。射影処理に用いた有効画素数が０の場合、式（３Ａ）下段から式（３Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号がノイズの影響などで負信号となった場合も撮像画像の射影信号を０に設定する。
【００６９】
同様に、Ｓ１−３では、第ｋ視点画像ＲＩｋ（２ｊ２−１、２ｉ２−１）、ＧｒＩｋ（２ｊ２−１、２ｉ２）、ＧｂＩｋ（２ｊ２、２ｉ２−１）、ＢＩｋ（２ｊ２、２ｉ２）を、式（３Ｅ）から式（３Ｈ）に従って、瞳分割方向と直交する方向（ｙ方向）に射影する。これにより、制御部１２１は、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）を生成する。
【００７０】
【数３】
2018014649.tif 000005
2018014649.tif 000006
【００７１】
制御部１２１は、上述の射影処理の後に、撮像画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）と第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）を平滑化するためにローパスフィルタ処理を適用する。なお、フィルターの適用は必要に応じて省略しても良い。
【００７２】
図１２には、射影信号の具体例を示している。図１２（上段）は、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を示している。また、図１２（中段）には、第１視点画像の射影信号ＲＰ１（Ｒ）、ＧｒＰ１（Ｇ）、ＧｂＰ１（Ｇ）、ＢＰ１（Ｂ）の例を示している。図１２（上段）及び図１２（中段）の縦軸は信号強度を表している。各射影信号は、被写体の有する各色成分を含むため、被写体に依存した複数の山谷の起伏が生じる。従って、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のシェーディング補正を正確に行うためには、瞳ずれにより生じる第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢ毎のシェーディング成分（光量のずれ）と被写体が有するＲＧＢ毎の信号成分とを分離する必要がある。
【００７３】
このため、Ｓ１−４において制御部１２１は、式（４Ａ）から式（４Ｄ）に従って、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング信号ＲＳｋ（２ｉ２−１）、ＧｒＳｋ（２ｉ２）、ＧｂＳｋ（２ｉ２−１）、ＢＳｋ（２ｉ２）を算出する。なお、画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たす場合、式（４Ａ）に従って、Ｒの第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）とＲの撮像画像の射影信号ＲＰ（２ｉ２−１）との比（すなわち割合）を算出する。そして、算出した比に規格化のための瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＲのシェーディング信号ＲＳｋ（２ｉ２−１）を生成する。これにより、被写体が有するＲの信号成分を相殺し、第ｋ視点画像ＩｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たさない場合、第ｋ視点画像ＩｋのＲのシェーディング信号ＲＳｋ（２ｉ２−１）を０に設定する。
【００７４】
同様に、他のＲＧＢ成分におけるシェーディング信号を算出する。第ｋ視点画像ＩｋのＧｒについては、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たす場合、式（４Ｂ）に従ってＧｒの第ｋ視点画像の射影信号ＧｒＰｋ（２ｉ２）とＧｒの撮像画像の射影信号ＧｒＰ（２ｉ２）との比を算出する。そして、算出した比に規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｒのシェーディング信号ＧｒＳｋ（２ｉ２）を生成する。これにより、被写体が有するＧｒの信号成分を相殺し、第ｋ視点画像ＩｋのＧｒのシェーディング成分を分離することができる。また、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たさない場合、第ｋ視点画像ＩｋのＧｒのシェーディング信号ＧｒＳｋ（２ｉ２）を０に設定する。
【００７５】
同様に、式（４Ｃ）及び（４Ｄ）に従って、第ｋ視点画像ＩｋのＧｂのシェーディング信号ＧｂＳｋ（２ｉ２−１）及び第ｋ視点画像ＩｋのＢのシェーディング信号ＢＳｋ（２ｉ２）を生成する。
【００７６】
【数４】
2018014649.tif 000007
【００７７】
なお、シェーディング補正精度を高精度に行うために、有効なシェーディング信号が十分存在する場合にのみシェーディング補正を行うようにしてもよい。例えば、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うようにすればよい。
【００７８】
Ｓ１−４において、制御部１２１は、式（５Ａ）から式（５Ｄ）に従って、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を算出する。これらのシェーディング関数は、例えば瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮＳＦ次元の多項式関数である。また、上述した、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号を、上記シェーディング関数に入力するデータ点とする。
【００７９】
制御部１２１は、これらデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（５Ａ）から式（５Ｄ）の各シェーディング関数の係数ＲＳＣｋ（μ）、ＧｒＳＣｋ（μ）、ＧｂＳＣｋ（μ）、ＢＳＣｋ（μ）を算出する。このようにして、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を生成することができる。シェーディング関数を用いた統計処理により、ｘ方向の位置に応じた統計的なシェーディングの発生傾向に基づいてシェーディング信号を調整することができるため、滑らかなシェーディング補正を行うことができる。
【００８０】
【数５】
2018014649.tif 000008
【００８１】
シェーディング関数ＲＳＦｋ、ＧｒＳＦｋ、ＧｂＳＦｋ、ＢＳＦｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦｋ］、Ｒ［ＧｒＳＦｋ］、Ｒ［ＧｂＳＦｋ］、Ｒ［ＢＳＦｋ］とする。所定許容値をε（０＜ε＜１）として、１−ε≦ＲＳＦｋ＋Ｒ［ＲＳＦｋ］≦１＋ε、１−ε≦ＧｒＳＦｋ＋Ｒ［ＧｒＳＦｋ］≦１＋ε、１−ε≦ＧｂＳＦｋ＋Ｒ［ＧｂＳＦｋ］≦１＋ε、１−ε≦ＢＳＦｋ＋Ｒ［ＢＳＦｋ］≦１＋εの各条件式が、各位置で、全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦｋ≡１、ＧｒＳＦｋ≡１、ＧｂＳＦｋ≡１、ＢＳＦｋ≡１とし、必要に応じて、例外処理を行う。
【００８２】
図１２（下段）に、撮像画像を基準とした相対的な第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数ＲＳＦ１（Ｒ）、ＧｒＳＦ１（Ｇ）、ＧｂＳＦ１（Ｇ）、ＢＳＦ１（Ｂ）の例を示している。図１２（中段）の第１視点画像の射影信号と、図１２（上段）の撮像画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮像画像の射影信号の比を求めることにより、被写体に依存した山谷の起伏（被写体が有するＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数を分離して生成することができる。
【００８３】
なお、上述の説明では、シェーディング関数として、多項式関数を用いたが、これに限定されることはなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いても良い。
【００８４】
Ｓ１−５において、制御部１２１は、第ｋ視点画像Ｉｋ（ｊ、ｉ）に対して、式（６Ａ）から式（６Ｄ）に従うシェーディング補正を行う。具体的には、制御部１２１は、上述したＲＧＢごとのシェーディング関数を用いて、シェーディング補正処理を行い、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）を生成する。
【００８５】
ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ１Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ１Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ１Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ１Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ１Ｉｋ（２ｊ２、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）を出力画像としても良い。
【００８６】
【数６】
2018014649.tif 000009
【００８７】
このように本実施形態では、撮像画像と視点画像を用いて、撮像画像の被写体による信号変化と視点画像の被写体による信号変化とを相殺して、ＲＧＢごとのシェーディング関数（すなわち瞳ずれによって生じる光量のずれ）を算出する。そして、シェーディング関数の逆数によりＲＧＢごとのシェーディング補正量（光量補正量）を算出する。従って、算出したシェーディング補正量（光量補正量）に基づき、視点画像のシェーディング補正処理を行うことができる。
【００８８】
さらに、図１３（Ａ）〜図１３（Ｃ）を参照して、図９のＳ１に示した第１視点画像Ｉ１（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理の効果を説明する。まず、図１３（Ａ）は、本実施形態の撮像画像Ｉ（デモザイキング後）の例であり、画質品位が良好な撮像画像の例を示している。また、図１３（Ｂ）は、本実施形態のシェーディング補正前の第１視点画像Ｉ１（デモザイキング後）の例を示している。すなわち、上述した結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによりＲＧＢごとのシェーディングが生じ、図１３（Ｂ）に示す第１視点画像Ｉ１（ｊ、ｉ）では右側の周辺像高において輝度の低下（及びＲＧＢ比の変調）が生じている。更に図１３（Ｃ）は、本実施形態のシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（デモザイキング後）の例を示している。すなわち、上述したＲＧＢごとのシェーディング補正により、輝度の低下（及びＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位の良好なシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（ｊ、ｉ）が生成される。
【００８９】
（視点画像の欠陥補正）
次に、Ｓ２における視点画像に対する欠陥補正処理について説明する。本実施形態では、制御部１２１は、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。本実施形態では、ｋ＝１の場合を例に説明する。
【００９０】
撮像素子の回路構成や駆動方式により、転送ゲートの短絡などに起因して、撮像画像Ｉは正常であるものの、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）のごく一部分な信号の欠陥が生じ、点欠陥や線欠陥となる場合がある。このような場合、必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、例えば画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）の欠陥補正処理を行うことができる。また、必要に応じて、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行うことができる。
【００９１】
以下、Ｓ２における欠陥補正処理の例では、第ｋ視点画像Ｉｋには奇数行２ｊＤ−１もしくは偶数行２ｊＤの水平方向（ｘ方向）のライン状の線欠陥がある場合であって、撮像画像Ｉには当該奇数行もしくは偶数行の線欠陥がない場合を例に説明する。
【００９２】
Ｓ２−１において、制御部１２１は、正常な撮像画像Ｉを参照画像として用いて、第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。すなわち、制御部１２１は、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ１Ｉｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値とを比較する。但し、この比較を行う際には、瞳ずれにより生じた第ｋ視点画像ＩｋのＲＧＢごとのシェーディング成分の影響を取り除いたうえで、第ｋ視点画像Ｉｋと撮像画像Ｉとで、被写体が有するＲＧＢごとの信号成分を正確に比較することが必要である。そのため、Ｓ１において生成された第ｋ視点（第１修正）画像Ｍ１Ｉｋを用いて、撮像画像Ｉと同等のシェーディング状態となった第ｋ視点画像を用いる。すなわち、本ステップでは、撮像画像Ｉを参照画像として用いながら、シェーディング補正された第ｋ視点（第１修正）画像Ｍ１Ｉｋに対して高精度な欠陥補正を行う。
【００９３】
制御部１２１は、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）のごく一部で欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ１Ｉｋの正常信号とを用いる。なお、欠陥補正処理により生成される画像を第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）とする。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ２Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第２修正）画像をＲＭ２Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ２Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ２Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第２修正）画像をＢＭ２Ｉｋ（２ｊ２、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２）とする。
【００９４】
制御部１２１は、第ｋ視点（第１修正）画像Ｍ１ＩｋのＲの第１位置（２ｊＤ−１、２ｉＤ−１）が欠陥と判定された場合、式（７Ａ）に従う演算を行って、第１位置における第ｋ視点（第２修正）画像ＲＭ２Ｉｋ（２ｊＤ−１、２ｉＤ−１）を生成する。式（７Ａ）の演算には、第１位置の撮像画像ＲＩ（２ｊＤ−１、２ｉＤ−１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ１Ｉｋと、第２位置の撮像画像ＲＩとを用いる。
【００９５】
また、第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｒの第１位置（２ｊＤ−１、２ｉＤ）が欠陥と判定された場合、式（７Ｂ）に従う演算を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ２Ｉｋ（２ｊＤ−１、２ｉＤ）を生成する。さらに、第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｂ及びＢについても同様に、それぞれ式（７Ｃ）及び式（７Ｄ）に従って欠陥補正後の視点画像を生成する。
【００９６】
【数７】
2018014649.tif 000010
【００９７】
上記以外の欠陥と判定されていない大部分の位置（ｊ、ｉ）では、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）が第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）と同一（又は略同一）の信号値、すなわちＭ２Ｉｋ（ｊ、ｉ）＝Ｍ１Ｉｋ（ｊ、ｉ）である。なお、必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）を出力画像としても良い。
【００９８】
さらに、図１４（Ａ）および図１４（Ｂ）を参照して、上述した欠陥補正処理の効果を説明する。図１４（Ａ）は、上述した欠陥補正前の第１視点（第１修正）画像Ｍ１Ｉ１の例を示す。なお、本画像は、シェーディング補正処理およびデモザイキング処理が施されている。この例は、第１視点（第１修正）画像Ｍ１Ｉ１（ｊ、ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている場合を示している。一方、図１４（Ｂ）は、上述した欠陥補正後の第１視点（第２修正）画像Ｍ２Ｉ１（シェーディング補正後、デモザイキング後）の例を示している。正常な撮像画像Ｉに基づく欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好になっている。
【００９９】
本実施形態では、シェーディング補正により光量補正のなされた視点画像を用いて欠陥画素を補正するようにした。すなわち、欠陥と判定された第１位置における視点画像の信号値を、欠陥と判定された第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像の信号値と、第２位置における撮像画像の信号値とに基づいて補正する。このようにすることで、良好な画質品位の視点画像を生成することができる。
【０１００】
さらに、制御部１２１は、Ｓ２−２において、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）に対して、式（８Ａ）から式（８Ｄ）に従ったシェーディング処理を行い、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第３修正）画像Ｍ３Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第３修正）画像をＲＭ３Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第３修正）画像をＧｒＭ３Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第３修正）画像をＧｂＭ３Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第３修正）画像をＢＭ３Ｉｋ（２ｊ２、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２）とする。
【０１０１】
【数８】
2018014649.tif 000011
【０１０２】
Ｓ３において、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）に対して、飽和信号処理を行う。本実施形態では、ｋ＝１、ＮＬＦ＝２である場合を例に説明する。
【０１０３】
まず、Ｓ３−１において、制御部１２１は、撮像画像Ｉ（ｊ、ｉ）に対する飽和信号処理を行う。すなわち、式（９）に従い、撮像信号の最大値をＩｍａｘとする飽和信号処理を行って、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。
【０１０４】
【数９】
2018014649.tif 000012
【０１０５】
次に、Ｓ３−２において、制御部１２１は、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）に対する飽和信号処理を行う。すなわち、式（１０）に従い、ベイヤー配列のシェーディング関数をＳＦｋ（ｊ、ｉ）としたシェーディング状態に合わせた飽和信号処理を行い、第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列のシェーディング関数ＳＦｋ（ｊ、ｉ）を、式（５Ａ）から式（５Ｄ）により、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに生成されたシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）から、ＳＦｋ（２ｊ２−１、２ｉ２−１）＝ＲＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２−１、２ｉ２）＝ＧｒＳＦｋ（２ｉ２）、ＳＦｋ（２ｊ２、２ｉ２−１）＝ＧｂＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２、２ｉ２）＝ＢＳＦｋ（２ｉ２）とする。
【０１０６】
【数１０】
2018014649.tif 000013
【０１０７】
次に、Ｓ４−１において、制御部１２１は、Ｓ３−１で生成された修正撮像画像ＭＩ（ｊ、ｉ）と、Ｓ３−２で生成された第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）から、式（１１）に従って第２視点画像Ｉ２（ｊ、ｉ）を生成する。
【０１０８】
【数１１】
2018014649.tif 000014
【０１０９】
なお、撮像素子の駆動方式やＡ／Ｄ変換の回路構成によっては、第１視点（第３修正）画像Ｍ３Ｉ１（ｊ、ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。このような場合に、飽和信号処理を行うことなく、式（１１）を適用して撮像画像から第１視点（第３修正）画像を減算すると、生成される第２視点画像において飽和信号値となるべきところが誤った信号値０となる場合がある。このような動作を防止するため、Ｓ３では、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）に対して予めシェーディング状態に合わせた飽和信号処理を行う。このようにして、飽和信号処理後の修正撮像画像ＭＩ（ｊ、ｉ）と第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）を生成する。Ｓ４−１では、式（１１）に従って第２視点画像Ｉ２（ｊ、ｉ）を生成することにより、より正しい飽和信号値に対応した第２視点画像Ｉ２を生成することができる。
【０１１０】
Ｓ５では、制御部１２１は、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）と、第２視点画像Ｉ２（ｊ、ｉ）に対して、それぞれシェーディング補正を行う。Ｓ５−１では、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）に対して、式（５Ａ）から式（５Ｄ）に従って生成済みのシェーディング関数ＲＳＦ１、ＧｒＳＦ１、ＧｂＳＦ１、ＢＳＦ１を適用する。そして、式（６Ａ）から式（６Ｄ）に従って、シェーディング補正処理を行う。なお、このとき第１視点（第５修正）画像Ｍ５Ｉ１（ｊ、ｉ）が生成される。
【０１１１】
次に、Ｓ５−２において、制御部１２１は、第２視点画像Ｉ２（ｊ、ｉ）に対して、式（３Ａ）から式（６Ｄ）と同様に、修正撮像画像ＭＩ（ｊ、ｉ）に基づくシェーディング補正処理を行って、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ、ｉ）を生成する。
【０１１２】
次に、Ｓ６では、制御部１２１は、第１視点（第５修正）画像Ｍ５Ｉ１（ｊ、ｉ）と、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ、ｉ）に対して、それぞれ飽和信号処理を行う。Ｓ６−１では、第１視点（第５修正）画像Ｍ５Ｉ１（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第１視点画像ＭＩ１（ｊ、ｉ）を生成する。一方、Ｓ６−２では、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第２視点画像ＭＩ２（ｊ、ｉ）を生成する。ここで、第ｋ視点画像の最大値Ｉｍａｘ／ＮＬＦと、第ｋ視点画像の飽和判定閾値ＩＳｋは、Ｉｍａｘ／ＮＬＦ≧ＩＳｋを満たす。
【０１１３】
【数１２】
2018014649.tif 000015
【０１１４】
以下、図１５（Ａ）および図１５（Ｂ）を参照して、Ｓ５に示した第２視点画像Ｉ２（ｊ、ｉ）に対するＲＧＢごとのシェーディング補正処理の効果について説明する。図１５（Ａ）は、シェーディング補正前の第２視点画像Ｉ２（デモザイキング後）の例を示している。この例では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによってＲＧＢごとのシェーディングが生じているため、第２視点画像Ｉ２（ｊ、ｉ）の左側では、輝度の低下（およびＲＧＢ比の変調）が生じている。一方、図１５（Ｂ）は、本実施形態に係るシェーディング補正後の修正第２視点画像ＭＩ２（デモザイキング後）の例を示している。この例では、撮像画像に基づいたＲＧＢごとのシェーディング補正により、輝度の低下（およびＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位が良好な修正第２視点画像ＭＩ２（ｊ、ｉ）が生成されている。
【０１１５】
最後に、撮像画像に基づいたＲＧＢごとにシェーディング補正され、画質品位が良好な修正第１視点画像ＭＩ１（ｊ、ｉ）、修正第２視点画像ＭＩ２（ｊ、ｉ）、もしくは、これらを合成処理した合成画像を、出力画像として生成する。
【０１１６】
このように、本実施形態では、撮像画像に基づくＲＧＢごとのシェーディング補正を行って、良好な画質品位の第１修正視点画像と第２修正視点画像（複数の修正視点画像）を生成し、これを出力画像として用いるようにした。このようにすることで、画質品位が良好な視点画像、もしくは、これらの合成画像を実現することができる。
【０１１７】
（位相差方式の焦点検出処理）
次に、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき、位相差方式によりデフォーカス量を検出する焦点検出処理について説明する。なお、以下の説明では、制御部１２１が処理を実行する例を説明するが、画像処理回路１２５が実行してもよい。
【０１１８】
まず、制御部１２１は、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜ＮＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙｋを、式（１３）に従って生成する。
【０１１９】
【数１３】
2018014649.tif 000016
【０１２０】
次に、制御部１２１は、式（１４）に従って、第ｋ視点輝度信号Ｙｋ（ｋ＝１〜ＮＬＦ）のシェーディング補正量Ｓｋ（ｉ）を、瞳分割方向（ｘ方向）の位置ｉに対する滑らかなＮＳ次の多項式関数として算出する。撮像素子１０７の光学特性（第ｋ副画素ごとの瞳強度分布）と、結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）に基づき、予め、各係数ＳＣｋ（μ|Ｆ、Ｄｌ）を算出し、不図示のＲＯＭ等へ保存しておく。
【０１２１】
【数１４】
2018014649.tif 000017
【０１２２】
さらに、制御部１２１は、第ｋ視点輝度信号Ｙｋ（ｊ、ｉ）に対して、式（１５）に従って、シェーディング補正量Ｓｋ（ｉ）を用いたシェーディング補正処理を行い、第ｋ修正視点輝度信号ＭＹｋ（ｊ、ｉ）を生成する。
【０１２３】
【数１５】
2018014649.tif 000018
【０１２４】
制御部１２１は、生成された第１修正視点輝度信号ＭＹ１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルター処理を行い、第１焦点検出信号ｄＹＡを生成する。同様に、第２修正視点輝度信号ＭＹ２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルター処理を行い、第２焦点検出信号ｄＹＢを生成する。なお、１次元バンドパスフィルターとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルターの通過帯域を調整しても良い。
【０１２５】
次に、制御部１２１は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出し、算出した相関量に基づいて像ずれ量ＭＤＩＳを生成する。
【０１２６】
例えば、焦点検出位置（ｊＡＦ、ｉＡＦ）を中心として、行方向ｊ２番目、瞳分割方向である列方向ｉ２番目の第１焦点検出信号をｄＹＡ（ｊＡＦ＋ｊ２、ｉＡＦ＋ｉ２）、第２焦点検出信号をｄＹＢ（ｊＡＦ＋ｊ２、ｉＡＦ＋ｉ２）とする。但し、ｊ２は−ｎ２≦ｊ２≦ｎ２、ｉ２は−ｍ２≦ｉ２≦ｍ２である。さらに、シフト量をｓ（−ｎｓ≦ｓ≦ｎｓ）とすると、各位置（ｊＡＦ，ｉＡＦ）での相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）および相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）は、それぞれ式（１６Ａ）および式（１６Ｂ）により算出することができる。
【０１２７】
【数１６】
2018014649.tif 000019
【０１２８】
なお、相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）は、相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。
【０１２９】
制御部１２１は、相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）と相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）から、それぞれ、サブピクセル演算を行って、相関量が最小値となる実数値のシフト量を算出する。さらに、算出したシフト量の平均値を算出し、焦点検出位置（ｊＡＦ、ｉＡＦ）における像ずれ量Ｄｉｓ（ｊＡＦ、ｉＡＦ）を検出する。
【０１３０】
次に、制御部１２１は、像ずれ量からデフォーカス量への変換係数Ｋを、焦点検出領域の像高位置ごとに像ずれ量Ｄｉｓ（ｊＡＦ、ｉＡＦ）に乗算し、各焦点検出位置（ｊＡＦ、ｉＡＦ）におけるデフォーカス量ＭＤｅｆ（ｊＡＦ、ｉＡＦ）を検出する。なお、変換係数Ｋは、例えば、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）およびレンズ情報（結像光学系の絞り値Ｆ、射出瞳距離Ｄｌなど）に応じて算出し、不図示のＲＯＭへ保存しておく。
【０１３１】
最後に、制御部１２１は、焦点検出位置（ｊＡＦ、ｉＡＦ）で検出されたデフォーカス量ＭＤｅｆ（ｊＡＦ、ｉＡＦ）に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。
【０１３２】
第１視点画像と第２視点画像（複数の視点画像）を用いて、自動焦点検出を行う場合、応答性に優れたリアルタイム処理の自動焦点検出を行うために、高速なシェーディング補正が必要となる場合がある。そのため、本実施形態では、自動焦点検出を行う場合には、不図示のＲＯＭ等に保存されている、予め算出されたシェーディング補正関連データを用いて高速にシェーディング補正を行うようにしてもよい。このようにすれば、良好な信号品質の位相差方式の焦点検出信号を用いることができ、精度が高く、応答性に優れた自動焦点検出を実現することができる。なお、シェーディング補正関連データは、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）と結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）とに基づき算出することができる。この場合、自動焦点検出を行う際には、特定の視点画像（例えば第１視点画像）についてのみシェーディング補正を適用し、より高速な自動焦点検出を行うようにしてもよい。
【０１３３】
本実施形態は、画質品位が良好な視点画像、もしくは、これらの合成画像を画像出力する際は、撮像画像に基づいて、高精度なＲＧＢ毎のシェーディング補正を行う。一方、優れた応答性が要求されるリアルタイム処理の自動焦点検出の際は、シェーディング補正方法を切り換え、予め、算出され、記録媒体に保存されたシェーディング補正関連データによる高速なシェーディング補正を行う例を説明した。これにより、画質品位が良好な視点画像の画像出力と、応答性に優れた高精度な自動焦点検出を、両立することができる。
【０１３４】
以上説明したように、単位画素内の光電変換部を分割した構造の撮像素子から得られるＬＦデータに基づいて撮像画像と視点画像を生成し、これらの画像に基づき視点画像に対するシェーディング（光量分布の偏り）を補正するようにした。さらに、シェーディング補正のなされた視点画像を用いて欠陥画素を補正するようにした。このようにすることで、良好な画質品位の視点画像を生成することができる。換言すれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができるようになる。
【０１３５】
（第２の実施形態）
次に、第２の実施形態を説明する。なお、第１の実施形態では、撮像素子１０７が、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２を有する単位画素を有する場合を例に説明した。一方、第２の実施形態では、単位画素内の光電変換部がｙ方向にも２分割された構造の撮像素子を用いる点が異なる。このため、デジタルカメラ１００の構成は第１の実施形態と同一である。従って、同様の構成及び処理については同一の符号を付与してそれらの詳細な説明を省略し、相違点を中心に説明する。
【０１３６】
図１６は、本実施形態における撮像素子１０７の画素と副画素の配列の概略図を示している。図１６に示すｘ方向（水平方向）、ｙ方向（垂直方向）、およびｚ方向（光軸方向）の定義は実施形態１で示した図２と同様である。図１６は、本実施形態に係る撮像素子１０７の画素配列を４列×４行の範囲（副画素配列については８列×８行の範囲）で示している。２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【０１３７】
図１６に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４（分割数ＮＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施形態の撮像素子では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数ＮＨ＝６０００列、垂直（行方向）画素数ＮＶ＝４０００行、画素数Ｎ＝ＮＨ×ＮＶ＝２４００万画素とする。また、副画素の周期ＰＳを３μｍとし、副画素数ＮＳを水平１２０００列×垂直８０００行＝９６００万画素とする。
【０１３８】
図１７（Ａ）は、図１６に示した１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を示している。図１７（Ａ）におけるｘ軸、ｙ軸およびｚ軸の定義は実施形態１と同様である。また、図１７（Ｂ）は、図１７（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を示している。
【０１３９】
図１７（Ａ）および、図１７（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数ＮＬＦ）の第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）に対応する。
【０１４０】
２×２分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１から第４瞳部分領域５０４（第１瞳部分領域から第ＮＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含むＬＦデータが取得される。
【０１４１】
本実施形態では、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例において、図１６に例示した画素配列に対応した入力画像（ＬＦデータ）から、式（１）に従って、撮像画像を生成する。具体的には、当該ＬＦデータに対して、画素ごとに、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成する。これにより、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号（撮像画像）を生成する。
【０１４２】
また、本実施形態は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割で、ｋ＝１〜３の例である。図１６に例示した画素配列に対応したＬＦデータから、式（２）に従って第１視点画像Ｉ１（ｊ、ｉ）を生成する。具体的には、まず、画素ごとに、４分割された第１副画素２０１から第４副画素２０４の中から第１副画素２０１の信号を選択する。そして、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号（第１視点画像Ｉ１（ｊ、ｉ））を生成する。また、同様に、式（２）に従って第２副画素２０２の信号を選択し、結像光学系の第２瞳部分領域５０２に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号（第２視点画像Ｉ２（ｊ、ｉ））を生成する。さらに、第３副画素２０３の信号を選択した第３視点画像Ｉ３（ｊ、ｉ）を生成する。
【０１４３】
（撮像画像に基づく視点画像の補正処理）
次に、本実施形態では、撮像画像に基づき、第１視点画像から第４視点画像（第１視点画像から第ＮＬＦ視点画像）に対する欠陥補正やシェーディング補正等の画像処理を行う。本実施形態に係る処理を図９を再び参照しながら説明する。
【０１４４】
Ｓ１において、制御部１２１は、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ１から第３視点画像Ｉ３（第ｋ視点画像Ｉｋ：ｋ＝１〜ＮＬＦ−１）のＲＧＢごとにシェーディング補正を行う。本実施形態は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割であり、ｋ＝１〜３の例である。
【０１４５】
Ｓ１において、制御部１２１は、まず、第ｋ視点画像Ｉｋ（ｋ＝１〜ＮＬＦ−１）に対して、式（３Ａ）から式（６Ｄ）により、ｘ方向にシェーディング補正処理を行う。次に、式（３Ａ）から式（６Ｄ）において、ｘ方向とｙ方向を入れ換え、ｙ方向にシェーディング補正処理を行い、第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｋ＝１〜ＮＬＦ−１）を生成する。なお、このように、ｘ方向へのシェーディング補正と、ｙ方向へのシェーディング補正とを２段階に行う場合、式（４Ａ）から式（４Ｄ）の規格化のため瞳分割数ＮＬＦが１回余分となる。そのため、２回目のｙ方向のシェーディング補正では、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数ＮＬＦの乗算は省略することができる。
【０１４６】
その後、制御部１２１は、式（７Ａ）から式（１０）に従って第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｋ＝１〜ＮＬＦ−１）を生成するまでの処理を、第１の実施形態と同様に行うことができる。
【０１４７】
Ｓ４−１において、制御部１２１は、修正撮像画像ＭＩ（ｊ、ｉ）と第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｋ＝１〜ＮＬＦ−１）とから、式（１７）に従って第ＮＬＦ視点画像ＩＮＬＦ（ｊ、ｉ）を生成する。本実施形態は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例である。その後、制御部１２１は、Ｓ５以降の処理を第１の実施形態と同様に処理する。
【０１４８】
【数１７】
2018014649.tif 000020
【０１４９】
なお、上述の実施形態では、撮像素子の各画素部における光電変換部については、分割数を４にする場合を例に説明した。しかし、各画素部における光電変換部の分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、ＮＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、ＮＬＦ＝１６の１６分割など）も可能である。
【０１５０】
以上説明したように、単位画素内の光電変換部を分割した構造の撮像素子から得られるＬＦデータに基づいて撮像画像と視点画像を生成し、これらの画像に基づき視点画像に対するシェーディング（光量分布の偏り）を補正するようにした。さらに、シェーディング補正のなされた視点画像を用いて欠陥画素を補正するようにした。このようにすることで、良好な画質品位の視点画像を生成することができる。換言すれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができるようになる。
【０１５１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１５２】
１０７…撮像素子、１２１…制御部、１２５…画像処理回路
【図１】
2018014649.tif 000021
【図２】
2018014649.tif 000022
【図３】
2018014649.tif 000023
【図４】
2018014649.tif 000024
【図５】
2018014649.tif 000025
【図６】
2018014649.tif 000026
【図７】
2018014649.tif 000027
【図８】
2018014649.tif 000028
【図９】
2018014649.tif 000029
【図１０】
2018014649.tif 000030
【図１１】
2018014649.tif 000031
【図１２】
2018014649.tif 000032
【図１３】
2018014649.tif 000033
【図１４】
2018014649.tif 000034
【図１５】
2018014649.tif 000035
【図１６】
2018014649.tif 000036
【図１７】
2018014649.tif 000037