(57)【要約】【課題】ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置を提供すること。【解決手段】画像処理装置は、結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像の輝度を補正する。輝度の補正量は、全部の光電変換部で得られる信号から生成される撮像画像の射影信号と、視点画像の射影信号のうち有効と判定された射影信号とを用いて生成する。【選択図】図１２
2019114912.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像と、全部の光電変換部で得られる信号から生成される撮像画像とを取得する画像取得手段と、
前記視点画像の輝度補正量を、前記視点画像および前記撮像画像を用いて取得する補正量取得手段と、
前記輝度補正量に基づいて前記視点画像の輝度を補正する補正手段と、
を有する画像処理装置であって、
前記補正量取得手段は、
前記撮像画像および前記視点画像それぞれの射影信号を生成する射影手段と、
前記視点画像の射影信号の有効性を判定する判定手段と、
前記視点画像の射影信号のうち、前記判定手段に有効と判定された射影信号と、前記撮像画像の射影信号とを用いて前記輝度補正量を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記射影手段は、前記撮像画像および前記視点画像を予め定めた射影方向に射影して１次元の射影信号を生成し、
前記判定手段は、前記視点画像の前記射影方向に並んだ複数の画素の値に基づく評価値を、閾値と比較することにより、該信号の有効性を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価値が、前記複数の画素のうち、欠陥画素位置に該当する画素の値を用いずに生成されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記評価値が、前記複数の画素のうち、欠陥画素位置に該当しない画素の値の二乗累積値であることを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記評価値が、前記視点画像のＳＮ比を考慮した評価値であることを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項６】
前記判定手段は、前記複数の画素に基づく前記評価値が前記閾値より大きい場合、前記複数の画素に対応する射影信号を有効と判定し、前記評価値が前記閾値以下の場合、前記複数の画素に対応する射影信号を無効と判定することを特徴とする請求項２から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記射影信号のうち、前記判定手段によって有効と判定された信号の数または割合が閾値以下の場合、前記輝度補正量の生成および前記輝度補正量に基づく前記視点画像の輝度の補正を行わないことを特徴とする請求項２から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記補正量取得手段は、前記視点画像の射影信号のうち前記判定手段によって有効と判定された射影信号と、対応する前記撮像画像の射影信号との比に基づく前記輝度補正量を取得することを特徴とする請求項２から請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像処理装置と、
前記複数の光電変換部を備わる画素が複数配列された撮像素子と、
を有することを特徴とする撮像装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像と、全部の光電変換部で得られる信号から生成される撮像画像とを取得する画像取得工程と、
前記視点画像の輝度補正量を、前記視点画像および前記撮像画像を用いて取得する補正量取得工程と、
前記輝度補正量に基づいて前記視点画像の輝度を補正する補正工程と、
を有し、
前記補正量取得工程は、
前記撮像画像および前記視点画像それぞれの射影信号を生成する射影工程と、
前記視点画像の射影信号の有効性を判定する判定工程と、
前記視点画像の射影信号のうち、前記判定工程で有効と判定された射影信号と、前記撮像画像の射影信号とを用いて前記輝度補正量を生成する生成工程と、
を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１から請求項８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びに撮像装置に関する。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つとして、撮像素子で得られる信号を用いて位相差方式の焦点検出を行う撮像面位相差方式が知られている。特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる撮像装置が開示されている。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を通過した光束を受光するように構成されているため、いわゆる瞳分割を実現することができる。瞳分割により得られる複数の視点信号間の視差から像ずれ量を算出することができるため、得られた象ずれ量をデフォーカス量に換算することで、位相差方式の焦点検出を行うことができる。また、特許文献２には、複数に分割された光電変換部で受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。
【０００３】
なお、複数に分割された光電変換部では、上述したように撮影レンズの射出瞳の異なる領域を通過した光束を受光するため、光強度の空間分布および角度分布を取得することができる。従って、複数に分割された光電変換部を用いて撮影された複数の視点信号は、光強度の空間分布および角度分布の情報を含むＬＦ（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データと等価である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第４４１０８０４号明細書
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された撮像素子で取得されたＬＦデータを用いる場合、撮影レンズの射出瞳と撮像素子の入射瞳とのずれに起因して、光電変換部の間に光量分布の偏りが生じる場合がある。このため、視点画像に光量の変動（シェーディング）が生じて画質品位が低下し、位相差方式の焦点検出精度が低下する場合がある。上述した特許文献では、視点画像に生じる光量の変動は考慮されておらず、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減する技術が求められている。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置および画像処理方法、並びに撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像と、全部の光電変換部で得られる信号から生成される撮像画像とを取得する画像取得手段と、視点画像の輝度補正量を、視点画像および撮像画像を用いて取得する補正量取得手段と、輝度補正量に基づいて視点画像の輝度を補正する補正手段と、を有する画像処理装置であって、補正量取得手段は、撮像画像および視点画像それぞれの射影信号を生成する射影手段と、視点画像の射影信号の有効性を判定する判定手段と、視点画像の射影信号のうち、判定手段に有効と判定された射影信号と、撮像画像の射影信号とを用いて輝度補正量を生成する生成手段と、を有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００８】
本発明によれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置および画像処理方法、並びに撮像装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】第１の実施形態における画素配列を概略的に示す図
【図３】第１の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）
【図４】第１の実施形態における画素と瞳分割の関係を概略的に示す図
【図５】第１の実施形態における画素内部の光強度分布例を示す図
【図６】第１の実施形態における瞳強度分布を例示する図
【図７】第１の実施形態における撮像素子と瞳分割の関係を概略的に示す図
【図８】第１の実施形態における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係を概略的に示す図
【図９】第１の実施形態における補正処理の一連の動作を示すフローチャート（前半）
【図１０】第１の実施形態における補正処理の一連の動作を示すフローチャート（後半）
【図１１】第１の実施形態における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明する図
【図１２】第１の実施形態における有効性判定処理に関するフローチャート
【図１３】第１の実施形態における撮像画像の射影信号、視点画像の射影信号及びシェーディング曲線の例を示す図
【図１４】第１の実施形態における（Ａ）撮像画像、（Ｂ）シェーディング補正前の第１視点画像、（Ｃ）シェーディング補正後の第１視点画像を例示する図
【図１５】第１の実施形態における（Ａ）欠陥補正前の第１視点画像、（Ａ）欠陥補正後の第１視点画像を例示する図
【図１６】第１の実施形態における（Ａ）補正前の第２視点画像、（Ａ）補正後の第２視点画像を例示する図
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はＬＦデータを処理可能な任意の機器に適用可能である。任意の機器には、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。
【００１１】
（第１の実施形態）
第１の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を、図１を参照しながら説明する。
【００１２】
図１は本実施形態に係る撮像装置の機能構成例を示すブロック図である。撮影レンズ（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。撮像素子１０７の詳細は後述する。
【００１３】
ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。
【００１４】
被写体照明用の電子フラッシュ１１５は、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置を含み、撮影時に使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
【００１５】
制御部１２１は、例えばＣＰＵ（中央演算処理装置）を含み、デジタルカメラ１００全体の動作を制御する。制御部１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を含む。制御部１２１は、ＲＯＭに記憶された所定のプログラムをＲＡＭに展開、実行することにより、デジタルカメラ１００の各部を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。
【００１６】
電子フラッシュ制御回路１２２は制御部１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は制御部１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は制御部１２１の制御指令に従い、撮像素子１０７により取得された画像信号に対してガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。
【００１７】
フォーカス駆動回路１２６は制御部１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は制御部１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は制御部１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。
【００１８】
表示部１３１は、例えばＬＣＤ（液晶表示装置）等の表示デバイスを含み、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作スイッチやタッチパネルを含み、操作指示信号を制御部１２１に出力する。記録媒体１３３は、半導体メモリカードなど、デジタルカメラ１００に着脱可能な記録媒体である。撮影で得られた画像データ等を記録媒体１３３に記録することができる。
【００１９】
（撮像素子の構成）
本実施形態に係る撮像素子１０７の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）とする。図２に示す例は、２次元ＣＭＯＳセンサー（撮像素子）の画素（単位画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示している。
【００２０】
２列×２行の画素群２００は、例えば左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置される。さらに、各画素（単位画素）は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【００２１】
図２に示す例では、撮像素子１０７の各画素を水平方向に並んだ２つの副画素に分割することにより、１回の撮影で得られる画像信号（ＬＦデータ）から、分割数ＮＬＦに等しい数の視点画像と、全ての視点画像を合成した撮像画像とを生成することができる。なお、画素は２方向に分割してもよいし、方向ごとの分割数にも制限はない。したがって、視点画像は複数の副画素のうち、一部の副画素の信号から生成される画像、撮像画像は全部の副画素の信号から生成される画像ということができる。本実施形態では一例として撮像素子１０７の水平および垂直方向の画素周期Ｐを６μｍ、水平画素数ＮＨ＝６０００、垂直画素数ＮＶ＝４０００とする。したがって、総画素数Ｎ＝ＮＨ×ＮＶ＝２４００万である。また、副画素の水平方向周期ＰＳを３μｍとすると、総副画素数ＮＳ＝ＮＨ×（Ｐ／ＰＳ）×ＮＶ＝４８００万である。
【００２２】
図２に示した撮像素子１０７の１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。
【００２３】
図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇには、各画素の受光面側（＋ｚ方向）にマイクロレンズ３０５が形成され、このマイクロレンズ３０５によって入射光が集光される。さらに、ｘ（水平）方向に２分割、ｙ（垂直）方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２の複数の光電変換部が形成される。第１光電変換部３０１と第２光電変換部３０２が、それぞれ図２の第１副画素２０１と第２副画素２０２に対応する。より一般的に記載すれば、各画素の光電変換部が、ｘ方向にＮｘ分割、ｙ方向にＮｙ分割され、光電変換部の分割数ＮＬＦ＝Ｎｘ×Ｎｙであるとき、第１〜第ＮＬＦ光電変換部が、第１〜第ＮＬＦ副画素に対応する。
【００２４】
第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。
【００２５】
画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。
【００２６】
図４は、画素構造と瞳分割との対応関係を概略的に示している。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
【００２７】
撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。なお、撮像素子１０７が配置された面を撮像面とする。
【００２８】
第１瞳部分領域５０１と第２瞳部分領域５０２は、第１光電変換部３０１と第２光電変換部３０２の受光面と、マイクロレンズによって、概ね、光学的に共役である。つまり、第１瞳部分領域５０１と第２瞳部分領域５０２は、第１副画素２０１と第２副画素２０２でそれぞれ受光可能な瞳領域である。このように、瞳領域をＮｘ×Ｎｙ分割することで得られる第１〜第ＮＬＦ瞳部分領域は、第１〜第ＮＬＦ副画素の対応する１つで受光可能な瞳領域となる。また、第１副画素２０１が対応する第１瞳部分領域５０１は瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２が対応する第２瞳部分領域５０２は瞳面上で−Ｘ側に重心が偏心している。
【００２９】
また、瞳領域５００は、分割された全ての光電変換部（ここでは第１および第２光電変換部３０１および３０２）の受光面を合わせた受光面と、マイクロレンズによって、概ね、光学的に共役である。つまり、分割された第１〜第ＮＬＦ光電変換部は、全体で瞳領域５００を受光可能である。したがって、第１〜第ＮＬＦ光電変換部で得られる信号を合成することにより、画素２００全体が受光可能な瞳領域５００に対応した画素信号を得ることができる。この合成信号は、画素２００の光電変換部が分割されていない場合に得られる画素信号に相当する。
【００３０】
図５は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を模式的に示す図である。図５（Ａ）は、マイクロレンズの光軸に平行な断面における光強度分布を示している。また、図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面における光強度分布を示している。図５において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を示している。また、ｎＦΔは後述するリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示している。入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットは約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４に示した第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００３１】
図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
【００３２】
次に、図７を参照して、撮像素子１０７と瞳分割との対応関係について説明する。第１光電変換部３０１と第２光電変換部３０２（第１副画素２０１と第２副画素２０２）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を通過した光束を受光する。第１副画素群で得られた画像信号と、第２副画素群で得られた画像信号とはそれぞれ異なる視点を有する画像である。ＬＦデータは、各副画素群で得られた画像を生成可能なデータであり、光強度の空間分布および角度分布の情報を含む。なお、ＬＦデータは各画素群で得られた画像の集合であってもよいし、各画素群で得られた画像を演算によって求めることが可能なデータであってもよい。例えば、第１副画素群で得られる画像をＡ像、第２副画素群で得られる画像をＢ像とすると、ＬＦデータはＡ像およびＢ像のデータであってもよいし、Ａ像とＢ像との合成画像（Ａ＋Ｂ像と記載する）のデータと、Ａ像またはＢ像のデータとであってもよい。
【００３３】
つまり、ＬＦデータについて、画素ごとに、全ての副画素（ここでは第１副画素２０１と第２副画素２０２）の信号を合成することにより、総画素数Ｎの解像度を有する撮像画像を生成することができる。
【００３４】
また、ＬＦデータについて、画素ごとに、特定の副画素で得られた信号を抽出することにより、その副画素に対応する瞳部分領域に対応した画像（視点画像）を生成することができる。例えば、各画素について第１副画素２０１で得られた画像信号を抽出することで、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素についても同様である。
【００３５】
以上のように本実施形態の撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、ＬＦデータを取得することができる。なお、上述した説明では、瞳領域が水平方向に２分割される例を示したが、水平方向の代わりに、あるいは水平方向に加えて、垂直方向にも分割されてよい。また、水平および垂直方向の少なくとも一方について分割数を３以上としてもよい。
【００３６】
（デフォーカス量と像ずれ量の関係）
さらに、図８を参照して、撮像素子１０７により取得されるＬＦデータに基づいて生成可能な第１視点画像と第２視点画像（第１〜第ＮＬＦ視点画像）のデフォーカス量と像ずれ量との関係について説明する。
【００３７】
図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量の関係を概略的に示している。撮像面６００には撮像素子（不図示）が配置され、結像光学系の射出瞳は、図４、図７の場合と同様に、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【００３８】
デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（すなわち合焦位置）にある合焦状態では、ｄ＝０である。例えば、被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００３９】
前ピン状態（ｄ＜０）では、被写体８０２から受光した光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、図８に示すように、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義することができ、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様に｜ｐ｜がデフォーカス量｜ｄ｜に比例する傾向がある。
【００４０】
したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。
【００４１】
（撮像画像に基づく視点画像の補正処理）
以下の実施形態では、撮像画像に基づき、第１視点画像と第２視点画像（第１〜第ＮＬＦ視点画像）に対するキズ補正やシェーディング補正等の画像処理（補正処理）を行い、出力画像を生成する例について説明する。
【００４２】
まず、図９および図１０を参照して、取得されたＬＦデータに基づいて、補正処理を行い、出力画像を生成する一連の流れについて説明する。なお、図９および図１０に示す処理は、制御部１２１がＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は制御部１２１の指示に応じて動作する。
【００４３】
（撮像画像と視点画像）
まず、図９に示すＳ１の前処理として、画像取得手段としての制御部１２１は、撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の瞳部分領域に対応する少なくとも１つの視点画像とを生成する。なお、制御部１２１は、撮像画像と視点画像をＬＦデータから生成する代わりに、生成済みの撮像画像と視点画像を記憶媒体から読み出すなどして取得してもよい。前処理を便宜上Ｓ０とする。以下、前処理Ｓ０について説明する。
【００４４】
制御部１２１は、ＬＦデータを取得する。ＬＦデータは撮像素子１０７を用いて取得してもよいし、予め保存されているＬＦデータを例えば記録媒体から読み出すことによって取得してもよい。
【００４５】
そして制御部１２１は、ＬＦデータを構成する複数の視点画像を合成することにより、撮像画像を生成する。ＬＦデータを構成する各画素信号は、水平方向Ｎｘ、垂直方向Ｎｙの総数ＮＬＦの副画素信号から構成される。ここで、１つの画素信号を構成する総数ＮＬＦの副画素信号のうち、水平方向にｉＳ（１≦ｉＳ≦Ｎｘ）番目、垂直方向にｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素の信号をｋ番目の副画素信号とする（ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ）。ここで、１≦ｋ≦ＮＬＦであり、ｋは、水平方向Ｎｘ，垂直方向Ｎｙに分割された総数ＮＬＦの光電変換領域（副画素）の通し番号である。撮像画像は、図４における瞳領域５００に対応する画像であり、各画素の副画素信号を合成することによって得られる。撮像画像Ｉを構成する、垂直方向にｊ番目、水平方向にｉ番目の画素Ｉ（ｊ，ｉ）、１≦ｊ≦ＮＶ、１≦ｉ≦ＮＨは、式（１）に従って得ることができる。
【００４６】
【数１】
2019114912.tif 000003
【００４７】
なお、本処理は、ＬＦデータを生成する際に行ってもよい。この場合、撮像画像ＩのＳ／Ｎを良好に保持するため、各副画素信号をアナログ／デジタル変換（Ａ／Ｄ変換）する前に、撮像素子１０７内の静電容量部（ＦＤ）において式（１）に従う副画素信号の合成を行ってもよい。撮像素子１０７内のＦＤに蓄積された電荷を電圧信号に変換する際に、式（１）に従う各副画素信号の合成を行ってもよいし、Ａ／Ｄ変換を行った後に、式（１）に従う各副画素信号の合成を行ってもよい。
【００４８】
なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２であるｘ方向２分割の場合であり、図２に例示した画素配列に対応した入力画像（ＬＦデータ）を用いる。このため、制御部１２１は、画素ごとに、ｘ方向に２分割された第１副画素２０１と第２副画素２０２の信号を全て合成した撮像画像を生成する。この撮像画像は、画素数Ｎ（＝水平方向の画素数ＮＨ×垂直方向の画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である。
【００４９】
なお、後述する視点画像の補正処理では、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉに対してもＲＧＢ毎のシェーディング補正処理、欠陥補正処理を行う。
【００５０】
次に、制御部１２１は、結像光学系の第ｋ瞳部分領域に対応した、水平方向ｉ番目、垂直方向ｊ番目の第ｋ視点画像Ｉｋを構成する画素Ｉｋ（ｊ，ｉ）を、式（２）に従って生成する。
【００５１】
【数２】
2019114912.tif 000004
【００５２】
なお、本実施形態では、ｘ方向に光電変換部を２分割（水平方向に瞳領域を２分割）するＮｘ＝２、Ｎｙ＝１、ＮＬＦ＝２の構成の撮像素子１０７で得られるＬＦデータから生成可能な２つの視点画像のうち、第１の視点画像（ｋ＝１）を生成するものとする。制御部１２１は、図２に例示した画素配列に対応したＬＦデータのうち、第１副画素２０１の信号を抽出し、第１視点画像Ｉ１を生成する。第１視点画像Ｉ１は、結像光学系の第１瞳部分領域５０１に対応した視点画像である。第１視点画像Ｉ１は、画素数Ｎ（＝水平方向の画素数ＮＨ×垂直方向の画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である。なお、必要に応じて、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ２を生成してもよい。
【００５３】
このように本実施形態では、ＬＦデータに基いて、結像光学系の瞳領域に対応する撮像画像Ｉと、それぞれが結像光学系の異なる瞳部分領域に対応する視点画像Ｉｋの１つ以上とを生成する。生成した撮像画像および視点画像のデータは、記録媒体１３３に記録してもよい。なお、撮像画像Ｉから第１視点画像Ｉ１を減じることにより、第２視点画像Ｉ２を生成することができる。撮像画像Ｉは、各画素の光電変換部が分割されていない従来の撮像素子で得られる撮像画像に相当する。そのため、撮像画像Ｉには従来と同様の画像処理を適用することができる。また、各視点画像への処理を同等にするために、第１視点画像Ｉ１と、第２視点画像Ｉ２とを生成して、記録媒体１３３に記録するようにしてもよい。この場合、第１視点画像Ｉ１と第２視点画像Ｉ２とを合成することで、撮像画像Ｉを生成することができる。
【００５４】
（視点画像のシェーディング補正（輝度補正））
次に、図９に示すＳ１におけるシェーディング補正（輝度補正）について説明する。本処理では、制御部１２１は、撮像画像Ｉに基づいて、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）に対してＲＧＢ毎のシェーディング補正を行う。なお、以降の処理についても制御部１２１が実行する場合を例に説明するが、その一部又は全部を画像処理回路１２５が実行してもよい。
【００５５】
まず、第１視点画像と第２視点画像（第１〜第ＮＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１１は、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示している。図１１では、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。
【００５６】
図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。
【００５７】
同様に、図１１（Ｃ）に示す、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じる。このため、図１１（Ｃ）に示す場合にも結像光学系の射出瞳４００が不均一に瞳分割されてしまう。図１１（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。
【００５８】
このように、瞳分割が不均一になることに伴い、第１視点画像と第２視点画像の強度も不均一になり（すなわち光量分布が偏り）、第１視点画像と第２視点画像のいずれか一方の強度が大きく、また他方の強度が小さくなるシェーディングが生じる。そして、このシェーディングは画素ごと、すなわちＲＧＢごとに生じる。
【００５９】
そこで、上述したシェーディングによる不均一な信号強度分布を一様に近づけて良好な画質品位の視点画像を生成するため、ＲＧＢごとのシェーディング補正を行う。すなわち、本実施形態では、補正撮像画像Ｉ（ｊ，ｉ）を基準の参照画像として第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）に対するＲＧＢ毎のシェーディング補正を行う。
【００６０】
具体的には、図９のＳ１において制御部１２１は、まず、撮像画像Ｉと第１視点画像Ｉ１から有効画素を検出する（Ｓ１−１）。有効画素は、撮像画像Ｉにおいても、第１視点画像Ｉ１においても非飽和かつ非欠陥（非キズ）の画素である。具体的には、制御部１２１は、撮像画像Ｉと第１視点画像Ｉ１との対応する画素（画素Ｉ（ｊ，ｉ）および画素Ｉ１（ｊ，ｉ））について、いずれも有効画素であるか、少なくとも一方が有効画素でないかを判定する。そして、制御部１２１は、いずれも有効画素と判定されればＶ１（ｊ，ｉ）＝１、少なくとも一方が有効画素でないと判定されればＶ１（ｊ，ｉ）＝０とする。Ｖ１は、有効画素については１、無効画素については０の値を有する２値画像と見なすことができる。あるいはＶ１は、欠陥画素位置を０で示す画像と見なすこともできる。例えば、制御部１２１は、画素値が飽和判定閾値ＩＳを超える場合には飽和画素、超えない場合は非飽和画素と判定することができる。ただし、視点画像に用いる飽和判定閾値ＩＳｋは、撮像画像に用いる飽和判定閾値ＩＳ以下とする。また、制御部１２１は、撮像素子１０７に欠陥画素として登録されている画素については欠陥画素、登録されていない画素は非欠陥画素と判定することができる。なお、これらの判定方法は単なる例示であり、ある画素が飽和画素か否かや、欠陥画素か否かは、公知の任意の方法で判定することができる。制御部１２１は、第ｋ視点画像Ｉｋ（ｋ≧２）についてシェーディング補正を行う場合も、同様にして有効画素を検出する。
【００６１】
本実施形態の撮像素子１０７では、各画素が有する複数の光電変換部のいずれかが飽和した場合、画素外ではなく、同一画素内の他の光電変換部（副画素）に飽和電荷が漏れこむように構成される。このような飽和電荷の漏れ込みを電荷クロストークと呼ぶ。同一画素内で電荷クロストークが発生すると、飽和した副画素（例：第２副画素２０２）と、飽和電荷が漏れこむ副画素（例：第１副画素２０１）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれない。そのため、電荷クロストークが生じた画素については、シェーディングを正しく検出できない。
【００６２】
撮影感度が高い場合よりも低い場合の方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、第１の撮影感度での撮像信号の飽和判定閾値ＩＳを、第１の撮影感度より高い第２の撮影感度での撮像信号の飽和判定閾値ＩＳ以下とすることができる。視点画像に用いる飽和判定閾値ＩＳｋについても同様である。
【００６３】
さらに、結像光学系の射出瞳距離が、第１の所定瞳距離より短い（もしくは、第２の所定瞳距離（＞第１の所定瞳距離）より長い）場合、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによるシェーディングを生じる。この場合、像高が大きな周辺部の画素では、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるため、電荷クロストークが生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、瞳ずれによるシェーディングが発生する場合の飽和判定閾値ＩＳを、瞳ずれによるシェーディングが発生しない場合の飽和判定閾値ＩＳ以下にすることができる。瞳ずれによるシェーディングが発生しない場合とは、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合である。視点画像に用いる飽和判定閾値ＩＳｋについても同様である。
【００６４】
ここで、図２に示したベイヤー配列の撮像画像Ｉは、ベイヤーパターンの各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）ごとに定義することができる。
すなわち、Ｒの撮像画像をＲＩは、
画素ＲＩ（２ｊ２−１，２ｉ２−１）＝Ｉ（２ｊ２−１，２ｉ２−１）から構成される。
Ｇｒの撮像画像ＧｒＩは、
画素ＧｒＩ（２ｊ２−１，２ｉ２）＝Ｉ（２ｊ２−１，２ｉ２）から構成される。
Ｇｂの撮像画像ＧｒＩは、
画素ＧｂＩ（２ｊ２，２ｉ２−１）＝Ｉ（２ｊ２，２ｉ２−１）から構成される。
Ｂの撮像画像ＢＩは、
画素ＢＩ（２ｊ２，２ｉ２）＝Ｉ（２ｊ２，２ｉ２）から構成される。
このとき、整数ｊ２および整数ｉ２は、それぞれ１≦ｊ２≦ＮＶ／２、１≦ｉ２≦ＮＨ／２である。
【００６５】
同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに取り扱う。
すなわち、Ｒの第ｋ視点画像ＲＩｋは、
画素ＲＩｋ（２ｊ２−１，２ｉ２−１）＝Ｉｋ（２ｊ２−１，２ｉ２−１）から構成される。
Ｇｒの第ｋ視点画像ＧｒＩｋ
画素ＧｒＩｋ（２ｊ２−１，２ｉ２）＝Ｉｋ（２ｊ２−１，２ｉ２）から構成される。
Ｇｂの第ｋ視点画像ＧｂＩｋは、
画素ＧｂＩｋ（２ｊ２，２ｉ２−１）＝Ｉｋ（２ｊ２，２ｉ２−１）から構成される。
Ｂの第ｋ視点画像ＢＩｋは、
画素ＢＩｋ（２ｊ２，２ｉ２）＝Ｉｋ（２ｊ２，２ｉ２）から構成される。
整数ｊ２および整数ｉ２は、それぞれ１≦ｊ２≦ＮＶ／２、１≦ｉ２≦ＮＨ／２である。
【００６６】
［射影処理］
次に、図９に示すＳ１において、射影手段としての制御部１２１は、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩに基づく射影処理を行う（Ｓ１−２Ａ）。具体的には、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩの各画素を、式（３Ａ）から式（３Ｄ）に従って、射影方向に投影し、射影方向と直交する方向に複数の信号が並んだ１次元の射影信号を生成する。ここでは、射影方向を、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）とする。これにより、画像のｘ方向における輝度変化に関する射影信号が得られる。なお、射影方向は他の方向であってもよい。これにより、制御部１２１は、撮像画像の射影信号Ｐを構成する各色の画素ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）を生成する。
【００６７】
なお、飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、制御部１２１は、撮像画像ＩとＶｋとの対応する画素の積を取ることにより、撮像画像Ｉの無効画素を除外してから射影処理を行う。この射影処理は、式（３Ａ）〜（３Ｄ）上段の式の分子に相当する。そして、制御部１２１は、射影結果を、射影処理に用いた有効画素数で規格化する。この正規化処理は、式（３Ａ）〜（３Ｄ）上段の式の分母に相当する。射影処理に用いた有効画素数が０の場合、制御部１２１は、式（３Ａ）〜（３Ｄ）の下段に示すように、撮像画像の射影信号を０に設定する。さらに、制御部１２１は、撮像画像の射影信号がノイズの影響などで負信号となった場合も撮像画像の射影信号を０に設定する。
【００６８】
同様に、Ｓ１−２Ｂで制御部１２１は、第ｋ視点画像ＲＩｋ、ＧｒＩｋ、ＧｂＩｋ、ＢＩｋの各画素を、式（３Ｅ）から式（３Ｈ）に従って、瞳分割方向と直交する方向（ｙ方向）に射影する。これにより、制御部１２１は、第ｋ視点画像の射影信号Ｐｋを構成する各色の画素ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）を生成する。
【００６９】
【数３】
2019114912.tif 000005
【数４】
2019114912.tif 000006
【００７０】
制御部１２１は、上述の射影処理の後に、撮像画像の射影信号Ｐと第ｋ視点画像の射影信号Ｐｋを平滑化するためにローパスフィルタ処理を必要に応じて適用する。
【００７１】
Ｓ１ー３で制御部１２１は、Ｓ１−２Ｂで求めた、視点画像の射影信号を、シェーディングの補正値の算出に用いるか否かを判定する。制御部１２１は、視点画像について、射影方向に並んだ複数の画素ごと（すなわち、画素列ごと）に評価値を求める。そして、制御部１２１は、評価値と予め定められた閾値との比較結果に応じて、対応する射影信号を有効とするか無効とするか（シェーディング補正値の算出に用いるか用いないか）を判定する。
【００７２】
信号のＳＮ比を考慮して射影信号の有効性を判定するため、有効画素数と輝度との両方を考慮した評価値を用いる。一般に、信号のＳＮ比は、複数の信号値を加算することによって向上し、例えば、信号値を４つ加算すれば、信号のＳＮ比を２倍にすることができる。また、画像信号のＳＮ比は輝度の１／２乗に比例する。そのため、信号値の加算を含む演算により評価値を求めることで、輝度が低く、したがってＳＮ比が低い視点画像の信号の有効／無効を正確に判定することができる。射影信号の有効性を正確に判定することで、有効な（信頼性の高い）射影信号を用いてシェーディング補正値を算出できる。
【００７３】
視点画像の射影信号の有効性判定は色成分（Ｒ、Ｇｒ、Ｇｂ、Ｂ）ごとに行う。例えば、第ｋ視点画像の射影信号Ｐｋを構成する赤色画素ＲＰｋ（２ｉ２−１）の有効性は、第ｋ視点画像ＲＩｋから得られる評価値に基づいて判定する。
【００７４】
撮像画像Ｉと視点画像Ｉｋとを比較した場合、視点画像Ｉｋの方が輝度は小さい。これは、視点画像Ｉｋの生成に用いる光電変換部の受光面の大きさが、撮像画像Ｉの生成に用いる光電変換部の受光面の大きさより小さいからである。そのため、本実施形態では、撮像画像よりも輝度が低く、したがってＳＮ比が低い視点画像の射影信号についての有効性を判定する。また、撮像画像よりも輝度が低い視点画像についての閾値判定を正確に行うため、信号値を加算した評価値を生成し、閾値と比較する。
【００７５】
判定処理は、色成分（Ｒ、Ｇｒ、Ｇｂ、Ｂ）ごとに、同じ式に基づいて適用する。以下では、図１２に示すフローチャートを用い、Ｒ成分に関する処理を代表的に説明するが、他の色成分についても同様に適用することができる。
【００７６】
上述したように、Ｒの第ｋ視点画像ＲＩｋは、
画素ＲＩｋ（２ｊ２−１，２ｉ２−１）＝Ｉｋ（２ｊ２−１，２ｉ２−１）から構成される。また、整数ｊ２および整数ｉ２は、それぞれ１≦ｊ２≦ＮＶ／２、１≦ｉ２≦ＮＨ／２である。
【００７７】
閾値判定において制御部１２１は、まず、式（３Ｉ）により、ｉ２列目の評価値Ｅｉ２を求める（Ｓ１３０１）。ここで、評価値Ｅｉ２は、欠陥画素位置に該当する画素の値を用いずに生成されるため、有効画素数に比例する。また、評価値Ｅｉ２は、画素値（輝度）の二乗累積値であるから、画素値（輝度）に比例する。したがって、評価値Ｅｉ２は、有効画素数および輝度を考慮した評価値である。また、このような評価値を用いることで、画像信号のＳＮ比を考慮して射影信号の有効性を判定できる。
【数５】
2019114912.tif 000007
【００７８】
次に、制御部１２１は、式（３Ｊ）により、評価値Ｅｉ２と垂直方向の評価閾値Ｅlimitとを比較する（Ｓ１３０２）。そして、制御部１２１は、評価値Ｅｉ２が評価閾値Ｅlimitより大きい場合、Ｓ１−３で求めた射影信号ＲＰ（２ｉ２−１）を有効と判定する（Ｓ１３０３）。一方、制御部１２１は、評価値Ｅｉ２が評価閾値Ｅlimit以下である場合、Ｓ１−３で求めた射影信号ＲＰ（２ｉ２−１）を無効と判定する（Ｓ１３０４）。制御部１２１は、無効と判定した射影信号については、その値が使用されないように値を０にしてもよい。
【００７９】
制御部１２１は、有効性判定を視差画像の全画素列について実行したか否かを判定し（Ｓ１３０５）、実行したと判定されれば処理を終了し、判定されなければ処理をＳ１３０１に戻して未判定の画素列に対する判定処理を実行する。制御部１２１は、このような評価値Ｅの算出、評価値Ｅと閾値Ｅlimitとの比較による射影信号ＲＰｋ（２ｉ２−１）の有効性判定を、視差画像の画素列ごとに（ｉの値を変えながら）実行する。また、制御部１２１は、他の色成分であるＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）についても同様に判定処理を適用する。
【００８０】
なお、式（３Ｉ）は評価値Ｅを算出するための１例であり、視点画像について、垂直方向の画素数を考慮して算出された他の任意の評価値を用いることができる。なお、式（３Ｉ）で得られる評価値Ｅは、固定パターンノイズを考慮していないため、固定パターンノイズを考慮した評価値とすることで、より正確な判定を行うことができる。具体的には、固定パターンノイズは輝度に依存しないため、式（３Ｉ）に固定値Ｏｆｆｓｅｔの項を追加した式（３Ｋ）を用いることにより、固定パターンノイズを考慮した評価値Ｅを求めることができる。
【００８１】
また、撮像画像Ｉや視差画像Ｉｋは、画像処理負荷の低減やＳＮ比の改善を目的として、Ｓ１−１における有効画素検出処理の実施前に加算や間引により画素数が削減されていることがある。特に、画素が加算されている場合、上述したように信号のＳＮ比が向上しているため、評価値を、加算を考慮した閾値と比較することにより、射影信号の有効性を正確に判定することができる。例えば、Ｓ１−１における有効画素検出処理の前に、垂直または垂直方向の画素数が加算処理によって１／Ｎ（Ｎは２以上の整数）に削減されているとする。この場合、加算処理により、加算方向における画像信号のＳＮ比がＮ1/2倍向上している。そのため、評価値を、補正した閾値Ｅlimit/(Ｎ1/2)と比較するようにする。なお、画素が間引きされている場合は信号のＳＮ比に変化はないため、閾値Ｅの補正は不要である。
【００８２】
本実施形態では射影処理において画像を画素列ごと（垂直方向）に射影し、水平方向の１次元画像（射影信号）を得ているため、閾値Ｅは画像の垂直方向における閾値である。一方、画像の水平方向にも閾値を設定することができる。例えば、図１２に示した処理において有効と判定された射影信号の割合について閾値を設定することができる。射影信号の総数は水平方向の画素数に等しいため、有効と判定された射影信号の割合についての閾値は、水平方向における閾値である。例えば、色成分単位での有効性判定処理の結果、有効と判定された射影信号の割合もしくは数が閾値以下の場合、制御部１２１は、有効と判定された射影信号を含め、視点画像の射影信号を全て無効と判定する。この場合、後述するＳ１−４でシェーディング関数を生成するためのデータとして、信頼性の高いデータが十分な数得られなかったことになる。そのため、制御部１２１は、シェーディング関数の生成およびシェーディング関数を用いたシェーディング補正を行わない。つまり、水平方向における閾値は、シェーディング補正を行うか否かの判定閾値である。
【００８３】
Ｓ１−１における有効画素検出は、飽和やキズの有無に基づくものであり、信号のＳＮ比は考慮されていない。具体的には、画素の出力値が低いＳＮ比によって真値からずれていても、出力値に基づいて有効性が判定される。一方、Ｓ１−３における射影信号の有効性判定は、射影信号がシェーディング補正値の算出に用いるのに適切あるか否かの判定であるため、低いＳＮ比による真値からのずれを許容してしまうと、シェーディング補正の精度低下を招く。低いＳＮ比によって真値からずれている射影信号は除外することにより、精度の良いシェーディング補正が実現できる。
【００８４】
図１３（Ａ）および（Ｂ）は射影信号の具体例を示し、横軸は水平方向の画素位置、縦軸は信号強度である。す。図１３（Ａ）は、撮像画像の射影信号Ｐを構成する緑（Ｇ）成分、赤（Ｒ）、青（Ｂ）成分の値の例を示している。なお、Ｇ成分はＧｒ成分とＧｂ成分とをまとめて示しているため、水平方向の各画素位置に値が存在する。一方、Ｒ、Ｂ成分は１画素おきの位置に値を有するが、図では便宜上連続的に記載している。また、図１３（Ｂ）は、図１３（Ａ）と同様に、第１視点画像の射影信号Ｐｋを構成する緑（Ｇ）成分、赤（Ｒ）、青（Ｂ）成分の値の例を示している。各射影信号の信号強度は、被写体の色に応じた値を有する。従って、第ｋ視点画像Ｉｋのシェーディング補正を正確に行うためには、瞳ずれにより生じる第ｋ視点画像ＩｋのＲＧＢ成分間の光量のずれ（シェーディング成分）と、被写体の色に起因するＲＧＢ成分とを分離する必要がある。
【００８５】
図９のＳ１−４を実行する前に制御部１２１は、Ｓ１−３における有効性判定処理により、全ての色成分について、水平方向の閾値を超える割合または数の射影信号が有効と判定されているか否かを判定する。そして、水平方向の閾値を超える割合または数の射影信号が有効と判定されていない色成分が１つでもある場合には、Ｓ１−４以降の、シェーディング補正に関する処理は行わない。
【００８６】
一方、全ての色成分について水平方向の閾値を超える割合または数の射影信号が有効と判定されていれば、制御部１２１はＳ１−４以降の処理を実行する。なお、以下の処理においては、全ての射影信号が有効と判定された場合を想定して説明するが、実際には、無効と判定された射影信号については処理をスキップする。
【００８７】
Ｓ１−４において制御部１２１は、式（４Ａ）から式（４Ｄ）に従って、撮像画像Ｉを基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング信号ＲＳｋ（２ｉ２−１）、ＧｒＳｋ（２ｉ２）、ＧｂＳｋ（２ｉ２−１）、ＢＳｋ（２ｉ２）を算出する。なお、撮像素子における画素の受光量は、画素を分割した副画素の受光量より大きい必要があり、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、制御部１２１は、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たす場合、式（４Ａ）に従って、第ｋ視点画像のＲ成分ＲＩｋの射影信号ＲＰｋ（２ｉ２−１）と撮像画像のＲ成分ＲＩの射影信号ＲＰ（２ｉ２−１）との比（すなわち割合）を算出する。そして、制御部１２１は、算出した比に規格化のための瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＲ成分のシェーディング信号ＲＳｋ（２ｉ２−１）を生成する。これにより、被写体に起因するＲの信号成分を相殺し、第ｋ視点画像ＩｋのＲのシェーディング成分を分離することができる。一方、制御部１２１は、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たさない場合、第ｋ視点画像ＩｋのＲ成分のシェーディング信号ＲＳｋ（２ｉ２−１）を０に設定する。
【００８８】
同様に、他の色成分におけるシェーディング信号を算出する。第ｋ視点画像ＩｋのＧｒ成分については、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たす場合、式（４Ｂ）に従って第ｋ視点画像のＧｒ成分の射影信号ＧｒＰｋ（２ｉ２）と、撮像画像のＧｒ成分の射影信号ＧｒＰ（２ｉ２）との比を算出する。そして、制御部１２１は、算出した比に規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｒ成分のシェーディング信号ＧｒＳｋ（２ｉ２）を生成する。これにより、被写体に起因するＧｒの信号成分を相殺し、第ｋ視点画像ＩｋのＧｒ成分のシェーディング成分を分離することができる。また、制御部１２１は、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たさない場合、第ｋ視点画像ＩｋのＧｒ成分のシェーディング信号ＧｒＳｋ（２ｉ２）を０に設定する。
【００８９】
同様に、式（４Ｃ）及び（４Ｄ）に従って、第ｋ視点画像ＩｋのＧｂ成分のシェーディング信号ＧｂＳｋ（２ｉ２−１）及び第ｋ視点画像ＩｋのＢ成分のシェーディング信号ＢＳｋ（２ｉ２）を生成する。
【００９０】
【数６】
2019114912.tif 000008
【００９１】
なお、シェーディング補正精度を高精度に行うために、有効なシェーディング信号が十分存在する場合にのみシェーディング補正を行うようにしてもよい。例えば、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号が所定数以上である場合に、シェーディング補正を行うようにすればよい。
【００９２】
また、制御部１２１は、式（５Ａ）から式（５Ｄ）に従って、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を算出する。これらのシェーディング関数は、例えば瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮＳＦ次元の多項式関数である。また、上述した、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号を、これらのシェーディング関数に入力するデータ点とする。
【００９３】
制御部１２１は、これらデータ点を用いて、例えば最小二乗法によりパラメーターフィッティングを行い、式（５Ａ）から式（５Ｄ）の各シェーディング関数の係数ＲＳＣｋ（μ）、ＧｒＳＣｋ（μ）、ＧｂＳＣｋ（μ）、ＢＳＣｋ（μ）を算出する。このようにして、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を生成することができる。シェーディング関数を用いた統計処理により、ｘ方向の位置に応じた統計的なシェーディングの発生傾向に基づいてシェーディング信号を調整することができるため、滑らかなシェーディング補正を行うことができる。
【００９４】
【数７】
2019114912.tif 000009
【００９５】
シェーディング関数ＲＳＦｋ、ＧｒＳＦｋ、ＧｂＳＦｋ、ＢＳＦｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦｋ］、Ｒ［ＧｒＳＦｋ］、Ｒ［ＧｂＳＦｋ］、Ｒ［ＢＳＦｋ］とする。所定許容値をε（０＜ε＜１）として、１−ε≦ＲＳＦｋ＋Ｒ［ＲＳＦｋ］≦１＋ε、１−ε≦ＧｒＳＦｋ＋Ｒ［ＧｒＳＦｋ］≦１＋ε、１−ε≦ＧｂＳＦｋ＋Ｒ［ＧｂＳＦｋ］≦１＋ε、１−ε≦ＢＳＦｋ＋Ｒ［ＢＳＦｋ］≦１＋εの各条件式が、各位置で、全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦｋ≡１、ＧｒＳＦｋ≡１、ＧｂＳＦｋ≡１、ＢＳＦｋ≡１とし、必要に応じて、例外処理を行う。
【００９６】
図１３（Ｃ）に、撮像画像Ｉを基準とした相対的な第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数ＲＳＦ１（Ｒ）、ＧｒＳＦ１（Ｇ）、ＧｂＳＦ１（Ｇ）、ＢＳＦ１（Ｂ）の例を示す。図１３（Ｂ）に示した第１視点画像の射影信号と、図１３（Ａ）に示した撮像画像の射影信号とには、被写体の色に起因した成分と、シェーディング成分とが含まれている。本実施形態では、第１視点画像の射影信号と撮像画像の射影信号の比を求めることによって被写体の色成分を相殺し、射影信号から分離したシェーディング信号に基づいてシェーディング関数を生成する。そのため、第１視点画像Ｉ１について、精度のよい、滑らかなシェーディング関数をＲＧＢ成分ごとに生成することができる。
【００９７】
なお、上述の説明では、シェーディング関数を多項式関数を用いて生成した。しかし、これに限定されることはなく、シェーディングの特性に応じて他の関数を用いてシェーディング関数を生成してもよい。
【００９８】
Ｓ１−５において、制御部１２１は、第ｋ視点画像Ｉｋ（ｊ，ｉ）に対して、式（６Ａ）から式（６Ｄ）に従ってシェーディング補正（輝度補正）を適用する。具体的には、制御部１２１は、第ｋ視点画像Ｉｋ（ｊ，ｉ）の色成分ごとに、対応するシェーディング関数を用いてシェーディング補正処理を適用する。以下、シェーディング補正後の第ｋ視点画像Ｉｋを第ｋ視点（第１修正）画像Ｍ１Ｉｋと呼ぶ。
【００９９】
ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ１Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ１Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ１Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ１Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ１Ｉｋ（２ｊ２、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ，ｉ）を出力画像としてもよい。
【０１００】
【数８】
2019114912.tif 000010
【０１０１】
このように本実施形態では、撮像画像と視点画像の射影信号を用い、被写体の色成分による信号変化を相殺することにより、ＲＧＢごとのシェーディング関数（すなわち瞳ずれによって生じる光量のずれの大きさと位置との関係）を求めるようにした。この際、視点画像の射影信号の信頼性を判定し、信頼性の高い射影信号を用いてシェーディング関数を生成するため、精度の良いシェーディング関数が得られる。補正量取得手段としての制御部１２１は、シェーディング関数値の逆数をシェーディング補正量（輝度補正量）として生成する。そして、補正手段としての制御部１２１は、輝度補正量に基づいて視点画像の輝度を補正するシェーディング補正処理を行う。したがって、シェーディング関数の精度の向上により、シェーディング補正の精度も向上する。
【０１０２】
ここで、図１４（Ａ）〜図１４（Ｃ）を参照して、図９のＳ１に示した第１視点画像Ｉ１（ｊ，ｉ）のＲＧＢごとのシェーディング補正処理の効果を説明する。まず、図１４（Ａ）は、本実施形態の撮像画像Ｉ（デモザイキング後）の例であり、画質品位が良好な撮像画像の例を示している。また、図１４（Ｂ）は、本実施形態のシェーディング補正前の第１視点画像Ｉ１（デモザイキング後）の例を示している。すなわち、上述した結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによりＲＧＢごとのシェーディングが生じ、図１４（Ｂ）に示す第１視点画像Ｉ１（ｊ，ｉ）では右側の周辺像高において輝度の低下（及びＲＧＢ比の変調）が生じている。更に図１４（Ｃ）は、本実施形態のシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（デモザイキング後）の例を示している。すなわち、上述したＲＧＢごとのシェーディング補正により、輝度の低下（及びＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位の良好なシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（ｊ，ｉ）が生成される。
【０１０３】
（視点画像の欠陥補正）
次に、図９のＳ２で行う、視点画像に対する欠陥補正処理について説明する。本実施形態では、制御部１２１は、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。本実施形態では、ｋ＝１の場合を例に説明する。
【０１０４】
撮像素子の回路構成や駆動方式により、転送ゲートの短絡などに起因して、撮像画像Ｉは正常であるものの、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）のごく一部分な信号の欠陥が生じ、点欠陥や線欠陥となる場合がある。このような場合、必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、例えば画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）の欠陥補正処理を行うことができる。また、必要に応じて、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行うことができる。
【０１０５】
以下、Ｓ２における欠陥補正処理の例では、第ｋ視点画像Ｉｋには奇数行２ｊＤ−１もしくは偶数行２ｊＤの水平方向（ｘ方向）のライン状の線欠陥がある場合であって、撮像画像Ｉには当該奇数行もしくは偶数行の線欠陥がない場合を例に説明する。
【０１０６】
Ｓ２−１において、制御部１２１は、正常な撮像画像Ｉを参照画像として用いて、第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。すなわち、制御部１２１は、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ１Ｉｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値とを比較する。但し、この比較を行う際には、瞳ずれにより生じた第ｋ視点画像ＩｋのＲＧＢごとのシェーディング成分の影響を取り除いたうえで、第ｋ視点画像Ｉｋと撮像画像Ｉとで、被写体が有するＲＧＢごとの信号成分を正確に比較することが必要である。そのため、Ｓ１において生成された第ｋ視点（第１修正）画像Ｍ１Ｉｋを用いて、撮像画像Ｉと同等のシェーディング状態となった第ｋ視点画像を用いる。すなわち、本ステップでは、撮像画像Ｉを参照画像として用いながら、シェーディング補正された第ｋ視点（第１修正）画像Ｍ１Ｉｋに対して高精度な欠陥補正を行う。
【０１０７】
制御部１２１は、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ，ｉ）のごく一部で欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ１Ｉｋの正常信号とを用いる。なお、欠陥補正処理により生成される画像を第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ，ｉ）とする。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ２Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第２修正）画像をＲＭ２Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ２Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ２Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第２修正）画像をＢＭ２Ｉｋ（２ｊ２、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２）とする。
【０１０８】
制御部１２１は、第ｋ視点（第１修正）画像Ｍ１ＩｋのＲの第１位置（２ｊＤ−１、２ｉＤ−１）が欠陥と判定された場合、式（７Ａ）に従う演算を行って、第１位置における第ｋ視点（第２修正）画像ＲＭ２Ｉｋ（２ｊＤ−１、２ｉＤ−１）を生成する。式（７Ａ）の演算には、第１位置の撮像画像ＲＩ（２ｊＤ−１、２ｉＤ−１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ１Ｉｋと、第２位置の撮像画像ＲＩとを用いる。
【０１０９】
また、第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｒの第１位置（２ｊＤ−１、２ｉＤ）が欠陥と判定された場合、式（７Ｂ）に従う演算を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ２Ｉｋ（２ｊＤ−１、２ｉＤ）を生成する。さらに、第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｂ及びＢについても同様に、それぞれ式（７Ｃ）及び式（７Ｄ）に従って欠陥補正後の視点画像を生成する。
【０１１０】
【数９】
2019114912.tif 000011
【０１１１】
欠陥と判定されていない大部分の位置（ｊ，ｉ）では、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ，ｉ）が第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ，ｉ）と同一（又は略同一）の信号値、すなわちＭ２Ｉｋ（ｊ，ｉ）＝Ｍ１Ｉｋ（ｊ，ｉ）である。なお、必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ，ｉ）を出力画像としてもよい。
【０１１２】
さらに、図１５（Ａ）および図１５（Ｂ）を参照して、上述した欠陥補正処理の効果を説明する。図１５（Ａ）は、上述した欠陥補正前の第１視点（第１修正）画像Ｍ１Ｉ１の例を示す。なお、本画像は、シェーディング補正処理およびデモザイキング処理が施されている。この例は、第１視点（第１修正）画像Ｍ１Ｉ１（ｊ，ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている場合を示している。一方、図１５（Ｂ）は、上述した欠陥補正後の第１視点（第２修正）画像Ｍ２Ｉ１（シェーディング補正後、デモザイキング後）の例を示している。正常な撮像画像Ｉに基づく欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好になっている。
【０１１３】
本実施形態では、欠陥と判定された第１位置における視点画像の信号値を、第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像および撮像画像の信号値とに基づいて補正する。この際、シェーディング補正（輝度補正）された視点画像の信号値を用いるようにしたので、視点画像の補正精度を高めることができる。
【０１１４】
さらに、制御部１２１は、Ｓ２−２において、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ，ｉ）に対して、式（８Ａ）から式（８Ｄ）に従ったシェーディング処理を行い、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ，ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第３修正）画像Ｍ３Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第３修正）画像をＲＭ３Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第３修正）画像をＧｒＭ３Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第３修正）画像をＧｂＭ３Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第３修正）画像をＢＭ３Ｉｋ（２ｊ２、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２）とする。
【０１１５】
【数１０】
2019114912.tif 000012
【０１１６】
Ｓ３において、撮像画像Ｉ（ｊ，ｉ）と、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ，ｉ）に対して、飽和信号処理を行う。本実施形態では、ｋ＝１、ＮＬＦ＝２である場合を例に説明する。
【０１１７】
まず、Ｓ３−１において、制御部１２１は、撮像画像Ｉ（ｊ，ｉ）に対する飽和信号処理を行う。すなわち、式（９）に従い、撮像信号の最大値をＩｍａｘとする飽和信号処理を行って、修正撮像画像ＭＩ（ｊ，ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。
【０１１８】
【数１１】
2019114912.tif 000013
【０１１９】
次に、Ｓ３−２において、制御部１２１は、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ，ｉ）に対する飽和信号処理を行う。すなわち、式（１０）に従い、ベイヤー配列のシェーディング関数をＳＦｋ（ｊ，ｉ）としたシェーディング状態に合わせた飽和信号処理を行い、第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｊ，ｉ）を生成する。ここで、ベイヤー配列のシェーディング関数ＳＦｋ（ｊ，ｉ）を、式（５Ａ）から式（５Ｄ）により、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに生成されたシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）から、ＳＦｋ（２ｊ２−１、２ｉ２−１）＝ＲＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２−１、２ｉ２）＝ＧｒＳＦｋ（２ｉ２）、ＳＦｋ（２ｊ２、２ｉ２−１）＝ＧｂＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２、２ｉ２）＝ＢＳＦｋ（２ｉ２）とする。
【０１２０】
【数１２】
2019114912.tif 000014
【０１２１】
次に、Ｓ４−１において、制御部１２１は、Ｓ３−１で生成された修正撮像画像ＭＩ（ｊ，ｉ）と、Ｓ３−２で生成された第１視点（第４修正）画像Ｍ４Ｉ１（ｊ，ｉ）から、式（１１）に従って第２視点画像Ｉ２（ｊ，ｉ）を生成する。
【０１２２】
【数１３】
2019114912.tif 000015
【０１２３】
なお、撮像素子の駆動方式やＡ／Ｄ変換の回路構成によっては、第１視点（第３修正）画像Ｍ３Ｉ１（ｊ，ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ，ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。このような場合に、飽和信号処理を行うことなく、式（１１）を適用して撮像画像から第１視点（第３修正）画像を減算すると、生成される第２視点画像において飽和信号値となるべきところが誤った信号値０となる場合がある。このような動作を防止するため、Ｓ３では、撮像画像Ｉ（ｊ，ｉ）と第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ，ｉ）に対して予めシェーディング状態に合わせた飽和信号処理を行う。このようにして、飽和信号処理後の修正撮像画像ＭＩ（ｊ，ｉ）と第１視点（第４修正）画像Ｍ４Ｉ１（ｊ，ｉ）を生成する。Ｓ４−１では、式（１１）に従って第２視点画像Ｉ２（ｊ，ｉ）を生成することにより、より正しい飽和信号値に対応した第２視点画像Ｉ２を生成することができる。
【０１２４】
Ｓ５では、制御部１２１は、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ，ｉ）と、第２視点画像Ｉ２（ｊ，ｉ）に対して、それぞれシェーディング補正を行う。Ｓ５−１では、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ，ｉ）に対して、式（５Ａ）から式（５Ｄ）に従って生成済みのシェーディング関数ＲＳＦ１、ＧｒＳＦ１、ＧｂＳＦ１、ＢＳＦ１を適用する。そして、式（６Ａ）から式（６Ｄ）に従って、シェーディング補正処理を行う。なお、このとき第１視点（第５修正）画像Ｍ５Ｉ１（ｊ，ｉ）が生成される。
【０１２５】
次に、Ｓ５−２において、制御部１２１は、第２視点画像Ｉ２（ｊ，ｉ）に対して、式（３Ａ）から式（６Ｄ）と同様に、修正撮像画像ＭＩ（ｊ，ｉ）に基づくシェーディング補正処理を行って、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ，ｉ）を生成する。なお、第２視点画像Ｉ２の射影信号についても、第１視点画像Ｉ１の射影信号と同様に有効性判定を行い、信頼性の高い射影信号を用いてシェーディング関数を生成する。
【０１２６】
次に、Ｓ６では、制御部１２１は、第１視点（第５修正）画像Ｍ５Ｉ１（ｊ，ｉ）と、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ，ｉ）に対して、それぞれ飽和信号処理を行う。Ｓ６−１では、第１視点（第５修正）画像Ｍ５Ｉ１（ｊ，ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第１視点画像ＭＩ１（ｊ，ｉ）を生成する。一方、Ｓ６−２では、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ，ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第２視点画像ＭＩ２（ｊ，ｉ）を生成する。ここで、第ｋ視点画像の最大値Ｉｍａｘ／ＮＬＦと、第ｋ視点画像の飽和判定閾値ＩＳｋは、Ｉｍａｘ／ＮＬＦ≧ＩＳｋを満たす。
【０１２７】
【数１４】
2019114912.tif 000016
【０１２８】
以下、図１６（Ａ）および図１６（Ｂ）を参照して、Ｓ５に示した第２視点画像Ｉ２（ｊ，ｉ）に対するＲＧＢごとのシェーディング補正処理の効果について説明する。図１６（Ａ）は、シェーディング補正前の第２視点画像Ｉ２（デモザイキング後）の例を示している。この例では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによってＲＧＢごとのシェーディングが生じているため、第２視点画像Ｉ２（ｊ，ｉ）の左側では、輝度の低下（およびＲＧＢ比の変調）が生じている。一方、図１６（Ｂ）は、本実施形態に係るシェーディング補正後の修正第２視点画像ＭＩ２（デモザイキング後）の例を示している。この例では、撮像画像に基づいたＲＧＢごとのシェーディング補正により、輝度の低下（およびＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位が良好な修正第２視点画像ＭＩ２（ｊ，ｉ）が生成されている。
【０１２９】
最後に、制御部１２１は、修正第１視点画像ＭＩ１（ｊ，ｉ）および修正第２視点画像ＭＩ２（ｊ，ｉ）のそれぞれを出力する。あるいは、制御部１２１は、修正第１視点画像ＭＩ１（ｊ，ｉ）および修正第２視点画像ＭＩ２（ｊ，ｉ）を１枚に合成した合成画像を出力する。
【０１３０】
このように、本実施形態では、第１視点画像および第２視点画像に対し、撮像画像と視点画像とを用いて生成したシェーディング関数に基づくシェーディング補正を適用するようにした。その際、視点画像の射影信号に対して信頼性判定を行い、信頼性の高い射影信号を用いてシェーディング関数を生成することにより、精度の良いシェーディング関数を生成することができ、視点画像に対するシェーディング補正の精度を高めることができる。
【０１３１】
（位相差方式の焦点検出処理）
次に、第１視点画像と第２視点画像（第１〜第ＮＬＦ視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき、位相差方式によりデフォーカス量を検出する焦点検出処理について説明する。なお、以下の説明では、制御部１２１が処理を実行する例を説明するが、画像処理回路１２５が実行してもよい。
【０１３２】
まず、制御部１２１は、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜ＮＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙｋを、式（１３）に従って生成する。
【０１３３】
【数１５】
2019114912.tif 000017
【０１３４】
次に、制御部１２１は、式（１４）に従って、第ｋ視点輝度信号Ｙｋ（ｋ＝１〜ＮＬＦ）のシェーディング補正量Ｓｋ（ｉ）を、瞳分割方向（ｘ方向）の位置ｉに対する滑らかなＮＳ次の多項式関数として算出する。撮像素子１０７の光学特性（第ｋ副画素ごとの瞳強度分布）と、結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）に基づき、予め、各係数ＳＣｋ（μ|Ｆ、Ｄｌ）を算出し、不図示のＲＯＭ等へ保存しておく。
【０１３５】
【数１６】
2019114912.tif 000018
【０１３６】
さらに、制御部１２１は、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、式（１５）に従って、シェーディング補正量Ｓｋ（ｉ）を用いたシェーディング補正処理を行い、第ｋ修正視点輝度信号ＭＹｋ（ｊ，ｉ）を生成する。
【０１３７】
【数１７】
2019114912.tif 000019
【０１３８】
制御部１２１は、生成された第１修正視点輝度信号ＭＹ１に対して、瞳分割方向（水平方向）に、１次元バンドパスフィルター処理を行い、第１焦点検出信号ｄＹＡを生成する。同様に、第２修正視点輝度信号ＭＹ２に対して、瞳分割方向（水平方向）に、１次元バンドパスフィルター処理を行い、第２焦点検出信号ｄＹＢを生成する。なお、１次元バンドパスフィルターとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルターの通過帯域を調整してもよい。
【０１３９】
次に、制御部１２１は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（水平方向）にシフトさせて、信号の一致度を表す相関量を算出し、算出した相関量に基づいて像ずれ量ＭＤＩＳを生成する。
【０１４０】
例えば、焦点検出位置（ｊＡＦ、ｉＡＦ）を中心として、垂直方向ｊ２番目、瞳分割方向である水平方向ｉ２番目の第１焦点検出信号をｄＹＡ（ｊＡＦ＋ｊ２、ｉＡＦ＋ｉ２）、第２焦点検出信号をｄＹＢ（ｊＡＦ＋ｊ２、ｉＡＦ＋ｉ２）とする。但し、ｊ２は−ｎ２≦ｊ２≦ｎ２、ｉ２は−ｍ２≦ｉ２≦ｍ２である。さらに、シフト量をｓ（−ｎｓ≦ｓ≦ｎｓ）とすると、各位置（ｊＡＦ，ｉＡＦ）での相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）および相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）は、それぞれ式（１６Ａ）および式（１６Ｂ）により算出することができる。
【０１４１】
【数１８】
2019114912.tif 000020
【０１４２】
なお、相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）は、相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。
【０１４３】
制御部１２１は、相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）と相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）から、それぞれ、サブピクセル演算を行って、相関量が最小値となる実数値のシフト量を算出する。さらに、算出したシフト量の平均値を算出し、焦点検出位置（ｊＡＦ、ｉＡＦ）における像ずれ量Ｄｉｓ（ｊＡＦ、ｉＡＦ）を検出する。
【０１４４】
次に、制御部１２１は、像ずれ量からデフォーカス量への変換係数Ｋを、焦点検出領域の像高位置ごとに像ずれ量Ｄｉｓ（ｊＡＦ、ｉＡＦ）に乗算し、各焦点検出位置（ｊＡＦ、ｉＡＦ）におけるデフォーカス量ＭＤｅｆ（ｊＡＦ、ｉＡＦ）を検出する。なお、変換係数Ｋは、例えば、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）およびレンズ情報（結像光学系の絞り値Ｆ、射出瞳距離Ｄｌなど）に応じて算出し、不図示のＲＯＭへ保存しておく。
【０１４５】
最後に、制御部１２１は、焦点検出位置（ｊＡＦ、ｉＡＦ）で検出されたデフォーカス量ＭＤｅｆ（ｊＡＦ、ｉＡＦ）に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。
【０１４６】
第１視点画像と第２視点画像（複数の視点画像）を用いて、自動焦点検出を行う場合、応答性に優れたリアルタイム処理の自動焦点検出を行うために、高速なシェーディング補正が必要となる場合がある。そのため、本実施形態では、自動焦点検出を行う場合には、不図示のＲＯＭ等に保存されている、予め算出されたシェーディング補正関連データを用いて高速にシェーディング補正を行うようにしてもよい。このようにすれば、良好な信号品質の位相差方式の焦点検出信号を用いることができ、精度が高く、応答性に優れた自動焦点検出を実現することができる。なお、シェーディング補正関連データは、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）と結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）とに基づき算出することができる。この場合、自動焦点検出を行う際には、特定の視点画像（例えば第１視点画像）についてのみシェーディング補正を適用し、より高速な自動焦点検出を行うようにしてもよい。
【０１４７】
本実施形態は、画質品位が良好な視点画像、もしくは、これらの合成画像を画像出力する際は、撮像画像に基づいて、高精度なＲＧＢ毎のシェーディング補正を行う。一方、優れた応答性が要求されるリアルタイム処理の自動焦点検出の際は、シェーディング補正方法を切り換え、予め、算出され、記録媒体に保存されたシェーディング補正関連データによる高速なシェーディング補正を行う例を説明した。これにより、画質品位が良好な視点画像の画像出力と、応答性に優れた高精度な自動焦点検出を、両立することができる。
【０１４８】
以上説明したように、単位画素内の光電変換部を分割した構造の撮像素子から得られるＬＦデータに基づいて撮像画像と視点画像を生成し、これらの画像に基づき視点画像に対するシェーディング（光量分布の偏り）を補正するようにした。さらに、シェーディング補正のなされた視点画像を用いて欠陥画素を補正するようにした。このようにすることで、良好な画質品位の視点画像を生成することができる。換言すれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができるようになる。
【０１４９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１５０】
１０７…撮像素子、１２１…制御部、１２５…画像処理回路
【図１】
2019114912.tif 000021
【図２】
2019114912.tif 000022
【図３】
2019114912.tif 000023
【図４】
2019114912.tif 000024
【図５】
2019114912.tif 000025
【図６】
2019114912.tif 000026
【図７】
2019114912.tif 000027
【図８】
2019114912.tif 000028
【図９】
2019114912.tif 000029
【図１０】
2019114912.tif 000030
【図１１】
2019114912.tif 000031
【図１２】
2019114912.tif 000032
【図１３】
2019114912.tif 000033
【図１４】
2019114912.tif 000034
【図１５】
2019114912.tif 000035
【図１６】
2019114912.tif 000036