(57)【要約】【課題】画質の品位を向上させた視差画像を生成可能な画像処理装置を提供する。【解決手段】画像処理装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、一つの光電変換部の信号から生成される視差画像を取得し、複数の光電変換部の複数の信号を合成して生成される撮像画像を取得する取得手段１２５ａと、撮像画像に基づいて視差画像を補正する画像処理手段１２５ｂとを有する。【選択図】図７
2020191651.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、
前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、
前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とする画像処理装置。
【請求項２】
前記第２位置は、所定の方向において前記第１位置に隣接する位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記第２位置における前記視差画像または前記合成画像の前記画素値が所定の輝度値よりも小さい場合、該画素値を該所定の輝度値に置き換えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記所定の輝度値は、瞳部分領域の数に応じて変化するように設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記所定の輝度値は、前記第１位置に応じて変化するように設定されることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記所定の輝度値は、撮影条件情報に応じて変化するように設定されることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影条件情報は、ＩＳＯ感度、結像光学系の絞り値、および、射出瞳距離の少なくとも一つを含むことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１位置に関する欠陥情報を記憶する記憶手段を更に有し、
前記画像処理手段は、前記欠陥情報に基づいて前記視差画像を補正することを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
【請求項９】
前記第１位置に関する欠陥情報を検査する検査手段を更に有し、
前記画像処理手段は、前記欠陥情報に基づいて前記視差画像を補正することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記視差画像は、結像光学系の互いに異なる瞳部分領域ごとに、前記一つの光電変換部に含まれる複数の副画素の受光信号を集めて生成され、
前記合成画像は、前記複数の光電変換部に含まれる全ての副画素の受光信号を集めて生成される、ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記視差画像は、結像光学系の互いに異なる瞳領域部分を通過する光束のそれぞれに対応する第１視差画像および第２視差画像を含み、
前記取得手段は、前記複数の光電変換部を備えた撮像素子から、前記合成画像と、前記視差画像のうち前記第１視差画像とを取得し、
前記画像処理手段は、
前記視差画像のうち前記第１視差画像を前記合成画像に基づいて補正し、
前記合成画像から、補正処理後の第１視差画像を減算することにより、前記第２視差画像を生成する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像処理手段は、補正後の前記視差画像に基づいて前記合成画像のリフォーカス処理を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像処理手段は、前記合成画像に基づいて前記視差画像のシェーディング補正処理を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記画像処理手段は、前記合成画像に基づいて前記視差画像の色ごとに該視差画像の前記シェーディング補正処理を行うことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記画像処理手段は、前記合成画像の射影信号と前記視差画像の射影信号とに基づいて、該視差画像の前記シェーディング補正処理を行うことを特徴とする請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記画像処理手段は、前記視差画像の前記シェーディング補正処理を行った後、前記合成画像に基づいてシェーディング補正処理後の前記視差画像に含まれる欠陥を低減するように該視差画像を補正することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、
複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、
前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、
前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とする撮像装置。
【請求項１８】
前記撮像素子は、１つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、
前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、を有し、
前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とする画像処理方法。
【請求項２０】
複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、
前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、をコンピュータに実行させるように構成され、
前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とするプログラム。
【請求項２１】
請求項２０に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像を補正可能な画像処理装置に関する。
【背景技術】
【０００２】
従来から、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影可能な撮像装置が知られている。撮影された視差画像（視点画像）は、光強度の空間分布および角度分布に関する情報であるＬＦ（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データと等価である。
【０００３】
特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行う。これらの分割された光電変換部のそれぞれの受光信号に基づいて、分割された瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２には、分割された光電変換部のそれぞれの受光信号の全てを加算することにより撮像画像を生成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第４４１０８０４号
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２に開示されている撮像装置で得られた視差画像（視点画像）の一部において、点キズや線キズなどの欠陥（キズ信号）、瞳分割によるシェーディング、および、飽和信号などが生じ、視差画像の画質が低下する場合がある。
【０００６】
そこで本発明は、画質の品位を向上させた視差画像を生成可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。
【０００８】
本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。
【０００９】
本発明の他の側面としての画像処理方法は、複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、を有し、前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。
【００１０】
本発明の他の側面としてのプログラムは、複数の画素で構成され、各画素は１つのマイクロンレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、をコンピュータに実行させるように構成され、前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。
【００１１】
本発明の他の側面としてのコンピュータで読み取り可能な記憶媒体は、前記プログラムを記憶している。
【００１２】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１３】
本発明によれば、画質の品位を向上させた視差画像を生成可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】各実施例における撮像装置のブロック図である。
【図２】実施例１における画素配列を示す図である。
【図３】実施例１における画素構造を示す図である。
【図４】各実施例における撮像素子および瞳分割機能の説明図である。
【図５】各実施例における撮像素子および瞳分割機能の説明図である。
【図６】各実施例におけるデフォーカス量と像ずれ量と関係図である。
【図７】各実施例における視差画像および撮像画像の配列図である。
【図８】実施例１における補正処理前の視差画像の例である。
【図９】実施例１における補正処理後の視差画像の例である。
【図１０】実施例１における補正処理前の視差画像の他の例である。
【図１１】実施例１における補正処理後の視差画像の他の例である。
【図１２】実施例２における画素配列を示す図である。
【図１３】実施例２における画素構造を示す図である。
【図１４】各実施例におけるリフォーカス処理の概略説明図である。
【図１５】実施例３において、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。
【図１６】実施例３において、光の入射角に依存した受光率分布の図である。
【図１７】実施例３における補正処理の流れを示す概略図である。
【図１８】実施例３における補正処理の流れを示す概略図である。
【図１９】実施例３におけるシェーディングの説明図である。
【図２０】実施例３における撮像画像の射影信号、第１視点画像の射影信号、および、シェーディング関数の説明図である。
【図２１】実施例３における撮像画像（デモザイキング後）の例である。
【図２２】実施例３におけるシェーディング補正前の第１視点画像（デモザイキング後）の例である。
【図２３】実施例３におけるシェーディング補正後の第１視点（第１修正）画像（デモザイキング後）の例である。
【図２４】実施例３における欠陥補正前の第１視点（第１修正）画像（シェーディング補正後、デモザイキング後）の例である。
【図２５】実施例３における欠陥補正後の第１視点（第２修正）画像（シェーディング補正後、デモザイキング後）の例である。
【図２６】実施例３におけるシェーディング補正前の第２視点画像（デモザイキング後）の例である。
【図２７】実施例３におけるシェーディング補正後の修正第２視点画像（デモザイキング後）の例である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【実施例１】
【００１６】
まず、図１を参照して、本発明の実施例１における撮像装置の概略構成について説明する。図１は、本実施例における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施例は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。
【００１７】
第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。
【００１８】
撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。
【００１９】
ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。
【００２０】
電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
【００２１】
ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。
【００２２】
電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。
【００２３】
画像処理回路１２５（画像処理装置）は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮などの処理を行う。本実施例において、画像処理回路１２５は、取得手段１２５ａおよび画像処理手段１２５ｂ（補正手段）を有する。取得手段１２５ａは、撮像素子１０７から、撮像画素および少なくとも一つの視差画像（視点画像）を取得する。撮像画素は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部（第１副画素および第２副画素）の複数の信号（第１信号および第２信号）を合成して生成される画像である。視差画像（視点画像）は、複数の光電変換部のうち一つの光電変換部（第１副画素または第２副画素）の信号から生成される画像である。画像処理手段１２５ｂは、撮像画像に基づいて視差画像に含まれる欠陥を低減するように補正処理（欠陥補正）を行う。
【００２４】
フォーカス駆動回路１２６（フォーカス駆動手段）は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９（ズーム駆動手段）は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。
【００２５】
表示器１３１（表示手段）は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。
【００２６】
続いて、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。
【００２７】
図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２により構成さている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。
【００２８】
図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された副画素２０１、２０２により構成されている。副画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。
【００２９】
図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期ＰＳＵＢが２μｍ、副画素の数ＮＳＵＢが横１１１５０列×縦３７２５行＝約４１５０万画素である。これに代えて、撮像素子１０７は、画素の周期Ｐが６μｍ、画素（撮像画素）の数Ｎが横６０００列×縦４０００行＝２４００万画素としてもよい。また撮像素子１０７は、副画素の列方向の周期ＰＳＵＢが３μｍ、副画素の数数ＮＳＵＢが横１２０００列×縦４０００行＝４８００万画素としてもよい。
【００３０】
図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、副画素２０１および副画素２０２に対応する。
【００３１】
光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。
【００３２】
図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３３】
続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。
【００３４】
図４において、副画素２０１（第１副画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、副画素２０２（第２副画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（副画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００３５】
入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は、回折限界Δよりも小さくすることができず、有限の大きさとなる。光電変換部３０１、３０２の受光面サイズが約１〜２μｍ程度であるのに対し、マイクロレンズ３０５の集光スポットは約１μｍ程度である。このため、光電変換部３０１、３０２の受光面とマイクロレンズ３０５とを介して共役の関係にある図４の瞳部分領域５０１、５０２は、回折ボケのため、明瞭に瞳分割されず、受光率分布（瞳強度分布）が得られる。
【００３６】
図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面６００に入射し、２×１分割された副画素２０１、２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。
【００３７】
本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１瞳部分領域、第２瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）および第２副画素（複数の副画素２０２）を含む。
【００３８】
本実施例において、撮像素子１０７の画素ごとに副画素２０１、２０２の信号を加算して読み出すことにより、有効画素数Ｎの解像度を有する撮像画像を生成する。このように撮像画像は、画素ごとに、複数の副画素（本実施例では副画素２０１、２０２）の受光信号を合成して生成される。
【００３９】
また本実施例において、複数の副画素２０１の受光信号を集めて第１視差画像を生成する。また、撮像画像から第１視差画像を減算して第２視差画像を生成する。ただし本実施例は、これに限定されるものではなく、複数の副画素２０２の受光信号を集めて第２視差画像を生成してもよい。このように視差画像は、互いに異なる瞳部分領域ごとに、複数の副画素の受光信号に基づいて生成される。
【００４０】
本実施例において、第１視差画像、第２視差画像、および、撮像画像は、それぞれ、ベイヤー配列の画像である。必要に応じて、第１視差画像、第２視差画像、および、撮像画像のそれぞれに対して、デモザイキング処理を行ってもよい。
【００４１】
次に、図６を参照して、撮像素子１０７の副画素２０１から取得される第１視差画像および副画素２０２から取得される第２視差画像のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面６００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。
【００４２】
デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を｜ｄ｜、結像位置が撮像面６００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面６００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面６００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体６０１、および、前ピン状態（ｄ＜０）である被写体６０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００４３】
前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１視差画像（第２視差画像）が生成される。このため、第１視差画像（第２視差画像）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視差画像と第２視差画像との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１視差画像と第２視差画像と間の被写体像の像ずれ方向が前ピン状態と反対となる。
【００４４】
このように本実施例において、第１視差画像と第２視差画像、または、第１視差画像と第２視差画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１視差画像と第２視差画像と間の像ずれ量の大きさは増加する。
【００４５】
次に、本実施例における視差画像の補正処理について説明する。本実施例において、撮像素子１０７は、撮像画像および少なくとも一つの視差画像（第１視差画像および第２視差画像の少なくとも一つ）を出力することができる。画像処理回路１２５（取得手段１２５ａ）は、撮像素子１０７から出力された撮像画像および視差画像を取得する。そして画像処理回路１２５（画像処理手段１２５ｂ）は、撮像画像に基づいて視差画像を補正（修正）する。必要に応じて、取得手段１２５ａは、取得された撮像画像および少なくとも視差画像を記録媒体１３３や記憶部１３４などの記憶手段に保存し、保存された撮像画像および視差画像を取得するように構成してもよい。
【００４６】
撮像素子１０７の回路構成や駆動方式により、転送ゲートの短絡などの影響で、撮像画像は正常であっても、視差画像（第１視差画像または第２視差画像）にキズ信号（欠陥信号）が生じ、視差画像中に点キズや線キズなどの欠陥が含まれる場合がある。必要に応じて、量産工程などで検査された点キズ情報や線キズ情報（欠陥情報）を、記憶手段に事前に記憶させることができる。この場合、画像処理回路１２５（画像処理手段１２５ｂ）は、記録された欠陥情報を用いて視差画像の補正処理を行う。また画像処理回路１２５（検査手段）は、必要に応じて、視差画像をリアルタイムに（すなわちユーザが撮像装置１００を使用している間に）検査し、点キズ判定や線キズ判定（欠陥判定）を行ってもよい。
【００４７】
続いて、図７を参照して、本実施形態における視差画像の補正処理について説明する。図７（ａ）は、ベイヤー配列の視差画像（第１視差画像）の配列図である。図７（ｂ）は、ベイヤー配列の撮像画像の配列図である。図７（ａ）、（ｂ）において、行方向ｊ番目、列方向ｉ番目の位置（ｊ、ｉ）における第１視差画像の画素値（画素信号）をＡ（ｊ、ｉ）、撮像画像の画素値（画素信号）をＩ（ｊ、ｉ）とそれぞれ定義する。
【００４８】
第１視差画像は第ｊ行において欠陥（線キズ）が存在し、かつ撮像画像は第ｊ行において正常である場合、第１視差画像の第ｊ行を補正する必要がある。本実施例において、画像処理回路１２５（画像処理手段１２５ｂ）は、撮像画像に基づいて、第１視差画像（第１視差画像の補正対象位置の画素値）を補正する。なお、必要に応じて、第２視差画像に関しても同様に補正可能である。
【００４９】
ここで、欠陥が生じている位置（ｊ、ｉ）、すなわち補正対象位置（第１位置）における第１視差画像の補正値（補正信号）をＡｃ（ｊ、ｉ）とする。このとき画像処理手段１２５ｂは、以下の式（１）により補正値Ａｃ（ｊ、ｉ）を算出し、算出された補正値Ａｃ（ｊ、ｉ）を第１視差画像の画素値Ａ（ｊ、ｉ）として用いることにより、第１視差画像を補正する。
【００５０】
【数１】
2020191651.tif 000003
【００５１】
式（１）において、パラメータＡ０、Ｉ０は、それぞれ、第１視差画像の画素値Ａ、撮像画像の画素値Ｉが低輝度（低輝度信号）である場合に演算値を安定させてノイズの増幅を抑制するための値である。
【００５２】
このように本実施例において、画像処理手段１２５ｂは、撮像画像に基づいて、視差画像の補正処理を行う（補正対象位置における視差画像の画素値Ａ（ｊ、ｉ）を補正値Ａｃ（ｊ、ｉ）で置き換える）。具体的には、画像処理手段１２５ｂは、撮像画像の画素値Ｉ（ｊ、ｉ）と補正対象位置の近傍の位置（ｊ２、ｉ２）≠（ｊ、ｉ）における撮像画像および視差画像の画素値Ｉ（ｊ２、ｉ２）、Ａ（ｊ２、ｉ２）とを用いて、視差画像の補正値Ａｃ（ｊ、ｉ）を決定する。
【００５３】
式（１）において、パラメータＡ０、Ｉ０の具体的な値は、必要に応じて適宜設定可能である。例えば、瞳分割数Ｎｐ（＝２）の場合、パラメータＡ０、Ｉ０を、Ａ０＝Ｉ０／Ｎｐと設定することができる。また、補正対象位置である位置（ｊ、ｉ）、ＩＳＯ感度、結像光学系の絞り値、および、射出瞳距離などの撮影条件に応じて、パラメータＡ０、Ｉ０の値を変化させてもよい。また、補正対象位置の周辺の第１視差画像の画素値Ａや撮像画像の画素値Ｉに基づいて、パラメータＡ０、Ｉ０の値を設定してもよい。
【００５４】
図８は、本実施例における補正処理前の合焦状態での第１視差画像（デモザイキング後）の例を示す。図９は、本実施例における補正処理後の合焦状態での第１視差画像（デモザイキング後）の例を示す。同様に、図１０は、補正処理前のデフォーカス状態での第１視差画像（デモザイキング後）の例を示す。図１１は、補正処理後のデフォーカス状態での第１視差画像（デモザイキング後）の例を示す。本実施例における補正処理により、合焦状態およびデフォーカス状態のいずれの場合でも、視差画像の欠陥が補正されていることがわかる。
【００５５】
続いて、図１４を参照して、本実施例におけるリフォーカス処理について説明する。リフォーカス処理は、ＣＰＵ１２１の指令に基づいて画像処理回路１２５（リフォーカス処理手段としての画像処理手段１２５ｂ）により実行される。図１４は、本実施例の撮像素子１０７により取得された第１信号（第１視差画像を形成する第１副画素の受光信号）および第２信号（第２視差画像を形成する第２副画素の受光信号）による１次元方向（列方向、水平方向）のリフォーカス処理の説明図である。図１４において、ｉを整数として、撮像面６００に配置された撮像素子１０７の列方向ｉ番目の画素の第１信号をＡｉ、第２信号をＢｉとして模式的に表している。第１信号Ａｉは、（図５の瞳部分領域５０１に対応する）主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２信号Ｂｉは、（図５の瞳部分領域５０２に対応する）主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【００５６】
第１信号Ａｉおよび第２信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も含む。このため、第１信号Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させ、第２信号Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させ、これらを加算することにより、仮想結像面６１０でのリフォーカス信号を生成できる。第１信号Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させることは、列方向に＋０．５画素シフトに対応し、第２信号Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させることは、列方向に−０．５画素シフトに対応する。したがって、第１信号Ａｉと第２信号Ｂｉとを相対的に＋１画素シフトさせ、第１信号Ａｉと第２信号（Ｂｉ＋１）とを対応させて加算することにより、仮想結像面６１０でのリフォーカス信号を生成できる。同様に、第１信号Ａｉと第２信号Ｂｉとを整数シフトさせて（画素整数個分だけシフトさせて）加算することにより、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。
【００５７】
本実施例では、少なくとも一つの視差画像（第１視差画像および第２視差画像の少なくとも一つ）に含まれる欠陥の影響を補正処理により除去または低減している。このため、補正処理後の視差画像に基づくリフォーカス処理が可能となる。したがって、視差画像を形成する各信号（第１信号および第２信号）を用いたリフォーカス処理を高精度に行うことができる。
【実施例２】
【００５８】
次に、図１２および図１３を参照して、本発明の実施例２における撮像装置について説明する。本実施例は、複数の視差画像として、第１〜第４視差画像から撮影画像を生成する点で、第１視差画像および第２視差画像から撮影画像を生成する実施例１とは異なる。
【００５９】
図１２は、本実施例における撮像素子１０７の画素配列を示す図である。図１３は、撮像素子１０７の画素構造を示す図であり、図１３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図１３（ｂ）は図１３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。
【００６０】
図１２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４により構成さている。このため、図１２には、副画素の配列が、８列×８行の範囲で示されている。
【００６１】
図１２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×２行に配列された副画素２０１、２０２、２０３、２０４により構成されている。副画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。副画素２０３は、結像光学系の第３瞳領域を通過した光束を受光する画素である。副画素２０４は、結像光学系の第４瞳領域を通過した光束を受光する画素である。
【００６２】
図１２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期ＰＳＵＢが２μｍ、副画素の数ＮＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素である。これに代えて、撮像素子１０７は、画素（撮像画素）の周期Ｐが６μｍ、画素（撮像画素）の数Ｎが横６０００列×縦４０００行＝２４００万画素としてもよい。また、副画素の列方向の周期ＰＳＵＢが３μｍ、副画素の数ＮＳＵＢが横１２０００列×縦４０００行＝４８００万画素としてもよい。
【００６３】
図１３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１〜３０４は、副画素２０１〜２０４にそれぞれ対応する。
【００６４】
本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１〜第４瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）、第２副画素（複数の副画素２０２）、第３副画素（複数の副画素２０３）、および、第４副画素（複数の副画素２０４）を含む。
【００６５】
本実施例において、撮像素子１０７の画素ごとに副画素２０１、２０２、２０３、２０４の信号を加算して読み出すことにより、有効画素数Ｎの解像度を有する撮像画像を生成する。このように撮像画像は、画素ごとに、複数の副画素（本実施例では副画素２０１〜２０４）の受光信号を合成して生成される。
【００６６】
また本実施例において、複数の副画素２０１の受光信号を集めて第１視差画像を生成する。同様に、複数の副画素２０２の受光信号を集めて第２視差画像、複数の副画素２０３の受光信号を集めて第３視差画像をそれぞれ生成する。また本実施例において、撮像画像から、第１視差画像、第２視差画像、および、第３視差画像を減算して、第４視差画像を生成する。ただし本実施例はこれに限定されるものではなく、複数の副画素２０４の受光信号を集めて第４視差画像を生成してもよい。このように視差画像は、互いに異なる瞳部分領域ごとに、複数の副画素の受光信号に基づいて生成される。
【００６７】
また本実施例において、撮像画像および第１〜第３視差画像（および第４視差画像）は、それぞれ、ベイヤー配列の画像である。必要に応じて、撮像画像および第１〜第３視差画像（および第４視差画像）のそれぞれに対して、デモザイキング処理を行ってもよい。なお、本実施例における視差画像の補正処理（欠陥補正）については実施例１と同様であるため、その説明は省略する。
【実施例３】
【００６８】
次に、本発明の実施例３について説明する。本実施例は、画像処理手段１２５ｂが撮像画像に基づいて視差画像の光量補正処理（シェーディング補正）を行う点で、実施例１とは異なる。なお、本実施例の光量補正処理に加えて、実施例１と同様に、撮像画像に基づいて視差画像に含まれる欠陥を低減するように視差画像の補正処理を行ってもよい。
【００６９】
図４に示される瞳領域５００は、２×１分割された光電変換部３０１、３０２（Ｎｘ×Ｎｙ分割された第１光電変換部〜第ＮＬＦ光電変換部）を全て合わせた受光面に関して、マイクロレンズによって概ね光学的に共役な関係になっている。また瞳領域５００は、副画素２０１、２０２（第１副画素〜第ＮＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。
【００７０】
図１５は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。図１５（Ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す。図１５（Ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の瞳部分領域５０１、５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００７１】
図１６は、光の入射角に依存した受光率分布（瞳強度分布）の図であり、横軸は瞳座標、縦軸は受光率をそれぞれ示す。図１６に実線で示さえるグラフ線Ｌ１は、図４の瞳部分領域５０１（第１瞳部分領域）のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示される受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図１６に破線で示されるグラフ線Ｌ２は、瞳部分領域５０２（第２瞳部分領域）のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示される受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図１６に示されるように、緩やかな瞳分割が行われることがわかる。
【００７２】
図５に示されるように、光電変換部３０１、３０２（第１光電変換部〜第ＮＬＦ光電変換部）は、それぞれ、副画素２０１、２０２（第１副画素〜第ＮＬＦ副画素）に対応する。撮像素子の各画素において、２×１分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素〜第ＮＬＦ副画素）は、それぞれ、瞳部分領域５０１、５０２（第１瞳部分領域〜第ＮＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。
【００７３】
ＬＦデータ（入力画像）から、画素ごとに、２×１分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素〜第ＮＬＦ副画素）の信号を全て合成することにより、画素数Ｎの解像度を有する撮像画像を生成することができる。
【００７４】
また、ＬＦデータ（入力画像）から、画素ごとに、２×１分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素〜第ＮＬＦ副画素）の中から特定の副画素の信号を選択する。これにより、結像光学系の瞳部分領域５０１、５０２（第１瞳部分領域〜第ＮＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、副画素２０１の信号を選択することにより、結像光学系の瞳部分領域５０１に対応する画素数Ｎの解像度を有する第１視点画像（第１視差画像）を生成することができる。他の副画素に関しても同様である。
【００７５】
以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。本実施例では、撮像画像に基づいて、第１視点画像および第２視点画像（第１視点画像〜第ＮＬＦ視点画像）に対して、キズ補正やシェーディング補正などの画像処理（補正処理）を行い、出力画像を生成する。
【００７６】
図１７および図１８を参照して、撮像素子１０７により取得されたＬＦデータ（入力画像）から、撮影画像に基づいて第１視点画像と第２視点画像（第１視点画像〜第ＮＬＦ視点画像）に対して補正処理を行い、出力画像を生成する画像処理方法について説明する。図１７および図１８は、本実施例における補正処理の流れを示す概略図である。図１７および図１８の処理は、主に、ＣＰＵ１２１の指令に基づいて画像処理回路１２５（取得手段１２５ａ、画像処理手段１２５ｂ）により実行される。
【００７７】
まず、図１７のステップＳ１の前段（不図示のステップＳ０）において、画像処理回路１２５（取得手段１２５ａ）は、撮像素子１０７により取得されたＬＦデータ（入力画像）に基づいて撮像画像および少なくとも一つの視点画像（視差画像）を生成（取得）する。撮像画像は、結像光学系の異なる瞳部分領域を合成した瞳領域に応じて生成される画像である。視点画像は、結像光学系の異なる瞳部分領域ごとに生成される画像である。
【００７８】
ステップＳ０において、まず、画像処理回路１２５は、撮像素子１０７により取得されたＬＦデータ（入力画像）を入力する。または、画像処理回路１２５は、予め撮像素子１０７により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いてもよい。
【００７９】
ステップＳ０において、次に、画像処理回路１２５は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ（１≦ｋ≦ＮＬＦ）として、第ｋ副画素信号とする。画像処理回路１２５は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）、すなわち合成画像を、以下の式（２）で表されるように生成する。
【００８０】
【数２】
2020191651.tif 000004
【００８１】
本実施例では、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するため、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）において、式（２）の各副画素信号の合成を行う。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）に蓄積された電荷を電圧信号に変換する際に、式（２）の各副画素信号の合成を行ってもよい。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）された後に、式（２）の各副画素信号の合成を行ってもよい。
【００８２】
本実施例は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のＸ方向に２分割する例である。図２に例示した画素配列に対応した入力画像（ＬＦデータ）から、画素ごとに、Ｘ方向に２分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素〜第ＮＬＦ副画素）の信号を全て合成する。これにより、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成することができる。本実施例の視点画像の補正処理において、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉ（ｊ、ｉ）に対して、ＲＧＢごとのシェーディング（光量）補正処理や点キズ補正処理などを行う。必要に応じて、その他の処理を行ってもよい。
【００８３】
ステップＳ０において、次に、画像処理回路１２５は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、以下の式（３）で表されるように生成する。
【００８４】
【数３】
2020191651.tif 000005
【００８５】
本実施例は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のｘ方向に２分割し、ｋ＝１の例である。図２に例示した画素配列に対応したＬＦデータ（入力画像）から、画素ごとに、ｘ方向に２分割された副画素２０１の信号を選択する。そして、瞳部分領域５０１、５０２（第１瞳部分領域〜第ＮＬＦ瞳部分領域）から、瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）を生成する。必要に応じて、ｋ＝２を選択し、結像光学系の瞳部分領域５０２に対応した第２視点画像Ｉ２（ｊ、ｉ）を生成してもよい。
【００８６】
以上のように、画像処理手段１２５ｂは、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。また画像処理手段１２５ｂは、異なる瞳部分領域ごとに、少なくとも一つ以上の複数の視点画像を生成する。
【００８７】
本実施例では、撮像素子１０７により取得されたＬＦデータ（入力画像）から、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）と、を生成し、記録媒体へ保存を行う。また本実施例では、撮像画像Ｉ（ｊ、ｉ）と、第１視点画像Ｉ１（ｊ、ｉ）とから、第２視点画像Ｉ２（ｊ、ｉ）を生成する。これにより、本実施例の撮像画像Ｉ（ｊ、ｉ）に対しては、各画素の光電変換部が分割されていない従来の撮像素子で取得される撮像画像と同様の画像処理を行うことができる。必要に応じて、各視点画像への処理を同等にするために、第１視点画像Ｉ１（ｊ、ｉ）と、第２視点画像Ｉ２（ｊ、ｉ）と、を生成し、記録媒体へ保存してもよい。
【００８８】
続いて、図１７のステップＳ１において、画像処理手段１２５ｂは、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢごとのシェーディング補正処理（光量補正処理）を行う。
【００８９】
ここで、図１９を参照して、第１視点画像および第２視点画像（第１視点画像〜第ＮＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１９は、シェーディングの説明図であり、撮像素子１０７の周辺像高における光電変換部３０１が受光する瞳部分領域５０１、光電変換部３０２が受光する瞳部分領域５０２、および、結像光学系の射出瞳４００の関係を示す。なお、図４と同じ部分については、同じ符号を付している。光電変換部３０１、３０２（第１光電変換部〜第ＮＬＦ光電変換部）は、それぞれ、副画素２０１、２０２（第１副画素〜第ＮＬＦ副画素）に対応する。
【００９０】
図１９（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓとが同じ場合を示す。この場合、瞳部分領域５０１、５０２により、結像光学系の射出瞳４００は、概ね均等に瞳分割される。これに対して、図１９（ｂ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳との瞳ずれが生じる。その結果、射出瞳４００は、不均一に瞳分割される。同様に、図１９（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳との瞳ずれが生じる。その結果、射出瞳４００は、不均一に瞳分割される。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢごと（色ごと）に生じる。
【００９１】
本実施例の画像処理手段１２５ｂは、良好な画質品位の各視点画像を生成するため、図１７のステップＳ１にて、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢごとのシェーディング補正（光量補正）を行う。
【００９２】
図１７のステップＳ１において、画像処理回路１２５は、まず、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥（非キズ）である有効画素Ｖ１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥と検出された非有効画素は、Ｖ１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶｋ（ｊ、ｉ）とする。
【００９３】
整数ｊ２（１≦ｊ２≦ＮＶ／２）、ｉ２（１≦ｉ２≦ＮＨ／２）とする。図２に例示したベイヤー配列の撮像画像Ｉを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩとする。Ｒの撮像画像はＲＩ（２ｊ２−１、２ｉ２−１）＝Ｉ（２ｊ２−１、２ｉ２−１）、Ｇｒの撮像画像はＧｒＩ（２ｊ２−１、２ｉ２）＝Ｉ（２ｊ２−１、２ｉ２）とそれぞれ表される。また、Ｇｂの撮像画像はＧｂＩ（２ｊ２、２ｉ２−１）＝Ｉ（２ｊ２、２ｉ２−１）、Ｂの撮像画像はＢＩ（２ｊ２、２ｉ２）＝Ｉ（２ｊ２、２ｉ２）とそれぞれ表される。同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、ＲＩｋ、ＧｒＩｋ、ＧｂＩｋ、ＢＩｋとする。Ｒの撮像画像はＲＩｋ（２ｊ２−１、２ｉ２−１）＝Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの撮像画像はＧｒＩｋ（２ｊ２−１、２ｉ２）＝Ｉｋ（２ｊ２−１、２ｉ２）とそれぞれ表される。また、Ｇｂの撮像画像はＧｂＩｋ（２ｊ２、２ｉ２−１）＝Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの撮像画像はＢＩｋ（２ｊ２、２ｉ２）＝Ｉｋ（２ｊ２、２ｉ２）とそれぞれ表される。
【００９４】
ステップＳ１において、次に画像処理手段１２５ｂは、撮像画像ＲＩ（２ｊ２−１、２ｉ２−１）、ＧｒＩ（２ｊ２−１、２ｉ２）、ＧｂＩ（２ｊ２、２ｉ２−１）、ＢＩ（２ｊ２、２ｉ２）の射影処理を行う。具体的には、撮像画像ＲＩ（２ｊ２−１、２ｉ２−１）、ＧｒＩ（２ｊ２−１、２ｉ２）、ＧｂＩ（２ｊ２、２ｉ２−１）、ＢＩ（２ｊ２、２ｉ２）に関して、式（４Ａ）〜（４Ｄ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。これにより、撮像画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）が生成される。飽和信号値や欠陥信号値には、撮像画像のＲＧＢごとのシェーディングを正しく検出するための情報が含まれていない。そのため、撮像画像と有効画素Ｖｋとの積を取り、飽和信号値や欠陥信号値を除外して、射影処理を行い（式（４Ａ）上段から式（４Ｄ）上段の分子）、射影処理に用いられた有効画素数で規格化（式（４Ａ）上段から式（４Ｄ）上段の分母）を行う。射影処理に用いられた有効画素数が０の場合、式（４Ａ）下段〜式（４Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号を０に設定する。同様に、第ｋ視点画像ＲＩｋ（２ｊ２−１、２ｉ２−１）、ＧｒＩｋ（２ｊ２−１、２ｉ２）、ＧｂＩｋ（２ｊ２、２ｉ２−１）、ＢＩｋ（２ｊ２、２ｉ２）を、式（４Ｅ）〜（４Ｈ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。これにより、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）を生成する。
【００９５】
【数４Ａ】
2020191651.tif 000006
【００９６】
【数４Ｂ】
2020191651.tif 000007
【００９７】
【数４Ｃ】
2020191651.tif 000008
【００９８】
【数４Ｄ】
2020191651.tif 000009
【００９９】
【数４Ｅ】
2020191651.tif 000010
【０１００】
【数４Ｆ】
2020191651.tif 000011
【０１０１】
【数４Ｇ】
2020191651.tif 000012
【０１０２】
【数４Ｈ】
2020191651.tif 000013
【０１０３】
式（４Ａ）〜（４Ｈ）の射影処理後、ローパスフィルタ処理を行う。ローパスフィルタ処理は、撮影画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）と、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）に行われる。これにより、撮影画像の射影信号の平滑化が行われる。ただし、ローパスフィルタ処理を省略してもよい。
【０１０４】
図２０は、撮像画像の射影信号、第１視点画像の射影信号、および、シェーディング関数の説明図である。図２０の上段は、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を示している。図２０の中段は、第１視点画像の射影信号ＲＰ１（Ｒ）、ＧｒＰ１（Ｇ）、ＧｂＰ１（Ｇ）、ＢＰ１（Ｂ）の例を示している。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のシェーディング補正を高精度に行うには、瞳ずれにより生じている第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢごとのシェーディング成分と、被写体が保有しているＲＧＢ毎の信号成分とを分離する必要がある。
【０１０５】
ステップＳ１にて、画像処理手段１２５ｂは、式（５Ａ）〜（５Ｄ）により、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢごとのシェーディング信号ＲＳｋ（２ｉ２−１）、ＧｒＳｋ（２ｉ２）、ＧｂＳｋ（２ｉ２−１）、ＢＳｋ（２ｉ２）を算出する。
【０１０６】
【数５Ａ】
2020191651.tif 000014
【０１０７】
【数５Ｂ】
2020191651.tif 000015
【０１０８】
【数５Ｃ】
2020191651.tif 000016
【０１０９】
【数５Ｄ】
2020191651.tif 000017
【０１１０】
画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たす場合、式（５Ａ）により、Ｒの第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）と、Ｒの撮像画像の射影信号ＲＰ（２ｉ２−１）との比を取得する。そして、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＲのシェーディング信号ＲＳｋ（２ｉ２−１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像ＩｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たさない場合、第ｋ視点画像ＩｋのＲのシェーディング信号ＲＳｋ（２ｉ２−１）を０に設定する。
【０１１１】
同様に、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たす場合、式（５Ｂ）により、Ｇｒの第ｋ視点画像の射影信号ＧｒＰｋ（２ｉ２）と、Ｇｒの撮像画像の射影信号ＧｒＰ（２ｉ２）との比を取得する。そして、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｒのシェーディング信号ＧｒＳｋ（２ｉ２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像ＩｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たさない場合、第ｋ視点画像ＩｋのＧｒのシェーディング信号ＧｒＳｋ（２ｉ２）を０に設定する。
【０１１２】
同様に、条件式ＧｂＰ（２ｉ２−１）＞ＧｂＰｋ（２ｉ２−１）＞０を満たす場合、式（５Ｃ）により、Ｇｂの第ｋ視点画像の射影信号ＧｂＰｋ（２ｉ２−１）と、Ｇｂの撮像画像の射影信号ＧｂＰ（２ｉ２−１）との比を取得する。そして、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｂのシェーディング信号ＧｂＳｋ（２ｉ２−１）を生成する。これにより、被写体が保有しているＧｂの信号成分を相殺し、第ｋ視点画像ＩｋのＧｂのシェーディング成分を分離することができる。一方、条件式ＧｂＰ（２ｉ２−１）＞ＧｂＰｋ（２ｉ２−１）＞０を満たさない場合、第ｋ視点画像ＩｋのＧｂのシェーディング信号ＧｂＳｋ（２ｉ２−１）を０に設定する。
【０１１３】
同様に、条件式ＢＰ（２ｉ２）＞ＢＰｋ（２ｉ２）＞０を満たす場合、式（５Ｄ）により、Ｂの第ｋ視点画像の射影信号ＢＰｋ（２ｉ２）と、Ｂの撮像画像の射影信号ＢＰ（２ｉ２）との比を取得する。そして、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＢのシェーディング信号ＢＳｋ（２ｉ２）を生成する。これにより、被写体が保有しているＢの信号成分を相殺し、第ｋ視点画像ＩｋのＢのシェーディング成分を分離することができる。一方、条件式ＢＰ（２ｉ２）＞ＢＰｋ（２ｉ２）＞０を満たさない場合、第ｋ視点画像ＩｋのＢのシェーディング信号ＢＳｋ（２ｉ２）を０に設定する。
【０１１４】
シェーディング補正精度を高精度に行うため、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。
【０１１５】
ステップＳ１において、次に画像処理手段１２５ｂは、式（６Ａ）〜（６Ｄ）で表されるような演算処理を行う。これにより、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮＳＦ次の多項式関数とする。また、式（５Ａ）〜（５Ｄ）により生成され、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号をデータ点とする。これらデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（６Ａ）〜（６Ｄ）の各係数ＲＳＣｋ（μ）、ＧｒＳＣｋ（μ）、ＧｂＳＣｋ（μ）、ＢＳＣｋ（μ）を算出する。
【０１１６】
【数６Ａ】
2020191651.tif 000018
【０１１７】
【数６Ｂ】
2020191651.tif 000019
【０１１８】
【数６Ｃ】
2020191651.tif 000020
【０１１９】
【数６Ｄ】
2020191651.tif 000021
【０１２０】
以上により、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を生成する。
【０１２１】
図２０の下段は、撮像画像を基準とした相対的な第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数ＲＳＦ１（Ｒ）、ＧｒＳＦ１（Ｇ）、ＧｂＳＦ１（Ｇ）、ＢＳＦ１（Ｂ）の例を示している。図２０の中段の第１視点画像の射影信号と、図２０の上段の撮影画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮影画像の射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数を分離して生成することができる。なお本実施例では、シェーディング関数として、多項式関数を用いたが、これに限定されるものではなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いてもよい。
【０１２２】
図１７のステップＳ１において、次に画像処理手段１２５ｂは、第ｋ視点画像Ｉｋ（ｊ、ｉ）に対して、式（７Ａ）〜（７Ｄ）により、ＲＧＢ毎のシェーディング関数を用いて、シェーディング（光量）補正処理を行う。これにより、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）が生成される。ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ１Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、以下のように表す。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ１Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ１Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ１Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ１Ｉｋ（２ｊ２、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）を出力画像としてもよい。
【０１２３】
【数７Ａ】
2020191651.tif 000022
【０１２４】
【数７Ｂ】
2020191651.tif 000023
【０１２５】
【数７Ｃ】
2020191651.tif 000024
【０１２６】
【数７Ｄ】
2020191651.tif 000025
【０１２７】
次に、図２１乃至図２３を参照して、図１７のステップＳ１に示される第１視点画像Ｉ１（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理（光量補正処理）の効果について説明する。図２１は、本実施例の撮像画像Ｉ（デモザイキング後）の例を示す。画質品位が良好な撮像画像の例である。図２２は、本実施例のシェーディング補正前の第１視点画像Ｉ１（デモザイキング後）の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ１（ｊ、ｉ）の右側において、輝度の低下とＲＧＢ比の変調が生じている例である。図２３は、本実施例のシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（ｊ、ｉ）が生成される。
【０１２８】
本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。そして、異なる瞳部分領域ごとに、複数の視点画像を生成し、撮像画像に基づいて視点画像を補正する画像処理を行い、出力画像を生成する。本実施例では、撮像画像に基づいて視点画像の色（ＲＧＢ）ごとの光量（シェーディング）を補正する画像処理を行う。本実施例では、撮像画像の射影信号と視点画像の射影信号とに基づいて、視点画像の光量補正を行う画像処理を行う。本実施例の構成により、良好な画質品位の視点画像を生成することができる。
【０１２９】
続いて、図１７のステップＳ２において、画像処理手段１２５ｂは、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。なお本実施例は、ｋ＝１の例を示すが、これに限定されるものではない。
【０１３０】
本実施例では、撮像素子の回路構成や駆動方式により、転送ゲートの短絡などで、撮像画像Ｉは正常であるが、一方、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）のごく一部分に欠陥信号が生じ、点欠陥や線欠陥となる場合がある。必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、画像処理回路１２５などに事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）の欠陥補正処理を行ってもよい。また、必要に応じて、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行ってもよい。
【０１３１】
ここで、本実施例の欠陥補正（図１７のステップＳ２）について説明する。本実施例では、第ｋ視点画像Ｉｋの奇数行２ｊＤ−１または偶数行２ｊＤが、水平方向（ｘ方向）のライン状の線欠陥であると判定された場合であって、撮像画像Ｉの奇数行２ｊＤ−１または偶数行２ｊＤは、線欠陥と判定されていない場合を例として説明する。
【０１３２】
本実施例のステップＳ２の欠陥補正では、正常な撮像画像Ｉを参照画像として、撮像画像Ｉに基づいて、第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。本実施例の欠陥補正では、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ１Ｉｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値と、を比較して欠陥補正を行う。この比較を行う際に、瞳ずれにより生じている第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング成分の影響を取り除き、第ｋ視点画像Ｉｋと撮像画像Ｉとで、被写体が保有しているＲＧＢごとの信号成分を、正確に比較することが、高精度な欠陥補正のために必要である。そのため、予め、ステップＳ１において、第ｋ視点画像のＲＧＢ毎のシェーディング補正（光量補正）を行い、第ｋ視点（第１修正）画像Ｍ１Ｉｋを生成して、撮像画像Ｉと同等のシェーディング状態とし、シェーディング成分の影響を取り除く。その後、ステップＳ２において、シェーディング補正された第ｋ視点（第１修正）画像Ｍ１Ｉｋに対して、撮像画像Ｉに基づき、高精度な欠陥補正を行う。
【０１３３】
図１７のステップＳ２において、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）の一部の欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ１Ｉｋの正常信号とから、欠陥補正処理を行う。そして、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ２Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに以下のように表す。すなわち、Ｒの第ｋ視点（第２修正）画像をＲＭ２Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ２Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ２Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第２修正）画像をＢＭ２Ｉｋ（２ｊ２、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２）とする。
【０１３４】
ステップＳ２において、第ｋ視点（第１修正）画像Ｍ１ＩｋのＲの第１位置（２ｊＤ−１、２ｉＤ−１）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＲＩ（２ｊＤ−１、２ｉＤ−１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ１Ｉｋと、第２位置の撮像画像ＲＩとから、以下の式（８Ａ）により、欠陥補正処理を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＲＭ２Ｉｋ（２ｊＤ−１、２ｉＤ−１）が生成される。
【０１３５】
第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｒの第１位置（２ｊＤ−１、２ｉＤ）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＧｒＩ（２ｊＤ−１、２ｉＤ）と、欠陥と判定されていないＧｂの第２位置の第ｋ視点（第１修正）画像ＧｂＭ１Ｉｋと、第２位置の撮像画像ＧｂＩとから、式（８Ｂ）により、欠陥補正処理を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ２Ｉｋ（２ｊＤ−１、２ｉＤ）を生成することができる。
【０１３６】
第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｂの第１位置（２ｊＤ、２ｉＤ−１）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＧｂＩ（２ｊＤ、２ｉＤ−１）と、欠陥と判定されていないＧｒの第２位置の第ｋ視点（第１修正）画像ＧｒＭ１Ｉｋと、第２位置の撮像画像ＧｒＩとから、式（８Ｃ）により、欠陥補正処理を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｂＭ２Ｉｋ（２ｊＤ、２ｉＤ−１）を生成することができる。
【０１３７】
第ｋ視点（第１修正）画像Ｍ１ＩｋのＢの第１位置（２ｊＤ、２ｉＤ）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＢＩ（２ｊＤ、２ｉＤ）と、欠陥と判定されていないＢの第２位置の第ｋ視点（第１修正）画像ＢＭ１Ｉｋと、第２位置の撮像画像ＢＩとから、式（８Ｄ）により、欠陥補正処理を行を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＢＭ２Ｉｋ（２ｊＤ、２ｉＤ）を生成することができる。
【０１３８】
【数８Ａ】
2020191651.tif 000026
【０１３９】
【数８Ｂ】
2020191651.tif 000027
【０１４０】
【数８Ｃ】
2020191651.tif 000028
【０１４１】
【数８Ｄ】
2020191651.tif 000029
【０１４２】
上記以外の欠陥と判定されていない大部分の位置（ｊ、ｉ）においては、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）は、第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）と同じ信号値で、Ｍ２Ｉｋ（ｊ、ｉ）＝Ｍ１Ｉｋ（ｊ、ｉ）である。必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）を出力画像としてもよい。
【０１４３】
次に、図２４および図２５を参照して、本実施例の図１７のステップＳ２に示される第１視点（第１修正）画像Ｍ１Ｉ１の正常な撮像画像Ｉに基づく欠陥補正の効果について説明する。図２４は、本実施例の欠陥補正前の第１視点（第１修正）画像Ｍ１Ｉ１（シェーディング補正後、デモザイキング後）の例を示す。第１視点（第１修正）画像Ｍ１Ｉ１（ｊ、ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている例である。図２５は、本実施例の欠陥補正後の第１視点（第２修正）画像Ｍ２Ｉ１（シェーディング補正後、デモザイキング後）の例を示す。正常な撮像画像Ｉに基づいた欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好な欠陥補正後の第１視点（第２修正）画像Ｍ２Ｉ１（ｊ、ｉ）が生成される。
【０１４４】
本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。また、異なる瞳部分領域ごとに、複数の視点画像を生成し、撮像画像に基づいて視点画像を補正する画像処理を行い、出力画像を生成する。本実施例では、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における視点画像の信号値を、第１位置における撮像画像の信号値を用いて補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像の信号値と、第２位置における撮像画像の信号値と、に基づいて、第１位置における視点画像の信号値を補正する画像処理を行う。
【０１４５】
本実施例において、画像処理手段１２５ｂは、撮像画像に基づいて視点画像の光量補正処理を行った後、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正処理（画像処理）を行う。このような構成により、良好な画質品位の視点画像を生成することができる。
【０１４６】
図１７のステップＳ２において、次に、画像処理手段１２５ｂは、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）に対して、以下の式（９Ａ）〜（９Ｄ）により、シェーディング処理を行う。これにより、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）が生成される。
【０１４７】
【数９Ａ】
2020191651.tif 000030
【０１４８】
【数９Ｂ】
2020191651.tif 000031
【０１４９】
【数９Ｃ】
2020191651.tif 000032
【０１５０】
【数９Ｄ】
2020191651.tif 000033
【０１５１】
ここで、ベイヤー配列の第ｋ視点（第３修正）画像Ｍ３Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに取得する。Ｒの第ｋ視点（第３修正）画像をＲＭ３Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第３修正）画像をＧｒＭ３Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂの第ｋ視点（第３修正）画像をＧｂＭ３Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第３修正）画像をＢＭ３Ｉｋ（２ｊ２、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２）とする。
【０１５２】
図１８のステップＳ３において、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）とに対して、飽和信号処理を行う。本実施例は、ｋ＝１、ＮＬＦ＝２の例である。
ステップＳ３において、まず、撮像画像Ｉ（ｊ、ｉ）に対して、撮像信号の最大値をＩｍａｘとして、以下の式（１０）に従って飽和信号処理を行い、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。
【０１５３】
【数１０】
2020191651.tif 000034
【０１５４】
ステップＳ３において、次に画像処理回路１２５ｂは、第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）に対して、ベイヤー配列のシェーディング関数をＳＦｋ（ｊ、ｉ）として、以下の式（１１）により、シェーディング状態に合わせた飽和信号処理を行う。これにより、第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｊ、ｉ）を生成することができる。ここで、ベイヤー配列のシェーディング関数ＳＦｋ（ｊ、ｉ）を、式（６Ａ）〜（６Ｄ）により、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに生成されたシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）から求める。すなわち、ＳＦｋ（２ｊ２−１、２ｉ２−１）＝ＲＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２−１、２ｉ２）＝ＧｒＳＦｋ（２ｉ２）、ＳＦｋ（２ｊ２、２ｉ２−１）＝ＧｂＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２、２ｉ２）＝ＢＳＦｋ（２ｉ２）とする。
【０１５５】
【数１１】
2020191651.tif 000035
【０１５６】
図１８のステップＳ４において、画像処理手段１２５ｂは、修正撮像画像ＭＩ（ｊ、ｉ）と、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）とから、式（１２）により、第２視点画像Ｉ２（ｊ、ｉ）を生成する。
【０１５７】
【数１２】
2020191651.tif 000036
【０１５８】
本実施例では、撮像素子１０７の駆動方式やＡ／Ｄ変換の回路構成により、第１視点（第３修正）画像Ｍ３Ｉ１（ｊ、ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。その場合、飽和信号処理を行わずに、式（１２）のように、撮像画像から第１視点（第３修正）画像を減算して第２視点画像を生成すると、第２視点画像において飽和信号値となるべき場合に、誤った信号値０となる場合がある。したがって、これを防止するため、ステップＳ３において、予め、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点（第３修正）画像Ｍ３Ｉｋ（ｊ、ｉ）に対してシェーディング状態に合わせた飽和信号処理を行う。そして、飽和信号処理後の修正撮像画像ＭＩ（ｊ、ｉ）と第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）を生成する。その後、ステップＳ４において、式（１２）により、第２視点画像Ｉ２（ｊ、ｉ）を生成することにより、より正しい飽和信号値に対応した第２視点画像Ｉ２を生成することができる。
【０１５９】
図１８のステップＳ５において、画像処理手段１２５ｂは、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）と、第２視点画像Ｉ２（ｊ、ｉ）に対して、シェーディング補正（光量補正）を行う。具体的には、第１視点（第４修正）画像Ｍ４Ｉ１（ｊ、ｉ）に対して、式（６Ａ）〜（６Ｄ）で生成済みのシェーディング関数ＲＳＦ１、ＧｒＳＦ１、ＧｂＳＦ１、ＢＳＦ１を用いて、式（７Ａ）〜（７Ｄ）と同様に、シェーディング補正（光量補正）を行う。これにより、第１視点（第５修正）画像Ｍ５Ｉ１（ｊ、ｉ）が生成される。ステップＳ５において、次に、画像処理手段１２５ｂは、第２視点画像Ｉ２（ｊ、ｉ）に対して、式（４Ａ）〜（７Ｄ）と同様に、修正撮像画像ＭＩ（ｊ、ｉ）に基づいて、シェーディング補正（光量補正）を行う。これにより、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ、ｉ）が生成される。
【０１６０】
図１８のステップＳ６において、最後に、画像処理手段１２５ｂは、第１視点（第５修正）画像Ｍ５Ｉ１（ｊ、ｉ）と、第２視点（第５修正）画像Ｍ５Ｉ２（ｊ、ｉ）に対して、以下の式（１３）により飽和信号処理を行う。これにより、出力画像である修正第１視点画像ＭＩ１（ｊ、ｉ）と修正第２視点画像ＭＩ２（ｊ、ｉ）とが生成される。
【０１６１】
【数１３】
2020191651.tif 000037
【０１６２】
次に、図２６および図２７を参照して、図１７のステップＳ５に示される、第２視点画像Ｉ２（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理（光量補正処理）の効果について説明する。図２６は、本実施例のシェーディング補正前の第２視点画像Ｉ２（デモザイキング後）の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第２視点画像Ｉ２（ｊ、ｉ）の左側において、輝度の低下とＲＧＢ比の変調が生じている例である。図２７は、本実施例のシェーディング補正後の修正第２視点画像ＭＩ２（デモザイキング後）の例を示す。撮像画像に基づくＲＧＢごとのシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の修正第２視点画像ＭＩ２（ｊ、ｉ）が生成される。
【０１６３】
本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。本実施例の構成によれば、良好な画質品位の視点画像を生成することができる。
【実施例４】
【０１６４】
次に、本発明の実施例４について説明する。本実施例では、実施例３で生成された修正第１視点画像および修正第２視点画像（修正第１視点画像〜修正第ＮＬＦ視点画像）から、修正第１視点画像と修正第２視点画像との相関（信号の一致度）に基づいて、位相差検出方式により像ずれ量分布を検出する。
【０１６５】
像ずれ量分布の生成において、まず、ベイヤー配列のＲＧＢ信号である修正第ｋ視点画像ＭＩｋ（ｋ＝１〜ＮＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させる。そして、第ｋ視点輝度信号Ｙｋを、以下の式（１４）により生成する。
【０１６６】
【数１４】
2020191651.tif 000038
【０１６７】
像ずれ量分布の生成において、次に、ベイヤー配列のＲＧＢ信号である修正第１視点画像ＭＩ１から、式（１４）により生成された第１視点輝度信号Ｙ１に対して、瞳分割方向（列方向）に１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、修正第２視点画像ＭＩ２から、式（１４）により生成された第２視点輝度信号Ｙ２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整してもよい。
【０１６８】
像ずれ量分布の生成において、次に、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出し、相関量に基づいて像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を生成する。位置（ｊ，ｉ）を中心として、行方向ｊ２（−ｎ２≦ｊ２≦ｎ２）番目、瞳分割方向である列方向ｉ２（−ｍ２≦ｉ２≦ｍ２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ２、ｉ＋ｉ２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ２、ｉ＋ｉ２）とする。シフト量をｓ（−ｎｓ≦ｓ≦ｎｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲＥＶＥＮ（ｊ，ｉ、ｓ）を、以下の式（１５Ａ）により算出し、相関量ＣＯＲＯＤＤ（ｊ，ｉ、ｓ）を、以下の式（１５Ｂ）により算出する。
【０１６９】
【数１５Ａ】
2020191651.tif 000039
【０１７０】
【数１５Ｂ】
2020191651.tif 000040
【０１７１】
相関量ＣＯＲＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。相関量ＣＯＲＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を検出する。
【０１７２】
位相差方式の像ずれ量の検出では、式（１５Ａ）および式（１５Ｂ）の相関量を評価し、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）に基づいて、像ずれ量の検出を行う。本実施例では、撮像画像に基づくＲＧＢごとのシェーディング補正（光量補正）が施された修正第１視点画像と修正第２視点画像から、それぞれ、第１焦点検出信号と第２焦点検出信号を生成する。そのため、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が改善され、像ずれ量を高精度に検出することができる。
【０１７３】
自動焦点検出により検出されたデフォーカス量に応じて合焦位置にレンズを駆動する場合、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）に、撮像レンズ（結像光学系）の絞り値Ｆ、射出瞳距離などのレンズ情報に応じた像ずれ量からデフォーカス量への変換係数Ｋを乗算する。これにより、デフォーカス分布ＭＤｅｆ（ｊ，ｉ）を検出することができる。また、上記演算は焦点検出領域の像高位置ごとに行うことが好ましい。
【０１７４】
本実施例によれば、良好な画質品位の複数の視点画像を生成することができる。また、良好な画質品位の複数の視点画像を用いることにより、像ずれ量の検出精度を改善することができる。
【実施例５】
【０１７５】
次に、本発明の実施例５について説明する。本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例である。本実施例では、図１２に例示した画素配列に対応した入力画像（ＬＦデータ）から、式（２）により、画素ごとに、４分割された副画素２０１〜２０４（Ｎｘ×Ｎｙ分割された第１副画素〜第ＮＬＦ副画素）の信号を全て合成する。そして、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。
【０１７６】
また、本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割で、ｋ＝１〜３の例である。図１２に例示した画素配列に対応したＬＦデータ（入力画像）から、式（３）により、画素ごとに、４分割された副画素２０１〜２０４の中から副画素２０１（第１副画素）の信号を選択する。そして、結像光学系の瞳部分領域５０１に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）を生成する。また、ＬＦデータから、式（３）により、画素ごとに、４分割された副画素２０１〜２０４の中から副画素２０２（第２副画素）の信号を選択する。そして、結像光学系の瞳部分領域５０２に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第２視点画像Ｉ２（ｊ、ｉ）を生成する。また、ＬＦデータから、式（３）により、画素ごとに、４分割された副画素２０１〜２０４の中から副画素２０３（第３副画素）の信号を選択する。そして、結像光学系の瞳部分領域５０３に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第３視点画像Ｉ３（ｊ、ｉ）を生成する。
【０１７７】
本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像（ＬＦデータ）から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。また、異なる瞳部分領域ごとに複数の視点画像を生成する。本実施例では、良好な画質品位の各視点画像を生成するため、実施例３と同様に、撮像画像に基づいて、第１視点画像から第４視点画像（第１視点画像〜第ＮＬＦ視点画像）に対して、キズ補正やシェーディング補正等の画像処理を行い、出力画像を生成する。
【０１７８】
図１７のステップＳ１において、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ１から第３視点画像Ｉ３（第ｋ視点画像Ｉｋ：ｋ＝１〜ＮＬＦ−１）のＲＧＢごとのシェーディング補正（光量補正）を行う。本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割で、ｋ＝１〜３の例である。
【０１７９】
ステップＳ１において、まず、第ｋ視点画像Ｉｋ（ｋ＝１〜ＮＬＦ−１）に対して、式（４Ａ）〜（７Ｄ）により、ｘ方向にシェーディング補正処理（光量補正処理）を行う。次に、式（４Ａ）〜（７Ｄ）において、ｘ方向とｙ方向を入れ換え、ｙ方向にシェーディング（光量）補正処理を行い、第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｋ＝１〜ＮＬＦ−１）を生成する。ｘ方向へのシェーディング（光量）補正と、ｙ方向へのシェーディング補正とを２段階に行う場合、式（５Ａ）〜（５Ｄ）の規格化のため瞳分割数ＮＬＦが１回余分となる。そのため、２回目のｙ方向のシェーディング補正では、式（５Ａ）〜（５Ｄ）において、規格化のための瞳分割数ＮＬＦの乗算は省略する。
【０１８０】
式（８Ａ）〜（１０）により、第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｋ＝１〜ＮＬＦ−１）を生成するまでは、実施例３と同様である。図１８のステップＳ４において、修正撮像画像ＭＩ（ｊ、ｉ）と、第ｋ視点（第４修正）画像Ｍ４Ｉｋ（ｋ＝１〜ＮＬＦ−１）から、以下の式（１６）により、第ＮＬＦ視点画像ＩＮＬＦ（ｊ、ｉ）を生成する。本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例である。
【０１８１】
【数１６】
2020191651.tif 000041
【０１８２】
図１８のステップＳ５以降は、実施例３と同様である。
【０１８３】
本実施例によれば、良好な画質品位の視点画像を生成することができる。なお、撮像素子の各画素部における光電変換部については、分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、ＮＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、ＮＬＦ＝１６の１６分割など）が可能である。
【０１８４】
このように各実施例において、画像処理装置（画像処理回路１２５）は、取得手段１２５ａおよび画像処理手段１２５ｂ（補正手段）を有する。取得手段１２５ａは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、一つの光電変換部の信号から生成される視差画像を取得し、複数の光電変換部の複数の信号を合成して生成される撮像画像を取得する。画像処理手段１２５ｂは、撮像画像に基づいて視差画像に含まれる欠陥（点キズや線キズ）を低減するように補正処理を行う。
【０１８５】
好ましくは、画像処理手段１２５ｂは、欠陥と判定された第１位置（補正対象位置）における視差画像の画素値（画素信号）を、第１位置における撮像画像の画素値（画素信号）を用いて補正する。より好ましくは、画像処理手段１２５ｂは、第１位置における撮像画像の画素値Ｉと、欠陥と判定されていない第２位置における視差画像の画素値と、第２位置における撮像画像の画素値とに基づいて、第１位置における視差画像の画素値を補正する。ここで第２位置は、第１位置（補正対象位置）の近傍（周辺）にある画素の位置である。より好ましくは、第２位置は、所定の方向（画素配列の縦方向、横方向、または、斜め方向）において第１位置に隣接する位置である。
【０１８６】
好ましくは、画像処理手段１２５ｂは、第２位置における視差画像または撮像画像の画素値が所定の輝度値（パラメータＡ０、Ｉ０）よりも小さい場合、画素値を所定の輝度値に置き換える。より好ましくは、所定の輝度値は、瞳部分領域の数に応じて変化するように設定される。また好ましくは、所定の輝度値は、第１位置（補正対象位置）に応じて変化するように設定される。また好ましくは、所定の輝度値は、撮影条件情報に応じて変化するように設定される。撮影条件情報は、例えば、ＩＳＯ感度、結像光学系の絞り値、および、射出瞳距離の少なくとも一つを含む。
【０１８７】
好ましくは、画像処理装置は、第１位置に関する欠陥情報を記憶する記憶手段（記憶部１３４）、または、第１位置に関する欠陥情報を検査する検査手段を有する。画像処理手段１２５ｂは、記憶手段に記憶された欠陥情報または検査手段の検査の結果得られた欠陥情報に基づいて補正処理を行う。
【０１８８】
好ましくは、視差画像は、結像光学系の互いに異なる瞳部分領域ごとに、一つの光電変換部に含まれる複数の副画素（複数の第１副画素、複数の第２副画素、複数の第３副画素、または、複数の第４副画素）の受光信号を集めて生成される。撮像画像は、複数の光電変換部に含まれる全ての副画素（複数の第１副画素および複数の第２副画素、必要に応じて更に複数の第３副画素および複数の第４副画素）の受光信号を集めて生成される。
【０１８９】
好ましくは、視差画像は、結像光学系の互いに異なる瞳領域部分を通過する光束のそれぞれに対応する第１視差画像および第２視差画像を含む。そして取得手段１２５ａは、複数の光電変換部を備えた撮像素子１０７から、撮像画像と、視差画像のうち第１視差画像とを取得する。画像処理手段１２５ｂは、視差画像のうち第１視差画像に対して補正処理を行う。そして画像処理手段１２５ｂは、撮像画像から、補正処理後の第１視差画像を減算することにより、第２の視差画像を生成する。また好ましくは、画像処理手段１２５ｂ（リフォーカス手段）は、補正処理後の視差画像に基づいて撮像画像のリフォーカス処理を行う。
【０１９０】
好ましくは、画像処理手段は、撮像画像に基づいて視差画像の光量補正処理（シェーディング補正）を行う。より好ましくは、画像処理手段は、撮像画像に基づいて視差画像の色ごとに視差画像の光量補正処理を行う。また好ましくは、画像処理手段は、撮像画像の射影信号と視差画像の射影信号とに基づいて、視差画像の光量補正処理を行う。また好ましくは、画像処理手段は、視差画像の光量補正処理を行った後、撮像画像に基づいて光量補正処理後の視差画像に含まれる欠陥を低減するように視差画像を補正する。
【０１９１】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１９２】
各実施例によれば、画質の品位を向上させた視差画像を生成可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【０１９３】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１９４】
１２５    画像処理回路（画像処理装置）
１２５ａ  取得手段
１２５ｂ  画像処理手段
【図１】
2020191651.tif 000042
【図２】
2020191651.tif 000043
【図３】
2020191651.tif 000044
【図４】
2020191651.tif 000045
【図５】
2020191651.tif 000046
【図６】
2020191651.tif 000047
【図７】
2020191651.tif 000048
【図８】
2020191651.tif 000049
【図９】
2020191651.tif 000050
【図１０】
2020191651.tif 000051
【図１１】
2020191651.tif 000052
【図１２】
2020191651.tif 000053
【図１３】
2020191651.tif 000054
【図１４】
2020191651.tif 000055
【図１５】
2020191651.tif 000056
【図１６】
2020191651.tif 000057
【図１７】
2020191651.tif 000058
【図１８】
2020191651.tif 000059
【図１９】
2020191651.tif 000060
【図２０】
2020191651.tif 000061
【図２１】
2020191651.tif 000062
【図２２】
2020191651.tif 000063
【図２３】
2020191651.tif 000064
【図２４】
2020191651.tif 000065
【図２５】
2020191651.tif 000066
【図２６】
2020191651.tif 000067
【図２７】
2020191651.tif 000068