(57)【特許請求の範囲】
【請求項１】
第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記第１瞳部分領域と、前記第１瞳部分領域と異なる第２瞳部分領域とを包含する瞳領域に対応する撮像画像とを取得する取得手段と、
前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正手段と、
を備え、
前記補正手段は、
（前記撮像画像の画素群の前記合計値）＞（前記第１画素群の前記合計値）＞０
の場合に、前記第１比率に基づいて前記第１画素のシェーディングを補正する
ことを特徴とする画像処理装置。
【請求項２】
前記第１視点画像及び前記撮像画像の各画素は、複数の色のうちのいずれかに対応し、
前記補正手段は、前記第１画素群の全ての画素が同一の色に対応するように前記第１画素群を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記第１視点画像の所定の画素が有効な値を持たないか、又は、前記所定の画素の位置に対応する前記撮像画像の画素が有効な値を持たない場合、前記所定の画素を前記第１画素群から除外する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記補正手段は、飽和画素及び欠陥画素のうちの少なくとも一方を、前記有効な値を持たない画素と判定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記取得手段は、前記複数の瞳部分領域の前記第２瞳部分領域に対応する第２視点画像を更に取得し、
前記補正手段は、前記第１視点画像の前記第１画素の位置に対応する第２画素を含み前記第２方向に並ぶ前記第２視点画像の第２画素群の合計値と、前記第２画素群の位置に対応する前記撮像画像の画素群の合計値と、の第２比率に基づいて、前記第２画素群の前記第２画素のシェーディングを補正し、
前記画像処理装置は、前記補正手段による補正後に、前記第１視点画像及び前記第２視点画像を用いた画素ずらし超解像処理を行うことにより、前記第１視点画像及び前記第２視点画像よりも解像度の高い画像を生成する生成手段を更に備える
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１瞳部分領域は、前記第１方向に複数に分割されると共に前記第２方向にも複数に分割された前記射出瞳の複数の瞳部分領域のうちの１つであり、
前記補正手段は、前記第１画素を含み前記第１方向に並ぶ前記第１視点画像の第３画素群の合計値と、前記第３画素群の位置に対応する前記撮像画像の画素群の合計値と、の第３比率に更に基づいて、前記第１画素のシェーディングを補正する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像処理装置と、
各々が前記射出瞳の異なる瞳部分領域に対応する光束を受光する複数の副画素を含む画素が複数配列された撮像素子と、
を備えることを特徴とする撮像装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記第１瞳部分領域と、前記第１瞳部分領域と異なる第２瞳部分領域とを包含する瞳領域に対応する撮像画像とを取得する取得工程と、
前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正工程と、
を備え、
前記補正工程では、
（前記撮像画像の画素群の前記合計値）＞（前記第１画素群の前記合計値）＞０
の場合に、前記第１比率に基づいて前記第１画素のシェーディングを補正する
ことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献１に開示された撮像装置は、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部とが形成されている、２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部のそれぞれについて、受光した信号から視点信号が生成される。複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。また、特許文献２には、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。なお、撮影された画像に関する複数の視点信号は、光強度の空間分布及び角度分布の情報であるＬＦ（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データと等価である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭５８−０２４１０５号公報
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び特許文献２に開示されている撮像装置で得られた複数の視点画像の一部の領域において、キズ信号、瞳分割に起因するシェーディング、及び飽和信号などが生じ、視点画像の画質が低下する場合がある。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、視点画像の画質を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記第１瞳部分領域と、前記第１瞳部分領域と異なる第２瞳部分領域とを包含する瞳領域に対応する撮像画像とを取得する取得手段と、前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正手段と、を備え、前記補正手段は、（前記撮像画像の画素群の前記合計値）＞（前記第１画素群の前記合計値）＞０の場合に、前記第１比率に基づいて前記第１画素のシェーディングを補正することを特徴とする画像処理装置を提供する。
【０００７】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００８】
本発明によれば、視点画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置１００の構成を示すブロック図。
【図２】第１の実施形態に係る撮像素子１０７の画素及び副画素の配列の概略図。
【図３】（Ａ）第１の実施形態に係る撮像素子１０７の画素の平面図、（Ｂ）第１の実施形態に係る撮像素子１０７の画素の断面図。
【図４】第１の実施形態に係る撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図。
【図５】（Ａ）マイクロレンズの光軸に平行な断面での光強度分布を示す図、（Ｂ）マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す図。
【図６】光の入射角に依存した受光率分布（瞳強度分布）の例を示す図。
【図７】撮像素子１０７と瞳分割との対応関係を示す図。
【図８】第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係について概略的に示す図。
【図９】撮像画像に基づく視点画像の補正処理のフローチャート。
【図１０】撮像画像に基づく視点画像の補正処理のフローチャート（図９の続き）。
【図１１】第１視点画像と第２視点画像の瞳ずれによるシェーディングについて説明する図。
【図１２】（Ａ）撮像画像の射影信号の例を示す図、（Ｂ）第１視点画像の射影信号の例を示す図、（Ｃ）第１視点画像のシェーディング関数を例示する図。
【図１３】撮像画像Ｉの例を示す図。
【図１４】シェーディング補正前の第１視点画像Ｉ１の例を示す図。
【図１５】シェーディング補正後の第１修正第１視点画像Ｍ１Ｉ１の例を示す図。
【図１６】欠陥補正前の第１修正第１視点画像Ｍ１Ｉ１の例を示す図。
【図１７】欠陥補正後の第２修正第１視点画像Ｍ２Ｉ１の例を示す図。
【図１８】シェーディング補正前の第２視点画像Ｉ２の例を示す図。
【図１９】シェーディング補正後の最終修正第２視点画像ＭＩ２の例を示す図。
【図２０】第３の実施形態に係る撮像素子１０７の画素及び副画素の配列の概略図。
【図２１】（Ａ）第３の実施形態に係る撮像素子１０７の画素の平面図、（Ｂ）第３の実施形態に係る撮像素子１０７の画素の断面図。
【図２２】第３の実施形態に係る撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図。
【図２３】最終修正第１視点画像ＭＩ１（ｊ，ｉ）から最終修正第４視点画像ＭＩ４（ｊ，ｉ）による画素ずらし超解像処理の概要を示す説明図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１１】
以下の各実施形態では、画像処理装置の例としてデジタルカメラ等の撮像装置について説明を行うが、画像処理装置は撮像装置に限定されず、他の種類の画像処理装置（例えば、パーソナルコンピュータなど）であってもよい。
【００１２】
［第１の実施形態］
●撮像装置１００の構成
図１は、撮像装置１００の構成を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う。また、絞り兼用シャッタ１０２は、静止画撮影時には露光秒時調節用シャッタとしての機能も持つ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍動作（ズーム動作）を行う。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路とからなり、撮像光学系の結像面に配置される。
【００１３】
ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。
【００１４】
被写体照明用の電子フラッシュ１１５は、撮影時に使用される。電子フラッシュ１１５としては、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６（オートフォーカス補助光源）は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体又は低コントラストの被写体に対する焦点検出能力が向上する。
【００１５】
撮像装置１００本体の制御部を構成するＣＰＵ１２１（中央演算処理装置）は、種々の制御を司る制御中枢機能を持つ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、及び通信インタフェース回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに従って、撮像装置１００内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。
【００１６】
電子フラッシュ制御回路１２２は、ＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は、ＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、ＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。
【００１７】
フォーカス駆動回路１２６は、ＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は、ＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、ＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。
【００１８】
表示部１３１は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、及び焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、及び撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３は、撮像装置１００本体に対して着脱可能な記録媒体であり、撮影済み画像データ等を記録する。
【００１９】
●撮像素子１０７の構成
図２は、撮像素子１０７の画素及び副画素の配列の概略図である。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向及びｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）としてそれぞれ定義する。図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で、それぞれ示したものである。
【００２０】
本実施形態では、図２に示した２列×２行の画素群２００においては、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上及び左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、各画素は、ｘ方向にＮｘ分割（Ｎｘは自然数）、ｙ方向にＮｙ分割（Ｎｙは自然数）されており、瞳分割数ＮＬＦ＝Ｎｘ×Ｎｙの副画素により構成されている。なお、図２の例においては、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２×１＝２であり、各画素は第１副画素２０１及び第２副画素２０２により構成されている。以下の説明においては、簡略化のために、各画素が図２に示すようにｘ方向に２分割され、ｙ方向には分割されていないものとするが、本実施形態の画素の分割は、図２に示すものに限定されない。以下の説明をＮｘ≧２かつＮｙ≧２の場合に一般化する方法については、第３の実施形態において説明する。
【００２１】
図２に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像画像及び２つの視点画像（視点画像の数は瞳分割数２に対応）を生成するための入力画像を取得可能である。撮像素子１０７では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数ＮＨ＝６０００列、垂直（行方向）画素数ＮＶ＝４０００行、画素数Ｎ＝ＮＨ×ＮＶ＝２４００万画素とする。また、副画素の列方向周期ＰＳを３μｍとし、副画素数ＮＳを水平１２０００列×垂直４０００行＝４８００万画素とする。
【００２２】
図２に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向と定義し、ｚ軸及びｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。また、図３（Ａ）のａ−ａ切断線に沿って−ｙ側から見た場合の断面図を図３（Ｂ）に示す。
【００２３】
図３（Ａ）及び図３（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。また、ｘ方向に２分割、ｙ方向に１分割（分割なし）された、２つの光電変換部（第１光電変換部３０１及び第２光電変換部３０２）が形成されている。第１光電変換部３０１及び第２光電変換部３０２が、それぞれ、第１副画素２０１及び第２副画素２０２に対応する。
【００２４】
第１光電変換部３０１及び第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と、２つに分割されたｎ型層３０１及びｎ型層３０２とから構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして光電変換部を形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１及び第２光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。
【００２５】
画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後に、第１光電変換部３０１及び第２光電変換部３０２により受光される。第１光電変換部３０１及び第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００２６】
図４は、撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を−ｚ方向から見た図と、を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
【００２７】
撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子１０７が配置された面を撮像面とする。
【００２８】
２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２は、マイクロレンズによって、第１光電変換部３０１と第２光電変換部３０２それぞれの受光面と概ね光学的に共役な関係になっている。そして、第１瞳部分領域５０１と第２瞳部分領域５０２は、第１副画素２０１と第２副画素２０２により、それぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。
【００２９】
また、瞳領域５００は、マイクロレンズによって、２×１分割された第１光電変換部３０１と第２光電変換部３０２を全て合わせた受光面と概ね光学的に共役な関係になっている。そして、瞳領域５００は、第１副画素２０１と第２副画素２０２を全て合わせた画素２００Ｇ全体により受光可能な瞳領域である。
【００３０】
図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す図である。図５（Ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す図である。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００３１】
図６に、光の入射角に依存した受光率分布（瞳強度分布）の例を示す。図６において、横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
【００３２】
図７は、撮像素子１０７と瞳分割との対応関係を示す図である。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。撮像素子１０７の各画素において、２×１分割された第１副画素２０１と第２副画素２０２は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布及び角度分布を示すＬＦデータ（入力画像）が取得される。
【００３３】
ＬＦデータに基づき、第１副画素２０１及び第２副画素２０２の信号を画素毎に合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。また、第１副画素２０１と第２副画素２０２の中から選択された特定の副画素の信号を、各画素についてＬＦデータから取得することで、第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、第１副画素２０１の信号を、各画素についてＬＦデータから取得することで、第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する視点画像（第１視点画像）を生成することができる。他の副画素でも同様である。
【００３４】
以上のように、撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。
【００３５】
●デフォーカス量と像ずれ量の関係
撮像素子１０７により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係について、以下に説明する。
【００３６】
図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係について概略的に示す図である。撮像面６００には撮像素子１０７（図８において不図示）が配置され、図４及び図７の場合と同様に、結像光学系の射出瞳４００が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【００３７】
デフォーカス量ｄは、その大きさ｜ｄ｜が、被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面６００にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００３８】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（又は第２瞳部分領域５０２）を通過した光束は、一旦集光した後、光束の重心位置Ｇ１（又はＧ２）を中心として幅Γ１（又はΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素を構成する第１副画素２０１（又は第２副画素２０２）により受光され、第１視点画像（又は第２視点画像）が生成される。よって、第１視点画像（又は第２視点画像）は、撮像面６００上の重心位置Ｇ１（又はＧ２）にて、幅Γ１（又はΓ２）を持った被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（又はΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜は、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは、光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。
【００３９】
従って、本実施形態では、第１視点画像と第２視点画像、又は、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増減する。
【００４０】
●撮像画像に基づく視点画像の補正処理（概要）
本実施形態の撮像装置１００は、撮像画像に基づいて、第１視点画像と第２視点画像に対して、キズ補正やシェーディング補正等の補正処理を行い、出力画像を生成する。以下、撮像素子１０７により取得されたＬＦデータ（入力画像）から、撮像画像に基づいて、第１視点画像と第２視点画像に対して補正処理を行い、出力画像を生成する画像処理方法について、図９及び図１０を参照して説明する。なお、図９及び図１０の各ステップの処理は、特に断らない限り、ＣＰＵ１２１が制御プログラムに従って撮像装置１００の各部を制御することにより実現される。
【００４１】
●撮像画像及び視点画像の取得（Ｓ９０１及びＳ９０２）
最初に、撮像装置１００は、撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域を合成した瞳領域に対応する撮像画像と、第１瞳部分領域５０１に対応する第１視点画像と、を生成する。
【００４２】
Ｓ９０１で、撮像装置１００は、撮像画像を取得する。具体的には、撮像装置１００は、撮像素子１０７を用いた撮像を行うことにより、ＬＦデータを取得する。或いは、撮像装置１００は、予めフラッシュメモリ１３３に保存されているＬＦデータを取得してもよい。そして、撮像装置１００は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に対応数撮像画像を生成する。ここで、ＬＦデータをＬＦと表記する。また、ＬＦの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、第ｋ副画素信号と表記する。ここで、ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ（１≦ｋ≦ＮＬＦ）である。撮像装置１００は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（１）により生成する。
0006700986.tif 000002
【００４３】
本実施形態では、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するために、撮像装置１００は、各副画素信号がＡ／Ｄ変換される前に、撮像素子１０７内の静電容量部（ＦＤ）において、式（１）の各副画素信号の合成を行う。必要に応じて、撮像装置１００は、各副画素信号がＡ／Ｄ変換される前に、撮像素子１０７内の静電容量部（ＦＤ）に蓄積された電荷を電圧信号に変換する際に、式（１）の各副画素信号の合成を行ってもよい。或いは、必要に応じて、撮像装置１００は、各副画素信号がＡ／Ｄ変換された後に、式（１）の各副画素信号の合成を行ってもよい。
【００４４】
なお、以下の説明において、画素位置を厳密に考慮する必要がない場合は、「撮像画像Ｉ（ｊ、ｉ）」の「（ｊ、ｉ）」を省略して単に「撮像画像Ｉ」と記載する場合もある。後述する「第ｋ視点画像Ｉｋ（ｊ、ｉ）」などについても同様である。
【００４５】
前述の通り、本実施形態では、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のｘ方向２分割の例を用いて説明を行う。撮像装置１００は、図２に例示した画素配列に対応したＬＦデータから、画素毎に、第１副画素２０１と第２副画素２０２の信号を合成し、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。
【００４６】
本実施形態では、視点画像の補正処理において撮像画像を補正基準の参照画像として用いるために、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）に対して、ＲＧＢ毎のシェーディング（光量）補正処理、点キズ補正処理などを行う。必要に応じて、撮像装置１００は、その他の処理を行ってもよい。
【００４７】
次に、Ｓ９０２で、撮像装置１００は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（２）により生成する。
0006700986.tif 000003
【００４８】
前述の通り、本実施形態では、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のｘ方向２分割の例を用いて説明を行う。また、ｋ＝１であるものとする。撮像装置１００は、図２に例示した画素配列に対応したＬＦデータから、画素毎に、第１副画素２０１の信号を取得する。即ち、撮像装置１００は、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）を生成する。必要に応じて、撮像装置１００は、ｋ＝２を選択し、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ２（ｊ、ｉ）を生成してもよい。
【００４９】
このように、撮像装置１００は、撮像素子１０７により取得されたＬＦデータから、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）とを生成し、フラッシュメモリ１３３へ保存を行う。本実施形態では、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）と、第１視点画像Ｉ１（ｊ、ｉ）とから、第２視点画像Ｉ２（ｊ、ｉ）を生成する。これにより、撮像画像Ｉ（ｊ、ｉ）に対しては、各画素の光電変換部が分割されていない従来の撮像素子１０７で取得される撮像画像と同様の画像処理を行うことができる。しかしながら、必要に応じて、各視点画像への処理を同等にするために、撮像装置１００は、ＬＦデータから第１視点画像Ｉ１（ｊ、ｉ）と第２視点画像Ｉ２（ｊ、ｉ）とを生成し、フラッシュメモリ１３３に保存してもよい。
【００５０】
●視点画像のシェーディング補正処理（Ｓ９０３乃至Ｓ９０７）
続いて、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ１のＲＧＢ毎のシェーディング（光量）補正を行う。ここで、第１視点画像と第２視点画像の瞳ずれによるシェーディングについて説明する。図１１に、撮像素子１０７の周辺像高における、第１光電変換部３０１が受光する第１瞳部分領域５０１と、第２光電変換部３０２が受光する第２瞳部分領域５０２と、結像光学系の射出瞳４００との関係を示す。図１１において、図４と同一又は同様の要素には同一の符号を付す。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。
【００５１】
図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示す。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね均等に瞳分割される。図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合を示す。この場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ毎に生じる。
【００５２】
本実施形態では、撮像装置１００は、良好な画質の視点画像を生成するために、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ１のＲＧＢ毎のシェーディング（光量）補正を行う。
【００５３】
Ｓ９０３で、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥（非キズ）である有効画素Ｖ１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）の少なくとも一方について飽和又は欠陥である非有効画素は、Ｖ１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶｋ（ｊ、ｉ）＝１とする。
【００５４】
飽和判定について詳細に説明する。撮像信号の飽和判定閾値をＩＳとする。撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定し、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、第ｋ視点画像の飽和判定閾値をＩＳｋとする。撮像装置１００は、第ｋ視点画像Ｉｋ（ｊ、ｉ）＞ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を飽和と判定し、第ｋ視点画像Ｉｋ（ｊ、ｉ）≦ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳｋ≦ＩＳ）である。
【００５５】
なお、有効画素の定義は、「非飽和かつ非欠陥」に限定されない。撮像装置１００は、何らかの基準に従い、撮像画像及び視点画像の両方において有効な値を持つ画素を、有効画素として判定する。画素が有効な値を持つか否かの基準として、例えば、画素が飽和画素であるか否か、及び、画素が欠陥画素であるか否か、のうちの少なくとも一方を使用することができる。
【００５６】
本実施形態の撮像素子１０７は、各画素の第１光電変換部３０１と第２光電変換部３０２のいずれかの光電変換部にて蓄積電荷が飽和した場合に、画素外ではなく、同一画素内の他の光電変換部（副画素）に電荷が漏れこむように構成される。この現象を電荷クロストークと呼ぶ。いずれかの副画素（例：第２副画素）が飽和し、副画素間（例：第２副画素から第１副画素）の電荷クロストークが生じた場合を考える。この場合、電荷の溢れ元の副画素（例：第２副画素）と、電荷の漏れこみ先の副画素（例：第１副画素）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれず、シェーディングの正しい検出に必要な情報が含まれなくなる。
【００５７】
高ＩＳＯの場合に比べて、低ＩＳＯの場合の方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。従って、本実施形態では、飽和画素の検出精度を向上するために、低ＩＳＯでの撮像信号の飽和判定閾値ＩＳが、高ＩＳＯでの撮像信号の飽和判定閾値ＩＳ未満であることが望ましい。また、低ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳｋが、高ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳｋ未満であることが望ましい。
【００５８】
また、結像光学系の射出瞳距離が、第１の所定瞳距離より短く（又は、第２の所定瞳距離より長く）、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれによるシェーディングが生じる場合を考える。この場合、周辺像高で、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなり、電荷クロストークが生じやすい。従って、飽和画素の検出精度向上のため、射出瞳距離が第１の所定瞳距離より短い（又は、第２の所定瞳距離より長い）場合の飽和判定閾値ＩＳが、射出瞳距離が第１の所定瞳距離以上かつ第２の所定瞳距離以下の場合の飽和判定閾値ＩＳ未満であることが望ましい。また、射出瞳距離が第１の所定瞳距離より短い（又は、第２の所定瞳距離より長い）場合の第ｋ視点画像の飽和判定閾値ＩＳｋが、射出瞳距離が第１の所定瞳距離以上かつ第２の所定瞳距離以下の場合の飽和判定閾値ＩＳｋ未満であることが望ましい。
【００５９】
次に、Ｓ９０４及びＳ９０５で、撮像装置１００は、撮像画像及び第１視点画像について、色別に射影処理を行う。ここで、整数ｊ２（１≦ｊ２≦ＮＶ／２）、ｉ２（１≦ｉ２≦ＮＨ／２）とする。図２に例示したベイヤー配列に対応する撮像画像ＩのＲ成分をＲＩ（２ｊ２−１、２ｉ２−１）＝Ｉ（２ｊ２−１、２ｉ２−１）、Ｇｒ成分をＧｒＩ（２ｊ２−１、２ｉ２）＝Ｉ（２ｊ２−１、２ｉ２）とする。また、Ｇｂ成分をＧｂＩ（２ｊ２、２ｉ２−１）＝Ｉ（２ｊ２、２ｉ２−１）、Ｂ成分をＢＩ（２ｊ２、２ｉ２）＝Ｉ（２ｊ２、２ｉ２）とする。
【００６０】
同様に、図２に例示したベイヤー配列に対応する第ｋ視点画像ＩｋのＲ成分をＲＩｋ（２ｊ２−１、２ｉ２−１）＝Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒ成分をＧｒＩｋ（２ｊ２−１、２ｉ２）＝Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂ成分をＧｂＩｋ（２ｊ２、２ｉ２−１）＝Ｉｋ（２ｊ２、２ｉ２−１）、Ｂ成分をＢＩｋ（２ｊ２、２ｉ２）＝Ｉｋ（２ｊ２、２ｉ２）とする。
【００６１】
Ｓ９０４で、撮像装置１００は、撮像画像のＲＩ（２ｊ２−１、２ｉ２−１）、ＧｒＩ（２ｊ２−１、２ｉ２）、ＧｂＩ（２ｊ２、２ｉ２−１）、ＢＩ（２ｊ２、２ｉ２）について、射影処理を行う。撮像装置１００は、式（３Ａ）から式（３Ｄ）に従い、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。その結果、撮像画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）が生成される。飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、射影処理においては、撮像画像と有効画素Ｖｋとの積を取ることにより、飽和信号値や欠陥信号値が除外される（式（３Ａ）から式（３Ｄ）の上段の分子）。そして、射影処理に用いられた有効画素数で規格化が行われる（式（３Ａ）から式（３Ｄ）の上段の分母）。射影処理に用いられた有効画素数が０の場合、式（３Ａ）から式（３Ｄ）の下段により、撮像画像の射影信号は０に設定される。更に、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号は０に設定される。
0006700986.tif 000004
0006700986.tif 000005
0006700986.tif 000006
0006700986.tif 000007
【００６２】
同様に、Ｓ９０５で、撮像装置１００は、第ｋ視点画像のＲＩｋ（２ｊ２−１、２ｉ２−１）、ＧｒＩｋ（２ｊ２−１、２ｉ２）、ＧｂＩｋ（２ｊ２、２ｉ２−１）、ＢＩｋ（２ｊ２、２ｉ２）について、射影処理を行う。撮像装置１００は、式（３Ｅ）から式（３Ｈ）に従い、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。その結果、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）が生成される。
0006700986.tif 000008
0006700986.tif 000009
0006700986.tif 000010
0006700986.tif 000011
【００６３】
式（３Ａ）から式（３Ｄ）から理解できるように、Ｓ９０４の射影処理は、瞳分割方向に直交する方向に並ぶ撮像画像Ｉの画素群（非有効画素を除く）の合計値を算出する処理である。合計値の算出は、色毎に行われ（即ち、画素群は、全画素が同一の色に対応するように決定され）、合計値は、正規化のために有効画素の数で除算される。また、式（３Ｅ）から式（３Ｈ）から理解できるように、Ｓ９０５の射影処理は、瞳分割方向に直交する方向に並ぶ第１視点画像Ｉ１の画素群（非有効画素を除く）の合計値を算出する処理である。合計値の算出は、色毎に行われ（即ち、画素群は、全画素が同一の色に対応するように決定され）、合計値は、正規化のために有効画素の数で除算される。
【００６４】
式（３Ａ）から式（３Ｄ）の射影処理後、撮像装置１００は、平滑化のために、撮像画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）に、ローパスフィルタ処理を行う。同様に、式（３Ｅ）から式（３Ｈ）の射影処理後、撮像装置１００は、平滑化のために、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）に、ローパスフィルタ処理を行う。しかしながら、ローパスフィルタ処理は省略してもよい。
【００６５】
図１２（Ａ）に、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を、図１２（Ｂ）に、第１視点画像の射影信号ＲＰ１（Ｒ）、ＧｒＰ１（Ｇ）、ＧｂＰ１（Ｇ）、ＢＰ１（Ｂ）の例を示す。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ１のシェーディング（光量）補正を高精度に行うためには、瞳ずれにより生じている第１視点画像Ｉ１のＲＧＢ毎のシェーディング成分と、被写体が保有しているＲＧＢ毎の信号成分と、を分離する必要がある。
【００６６】
この分離のために、Ｓ９０６で、撮像装置１００は、撮像画像Ｉを基準とした相対的な、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング信号ＲＳｋ（２ｉ２−１）、ＧｒＳｋ（２ｉ２）、ＧｂＳｋ（２ｉ２−１）、ＢＳｋ（２ｉ２）を算出する。この算出は、式（４Ａ）から式（４Ｄ）に従って行われる。
0006700986.tif 000012
0006700986.tif 000013
0006700986.tif 000014
0006700986.tif 000015
【００６７】
ここで、画素の受光量は、副画素の受光量より大きい必要があり、また、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、撮像装置１００は、式（４Ａ）に従い、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たす場合、第ｋ視点画像のＲ成分の射影信号ＲＰｋ（２ｉ２−１）と、撮像画像のＲ成分の射影信号ＲＰ（２ｉ２−１）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＲ成分のシェーディング信号ＲＳｋ（２ｉ２−１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像ＩｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像ＩｋのＲ成分のシェーディング信号ＲＳｋ（２ｉ２−１）を０に設定する。
【００６８】
同様に、撮像装置１００は、式（４Ｂ）に従い、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たす場合、第ｋ視点画像のＧｒ成分の射影信号ＧｒＰｋ（２ｉ２）と、撮像画像のＧｒ成分の射影信号ＧｒＰ（２ｉ２）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｒ成分のシェーディング信号ＧｒＳｋ（２ｉ２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像ＩｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像ＩｋのＧｒ成分のシェーディング信号ＧｒＳｋ（２ｉ２）を０に設定する。
【００６９】
同様に、撮像装置１００は、式（４Ｃ）に従い、条件式ＧｂＰ（２ｉ２−１）＞ＧｂＰｋ（２ｉ２−１）＞０を満たす場合、第ｋ視点画像のＧｂ成分の射影信号ＧｂＰｋ（２ｉ２−１）と、撮像画像のＧｂ成分の射影信号ＧｂＰ（２ｉ２−１）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｂ成分のシェーディング信号ＧｂＳｋ（２ｉ２−１）を生成する。これにより、被写体が保有しているＧｂの信号成分を相殺し、第ｋ視点画像ＩｋのＧｂのシェーディング成分を分離することができる。一方、条件式ＧｂＰ（２ｉ２−１）＞ＧｂＰｋ（２ｉ２−１）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像ＩｋのＧｂ成分のシェーディング信号ＧｂＳｋ（２ｉ２−１）を０に設定する。
【００７０】
同様に、撮像装置１００は、式（４Ｄ）に従い、条件式ＢＰ（２ｉ２）＞ＢＰｋ（２ｉ２）＞０を満たす場合、第ｋ視点画像のＢ成分の射影信号ＢＰｋ（２ｉ２）と、撮像画像のＢ成分の射影信号ＢＰ（２ｉ２）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＢ成分のシェーディング信号ＢＳｋ（２ｉ２）を生成する。これにより、被写体が保有しているＢの信号成分を相殺し、第ｋ視点画像ＩｋのＢのシェーディング成分を分離することができる。一方、条件式ＢＰ（２ｉ２）＞ＢＰｋ（２ｉ２）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像ＩｋのＢ成分のシェーディング信号ＢＳｋ（２ｉ２）を０に設定する。
【００７１】
なお、シェーディング補正を高精度に行うためには、有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。即ち、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。
【００７２】
式（４Ａ）から式（４Ｄ）から理解できるように、シェーディング信号は、瞳分割方向に直交する方向に並ぶ第１視点画像Ｉ１の画素群の合計値と、これに対応する位置の撮像画像の画素群の合計値との比率に関係する値である。
【００７３】
シェーディング信号の生成に続いて、撮像装置１００は、式（５Ａ）から式（５Ｄ）に従い、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮＳＦ次の多項式関数とする。また、撮像装置１００は、式（４Ａ）から式（４Ｄ）により生成された、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号を、データ点とする。撮像装置１００は、これらのデータ点を用いて最小二乗法によるパラメータフィッティングを行い、式（５Ａ）から式（５Ｄ）の各係数ＲＳＣｋ（μ）、ＧｒＳＣｋ（μ）、ＧｂＳＣｋ（μ）、ＢＳＣｋ（μ）を算出する。以上により、撮像画像を基準とした相対的な、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）が生成される。
0006700986.tif 000016
0006700986.tif 000017
0006700986.tif 000018
0006700986.tif 000019
【００７４】
ここで、シェーディング関数ＲＳＦｋ、ＧｒＳＦｋ、ＧｂＳＦｋ、ＢＳＦｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦｋ］、Ｒ［ＧｒＳＦｋ］、Ｒ［ＧｂＳＦｋ］、Ｒ［ＢＳＦｋ］とする。所定許容値をε（０＜ε＜１）とする。撮像装置１００は、１−ε≦ＲＳＦｋ＋Ｒ［ＲＳＦｋ］≦１＋ε、１−ε≦ＧｒＳＦｋ＋Ｒ［ＧｒＳＦｋ］≦１＋ε、１−ε≦ＧｂＳＦｋ＋Ｒ［ＧｂＳＦｋ］≦１＋ε、１−ε≦ＢＳＦｋ＋Ｒ［ＢＳＦｋ］≦１＋εの各条件式が、各位置で全て満たされるか判定する。各条件式が各位置で全て満たされる場合、撮像装置１００は、生成されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）に従うシェーディング補正処理（後述）を行う。そうでない場合、撮像装置１００は、生成されたシェーディング関数は不適正であると判定し、ＲＳＦｋ≡１、ＧｒＳＦｋ≡１、ＧｂＳＦｋ≡１、ＢＳＦｋ≡１とし、必要に応じて、例外処理を行う。
【００７５】
図１２（Ｃ）に、撮像画像Ｉを基準とした相対的な、第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数ＲＳＦ１（Ｒ）、ＧｒＳＦ１（Ｇ）、ＧｂＳＦ１（Ｇ）、ＢＳＦ１（Ｂ）の例を示す。図１２（Ｂ）の第１視点画像Ｉ１の射影信号と、図１２（Ａ）の撮像画像Ｉの射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像Ｉ１の射影信号と撮像画像Ｉの射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺することができる。これにより、滑らかな第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数を分離して生成することができる。
【００７６】
なお、本実施形態では、シェーディング関数として多項式関数を用いたが、これに限定されることはなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いてもよい。
【００７７】
次に、Ｓ９０７で、撮像装置１００は、ＲＧＢ毎のシェーディング関数を用いて、第ｋ視点画像Ｉｋ（ｊ、ｉ）に対してシェーディング（光量）補正処理を行い、第１修正第ｋ視点画像Ｍ１Ｉｋ（ｊ、ｉ）を生成する。シェーディング補正処理は、式（６Ａ）から式（６Ｄ）に従って行われる。ここで、ベイヤー配列の第１修正第ｋ視点画像Ｍ１ＩｋのＲ成分をＲＭ１Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒ成分をＧｒＭ１Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂ成分をＧｂＭ１Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２−１）、Ｂ成分をＢＭ１Ｉｋ（２ｊ２、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２）とする。
0006700986.tif 000020
0006700986.tif 000021
0006700986.tif 000022
0006700986.tif 000023
【００７８】
本実施形態では、撮像装置１００は、撮像画像と視点画像に基づき、撮像画像の被写体による信号変化と、視点画像の被写体による信号変化と、を相殺して、ＲＧＢ毎のシェーディング関数を算出する。そして、撮像装置１００は、シェーディング関数の逆数により、ＲＧＢ毎のシェーディング補正量（光量補正量）を算出する。そして、撮像装置１００は、算出したシェーディング補正量（光量補正量）に基づき、視点画像のシェーディング（光量）補正処理を行う。
【００７９】
本実施形態においては、瞳分割方向に直交する方向に並ぶ第１視点画像Ｉ１の画素群の合計値と、これに対応する位置の撮像画像の画素群の合計値との比率を利用することにより、被写体による信号変化が相殺される。瞳分割方向に直交する方向の合計値を利用することにより、瞳分割方向の視差情報が失われることを抑制しつつ、被写体による信号変化を相殺することができる。
【００８０】
以下、図１３から図１５を参照して、図９のＳ９０３乃至Ｓ９０７に示した第１視点画像Ｉ１のＲＧＢ毎のシェーディング（光量）補正処理の効果を説明する。図１３は、撮像画像Ｉ（デモザイキング後）の例を示す。これは、画質が良好な撮像画像の例である。図１４は、シェーディング補正前の第１視点画像Ｉ１（デモザイキング後）の例を示す。これは、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれによりＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ１の右側において輝度の低下とＲＧＢ比の変調が生じている例である。図１５は、本実施形態のシェーディング補正後の第１修正第１視点画像Ｍ１Ｉ１（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調とが修正され、撮像画像Ｉと同様に画質が良好な、シェーディング補正後の第１修正第１視点画像Ｍ１Ｉ１が生成されている。
【００８１】
以上の処理により生成された第１修正第ｋ視点画像Ｍ１Ｉｋは、次に説明するキズ補正処理に用いられる。しかしながら、必要に応じて、撮像装置１００は、第１修正第ｋ視点画像Ｍ１Ｉｋを出力画像としてフラッシュメモリ１３３に格納するなどしてもよい。
【００８２】
●視点画像のキズ補正処理（Ｓ９０８）
Ｓ９０８で、撮像装置１００は、撮像画像Ｉに基づいて、第１修正第ｋ視点画像Ｍ１Ｉｋの欠陥補正（キズ補正）を行う。前述の通り、ｋ＝１であるものとして説明を行う。本実施形態では、撮像素子１０７の回路構成や駆動方式により、転送ゲートの短絡などが原因で、撮像画像Ｉは正常である一方、第１視点画像Ｉ１の一部分に欠陥信号が生じ、点欠陥や線欠陥となる場合がある。必要に応じて、撮像装置１００は、量産工程等で検査された点欠陥情報や線欠陥情報を、画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第１視点画像Ｉ１の欠陥補正処理を行ってもよい。また、必要に応じて、撮像装置１００は、第１視点画像Ｉ１をリアルタイムに検査して点欠陥判定や線欠陥判定を行ってもよい。
【００８３】
第ｋ視点画像Ｉｋの奇数行２ｊＤ−１又は偶数行２ｊＤが水平方向（ｘ方向）の線欠陥であると判定され、撮像画像Ｉの奇数行２ｊＤ−１又は偶数行２ｊＤは線欠陥と判定されていない場合を例として、Ｓ９０８の欠陥補正を説明する。
【００８４】
撮像装置１００は、正常な撮像画像Ｉを参照画像として、撮像画像Ｉに基づいて、第１修正第ｋ視点画像Ｍ１Ｉｋの欠陥補正を行う。本実施形態の欠陥補正では、欠陥と判定されていない位置の第１修正第ｋ視点画像Ｍ１Ｉｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値と、を比較して欠陥補正を行う。この比較を行う際に、瞳ずれにより生じている第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング成分の影響が取り除かれていることが、精度向上のために重要である。なぜなら、第ｋ視点画像Ｉｋと撮像画像Ｉとで、被写体が保有しているＲＧＢ毎の信号成分を正確に比較することが高精度な欠陥補正のために必要であるからである。そのため、欠陥補正においては、（第ｋ視点画像Ｉｋではなく）第１修正第ｋ視点画像Ｍ１Ｉｋが用いられる。
【００８５】
撮像装置１００は、第１修正第ｋ視点画像Ｍ１Ｉｋ（ｊ、ｉ）の欠陥信号に対して、撮像画像Ｉの正常信号と、第１修正第ｋ視点画像Ｍ１Ｉｋの正常信号とを用いて、欠陥補正処理を行う。欠陥補正後の第ｋ視点画像を、第２修正第ｋ視点画像Ｍ２Ｉｋ（ｊ、ｉ）と表記する。欠陥補正は、式（７Ａ）から式（７Ｄ）に従って行われる。ここで、ベイヤー配列の第２修正第ｋ視点画像Ｍ２ＩｋのＲ成分をＲＭ２Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒ成分をＧｒＭ２Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂ成分をＧｂＭ２Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２−１）、Ｂ成分をＢＭ２Ｉｋ（２ｊ２、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２）とする。
0006700986.tif 000024
0006700986.tif 000025
0006700986.tif 000026
0006700986.tif 000027
【００８６】
第１修正第ｋ視点画像Ｍ１ＩｋのＲ成分の第１位置（２ｊＤ−１、２ｉＤ−１）が欠陥と判定された場合、撮像装置１００は式（７Ａ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＲＭ２Ｉｋ（２ｊＤ−１、２ｉＤ−１）を生成する。式（７Ａ）において、τ及びσの値は、Ｒ成分の第１修正第ｋ視点画像ＲＭ１Ｉｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。
【００８７】
同様に、第１修正第ｋ視点画像Ｍ１ＩｋのＧｒ成分の第１位置（２ｊＤ−１、２ｉＤ）が欠陥と判定された場合、撮像装置１００は式（７Ｂ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＧｒＭ２Ｉｋ（２ｊＤ−１、２ｉＤ）を生成する。式（７Ｂ）において、τ及びσの値は、Ｇｒ成分の第１修正第ｋ視点画像ＧｒＭ１Ｉｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。
【００８８】
同様に、第１修正第ｋ視点画像Ｍ１ＩｋのＧｂ成分の第１位置（２ｊＤ、２ｉＤ−１）が欠陥と判定された場合、撮像装置１００は式（７Ｃ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＧｂＭ２Ｉｋ（２ｊＤ、２ｉＤ−１）を生成する。式（７Ｃ）において、τ及びσの値は、Ｇｂ成分の第１修正第ｋ視点画像ＧｂＭ１Ｉｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。
【００８９】
同様に、第１修正第ｋ視点画像Ｍ１ＩｋのＢ成分の第１位置（２ｊＤ、２ｉＤ）が欠陥と判定された場合、撮像装置１００は式（７Ｄ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＢＭ２Ｉｋ（２ｊＤ、２ｉＤ）を生成する。式（７Ｄ）において、τ及びσの値は、Ｇｂ成分の第１修正第ｋ視点画像ＧｂＭ１Ｉｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。
【００９０】
第１修正第ｋ視点画像Ｍ１Ｉｋにおいて欠陥と判定されていない位置（ｊ、ｉ）については、第２修正第ｋ視点画像Ｍ２Ｉｋ（ｊ、ｉ）は、第１修正第ｋ視点画像Ｍ１Ｉｋ（ｊ、ｉ）と同じ信号値である。即ち、Ｍ２Ｉｋ（ｊ、ｉ）＝Ｍ１Ｉｋ（ｊ、ｉ）である。
【００９１】
以下、図１６及び図１７を参照して、Ｓ９０８に示した第１修正第１視点画像Ｍ１Ｉ１の欠陥補正処理の効果を説明する。図１６は、欠陥補正前の第１修正第１視点画像Ｍ１Ｉ１（シェーディング補正後、デモザイキング後）の例を示す。これは、第１修正第１視点画像Ｍ１Ｉ１の中央部に、水平方向（ｘ方向）のライン状の欠陥（線欠陥）が生じている例である。図１７は、欠陥補正後の第２修正第１視点画像Ｍ２Ｉ１（シェーディング補正後、デモザイキング後）の例を示す。正常な撮像画像Ｉに基づいた欠陥補正により、水平方向（ｘ方向）の線欠陥が修正され、撮像画像Ｉと同様に画質が良好な、欠陥補正後の第２修正第１視点画像Ｍ２Ｉ１が生成されている。
【００９２】
以上の処理により生成された第２修正第ｋ視点画像Ｍ２Ｉｋは、次に説明する再シェーディング処理に用いられる。しかしながら、必要に応じて、撮像装置１００は、第２修正第ｋ視点画像Ｍ２Ｉｋを出力画像としてフラッシュメモリ１３３に格納するなどしてもよい。
【００９３】
●視点画像の再シェーディング処理（Ｓ９０９）
Ｓ９０９で、撮像装置１００は、欠陥補正後の第２修正第ｋ視点画像Ｍ２Ｉｋ（ｊ、ｉ）に対して、式（８Ａ）から式（８Ｄ）に従って再シェーディング処理を行い、第３修正第ｋ視点画像Ｍ３Ｉｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第３修正第ｋ視点画像Ｍ３ＩｋのＲ成分をＲＭ３Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒ成分をＧｒＭ３Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２−１、２ｉ２）とする。また、Ｇｂ成分をＧｂＭ３Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２−１）、Ｂ成分をＢＭ３Ｉｋ（２ｊ２、２ｉ２）＝Ｍ３Ｉｋ（２ｊ２、２ｉ２）とする。
0006700986.tif 000028
0006700986.tif 000029
0006700986.tif 000030
0006700986.tif 000031
【００９４】
●撮像画像及び視点画像の飽和信号処理（Ｓ９１０及びＳ９１１）
次に、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）と、第３修正第ｋ視点画像Ｍ３Ｉｋ（ｊ、ｉ）に対して、飽和信号処理を行う。引き続き、ｋ＝１、ＮＬＦ＝２の例について説明を行う。
【００９５】
Ｓ９１０で、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）に対して、撮像信号の最大値をＩｍａｘとして、式（９）に従って飽和信号処理を行い、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。
0006700986.tif 000032
【００９６】
Ｓ９１１で、撮像装置１００は、第３修正第ｋ視点画像Ｍ３Ｉｋ（ｊ、ｉ）に対して、式（１０）に従ってシェーディング状態に合わせた飽和信号処理を行い、第４修正第ｋ視点画像Ｍ４Ｉｋ（ｊ、ｉ）を生成する。式（１０）において、ＳＦｋ（ｊ、ｉ）は、式（５Ａ）から式（５Ｄ）により求められたベイヤー配列のシェーディング関数であり、ＳＦｋ（２ｊ２−１、２ｉ２−１）＝ＲＳＦｋ（２ｉ２−１）である。また、ＳＦｋ（２ｊ２−１、２ｉ２）＝ＧｒＳＦｋ（２ｉ２）、ＳＦｋ（２ｊ２、２ｉ２−１）＝ＧｂＳＦｋ（２ｉ２−１）、ＳＦｋ（２ｊ２、２ｉ２）＝ＢＳＦｋ（２ｉ２）である。
0006700986.tif 000033
【００９７】
●第２視点画像の生成処理（Ｓ９１２）
Ｓ９１２で、撮像装置１００は、式（１１）に従い、修正撮像画像ＭＩ（ｊ、ｉ）及び第４修正第１視点画像Ｍ４Ｉ１（ｊ、ｉ）から、第２視点画像Ｉ２（ｊ、ｉ）を生成する。
0006700986.tif 000034
【００９８】
本実施形態では、撮像素子１０７の駆動方式やＡ／Ｄ変換の回路構成により、第３修正第１視点画像Ｍ３Ｉ１（ｊ、ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。その場合に、仮に飽和信号処理を行わずに、式（１１）のように撮像画像Ｉから第３修正第１視点画像Ｍ３Ｉ１を減算して第２視点画像Ｉ２を生成した場合を考える。この仮定において、第２視点画像Ｉ２において飽和信号値となるべき場合に、誤った信号値０となってしまう場合がある。この問題を防止するために、本実施形態では、撮像装置１００は予めＳ９１０及びＳ９１１において、撮像画像Ｉと第３修正第ｋ視点画像Ｍ３Ｉｋに対してシェーディング状態に合わせた飽和信号処理を行っている。そして、撮像装置１００は、飽和信号処理により修正撮像画像ＭＩ及び第４修正第１視点画像Ｍ４Ｉ１が生成された後に、Ｓ９１２で、式（１１）に従って第２視点画像Ｉ２を生成している。これにより、より正しい飽和信号値に対応した第２視点画像Ｉ２を生成することができる。
【００９９】
●第１視点画像及び第２視点画像のシェーディング補正処理（Ｓ９１３乃至Ｓ９１５）
次に、撮像装置１００は、第４修正第１視点画像Ｍ４Ｉ１（ｊ、ｉ）と、第２視点画像Ｉ２（ｊ、ｉ）に対して、シェーディング（光量）補正を行う。
【０１００】
Ｓ９１３で、撮像装置１００は、Ｓ９０７と同様に（式（６Ａ）から式（６Ｄ）参照）、第４修正第１視点画像Ｍ４Ｉ１に対してシェーディング（光量）補正処理を行い、第５修正第１視点画像Ｍ５Ｉ１を生成する。この時、撮像装置１００は、シェーディング関数ＲＳＦ１、ＧｒＳＦ１、ＧｂＳＦ１、ＢＳＦ１として、Ｓ９０６において生成済みのものを用いる。
【０１０１】
Ｓ９１４で、撮像装置１００は、Ｓ９０３乃至Ｓ９０６と同様に（式（３Ａ）から式（５Ｄ）参照）、第２視点画像Ｉ２のシェーディング関数ＲＳＦ２、ＧｒＳＦ２、ＧｂＳＦ２、ＢＳＦ２を生成する。Ｓ９１５で、撮像装置１００は、Ｓ９０７と同様に（式（６Ａ）から式（６Ｄ）参照）、第２視点画像Ｉ２に対して、Ｓ９１４において生成したシェーディング関数を用いたシェーディング（光量）補正処理を行い、第５修正第２視点画像Ｍ５Ｉ２を生成する。
【０１０２】
●第１視点画像及び第２視点画像の飽和信号処理（Ｓ９１６及びＳ９１７）
Ｓ９１６で、撮像装置１００は、第５修正第１視点画像Ｍ５Ｉ１（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、出力画像である最終修正第１視点画像ＭＩ１（ｊ、ｉ）を生成する。ここで、第ｋ視点画像の最大値Ｉｍａｘ／ＮＬＦと、第ｋ視点画像の飽和判定閾値ＩＳｋは、Ｉｍａｘ／ＮＬＦ≧ＩＳｋを満たす。同様に、Ｓ９１７で、撮像装置１００は、第５修正第２視点画像Ｍ５Ｉ２（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、出力画像である最終修正第２視点画像ＭＩ２（ｊ、ｉ）を生成する。なお、「最終」修正という用語は便宜上のものであり、これ以降に更に何らかの修正を行うことを禁止することを意味する訳ではない。
0006700986.tif 000035
【０１０３】
以下、図１８及び図１９を参照して、図９のＳ９１４及びＳ９１５に示した第２視点画像Ｉ２のＲＧＢ毎のシェーディング（光量）補正処理の効果を説明する。図１８は、シェーディング補正前の第２視点画像Ｉ２（デモザイキング後）の例を示す。これは、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれによりＲＧＢ毎のシェーディングが生じ、そのため、第２視点画像Ｉ２の左側において輝度の低下とＲＧＢ比の変調が生じている例である。図１９は、本実施形態のシェーディング補正後の最終修正第２視点画像ＭＩ２（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調とが修正され、撮像画像Ｉと同様に画質が良好な、シェーディング補正後の最終修正第２視点画像ＭＩ２（ｊ、ｉ）が生成されている。
【０１０４】
以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像画像を用いて視点画像の補正処理を行う。これにより、視点画像の画質を向上させることが可能となる。
【０１０５】
［第２の実施形態］
第２の実施形態では、第１の実施形態で生成された最終修正第１視点画像及び最終修正第２視点画像から、最終修正第１視点画像と最終修正第２視点画像の相関（信号の一致度）に基づき、位相差方式により像ずれ量分布を検出する処理について説明する。本実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【０１０６】
最初に、撮像装置１００は、式（１３）に従い、ベイヤー配列のＲＧＢ信号である最終修正第ｋ視点画像ＭＩｋから、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙｋを生成する。
0006700986.tif 000036
【０１０７】
次に、撮像装置１００は、最終修正第１視点画像ＭＩ１から生成された第１視点輝度信号Ｙ１に対して、瞳分割方向（ｘ方向）に１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、撮像装置１００は、最終修正第２視点画像ＭＩ２から生成された第２視点輝度信号Ｙ２に対して、瞳分割方向（ｘ方向）に１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整しても良い。
【０１０８】
次に、撮像装置１００は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（ｘ方向）にシフトさせて、信号の一致度を表す相関量を算出し、相関量に基づいて像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を生成する。ここで、位置（ｊ，ｉ）を中心として、行方向ｊ２（−ｎ２≦ｊ２≦ｎ２）番目、瞳分割方向である列方向ｉ２（−ｍ２≦ｉ２≦ｍ２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ２、ｉ＋ｉ２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ２、ｉ＋ｉ２）とする。撮像装置１００は、シフト量をｓ（−ｎｓ≦ｓ≦ｎｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲＥＶＥＮ（ｊ，ｉ，ｓ）を式（１４Ａ）に従って算出し、相関量ＣＯＲＯＤＤ（ｊ，ｉ，ｓ）を式（１４Ｂ）に従って算出する。
0006700986.tif 000037
0006700986.tif 000038
【０１０９】
相関量ＣＯＲＯＤＤ（ｊ，ｉ，ｓ）は、相関量ＣＯＲＥＶＥＮ（ｊ，ｉ，ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトした相関量である。
【０１１０】
撮像装置１００は、相関量ＣＯＲＥＶＥＮ（ｊ，ｉ，ｓ）と相関量ＣＯＲＯＤＤ（ｊ，ｉ，ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）を検出する。
【０１１１】
位相差方式の像ずれ量の検出を行う場合、撮像装置１００は、式（１４Ａ）及び式（１４Ｂ）の相関量を評価し、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）に基づいて、像ずれ量の検出を行う。本実施形態では、撮像装置１００は、撮像画像に基づいてＲＧＢ毎のシェーディング（光量）補正が施された最終修正第１視点画像と最終修正第２視点画像から、それぞれ、第１焦点検出信号と第２焦点検出信号を生成する。そのため、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が改善され、像ずれ量を高精度に検出することができる。
【０１１２】
自動焦点検出を行い、検出されたデフォーカス量に応じて合焦位置にレンズを駆動する場合などは、撮像装置１００は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）に対して、焦点検出領域の像高位置毎に、撮像レンズ（結像光学系）の絞り値Ｆと、射出瞳距離などのレンズ情報に応じた像ずれ量からデフォーカス量への変換係数Ｋとを乗算し、デフォーカス分布ＭＤｅｆ（ｊ，ｉ）を検出する。
【０１１３】
［第３の実施形態］
第１の実施形態においては、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２×１＝２であるものとして説明を行ったが、第３の実施形態では、Ｎｘ≧２、Ｎｙ≧２、ＮＬＦ＝Ｎｘ×Ｎｙに一般化することについて説明する。本実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である（図１参照）。また、撮像画像に基づく視点画像の補正処理（図９及び図１０）も、以下に説明する点を除いて第１の実施形態と概ね同様であるが、第１の実施形態においてＮＬＦ＝２であることを前提とした記載は、ＮＬＦ＝２に限定されない形に読み替える。例えば、特定の画素の全副画素を指す「第１副画素２０１及び第２副画素２０２」との記載は、「第１副画素から第ＮＬＦ副画素」と読み替える。また、特定の画素の全光電変換部を指す「第１光電変換部３０１及び第２光電変換部３０２」との記載は「第１光電変換部から第ＮＬＦ光電変換部」と読み替える。同様に、「第１瞳部分領域５０１と第２瞳部分領域５０２」の「第１瞳部分領域から第ＮＬＦ瞳部分領域」への読み替えや、「第１視点画像と第２視点画像」の「第１視点画像から第ＮＬＦ視点画像」への読み替えなどが必要に応じて行われる。以下、主に第１の実施形態と異なる点について説明する。
【０１１４】
図２０は、第３の実施形態に係る撮像素子１０７の画素及び副画素の配列の概略図である。図２０の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向及びｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）としてそれぞれ定義する。図２０は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×８行の範囲で、それぞれ示したものである。
【０１１５】
本実施形態では、図２０に示した２列×２行の画素群２００においては、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上及び左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、各画素は、ｘ方向にＮｘ分割（Ｎｘは自然数）、ｙ方向にＮｙ分割（Ｎｙは自然数）されており、瞳分割数ＮＬＦ＝Ｎｘ×Ｎｙの副画素により構成されている。なお、図２０の例においては、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝２×２＝２であり、各画素は第１副画素２０１から第４副画素２０４により構成されている。以下の説明においては、簡略化のために、各画素が図２０に示すように分割されているものとするが、本実施形態の画素の分割は、図２０に示すものに限定されない。本実施形態の説明は、Ｎｘ及びＮｙの一方又は両方が３以上の場合も同様であり、この場合、各画素は第１副画素から第ＮＬＦ副画素により構成される。
【０１１６】
図２０に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像及び４つの視点画像（視点画像の数は瞳分割数ＮＬＦに対応）を生成するための入力画像を取得可能である。撮像素子１０７では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数ＮＨ＝６０００列、垂直（行方向）画素数ＮＶ＝４０００行、画素数Ｎ＝ＮＨ×ＮＶ＝２４００万画素とする。また、副画素の周期ＰＳを３μｍとし、副画素数ＮＳを水平１２０００列×垂直８０００行＝９６００万画素とする。
【０１１７】
図２０に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図２１（Ａ）に示す。図２１（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向と定義し、ｚ軸及びｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。また、図２１（Ａ）のａ−ａ切断線に沿って−ｙ側から見た場合の断面図を図２１（Ｂ）に示す。
【０１１８】
図２１（Ａ）及び図２１（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。また、ｘ方向に２分割、ｙ方向に２分割された、４つの光電変換部（第１光電変換部３０１から第４光電変換部３０４）が形成されている。第１光電変換部３０１から第４光電変換部３０４が、それぞれ、第１副画素２０１から第４副画素２０４に対応する。図２１（Ｂ）に示す第３光電変換部３０３及び第４光電変換部３０４の構成などは、第１の実施形態において図３（Ｂ）を参照して説明した第１光電変換部３０１及び第２光電変換部３０２の構成と同様である。
【０１１９】
図２２は、撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図である。図２２には、図２１（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図２２では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図２１に示す状態とは反転させて示している。
【０１２０】
撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子１０７が配置された面を撮像面とする。
【０１２１】
２×２分割された第１瞳部分領域５０１から第４瞳部分領域５０４は、マイクロレンズによって、第１光電変換部３０１から第４光電変換部３０４それぞれの受光面と概ね光学的に共役な関係になっている。そして、第１瞳部分領域５０１から第４瞳部分領域５０４は、第１副画素２０１から第４副画素２０４により、それぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で（＋Ｘ，−Ｙ）側に重心が偏心している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で（−Ｘ，−Ｙ）側に重心が偏心している。第３副画素２０３の第３瞳部分領域５０３は、瞳面上で（＋Ｘ，＋Ｙ）側に重心が偏心している。第４副画素２０４の第４瞳部分領域５０４は、瞳面上で（−Ｘ，＋Ｙ）側に重心が偏心している。
【０１２２】
撮像素子１０７の各画素において、２×２分割された第１副画素２０１から第４副画素２０４は、それぞれ、結像光学系の第１瞳部分領域５０１から第４瞳部分領域５０４の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布及び角度分布を示すＬＦデータ（入力画像）が取得される。
【０１２３】
第３の実施形態においても、撮像装置１００は、第１の実施形態と同様に、図９及び図１０のフローチャートに従って撮像画像に基づく視点画像の補正処理を行うことができる。但し、瞳分割数ＮＬＦが２よりも大きいことに伴い、Ｓ９０２において複数の視点画像を生成するなど、若干の読み替えを行う必要がある。以下、具体的に説明する。
【０１２４】
Ｓ９０１で、撮像装置１００は、式（１）に従い、画素毎に第１副画素２０１から第４副画素２０４の信号を全て合成する。これにより、ＬＦデータから、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像が生成される。
【０１２５】
Ｓ９０２で、撮像装置１００は、ｋ＝１〜３について式（２）の演算を行うことにより、ＬＦデータから、第１視点画像Ｉ１（ｊ、ｉ）から第３視点画像Ｉ３（ｊ、ｉ）を生成する。
【０１２６】
Ｓ９０３乃至Ｓ９０７で、撮像装置１００は、式（３Ａ）から式（６Ｄ）に従い、第ｋ視点画像Ｉｋに対して、ｘ方向におけるシェーディング補正処理を行う。ここでの処理は概ね第１の実施形態と同様であるが、Ｓ９０３及びＳ９０５乃至Ｓ９０７に関して、第１の実施形態ではｋ＝１のみであったのに対し、本実施形態ではｋ＝１〜３のそれぞれについて同様の処理が行われる。また、第１の実施形態と異なり本実施形態ではｙ方向の瞳分割もあるため、ｙ方向におけるシェーディング補正処理も行う必要がある。そのため、撮像装置１００は、式（３Ａ）から式（６Ｄ）において、ｘ方向とｙ方向を入れ替え、ｙ方向におけるシェーディング補正処理を行う。このようにｘ方向におけるシェーディング補正処理とｙ方向におけるシェーディング補正処理とを２段階で行う場合、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数ＮＬＦが１回余分となる。そのため、２回目のｙ方向におけるシェーディング補正処理では、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数ＮＬＦの乗算は省略される。これにより、シェーディング補正後の第１修正第ｋ視点画像Ｍ１Ｉｋが生成される。
【０１２７】
Ｓ９０８乃至Ｓ９１１の処理は、第１の実施形態と同様、式（７Ａ）から式（１０）に従って行われる。但し、Ｓ９０８、Ｓ９０９、及びＳ９１１に関して、第１の実施形態ではｋ＝１のみであったのに対し、本実施形態ではｋ＝１〜３のそれぞれについて同様の処理が行われる。これにより、第４修正第ｋ視点画像Ｍ４Ｉｋが生成される。
【０１２８】
Ｓ９１２で、撮像装置１００は、式（１５）に従い、修正撮像画像ＭＩ及び第４修正第ｋ視点画像Ｍ４Ｉｋ（ｋ＝１〜ＮＬＦ−１＝１〜３）から、第４視点画像Ｉ４を生成する。
0006700986.tif 000039
【０１２９】
Ｓ９１３で、撮像装置１００は、第１の実施形態と同様、式（６Ａ）から式（６Ｄ）に従って第４修正第ｋ視点画像Ｍ４Ｉｋに対してシェーディング補正処理を行い、第５修正第ｋ視点画像Ｍ５Ｉｋを生成する。但し、第１の実施形態ではｋ＝１のみであったのに対し、本実施形態ではｋ＝１〜３のそれぞれについて同様の処理が行われる。
【０１３０】
Ｓ９１４及びＳ９１５で、撮像装置１００は、第２の実施形態のＳ９０３乃至Ｓ９０７と同様に、第４視点画像Ｉ４のシェーディング関数を生成し、第４視点画像Ｉ４から第５修正第４視点画像Ｍ５Ｉ４を生成する。
【０１３１】
Ｓ９１６及びＳ９１７で、撮像装置１００は、第１の実施形態と同様、式（１２）に従って、第５修正第ｋ視点画像Ｍ５Ｉｋから最終修正第ｋ視点画像ＭＩｋを生成する。但し、第１の実施形態ではｋ＝１〜２であったのに対し、本実施形態ではｋ＝１〜４である。
【０１３２】
以上のように、第１の実施形態は、Ｎｘ≧２、Ｎｙ≧２、ＮＬＦ＝Ｎｘ×Ｎｙの場合に一般化することができる。
【０１３３】
［第４の実施形態］
第４の実施形態では、第３の実施形態で生成された最終修正第１視点画像から最終修正第４視点画像から、画素ずらし超解像処理を行い、各視点画像の解像度よりも高い解像度の出力画像を生成する構成について説明する。本実施形態において、撮像装置１００の基本的な構成は、第３の実施形態と同様である（図１参照）。以下、主に第３の実施形態と異なる点について説明する。
【０１３４】
図２３は、最終修正第１視点画像ＭＩ１（ｊ，ｉ）から最終修正第４視点画像ＭＩ４（ｊ，ｉ）による画素ずらし超解像処理の概要を示す説明図である。図２３では、紙面の上下方向にｘ軸を設定して下方をｘ軸の正方向と定義し、紙面に垂直な方向をｙ軸に設定して手前側をｙ軸の正方向と定義し、紙面の左右方向にｚ軸を設定して左方をｚ軸の正方向と定義する。図２３の撮像面６００は、図７及び図８に示した撮像面６００に対応している。
【０１３５】
図２３では、最終修正第１視点画像ＭＩ１（ｊ，ｉ）から最終修正第４視点画像ＭＩ４（ｊ，ｉ）のうち、最終修正第１視点画像ＭＩ１（ｊ，ｉ）と最終修正第２視点画像ＭＩ２（ｊ，ｉ）を模式的に表している。最終修正第１視点画像ＭＩ１（ｊ，ｉ）の信号は、図７の第１瞳部分領域５０１に対応した主光線角度θ１で位置（ｊ，ｉ）の第１光電変換部３０１に入射した光束の受光信号である。最終修正第２視点画像ＭＩ２（ｊ，ｉ）の信号は、図７の第２瞳部分領域５０２に対応した主光線角度θ２で位置（ｊ，ｉ）の第２光電変換部３０２に入射した光束の受光信号である。
【０１３６】
最終修正第１視点画像ＭＩ１（ｊ，ｉ）から最終修正第４視点画像ＭＩ４（ｊ，ｉ）は、光強度分布情報だけでなく、入射角度情報も有している。従って、以下の平行移動により、仮想結像面６１０での１組の画素ずらし画像群を得ることができる。
【０１３７】
最終修正第１視点画像ＭＩ１（ｊ，ｉ）を主光線角度θ１に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ−１／４画素分、ｙ方向へ＋１／４画素分のシフトに対応する。最終修正第２視点画像ＭＩ２（ｊ，ｉ）を主光線角度θ２に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ＋１／４画素分、ｙ方向へ＋１／４画素分のシフトに対応する。最終修正第３視点画像ＭＩ３（ｊ，ｉ）を主光線角度θ３に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ−１／４画素分、ｙ方向へ−１／４画素分のシフトに対応する。最終修正第４視点画像ＭＩ４（ｊ，ｉ）を主光線角度θ４に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ＋１／４画素分、ｙ方向へ−１／４画素分のシフトに対応する。従って、最終修正第１視点画像ＭＩ１（ｊ，ｉ）から最終修正第４視点画像ＭＩ４（ｊ，ｉ）を、それぞれ、ｘ方向又はｙ方向の少なくとも１つの方向に、相対的に＋１／２画素分の非整数シフトさせた、仮想結像面６１０での４つの画像から構成される１組の画素ずらし画像群を得ることができる。
【０１３８】
本実施形態では、撮像装置１００は、最終修正第１視点画像ＭＩ１から最終修正第４視点画像ＭＩ４の複数の修正視点画像から構成される１組の画素ずらし画像群を用いて、画素ずらし超解像処理を行う。これにより、各修正視点画像の画素数Ｎの解像度より高い解像度の出力画像を生成することができる。
【０１３９】
本実施形態の第１視点画像から第４視点画像では、図１１を参照して説明したように、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれが生じ、瞳分割が不均一となり、各視点画像のＲＧＢ毎に異なるシェーディングが生じる場合がある。第１視点画像から第４視点画像のＲＧＢ毎のシェーディング（光量）補正を行わず、シェーディング状態が大きく異なる複数の視点画像で構成された１組の画素ずらし画像群を用いた画素ずらし超解像処理では、解像度を十分に改善できない場合がある。
【０１４０】
従って、本実施形態では、撮像装置１００は、撮像画像に基づくＲＧＢ毎のシェーディング補正処理が高精度に施された最終修正第１視点画像から最終修正第４視点画像から、１組の画素ずらし画像群を構成し、画素ずらし超解像処理により、出力画像を生成する。そのため、各修正視点画像の画素数Ｎの解像度より高い解像度の出力画像を生成することができる。
【０１４１】
なお、画素ずらし超解像処理においては、最終修正第１視点画像から最終修正第４視点画像の全てを使用することは必須ではない。例えば、最終修正第１視点画像及び最終修正第２視点画像だけを使用する場合でも、ｘ方向の解像度が高くなるという効果を得ることができる。
【０１４２】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４３】
１００…撮像装置、１０７…撮像素子、１２１…ＣＰＵ、１２４…撮像素子駆動回路、１２５…画像処理回路、１３３…フラッシュメモリ
【図１】
0006700986.tif 000040
【図２】
0006700986.tif 000041
【図３】
0006700986.tif 000042
【図４】
0006700986.tif 000043
【図５】
0006700986.tif 000044
【図６】
0006700986.tif 000045
【図７】
0006700986.tif 000046
【図８】
0006700986.tif 000047
【図９】
0006700986.tif 000048
【図１０】
0006700986.tif 000049
【図１１】
0006700986.tif 000050
【図１２】
0006700986.tif 000051
【図１３】
0006700986.tif 000052
【図１４】
0006700986.tif 000053
【図１５】
0006700986.tif 000054
【図１６】
0006700986.tif 000055
【図１７】
0006700986.tif 000056
【図１８】
0006700986.tif 000057
【図１９】
0006700986.tif 000058
【図２０】
0006700986.tif 000059
【図２１】
0006700986.tif 000060
【図２２】
0006700986.tif 000061
【図２３】
0006700986.tif 000062