(57)【要約】【課題】  良好な画質品位のダイナミックレンジを拡大した画像を生成可能とすること。【解決手段】  結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、１つ以上の視点画像を生成し、撮像画像と各々の視点画像に基づき、各々の視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成し、撮像画像と、１つ以上の修正視点画像とを、撮像画像の信号輝度分布と、１つ以上の修正視点画像の信号輝度分布と、に基づき、撮像画像のガンマ調整と、１つ以上の修正視点画像のガンマ調整を行い、被写体輝度に応じて撮像画像と修正視点画像を合成し、出力画像を生成する、ことを特徴とする。【選択図】  図１９
2018110299.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法であって、
前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、
前記入力画像から、前記異なる瞳部分領域毎に、１つ以上の視点画像を生成し、
前記撮像画像と各々の前記視点画像に基づき、各々の前記視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成し、
前記撮像画像と、前記１つ以上の修正視点画像とを、
前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、に基づき、前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整を行い、
被写体輝度に応じて前記修正視点画像及び前記撮像画像を合成して出力画像を生成する、ことを特徴とする画像処理方法。
【請求項２】
前記撮像画像と前記視点画像のいずれもが有効な信号である有効画素を検出し、
前記撮像画像と前記視点画像の前記有効画素の信号に基づいて、前記視点画像の光量補正処理を行う、ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記有効画素は、非飽和かつ非欠陥である、ことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記撮像画像に基づき前記視点画像の各色の光量補正処理を行う、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
前記撮像画像の射影信号と、前記視点画像の射影信号と、に基づき前記視点画像の光量補正処理を行う、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
【請求項６】
前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、を表示手段に表示し、
前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整と、を行うための複数のユーザー設定値を入力する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
【請求項７】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子より入力画像を取得する取得手段と、
前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する第１の生成手段と、
前記入力画像から、前記異なる瞳部分領域毎に、１つ以上の視点画像を生成する第２の生成手段と、
前記撮像画像と各々の前記視点画像に基づき、各々の前記視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成する補正手段と、
前記撮像画像と、前記１つ以上の修正視点画像とを、前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、に基づき、前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整を行うガンマ調整手段と、
被写体輝度に応じて前記修正視点画像及び前記撮像画像を合成して出力画像を生成する第３の生成手段と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される画像の画像処理に関するものである。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献１に開示された撮像装置は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部で、それぞれ、受光した信号から視点信号を生成し、複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献２では、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。
【０００３】
撮影された画像に関する複数の視点信号は、光強度の空間分布および角度分布の情報であるＬＦ（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データと等価である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第４４１０８０４号明細書
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に開示されている撮像装置により得られる撮像信号と視点信号は、有効絞り値が違い、受光量が異なるため、撮像信号と視点信号を合成することにより、ダイナミックレンジを拡大した合成画像を生成することができる。しかしながら、特許文献１，２に開示されている撮像装置で得られた複数の視点画像において、各視点画像の一部において、キズ信号や、瞳分割によるシェーディング、飽和信号などが生じ、視点画像の画質品位が低下し、それに伴い、ダイナミックレンジを拡大した合成画像の画質品位が低下する場合がある。
【０００６】
本発明の目的は、上記の課題に鑑みてなされたものであり、良好な画質品位のダイナミックレンジを拡大した画像を生成可能とすることである。
【課題を解決するための手段】
【０００７】
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法であって、
前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、
前記入力画像から、前記異なる瞳部分領域毎に、１つ以上の視点画像を生成し、
前記撮像画像と各々の前記視点画像に基づき、各々の前記視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成し、
前記撮像画像と、前記１つ以上の修正視点画像とを、
前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、に基づき、前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整を行い、
被写体輝度が低い領域では、前記修正視点画像の割合より、前記撮像画像の割合を多く合成し、
被写体輝度が高い領域では、前記撮像画像の割合より、前記修正視点画像の割合を多く合成し、
出力画像を生成する、ことを特徴とする画像処理方法。
【発明の効果】
【０００８】
本発明によれば、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施例に係る画像処理方法を適用した撮像装置の概略構成図である。
【図２】本発明の第１の実施例における画素配列の概略図である。
【図３】本発明の第１の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。
【図４】本発明の第１の実施例における画素と瞳分割の概略説明図である。
【図５】本発明の第１の実施例における画素内部の光強度分布例を示す図である。
【図６】本発明の第１の実施例における瞳強度分布を例示する図である。
【図７】本発明の第１の実施例における撮像素子と瞳分割の概略説明図である。
【図８】本発明の第１の実施例における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量の概略関係図である。
【図９】本発明の第１の実施例における補正処理のフローチャート例を示す図である。
【図１０】本発明の第１の実施例における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明するための図である。
【図１１】本発明の第１の実施例における撮像画像の射影信号例（Ａ）、視点画像の射影信号例（Ｂ）とシェーディング曲線例（Ｃ）である。
【図１２】本発明の第１の実施例における撮像画像を例示する図である。
【図１３】本発明の第１の実施例におけるシェーディング補正前の第１視点画像を例示する図である。
【図１４】本発明の第１の実施例におけるシェーディング補正後の第１視点画像を例示する図である。
【図１５】本発明の第１の実施例における欠陥補正前の第１視点画像を例示する図である。
【図１６】本発明の第１の実施例における欠陥補正後の第１視点画像を例示する図である。
【図１７】本発明の第１の実施例における撮像画像を例示する図である。
【図１８】本発明の第１の実施例における補正後の第１修正視点画像を例示する図である。
【図１９】本発明の第１の実施例における撮像画像の信号輝度分布と、第１修正視点画像の信号輝度分布を例示する図である。
【図２０】本発明の第１の実施例における撮像画像と第１修正視点画像を合成し、ダイナミックレンジを拡大した出力画像を例示する図である。
【図２１】本発明の第２の実施例における画素配列の概略図である。
【図２２】本発明の第２の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。
【図２３】本発明の第２の実施例における画素と瞳分割の概略説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、デジタルカメラ等の撮像装置に適用した場合の実施例を説明するが、本発明に係る画像処理方法を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。
【００１１】
［第１の実施例］
本発明の第１の実施例に係る画像処理方法を適用した撮像装置であるカメラの全体構成を例示して、以下に説明する。
【００１２】
図１は本実施形例に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路からなり、撮像光学系の結像面に配置される。
【００１３】
ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。
【００１４】
被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
【００１５】
カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。また、ＣＰＵ１２１は本発明に係るデータの生成手段としての機能を有する。
【００１６】
電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮等の処理を行う。
【００１７】
フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。
【００１８】
表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。
【００１９】
［撮像素子］
本実施例における撮像素子の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）とし、上下方向をｙ方向（垂直方向）とし、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。図２は、本実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示したものである。
【００２０】
本実施例では、図２に示した２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【００２１】
図２に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像画像および分割数２（分割数ＮＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数ＮＨ＝６０００列、垂直（行方向）画素数ＮＶ＝４０００行、画素数Ｎ＝ＮＨ×ＮＶ＝２４００万画素とする。また、副画素の列方向周期ＰＳを３μｍとし、副画素数ＮＳを水平１２０００列×垂直４０００行＝４８００万画素とする。
【００２２】
図２に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。
【００２３】
図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数ＮＬＦ）の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。
【００２４】
第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。
【００２５】
画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。
【００２６】
図４は、画素構造と瞳分割との対応関係を示す概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
【００２７】
撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。
【００２８】
２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第ＮＬＦ瞳部分領域）は、各々、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっており、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）で、それぞれ、受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。
【００２９】
また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第ＮＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっており、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。
【００３０】
図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００３１】
図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
【００３２】
本実施例の撮像素子と瞳分割との対応関係を示した概略図を図７に示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。撮像素子の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。
【００３３】
ＬＦデータ（入力画像）から、各画素毎に、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。
【００３４】
また、ＬＦデータ（入力画像）から、各画素毎に、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の中から特定の副画素の信号を選択することで、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、各画素毎に、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。
【００３５】
以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。
【００３６】
第１視点画像（第２視点画像）の絞り開口は、第１瞳部分領域５０１（第２瞳部分領域５０２）に対応し、第１視点画像（第２視点画像）の有効絞り値は、撮像画像の絞り値より大きく（暗く）なる。そのため、同一の露光時間で撮影した場合、撮像画像は被写体からの光を相対的に多く受光し、信号量が大きく、第１視点画像（第２視点画像）は被写体からの光を相対的に少なく受光し、信号量が小さく取得される。したがって、被写体輝度が低い領域では、撮像画像の方が、第１視点画像（第２視点画像）より、多い割合で合成し、被写体輝度が高い領域では、撮像画像の方が、第１視点画像（第２視点画像）より、少ない割合で合成することにより、ダイナミックレンジを拡大した出力画像を生成することができる。
【００３７】
［デフォーカス量と像ずれ量の関係］
本実施例の撮像素子により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）のデフォーカス量と、像ずれ量との関係について、以下に説明する。
【００３８】
図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量について概略的に示す関係図である。撮像面６００には撮像素子（不図示）が配置され、図４、図７の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【００３９】
デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００４０】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。
【００４１】
したがって、本実施例では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。
【００４２】
［撮像画像に基づく視点画像の補正処理］
本実施例では、撮像画像に基づいて、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）に対して、キズ補正やシェーディング補正等の画像処理を行い、出力画像を生成する。
【００４３】
以下、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、撮影画像に基づいて、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）に対して補正処理を行い、出力画像を生成する画像処理方法について、図９および図１０の補正処理の流れの概略図を用いて説明する。なお、図９および図１０の処理は、本実施例の画像処理手段である撮像素子１０７、ＣＰＵ１２１、画像処理回路１２５によって実行される。
【００４４】
［撮像画像と視点画像］
はじめに、図９ステップＳ１の前段であるステップＳ０（不図示）において、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像と、結像光学系の異なる瞳部分領域毎に、少なくとも１つの視点画像と、を生成する。
【００４５】
ステップＳ０において、まず、本実施例の撮像素子により取得されたＬＦデータ（入力画像）を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いても良い。
【００４６】
ステップＳ０において、次に、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊＳ−１）＋ｉＳ（１≦ｋ≦ＮＬＦ）として、第ｋ副画素信号とする。結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（１）により生成する。
【００４７】
【数１】
2018110299.tif 000003
【００４８】
本実施例では、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するために、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）において、式（１）の各副画素信号の合成を行う。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）に蓄積された電荷を電圧信号に変換する際に、式（１）の各副画素信号の合成を行っても良い。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）された後に、式（１）の各副画素信号の合成を行っても良い。
【００４９】
本実施例は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のｘ方向２分割の例であり、図２に例示した画素配列に対応した入力画像（ＬＦデータ）から、各画素毎に、ｘ方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成し、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。
【００５０】
本実施例では、視点画像の補正処理において、撮像画像を補正基準の参照画像として用いるために、撮像画像Ｉ（ｊ、ｉ）に対して、ＲＧＢ毎のシェーディング（光量）補正処理、点キズ補正処理などを行う。必要に応じて、その他の処理を行っても良い。
【００５１】
ステップＳ０において、次に、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（２）により生成する。
【００５２】
【数２】
2018110299.tif 000004
【００５３】
本実施例は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のｘ方向２分割で、ｋ＝１の例である。図２に例示した画素配列に対応したＬＦデータ（入力画像）から、各画素毎に、ｘ方向２分割された第１副画素２０１の信号を選択する。よって、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第ＮＬＦ瞳部分領域）の中から、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）を生成する。必要に応じて、ｋ＝２を選択し、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ２（ｊ、ｉ）を生成しても良い。
【００５４】
以上のように本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、少なくとも１つ以上の複数の視点画像を生成する。
【００５５】
本実施例では、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）と、を生成し、記録媒体へ保存を行う。これにより、本実施例の撮像画像Ｉ（ｊ、ｉ）に対しては、各画素の光電変換部が分割されていない従来の撮像素子で取得される撮像画像と同様の画像処理を行うことができる。
【００５６】
［視点画像のシェーディング（光量）補正］
図９のステップＳ１において、次に、本実施例の撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢ毎のシェーディング（光量）補正を行う。
【００５７】
ここで、第１視点画像と第２視点画像（第１視点画像から第ＮＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１０に、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第ＮＬＦ副画素）に対応する。
【００５８】
図１０（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１０（ｂ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。同様に、図１０（ｃ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ毎に生じる。
【００５９】
本実施例では、良好な画質品位の各視点画像を生成するために、図９のステップＳ１において、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢ毎のシェーディング（光量）補正を行う。
【００６０】
図９のステップＳ１において、まず、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素Ｖ１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥と検出された非有効画素は、Ｖ１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶｋ（ｊ、ｉ）とする。
【００６１】
撮像信号の飽和判定閾値をＩＳとして、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定し、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、第ｋ視点画像の飽和判定閾値をＩＳｋとして、第ｋ視点画像Ｉｋ（ｊ、ｉ）＞ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を飽和と判定し、第ｋ視点画像Ｉｋ（ｊ、ｉ）≦ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳｋ≦ＩＳ）である。
【００６２】
本実施例の撮像素子では、各画素の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第ＮＬＦ光電変換部）のいずれかの光電変換部にて蓄積電荷が飽和した場合に、画素外ではなく、同一画素内の他の光電変換部（副画素）に漏れこむ（電荷クロストーク）ように構成される。いずれかの副画素（例：第２副画素）が飽和し、副画素間（例：、第２副画素から第１副画素）の電荷クロストークが生じると、電荷の溢れ元の副画素（例：第２副画素）と、電荷の漏れこみ先の副画素（例：第１副画素）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれず、シェーディングの正しい検出に必要な情報が含まれなくなる。
【００６３】
高ＩＳＯに比べて、低ＩＳＯの方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。したがって、本実施例では、飽和画素の検出精度を向上するために、低ＩＳＯでの撮像信号の飽和判定閾値ＩＳが、高ＩＳＯでの撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、低ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳｋが、高ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳｋ以下であることが望ましい。
【００６４】
さらに、結像光学系の射出瞳距離が、第１の所定瞳距離より短く（もしくは、第２の所定瞳距離より長く）、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによるシェーディングを生じ、周辺像高で、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなる場合に、電荷クロストークが生じやすい。したがって、本実施例では、飽和画素の検出精度を向上するために、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の撮像信号の飽和判定閾値ＩＳが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の第ｋ視点画像の飽和判定閾値ＩＳｋが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の第ｋ視点画像の飽和判定閾値ＩＳｋ以下であることが望ましい。
【００６５】
整数ｊ２（１≦ｊ２≦ＮＶ／２）、ｉ２（１≦ｉ２≦ＮＨ／２）とする。図２に例示したベイヤー配列の撮像画像Ｉを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの撮像画像をＲＩ（２ｊ２−１、２ｉ２−１）＝Ｉ（２ｊ２−１、２ｉ２−１）、Ｇｒの撮像画像をＧｒＩ（２ｊ２−１、２ｉ２）＝Ｉ（２ｊ２−１、２ｉ２）、Ｇｂの撮像画像をＧｂＩ（２ｊ２、２ｉ２−１）＝Ｉ（２ｊ２、２ｉ２−１）、Ｂの撮像画像をＢＩ（２ｊ２、２ｉ２）＝Ｉ（２ｊ２、２ｉ２）とする。
【００６６】
同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの撮像画像をＲＩｋ（２ｊ２−１、２ｉ２−１）＝Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの撮像画像をＧｒＩｋ（２ｊ２−１、２ｉ２）＝Ｉｋ（２ｊ２−１、２ｉ２）、Ｇｂの撮像画像をＧｂＩｋ（２ｊ２、２ｉ２−１）＝Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの撮像画像をＢＩｋ（２ｊ２、２ｉ２）＝Ｉｋ（２ｊ２、２ｉ２）とする。
【００６７】
図９のステップＳ１において、次に、撮像画像ＲＩ（２ｊ２−１、２ｉ２−１）、ＧｒＩ（２ｊ２−１、２ｉ２）、ＧｂＩ（２ｊ２、２ｉ２−１）、ＢＩ（２ｊ２、２ｉ２）を、式（３Ａ）から式（３Ｄ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行い、撮像画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）を生成する。飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、撮像画像と有効画素Ｖｋとの積を取り、飽和信号値や欠陥信号値を除外して、射影処理を行い（式（３Ａ）上段から式（３Ｄ）上段の分子）、射影処理に用いられた有効画素数で規格化（式（３Ａ）上段から式（３Ｄ）上段の分母）を行う。射影処理に用いられた有効画素数が０の場合、式（３Ａ）下段から式（３Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号を０に設定する。同様に、第ｋ視点画像ＲＩｋ（２ｊ２−１、２ｉ２−１）、ＧｒＩｋ（２ｊ２−１、２ｉ２）、ＧｂＩｋ（２ｊ２、２ｉ２−１）、ＢＩｋ（２ｊ２、２ｉ２）を、式（３Ｅ）から式（３Ｈ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行い、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）を生成する。
【００６８】
【数３−１】
2018110299.tif 000005
（３Ａ）
【００６９】
【数３−２】
2018110299.tif 000006
（３Ｂ）
【００７０】
【数３−３】
2018110299.tif 000007
（３Ｃ）
【００７１】
【数３−４】
2018110299.tif 000008
（３Ｄ）
【００７２】
【数３−５】
2018110299.tif 000009
【００７３】
（３Ｅ）
【００７４】
【数３−６】
2018110299.tif 000010
（３Ｆ）
【００７５】
【数３−７】
2018110299.tif 000011
（３Ｇ）
【００７６】
【数３−８】
2018110299.tif 000012
（３Ｈ）
【００７７】
式（３Ａ）から式（３Ｈ）の射影処理後、平滑化のために、撮影画像の射影信号ＲＰ（２ｉ２−１）、ＧｒＰ（２ｉ２）、ＧｂＰ（２ｉ２−１）、ＢＰ（２ｉ２）と、第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）、ＧｒＰｋ（２ｉ２）、ＧｂＰｋ（２ｉ２−１）、ＢＰｋ（２ｉ２）に、ローパスフィルター処理を行う。必要に応じて、省略しても良い。
【００７８】
図１１（上段）に、撮影画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を、図１１（中段）に、第１視点画像の射影信号ＲＰ１（Ｒ）、ＧｒＰ１（Ｇ）、ＧｂＰ１（Ｇ）、ＢＰ１（Ｂ）の例を示す。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のシェーディング（光量）補正を、高精度に行うためには、瞳ずれにより生じている第１視点画像Ｉ１（第ｋ視点画像Ｉｋ）のＲＧＢ毎のシェーディング成分と、被写体が保有しているＲＧＢ毎の信号成分と、を分離する必要がある。
【００７９】
ステップＳ１において、次に、式（４Ａ）から式（４Ｄ）により、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング信号ＲＳｋ（２ｉ２−１）、ＧｒＳｋ（２ｉ２）、ＧｂＳｋ（２ｉ２−１）、ＢＳｋ（２ｉ２）を算出する。
【００８０】
画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たす場合、式（４Ａ）により、Ｒの第ｋ視点画像の射影信号ＲＰｋ（２ｉ２−１）と、Ｒの撮像画像の射影信号ＲＰ（２ｉ２−１）との比を取得し、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＲのシェーディング信号ＲＳｋ（２ｉ２−１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像ＩｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ２−１）＞ＲＰｋ（２ｉ２−１）＞０を満たさない場合、第ｋ視点画像ＩｋのＲのシェーディング信号ＲＳｋ（２ｉ２−１）を０に設定する。
【００８１】
同様に、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たす場合、式（４Ｂ）により、Ｇｒの第ｋ視点画像の射影信号ＧｒＰｋ（２ｉ２）と、Ｇｒの撮像画像の射影信号ＧｒＰ（２ｉ２）との比を取得し、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｒのシェーディング信号ＧｒＳｋ（２ｉ２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像ＩｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ２）＞ＧｒＰｋ（２ｉ２）＞０を満たさない場合、第ｋ視点画像ＩｋのＧｒのシェーディング信号ＧｒＳｋ（２ｉ２）を０に設定する。
【００８２】
同様に、条件式ＧｂＰ（２ｉ２−１）＞ＧｂＰｋ（２ｉ２−１）＞０を満たす場合、式（４Ｃ）により、Ｇｂの第ｋ視点画像の射影信号ＧｂＰｋ（２ｉ２−１）と、Ｇｂの撮像画像の射影信号ＧｂＰ（２ｉ２−１）との比を取得し、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＧｂのシェーディング信号ＧｂＳｋ（２ｉ２−１）を生成する。これにより、被写体が保有しているＧｂの信号成分を相殺し、第ｋ視点画像ＩｋのＧｂのシェーディング成分を分離することができる。一方、条件式ＧｂＰ（２ｉ２−１）＞ＧｂＰｋ（２ｉ２−１）＞０を満たさない場合、第ｋ視点画像ＩｋのＧｂのシェーディング信号ＧｂＳｋ（２ｉ２−１）を０に設定する。
【００８３】
同様に、条件式ＢＰ（２ｉ２）＞ＢＰｋ（２ｉ２）＞０を満たす場合、式（４Ｄ）により、Ｂの第ｋ視点画像の射影信号ＢＰｋ（２ｉ２）と、Ｂの撮像画像の射影信号ＢＰ（２ｉ２）との比を取得し、規格化のため瞳分割数ＮＬＦを乗算して、第ｋ視点画像ＩｋのＢのシェーディング信号ＢＳｋ（２ｉ２）を生成する。これにより、被写体が保有しているＢの信号成分を相殺し、第ｋ視点画像ＩｋのＢのシェーディング成分を分離することができる。一方、条件式ＢＰ（２ｉ２）＞ＢＰｋ（２ｉ２）＞０を満たさない場合、第ｋ視点画像ＩｋのＢのシェーディング信号ＢＳｋ（２ｉ２）を０に設定する。
【００８４】
【数４−１】
2018110299.tif 000013
（４Ａ）
【００８５】
【数４−２】
2018110299.tif 000014
（４Ｂ）
【００８６】
【数４−３】
2018110299.tif 000015
（４Ｃ）
【００８７】
【数４−４】
2018110299.tif 000016
（４Ｄ）
【００８８】
シェーディング補正精度を高精度に行うために、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。
【００８９】
ステップＳ１において、次に、式（５Ａ）から式（５Ｄ）により、第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮＳＦ次の多項式関数とする。また、式（４Ａ）から式（４Ｄ）により生成され、ＲＳｋ（２ｉ２−１）＞０、ＧｒＳｋ（２ｉ２）＞０、ＧｂＳｋ（２ｉ２−１）＞０、ＢＳｋ（２ｉ２）＞０を満たす有効なシェーディング信号をデータ点とする。
【００９０】
これらデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（５Ａ）から式（５Ｄ）の各係数ＲＳＣｋ（μ）、ＧｒＳＣｋ（μ）、ＧｂＳＣｋ（μ）、ＢＳＣｋ（μ）を算出する。以上により、撮像画像を基準とした相対的な第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング関数ＲＳＦｋ（２ｉ２−１）、ＧｒＳＦｋ（２ｉ２）、ＧｂＳＦｋ（２ｉ２−１）、ＢＳＦｋ（２ｉ２）を生成する。
【００９１】
【数５−１】
2018110299.tif 000017
（５Ａ）
【００９２】
【数５−２】
2018110299.tif 000018
（５Ｂ）
【００９３】
【数５−３】
2018110299.tif 000019
（５Ｃ）
【００９４】
【数５−４】
2018110299.tif 000020
（５Ｄ）
【００９５】
シェーディング関数ＲＳＦｋ、ＧｒＳＦｋ、ＧｂＳＦｋ、ＢＳＦｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦｋ］、Ｒ［ＧｒＳＦｋ］、Ｒ［ＧｂＳＦｋ］、Ｒ［ＢＳＦｋ］とする。所定許容値をε（０＜ε＜１）として、１−ε≦ＲＳＦｋ＋Ｒ［ＲＳＦｋ］≦１＋ε、１−ε≦ＧｒＳＦｋ＋Ｒ［ＧｒＳＦｋ］≦１＋ε、１−ε≦ＧｂＳＦｋ＋Ｒ［ＧｂＳＦｋ］≦１＋ε、１−ε≦ＢＳＦｋ＋Ｒ［ＢＳＦｋ］≦１＋εの各条件式が、各位置で、全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦｋ≡１、ＧｒＳＦｋ≡１、ＧｂＳＦｋ≡１、ＢＳＦｋ≡１とし、必要に応じて、例外処理を行う。
【００９６】
図１１（下段）に、撮像画像を基準とした相対的な第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数ＲＳＦ１（Ｒ）、ＧｒＳＦ１（Ｇ）、ＧｂＳＦ１（Ｇ）、ＢＳＦ１（Ｂ）の例を示す。図１１（中段）の第１視点画像の射影信号と、図１１（上段）の撮影画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮影画像の射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ１のＲＧＢ毎のシェーディング関数を分離して生成することができる。
【００９７】
本実施例では、シェーディング関数として、多項式関数を用いたが、これに限定されることはなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いても良い。
【００９８】
図９のステップＳ１において、次に、第ｋ視点画像Ｉｋ（ｊ、ｉ）に対して、式（６Ａ）から式（６Ｄ）により、ＲＧＢ毎のシェーディング関数を用いて、シェーディング（光量）補正処理を行い、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ１Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの第ｋ視点（第１修正）画像をＲＭ１Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ１Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２−１、２ｉ２）、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ１Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ１Ｉｋ（２ｊ２、２ｉ２）＝Ｍ１Ｉｋ（２ｊ２、２ｉ２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）を出力画像としても良い。
【００９９】
【数６−１】
2018110299.tif 000021
（６Ａ）
【０１００】
【数６−２】
2018110299.tif 000022
（６Ｂ）
【０１０１】
【数６−３】
2018110299.tif 000023
（６Ｃ）
【０１０２】
【数６−４】
2018110299.tif 000024
（６Ｄ）
【０１０３】
本実施例では、撮像画像と視点画像に基づき、撮像画像の被写体による信号変化と、視点画像の被写体による信号変化と、を相殺して、ＲＧＢ毎のシェーディング関数を算出し、シェーディング関数の逆数によりＲＧＢ毎のシェーディング補正量（光量補正量）を算出する。算出したシェーディング補正量（光量補正量）に基づき、視点画像のシェーディング（光量）補正処理を行う。
【０１０４】
以下、図１２から図１４を参照して、本実施例の図９のステップＳ１に示した第１視点画像Ｉ１（ｊ、ｉ）のＲＧＢ毎のシェーディング（光量）補正処理の効果を説明する。図１２は、本実施例の撮像画像Ｉ（デモザイキング後）の例を示す。画質品位が良好な撮像画像の例である。図１３は、本実施例のシェーディング補正前の第１視点画像Ｉ１（デモザイキング後）の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ１（ｊ、ｉ）の右側において、輝度の低下とＲＧＢ比の変調が生じている例である。図１４は、本実施例のシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の第１視点（第１修正）画像Ｍ１Ｉ１（ｊ、ｉ）が生成される。
【０１０５】
本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、複数の視点画像を生成し、撮像画像と視点画像に基づき、撮像画像の被写体による信号変化と、視点画像の被写体による信号変化と、を相殺して、視点画像の光量補正量を算出し、光量補正量に基づき視点画像の光量補正処理を行い、出力画像を生成する。
【０１０６】
本実施例では、撮像画像と視点画像のいずれもが有効な信号である有効画素を検出し、撮像画像と視点画像の有効画素の信号に基づいて、視点画像の光量補正処理を行う。本実施例では、有効画素は、非飽和かつ非欠陥である。
【０１０７】
本実施例では、撮像画像に基づいて視点画像の各色（ＲＧＢ）毎の光量（シェーディング）補正処理を行う。本実施例では、撮像画像の射影信号と、視点画像の射影信号と、に基づいて視点画像の光量補正処理を行う。
【０１０８】
したがって、本実施例では、これらの構成により、良好な画質品位の視点画像を生成することができる。
【０１０９】
［視点画像の欠陥補正］
図９のステップＳ２において、本実施例の撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。本実施例は、ｋ＝１の例である。
【０１１０】
本実施例では、撮像素子の回路構成や駆動方式により、転送ゲートの短絡などで、撮像画像Ｉは正常であるが、一方、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）のごく一部分に欠陥信号が生じ、点欠陥や線欠陥となる場合がある。必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）の欠陥補正処理を行っても良い。また、必要に応じて、第ｋ視点画像Ｉｋ（第１視点画像Ｉ１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行っても良い。
【０１１１】
第ｋ視点画像Ｉｋの奇数行２ｊＤ−１、もしくは、偶数行２ｊＤが、水平方向（ｘ方向）のライン状の線欠陥であると判定された場合で、一方、撮像画像Ｉの奇数行２ｊＤ−１、もしくは、偶数行２ｊＤは、線欠陥と判定されていない場合を例として、図９のステップＳ２の欠陥補正について説明を行う。
【０１１２】
本実施例のステップＳ２の欠陥補正では、正常な撮像画像Ｉを参照画像として、撮像画像Ｉに基づいて、第ｋ視点（第１修正）画像Ｍ１Ｉｋの欠陥補正を行う。本実施例の欠陥補正では、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ１Ｉｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値と、を比較して欠陥補正を行う。この比較を行う際に、瞳ずれにより生じている第ｋ視点画像ＩｋのＲＧＢ毎のシェーディング成分の影響を取り除き、第ｋ視点画像Ｉｋと撮像画像Ｉとで、被写体が保有しているＲＧＢ毎の信号成分を、正確に比較することが、高精度な欠陥補正のために必要である。そのため、予め、ステップＳ１において、第ｋ視点画像のＲＧＢ毎のシェーディング（光量）補正を行い、第ｋ視点（第１修正）画像Ｍ１Ｉｋを生成して、撮像画像Ｉと同等のシェーディング状態とし、シェーディング成分の影響を取り除く。その後、ステップＳ２において、シェーディング補正された第ｋ視点（第１修正）画像Ｍ１Ｉｋに対して、撮像画像Ｉに基づき、高精度な欠陥補正を行う。
【０１１３】
図９のステップＳ２において、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）のごく一部の欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ１Ｉｋの正常信号とから、欠陥補正処理を行い、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ２Ｉｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの第ｋ視点（第２修正）画像をＲＭ２Ｉｋ（２ｊ２−１、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２−１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ２Ｉｋ（２ｊ２−１、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２−１、２ｉ２）、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ２Ｉｋ（２ｊ２、２ｉ２−１）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２−１）、Ｂの第ｋ視点（第２修正）画像をＢＭ２Ｉｋ（２ｊ２、２ｉ２）＝Ｍ２Ｉｋ（２ｊ２、２ｉ２）とする。
【０１１４】
ステップＳ２において、第ｋ視点（第１修正）画像Ｍ１ＩｋのＲの第１位置（２ｊＤ−１、２ｉＤ−１）が欠陥と判定された場合、第１位置の撮像画像ＲＩ（２ｊＤ−１、２ｉＤ−１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ１Ｉｋと、第２位置の撮像画像ＲＩと、から、式（７Ａ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＲＭ２Ｉｋ（２ｊＤ−１、２ｉＤ−１）を生成する。
【０１１５】
第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｒの第１位置（２ｊＤ−１、２ｉＤ）が欠陥と判定された場合、第１位置の撮像画像ＧｒＩ（２ｊＤ−１、２ｉＤ）と、欠陥と判定されていないＧｂの第２位置の第ｋ視点（第１修正）画像ＧｂＭ１Ｉｋと、第２位置の撮像画像ＧｂＩと、から、式（７Ｂ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ２Ｉｋ（２ｊＤ−１、２ｉＤ）を生成する。
【０１１６】
第ｋ視点（第１修正）画像Ｍ１ＩｋのＧｂの第１位置（２ｊＤ、２ｉＤ−１）が欠陥と判定された場合、第１位置の撮像画像ＧｂＩ（２ｊＤ、２ｉＤ−１）と、欠陥と判定されていないＧｒの第２位置の第ｋ視点（第１修正）画像ＧｒＭ１Ｉｋと、第２位置の撮像画像ＧｒＩと、から、式（７Ｃ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｂＭ２Ｉｋ（２ｊＤ、２ｉＤ−１）を生成する。
【０１１７】
第ｋ視点（第１修正）画像Ｍ１ＩｋのＢの第１位置（２ｊＤ、２ｉＤ）が欠陥と判定された場合、第１位置の撮像画像ＢＩ（２ｊＤ、２ｉＤ）と、欠陥と判定されていないＢの第２位置の第ｋ視点（第１修正）画像ＢＭ１Ｉｋと、第２位置の撮像画像ＢＩと、から、式（７Ｄ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＢＭ２Ｉｋ（２ｊＤ、２ｉＤ）を生成する。
【０１１８】
【数７−１】
2018110299.tif 000025
（７Ａ）
【０１１９】
【数７−２】
2018110299.tif 000026
（７Ｂ）
【０１２０】
【数７−３】
2018110299.tif 000027
（７Ｃ）
【０１２１】
【数７−４】
2018110299.tif 000028
（７Ｄ）
【０１２２】
上記以外の欠陥と判定されていない大部分の位置（ｊ、ｉ）においては、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）は、第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｊ、ｉ）と同じ信号値で、Ｍ２Ｉｋ（ｊ、ｉ）＝Ｍ１Ｉｋ（ｊ、ｉ）である。
【０１２３】
必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）を出力画像としても良い。
【０１２４】
以下、図１５、図１６を参照して、本実施例の図９のステップＳ２に示した第１視点（第１修正）画像Ｍ１Ｉ１の正常な撮像画像Ｉに基づく欠陥補正の効果を説明する。図１５は、本実施例の欠陥補正前の第１視点（第１修正）画像Ｍ１Ｉ１（シェーディング補正後、デモザイキング後）の例を示す。第１視点（第１修正）画像Ｍ１Ｉ１（ｊ、ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている例である。図１６は、本実施例の欠陥補正後の第１視点（第２修正）画像Ｍ２Ｉ１（シェーディング補正後、デモザイキング後）の例を示す。正常な撮像画像Ｉに基づいた欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好な欠陥補正後の第１視点（第２修正）画像Ｍ２Ｉ１（ｊ、ｉ）が生成される。
【０１２５】
本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、複数の視点画像を生成し、撮像画像に基づいて視点画像を補正する画像処理を行い、出力画像を生成する。本実施例では、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における視点画像の信号値を、第１位置における撮像画像の信号値を用いて補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像の信号値と、第２位置における撮像画像の信号値と、に基づいて、第１位置における視点画像の信号値を補正する画像処理を行う。
【０１２６】
本実施例では、撮像画像に基づいて視点画像の光量補正処理を行った後、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正処理を行う画像処理を行う。
【０１２７】
したがって、本実施例では、これらの構成により、良好な画質品位の視点画像を生成することができる。
【０１２８】
図１０のステップＳ３において、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）に対して、飽和信号処理を行う。本実施例は、ｋ＝１、ＮＬＦ＝２の例である。
【０１２９】
ステップＳ３において、まず、撮像画像Ｉ（ｊ、ｉ）に対して、撮像信号の最大値をＩｍａｘとして、式（８）により、飽和信号処理を行い、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。
【０１３０】
【数８】
2018110299.tif 000029
【０１３１】
本実施例では、撮像素子の駆動方式やＡ／Ｄ変換の回路構成により、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）の飽和時の最大信号値Ｉｋｍａｘは、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘに対して、Ｉｍａｘ／２より大きく、Ｉｍａｘ以下（Ｉｍａｘ／２＜Ｉｋｍａｘ≦Ｉｍａｘ）の値である。本実施例では、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）の飽和時の最大信号値Ｉｋｍａｘは、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと同一（Ｉｋｍａｘ＝Ｉｍａｘ）の例である。
【０１３２】
図９のステップＳ３において、最後に、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）に対して、式（９）により、飽和信号処理を行い、出力画像である第ｋ修正視点画像ＭＩｋ（ｊ、ｉ）を生成する。ここで、第ｋ修正視点画像の最大値Ｉｋｍａｘと、第ｋ修正視点画像の飽和判定閾値ＩＳｋは、Ｉｋｍａｘ≧ＩＳｋを満たす。
【０１３３】
【数９】
2018110299.tif 000030
【０１３４】
第１修正視点画像（第２修正視点画像）の絞り開口は、第１瞳部分領域５０１（第２瞳部分領域５０２）に対応し、第１修正視点画像（第２修正視点画像）の有効絞り値は、撮像画像の絞り値より大きく（暗く）なる。そのため、同一の露光時間で撮影した場合、撮像画像は被写体からの光を相対的に多く受光し、信号量が大きく、第１修正視点画像（第２修正視点画像）は被写体からの光を相対的に少なく受光し、信号量が小さく取得される。
【０１３５】
以下、図１７から図２０を参照して、本実施例のダイナミックレンジを拡大した出力画像の生成について説明する。図１７は、本実施例の飽和画素を含む撮像画像の例を示す。被写体輝度が低い木の間に、被写体輝度が高い空が撮影されており、飽和している。一方、図１８は、本実施例の第１修正視点画像の例を示す。本実施例の第１修正視点画像の有効絞り値は、撮像画像の絞り値より約１段大きく（暗く）、被写体からの受光量が撮像画像の約１／２であるため、被写体輝度が高い空の領域も飽和することなく、被写体の正確な情報が取得されている。
【０１３６】
図１９（上段）は、図１７に例示した撮像画像の信号輝度分布を示し、図１９（下段）は、図１８に例示した第１修正視点画像の信号輝度分布を示す。図１９で、横軸は、輝度信号値Ｙを、標準輝度信号値をＹ０として、式ｌｏｇ２（Ｙ／Ｙ０）により段数に変換した値を示し、右側ほど信号輝度値が大きく、左側ほど信号輝度値が小さい。縦軸は、輝度信号値がｌｏｇ２（Ｙ／Ｙ０）である画素数（画素頻度）を示す。撮像画像の信号輝度分布（のピーク）と第１修正視点画像の信号輝度分布（のピーク）のを比較すると、第１修正視点画像の信号量は、撮像画像の信号量の約１段下（約１／２）となっており、空の領域に対応する高輝度側でも信号が飽和することなく、被写体の正確な情報が取得されている。
【０１３７】
したがって、被写体輝度が低い領域では、撮像画像の方が、第ｋ修正視点画像より、多い割合で合成し、被写体輝度が高い領域では、撮像画像の方が、第ｋ修正視点画像より、少ない割合で合成することにより、ダイナミックレンジを拡大した出力画像を生成することができる。
【０１３８】
図１９で、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘは、それぞれ、現像処理（デモザイキングなど）に用いる信号輝度範囲（ｍｉｎ、ｍａｘ）を示す。最小輝度ｍｉｎと信号最大輝度ｍａｘを結ぶ曲線は、ガンマ調整値（ガンマカーブ）を示し、中間信号輝度ｍｉｄは、ガンマ調整後に、信号最小輝度ｍｉｎと信号最大輝度ｍａｘの中間値となる信号輝度を示している。信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄを調整することにより、ガンマ調整値を設定することができる。
【０１３９】
撮像画像と第ｋ修正視点画像を合成し、ダイナミックレンジを拡大した出力画像を生成する。
【０１４０】
はじめに、図１９で、第ｋ修正視点画像の中間信号輝度ｍｉｄより、撮像画像の中中間信号輝度ｍｉｄを、大きく設定して、撮像画像のガンマ調整値と、第ｋ修正視点画像のガンマ調整値を、それぞれ、設定する。
【０１４１】
次に、設定された撮像画像のガンマ調整値により補正されたガンマ調整後撮像画像と、設定された第ｋ修正視点画像のガンマ調整値により補正されたガンマ調整後第ｋ修正視点画像と、を生成する。ここで、ガンマ調整後撮像画像（もしくは、第ｋ修正視点画像）の中間信号値を、判定信号値とする。
【０１４２】
最後に、ガンマ調整後撮像画像と、ガンマ調整後第ｋ修正視点画像と、を、ガンマ調整後撮像画像が、判定信号値以下の場合は、ガンマ調整後第ｋ修正視点画像の割合より、ガンマ調整後撮像画像の割合を多くして合成し、ガンマ調整後撮像画像が、判定信号値より大きい場合は、ガンマ調整後撮像画像の割合より、ガンマ調整後第ｋ修正視点画像の割合を多くして合成し、ダイナミックレンジを拡大した出力画像を生成する。
【０１４３】
以上の処理により、被写体輝度が低い領域では、第ｋ修正視点画像の割合より、撮像画像の割合を多く合成し、被写体輝度が高い領域では、撮像画像の割合より、第ｋ修正視点画像の割合を多く合成し、ダイナミックレンジを拡大した出力画像を生成することができる。
【０１４４】
撮像画像の信号最小輝度ｍｉｎと、第ｋ修正視点画像の信号最小輝度ｍｉｎを、概ね、同一の値とし、撮像画像の信号最大輝度ｍａｘと、第ｋ修正視点画像の信号最大輝度ｍａｘを、概ね、同一の値とすることが望ましい。また、信号輝度差分量＝（撮像画像の信号輝度分布の平均値）−（第ｋ修正視点画像の信号輝度分布の平均値）とし、第ｋ修正視点画像の中間信号輝度ｍｉｄより、撮像画像の中間信号輝度ｍｉｄを、概ね、信号輝度差分量だけ大きく設定することが望ましい。
【０１４５】
本実施例では、撮像画像と第ｋ修正視点画像と、を合成して、ダイナミックレンジを拡大した出力画像の生成を行う際に、撮像画像の信号輝度分布と、第ｋ修正視点画像の信号輝度分布に合わせて、撮像画像のガンマ調整値（ガンマカーブ）と、第ｋ修正視点画像のガンマ調整値（ガンマカーブ）を、それぞれ、調整するための調整画面を表示する。
【０１４６】
図１９に例示したように、撮像画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、第ｋ修正視点画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、を、上下、左右等に並べて表示し、ユーザー入力により、それぞれのガンマ調整値（ガンマカーブ）を設定する。
【０１４７】
必要に応じて、撮像画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、第ｋ修正視点画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、を、同一画面に、配色を異ならせるなどして、重ねて表示しても良い。
【０１４８】
本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。また、撮像画像の信号輝度分布と、１つ以上の修正視点画像の信号輝度分布と、を表示する手段と、撮像画像のガンマ調整と、１つ以上の修正視点画像のガンマ調整と、を行うための複数のユーザー設定値を入力する手段と、を有する画像処理装置である。
【０１４９】
本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。また、撮像画像の信号輝度分布と、１つ以上の修正視点画像の信号輝度分布と、を表示する手段と、撮像画像のガンマ調整と、１つ以上の修正視点画像のガンマ調整と、を行うための複数のユーザー設定値を入力する手段と、を有する撮像装置である。
【０１５０】
本実施例の構成により、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。
【０１５１】
［第２の実施例］
次に、本発明の第２の実施例を説明する。なお、第１の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。
【０１５２】
本実施例における撮像素子の画素と副画素の配列の概略図を図２０に示す。図２０の左右方向をｘ方向（水平方向）とし、上下方向をｙ方向（垂直方向）とし、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。図２０は、本実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×８行の範囲で示したものである。
【０１５３】
本実施例では、図２１に示した２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数ＮＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）の複数の副画素により構成されている。
【０１５４】
図２１に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４（分割数ＮＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数ＮＨ＝６０００列、垂直（行方向）画素数ＮＶ＝４０００行、画素数Ｎ＝ＮＨ×ＮＶ＝２４００万画素とする。また、副画素の周期ＰＳを３μｍとし、副画素数ＮＳを水平１２０００列×垂直８０００行＝９６００万画素とする。
【０１５５】
図２１に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図２２（Ａ）に示す。図２２（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図２２（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図２２（Ｂ）に示す。
【０１５６】
図２２（Ａ）および、図２２（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数ＮＬＦ）の第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）が、それぞれ、第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）に対応する。
【０１５７】
図２３は、画素構造と瞳分割との対応関係を示す概略的な説明図である。図２３には、図２２（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図２３では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図２２に示す状態とは反転させて示している。
【０１５８】
撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。
【０１５９】
２×２分割された第１瞳部分領域５０１から第４瞳部分領域５０４（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第ＮＬＦ瞳部分領域）は、各々、第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第ＮＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっており、第１副画素２０１から第４副画素２０４（第１副画素から第ＮＬＦ副画素）で、それぞれ、受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で（＋Ｘ、−Ｙ）側に重心が偏心している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で（−Ｘ、−Ｙ）側に重心が偏心している。第３副画素２０３の第３瞳部分領域５０３は、瞳面上で（＋Ｘ、＋Ｙ）側に重心が偏心している。第４副画素２０４の第４瞳部分領域５０４は、瞳面上で（−Ｘ、＋Ｙ）側に重心が偏心している。
【０１６０】
本実施例の撮像素子の各画素において、２×２分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１から第４瞳部分領域５０４（第１瞳部分領域から第ＮＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。
【０１６１】
本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割の例であり、図２１に例示した画素配列に対応した入力画像（ＬＦデータ）から、式（１）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第ＮＬＦ副画素）の信号を全て合成し、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。
【０１６２】
また、本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割で、ｋ＝１〜３の例である。図２０に例示した画素配列に対応したＬＦデータ（入力画像）から、式（２）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４の中から第１副画素２０１の信号を選択し、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１（ｊ、ｉ）を生成する。また、ＬＦデータから、式（２）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４の中から第２副画素２０２の信号を選択し、結像光学系の第２瞳部分領域５０２に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第２視点画像Ｉ２（ｊ、ｉ）を生成する。さらに、ＬＦデータから、式（２）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４の中から第３副画素２０３の信号を選択し、結像光学系の第３瞳部分領域５０３に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第３視点画像Ｉ３（ｊ、ｉ）を生成する。
【０１６３】
以上のように本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像（ＬＦデータ）から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、少なくとも１つ以上の複数の視点画像を生成する。
【０１６４】
［撮像画像に基づく視点画像の補正処理］
本実施例では、良好な画質品位の各視点画像を生成するために、第１の実施例と同様に、撮像画像に基づいて、第１視点画像から第４視点画像（第１視点画像から第ＮＬＦ視点画像）に対して、キズ補正やシェーディング補正等の画像処理を行い、出力画像を生成する。
【０１６５】
図９のステップＳ１において、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ１から第３視点画像Ｉ３（第ｋ視点画像Ｉｋ：ｋ＝１〜ＮＬＦ−１）のＲＧＢ毎のシェーディング（光量）補正を行う。本実施例は、Ｎｘ＝２、Ｎｙ＝２、ＮＬＦ＝４の４分割で、ｋ＝１〜３の例である。
【０１６６】
ステップＳ１において、まず、第ｋ視点画像Ｉｋ（ｋ＝１〜ＮＬＦ−１）に対して、式（３Ａ）から式（６Ｄ）により、ｘ方向にシェーディング（光量）補正処理を行う。次に、式（３Ａ）から式（６Ｄ）において、ｘ方向とｙ方向を入れ換え、ｙ方向にシェーディング（光量）補正処理を行い、第ｋ視点（第１修正）画像Ｍ１Ｉｋ（ｋ＝１〜ＮＬＦ−１）を生成する。ｘ方向へのシェーディング（光量）補正と、ｙ方向へのシェーディング（光量）補正と、を２段階に行う場合、式（４Ａ）から式（４Ｄ）の規格化のため瞳分割数ＮＬＦが１回余分となる。そのため、２回目のｙ方向のシェーディング（光量）補正では、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数ＮＬＦの乗算は省略する。
【０１６７】
図９のステップＳ２以降は、第１の実施例と同様の処理を行い、ダイナミックレンジを拡大した出力画像を生成する。
【０１６８】
本実施例の構成により、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。なお、撮像素子の各画素部における光電変換部については、分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、ＮＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、ＮＬＦ＝１６の１６分割など）が可能である。
【０１６９】
本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。
【０１７０】
本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。
【０１７１】
本実施例の構成により、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。
【０１７２】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１７３】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１７４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１７５】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１７６】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【図１】
2018110299.tif 000031
【図２】
2018110299.tif 000032
【図３】
2018110299.tif 000033
【図４】
2018110299.tif 000034
【図５】
2018110299.tif 000035
【図６】
2018110299.tif 000036
【図７】
2018110299.tif 000037
【図８】
2018110299.tif 000038
【図９】
2018110299.tif 000039
【図１０】
2018110299.tif 000040
【図１１】
2018110299.tif 000041
【図１２】
2018110299.tif 000042
【図１３】
2018110299.tif 000043
【図１４】
2018110299.tif 000044
【図１５】
2018110299.tif 000045
【図１６】
2018110299.tif 000046
【図１７】
2018110299.tif 000047
【図１８】
2018110299.tif 000048
【図１９】
2018110299.tif 000049
【図２０】
2018110299.tif 000050
【図２１】
2018110299.tif 000051
【図２２】
2018110299.tif 000052
【図２３】
2018110299.tif 000053