(57)【要約】【課題】絞り値の相違を利用して合成画像の被写界深度を調整する技術を提供する。【解決手段】結像光学系の射出瞳が分割された複数の瞳部分領域に対応する複数の視点画像を取得する取得手段と、被写界深度を指定する深度指定手段と、前記複数の視点画像の光学情報に基づいて、部分領域における各視点画像の絞り値を判定する判定手段と、前記指定された被写界深度及び前記判定された絞り値に基づく合成比率で、前記複数の視点画像の前記部分領域を合成することにより、前記指定された被写界深度の合成画像を生成する生成手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図１３
2018148457.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の射出瞳が分割された複数の瞳部分領域に対応する複数の視点画像を取得する取得手段と、
被写界深度を指定する深度指定手段と、
前記複数の視点画像の光学情報に基づいて、部分領域における各視点画像の絞り値を判定する判定手段と、
前記指定された被写界深度及び前記判定された絞り値に基づく合成比率で、前記複数の視点画像の前記部分領域を合成することにより、前記指定された被写界深度の合成画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
前記複数の視点画像の中から前記部分領域における絞り値が最も小さい第１の視点画像を識別し、
前記指定された被写界深度が、前記部分領域における前記第１の視点画像の被写界深度以下である第１の被写界深度である場合、前記第１の視点画像の割合が最も大きい合成比率で前記複数の視点画像の前記部分領域を合成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の被写界深度は、前記部分領域における前記第１の視点画像の被写界深度に等しい
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
処理対象領域を指定する領域指定手段と、
前記処理対象領域のサイズが閾値以下の場合、前記処理対象領域を前記部分領域として用いるように制御し、前記処理対象領域のサイズが前記閾値より大きい場合、前記処理対象領域を前記閾値以下のサイズに分割した複数の分割領域の各々を前記部分領域として用いるように制御する、制御手段と、
を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の視点画像の前記光学情報は、前記複数の視点画像の像面移動量変換係数を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の視点画像の前記光学情報は、前記複数の視点画像の周辺光量落ち情報を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像処理装置と、
各々が前記射出瞳の異なる瞳部分領域に対応する光束を受光する複数の副画素を含む画素が複数配列された撮像素子と、
を備えることを特徴とする撮像装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
結像光学系の射出瞳が分割された複数の瞳部分領域に対応する複数の視点画像を取得する取得工程と、
被写界深度を指定する深度指定工程と、
前記複数の視点画像の光学情報に基づいて、部分領域における各視点画像の絞り値を判定する判定工程と、
前記指定された被写界深度及び前記判定された絞り値に基づく合成比率で、前記複数の視点画像の前記部分領域を合成することにより、前記指定された被写界深度の合成画像を生成する生成工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
撮影レンズの異なる瞳領域を通過した光束を記録することにより、複数の視点画像を同時に撮影可能な撮像装置が知られている。特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。特許文献１には、これらの分割された光電変換部から取得した複数の視点画像を合成することにより、視差を軽減することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４７０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
各瞳部分領域は射出瞳全体の領域よりも狭いため、各視点画像に対応する絞り値は、射出瞳全体に対応する絞り値よりも大きい（暗い）。また、撮影レンズの射出瞳と撮像素子の入射瞳の瞳ずれにより、各視点画像の絞り値が像高に応じて異なる場合がある。しかしながら、特許文献１の技術は、複数の視点画像を合成する際に、絞り値の相違に関しては考慮していない。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、絞り値の相違を利用して合成画像の被写界深度を調整する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、結像光学系の射出瞳が分割された複数の瞳部分領域に対応する複数の視点画像を取得する取得手段と、被写界深度を指定する深度指定手段と、前記複数の視点画像の光学情報に基づいて、部分領域における各視点画像の絞り値を判定する判定手段と、前記指定された被写界深度及び前記判定された絞り値に基づく合成比率で、前記複数の視点画像の前記部分領域を合成することにより、前記指定された被写界深度の合成画像を生成する生成手段と、を備えることを特徴とする画像処理装置を提供する。
【０００７】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００８】
本発明によれば、絞り値の相違を利用して合成画像の被写界深度を調整することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図。
【図２】画像処理部１２５の詳細な構成を示す図。
【図３】第１の実施形態に係る、撮像素子１０７の画素及び副画素の配列について説明する図。
【図４】（ａ）図３の画素２００Ｇを撮像素子１０７の受光面側（＋ｚ側）から見た平面図、（ｂ）図４（ａ）のａ−ａ断面を−ｙ側から見た断面図。
【図５】図４（ａ）に示した画素２００Ｇのａ−ａ断面を＋ｙ側から見た断面図と、結像光学系の射出瞳面の対応関係を示す図。
【図６】画素２００Ｇに形成されたマイクロレンズ３０５に光が入射した場合の光強度分布の例を示す図。
【図７】瞳強度分布の例を示す図。
【図８】深度変更処理の原理を説明する図。
【図９】撮像素子１０７の周辺像高における瞳ずれを説明する図。
【図１０】撮像素子１０７の周辺像高におけるケラレを説明する図。
【図１１】撮影光学系の射出瞳面と、像高ゼロ付近に配置された撮像素子１０７の光電変換部の、共役関係を説明する図。
【図１２】撮像画像の深度変更に係る一連の動作のフローチャート。
【図１３】深度変更画像処理（Ｓ１０４）の詳細を示すフローチャート。
【図１４】現像処理（Ｓ２０８）の詳細を示すフローチャート。
【図１５】深度変更ＵＩの例を示す図。
【図１６】スライダーバー操作と、第１視点画像及び第２視点画像の合成比率との関係の例を示す図。
【図１７】像高と、第１視点画像及び第２視点画像の実効Ｆ値との関係の例を示す図。
【図１８】第２の実施形態に係る、撮像素子１０７の画素及び副画素の配列について説明する図。
【図１９】（ａ）図１８の画素２００Ｇを撮像素子１０７の受光面側（＋ｚ側）から見た平面図、（ｂ）図１９（ａ）のａ−ａ断面を−ｙ側から見た断面図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１１】
以下の実施形態では、画像処理装置の一例として、瞳分割により複数の視点画像を取得可能なデジタルカメラを用いて説明を行う。しかし、画像処理装置はデジタルカメラに限定されず、取得した複数の視点画像を処理可能な任意の装置であってよい。そのような装置には、例えば、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視システム、車載システム、内視鏡などの医療システム、画像を提供可能なロボットなどが含まれる。また、以下の実施形態には、任意の装置がインターネット又はローカルネットワーク上の、プロセッサー等の処理機能を備えたサーバ機器に視点画像及び操作内容を送信し、視点画像に対する処理の一部又は全部をサーバ機器で実行する構成が含まれてよい。この場合、任意の装置は、サーバ機器から処理結果を受信して表示させる構成を含んでもよい。サーバ機器は、仮想マシンを含んでもよい。
【００１２】
［第１の実施形態］
（デジタルカメラ１００の全体構成）
図１は、画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１３】
第１レンズ群１０１は、結像光学系を構成する例えばズームレンズを含み、結像光学系の先端に配置されると共に、光軸方向に進退可能に保持される。シャッタ１０２は、絞りを含み、その開口径を調節することにより撮影時に撮像素子１０７に入射する光量を調節する。また、シャッタ１０２は、静止画を撮影する際には露光する時間を調節するシャッタとして機能する。シャッタ１０２と、結像光学系を構成する第２レンズ群１０３とは、一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１４】
第３レンズ群１０５は、結像光学系を構成する例えば焦点レンズを含み、光軸方向の進退により焦点調節を行なう。光学素子１０６は、光学的ローパスフィルタを含み、撮像画像の偽色やモアレを軽減する。撮像素子１０７は、例えばＣＭＯＳフォトセンサーと周辺回路とから構成される撮像素子を含み、結像光学系の結像面に配置される。
【００１５】
ズームアクチュエータ１１１は、第１レンズ群１０１乃至第３レンズ群１０３の進退動作を発生させる駆動装置を含み、不図示のカム筒を回動することにより、第１レンズ群１０１乃至第３レンズ群１０３を光軸方向に進退駆動させる。絞りシャッタアクチュエータ１１２は、シャッタ１０２の動作を発生させる駆動装置を含み、シャッタ１０２の開口径やシャッタ動作を、絞りシャッタ駆動部１２８の制御に応じて制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５の進退動作を発生させる駆動装置を含み、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１６】
照明装置１１５は、撮影時の被写体照明用電子フラッシュを含み、例えばキセノン管を用いた閃光照明装置、或いは連続発光するＬＥＤを備えた照明装置である。補助光発光部１１６は、ＡＦ補助光の発光装置を含み、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体或いは低コントラストの被写体に対する焦点検出能力を向上させる。
【００１７】
制御部１２１は、ＣＰＵ（又はＭＰＵ）、ＲＯＭ、及びＲＡＭを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することによりデジタルカメラ１００全体の各部を制御して、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。また、制御部１２１は、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェース回路等を備えてもよい。更に、制御部１２１は、表示部１３１に表示する表示内容を制御する表示制御部としての機能を含み、また、画像処理部１２５によって実行される処理を代わりに実行してもよい。
【００１８】
電子フラッシュ制御部１２２は、制御回路又は制御モジュールを含み、撮影動作に同期して照明装置１１５の点灯を制御する。補助光駆動部１２３は、焦点検出動作に同期して補助光発光部１１６の点灯を制御する。撮像素子駆動部１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理部１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００１９】
フォーカス駆動部１２６、絞りシャッタ駆動部１２８、及びズーム駆動部１２９は、それぞれ制御回路又は制御モジュールを含む。フォーカス駆動部１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を制御する。また、絞りシャッタ駆動部１２８は、撮影動作の所定のタイミングで絞りシャッタアクチュエータ１１２を制御する。更にズーム駆動部１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を制御する。
【００２０】
表示部１３１は、ＬＣＤ等の表示装置を含み、例えばカメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作部１３２は、デジタルカメラ１００を操作するためのスイッチ群を含み、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。操作部１３２が入力されたユーザ操作を制御部１２１に送信すると、制御部１２１はユーザ操作に対応した動作を実行するために、デジタルカメラ１００の各部を制御する。記録媒体１３３は、例えば着脱可能なフラッシュメモリを含み、撮影済み画像を記録する。
【００２１】
通信部１３４は、通信回路又はモジュールを含み、所定の規格に準拠した通信方式を用いて、外部装置（例えば外部に設置されたサーバ）と通信を確立する。通信部１３４は、外部装置と、例えば画像データのアップロードやダウンロード、アップロードした画像データに対して外部装置が行った所定の処理の結果の受信等を行う。
【００２２】
（画像処理部１２５の構成）
次に、画像処理部１２５の詳細な構成について、図２を参照して説明する。画像取得部１５１は、記録媒体１３３から読み出された画像データを保存する。画像データは、後述する第１視点画像と第２視点画像とを合成した画像（Ａ＋Ｂ像ともいう）と、第１視点画像とから構成される画像データである。
【００２３】
減算部１５２は、Ａ＋Ｂ像から第１視点画像を減算することで第２視点画像を生成する。周辺光量落ちを補正するシェーディング処理部１５３は、第１視点画像と第２視点画像の像高による光量変化を周辺光量落ち情報として予めデジタルカメラ１００内に保持する。或いは、シェーディング処理部１５３は、Ａ＋Ｂ像と第１視点画像、Ａ＋Ｂ像と第２視点画像の光量比を演算し、補正する。操作情報取得部１５４は、ユーザが指定した領域とユーザが変更した深度変更の調整値とを受け取り、深度変更処理部１５５へユーザが操作した領域と調整値とを供給する。
【００２４】
深度変更処理部１５５は、第１視点画像と第２視点画像の加算比率（重み付け）を変更して被写界深度を変更した合成画像を生成する。詳細は後述するが、深度変更処理部１５５の処理により被写界深度を拡大した画像を生成することができる。
【００２５】
また、画像処理部１２５は、以下に説明するホワイトバランス部１５６、デモザイキング部１５７、ガンマ変換部１５８、色調整部１５９の構成により現像処理を行う。ホワイトバランス部１５６は、ホワイトバランス処理を行う。具体的には、白の領域のＲ、Ｇ、Ｂが等色になるようにＲ、Ｇ、Ｂの各色にゲインをかける。このホワイトバランス処理をデモザイキング処理前に行うことにより、彩度を算出する際に、色かぶり等により偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することができる。
【００２６】
デモザイキング部１５７は、各画素において欠落している３原色のうち２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ、Ｇ、Ｂのカラー画像データが揃ったカラー画像を生成する。デモザイキング部１５７は、注目画素に対して、注目画素の周辺の画素を用いた補間を行う。その後、各画素について補間処理結果としてのＲ、Ｇ、Ｂの３原色のカラー画像データを生成する。
【００２７】
ガンマ変換部１５８は、各画素のカラー画像データにガンマ補正処理を適用して、例えば表示部１３１の表示特性に整合させたカラー画像データを生成する。色調整部１５９は、画像の見栄えを改善するための処理である、例えばノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理をカラー画像データに適用する。
【００２８】
圧縮部１６０は、色調整されたカラー画像データをＪＰＥＧ等の所定の圧縮方式に準拠した方法で圧縮し、記録する際のカラー画像データのデータサイズを小さくする。出力部１６１は、上述したカラー画像データ、圧縮された画像データ、又はユーザインターフェース用の表示データを出力する。
【００２９】
光学情報取得部１６２は、後述の結像光学系の射出瞳距離、撮像素子１０７の設定瞳距離、撮影絞り値、周辺光量落ち情報などを、予め保持するか、又は、インターネット上から受信することにより取得する。また、光学情報取得部１６２は、各視点画像の像ずれ量から像面移動量を算出するための像面移動量変換係数の光学情報も、予め保持するか、又は、インターネット上から受信することにより取得する。光学情報は、深度変更処理部１５５により使用される。
【００３０】
（撮像素子１０７の構成）
図３を参照して、本実施形態に係る撮像素子１０７の画素及び副画素の配列について説明する。図３は、２次元状に配置された画素配列を４列×４行の範囲で示しており、更に各画素に含まれる副画素配列を８列×４行の範囲で示している。
【００３１】
図３に示す画素配列のうち、２列×２行の画素群では、左上の位置にＲ（赤）の分光感度を有する画素２００Ｒを、右上と左下の位置にＧ（緑）の分光感度を有する画素２００Ｇを、右下の位置にＢ（青）の分光感度を有する画素２００Ｂをそれぞれ有する。更に、各画素は、２列×１行に配列された副画素２０１と副画素２０２を有する。
【００３２】
図３に示した４列×４行の画素（８列×４行の副画素）を面状に多数配置することにより、撮像画像（或いは視点画像）の取得が可能になる。撮像素子１０７は、例えば、画素の配置される周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の列方向周期ＰＳが２μｍ、副画素数ＮＳが横１１１５０列×縦３７２５行＝約４１５０万画素である。
【００３３】
図４を参照して、図３に示した画素２００Ｇの構造をより詳細に説明する。図４（ａ）は、画素２００Ｇを撮像素子１０７の受光面側（＋ｚ側）から見た平面図を、図４（ｂ）は、図４（ａ）のａ−ａ断面を−ｙ側から見た断面図を、それぞれ示している。
【００３４】
画素２００Ｇは、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２とを有するように構成される。光電変換部３０１と光電変換部３０２とは、副画素２０１と副画素２０２とにそれぞれ対応する。
【００３５】
また、画素２００Ｇは、画素の受光側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５を有し、マイクロレンズ３０５を通過して入射した光束が、光電変換部３０１又は光電変換部３０２により受光されるように構成される。光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。カラーフィルタ３０６は、マイクロレンズ３０５と、光電変換部３０１及び光電変換部３０２との間に配置され、所定の周波数の光を通過させる。図４（ｂ）では、カラーフィルタ３０６を画素２００Ｇに対して１つ設ける例を示しているが、必要に応じて、副画素毎に分光透過率の異なるカラーフィルタを設けてもよく、或いはカラーフィルタを省略してもよい。
【００３６】
光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、更に空乏層で分離される。その後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１０７の外部へ出力される。光電変換部３０１と光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３７】
（撮像素子１０７の画素構造と瞳分割の関係）
次に、図５を参照して、図４に示した撮像素子１０７の画素構造と瞳分割との対応関係を説明する。図５は、図４（ａ）に示した画素２００Ｇのａ−ａ断面を＋ｙ側から見た断面図と、結像光学系の射出瞳面の対応関係を示している。なお、図５では、射出瞳面の座標軸と対応を取るために、画素２００Ｇの断面図のｘ軸とｙ軸を図４（ｂ）に対して反転させている。
【００３８】
副画素２０１の瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっている。
【００３９】
一方、副画素２０２の瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心しており、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっている。なお、瞳領域５００は、光電変換部３０１と光電変換部３０２（副画素２０１と副画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００４０】
図６を参照して、上述した構成の画素２００Ｇに光が入射した際の様子をより具体的に説明する。図６は、画素２００Ｇに形成されたマイクロレンズ３０５に、光が入射した場合の光強度分布の例を示している。図６（ａ）は、マイクロレンズ光軸に平行な断面における光強度分布を、図６（ｂ）は、マイクロレンズ焦点位置でのマイクロレンズ光軸に垂直な断面における光強度分布を、それぞれ示している。図６において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を、ｎＦΔはリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示す。
【００４１】
入射光は、マイクロレンズ３０５によって焦点位置に集光されるが、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくならず、例えば図６（ａ）及び図６（ｂ）に示すように有限の大きさとなる。例えば、光電変換部３０１の受光面サイズが約１〜２μｍ程度である場合、マイクロレンズの集光スポットも約１μｍ程度である。そのため、光電変換部３０１の受光面とマイクロレンズ３０５を介して共役の関係にある瞳部分領域５０１（光電変換部３０２には瞳部分領域５０２）は、回折ボケのため、明瞭に瞳分割がされていない受光率分布（瞳強度分布）となる。
【００４２】
この画素２００Ｇにおける瞳強度分布は、更に横軸を瞳座標、縦軸を受光率として模式的に示すと、図７のようになる。なお、瞳強度分布７０１（実線）は、図５の瞳部分領域５０１のＸ軸に沿った瞳強度分布の例を、瞳強度分布７０２（破線）は、瞳部分領域５０２のＸ軸に沿った瞳強度分布の例を、それぞれ示している。瞳部分領域５０１と瞳部分領域５０２とが異なる瞳位置においてなだらかな瞳強度のピークを有しており、マイクロレンズ３０５を通過した光がなだらかに瞳分割されることを示している。
【００４３】
更に、撮像素子１０７の位置の異なる画素と瞳分割との対応関係は、図８（ａ）のようになる。異なる瞳部分領域（瞳部分領域５０１と瞳部分領域５０２）を通過したそれぞれの光束は、撮像面６００を通過して撮像素子１０７の各画素に異なる角度で入射する。そして、２×１分割された各画素の副画素２０１（光電変換部３０１）と副画素２０２（光電変換部３０２）とによって受光される。即ち、撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光するように構成された複数の副画素が設けられた画素を、複数配列している。
【００４４】
このような構成の撮像素子１０７を用いることにより、各画素の副画素２０１の受光信号を集めて第１視点画像を生成し、各画素の副画素２０２の受光信号を集めて第２視点画像を生成することができる。つまり、撮像素子１０７の各画素により取得される入力画像から、異なる瞳部分領域毎に複数の視点画像を生成することができる。なお、本実施形態では、第１視点画像と第２視点画像は、それぞれ、ベイヤー配列の画像となるため、必要に応じて第１視点画像と第２視点画像とにデモザイキング処理を適用してもよい。また、撮像素子１０７の画素毎に、副画素２０１と副画素２０２の信号を加算して読み出すことにより、有効画素数Ｎの解像度の撮像画像を生成することができる。本実施形態では、複数の視点画像（第１視点画像と第２視点画像）から生成した撮像画像を用いる例を説明する。なお、図４（ａ）では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。
【００４５】
（深度変更処理）
次に、深度変更処理部１５５によって実行される、本実施形態に係る深度変更処理について説明する。なお、深度変更処理は、被写界深度を拡大するための処理である。
【００４６】
図８（ａ）〜（ｃ）は、深度変更処理の原理を示している。この図では、撮像素子１０７（図８（ａ）〜（ｃ）において不図示）が撮像面６００に配置されており、結像光学系の射出瞳が瞳部分領域５０１と瞳部分領域５０２とに２分割される。
【００４７】
図８（ａ）は、主被写体ｑ１の合焦像Ｐ１を示している。また、図８（ｂ）と図８（ｃ）は、図８（ａ）に示す例を、結像光学系の瞳部分領域５０１を通過する光束と、瞳部分領域５０２を通過する光束とに、それぞれ分けて示している。図８（ｂ）では、主被写体ｑ１からの光束は、瞳部分領域５０１を通過して、合焦状態で像Ｐ１に結像する。それぞれの光束は、撮像素子１０７の異なる画素の副画素２０１により受光されて、第１視点画像が生成される。
【００４８】
一方、図８（ｃ）では、主被写体ｑ１からの光束は、瞳部分領域５０２を通過して、合焦状態で像Ｐ１に結像する。それぞれの光束は、撮像素子１０７の各画素の副画素２０２で受光されて、第２視点画像が生成される。
【００４９】
次に、深度変更処理部１５５が、第１視点画像と第２視点画像とを、加算比率を変更して合成画像を生成する処理について説明する。なお、深度変更処理部１５５には、上述した第１視点画像と第２視点画像とが入力される。座標（ｊ，ｉ）における第１視点画像の画素値をＡ（ｊ，ｉ）、座標（ｊ，ｉ）における第２視点画像の画素値をＢ（ｊ，ｉ）と表記する
第１ステップとして、深度変更処理部１５５は、深度変更を行う所定領域Ｒ＝［ｊ１，ｊ２］×［ｉ１，ｉ２］と所定領域の境界幅σとを設定した上で、式（１）に従って所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。
【００５０】
【数１】
2018148457.tif 000003
【００５１】
なお、テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となる関数であり、所定領域Ｒの境界幅σで１から０に概ね連続的に変化する。なお、深度変更処理部１５５は、必要に応じて、所定領域を円形やその他の任意の形状としてもよく、また、複数の所定領域及び複数の境界幅を設定してもよい。
【００５２】
第２ステップとして、深度変更処理部１５５は、実係数ｗ（−１≦ｗ≦１）を用いて、式（２Ａ）に従う、第１視点画像Ａ（ｊ，ｉ）の第１重み係数Ｗａ（ｊ，ｉ）を算出する。また、深度変更処理部１５５は、式（２Ｂ）に従う、第２視点画像Ｂ（ｊ，ｉ）の第２重み係数Ｗｂ（ｊ，ｉ）を算出する。
【００５３】
【数２】
2018148457.tif 000004
【００５４】
第３ステップとして、深度変更処理部１５５は、第１視点画像Ａ（ｊ，ｉ）と、第２視点画像Ｂ（ｊ，ｉ）と、第１重み係数Ｗａ（ｊ，ｉ）と、第２重み係数Ｗｂ（ｊ，ｉ）とを用いて、式（３）に従って出力画像Ｉ（ｊ，ｉ）を生成する。
【００５５】
【数３】
2018148457.tif 000005
【００５６】
このように、深度変更処理部１５５は、出力画像の領域に応じて連続的に変化する重み係数を用いて、複数の視点画像毎に重み係数をかけて合成し、深度を変更した出力画像を生成する。
【００５７】
なお、ユーザの指定に応じて重み係数（即ち加算比率）を変更した出力画像を生成する方法を後述するが、深度変更処理を行う所定領域をユーザが指定するようにしてもよい。
【００５８】
（瞳ずれに対する深度変更処理）
次に、撮像素子１０７の周辺像高における瞳ずれについて説明する。図９（ａ）〜（ｃ）は、各画素の副画素２０１と副画素２０２がそれぞれ受光する瞳部分領域５０１，５０２と、結像光学系の射出瞳４００との関係を示している。
【００５９】
図９（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、結像光学系の射出瞳４００は、中央像高の場合も周辺像高の場合も同様に、瞳部分領域５０１と瞳部分領域５０２によって概ね均等に瞳分割される。
【００６０】
これに対して、図９（ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示している。この場合、周辺像高では、結像光学系の射出瞳４００が、瞳部分領域５０１と瞳部分領域５０２によって不均一に瞳分割される。図９（ｂ）の例では、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。
【００６１】
図９（ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合である。この場合も、周辺像高では、結像光学系の射出瞳４００が、瞳部分領域５０１と瞳部分領域５０２によって不均一に瞳分割される。図９（ｃ）の例では、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。
【００６２】
即ち、瞳ずれにより周辺像高で瞳分割が不均一になることに伴って、第１視点画像と第２視点画像の実効絞り値も不均一になる。このため、第１視点画像と第２視点画像のいずれかのボケの広がり方が大きくなり、他方のボケの広がり方が小さくなる。
【００６３】
各撮像素子の位置毎で、実際の絞り値（実効絞り値）は異なる。図１０（ａ）のように、単枠によるケラレが発生した場合は、各撮像素子の位置毎で絞り値の変化は無い。しかし、図１０（ｂ）のように、実際のレンズでは複数枠があり、実際の絞り値は複数の枠ケラレの結果により変化する。このレンズによるケラレが発生すると、撮像素子の端の像高に向うに従って光量の落ち込み（周辺光量落ち）が発生することが一般的に知られている。この周辺光量落ちはレンズ毎固有の値のため、レンズ毎に周辺光量落ち情報を記憶し、撮影後に補正する機能を有するカメラは多数存在している。この周辺光量落ち情報を用いれば、光量が落ちた分だけレンズ枠によるケラレが発生していることが分かる。そのため、周辺光量落ち情報を用いることで、撮像素子の像高毎の実効絞り値を予測することができる。
【００６４】
ある撮像素子の像高（ｘ,ｙ）における周辺光量落ち情報Ｖ（ｘ,ｙ）の時の実効絞り値Ｆは、撮影絞り値Ｆを用いて以下の式（４）にて算出できる。
【００６５】
【数４】
2018148457.tif 000006
【００６６】
ここで、ｆ（Ｖ（ｘ,ｙ））は、Ｖ（ｘ,ｙ）を用いた関数である。ｆ（Ｖ（ｘ,ｙ））は、レンズによるケラレの形状に応じて最適な関数形が異なるため、レンズ毎で適した関数を用いる必要がある。以下に、ケラレの形状が円形に近い場合（式（５））と、楕円に近い場合（式（６））とを示す。
【００６７】
【数５】
2018148457.tif 000007
【００６８】
【数６】
2018148457.tif 000008
【００６９】
上式は略式な形式で表現した場合であるが、高精度化を目指し、関数形は複数考えられる。周辺光量落ち情報を用いて実効絞り値を算出できることは式（４）にて示した通りであり、本件の関数形は式（５）、式（６）に限らなくても良い。
【００７０】
以上により、第１視点画像と第２視点画像の周辺光量落ち情報から絞り値を算出することで、各視点画像の絞り値の大小関係を求めることができる。
【００７１】
（被写界深度変更処理）
次に、再び図９を参照して、深度変更処理部１５５のよる被写界深度変更処理について説明する。上述したように、図９（ａ）において瞳部分領域５０１を通過した像が第１視点画像、瞳部分領域５０２を通過した像が第２視点画像である。各視点画像は、図９からも明らかなように、本来の瞳領域の半分を通過して得られる画像であるため、水平方向２分割の瞳分割領域の場合には、水平方向の絞り径が半分となる。このため、水平方向の被写界深度は４倍になる。一方、本実施形態では、垂直方向に瞳分割した構成ではないため、垂直方向の被写界深度の変化はない。従って、第１視点画像又は第２視点画像は、第１視点画像と第２視点画像とを合成した画像（Ａ＋Ｂ像）の被写界深度に対して、縦横平均としては２倍の被写界深度を有する画像となる。
【００７２】
このように、深度変更処理部１５５は、第１視点画像又は第２視点画像の加算比率を１：１以外に変更して合成画像を生成することにより、被写界深度を変更した画像を生成することができる。深度変更する領域は、所定領域をユーザの指定に応じて処理するようにしてもよい。なお、視点画像から生成された合成画像は、深度変更処理部１５５から出力されると、上述した現像処理が適用され、現像処理の適用された画像として画像処理部１２５から出力される。
【００７３】
（像面移動量変換係数）
図１１は、デジタルカメラ１００において、撮影光学系の射出瞳面と、像高ゼロ付近（即ち、像面中央近傍）に配置された撮像素子１０７の光電変換部の、共役関係を説明する図である。撮像素子１０７内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして、撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は、変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図１１における撮影光学系は、焦点距離が広角端と望遠端の中間、即ちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。
【００７４】
図１１（ａ）には、第１レンズ群１０１、第１レンズ群１０１を保持する鏡筒部材１０１ｂ、第３レンズ群１０５、第３レンズ群１０５を保持する鏡筒部材１０５ｂが図示されている。また、シャッタ１０２、シャッタ１０２の絞り開放時の開口径を規定する開口板１０２ａ、シャッタ１０２の絞り込み時の開口径を調節するための絞り羽根１０２ｂも図示されている。なお、撮影光学系を通過する光束の制限部材として作用する鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、及び鏡筒部材１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、シャッタ１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。
【００７５】
被写体像を光電変換するための画素は、最下層より、光電変換部３０１及び３０２、配線層３０３ａ〜３０３ｃ、カラーフィルタ３０６、及びマイクロレンズ３０５の各部材で構成される。そして、２つの光電変換部は、マイクロレンズ３０５によって撮影光学系の射出瞳面に投影される。また別の言い方をすれば、撮影光学系の射出瞳が、マイクロレンズ３０５を介して、光電変換部の表面に投影されることになる。
【００７６】
図１１（ｂ）は、撮影光学系の射出瞳面上における、光電変換部の投影像を示したもので、光電変換部３０１及び３０２に対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。ＥＰ１ａが第１視点画像、ＥＰ１ｂが第２視点画像の投影像に対応する。
【００７７】
ここで、シャッタ１０２が開放（例えばＦ２．８）の場合、撮影光学系を通過する光束の最外部をＬ（Ｆ２．８）で示すが、上記投影像ＥＰ１ａ及びＥＰ１ｂは、絞り開口でけられることが無い。一方、シャッタ１０２が小絞り（例えばＦ５．６）の場合、撮影光学系を通過する光束の最外部をＬ（Ｆ５．６）で示すが、上記投影像ＥＰ１ａ及びＥＰ１ｂの外側は絞り開口でけられる。但し、像面中央では、各投影像ＥＰ１ａ及びＥＰ１ｄのけられ状態は光軸に対して対称となり、光電変換部３０１及び３０２が受光する光量は等しい。
【００７８】
図１１（ｃ）は、図１１（ｂ）のＡ−Ａ断面における受光特性で、横軸は撮影光学系の射出瞳面における水平座標、縦軸は光電変換部の受光効率を表わす。図１１（ａ）において、画素内に配置された光電変換部はマイクロレンズにより、撮影光学系の射出瞳と共役関係にあると説明した。これは、射出瞳面上における撮影光学系の射出瞳ＴＬ２（図１１（ｂ））と光電変換部の投影像ＥＰの共通領域を通過する光束のみが、光電変換部に到達することを意味する。従って、上記投影像は撮影光学系の射出瞳面上に配置された画素固有の開口絞りに相当し、図１１（ｃ）の縦軸は各開口絞りの透過率分布になる。そしてこの透過率分布は、光電変換部の光束受光効率と見なすことができる。この光束受光効率の分布特性を便宜上「瞳強度分布」と称することにする。
【００７９】
ここで、マイクロレンズによる投影性能が幾何光学的に無収差であれば、瞳強度分布はゼロもしくは１のいずれか一方の値のみを有するステップ関数となる。しかしながら、各画素の寸法は数μｍ程度と微小なため、射出瞳面上に投影された光電変換部の像は光の回折により鮮鋭度が低下する。また、通常マイクロレンズは球面レンズであるため、球面収差によっても投影像の鮮鋭度は低下する。そこで、各画素の瞳強度分布もボケを生じ、図１１（ｃ）のごとく両端の肩の部分がなまり、かつ裾を引いた形状となる。
【００８０】
次に、瞳強度分布と焦点検出特性の関係について説明する。Ｘ軸方向における１対の瞳強度分布において、撮影光学系の射出瞳範囲で切り出された部分の各々の重心の離間量が、位相差式焦点検出システムにおける基線長に相当する。ここでは基線長を、撮影光学系の瞳面上での重心離間量（単位ｍｍ）を瞳距離（単位ｍｍ）で除した角度θ（単位はラジアン）で定義する。そして、焦点検出時の１対２像の像ずれ量をｕ（単位はｍｍ）、その時のデフォーカス量をｄｚ（単位はｍｍ）とすると、これらの関係は以下の式（７）及び式（８）で表わされる。
【００８１】
θ×ｄｚ＝ｕ  ・・・（７）
ｄｚ＝ｕ×（１／θ）＝ｕ×Ｋ  ・・・（８）
ここで、Ｋは基線角度θの逆数で定義された係数である。
【００８２】
上記のＫが、本実施形態の像面移動量変換係数である。θは、撮影光学系のＦナンバー毎に異なる値をとり、図１１（ｃ）では、Ｆ２．８とＦ５．６の基線角度をθ（Ｆ２．８）及びθ（Ｆ５．６）で示した。式（７）によると、基線角度θが大きいほど、単位デフォーカス量に対する焦点検出像の像ずれ量が大きく、焦点検出精度が高くなる。
【００８３】
上記と同様に、光電変換部３０１及び３０２を足した投影像である投影像ＥＰ１ａ＋ＥＰ１ｄ（Ａ＋Ｂ像）と光電変換部３０１の投影像であるＥＰ１ａ（第１視点画像）との基線長を、撮影光学系の瞳面上での重心離間量（単位ｍｍ）を瞳距離（単位ｍｍ）で除した角度θ１（単位はラジアン）で定義する。そして、焦点検出時の１対２像の像ずれ量をｕ（単位はｍｍ）、その時のデフォーカス量をｄｚ１（単位はｍｍ）とすると、これらの関係は以下の式（９）及び式（１０）で表わされる。
【００８４】
θ１×ｄｚ１＝ｕ  ・・・（９）
ｄｚ１＝ｕ×（１／θ１）＝ｕ×Ｋ１  ・・・（１０）
ここで、Ｋ１は基線角度θ１の逆数で定義された係数である。
【００８５】
Ｋ１は、Ａ＋Ｂ像と第１視点画像の像面移動量変換係数であり、第１の像面移動量変換係数とする。
【００８６】
更に、光電変換部３０１及び３０２を足した投影像である投影像ＥＰ１ａ＋ＥＰ１ｄ（Ａ＋Ｂ像）と光電変換部３０２の投影像であるＥＰ１ｂ（第２視点画像）との基線長を、撮影光学系の瞳面上での重心離間量（単位ｍｍ）を瞳距離（単位ｍｍ）で除した角度θ２（単位はラジアン）で定義する。そして、焦点検出時の１対２像の像ずれ量をｕ（単位はｍｍ）、その時のデフォーカス量をｄｚ２（単位はｍｍ）とすると、これらの関係は以下の式（１１）及び式（１２）で表わされる。
【００８７】
θ２×ｄｚ２＝ｕ  ・・・（１１）
ｄｚ２＝ｕ×（１／θ２）＝ｕ×Ｋ２  ・・・（１２）
ここで、Ｋ２は基線角度θ２の逆数で定義された係数である。
【００８８】
Ｋ２はＡ＋Ｂ像と第２視点画像の像面移動量変換係数であり、第２の像面移動量変換係数とする。
【００８９】
以上から、像面移動量変換係数は基線角度θの逆数になり、基線角度はＦ値に対応する。基線角度が小さいほどＦ値が大きい値となる。ここで、Ａ＋Ｂ像と第１視点画像の像面移動量変換係数である第１の像面移動量変換係数Ｋ１と、Ａ＋Ｂ像と第２視点画像の像面移動量変換係数である第１の像面移動量変換係数Ｋ２の値を比較することは、絞り値を比較していることとなる。第１視点画像の絞り値をＦ１、第２視点画像の絞り値Ｆ２とすると、大小関係Ｋ１＞Ｋ２の場合にはＦ１＞Ｆ２、Ｋ１＜Ｋ２の場合にはＦ１＜Ｆ２の大小関係となる。以上から、Ａ＋Ｂ像と第１視点画像の像面移動量変換係数Ｋ１と、Ａ＋Ｂ像と第２視点画像の像面移動量変換係数Ｋ２との大小関係を比較することで、第１視点画像と第２視点画像の絞り値の大小関係を求めることができる。
【００９０】
像面移動量換算係数は、上記で説明した、瞳、絞り値、射出瞳距離、及び撮像素子の像高の情報が分かれば算出することが可能である。像面移動量変換係数は、予め算出し、デジタルカメラに記憶する、又は、デジタルカメラ１００内で演算することで用いることが可能である。
【００９１】
（撮像画像の深度変更操作に係る一連の動作）
次に、図１２を参照して、撮像画像の深度変更に係る一連の動作について説明する。なお、図１２のフローチャートの処理は、例えば操作部１３２に含まれるレリーズスイッチ等がユーザによって押下された場合に開始される。また、本フローチャートの各ステップの処理は、特に断らない限り、制御部１２１が不図示のＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開して実行すると共に、画像処理部１２５等の各部を制御することにより実現される。
【００９２】
Ｓ１０１で、撮像素子１０７は、制御部１２１の指示に応じて撮像を行う。Ｓ１０２で、撮像素子１０７は、視点画像データを出力する。具体的には、撮像素子１０７は、上述したＡ＋Ｂ像と第１視点画像（Ａ像）とを、１つのファイルフォーマットの視点画像データとして出力する。また、記録媒体１３３は、撮像素子１０７から出力された視点画像データを一時的に記憶する。
【００９３】
Ｓ１０３で、画像処理部１２５は、制御部１２１の指示に応じて視点画像データを読み込む。例えば、画像処理部１２５は、記録媒体１３３に記憶した視点画像データを、画像取得部１５１を用いて取得する。このとき、画像処理部１２５は、Ａ＋Ｂ像からＢ像を生成して、例えば、左側の視点の画像である第１視点画像（Ａ像）と、右側の視点の画像である第２視点画像（Ｂ像）とを取得する。
【００９４】
Ｓ１０４で、制御部１２１は、操作部１３２と画像処理部１２５とを制御して、後述する深度変更画像処理、即ち、撮像画像に対する深度変更を行う。制御部１２１は、深度変更画像処理を終えると、本フローチャートの処理を終了する。
【００９５】
（深度変更画像処理に係る一連の動作）
次に、Ｓ１０４における深度変更画像処理に係る一連の動作について、図１３に示すフローチャートを参照して説明する。なお、以下の説明では、被写界深度の変更を行うためのユーザインターフェース（深度変更ＵＩ）における操作を示す。
【００９６】
Ｓ２０１で、制御部１２１は、深度変更ＵＩを備えたユーザインターフェース（ＵＩ）と、撮影画像とを表示部１３１に表示させる。
【００９７】
Ｓ２０２で、制御部１２１は、操作部１３２を介して入力されたユーザ操作に基づいて、深度変更を行うかどうかを判定する。制御部１２１は、入力されたユーザ操作が深度変更を行うことを示す場合、処理をＳ２０３へ進める。一方、入力されたユーザ操作が深度変更を行うことを示さない場合、制御部１２１は、処理をメインフローチャート（図１２）に戻す。
【００９８】
Ｓ２０３で、制御部１２１（領域指定手段）は、操作部１３２を介して撮影画像から深度変更を行う領域を選択するＵＩを操作するユーザ操作を更に取得する。ここで、表示部１３１に表示する深度変更ＵＩの一例を、図１５に示している。図１５（ａ）の例では、制御部１２１は、ＵＩを構成する一部の領域１０００に画像を表示する。ユーザにより深度変更したい領域（処理対象領域）が選択されると、処理はＳ２０４へ進む。
【００９９】
Ｓ２０４で、制御部１２１は、操作部１３２を介して深度変更ＵＩを操作するユーザ操作を更に取得する。深度変更ＵＩは、スライダー１００１とスライダーバー１００２とを水平方向に配置する。ユーザは、深度変更したい位置へスライダー１００１を移動させ、制御部１２１は、操作情報（深度指定情報）を操作部１３２を介して取得する。
【０１００】
Ｓ２０５で、制御部１２１は、指定された深度が所定値より大きいかどうかを判定する。指定された深度が所定値より大きい場合、処理はＳ２０６へ進み、そうでない場合、処理はＳ２０７へ進む。所定値は、第１視点画像の絞り値と第２視点画像の絞り値のうち、小さい（明るい）方の絞り値に対応する被写界深度である。どちらの視点画像の絞り値が小さいかは、前述したように結像光学系の射出瞳距離と撮像素子１０７の設定瞳距離、撮影絞り値と深度変更を行う像高、周辺光量落ち情報、各視点画像の像面移動量変換係数によって判断することができる。この判断を行うために必要な情報は、予めデジタルカメラ１００内に保持しておいてもよいし、デジタルカメラ１００がインターネットを介して受信してもよい。
【０１０１】
Ｓ２０６で、制御部１２１は、深度（絞り値）の大きい方の視点画像を識別する。そして、制御部１２１は、深度（絞り値）の大きい方の視点画像の割合を大きくして視点画像の部分領域（Ｓ２０３で指定された領域）の合成を行い、深度変更画像を生成する。前述したように、結像光学系の射出瞳距離と撮像素子１０７の設定瞳距離、撮影絞り値と深度変更を行う像高、周辺光量落ち情報、各視点画像の像面移動量変換係数によって、第１視点画像の絞り値と第２視点画像の絞り値との大小関係は変化する。指定された深度が所定値より大きい場合、指定された深度の画像を得るためには、絞り値の大きい方の視点画像を主として視点画像の合成を行う必要がある。なお、特定の視点画像を「主として」視点画像の合成を行うということは、この特定の視点画像の割合が最も大きい合成比率で合成を行うということを意味する。
【０１０２】
Ｓ２０７で、制御部１２１は、深度（絞り値）の小さい方の視点画像を識別する。そして、制御部１２１は、深度（絞り値）の小さい方の視点画像の割合を大きくして視点画像の部分領域（Ｓ２０３で指定された領域）の合成を行い、深度変更画像を生成する。なお、深度変更が所定値以下の場合、第１視点画像と第２視点画像のどちらを主として視点画像の合成を行っても、指定された深度の画像を得ることができる。従って、Ｓ２０５及びＳ２０７の処理を省略し、指定された深度に関わらずＳ２０７の処理を行うようにデジタルカメラ１００を構成してもよい。しかしながら、Ｓ２０５及びＳ２０７の処理を設けると、深度変更画像のＳ／Ｎ比を向上させることができる。なぜならば、深度（絞り値）の小さい方の視点画像の方が、深度（絞り値）の大きい方の視点画像よりも光量が多く、そのため、一般的にノイズが少ないからである。また、所定値は、小さい（明るい）方の絞り値に対応する被写界深度以下の深度（第１の被写界深度）であればよく、小さい（明るい）方の絞り値に対応する被写界深度に必ずしも一致していなくてもよい。この場合、指定された深度が、絞り値の小さい方の視点画像を主として視点画像の合成を行うことにより実現可能な範囲であっても、指定された深度が所定値を超えていれば、絞り値の大きい方の視点画像を主として視点画像の合成が行われる。
【０１０３】
Ｓ２０８で、制御部１２１は、現像処理を行う。現像処理は、図１４を用いて後述する。Ｓ２０９で、制御部１２１は、画像表示を行い、深度変更画像処理を終了し、処理をメインフローチャート（図１２）に戻す。
【０１０４】
図１６は、スライダーバー操作と、第１視点画像及び第２視点画像の合成比率との関係の例を示す図である。図１６において、縦軸は各視点画像の割合を示し、横軸はスライダーバーの目盛を示す。スライダーバーの目盛は、「０」が、Ａ＋Ｂ像の深度に対応し、「１０」が、第１視点画像と第２視点画像とのうちの深度が大きい（深い）方の視点画像の深度に対応する。点線は、第１視点画像に対応し、実線は、第２視点画像に対応する。図１６（ａ）は、第１視点画像と第２視点画像の深度（絞り値）が同じ場合を示し、図１６（ｂ）は、第２視点画像の方が第１視点画像より深度（絞り値）が大きい場合を示す。
【０１０５】
図１６（ａ）の場合、第１視点画像と第２視点画像のどちらを主として合成を行っても、深度の調整可能範囲やＳ／Ｎ比などに実質的な相違はない。そこで、制御部１２１は、スライダーバーの目盛の値が増加するにつれて、第１視点画像と第２視点画像とのいずれかの割合を連続的に大きくすることにより、深度を変更する。
【０１０６】
図１６（ｂ）の場合、制御部１２１は、指定された深度が所定値に到達するまでは、第１視点画像を主として合成を行うことにより、深度を変更する。ここでは、目盛「５」が深度の所定値（即ち、第１視点画像の絞り値）に対応するものとするが、深度の所定値に対応する目盛の値は、第１視点画像の絞り値と第２視点画像の絞り値との比に応じて変化する。指定された深度が所定値を超えると、制御部１２１は、第２視点画像を主として合成を行うことにより、深度を変更する。
【０１０７】
第１視点画像及び第２視点画像の合成により実現可能な深度（Ｆ値）は、周辺光量落ち情報から算出できる。Ａ＋Ｂ像、第１視点画像、第２視点画像のＦ値をそれぞれＦａｂ、Ｆ１、Ｆ２とし、光量をそれぞれＹａｂ、Ｙ１、Ｙ２として表す。光量は、水平像高ｘ、垂直像高ｙの関数となり、制御部１２１は、Ａ＋Ｂ像、第１視点画像、第２視点画像それぞれについて、シェーディング処理部１５３を用いて光量の関数の係数を算出する。
【０１０８】
以上から、第１視点画像と第２視点画像のＦ値は下記の式（１３）となる。
【０１０９】
【数１３】
2018148457.tif 000009
【０１１０】
第１視点画像の割合をα（０≦α≦１）とした場合のＦ値をＦ（α）とすると、下記の式（１４）となる。
【０１１１】
【数１４】
2018148457.tif 000010
【０１１２】
制御部１２１は、式（１４）に基づき、Ｆ（α）＝（指定された深度（Ｆ値））となるαを算出する。これにより、第１視点画像及び第２視点画像それぞれの割合を求めることができる。そして、制御部１２１は、前述した式（２Ａ）及び式（２Ｂ）に従い、第１視点画像及び第２視点画像それぞれの重み係数Ｗａ及びＷｂを算出する。なお、式（２Ａ）及び式（２Ｂ）において、ｗ＝１−２αである。そして、制御部１２１は、前述した式（３）に従って合成画像を生成することにより、指定された深度の画像を得ることができる。
【０１１３】
以上のように、第１視点画像と第２視点画像の合成割合に応じたＦ値を計算することで、図１６に示した深度変更を行うことができる。
【０１１４】
ところで、前述したように、各視点画像のＦ値（実効Ｆ値）は、像高に応じて変化する。そこで、本実施形態では、以下に詳述する通り、図１３のＳ２０３において指定された深度変更領域が所定サイズ（閾値）を超える場合、制御部１２１は、深度変更領域を所定サイズ以下に分割し、分割領域それぞれについて、Ｓ２０５〜Ｓ２０７の処理を行う。
【０１１５】
図１７は、像高と、第１視点画像及び第２視点画像の実効Ｆ値との関係の例を示す図である。図１７において、縦軸は実効Ｆ値、横軸は水平像高を示す。また、実線は第１視点画像に対応し、点線は第２視点画像に対応する。図１７の例は、第１視点画像と第２視点画像の深度が像高ごとに異なる場合の例である。
【０１１６】
図１７の例において、ユーザが所定サイズ以下（閾値以下）の領域（例えば、全像高の水平５％、垂直５％）を深度変更領域として指定した場合を考える。この場合、制御部１２１は、指定領域に対して第１視点画像と第２視点画像の割合を一律に決定する。これにより、深度変更領域全体に対して実質的に同一の実効Ｆ値で深度変更することができる。
【０１１７】
ユーザが大きい領域（例えば、全像高の水平８０％、垂直８０％）を深度変更領域として指定した場合には、制御部１２１は、指定領域を像高ごとに分割する。そして、制御部１２１は、指定領域全体が実質的に同一の実効Ｆ値となるように、分割領域ごとに第１視点画像と第２視点画像の割合を決定する。図１７の例では、指定された深度が所定値以下であれば、制御部１２１は、中央像高は第１視点画像又は第２視点画像の割合を大きくし、右像高では第１視点画像の割合を大きくし、左像高では第２視点画像の割合を大きくする。
【０１１８】
（現像処理に係る一連の動作）
次に、Ｓ２０８における現像処理について、図１４を参照して説明する。Ｓ３０１で、制御部１２１は、白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかけてホワイトバランス処理を行う。Ｓ３０２で、制御部１２１は、デモザイキング処理を行う。具体的には、制御部１２１は、入力画像に対して、それぞれの規定方向で補間を行って、その後方向選択を行うことにより、各画素について補間処理結果としてＲ、Ｇ，Ｂの３原色のカラー画像信号を生成する。
【０１１９】
Ｓ３０３で、制御部１２１は、ガンマ処理を行う。Ｓ３０４で、制御部１２１は、画像の見栄えを改善するためのノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理を行う。Ｓ３０５で、制御部１２１は、Ｓ３０４において色調整されたカラー画像信号をＪＰＥＧ等の所定の方式で圧縮処理して、圧縮された画像データを生成する。Ｓ３０６で、制御部１２１は、Ｓ３０５において生成された画像データを、記録媒体１３３に記録する。その後、処理は図１３のフローチャートに戻る。
【０１２０】
以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、ユーザにより指定された深度に応じた合成割合で、第１視点画像と第２視点画像とを合成する。このように、本実施形態のデジタルカメラ１００は、絞り値の相違を利用して合成画像の被写界深度を調整する。
【０１２１】
［第２の実施形態］
第１の実施形態では、図３に示すように、撮像素子１０７の各画素が水平方向に２分割されているものとして説明を行った。しかしながら、画素の分割の形態は、図３に示すものに限定されない。第２の実施形態では、撮像素子１０７の各画素が水平方向と垂直方向とにそれぞれ２分割された構成について説明する。デジタルカメラ１００のその他の構成は、第１の実施形態と概ね同様である。以下、主に第１の実施形態と異なる点について説明する。
【０１２２】
図１８は、第２の実施形態に係る、撮像素子１０７の画素及び副画素の配列について説明する図である。図１８は、本実施形態の撮像素子１０７について、画素の配列を４列×４行の範囲で、副画素の配列を８列×８行の範囲で示している。
【０１２３】
本実施形態において、図１８に示す２列×２行の画素群２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。更に、各画素は２列×２行に配列された副画素２２１から副画素２２４により構成される。
【０１２４】
撮像素子１０７は、図１８に示す４列×４行の画素（８列×８行の副画素）を面上に多数配置して、撮像画像（或いは視点画像）の取得を可能としている。撮像素子１０７は、例えば、画素の配置される周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の周期ＰＳが２μｍ、副画素数ＮＳが横１１１５０列×縦７４５０行＝約８３００万画素である。
【０１２５】
図１９を参照して、図１８に示した画素２００Ｇの構造をより詳細に説明する。図１９（ａ）は、画素２００Ｇを撮像素子１０７の受光面側（＋ｚ側）から見た平面図を、図１９（ｂ）は、図１９（ａ）のａ−ａ断面を−ｙ側から見た断面図を、それぞれ示している。図１９（ａ）に示すように、本実施形態の画素２００Ｇでは、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（２分割）された光電変換部３０１〜３０４が形成される。光電変換部３０１〜３０４は、それぞれ副画素２２１〜２２４に対応する。
【０１２６】
本実施形態では、第１視点画像は、各画素の副画素２０１の受光信号を集めて生成される。同様に、第２視点画像は、各画素の副画素２０２の受光信号を、第３視点画像は、各画素の副画素２０３の受光信号を、第４視点画像は、各画素の副画素２０４の受光信号を集めて、それぞれ生成される。なお、本実施形態では、第１視点画像から第４視点画像は、それぞれ、ベイヤー配列の画像であり、必要に応じて、第１視点画像から第４視点画像に、デモザイキング処理を行ってもよい。
【０１２７】
ｊ、ｉを整数として、撮像素子１０７の行方向ｊ番目、列方向ｉ番目の位置を（ｊ，ｉ）、位置（ｊ，ｉ）の画素の第１視点画像をＡ（ｊ，ｉ）、第２視点画像をＢ（ｊ，ｉ）、第３視点画像をＣ（ｊ，ｉ）、第４視点画像をＤ（ｊ，ｉ）とする。このとき、撮像画像Ｉは、Ｉ（ｊ，ｉ）＝Ａ（ｊ，ｉ）＋Ｂ（ｊ，ｉ）＋Ｃ（ｊ，ｉ）＋Ｄ（ｊ，ｉ）である。
【０１２８】
（深度変更処理）
深度変更処理部１５５は、実係数ｗ（−１≦ｗ≦１）として、式（１５Ａ）〜式（１５Ｄ）に従って各視点画像の重み係数をそれぞれ算出する。
【０１２９】
【数１５】
2018148457.tif 000011
【０１３０】
ここで、Ｗａ（ｊ，ｉ）は第１視点画像Ａ（ｊ，ｉ）の第１重み係数、Ｗｂ（ｊ，ｉ）は第２視点画像Ｂ（ｊ，ｉ）の第２重み係数である。また、Ｗｃ（ｊ，ｉ）は第３視点画像Ｃ（ｊ，ｉ）の第３重み係数、Ｗｄ（ｊ，ｉ）は第４視点画像Ｄ（ｊ，ｉ）の第４重み係数である。また、Ｗａ＋Ｗｂ＋Ｗｃ＋Ｗｄ＝０である。
【０１３１】
深度変更処理部１５５は、各視点画像と対応する重み係数から、式（１６）に従って出力画像Ｉ（ｊ，ｉ）を生成する。
【０１３２】
【数１６】
2018148457.tif 000012
【０１３３】
なお、Ｗａ，Ｗｂ，Ｗｃ，Ｗｄの決定方法は、第１の実施形態におけるＷａ，Ｗｂの決定方法と同様であり、式（１４）を、４つの視点画像の場合に拡張すればよい。
【０１３４】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３５】
１００…デジタルカメラ、１０７…撮像素子、１２１…制御部、１２５…画像処理部、１３１…表示部、１３２…操作部、１３３…記録媒体
【図１】
2018148457.tif 000013
【図２】
2018148457.tif 000014
【図３】
2018148457.tif 000015
【図４】
2018148457.tif 000016
【図５】
2018148457.tif 000017
【図６】
2018148457.tif 000018
【図７】
2018148457.tif 000019
【図８】
2018148457.tif 000020
【図９】
2018148457.tif 000021
【図１０】
2018148457.tif 000022
【図１１】
2018148457.tif 000023
【図１２】
2018148457.tif 000024
【図１３】
2018148457.tif 000025
【図１４】
2018148457.tif 000026
【図１５】
2018148457.tif 000027
【図１６】
2018148457.tif 000028
【図１７】
2018148457.tif 000029
【図１８】
2018148457.tif 000030
【図１９】
2018148457.tif 000031