(57)【要約】【課題】撮像素子にて焦点検出画素の分布密度が低い場合でも、焦点検出精度の低下を抑えられる焦点検出信号の演算処理を提供すること。【解決手段】撮像素子は、マイクロレンズを通してそれぞれ入射する光を受光する焦点検出画素及び撮像画素を有する。演算制御部１０５は、第１露光によって焦点検出画素及び撮像画素からそれぞれ出力される画素信号を取得し、焦点調節レンズの駆動により所定距離だけ焦点位置を移動させた第２露光によって焦点検出画素及び撮像画素からそれぞれ出力される画素信号を取得する。演算制御部１０５は、焦点検出画素の画素値と併せて、焦点検出画素の間に配置される撮像画素の光電変換部が複数に分割された領域から構成されるとした場合に各領域で得られる画素値から焦点検出信号を算出する。焦点検出部１０８は焦点検出画素の画素値及び撮像画素の画素値から算出される焦点検出信号を使用して瞳分割による撮像面位相差検出を行う。【選択図】  図１
2016031446.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を構成する焦点調節レンズと、マイクロレンズをそれぞれ通した光を受光する焦点検出画素及び撮像画素を有する撮像素子とを備える撮像装置であって、
前記焦点調節レンズの駆動手段と、
前記撮像画素の画素値及び前記焦点検出画素の画素値から焦点検出信号を演算する演算手段を備え、
前記演算手段は、前記焦点調節レンズを通した第１露光によって前記焦点検出画素及び撮像画素からそれぞれ出力される第１の画素信号と、前記駆動手段が前記焦点調節レンズを前記第１露光での位置から光軸方向に移動させた第２露光によって前記焦点検出画素及び撮像画素からそれぞれ出力される第２の画素信号を取得し、前記焦点検出画素の間に配置された前記撮像画素の光電変換部が複数に分割された領域から構成されるとした場合にそれぞれの領域で得られる画素信号を算出することにより、当該撮像画素の画素値及び前記焦点検出画素の画素値から焦点検出信号を演算することを特徴とする撮像装置。
【請求項２】
前記演算手段による前記焦点検出信号からデフォーカス量を算出し、前記駆動手段により前記焦点調節レンズを移動させることで焦点調節を行う制御手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記演算手段による前記焦点検出信号を取得し、前記焦点検出画素の周囲に配置された前記撮像画素の画素値を用いて当該焦点検出画素の位置での画素値を補正する補正手段を備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記演算手段は、絞り値と前記焦点調節レンズの位置から、前記第２露光における撮像面と、前記第１露光における撮像面との距離に相当する光軸方向の焦点面距離を算出して前記第２露光での焦点位置を決定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記演算手段は、絞り値、前記焦点調節レンズの位置、及びズーム機構を有する場合のズームレンズ位置から前記焦点面距離を算出することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記演算手段は、瞳分割された像の移動量と、前記焦点調節レンズの移動量との比を算出して、光軸方向と直交する画素配列方向の画素ピッチに乗算することで前記焦点面距離を算出することを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記演算手段は、前記第１露光にて前記第１の画素信号から撮像された画像データを取得した後、前記第２露光にて前記第２の画素信号を取得して前記焦点検出信号の演算を行い、
前記補正手段は、前記演算手段から前記焦点検出信号を取得し、前記第１露光もしくは第２露光、または前記第１露光及び第２露光で取得した画素値を補正して記録することを特徴とする請求項３に記載の撮像装置。
【請求項８】
前記焦点検出画素は、光電変換部への入射光を遮光する遮光部を有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記焦点検出画素は、前記マイクロレンズを共有する複数の光電変換部を有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２露光にて前記撮像画素及び焦点検出画素は、前記第１露光に対して画素配列方向に画素ピッチ分だけずれて入射される光をそれぞれ受光して画素値を出力し、
前記演算手段は、前記第２の画素信号と前記第１の画素信号の差分から、前記撮像画素にて複数に分割された領域での画素信号を算出することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
撮像光学系を構成する焦点調節レンズ及びその駆動手段と、マイクロレンズをそれぞれ通した光を受光する焦点検出画素及び撮像画素を有する撮像素子とを備える撮像装置にて実行される制御方法であって、
前記焦点調節レンズを通した第１露光によって前記焦点検出画素及び撮像画素からそれぞれ出力される第１の画素信号と、前記駆動手段が前記焦点調節レンズを前記第１露光での位置から光軸方向に移動させた第２露光によって前記焦点検出画素及び撮像画素からそれぞれ出力される第２の画素信号を、演算手段が取得するステップと、
前記焦点検出画素の間に配置された前記撮像画素の光電変換部が複数に分割された領域から構成されるとした場合にそれぞれの領域で得られる画素信号を前記演算手段が算出することにより、当該撮像画素の画素値及び前記焦点検出画素の画素値から焦点検出信号を演算するステップを有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出画素及び撮像画素を有する撮像素子の信号処理に関し、特に焦点検出信号を得るための演算処理に関するものである。
【背景技術】
【０００２】
瞳分割位相差方式の焦点検出では、撮影レンズの通過光束を分割した一対の瞳分割像を用いる。この一対の瞳分割像の像ズレを検出することによって、撮影レンズのデフォーカス量とデフォーカス方向を検出できる。この原理に従い、撮像素子の画素に遮光層を形成した焦点検出用画素を備える固体撮像素子がある。特許文献１では、通常画素の間に焦点検出画素が埋め込まれた固体撮像素子を用いて、瞳分割位相差方式の焦点検出を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７９７６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の技術では、焦点検出画素の位置にて撮像画素が欠落することになるため、周囲の撮像画素から補間して画像を生成する必要がある。そのため、全画素数に対して焦点検出画素数の占める割合が高いほど、画質低下が起こり易くなる。画質低下を抑えるために、撮像面上にて焦点検出画素の分布密度（または配置密度）を下げたのでは、焦点検出精度が低下してしまう。そこで、本発明の目的は、撮像素子にて焦点検出画素の分布密度が低い場合でも、焦点検出精度の低下を抑えられる焦点検出信号の演算処理を提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る装置は、撮像光学系を構成する焦点調節レンズと、マイクロレンズをそれぞれ通した光を受光する焦点検出画素及び撮像画素を有する撮像素子とを備える撮像装置であって、前記焦点調節レンズの駆動手段と、前記撮像画素の画素値及び前記焦点検出画素の画素値から焦点検出信号を演算する演算手段を備える。前記演算手段は、前記焦点調節レンズを通した第１露光によって前記焦点検出画素及び撮像画素からそれぞれ出力される第１の画素信号と、前記駆動手段が前記焦点調節レンズを前記第１露光での位置から光軸方向に移動させた第２露光によって前記焦点検出画素及び撮像画素からそれぞれ出力される第２の画素信号を取得し、前記焦点検出画素の間に配置された前記撮像画素の光電変換部が複数に分割された領域から構成されるとした場合にそれぞれの領域で得られる画素信号を算出することにより、当該撮像画素の画素値及び前記焦点検出画素の画素値から焦点検出信号を演算する。
【発明の効果】
【０００６】
本発明によれば、撮像素子にて焦点検出画素の分布密度が低い場合でも、焦点検出精度の低下を抑えられる焦点検出信号の演算処理を提供できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る撮像装置のブロック図である。
【図２】第１実施形態に係る撮像素子の画素断面図（Ａ）と第２実施形態に係る撮像素子の画素断面図（Ｂ）である。
【図３】撮像素子の画素配列を例示する図である。
【図４】撮像素子と光線の関係図である。
【図５】仮想焦点検出画素の配列図である。
【図６】第１実施形態における処理例を説明するフローチャートである。
【図７】第３実施形態における処理例を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。
［第１実施形態］
図１に示す撮像装置の構成を説明する前に、撮像素子の構造について説明する。図２（Ａ）は本実施形態で使用する撮像素子の画素構造を模式的に示す断面図である。図２（Ａ）には撮像画素（撮像用画素）と焦点検出画素（焦点検出用画素）を１つずつ示す。各画素はマイクロレンズ２０１をそれぞれ備え、配線層２０２が設けられている。撮像画素の光電変換部２０３は、マイクロレンズ２０１を通して受光した光を光電変換し、電気信号を出力する。焦点検出画素の光電変換部２０４に対しては、配線を利用して部分的な遮光を行う遮光部２０５が形成されている。光電変換部２０４は、マイクロレンズ２０１を通り、遮光部２０５により一部が遮られた光を受光して光電変換し、電気信号を出力する。撮像面位相差検出では、このような構造をもつ複数の焦点検出画素を配置することによって瞳分割された像の信号が得られる。
【０００９】
図３は撮像素子の一部である５行８列の画素配列を例示したレイアウト図である。
円形枠で示す撮像画素３０１は２次元アレイ状に配列されており、半円枠で示す焦点検出画素３０２，３０３が分散して配置されている。撮像画素３０１はその受光面全体に亘って光電変換を行う。焦点検出画素３０２，３０３は、図２（Ａ）に示す遮光部２０５を有するので、受光面の一部で受光した光に対して光電変換を行う。以下、図３に例示する配列にしたがい、図４を参照して検出原理について説明する。
【００１０】
図４は、画素配列と演算内容を説明する模式図である。図３の第３行に示す６個の撮像画素３０１と、焦点検出画素３０２及び３０３にそれぞれ入射する光線を示す。説明の便宜のため、各画素にはＰ０からＰ７と、Ｑ０からＱ６で示す識別記号を付しており、各画素値を同様にＰ０からＰ７、またはＱ０からＱ６で表記する。例えば、Ｐ０，Ｑ０は焦点検出画素３０２の画素値を表し、Ｐ６，Ｑ６は焦点検出画素３０３の画素値を表す。Ｐ１からＰ５、Ｑ１からＱ５は、それぞれに対応する撮像画素３０１の画素値を表す。
【００１１】
図４の上段には第１露光における撮像面上での画素配列及び画素配列方向の各画素値を示している。第１露光によって得られる第１の画素信号に関し、それぞれの画素値Ｐ０からＰ７で示す。また、下段には第２露光における撮像面上での画素配列を示しており、第２露光により得られる第２の画素信号に関し、それぞれの画素値Ｑ０からＱ６で示す。
【００１２】
第２露光における撮像面は、第１露光における撮像面に対して、光軸方向にて焦点面距離Ａだけ離間している。焦点調節レンズ（フォーカスレンズ）の駆動制御により、当該レンズをずらすことで瞳分割された像は、瞳分割方向に移動する。瞳分割された像の移動量と、フォーカスレンズの移動量との比をＫ値と記すことにすると、Ｋ値は瞳面までの距離と瞳の形状で決まる。したがって、レンズの設計情報と現在の絞り値やフォーカスレンズの位置情報等から計算によりＫ値を求める事ができる。
【００１３】
第１露光では、焦点検出画素３０２への入射光のうち、遮光部によって遮光された事により光電変換されないエリアにＢ０を付記して区別するとともに、その出力値をＢ０と記す。また、焦点検出画素３０２への入射光のうちで光電変換されるエリアにＡ０を付記して区別するとともに、その出力値をＡ０と記す。つまり、遮光されるエリアでの出力値Ｂ０と、遮光されないエリアでの出力値Ａ０との和が画素値Ｐ０である。また、自然数変数の添え字ｉを導入し、画素値Ｐｉ（ｉ=1〜5，7）において２つのエリアにそれぞれＡｉとＢｉを付記して区別するとともに、各エリアの出力値をＡｉ、Ｂｉと記す。例えば、画素値Ｐ１はＡ１とＢ１との和に等しい。図４にて画素配列方向の右端に位置する撮像画素Ｐ７については、その出力値Ａ７のみを示す。
【００１４】
一方、焦点検出画素３０３（Ｐ６参照）への入射光のうち、遮光部により遮光されずに光電変換が行われるエリアにＡ６を付して区別するとともに、その出力値をＡ６と記す。エリアＡ６への入射光は、Ｐ６への入射光の半分として受光されるため、画素の光軸中心に対して、偏心した角度から入射している光に相当する。画素Ｐ６にてエリアＡ６で光電変換される光束が、ちょうど画素１つ分だけ、画素配列方向（図４の左右方向）にずれる場合を想定し、そのときの焦点面の距離を焦点面距離Ａとする。焦点面距離Ａは、光軸方向に直交する方向における画素ピッチ（距離）にＫ値を乗算することにより算出される。本実施形態では、レンズの設計情報と制御情報に基づいて焦点面距離Ａを計算する処理が実行され、フォーカスレンズを焦点面距離Ａだけずらす駆動制御が行われた後、第２露光が実行される。
【００１５】
第２露光によって得られる信号の画素値Ｑ０からＱ６について説明すると、画素値Ｑ０は、画素Ｐ１で光電変換される出力値Ａ１に相当する。その理由は、出力値Ａ１に相当する受光量は、Ｑ０にて遮られないからである。また、画素値Ｑ１は、Ｐ２での出力値Ａ２と、Ｐ０での出力値Ｂ０との和に相当する。画素値Ｑ２は、Ｐ３の出力値Ａ３と、Ｐ１での出力値Ｂ１との和に相当する。以下、同様にして画素値Ｑ３からＱ６が求まる。
【００１６】
焦点検出画素３０２と３０３との間に位置する５個の撮像画素は、本来的には焦点検出画素ではない。しかし、画素値Ｐｉ（ｉ=1〜5）は２分割されたエリアＡｉとＢｉの各出力値の和であるから、ＡｉとＢｉの値をそれぞれに算出できるのであれば焦点検出画素として利用できる。つまり、エリアＡｉでの各出力値からＡ像信号を得るとともに、エリアＢｉでの各出力値からＢ像信号を得ることにより、両者の相関演算結果から像ずれ量を算出することができる。その意味でＡ１〜Ａ５とＢ１〜Ｂ５のそれぞれを組として有する撮像画素を、「仮想焦点検出画素」と呼ぶことにする。以下、エリアＡｉ及びＢｉの各出力値を算出する演算処理について説明する。
【００１７】
第１露光における各画素値Ｐ０〜Ｐ６と、Ａ０〜Ａ６及びＢ１〜Ｂ５との関係は下式で表すことができる。
【数１】
2016031446.tif 000003
【００１８】
第２露光における各画素値Ｑ０〜Ｑ６と、Ａ１〜Ａ７及びＢ０〜Ｂ４との関係は下式で表すことができる。
【数２】
2016031446.tif 000004
【００１９】
第１露光にてＡ０（＝Ｐ０）とＡ６（＝Ｐ６）が既知であり、第２露光にてＡ１（＝Ｑ０）とＡ７（＝Ｑ６）が既知である。よって、これらの値から残りの仮想焦点検出画素の画素値を求めることができる。具体的には、前記の式１と式２から逆算することで、下式から仮想焦点検出画素の画素値が算出される。
【数３】
2016031446.tif 000005
【００２０】
このようにして得られた仮想焦点検出画素の画素値を使用することで、図５に示すように焦点検出画素３０２と３０３とともに、焦点検出素子を稠密に配列させた画素構造と実質的に等価な構造を実現できる。つまり、図５の第３行目において２分割の画素５０１で示すように、高密度に焦点検出画素が配置されている場合と同等の焦点検出性能が得られる事になる。各画素５０１の画素値を用いて、第１焦点検出信号と第２焦点検出信号を取得できるとともに、両信号を加算した信号は撮像信号として使用できる。なお、前記の式では理解のし易さを考慮し、画素値Ｐ０からＰ６に関して記述した。これと同様の配列をさらに連続させた画素構造の場合には、配列する画素数に応じて拡張した式を適用することにより、さらに長い配列を有する仮想焦点検出画素の画素値を算出することができる。
【００２１】
次に、図１を参照して本実施形態に係る撮像装置の構成例を説明する。図１は撮像装置の構成において本発明に関連する部分を抽出した構成部のブロック図である。
撮像光学系を構成するレンズ部１０１は、絞りやフォーカスレンズ等の光学素子を備える。レンズ部１０１がズーム機構を有する場合にはズームレンズとその位置検出部が設けられる。撮像素子１０２（図２，図３参照）はレンズ部１０１を通して結像する光を光電変換し、撮像画素と焦点検出画素の各画素信号を出力する。欠落撮像画素補間部（以下、画素補間部という）１０３は、撮像素子１０２から焦点検出画素の信号を取得するとともに、当該焦点検出画素の周囲に位置する撮像画素の信号を取得して補間する。画素補間部１０３により焦点検出画素の位置での信号が補間処理により生成されるので、通常の撮像素子の場合と同様に、撮像面の全面に亘って撮像画素信号が得られる。撮像画素信号と、焦点検出画素の位置で補間処理により算出された信号は、信号処理部１０４に出力される。信号処理部１０４は所定のフォーマットに従う画像データの記録処理や画像表示処理に適した信号処理等を実行する。信号処理部１０４以降の回路部が行う処理については、本発明にて本質的ではないため、説明を省略する。
【００２２】
仮想焦点検出画素演算制御部（以下、演算制御部という）１０５は、撮像素子１０２から出力される信号を取得し、前記した仮想焦点検出画素の演算制御を行う。演算制御部１０５は、第１露光によって取得した信号を保存する第１画像メモリ１０７と、第２露光によって取得した信号を保存する第２画像メモリ１０６に接続されている。第１露光によって取得した信号とは、前記の例では画素値Ｐ０からＰ７の信号であり、第２露光によって取得した信号とは、前記の例では画素値Ｑ０からＱ６の信号である。演算制御部１０５は、前記の演算により仮想焦点検出画素の画素値を算出し、焦点検出画素３０２及び３０３の各画素値とともに焦点検出部１０８へ出力する。焦点検出部１０８は、焦点検出画素及び仮想焦点検出画素の各画素値に基づいて既知の相関演算を行い、撮像面位相差検出によって像ずれ量を算出してデフォーカス量に換算する。
【００２３】
レンズ制御部１０９は、レンズ部１０１の絞りやフォーカスレンズ等の光学素子を制御する。演算制御部１０５は第２露光を制御する場合と、焦点検出部１０８による焦点検出結果に基づいて焦点調節動作の制御を行う場合に、レンズ制御部１０９に対して制御信号を送信する。焦点検出部１０８は、焦点検出画素及び仮想焦点検出画素の各画素値に基づいて一対の像（Ａ像とＢ像）データを生成し、その位相差を用いてデフォーカス量の検出を行う。レンズ制御部１０９は、焦点検出部１０８により検出されたデフォーカス量に基づいてフォーカスレンズを駆動して焦点調節動作を制御する。なお、出力８０１及び一時保存メモリ８０２については後述の実施形態で説明する。
【００２４】
図６は演算制御部１０５が行う処理例を示すフローチャートである。以下の処理は撮像装置全体の制御を行うシステム制御部のＣＰＵ（中央演算処理装置）が実行するプログラムにしたがって行われる。
【００２５】
Ｓ６０１では、システム制御部による同期信号で処理が開始し、Ｓ６０２に進む。Ｓ６０２で第１露光が行われる。第１露光における焦点位置は、できるだけ合焦近傍である事が望ましいため、演算制御部１０５が動作を開始する前に、焦点検出部１０８は大まかな焦点検出を行う。第１露光で得られた像のデータは第１画像メモリ１０７へ転送されて記憶される。なお、第１画像メモリ１０７には、画面全体に亘るデータを保存する必要はなく、焦点検出画素と、焦点検出画素近傍における、前記演算に必要な撮像画素の各画素値を示すデータが記憶される。このことは後述する第２露光において第２画像メモリ１０６に記憶するデータについても同じである。
【００２６】
Ｓ６０３で演算制御部１０５は第２露光での焦点位置を決定するために、焦点面距離Ａを算出する。焦点面距離Ａは、焦点位置、絞り値、及びズーム機構のあるレンズ部の場合にはさらにズームレンズ位置で決まる瞳分割の基線長から計算される。基線長から焦点面距離と像の横ずれの倍率を示す値Ｋを求めることができる。そして、１ピクセル分の像ずれ量に相当する焦点面距離Ａが算出される。Ｓ６０４で演算制御部１０５は、焦点面距離Ａに相当する距離だけフォーカスレンズを移動させるために、レンズ制御部１０９へ制御信号を送信し、レンズ制御の完了を待つ。次のＳ６０５で第２露光が行われる。第１露光の時点から第２露光の時点までの時間は、できるだけ短い事が望ましい。第２露光で得られた像のデータは第２画像メモリ１０６へ転送されて記憶される。
【００２７】
Ｓ６０６で演算制御部１０５は、第１露光と第２露光における各画像データに基づき、前記の式３を適用して仮想焦点検出画素の画素値を算出する。算出された画素値のデータは、Ｓ６０７で焦点検出部１０８に転送されて、焦点検出処理が実行される。つまり、焦点検出部１０８は、仮想焦点検出画素の画素値のデータを受信したことを受けて焦点検出処理を開始する。レンズ制御部１０９は位相差検出情報に基づく既知の焦点調節制御を実行し、フォーカスレンズを合焦位置へと移動させる。
【００２８】
本実施形態では、このような手順に従って第１露光と第２露光とでそれぞれ取得される画素値を用いて、前記の演算により仮想焦点検出画素の画素値を算出することができる。すなわち、第２露光にて撮像画素及び焦点検出画素は、第１露光に対して画素ピッチ分だけずれて入射される光をそれぞれ受光して画素値を出力する。第２露光時の画素信号と第１露光時の画素信号の差分から、仮想焦点検出画素（画素配列方向にて焦点検出画素の間に位置する撮像画素）にて分割された領域での画素信号を算出することができる。よって、撮像面上で撮像画素に比べて分布密度の低い焦点検出画素の信号だけでなく、仮想焦点検出画素を含めた分布密度の高い焦点検出画素の信号が得られるので、画質低下を抑えつつ焦点検出の精度を向上させることができる。
【００２９】
［第２実施形態］
次に、本発明の第２実施形態を説明する。なお、本実施形態にて第１実施形態の場合と同様の構成要素については既に使用した符号を用いることによって、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。
【００３０】
図２（Ｂ）は本実施形態に係る撮像素子の断面構造を例示する。焦点検出画素は遮光部を有しておらず、通常の画素の光電変換部２０３に対して、半分の大きさの光電変換部７０１、７０２を有する。光電変換部７０１、７０２は共に、同一のマイクロレンズ２０１を共有している。この構造により、第１実施形態のように遮光部を有する場合と同様に瞳分割が可能である。図４と同じ配列で図２（Ｂ）の焦点検出画素を配置した場合に、画素値が既知である画素はＡ０、Ｂ０、Ａ１、Ｂ１、Ａ６、Ｂ６、Ａ７、Ｂ７となる。よって本実施形態では、第１実施形態の場合に比べて、画素情報が増えた分だけ、検算による信頼性および精度が向上する。
【００３１】
［第３実施形態］
次に、本発明の第３実施形態を説明する。図１において、本実施形態と第１実施形態との相違点は以下の通りである。
・演算制御部１０５は、出力８０１として仮想焦点検出画素の画素情報を、画素補間部１０３に転送すること。
・一時保存メモリ８０２が画素補間部１０３に接続されており、本露光時の画像データを一時的に保存すること。
本露光とは、撮像された画像データを記録媒体等に記録するために行われる露光であり、焦点検出のための第１露光や第２露光とは区別される。例えば、第１露光や第２露光とは別に露光を行う場合には当該露光が本露光となる。ただし、露光回数を削減するために、第１露光もしくは第２露光のどちらかを本露光に兼用してもよく、また第１露光及び第２露光の両方を本露光と兼用してもよい。その場合には画素補間部１０３が、第１露光もしくは第２露光、または第１露光及び第２露光で取得された画素値を補正して記録する。なお、撮像素子の構造については第１実施形態の場合と同様である（図２及び図４参照）。
【００３２】
本実施形態では、本露光とその後に露光（第３露光）を行う場合を説明する。本露光における画像データを使った仮想焦点検出画素の画素値のデータが作成される。作成された仮想焦点検出画素の画素値のデータに基づいて、Ｐ０，Ｐ６の画素欠落部分の画素値Ｂ０，Ｂ６を、それぞれ画素値Ｐ０，Ｐ６に加算して画素値を補正する処理が行われる。
図７は、本実施形態の本露光による撮影に同期した演算制御部１０５の処理を説明するフローチャートである。不図示のシステム制御部により、本露光による撮影制御への移行の指示があると、Ｓ９０１の処理が開始する。
【００３３】
Ｓ９０２で本露光が行われ、撮像素子１０２から読み出された画素信号は画素補間部１０３と演算制御部１０５に入力される。演算制御部１０５は、本露光による画素信号を第１画像メモリ１０７に保存する。また画素補間部１０３は本露光により得られた画像データを一時保存メモリ８０２に保存する。
【００３４】
Ｓ９０３では第１実施形態の場合と同様に焦点面距離Ａが算出される。Ｓ９０４ではレンズ制御部１０９により、焦点面距離Ａにしたがってフォーカスレンズを移動させる制御が実行される。Ｓ９０５で演算制御部１０５は第３露光を行い、焦点検出画素近傍の画素データを、第２画像メモリ１０６に記憶する。Ｓ９０６で演算制御部１０５は、本露光による画像、第３露光による画像の各画素値に基づいて第１実施形態にて記載した計算式を用いて仮想焦点検出画素の画素値を算出する。Ｓ９０７で演算制御部１０５は、仮想焦点検出画素の画素値を画素補間部１０３に出力する（図１：出力８０１）。画素補間部１０３は、一時保存メモリ８０２に保存されている本露光による画像データを取得する。画素補間部１０３は、焦点検出画素の位置において、遮光部がないとした場合に本来入射されるべき光の受光量に相当する画素値を加算することにより、撮像画素値として使用できるように補正する。具体的には、Ｐ０およびＰ６の欠落部分である画素値Ｂ０，Ｂ６をそれぞれ、画素値Ｐ０，Ｐ６に加算することで補正が行われる。なお、画素値Ｂ６については、図４のＰ０からＰ６と同様の画素配列が連続して繰り返される構造において、画素Ｐ７からＰ１２の画素値を用いることでＢ０の場合と同様に計算される。
【００３５】
本実施形態では、本露光後において、算出した仮想焦点検出画素の画素値を用いて、焦点検出画素の位置での画素補正を行うことができるので、撮影画像や記録画像の画質向上に寄与する。なお、前記の実施形態では瞳分割を２分割として説明した。これに限らず、１つのマイクロレンズに対して分割された複数の光電変換部を持つ構造が可能であり、４分割や９分割といった、２分割よりも多い瞳分割を行ってもよい。
【符号の説明】
【００３６】
１０２…撮像素子
１０３…欠落撮像画素補間部
１０５…仮想焦点検出画素演算制御部
１０６…第２画像メモリ
１０７…第１画像メモリ
１０８…焦点検出部
２０３…撮像画素の光電変換部
２０４，７０１，７０２…焦点検出画素の光電変換部
【図１】
2016031446.tif 000006
【図２】
2016031446.tif 000007
【図３】
2016031446.tif 000008
【図４】
2016031446.tif 000009
【図５】
2016031446.tif 000010
【図６】
2016031446.tif 000011
【図７】
2016031446.tif 000012