(57)【要約】【課題】光学系の像面内に存在する複数の対象の像に焦点の合った像面の画像を適切に得ることができる撮像装置を提供すること。【解決手段】複数のマイクロレンズ１１１ａを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子１１２ａとを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる受光信号を出力する受光素子と、前記光学系の像面内の複数の位置に設定された複数の焦点検出位置に対して前記光学系による像面のずれ量を検出する検出手段１５２と、前記複数の焦点検出位置のそれぞれに対して検出した前記ずれ量に基づいて前記光学系の焦点調節範囲を決定し、該焦点調節範囲の異なる位置において前記受光手段によって前記受光信号を得る制御手段１６０とを備えたことを特徴とする撮像装置。【選択図】  図１
2010197551.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる受光信号を出力する受光素子と、
前記光学系の像面内の複数の位置に設定された複数の焦点検出位置に対して前記光学系による像面のずれ量を検出する検出手段と、
前記複数の焦点検出位置のそれぞれに対して検出した前記ずれ量に基づいて前記光学系の焦点調節範囲を決定し、該焦点調節範囲の異なる位置において前記受光手段によって前記受光信号を得る制御手段とを備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記制御手段は、前記受光信号に基づく画像を生成可能な前記像面の範囲と、前記ずれ量に基づく前記焦点調節範囲とに基づいて、前記異なる位置を決定することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記画像を生成可能な像面の範囲は、前記マイクロレンズの有効径と前記光電変換素子の大きさとに基づいて決定することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記制御手段は、前記複数の焦点検出位置のそれぞれに対して検出したずれ量のうち、前記光学系に対して最も近景側に対応する第１ずれ量と、前記光学系に対して最も遠景側に対応する第２ずれ量との差に基づいて前記焦点調節範囲を決定することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記制御手段は、前記受光信号に基づく画像を生成可能な像面の範囲を前記異なる位置において連続させた範囲が、前記第１ずれ量と前記第２ずれ量との差の範囲を含むように、前記光学系の焦点調節範囲を決定することを特徴とする撮像装置。
【請求項６】
請求項１〜５のいずれか一項に記載の撮像装置において、
前記光学系による像のうち、特定の対象の像を認識する認識手段をさらに備え、
前記制御手段は、前記複数の焦点検出位置のうち、前記認識手段によって認識された像に対応する前記焦点検出位置に対して検出された前記ずれ量に基づいて前記焦点調節範囲を決定することを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか一項に記載の撮像装置において、
前記受光信号に基づいて前記光学系の特定の像面における画像を合成する合成手段をさらに備えることを特徴とする撮像装置。
【請求項８】
請求項１〜７のいずれか一項に記載の撮像装置において、
前記ずれ量と前記受光信号とを関連付けて記憶する記憶手段をさらに有することを特徴とする撮像装置。
【請求項９】
請求項１〜８のいずれか一項に記載の撮像装置において、
前記検出手段は、前記受光信号に基づいて前記光学系による像面のずれ量を検出することを特徴とする撮像装置。
【請求項１０】
光学系の像面内の複数の位置に設定された複数の焦点検出位置に対して前記光学系による像面のずれ量を検出し、
前記複数の焦点検出位置のそれぞれに対して検出した前記ずれ量に基づいて前記光学系の焦点調節範囲を決定し、
前記焦点調節範囲の複数の焦点調節位置において、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイに対して設けられた複数の光電変換素子により、前記マイクロレンズアレイを介した前記光学系からの光束を受光して受光信号を生成し、
前記受光信号に基づいて、前記焦点調節範囲に対応する前記光学系の特定の像面における像を合成することを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置および画像合成方法に関するものである。
【背景技術】
【０００２】
従来より、撮像素子を用いて被写体像を撮像する撮像装置が知られている。このような撮像装置において、光学系から入射した光の情報に基づいて、複数の像面に焦点の合った画像を合成する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５１５１１０公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、画像合成を行う際に、撮影光学系の焦点状態を利用するものではなく、また、撮像範囲に存在する複数の被写体に対する撮影距離の差が比較的大きい場合には、１回の撮像信号からすべての被写体について焦点の合った画像が得られないという問題があった。
【０００５】
この発明が解決しようとする課題は、撮像範囲に存在する被写体に対する撮影距離の差が比較的大きい場合でも、撮影距離の異なる複数の被写体に対して焦点の合った画像を適切に得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。
【０００７】
[１]発明に係る撮像装置は、複数のマイクロレンズ（１１１ａ）を二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子（１１２ａ）とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる受光信号を出力する受光素子と、前記光学系の像面内の複数の位置に設定された複数の焦点検出位置に対して前記光学系による像面のずれ量を検出する検出手段（１５２）と、前記複数の焦点検出位置のそれぞれに対して検出した前記ずれ量に基づいて前記光学系の焦点調節範囲を決定し、該焦点調節範囲の異なる位置において前記受光手段によって前記受光信号を得る制御手段（１６０）とを備えたことを特徴とする。
【０００８】
[２]上記撮像装置に係る発明において、前記制御手段（１６０）は、前記受光信号に基づく画像を生成可能な前記像面の範囲と、前記ずれ量に基づく前記焦点調節範囲とに基づいて、前記異なる位置を決定するように構成することができる。
【０００９】
[３]上記撮像装置に係る発明において、前記画像を生成可能な像面の範囲は、前記マイクロレンズ（１１１ａ）の有効径と前記光電変換素子（１１２ａ）の大きさとに基づいて決定するように構成することができる。
【００１０】
[４]上記撮像装置に係る発明において、前記制御手段（１６０）は、前記複数の焦点検出位置のそれぞれに対して検出したずれ量のうち、前記光学系に対して最も近景側に対応する第１ずれ量と、前記光学系に対して最も遠景側に対応する第２ずれ量との差に基づいて前記焦点調節範囲を決定するように構成することができる。
【００１１】
[５]上記撮像装置に係る発明において、前記制御手段（１６０）は、前記受光信号に基づく画像を生成可能な像面の範囲を前記異なる位置において連続させた範囲が、前記第１ずれ量と前記第２ずれ量との差の範囲を含むように、前記光学系の焦点調節範囲を決定するように構成することができる。
【００１２】
[６]上記撮像装置に係る発明において、前記光学系による像のうち、特定の対象の像を認識する認識手段をさらに備え、前記制御手段（１６０）は、前記複数の焦点検出位置のうち、前記認識手段によって認識された像に対応する前記焦点検出位置に対して検出された前記ずれ量に基づいて前記焦点調節範囲を決定するように構成することができる。
【００１３】
[７]上記撮像装置に係る発明において、前記受光信号に基づいて前記光学系の特定の像面における画像を合成する合成手段（１６０）をさらに備えるように構成することができる。
【００１４】
[８]上記撮像装置に係る発明において、前記ずれ量と前記受光信号とを関連付けて記憶する記憶手段（１７０）をさらに有するように構成することができる。
【００１５】
[９]上記撮像装置に係る発明において、前記検出手段（１５２）は、前記受光信号に基づいて前記光学系による像面のずれ量を検出するように構成することができる。
【００１６】
[１０]発明に係る画像合成方法は、光学系の像面内の複数の位置に設定された複数の焦点検出位置に対して前記光学系による像面のずれ量を検出し、前記複数の焦点検出位置のそれぞれに対して検出した前記ずれ量に基づいて前記光学系の焦点調節範囲を決定し、前記焦点調節範囲の複数の焦点調節位置において、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイに対して設けられた複数の光電変換素子により、前記マイクロレンズアレイを介した前記光学系からの光束を受光して受光信号を生成し、前記受光信号に基づいて、前記焦点調節範囲に対応する前記光学系の特定の像面における像を合成することを特徴とする。
【発明の効果】
【００１７】
この発明によれば、光学系の像面内に存在する複数の対象の像に焦点の合った像面の画像を適切に得ることができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図である。
【図２】図２は、図１に示すマイクロレンズアレイ１１１を備えた撮像素子１１０を示す平面図である。
【図３】図３は、図２に示すIII部分の拡大図である。
【図４】図４は、焦点検出エリアＡＦＰを含むファインダ１３５から観察される撮影画面１３５Ａを示す図である。
【図５】図５は、本実施形態に係る一場面例を示す図である。
【図６】図６は、図５に示す一場面例における、至近側焦点検出エリアＡＦＰ１および無限遠側焦点検出エリアＡＦＰ２を示す図である。
【図７】図７は、本実施形態に係るカメラ１の動作を示すフローチャート（その１）である。
【図８】図８は、本実施形態に係るカメラ１の動作を示すフローチャート（その２）である。
【図９】マイクロレンズ１１１ａを介して、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち、特定の画素ｃ１に入射する光束を示す図である。
【図１０】図１０は、本実施形態に係るフォーカスブラケティング撮影について説明するための図である。
【図１１】図１１は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝０）であるときの合成方法の一例を説明するための図である。
【図１２】図１２は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ１）であるときの合成方法の一例を説明するための図である。
【図１３】図１３は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ２）であるときの合成方法の一例を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図であり、上記発明の撮像装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。
【００２０】
本実施形態の一眼レフデジタルカメラ１（以下、単にカメラ１という。）は、カメラボディ１００とレンズ鏡筒２００とを備え、これらカメラボディ１００とレンズ鏡筒２００とはマウント部を介して、着脱可能に結合されている。
【００２１】
レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。
【００２２】
フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつフォーカスレンズ駆動モータ２３０によってその位置が調節される。
【００２３】
このフォーカスレンズ２１２の光軸Ｌ１に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒２００に固定された固定筒に回転可能に回転筒を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ２１２を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、フォーカスレンズ駆動モータ２３０によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１に沿って直進移動することになる。なお、レンズ鏡筒２００にはフォーカスレンズ２１２以外のレンズ２１１，２１３が設けられているが、ここではフォーカスレンズ２１２を例に挙げて本実施形態を説明する。
【００２４】
上述したようにレンズ鏡筒２００に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ２１２は光軸Ｌ１方向に直進移動するが、その駆動源としてのフォーカスレンズ駆動モータ２３０がレンズ鏡筒２００に設けられている。フォーカスレンズ駆動モータ２３０と回転筒とは、たとえば複数の歯車からなる変速機で連結され、フォーカスレンズ駆動モータ２３０の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１の何れかの方向へ直進移動することになる。なお、フォーカスレンズ駆動モータ２３０の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ２１２は光軸Ｌ１の逆方向へ直進移動することになる。
【００２５】
フォーカスレンズ２１２の位置はエンコーダ２６０によって検出される。既述したとおり、フォーカスレンズ２１２の光軸Ｌ１方向の位置は回転筒の回転角に相関するので、たとえばレンズ鏡筒２００に対する回転筒の相対的な回転角を検出すれば求めることができる。
【００２６】
本実施形態のエンコーダ２６０としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを用いることができる。
【００２７】
フォーカスレンズ２１２は、上述した回転筒の回転によってカメラボディ１００側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができる。ちなみに、エンコーダ２６０で検出されたフォーカスレンズ２１２の現在位置情報は、レンズ制御部２５０を介して後述するカメラ制御部１６０へ送出される。そして、この情報に基づいて演算されたフォーカスレンズ２１２の駆動量が、カメラ制御部１６０からレンズ制御部２５０を介して送出され、これに基づいて、フォーカスレンズ駆動モータ２３０は駆動する。
【００２８】
絞り２２０は、上記撮影光学系を通過して、カメラボディ１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１６０からレンズ制御部２５０を介して送出されることにより行われる。また、カメラボディ１００に設けられた操作部１４０によるマニュアル操作により、設定された開口径がカメラ制御部１６０からレンズ制御部２５０に入力される。絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。
【００２９】
一方、カメラボディ１００は、被写体からの光束を撮像素子１１０、ファインダ１３５、および測光センサ１３７へ導くためのクイックリターンミラー１２０を備える。このクイックリターンミラー１２０は、回転軸１２１を中心にして被写体の観察位置と撮影位置との間を回転する。図１においては、クイックリターンミラー１２０が被写体の観察位置にある状態を実線で示し、被写体の撮影位置にある状態を二点鎖線で示す。クイックリターンミラー１２０は、被写体の観察位置にある状態では光軸Ｌ１の光路上に挿入される一方で、被写体の撮影位置にある状態では光軸Ｌ１の光路から退避するように回転するようになっている。
【００３０】
クイックリターンミラー１２０はハーフミラーで構成され、被写体の観察位置にある状態では、被写体からの光束（光軸Ｌ１）のうち、一部の光束（光軸Ｌ２，Ｌ３）を当該クイックリターンミラー１２０で反射してファインダ１３５および測光センサ１３７へ導き、残りの光束を透過させて撮像素子１１０へ導く。
【００３１】
したがって、クイックリターンミラー１２０が観察位置にある場合、被写体からの光束Ｌ１はファインダ１３５、測光センサ１３７および撮像素子１１０に導かれ、撮影者により被写体が観察されるとともに、露出演算やフォーカスレンズ２１２の焦点調節状態の検出が実行される。そして、撮影者が操作部１４０に備えられたシャッターレリーズボタン（不図示）を全押しするとクイックリターンミラー１２０が撮影位置に回動し、被写体からの光束（光軸Ｌ１）は全て撮像素子１１０へ導かれ、被写体の撮影が行われる。
【００３２】
クイックリターンミラー１２０で反射された被写体からの光束は、撮像素子１１０と光学的に等価な面に配置された焦点板１３１に結像し、ペンタプリズム１３３と接眼レンズ１３４とを介して撮影者の眼球に導かれる。このとき、透過型液晶表示器１３２は、焦点板１３１上の被写体像に焦点検出エリアマークなどを重畳して表示するとともに、被写体像外のエリアにシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。これにより、撮影者は、撮影準備状態において、ファインダ１３５を通して被写体およびその背景ならびに撮影関連情報などを観察することができる。
【００３３】
測光センサ１３７は、二次元カラーＣＣＤイメージセンサなどで構成され、撮影の際の露出値を演算するため、撮影画面を複数の領域に分割して領域ごとの輝度に応じた測光信号を出力する。測光センサ１３７で検出された画像情報はカメラ制御部１６０へ出力され、自動露出制御に用いられる。
【００３４】
撮像素子１１０は、カメラボディ１００の、被写体からの光束の光軸Ｌ１上に設けられている。また、撮像素子１１０の前面には、マイクロレンズアレイ１１１が設置されており、撮像素子１１０の光電変換素子は、マイクロレンズアレイ１１１を通過した光を受光するような構成となっている。なお、マイクロレンズアレイ１１１は、撮影光学系の予定焦点面となる位置またはその近傍に設置されている。ここで、図２は、図１に示すマイクロレンズアレイ１１１を備えた撮像素子１１０を示す平面図であって、マイクロレンズアレイ１１１側から見た図である。図２に示すように、マイクロレンズアレイ１１１は、複数のマイクロレンズ１１１ａを二次元状に稠密に配列してなるものである。
【００３５】
図３は、図２に示すIII部分の拡大図である。図３に示すように、撮像素子１１０は、各マイクロレンズに対して、複数の光電変換素子１１２ａから構成される光電変換素子アレイ１１２を有している。そして、各マイクロレンズ１１１ａを通過した光は、各マイクロレンズ１１１ａに応じて配置された各光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａにより受光される。なお、図３においては、各マイクロレンズ１１１ａに対応する光電変換素子アレイ１１２の縦方向および横方向の光電変換素子１１２ａの数（画素密度）は、それぞれ５個となっているが、これらの数は、特に限定されない。そして、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａにより受光した受光信号は、センサ制御部１５１に送信される。なお、撮像素子１１０からセンサ制御部１５１に送信される受光信号は、センサ制御部１５１からカメラ制御部１６０に送信され、画像データに変換されてメモリ１７０に保存される他、クイックリターンミラー１２０が観察位置にある場合には、デフォーカス演算部１５２によるデフォーカス演算に用いられる。
【００３６】
センサ制御部１５１は、撮像素子１１０の光電変換素子アレイ１１２を構成する各光電変換素子１１２ａによる受光信号の受光の制御や、各光電変換素子１１２ａにより受光する受光信号が適切なものとなるように、ゲインや蓄積時間を制御する。また、センサ制御部１５１は、撮像素子１１０から信号を受信し、受信した信号をカメラ制御部１６０およびデフォーカス演算部１５２に送信する。
【００３７】
デフォーカス演算部１５２は、センサ制御部１５１から信号を受信し、受信した信号から、図４に示す各焦点検出エリアＡＦＰに対応する所定範囲に相当するマイクロレンズ１１１ａに対応する各光電変換素子１１２ａからの出力を焦点検出用の信号として読み出す。なお、図４は、複数の焦点検出エリアＡＦＰを含むファインダ１３５から観察される撮影画面１３５Ａを示す図であり、本実施形態では撮影画面１３５Ａに図４に示すように６３個の焦点検出エリアＡＦＰが設定されているものとする。
【００３８】
ここで、上述したようにマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）は、撮影光学系の予定焦点面となる位置またはその近傍に配置されており、このマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）の後ろ側に配置されている撮像素子１１０には、各マイクロレンズ１１１ａによって撮影光学系の瞳像が結像される。そして、撮像素子１１０の光電変換素子アレイ１１２を構成する各光電変換素子１１２ａは、瞳の各部分に対応することから、マイクロレンズ１１１ａごとに光電変換素子１１２ａを選択してその出力を合成すれば、光電変換素子１１２ａに対応する絞りで撮影された画像が得られることになる。したがって、本実施形態においては、デフォーカス演算部１５２により、瞳の各部分に対応する光電変換素子１１２ａの出力を合成し、得られた画像を用いて、各焦点検出エリアＡＦＰについて、瞳分割位相差検出方式による像ズレ量の演算を行うことで、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆを求めることができる。
【００３９】
そして、デフォーカス演算部１５２では、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆから、最も至近側の至近側デフォーカス量ｄｆ１が検出された至近側焦点検出エリアＡＦＰ１と、最も無限遠側の無限遠側デフォーカス量ｄｆ２が検出された無限遠側焦点検出エリアＡＦＰ２とを決定し、これら焦点検出エリアＡＦＰ１、ＡＦＰ２における至近側および無限遠側デフォーカス量ｄｆ１、ｄｆ２を駆動量演算部１５３に送信する。また、デフォーカス演算部１５２は、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆをカメラ制御部１６０に送信する。
【００４０】
駆動量演算部１５３は、デフォーカス演算部１５２から送られてきた至近側デフォーカス量ｄｆ１、無限遠側デフォーカス量ｄｆ２に基づいて、フォーカスレンズ１２１の駆動量の演算を行う。具体的には、駆動量演算部１５３は、至近側デフォーカス量ｄｆ１がゼロとなる位置までのフォーカスレンズ１２１の至近側駆動量ΔＷ１、無限遠側デフォーカス量ｄｆ２がゼロとなる位置までのフォーカスレンズ１２１の無限遠側駆動量ΔＷ２、およびフォーカスレンズ１２１の総駆動量ΔＷａを演算する。ここで、フォーカスレンズ１２１の総駆動量ΔＷａは、フォーカスレンズ１２１を、至近側デフォーカス量ｄｆ１がゼロとなる位置から、無限遠側デフォーカス量ｄｆ２がゼロとなる位置まで駆動するために必要となる駆動量である。すなわち、フォーカスレンズ１２１の総駆動量ΔＷａは、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのバラツキ（至近側デフォーカス量ｄｆ１と無限遠側デフォーカス量ｄｆ２との差）に応じた量となる。駆動量演算部１５３によって求められた各駆動量ΔＷ１、ΔＷ２、およびΔＷａは、カメラ制御部１６０に送信される。
【００４１】
ここで、図５に示す場面例においては、至近側デフォーカス量ｄｆ１が検出される至近側焦点検出エリアＡＦＰ１および無限遠側デフォーカス量ｄｆ２が検出される無限遠側焦点検出エリアＡＦＰ２は、たとえば、図６に示すように、それぞれ、撮影画面１３５Ａの右下のエリアおよび左上のエリアとなる。そのため、図５に示す場面例においては、デフォーカス演算部１５２により、図６に示すように、撮影画面１３５Ａの右下のエリアおよび左上のエリアが、至近側および無限遠側の焦点検出エリアＡＦＰ１、ＡＦＰ２として決定される。そして、駆動量演算部１５３により、これら焦点検出エリアＡＦＰ１、ＡＦＰ２において検出された至近側および無限遠側デフォーカス量ｄｆ１、ｄｆ２に基づいて、各駆動量ΔＷ１、ΔＷ２、ΔＷａが演算されることとなる。
【００４２】
操作部１４０は、シャッターレリーズボタンや撮影者がカメラ１の各種動作モードを設定するための入力スイッチを備えており、操作部１４０により、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている他、本実施形態に係るフォーカスブラケティング撮影（フォーカスブラケティング撮影については後述する。）を行うためのフォーカスブラケティングモードの選択が行えるようになっている。また、シャッターレリーズボタンのスイッチは、ボタンの半押しでＯＮとなる第１スイッチＳＷ１と、ボタンの全押しでＯＮとなる第２スイッチＳＷ２とを含む。この操作部１４０により設定されたシャッターレリーズボタンのスイッチＳＷ１，ＳＷ２および各種モードはカメラ制御部１６０へ送信され、当該カメラ制御部１６０によりカメラ１全体の動作が制御される。
【００４３】
カメラボディ１００にはカメラ制御部１６０が設けられている。カメラ制御部１６０はマイクロプロセッサとメモリなどの周辺部品から構成され、マウント部に設けられた電気信号接点部によりレンズ制御部２５０と電気的に接続され、このレンズ制御部２５０からレンズ情報を受信するとともに、レンズ制御部２５０へ絞り制御信号などの情報を送信する。
【００４４】
カメラ制御部１６０は、撮影者によりフォーカスブラケティングモードが選択されており、かつ、撮影者により操作部１４０に備えられたシャッターレリーズボタンが全押しされ、ＳＷ２がオンした場合には、本実施形態に係るフォーカスブラケティング撮影条件を決定する。ここで、本実施形態に係るフォーカスブラケティング撮影は、フォーカスレンズ２１２の駆動および撮像素子１１０による被写体の撮影を繰り返すことにより、焦点調節位置の異なる複数の撮影画像を連続的に撮影する撮影方法である。カメラ制御部１６０は、フォーカスブラケティング撮影の具体的な条件として、フォーカスブラケティング撮影を行う際における連続撮影を行う画像の枚数Ｎ、およびフォーカスブラケティング撮影を行う際におけるフォーカスレンズ２１２の駆動量ΔＷｓを決定する。決定した連続撮影を行う画像の枚数Ｎ、およびフォーカスレンズ２１２の駆動量ΔＷｓの情報は、センサ制御部１５１、およびレンズ制御部２５０に送信される。そして、これらの情報に基づき、センサ制御部１５１により撮像素子１１０を、レンズ制御部２５０によりフォーカスレンズ駆動モータ２３０を、それぞれ制御することにより、フォーカスブラケティング撮影が行われる。なお、フォーカスブラケティング撮影における連続撮影を行う画像の枚数Ｎ、および駆動量ΔＷｓの決定方法については、詳述する。
【００４５】
また、カメラ制御部１６０は、操作部１４０を介した撮影者の選択に基づいて、フォーカスブラケティング撮影により撮影した複数の撮影画像を用いて画像合成を行う。具体的には、まず、フォーカスブラケティング撮影により撮影された複数の撮影画像の信号をセンサ制御部１５１から受信し、これを画像データに変換して、複数の撮影画像の画像データとして、メモリ１７０に保存する。そして、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのデータ、およびフォーカスレンズ２１２の駆動量ΔＷｓの情報に基づいて、メモリ１７０に保存した複数の撮影画像の画像データから、フォーカスブラケティング撮影により撮影された複数の撮影画像の画像合成を行い、得られた合成画像をメモリ１７０に保存する。なお、画像合成の具体的な方法については、後述する。
【００４６】
あるいは、撮影者によりフォーカスブラケティング撮影により撮影した複数の撮影画像について画像合成を行わないという選択がされている場合には、カメラ制御部１６０は、画像合成を行わず、フォーカスブラケティング撮影により撮影された複数の撮影画像の画像データを、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのデータ、およびフォーカスレンズ２１２の駆動量ΔＷｓの情報とともに、メモリ１７０に保存する。
【００４７】
次に、本実施形態に係るカメラ１の動作例を説明する。図７、図８は、本実施形態に係るカメラ１の動作を示すフローチャートである。以下においては、カメラ１の設定が本実施形態に係るフォーカスブラケティング撮影を行うための「フォーカスブラケティングモード」に設定されている場合における動作を説明する。
【００４８】
まず、ステップＳ１においては、カメラ制御部１６０が、撮影者によりシャッターレリーズボタンの半押し（第１スイッチＳＷ１のオン）がされたかどうかを判断し、第１スイッチＳＷ１がオンした場合はステップＳ２へ進み、第１スイッチＳＷ１がオンしていない場合はステップＳ１で待機する。
【００４９】
ステップＳ２では、シャッターレリーズボタンが半押しされて第１スイッチＳＷ１がオンすると、カメラ制御部１６０は、適正露出が得られるように、ＩＳＯ感度、シャッタースピードおよび絞り値を設定する。ＩＳＯ感度、シャッタースピードおよび絞り値は、たとえば、測光センサ１３７から出力された測光信号に基づいて、設定される。設定されたＩＳＯ感度およびシャッタースピードはセンサ制御部１５１に、設定された絞り値はレンズ制御部２５０に、それぞれ送信され、後述するフォーカスブラケティング撮影を行う際における撮影条件として用いられる。なお、ユーザにより操作部１４０を介して、ＩＳＯ感度、シャッタースピードおよび絞り値が予め設定されている場合には、予め設定された値を用いてもよい。
【００５０】
ステップＳ３では、センサ制御部１５１からの信号に基づき、撮像素子１１０により、撮影光学系からの光束の受光を行い、焦点検出用の撮影が行われる。なお、焦点検出用の撮影は、クイックリターンミラー１２０が撮影位置にある状態で行われる。そして、撮像素子１１０から、各光電変換素子１１２ａに応じた信号が、センサ制御部１５１に送信される。
【００５１】
ステップＳ４では、デフォーカス演算部１５２が、センサ制御部１５１から、各光電変換素子１１２ａに応じた信号を取得し、取得した信号から焦点検出用の信号を選択して読み出し、図４に示す各焦点検出エリアＡＦＰについて、瞳分割位相差検出方式による像ズレ量の演算を行い、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆを算出する。算出した各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆは、カメラ制御部１６０に送信される。
【００５２】
ステップＳ５では、デフォーカス演算部１５２により、ステップＳ４にて算出した各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆから、最も至近側の至近側デフォーカス量ｄｆ１が検出された至近側焦点検出エリアＡＦＰ１と、最も無限遠側の無限遠側デフォーカス量ｄｆ２が検出された無限遠側焦点検出エリアＡＦＰ２とが決定され、至近側デフォーカス量ｄｆ１、および無限遠側デフォーカス量ｄｆ２が駆動量演算部１５３およびカメラ制御部１６０に送信される。
【００５３】
ステップＳ６では、駆動量演算部１５３により、ステップＳ５で求めた至近側デフォーカス量ｄｆ１および無限遠側デフォーカス量ｄｆ２から、各デフォーカス量ｄｆ１、ｄｆ２に応じた至近側駆動量ΔＷ１、無限遠側駆動量ΔＷ２、およびフォーカスレンズ１２１を、至近側デフォーカス量ｄｆ１がゼロとなる位置から、無限遠側デフォーカス量ｄｆ２がゼロとなる位置まで駆動するために必要となるレンズの総駆動量ΔＷａを演算する。算出された至近側駆動量ΔＷ１、無限遠側駆動量ΔＷ２、および総駆動量ΔＷａは、カメラ制御部１６０に送信される。
【００５４】
ステップＳ７では、カメラ制御部１６０により、駆動量演算部１５３から送信されたレンズの総駆動量ΔＷａに基づいて、フォーカスブラケティング撮影を行う際における連続撮影を行う画像の枚数Ｎ、およびフォーカスブラケティング撮影を行う際におけるフォーカスレンズ２１２の駆動量ΔＷｓ（フォーカスブラケティング撮影用の駆動量ΔＷｓ）を決定する。この駆動量ΔＷｓは、フォーカスブラケティング撮影を行う際における、一回のレンズ駆動量であり、そのため、本実施形態のフォーカスブラケティング撮影においては、撮像素子１１０による撮影、駆動量ΔＷｓに基づくフォーカスレンズ２１２の駆動を繰り返し行うことなる。また、駆動量ΔＷｓは、フォーカスブラケティング撮影を行う際において複数の撮影画像を撮影する際における、連続する撮影画像間の像面移動量に相当する。
【００５５】
ここで、撮像素子で得られる受光信号に基づいて合成可能な像面の範囲（画像合成範囲）について説明する。図９は、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうちの特定の光電変換素子ｃ１に対してマイクロレンズ１１１ａを介して入射する光束を示す図である。なお、図９においては、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａをａ１，ｂ１，ｃ１，ｄ１，ｅ１で示した。本実施形態に係る撮像装置によって得られる像の分解能は、画素の単位であるマイクロレンズ１つ分に相当する。そのため、分解能を保ったまま像を合成できる像面の範囲は、図９に示すように、光電変換素子１１２ａのマイクロレンズ１１１ａによる逆投影像の大きさが、マイクロレンズの有効径Ｄとほぼ同じになるマイクロレンズ１１１ａからの距離Ｌとすることができる。すなわち、マイクロレンズ１１１ａの有効径Ｄ（配列ピッチＰ＞Ｄ）と同じ大きさの範囲からの光がマイクロレンズ１１１ａを通過して１つの光電変換素子ｃ１に入射すれば、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる。よって、この距離Ｌを画像合成範囲とする。
【００５６】
そして、フォーカスブラケティング撮影においては、合成したい像面の範囲（光軸方向の範囲）に亘って上述の画像合成範囲Ｌごとに撮像すれば、合成可能な像面位置を連続させることができる。そのため、画像合成範囲Ｌに基づく像面移動量の間隔に相当するレンズ駆動量△Ｗｓでフォーカスブラケティング撮影すればよい。
【００５７】
そのため、カメラ制御部１６０は、レンズ駆動量演算部１５３により求められたフォーカスレンズ２１２の総駆動量ΔＷａに基づき、駆動量ΔＷｓに基づいてフォーカスレンズ１２１を駆動させた場合における像面移動量が、画像合成可能範囲Ｌ以内となるように、フォーカスブラケティング撮影を行う際における連続撮影を行う画像の枚数Ｎ、フォーカスブラケティング撮影用の駆動量ΔＷｓを決定する。具体的には、駆動量ΔＷｓで（Ｎ−１）回フォーカスレンズ２１２を駆動させた場合に、フォーカスレンズ２１２の合計の駆動量が、総駆動量ΔＷａに相当するものとなるように、連続撮影を行う画像の枚数Ｎ、および駆動量ΔＷｓを決定する。なお、連続撮影を行う画像の枚数Ｎ、および駆動量ΔＷｓの決定方法としては、特に限定されないが、たとえば、フォーカスブラケティング撮影を行う際の総露光時間や、レンズ駆動量演算部１５３により求められた総駆動量ΔＷａに応じて適宜設定すればよい。たとえば、総露光時間が比較的長い場合には、連続撮影を行う画像の枚数Ｎを比較的大きな値とすればよいし、また、総駆動量ΔＷａが比較的大きい場合には、駆動量ΔＷｓを比較的大きな値とすればよい。
【００５８】
そして、カメラ制御部１６０で決定されたフォーカスブラケティング撮影を行う際における連続撮影を行う画像の枚数Ｎはセンサ制御部１５１に、フォーカスブラケティング撮影用の駆動量ΔＷｓはレンズ駆動制御部１５４に、それぞれ送信される。
【００５９】
ステップＳ８では、カメラ制御部１６０から、至近側デフォーカス量ｄｆ１に応じた駆動量ΔＷ１が、レンズ制御部２５０に送信され、レンズ制御部２５０は、駆動量ΔＷ１にて、フォーカスレンズ駆動モータ２３０を駆動し、フォーカスレンズ２１２を駆動させる。フォーカスレンズ２１２を、駆動量ΔＷ１に基づいて、駆動させることにより、至近側焦点検出エリアＡＦＰ１で検出された最も至近側の至近側デフォーカス量ｄｆ１を有する被写体に合焦した状態とすることができる。
【００６０】
ステップＳ９では、カメラ制御部１６０により、撮影者によりシャッターレリーズボタンの全押し（第２スイッチＳＷ２のオン）がされたかどうかを判断し、第２スイッチＳＷ２がオンした場合には、ステップＳ１０に進む。一方、第２スイッチＳＷ２がオンしていない場合には、ステップＳ１に戻り、シャッターレリーズボタンが半押しされ、第１スイッチＳＷ１がオンされ続けている限り、さらに、ステップＳ２〜ステップＳ９を繰り返す。
【００６１】
次いで、シャッターレリーズボタンが全押しされ、第２スイッチＳＷ２がオンすると、図８に示すステップＳ１０に進む。そして、ステップＳ１０〜Ｓ１３の動作を繰り返すことにより、ステップＳ７で決定した連続撮影を行う画像の枚数Ｎおよび駆動量ΔＷｓに基づいて、フォーカスブラケティング撮影が行われる。
【００６２】
すなわち、まず、ステップＳ１０において、フォーカスレンズ２１２のレンズ位置が、ステップＳ８において移動させた至近側デフォーカス量ｄｆ１に応じたレンズ位置、または後述するステップＳ１２により駆動された後のレンズ位置にある状態において、撮像素子１１０による画像の撮影が行われる。そして、撮像素子１１０から各光電変換素子１１２ａに応じた信号が、センサ制御部１５１に送信される。また、カメラ制御部１６０は、センサ制御部１５１から、撮像素子１１０からの信号を受信し、これを画像データに変換し、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰのデフォーカス量ｄｆ、およびフォーカスレンズ２１２の駆動量ΔＷｓとともに、メモリ１７０に送信し、メモリ１７０に記憶させる。
【００６３】
ステップＳ１１においては、カメラ制御部１６０により、ステップＳ７で決定した連続撮影を行う画像の枚数Ｎの撮影が終了しているか否かの判断が行われ、所定の撮影枚数Ｎの撮影が終了していない場合にはステップＳ１２に進み、所定の撮影枚数Ｎの撮影が終了している場合には、フォーカスブラケティング撮影を終了し、ステップＳ１４に進む。
【００６４】
ステップＳ１２においては、レンズ制御部２５０により、フォーカスレンズ２３０を駆動させることにより、ステップＳ７で決定したフォーカスブラケティング撮影用の駆動量ΔＷｓにて、フォーカスレンズ２１２を無限遠側に移動させる。
【００６５】
ステップＳ１３においては、シャッターレリーズボタンの全押しが解除され、第２スイッチＳＷ２がオフしたかどうかを判断し、第２スイッチＳＷ２がオフした場合には、連続撮影を終了し、ステップＳ１４に進む。それ以外の場合には、ステップＳ１０に戻り、ステップＳ１０〜Ｓ１４の処理が繰り返される。
【００６６】
そして、ステップＳ１０〜Ｓ１３の処理が繰り返されることにより、本実施形態におけるフォーカスブラケティング撮影が行われる。以下、図１０を参照しつつ、本実施形態におけるフォーカスブラケティング撮影における具体的な流れについて説明する。ここで、図１０は、本実施形態に係るフォーカスブラケティング撮影について説明するための図である。図１０に示すように、まず、ステップＳ１０において、至近側駆動量ΔＷ１に基づいて、フォーカスレンズ２１２を、至近側デフォーカス量ｄｆ１に応じたレンズ位置に移動させた状態で、撮像素子１１０により１枚目の画像の撮影が行われる。
【００６７】
次いで、ステップＳ７で決定した所定の撮影枚数Ｎの撮影が終了していない場合（ステップＳ１１＝Ｎｏ）にはステップＳ１２に進むため、ステップＳ１２において、ステップＳ７で決定した駆動量ΔＷｓに基づいて、フォーカスレンズ２１２の無限遠側への移動が行われる。次いで、第２スイッチＳＷ２がオフされていない場合（ステップＳ１３＝Ｎｏ）にはステップＳ１０に戻るため、ステップＳ１０において、撮像素子１１０により２枚目の画像の撮影が行われる。そして、同様にして、駆動量ΔＷｓに基づいたフォーカスレンズ２１２の移動（ステップＳ１２）および画像の撮影（ステップＳ１０）が繰り返し行われ、Ｎ枚の画像の撮影が行われると（ステップＳ１１＝Ｙｅｓ）、連続撮影を終了し、ステップＳ１４に進むこととなる。なお、図１０に示すように、Ｎ枚目の画像は、無限遠側デフォーカス量ｄｆ２に応じたレンズ位置に移動させた状態で撮影した画像となり、フォーカスレンズ２１２は、１枚目の画像の撮影を行った位置から、総駆動量ΔＷａだけ移動することとなる。
【００６８】
次いで、ステップＳ１４では、操作部１４０を介した撮影者の選択に基づいて、ステップＳ１０〜ステップＳ１３において、フォーカスブラケティング撮影により撮影された複数の撮影画像について、画像合成を行うか否かの判断をする。なお、撮影した複数の撮影画像の画像合成を行うか否かは、撮影者が撮影前に予め設定するような構成としてもよいし、あるいは、撮影後に選択できるようにしてもよい。撮影者により、撮影した複数の撮影画像について、画像合成を行う設定がされている場合には、ステップＳ１５に進み、それ以外の場合には、ステップＳ１６に進む。
【００６９】
ステップＳ１５では、カメラ制御部１６０により、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのデータ、およびフォーカスレンズ２１２の駆動量ΔＷｓに基づいて、メモリ１７０に記憶されている複数の撮影画像について、画像合成を行う。以下、本実施形態における撮影画像の合成方法の一例について、図１１〜図１３を参照しながら説明する。図１１〜図１３は、本実施形態における撮影画像の合成方法の一例を説明するための示す図である。
【００７０】
まず、図１１に示すように、マイクロレンズアレイ１１１からの像面の高さ（マイクロレンズアレイ１１１から距離）をＺとした場合に、像面の高さＺ＝０である位置に画像合成の対象となる被写体が存在する場合について説明する。図１１においては、撮像素子１１０の各光電変換素子アレイ１１２について、各光電変換素子アレイ１１２を構成する光電変換素子１１２ａのうち、５つの光電変換素子１１２ａに入射する各光線（マイクロレンズアレイ１１１を構成するマイクロレンズアレイ１１１ａの中心を通る主光線のみ）を示した。また、図１１中においては、各光電変換素子１１２ａを識別するために、それぞれの光電変換素子１１２ａを、ａ１〜ｅ１、ａ２〜ｅ２、ａ３〜ｅ３、ａ４〜ｅ４、ａ５〜ｅ５で示すとともに、像面の高さＺ＝０における各座標Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５のうち、Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）を実線で示し、それ以外のＸ１、Ｘ２、Ｘ４、Ｘ５からの射出光束を点線で示した（以下、図１２、図１３においても同様。）。
【００７１】
図１１に示すように、像面の高さＺ＝０における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、各画素ａ３、ｂ３、ｃ３、ｄ３、ｅ３、にそれぞれ入射する。そのため、像面の高さＺ＝０における座標Ｘ３における画素値Ｌ（Ｚ＝０、Ｘ３）は、これら画素ａ３、ｂ３、ｃ３、ｄ３、ｅ３における出力を合成することにより求めることができる（下記式（２）参照）。
Ｌ（Ｚ＝０、Ｘ３）＝Ｏｕｔ（ａ３）＋Ｏｕｔ（ｂ３）＋Ｏｕｔ（ｃ３）＋Ｏｕｔ（ｄ３）＋Ｏｕｔ（ｅ３）  …（２）
【００７２】
また、同様に、座標Ｘ３に隣接する座標Ｘ４における画素値Ｌ（Ｚ＝０、Ｘ４）は、下記式（３）に従って求めることができる。
Ｌ（Ｚ＝０、Ｘ４）＝Ｏｕｔ（ａ４）＋Ｏｕｔ（ｂ４）＋Ｏｕｔ（ｃ４）＋Ｏｕｔ（ｄ４）＋Ｏｕｔ（ｅ４）  …（３）
【００７３】
したがって、座標Ｘｉにおける画素値Ｌ（Ｚ＝０、Ｘｉ）は、下記式（４）に従って、それぞれ求めることができる。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ａｉ）＋Ｏｕｔ（ｂｉ）＋Ｏｕｔ（ｃｉ）＋Ｏｕｔ（ｄｉ）＋Ｏｕｔ（ｅｉ）  …（４）
【００７４】
なお、上記式（４）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。そのため、仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５からなる光束を、光線ｒ３のみからなる光束に制限すればよいので、上記式（４）に代えて下記式（５）を採用すればよい（後述する図１２、図１３に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ｃｉ）  …（５）
【００７５】
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５からなる光束を、光線ｒ２、ｒ３、ｒ４のみからなる光束に制限すればよいので、上記式（４）に代えて下記式（６）を採用すればよい（後述する図１２、図１３に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ｂｉ）＋Ｏｕｔ（ｃｉ）＋Ｏｕｔ（ｄｉ）  …（６）
【００７６】
なお、上記説明においては、或る１方向に並ぶ５つの画素ａ３、ｂ３、ｃ３、ｄ３、ｅ３のみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（後述する図１２、図１３に示す場合においても同様。）。
【００７７】
次いで、図１２に示すように、像面の高さＺ＝ｈ１である位置に画像合成の対象となる被写体が存在する場合について説明する。図１２に示すように、像面の高さＺ＝ｈ１における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、図１１の場合と異なり、各画素ａ１、ｂ２、ｃ３、ｄ４、ｅ５にそれぞれ入射する。そのため、像面の高さＺ＝ｈ１における座標Ｘ３における画素値Ｌ（Ｚ＝ｈ１、Ｘ３）は、これら画素ａ１、ｂ２、ｃ３、ｄ４、ｅ５における出力を合成することにより求めることができる（下記式（７）参照）。
Ｌ（Ｚ＝ｈ１、Ｘ３）＝Ｏｕｔ（ａ１）＋Ｏｕｔ（ｂ２）＋Ｏｕｔ（ｃ３）＋Ｏｕｔ（ｄ４）＋Ｏｕｔ（ｅ５）  …（７）
【００７８】
さらに、図１３に示すように、像面の高さＺ＝ｈ２である位置に合成対象となる被写体が存在する場合について説明する。図１３に示すように、像面の高さＺ＝ｈ２における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、図１１、図１２の場合と異なり、複数の画素にまたがって入射することとなる。具体的には、図１３に示すように、光線ｒ１は画素ａ１、ｂ１に、光線ｒ２は画素ｂ２、ｃ２に、光線ｒ４は画素ｃ４、ｄ４に、光線ｒ５は画素ｄ５、ｅ５に、それぞれまたがって入射する。なお、光線ｒ３は、図１３に示すように画素ｃ３にのみ入射する。そのため、光線ｒ１に着目すると、光線ｒ１の光量は、画素ａ１の出力値Ｏｕｔ（ａ１）と、画素ｂ１の出力値Ｏｕｔ（ｂ１）との重み付け和によって求めることができる（下記式（８）参照）。ここで、下記式（８）において、ｗ１１、ｗ１２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｏｕｔ（ａ１）×ｗ１１＋Ｏｕｔ（ｂ１）×ｗ１２  …（８）
【００７９】
そして、光線ｒ２、光線ｒ４、光線ｒ５の光量も、同様に重み付け和によって求めることができるため、像面の高さＺ＝ｈ２における座標Ｘ３における画素値Ｌ（Ｚ＝ｈ２、Ｘ３）は、下記式（９）に従って求めることができる。なお、下記式（９）において、Ｗ２１、Ｗ２２、Ｗ４１、Ｗ４２、Ｗ５１、Ｗ５２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｌ（Ｚ＝ｈ２、Ｘ３）＝〔Ｏｕｔ（ａ１）×ｗ１１＋Ｏｕｔ（ｂ１）×ｗ１２〕＋〔Ｏｕｔ（ｂ２）×Ｗ２１＋Ｏｕｔ（ｃ２）×ｗ２２〕＋Ｏｕｔ（ｃ３）＋〔Ｏｕｔ（ｃ４）×Ｗ４１＋Ｏｕｔ（ｄ４）×Ｗ４２〕＋〔Ｏｕｔ（ｄ５）×Ｗ５１＋Ｏｕｔ（ｅ５）×Ｗ５２〕  …（９）
【００８０】
以上のように、本実施形態においては、画像合成の対象となる被写体が存在する像面位置Ｚに応じて、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値が決まってくることとなる。また、画像合成の対象となる被写体が存在する像面位置Ｚは、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆに応じて求めることができるため、本実施形態においては、複数位置のデフォーカス量ｄｆのデータ、およびフォーカスレンズ２１２の駆動量ΔＷｓに基づいて、メモリ１７０に記憶されている複数の撮影画像の合成を行うことができる。そして、合成された画像は、メモリ１７０に記憶される。
【００８１】
なお、各像面位置Ｚに対応する、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値は、たとえば、カメラ制御部１６０に備えられた不揮発メモリなどに予め記憶させておき、これを利用するような構成とすればよい。
【００８２】
一方、ステップＳ１６では、ステップＳ１４において、フォーカスブラケティング撮影により撮影された複数の撮影画像について、画像合成を行わないと判断されたため、画像合成を行うことなく、フォーカスブラケティング撮影により撮影された複数の画像の画像データを、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰのデフォーカス量ｄｆ、およびフォーカスレンズ２１２の駆動量ΔＷｓとともに、メモリ１７０に記憶させる。
【００８３】
本実施形態によれば、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆから、フォーカスブラケティング撮影における連続撮影を行う画像の枚数Ｎ、およびフォーカスブラケティング撮影用の駆動量ΔＷｓを決定し、これに基づいて、フォーカスレンズ２１２の駆動および撮像素子１１０による被写体の撮影を繰り返すフォーカスブラケティング撮影を行うことにより、焦点調節位置の異なる複数の撮影画像を連続的に撮影するとともに、得られた複数の撮影画像について、画像合成を行うため、撮像画像中における被写体間の撮影距離の差が比較的大きい場合でも、撮像画像中に存在する複数の被写体（たとえば、撮像画像中に存在する全ての被写体）に焦点の合った画像を適切に得ることができる。
【００８４】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００８５】
たとえば、上述した実施形態では、フォーカスブラケティング撮影を行う際に、まず、至近側デフォーカス量ｄｆ１に応じた駆動量ΔＷ１に基づいて、フォーカスレンズ２１２を駆動させ（ステップＳ８）、至近側から無限遠側に向かって、フォーカスレンズ２１２を駆動させながら、フォーカスブラケティング撮影を行う例（ステップＳ１０〜Ｓ１２）を示したが、まず、至近側デフォーカス量ｄｆ２に応じた駆動量ΔＷ２に基づいて、フォーカスレンズ２１２を駆動させ（ステップＳ８）、無限遠側から至近側に向かって、フォーカスレンズ２１２を駆動させながら、フォーカスブラケティング撮影を行うような構成としてもよい。
【００８６】
また、図４に示す各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆを算出する際に、人の顔などの特定被写体の認識処理を行い、特定被写体が認識された焦点検出エリアＡＦＰについて、デフォーカス量ｄｆを算出し、特定被写体に基づくデフォーカス量ｄｆに応じて、至近側デフォーカス量ｄｆ１、無限遠側デフォーカス量ｄｆ２を求め、これに基づいてフォーカスブラケティング撮影を行うような構成としてもよい。
【００８７】
さらに、上述した実施形態では、撮像素子１１０に設けられた各光電変換素子１１２ａに応じた信号を用いて、図４に示す各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆの検出および演算を行うような構成を例示したが、撮像素子１１０とは別の焦点検出用センサを有する焦点検出装置を備える構成としてもよい。この場合にはおいては、たとえば、クイックリターンミラー１２０の後方に全反射ミラーを設け、これにより撮影光学系のうち一部を全反射ミラーで分岐し、焦点検出装置に導く構成とすることができる。
【符号の説明】
【００８８】
１…一眼レフデジタルカメラ
１００…カメラボディ
１１０…撮像素子
１１２…光電変換素子アレイ
１１２ａ…光電変換素子
１１１…マイクロレンズアレイ
１１１ａ…マイクロレンズ
１５１…センサ制御部
１５２…デフォーカス演算部
１５３…レンズ駆動量演算部
１６０…カメラ制御部
２００…レンズ鏡筒
２１２…フォーカスレンズ
２３０…フォーカスレンズ駆動モータ
２５０…レンズ制御部
【図１】
2010197551.tif 000003
【図２】
2010197551.tif 000004
【図３】
2010197551.tif 000005
【図４】
2010197551.tif 000006
【図５】
2010197551.tif 000007
【図６】
2010197551.tif 000008
【図７】
2010197551.tif 000009
【図８】
2010197551.tif 000010
【図９】
2010197551.tif 000011
【図１０】
2010197551.tif 000012
【図１１】
2010197551.tif 000013
【図１２】
2010197551.tif 000014
【図１３】
2010197551.tif 000015