(57)【要約】【課題】高精度な焦点検出を行なうことが出来る焦点検出装置を提供する。【解決手段】焦点検出装置は、複数の焦点検出画素列の各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するイメージセンサと、各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するたびに、複数の焦点検出画素列のうちの第１所定数の焦点検出画素列が出力する一対の像信号をそれぞれ積算して空間積算値を算出する空間積算手段と、各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するたびに空間積算値が算出されて得られる第２所定数の空間積算値を積算して時間積算値を算出する時間積算手段と、空間積算値と時間積算値とのうちのいずれか一方に基づいて光学系の焦点状態を検出する焦点検出手段とを備える。【選択図】図９
2014071290.tif 000002
【特許請求の範囲】
【請求項１】
所定方向に配列される焦点検出画素から成る複数の焦点検出画素列を有し、前記複数の焦点検出画素列の各焦点検出画素列が光電変換により一対の焦点検出光束による一対の像に対応する一対の像信号を所定間隔毎に繰り返し出力するイメージセンサと、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに、前記複数の焦点検出画素列のうちの第１所定数の焦点検出画素列が出力する前記一対の像信号をそれぞれ積算して空間積算値を算出する空間積算手段と、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに前記空間積算値が算出されて得られる第２所定数の前記空間積算値を積算して時間積算値を算出する時間積算手段と、
前記空間積算値と前記時間積算値とのうちのいずれか一方に基づいて前記光学系の焦点状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項２】
請求項１に記載の焦点検出装置において、
前記焦点検出手段が前記時間積算値に基づいて前記焦点状態を検出するときは、前記一対の像信号に基づく評価値が所定閾値よりも大きくなるように前記第１所定数と前記第２所定数とが定まることを特徴とする焦点検出装置。
【請求項３】
請求項２に記載の焦点検出装置において、
前記焦点検出手段が前記空間積算値に基づいて前記焦点状態を検出するとき、前記評価値は前記空間積算値に基づく第１積算値であって、前記第１積算値が前記所定閾値よりも大きくなるように前記第１所定数が最大数を超過しない範囲で定まるとともに前記第２所定数が０に定まり、前記焦点検出手段が前記時間積算値に基づいて前記焦点状態を検出するときは、前記評価値は前記時間積算値に基づく第２積算値であって、前記第２積算値が前記所定閾値よりも大きくなるように前記第１所定数が前記最大数に定まるとともに前記第２所定数が定まることを特徴とする焦点検出装置。
【請求項４】
請求項３に記載の焦点検出装置において、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに、前記一対の像信号を記憶する記憶装置をさらに備え、
前記空間積算手段は、前記記憶装置によって記憶されている前記一対の像信号をそれぞれ積算して前記空間積算値を算出することを特徴とする焦点検出装置。
【請求項５】
請求項３に記載の焦点検出装置において、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに、前記空間積算手段によって算出された前記空間積算値を記憶する記憶装置をさらに備え、
前記時間積算手段は、前記記憶装置によって記憶されている前記第２所定数の前記空間積算値を積算することによって、前記時間積算値を算出することを特徴とする焦点検出装置。
【請求項６】
請求項３に記載の焦点検出装置において、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに、前記時間積算手段によって算出された前記時間積算値を記憶する記憶装置をさらに備え、
前記焦点検出手段は、前記時間積算値に基づいて前記焦点状態を検出するとき、前記記憶装置によって記憶された前記時間積算値に基づいて前記焦点状態を検出することを特徴とする焦点検出装置。
【請求項７】
請求項２に記載の焦点検出装置において、
前記所定間隔の間の前記一対の像の動き量を検出する動き量検出手段をさらに備え、
前記焦点検出手段が前記時間積算値に基づいて前記焦点状態を検出するときは、前記動き量が大きいほど前記第１所定数よりも前記第２所定数の方が小さくなるように、かつ前記第１所定数と前記第２所定数との積が前記評価値と前記所定閾値とに応じた一定値に略等しくなるように、前記第１所定数と前記第２所定数とが定まることを特徴とする焦点検出装置。
【請求項８】
請求項１〜６のいずれか１項に記載の焦点検出装置において、 
前記第１積算値および前記第２積算値は、前記空間積算値および前記時間積算値のそれぞれの平均値と、前記空間積算値および前記時間積算値のそれぞれの最大値と、前記空間積算値および前記時間積算値のそれぞれの最大値および最小値の差とのうちのいずれか１つに対応することを特徴とする焦点検出装置。
【請求項９】
請求項７に記載の焦点検出装置において、 
前記評価値は、前記一対の像信号の平均値と、前記一対の像信号の最大値と、前記一対の像信号の最大値および最小値の差とのうちのいずれか１つに対応することを特徴とする焦点検出装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の焦点検出装置において、 
前記複数の焦点検出画素の各々は、前記一対の焦点検出光束を透過するマイクロレンズと、前記所定方向に並んで、前記一対の焦点検出光束を受光して前記光電変換を行う一対の光電変換部とを有し、
前記一対の光電変換部と、前記一対の焦点検出光束が通る、光学系の射出瞳において前記所定方向と平行に並んだ一対の領域とが、前記マイクロレンズにより互いに共役関係となることを特徴とする焦点検出装置。
【請求項１１】
請求項１０に記載の焦点検出装置において、
前記光学系を通過する被写体からの撮影光束を受光して光電変換により被写体像に対応する被写体像信号を所定間隔毎に出力する撮像画素が、前記焦点検出画素と混在して前記イメージセンサに配置されることを特徴とする焦点検出装置。
【請求項１２】
所定方向に配列される複数の焦点検出画素であって、光学系の射出瞳のうちの前記所定方向と平行に並ぶ一対の領域を通る一対の焦点検出光束を受光する前記複数の焦点検出画素から成る各焦点検出画素列で構成される複数の焦点検出画素列が互いに並置され、前記各焦点検出画素列が光電変換により前記一対の焦点検出光束による一対の像に対応する一対の像信号を所定間隔毎に繰り返し出力するイメージセンサと、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに、前記複数の焦点検出画素列のうちの第１所定数の焦点検出画素列が出力する前記一対の像信号をそれぞれ積算することによって、空間積算値を算出する空間積算手段と、
前記各焦点検出画素列が前記一対の像信号を前記所定間隔毎に繰り返し出力するたびに前記空間積算値が算出されて得られる第２所定数の前記空間積算値を積算することによって、時間積算値を算出する時間積算手段と、
前記空間積算値と前記時間積算値とのうちのいずれか一方に基づいて前記光学系の焦点状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の焦点検出装置と、
前記焦点検出手段によって検出された前記焦点状態に基づき光学系を合焦位置に駆動させる駆動手段と、
前記光学系が前記合焦位置に位置するとき、前記光学系を通過する被写体からの撮影光束に基づき画像データを取得する取得手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
マイクロレンズとその背後に配置された一対の光電変換部からなる焦点検出画素を撮影レンズの予定焦点面上に配列する。これにより光学系を通る一対の焦点検出光束が形成する一対の像に応じた一対の像信号を生成する。この一対の像信号間の像ズレ量（位相差）を検出することによって撮影レンズの焦点調節状態（デフォーカス量）を検出する。このような動作を行なう、いわゆる瞳分割型位相差検出方式の焦点検出装置が知られている。
【０００３】
上記のような焦点検出画素と撮像画素とが混在した撮像素子（イメージセンサ）から一定フレーム時間間隔で焦点検出画素および撮像画素の信号を読み出してライブビュー表示と焦点検出とを並行して行なう。それとともに、フレーム毎の焦点検出画素の信号を過去複数フレームに亘って記憶する。最新フレームの焦点検出画素の信号のみでは出力レベルが不足して焦点検出が不能になる場合には、記憶した過去複数フレームに亘る焦点検出画素の信号を加算して時間積算する。こうすることにより、出力レベルが高まった焦点検出画素の信号を用いて焦点検出を行なう焦点検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−８５７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような焦点検出装置においては、移動する被写体に対して焦点検出結果に誤差を生じる場合があるという問題点があった。
【課題を解決するための手段】
【０００６】
（１）請求項１に記載の焦点検出装置は、所定方向に配列される焦点検出画素から成る複数の焦点検出画素列を有し、複数の焦点検出画素列の各焦点検出画素列が光電変換により一対の焦点検出光束による一対の像に対応する一対の像信号を所定間隔毎に繰り返し出力するイメージセンサと、各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するたびに、複数の焦点検出画素列のうちの第１所定数の焦点検出画素列が出力する一対の像信号をそれぞれ積算して空間積算値を算出する空間積算手段と、各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するたびに空間積算値が算出されて得られる第２所定数の空間積算値を積算して時間積算値を算出する時間積算手段と、空間積算値と時間積算値とのうちのいずれか一方に基づいて光学系の焦点状態を検出する焦点検出手段とを備えることを特徴とする。
（２）請求項１２に記載の焦点検出装置は、所定方向に配列される複数の焦点検出画素であって、光学系の射出瞳のうちの所定方向と平行に並ぶ一対の領域を通る一対の焦点検出光束を受光する複数の焦点検出画素から成る各焦点検出画素列で構成される複数の焦点検出画素列が互いに並置され、各焦点検出画素列が光電変換により一対の焦点検出光束による一対の像に対応する一対の像信号を所定間隔毎に繰り返し出力するイメージセンサと、各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するたびに、複数の焦点検出画素列のうちの第１所定数の焦点検出画素列が出力する一対の像信号をそれぞれ積算することによって、空間積算値を算出する空間積算手段と、各焦点検出画素列が一対の像信号を所定間隔毎に繰り返し出力するたびに空間積算値が算出されて得られる第２所定数の空間積算値を積算することによって、時間積算値を算出する時間積算手段と、空間積算値と時間積算値とのうちのいずれか一方に基づいて光学系の焦点状態を検出する焦点検出手段とを備えることを特徴とする。
（３）請求項１３に記載の撮像装置は、請求項１〜１２のいずれか１項に記載の焦点検出装置と、焦点検出手段によって検出された焦点状態に基づき光学系を合焦位置に駆動させる駆動手段と、光学系が合焦位置に位置するとき、光学系を通過する被写体からの撮影光束に基づき画像データを取得する取得手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、焦点検出装置は、高精度な焦点検出を行なうことが出来る。
【図面の簡単な説明】
【０００８】
【図１】デジタルスチルカメラの構成を示す横断面図である。
【図２】撮像素子およびボディ駆動制御装置の関係を詳細に示すブロック図である。
【図３】撮影画面上における焦点検出位置を示す図である。
【図４】撮像素子の詳細な構成を示す正面図である。
【図５】撮像素子の詳細な構成を示す正面図である。
【図６】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。
【図７】撮像素子の撮像画素が受光する撮影光束の様子を説明するための図である。
【図８】デジタルスチルカメラの焦点検出動作を含む撮像動作を示すフローチャートである。
【図９】焦点検出用データの生成の処理フローチャートである。
【図１０】空間積算処理の様子を示した図である。
【図１１】時間積算処理の様子を示した図である。
【図１２】焦点検出用データの生成の処理動作のタイミングチャートである。
【図１３】焦点検出用データの生成の処理フローチャートである。
【図１４】時間積算処理の様子を示した図である。
【図１５】焦点検出用データの生成の処理フローチャートである。
【図１６】空間積算回数と時間積算回数とを決定する処理の詳細を説明するためのグラフである。
【図１７】撮像素子の詳細な構成を示す正面図である。
【発明を実施するための形態】
【０００９】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態における焦点検出装置を含む撮像装置としてのレンズ交換式デジタルスチルカメラ２０１の構成を示す横断面図である。デジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３とから構成される。種々の交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。
【００１０】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを有している。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節や絞り２１１の開口径調節のための駆動制御を行なうとともに、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行なう。この他、レンズ駆動制御装置２０６は、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信およびカメラ情報の受信を行なう。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１１】
カメラボディ２０３は、撮像素子（イメージセンサ）２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを有している。撮像素子２１２には、複数の撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に複数の焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１２】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などを含む。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と、画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算および交換レンズ２０２の焦点調節とを繰り返し行うとともに、画像信号の処理および記録と、カメラの動作制御などとを行う。ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信およびカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１３】
液晶表示素子２１６は、電子ビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によって得られる画像信号に基づきスルー画像を液晶表示素子２１６に表示する。撮影者は接眼レンズ２１７を介してそのスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像信号に基づいて生成される画像データを記憶する画像ストレージである。
【００１４】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号とがボディ駆動制御装置２１４へ送られる。
【００１５】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像データを生成し、メモリカード２１９に格納する。それとともに、ボディ駆動制御装置２１４は、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１６】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値とを検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値とに応じたレンズ情報を選択する。
【００１７】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１８】
図２は、本発明に関連する撮像素子２１２およびボディ駆動制御装置２１４の関係を詳細に示すブロック図である。図２に示すように、ボディ駆動制御装置２１４内には撮像素子制御部２２０、バッファメモリ２２１、ＣＰＵ（マイクロコンピューター）２２２、内部メモリ２２３が収納される。撮像素子２１２は撮像素子制御部２２０の制御に従って撮像画素および焦点検出画素の電荷蓄積制御（電荷蓄積時間および電荷蓄積タイミング）と、画像信号および焦点検出信号の出力制御を行なう。撮像素子制御部２１２によって撮像素子２１２から読み出された被写体像に対応する画像信号および後述する一対の像に対応する焦点検出信号は、信号増幅やＡＤ変換の前処理を受けた後、バッファメモリ２２１に１フレーム分のデータとして一時的に格納される。ＣＰＵ２２２はバッファメモリ２２１に格納された１フレーム分のデータのうちの画像信号に対して周知の画像処理を行なって画像表示や画像記録を行なうとともに、バッファメモリ２２１に格納された１フレーム分のデータのうちの焦点検出信号に対して後述する焦点検出処理を行なう。内部メモリ２２３は過去の複数フレーム分の焦点検出信号を記憶するためのメモリである。ＣＰＵ２２２は焦点検出処理において内部メモリ２２３に記憶された過去フレームの焦点検出信号を参照する。最新フレームの焦点検出信号に対する焦点検出処理が終了すると、バッファメモリ２２１に一時的に格納された最新フレームのデータのうちの焦点検出信号は内部メモリ２２３に移送される。内部メモリ２２３はＦＩＬＯ（first in last out）のスタック構造になっており、内部メモリ２２３において直近の過去の所定複数フレーム分の焦点検出信号が順次更新記録されることになる。
【００１９】
図３は、撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列による焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央に焦点検出エリア１０１が配置される。長方形で示す焦点検出エリア１０１に対応して焦点検出画素が配列される。
【００２０】
図４、図５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１内を拡大して示したものである。図４は撮像画素３１０および焦点検出画素３１１のレイアウトを示す。図４において、撮像素子２１２上で、撮像画素３１０および焦点検出画素３１１が混在して二次元正方格子状に稠密に配列される。水平方向に伸びる複数の画素列の各列に焦点検出画素３１１が１画素おきに配置されることによって、焦点検出画素列Ｌ１〜Ｌ８が形成される。図５は図４に示す撮像画素３１０および焦点検出画素３１１に配置される色フィルタの配列を示す。撮像画素３１０および焦点検出画素３１１には、ベイヤー配列の規則に従って色フィルタ、赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢが配置されている。赤色フィルタＲ、緑色フィルタＧ、および青色フィルタＢは、それぞれ異なる波長において高い分光感度を示す。焦点検出画素３１１は緑色フィルタＧを備えるとともに、水平方向の焦点検出画素列Ｌ１〜Ｌ８の各列に配置された複数の焦点検出画素３１１のデータ（焦点検出信号）に応じて水平方向の位相差検出が行なわれる。焦点検出画素列Ｌ１に配置された複数の焦点検出画素３１１のデータが通常の焦点検出に用いられるデータである。状況に応じて、焦点検出画素列Ｌ２〜Ｌ８のそれぞれに配置された複数の焦点検出画素３１１のデータが、それらに対応する焦点検出画素列Ｌ１に配置された複数の焦点検出画素３１１のデータに積算され、その積算値が焦点検出に用いられる。こうした積算は、互いに空間的に異なる位置に配置された焦点検出画素３１１のデータどうしの積算なので、こうした積算を以後空間積算という。
【００２１】
撮像画素３１０は、矩形のマイクロレンズ１０と、不図示の遮光マスクで受光領域を制限された光電変換部１１とを有している。焦点検出画素３１１は、矩形のマイクロレンズ１０と、撮像画素３１０の光電変換部１１を垂直方向に延在する素子分離領域１５により２分割して得られる一対の光電変換部１３および１４とから構成される。なお、簡潔のため、図４において色フィルタは不図示としている。
【００２２】
撮像画素３１０は、マイクロレンズ１０によって最も明るい交換レンズ２０２の射出瞳径（例えばＦ１．０）を通過する撮影光束を、光電変換部１１がすべて受光するような形状に設計される。また、焦点検出画素３１１は、マイクロレンズ１０によって交換レンズ２０２の射出瞳のうちの、一対の光電変換部１３および１４の並び方向と平行に並ぶ一対の領域を通過する一対の焦点検出光束を、光電変換部１３、１４がそれぞれ受光するような形状に設計される。
【００２３】
図６は、マイクロレンズ１０を用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図６は、焦点検出エリア１０１のうちの水平方向の焦点検出画素列Ｌ１に配置された撮影光軸９１近傍の隣接する３つの焦点検出画素３１１および２つの撮像画素３１０を模式的に拡大して示す。図６において、射出瞳９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズ１０から前方に距離ｄの位置に設定されている。この距離ｄは、マイクロレンズ１０の曲率および屈折率、マイクロレンズ１０と光電変換部１３、１４との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。図６には他に、交換レンズの光軸９１、マイクロレンズ１０、光電変換部１３、１４、焦点検出画素３１１、撮像画素３１０、焦点検出光束７３、７４が示されている。
【００２４】
測距瞳９３は、遮光マスクの開口部により受光領域が制限された光電変換部１３がマイクロレンズ１０により投影されることによって形成される。同様に、測距瞳９４は、遮光マスクの開口部により受光領域が制限された光電変換部１４がマイクロレンズ１０により投影されることによって形成される。一対の測距瞳９３、９４は光軸９１を通る垂直線に対して線対称な形状となっている。一対の測距瞳９３、９４は上述した一対の領域に対応する。マイクロレンズ１０により、一対の光電変換部１３および１４と上述した一対の領域、すなわち一対の測距瞳９３および９４とが互いに共役関係となる。
【００２５】
焦点検出エリア１０１の水平方向の焦点検出画素列Ｌ１〜Ｌ８に配置された全ての焦点検出画素３１１において、一対の光電変換部１３、１４は焦点検出画素列を構成する焦点検出画素と同一の水平方向に並んでいる。一対の光電変換部１３、１４は、それぞれに対応して一対の光電変換部１３、１４の並び方向と同一の方向に並ぶ一対の測距瞳９３、９４から各マイクロレンズに到来する一対の焦点検出光束７３および７４を受光する。各焦点検出画素列を構成する複数の焦点検出画素３１１の各々に含まれる一対の光電変換部１３および１４が、一対の焦点検出光束７３および７４を受光すると、光電変換により、一対の焦点検出光束７３および７４による一対の像に対応する一対の像信号を所定フレーム間隔毎に繰り返し出力する。
【００２６】
以上のような構成により、光電変換部１３は、測距瞳９３を通過して焦点検出画素３１１のマイクロレンズ１０に向かう焦点検出光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、光電変換部１４は、測距瞳９４を通過して焦点検出画素３１１のマイクロレンズ１０に向う焦点検出光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００２７】
水平方向の焦点検出画素列Ｌ１に配列された焦点検出画素３１１において、各焦点検出画素３１１の光電変換部１３、１４の出力を測距瞳９３および測距瞳９４のそれぞれに対応した出力グループにまとめる。このことによって、測距瞳９３および測距瞳９４をそれぞれ通過する焦点検出用光束７３、７４が水平方向の焦点検出画素列Ｌ１に含まれる複数の焦点検出画素３１１の配列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で水平方向の焦点検出画素列Ｌ１における水平方向の一対の像の像ズレ量が検出される。
【００２８】
同様に水平方向の焦点検出画素列Ｌ２〜Ｌ８に配列された焦点検出画素３１１の光電変換部１３、１４の出力を用いて各焦点検出画素列における水平方向の一対の像の像ズレ量を検出することができる。
【００２９】
さらに、像ズレ量に対して、一対の測距瞳９３、９４の重心間隔と測距瞳距離との比例関係に応じた変換演算を行うことによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。具体的には、光軸９１に垂直な面内における像ズレ量に対し所定の変換係数を乗ずることによりデフォーカス量、すなわち光軸９１の方向における結像面と予定結像面との偏差が算出されることになる。所定の変換係数は、測距瞳距離ｄを測距瞳９３、９４の重心間隔で除した値として得られる。
【００３０】
図７は、図４に示す撮像素子２１２の撮像画素３１０が受光する撮影光束の様子を図６と比較して説明するための図である。図７は、水平方向の焦点検出画素列Ｌ１に隣接する水平方向の撮像画素列に配置された撮影光軸９１近傍の隣接する５つの撮像画素３１０を模式的に拡大して示す。なお図６と重複する部分の説明は省略する。
【００３１】
撮像画素３１０はマイクロレンズ１０とその背後に配置された光電変換部１１等から構成される。光電変換部１１に近接して配置された遮光マスクの開口部の形状がマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上に投影される。その投影形状は測距瞳９３、９４に略外接する領域９５を形成する。光電変換部１１は、領域９５を通過してマイクロレンズ１０へ向かう撮影光束７１によってマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。すなわち、複数の撮像画素３１０が、交換レンズ２０２を通過する被写体からの撮影光束７１を受光して光電変換により被写体像に対応する被写体像信号を所定フレーム間隔毎に出力する。
【００３２】
図８は、本実施の形態の焦点検出装置を含むデジタルスチルカメラ（撮像装置）２０１の焦点検出動作を含む撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において、ボディ駆動制御装置２１４の撮像素子制御部２２０は、全画素の画素データを読み出し、撮像画素３１０の画素データを、ボディ駆動制御装置２１４のＣＰＵ２２２が液晶表示素子２１６に表示させる。続くステップＳ１２０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、焦点検出画素３１１の画素データに基づいて、焦点検出に用いる焦点検出用データを生成する。この焦点検出用データ生成処理については詳細に後述する。
【００３３】
ステップＳ１３０においては、ボディ駆動制御装置２１４のＣＰＵ２２２は、その焦点検出用データに基づき焦点検出エリア１０１における位相差検出演算（像ズレ検出演算）を行なう。ボディ駆動制御装置２１４のＣＰＵ２２２は、その位相差検出演算によって検出された位相差（像ズレ量）に基づきデフォーカス量を算出する。
【００３４】
ステップＳ１４０で、ボディ駆動制御装置２１４のＣＰＵ２２２は、合焦近傍か否か、すなわち算出したデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合、本処理はステップＳ１５０へ進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。その後、本処理はステップＳ１１０へ戻って、上述した動作が繰り返される。
【００３５】
なお、焦点検出不能な場合も本処理はこのステップＳ１５０に分岐し、ボディ駆動制御装置２１４のＣＰＵ２２２は、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２１０を無限遠位置から至近位置までの間でスキャン駆動させる。その後、本処理はステップＳ１１０へ戻って上述した動作が繰り返される。
【００３６】
ステップＳ１４０で合焦近傍であると判定された場合、本処理はステップＳ１６０へ進む。ステップＳ１６０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合、本処理はステップＳ１１０へ戻り、上述した動作が繰り返される。一方、シャッターレリーズがなされたと判定された場合、本処理はステップＳ１７０へ進む。ステップＳ１７０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者により設定されたＦ値または自動的に設定されたＦ値）にする。絞り制御が終了した時点で、ボディ駆動制御装置２１４の撮像素子制御部２２０は、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１１から画素データを読み出す。
【００３７】
ステップＳ１８０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、各焦点検出画素３１１の位置の画像データとしての画素データを、各焦点検出画素３１１の画素データに基づき、すなわち各焦点検出画素３１１に配置された一対の光電変換部１３、１４の出力データを加算することにより、算出する。続くステップＳ１９０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、撮像画素３１０の画像データとして用いる画素データおよび焦点検出画素位置の画像データを取得し、メモリカード２１９に記憶させる。この画像データは、交換レンズ２０２のフォーカシング用レンズ２１０が合焦位置に位置するとき、交換レンズ２０２を通過する被写体からの撮影光束７１に基づいて得られる。本処理は、ステップＳ１１０へ戻って、上述した動作が繰り返される。
【００３８】
なおステップＳ１１０〜ステップＳ１６０の繰り返し動作は、１フレーム分の画素データが撮像素子２１２から所定フレーム間隔で周期的に読み出されるフレーム読出し動作と連動して行なわれる。
【００３９】
図８のステップＳ１３０における像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について以下説明する。焦点検出画素３１１が検出する一対の像は、測距瞳９３、９４がレンズの絞り開口によりけられて光量バランスが崩れている可能性がある。したがって、ステップＳ１３０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出用の一対の像信号Ａ１ｎ（Ａ１１，・・・，Ａ１Ｍ：Ｍは信号数）、Ａ２ｎ（Ａ２１，・・・，Ａ２Ｍ）に対し、例えば特開２００７−３３３７２０号公報に開示された公知の相関演算式である下記（１）式を用いて、相関量Ｃ（ｋ）を演算する。（１）式において、Σ演算は変数ｎについて累積される。変数ｎは、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、一対の像信号を構成する信号列のデータ間隔を単位とした相対的シフト量である。
Ｃ（ｋ）＝Σ｜Ａ１ｎ・Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ・Ａ１ｎ＋１｜  ・・・（１）
【００４０】
上述した（１）式により演算される離散値である相関量Ｃ（ｋ）に対応する連続的な相関量Ｃ（ｘ）の極小値Ｃ（Ｘ）が得られたときは、以下の（２）式により、連続的な相関量Ｃ（ｘ）の極小値Ｃ（Ｘ）を与えるずらし量Ｘが像ズレ量ｓｈｆｔに換算される。（２）式において、係数ＰＹは、焦点検出画素列Ｌ１〜Ｌ８を構成する焦点検出画素３１１の画素ピッチ、すなわち撮像素子２１２に配列された画素の画素ピッチの２倍の値となる。
ｓｈｆｔ＝ＰＹ・Ｘ  ・・・（２）
【００４１】
図８のステップＳ１２０における焦点検出画素３１１の画素データに基づく焦点検出用データの生成の詳細について図９の処理フローチャートを用いて説明する。図４の焦点検出画素列Ｌ１〜Ｌ８の各焦点検出画素列においてＮ個の焦点検出画素３１１が配列されている。各焦点検出画素列Ｌｐ（ｐ＝１，２，・・・，８）を構成する各焦点検出画素３１１に水平方向の並び順に符号ｎ（ｎ＝１〜Ｎ）を対応付ける。焦点検出画素列Ｌｐのｎ番目の焦点検出画素３１１が有する一対の光電変換部１３、１４のうちのｓ（ｓ＝１，２）番目の光電変換部は、データＢ（ｓ，ｎ，ｐ）を出力する。すなわち、一対の光電変換部１３、１４は、それぞれ一対のデータＢ（１，ｎ，ｐ）、Ｂ（２，ｎ，ｐ）を出力する。
【００４２】
ステップＳ２００では、ボディ駆動制御装置２１４のＣＰＵ２２２は、図３に示す焦点検出画素列Ｌ１を構成する焦点検出画素３１１の画素データの最大値が所定閾値Ｔ１を越えているか否か、すなわち（３）式を満足しているか否かをチェックする。焦点検出画素列Ｌ１を構成する焦点検出画素３１１の画素データの最大値が所定閾値Ｔ１を越えているとき、焦点検出画素３１１の出力レベルは焦点検出に十分なレベルに達している。（３）式においてＭａｘ（）は最大値を求める関数である。
Ｍａｘ（Ｂ（ｓ，ｎ，１））＞Ｔ１  ・・・（３）
【００４３】
ステップＳ２００で、（３）式が満足される場合、本処理はステップＳ２１０に進む。ステップＳ２１０においては、ボディ駆動制御装置２１４のＣＰＵ２２２は、（４）式のように、焦点検出画素列Ｌ１（ｐ＝１）に配列された焦点検出画素３１１の画素データを焦点検出用データＢ０（ｓ，ｎ）として決定する。本処理は、ステップＳ３１０に進む。
Ｂ０（ｓ，ｎ）＝Ｂ（ｓ，ｎ，１）  ｓ=１，２  ｎ＝１〜Ｎ  ・・・（４）
【００４４】
一方ステップＳ２００で、（３）式が満足されない場合、本処理はステップＳ２２０に進む。ステップＳ２２０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、焦点検出画素列Ｌ１の焦点検出画素３１１の画素データと、焦点検出画素列Ｌ１に隣接する焦点検出画素列Ｌ２の焦点検出画素３１１の画素データとを空間積算する。（５）式に示すように、水平方向の並び順に付された変数ｎが同一の位置に配置されている焦点検出画素どうしの同一種類の光電変換部どうしが出力するデータについて行なわれる空間積算によって、データＢ１（ｓ，ｎ，２）が算出される。
Ｂ１（ｓ，ｎ，２）＝Ｂ１（ｓ，ｎ，１）＋Ｂ（ｓ，ｎ，２）  ｓ=１，２  ｎ＝１〜Ｎ
・・・（５）
【００４５】
すなわち（５）式により垂直方向に隣接した焦点検出画素３１１の画素データが空間的に積算（空間積算）されることになり、こうして焦点検出画素列Ｌ１からＬｐまで空間積算された焦点検出画素３１１のデータＢ１（ｓ，ｎ，ｐ）が得られる。なおデータＢ１（ｓ，ｎ，１）はデータＢ（ｓ，ｎ，１）と等しい。
【００４６】
ステップＳ２３０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、空間積算されたデータＢ１（ｓ，ｎ，ｐ）（最初にこのステップに来た場合にはｐ＝２）の最大値が所定閾値Ｔ１を越えているか否か、すなわち（６）式を満足しているか否かをチェックする。
Ｍａｘ（Ｂ１（ｓ，ｎ，ｐ））＞Ｔ１    ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（６）
【００４７】
ステップＳ２３０で、（６）式を満足した場合、本処理はステップＳ２４０に進む。ステップＳ２４０においては、ボディ駆動制御装置２１４のＣＰＵ２２２は、（７）式のように焦点検出画素列Ｌｐまで空間積算された焦点検出画素３１１のデータＢ１（ｓ，ｎ，ｐ）を焦点検出用データＢ０（ｓ，ｎ）と決定する。本処理はステップＳ３１０に進む。
Ｂ０（ｓ，ｎ）＝Ｂ１（ｓ，ｎ，ｐ）  ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（７）
【００４８】
一方ステップＳ２３０で、（６）式が満足されない場合、本処理はステップＳ２４０に進む。ステップＳ２４０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、空間積算が焦点検出画素列Ｌ８まで行なわれたか否か、すなわち空間積算回数が最大積算回数７回に達しているか否かをチェックする。空間積算が焦点検出画素列Ｌ８まで達していない場合には本処理はステップＳ２２０に戻る。ステップＳ２２０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、（８）式のように次の焦点検出画素列Ｌ（ｐ＋１）に配列された焦点検出画素３１１のデータＢ（ｓ，ｎ，ｐ＋１）を、それまでの空間積算された焦点検出画素３１１のデータＢ１（ｓ，ｎ，ｐ）に空間積算する。
Ｂ１（ｓ，ｎ，ｐ＋１）＝Ｂ１（ｓ，ｎ，ｐ）＋Ｂ（ｓ，ｎ，ｐ＋１）
ｓ＝１，２，  ｎ＝１〜Ｎ  ・・・（８）
【００４９】
本処理がステップＳ２２０、ステップＳ２３０、ステップＳ２４０のループを回り、最後にステップＳ２４０で、空間積算回数が最大積算回数に達していると判断された場合、すなわちこれ以上焦点検出画素列が無いので空間積算できない場合には、本処理はステップＳ２６０に進む。このとき、最新フレームにおいて焦点検出画素列Ｌ１からＬ８まで空間積算されている焦点検出画素３１１のデータの空間積算データＢ２（ｓ，ｎ，０）が得られたことになる。ステップＳ２６０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、内部メモリ２２３に記憶されている１フレーム前の焦点検出画素３１１の画素データを読み出し、焦点検出画素列Ｌ１〜Ｌ８に配列された焦点検出画素３１１のデータを（９）式のように空間積算する。このとき、最新フレームに対しｖフレーム前（このステップＳ２６０に初めて入るときは、ｖ＝１）の焦点検出画素３１１のデータの空間積算データＢ２（ｓ，ｎ，ｖ）が得られる。また、内部メモリ２２３には、１０フレーム前（ｖ＝１０）までの焦点検出画素のデータが記憶されているとする。
Ｂ２（ｓ，ｎ，、ｖ）＝ΣＢ（ｓ，ｎ，ｐ）  Σ演算はｐ＝１〜８  ・・・（９）
【００５０】
ステップＳ２７０で、ボディ駆動制御装置２１４のＣＰＵ２２２は、（１０）式に示すように、ステップＳ２６０で算出した１フレーム前の空間積算データＢ２（ｓ，ｎ，ｖ）と、これまでのフレームまでの時間積算データＢ３（ｓ，ｎ，ｖ−１）とを時間積算する。
Ｂ３（ｓ，ｎ，ｖ）＝Ｂ３（ｓ，ｎ，ｖ−１）＋Ｂ２（ｓ，ｎ，ｖ）
ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（１０）
【００５１】
すなわち（１０）式により時間的に隣接したフレームの空間積算データが過去に亘って時間的に積算（時間積算）され、時間積算データＢ３（ｓ，ｎ，ｖ）が得られる。時間積算データＢ３（ｓ，ｎ，ｖ）は、最新フレームからｖフレーム前までの空間積算データＢ２（ｓ，ｎ，ｖ）を時間積算した焦点検出画素のデータを表わす。ただし時間積算データＢ３（ｓ，ｎ，０）は空間積算データＢ２（ｓ，ｎ，０）およびデータＢ１（ｓ，ｎ，８）と等しい。
【００５２】
ステップＳ２８０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、時間積算されたデータＢ３（ｓ，ｎ，ｖ）の最大値が所定閾値Ｔ１を越えているか否か、すなわち（１１）式を満足しているか否かをチェックする。初めてステップＳ２８０おける判定処理が行われる際は、ｖ＝１である。
Ｍａｘ（Ｂ３（ｓ，ｎ，ｖ））＞Ｔ１  ・・・（１１）
【００５３】
ステップＳ２８０で（１１）式が満足される場合、本処理はステップＳ２９０に進む。ステップＳ２９０において、ボディ駆動制御装置２１４のＣＰＵ２２２は、（１２）式のように、最新フレームからｖフレーム前まで時間積算された焦点検出画素の時間積算データＢ３（ｓ，ｎ，ｖ）を焦点検出用データＢ０（ｓ，ｎ）と決定する。本処理はステップＳ３１０に進む。
Ｂ０（ｓ，ｎ）＝Ｂ３（ｓ，ｎ，ｖ）  ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（１２）
【００５４】
一方ステップＳ２８０で、（１１）式が満足されない場合、本処理はステップＳ３００に進む。ステップＳ３００において、ボディ駆動制御装置２１４のＣＰＵ２２２は、時間積算が１０フレーム前まで行なわれたか否か、すなわち時間積算回数が最大積算回数１０回に達しているか否かをチェックする。時間積算が１０フレーム前まで達していない場合には本処理はステップＳ２６０に戻り、ボディ駆動制御装置２１４のＣＰＵ２２２は、これまで時間積算が行なわれたフレームの１つ前の過去フレームに対して空間積算を行なう。それとともに、ステップＳ２６０、ステップＳ２７０、ステップＳ２８０、ステップＳ３００のループが繰り返される。
【００５５】
ステップＳ３００で時間積算回数が最大積算回数１０回に達していると判定された場合は、ボディ駆動制御装置２１４のＣＰＵ２２２は、ステップＳ２９０で最新フレームから１０フレーム前まで時間積算された焦点検出画素の時間積算データＢ３（ｓ，ｎ，１０）を焦点検出用データＢ０（ｓ，ｎ）と決定する。本処理はステップＳ３１０に進む。
【００５６】
ステップＳ３１０では次回のフレームでの焦点検出演算処理に備えて、最新フレームの焦点検出画素３１１の画素データを内部メモリ２２３に記憶する。本処理は、図８のフローのステップＳ１３０に抜ける。この時焦点検出用データＢ０（ｓ，ｎ）が（１）式の焦点検出用の一対の像信号Ａ１ｎ（Ａ１１，・・・，Ａ１Ｍ：Ｍはデータ数）、Ａ２ｎ（Ａ２１、・・・、Ａ２Ｍ）に読み替えられることになる。
【００５７】
図９に示した処理フローチャートの動作を、データ処理の観点で示したものが図１０、図１１である。図１０、図１１に示すグラフにおいて縦軸がデータ値、横軸はデータ位置（水平方向の位置）である。図１０において、焦点検出画素列Ｌ１から順次焦点検出画素データが空間積算されていくことにより空間積算データが生成される。なお図においては簡潔のため一対の像信号のうち一方（ｓ＝１）のみを代表して示している。図１０は最新フレームの焦点検出画素３１１のデータに対する空間積算処理の様子を示した図である。図１０において、焦点検出画素列Ｌ１の焦点検出画素３１１の画素データの最大値が所定閾値Ｔ１を越えない場合には、順次焦点検出画素列Ｌ２、Ｌ３・・・の焦点検出画素３１１のデータと空間積算され、焦点検出画素列Ｌ８まで焦点検出画素３１１の画素データを空間積算した段階でも空間積算データの最大値が所定閾値Ｔ１を越えない場合には、処理は図１１に示す時間積算処理に進む。複数の焦点検出画素列どうしの空間積算処理は、各焦点検出画素列の水平方向の画素位置が同じｎ番目の焦点検出画素どうしが積算される。それらの積算される焦点検出画素は互いに垂直方向に隣接した位置に配置されている。
【００５８】
図１１に示すように、最新フレームの空間積算データの最大値が所定閾値Ｔ１を越えない場合には順次１フレーム前、２フレーム前・・・の空間積算データが最新フレームから過去に向かって最大１０フレーム前まで時間積算される。空間積算データを時間積算した時間積算データの最大値が所定閾値Ｔ１を越えた段階で時間積算は終了する。
【００５９】
図１２は、図８で示した動作フローチャートの動作をタイミングチャートで表わした図である。図１２において、撮像素子２１２から一定のフレームレート（例えば１／６０秒）で撮像画素および焦点検出画素の画素データが読み出される。図１２において、第（Ｎ−１）フレームから第（Ｎ＋２）フレームまでの４フレームが例示されている。代表として第Ｎフレームの動作を説明する。まず撮像素子２１２から第（Ｎ−１）フレームにおいて第Ｎフレーム用に電荷蓄積された画像データ（撮像画素３１０の画素データおよび焦点検出画素３１１の画素データ）が読み出される。それとともに、撮像素子２１２において第（Ｎ＋１）フレーム用の電荷蓄積が始まる。画像データの読出しが終了すると、読み出された撮像画素３１０の画素データに基づいてライブビュー表示画像が更新される。また第Ｎフレームの焦点検出画素３１１の画素データと第（Ｎ−１）フレームの生成時点で記憶された第（Ｎ−１）フレーム以前の焦点検出画素３１１の画素データ（信号）に基づいて焦点検出が行なわれ、第Ｎフレーム生成時点におけるデフォーカス量が算出される。デフォーカス量が算出されると、該デフォーカス量に応じて焦点調節がなされるとともに、第Ｎフレームの焦点検出画素３１１の画素データ（信号）が内部メモリ２２３に記憶される。以上の動作が毎フレーム繰り返される。
【００６０】
以上の説明においては、図４のように焦点検出画素列Ｌ１〜Ｌ８の８列に複数の焦点検出画素３１１が水平方向に配置され、空間積算は垂直方向の焦点検出画素３１１の画素データが最大７回まで積算されているが、これに限定されることなく焦点検出画素列Ｌｐを８列以上配置することができる。その場合には空間積算回数の上限（最大積算回数）は、垂直方向の空間積算による像の高周波成分の低下による焦点検出精度の低下を来さないように、実験的に決めることができる。例えば図４のように焦点検出画素３１１が１行おきに配置されており、かつ画素ピッチがＰａの場合、次式（１３）を満たすように空間積算回数Ｎの上限Ｎｍａｘを決定することができる。
Ｎ≦Ｎｍａｘ＝Ｃａ／（２・Ｐａ）  ・・・（１３）
【００６１】
ここで定数Ｃａは実験的に定められ、予定焦点面上において焦点検出精度を維持できる最低空間周波数により決まる。空間周波数が高いほど焦点検出精度が高くなるので、定数Ｃａは例えば最低空間周波数の逆数として定められる。例えば最低空間周波数が１０本／ｍｍの場合、定数Ｃａは１００μｍとなる。画素ピッチＰａが５μｍとすれば、焦点検出画素の間隔はその２倍の１０μｍなので、（１３）式にしたがって、Ｎｍａｘ＝１００μｍ／１０μｍ＝１０回となる。また最低空間周波数を焦点検出精度に影響を与える撮影要因、例えば像の動き量、カメラのブレ量、撮影レンズの絞り値、被写界の輝度、カメラの撮影モード（静止被写体撮影モード／移動被写体撮影モードの別）などに応じて変更することにより、焦点検出に適した臨機応変な空間積算回数Ｎの上限Ｎｍａｘの設定が可能になる。
【００６２】
以上の説明においては、内部メモリに各フレームの焦点検出画素のデータがそのまま記憶されるとして説明を行なった。しかし、最新フレーム以外の焦点検出画素のデータは空間積算されてから焦点検出用データの生成に用いられるので、内部メモリに記憶する段階の前に焦点検出画素のデータ空間積算（８列分）を行なってから、空間積算データを内部メモリに記憶するようにしてもよい。例えば図１２において、各フレームの記憶信号更新処理の際に各フレームの焦点検出画素のデータを空間積算（８列分）し、空間積算されたデータ（第Ｎフレームにおいては第Ｎフレームの空間積算データ）が内部メモリに記憶される。次のフレームにおいては内部メモリに記憶された過去のフレームの空間積算データが焦点検出に用いられる。このようにすれば、過去のフレームの焦点検出画素のデータを焦点検出処理の際に毎回空間積算する必要がなくなるので、演算時間を短縮できるとともに、内部メモリの容量も節約することができる。
【００６３】
以上の説明では、空間積算処理においては垂直方向に１行ずつ焦点検出画素のデ−タを加算しながら、また時間積算処理においては過去に向かって１フレームずつ過去の空間積算データを積算しながら、積算後のデータの最大値が所定閾値を越えているか否かをチェックして積算処理の継続の要否を決定している。このような処理は、焦点検出画素列毎に異なる被写体パターンが焦点検出画素上に形成される場合や、被写界の明るさがフレーム間に急変する場合に対応可能であるという利点がある。また以上のような積算処理の制御においては積算データの最大値以外にも積算データの平均値やコントラスト値（最大値と最小値との差）などのデータ特性を表す評価値を用いることができる。
【００６４】
また空間積算を行なう焦点検出画素間の空間的距離が小さい場合（図４の場合、焦点検出画素列Ｌ１からＬ８まで空間積算した場合でも、空間的には垂直方向に最大１４画素しか離れていないことになる）には空間積算する焦点検出画素がほぼ同一の被写体パターンを受光していると仮定しても大きな誤りは生じない。また図９のステップＳ３００のように最大時間積算回数を１０回程度に設定すれば、１フレームあたり１／６０秒としても１０回の時間積算時にも１／６秒間の時間積算となるので、フレーム間の明るさ変動がなく一様だと仮定しても大きな誤りは生じない。
【００６５】
このように空間的一様性および時間的一様性を仮定すれば、図９の処理をさらに図１３のように簡潔にすることが可能である。なお内部メモリには各フレームの記憶信号更新処理の際に各フレームの焦点検出画素のデータが空間積算された空間積算データ、すなわち第ｖフレームの空間積算データＢ２（ｓ、ｎ、ｖ）が記憶されているとする。
【００６６】
ステップＳ４００では、ボディ駆動制御装置２１４のＣＰＵ２２２は、焦点検出画素のデータの最大値が所定閾値Ｔ１を越えているか否か（（３）式を満足しているか）をチェックする。
【００６７】
ステップＳ４００で、（３）式を満足した場合、本処理はステップＳ４１０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、（４）式のように焦点検出画素列Ｌ１に配列された焦点検出画素のデータを焦点検出用データと決定する。本処理はステップＳ４５０に進む。
【００６８】
一方ステップＳ４００で、（７）式を満足しない場合、本処理はステップＳ４２０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、所定閾値Ｔ１を焦点検出画素のデータの最大値Ｍａｘ（Ｂ（ｓ，ｎ，１））で割った値の整数部Ｎｓが最大空間積算回数８以下であるか否か（（１４）式を満足しているか否か）をチェックする。
Ｎｓ＜８  ・・・（１４）
【００６９】
ステップＳ４２０で、（１４）式を満足した場合、本処理はステップＳ４３０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、（１５）式のように焦点検出画素３１１のデータを（Ｎｓ＋１）番目の焦点検出画素列Ｌ（Ｎｓ＋１）まで空間積算しする。ボディ駆動制御装置２１４のＣＰＵ２２２は、ステップＳ４４０で空間積算データＢ１（ｓ，ｎ，Ｎｓ＋１）を焦点検出用データＢ０（ｓ，ｎ）と決定する。本処理はステップＳ４５０に進む。なお（１５）式において、Σ演算は変数ｍ＝１〜Ｎｓ＋１で行なわれる。
Ｂ０（ｓ，ｎ）＝Ｂ１（ｓ，ｎ，Ｎｓ＋１）＝ΣＢ（ｓ，ｎ，ｍ）  
ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（１５）
【００７０】
ステップＳ４５０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、内部メモリに格納するための空間積算データＢ４（ｓ，ｎ）を（１６）式により計算する。本処理は、ステップＳ５１０に進む。なお（１６）式において、Σ演算は変数ｍ＝１〜８で行なわれる。
Ｂ４（ｓ，ｎ）＝Ｂ１（ｓ，ｎ，８）＝ΣＢ（ｓ，ｎ，ｍ）  
ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（１６）
【００７１】
一方ステップＳ４２０で、（１４）式を満足しない場合、本処理はステップＳ４６０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、所定閾値Ｔ１を焦点検出画素のデータの最大値Ｍａｘ（Ｂ（ｓ，ｎ，１））の８倍で割った値の整数部Ｎｔが１０以上か否か（（１７）式を満足しているか否か）をチェックする。
Ｎｔ＞１０・・・（１７）
【００７２】
ステップＳ４６０で（１７）式を満足した場合、本処理はステップＳ４７０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、Ｎｔを１０と決定する。本処理はステップＳ４８０に進む。ステップＳ４６０で（１７）式を満足しない場合、本処理はそのままステップＳ４８０に進む。
【００７３】
ステップＳ４８０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、ステップＳ４５０と同じように（１６）式により最新フレームの焦点検出画素のデータを焦点検出画素列Ｌ１からＬ８まで空間積算して最新フレームの空間積算データＢ２（ｓ，ｎ，０）を算出する。
【００７４】
ステップＳ４９０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、最新フレーム（第Ｎａフレームとする）の空間積算データＢ２（ｓ，ｎ，０）と、内部メモリに記憶されているＮｔフレーム前までの空間積算データＢ２（ｓ，ｎ，１）〜Ｂ２（ｓ，ｎ，Ｎｔ）とを用い（１８）式のように時間積算データＢ３（ｓ，ｎ，Ｎｔ）を算出する。ステップＳ５００で、ボディ駆動制御装置２１４のＣＰＵ２２２は、時間積算データＢ３（ｓ，ｎ，Ｎｔ）を焦点検出用データＢ０（ｓ，ｎ）と決定する。本処理はステップＳ５１０に進む。なお（１８）式において、Σ演算は変数ｍ＝０〜Ｎｔで行なわれる。
Ｂ０（ｓ，ｎ）＝Ｂ３（ｓ，ｎ，Ｎｔ）＝ΣＢ２（ｓ，ｎ，ｍ）
ｓ＝１，２  ｎ＝１〜Ｎ  ・・・（１８）
【００７５】
ステップＳ５１０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、次回のフレームでの焦点検出演算処理に備えて、最新フレームの空間積算データを内部メモリに記憶する。本処理は、図８のフローのステップＳ１３０に抜ける。
【００７６】
図１３の処理フローでは空間積算回数および時間積算回数を処理の最初の段階で決定しており、図９のフローと比較してループ処理毎の判定処理がないので処理時間の短縮を図ることができるとともに、フレーム毎に空間積算データを記憶するので内部メモリ容量を減少することができる。
【００７７】
さらにフレーム毎に各フレームの空間積算データを内部メモリに記憶する代わりに、フレーム毎に１０フレーム前までの時間積算データを計算し、該時間積算データを内部メモリに記憶するようにしてもよい。
【００７８】
すなわち図１２の各フレームの記憶信号更新処理の際に、最新フレームの空間積算データを１つ前のフレームに記憶された１０フレーム分の時間積算データに対して時間積算して更新記憶する。これにより、内部メモリに記憶された時間積算データは、最新フレームからｖフレーム前までの時間積算データとなる。このようにして内部メモリに記憶された時間積算データを焦点検出用データとして利用する場合の様子を図１１に対応して図１４で示す。最新フレームにおいて内部メモリには、１フレーム前の時間積算データ（空間積算データ）、１フレーム前から２フレーム前までの時間積算データ、１フレーム前から３フレーム前までの積算データ・・・（Ｂ２（ｓ，ｎ，１）、Ｂ２（ｓ，ｎ，１）＋Ｂ２（ｓ，ｎ，２）、Ｂ２（ｓ，ｎ，１）＋Ｂ２（ｓ，ｎ，２）＋Ｂ２（ｓ，ｎ，３）、・・・）が記録されている。最新フレームからＮｔフレーム前までの時間積算した時間積算データＢ３（ｓ，ｎ，Ｎｔ）が必要な場合は、最新フレームの空間積算データＢ２（ｓ，ｎ，０）と１フレーム前からＮｔフレーム前までの時間積算データ（Ｂ２（ｓ，ｎ，１）＋Ｂ２（ｓ，ｎ，２）＋Ｂ２（ｓ，ｎ，３）＋・・・＋Ｂ２（ｓ，ｎ，Ｎｔ））とを直接時間積算すればよい。
【００７９】
このようにすれば、焦点検出に用いる時間積算データの算出の際に内部メモリから１フレーム前からＮｔフレーム前までの時間積算が完了した時間積算データを読み出すだけでいいので、焦点検出演算の処理速度が向上する。また時間積算データの演算および内部メモリの更新記憶をＣＰＵとは別途設けられた専用の演算回路を用いて行なうことにより、さらなる処理速度の向上を図ることができる。
【００８０】
上述した第１の実施の形態における焦点検出装置を含む撮像装置としてのデジタルスチルカメラ２０１は、撮像素子（イメージセンサ）２１２とボディ駆動制御装置２１４とを含む。
【００８１】
撮像素子２１２には、複数の焦点検出画素列Ｌ１〜Ｌ８が互いに並置される。複数の焦点検出画素列Ｌ１〜Ｌ８は各焦点検出画素列Ｌｐで構成される。各焦点検出画素列Ｌｐは、水平方向に配列される複数の焦点検出画素３１１から成る。各焦点検出画素列Ｌｐを構成する複数の焦点検出画素３１１は、水平方向に配列され、交換レンズ２０２の射出瞳９０のうちの複数の焦点検出画素３１１の並び方向である水平方向と平行に並ぶ一対の測距瞳９３および９４を通る一対の焦点検出光束７３および７４を受光する。撮像素子２１２は、各焦点検出画素列Ｌｐが光電変換により一対の焦点検出光束７３および７４による一対の像に対応する一対の像信号Ａ１ｎおよびＡ２ｎを所定フレーム間隔毎に繰り返し出力する。
【００８２】
ボディ駆動制御装置２１４は、各焦点検出画素列Ｌｐが一対の像信号Ａ１ｎおよびＡ２ｎを所定フレーム間隔毎に繰り返し出力するたびに、複数の焦点検出画素列Ｌ１〜Ｌ８のうちの焦点検出画素列Ｌ１とそれに隣接する１つまたは複数の焦点検出画素列とが出力する一対の像信号Ａ１ｎおよびＡ２ｎをそれぞれ積算することによって、空間積算データＢ２（ｓ，ｎ，ｖ）を算出する。
【００８３】
ボディ駆動制御装置２１４は、各焦点検出画素列Ｌｐが一対の像信号Ａ１ｎおよびＡ２ｎを所定フレーム間隔毎に繰り返し出力するたびに空間積算データＢ２（ｓ，ｎ，ｖ）が算出されて得られる最新フレームからｖフレーム前までの空間積算データＢ２（ｓ，ｎ，ｖ）を積算することによって、時間積算データＢ３（ｓ，ｎ，ｖ）を算出する。
【００８４】
ボディ駆動制御装置２１４は、空間積算データＢ２（ｓ，ｎ，ｖ）と時間積算データＢ３（ｓ，ｎ，ｖ）とのうちのいずれか一方に基づいて交換レンズ２０２の焦点状態を検出する。
【００８５】
以上のような構成を有する本発明の第１の実施形態の焦点検出装置を含む撮像装置としてのデジタルスチルカメラ２０１では、焦点検出用データの生成において、空間積算（近接する複数の焦点検出画素のデータの積算）が優先され、空間積算のみでは焦点検出用データの有効性（最大値、平均値、またはコントラスト値が所定閾値以上）が確保できない場合に、時間積算（同一の焦点検出画素の過去フレームのデータとの積算）が行なわれる。そのため、時間積算に伴う不具合、例えば被写体像の時間変化や移動に伴う焦点検出精度の悪化を最低限のレベルに押さえ込むことができ、低輝度または低コントラスト時にも快適な自動焦点調節を行なえる。
【００８６】
＜第２の実施の形態＞
第１の実施の形態においては、焦点検出画素のデータを積算する場合に常に空間積算を時間積算に対して優先していた。第２の実施形態においては、被写体の移動や手ブレなどの状況に応じて空間積算と時間積算を好適に組み合わせることにより、本発明の効果を奏するものである。
【００８７】
第２の実施形態の構成は第１の実施形態と同じであり、大まかな動作フローも同じ（図８）であり、焦点検出用データの生成処理の部分が異なる。なお内部メモリには最新フレームから１０フレーム前までの１０フレーム分の各フレームの焦点検出画素のデータ（焦点検出画素列Ｌ１〜Ｌ８）が更新記憶されているとする。
【００８８】
第２の実施形態の図８のステップＳ１２０における焦点検出画素のデータに基づく焦点検出用データの生成の詳細について図１５の処理フローチャートを用いて説明する。
【００８９】
ステップＳ６００では、ボディ駆動制御装置２１４のＣＰＵ２２２は、焦点検出画素のデータ（図３の焦点検出画素列Ｌ１に配列された焦点検出画素３１１のデータ）の最大値が所定閾値Ｔ１を越えているか否か（（３）式を満足しているか）をチェックする。
【００９０】
ステップＳ６００で、（３）式を満足した場合、本処理はステップＳ６１０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、（４）式のように焦点検出画素列Ｌ１に配列された焦点検出画素のデータを焦点検出用データと決定する。本処理はステップＳ６８０に進む。
【００９１】
一方ステップＳ６００で、（３）式を満足しない場合、本処理はステップＳ６２０に進み、ボディ駆動制御装置２１４のＣＰＵ２２２は、所定閾値Ｔ１を焦点検出画素のデータの最大値Ｍａｘ（Ｂ（ｓ，ｎ，１））で割った値の整数部＋１を総合的な積算回数Ｐとして算出する。
【００９２】
ステップＳ６３０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、最新フレームの画像データ（撮像画素のデータ）と１フレーム前の画像データに基づき周知の手法によりフレーム間の動きベクトルを求め、動きベクトルの絶対値を取ってフレーム間の動き量Ｍｖを算出する。なお１フレーム前の画像データはバッファメモリまたは内部メモリに残されているものとする。
【００９３】
ステップＳ６４０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、積算回数Ｐと動き量Ｍｖとに基づき、空間積算回数Ｐｓと時間積算回数Ｐｔとを決定する。この処理の詳細については後述する。
【００９４】
ステップＳ６５０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、空間積算回数Ｐｓに基づき、最新フレームから（Ｐｔ―１）フレーム前までの焦点検出画素データ（焦点検出画素列Ｌ１からＬ（Ｐｓ）までの焦点検出画素データ）を空間積算して、Ｐｔフレーム分の空間積算データを算出する。
【００９５】
ステップＳ６６０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、Ｐｔフレーム分の空間積算データをさらに時間積算して最新フレームから（Ｐｔ−１）フレーム前までの時間積算データを算出する。
【００９６】
ステップ６７０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、時間積算データを焦点検出用データと決定する。本処理は、ステップＳ６８０に進む。
【００９７】
ステップＳ６８０では、ボディ駆動制御装置２１４のＣＰＵ２２２は、次回のフレームでの焦点検出演算処理に備えて、最新フレームの焦点検出画素のデータを内部メモリに記憶する。本処理は、図８のフローのステップＳ１３０に抜ける。
【００９８】
図１６は図１５のステップＳ６４０における空間積算回数Ｐｓと時間積算回数Ｐｔとを決定する処理の詳細を説明するためのグラフである。
【００９９】
図１６において横軸は空間積算回数を表わす変数Ｐｘ、縦軸は時間積算回数を表わす変数Ｐｙである。空間積算回数を表わす変数Ｐｘは焦点検出画素列Ｌ１〜Ｌ８が８列であることから、１≦Ｐｘ≦８に制限される。また時間積算回数Ｐｔは内部メモリには１０フレーム前までのデータが更新記憶されるので最新のフレームと合わせて最大１１フレームまでしか時間積算できない。つまり、１≦Ｐｔ≦１１に制限される。従って空間積算回数Ｐｘと時間積算回数Ｐｙとの組み合わせは図１６の斜線部の領域に囲まれた領域（許容範囲）に制限される。
【０１００】
空間積算回数Ｐｘと時間積算回数Ｐｙとの積が総合的な積算回数Ｐである。すなわちＰ＝Ｐｘ・Ｐｙである。このように互いに関数の関係にあるＰｘおよびＰｙを積算回数Ｐの値に応じて決定することができる。図１６に、Ｐ＝８８、Ｐ０、１（１＜Ｐ０＜８８）の場合の例を示す。
【０１０１】
一方動き量Ｍｖに基づいて関数Ｐｙ＝Ｋ・Ｐｘが決定される。ここで係数Ｋ＝Ｄ／Ｍｖであり、焦点検出画素列間のピッチＤ（例えば焦点検出画素列Ｌ１と隣接する焦点検出画素列Ｌ２との間の垂直方向の間隔）と動き量Ｍｖとの比である。即ちピッチＤに対して動き量Ｍｖが大きい場合には、時間積算による像のボケ量が増大（コントラストが減少）し、空間積算による像のボケ量の増大（コントラストの減少）の影響を上回るとして、時間積算回数Ｐｙを抑えるように係数Ｋが小さくなる。
【０１０２】
一方ピッチＤに対して動き量Ｍｖが小さい場合には、空間積算による像のボケ量が増大（コントラストが減少）し、時間積算による像のボケ量の増大（コントラストの減少）の影響を上回るとして、空間積算回数Ｐｘを抑えるように係数Ｋが大きくなる。図１６に係数Ｋが大きい場合（Ｋ＝Ｋ０）と小さい場合（Ｋ＝Ｋ１）とを示している。
【０１０３】
例えば総合的な積算回数がＰ０であり、動き量Ｍｖに応じた係数がＫ０である場合には、関数Ｐｘ・Ｐｙ＝Ｐ０と関数Ｐｙ＝Ｋ０・Ｐｘとの交点を求める。交点座標（Ｐｘ０，Ｐｙ０）が図１６のように許容範囲内である場合には、交点座標（Ｐｘ０，Ｐｙ０）に対して最近接するとともに許容範囲内である整数の交点座標（Ｐｘｓ，Ｐｙｔ）を求め、空間積算回数をＰｓ＝Ｐｘｓとし、時間積算回数をＰｔ＝Ｐｘｔとする。
【０１０４】
また総合的な積算回数がＰ０であり、動き量Ｍｖに応じた係数がＫ１である場合には、関数Ｐｘ・Ｐｙ＝Ｐ０と関数とＰｙ＝Ｋ１・Ｐｘの交点座標（Ｐｘ１，Ｐｙ１）が許容範囲外になる。このような場合には交点座標（Ｐｘ１，Ｐｙ１）から関数Ｐｘ・Ｐｙ＝Ｐ０に沿って許容範囲の方向に座標を移動した時に許容範囲内に入った時の座標（図１６の場合は（８，Ｐ０／８））に対して最近接するとともに許容範囲内である整数の交点座標（Ｐｘｓ，Ｐｙｔ）を求め、空間積算回数をＰｓ＝Ｐｘｓとし、時間積算回数をＰｔ＝Ｐｙｔとする。
【０１０５】
以上まとめると、空間積算回数と時間積算回数との積が一定（Ｐ０）という条件の下で、時間積算回数および空間積算回数の値が動き量に反比例した係数Ｋの値となるように、空間積算回数および時間積算回数を決定することになる。空間積算回数と時間積算回数との積である一定値Ｐ０は、焦点検出用データのデータ特性を表す評価値（最大値、平均値、またはコントラスト値など）が、第１の実施の形態で用いられた所定閾値Ｔ１を越えるように定められる。空間積算回数Ｐｘおよび時間積算回数Ｐｙは、空間積算回数Ｐｘよりも時間積算回数Ｐｙの方が小さくなるように、かつ空間積算回数Ｐｘと時間積算回数Ｐｙとの積がその一定値Ｐ０に略等しくなるように定められる。
【０１０６】
図１６においては係数ＫをピッチＤと動き量Ｍｖとの比で定義しているが、動き量Ｍｖの複数フレームに亘る平均値をＭｖ１として、ピッチＤと動き量Ｍｖ１との比（Ｋ＝Ｄ／Ｍｖ１）で定義するようにしてもよい。さらに動きベクトルの垂直方向の動き量をＭｖ２として、係数ＫをピッチＤと動き量Ｍｖ２との比（Ｋ＝Ｄ／Ｍｖ２）で定義するようにしてもよい。さらに動きベクトルの水平方向の動き量をＭｖ３として、係数ＫをピッチＤと動き量Ｍｖ３との比（Ｋ＝Ｄ／Ｍｖ３）で定義するようにしてもよい。
【０１０７】
また動きベクトルの方向が水平に近づくほど、時間積算が焦点検出精度に与える影響は空間積算が焦点検出精度に与える影響に比較して大きくなるので、係数Ｋを垂直方向の動き量Ｍｖ２と水平方向の動き量Ｍｖ３の比（Ｋ＝Ｍｖ２／Ｍｖ３）で定義するようにしてもよい。
【０１０８】
また動き量の検出はフレーム間の画像の動きベクトルの検出に限定されず、専用の動き検出装置を設けても良い。例えばボディ内に加速度センサを設け、加速度センサの出力をフレーム間隔に応じて時間積分することにより、１フレーム中のカメラの動き（画像ブレ）を検出するものであってもよい。
【０１０９】
さらに上記係数Ｋは動き量に応じた値であることに限定されず、時間積算および空間積算に関連して焦点検出精度に影響を与える何らかの要因に応じた値であっても構わない。例えば像の水平方向の高周波数成分は時間積算により低減する可能性が高く、これに伴って焦点検出精度も低下するので、画像処理により像の水平方向の高周波数成分の量を求め、該高周波数成分の量に反比例した値として上述した係数Ｋを定義するようにしてもよい。
【０１１０】
またデフォーカス量が大きい場合は高周波数成分がボケにより小さくなっているので、該焦点検出時のデフォーカス量に比例した値として上述した係数Ｋを定義するようにしてもよい。
【０１１１】
その他係数Ｋを焦点検出精度に影響を与える撮影要因、例えばレンズ駆動速度、撮影レンズの絞り値、被写界の輝度、カメラの撮影モード（静止被写体撮影モードまたは移動被写体撮影モードの別）などに応じて変更することにより、焦点検出に適した臨機応変な空間積算回数と時間積算回数の設定が可能になる。
【０１１２】
以上本発明の第２の実施形態では焦点検出用データの生成において、空間積算回数（近接する複数の焦点検出画素のデータの積算回数）と時間積算回数（同一の焦点検出画素の過去フレームのデータとの積算回数）とを、データ特性を表す評価値（最大値、平均値、またはコントラスト値など）に応じて決定した総合的な積算回数が達成できるように、空間積算および時間積算によって生じる像のボケ（コントラスト低下）が出来る限り小さくなるように像の動き量などに基づいて決定する。したがって、データ積算に伴う不具合（コントラスト低下に伴う焦点検出精度の悪化）を最低限のレベルに押さえ込むことができ、低輝度または低コントラスト時にも快適な自動焦点調節を行なえる。
【０１１３】
図４に示す撮像素子２１２において、１画素に１対の光電変換部を備えた焦点検出画素３１１が配列されているが、１画素に１つの光電変換部（一対の光電変換部の一方）を備える第１の焦点検出画素と１画素に１つの光電変換部（一対の光電変換部の他方）を備える第２の焦点検出画素を交互に配列するような構成であってもよい。
【０１１４】
上述した実施形態においては、図４に示す撮像素子２１２に配置される焦点検出画素列Ｌ１の焦点検出画素３１１の画素データと、焦点検出画素列Ｌ１に近接する順に１つまたは複数の焦点検出画素列Ｌ２〜Ｌｐの焦点検出画素３１１の画素データとを空間積算する。図４に示す撮像素子２１２において、焦点検出画素列Ｌ２〜Ｌ８は、いずれも焦点検出画素列Ｌ１よりも下側に位置している。しかし、図１７に示すように、焦点検出画素列Ｌ１の下側に近接する順に焦点検出画素列Ｌ２、Ｌ４、Ｌ６、Ｌ８が配置され、焦点検出画素列Ｌ１の上側に近接する順に焦点検出画素列Ｌ３、Ｌ５、Ｌ７が配置される撮像素子２１２であってもよい。この場合であっても、焦点検出画素列Ｌ１に近接する順、すなわち焦点検出画素列Ｌ２〜Ｌ８の順に空間積算が行なわれる。
【０１１５】
上述した実施形態においては、図４に示す撮像素子２１２に配置される焦点検出画素列Ｌ１の焦点検出画素３１１の画素データと、焦点検出画素列Ｌ１に近接する順に１つまたは複数の焦点検出画素列Ｌ２〜Ｌｐの焦点検出画素３１１の画素データとを空間積算する。このとき、（５）式に示すように、水平方向の並び順に付された変数ｎが同一の位置に配置されている焦点検出画素どうし、すなわち垂直方向に隣接した焦点検出画素３１１どうしの同一種類の光電変換部どうしが出力するデータについて行なわれる空間積算によって、データＢ１（ｓ，ｎ，ｐ）が算出される。
【０１１６】
しかし、（１９）式に示すように、焦点検出画素列Ｌ１に近接する順に空間積算される焦点検出画素列Ｌｐが焦点検出画素列Ｌ１から離れるにつれて、すなわち変数ｐが大きくなるにつれて、水平方向の並び順に付された変数ｎが１つずつシフトした位置に配置されている焦点検出画素どうし、すなわち斜め方向に隣接した焦点検出画素３１１どうしの同一種類の光電変換部どうしが出力するデータについて空間積算が行なわれることとしてもよい。
Ｂ１（ｓ，ｎ，ｐ）＝Ｂ１（ｓ，ｎ，ｐ−１）＋Ｂ（ｓ，ｎ＋ｐ−１，ｐ）
ｓ=１，２  ｎ＝１〜Ｎ  ｐ＝１〜８    ・・・（１９）
【０１１７】
あるいは、（２０）式および（２１）式に示すように、焦点検出画素列Ｌｐが奇数番目の焦点検出画素列であるとき、すなわち変数ｐが奇数であるときと、焦点検出画素列Ｌｐが偶数番目の焦点検出画素列であるとき、すなわち変数ｐが偶数であるときとで、水平方向の並び順に付された変数ｎが１つシフトした位置に配置されている焦点検出画素どうし、すなわち千鳥状に隣接した焦点検出画素３１１どうしの同一種類の光電変換部どうしが出力するデータについて空間積算が行なわれることとしてもよい。
Ｂ１（ｓ，ｎ，ｐ）＝Ｂ１（ｓ，ｎ，ｐ−１）＋Ｂ（ｓ，ｎ，ｐ）
ｓ=１，２  ｎ＝１〜Ｎ  ｐ＝１，３，５，７    ・・・（２０）
Ｂ１（ｓ，ｎ，ｐ）＝Ｂ１（ｓ，ｎ，ｐ−１）＋Ｂ（ｓ，ｎ＋１，ｐ）
ｓ=１，２  ｎ＝１〜Ｎ  ｐ＝２，４，６，８    ・・・（２１）
【０１１８】
上述した実施形態における撮像素子２１２では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ、シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。
【０１１９】
上述した実施形態においては撮像素子上において撮像画素と焦点検出画素が混在している。光路中にミラーを配置して撮像画素のみからなる撮像素子と焦点検出画素のみからなる焦点検出素子（イメージセンサ）に光束を分離するような構成であれば、その焦点検出素子に本発明を適用することができる。
【０１２０】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１２１】
１０  マイクロレンズ、１１，１３，１４  光電変換部、１５  素子分離領域、
７１  撮影光束、７３，７４  焦点検出光束、９０  射出瞳、９１  光軸、
９３，９４  測距瞳、９５  領域、１０１  焦点検出位置、
２０１  デジタルスチルカメラ、２０２  交換レンズ、２０３  カメラボディ、
２０４  マウント部、２０６  レンズ駆動制御装置、
２０８  ズーミング用レンズ、２０９  レンズ、２１０  フォーカシング用レンズ、
２１１  絞り、２１２  撮像素子、２１３  電気接点、２１４  ボディ駆動制御装置、
２１５  液晶表示素子駆動回路、２１６  液晶表示素子、２１７  接眼レンズ、
２１９  メモリカード、２２０  撮像素子制御部、２２１  バッファメモリ、
２２２  ＣＰＵ、２２３  内部メモリ、
３１０  撮像画素、３１１  焦点検出画素
【図１】
2014071290.tif 000003
【図２】
2014071290.tif 000004
【図３】
2014071290.tif 000005
【図４】
2014071290.tif 000006
【図５】
2014071290.tif 000007
【図６】
2014071290.tif 000008
【図７】
2014071290.tif 000009
【図８】
2014071290.tif 000010
【図９】
2014071290.tif 000011
【図１０】
2014071290.tif 000012
【図１１】
2014071290.tif 000013
【図１２】
2014071290.tif 000014
【図１３】
2014071290.tif 000015
【図１４】
2014071290.tif 000016
【図１５】
2014071290.tif 000017
【図１６】
2014071290.tif 000018
【図１７】
2014071290.tif 000019