(57)【要約】【課題】一対の信号データ列の相関関係を正確に検出する。【解決手段】複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算方法において、第１信号データ列に含まれるＤＣ成分と第２信号データ列に含まれるＤＣ成分との信号レベルを揃える第１処理と、第１信号データ列に含まれるＡＣ成分と第２信号データ列に含まれるＡＣ成分との信号レベルを揃える第２処理との少なくとも一方が施された第１信号データ列と第２信号データ列の相関度を演算する相関度演算処理を実行する。【選択図】図１４
2008122835.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算方法であって、
前記第１信号データ列に含まれるＤＣ成分と前記第２信号データ列に含まれるＤＣ成分との信号レベルを揃える第１処理と、前記第１信号データ列に含まれるＡＣ成分と前記第２信号データ列に含まれるＡＣ成分との信号レベルを揃える第２処理との少なくとも一方が施された前記第１信号データ列と前記第２信号データ列の相関度を演算する相関度演算処理を実行することを特徴とする相関演算方法。
【請求項２】
請求項１に記載の相関演算方法において、
前記相関度演算処理は、前記第１および第２処理の少なくとも一方が施された前記第１信号データ列と第２信号データ列とを相対的に所定量ずらした状態で、前記第１信号データと前記第２信号データ列とに属する互いに対応する位置のデータどうしを比較演算し、該比較演算の結果の絶対値を、前記位置が対応するデータを変更しながら積算して積算量を求めるとともに、前記相対的にずらす所定量を変更しながら前記積算量を求め、該積算量の極値が得られる前記所定量に基づいて前記第１信号データ列と第２信号データ列との相対的なずれ量を求めることにより前記相関度を求めることを特徴とする相関演算方法。
【請求項３】
請求項１または請求項２に記載の相関演算方法において、
前記第１処理は、前記第１信号データ列のそれぞれのデータから前記複数の第１信号データの平均値を差し引いた第３信号データからなる第３信号データ列と、前記第２信号データ列のそれぞれのデータから前記複数の第２信号データの平均値を差し引いた第４信号データからなる第４信号データ列とを生成し、
前記第２処理は、前記第１信号データの絶対値の総和値に応じて前記第１信号データ列を規格化した、あるいは前記第３信号データの絶対値の総和値に応じて前記第３信号データ列を規格化した第５信号データ列と、前記第２信号データの絶対値の総和値に応じて前記第２信号データ列を規格化した、あるいは前記第４信号データの絶対値の総和値に応じて前記第４信号データ列を規格化した第６信号データ列とを生成し、
前記相関度演算処理は、前記第５信号データ列と前記第６信号データ列との相関度を演算することを特徴とする相関演算方法。
【請求項４】
請求項３に記載の相関演算方法において、
前記相関度演算処理は、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データとの差分の絶対値の総和値に応じて、前記第５信号データ列と前記第６信号データ列との相関度を演算することを特徴とする相関演算方法。
【請求項５】
請求項３に記載の相関演算方法において、
前記相関度検出処理は、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データの近傍のデータとを乗算して第１演算データを生成する第１情報生成処理と、
前記第６信号データ列中の前記第２データと、前記第５信号データ列の前記第１データの近傍のデータとを乗算して第２演算データを生成する第２情報生成処理とを行い、
前記第１演算データと前記第２演算データとの相関度を演算することを特徴とする相関演算方法。
【請求項６】
請求項３〜５のいずれか１項に記載の相関演算方法において、
前記相関度検出処理は、前記第５信号データ列と前記第６信号データ列をデータ列の方向に相対的にずらし、各ずらし位置において相関度検出処理を行うことを特徴とする相関演算方法。
【請求項７】
複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算装置であって、
前記第１信号データ列に含まれるＤＣ成分と前記第２信号データ列に含まれるＤＣ成分との信号レベルを揃える第１処理と、前記第１信号データ列に含まれるＡＣ成分と前記第２信号データ列に含まれるＡＣ成分との信号レベルを揃える第２処理との少なくとも一方が施された前記第１信号データ列と前記第２信号データ列の相関度を演算する相関度演算手段を備えることを特徴とする相関演算装置。
【請求項８】
複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算装置であって、
前記第１信号データ列のそれぞれのデータから前記複数の第１信号データの平均値を差し引いた第３信号データからなる第３信号データ列と、前記第２信号データ列のそれぞれのデータから前記複数の第２信号データの平均値を差し引いた第４信号データからなる第４信号データ列とを生成する平均値減算手段と、
前記第１信号データの絶対値の総和値に応じて前記第１信号データ列を規格化した、あるいは前記第３信号データの絶対値の総和値に応じて前記第３信号データ列を規格化した第５信号データ列と、前記第２信号データの絶対値の総和値に応じて前記第２信号データ列を規格化した、あるいは前記第４信号データの絶対値の総和値に応じて前記第４信号データ列を規格化した第６信号データ列とを生成する規格化手段と、
前記第５信号データ列と前記第６信号データ列との相関度を演算する相関度演算手段とを備えることを特徴とする相関演算装置。
【請求項９】
請求項８に記載の相関演算装置において、
前記相関度演算手段は、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データとの差分の絶対値の総和値に応じて、前記第５信号データ列と前記第６信号データ列との相関度を演算することを特徴とする相関演算装置。
【請求項１０】
請求項８に記載の相関演算装置において、
前記相関度検出手段は、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データの近傍のデータとを乗算して第１演算データを生成する第１情報生成手段と、
前記第６信号データ列中の前記第２データと、前記第５信号データ列の前記第１データの近傍のデータとを乗算して第２演算データを生成する第２情報生成手段とを備え、
前記第１演算データと前記第２演算データとの相関度を演算することを特徴とする相関演算装置。
【請求項１１】
撮影光学系の一対の瞳領域を通過した光束を焦点検出光学系を介して受光し、一対の被写体像信号を出力する光電変換手段と、
前記光電変換手段から出力される前記一対の被写体像信号に対して、請求項１〜５のいずれか１項に記載の相関演算方法を用いて前記一対の被写体像信号の像ズレ量を検出する像ズレ検出手段とを備え、
前記像ズレ量に基づいて前記撮影光学系の焦点調節状態を検出することを特徴とする焦点検出装置。
【請求項１２】
請求項１１に記載の焦点検出装置において、
前記焦点検出光学系は、前記光電変換手段の画素ごとに設置されるマイクロレンズであることを特徴とする焦点検出装置。
【請求項１３】
請求項１１に記載の焦点検出装置において、
前記焦点検出光学系は、前記撮影光学系の予定焦点面に結像された被写体像を前記光電変換手段上に再結像する再結像光学系であることを特徴とする焦点検出装置。
【請求項１４】
請求項１１〜１３のいずれか１項に記載の焦点検出装置を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の信号データ列の相関関係を演算する相関演算方法と相関演算装置、およびそれらを用いた焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
対象物体の光像をそれぞれ一対の光電変換素子アレイ上に形成し、それらの光電変換素子アレイから出力される一対の電気信号データ列の相関を演算する装置が知られている。例えば、撮影光学系の射出瞳面の異なる領域を通過した一対の光束をイメージセンサーで受光し、イメージセンサー上に結像された一対の光像を一対の電気信号データ列に変換し、これらの信号データ列の相関を演算して撮影光学系の焦点調節状態を検出する焦点検出装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開平０４−３３８９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の相関演算方法では、一対の信号データ列Ａ１、Ａ２、・・、ＡＮとＢ１、Ｂ２、・・、ＢＮ（Ｎはデータの個数）の信号値にオフセット差やゲイン差が生じた場合には、両信号データ列の相関関係を正確に検出できなくなるという問題がある。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明は、複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算方法であって、前記第１信号データ列に含まれるＤＣ成分と前記第２信号データ列に含まれるＤＣ成分との信号レベルを揃える第１処理と、前記第１信号データ列に含まれるＡＣ成分と前記第２信号データ列に含まれるＡＣ成分との信号レベルを揃える第２処理との少なくとも一方が施された前記第１信号データ列と前記第２信号データ列の相関度を演算する相関度演算処理を実行する。
（２）  請求項２の相関演算方法は、前記相関度演算処理によって、前記第１および第２処理の少なくとも一方が施された前記第１信号データ列と第２信号データ列とを相対的に所定量ずらした状態で、前記第１信号データと前記第２信号データ列とに属する互いに対応する位置のデータどうしを比較演算し、該比較演算の結果の絶対値を、前記位置が対応するデータを変更しながら積算して積算量を求めるとともに、前記相対的にずらす所定量を変更しながら前記積算量を求め、該積算量の極値が得られる前記所定量に基づいて前記第１信号データ列と第２信号データ列との相対的なずれ量を求めることにより前記相関度を求める。
（３）  請求項３の相関演算方法は、前記第１処理によって、前記第１信号データ列のそれぞれのデータから前記複数の第１信号データの平均値を差し引いた第３信号データからなる第３信号データ列と、前記第２信号データ列のそれぞれのデータから前記複数の第２信号データの平均値を差し引いた第４信号データからなる第４信号データ列とを生成し、前記第２処理によって、前記第１信号データの絶対値の総和値に応じて前記第１信号データ列を規格化した、あるいは前記第３信号データの絶対値の総和値に応じて前記第３信号データ列を規格化した第５信号データ列と、前記第２信号データの絶対値の総和値に応じて前記第２信号データ列を規格化した、あるいは前記第４信号データの絶対値の総和値に応じて前記第４信号データ列を規格化した第６信号データ列とを生成し、前記相関度演算処理によって、前記第５信号データ列と前記第６信号データ列との相関度を演算する。
（４）  請求項４の相関演算方法は、前記相関度演算処理によって、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データとの差分の絶対値の総和値に応じて、前記第５信号データ列と前記第６信号データ列との相関度を演算する。
（５）  請求項５の相関演算方法は、前記相関度検出処理によって、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データの近傍のデータとを乗算して第１演算データを生成する第１情報生成処理と、前記第６信号データ列中の前記第２データと、前記第５信号データ列の前記第１データの近傍のデータとを乗算して第２演算データを生成する第２情報生成処理とを行い、前記第１演算データと前記第２演算データとの相関度を演算する。
（６）  請求項６の相関演算方法は、前記相関度検出処理によって、前記第５信号データ列と前記第６信号データ列をデータ列の方向に相対的にずらし、各ずらし位置において相関度検出処理を行う。
（７）  請求項７の発明は、複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算装置であって、前記第１信号データ列に含まれるＤＣ成分と前記第２信号データ列に含まれるＤＣ成分との信号レベルを揃える第１処理と、前記第１信号データ列に含まれるＡＣ成分と前記第２信号データ列に含まれるＡＣ成分との信号レベルを揃える第２処理との少なくとも一方が施された前記第１信号データ列と前記第２信号データ列の相関度を演算する相関度演算手段を備える。
（８）  請求項８の発明は、複数の第１信号データからなる第１信号データ列と、複数の第２信号データからなる第２信号データ列との相関度を演算する相関演算装置であって、前記第１信号データ列のそれぞれのデータから前記複数の第１信号データの平均値を差し引いた第３信号データからなる第３信号データ列と、前記第２信号データ列のそれぞれのデータから前記複数の第２信号データの平均値を差し引いた第４信号データからなる第４信号データ列とを生成する平均値減算手段と、前記第１信号データの絶対値の総和値に応じて前記第１信号データ列を規格化した、あるいは前記第３信号データの絶対値の総和値に応じて前記第３信号データ列を規格化した第５信号データ列と、前記第２信号データの絶対値の総和値に応じて前記第２信号データ列を規格化した、あるいは前記第４信号データの絶対値の総和値に応じて前記第４信号データ列を規格化した第６信号データ列とを生成する規格化手段と、前記第５信号データ列と前記第６信号データ列との相関度を演算する相関度演算手段とを備える。
（９）  請求項９の相関演算装置は、前記相関度演算手段によって、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データとの差分の絶対値の総和値に応じて、前記第５信号データ列と前記第６信号データ列との相関度を演算する。
（１０）  請求項１０の相関演算装置は、前記相関度検出手段によって、前記第５信号データ列中の第１データと、前記第６信号データ列中の前記第１データに対応する第２データの近傍のデータとを乗算して第１演算データを生成する第１情報生成手段と、前記第６信号データ列中の前記第２データと、前記第５信号データ列の前記第１データの近傍のデータとを乗算して第２演算データを生成する第２情報生成手段とを備え、前記第１演算データと前記第２演算データとの相関度を演算する。
（１１）  請求項１１の発明は、撮影光学系の一対の瞳領域を通過した光束を焦点検出光学系を介して受光し、一対の被写体像信号を出力する光電変換手段と、前記光電変換手段から出力される前記一対の被写体像信号に対して、請求項１〜５のいずれか１項に記載の相関演算方法を用いて前記一対の被写体像信号の像ズレ量を検出する像ズレ検出手段とを備え、前記像ズレ量に基づいて前記撮影光学系の焦点調節状態を検出する。
（１２）  請求項１２の焦点検出装置は、前記焦点検出光学系が前記光電変換手段の画素ごとに設置されるマイクロレンズである。
（１３）  請求項１３の焦点検出装置は、前記焦点検出光学系が、前記撮影光学系の予定焦点面に結像された被写体像を前記光電変換手段上に再結像する再結像光学系である。
（１４）  請求項１４の発明は、請求項１１〜１３のいずれか１項に記載の焦点検出装置を備えた撮像装置である。
【発明の効果】
【０００６】
本発明によれば、例えば一対の焦点検出用光束に対応して出力される信号にオフセット差やゲイン差が生じても、両信号データ列の相関関係を正確に検出することができる。
【発明を実施するための最良の形態】
【０００７】
本願発明を撮像装置としてのディジタルスチルカメラに適用した一実施の形態を説明する。図１は一実施の形態のディジタルスチルカメラの構成を示す図である。一実施の形態のディジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２はカメラボディ２０３のマウント部２０４に装着される。
【０００８】
交換レンズ２０２はレンズ２０５〜２０７、絞り２０８、レンズ駆動制御装置２０９などを備えている。なお、レンズ２０６はズーミング用、レンズ２０７はフォーカシング用である。レンズ駆動制御装置２０９はＣＰＵとその周辺部品を備え、フォーカシング用レンズ２０７と絞り２０８の駆動制御、ズーミング用レンズ２０６、フォーカシング用レンズ２０７および絞り２０８の位置検出、カメラボディ２０３の制御装置との通信によるレンズ情報の送信とカメラ情報の受信などを行う。
【０００９】
一方、カメラボディ２０３は撮像素子２１１、カメラ駆動制御装置２１２、メモリカード２１３、ＬＣＤドライバー２１４、ＬＣＤ２１５、接眼レンズ２１６などを備えている。撮像素子２１１は交換レンズ２０２の予定結像面（予定焦点面）に配置され、交換レンズ２０２により結像された被写体像を撮像して画像信号を出力する。撮像素子２１１には撮像用画素（以下、単に撮像画素という）が二次元状に配置されており、その内の焦点検出位置に対応した部分には撮像画素に代えて焦点検出用画素（以下、単に焦点検出画素という）列が組み込まれている。
【００１０】
カメラ駆動制御装置２１２はＣＰＵとメモリなどの周辺部品を備え、撮像素子２１１の駆動制御、撮像画像の処理、交換レンズ２０２の焦点検出および焦点調節、絞り２０８の制御、ＬＣＤ２１５の表示制御、レンズ駆動制御装置２０９との通信、カメラ全体のシーケンス制御などを行う。なお、カメラ駆動制御装置２１２は、マウント部２０４に設けられた電気接点２１７を介してレンズ駆動制御装置２０９と通信を行う。
【００１１】
メモリカード２１３は撮像画像を記憶する画像ストレージである。ＬＣＤ２１５は液晶ビューファインダー（ＥＶＦ：電子ビューファインダー）の表示器として用いられ、撮影者は接眼レンズ２１６を介してＬＣＤ２１５に表示された撮像画像を視認することができる。
【００１２】
交換レンズ２０２を通過して撮像素子２１１上に結像された被写体像は撮像素子２１１により光電変換され、画像出力がカメラ駆動制御装置２１２へ送られる。カメラ駆動制御装置２１２は、焦点検出画素の出力に基づいて焦点検出位置におけるデフォーカス量を演算し、このデフォーカス量をレンズ駆動制御装置２０９へ送る。また、カメラ駆動制御装置２１２は、撮像画素の出力に基づいて生成した画像信号をＬＣＤドライバー２１４へ送り、ＬＣＤ２１５に表示するとともに、メモリカード２１３に記憶する。
【００１３】
レンズ駆動制御装置２０９は、ズーミングレンズ２０６、フォーカシングレンズ２０７および絞り２０８の位置を検出し、検出位置に基づいてレンズ情報を演算するか、あるいは予め用意されたルックアップテーブルから検出位置に応じたレンズ情報を選択し、カメラ駆動制御装置２１２へ送る。また、レンズ駆動制御装置２０９は、カメラ駆動制御装置２１２から受信したデフォーカス量に基づいてレンズ駆動量を演算し、レンズ駆動量に基づいてフォーカシング用レンズ２０７を駆動制御する。
【００１４】
図２は、交換レンズ２０２の予定結像面に設定した撮像画面Ｇ上の焦点検出領域を示す。撮像画面Ｇ上にＧ１〜Ｇ５の焦点検出領域を設定し、撮像素子２１１の焦点検出画素を撮像画面Ｇ上の各焦点検出領域Ｇ１〜Ｇ５の長手方向に直線状に配列する。つまり、撮像素子２１１上の焦点検出画素列は、撮影画面Ｇ上に結像された被写体像の内の焦点検出領域Ｇ１〜Ｇ５の像をサンプリングする。撮影者は撮影構図に応じて焦点検出領域Ｇ１〜Ｇ５の中から任意の焦点検出領域を手動で選択する。
【００１５】
図３は撮像素子２１１の詳細な構成を示す正面図である。なお、図３は撮像素子２１１上のひとつの焦点検出領域の周囲を拡大した部分拡大図である。撮像素子２１１は撮像画素３１０と焦点検出用の焦点検出画素３１１から構成される。
【００１６】
図４に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１、不図示の色フィルターから構成される。また、図５に示すように、焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３から構成される。撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって明るい交換レンズの射出瞳（たとえばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１１の一対の光電変換部１２、１３は、マイクロレンズ１０によって交換レンズの特定の射出瞳（たとえばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００１７】
２次元状に配置された撮像画素３１０には赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色フィルターが備えられ、各色フィルターは図６に示す分光感度特性を有している。ＲＧＢの色フィルターを備えた撮像画素３１０は、図３に示すようにベイヤー配列される。
【００１８】
一方、焦点検出画素３１１には、光量をかせぐために色フィルターは設けられておらず、その分光感度特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光感度とを総合した図７に示す分光感度特性を有している。焦点検出画素３１１の分光感度は、図６に示す撮像画素３１０の内の緑画素Ｇ、赤画素Ｒ、青画素Ｂの分光感度を加算したような分光感度特性となり、その感度の光波長領域は緑画素Ｇ、赤画素Ｒ、青画素Ｂの感度の光波長領域を包含している。
【００１９】
焦点検出画素３１１は、図２に示す焦点検出領域Ｇ１〜Ｇ５の撮像画素３１０のＢフィルターとＧフィルターが配置されるべき行または列に、直線状に隙間なしに密に配置される。焦点検出画素３１１を撮像画素３１０のＢフィルターとＧフィルターが配置されるべき行または列に配置することによって、画素補間により焦点検出画素３１１の位置の画素信号を算出する場合に、多少誤差が生じても人間の眼には目立たなくすることができる。この理由は、人間の目は青より赤に敏感であることと、緑画素の密度が青画素と赤画素より高いので、緑画素の１画素の欠陥に対する画像劣化への寄与が小さいためである。
【００２０】
なお、上述した補色フィルターの撮像画素を二次元状に展開した撮像素子では、出力誤差が比較的目立たない青成分を含むシアンとマゼンダが配置されるべき画素位置に焦点検出画素３１１を配置する。
【００２１】
図８は撮像画素３１０の断面図である。撮像画素３１０において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成され、不図示の色フィルタはマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２２】
図９は焦点検出画素３１１の断面図である。焦点検出画素３１１において、焦点検出用の光電変換部１２，１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２，１３が前方に投影される。光電変換部１２，１３は半導体回路基板２９上に形成される。
【００２３】
次に、図１０により瞳分割方式による焦点検出方法を説明する。図１０において、交換レンズ２０２の光軸９１上に配置される焦点検出画素３１１のマイクロレンズ５０と、そのマイクロレンズ５０の後方に配置される一対の光電変換部５２，５３、および交換レンズ２０２の光軸９１外に配置される焦点検出画素３１１のマイクロレンズ６０と、そのマイクロレンズ６０の後方に配置される一対の光電変換部６２，６３を例にあげて説明する。交換レンズ２０２の予定結像面に配置したマイクロレンズ５０、６０の前方の距離ｄ４の位置に、交換レンズ２０２の射出瞳９０を設定する。ここで、距離ｄ４は、マイクロレンズ５０、６０の曲率、屈折率、マイクロレンズ５０、６０と光電変換部５２，５３、６２，６３との間の距離などに応じて決まる値であって、この明細書では測距瞳距離と呼ぶ。
【００２４】
マイクロレンズ５０、６０は交換レンズ２０２の予定結像面に配置されており、光軸９１上のマイクロレンズ５０によって一対の光電変換部５２，５３の形状がマイクロレンズ５０から投影距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。一方、光軸９１外のマイクロレンズ６０によって一対の光電変換部６２，６３の形状が投影距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄ４にある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素の投影方向が決定される。
【００２５】
光電変換部５２は、測距瞳９２を通過しマイクロレンズ５０へ向う焦点検出光束７２によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部５３は、測距瞳９３を通過しマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部６２は、測距瞳９２を通過しマイクロレンズ６０へ向う焦点検出光束８２によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。光電変換部６３は、測距瞳９３を通過しマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。なお、焦点検出画素３１１の配列方向は一対の瞳距離の分割方向と一致させる。
【００２６】
このような焦点検出画素を直線状に多数配列し、各画素の一対の光電変換部の出力を測距瞳９２と測距瞳９３に対応した出力グループにまとめることによって、一対の測距瞳９２と９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報を得ることができる。さらに、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量を検出することができる。そして、この像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）を算出することができる。
【００２７】
なお、図１０では、光軸９１上にある第一焦点検出画素（マイクロレンズ５０と一対の光電変換部５２，５３）と隣接する第一焦点検出画素（マイクロレンズ６０と一対の光電変換部６２，６３）を模式的に例示したが、その他の焦点検出画素においても同様に、一対の光電変換部がそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。
【００２８】
図１１は射出瞳面における投影関係を示す正面図である。焦点検出画素３１１から一対の光電変換部１２，１３をマイクロレンズ１０により射出瞳面９０に投影した測距瞳９２，９３の外接円は、結像面から見た場合に所定の開口Ｆ値（以下、測距瞳Ｆ値と呼ぶ。ここではＦ２．８）となる。撮像画素３１０の光電変換部１１をマイクロレンズ１０により射出瞳面９０に投影すると領域９４となり、領域９４は測距瞳９２，９３を包含した広い領域となっている。
【００２９】
図１１において、破線で示す交換レンズ２０２の絞り開口に対応した領域９５の中心と、測距瞳９２，９３の外接円の中心との位置関係は、交換レンズ２０２固有の射出瞳の位置と焦点検出画素の画面上の位置（光軸からの距離）に応じて変化し、必ずしも一致しない。交換レンズ２０２の射出瞳の大きさが測距瞳９２，９３の外接円の大きさよりも小さく、かつ中心が一致しない場合には、一対の測距瞳９２、９３を通過する光束がアンバランスに“ケラレ”ることになり、これらの光束により形成される一対の像の光量が一致せず、歪みが生じる。
【００３０】
図１２は、１つの焦点検出位置における一対の像信号の強度分布（光量）を縦軸に、焦点検出位置内の位置偏差を横軸にとって示した図である。焦点検出位置内の位置偏差とは、例えば図３に示す撮像素子２１１上の１つの焦点検出位置に属する複数の焦点検出画素の位置に相当する。焦点検出光束にケラレが生じていない場合の一対の像信号４００，４０１は、図１２(ａ)に示すように、同一の像信号関数が単に横にシフトしたものとなっている。焦点検出光束にケラレが生ずると、測距瞳を通る焦点検出用光束の量が焦点検出位置および焦点検出位置内での位置偏差によって変化し、一対の像信号４０２，４０３は図１２（ｂ）のようになり、相対的に異なるゲインやオフセットが加わり、同一の信号を相対的にシフトしたものにはならない。
【００３１】
《撮像動作》
図１３は、一実施の形態のディジタルスチルカメラ（撮像装置）２１０の撮像動作を示すフローチャートである。カメラ駆動制御装置２１２は、ステップ１００でカメラの電源が投入されるとこの撮像動作を繰り返し実行する。ステップ１１０において撮像素子２１１から撮像画素３１０のデータを間引き読み出しし、電子ビューファインダーＬＣＤ２１５に表示させる。撮像画素３１０のデータを間引き読み出しする際には、焦点検出画素３１１がなるべく含まれないような設定で間引き読み出しをすることによって、表示品質を向上させることができる。逆に、焦点検出画素３１１を含むように間引き読み出しを行い、電子ビューファインダーＬＣＤ２１５上に焦点検出画素出力を補正せずに表示させることによって、焦点検出位置をユーザーに認識可能に表示することもできる。
【００３２】
ステップ１２０では焦点検出画素列からデータを読み出す。なお、図２に示す焦点検出エリアＧ１〜Ｇ５の中から予めエリア選択操作部材（不図示）により任意のエリアが選択されているので、選択された焦点検出エリアに対応する焦点検出画素列からデータを読み出す。続くステップ１３０において焦点検出画素列に対応した一対の像データに基づいて、後述する像ズレ検出演算処理すなわち相関演算処理を行い、像ズレ量を演算し、さらにデフォーカス量を算出する。ステップ１４０では合焦近傍か否か、つまり算出したデフォーカス量の絶対値が合焦判定基準値以内であるか否かを調べる。
【００３３】
合焦近傍でないと判定した場合はステップ１５０へ進み、算出したデフォーカス量をレンズ駆動制御装置２０９へ送信し、交換レンズ２０２のフォーカシング用レンズ２０７を合焦位置に駆動させ、ステップ１１０へ戻って上記動作を繰り返す。なお、焦点検出不能な場合もこのステップ１５０へ分岐し、レンズ駆動制御装置２０９へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２０７を無限位置と至近位置の間でスキャン駆動させ、ステップ１１０へ戻って上記動作を繰り返す。
【００３４】
一方、合焦近傍であると判定した場合はステップ１６０へ進み、レリーズボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定し、なされていない場合はステップ１１０へ戻って上記動作を繰り返す。シャッターレリーズがなされた場合はステップ１７０へ進み、レンズ駆動制御装置２０９へ絞り調整命令を送信し、交換レンズ２０２の絞り２０８をカメラ駆動制御装置２１２で露出演算により決定した制御Ｆ値、またはユーザーが手動で設定したＦ値に設定する。
【００３５】
絞り制御が終了した時点で、撮像素子２１１に撮像動作を行わせ、撮像素子２１１の撮像画素３１０およびすべての焦点検出画素３１１から画像データを読み出す。ステップ１８０において、焦点検出画素列の各画素位置における画素データを、焦点検出画素３１１のデータおよび周囲の撮像画素３１０のデータに基づいて補間する。ステップ１９０では撮像画素３１０のデータおよび補間された焦点検出画素位置のデータからなる画像データをメモリーカード２１３に保存し、ステップ１１０へ戻って上記動作を繰り返す。
【００３６】
《焦点検出動作》
図１４は、図１３に示す撮像動作の中のステップ１３０の焦点検出動作の詳細を示すフローチャートである。ステップ３００において焦点検出演算処理すなわち相関演算処理を開始し、ステップ３１０で焦点検出画素列から出力される一対の信号データ列（α１〜αＭ、β１〜βＭ：Ｍはデータの個数）に対して下記（１）式に示すような高周波カットフィルター処理を施し、第１信号データ列ａ１〜ａＮと第２信号データ列ｂ１〜ｂＮ（Ｎはデータ個数）を生成し、信号データ列から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去する。
ａｎ＝αｎ＋２×αｎ＋１＋αｎ＋２，
ｂｎ＝βｎ＋２×βｎ＋１＋βｎ＋２  ・・・（１）
（１）式において、ｎ＝１〜Ｎである。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合には、ステップ３１０の高周波カットフィルター処理を省略することができる。
【００３７】
ステップ３２０において、第１信号データ列ａ１〜ａＮと第２信号データ列ｂ１〜ｂＮからそれぞれのデータ列の平均値ａｘ、ｂｘを減じて第３信号データ列ａ’１〜ａ’Ｎと第４信号データ列ｂ’１〜ｂ’Ｎを生成する。
ａｘ＝（Σａｎ）／Ｎ，
ｂｘ＝（Σｂｎ）／Ｎ  ・・・（２）、
ａ’ｎ＝ａｎ−ａｘ，
ｂ’ｎ＝ｂｎ−ｂｘ  ・・・（３）
（２）式、（３）式において、ｎ＝１〜Ｎである。詳細を後述するが、平均値を減ずることによって第１信号データ列と第２信号データ列の間にオフセット差が発生している場合でも、相関演算処理により第３信号データ列と第４信号データ列の高精度な相関検出が可能となる。
【００３８】
ステップ３３０において、第３信号データ列ａ’１〜ａ’Ｎと第４信号データ列ｂ’１〜ｂ’Ｎをそれぞれのデータ列の絶対値の平均値ａｙ、ｂｙで除して第５信号データ列Ａ１〜ＡＮと第６信号データ列Ｂ１〜ＢＮを生成する。
ａｙ＝（Σ｜ａ’ｎ｜）／Ｎ，
ｂｙ＝（Σ｜ｂ’ｎ｜）／Ｎ  ・・・（４）、
Ａｎ＝ａ’ｎ／ａｙ，
Ｂｎ＝ｂ’ｎ／ｂｙ  ・・・（５）
（４）式、（５）式において、ｎ＝１〜Ｎである。詳細を後述するが、絶対値の平均値で除することによって第５信号データ列と第６信号データ列の間のゲインが規格化され、相関演算処理により第５信号データ列と第６信号データ列の高精度な相関検出が可能となる。
【００３９】
ステップ３４０において、ずらし量ｋ（整数）における第５信号データ列Ａ１〜ＡＮと第６信号データ列Ｂ１〜ＢＮとの相関量を演算するために、まず第５信号データ列Ａ１〜ＡＮに対して第６信号データ列Ｂ１〜ＢＮを相対的に所定量ｋだけずらす。ステップ３５０において第５信号データ列のデータとそれに対応する第６信号データ列のデータの差の絶対値を算出する。この演算結果は、第５信号データ列と第６信号データ列の相関度（類似度）を示す量となる。続くステップ３６０で第５信号データ列の位置をずらしながらステップ３５０の処理を繰り返し、ステップ３５０における相関度を示す量の演算結果を累積加算することによって、所定のずらし量ｋにおける相関量Ｃ（ｋ）を算出する。
【００４０】
ステップ３７０においてずらし量ｋを所定範囲で変更しながらステップ３４０〜３６０の処理を繰り返し、ずらし量ｋに関する相関量Ｃ（Ｋ）のデータを算出する。最終的に得られる相関量Ｃ（ｋ）は下記（６）式のように表される。
Ｃ（ｋ）＝Σ｜Ａｎ−Ｂn+k｜  ・・・（６）
（６）式において、Σ演算はｎについて累積される。また、ずらし量ｋは整数であり、一対のデータの検出ピッチを単位とした相対的シフト量である。
【００４１】
ステップ３８０において、（６）式の演算結果は、例えば図１５(ａ)に示すように、一対のデータの相関が高いシフト量ｋ＝ｋj＝２において相関量Ｃ（ｋ）が最小（小さいほど相関度が高い）になる。下記（７）〜（１０）式による３点内挿の手法を用いて連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ  ・・・（７），
Ｃ(ｘ)＝Ｃ(ｋj)−｜Ｄ｜  ・・・（８），
Ｄ＝｛Ｃ(ｋj-１)−Ｃ(ｋj＋１)｝／２  ・・・（９），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj＋１)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝  ・・・（１０）
【００４２】
ステップ３９０では（７）式で求めたシフト量ｘにより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを下記（１１）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ  ・・・（１１）
（１１）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。算出したデフォーカス量ＤＥＦに信頼性があるかどうかは次のようにして判定する。図１５(ｂ)に示すように、一対のデータの相関度が低い場合は内挿された相関量の最小値Ｃ（ｘ）の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出したデフォーカス量ＤＥＦの信頼性は低いとする。
【００４３】
図１５(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(ｋ)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出した像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。ステップ４００において焦点検出演算処理（相関演算処理）を終了してリターンする。
【００４４】
《相関演算》
次に、図１４に示す相関演算処理の実施例を説明する。図１６は一実施の形態の相関演算の思想を説明するための図であり、（ａ）に一方のデータ列、（ｂ）に他方のデータ列を示している。第１信号データ列５０１と第２信号データ列６０１の間には交換レンズ２０２のケラレなどに起因したオフセット差とゲイン差（信号振幅の差）が発生している。第１信号データ列５０１と第２信号データ列６０１に対して直接相関演算を行ってズレ量を求めても、ズレ量の検出精度が低下するとともに、場合によっては検出不能となってしまう。
【００４５】
図１６において、オフセット量は第１信号データ列５０１の平均値ａｘと第２信号データ列６０１の平均値ｂｘとなり、異なる値となっている。オフセットについては、第１信号データ列５０１と第２信号データ列６０１からそれぞれの平均値ａｘ，ｂｘを減じて第３信号データ列５０２と第４信号データ列６０２を生成することによってキャンセルされる。一方、第３信号データ列５０２と第４信号データ列６０２に残存するゲイン差に関しては、第３信号データ列５０２の絶対値の平均値ａｙで第３信号データ列５０２を除して第５信号データ列５０３を生成するとともに、第４信号データ列６０２の絶対値の平均値ｂｙで第４信号データ列６０２を除して第６信号データ列６０３を生成することによってキャンセルされる。
【００４６】
オフセット差とゲイン差がキャンセルされた第５信号データ列５０３と第６信号データ列６０３を相対的にずらしながら相関検出を行い、高い相関が得られるずらし量を求めることによって、オフセット差とゲイン差が生じている第１信号データ列５０１と第２信号データ列６０１の間のズレ量を高精度に検出することが可能になる。第５信号データ列５０３と第６信号データ列６０３の相関演算処理としては種々の演算処理が適用可能であり、以下にその例を説明する。
【００４７】
《相関演算処理例１》
相関量Ｃ(ｋ)を次式により求める。
Ｃ（ｋ）＝Σ｜Ａｎ−Ｂn+k｜  ・・・（１２）
（１２）式は上記（６）式と同じである。（１２）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn、Ｂn+kのデータが存在する範囲に限定される。
【００４８】
ここで、図１７に示すような一対の像信号データ列７０１、８０１に対して相関演算処理例１を実施する場合について考察する。撮像素子２１１から出力される一対の像信号データ列を(ａ１、ａ２、・・、ａＮ)、(ｂ１、ｂ２、・・、ｂＮ)として、ゲイン差２倍、オフセット差２を有する２つの像関数２＊sinω＋３、sinω＋１を設定する。このような一対の像信号データ列７０１、８０１に対し、前述した処理により、オフセット差とゲイン差をキャンセルした信号データ列を生成する。次に、この二つの信号データ列に対して相関演算処理例１を実行した結果を図１８に示す。図から明らかなように、元の二つの信号データ列７０１、８０１がゲイン差およびオフセット差を有しているにも関わらず、相関演算処理例１により高精度な相関（グラフ上の明確に落ち込み）が得られることがわかる。
【００４９】
図１９は、一対の像信号データ列７０１，８０１に対してそのまま相関演算処理例１を実行した結果である。図から明らかなように、二つの信号データ列７０１，８０１がゲイン差およびオフセットを有している場合には、相関グラフの落ち込みが正しいズレ量の位置で発生せず、相関検出が不能になっていることがわかる。
【００５０】
《相関演算処理例２》
相関量Ｃ(ｋ)を次式により求める。
Ｃ（ｋ）＝Σ｜ＭＩＮ（Ａｎ、Ｂn+k）｜  ・・・（１３）
（１３）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn、Ｂn+kのデータが存在する範囲に限定される。またＭＩＮ関数は括弧内のデータの小さいほうを選択する関数である。このような相関演算処理においては、相感度が高い位置において相関量Ｃ(ｋ)はピークとなるので、相関量のピーク位置に基づいてズレ量を検出する。
【００５１】
《相関演算処理例３》
相関量Ｃ(ｋ)を次式により求める。
Ｃ（ｋ）＝Σ｜ＭＡＸ（Ａｎ、Ｂn+k）｜  ・・・（１４）
（１４）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn、Ｂn+kのデータが存在する範囲に限定される。またＭＡＸ関数は括弧内のデータの大きいほうを選択する関数である。このような相関演算処理においては、相感度が高い位置において相関量Ｃ(ｋ)は落ち込むので、相関量の落ち込み位置に基づいてズレ量を検出する。
【００５２】
《相関演算処理例４》
相関量Ｃ(ｋ)を次式により求める。
Ｃ(ｋ)＝Σ｜(Ａn×Ｂn+1+k)−(Ｂn+k×Ａn+1)｜  ・・・（１５）
（１５）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn、Ａn+1、Ｂn+k、Ｂn+1+kのデータが存在する範囲に限定される。図２０に相関演算処理例４のデータフローを示す。この処理例４では、第５信号データ列Ａの中の注目データＡｎと、ずらし量ｋだけずれた第６信号データ列Ｂの中の注目データＡｎに対応するデータＢn+kから１個ずれたデータＢn+1+kとを乗じて第１演算データ(Ａn×Ｂn+k)を求めるとともに、第６信号データ列ＢのデータＢn+kと第１信号データ列Ａの注目データＡｎから１個ずれたデータＡn+1とを乗じて第２演算データ(Ｂn+k×Ａn+1)を求め、第１演算データと第２演算データの差の絶対値の総和により第５信号データ列Ａと第６信号データ列Ｂの相関量Ｃ(ｋ)を演算する。
【００５３】
《相関演算処理例５》
相関量Ｃ(ｋ)を次式により求める。  
Ｃ(ｋ)＝Σ｜(Ａn×Ｂn+2+k)−(Ｂn+k×Ａn+2)｜  ・・・（１６）
（１６）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn、Ａn+2、Ｂn+k、Ｂn+2+kのデータが存在する範囲に限定される。この相関演算処理例５は、（１５）式に示す相関演算処理４よりも演算対象のデータ間隔をより広げた演算としている。この相関演算処理５によれば、相関演算処理４による上述した効果に加え、注目データＡn、Ｂn+kから２個ずれた位置のデータＢn+2+k、Ａn+2を演算対象とし、演算対象のデータ間隔をより広くしているので、信号データ列に含まれる高周波成分やノイズの影響を緩和することができ、耐ノイズ性能が向上する。
【００５４】
《相関演算処理６》
相関量Ｃ(ｋ)を次式により求める。
Ｃ(ｋ)＝Σ｜(Ａn２×Ｂn-1+k×Ｂn+1+k)−(Ｂn+k２×Ａn-1×Ａn+1)｜  ・・・（１７）
（１７）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn-1、Ａn、Ａn+1、Ｂn-1+k、Ｂn+k、Ｂn+1+kのデータが存在する範囲に限定される。
【００５５】
《相関演算処理例７》
相関量Ｃ(ｋ)を次式により求める。
Ｃ(ｋ)＝Σ｜(Ａn２×Ｂn-2+k×Ｂn+2+k)−(Ｂn+k２×Ａn-2×Ａn+2)｜  ・・・（１８）
Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡn-2、Ａn、Ａn+2、Ｂn-2+k、Ｂn+k、Ｂn+2+kのデータが存在する範囲に限定される。この相関演算処理例７は、（１７）式に示す相関演算処理６よりも演算対象のデータ間隔を広げた演算としている。このようにすればゲイン差がデータ列中の位置によって変動する場合においても正確な相関演算結果を算出することが可能になる。
【００５６】
《一実施の形態の変形例》
図３に示す撮像素子２１１では焦点検出画素３１１を隙間なく配列する例を示したが、図２１に焦点検出画素３１１を撮像画素３１０の青画素の位置に１画素おきに一列に配列した撮像素子２１１Ａの例を示す。焦点検出画素３１１の配置間隔が大きくなることによって、焦点検出精度が多少低下するものの焦点検出画素３１１の密度が低くなるので、焦点検出画素３１１の位置の画像信号を補間処理により求めた画像品質が向上する。
【００５７】
図３に示す撮像素子２１１では、図５に示すように焦点検出画素３１１ごとに一対の光電変換部１２，１３を備えた例を示した。図２２に、ひとつの画素内にひとつの光電変換部を備えた焦点検出画素３１３，３１４を示す。焦点検出画素３１３は、図２２(ａ)に示すように、マイクロレンズ１０と光電変換部１６を備えている。また、焦点検出画素３１４は、図２２(ｂ)に示すように、マイクロレンズ１０と光電変換部１７とを備えている。光電変換部１６，１７はマイクロレンズ１０により交換レンズの射出瞳に投影され、図１０に示す測距瞳９２，９３を形成する。したがって、焦点検出画素３１３，３１４により焦点検出の用いる一対の像の出力を得ることができる。
【００５８】
図２３に、図２２(ａ)、(ｂ)に示す焦点検出画素３１３，３１４を交互に一列に配置した撮像素子２１１Ｂの例を示す。隣接する焦点検出画素３１３と焦点検出画素３１４が一対となり、図３に示す撮像素子２１１の焦点検出画素３１１に相当し、焦点検出に用いる一対の像の出力を得ることができる。
【００５９】
図３に示す撮像素子２１１では、図２４(ａ)に示すように、Ｒ、Ｇ、Ｂの各色フィルターを備えた撮像画素３１０をベイヤー配列とした例を示したが、色フィルターの構成や配列は上述した一実施の形態に限定されない。例えば、図２４(ｂ)に示すように、Ｇ（緑）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）を補色配列にしてもよい。この補色フィルターを用いる場合には、焦点検出画素３１１を、出力誤差が比較的目立たない青成分を含むシアンとマゼンタが配置されるべき画素位置に配置する。
【００６０】
図３に示す撮像素子２１１では焦点検出画素３１１に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターのうち、ひとつの色フィルター、例えば緑色フィルターを設けた場合でも、本発明を適用することができる。
【００６１】
図１３に示す撮像動作では、補間処理により焦点検出画素３１１の位置の画像信号を補正した画像データをメモリーカード２１３に格納する例を示したが、補正した画像データを電子ビューファインダー２１５や、ボディの背面に設けられた不図示の背面モニター画面に表示するようにしてもよい。
【００６２】
なお、上述した撮像素子２１１、２１１Ａ、２１１Ｂは、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサーとして形成することができる。
【００６３】
上述した一実施の形態ではマイクロレンズを用いた瞳分割方式による焦点検出を例に上げて説明したが、本願発明の相関演算方法は上述した方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用することができ、上述したような効果を奏することができる。
【００６４】
図２５により、本願発明の実施の形態による相関演算方法を適用した再結像瞳分割方式の焦点検出について説明する。図において、１９１は交換レンズの光軸、１１０，１２０はコンデンサーレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。また、１３２，１３３、１４２，１４３は焦点検出光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。なお、距離ｄ５は、コンデンサーレンズ１１０，１２０の焦点距離とコンデンサーレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３の間の距離などに応じて決まる距離であり、測距瞳距離という。１９２はコンデンサーレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域（測距瞳）、１９３はコンデンサーレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域（測距瞳）である。
【００６５】
コンデンサーレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４，１１５、イメージセンサ１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割型位相差検出の焦点検出ユニットを構成する。図２５では、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットを模式的に例示する。複数の焦点検出ユニットを組み合わせることによって、図２に示す５箇所の焦点検出位置Ｇ１〜Ｇ５において再結像方式の瞳分割型位相差検出で焦点検出を行う焦点検出専用センサーを実現することができる。
【００６６】
コンデンサーレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサーレンズ１１０、その背後に配置されたイメージセンサー１１６、コンデンサーレンズ１１０とイメージセンサー１１６の間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４，１１５、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２，１１３を有する絞りマスク１１１から構成される。イメージセンサー１１６は複数の光電変換部が直線に沿って密に配置されたラインセンサーであって、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。
【００６７】
イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報がイメージセンサー１１６から出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【００６８】
イメージセンサー１１６は再結像レンズ１１４，１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【００６９】
コンデンサーレンズ１１０は絞りマスク１１１の絞り開口１１２，１１３を射出瞳１９０上に領域１９２，１９３として投影している。これらの領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出光束と呼ぶ。
【００７０】
また、本願発明は撮影光学系を通過する光束を瞳分割する方式の焦点検出に限定されず、外光三角測距方式による距離測定にも適用することができ、上述したような効果を奏することができる。図２６により、本願発明の実施の形態による相関演算方法を適用した外光三角測距方式の距離測定について説明する。レンズ３２０とその結像面に配置されたイメージセンサー３２６からなるユニットと、レンズ３３０とその結像面に配置されたイメージセンサー３３６からなるユニットとが基線長を隔てて配置される。これら一対のユニットが測距装置３４７を構成する。測距対象３５０の像がレンズ３２０と３３０によりイメージセンサ３２６と３３６上に形成される。
【００７１】
イメージセンサー３２６と３３６上に形成される像の位置関係は、測距装置３４７から測距対象３５０までの距離に応じて変化する。したがって、イメージセンサー３２６と３３６の信号データに対して本発明を適用した像ズレ検出を行うことによって、２像の相対的位置関係を検出し、この位置関係に基づいて測距対象３５０までの距離を測定することができる。外光三角測距方式においては、レンズ３２０と３３０に汚れや雨滴が付着することによって、一対の信号にレベル差が生じたり歪みが生じたりするので、本願発明の相関演算方法を適用することによって、それらの問題が発生してもイメージセンサー３２６と３３６から出力される一対の像信号信号データ列の相関関係を正確に検出できる。
【００７２】
なお、以上の説明において相関度演算は２つのデータの差の絶対値の和を用いているが、その他の相関演算方式であってもよい。また、元の信号データ列に含まれるオフセット差をキャンセルするために信号データ列から平均値を差し引いているが、平均値を算出する演算は（２）式のようには全信号データの平均を算出してもいいし、（６）、（７）式の相関演算のΣ演算の用いられる範囲（Σ演算でｎのとる範囲）のデータの平均を算出して採用してもよい。さらに、ゲイン差をキャンセルするために信号データ列から平均値を差し引いたデータの絶対値の平均値で、信号データ列から平均値を差し引いたデータを除しているが、絶対値の平均値を算出する演算は（４）式のようには全信号データの平均を算出してもいいし、（６）、（７）式の相関演算のΣ演算の用いられる範囲（Σ演算でｎのとる範囲）のデータの平均を算出して採用してもよい。
【００７３】
また、信号データ列から平均値を差し引いたデータをその絶対値の平均値で除する以外に、絶対値の総和で除してもよい。つまり、ステップ３３０における規格化処理は、第３信号データ列の絶対値の総和（あるいは平均値）および第４信号データ列の総和（あるいは平均値）を演算し、第３信号データ列を第３信号データ列の絶対値の総和（あるいは平均値）で除して第５信号データ列を生成し、第４信号データ列を第４信号データ列の絶対値の総和（あるいは平均値）で除して第６信号データ列を生成する。また、ステップ３２０における平均値減算処理では、信号データ列の平均値を演算し、信号データ列からこの平均値を差し引いているが、信号データ列に１次微分フィルター演算（（１９）式）、２次微分フィルター演算（（２０）式）などの低周波カットフィルター処理を施すことによってＤＣ成分を除去するようにしてもよい。
ａ’n＝ａn−ａn+1、
ｂ’n＝ｂn−ｂn+1、  ただしｎ＝１〜Ｎ  ・・・（１９）
ａ’n＝−ａn＋２×ａn+1−ａn+2、
ｂ’n＝−ｂn＋２×ｂn+1−ｂn+2、  ただしｎ＝１〜Ｎ  ・・・（２０）
いずれにしても上記平均値減算処理の目的は、データ比較積算型相関演算においてＤＣ成分（オフセット）の差が演算結果に悪影響を与えないように、２つの信号データ列間のＤＣ成分を揃える（ＤＣ成分を同等化する）ことであるので、必ずしもＤＣ成分を０にする必要なない。例えば２つの信号データ列からそれぞれ平均値を差し引く代わりに、同じ平均値になるように２つの信号データ列に対し各々所定値を加減算することもできる。
【００７４】
さらに、ステップ３３０における規格化処理では、信号データ列を信号データ列の絶対値の総和（あるいは絶対値の平均値）で除すことによりゲイン差による信号の振幅（ＡＣ成分）を規格化しているが、信号データ列の振幅に関連するパラメータ（例えば最大値と最小値の差など）を算出し、信号データ列をこのパラメータに応じて規格化（除算）することも可能である。また、信号データ列に対し（１９）式、（２０）式のような低周波カットフィルター（高周波パルフィルター）を施した後のデータの絶対値の積算量やデータの振幅（最大値と最小値の差）などのパラメータでもとの信号列データを除することにより、規格化（除算）することも可能である。いずれにしても上記規格化減算処理の目的は、データ比較積算型相関演算においてＡＣ成分の差が演算結果に悪影響を与えないように、２つの信号データ列間のＡＣ成分を揃える（ＡＣ成分を同等化する）ことであるので、２つの信号データ列に対してそれぞれ規格化する必要はなく、一方の信号データ列のＡＣ成分に他方の信号データ列のＡＣ成分が一致するように他方の信号データ列に対し調整演算を行うようにすることもできる。例えば２つの信号データ列に対し低周波カットフィルターを施した後のデータの絶対値の積算量を求め、一方の信号データ列に対し調整パラメータ（＝他方の信号に対する積算量／その信号データ列の積算量）を乗ずるようにしてＡＣ成分を揃えることも可能である。
【００７５】
なお、第１信号データ列と第２信号データ列にオフセット差（ＤＣ成分差）がないか、または微小な場合は、ＤＣ成分同等化処理を省略することができる。また、第１信号データ列と第２信号データ列にゲイン差（ＡＣ成分差）がないか、または微小な場合は、ＡＣ成分同等化処理を省略することができる。さらに、上述した処理ではＤＣ成分を揃える処理の後にＡＣ成分を揃える処理を行っているが、ＡＣ成分を揃える処理の後にＤＣ成分を揃える処理を行うことも可能である。
【００７６】
本願発明の実施の形態による撮像装置は、交換レンズとカメラボディから構成されるデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやフィルムスチルカメラ、あるいはビデオカメラにも適用することができる。また、本願発明は、携帯電話などに内蔵される小型カメラモジュールや監視カメラなどにも適用することができる。さらに、カメラ以外の焦点検出装置や測距装置、あるいはステレオ測距装置にも適用することができる。
【００７７】
本実施の形態は、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用することができる。また、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用することができる。さらに、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するあらゆるものにも適用することができ、上述した効果を奏することができる。
【００７８】
以上説明したように、一実施の形態では、例えば一対の焦点検出用光束のいずれか一方に撮影光学系によるケラレが発生してイメージセンサーから出力される一対の信号データ列に相対的な歪みが発生しても、両信号データ列の相関関係を正確に検出することができる。
【図面の簡単な説明】
【００７９】
【図１】一実施の形態のディジタルスチルカメラの構成を示す図
【図２】交換レンズの予定結像面に設定した撮像画面上の焦点検出領域を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像画素の構成図
【図５】焦点検出画素の構成図
【図６】撮像画素の各色フィルターの分光感度特性を示す図
【図７】焦点検出画素の分光感度特性を示す図
【図８】撮像画素の断面図
【図９】焦点検出画素の断面図
【図１０】瞳分割方式による焦点検出方法を説明する図
【図１１】射出瞳面における投影関係を示す正面図
【図１２】１つの焦点検出位置における一対の像信号の強度分布（光量）を縦軸に、焦点検出位置内の位置偏差を横軸にとって示した図
【図１３】一実施の形態のディジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート
【図１４】図１３に示す撮像動作の中のステップ１３０の焦点検出動作の詳細を示すフローチャート
【図１５】焦点検出演算（相関演算）を説明するための図
【図１６】一実施の形態の相関演算の思想を説明するための図
【図１７】一対の像信号データ列に対して一実施の形態の相関演算処理例１を実施する場合を示す図
【図１８】一対の像信号データ列に対して一実施の形態のオフセット差とゲイン差をキャンセルする処理を施した後に相関演算処理例１を実施した結果を示す図
【図１９】一対の像信号データ列に対して一実施の形態のオフセット差とゲイン差をキャンセルする処理を施さずに相関演算処理例１を実施した場合の結果を示す図
【図２０】相関演算処理例４のデータフローを示す図
【図２１】焦点検出画素を撮像画素の青画素の位置に１画素おきに一列に配列した変形例の撮像素子を示す図
【図２２】ひとつの画素内にひとつの光電変換部を備えた焦点検出画素を示す図
【図２３】図２２(ａ)、(ｂ)に示す焦点検出画素を交互に一列に配置した他の変形例の撮像素子を示す図
【図２４】撮像画素のベイヤー配列と補色配列を示す図
【図２５】本願発明の実施の形態による相関演算方法を適用した再結像瞳分割方式の焦点検出について説明する図
【図２６】本願発明の実施の形態による相関演算方法を適用した外光三角測距方式の距離測定について説明する図
【符号の説明】
【００８０】
２０１  ディジタルスチルカメラ
２０２  交換レンズ
２０９  レンズ駆動制御装置
２１１  撮像素子
２１２  カメラ駆動制御装置
【図１】
2008122835.tif 000003
【図２】
2008122835.tif 000004
【図３】
2008122835.tif 000005
【図４】
2008122835.tif 000006
【図５】
2008122835.tif 000007
【図６】
2008122835.tif 000008
【図７】
2008122835.tif 000009
【図８】
2008122835.tif 000010
【図９】
2008122835.tif 000011
【図１０】
2008122835.tif 000012
【図１１】
2008122835.tif 000013
【図１２】
2008122835.tif 000014
【図１３】
2008122835.tif 000015
【図１４】
2008122835.tif 000016
【図１５】
2008122835.tif 000017
【図１６】
2008122835.tif 000018
【図１７】
2008122835.tif 000019
【図１８】
2008122835.tif 000020
【図１９】
2008122835.tif 000021
【図２０】
2008122835.tif 000022
【図２１】
2008122835.tif 000023
【図２２】
2008122835.tif 000024
【図２３】
2008122835.tif 000025
【図２４】
2008122835.tif 000026
【図２５】
2008122835.tif 000027
【図２６】
2008122835.tif 000028