(57)【要約】【課題】相対的に歪みが生じた一対の物体像に対応する一対のデータ列に対して、正確な相対的な変位量を算出する。【解決手段】複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら第１データ列と第２データ列とを相対的に変位させ、第１データ列と第２データ列の間の相互相関量を演算して相互相関量の極値が得られる第１変位量を算出する第１演算（Ｓ２２０）と、一次元上で変位量を変えながら第１データ列と第１データ列とを相対的に変位させ、第１データ列どうしの自己相関量を演算して自己相関量の極値が得られる第２変位量を算出する第２演算（Ｓ２２０）と、第２変位量に基づいて相互相関量の真の極値を与える第１変位量を選別する第３演算（Ｓ２２１）とを実行する。【選択図】図１２
2010039107.tif 000002
【特許請求の範囲】
【請求項１】
複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら前記第１データ列と前記第２データ列とを相対的に変位させ、前記第１データ列と前記第２データ列の間の相互相関量を演算して相互相関量の極値が得られる第１変位量を算出する第１演算と、
一次元上で変位量を変えながら前記第１データ列と前記第１データ列とを相対的に変位させ、前記第１データ列どうしの自己相関量を演算して自己相関量の極値が得られる第２変位量を算出する第２演算と、
前記第２変位量に基づいて前記相互相関量の真の極値を与える第１変位量を選別する第３演算とを実行することを特徴とする相関演算方法。
【請求項２】
請求項１に記載の相関演算方法において、
前記第３演算は、前記第１変位量の数および変位量どうしの離間量と、前記第２変位量の数および変位量どうしの離間量とに基づいて、前記第１変位量と前記第２変位量の相対関係を算出し、前記自己相関量の真の極値を与える第２変位量に対応する第１変位量を前記相互相関量の真の極値を与える変位量として選別することを特徴とする相関演算方法。
【請求項３】
請求項１に記載の相関演算方法において、
前記第３演算は、前記自己相関量と前記相互相関量との間の相関量を演算して相関量の極値が得られる変位量を算出し、該変位量に最も近い前記第１変位量を前記相互相関量の真の極値を与える変位量として選別することを特徴とする相関演算方法。
【請求項４】
請求項１〜３のいずれか一項に記載の相関演算方法において、
前記第１演算は、前記第１データ列を一次元上の位置ｘの関数Ｆ(ｘ)とし、前記第２データ列を一次元上の位置ｘの関数Ｇ(ｘ)とした場合に、
Ｇ(ｘ)＝(１＋δｘ)・Ｍ・Ｆ(ｘ)  （δとＭは定数）
の関係がある前記第１データ列と前記第２データ列との間の相互相関量を演算可能な相関演算であることを特徴とする相関演算方法。
【請求項５】
請求項１〜４のいずれか一項に記載の相関演算方法により、前記第１データ列と前記第２データ列との間の相互相関量の真の極値を与える変位量を演算する相関演算装置。
【請求項６】
結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対の第１データ列と第２データ列を生成するデータ列生成手段と、
前記第１データ列と前記第２データ列との間の相互相関量の真の極値が得られる変位量を算出する請求項９に記載の相関演算装置と、
前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項７】
請求項６に記載の焦点検出装置を備えることを特徴とする撮像装置。
【請求項８】
請求項１〜４のいずれか一項に記載の相関演算方法をコンピューターに実行させることを特徴とする相関演算プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は相関演算方法、相関演算装置、焦点検出装置、撮像装置および相関演算プログラムに関する。
【背景技術】
【０００２】
相対的に歪みが生じた一対の物体像に対応した一対のデータ列間の相対的な変位量（像ズレ量、シフト量）を算出する焦点検出装置が知られている（例えば、特許文献１参照）。
この装置では、一対のデータ列{Ａ1,Ａ2,Ａ3,・・}、{Ｂ1,Ｂ2,Ｂ3,・・}に対して、シフト量ｋを変えながら一対のデータ列間のデータどうしの乗算を含む相関演算式を用いて相関量Ｃ(k)を算出し、相関量Ｃ(k)の極値を示す一対のデータ列間の変位量を算出している。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００７−３３３７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の焦点検出装置では、相関量Ｃ(k)を算出する相関演算において、相対的に歪みが生じた一対の物体像に対しても相対的な変位量を検出可能な特性を備えているために、もともと異なる一対のデータに対しても高い相関度を示す相関量（偽の相関量）を算出する場合がある。
【課題を解決するための手段】
【０００５】
(１)  請求項１の発明は、複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら第１データ列と第２データ列とを相対的に変位させ、第１データ列と第２データ列の間の相互相関量を演算して相互相関量の極値が得られる第１変位量を算出する第１演算と、一次元上で変位量を変えながら第１データ列と第１データ列とを相対的に変位させ、第１データ列どうしの自己相関量を演算して自己相関量の極値が得られる第２変位量を算出する第２演算と、第２変位量に基づいて相互相関量の真の極値を与える第１変位量を選別する第３演算とを実行する相関演算方法である。
(２)  請求項２の発明は、請求項１に記載の相関演算方法において、第３演算は、第１変位量の数および変位量どうしの離間量と、第２変位量の数および変位量どうしの離間量とに基づいて、第１変位量と第２変位量の相対関係を算出し、自己相関量の真の極値を与える第２変位量に対応する第１変位量を相互相関量の真の極値を与える変位量として選別する。
(３)  請求項３の発明は、請求項１に記載の相関演算方法において、第３演算は、自己相関量と相互相関量との間の相関量を演算して相関量の極値が得られる変位量を算出し、該変位量に最も近い第１変位量を相互相関量の真の極値を与える変位量として選別する。
(４)  請求項４の発明は、請求項１〜３のいずれか一項に記載の相関演算方法において、第１演算は、第１データ列を一次元上の位置ｘの関数Ｆ(ｘ)とし、第２データ列を一次元上の位置ｘの関数Ｇ(ｘ)とした場合に、Ｇ(ｘ)＝(１＋δｘ)・Ｍ・Ｆ(ｘ)  （δとＭは定数）の関係がある第１データ列と第２データ列との間の相互相関量を演算可能な相関演算である。
(５)  請求項５の発明は、請求項１〜４のいずれか一項に記載の相関演算方法により、第１データ列と第２データ列との間の相互相関量の真の極値を与える変位量を演算する相関演算装置である。
(６)  請求項６の発明は、結像光学系を通る一対の光束を受光し、この一対の光束が結像光学系の予定焦点面上に形成する一対の像に対応する一対の第１データ列と第２データ列を生成するデータ列生成手段と、第１データ列と第２データ列との間の相互相関量の真の極値が得られる変位量を算出する請求項９に記載の相関演算装置と、変位量に基づいて結像光学系の焦点調節状態を検出する焦点検出手段とを備える焦点検出装置である。
(７)  請求項７の発明は、請求項６に記載の焦点検出装置を備える撮像装置である。
(８)  請求項８の発明は、請求項１〜４のいずれか一項に記載の相関演算方法をコンピューターに実行させる相関演算プログラムである。
【発明の効果】
【０００６】
本発明によれば、相対的に歪みが生じた一対の物体像に対応する一対の第１データ列と第２データ列に対して相対的な変位量を検出可能な相関演算を用いた場合でも、相互相関量の偽の極値を与える変位量を排除して相互相関量の真の極値を与える変位量を正確に算出することができる。
【発明を実施するための最良の形態】
【０００７】
本発明の一実施の形態としてレンズ交換式デジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００８】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【０００９】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像用画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出用画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１０】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１１】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１２】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１３】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出用画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４はレンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１４】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１５】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１６】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出用画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出用画素が直線的に配列される。
【００１７】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像用画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出用画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。
【００１８】
撮像用画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）とを有している。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像用画素３１０がベイヤー配列されている。
【００１９】
焦点検出用画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とを有しており、光電変換部１３の形状は半円形である。また、焦点検出用画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とを有しており、光電変換部１４の形状は半円形である。焦点検出用画素３１３と焦点検出用画素３１４は垂直方向の焦点検出に用いるものであり、光電変換部１３、１４は画素の上部または下部に配置される。焦点検出用画素３１３と焦点検出用画素３１４は、焦点検出エリア１０１〜１０３において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。
【００２０】
焦点検出用画素３１３、３１４には光量を増大させるために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２１】
焦点検出用の焦点検出用画素３１３、３１４は、撮像用画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出用画素３１３、３１４が、撮像用画素３１０のＢとＧが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
【００２２】
撮像用画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出用画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２３】
図８は撮像用画素３１０の断面図である。撮像用画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２４】
図９(ａ)は焦点検出用画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出用画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出用画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。
【００２５】
図９(ｂ)は焦点検出用画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出用画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出用画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。
【００２６】
図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出用画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出用画素、７３，７４、８３，８４は焦点検出用光束である。
【００２７】
また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。
【００２８】
図１０では、撮影光軸に隣接する４つの焦点検出用画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出用画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出用画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出用画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００２９】
マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出用画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出用画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出用画素における光電変換部の投影方向が決定されている。
【００３０】
光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００３１】
上述した２種類の焦点検出用画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００３２】
図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像用画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出用画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。
【００３３】
ステップ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。
【００３４】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。
【００３５】
ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像用画素３１０および全ての焦点検出用画素３１３，３１４から画像データを読み出す。
【００３６】
ステップ１８０において、焦点検出用画素列の各画素位置の画素データを焦点検出用画素の周囲の撮像用画素のデータに基づいて画素補間する。続くステップ１９０では、撮像用画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。
【００３７】
図１２は、図１１のステップ１３０における焦点検出演算処理の詳細を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ２００からこの焦点検出演算処理（相関演算処理）を開始する。
【００３８】
ステップ２１０において、 焦点検出用画素列から出力される一対のデータ列（α1〜αM、β1〜βM：Ｍはデータ数）に対して（１）式に示すような高周波カットフィルター処理を施し、第１データ列（Ａ1〜ＡN）と第２データ列（Ｂ1〜ＢN）を生成する。これにより、データ列から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、ステップ２１０の処理を省略することもできる。
Ａn＝αn＋２・αn+1＋αn+2，
Ｂn＝βn＋２・βn+1＋βn+2  ・・・（１）
（１）式において、ｎ＝１〜M−２である。
【００３９】
次にステップ２２０において、データ列Ａn、Ｂnに対して以下詳述するような相関演算を施す。データ列Ａn、Ｂnは、理想的には同一データ列を相対的にシフトしたものとなるはずであるが、上述した瞳分割方式の焦点検出用画素で得られる一対のデータ列では、焦点検出用光束のケラレ（口径蝕）により、同一性が崩れる（歪みが生じる）可能性がある。
【００４０】
図１３は、焦点検出用光束のケラレ（口径蝕）を説明するための図である。図において、位置ｘ０（像高０）と位置ｘ１（像高ｈ）にある一対の焦点検出用画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９０において測距瞳領域９３、９４を通過する一対の焦点検出用光束５３，５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９５に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出用画素が受光する一対の焦点検出用光束５３，５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生するため、一対の焦点検出用画素が受光する光量のバランスは崩れない。
【００４１】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出用画素が受光する一対の焦点検出用光束６３，６４は、絞り開口９６によって非対称に口径蝕が発生するために、一対の焦点検出用画素が受光する光量のバランスは崩れてしまう。
【００４２】
図１４は、予定焦点面９２から光軸９１の方向に測距瞳面９０を見た場合の図である。焦点検出用光束６４は絞り開口９６により大きく口径蝕が発生しているのに対し、焦点検出用光束６３は絞り開口９６による口径蝕の発生が少ないことがわかる。
【００４３】
図１５(ａ)、(ｂ)は、図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出用画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出用画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示したものである。焦点検出用光束の口径蝕のバランスがとれている場合には、図１５(ａ)に示すように、一対の像信号４００，４０１は同一の像信号関数が単に横方向にシフトしたものとなっている。これに対し、焦点検出用光束の口径蝕のバランスが崩れている場合には、図１５(ｂ)に示すように、一対の像信号４０２，４０３は同一の信号を相対的にシフトしたものにはならない。
【００４４】
図１５(ｂ)において、互いに歪んだ関係にある像信号４０２、４０３を位置ｘの関数としてＦ(ｘ)、Ｇ(ｘ)で表すと、一般に(２)式に示すように近似できる。すなわち、一方の関数Ｆ(ｘ)に対して、位置ｘに関して低周波なゲイン成分(１＋δ・ｘ)・Ｍを乗じると、もう一方の関数Ｇ(ｘ)になる。
Ｇ(ｘ)＝(１＋δ・ｘ)・Ｍ・Ｆ(ｘ)  ・・・(２)
(２)式において、Ｍは固定のゲイン値であり、δ(＜＜１)は位置ｘに関する一次係数である。
【００４５】
このようなケラレが発生した状態においても、一対の像データ列Ａn、Ｂnに対して正確な像ズレ量を検出できる相関演算として、本出願人は特開２００７−３３３７２０号公報などにおいて(３)式に示すような相関演算を提案している。
Ｃ(k)＝Σ｜Ａi・Ｂi+s+k−Ｂi+k・Ａi+s｜  ・・・(３)
上記(３)式において、ｋは一対の像データ列Ａn、Ｂnの相対的なシフト値であり、Ｃ(k)はシフト値ｋにおける一対の像データ列Ａn、Ｂnの相関度を示す相関量である。また、積算処理(Σ)は、データインデックスｉに対してデータの所定区間に亘って行われる。さらに、パラメータｓ(＝１,２,３,・・)は相関演算の周波数特性などを調整するパラメータである。
【００４６】
シフト値ｋを変化させて(３)式により相関量Ｃ(k)を求めると、一対の像データ列Ａn、Ｂnの相関度が高いシフト値において相関量Ｃ(k)が極小値（理想的には０）を示すので、相関量Ｃ(k)の極小値を示すシフト値を求めることによって、一対の像データ列Ａn、Ｂnの像ズレ量を検出することができる。一般的には(３)式の相関演算処理においてほとんどの場合に問題は発生しないが、(３)式は一対の像データ列Ａn、Ｂnが相対的に歪んでいても像ズレ量を検出できるようにしているために、後述するような特別な場合には逆にもともと異なる関数に対しても高い相関度を算出してしまうおそれがある。
【００４７】
図１６(ａ)、(ｂ)は、上述した誤動作が発生する場合の例であって、横軸を位置ｘとして互いに歪みがない関数Ｆ(ｘ)、Ｇ(ｘ)を示している。関数Ｇ(ｘ)は関数Ｆ(ｘ)を位置ｘの−方向にｘ１だけシフトした関数となっている。関数Ｆ(ｘ)には矩形のピーク波形Ｐ１、Ｐ２、関数Ｇ(ｘ)には矩形のピーク波形Ｑ１、Ｑ２がそれぞれ含まれている。ピーク波形Ｐ１とＱ１、ピーク波形Ｐ２とＱ２が同一の波形で対応関係にあるが、ピーク波形Ｐ２とＱ２、ピーク波形Ｐ１とＱ１とは値が所定倍された異なる波形となっており、ピーク波形Ｐ２(Ｑ２)はピーク波形Ｐ１(Ｑ１)に対し位置ｘの＋方向に(−ｘ１＋ｘ２)だけ離れた位置にある。
【００４８】
関数Ｆ(ｘ)のピーク波形Ｐ１を含む区間Ｗを一方のデータ列とし、関数Ｇ(ｘ)を相対的にシフトしたものをもう一方のデータ列として(３)式の相関演算を適用すると、横軸をシフト値ｋとして算出される相関量Ｃ(k)を示すと図１７(ｂ)に示すグラフとなる。図１７(ｂ)に示すグラフにおいて、相関量Ｃ(k)の落ち込み（極小値）Ｖ１、Ｖ２に対応するシフト値ｋ１、ｋ２が２つのデータの相関度が高いシフト値となる。
【００４９】
落ち込みＶ１に対応するシフト値ｋ１は、図１６(ａ)に示す関数Ｆ(ｘ)のピーク波形Ｐ１と、図１６(ｂ)に示すの関数Ｇ(ｘ)のピーク波形Ｑ１との一致によって得られるシフト値、すなわち区間Ｗにおける関数Ｆ(ｘ)を基準として関数Ｇ(ｘ)をｘ１だけ右側にシフトした場合のシフト値に相当する。
【００５０】
落ち込みＶ２に対応するシフト値ｋ２は、図１６(ａ)に示すの関数Ｆ(ｘ)のピーク波形Ｐ１と、図１６(ｂ)に示すの関数Ｇ(ｘ)のピーク波形Ｑ２との一致によって得られるシフト値、すなわち区間Ｗにおける関数Ｆ(ｘ)を基準として関数Ｇ(ｘ)をｘ２だけ左側にシフトした場合のシフト値に相当する。
【００５１】
落ち込みＶ１、Ｖ２の相関量Ｒ１、Ｒ２はほとんど同じ値となるので、どちらの落ち込みが関数Ｆ(ｘ)とＧ(ｘ)の正しい一致を示す相関量かわからない。落ち込みＶ２に対応するシフト値ｋ２を２つの関数のズレ量として採用した場合には、全く間違った焦点検出結果を算出してしまうことになる。
【００５２】
そこで、一対の像が図１６(ａ)、(ｂ)のような関数の場合に発生する誤動作を防止するために、以下のような対策を講じる。まず、(４)式に示すような自己相関演算処理を行い、真の相関と偽の相関とのシフト値の軸方向における位置関係を判別する。
Ｃ(k)＝Σ｜Ａi−Ａi+k｜  ・・・(４)
(４)式において、ｋは像データ列Ａnと自分自身の像データ列Ａnとの相対的なシフト値であり、Ｃ(k)はシフト値ｋにおける像データ列Ａnの自己相関度を示す相関量である。また、積算処理(Σ)は、データインデックスｉに対してデータの所定区間（区間Ｗに対応）に亘って行われる。
【００５３】
(４)式の自己相関演算においては、データの差分の絶対値を積算する処理を行っているので、波形が完全に一致した場合には相関量が略０になり、波形に不完全に一致した場合、例えば一方の波形にゲインがかかったような場合には、相関量の落ち込みが少なくなる。
【００５４】
図１６(ａ)に示す関数Ｆ(ｘ)のピーク波形Ｐ１を含む区間Ｗを基準として、(４)式の自己相関演算を関数Ｆ(ｘ)に適用すると、横軸をシフト値ｋとして算出される相関量Ｃ(k)を示すと図１７(ａ)に示すグラフとなる。
【００５５】
以上が図１２におけるステップ２２０の処理である。次に、ステップ２３０において、図１７(ａ)、(ｂ)に示す２つの相関グラフから、真の相関を示す落ち込みを以下のように決定する。図１７(ａ)に示すグラフにおいて、相関量Ｃ(k)の落ち込みＵ１、Ｕ２がシフト値０、(−ｋ１＋ｋ２)において発生するが、落ち込みＵ１に対応するシフト値０は、真の自己相関（ピーク波形Ｐ１どうしの相関）による落ち込みであり、その相関量の値Ｅ１も小さな値となる。一方、落ち込みＵ２に対応するシフト値(−ｋ１＋ｋ２)は、偽の自己相関（ピーク波形Ｐ１とＰ２との相関）による落ち込みであり、その相関量の値Ｅ２は値Ｅ１に比較して大きな値となる。
【００５６】
したがって、図１７(ａ)のグラフより、(イ)落ち込みが２箇所(Ｕ１、Ｕ２)あり、(ロ)真の相関を示す落ち込みは２箇所の落ち込みの内の左側の落ち込みであり、右側の落ち込みは偽相関であり、(ハ)落ち込みＵ１とＵ２の離間量が(−ｋ１＋ｋ２)である、という情報が得られる。これらの情報に基づいて図１７(ｂ)に示す略同等な落ち込みＶ１、Ｖ２の中から、２つの落ち込みの信頼性を判定して真の相関を示す落ち込みを選択する。
【００５７】
図１７(ｂ)において、２箇所の落ち込みＶ１とＶ２の離間量が落ち込みＵ１とＵ２の離間量と略一致することにより、落ち込みＶ１、Ｖ２と落ち込みＵ１、Ｕ２の間に対応関係があると判断し、真の落ち込みＵ１に対応する落ち込みＶ１（２箇所の落ち込みの内の左側）を真の相関を示す落ち込みと認定し、偽の落ち込みＵ２に対応する落ち込みＶ２（２箇所の落ち込みの内の右側）を偽の相関を示す落ち込みと認定する。したがって、図１６に示すような場合には、落ち込みＶ１に対応するシフト値ｋ１を真のシフト値として認定する。
【００５８】
以上の説明では図１６(ａ)、(ｂ)に示す２つの関数Ｆ(ｘ)、Ｇ(ｘ)が相対的にシフトした関数であったが、(２)式に示すように、一方の関数Ｆ(ｘ)に対して位置ｘに関して低周波なゲイン成分を乗じた関数を他方の関数Ｇ(ｘ)とした場合においても、(３)式の相関演算の結果は図１７(ｂ)に示すようなグラフとなるので、同様にして真のシフト値を決定することができる。
【００５９】
また、以上の説明においては、相互相関関数の落ち込みが２箇所の場合について説明したが、２箇所以上の場合についても同様な処理により真のシフト値を決定することができる。
【００６０】
ステップ２３０において、相互相関関数のグラフの落ち込みが１箇所の場合には自己相関関数のグラフとの比較処理を行うことは不要で、１箇所の落ち込みに対応するシフト値をそのまま真のシフト値とすればよい。
【００６１】
ステップ２４０において、求めた真のシフト値を以下のようにしてデフォーカス量に変換する。相関演算式(３)で求めた相関量Ｃ(k)のグラフの真のシフト値においては、図１８(ａ)に示すように、一対のデータの相関が高いシフト量（図１８(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が最小（小さいほど相関度が高い）になる。(５)式〜(８)式による３点内挿の手法を用いて連続的な相関量に対する最小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ  ・・・(５)，
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜  ・・・(６)，
Ｄ＝｛Ｃ(ｋj-1)−Ｃ(ｋj+1)｝／２ ・・・(７)，
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-1)−Ｃ(ｋj)｝  ・・・(８)
【００６２】
ステップ２４０では、(５)式で求めたシフト量ｘを用いて被写体像面の予定結像面に対するデフォーカス量ＤＥＦを次式により求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ  ・・・(９)
(９)式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
【００６３】
算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図１８(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。図１８(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。
【００６４】
ステップ２５０で、焦点検出演算処理（相関演算処理）を終了して図１１のステップ１４０へリターンする。
【００６５】
このように、一実施の形態によれば、複数のデータが一次元上に配列された第１データ列Ａnと、複数のデータが一次元上に配列された第２データ列Ｂnとを、一次元上で変位量を変えながら第１データ列Ａnと第２データ列Ｂnとを相対的に変位させ、第１データ列Ａnと第２データ列Ｂnの間の相互相関量を演算して相互相関量の極値（相互相関量の落ち込み）が得られる第１変位量を算出する相互相関演算と、一次元上で変位量を変えながら第１データ列Ａnと第１データ列Ａnとを相対的に変位させ、第１データ列Ａnどうしの自己相関量を演算して自己相関量の極値（自己相関量の落ち込み）が得られる第２変位量を算出する自己相関演算と、第２変位量に基づいて相互相関量の真の極値を与える第１変位量を選別する演算とを実行するようにした。つまり、第１変位量の数および変位量どうしの離間量と、第２変位量の数および変位量どうしの離間量とに基づいて、第１変位量と第２変位量の相対関係を算出し、自己相関量の真の極値を与える第２変位量に対応する第１変位量を相互相関量の真の極値を与える変位量として選別するようにしたので、相対的に歪みが生じた一対の物体像に対応する一対の第１データ列と第２データ列に対して相対的な変位量を検出可能な相関演算を用いた場合でも、相互相関量の偽の極値を与える変位量（偽の相互相関を与える変位量）を排除して相互相関量の真の極値を与える変位量（真の相互相関を与える変位量）を正確に算出することができる。
【００６６】
《発明の他の実施の形態》
上述した一実施の形態では、図１７(ａ)、(ｂ)に示す自己相関グラフと相互相関グラフの複数の落ち込み箇所の位置関係を比較することによって、真の相関の落ち込みを選択するとともに偽の相関の落ち込みを排除する手法を説明したが、自己相関グラフと相互相関グラフの間でさらに相関演算を行うことによって、真の相関の落ち込みを選択することもできる。
【００６７】
図１９は、図１１のステップ１３０における焦点検出演算処理の他の実施の形態を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ３００からこの焦点検出演算処理（相関演算処理）を開始する。ステップ３００〜ステップ３２０の処理は、上述した図１２のステップ３００〜ステップ３２０の処理と同様であり、説明を省略する。図１６(ａ)、(ｂ)に示すような関数に対応した一対のデータ列を仮定した場合には、ステップ３２０を終了した時点で自己相関関数Ｃ１(k)のグラフとして図２０(ａ)が得られ、相互相関関数Ｃ２(k)のグラフとして図２０(ｂ)が得られる。
【００６８】
ステップ３３０では、相互相関関数と自己相関関数の間で相関演算を実行し、演算結果より真の相関を決定する。図２０(ａ)に示す自己相関関数Ｃ１(k)のグラフでは２箇所の落ち込みＵ１、Ｕ２があり、上述したように落ち込みＵ１が真の相関を示し、落ち込みＵ２が偽の相関を示している。
【００６９】
図２０(ｂ)に示す相互相関関数Ｃ２(k)のグラフでは２箇所の落ち込みＶ１、Ｖ２があるが、このグラフからだけではどちらが真の相関でどちらが偽の相関かは識別できない。そこで、相互相関関数Ｃ２(k)の２箇所の落ち込みＶ１、Ｖ２を含む区間Ｗ１を基準区間に設定し、この基準区間Ｗ１の相互相関関数Ｃ２(k)に対して自己相関関数Ｃ１(k)をシフト値ｈだけ相対的シフトすることによって、２つの相関関数の間の相関度を算出する。
【００７０】
Ｃ１(k)に対応するデータ列をＣ１nとし、Ｃ２(k)に対応するデータ列をＣ２nとすれば、上記(３)式と同様な相関演算式(１０)により相関量Ｃ３(h)を求めることができる。
Ｃ３(h)＝Σ｜Ｃ２i・Ｃ１i+s+h−Ｃ１i+h・Ｃ２i+s｜  ・・・(１０)
(１０)式において、ｈは一対のデータ列Ｃ１n、Ｃ２nの相対的なシフト値であり、Ｃ３(h)はシフト値ｈにおける一対のデータ列Ｃ１n、Ｃ２nの相関度を示す相関量である。また、積算処理(Σ)は、データインデックスｉに対してデータの所定区間に亘って行われる。
【００７１】
図２０(ｃ)は、シフト値ｈを順次変化させて求められた相関量Ｃ３(h)であり、３箇所の落ち込みＹ１、Ｙ２、Ｙ３を持つ。落ち込みＹ１は、自己相関関数Ｃ１(k)の落ち込みＵ２部分と相互相関関数Ｃ２(k)の落ち込みＶ１部分の一致による落ち込みであり、その相関量の値Ｓ１は比較的大きな値となる。また、落ち込みＹ３は、自己相関関数Ｃ１(k)の落ち込みＵ１部分と相互相関関数Ｃ２(k)の落ち込みＶ２部分の一致による落ち込みであり、その相関量の値Ｓ３は比較的大きな値となる。
【００７２】
さらに、落ち込みＹ２は、自己相関関数Ｃ１(k)の落ち込みＵ１部分と相互相関関数Ｃ２(k)の落ち込みＶ１部分の一致、および自己相関関数Ｃ１(k)の落ち込みＵ２部分と相互相関関数Ｃ２(k)の落ち込みＶ２部分の一致による落ち込みであり、その相関量の値Ｓ２は他の落ち込みＹ１、Ｙ２の相関量の値Ｓ１、Ｓ３に比較して小さな値となる。
【００７３】
したがって、図２０(ｃ)に示す相関量Ｃ３(h)のグラフにおいて最も小さな相関値を示す落ち込みのシフト値ｈ１を求めれば、その値ｈ１は真の相関を示すシフト値と略等しくなる。このようにして求めたシフト値ｈ１に最も近いシフト値を図２０(ｂ)に示す相関関数Ｃ２(k)より選択し、真のシフト値（図２０(ｂ)に示すシフト値ｋ１）とする。
【００７４】
ステップ３４０とステップ３５０の処理は、上述した図１２のステップ３４０とステップ３５０の処理と同様であり、説明を省略する。
【００７５】
以上のようにして自己相関グラフと相互相関グラフの間でさらに相関演算を行うことによって、相互相関グラフに２箇所以上の落ち込みがある場合でも、真の相関に対応する落ち込みを選択することが可能になる。
【００７６】
このように、他の実施の形態によれば、複数のデータが一次元上に配列された第１データ列Ａnと、複数のデータが一次元上に配列された第２データ列Ｂnとを、一次元上で変位量を変えながら第１データ列Ａnと第２データ列Ｂnとを相対的に変位させ、第１データ列Ａnと第２データ列Ｂnの間の相互相関量を演算して相互相関量の極値（相互相関量の落ち込み）が得られる第１変位量を算出する相互相関演算と、一次元上で変位量を変えながら第１データ列Ａnと第１データ列Ａnとを相対的に変位させ、第１データ列Ａnどうしの自己相関量を演算して自己相関量の極値（自己相関量の落ち込み）が得られる第２変位量を算出する自己相関演算と、自己相関量と相互相関量との間の相関量を演算して相関量の極値が得られる変位量を算出し、該変位量に最も近い第１変位量を相互相関量の真の極値を与える変位量として選別するようにしたので、相対的に歪みが生じた一対の物体像に対応する一対の第１データ列と第２データ列に対して相対的な変位量を検出可能な相関演算を用いた場合でも、相互相関量の偽の極値を与える変位量（偽の相互相関を与える変位量）を排除して相互相関量の真の極値を与える変位量（真の相互相関を与える変位量）を正確に算出することができる。
【００７７】
《一実施の形態の変形例》
撮像素子における焦点検出エリアの配置は図２に示す配置に限定されず、対角線方向や、その他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。
【００７８】
図３に示す撮像素子２１２では、焦点検出用画素３１３、３１４がひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えるようにしてもよい。図２１は、図３に示す撮像素子２１２に対応した撮像素子２１２Ａの部分拡大図であり、焦点検出用画素３１１はひとつの画素内に一対の光電変換部を備える。図に示す焦点検出用画素３１１は、図３に示す焦点検出用画素３１３と焦点検出用画素３１４のペアに相当した機能を果たす。
【００７９】
焦点検出用画素３１１は、図２２に示すようにマイクロレンズ１０と一対の光電変換部１３，１４から構成される。焦点検出用画素３１１には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００８０】
図２３は、図２１に示す撮像素子２１２Ａの焦点検出用画素による瞳分割方式の焦点検出動作を説明するための図である。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０,６０はマイクロレンズ、(５３,５４)、(６３,６４)は焦点検出用画素の対の光電変換部、(７３,７４)、(８３,８４)は焦点検出用光束である。
【００８１】
さらに、９３はマイクロレンズ５０,６０により投影された光電変換部５３,６３の領域であり、以下では測距瞳と呼ぶ。同様に、９４はマイクロレンズ５０,６０により投影された光電変換部５４,６４の領域であり、以下では測距瞳と呼ぶ。図２３では、光軸９１上にある焦点検出用画素（マイクロレンズ５０と一対の光電変換部５３,５４からなる）と、隣接する焦点検出用画素（マイクロレンズ６０と一対の光電変換部６３,６４からなる）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３,９４から各マイクロレンズに到来する光束を受光する。焦点検出用画素の配列方向は一対の測距瞳の並び方向と一致させる。
【００８２】
マイクロレンズ５０,６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３,５４の形状がマイクロレンズ５０,６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３,９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３,６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３,９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出用画素の光電変換部の投影形状（測距瞳９３,９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。
【００８３】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出用光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出用光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出用光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出用光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【００８４】
このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出用光束が焦点検出用画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００８５】
次に、図３に示す撮像素子２１２では撮像用画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３に示す撮像素子２１２では焦点検出用画素３１３、３１４に色フィルターを設けない例を示したが、撮像用画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。
【００８６】
また、上述した一実施の形態の図５、図２２に示す焦点検出用画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出用画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出用画素の光電変換部の形状を楕円や多角形にすることも可能である。
【００８７】
さらに、図３に示す撮像素子２１２では、撮像用画素と焦点検出用画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。
【００８８】
上述した一実施の形態ではマイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、特開２００８−１５１５７に開示された偏光素子による瞳分割型位相差検出方式の焦点検出装置にも適用可能である。
【００８９】
上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。ここで、図２４を参照して再結像瞳分割方式の焦点検出動作を説明する。図２４において、１９１は交換レンズの光軸、１１０，１２０はコンデンサレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。
【００９０】
また、１３２，１３３、１４２，１４３は焦点検出用光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離と、コンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。１９２は、コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域であり、以下では測距瞳と呼ぶ。同様に、１９３は、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域であり、以下では測距瞳と呼ぶ。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割方位相差検出の焦点検出ユニットを構成する。
【００９１】
図２４においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【００９２】
コンデンサレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサ１１６、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１から構成される。
【００９３】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインサンサであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【００９４】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【００９５】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【００９６】
このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【００９７】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【００９８】
また、本発明は、カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。さらに、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用できる。さらにまた、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用できる。
【００９９】
さらに、本発明は、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するものにも適用することができる。
【０１００】
なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。
【図面の簡単な説明】
【０１０１】
【図１】一実施の形態のカメラの構成を示すカメラの横断面図
【図２】交換レンズの撮影画面上における焦点検出位置を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像用画素の正面図
【図５】焦点検出用画素の正面図
【図６】撮像用画素の分光特性を示す図
【図７】焦点検出用画素の分光特性を示す図
【図８】撮像用画素の断面図
【図９】焦点検出用画素の断面図
【図１０】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図
【図１１】一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート
【図１２】図１１のステップ１３０における焦点検出演算処理の詳細を示すフローチャート
【図１３】焦点検出用光束のケラレ（口径蝕）を説明するための図
【図１４】予定焦点面から光軸の方向に測距瞳面を見た場合の図
【図１５】図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出用画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出用画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示す図
【図１６】互いに異なる二つのデータ列に対して高い相関度を算出する誤動作を説明するための図
【図１７】互いに異なる二つのデータ列に対する一実施の形態の相関演算方法を説明するための図
【図１８】焦点検出結果の信頼性判定方法を説明するための図
【図１９】図１１のステップ１３０における焦点検出演算処理の他の実施の形態を示すフローチャート
【図２０】互いに異なる二つのデータ列に対する他の実施の形態の相関演算方法を説明するための図
【図２１】変形例の撮像素子の部分拡大図
【図２２】図２１に示す変形例の撮像素子に配列される焦点検出用画素の正面図
【図２３】図２１に示す変形例の撮像素子の焦点検出用画素による瞳分割方式の焦点検出動作を説明するための図
【図２４】再結像瞳分割方式の焦点検出動作を説明するための図
【符号の説明】
【０１０２】
２０１；デジタルスチルカメラ、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４；ボディ駆動制御装置
【図１】
2010039107.tif 000003
【図２】
2010039107.tif 000004
【図３】
2010039107.tif 000005
【図４】
2010039107.tif 000006
【図５】
2010039107.tif 000007
【図６】
2010039107.tif 000008
【図７】
2010039107.tif 000009
【図８】
2010039107.tif 000010
【図９】
2010039107.tif 000011
【図１０】
2010039107.tif 000012
【図１１】
2010039107.tif 000013
【図１２】
2010039107.tif 000014
【図１３】
2010039107.tif 000015
【図１４】
2010039107.tif 000016
【図１５】
2010039107.tif 000017
【図１６】
2010039107.tif 000018
【図１７】
2010039107.tif 000019
【図１８】
2010039107.tif 000020
【図１９】
2010039107.tif 000021
【図２０】
2010039107.tif 000022
【図２１】
2010039107.tif 000023
【図２２】
2010039107.tif 000024
【図２３】
2010039107.tif 000025
【図２４】
2010039107.tif 000026