(57)【特許請求の範囲】
【請求項１】
結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行う第１の信号処理手段と、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行う第２の信号処理手段と、
前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算手段とを有し、
前記演算手段は、
前記撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
前記コントラスト値が前記所定値より低い場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出装置。
【請求項２】
結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行う第１の信号処理手段と、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行う第２の信号処理手段と、
前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算手段とを有し、
前記演算手段は、
前記第１および第２の処理を受けていない前記第１および第２の像信号を用いて前記デフォーカス量の暫定値を演算し、
該暫定値の絶対値が所定値より小さい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
前記暫定値が前記所定値より大きい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出装置。
【請求項３】
結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行う第１の信号処理手段と、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行う第２の信号処理手段と、
前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算手段とを有し、
前記結像光学系は、絞り値が可変である絞りを有しており、
前記演算手段は、
前記絞り値が所定値より大きい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
前記絞り値が前記所定値より小さい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出装置。
【請求項４】
前記撮像手段には、前記第１、第２の画素群のほかに、当該第１、第２の画素群よりも開口の大きい第３の画素群を有することを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
【請求項５】
前記第１、第２の画素群は、ベイヤー配列におけるＢ画素またはＲ画素の位置に配置されていることを特徴とする請求項１乃至４のいずれいか１項に記載の焦点検出装置。
【請求項６】
前記第１、第２の瞳領域は、光電変換部のマイクロレンズに対する開口の位置が起因することを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
【請求項７】
前記第１の処理は、前記第１の像信号と前記第２の像信号との非対称性を緩和する処理であることを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
【請求項８】
前記第２の処理は、デコンボリュ―ション処理であることを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
【請求項９】
前記第２の処理は、線幅を０．２５から１倍の間に線幅を狭くする処理であることを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の焦点検出装置を有し、
前記結像光学系により形成された被写体像を前記撮像手段により光電変換し、該撮像手段からの撮像信号に基づいて画像を生成することを特徴とする撮像装置。
【請求項１１】
結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法であって、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行うステップと、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行うステップと、
前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算ステップとを有し、
前記演算ステップにおいて、
前記撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
前記コントラスト値が前記所定値より低い場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出方法。
【請求項１２】
結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法であって、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行うステップと、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行うステップと、
前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算ステップとを有し、
前記演算ステップにおいて、
前記第１および第２の処理を受けていない前記第１および第２の像信号を用いて前記デフォーカス量の暫定値を演算し、
該暫定値の絶対値が所定値より小さい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
前記暫定値が前記所定値より大きい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出方法。
【請求項１３】
結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法であって、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行うステップと、
前記第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行うステップと、
前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算ステップとを有し、
前記結像光学系は、絞り値が可変である絞りを有しており、
前記演算ステップにおいて、
前記絞り値が所定値より大きい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
前記絞り値が前記所定値より小さい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、結像光学系により形成された光学像を光電変換する撮像素子からの出力信号を用いて、該結像光学系の焦点状態を検出する焦点検出装置およびこれを備えたデジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
結像光学系の焦点状態を検出する焦点検出装置として、各画素にマイクロレンズが形成された２次元イメージセンサ（撮像素子）を用いて、いわゆる瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１にて開示された焦点検出装置では、イメージセンサを構成する各画素の光電変換部が複数に分割され、該分割された光電変換部がマイクロレンズを介して結像光学系の瞳における互いに異なる領域を通過した光束を受光する。
【０００３】
また、特許文献２では、撮像素子の一種であるＣＭＯＳセンサを用いて、瞳分割方式の焦点検出を行う撮像装置が開示されている。特許文献２にて開示された撮像装置では、ＣＭＯＳセンサを構成する多数の画素のうち一部の画素が、撮影光学系（結像光学系）の焦点状態を検出するために光電変換部が２つに分割された構造を有する。光電変換部は、マイクロレンズを介して撮影レンズの瞳における互いに異なる領域を通過した光束を受光する。
【０００４】
瞳分割方式の焦点検出においては、結像光学系の瞳における互いに異なる領域（Ａ瞳領域とＢ瞳領域）を通過した光束により形成されたＡ像とＢ像の光電変換信号に対して相関演算を行うことでＡ像とＢ像の位相差を求める。そして、該位相差に基づいて結像光学系のデフォーカス量を演算する。
【０００５】
Ａ像とＢ像の光電変換信号の相関演算に関して、特許文献３には、特定のフィルタを結像光学系の口径比、射出瞳位置または位相差量に応じて変形し、該変形フィルタを用いて光電変換信号にフィルタ処理を施す方法が開示されている。
【０００６】
ところで、結像光学系の焦点状態を検出する場合、像面（撮影画面）の中央部に位置する被写体のみならず、周辺部に位置する被写体に対しても焦点検出が可能である。しかし、周辺部では結像光学系においてレンズ等の光学素子を保持する部材による光束のケラレによって、Ａ瞳領域とＢ瞳領域とに非対称性が生じる場合がある。この場合、Ａ瞳領域とＢ瞳領域を通過した光束により形成されるＡ像とＢ像の一致度が低くなり、焦点検出精度が低下する。
【０００７】
このようなＡ，Ｂ像の一致度の低下を軽減するため、特許文献４には、Ａ像に対してＢ瞳領域に対応した線像を畳み込み積分し、Ｂ像に対してＡ瞳領域に対応した線像を畳み込み積分することで、ケラレ状態に応じた像修正を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特開２００５−１０６９９４号公報
【特許文献３】特開平５−１２７０７４号公報
【特許文献４】特開２０１０−１１７６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献４にて開示された像修正方法では、各瞳領域の線像の畳み込み積分によって、修正後のＡ，Ｂ像を修正前のＡ，Ｂ像に比べてぼかすことになる。このため、コントラストの低い被写体を撮影する場合や、デフォーカス量が大きい場合や、結像光学系の絞り値が小さい（明るい）場合に、焦点検出精度が低下する可能性がある。
【００１０】
本発明は、コントラスト、デフォーカス量および絞り値に応じて適切な像修復を行い、焦点検出精度を向上させることができるようにした焦点検出装置およびこれを備えた撮像装置を提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての焦点検出装置は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行う第１の信号処理手段と、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行う第２の信号処理手段と、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算手段とを有する。演算手段は、前記撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、コントラスト値が該所定値より低い場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。
【００１２】
また、本発明の他の一側面としての焦点検出装置は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行う第１の信号処理手段と、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行う第２の信号処理手段と、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算手段とを有する。演算手段は、第１および第２の処理を受けていない第１および第２の像信号を用いてデフォーカス量の暫定値を演算し、該暫定値の絶対値が所定値より小さい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、暫定値が該所定値より大きい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。
【００１３】
さらに、本発明の他の一側面としての焦点検出装置は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、第１の像信号および前記第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行う第１の信号処理手段と、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行う第２の信号処理手段と、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算手段とを有する。結像光学系は、絞り値が可変である絞りを有する。演算手段は、絞り値が所定値より大きい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、絞り値が該所定値より小さい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。
【００１４】
なお、上記焦点検出装置を備えた撮像装置も本発明の他の一側面を構成する。
【００１５】
また、本発明の他の一側面である焦点検出方法は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法である。該焦点検出方法は、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行うステップと、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行うステップと、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算ステップとを有する。そして、演算ステップにおいて、撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、コントラスト値が該所定値より低い場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。
【００１６】
また、本発明の他の一側面である焦点検出方法は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法である。該焦点検出方法は、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行うステップと、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行うステップと、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算ステップとを有する。そして、演算ステップにおいて、第１および第２の処理を受けていない第１および第２の像信号を用いてデフォーカス量の暫定値を演算し、該暫定値の絶対値が所定値より小さい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、暫定値が該所定値より大きい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。
【００１７】
また、本発明の他の一側面である焦点検出方法は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法である。該焦点検出方法は、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を広くすることによって滑らかにする第１の処理を行うステップと、第１の像信号および第２の像信号に対して互いに異なる線像分布に対応したフィルタを用いて、該第１の像信号および該第２の像信号の像の線幅を狭くすることによって鮮鋭化する第２の処理を行うステップと、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算ステップとを有する。結像光学系は、絞り値が可変である絞りを有する。そして、演算ステップにおいて、絞り値が所定値より大きい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、絞り値が該所定値より小さい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、第１および第２の画素群により形成された２像に対して、コントラスト、デフォーカス量および絞り値に応じた適切な像修復を行うことができ、この結果、焦点検出精度を向上させることができる。そして、このような精度の高い焦点検出の結果を用いてフォーカシングを行い、さらに撮像を行うことにより、ピントが合った良好な画像を取得することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例１であるカメラの構成を示すブロック図。
【図２】実施例１のカメラに設けられた撮像素子の構成を示す回路図。
【図３】上記撮像素子の画素部の断面図。
【図４】上記撮像素子の駆動タイミングチャート。
【図５】上記撮像素子の撮像用画素の平面図と断面図。
【図６】実施例１における水平瞳分割を行う焦点検出用画素の平面図と断面図。
【図７】実施例１における垂直瞳分割を行う焦点検出用画素の平面図と断面図。
【図８】上記撮像素子による瞳分割を説明する図。
【図９】実施例１のカメラにおいて焦点検出時の取得画像と焦点検出領域を説明する図。
【図１０】実施例１における撮像素子の中央部の焦点検出用画素の入射角度特性を表す模式図。
【図１１】上記焦点検出用画素の入射角度特性を２次元で表す図。
【図１２】実施例１における光束のケラレを説明する図。
【図１３】実施例１における瞳面上での瞳領域を示す図。
【図１４】実施例１における焦点検出用画素の瞳強度分布を示す図。
【図１５】実施例１における撮像素子の中央部の焦点検出用画素の瞳面上でのケラレを示す図。
【図１６】実施例１における撮像素子の中央部の焦点検出用画素の瞳面上での入射光束の瞳強度分布を２次元で表す図。
【図１７】実施例１における撮像素子の中央から像高を持った位置の画素の瞳面上でのケラレを示す図。
【図１８】実施例１における撮像素子の中央から像高を持った位置の画素の瞳面上での入射光束の瞳強度分布を２次元で表す図。
【図１９】実施例１におけるデフォーカス状態にて撮像素子に入射する光線を示す図。
【図２０】実施例１における焦点検出処理を示すフローチャート。
【図２１】実施例１における被写体像の非対称性を説明する図。
【図２２】実施例１における修正像の線幅を広くするフィルタ処理を説明する図。
【図２３】実施例１における第１の処理を示すフローチャート。
【図２４】実施例１における修正像の線幅を狭くするフィルタ処理を説明する図。
【図２５】実施例１における第２の処理を示すフローチャート。
【図２６】本発明の実施例２における焦点検出処理を示すフローチャート。
【図２７】実施例２における第１の処理を示すフローチャート。
【図２８】実施例２における修正像の線幅を狭くするフィルタ処理を説明する図。
【図２９】実施例２における第２の処理を示すフローチャート。
【図３０】本発明の実施例３における焦点検出処理を示すフローチャート。
【発明を実施するための形態】
【００２０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２１】
図１には、本発明の実施例である焦点検出装置を有するデジタルカメラ（撮像装置）の構成を示している。同図において、１０１は結像光学系としての撮影光学系のうち最も物体側に配置され、光軸方向に移動可能な第１レンズ群である。１０２は絞りシャッタであり、その開口径を変化させて（絞り値を可変として）光量調節を行う絞り機能と、静止画撮影時に開閉動作することで露光秒時を制御するシャッタ機能とを備える。
【００２２】
１０３は第２レンズ群である。絞りシャッタ１０２は、第２レンズ群１０３と一体となって光軸方向に移動する。第１レンズ群１０１と第２レンズ群１０２とが光軸方向に移動することで、変倍（ズーム）が行われる。
【００２３】
１０５は第３レンズ群であり、光軸方向に移動して焦点調節を行う。１０６は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳセンサとその周辺回路で構成された撮像素子（撮像手段）である。該撮像素子１０７は、水平方向にｍ個、垂直方向にｎ個の画素（受光素子）を有し、これらの画素に対してベイヤー配列の原色カラーモザイクフィルタが配置されて２次元単板カラーセンサが構成される。
【００２４】
１１１はズームアクチュエータであり、不図示のカム筒を光軸周りで回転させることで、第１レンズ群１０１および第２レンズ群１０２を光軸方向に移動させ、変倍を行わせる。
【００２５】
１１２は絞りシャッタアクチュエータであり、光量調節のために絞りシャッタ１０２の開口径を変化させるよう駆動するとともに、静止画撮影時のシャッタ駆動を行う。１１４はフォーカスアクチュエータで、あり第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。
【００２６】
１１５は電子フラッシュであり、キセノン管やＬＥＤを光源として有する。１１６はＡＦ補助光発光部であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写体に投影する。これにより、暗い被写体あるいは低コントラストの被写体に対するＡＦ性能を向上させることができる。
【００２７】
１２１はコントローラとしてのカメラＣＰＵであり、カメラの種々の動作の制御を司る。カメラＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータおよび通信インターフェイス回路等を有する。カメラＣＰＵ１２１は、ＲＯＭに記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、撮影光学系の焦点状態の検出（焦点検出）を含むＡＦ、撮像、画像処理および記録等の一連の撮影動作を実行させる。カメラＣＰＵ１２１は、演算手段に相当する。
【００２８】
１２２は電子フラッシュ制御回路であり、電子フラッシュ１１５の点灯制御を行う。１２３は補助光駆動回路であり、ＡＦ補助光発光部１１６の点灯制御を行う。１２４は撮像素子駆動回路であり、撮像素子１０７の動作を制御するとともに、該撮像素子１０７から出力された画素信号（撮像信号）をＡ／Ｄ変換してカメラＣＰＵ１２１に送信する。１２５は画像処理回路であり、Ａ／Ｄ変換された撮像信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成し、さらに画像信号に対してＪＰＥＧ圧縮等の処理を行う。
【００２９】
１２６はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。１２８はシャッタ駆動回路であり、絞りシャッタアクチュエータ１１２を駆動して絞りシャッタ１０２を動作させる。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００３０】
１３１はＬＣＤ等の表示器であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像および焦点検出時の合焦状態等を表示する。１３２は操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００３１】
図２には、本実施例における撮像素子１０７の回路構成を示している。なお、同図は２次元ＣＭＯＳセンサのうち２列×４行画素の範囲を示したものである。ＣＭＯＳセンサの画素ピッチは５μｍ、有効画素数は１２００万画素（＝水平４０００画素×垂直３０００画素）であり、これらの画素が配列された有効撮像エリアのサイズは、水平２０ｍｍ×垂直１５ｍｍである。
【００３２】
図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタである。６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量ＣＴＮ、１１は明出力蓄積容量ＣＴＳである。１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。
【００３３】
図３には、撮像素子１０７の画素部の断面構造を示す。同図において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ+ フローティングディフュージョン部（ＦＤ）である。２１のＦＤは別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続してもよい。
【００３４】
次に、図４のタイミングチャートを用いて撮像素子１０７の動作について説明する。このタイミングチャートは、撮像素子１０７を全画素独立読み出し方式で動作させる場合を示す。
【００３５】
垂直走査回路１６からのタイミング出力によって、制御パルスφＬをＨｉｇｈとして垂直出力線をリセットする。また、制御パルスφＲ０，φＰＧ００，φＰＧｅ０をＨｉｇｈとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をＨｉｇｈとしておく。
【００３６】
時刻Ｔ０において、制御パルスφＳ０をＨｉｇｈとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１，第２ラインの画素部を選択する。
【００３７】
次に、制御パルスφＲ０をＬｏｗとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとする。その後、時刻Ｔ１において制御パルスφＴＮをＨｉｇｈとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量ＣＴＮ１０に出力させる。
【００３８】
次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ００をＨｉｇｈとして、転送スイッチＭＯＳトランジスタ３を導通した後、時刻Ｔ２において制御パルスφＰＧ００をローとする。このとき、フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。したがって、完全転送が可能であれば、制御パルスφＴＸはパルスではなく、ある固定電位でもかまわない。
【００３９】
時刻Ｔ２でフォトダイオードの光電変換部１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。このとき、ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、時刻Ｔ３において制御パルスφＴｓをＨｉｇｈとしてＦＤ部２１の電位を蓄積容量ＣＴＳ１１に出力する。この時点で第１ラインの画素の暗出力と明出力はそれぞれ蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積されている。
【００４０】
時刻Ｔ４で、制御パルスφＨＣを一時Ｈｉｇｈとして、水平出力線リセットＭＯＳトランジスタ１３を導通させ、水平出力線をリセットする。これにより、水平転送期間において、水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と明出力とが出力される。このとき、蓄積容量ＣＴＮ１０とＣＴＳ１１の差動増幅器１４によって、差動出力ＶＯＵＴをとれば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また、画素３０−１２，３０−２２の光電荷は、画素３０−１１，３０−２１と同時にそれぞれの蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積される。その読み出しは、水平走査回路１５からのタイミングパルスを１画素分遅らせて水平出力線に読み出し、差動増幅器１４から出力される。
【００４１】
本実施例では、差動出力ＶＯＵＴをチップ内で行う構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。
【００４２】
蓄積容量ＣＴＳ１１に明出力を出力した後、制御パルスφＲ０をＨｉｇｈとして、リセット用ＭＯＳトランジスタ４を導通させ、ＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。第２ラインの読み出しは、制御パルスφＴＸｅ０，制御パルスφＰＧｅ０を同様に駆動し、制御パルスφＴＮ，φＴＳにそれぞれＨｉｇｈパルスを供給して、蓄積容量ＣＴＮ１０とＣＴＳ１１にそれぞれ電荷を蓄積して、暗出力と明出力を取り出す。
【００４３】
以上の駆動により、第１および第２ラインの読み出しをそれぞれ独立に行える。この後、垂直走査回路を走査させ、同様に第２ｎ＋１，第２ｎ＋２（ｎ＝１，２，…）の読み出しを行えば、全画素独立読み出しが行える。すなわち、ｎ＝１の場合は、まず制御パルスφＳ１をＨｉｇｈとし、次にφＲ１をＬｏｗとする。続いて、制御パルスφＴＮ，φＴＸ０１をＨｉｇｈとし、制御パルスφＰＧ０１をＬｏｗとし、制御パルスφＴＳをＨｉｇｈとし、制御パルスφＨＣを一時Ｈｉｇｈとして、画素３０−３１，３０−３２の画素信号を読み出す。
【００４４】
続いて、制御パルスφＴＸｅ１，φＰＧｅ１を上記と同様に印加して、画素３０−４１，３０−４２の画素信号を読み出す。
【００４５】
次に、図５、図６および図７を用いて、撮像素子１０７上に配置された撮像用画素と焦点検出用画素の構造について説明する。本実施例の撮像素子１０７は、２行×２列の４画素における対角２箇所にＧ（緑色）の分光感度を有する画素を配置し、他の２箇所にＲ（赤色）とＢ（青色）の分光感度を有する画素をそれぞれ１個ずつ配置したベイヤー配列を採用する。そして、このようなベイヤー配列により配置された撮像用画素の中に、焦点検出用画素が分散配置されている。
【００４６】
図５には、撮像用画素の平面図と断面図を示す。同図（ａ）は撮像素子１０７の中央に位置する２行×２列の撮像用画素の平面図である。前述したように、対角２箇所に２つのＧ画素が配置され、他の２箇所にＲ画素とＢ画素が配置されている。
【００４７】
図５（ａ）の断面Ａ−Ａを同図（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズであり、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタである。ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図３で説明したＣＭＯＳセンサの光電変換部を模式的に示したものである。ＣＬはＣＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
【００４８】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤとがマイクロレンズＭＬによって共役関係に配置され、さらに光電変換部ＰＤの有効面積が大きく設定されている。なお、図５（ｂ）では、Ｒ画素の構造を示しているが、Ｇ画素およびＢ（Ｂｌｕｅ）画素も同一の構造を有する。したがって、撮像用のＲＧＢ画素に対応した射出瞳ＥＰは大きな径を有し、被写体からの光束を効率良く取り込んで、画像信号のＳ／Ｎを向上させる。
【００４９】
図６には、撮影光学系の瞳をｘ方向に分割するための焦点検出用画素の平面図と断面図を示す。同図（ａ）は、撮像素子１０７の中央に位置する焦点検出用画素を含む２行×２列の４画素の平面図である。
【００５０】
撮像信号を得る場合に、Ｇ画素からの出力は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると、画質劣化が認められやすい。一方、Ｒ画素もしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで、本実施例では、２行×２列の４画素のうち、２つのＧ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に、ある割合で焦点検出用画素を配置している。同図（ａ）において、焦点検出用画素をＳＨＡ，ＳＨＢで示す。
【００５１】
このように撮像素子１０７に分散配置された複数の焦点検出用画素ＳＨＡが第１の画素群に相当し、複数の焦点検出用画素ＳＨＢが第２の画素群に相当する。
【００５２】
図６（ａ）の断面Ｂ−Ｂを同図（ｂ）に示す。マイクロレンズＭＬと光電変換部ＰＤは、図５（ｂ）に示した撮像用画素と同一の構造を有する。
【００５３】
本実施例においては、焦点検出用画素の信号は画像生成には用いられないため、色分離用カラーフィルタの代わりに透明膜（白色膜）ＣＦＷが配置される。
【００５４】
また、ｘ方向の瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏っている。具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは−ｘ方向に偏っているため、焦点検出用画素ＳＨＡの光電変換部ＰＤは、撮影光学系ＴＬの左側（＋ｘ側）の射出瞳領域（第１の瞳領域）ＥＰＨＡを通過した光束を受光する。また、焦点検出用画素ＳＨＢの開口部ＯＰＨＢは＋ｘ方向に偏っているため、焦点検出用画素ＳＨＢの光電変換部ＰＤは、撮影光学系ＴＬの右側（−ｘ側）の射出瞳領域（第２の瞳領域）ＥＰＨＢを通過した光束を受光する。
【００５５】
ｘ方向に規則的に配列された複数の焦点検出用画素ＳＨＡ（第１の画素群）で取得した被写体像をＡ像（第１の像）とする。また、ｘ方向に規則的に配列された複数の焦点検出用画素ＳＨＢ（第２の画素群）で取得した被写体像をＢ像（第２の像）とする。そして、Ａ像とＢ像の相対位置関係（位相差）を検出することで、該位相差に基づいて被写体に対する撮影光学系ＴＬのデフォーカス量を演算することができる。
【００５６】
なお、焦点検出用画素ＳＨＡ，ＳＨＢによって撮影画面のｘ方向に輝度分布を有した被写体、例えばｙ方向の伸びる線に対しては焦点検出が可能であるが、ｙ方向に輝度分布を有する被写体、例えばｘ方向に伸びる線に対しては焦点検出不能である。本実施例では、後者についても焦点検出できるように、撮影光学系ＴＬのｙ方向にも瞳分割を行う焦点検出用画素も備えている。
【００５７】
図７は、撮影光学系の瞳をｙ方向に分割するための焦点検出用画素の平面図と断面図を示す。同図（ａ）は、撮像素子１０７の中央に位置する焦点検出用画素を含む２行×２列の４画素の平面図であり、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に、ある割合で焦点検出用画素を配置している。同図（ａ）において、焦点検出用画素をＳＶＣ，ＳＶＤで示す。このように撮像素子１０７に分散配置された複数の焦点検出用画素ＳＶＣが第１の画素群に相当し、複数の焦点検出用画素ＳＶＤが第２の画素群に相当する。
【００５８】
図６（ａ）の断面Ｃ−Ｃを同図（ｂ）に示す。同図（ｂ）に示した画素はｙ方向に瞳分割を行うが、画素の構造としては図６（ｂ）に示したｘ方向に瞳分割する画素と同じである。
【００５９】
ｙ方向の瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｙ方向に偏っている。具体的には、焦点検出用画素ＳＶＣの開口部ＯＰＶＣは−ｙ方向に偏っているため、焦点検出用画素ＳＶＣの光電変換部ＰＤは、撮影光学系ＴＬの上側（＋ｙ側）の射出瞳領域（第１の瞳領域）ＥＰＶＣを通過した光束を受光する。また、焦点検出用画素ＳＶＤの開口部ＯＰＶＤは＋ｙ方向に偏っているため、焦点検出用画素ＳＶＤの光電変換部ＰＤは、撮影光学系ＴＬの下側（−ｙ側）の射出瞳領域（第２の瞳領域）ＥＰＶＤを通過した光束を受光する。
【００６０】
ｙ方向に規則的に配列された複数の焦点検出用画素ＳＶＣ（第１の画素群）で取得した被写体像をＣ像（第１の像）とする。また、ｙ方向に規則的に配列された複数の焦点検出用画素ＳＶＤ（第２の画素群）で取得した被写体像をＤ像（第２の像）とする。そして、Ｃ像とＤ像の相対位置関係（位相差）を検出することで、該位相差に基づいて被写体に対する撮影光学系ＴＬのデフォーカス量を演算することができる。
【００６１】
図８は、本実施例における撮像素子１０７の瞳分割の様子を示す。ＴＬは撮影光学系、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。
【００６２】
撮像用画素は、撮影光学系ＴＬの射出瞳ＥＰの全域を通過した光束を受光する。一方、焦点検出用画素のうち図６に示した焦点検出用画素ＳＨＡは、射出瞳ＥＰのうち＋ｘ側の瞳領域ＥＰＨＡを通過した光束を受光する。同様に、焦点検出用画素ＳＨＢ，ＳＶＣ，ＳＶＤはそれぞれ射出瞳領域ＥＰＨＢ，ＥＰＶＣ，ＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域にわたって分布させることで、有効撮像エリアの全域で焦点検出が可能となる。
【００６３】
図９は、焦点検出時に取得した画像と焦点検出領域との関係を示している。図９において、撮像素子１０７の有効撮像エリア（撮影画面）上に形成された被写体像には、中央の人物の像と、左側の近距離の樹木の像と、右側の遠距離の山の像とが含まれる。  
【００６４】
そして、本実施例においては、焦点検出用画素は、ｘ方向にて瞳分割を行う焦点検出用画素ＳＨＡ，ＳＨＢと、ｙ方向にて瞳分割を行う焦点検出用画素ＳＶＣ，ＳＶＤが有効撮像エリアの全域にわたって均等な密度で配置されている。そして、ｘ方向でのＡ像とＢ像の位相差を検出する際には、焦点検出用画素ＳＨＡから得られる画素信号と焦点検出用画素ＳＨＢから得られる画素信号とを使用する。また、ｙ方向でのＣ像とＤ像の位相差を検出する際には、焦点検出用画素ＳＶＣから得られる画素信号と焦点検出用画素ＳＶＤから得られる画素信号とを使用する。このため、有効撮像エリアにおける任意の位置において、ｘ方向での位相差検出とｙ方向での位相差検出のための焦点検出領域を設定することができる。
【００６５】
図９においては、画面中央に人物の顔が存在している。そこで、公知の顔認識技術によって顔の存在が検出されると、顔領域を中心にｘ方向での位相差検出のための焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）と、ｙ方向での位相差検出のための焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）とが設定される。添え字のｈはｘ方向に対応し、（ｘ１，ｙ１）と（ｘ３，ｙ３）は焦点検出領域の左上隅の座標を表す。
【００６６】
焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）は３０個のセクションを有し、各セクションに含まれる焦点検出画素ＳＨＡからの画素信号を３０セクションにわたって連結することで、位相差検出用のＡ像信号（第１の像信号）ＡＦＳＩＧｈ（Ａ１）が得られる。同様に、各セクションに含まれる焦点検出画素ＳＨＢからの画素信号を３０セクションにわたって連結することで、位相差検出用のＢ像信号（第２の像信号）ＡＦＳＩＧｈ（Ｂ１）が得られる。
【００６７】
そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）のｘ方向での相対的なずれ量である位相差を相関演算によって求めることにより、該位相差に基づいて撮影光学系のデフォーカス量を求めることができる。
【００６８】
また、焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）においても、同様にして、位相差検出用のＣ像信号（第１の像信号）ＡＦＳＩＧｖ（Ｃ３）とＤ像信号（第２の像信号）ＡＦＳＩＧｖ（Ｄ３）が得られる。そして、Ｃ像信号ＡＦＳＩＧｖ（Ｃ３）とＢ像信号ＡＦＳＩＧｖ（Ｄ３）のｙ方向での相対的なずれ量である位相差を相関演算によって求めることにより、該位相差に基づいて撮影光学系のデフォーカス量を求めることができる。
【００６９】
こうして得られたｘ方向での位相差に基づくデフォーカス量とｙ方向での位相差に基づくデフォーカス量とを比較して、信頼性の高い方のデフォーカス量を用いてＡＦを行う。
【００７０】
一方、画面左側に存在する樹木の幹部は、ｙ方向に伸びており、ｘ方向に輝度分布を有しているため、ｘ方向での位相差検出に適した被写体と判断される。この場合、ｘ方向での位相差検出のための焦点検出領域ＡＦＡＲｈ（ｘ２，ｙ２）が設定される。
【００７１】
また、画面右側の山の稜線部は、ｘ方向に伸びており、ｙ方向に輝度分布を有しているため、ｙ方向での位相差検出に適した被写体と判断される。この場合、ｙ方向での位相差検出のための焦点検出領域ＡＦＡＲｖ（ｘ４，ｙ４）が設定される。
【００７２】
以上のように、本実施例では、ｘ方向とｙ方向での位相差検出のための焦点検出領域が撮影画面の任意の位置に設定可能であるため、被写体像の位置や輝度分布の方向性が様々であっても焦点検出を行うことができる。
【００７３】
焦点検出の原理は、ｘ方向とｙ方向とで方向が異なること以外は同じであるため、以下では、ｘ方向での焦点検出について説明し、ｙ方向での焦点検出についての説明は省略する。
【００７４】
図１０には、撮像素子１０７の中央の焦点検出用画素の入射角度特性を示している。図１０（ａ）は焦点検出用画素ＳＨＡの特性を、図１０（ｂ）は焦点検出用画素ＳＨＢの特性を示している。図１０中のｘ軸とｙ軸はそれぞれ、各画素のｘ方向とｙ方向の入射角度を表している。図１０では、色が濃いほど受光強度が高いことを示す。図６では、焦点検出用画素ＳＨＡが受光する光束が通過する射出瞳領域ＥＰＨＡと、焦点検出用画素ＳＨＢが受光する光束が通過する射出瞳領域ＥＰＨＢとを分離して示した。しかし、実際には、図１０に示すように、開口部ＯＰＨＡと開口部ＯＰＨＢによる回折の影響やＳ／Ｎ比の向上のために、焦点検出用画素ＳＨＡ，ＳＨＢが受光する光束がそれぞれ通過する射出瞳領域は一部が重なっている。
【００７５】
図１１では、焦点検出用画素の入射角度特性を１次元で示している。横軸は入射角度を、縦軸は図１０におけるθｙ方向での受光感度を加算した特性を示している。原点は光軸位置である。図１１に示すように、撮像素子１０７の中央では、焦点検出用画素では、焦点検出用画素ＳＨＡ，ＳＨＢの入射角度特性は光軸に対してほぼ対称となる。
【００７６】
図１２を用いて光束のケラレについて説明する。図１２（ａ）は、撮像素子１０７の中央の画素に入射する光束を示し、図１２（ｂ）は撮像素子１０７の中央に対してある像高を持った位置の画素に入射する光束を示している。撮像素子１０７には撮影光学系を構成するレンズ群を保持する保持枠や絞り１０２等の部材によって制限された光束が入射する。ここでは、全ての像高において光束を制限する部材が２つ存在するものとして説明する。
【００７７】
Ｉｗ１，Ｉｗ２は光束を制限する部材の開口（窓）であり、光束はこれらの窓Ｉｗ１，Ｉｗ２の内側を通過する。ＭｅはマイクロレンズＭＬの構成によって設定された瞳面を表している。
【００７８】
図１２（ａ）において、Ｌ１ｒｃ，Ｌ１ｌｃは窓Ｉｗ１から射出した光束の外周を表しており、Ｌ１ｒｃは該光束の図中の右端を、Ｌ１ｌｃは該光束の図中の左端を示している。Ｌ２ｒｃ，Ｌ２ｌｃは窓Ｉｗ２から射出した光束であって、マイクロレンズＭＬの瞳面Ｍｅに投影された光束の外周を表しており、Ｌ２ｒｃは該光束の図中の右端を、Ｌ２ｌｃは該光束の図中の左端を示している。
【００７９】
図１２（ａ）に示すように、撮像素子１０７の中央の焦点検出用画素に入射する光束の瞳面Ｍｅでの瞳領域は、Ｌ２ｌｃとＬ２ｒｃを外周とする光束、つまり矢印Ａｒｅａ１で示される。
【００８０】
次に、図１２（ｂ）を用いて、撮像素子１０７の中央に対してある像高を持った位置の画素に入射する光束のケラレを説明する。Ｌ１ｒｈ，Ｌ１ｌｈは窓Ｉｗ１から射出した光束の外周を表しており、Ｌ１ｒｈは該光束の図中の右端を、Ｌ１ｌｈは該光束の図中の左端を示している。Ｌ２ｒｈ，Ｌ２ｌｈは窓Ｉｗ２から射出した光束であって、マイクロレンズＭＬの瞳位置Ｍｅに投影された光束の外周を表しており、Ｌ２ｒｈは該光束の図中の右端を、Ｌ２ｌｈは該光束の図中の左端を示している。
【００８１】
図１２（ｂ）に示すように、撮像素子１０７の中央に対してある像高を持った位置の画素に入射する光束の瞳面Ｍｅ上での瞳領域は、Ｌ１ｌｈとＬ２ｒｈを外周とする光束、つまり矢印Ａｒｅａ２で示される。
【００８２】
図１３には、瞳面Ｍｅ上での瞳領域を示している。図１３（ａ）は撮像素子１０７の中央の画素の瞳領域を示し、図１３（ｂ）は撮像素子１０７の中央に対してある像高を持った位置の画素の瞳領域を示している。図１２で説明したように、撮像素子１０７の中央の画素には同一の窓Ｉｗ２のみによって制限された光束が入射するため、図１３（ａ）に示すように、瞳領域Ａｒｅａ１は窓Ｉｗ２の形状がそのまま投影される。光束を制限する窓は、円形状であるため、瞳領域Ａｒｅａ１の形状も円形状となる。一方、撮像素子の中央に対してある像高を持った位置の画素には窓Ｉｗ１，Ｉｗ２によって制限された光束が入射するため、瞳領域Ａｒｅａ２は、図１３（ｂ）に示したような形状となる。
【００８３】
図１４には、焦点検出用画素の瞳強度分布を示す。これは、図１０に示した撮像素子１０７の中央の焦点検出用画素の入射角度特性をマイクロレンズＭＬの瞳面Ｍｅ上に投影したものに等しく、図１４の縦軸および横軸は、瞳面上の座標に展開したものである。この瞳強度分布は、撮像素子１０７の中央に対してある像高を持った位置の画素についても同じである。これは、撮像素子１０７の中央に対してある像高を持った位置の画素のマイクロレンズＭＬは、光軸中心がマイクロレンズＭＬの瞳面Ｍｅの中心を通過するように偏心して作製されているためである。
【００８４】
図１５には、撮像素子１０７の中央の焦点検出用画素に対するマイクロレンズＭＬの瞳面Ｍｅ上でのケラレを示している。図１５（ａ）は焦点検出用画素ＳＨＡに対するケラレを、図１５（ｂ）は焦点検出用画素ＳＨＢに対するケラレを示している。図１５は、図１３（ａ）と図１４とを重ね合わせたものに相当し、焦点検出用画素ＳＨＡ，ＳＨＢには、Ａｒｅａ１で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。
【００８５】
図１６には、撮像素子１０７の中央の焦点検出用画素に対するマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布であって、ｘ軸に射影した後の１次元瞳強度分布を示している。横軸は瞳面Ｍｅ上のｘ方向の座標を表し、縦軸は各座標の強度を表している。各座標の強度は、図１５のｙ方向の瞳強度を積分したものである。焦点検出用画素ＳＨＡ，ＳＨＢに対するマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布をそれぞれ、ＥｓｄＡｃ，ＥｓｄＢｃで示している。
【００８６】
図１５に示すように、焦点検出用画素ＳＨＡ，ＳＨＢに対するマイクロレンズＭＬの瞳面Ｍｅ上でのケラレの形状およびその内側の瞳強度分布は左右対称である。このため、焦点検出用画素ＳＨＡ，ＳＨＢに対するマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布も左右対称である。
【００８７】
図１７には、撮像素子１０７の中央に対してある像高を持った位置の画素のマイクロレンズＭＬの瞳面Ｍｅ上でのケラレを示している。図１７（ａ）は焦点検出用画素ＳＨＡに対するケラレを、図１７（ｂ）は焦点検出用画素ＳＨＢに対するケラレを示している。図１７は図１３（ｂ）と図１４とを重ね合わせたものに相当し、焦点検出用画素ＳＨＡ，ＳＨＢには、Ａｒｅａ２で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。
【００８８】
図１８には、撮像素子１０７の中央に対してある像高を持った位置の画素のマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布であって、瞳分離方向の座標軸に射影した後の１次元瞳強度分布を示している。横軸は瞳面Ｍｅ上での瞳分離方向の座標を示し、縦軸は各座標の強度を示している。各座標の強度は、図１７の瞳強度を瞳分離方向と直交する方向に積分したものである。図１８中、焦点検出用画素ＳＨＡ，ＳＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布は、ＥｓｄＡｈ，ＥｓｄＢｈで示している。焦点検出用画素ＳＨＡ，ＳＨＢのマイクロレンズＭＬの瞳面Ｍｅ上での瞳強度分布は左右対称である。しかし、ケラレの形状が左右非対称形状であることから、焦点検出用画素ＳＨＡ，ＳＨＢのマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布ＥｓｄＡｈ，ＥｓｄＢｈは左右非対称となる。
【００８９】
次に、前述したＡ像とＢ像（Ａ像信号とＢ像信号）の位相差および撮影光学系のデフォーカス量を検出する方法について説明する。
【００９０】
被写体の光量分布をｆ２（ｘ，ｙ）とし、その光学像である被写体像の光量分布をｇ２（ｘ，ｙ）とするとき、
【００９１】
【数１】
0005606208.tif 000002
【００９２】
で示される畳み込み積分（convolution）を用いた関係が成立する。ここで、ｈ２（ｘ，ｙ；ｄ）は、デフォーカス量ｄに応じて、被写体の像が撮像系（撮影光学系および画像生成系）において劣化する状態を表す伝達関数であり、点像分布関数（point spread function）と呼ばれる。焦点検出に用いる一対の被写体像（像信号）の状態を知るには、点像分布関数を知る必要がある。
【００９３】
ここで、本実施例の焦点検出は、位相差検出方式と呼ばれる方式で行われる。位相差検出方式においては、一対の像信号の１次元方向に注目し、その位相差を検出するため、点像分布関数の代わりに１次元関数である線像分布関数（line spread function）を用いて焦点検出に関する撮像系を評価することができる。
【００９４】
そこで、被写体の光量分布をｆ（ｘ）とし、被写体像であるＡ像の光量分布をｇＡ（ｘ）とし、もう１つの被写体像であるＢ像の光量分布をｇＢ（ｘ）とする。この場合、焦点検出用画素ＳＨＡの線像分布関数ｈＡ（ｘ；ｄ）と、焦点検出用画素ＳＨＢの線像分布関数ｈＢ（ｘ；ｄ）とを用いると、以下の関係が成り立つ。
【００９５】
【数２】
0005606208.tif 000003
【００９６】
このとき、光量分布ｇＡ（ｘ）とｇＢ（ｘ）のずれ量（位相差）ｐが、相関演算の式（３）を最小とする値として算出される。
【００９７】
【数３】
0005606208.tif 000004
【００９８】
また、線像分布関数ｈＡとｈＢの重心間隔である基線長ｃは、以下の式（４）で定義される。
【００９９】
【数４】
0005606208.tif 000005
【０１００】
ずれ量ｐは、線像分布関数ｈＡとｈＢが平行移動により一致し、ノイズなどの影響が無い場合には、線像分布関数ｈＡとｈＢの基線長ｃと一致する。すなわち、
【０１０１】
【数５】
0005606208.tif 000006
【０１０２】
となる。
【０１０３】
ある点光源からの光束が結像光学系の射出瞳を通過して結像面上に形成する点像の強度分布、いわゆる点像分布関数は、射出瞳形状を有する瞳強度分布が結像面上に縮小投影されたものと考えられる。同様に、線像分布関数は１次元方向における射出瞳形状、つまりは該射出瞳形状を有する瞳強度分布を瞳分離方向と直交する方向に積分した１次元の瞳強度分布がマイクロレンズＭＬにより結像面上に縮小したものと考えることができる。したがって、線像分布関数は、図１６または図１８に示した１次元瞳強度分布をスケール変換したものに相当し、デフォーカス量に応じて、それぞれ１次元瞳強度分布を横軸方向に縮小し、縦軸方向に拡大したものと考えることができる。
【０１０４】
マイクロレンズＭＬの瞳面Ｍｅの座標をＸとして、焦点検出用画素ＳＨＡの１次元瞳強度分布関数をｐＡ（Ｘ）とする。また、焦点検出用画素ＳＨＢの１次元瞳強度分布関数をｐＢ（Ｘ）とする。さらに、図１９に示すように、撮像素子１０７から瞳面Ｍｅまでの距離（瞳距離）をＤとする。任意のデフォーカス量ｄに対して、焦点検出用画素ＳＨＡの線像分布関数ｈＡ（ｘ；ｄ）と焦点検出用画素ＳＨＢの線像分布関数ｈＢ（ｘ；ｄ）は、以下のスケール変換から求めることができる。
【０１０５】
デフォーカス量ｄは、撮像素子１０７の位置を０として、前ピン（図１９（ａ））で負の値を、後ピン（図１９（ｂ））で正の値をとる。
【０１０６】
【数６】
0005606208.tif 000007
【０１０７】
【数７】
0005606208.tif 000008
【０１０８】
ここで、１次元瞳強度分布関数ｐＡ，ｐＢの基線長Ｃを、以下の式（８）で定義する。
【０１０９】
【数８】
0005606208.tif 000009
【０１１０】
式（６）のスケール変換の関係式は、線像分布関数ｈＡ，ｈＢの基線長ｃと１次元瞳強度分布関数ｐＡ，ｐＢの基線長Ｃとの間でも成り立つ。すなわち、
【０１１１】
【数９】
0005606208.tif 000010
【０１１２】
となる。
【０１１３】
さらに、線像分布関数ｈＡ，ｈＢの一致度が良い場合には、式（５）が成り立つことから、ずれ量ｐとデフォーカス量ｄとの関係が以下の式（１０）のように求まる。
【０１１４】
【数１０】
0005606208.tif 000011
【０１１５】
したがって、異なる瞳領域を通過した光束により生成される一対の像の光量分布ｇＡ（ｘ），ｇＢ（ｘ）を知ることができれば、ずれ量ｐと式（１０）とから、結像光学系のデフォーカス量を算出することができる。
【０１１６】
このとき、図１６や図１８に示したように、焦点検出用画素ＳＨＡ，ＳＨＢのマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布が、レンズ保持枠等の部材でケラレると、線像分布関数ｈＡ，ｈＢの一致度が低下する。その結果、式（５）および式（１０）が成立しなくなり、デフォーカス量の検出精度が低下する。このため、デフォーカス量の検出精度を向上させるために、Ａ像とＢ像（Ａ像信号とＢ像信号）を修正して、これらの像の一致度（線像分布関数ｈＡ，ｈＢの一致度）を高めることが有効である。
【０１１７】
次に、Ａ像とＢ像の修正方法について説明する。焦点検出用画素の配置間隔（ピッチ）に対して被写体像の線幅が広いほど、被写体像データの離散化に伴う像形状の劣化は少ない。このため、被写体像のコントラストが十分に高い場合には、修正後の像を修正前の像よりもぼかして滑らかにすることで被写体像の線幅を広げる処理（以下、第１の処理という）を行うことで、デフォーカス量の検出精度をより向上させる。また、第１の処理では、像を滑らかにするため、像の修正と同時に被写体像に含まれる高周波ノイズ成分を除去することができる。
【０１１８】
一方、被写体像の線幅が広くコントラストが低い場合には、修正後の像を修正前の像より鮮鋭化して被写体像の線幅を狭める処理（以下、第２の処理という）を行うとよい。これにより、修正後の被写体像のコントラストを高めて、デフォーカス量の検出精度をより向上させる。
【０１１９】
本実施例では、撮像素子の出力信号から得られた被写体像のコントラスト評価値（コントラスト値）を算出する。ここにいう「撮像素子の出力信号」は、焦点検出用画素からの画素信号、Ａ像信号およびＢ像信号のうち少なくとも一方、および撮像用画素からの画素信号のいずれでもよい。そして、コントラスト評価値が所定値より高い場合は、Ａ像およびＢ像信号を修正前よりも滑らかにする第１の処理を行う。一方、コントラスト評価値が所定値より低い場合（以下である場合）は、Ａ像およびＢ像信号を修正前よりも鮮鋭化する第２の処理を行う。これにより、被写体像のコントラストに応じた適切な像修正を行い、撮影光学系の焦点状態の検出精度を向上させることができる。第１の処理および第２の処理は、第１の信号処理手段および第２の信号処理手段として機能するカメラＣＰＵ１２１により行われる。
【０１２０】
以下、カメラＣＰＵ１２１により行われる焦点検出処理（焦点検出方法）について、図２０のフローチャートを用いて説明する。この処理は、カメラＣＰＵ１２１内のＲＯＭに格納されたコンピュータプログラムに従って実行される。このことは、後述する他の実施例でも同じである。
【０１２１】
ステップＳ００１では、カメラＣＰＵ１２１は、ケラレ状態を知るためのレンズ情報を読み出し、ステップＳ００２へと進む。
【０１２２】
ステップＳ００２では、カメラＣＰＵ１２１は、ユーザによって選択された又はカメラＣＰＵ１２１が自動的に設定した焦点検出領域を読み出す。この後、ステップＳ００３へと進む。
【０１２３】
ステップＳ００３では、カメラＣＰＵ１２１は、ステップＳ００２で読み出した焦点検出領域に含まれる各焦点検出用画素においてカメラＣＰＵ１２１内のＲＯＭに格納されている瞳強度分布の情報を読み出す。そして、瞳強度分布情報とステップＳ００１で得られたケラレ情報とを合わせ用いて瞳強度を瞳分離方向と直交する方向に積分し、Ａ像とＢ像に対応する１次元瞳強度分布関数を算出する。さらに、カメラＣＰＵ１２１は、式（８）を用いて、これら１次元瞳強度分布関数の基線長Ｃを求める。この後、ステップＳ００４へと進む。
【０１２４】
ステップＳ００４では、カメラＣＰＵ１２１は、ステップＳ００２で読み出した焦点検出領域に含まれる焦点検出用画素から画素信号を読み出し、Ａ像信号およびＢ像信号を生成する。なお、以下の説明では、Ａ像信号およびＢ像信号をそれぞれ、Ａ像およびＢ像という。この後、ステップＳ００５へと進む。
【０１２５】
ステップＳ００５では、カメラＣＰＵ１２１は、ステップＳ００３で得た１次元瞳強度分布関数から、ステップＳ００４で生成したＡ像とＢ像のシェーディングを予測し、シェーディング補正を行う。シェーディング補正後、ステップＳ００６へと進む。
【０１２６】
ステップＳ００６では、カメラＣＰＵ１２１は、ステップＳ００５で得たシェーディング補正後のＡ像とＢ像（第１および第２の処理を受けていないＡ像とＢ像）を用いて、公知の相関演算によりこれら像のずれ量（位相差）を求める。そして、式（１０）の関係を用いて、デフォーカス量の暫定値（以下、暫定デフォーカス量という）を求める。暫定デフォーカス量の算出後、ステップＳ００７へと進む。
【０１２７】
ステップＳ００７では、カメラＣＰＵ１２１は、ステップＳ００５で得たシェーディング補正後のＡ像とＢ像のうち少なくとも一方を用いて、公知のコントラスト評価方法によってコントラスト評価値を求め、ステップＳ０１０へと進む。Ａ像とＢ像のうちコントラスト評価対象像が高コントラストであればコントラスト評価値は高くなり、コントラスト評価対象像が低コントラストであればコントラスト評価値は低くなる。コントラスト評価値としては、例えば、（像強度の最大値）−（像強度の最小値）から求めたり、隣接画素間の強度差の絶対値で最大のものを用いたりすることができる。もちろん、他の方法でコントラスト評価値を求めてもよい。
【０１２８】
ステップＳ０１０では、カメラＣＰＵ１２１は、ステップＳ００７で算出したコントラスト評価値が所定値より高いか否かを判定する。コントラスト評価値が所定値より高い場合にはステップＳ１００へと進み、第１の処理を行う。一方、コントラスト評価値が所定値より低い（以下）である場合にはステップＳ２００へと進み、第２の処理を行う。第１および第２の処理の詳細については、後述する。
【０１２９】
前述したように、Ａ像とＢ像の非対称性は、焦点検出用画素ＳＨＡ，ＳＨＢに非対称な線像分布が畳み込み積分されることによって生じる。図２１は、被写体像の非対称性を示す概念的に示している。
【０１３０】
図２１において、横軸は焦点検出領域内でのｘ方向の座標を、縦軸は被写体像の輝度を示す。図２１（ａ）は、被写体像の光量分布Ｏｂｊ（ｆ）を表しており、図２１（ｂ）の実線と破線はそれぞれ、あるデフォーカス量ｄにおける焦点検出用画素ＳＨＡの線像ＬＳＦＡ（ｈＡ）と焦点検出用画素ＳＨＢの線像ＬＳＦＢ（ｈＢ）を表している。また、図２１（ｃ）の実線と破線はそれぞれ、あるデフォーカス量ｄにおける被写体像に対応したＡ像ＩｍｇＡ（ｇＡ）とＢ像ＩｍｇＢ（ｇＢ）を表しており、これらは非対称であり、像の一致度は良くない。
【０１３１】
ステップＳ１００では、カメラＣＰＵ１２１は、Ａ像とＢ像の非対称性を修正し、修正後のＡ像とＢ像を修正前よりも滑らかにする第１の処理を行う。
ここで、第１の処理について説明する。Ａ像ｇＡは、前述した式（２Ａ）により得られる。
【０１３２】
【数１１】
0005606208.tif 000012
【０１３３】
焦点検出用画素ＳＨＡからの画素信号により生成されたＡ像ｇＡに、焦点検出用画素ＳＨＢの線像ｈＢを畳み込み積分して得られる修正像ｇＡ，Ｂは以下のように表される。
【０１３４】
【数１２】
0005606208.tif 000013
【０１３５】
同様に、焦点検出用画素ＳＨＢからの画素信号により生成されたＢ像ｇＢに、焦点検出用画素ＳＨＡの線像ｈＡを畳み込み積分して得られる修正像ｇＢ，Ａは以下のように表される。
【０１３６】
【数１３】
0005606208.tif 000014
【０１３７】
式（１１Ａ），（１１Ｂ）より、修正像ｇＡ，Ｂと修正像ｇＢ，Ａは互いに等しくなる（互いに同じ形状を有する）ことがわかる。
【０１３８】
また、Ａ像とＢ像の重心間隔を保ってこれらの非対称性を解消するには、線像ｈＢの重心を原点に移動した線像ｈ０ＢをＡ像ｇＡに畳み込み積分し、線像ｈＡの重心を原点に移動した線像ｈ０ＡをＢ像ｇＢに畳み込み積分すればよい。
【０１３９】
図２２には、Ａ像とＢ像の非対称性を解消するためのフィルタ処理を示す。図２２（ａ）の実線と破線はそれぞれ、あるデフォーカス量におけるＡ像用像修正フィルタＦｉｌｔｅｒＡ（線像ｈ０Ｂ）およびＢ像用像修正フィルタＦｉｌｔｅｒＢ（線像ｈ０Ａ）を示す。図２２（ｂ）の実線と破線はそれぞれ、Ａ像ＩｍｇＡにＡ像用像修正フィルタＦｉｌｔｅｒＡを畳み込み積分して得られた修正像ＲｅＩｍｇＡおよびＢ像ＩｍｇＢにＢ像用像修正フィルタＦｉｌｔｅｒＢを畳み込み積分して得られた修正像ＲｅＩｍｇＢを示す。図２２（ｂ）に示すように、修正像ＲｅＩｍｇＡおよび修正像ＲｅＩｍｇＢは互いに同じ形状を有する。
【０１４０】
第１の処理では、図２２（ｂ）に実線で示す修正像ＲｅＩｍｇＡは、Ａ像用像修正フィルタＦｉｌｔｅｒＡ（線像ｈ０Ｂ）を畳み込み積分して得られたものであるため、図２１（ｃ）に実線で示す修正前のＡ像ＩｍｇＡよりもぼけて滑らかになり、像の線幅が広がる。同様に、図２２（ｂ）に破線で示す修正像ＲｅＩｍｇＢは、Ｂ像用像修正フィルタＦｉｌｔｅｒＢ（線像ｈ０Ａ）を畳み込み積分して得られたものであるため、図２１（ｃ）に破線で示す修正前のＢ像ＩｍｇＢよりもぼけて滑らかになり、像の線幅が広がる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度をより高めるために、Ａ像ＩｍｇＡとＢ像ＩｍｇＢに対して、互いに異なる線像を畳み込み積分する像修正フィルタ（つまりは互いに異なる像修正フィルタ）を適用している。
【０１４１】
図２３のフローチャートには、ステップＳ１００で行われる第１の処理を示している。
【０１４２】
ステップＳ１０１では、カメラＣＰＵ１２１は、ステップＳ００６で算出された暫定デフォーカス量を入力値として設定し、ステップＳ１０２へと進む。
【０１４３】
ステップＳ１０２では、カメラＣＰＵ１２１は、像修正フィルタを作成する。具体的には、ステップＳ１０１で設定した暫定デフォーカス量に基づいて、式（６）、（７Ａ）および（７Ｂ）に従い、ステップＳ００３で得られた１次元瞳強度分布関数をスケール変換し、Ａ像に対応する線像ＡとＢ像に対応する線像Ｂを求める。次に、線像Ａの重心が原点となるように平行移動させたものを線像Ａ０とし、線像Ｂの重心が原点となるように平行移動させたものを線像Ｂ０とする。
【０１４４】
その後、「線像Ｂ０」をＡ像に対応したＡ像用像修正フィルタとし、「線像Ａ０」を被写体像Ｂ像に対応したＢ像用像修正フィルタとする。つまり、式（１１Ａ）と式（１１Ｂ）で説明したように、線像Ａ０と線像Ｂ０を入れ替えたものを、像修正フィルタとして用いる。この後、ステップＳ１０３へと進む。
【０１４５】
ステップＳ１０３では、カメラＣＰＵ１２１は、ステップＳ１０２で得たＡ像用像修正フィルタ（線像Ｂ０）を用いてＡ像の畳み込み積分を行い、修正像Ａ（ＲｅＩｍｇＡ）を得る。同様に、カメラＣＰＵ１２１は、ステップＳ１０２で得られたＢ像用像修正フィルタ（線像Ａ０）を用いてＢ像の畳み込み積分を行い、修正像Ｂ（ＲｅＩｍｇＢ）を得る。この後、ステップＳ１０４へと進む。
【０１４６】
ステップＳ１０４では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ１０３で得た修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの位相差を求め、ステップＳ１０５へと進む。
【０１４７】
ステップＳ１０５では、カメラＣＰＵ１２１は、ステップＳ１０４で得られた位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ１０６へと進む。
【０１４８】
ステップＳ１０６では、カメラＣＰＵ１２１は、ステップＳ１０１で設定した暫定デフォーカス量とステップＳ１０５で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ１０５で演算したデフォーカス量を、第１の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ１０１に戻る。
【０１４９】
次に、第２の処理について説明する。第２の処理では、式（２Ａ）および式（２Ｂ）における焦点検出用画素ＳＨＡの線像分布関数ｈＡ（ｘ；ｄ）と、焦点検出用画素ＳＨＢの線像分布関数ｈＢ（ｘ；ｄ）とを、同一の線像分布関数ｈＣ（ｘ；ｄ）で置き換えて、Ａ像とＢ像を同じ形状に修正する。
【０１５０】
まず、各分布関数をフーリエ変換する。波数をｋとし、被写体の光量分布ｆ（ｘ）のフーリエ成分をＦ（ｋ）とし、Ａ像の光量分布ｇＡ（ｘ）のフーリエ成分をＧＡ（ｋ）とする。また、Ｂ像の光量分布ｇＢ（ｘ）のフーリエ成分をＧＢ（ｋ）とする。さらに、Ａ像の線像分布関数ｈＡ（ｘ；ｄ）のフーリエ成分をＨＡ（ｋ；ｄ）とし、Ｂ像の線像分布関数ｈＢ（ｘ；ｄ）のフーリエ成分をＨＢ（ｋ；ｄ）とし、置換後の線像分布関数ｈＣ（ｘ；ｄ）のフーリエ成分をＨＣ（ｋ；ｄ）とする。
【０１５１】
式（２Ａ）をフーリエ変換すると、
【０１５２】
【数１４】
0005606208.tif 000015
【０１５３】
が得られる。ここで、式（１２Ａ）の両辺に、ＨＣ／ＨＡを乗じると、
【０１５４】
【数１５】
0005606208.tif 000016
【０１５５】
が得られる。したがって、ＨＣ／ＨＡを逆フーリエ変換したものをＡ像の置換フィルタｒＡ（ｘ；ｄ）として、式（１３Ａ）を逆フーリエ変換すると、修正像ｇＡ，Ａは以下のように求められる。
【０１５６】
【数１６】
0005606208.tif 000017
【０１５７】
同様に、ＨＣ／ＨＢを逆フーリエ変換したものをＢ像の置換フィルタｒＢ（ｘ；ｄ）とすると、修正像ｇＢ，Ｂは以下のように求められる。
【０１５８】
【数１７】
0005606208.tif 000018
【０１５９】
式（１４Ａ），（１４Ｂ）より、修正像ｇＡ，Ａと修正像ｇＢ，Ｂはそれぞれ、線像ｈＡ，ｈＢが線像ｈＣに置換され、互いに等しくなることがわかる。
【０１６０】
ここで、置換後の線像分布関数ｈＣの線幅を、Ａ像の線像分布関数ｈＡの線幅およびＢ像の線像分布関数ｈＢの線幅より狭くすれば、修正後の像を鮮鋭化することができる。ただし、線像分布関数ｈＣの線幅を狭くし過ぎると高周波ノイズ成分が増幅され、修正像の一致度が低下する。したがって、線像分布関数ｈＣの線幅は、Ａ像の線像分布関数ｈＡの線幅およびＢ像の線像分布関数ｈＢの線幅の０．２５倍から１．０倍程度が望ましい。
【０１６１】
Ａ像とＢ像の重心間隔を保って非対称性を修正するには、フーリエ成分ＨＡの代わりに線像ｈＡの重心を原点に移動した線像ｈ０Ａのフーリエ成分Ｈ０Ａを用い、フーリエ成分ＨＢの代わりに線像ｈＢの重心を原点に移動した線像ｈ０Ｂのフーリエ成分Ｈ０Ｂを用いればよい。
【０１６２】
さらに、デフォーカス量ｄの変化に合わせて効率良くＡ像の置換フィルタｒＡ（ｘ；ｄ）を生成するために、焦点検出用画素ＳＨＡの１次元瞳強度分布関数ｐＡ（Ｘ）に基づいて、Ａ像の親フィルタｍＡ（Ｘ）を生成しておくことが望ましい。波数をＫとして、焦点検出用画素ＳＨＡの１次元瞳強度分布関数ｐＡ（Ｘ）の重心を原点に移動したｐ０Ａ（Ｘ）のフーリエ成分をＰ０Ａ（Ｋ）とし、置換後の１次元瞳強度分布関数ｐＣ（Ｘ）のフーリエ成分をＰＣ（Ｋ）とする。また、ＰＣ／Ｐ０Ａを逆フーリエ変換したものをＡ像の親フィルタｍＡ（Ｘ）とする。
【０１６３】
このとき、式（６）および式（７Ａ）のスケール変換の関係に対応して、デフォーカス量ｄのＡ像の線像分布関数ｈＡ（ｘ；ｄ）はＡ像の親フィルタｍＡ（Ｘ）から、以下のスケール変換から求めることができる。
【０１６４】
【数１８】
0005606208.tif 000019
【０１６５】
同様に、デフォーカス量ｄのＢ像の線像分布関数ｈＢ（ｘ；ｄ）は、Ｂ像の親フィルタｍＢ（Ｘ）から、以下のスケール変換から求めることができる。
【０１６６】
【数１９】
0005606208.tif 000020
【０１６７】
ここで、Ｂ像の親フィルタｍＢ（Ｘ）は、焦点検出用画素ＳＨＡの１次元瞳強度分布関数ｐＢ（Ｘ）の重心を原点に移動したｐ０Ｂ（Ｘ）のフーリエ成分をＰ０Ｂ（Ｋ）として、ＰＣ／Ｐ０Ｂを逆フーリエ変換したものである。
【０１６８】
図２４には、Ａ像とＢ像の非対称性を解消するための置換フィルタ処理を示している。図２４（ａ）の実線と破線はそれぞれ、あるデフォーカス量における線像ＬＳＦＡ（ｈＡ）の重心を原点に移動した線像ＬＳＦＡ０（ｈ０Ａ）と、線像ＬＳＦＢ（ｈＢ）の重心を原点に移動した線像ＬＳＦＢ０（ｈ０Ｂ）を表す。図２４（ｂ）は、置換後の線像ＬＳＦＣ（ｈＣ）を表す。置換後の線像ＬＳＦＣの線幅は、線像ＬＳＦＡ０と線像ＬＳＦＢの線幅よりも狭い。図２４（ｃ）の実線と破線はそれぞれ、あるデフォーカス量におけるＡ像用置換フィルタＦｉｌｔｅｒＡ（ｒＡ）とＢ像用置換フィルタＦｉｌｔｅｒＢ（ｒＢ）を示す。
【０１６９】
さらに、図２４（ｄ）の実線は、Ａ像ＩｍｇＡにＡ像用置換フィルタＦｉｌｔｅｒＡ（ｒＡ）を畳み込み積分することで得られた修正像ＲｅＩｍｇＡを示す。また、破線は、Ｂ像ＩｍｇＢにＢ像用置換フィルタＦｉｌｔｅｒＢ（ｒＢ）を畳み込み積分することで得られた修正像ＲｅＩｍｇＢを示す。図２４（ｄ）に示すように、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢは、互いに同じ形状を有する。
【０１７０】
第２の処理では、図２４（ｄ）に実線で示す修正像ＲｅＩｍｇＡは、Ａ像用置換フィルタＦｉｌｔｅｒＡ（ｒＡ）によって線幅の狭い線像ＬＳＦＣに置換されるため、図２１（ｃ）に実線で示す修正前のＡ像ＩｍｇＡよりも鮮鋭化され、像の線幅が狭まる。同様に、図２４（ｄ）に破線で示す修正像ＲｅＩｍｇＢは、Ｂ像用置換フィルタＦｉｌｔｅｒＢ（ｒＢ）によって線幅の狭い線像ＬＳＦＣに置換されるため、図２１（ｃ）に破線で示す修正前のＢ像ＩｍｇＢよりも鮮鋭化され、像の線幅が狭まる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度をより高めるために、Ａ像ＩｍｇＡとＢ像ＩｍｇＢに対して、互いに異なる線像を畳み込み積分する置換フィルタ（つまりは互いに異なる置換フィルタ）を適用している。
【０１７１】
図２５のフローチャートには、ステップＳ２００で行われる第２の処理を示している。
【０１７２】
ステップＳ２０１では、カメラＣＰＵ１２１は、図２０のステップＳ００３で得た焦点検出用画素ＳＨＡ，ＳＨＢの１次元瞳強度分布関数ｐＡ，ｐＢの線幅に基づいて、線幅をより狭く設定したガウシアン型の置換後の１次元瞳強度分布関数ｐＣを算出する。次に、カメラＣＰＵ１２１は、上述した方法でＡ像の親フィルタｍＡとＢ像の親フィルタｍＢを算出し、ステップＳ２０２へと進む。
【０１７３】
ステップＳ２０２では、カメラＣＰＵ１２１は、図２０のステップＳ００６で算出した暫定デフォーカス量を入力値として設定し、ステップＳ２０３へと進む。
【０１７４】
ステップＳ２０３では、カメラＣＰＵ１２１は、置換フィルタを作成する。具体的には、ステップＳ１０１で設定された暫定デフォーカス量に基づいて、式（６）、（１５Ａ），（１５Ｂ）に従い、Ａ像とＢ像の親フィルタｍＡ，ｍＢをスケール変換してＡ像用およびＢ像用置換フィルタＦｉｌｔｅｒＡ（ｒＡ），ＦｉｌｔｅｒＢ（ｒＢ）を算出する。この後、ステップＳ２０４へと進む。
【０１７５】
ステップＳ２０４では、カメラＣＰＵ１２１は、ステップＳＳ２０３で得たＡ像用置換フィルタＦｉｌｔｅｒＡ（ｒＡ）を用いてＡ像の畳み込み積分を行い、修正像ＲｅＩｍｇＡを得る。同様に、カメラＣＰＵ１２１は、Ｂ像用置換フィルタＦｉｌｔｅｒＢ（ｒＢ）を用いてＢ像の畳み込み積分を行い、修正像ＲｅＩｍｇＢを得る。この後、ステップＳ２０５へと進む。
【０１７６】
ステップＳ２０５では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ２０４で得た修正像ＲｅＩｍｇＡ，ＲｅＩｍｇＢの位相差を求め、ステップＳ２０６へと進む。
【０１７７】
ステップＳ２０６では、カメラＣＰＵ１２１は、ステップＳ２０５で得た位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ２０７へと進む。
【０１７８】
ステップＳ２０７では、カメラＣＰＵ１２１は、ステップＳ２０２で設定した暫定デフォーカス量とステップＳ２０６で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ２０６で演算したデフォーカス量を、第２の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ２０２に戻る。
【０１７９】
図２０において、ステップＳ００８では、カメラＣＰＵ１２１は、ステップＳ１００もしくはステップＳ２００で算出したデフォーカス量を、ＡＦ用のデフォーカス量として設定し、ステップＳ００９へと進む。
【０１８０】
ステップＳ００９では、カメラＣＰＵ１２１は、ＡＦ用のデフォーカス量に基づいて、合焦状態を得るための第３レンズ群１０５の移動方向と移動量を算出し、該算出結果に応じて第３レンズ群１０５を移動させる。すなわち、ＡＦを行う。こうして、一連の焦点検出処理を終了する。
【０１８１】
本実施例によれば、光束のケラレ状態と被写体像とに応じて適切な像の修復が可能となり、撮影光学系の焦点検出精度を向上させることができる。なお、第１の処理と第２の処理としては、上述した処理以外の処理を用いてもよい。
【実施例２】
【０１８２】
次に、本発明の実施例２について説明する。実施例１でも説明したように、焦点検出用画素の配置間隔（ピッチ）に対して被写体像の線幅が広いほど、被写体像データの離散化に伴う像形状の劣化が少ない。このため、デフォーカス量が小さく、被写体像の高周波成分が多い場合には、修正後の像を修正前の像よりぼかして滑らかにして被写体像の線幅を広げる処理（以下、第１の処理という）を行うことで、デフォーカス量の検出精度をより向上させる。また、第１の処理では、像を滑らかにするため、像の修正と同時に被写体像に含まれる高周波ノイズ成分を除去することができる。
【０１８３】
一方、デフォーカス量が大きく被写体像が大きくぼけている場合には、修正後の像を修正前の像より鮮鋭化し、被写体像の線幅を狭める処理（以下、第２の処理という）を行うことで、デフォーカス量の検出精度と検出限界をより向上させる。
【０１８４】
本実施例では、撮影光学系の暫定デフォーカス量を算出し、該暫定デフォーカス量が所定値より小さい場合は、修正後の像を修正前の像より滑らかにする第１の処理を行う。一方、暫定デフォーカス量が所定値より大きい（以上である）場合は、修正後の像を修正前の像よりも鮮鋭化する第２の処理を行う。これにより、デフォーカス量に応じた適切な像修正を行い、撮影光学系の焦点検出精度を向上させることができる。
【０１８５】
図２６のフローチャートには、本実施例における焦点検出処理（焦点検出方法）を示している。なお、図２６において、実施例１の図２０にて説明したステップと同じステップについては同符号を付して説明に代える。
【０１８６】
ステップＳ００６で式（１０）を用いて暫定デフォーカス量を求めたカメラＣＰＵ１２１は、ステップＳ０２０において、該暫定デフォーカス量が所定値より小さいか否かを判定する。暫定デフォーカス量が所定値より小さい場合にはステップＳ３００へと進み、第１の処理を行う。一方、暫定デフォーカス量が所定値より大きい（以上である）場合はステップＳ４００に進み、第２の処理を行う。
【０１８７】
ここで、第１の処理について説明する。焦点検出用画素ＳＨＡからの画素信号により形成されたＡ像信号（以下、Ａ像という）ｇＡに、焦点検出用画素ＳＨＢからの画素信号により形成されたＢ像信号（以下、Ｂ像という）ｇＢを畳み込み積分すると、修正像ｇＡ，Ｂが得られる。また、Ｂ像ｇＢにＡ像ｇＡを畳み込み積分すると、修正像ｇＢ，Ａが得られる。これら、修正像ｇＡ，Ｂと修正像ｇＢ，Ａは、式（２０）に示すように、互い等しい（互いに同じ形状を有する）。
【０１８８】
【数２０】
0005606208.tif 000021
【０１８９】
線像ｈＡの重心をｘＡとし、線像ｈＢの重心をｘＢとする。Ａ像とＢ像の重心間隔を保ってこれらの非対称性を解消するには、まず、Ｂ像ｇＢを−ｘＢだけ平行移動した像ｇ０ＢをＡ像用像修正フィルタＦｉｌｔｅｒＡとして用いて、Ａ像ｇＡに畳み込み積分を行う。同様に、Ａ像ｇＡを−ｘＡだけ平行移動した像ｇ０ＡをＢ像用像修正フィルタＦｉｌｔｅｒＢとして用いて、Ｂ像ｇＢに畳み込み積分を行う。
【０１９０】
第１の処理では、修正像ＲｅＩｍｇＡは、Ａ像用像修正フィルタＦｉｌｔｅｒＡ（ｇ０Ｂ）を畳み込み積分することで得られるため、修正前のＡ像ＩｍｇＡよりもぼけて滑らかになり、像の線幅が広がる。同様に、修正像ＲｅＩｍｇＢは、Ｂ像用像修正フィルタＦｉｌｔｅｒＢ（ｇ０Ａ）を畳み込み積分することで得られるため、修正前のＢ像ＩｍｇＢよりもぼけて滑らかになり、像の線幅が広がる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度を向上させるために、Ａ像とＢ像に対して互いに異なる線像を畳み込む像修正フィルタを適用している。
【０１９１】
図２７のフローチャートには、ステップＳ３００で行われる第１の処理を示している。
【０１９２】
ステップＳ３０１では、カメラＣＰＵ１２１は、ステップＳ００６で算出された暫定デフォーカス量を入力値として設定し、ステップＳ３０２へと進む。
【０１９３】
ステップＳ３０２では、カメラＣＰＵ１２１は、像修正フィルタを作成する。具体的には、ステップＳ３０１で設定した暫定デフォーカス量に基づいて、式（６）、（７Ａ）および（７Ｂ）に従い、ステップＳ００３で得られた１次元瞳強度分布関数をスケール変換し、Ａ像に対応する線像ＡとＢ像に対応する線像Ｂを求める。次に、線像Ａの重心ｘＡと線像Ｂの重心ｘＢを算出する。続いて、Ｂ像を−ｘＢだけ平行移動させた像ｇ０Ｂを、Ａ像用像修正フィルタＦｉｌｔｅｒＡ（ｇ０Ｂ）とする。同様に、Ａ像を−ｘＡだけ平行移動させた像ｇ０ＡをＢ像用像修正フィルタＦｉｌｔｅｒＢ（ｇ０Ａ）とする。この後、ステップＳ３０３へと進む。
【０１９４】
ステップＳ３０３では、カメラＣＰＵ１２１は、ステップＳ３０２で得られたＡ像用像修正フィルタＦｉｌｔｅｒＡ（ｇ０Ｂ）を用いてＡ像の畳み込み積分を行い、修正像ＲｅＩｍｇＡを得る。同様に、Ｂ像用像修正フィルタＦｉｌｔｅｒＢ（ｇ０Ａ）を用いてＢ像の畳み込み積分を行い、修正像ＲｅＩｍｇＢを得る。この後、ステップＳ３０４へと進む。
【０１９５】
ステップＳ３０４では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ３０３で得た修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの位相差を求め、ステップＳ３０５へと進む。
【０１９６】
ステップＳ３０５では、カメラＣＰＵ１２１は、ステップＳ３０４で得られた位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ３０６へと進む。
【０１９７】
ステップＳ３０６では、カメラＣＰＵ１２１は、ステップＳ３０１で設定した暫定デフォーカス量とステップＳ３０５で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ３０５で演算したデフォーカス量を、第１の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ３０１に戻る。
【０１９８】
次に、第２の処理について説明する。Ａ像ｇＡおよびＢ像ｇＢは、前述した式（２Ａ）および式（２Ｂ）により得られる。
【０１９９】
【数２１】
0005606208.tif 000022
【０２００】
式（２Ａ）および（２Ｂ）の関係が成り立つときに、以下のような繰り返し計算により漸化的にデコンボリューション処理して、被写体ｆ（ｘ）を推定する。
自然数をｉとして、被写体ｆ（ｘ）に収束させる関数列ｆＡ，ｉ（ｘ）と関数列ｆＢ，ｉ（ｘ）を考える。まず、ｉ＝０として、Ａ像ｇＡおよびＢ像ｇＢを初期関数として以下のように設定する。
【０２０１】
【数２２】
0005606208.tif 000023
【０２０２】
次に、ｉ番目の関数ｆＡ，ｉと関数ｆＢ，ｉから、以下の漸化式に基づいてｉ＋１番目の関数ｆＡ，ｉ＋１と関数ｆＢ，ｉ＋１を求める。αは、０以上で１以下の実数である。
【０２０３】
【数２３】
0005606208.tif 000024
【０２０４】
ここで、ｆ’Ａ，ｉ＋１とｆ’Ｂ，ｉ＋１は、繰り返し計算で使用する補助的な関数列である。式（１８Ａ）は、Ａ像ｇＡと線像ｈＡから被写体ｆを推定するための漸化式であり、式（１８Ｂ）は、Ｂ像ｇＢと線像ｈＢから被写体ｆを推定するための漸化式である。
【０２０５】
式（１９Ａ）と式（１９Ｂ）は、式（１８Ａ）と式（１８Ｂ）の収束関数を同一にするための漸化式である。
【０２０６】
式（１７Ａ）、式（１７Ｂ）、式（１８Ａ）、（１８Ｂ）、（１９Ａ）および式（１９Ｂ）により、関数列ｆＡ，ｉ（ｘ）と関数列ｆＢ，ｉ（ｘ）が収束するまで繰り返し計算を行う。収束した関数は、ｆ（ｘ）に一致する。
【０２０７】
関数列ｆＡ，ｉ（ｘ）が収束した関数ｆＡと関数列ｆＢ，ｉ（ｘ）が収束した関数ｆＢの重心間隔が、Ａ像ｇＡとＢ像ｇＢの重心間隔と一致するためには、線像ｈＡの重心をｘＡとし、線像ｈＢの重心をｘＢとして、以下のような漸化式に従って繰り返し計算を行えばよい。
【０２０８】
【数２４】
0005606208.tif 000025
【０２０９】
線像ｈ０Ａは、線像ｈＡの重心を原点に移動したものであり、線像ｈ０Ｂは線像ｈＢの重心を原点に移動したものである。
【０２１０】
図２８には、Ａ像とＢ像の非対称性を解消するための繰り返し計算によるデコンボリューション処理の結果を概念的に示している。図２８中の実線と破線はそれぞれ、図２１（ｃ）のＡ像ＩｍｇＡおよびＢ像ＩｍｇＢに、式（２０Ａ）、（２０Ｂ）、（２１Ａ）および（２１Ｂ）によってデコンボリューション処理を行うことで得られた修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢを示す。
【０２１１】
第２の処理では、図２８に実線で示す修正像ＲｅＩｍｇＡは、デコンボリューション処理により、図２１（ｃ）に実線で示す修正前のＡ像ＩｍｇＡよりも鮮鋭化され、像の線幅が狭まる。同様に、図２８に破線で示す修正像ＲｅＩｍｇＢは、デコンボリューション処理により、図２１（ｃ）に破線で示す修正前のＢ像ＩｍｇＢよりも鮮鋭化され、像の線幅が狭まる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度を向上させるために、互いに異なる線像ｈ０Ａと線像ｈ０Ｂをフィルタとして、繰り返し計算によるデコンボリューション処理を行う。
【０２１２】
図２９のフローチャートには、ステップＳ４００で行われる第２の処理を示している。
【０２１３】
ステップＳ４０１では、カメラＣＰＵ１２１は、ステップＳ００６で算出された暫定デフォーカス量を入力値として設定し、ステップＳ４０２へと進む。
【０２１４】
ステップＳ４０２では、カメラＣＰＵ１２１は、線像フィルタを作成する。具体的には、ステップＳ４０１で設定した暫定デフォーカス量に基づいて、式（６）、（７Ａ）および（７Ｂ）に従い、ステップＳ００３で得られた１次元瞳強度分布関数をスケール変換し、Ａ像に対応する線像ＡとＢ像に対応する線像Ｂを求める。次に、線像Ａの重心が原点となるように平行移動させたものを線像Ａ０とし、Ａ像用線像フィルタとする。同様に、線像Ｂの重心が原点となるように平行移動させたものを線像Ｂ０とし、Ｂ像用線像フィルタとする。この後、ステップＳ４０３へと進む。
【０２１５】
ステップＳ４０３では、カメラＣＰＵ１２１は、Ａ像用線像フィルタとＢ像用線像フィルタを用いて、Ａ像とＢ像に対して、式（１７Ａ）、（１７Ｂ）、（２０Ａ）、（２０Ｂ）、（２１Ａ）および（２１Ｂ）に従ってデコンボリューション処理を行う。これにより、修正像ＲｅＩｍｇＡ，ＲｅＩｍｇＢを得る。この後、ステップＳ４０４へと進む。
【０２１６】
ステップＳ４０４では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ４０３で得た修正像ＲｅＩｍｇＡ，ＲｅＩｍｇＢの位相差を求め、ステップＳ４０５へと進む。
【０２１７】
ステップＳ４０５では、カメラＣＰＵ１２１は、ステップＳ４０４で得た位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ４０６へと進む。
【０２１８】
ステップＳ４０６では、カメラＣＰＵ１２１は、ステップＳ４０１で設定した暫定デフォーカス量とステップＳ４０５で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ４０５で演算したデフォーカス量を、第２の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ４０１に戻る。
【０２１９】
本実施例によれば、光束のケラレ状態と被写体像とに応じて適切な像の修復が可能となり、撮影光学系の焦点検出精度を向上させることができる。なお、第１の処理と第２の処理としては、上述した処理以外の処理を用いてもよい。
【実施例３】
【０２２０】
次に、本発明の実施例３について説明する。実施例１でも説明したように、焦点検出用画素の配置間隔（ピッチ）に対して被写体像の線幅が広いほど、被写体像データの離散化に伴う像形状の劣化が少ない。このため、絞り値が大きく（絞り開口径が小さく）て線像が狭く、ぼけにくい場合には、修正後の像を修正前の像よりぼかして滑らかにし、被写体像の線幅を広げる処理（以下、第１の処理という）を行うことで、デフォーカス量の検出精度をより向上させる。また、第１の処理では、像を滑らかにするため、像の修正と同時に被写体像に含まれる高周波ノイズ成分を除去することができる。
【０２２１】
一方、絞り値が小さく（絞り開口径が大きく）て線像が広く、ぼけやすい場合には、修正後の像を修正前の像より鮮鋭化し、被写体像の線幅を狭める処理（以下、第２の処理）を行うことで、デフォーカス量の検出精度と検出限界をより向上させる。
【０２２２】
本実施例では、撮影光学系の絞り値（以下、Ｆ値という）が所定値より大きい場合は、修正後の像を修正前の像より滑らかにする第１の処理を行う。一方、Ｆ値が所定値より小さければ（以下であれば）修正後の像を修正前の像よりも鮮鋭化する第２の処理を行う。これにより、Ｆ値に応じた適切な像修正を行い、撮影光学系の焦点検出精度を向上させることができる。
【０２２３】
図３０のフローチャートには、本実施例における焦点検出処理（焦点検出方法）を示している。なお、図３０において、実施例１の図２０にて説明したステップと同じステップについては同符号を付して説明に代える。
【０２２４】
ステップＳ００６の後、カメラＣＰＵ１２１は、ステップＳ０３０において、結像光学系のＦ値が所定値より大きいか否かを判定する。Ｆ値が所定値より大きい場合にはステップＳ１００へと進み、第１の処理を行う。一方、Ｆ値が所定値より小さい（以下である）場合にはステップＳ２００へと進み、第２の処理を行う。ステップＳ１００およびステップＳ２００での第１の処理および第２の処理は、実施例１と同じである。
【０２２５】
本実施例によれば、光束のケラレ状態と被写体像とに応じた適切な像の修復が可能となり、撮影光学系の焦点検出精度を向上させることができる。なお、第１の処理と第２の処理としては、上述した処理以外の処理を用いてもよい。
【０２２６】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０２２７】
良好な焦点検出精度を有する焦点検出装置およびこれを備えた撮像装置を提供できる。
【符号の説明】
【０２２８】
１０７  撮像素子
１２１  カメラＣＰＵ
ＴＬ  撮影光学系
ＥＰ  射出瞳
ＳＨＡ，ＳＨＢ，ＳＶＣ，ＳＶＤ  焦点検出用画素
ＦｉｌｔｅｒＡ  Ａ像用像修復フィルタ
ＦｉｌｔｅｒＢ  Ｂ像用像修復フィルタ
【図１】
0005606208.tif 000026
【図２】
0005606208.tif 000027
【図３】
0005606208.tif 000028
【図４】
0005606208.tif 000029
【図５】
0005606208.tif 000030
【図６】
0005606208.tif 000031
【図７】
0005606208.tif 000032
【図８】
0005606208.tif 000033
【図９】
0005606208.tif 000034
【図１０】
0005606208.tif 000035
【図１１】
0005606208.tif 000036
【図１２】
0005606208.tif 000037
【図１３】
0005606208.tif 000038
【図１４】
0005606208.tif 000039
【図１５】
0005606208.tif 000040
【図１６】
0005606208.tif 000041
【図１７】
0005606208.tif 000042
【図１８】
0005606208.tif 000043
【図１９】
0005606208.tif 000044
【図２０】
0005606208.tif 000045
【図２１】
0005606208.tif 000046
【図２２】
0005606208.tif 000047
【図２３】
0005606208.tif 000048
【図２４】
0005606208.tif 000049
【図２５】
0005606208.tif 000050
【図２６】
0005606208.tif 000051
【図２７】
0005606208.tif 000052
【図２８】
0005606208.tif 000053
【図２９】
0005606208.tif 000054
【図３０】
0005606208.tif 000055