(57)【要約】【課題】  ノイズの影響を低減して焦点検出を行うことを可能にする焦点検出装置を提供すること。【解決手段】  焦点検出装置は、一対の視差画像信号を第１の位相シフト範囲でシフトしながら相関演算をおこない相関演算曲線を取得する第１の取得手段（２１９）と、第１の取得手段が取得した相関演算曲線のうち、一対の視差画像信号をシフトしない位置を挟んだ範囲で、且つ、一対の視差画像信号の相関が高くなる極小値に挟まれた範囲である第２の位相シフト範囲の相関演算曲線を置換する置換手段（２３０）と、置換手段により一部が置換された相関演算曲線から、デフォーカス量を取得する第２の取得手段（２２２）と、を備える。【選択図】  図１６
2018004706.tif 000002
【特許請求の範囲】
【請求項１】
一対の視差画像信号を第１の位相シフト範囲でシフトしながら相関演算をおこない相関演算曲線を取得する第１の取得手段と、
前記第１の取得手段が取得した前記第１の位相シフト範囲の前記相関演算曲線のうち、前記一対の視差画像信号をシフトしない位置を挟んだ範囲で、且つ前記一対の視差画像信号の相関が高くなる極小値に挟まれた範囲である第２の位相シフト範囲の前記相関演算曲線を置換する置換手段と、
前記置換手段により一部が置換された前記相関演算曲線から、デフォーカス量を取得する第２の取得手段と、を備えることを特徴とする焦点検出装置。
【請求項２】
前記置換手段は、
前記第２の位相シフト範囲の境界となる位相シフト量における相関量の値を前記第２の位相シフト範囲の相関量とすることで前記第２の位相シフト範囲における前記相関量を置換することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記置換手段は、
前記第１の位相シフト範囲のうち、前記第２の位相シフト範囲ではない第３の位相シフト範囲における前記相関量と位相シフト量との関係に基づいて取得した数式を用いて前記第２の位相シフト範囲における相関量を取得し、
取得結果を用いて前記第２の位相シフト範囲における相関量を置換することを特徴とする請求項１に記載の焦点検出装置。
【請求項４】
前記置換手段は、
前記第１の位相シフト範囲における前記相関量と位相シフト量との関係に基づいて、前記第２の位相シフト範囲における相関量の置換方法を選択することを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
【請求項５】
前記一対の視差画像信号が取得された撮像条件に応じて、
前記置換手段による前記置換を行うか否かを決定する制御手段を備え、
前記制御手段により前記置換手段が前記置換を行わないと決定されたとき、前記第２の取得手段は前記置換えを行っていない相関演算曲線を用いてデフォーカス量を取得することを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
【請求項６】
前記置換手段は、前記一対の視差画像信号が取得された撮像条件に応じて前記第２の位相シフト範囲を決定することを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
【請求項７】
前記撮像条件とは、撮像手段におけるＩＳＯ感度、前記一対の視差画像信号に含まれる信号の最大値、前記一対の視差画像信号に含まれる信号の最大値と最小値との差、前記一対の視差画像信号に含まれる信号の２次微分値の最大値、前記一対の視差画像信号に含まれる信号の隣接差分値の最大値、撮像手段における露出設定、撮像手段の温度を測定する温度測定手段による測定結果、前記一対の視差画像信号に含まれる所定の空間周波数成分の大きさ、の少なくともいずれかであることを特徴とする請求項５または６に記載の焦点検出装置。
【請求項８】
撮像光学系の射出瞳の第１の瞳領域を通過する光束を受光する第１の光電変換部と、前記撮像光学系の射出瞳の第２の瞳領域を通過する光束を受光する第２の光電変換部とを有する画素を複数有する撮像手段と、
複数の前記第１の光電変換部から得られる第１の像信号と、複数の前記第２の光電変換部から得られる第２の像信号とから、前記一対の視差画像信号を生成する画像処理装置とを備えることを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
【請求項９】
前記撮像手段は、複数の前記第１の光電変換部から得られる第１の像信号と、複数の前記第１の光電変換部と複数の前記第２の光電変換部とから得られる加算信号と、を出力し、
前記画像処理手段は、前記加算信号と前記第１の像信号との差分をとることで、複数の前記第２の光電変換部から得られる第２の像信号を取得することを特徴とする請求項８に記載の焦点検出装置。
【請求項１０】
一対の視差画像信号を第１の位相シフト範囲でシフトしながら相関演算をおこない相関演算曲線を取得する工程と、
前記相関演算曲線のうち、前記一対の視差画像信号をシフトしない位置を挟んで位置する、前記一対の視差画像信号の相関が高くなる一対の極小値に挟まれた第２の位相シフト範囲の前記相関演算曲線を置換する工程と、
一部が置換された前記相関演算曲線から、デフォーカス量を取得する工程と、を有することを特徴とする焦点検出方法。
【請求項１１】
請求項１０に記載の焦点検出方法を焦点検出装置に実行させるためのコンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位相差検出方式を用いた焦点検出装置、焦点検出方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体像の光束を射出瞳面で分割して、それぞれを２次元の撮像素子における一対の画素列の各々に結像させ、一対の画素列で光電変換された各像信号の位相差に基づいて焦点検出を行う方法が位相差検出方式の焦点検出方法として知られている。
【０００３】
特許文献１には、各画素にマイクロレンズが形成された２次元の撮像素子を用いて位相差検出方式の焦点検出を行う撮像装置の記載がある。この撮像装置において、各画素は瞳分割された一方の像を光電変換するフォトダイオードＡ、他方の像を光電変換するフォトダイオードＢ、フォトダイオードＡおよびＢからの電荷を一時的に保持するフローティングディフュージョン領域を有する。フォトダイオードＡおよびＢからフローティングディフュージョン領域への電荷の転送制御は、はじめにフォトダイオードＡの電荷のみを転送して電圧変換することで、瞳分割された一方の像信号（以後、Ａ像信号と呼ぶ。）を得ることができる。また、ここでフローティングディフュージョン領域をリセットすることなく、つづけてフォトダイオードＢの電荷をフローティングディフュージョン領域に転送して電圧変換することで、瞳分割前の像信号（以後、Ａ＋Ｂ像信号と呼ぶ。）を得ることができる。
【０００４】
瞳分割された他方の像が入射するフォトダイオードＢに対応する像信号（以後、Ｂ像信号と呼ぶ。）は、Ａ＋Ｂ像信号からＡ像信号を差し引くことで、電気的に求められる。このようにして求められた一対のＡ像信号とＢ像信号の画像信号は視差画像信号であるため、Ａ像信号とＢ像信号に対して、その位相差を公知の相関演算で求めることにより、被写体の焦点位置を検出することができる。また、Ａ＋Ｂ像信号は撮像装置による撮像画像の生成に用いる。このように、特許文献１に記載の撮像装置は、Ａ像、Ｂ像、Ａ＋Ｂ像という３種類の像信号を、２回の読み出しで取得することができる。加えて、フローティングディフュージョン領域で電荷を混合してＡ＋Ｂ像信号を生成するため、Ａ像信号とＢ像信号とを読み出し、Ａ像信号とＢ像信号とを加算するよりもノイズの少ないＡ＋Ｂ像信号が得られる。これは、Ａ像信号とＢ像信号とを読みだすと、それぞれの信号にノイズが含まれるため、信号を加算することでノイズも加算されるためである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−８９２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載されているような、光電変換の回路構成において、フローティングディフュージョン領域に光ショットノイズや暗電流ノイズが混入する。したがって、フォトダイオードから転送された電荷には、フローティングディフュージョン領域で一時的に保持されるタイミングによって、異なる電荷量のノイズが混入する。特に、瞳分割された一対の像をそれぞれ光電変換する場合、フローティングディフュージョン領域にて上述したＡ像信号を一時的に保持するタイミングと、同じく上述したＡ＋Ｂ像信号を一時的に保持するタイミングとで、異なる電荷量のノイズが混入する。よって、Ａ＋Ｂ像信号からＡ像信号を減じて生成したＢ像信号は、Ａ像信号に含まれるノイズ成分と正負が逆の信号成分（逆波形ノイズと呼ぶ）を含む。
【０００７】
一対の画素列において、Ａ像信号に表れたノイズの座標に対して、Ｂ像信号に表れる逆波形ノイズの座標は同一である。ノイズの影響がなければ合焦時は位相シフト量（位相差）＝０の時に相関量が最も小さくなるが、このようにＡ＋Ｂ像信号とＡ像信号の差分をＢ像信号とすると、位相シフト量＝０の時に他のシフト量のときよりもノイズの影響が大きくなる。その結果、位相シフト量＝０のときよりも小さい相関量をとる位相差が存在し、その位相差を合焦位置の位相差であると認識して誤測距やハンチングが起きる可能性がある。焦点検出状態にかかわらず位相差ゼロとなる演算時の相関が悪化するため、特に位相差ゼロの近傍で画素列が高い相関を示すことになる合焦位置近傍での焦点検出の際、相関が悪化することにより、焦点検出に誤差が生じてしまう可能性があった。また、被写体が特に低輝度または低コントラストである場合、本来の被写体に起因する像信号の振幅が小さくなるため、上述したノイズの影響度が相対的に高くなり、位相差ゼロの演算時だけでなく、その近傍の位相差の演算時においても、相関が悪化してしまう。
【０００８】
また、像信号対に含まれるノイズ成分が相関を有するのは、Ｂ像信号をＡ＋Ｂ像信号とＡ像信号との差分から取得する場合だけに限らない。例えば、Ａ像信号とＢ像信号とが同じアンプで増幅される場合など、信号経路中のノイズ源を共有する場合にも、像信号対を構成する信号列間（Ａ像信号とＢ像信号）のノイズ成分は相関を有する。
【０００９】
そこで、本発明は上述した課題に鑑みてなされたものであり、その目的の一つは、ノイズの影響を低減して焦点検出を行うことを可能にする焦点検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の焦点検出装置は、一対の視差画像信号を第１の位相シフト範囲でシフトしながら相関演算をおこない相関演算曲線を取得する第１の取得手段と、前記第１の取得手段が取得した前記第１の位相シフト範囲の前記相関演算曲線のうち、前記一対の視差画像信号をシフトしない位置を挟んだ範囲で、且つ前記一対の視差画像信号の相関が高くなる極小値に挟まれた範囲である第２の位相シフト範囲の前記相関演算曲線を置換する置換手段と、前記置換手段により一部が置換された前記相関演算曲線から、デフォーカス量を取得する第２の取得手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ノイズの影響を低減して焦点検出を行うことが可能な焦点検出装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラの概略構成を示す図である。
【図２】撮像部の画素面を入射光側から見た模式図である。
【図３】撮像部の画素の回路構成を示す図である。
【図４】画素の回路における駆動タイミングチャートである。
【図５】撮像部の画素の構造を示す図である。
【図６】合焦時の第１の副画素Ｓ１と第２の副画素Ｓ２の像信号の位相差を示す図である。
【図７】非合焦時の第１の副画素Ｓ１と第２の副画素Ｓ２の像信号の位相差を示す図である。
【図８】一対の像信号の位相シフト量とデフォーカス量との関係を示す図である。
【図９】デフォーカス量が小さいときに副画素列に投影される被写体像を表した模式図である。
【図１０】デフォーカス量が大きいときに副画素列に投影される被写体像を表した模式図である。
【図１１】像信号に表れるノイズの説明に用いるパターン被写体である。
【図１２】パターン被写体に対する第１および第２の副画素列の像信号およびその加算信号を示したグラフ（ノイズ混入なし）である。
【図１３】パターン被写体に対する第１および第２の副画素列の像信号およびその加算信号を示したグラフ（ノイズ混入あり）である。
【図１４】図１３における像信号対の相関量を位相シフト量ごとに示したグラフである。
【図１５】図１４における像信号対の相関量を位相シフト量ごとに示したグラフである。
【図１６】本発明の実施形態に係るデジタルカメラの焦点検出動作の流れを示すフローチャートである。
【図１７】本発明の実施形態に係る相関量置換後の相関量と位相シフト量との関係を示すイメージ図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について説明をする。ここでは、本発明にかかる焦点検出装置を、レンズ交換式のデジタル一眼レフカメラに適用した実施形態について説明をする。しかしながら、本発明にかかる焦点検出装置は、位相差検出方式の焦点検出に用いる信号を生成可能な撮像素子を有する任意の電子機器に適用可能である。電子機器としては、レンズ交換できないタイプのデジタルカメラや、ビデオカメラの他、カメラを備えた携帯電話機、パーソナルコンピュータ、ゲーム機、家電機器などが例として挙げられる。
【００１４】
本実施形態の焦点検出装置は、像面位相差方式の焦点検出を行う焦点検出装置であり、一対の視差画像信号（Ａ像信号とＢ像信号）を用い、Ａ像信号に対するＢ像信号の位相シフト量（位相差ともいう）を変化させて相関演算を行い、相関演算曲線を取得する。そして、相関量が最小値をとる（つまり、相関が最大となる）位相差を探索し、探索結果に基づいてデフォーカス量を取得する。尚、Ｂ像信号はＡ＋Ｂ像信号とＡ像信号との差分から取得する。その際、逆波形ノイズの影響を受けやすい範囲において取得した相関量を別の値で置き換え、置き換えた後の相関量を用いて相関量が最小値をとる位相差を探索する。置き換える値は、取得した相関量から逆波形ノイズの影響を低減した値であり、これにより逆波形ノイズの影響を低減して焦点検出を行うことができる。
【００１５】
以下、本実施形態について、図面を参照して詳細に説明する。
【００１６】
＜デジタルカメラシステムの構成＞
図１は、本実施形態に係る撮像装置の一例であるデジタルカメラシステムの概略構成を示す図である。
【００１７】
図１において、デジタルカメラシステムは、レンズ部１００とカメラ部２００を備える。レンズ部１００は、不図示のマウント部のレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ送信ライン、データ受信ラインなどからなる通信バスライン用の端子がある。これらにより、レンズ部１００とカメラ部２００が通信可能になっている。
【００１８】
レンズ部１００には、撮像光学系を構成し、フォーカスレンズやズームレンズを有するレンズ群１０１、及び入射光線を制御する絞り１０２が設けられている。また、レンズ群１０１のズームやフォーカスを行うためのステッピングモータからなる駆動系（不図示）、及び駆動系を制御するレンズ駆動ユニット１０３が設けられている。レンズ駆動ユニット１０３と駆動系は焦点調節手段を構成する。
【００１９】
また、レンズ部１００には、絞り１０２の開口を制御する絞り制御ユニット１０４と、レンズ群１０１のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部１０６が設けられている。
【００２０】
レンズ駆動ユニット１０３、絞り制御ユニット１０４、および光学情報記録部１０６は、レンズ部１００全体の動作を制御するＣＰＵからなるレンズコントローラ１０５に接続されている。
【００２１】
また、レンズ部１００には、レンズ駆動ユニット１０３に内包されたステッピングモータの位相波形を、レンズ駆動ユニット１０３からレンズコントローラ１０５を通じて取得してレンズの位置情報を検出するレンズ位置検出部１０７が設けられている。
【００２２】
カメラ部２００は、レンズ部１００と電気接点ユニット１０８を介して通信を行い、レンズ群１０１のズームやフォーカス、絞り１０２の開口について制御要求を送信し、制御結果を受信する。
【００２３】
入射光線は、レンズ群１０１及び絞り１０２を介して、カメラ部２００内における不図示の撮像素子及び現像演算を行うプロセッサからなる撮像部２１３へ導かれる。撮像部２１３では、入射した被写体像を光電変換して現像演算することで撮像データが得られる。
【００２４】
また、カメラ部２００には、カメラ部２００へ操作入力を行うための操作スイッチ２１４が設けられている。操作スイッチ２１４は、２段ストロークタイプのスイッチで構成されている。１段目のスイッチ（ＳＷ１）は、撮像信号を用いた測光や焦点検出など撮影準備動作を開始させるためのスイッチである。２段目のスイッチ（ＳＷ２）は、静止画を取得するため、撮像部２１３で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。
【００２５】
撮像部２１３は、光電変換部を有する画素を複数有する撮像素子と、撮像素子から出力されたアナログ信号である電気信号を、デジタルデータである像信号に変換するＡ／Ｄ変換器とを備える。撮像素子としては、例えばＣＣＤイメージセンサーやＣＭＯＳイメージセンサーを用いることができる。また、Ａ／Ｄ変換器は撮像素子に組み込まれていても良い。尚、本明細書では、画素が像信号に対応する電気信号を出力することを、単に、画素が像信号を出力するということがある。撮像素子が有する画素のうち、少なくとも一部の画素は焦点検出のために用いる像信号を出力可能である。画素で光電変換して得られた焦点検出用の像信号は、カメラコントローラ２１５と接続されているメモリ２１６に一時記憶される。メモリ２１６に一時記憶された一対の視差画像信号（以下、単に一対の像信号と呼ぶことがある）は、カメラコントローラ２１５と接続されている画素加算部２１７へ送られる。
【００２６】
画素加算部２１７は、一対の視差画像信号に対して、位置的に対応する画素から得られた像信号を、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算する。加算された一対の像信号は、カメラコントローラ２１５と接続されている相関量取得手段である相関演算部２１９へ送られ、相関演算部２１９は相関演算により一対の像信号の位相シフト量ごとの相関量を取得し、相関演算曲線を取得する。この相関演算は第１の位相シフト範囲で行うものとする。取得された相関量は、後述する所定条件において、相関量を置換する置換手段である相関量補間部２３０で、一部の相関量（第２の位相シフト範囲の相関量）の置換を行う。相関量補間部の詳細な動作は別途詳細に後述するが、相関量を置換する範囲における相関量を、相関量を置換しない範囲における相関量から補間する要領で置換後の相関量を取得するため、本実施形態では置換手段を相関量補間部２３０と呼ぶものとする。相関量補間部２３０から出力された相関量は、カメラコントローラ２１５と接続されている相関量加算部２２０で、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算される。加算された相関量は、位相差検出部２２１へ送られ、最も相関量が高くなる位相差（相関量が最小値を示す位相差）が取得される。
【００２７】
デフォーカス量取得手段であるデフォーカス量検出部２２２は、位相差検出部２２１で取得された位相差とレンズ部１００の光学特性に基づいて、公知の位相差検出方式によりデフォーカス量を取得する。算出されたデフォーカス量は、デフォーカス量加算部２２３へ送られ、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算される。
【００２８】
尚、相関量取得手段のことを第１の取得手段、デフォーカス量取得手段を第２の取得手段と呼ぶことがある。
【００２９】
カメラコントローラ２１５は、電気接点ユニット１０８を介してレンズコントローラ１０５と制御情報を送受信し、デフォーカス量検出部２２２またはデフォーカス量加算部２２３で算出されたデフォーカス量に基づいて、レンズ群１０１の焦点位置を制御する。
【００３０】
本実施形態におけるデジタルカメラは、撮像部２１３で撮像された被写体像や各種の操作状況を表示する表示部２２４と、撮像部２１３の動作を後述する２つの動作モード、ライブビューモードあるいは動画記録モードに切り替えるための操作部２２５を備える。また、デジタルカメラでは、電源投入とともにライブビューモードが自動で設定され、撮像部２１３で撮像を開始して、撮像した被写体像が現像演算されて表示部２２４で表示される。撮像部２１３で撮像された静止画や動画は、所定のデータフォーマットで記録部２２６に記録される。
【００３１】
また、デジタルカメラは、撮像部２１３の温度を計測する温度測定部２２７と、撮像部２１３からの像信号を用いて、相関演算部２１９による相関演算の対象となる視差画像信号対を生成する画像処理手段とを備える。本実施形態のデジタルカメラは、画像処理手段として、撮像部２１３からの２つの像信号を入力して一方の像信号から他方を減算する画素減算部２２８と、像信号に１次元のローパスフィルタリング（ＬＰＦ）を行うＬＰＦ処理部２２９を備える。
【００３２】
次に、撮像素子の構成について、図２〜７を用いて説明をする。
【００３３】
図２は、撮像素子の受光面を入射光側から見た模式図である。撮像素子が備える画素のそれぞれは、射出瞳面で分割された一対の光線がそれぞれ入射する第１の副画素Ｓ１および第２の副画素Ｓ２を備える。第１の副画素Ｓ１には、射出瞳の第１の瞳領域を通過する光束が入射し、第２の副画素Ｓ２には、射出瞳の第２の瞳領域を通過する光束が入射する。第１の副画素Ｓ１および第２の副画素Ｓ２の前面には、集光用にマイクロレンズＭＬが配置されている。撮像素子の受光面には、第１の副画素Ｓ１、第２の副画素Ｓ２、およびマイクロレンズＭＬを組とする画素が、水平方向にｈ画素、垂直方向にｖ画素配置されている。第１及び第２の副画素Ｓ１、Ｓ２からの像信号は焦点検出用に、単位画素からの像信号は撮像用に用いることができる。また、同じ画素を構成する第１の副画素と第２の副画素のことを、対をなす副画素ということがある。対をなす副画素同士には、同一のマイクロレンズＭＬを通過した光束が入射する。
【００３４】
図３は、画素の回路構成を示す図である。画素３００は、第１のフォトダイオード３０１Ａ、第２のフォトダイオード３０１Ｂ、第１の転送スイッチ３０２Ａ、第２の転送スイッチ３０２Ｂ、フローティングディフュージョン領域３０３を備える。さらに、画素３００は、増幅部３０４、リセットスイッチ３０５、選択スイッチ３０６を備える。符号３０８は共通電源ＶＤＤである。尚、第１のフォトダイオード３０１Ａと第１の転送スイッチ３０２Ａは第１の副画素Ｓ１を構成し、第２のフォトダイオード３０１Ｂと第２の転送スイッチ３０２Ｂは第２の副画素Ｓ２を構成する。
【００３５】
第１と第２のフォトダイオード３０１Ａおよび３０１Ｂは、同一のマイクロレンズＭＬを通過してそれぞれに入射する光線を光電変換する。第１および第２の転送スイッチ３０２Ａおよび３０２Ｂは、それぞれ第１と第２のフォトダイオード３０１Ａおよび３０１Ｂで発生した電荷を、選択的に共通のフローティングディフュージョン領域３０３へ転送するよう制御する。第１と第２の転送スイッチ３０２Ａおよび３０２Ｂは、それぞれ第１および第２の転送パルス信号ＰＴＸＡおよびＰＴＸＢによって制御される。フローティングディフュージョン領域３０３は、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂからそれぞれ転送された電荷を一時的に保持する。このフローティングディフュージョン領域３０３は、保持した電荷を電圧信号に変換する作用をもたらす。増幅部３０４は、ソースフォロワＭＯＳトランジスタで構成され、フローティングディフュージョン領域３０３に保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。リセットスイッチ３０５は、フローティングディフュージョン領域３０３の電位を基準電位ＶＤＤにリセットする。リセットスイッチ３０５は、リセットパルス信号ＰＲＥＳにより制御される。選択スイッチ３０６は、増幅部３０４から垂直出力線３０７への画素信号の出力を制御する。選択スイッチ３０６は、垂直選択パルス信号ＰＳＥＬにより制御される。
【００３６】
図４は、画素３００の回路の駆動を示すタイミングチャートである。
【００３７】
はじめに、時刻ｔ１乃至ｔ２の間において、リセットパルス信号ＰＲＥＳがＨｉｇｈの状態で、第１と第２の転送パルス信号ＰＴＸＡおよびＰＴＸＢをＨｉｇｈにすることにより、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂをリセットする。
【００３８】
時刻ｔ２において、第１と第２の転送パルス信号ＰＴＸＡおよびＰＴＸＢをＬｏｗにすることで、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂでの電荷の蓄積を開始する。
【００３９】
所望の露光量に基づく必要時間だけ電荷蓄積を行った後、時刻ｔ３において、垂直選択パルス信号ＰＳＥＬをＨｉｇｈにすることで、選択スイッチ３０６をＯＮにする。つづいて時刻ｔ４において、リセットパルス信号ＰＲＥＳをＬｏｗにすることで、フローティングディフュージョン領域３０３のリセットを解除する。
【００４０】
時刻ｔ５乃至ｔ６の間において、第１の転送パルス信号ＰＴＸＡをＨｉｇｈにすることで、第１の転送スイッチ３０２ＡをＯＮにして、第１のフォトダイオード３０１Ａの電荷をフローティングディフュージョン領域３０３へ転送する。
【００４１】
時刻ｔ６において、第１の転送パルス信号ＰＴＸＡをＬｏｗにすることで、第１のフォトダイオード３０１Ａに蓄積された電荷がフローティングディフュージョン領域３０３に読み出される。電荷が読み出されることで、電位の変化に応じた電圧信号が増幅部３０４と選択スイッチ３０６を経て、第１の焦点検出画素信号として垂直出力線３０７に出力される。
【００４２】
時刻ｔ７乃至ｔ８の間において、第１の転送パルス信号ＰＴＸＡをＨｉｇｈにすると同時に第２の転送パルス信号ＰＴＸＢもＨｉｇｈにすることで、第１と第２の転送スイッチ３０２Ａおよび３０２ＢをＯＮにする。これにより、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂの電荷が、同時にフローティングディフュージョン領域３０３へ転送される。
【００４３】
時刻ｔ８において、第１と第２の転送パルス信号ＰＴＸＡおよびＰＴＸＢをＬｏｗにすることで、転送された電荷がフローティングディフュージョン領域３０３に読み出される。電荷が読み出されることで、電位の変化に応じた電圧信号が増幅部３０４と選択スイッチ３０６を経て、第１と第２の焦点検出画素信号の加算信号として垂直出力線３０７に出力される。
【００４４】
時刻ｔ９において、リセットパルス信号ＰＲＥＳをＨｉｇｈにすることにより、フローティングディフュージョン領域３０３をリセットする。
【００４５】
以上の動作が単位画素ごとに順次行われ、第１の副画素の画素列から取得される像信号と、第１と第２の副画素の画素列から取得される像信号の加算信号の読み出しが完了する。尚、本明細書では、第１の副画素の画素列から取得される像信号をＡ像信号、第２の副画素の画素列から取得される像信号をＢ像信号とし、第１と第２の副画素の画素列から取得される像信号をＡ＋Ｂ像信号とする。
【００４６】
読み出されたＡ像信号およびＡ＋Ｂ像信号は、画素減算部２２８に入力され、これらの像信号の差分をとることで、電気的に第２の副画素の画素列の像信号（Ｂ像信号）が生成される。尚、本発明および本明細書においては、本実施形態のように、実際にはＢ像信号のみの読み出しをせず、間接的にＢ像信号を取得する場合であっても、Ｂ像信号は第２の副画素又は第２のフォトダイオード３０１Ｂから得られるとする。
【００４７】
図５は図２における単位画素の構造を示す断面図である。図５において、第１の副画素Ｓ１及び第２の副画素Ｓ２の光入射側には、マイクロレンズＭＬが配置されている。符号５０１は、マイクロレンズＭＬを配置するための平面を構成する平滑層である。遮光層５０２の下流には、第１及び第２のフォトダイオード３０１Ａ、３０１Ｂが配置されており、射出瞳の第１の瞳領域を通過する光束は第１のフォトダイオード３０１Ａへ、射出瞳の第２の瞳領域を通過する光束は第２のフォトダイオード３０１Ｂへ入射する。単位画素がこのような構成を有することにより、撮像光学系の瞳が対称に分割され、分割されたそれぞれの光束に対応する像信号が取得できる。
【００４８】
＜第１と第２の副画素の画素列から取得される像信号を用いた焦点検出＞
図２において、対をなす第１の副画素の列と第２の副画素の列とから取得される像信号は、副画素列を構成する副画素の数が多くなるにつれて近似した２像となる。撮像光学系が被写体に対してピントが合っている状態では、第１の副画素Ｓ１の画素列から出力されるＡ像信号と、第２の副画素Ｓ２の画素列から出力されるＢ像信号は互いにほぼ一致する。これに対して、撮像光学系のピントがずれていると、Ａ像信号とＢ像信号には、位相差が生じる。そして、その位相差の方向は前ピン状態と後ピン状態とで逆になる。
【００４９】
図６は、ピントが合ったときの第１の副画素Ｓ１と第２の副画素Ｓ２の像信号の位相差を示す図である。一方、図７は、ピントが合っていないときの第１の副画素Ｓ１と第２の副画素Ｓ２の像信号の位相差を示す図である。
【００５０】
被写体上の特定の点からの光束は、副画素Ｓ１に対応する分割瞳である第１の瞳領域を通って該副画素Ｓ１に入射する光束ΦＬａと、副画素Ｓ２に対応する分割瞳である第２の瞳領域を通って該副画素Ｓ２に入射する光束ΦＬｂとに分割される。光束ΦＬａは第１のフォトダイオード３０１Ａに、光束ΦＬｂは、第２のフォトダイオード３０１Ｂにそれぞれ入射する。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図６に示すように、同一のマイクロレンズＭＬを通過して撮像素子上の隣り合う副画素Ｓ１、Ｓ２に到達する。したがって、第１の副画素Ｓ１の列から出力される一列の像信号と、第２の副画素Ｓ２の列から出力される一列の像信号は互いにほぼ一致する。
【００５１】
しかしながら、図７に示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。よって、被写体上の同一点からの光は異なるマイクロレンズＭＬを通過して撮像素子上で離れた副画素Ｓ１、Ｓ２に到達し、それぞれが有する第１及び第２のフォトダイオード３０１Ａ、３０１Ｂに入射する。したがって、第１の副画素Ｓ１の列から出力される一列の像信号と、第２の副画素Ｓ２の列から出力される一列の像信号には、位相差が生じる。
【００５２】
＜位相差とデフォーカス量の関係＞
図８は、副画素Ｓ１の列及び副画素Ｓ２の列からなる一対の副画素列における像信号の位相シフト量とレンズ群１０１の焦点位置のデフォーカス量との関係を示す図である。図８に示すように、像信号の位相シフト量（横軸）が大きくなるにつれてデフォーカス量（縦軸）が単調に増加する。また、位相シフトの向きとデフォーカス量の向き（至近側／無限側）が対応する。
【００５３】
図９は、デフォーカス量が小さいときの像信号を表した模式図、図１０は、デフォーカス量が大きいときの像信号を表した模式図である。
【００５４】
瞳面で分割された光線が画素列上に２次結像された被写体像のうち、副画素Ｓ１の画素列で取得された像信号に基づく像をＡ像、副画素Ｓ２の画素列で取得された像信号に基づく像をＢ像と呼ぶものとする。尚、Ａ像及びＢ像はそれぞれ、副画素Ｓ１、Ｓ２の列の光軸中心位置に対してオフセットを持って結像している。また、Ａ像とＢ像の各オフセットは光軸中心に対して対称である。
【００５５】
図９はデフォーカス量が小さい場合を示しており、図１０はデフォーカス量が大きい場合を示している。図１０における光軸中心位置に対するオフセットが、図１０のそれに比べて大きくなっている。このように、レンズ群１０１の焦点位置のデフォーカス量に応じて、副画素Ｓ１の列と副画素Ｓ２の列のそれぞれに結像される２つの被写体像の位相差が変化する。位相差は、公知の手法によりデフォーカス量に変換することができ、さらにデフォーカス量とレンズ群１０１の倍率関係に基づき、公知の手法により被写体までの距離を算出することもできる。
【００５６】
＜デフォーカス量の加算平均による信頼性向上＞
次に、位相差検出方式による焦点検出結果を加算平均することによる、焦点検出結果の信頼性向上について説明する。
【００５７】
位相差検出方式による焦点検出では、カメラのフォーカス状態と被写体像の合焦位置との差分が検出される。例えば低輝度で十分な信号が得られていない場合、被写体像の信号に含まれるノイズの比率が高まるために信号に歪みが生じて、位相差を算出する際の相関演算に誤差が生じる。その結果、デフォーカス量にばらつきが生じて誤差が生じる。例えば、ノイズレベルより被写体像の信号レベルの方が大きい場合、焦点検出画素で得られる被写体像の信号は、ノイズによる変形が軽微なため、一対の視差画像信号に基づくデフォーカス量は比較的正確に求められる。この場合、同一条件で複数回デフォーカス量を取得し、取得した複数のデフォーカス量の結果を加算平均することで、デフォーカス量のばらつきを抑えることができ、焦点検出精度を向上できる。一方、被写体像の信号レベルよりノイズレベルの方が大きい場合、焦点検出画素で得られる被写体像の信号は、ノイズによる変形が著しく、一対の視差画像信号に基づくデフォーカス量は、被写体像に無関係の誤った結果を示すことが多い。この場合、同一条件で複数のデフォーカス量を取得し、その結果を加算平均しても、被写体像によらない結果の平均をとることとなる。よって、結果サンプルをいくら増やしても焦点検出精度の向上は見込めない。
【００５８】
そこで、本実施形態では、ノイズレベルより被写体像の信号レベルが低くなる低輝度といった被写体条件において、後述する相関量の置き換えを行うことにより、焦点検出精度を向上させる。尚、デフォーカス量の加算平均と相関量の置き換えとを併用することも可能である。
【００５９】
＜瞳分割した一方の像信号にノイズが混入することによる他方の像信号への影響＞
次に、第１あるいは第２の副画素列にノイズが混入した場合の、像信号と相関量について説明する。
【００６０】
図１１は、説明用に分かりやすい図形パターンで示したパターン被写体１２００である。パターン被写体１２００は、灰色部１２０１と白色部１２０２で構成されている。図１１において、説明用に着目する、焦点検出に用いる画素列の領域（いわゆる焦点検出領域）を１２０３とする。
【００６１】
図１２は、図１１に示すパターン被写体１２００に対するＡ像信号（ｂ）、Ｂ像信号（ｃ）、及びＡ＋Ｂ像信号（ａ）を示したグラフである。なお、レンズ群１０１の焦点は合焦状態で、Ａ像信号とＢ像信号とに位相差が生じていないものとする。
【００６２】
図１２（ａ）は加算信号であるＡ＋Ｂ像信号のグラフであり、水平方向のＸ座標がＸ０乃至Ｘ１の区間とＸ２乃至Ｘ３の区間における輝度の低い灰色部１２０１の像信号出力がＹ２で示されている。また、Ｘ１乃至Ｘ２の区間における輝度の高い白色部１２０２の像信号出力がＹ４で示されている。撮像部２１３で発生する暗電流の影響により、入射光量の無い状態でも一定の信号値が加わるため、その信号レベルがＯＢで示されている
図１２（ｂ）は第１の副画素列の像信号であるＡ像信号を示すグラフであり、図１２（ｃ）は第２の副画素列の像信号であるＢ信号を示すグラフである。図１２（ｂ）と（ｃ）において、水平方向のＸ座標がＸ０乃至Ｘ１の区間とＸ２乃至Ｘ３の区間における輝度の低い灰色部１２０１の像信号出力がＹ１で示されている。また、Ｘ１乃至Ｘ２の区間における輝度の高い白色部１２０２の像信号出力がＹ３で示されている。ここで、第１と第２の副画素列の像信号出力Ｙ１は、その加算された像信号出力Ｙ２とＯＢの中間値である。また、第１と第２の副画素列の像信号出力Ｙ３は、その加算された像信号出力Ｙ４とＯＢの中間値である。
【００６３】
図１３は、図１２で示した第１の副画素列の像信号（ｂ）と、第１と第２の副画素列の像信号の加算信号（ａ）とにおいて、それぞれ独立したノイズが混入した場合における、第２の副画素列の像信号（ｃ）を示したグラフである。
【００６４】
本実施形態の撮像部２１３は、フローティングディフュージョン領域３０３において、第１の副画素列のみの電荷を電圧変換するタイミングと、第１と第２の副画素列の加算信号の電荷を電圧変換するタイミングが異なっている。このため、双方に加わるノイズは必ずしも一致しない。このため、図１３では、それぞれ独立したノイズが混入している場合を示している。
【００６５】
図１３（ａ）は加算信号（Ａ＋Ｂ像信号）にノイズが混入した様子を示すグラフであり、水平方向のＸ座標がＸ１乃至Ｘ２の区間に、模式的にノイズΔＮＡＢが示されている。図１３（ｂ）は第１の副画素列の像信号（Ａ像信号）にノイズが混入した様子を示すグラフであり、水平方向のＸ座標がＸ１乃至Ｘ２の区間に、模式的にノイズΔＮＡが示されている。図１３（ｃ）は第２の副画素列の像信号にノイズが混入した様態を示すグラフであり、水平方向のＸ座標がＸ１乃至Ｘ２の区間に、模式的にノイズΔＮＢが示されている。ここで第２の副画素列の像信号は、第１と第２の副画素列の像信号の加算信号から第１の副画素列の像信号を、電気的に差し引くことで求められる。このため、第２の副画素列の像信号（Ｂ＋ΔＮＢ）は、下記の式１に示す信号となる。
Ｂ＋ΔＮｂ＝（Ａ＋Ｂ＋ΔＮａｂ）−（Ａ＋ΔＮａ）
＝Ｂ＋ΔＮａｂ−ΔＮａ
∴ΔＮｂ＝ΔＮａｂ−ΔＮａ…（式１）
Ａ：第１のフォトダイオードで生成された電荷に基づく信号（Ａ像信号からノイズを引いた信号）
Ｂ：第２のフォトダイオードで生成された電荷に基づく信号（Ｂ像信号からノイズを引いた信号）
ΔＮａｂ：加算信号に重畳するノイズ
ΔＮａ：Ａ像信号に重畳するノイズ
ΔＮｂ：Ｂ像信号に重畳するノイズ
【００６６】
図１３の（ｂ）と（ｃ）を比べると、ΔＮａとΔＮｂが正負逆向きに生じており、ノイズ混入の無い図１２の（ｂ）と（ｃ）の様態と比べて、像信号の相関が悪化していること分かる。
【００６７】
図１４は、図１２における第１および第２の副画素列の像信号（Ａ像信号とＢ像信号）の相関を、位相シフト量ごとに示したグラフである。図１２において、レンズ群１０１の焦点は合焦状態で、第１と第２の副画素列の像信号に位相差が生じていないものとしているため、位相シフト量がゼロの場合に、２像の差分が最小値のＣ１となっていて、最も相関が高くなっている。
【００６８】
図１５は、図１２にノイズが混入した場合である、図１３における第１および第２の副画素列の像信号（Ａ像信号とＢ像信号）の相関を、位相シフト量ごとに示したグラフである。図１５において、図１３の（ｂ）と（ｃ）を用いて説明した通り、第１および第２の副画素列の像信号にそれぞれノイズΔＮＢとΔＮａが混入している。このノイズの混入により、位相シフト量がゼロを挟んだ値±Ｐの範囲で２像の差分が増加している。２像の差分は位相シフト量が値±ＰにおいてＣ２だったが、ノイズΔＮＢとΔＮａの影響により位相シフト量ゼロで２像の差分がΔＣＮ悪化してしまい値Ｃ３まで増加してしまっている。このような相関量が得られてしまうと、本来は図１４に示すように位相シフト量ゼロが最も相関が高いと判断すべきところが、図１５に示すような位相シフト量−Ｐあるいは＋Ｐが最も相関が高いと判断して誤差が生じてしまう。このように相関量に誤差が生じてしまうと、如いては焦点検出の精度が悪化してしまうことがある。
【００６９】
そこで本実施形態では、取得された相関演算結果における一部の範囲の相関量を、相関量補間部２３０により置換し、置換後の相関量を用いて相関量が最小値をとる位相差を取得し、デフォーカス量を取得する。相関量補間部２３０による相関量補間（相関量の置換）の詳細は、以下のデジタルカメラシステムの動作の説明と共に説明をする。
【００７０】
＜デジタルカメラシステムの動作＞
図１６は、本実施形態におけるデジタルカメラシステムの焦点検出動作の流れを示すフローチャートである。本動作は、カメラコントローラ２１５が各部を制御することにより実現される。
【００７１】
本実施形態のデジタルカメラシステムでは、電源投入後に動作モードがライブビューモードに自動的に設定され、撮像部２１３で撮像を連続的に行いつつ、第１の副画素列の像信号（Ａ像信号）と、２像の加算信号（Ａ＋Ｂ像信号）が生成されているものとする。また、加算信号を用いて、撮像された被写体像が表示部２２４で表示されているものとする。
【００７２】
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより焦点検出動作が開始される。
【００７３】
ステップＳ１７０１では、カメラコントローラ２１５は、第１の副画素列の像信号と、第１と第２の副画素列の像信号の加算信号を、撮像部２１３から画素減算部２２８へ転送する。（以降、第１と第２の副画素列の像信号を、２像と呼ぶ。）画素減算部２２８は、２像の加算信号から、第１の副画素列の像信号を電気的に減算することで、第２の副画素列の像信号（Ｂ像信号）を算出する。これにより、第１と第２の副画素列のそれぞれ独立した像信号を取得する。取得後、ステップＳ１７０２へ進む。
【００７４】
ステップＳ１７０２では、カメラコントローラ２１５は、２像に対してそれぞれ独立して、黒レベル補正や撮像光学系に起因する周辺光量落ちなど、各種の信号レベル変動を抑える補正処理を行う。信号レベルが変動する要因は、被写体像を射出瞳面で光線分割したことにより、第１の副画素列と第２の副画素列に、角度の異なる光線が入射するためである。補正処理後、ステップＳ１７０３へ進む。
【００７５】
ステップＳ１７０３では、カメラコントローラ２１５は、２像を画素減算部２２８から相関演算部２１９へ転送する。相関演算部２１９では、焦点を検出するデフォーカス範囲に基づいて設定される、位相シフト量ゼロ（一対の視差画像信号をシフトしない位置ともいう）を含む第１の位相シフト範囲において、シフト量ごとの２像の差分を相関量として算出する。この相関量は、２像の不一致度を示すもので、不一致度が低いほど２像の相関が高いことを表す。算出後、ステップＳ１７０４へ進む。
【００７６】
ステップＳ１７０４乃至ステップＳ１７１０は、算出された相関量に対して必要に応じて一部の相関量を周辺の相関量から補間する本実施形態の特徴的な動作であり、以下詳細に説明する。
【００７７】
ステップＳ１７０４では、カメラコントローラ２１５は、２像を相関量補間部２３０へ転送する。相関量補間部２３０は、２像の含まれる画素信号の最高値と最低値からその高低差（いわゆるコントラスト）を算出する。この高低差が小さくなるにつれて、２像の波形による相関量の変化に対して、ノイズによる相関量の変化が無視できなくなる可能性が高くなるため、後述する補間処理を行うことが好ましい。このため、本ステップにて高低差を算出する。算出後、ステップＳ１７０５へ進む。
【００７８】
ステップＳ１７０５では、相関量補間部２３０は、ステップＳ１７０４で算出した高低差が所定の閾値未満か否かを判断する。閾値未満であった場合は、後段ステップで説明する補間処理を行うため、ステップＳ１７０６へ進む。閾値以上であった場合は、補間処理を行わなくて差し支えないと判断し、ステップＳ１７１１へ進む。
【００７９】
ステップＳ１７０６では、相関量補間部２３０は、相関量を置換する範囲である第２の位相シフト範囲を決定する。本ステップにおける第２の位相シフト範囲の決定方法について説明する。まず、相関量補間部２３０は、図１５における、位相シフト量±Ｐを探す動作を行う。つまり、位相シフト量ゼロを挟んだ正負の両方向において、絶対値がなるべく小さく、且つ、相関量が極小値をとる位相シフト量を探索する。そして、探索された正負の位相シフト量に挟まれた位相シフト範囲（図１５における−Ｐより大きく、＋Ｐより小さい範囲）を、相関量補間部２３０は補間対象の位相シフト範囲（第２の位相シフト範囲）として決定する。決定後、ステップＳ１７０７へ進む。
【００８０】
ステップＳ１７０７では、相関量補間部２３０は、相関量が極小となる位相シフト条件を探索し、さらにその中で相関量が最小となる条件を抽出し、その位相シフト条件での相関量の微分値を、相関急峻度として算出する。算出後、ステップＳ１７０８へ進む。
【００８１】
ステップＳ１７０８では、相関量補間部２３０は、ステップＳ１７０７で算出した相関急峻度が所定の閾値以上か否かを判断する。閾値以上であった場合は、少しの位相シフト変動で相関量が急峻に変化していることが分かる。この場合、後段ステップで相関量を補間する際に、補間対象とする位相シフト量の範囲に隣接するシフト量の相関量で補間してしまうと、相関量の急峻な変化を再現できなくなってしまう。如いては、最も相関の高い位相シフト量の判定に誤差が生じてしまい、補間した相関量を用いて行われる焦点検出の精度を向上させることが難しい。このような不具合を避けるために、相関の急峻な変化を踏まえた補間を後段（Ｓ１７０９）で行わせる。そこで、閾値以上であった場合は、重い演算負荷ながら相関の急峻な変化を踏まえて補間するステップＳ１７０９へ進む。相関急峻度が閾値未満であった場合は、軽い演算負荷で簡易的な補間を行うステップＳ１７１０へ進む。
【００８２】
ステップＳ１７０９では、相関量の置換を行わないシフト範囲における相関量と位相シフト量との関係に基づいて相関量と位相シフト量との関係を表す数式を取得する。そして、この数式を用いて取得した第２の位相シフト範囲における相関量を、第２の位相シフト範囲の相関量とする（第１の補間方法）。具体的な処理について説明をする。相関量補間部２３０は、ステップＳ１７０６で探索された位相シフト量（±Ｐ）を起点に、位相シフト量ゼロと反対側の方向に所定シフト量だけの範囲を、補間元の位相シフト範囲（第３の位相シフト範囲と呼ぶことがある）として決定する。そして、相関量補間部２３０は、この第３の位相シフト範囲の位相シフト量と相関量との関係を用いてスプライン補間あるいは最小二乗法といった公知の補間方法を用いて、補間に用いる数式（補間式と呼ぶことがある）を取得する。数式は、高次式とすることが好ましい。第３の位相シフト範囲の幅は相関量と位相シフト量とのグラフの傾き、像信号の大きさ（Ｓ／Ｎ比）、取得する補間式の精度と演算付加のバランス等に応じて適宜設定することができる。例えば、ステップＳ１７０６で探索された位相シフト量（±Ｐ）を起点に、グラフの傾きが所定の値以上をとる範囲までを第３の位相シフト範囲としても良い。補間式の取得後、補間先の位相シフト量範囲である第２の位相シフト範囲に対して、取得した補間式を適用して補間処理を行い、第２の位相シフト範囲における相関量を取得する。そして、第２の位相シフト範囲における相関量を、ステップＳ１７０３で取得した相関量からステップＳ１７０９で取得した取得結果（補間処理によって取得した相関量）で置換することで、相関演算部２１９により取得した相関演算曲線の一部を置換する。置換後、ステップＳ１７１１へ進む。
【００８３】
ステップＳ１７１０では、ステップＳ１７０９よりも軽い演算負荷で簡易的な補間を行うステップであり、第２の位相シフト範囲の相関量を相関量の極小値で置き換える（第２の補間方法）。具体的な処理について説明をする。相関量補間部２３０は、ステップＳ１７０６で決定した第２の位相シフト範囲を、第２の位相シフト範囲の境界となる位相シフト量の相関量（＋Ｐにおける相関量と−Ｐにおける相関量）のうち、小さい方の相関量で置換する。これにより、相関演算部２１９により取得した相関演算曲線の一部を置換する。
【００８４】
第２の位相シフト範囲の境界となる位相シフト量とは、置換を行う範囲と行わない範囲との境界となる位相シフト範囲のことを指し、ステップＳ１７０６で探索された相関量が極小値をとる位相シフト量と一致する。置換後、ステップＳ１７１１へ進む。
【００８５】
図１７（ａ）は、ステップＳ１７０９による第１の補間方法を行うことにより取得される、相関量と位相シフト量とのグラフである。また、図１７（ｂ）は、ステップＳ１７１０による第２の補間方法を行うことにより取得される、相関量と位相シフト量とのグラフである。それぞれのグラフにおいて、点線は補間前の相関量と位相シフト量との関係を示し、実線は補間後の相関量と位相シフト量との関係を示す。図１７（（ａ）、（ｂ））に示すように、補間前は±Ｐの範囲において図１５に示したグラフと同様にノイズの影響が現れるが、第１又は第２の補間方法を行うことにより、±Ｐの範囲に現れていたノイズの影響を軽減することができる。
【００８６】
ステップＳ１７１１では、カメラコントローラ２１５が相関演算曲線に基づいて、最も相関量の小さくなる最相関シフト量を算出する。ステップＳ１７０９又はステップＳ１７１０による補間を行う条件下において、カメラコントローラ２１５が用いる相関演算曲線は、相関量補間部２３０により一部が置換された相関演算曲線である。一方、ステップＳ１７０５から直接ステップＳ１７１１へ進む条件下においては、カメラコントローラ２１５が用いる相関演算曲線は、相関演算部２１９が取得した相関演算曲線である。最相関シフト量は、自然数である１シフト量単位では焦点検出に用いる精度としては粗いため、少なくとも小数点第３位、できれば小数点第５位程度まで、上記の補間式から求めることが好ましい。第２の補間方法を用いると相関量が置換される第２の位相シフト範囲で相関量が等しくなる。第２の位相シフト範囲における相関量が、相関量を算出する範囲である第１の位相シフト範囲における相関量の最小値をとる場合、第２の位相シフト範囲の中央値を最相関シフト量とすることができる。
【００８７】
最相関シフト量の算出後、ステップＳ１７１２へ進む。
【００８８】
ステップＳ１７１２では、カメラコントローラ２１５は、ステップＳ１７１１で算出された最相関シフト量とレンズ部１００の光学特性に基づいて、デフォーカス量を算出する。算出後、ステップＳ１７１３へ進む。
【００８９】
ステップＳ１７１３では、カメラコントローラ２１５は、算出されたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することで焦点検出動作が終了となる。
【００９０】
本実施形態によれば、第１の副画素列の像信号と、第１と第２の副画素列の像信号の加算信号から、電気的に第２の副画素列の像信号を取得して焦点検出する構成において、ノイズの影響を低減して、高精度な焦点検出を行うことができる。
【００９１】
（変形例）
ここで、ステップＳ１７０４乃至ステップＳ１７０５に対する変形例を説明する。
【００９２】
ステップＳ１７０４にて、相関量補間部２３０は、２像における最高値と最低値を算出し、ステップＳ１７０５での条件判断を行っていた。しかし、これに限らず、各種撮像条件によってステップＳ１７０５での条件判断を行ってもよい。例えば、撮像により得られた画像信号に含まれる、ノイズに対する信号の大きさ（Ｓ／Ｎ比）に関する情報を用いることができる。信号の大きさに関する情報として、相関量補間部２３０が２像の信号波形を２次微分した結果の最大値である２次微分値の最大値、あるいは信号波形の隣接差分値を算出して、ステップＳ１７０５での条件判断に用いることができる。尚、信号波形の隣接差分値とは、信号波形を構成する複数の信号のそれぞれと、それぞれに隣り合う信号との差分をとった値（局所的な微分値）のことを指す。例えば、２次微分の最大値（２次微分最大値と呼ぶことがある）や隣接差分値が所定の閾値未満であった場合、２像の波形による相関量の変化に対して、ノイズによる相関量の変化が無視できなくなる可能性がある。この場合、ノイズの影響による第３の位相シフト範囲から取得する補間式の精度が低くなる可能性があるため、ステップＳ１７０９で説明した第１の補間方法よりも、ステップＳ１７１０で説明した第２の補間方法を行うことが好ましい。
【００９３】
また、これに限らず、各種撮像条件として、撮像手段の各種設定を用いてもよい。例えば、カメラコントローラ２１５が、デジタルカメラの露出設定であるＩＳＯ感度設定や露出補正量を相関量補間部２３０へ出力し、相関量補間部２３０がこれらの値に基づいてステップＳ１７０５での条件判断を行ってもよい。例えば、ＩＳＯ感度設定が所定の閾値以上である場合や、露出補正量が適正露出を下回る設定である場合は、露光アンダーにより２像の波形が小さくなり、２像の波形による相関量の変化に対して、ノイズによる相関量の変化が無視できなくなる可能性がある。この場合も、ノイズの影響により補間式の精度が低くなる可能性があるため、第１の補間方法よりも、第２の補間方法を行うことが好ましい。
【００９４】
また、これに限らず、各種撮像条件として、撮像手段の温度を用いてもよい。例えば、撮像部２１３の温度を測定する温度測定手段がその測定結果である温度情報を相関量補間部２３０へ出力し、相関量補間部２３０が温度に基づいてステップＳ１７０５での条件判断を行ってもよい。撮像部２１３の温度が上昇するにつれて熱雑音が増加するため、像信号にノイズが混入しやすくなり、２像の波形による相関量の変化に対して、ノイズによる相関量の変化が無視できなくなる可能性があるためである。この場合この場合も、ノイズの影響により補間式の精度が低くなる可能性があるため、第１の補間方法よりも、第２の補間方法を行うことが好ましい。
【００９５】
また、これに限らず、各種撮像条件として、撮像により得られた画像信号に含まれる所定の空間周波数成分の大きさを用いてもよい。例えば、デジタルカメラの各電気部品から高周波のノイズとして発せられる電流変動に起因して、撮像部２１３に縦縞ノイズが発生することがある。これを念頭に、特定の空間周波数成分を抽出する不図示のＢＰＦ部を設ける。ＢＰＦ部の出力が所定の閾値以上であれば、２像に縦縞ノイズが位相差ゼロで混入していて、上記と同様に無視できなくなる可能性がある。この場合も、ノイズの影響により補間式の精度が低くなる可能性があるため、第１の補間方法よりも、第２の補間方法を行うことが好ましい。
【００９６】
また、ここで、ステップＳ１７０２に対する変形例を説明する。
【００９７】
ステップＳ１２７０２にて、カメラコントローラ２１５は、２像に対してそれぞれ独立して、黒レベル補正や撮像光学系に起因する周辺光量落ちなど、各種の信号レベル変動を抑える補正処理を行っていた。しかし、これに限らず、上記補正処理に加えて、焦点検出領域を垂直方向に広げて、画素加算部２１７が第１と第２の焦点検出画素列の像信号を水平方向の座標ごとに複数ライン分加算して、ノイズを低減させても良い。
【００９８】
また、これに限らず、上記補正処理に加えて、ＬＰＦ処理部２２９が２像に対して水平方向にＬＰＦ処理を行い、ノイズを低減させても良い。しかし、あまりに低周波過ぎると、被写体像が持つエッジ成分を鈍らせて、如いては相関演算の精度を落としてしまう恐れがあるため、例えば隣接平均といった軽度のＬＰＦが好ましい。
【００９９】
また、これに限らず、ステップＳ１７０５にてステップＳ１７０６へ進むと判断した場合に限り、上記のＬＰＦ処理を行うようにしても良い。
【０１００】
上述したような動作を行うことにより、ノイズ対策の動作を行うか否かを適切に判断することができる。
【０１０１】
また、ここで、ステップＳ１７０３に対する変形例を説明する。
【０１０２】
ステップＳ１７０３にて、相関演算部２１９では、焦点の検出デフォーカス範囲に基づいた、位相シフト量ゼロを含む所定の位相シフト量の範囲において、シフト量ごとの２像の差分を相関量として算出していた。しかし、これに限らず、上記補正処理に加えて、焦点検出領域を垂直方向に広げて、相関量加算部２２０が、相関演算部２１９で算出された複数ライン分の相関量を、位相シフト量ごとに加算して、相関量のバラツキを低減させても良い。
【０１０３】
また、これに限らず、相関演算部２１９が奇数の位相シフト量の相関量のみ演算あるいは出力させても良い。偶数（ゼロを含む）の位相シフト量を出力させないことで、ノイズの影響が強く表れやすい位相シフト量ゼロの相関量を簡易的に出力させないようにできる。この場合、ステップＳ１７０３の前にノイズ対策を行う条件か否かを判断し、ノイズ対策を行う条件である場合に、奇数の位相シフト量の相関量のみ演算あるいは出力することが好ましい。位相シフト量ゼロを含む偶数の位相シフト量における相関量は、奇数の位相シフト量における相関量を用いて、ステップＳ１７０９、またはステップＳ１７１０の方法を用いて補間することができる。この場合、偶数の位相シフト量における相関量は補間前には出力されないため、図１７に示した点線であらわす相関量を実線であらわす相関量で置換するわけではない。しかしながら、相関演算により取得した相関量の代わりに補間により取得した相関量を用いてデフォーカス量を取得するため、相関演算により取得した相関量を補間により取得した相関量で置換しているとみなすものとする。このように、相関演算部２１９が奇数の位相シフト量の相関量のみを出力する場合、第２の位相シフト範囲は±１に挟まれた範囲となるが、必要に応じてそのほかの範囲（例えば＋１と＋３に挟まれた範囲など）も置換の対象として補間を行ってもよい。
【０１０４】
また、上述の実施形態では、相関量補間部２３０は複数の補間方法を実行可能であり、相関量と位相シフト量との関係に応じて実行する補間方法を選択しているが、相関量補間部は補間方法を１つのみ実行してもよい。加えて、上述の実施形態では、撮像素子の画素を２分割（副画素Ｓ１、Ｓ２）することで焦点検出を行う場合について述べたが、画素の分割数は特に問わない。
【０１０５】
本実施形態は、図１６に示した各処理の全部又は一部の機能を、専用のハードウェアにより実現してもよいし、各処理の機能を実現する為のプログラムを記憶媒体に記録して、このプログラムを焦点検出装置に読み込ませ、実行させることにより実現してもよい。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１０６】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１０７】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【０１０８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１０９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１１０】
１００  レンズ部
１０１  レンズ群
１０２  絞り
１０８  電気接点ユニット
２００  カメラ部
２１３  撮像部
２１４  操作スイッチ
２２４  表示部
２３０  相関量補間部
ＭＬ  マイクロレンズ
Ｓ１  第１の焦点検出画素
Ｓ２  第２の焦点検出画素
５０１  平滑層
５０２  遮光層
ＰＲＥＳ  リセットパルス信号
ＰＴＸＡ  第１の転送パルス信号
ＰＴＸＢ  第２の転送パルス信号
ＰＳＥＬ  垂直選択パルス信号
１２００  パターン被写体
１２０１  パターン被写体の灰色部
１２０２  パターン被写体の白色部
１２０３  焦点検出領域
３０１Ａ  第１のフォトダイオード
３０１Ｂ  第２のフォトダイオード
３０２Ａ  第１の転送スイッチ
３０２Ｂ  第２の転送スイッチ
３０３  フローティングディフュージョン領域
３０４  増幅部
３０５  リセットスイッチ
３０６  選択スイッチ
【図１】
2018004706.tif 000003
【図２】
2018004706.tif 000004
【図３】
2018004706.tif 000005
【図４】
2018004706.tif 000006
【図５】
2018004706.tif 000007
【図６】
2018004706.tif 000008
【図７】
2018004706.tif 000009
【図８】
2018004706.tif 000010
【図９】
2018004706.tif 000011
【図１０】
2018004706.tif 000012
【図１１】
2018004706.tif 000013
【図１２】
2018004706.tif 000014
【図１３】
2018004706.tif 000015
【図１４】
2018004706.tif 000016
【図１５】
2018004706.tif 000017
【図１６】
2018004706.tif 000018
【図１７】
2018004706.tif 000019