(57)【特許請求の範囲】
【請求項１】
位相差検出方式の焦点検出に用いる像信号を取得可能な撮像素子と、
前記像信号に基づいて撮像光学系のデフォーカス量を算出する第１算出手段と、
前記像信号のコントラスト情報に基づく評価値を算出する第２算出手段と、
前記評価値に基づいて、過去に算出されたデフォーカス量を加味するか否かを判定する判定手段と、
前記判定手段により、過去に算出されたデフォーカス量を加味すると判定された場合には、過去に算出されたデフォーカス量と今回算出されたデフォーカス量とを含む複数のデフォーカス量に基づいて最終的なデフォーカス量を算出し、前記判定手段により、過去に算出されたデフォーカス量を加味しないと判定された場合には、過去に算出されたデフォーカス量を含まないデフォーカス量に基づいて前記最終的なデフォーカス量を算出する第３算出手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記コントラスト情報が、前記像信号のレベルに関する情報であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記コントラスト情報が、前記像信号の振幅、最大値、最小値、尖鋭度のいずれかであることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記評価値の値が、デフォーカス量のばらつきが予め定めた所定値以内に収まるか否かを表すことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記評価値が、前記コントラスト情報と前記撮像光学系の情報とに応じて定まる閾値と、前記コントラスト情報とに基づくことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記判定手段は、前記評価値が所定値未満である場合に、過去に算出されたデフォーカス量を加味すると判定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記判定手段は、今回算出された前記評価値と、前記過去に算出されたデフォーカス量の算出に用いられた前記像信号の前記評価値との合計が前記所定値以上となるように、前記加味する前記過去に算出されたデフォーカス量の数を決定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１算出手段は、前記像信号のずれ量に、前記像信号を取得した際の前記撮像光学系の情報に応じた変換係数を適用して前記デフォーカス量を算出することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１算出手段は、前記像信号のずれ量に基づいて前記デフォーカス量を算出し、
前記撮像装置が、前記ずれ量の信頼性を判定する評価手段をさらに有する、
ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第３算出手段は、前記複数のデフォーカス量に、前記過去に算出されたデフォーカス量のうち、該デフォーカス量の算出に用いられた前記像信号の前記ずれ量の信頼性が低いと判定されているものが含まれないようにすることを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記最終的なデフォーカス量に従って前記撮像光学系の焦点調節を行う調節手段をさらに有することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
位相差検出方式の焦点検出に用いる像信号を取得可能な撮像素子を備えた撮像装置の制御方法であって、
第１算出手段が、前記像信号に基づいて撮像光学系のデフォーカス量を算出する第１算出工程と、
第２算出手段が、前記像信号のコントラスト情報に基づく評価値を算出する第２算出工程と、
判定手段が、前記評価値に基づいて、過去に算出されたデフォーカス量を加味するか否かを判定する判定工程と、
第３算出手段が、
前記判定工程において、過去に算出されたデフォーカス量を加味すると判定された場合には、過去に算出されたデフォーカス量と今回算出されたデフォーカス量とを含む複数のデフォーカス量に基づいて最終的なデフォーカス量を算出し、
前記判定工程において、過去に算出されたデフォーカス量を加味しないと判定された場合には、過去に算出されたデフォーカス量を含まないデフォーカス量に基づいて前記最終的なデフォーカス量を算出する、
第３算出工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１３】
位相差検出方式の焦点検出に用いる像信号を取得可能な撮像素子を備えた撮像装置が有するコンピュータを、請求項１から１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関し、特に自動焦点検出技術に関する。
【背景技術】
【０００２】
撮像素子から得られる信号を用いて位相差検出方式の自動焦点検出（ＡＦ）を実現するため、撮像素子に配置される画素群の一部に特定の機能を付与することが知られている。例えば特許文献１には、受光領域をオンチップマイクロレンズの光軸に対してずらして配置することにより瞳分割機能を付与した焦点検出用画素を、所定の間隔で画素領域内に配置した撮像素子が開示されている。このような撮像素子を用いると、瞳分割方向の異なる焦点検出用画素から得られる１対の信号に基づいて位相差検出式焦点検出を行うことができる。
【０００３】
一方、昨今の撮像装置では、撮像素子の画素から信号を読み出す際、信号の用途に適した方法が用いられる。例えば、ライブビュー表示を行う場合、表示装置の解像度は撮像素子の画素数より低いため、複数の画素を加算して読み出したり、画素を間引きして読み出したりして、表示に適した画素数の信号を得ている。動画記録時においても同様に、動画解像度の画像を取得している。ライブビュー表示のような動画の撮影、記録時には、静止画記録時とは異なり、解像度よりも表示の滑らかさが重要になるため、フレームレートを高くすることが望まれる。
【０００４】
しかし、フレームレートを上げると、１フレームあたりの露光時間が短くなる。そのため、焦点検出用画素から得られる信号を用いた自動焦点検出の精度を、特に低輝度被写体に対して維持することが難しくなる。特許文献２では、このような課題に対し、焦点検出用画素から得られた信号を複数フレーム分加算し、加算信号を用いて焦点検出を行う方法を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２９２６８６号公報
【特許文献２】特開２００８−０８５７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
焦点検出画素から得られる１対の信号のずれ量（位相差）と、デフォーカス量との関係は、絞り値などの撮影条件に応じて変化する。従って、ずれ量をデフォーカス量に変換する際に用いる係数は、撮影条件に応じた値とする必要がある。しかし、特許文献２記載の、加算で得られる１対の像信号のずれ量をデフォーカス量に変換する構成では、焦点検出画素の信号を加算する期間において撮像条件が変化した場合でも、１つの係数でデフォーカス量に変換することになる。従って、精度の良いデフォーカス量を得ることは困難である。
【０００７】
本発明は、このような従来技術の課題に鑑みなされたものである。本発明は、焦点検出画素から得られる信号を用いて位相差検出方式の焦点検出を行う撮像装置およびその制御方法において、焦点検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、位相差検出方式の焦点検出に用いる像信号を取得可能な撮像素子と、像信号に基づいて撮像光学系のデフォーカス量を算出する第１算出手段と、像信号のコントラスト情報に基づく評価値を算出する第２算出手段と、評価値に基づいて、過去に算出されたデフォーカス量を加味するか否かを判定する判定手段と、判定手段により、過去に算出されたデフォーカス量を加味すると判定された場合には、過去に算出されたデフォーカス量と今回算出されたデフォーカス量とを含む複数のデフォーカス量に基づいて最終的なデフォーカス量を算出し、判定手段により、過去に算出されたデフォーカス量を加味しないと判定された場合には、過去に算出されたデフォーカス量を含まないデフォーカス量に基づいて最終的なデフォーカス量を算出する第３算出手段と、を有することを特徴とする撮像装置によって達成される。
【発明の効果】
【０００９】
このような構成により本発明によれば、焦点検出画素から得られる信号を用いて位相差検出方式の焦点検出を行う撮像装置およびその制御方法において、焦点検出精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの機能構成例を示す図
【図２】図１の撮像素子の構成例を示すブロック図
【図３】実施形態における撮像素子の撮像用画素の配置と構造の例を示す図
【図４】実施形態における撮像素子が有する、レンズの水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造の例を示す図
【図５】実施形態における撮像素子が有する、レンズの垂直方向（縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造の例を示す図
【図６】撮像素子の中央近傍の画素に対して入射する光束が、射出瞳面の位置にある撮像光学系の絞りによって制限されている様子を模式的に示す図
【図７】撮像素子の像高を有する画素に対して入射する光束が、射出瞳面の位置にある撮像光学系の絞りによって制限されている様子を模式的に示す図
【図８】実施形態における撮像素子の、撮像用画素および焦点検出用画素の配置例を示した図
【図９】実施形態において設定された焦点検出領域の位置の例を示す図
【図１０】実施形態におけるカメラの全体的な動作を示すフローチャート
【図１１】実施形態における自動焦点検出処理の詳細を示すフローチャート
【図１２】実施形態における動画撮影処理の詳細を示すフローチャート
【図１３】実施形態におけるずれ量算出を説明するための模式図
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ１００（以下、単にカメラ１００という）の機能構成例を示す図である。
【００１２】
第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸に沿って前後に移動可能であり、第１レンズ群１０１とともにズーム機能を実現する。
【００１３】
第３レンズ群１０５はフォーカスレンズであり、光軸に沿って前後に移動可能である。以下では、第３レンズ群１０５をフォーカスレンズと呼ぶ。フォーカスレンズ１０５の位置により、撮像光学系の焦点位置が調節される。従って、フォーカスレンズの位置に関する情報（例えば、パルスカウント位置など）は、撮像光学系の焦点状態を示す情報である。フォーカスレンズ１０５の位置に関する情報は、フォーカス駆動回路１２６を通じてＣＰＵ１２１が取得可能である。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子１０７は２次元ＣＭＯＳ撮像素子とその周辺回路で構成される。本実施形態において、撮像素子１０７は、横方向にｍ個、縦方向にｎ個の複数の受光素子が２次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラー撮像素子である。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。
【００１４】
ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１と第３レンズ群１０５の少なくとも一方を光軸に沿って駆動して、ズーム（変倍）機能を実現する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、シャッタ１０２開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
【００１５】
フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸に沿って駆動する。
【００１６】
フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンを有するマスクの像を投光レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。
【００１７】
ＣＰＵ１２１は、カメラ１００全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、不図示の不揮発性記録媒体（例えばＲＯＭ）に記憶されたプログラムを実行して、カメラ１００が有する各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、カメラ１００の機能を実現する。
【００１８】
フラッシュ制御回路１２２は、撮像動作に同期してフラッシュ１１５を点灯制御する。補助光駆動制御回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、ＪＰＥＧ符号化などの画像処理を適用する。
【００１９】
フォーカス駆動回路１２６は、ＣＰＵ１２１の制御に従ってフォーカスアクチュエータ１１４を駆動することによりフォーカスレンズ１０５を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ群１３２に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２０】
表示器１３１はＬＣＤ等であり、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。操作スイッチ群１３２はまた、スタンバイ状態におけるライブビュー表示中に、自動焦点検出を実施するかどうかを選択するフォーカススイッチを含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。
【００２１】
図２は、撮像素子１０７の構成例を示すブロック図である。なお、図２は読み出し動作の説明に必要な最低限の構成を示しており、画素リセットに関する構成などは省略されている。光電変換部２０１は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。以下では、光電変換部２０１をPDmnと記す。ここで、ｍはＸ方向アドレスであり、ｍ=0, 1,..., m-1、ｎはＹ方向アドレスであり、ｎ=0, 1,..., n-1である。また、撮像素子１０７には、水平（Ｘ）方向にｍ個，垂直（Ｙ）方向にｎ個の計ｍ×ｎ個の光電変換部２０１が２次元配置されているが、図を簡潔にするため、左上の光電変換部PD00付近にのみ参照数字を記載している。
【００２２】
スイッチ２０２は垂直走査回路２０８によって制御され、光電変換部のPDmnの出力を一行ごとに選択する。
ラインメモリ２０３は、通常、コンデンサにより構成され、垂直走査回路２０８により選択された一行分の光電変換部の出力を一時的に記憶する。
【００２３】
スイッチ２０４は、信号ＨＲＳＴの制御に従い、水平出力線２０９を所定の電位ＶＨＲＳＴにリセットする。
スイッチ２０５（Ｈ0〜Ｈm-1）は、ラインメモリ２０３と水平出力線に接続されている。水平走査回路２０６が、スイッチ２０５を順次オンすることにより、ラインメモリ２０３に記憶された光電変換部PDmnの一行ごとの出力が水平出力線２０９に読み出され、出力アンプ２０７を介して信号ＶＯＵＴとして出力される。
【００２４】
水平走査回路２０６に入力される信号ＰＨＳＴは水平走査回路のデータ入力であり、ＰＨ１、ＰＨ２はシフトクロック入力である。ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる。また、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、スイッチ２０５（Ｈ0〜Ｈm-1）を順次オンさせることができる。信号ＳＫＩＰは、間引き読み出し時に設定を行なわせる制御入力である。信号ＳＫＩＰをＨレベルに設定することにより、スイッチ２０５の走査が所定間隔でスキップされ、行単位の間引き読み出しが行われる。
【００２５】
垂直走査回路２０８は、制御信号Ｖ0〜Ｖn-1を順次出力することにより、光電変換部PDmnのスイッチ２０２を選択的にオン／オフすることができる。制御信号Ｖ0〜Ｖn-1は、水平走査回路２０６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定信号ＳＫＩＰにより制御される。動作に関しては、水平走査回路２０６と同様であるので詳細説明は省略する。
【００２６】
（画素の構造）
図３〜図５は、撮像用画素と焦点検出用画素の構造例を示す図である。本実施形態の撮像素子１０７は、２行×２列の４画素を１単位として、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出用画素としている。従って、本実施形態の撮像素子１０７は、位相差検出方式の焦点検出に用いる像信号を取得可能である。焦点検出用画素は、離散的に配置される。
【００２７】
図３（ａ）は２行×２列の撮像用画素の平面図である。上述の通り、ベイヤー配列では対角方向に２つのＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこのような２行×２列の配列が撮像素子１０７の全体にわたって繰り返される。
【００２８】
図３（ｂ）は、図３（ａ）のＡ−Ａ断面と、撮像光学系からの光路を示す図である。
ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは画素の光電変換部２０１を模式的に示したものであり、ＣＬは撮像素子１０７内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮像光学系を模式的に示したものである。
【００２９】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮像光学系ＴＬを通過した光束が可能な限り有効に光電変換されるように構成されている。換言すると、撮像光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積に設計される。また、図３（ｂ）ではＲ画素の入射光束について図示したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造を有する。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００３０】
図４は、本実施形態において、撮像光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造の例を示す。ここで水平方向（横方向）とは、たとえば撮像素子の長手方向を指す。
【００３１】
図４（ａ）は、焦点検出用画素対を含む２行×２列の画素の平面図である。記録もしくは表示用の画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちＲ画素もしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に焦点検出用画素対ＳＨＡ及びＳＨＢを配置している。
【００３２】
図４（ｂ）は、図４（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮像光学系からの光路を示す図である。
マイクロレンズＭＬと、光電変換部ＰＤは図３（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタＣＦＷ（Ｗｈｉｔｅ）が配置される。また、画素で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏心している。すなわち、焦点検出用画素対を構成する焦点検出用画素ＳＨＡと焦点検出用画素ＳＨＢの開口は、互いに異なる方向に偏心している。
【００３３】
具体的には、焦点検出用画素ＳＨＡ及の開口部ＯＰＨＡは右側に偏心しているため、撮像光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、焦点検出用画素ＳＨＢの開口部ＯＰＨＢは左側に偏心しているため、撮像光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出用画素ＳＨＡで取得した輝度信号をＡ像信号（第１の像信号）とする。また、水平方向に規則的に配列した複数の焦点検出用画素ＳＨＢで取得した輝度信号をＢ像信号（第２の像信号）とする。これらＡ像信号とＢ像信号の相対位置を検出し、像ずれ量に対して変換係数を乗じることで、水平方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を算出できる。
【００３４】
図５は、本実施形態において、撮像光学系の垂直方向（縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造の例を示す。垂直方向（縦方向）とは、たとえば撮像素子の長手方向または水平方向（横方向）に直交する方向である。
図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図４（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素位置に焦点検出用画素対ＳＶＣ及びＳＶＤを配置している。
【００３５】
図５（ｂ）は、図５（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮像光学系からの光路を示す図である。
図４（ｂ）との比較から分かるように、図５（ｂ）の画素は瞳分離方向が縦方向になっていること以外、焦点検出用画素の構造は共通である。すなわち、焦点検出用画素ＳＶＣの開口部ＯＰＶＣは垂直方向下側に偏倚しているため、レンズＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、焦点検出用画素ＳＶＤの開口部ＯＰＶＤは垂直方向上側に偏倚しているため、レンズＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。
【００３６】
垂直方向に規則的に配列した複数の焦点検出用画素ＳＶＣで取得した被写体像をＣ像信号とする。また、垂直方向に規則的に配列した複数の焦点検出用画素ＳＶＤで取得した被写体像をＤ像信号とする。これらＣ像信号とＤ像信号の相対位置を検出し、像ずれ量に対して変換係数を乗じることで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００３７】
次に、像ずれ量からデフォーカス量を算出するための変換係数の求め方について説明する。変換係数は撮像光学系の口径情報、及び焦点検出用画素の感度分布に基づいて算出することができる。図６および図７は、撮像光学系ＴＬのレンズ保持枠や絞り１０２などのいくつかの構成部材によって制限された光束が撮像素子１０７に入射する様子を模式的に示している。
【００３８】
図６は撮像素子の中央近傍の画素に対して入射する光束が、射出瞳面６０１の位置にある撮像光学系の絞り６０２によって制限されている様子を模式的に示している。図６（ａ）において、６０３、６０４は撮像素子の位置を示しており、６０３は予定結像面位置である。６０５は光軸、６０６は撮像素子上での光軸位置、６０７、６０８は絞り６０２によって光束が制限された場合の入射する光束の範囲を、６０９、６１０は絞り６０２で光束が制限されない場合に入射する光束の範囲を示している。範囲６０７、６０８に対する焦点検出用光束を６１１、６１２、焦点検出用光束の重心位置を６１５、６１６で示す。同様に、範囲６０９、６１０に対する焦点検出用光束を６１３、６１４、焦点検出用光束の重心位置を６１７、６１８で示す。６３０は撮像素子に最も近い側にあるレンズ保持枠、６３１は、被写体に最も近い側にあるレンズの保持枠である。
【００３９】
図６（ｂ）は撮像素子の中央の焦点検出用画素に射出瞳面６０１から入射する、制限された光束の重心位置の変化を示した図である。絞り６０２による制限のない場合に撮像素子の中央の画素に入射する光束範囲６０９，６１０に対応する瞳領域を６２４で示す。また、絞り６０２による制限のある場合に撮像素子の中央の画素に入射する光束範囲６０７，６０８に対応する瞳領域を６２３で示す。図６（ａ）に、撮像素子の位置６０４において瞳領域６２３に対応する範囲を６２１、瞳領域６２４に対応する範囲を６２２で示している。
【００４０】
６２５、６２６は焦点検出用画素ＳＨＡ、ＳＨＢの入射角特性（感度分布）を示している。焦点検出用画素ＳＨＡ、ＳＨＢには、瞳領域６２３、６２４を透過した光束が、感度分布６２５、６２６で入射する。瞳領域６２３を透過して入射した焦点検出用光束の重心位置６１５，６１６、瞳領域６２４を透過して入射した焦点検出用光束の重心位置６１７，６１８を図６（ｂ）に示す。これら重心位置を求めることで、焦点検出に用いる光束が限定されている場合と、限定されていない場合の重心間隔を求めることができる。このような焦点検出用画素の感度分布情報と、撮像光学系の口径情報を予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。
【００４１】
図６（ａ）においてデフォーカス量６１９をＤＥＦ、撮像素子位置６０３から射出瞳面６０１までの距離６２０をＬとする。また、焦点検出に用いる光束が制限されている場合とされていない場合の重心間隔をそれぞれＧ１（６１５，６１６間距離）、Ｇ２（６１７、６１８間距離）とする。さらに、瞳領域６２３の場合の像ずれ量をＰＲＥＤ１ ６２１、瞳領域６２４の場合の像ずれ量をＰＲＥＤ２ ６２２、像ずれ量をデフォーカス量に変換する変換係数をＫ１、Ｋ２とした場合、以下の式によってデフォーカス量が求まる。
ＤＥＦ ＝ Ｋ１×ＰＲＥＤ１ ＝ Ｋ２×ＰＲＥＤ２
像ずれ量をデフォーカス量に変換する変換係数Ｋ１、Ｋ２はそれぞれ以下の式によって求まる。
Ｋ１ ＝ Ｇ１／Ｌ
Ｋ２ ＝ Ｇ２／Ｌ
【００４２】
焦点検出位置（ＡＦ枠）が光軸近傍にない場合、射出瞳面６０１以外の位置にある絞りの射出瞳や、絞りの射出瞳よりＦ値が明るい場合であっても撮像光学系の絞り以外のレンズの保持枠に対応した射出瞳によって、焦点検出用光束のケラレ（制限）が発生する。
【００４３】
図７は撮像素子の中央（＝光軸に対応する位置とする）から離れた位置の撮像用画素に対して、レンズ保持枠によって光束が限定されている様子を示している。図７（ａ）において、図６（ａ）と同じ要素には同じ参照数字を付してある。７０７、７０８は撮像素子に最も近い側にあるレンズ保持枠６３０と、被写体に最も近い側にあるレンズ保持枠６３１によって光束が制限された場合に入射する光束の範囲を示している。範囲７０７、７０８に対する焦点検出用光束を７１１、７１２、焦点検出用光束の重心位置を７１５、７１６で示す。
【００４４】
図７（ｂ）は撮像素子の中央から像高を持った位置の焦点検出用画素に射出瞳面６０１から入射する、制限された光束の重心位置を示した図である。７２３は撮像素子の中央から像高を持った画素に対して入射する、制限された光束範囲７０７、７０８に対応する瞳領域を示している。また、７２５、７２６は焦点検出用画素ＳＨＡ、ＳＨＢの入射角特性(感度分布）を示している。焦点検出用画素ＳＨＡ、ＳＨＢには、瞳領域７２３を透過した光束が感度分布７２５、７２６で入射する。そのため、瞳領域７２３を透過した焦点検出用光束の分布重心７１５，７１６をそれぞれ求めることで、焦点検出に用いる光束がレンズの保持枠によって限定されている場合の重心間隔を求めることができる。焦点検出用画素の感度分布情報、及び撮像光学系の口径情報を予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。
【００４５】
図７（ａ）においてデフォーカス量６１９をＤＥＦ、撮像素子位置６０３から射出瞳面６０１までの距離６２０をＬとする。また、焦点検出用光束がレンズ保持枠６３０，６３１によって制限されている場合の重心間隔をＧ３（７１５，７１６間距離）、像ずれ量をＰＲＥＤ３ ７２１、像ずれ量をデフォーカス量に変換する変換係数をＫ３とする。この場合、以下の式によってデフォーカス量が求まる。
ＤＥＦ ＝ Ｋ３×ＰＲＥＤ３
像ずれ量をデフォーカス量に変換する変換係数Ｋ３は以下の式によって求まる。
Ｋ３ ＝ Ｇ３／Ｌ
【００４６】
ここでは、焦点検出領域の撮像素子上での位置によって、焦点検出用光束がレンズ保持枠で制限される様子を示した。しかし、他にも各レンズ群１０１、１０２、１０３の進退動作に伴う変倍操作や、フォーカスレンズ１０５の位置変化によっても光束が制限される撮像素子上の位置が変化する。光束が制限される撮像素子上の位置の変化に伴って、像ずれ量をデフォーカス量に変換する係数は変化する。
【００４７】
図８は、撮像用画素および焦点検出用画素の配置例を示した図であり、撮像素子１０７の有する画素群の一部を示している。同図において、Ｇは、緑フィルターを有する画素、Ｒは、赤フィルターを有する画素、Ｂは、青フィルターを有する画素である。図中のＳＨＡ、ＳＨＢは、図４を用いて説明した、水平方向の像ずれ量を検出するための焦点検出用画素群である。図中、ＳＨＡ、ＳＨＢの黒部分が、偏倚した画素の開口位置を示している。なお、図８では水平方向の像ずれ量を検出するための焦点検出用画素群のみを配置した例を示したが、図５で説明した垂直方向の像ずれ量を検出するための焦点検出用画素群をさらに、あるいは代わりに配置してもよい。
【００４８】
図９は撮像素子の画素領域における焦点検出領域の位置の例を示している。焦点検出領域内の画素配置は図８に示したようになっている。本実施形態では、焦点検出領域を画素領域の中央に１つ設定しているが、焦点検出領域を複数配置し、それぞれの領域で結像された被写体像から焦点検出用画素で像信号を生成するようにしてもよい。なお、焦点検出領域は、撮像画面内の領域として設定してもよい。
【００４９】
このようなカメラ１００における動作を、図１０〜図１２のフローチャートを参照して説明する。
図１０は、電源がオンされ、動画撮影が行われる場合のカメラ１００の動作を示すフローチャートである。例えば、ユーザが操作スイッチ群１３２の電源スイッチをオンにすると、図１０の動作が開始される。
【００５０】
Ｓ１００２においてＣＰＵ１２１は、カメラ１００内の各アクチュエータ１１１，１１２，１１４や、撮像素子１０７の動作確認や、メモリや実行プログラムの初期化等の初期化動作を実行する。また、ＣＰＵ１２１は、撮影準備動作を実行する。
【００５１】
Ｓ１００４においてＣＰＵ１２１は、撮像素子１０７で周期的な撮影動作（動画撮影動作）を開始させる。そして、撮影で得られた画像信号の読み出し、画像データの生成、表示器１３１への表示を順次行うことにより、表示器１３１へのライブビュー表示を開始する。
【００５２】
Ｓ１００５でＣＰＵ１２１は、ライブビュー表示用の撮影における絞り値を設定（更新）する。ＣＰＵ１２１は、自動露出制御（ＡＥ）が設定されている場合、撮像素子１０７から読み出した画像信号から得られる輝度情報に応じて、適正露出が得られるように絞り値を決定し、現在の値と異なれば設定を変更する。また、ユーザにより絞り値が設定されている場合には、その絞り値を優先する。ＣＰＵ１２１は、絞り値の設定を変更する場合、新たな絞り値の情報をシャッタ駆動回路１２８へ送り、撮影時にシャッタアクチュエータ１１２を駆動して実現する絞りの開口径を変更する。
【００５３】
Ｓ１００６でＣＰＵ１２１は、操作スイッチ群１３２の焦点検出スイッチ（ＡＦスイッチ）がオンされたか否かを判定し、オンされていなければＳ１００５に、オンされた場合はＳ１１０１の自動焦点検出動作に関するサブルーチンに処理を移行する。
【００５４】
ここで、Ｓ１１０１における自動焦点検出サブルーチンの詳細について、図１１に示すフローチャートを用いて説明する。
Ｓ１１０２でＣＰＵ１２１は、現フレームにおける、焦点検出領域内の焦点検出用画素の信号を取得し、Ａ像信号およびＢ像信号を生成して、内部メモリに記憶する。また、ＣＰＵ１２１は、予め定められた光学情報を取得する。光学情報の例としては、
・撮像光学系の口径（例えば、絞り値（または開口径）およびレンズ枠の口径、あるいは撮影面における射出瞳の投影口径）、
・撮像光学系の焦点距離（画角）、
・合焦距離（フォーカシングレンズ位置）、
・焦点検出領域の像高（例えば焦点検出領域の中心の像高）
などであってよい。
【００５５】
続くＳ１１０３でＣＰＵ１２１は、内部メモリからＡ像信号とＢ像信号を読み出し、コントラスト情報を算出する。コントラスト情報は、Ａ像信号のコントラスト情報と、Ｂ像信号のコントラスト情報の平均値であってよい。コントラスト情報は、像信号のレベルに関する情報であり、例えば振幅ＰＢ（最大値と最小値の差）、最大値、最小値、以下の式で表される尖鋭度Sharpnessなどがある。
【数１】
0006486041.tif 000002
ここで、ＳＨＡ[n]、ＳＨＢ[n]（ｎ＝０，１，２・・・ｎｍａｘ）は、Ａ像信号およびＢ像信号を構成する焦点検出用画素の信号データである。
なお、以下では、コントラスト情報として振幅ＰＢを算出するものとする。
【００５６】
Ｓ１１０４でＣＰＵ１２１は、検出デフォーカス量のばらつき量が予め定めた所定値以内に収まるために必要な、コントラスト情報の閾値（振幅ＰＢの閾値ＰＢｔｈ）を取得する。ここで、振幅ＰＢの閾値ＰＢｔｈは予め用意される閾値テーブルから、Ｓ１１０２で取得した、現フレームの撮像時の光学情報と、Ｓ１１０３で算出したコントラスト情報とに応じた値を参照することで取得することができる。
【００５７】
なお、コントラスト情報の閾値は、光学情報の組み合わせごとに実験的に求めることができる。例えば、特定のパターンを様々な明るさの環境下で撮影することで被写体のコントラストを変化させ、撮影画像からＡ像信号とＢ像信号を取得してデフォーカス量を検出する。そして、検出されたデフォーカス量の誤差が一定の深度以内となるコントラスト情報の値から、閾値を求めることができる。なお、これは一例であり、他の方法で閾値を用意してもよい。
【００５８】
なお、光学情報は上述した各情報を考慮すると最も精度が高いが、少なくとも撮像光学系の口径に関する情報と、焦点検出領域の像高とを用いればよい。これにより、閾値の準備に係る手間やテーブルに必要な記憶容量を節約することができる。
【００５９】
Ｓ１１０５で第２算出手段としてのＣＰＵ１２１は、検出デフォーカス量の評価値ＰＢ_Ｐａｒａｍを下式（４）によって算出する。
ＰＢ_Ｐａｒａｍ＝ＰＢ／ＰＢｔｈ                                （４）
ここで、式（４）の評価値ＰＢ＿Ｐａｒａｍが所定値以上（ここでは１以上）の場合、検出デフォーカス量のばらつき量が所定値以内に収まり、所定値未満（ここでは１未満）の場合は、検出デフォーカス量のばらつき量が所定値より大きくなることを意味する。
【００６０】
なお、上述したように、コントラスト情報として焦点検出波形の振幅ＰＢ以外を用いても、同様の評価値を求めることができる（対応する閾値を用意する）。
【００６１】
Ｓ１１０６、Ｓ１１０７でＣＰＵ１２１は、焦点検出信号（Ａ像信号およびＢ像信号）の相関量の演算処理と、得られた相関量の信頼性判定を行なう。
Ｓ１１０６でＣＰＵ１２１は、焦点検出信号（Ａ像信号およびＢ像信号）の相関量から、２像の相対的なずれ量を算出する。具体的には、ＣＰＵ１２１は、一方（ここではＡ像信号とする）に対して他方を相対的に画素単位でずらしながら両者の相関量を算出する。
Ａ像波形を構成する画素をａ１〜ａｎ、Ｂ像波形を構成する画素をｂ１〜ｂｎ（ｎはデータ数）とすると、ＣＰＵ１２１は以下の式（５）に従って相関量Ｃｏｒｒ（ｌ）を算出する。
【数２】
0006486041.tif 000003
式（５）において、ｌはＡ像信号に対するＢ像信号のずらし量（整数）であり、像をずらした際のデータ数は（ｎ−ｌ）に限定される。式（５）で算出される相関量Ｃｏｒｒ（ｌ）は、図１３に示すようにＡ像波形とＢ像波形との相関が最も高い場合に極小となる。ＣＰＵ１２１は相関量Ｃｏｒｒ（ｌ）が極小となるずらし量ｍ（整数）と、ｍの近傍のずらし量で得られた相関量Ｃｏｒｒ（ｌ）を用いて、３点内挿の手法を用いて、相関量Ｃｏｒｒ（ｌ）を最小とするずらし量ｄを画素未満の単位で求める。
【００６２】
Ｓ１１０７においてＣＰＵ１２１は、Ｓ１１０６で求めた像ずれ量（ずらし量ｄ）の信頼性を評価する。デフォーカス量が大きい場合、Ａ像波形とＢ像波形の非対称性が大きくなる（像の一致度が低下する）ため、相関量Ｃｏｒｒ（ｄ）は大きくなる。逆に、デフォーカス量が小さいほど、相関量Ｃｏｒｒ（ｄ）は低くなる（像の一致度が増加する）。従って、像ずれ量に対応する相関量Ｃｏｒｒ（ｄ）が閾値以下であれば信頼性は高いと判定することができる。
【００６３】
Ｓ１１０８で第１算出手段としてのＣＰＵ１２１は、Ｓ１１０６で得られた補正後の像ずれ量に、現フレーム撮影時の光学情報に応じたデフォーカス換算係数を乗ずることにより、検出デフォーカス量DetectDefocusに変換する。光学情報に応じたデフォーカス変換係数は、絞り値に対する基線長や焦点検出画素の感度分布情報などを用いて事前に用意しておくことができる。
【００６４】
Ｓ１１０９でＣＰＵ１２１は、Ｓ１１０５で算出した評価値ＰＢ_Ｐａｒａｍと、Ｓ１１０８で算出した検出デフォーカス量DectetDefocusとを、内部メモリに記憶する。
【００６５】
Ｓ１１１０以降で、検出デフォーカス量の加重加算制御を行う。
ＣＰＵ１２１は、まずＳ１１１０でフレーム加算数ｍを０に初期化した後、Ｓ１１１１でフレーム加算数ｍをインクリメントする。続くＳ１１１２で判定手段としてのＣＰＵ１２１は、現フレームで算出した（今回算出した）評価値ＰＢ_Ｐａｒａｍ［ｎ］が１以上か否かを判定する。ＰＢ_Ｐａｒａｍ［ｎ］が１未満、すなわち検出デフォーカス量のばらつき量が所定値以内に収まらない場合、ＣＰＵ１２１は処理をＳ１１１３に移行する。
【００６６】
Ｓ１１１３でＣＰＵ１２１は、過去フレームで算出した評価値ＰＢ_Ｐａｒａｍ［ｎ−ｍ］の値を評価値ＰＢ_Ｐａｒａｍ［ｎ］に加算して評価値ＰＢ_Ｐａｒａｍ［ｎ］を更新し、処理をＳ１１１１に戻す。ＣＰＵ１２１は、Ｓ１１１１〜Ｓ１１１３を評価値ＰＢ_Ｐａｒａｍ［ｎ］が１以上となるまで繰り返し実行する。このように、過去に算出されたデフォーカス量を加味するか否かと、加味するデフォーカス量の数とが、評価値に基づいて決定される。
【００６７】
Ｓ１１１２で評価値ＰＢ_Ｐａｒａｍ［ｎ］が１以上と判定された場合、第３算出手段としてのＣＰＵ１２１は処理をＳ１１１４に移行し、ｍフレーム分のデフォーカス量から、以下の式（６）に従って検出デフォーカス量の加重加算処理を行なう。ここで、ｍは加算フレーム数である。
【数３】
0006486041.tif 000004
なお、ｍ＝１の場合は、過去に算出されたデフォーカス量を加味しない場合である。ＣＰＵ１２１は、デフォーカス量に加味する各フレームでの検出デフォーカス量を、対応する評価値で重み付けした合計を、評価値の合計で除算することにより、最終的なデフォーカス量Defocusを算出する。
【００６８】
ここでは、複数フレームの検出デフォーカス量からデフォーカス量を求める際に、対応する評価値を重みとする加重加算を用いているが、複数フレームの検出デフォーカス量の平均値とするなど、他の方法でデフォーカス量を算出してもよい。
【００６９】
Ｓ１１１５でＣＰＵ１２１は、Ｓ１１１４で算出されたデフォーカス量Defocusが合焦範囲内か否か、デフォーカス量Defocusの絶対値が所定値以内か否かを判定する。デフォーカス量Defocusが合焦範囲内でないと判定された場合、ＣＰＵ１２１は処理をＳ１１１７へ移行してフレーム番号ｎをインクリメントした後、Ｓ１１１８へ処理を進める。Ｓ１１１８で調節手段としてのＣＰＵ１２１は、デフォーカス量Defocusをフォーカス駆動回路１２６へ送信し、フォーカスアクチュエータ１１４を駆動してフォーカスレンズ１０５を駆動して焦点調節を行い、自動焦点検出処理を終了する。
【００７０】
一方、Ｓ１１１５においてデフォーカス量Defocusが合焦範囲内であると判定された場合、ＣＰＵ１２１は処理をＳ１１１６に進め、表示器１３１に合焦表示を行なって処理を終了する。
【００７１】
図１０に戻り、Ｓ１００７でＣＰＵ１２１は、操作スイッチ群１３２に含まれる動画撮影開始スイッチがオンされたか否かを判定し、オンされていない場合は処理をＳ１１０１に戻し、次のフレームについて自動焦点検出処理を行う。一方、動画撮影開始スイッチがオンされた場合、ＣＰＵ１２１は処理をＳ１２０１に進めて動画撮影処理を行う。
【００７２】
Ｓ１２０１の動画撮影処理の詳細について、図１２に示すフローチャートを用いて説明する。
Ｓ１２０２でＣＰＵ１２１は、撮像素子駆動回路１２４を通じて撮像素子１０７から画像信号を読み出し、内部メモリに記憶する。次にＣＰＵ１２１は、上述した焦点検出処理Ｓ１１０１を実行する。
【００７３】
Ｓ１２０３でＣＰＵ１２１は、例えば現フレームの輝度情報に基づいて、自動露出制御（ＡＥ）処理を実行し、次のフレームの撮影条件（絞り、露光時間、感度）を決定する。Ｓ１２０４でＣＰＵ１２１は、内部メモリに記憶している、フォーカスレンズ１０５の位置情報を更新する。
【００７４】
Ｓ１２０５でＣＰＵ１２１は、Ｓ１２０２で撮像素子１０７から読み出さした画像信号のうち、焦点検出画素の位置における信号を周辺の撮像画素の信号を用いて補間した後、現像処理を行なう。Ｓ１２０６でＣＰＵ１２１は、現像処理後のフレーム画像の記録処理を実行する。記録処理においては、必要に応じて圧縮符号化処理なども行う。
【００７５】
Ｓ１２０７に処理を進め、ＣＰＵ１２１は動画記録の終了指示があったか否かを判定する。例えば動画記録中に操作スイッチ群１３２に含まれる動画撮影開始スイッチが押下されると、ＣＰＵ１２１は画像記録の終了指示とみなし、動画記録処理を終了する。動画記録の終了指示がなければ、ＣＰＵ１２１は処理をＳ１２０２に戻し、次のフレームの撮影および画像読み出しを実行する。
【００７６】
（変形例）
上述の説明では、Ｓ１１１１〜Ｓ１１１３では、連続する複数のフレームに関する評価値ＰＢ_Ｐａｒａｍの加算値が１以上となるか否かを判断していた。しかし、Ｓ１１０７で算出されたずれ量の信頼性が低い過去フレームの評価値ＰＢ＿Ｐａｒａｍについては、加算対象から除外するようにしてもよい。このようにすることで、加重加算する検出デフォーカス量の時間的な連続性は損なわれる可能性があるが、例えばフォーカスレンズの動きが停止もしくは小さい状態などにおいて、より高精度なデフォーカス量の検出が可能となる。
【００７７】
また、複数フレームの検出デフォーカス量を加味する場合、加味できる検出デフォーカス量を、現フレームから所定時間内（所定フレーム数以内）の検出デフォーカス量に限定してもよい。これは、現フレームから時間的に離れたフレームの検出デフォーカス量を参照すると、被写体もしくはフォーカスレンズ位置が変化している場合に、加重加算処理後のデフォーカス量に誤差を発生させる要因となるからである。
【００７８】
このように、本実施形態は、撮像素子に配置された焦点検出用画素の信号を用いて位相差検出方式の焦点検出を行う際、現フレームで得られた焦点検出信号のコントラスト情報に基づく評価値を算出する。そして、評価値に基づいて、過去の検出デフォーカス量を加味してデフォーカス量を算出する必要があるか、また、何フレーム分の検出デフォーカス量を加味するか判定する。そのため、現フレームにおける焦点検出信号に基づく検出デフォーカス量のばらつきが大きくなるような場合でも、適切な数のフレームの情報を用いてデフォーカス量を算出することで、精度の良いデフォーカス量を得ることができる。
【００７９】
また、複数フレーム分の情報を用いる場合でも、検出デフォーカス量を用いるため、撮影条件の異なるフレームの情報が含まれる場合でもデフォーカス量の精度が低下しない。これは、焦点検出信号を複数フレーム分加算してデフォーカス量を検出する場合に、撮影条件の異なるフレームが含まれるとデフォーカス量の精度が低下することとは大きく異なる。
【００８０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８１】
１００…デジタルカメラ,１０７…撮像素子,１２１…ＣＰＵ,１２４…撮像素子駆動回路,１２５…画像処理回路,１３１…表示器,１３２…操作スイッチ群,２０１…光電変換部
【図１】
0006486041.tif 000005
【図２】
0006486041.tif 000006
【図３】
0006486041.tif 000007
【図４】
0006486041.tif 000008
【図５】
0006486041.tif 000009
【図６】
0006486041.tif 000010
【図７】
0006486041.tif 000011
【図８】
0006486041.tif 000012
【図９】
0006486041.tif 000013
【図１０】
0006486041.tif 000014
【図１１】
0006486041.tif 000015
【図１２】
0006486041.tif 000016
【図１３】
0006486041.tif 000017