(57)【特許請求の範囲】
【請求項１】
撮影光学系の焦点状態を検出する焦点検出手段と、
前記撮影光学系のズーム位置を検知するズーム位置検知手段と、
前記撮影光学系のフォーカスレンズの位置を検知するフォーカス位置検知手段と、
前記撮影光学系のフォーカスレンズの位置を調整する調整手段と、
前記ズーム位置の変化に応じて、同じ距離の被写体に対して焦点を合わせ続けるための前記フォーカスレンズの軌跡を記憶する記憶手段と、
前記焦点検出手段の出力の信頼性を判定する判定手段と、
前記焦点検出手段の出力に基づいて、前記ズーム位置の変化に応じた前記フォーカスレンズの位置の制御を行う第１の動作と、前記記憶手段に記憶されている前記フォーカスレンズの軌跡の情報に基づいて、前記ズーム位置の変化に応じた前記フォーカスレンズの位置の制御を行う第２の動作とを、前記判定手段の判定に応じて切り替える制御手段と、を備え、
前記制御手段は、
前記判定手段が前記焦点検出手段の出力に信頼性があると判定した場合に、前記第１の動作を行い、前記判定手段が前記焦点検出手段の出力に信頼性がないと判定した場合に、前記第２の動作を行い、
前記第２の動作を行う場合に、前記判定手段が前記焦点検出手段の出力に信頼性がないと判定したタイミングよりも前に前記焦点検出手段により検出された複数の焦点状態の検出結果に基づいて被写体の位置を推定し、推定した被写体の位置と前記記憶手段に記憶されている前記フォーカスレンズの軌跡の情報とに基づいて、前記フォーカスレンズの位置の制御を行うことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の動作を行う場合に、前記焦点検出手段の出力に加えて、前記フォーカス位置検知手段の出力を用いて前記フォーカスレンズの位置の制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、位相差検出により前記撮影光学系の焦点状態を検出する場合に、位相差を検出する２像の一致度が低い場合に、前記焦点検出手段の出力に信頼性がないと判定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記判定手段は、位相差検出により前記撮影光学系の焦点状態を検出する場合に、位相差を検出する像に複数のピークが存在する場合に、前記焦点検出手段の出力に信頼性がないと判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記判定手段は、画像に正反射光がある被写体が存在する場合に、前記焦点検出手段の出力に信頼性がないと判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
撮像装置を制御する方法であって、
撮影光学系の焦点状態を検出する焦点検出工程と、
前記撮影光学系のズーム位置を検知するズーム位置検知工程と、
前記撮影光学系のフォーカスレンズの位置を検知するフォーカス位置検知工程と、
前記撮影光学系のフォーカスレンズの位置を調整する調整工程と、
前記ズーム位置の変化に応じて、同じ距離の被写体に対して焦点を合わせ続けるための前記フォーカスレンズの軌跡を記憶する記憶工程と、
前記焦点検出工程の出力の信頼性を判定する判定工程と、
前記焦点検出工程の出力に基づいて、前記ズーム位置の変化に応じた前記フォーカスレンズの位置の制御を行う第１の動作と、前記記憶工程において記憶された前記フォーカスレンズの軌跡の情報に基づいて、前記ズーム位置の変化に応じた前記フォーカスレンズの位置の制御を行う第２の動作とを、前記判定工程の判定に応じて切り替える制御工程と、を有し、
前記制御工程では、
前記判定工程で前記焦点検出工程の出力に信頼性があると判定した場合に、前記第１の動作を行い、前記判定工程で前記焦点検出工程の出力に信頼性がないと判定した場合に、前記第２の動作を行い、
前記第２の動作を行う場合に、前記判定工程で前記焦点検出工程の出力に信頼性がないと判定したタイミングよりも前に前記焦点検出工程により検出された複数の焦点状態の検出結果に基づいて被写体の位置を推定し、推定した被写体の位置と前記記憶工程で記憶された前記フォーカスレンズの軌跡の情報とに基づいて、前記フォーカスレンズの位置の制御を行うことを特徴とする撮像装置の制御方法。
【請求項７】
請求項６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項８】
請求項６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの信号に基づいてフォーカスレンズの位置制御を行う撮像装置に関するものである。
【背景技術】
【０００２】
近年、撮像素子の高機能化が進展しており、撮像素子でいわゆる位相差ＡＦ信号を検知可能なシステムが提案されている。従来より、撮像面での情報を焦点検出に活用する提案はなされており、特許文献１ではピント状態をフィードバックして光学系の調整（ピント調整）を行う提案がなされている。
【０００３】
一方で、光学系のズーム状態の変化に応じて光学系の調整を行う提案がなされている。特許文献２では光学系のズーム状態の変化に応じてフォーカスレンズを駆動することでピント状態を維持する提案がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭５５−４０４４７号公報
【特許文献２】特開昭５２−１１４３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１においては、フィールドで使用する場合に、例えば位相差検出の２像の一致度が低下する、輝度飽和が急に発生するなどのエラーが発生した場合の処理について記されていないため、システムが不安定になりやすいという課題がある。
【０００６】
また、特許文献２においては、像の焦点状態を検出せずに、ズーム状態の変化に応じてフォーカスレンズを駆動するため、レンズの位置決めに誤差が累積しやすいという課題がある。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出のための信号にエラーが生じた場合でも、フォーカスレンズの位置制御を安定して行うことが可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、撮影光学系の焦点状態を検出する焦点検出手段と、前記撮影光学系のズーム位置を検知するズーム位置検知手段と、前記撮影光学系のフォーカスレンズの位置を検知するフォーカス位置検知手段と、前記撮影光学系のフォーカスレンズの位置を調整する調整手段と、前記ズーム位置の変化に応じて、同じ距離の被写体に対して焦点を合わせ続けるための前記フォーカスレンズの軌跡を記憶する記憶手段と、前記焦点検出手段の出力の信頼性を判定する判定手段と、前記焦点検出手段の出力に基づいて、前記ズーム位置の変化に応じた前記フォーカスレンズの位置の制御を行う第１の動作と、前記記憶手段に記憶されている前記フォーカスレンズの軌跡の情報に基づいて、前記ズーム位置の変化に応じた前記フォーカスレンズの位置の制御を行う第２の動作とを、前記判定手段の判定に応じて切り替える制御手段と、を備え、前記制御手段は、前記判定手段が前記焦点検出手段の出力に信頼性があると判定した場合に、前記第１の動作を行い、前記判定手段が前記焦点検出手段の出力に信頼性がないと判定した場合に、前記第２の動作を行い、前記第２の動作を行う場合に、前記判定手段が前記焦点検出手段の出力に信頼性がないと判定したタイミングよりも前に前記焦点検出手段により検出された複数の焦点状態の検出結果に基づいて被写体の位置を推定し、推定した被写体の位置と前記記憶手段に記憶されている前記フォーカスレンズの軌跡の情報とに基づいて、前記フォーカスレンズの位置の制御を行うことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、焦点検出のための信号にエラーが生じた場合でも、フォーカスレンズの位置制御を安定して行うことが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の一実施形態であるカメラシステムの構成を示す図。
【図２】一実施形態の撮像装置の要部を示すブロック図。
【図３】基本的なズームトラッキング動作を説明する図。
【図４】エラーが発生した場合のズームトラッキング動作を説明する図。
【図５】別のズームトラッキング動作を説明する図。
【図６】ピント検知部について説明する図。
【図７】ピント検知のエラーが発生しやすい場面を説明する図。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の撮像装置の一実施形態であるカメラシステムの構成を示す図であり、図１（ａ）は中央断面図、図１（ｂ）は電気的構成を示すブロック図である。
【００１２】
図１（ａ）において、カメラシステム１００は、カメラ本体１と、カメラ本体１に着脱自在に装着されるレンズユニット２を備えて構成されている。カメラ本体１は、撮像素子６、メカシャッタ１４、背面表示部９ａ、電子ビューファインダ９ｂ、レンズユニット２との電気接点１１を備えている。また、レンズユニット２は、光軸４に沿って複数のレンズからなる撮影光学系３が配置されて構成されている。レンズユニット２は、各レンズ群の位置を検出し、各レンズ群の位置検出信号を出力するレンズ位置センサ１５を備えている。
【００１３】
図１（ｂ）において、カメラ本体１は、電気的ブロックとして、カメラシステム制御回路５、画像処理部７、メモリ部８、操作検出部１０、表示部９（背面表示部９ａ、電子ビューファインダ９ｂを含む）を備えている。また、レンズユニット２は、電気的ブロックとして、レンズシステム制御回路１２、レンズ駆動部１３を備えている。
【００１４】
カメラ本体１とレンズユニット２とからなるカメラシステム１００は、大きく分けて、撮像部、画像処理部、記録再生部、制御部で構成される。撮像部は、撮影光学系３ 、撮像素子６を含み、画像処理部は、画像処理部７を含む。また、記録再生部は、メモリ部８、表示部９を含み、制御部は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３、レンズ位置センサ１５を含む。カメラシステム制御回路５は、カメラ本体１およびレンズユニット２から得られる信号に基づいて、システム全体の制御を統括する。レンズ駆動部１３は、フォーカスレンズ３１、ブレ補正レンズ、絞りなどを駆動する。レンズ位置センサ１５は、撮影光学系３を構成するズームレンズ群、フォーカスレンズ群などの各レンズ群の位置を検出する（ズーム位置検知、フォーカス位置検知）。またレンズ位置センサ１５は、後述するズームトラッキングを行うのに適した精度を有している。
【００１５】
撮像部は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像させる。撮像素子６の信号からピント評価量および適切な露光量が得られるので、これらの信号に基づいて撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光させるとともに、撮像素子６の近傍に被写体像を結像させることができる。
【００１６】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。色補間処理部は、この画像処理部７に備えられており、ベイヤ配列の信号に色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。さらには、画像処理部７は撮像素子６から得られた複数の画像間の比較に基づいてブレ検知信号を生成する。この動作については後述する。メモリ部８は画像データ等を記憶する。カメラシステム制御回路５は、画像データをメモリ部８へ出力するとともに、表示部９に送り、ユーザーに提示する画像を表示させる。
【００１７】
カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。外部操作に応答して撮像部、画像処理部、記録再生部をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、圧縮処理などを制御する。さらに表示部９による画像の表示を制御する。また、背面表示部９ａはタッチパネルになっており、操作検出部１０に接続されている。カメラ本体１はメカシャッタ１４を備えており、カメラシステム制御回路５からの指令により撮像素子６の露光制御を行うことが可能である。
【００１８】
次に、撮影光学系３の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号に基づいて焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を制御する。さらに、手ぶれ補正を行うモードにおいては、後述する撮像素子から得られた信号に基づいてレンズ駆動部１３を介してブレ補正レンズを制御する。
【００１９】
メモリ部８にはズーム変化に対するフォーカスレンズの軌跡（詳細については後述する）が記録されている。また、カメラシステム制御回路５は、メモリ部８の情報及び、レンズ位置センサ１５の情報から被写体の距離を計算し、ズーム変化が起こった場合の適切なフォーカスレンズの位置を計算する。これを、電子カムと呼ぶ。
【００２０】
また後述するように、撮像素子６からは位相差ＡＦに必要な異なる視点からの複数の像が出力され、画像処理部７ではいわゆる相関演算がなされる。つまり、撮像素子６および画像処理部７でピント検知が行われる。そして、カメラシステム制御回路５、レンズシステム制御回路１２およびレンズ駆動部１３によってフォーカスレンズの位置制御が行われる。
【００２１】
図２は、本実施形態のカメラシステムの要部を説明する図である。図２において、ピント検出部２１は画像処理部７に設けられ、電子カム算出部２２及び切替スイッチ２３はカメラシステム制御回路５に設けられている。信頼性判定部２４は切替スイッチ２３の動作を制御する。ピント検知部２１は、ピントに関する情報（主被写体が存在するとした領域のピントが合っているか否か、及び合っていない場合はその方向と量）を検出する。
【００２２】
撮像素子６から出力される信号に基づいて、画像処理部７内のピント検知部２１がピントに関する情報を求める。信頼性判定部２４によって、ピント検知部２１で検出した情報が適切であると判断される場合は、切替スイッチは図３に示した状態になり、ピント検知部２１の信号に基づいてフォーカスレンズ３１の位置制御が行われる。具体的には、主被写体にピントが合った状態を維持するように、フォーカスレンズ３１に対してフィードバック制御が行われる。レンズシステム制御回路１２は、レンズ駆動部１３にこのフィードバック制御を行うための指令を出力する。
【００２３】
一方で、信頼性判定部２４によってピント検知部２１において求めた信号が適切でないと判断された場合は、切替スイッチ２３は電子カム算出部２２に接続されるように切り替えられる。そして、電子カム算出部２２の信号に基づいてフォーカスレンズ３１の位置制御が行われる。具体的には、被写体の状態に関わらず直前のピント状態を維持するようにレンズシステム制御回路１２からレンズ駆動部１３に指令が出される。ズーム状態に変更がない場合はフォーカスレンズは停止したままとなり、ズーム状態に変化がある場合は、ズームトラッキングと呼ばれる制御を行う。ズームトラッキング動作については後述する。
【００２４】
電子カム算出部２２は、レンズ位置センサ１５からフォーカスレンズ及びズームレンズの位置を取得して、フォーカス状態およびズーム状態に関する情報を得る。さらにはメモリ部８を参照して、フォーカスレンズの位置およびズームレンズの位置がレンズ位置センサ１５が示す位置にある場合に対応する被写体距離を算出する。後述するようにズーム状態が変化した場合には、同じ距離の被写体にピント状態を維持するためには、フォーカスレンズを適切に駆動する必要がある。この動作をズームトラッキング動作と呼ぶ。
【００２５】
次に、信頼性判定部２４がピント検知部２１において求めた信号の適否を判断する方法について説明する。後述するように撮像素子６から位相差ＡＦに必要な信号が得られる場合は、相関演算における２像の一致度を信頼性の判定に用いることが出来る。別の方法として、コントラストＡＦを用いる場合は、コントラストの変化量を輝度で無次元化した信号を用いることが出来る。さらに別の方法として、物体側での被写体の位置を時系列的に観測しておき、その連続性を用いることが出来る。上記のそれぞれの判定方法において、２像の一致度が低い場合、コントラスト信号の変化が小さい場合、および被写体の移動速度が速すぎる場合（遠近競合でピント位置が前後するような場合）は、ピント検知部２１が検知した信号を用いることが不適切と判断する。そして、電子カム算出部２２の信号に基づいた制御に切り替える。一方で、ピント検知部２１の検知が適切になされていると判断される場合は、撮像素子６からの合焦状態を示す信号を用いることで、被写体の移動にも追従した適切なピント制御がなされる。
【００２６】
次に、図３を参照してズームトラッキングの基本的な動作について説明する。図３（ａ）はズームトラッキング動作の概念を説明する図、図３（ｂ）は距離が変化しない被写体に対してズームトラッキングを行う様子を示す図、図３（ｃ）は距離が変化する被写体に対してズームトラッキングを行う様子を示す図である。
【００２７】
図３において、横軸はズーム位置であり左側が広角（ＷＩＤＥ）側を、右側が望遠（ＴＥＬＥ）側を示している。縦軸はフォーカスレンズの位置であり、下側がフォーカスレンズが像面に近づく方向を、上側がフォーカスレンズが被写体に近づく方向を示している。また図３（ａ），（ｂ），（ｃ）に示された複数の曲線は、それぞれ被写体距離が０．５ｍ、１．０ｍ、３．０ｍ、無限遠の距離の被写体に対するズーム位置とフォーカスレンズ位置の対応を示している。
【００２８】
図３に示すように、同じ距離の被写体にピントを合わせるためには、ズーム位置に応じてフォーカスレンズの位置を移動させる必要がある。この曲線に関する情報はメモリ部８に格納されている。電子カム算出部２２において、ズーム変化に対して、撮影光学系３について撮像素子６と共役な位置にある物体側の面までの距離を変化させないためにフォーカスレンズ３１を移動させる量が算出される。
【００２９】
図３において、３０はズームの開始点、４０はズームの終了点、３１はズーム位置３０における３．０ｍの距離にある被写体にピントが合っている状態を示す点である。４１はズーム状態４０における３．０ｍの距離にある被写体にピントが合っている状態を示す点である。
【００３０】
図３（ａ）を参照してズームトラッキングの基本的な動作についてさらに説明する。被写体が撮像装置から３．０ｍの位置にあるときに、ズームレンズがズーム位置３０からズーム位置４０に遷移する場合を考える。図３は時間の概念を表現していないが、ここでは時系列的にズーム位置３０からズーム位置４０に遷移したとする。ズーム位置３０で３．０ｍの被写体にピントが合っている場合、３１で示した位置にフォーカスレンズが存在する。ここでフォーカスレンズを停止させたままズーム位置を４０に変化させたとすると、図３（ａ）の矢印３２に沿って状態が変化し、状態３３に至る。状態３３は被写体距離３．０ｍと無限遠の間に位置しているので、３．０ｍよりも遠い被写体にピントが合った状態になっている。つまり３．０ｍの被写体のピントはぼけている。ズーム位置４０において３．０ｍの被写体にピントを合わせるにはフォーカスレンズを４１で示す位置に移動させる必要がある。
【００３１】
図３（ａ）の例では、説明を分かりやすくするため、ズーム方向に大きく動かし、状態３３に至った後に、状態４１に遷移するように説明した。しかし、実際には、状態３３と状態４１で発生するデフォーカス量が許容値以下になるように制御することが好ましい。そのため、レンズ位置センサ１５は図３（ａ）における状態３３と状態４１が許容値以下になるような分解能を持つことが望ましい。
【００３２】
何らかの方法でズーム動作に伴うピントの補償を行うことを本実施形態ではズームトラッキングと呼ぶ。ズームトラッキングには、第１のトラッキング方法として、ピント検知センサを用いてその信号をフィードバックしてズームトラッキングする方法がある。また、第２のトラッキング方法として、フォーカスレンズおよびズームレンズの位置に基づいてズームトラッキングする方法がある。
【００３３】
本実施形態では、上記の第１のトラッキング方法と、第２のトラッキング方法を適宜使い分ける方法を用いる。第１のトラッキング方法は、ピント検知センサの信号（例えば位相差ＡＦの検出信号）をフィードバックするため、誤差が累積しない、移動被写体も容易に追従できるという利点があるが、ピント検知センサの信号が不適当な場合にうまく動作しないなどの課題がある。一方で、第２のトラッキング方法は、位置センサの信号に基づくので、システムの構成は容易となる利点があるが、最終的な画像のピント位置を用いていないため、センサやレンズの位置決めなど誤差が累積しやすい課題がある。本実施形態では、高品位な画像を提供するため、第１のトラッキング方法の利点を生かしつつ、第２のトラッキング方法を適宜利用して欠点を補う。
【００３４】
図３（ｂ）は、距離が変化しない被写体に対して適切にズームトラッキングがなされる様子を示した図である。第１のトラッキング方法では、ピント状態が常にインフォーカスの状態を保ちながらズーム動作させる（ズーム位置３０からズーム位置４０に遷移する）ので、状態が３１→３４→３５→ … →４１と変化して、適切なズームトラッキング動作がなされる。一方、第２のトラッキング方法では、ズーム状態が変化したことをズームセンサで検知するとともに、現在のフォーカスレンズの位置を検知する。ズーム位置の変化に応じて、同じ距離の被写体にピントを合わせるように、つまり、同一距離の被写体にピントが合うことを示した曲線に沿うように、フォーカスレンズを位置決め制御する。これにより適当なズームトラッキング動作がなされる。
【００３５】
図３（ｃ）は、距離が変化する被写体に対してズームトラッキングがなされる様子を示した図である。後述するように被写体距離が変化しているので、単純なズームトラッキングではなくズームトラッキングとピント合わせを同時に行う場合に該当する。第１のトラッキング方法では、図３（ｂ）の例と同様に、常に被写体に対してピントが合った状態を保ちながらズーム動作がなされる（ズーム位置３０からズーム位置４０に遷移する）ので、状態が３１→３６→３７→ … →４２と変化して適切なズームトラッキング動作がなされる。一方で、第２のトラッキング方法では、同じ距離の被写体にピントを合わせようとするので単純に適用すると図３（ｂ）の様に遷移して状態４２に至ることはない。ただし、ズームトラッキング中の適当なタイミングでＡＦ（オートフォーカス）を行ってトラッキング曲線の乗り移りを行うことで図３（ｃ）に示すような制御も可能である。これにより適切なズームトラッキング動作がなされる。
【００３６】
図３を参照して説明したように、ズームトラッキングにおいては、光学系の結像状態に関する情報（ピント検知情報等）に基づいて制御を行うと、単純な制御（常にインフォーカス状態を保つ）で移動する被写体に対しても適切な動作を行うことが出来る。一方で、ピント検知という高度な処理を行う必要があるので、エラーが発生する場合がある。本実施形態では、この問題を解決する。
【００３７】
図４を参照して、本実施形態の動作とその効果について説明する。図４は図３と同じ表記法を用いたグラフである。図４において図３と同じ意味を持つものは同じ番号を付した。図４は移動していない被写体に対してズームトラッキングを行っている最中に、エラーが発生した場合を示した図である。発生しやすいエラーについては後述するが、位相差ＡＦ（オートフォーカス）においては、２つの像の一致度が低下して本来対応すべきではない被写体間で像の一致を判定した場合などが挙げられる。
【００３８】
図４において、５０はピント検知が不適切になったズーム位置、５１は不適切に得られたピント検知信号、５１ａは５１の代わりに用いられる状態をそれぞれ示している。図４（ａ）のズーム位置５０でピント検知が失敗して５１で示すデータが得られたとする。つまり、被写体は移動していないにもかかわらず、ズーム位置５０で被写体距離が無限遠の位置に移動したというピント検知結果が得られたとする。そのままフォーカスレンズの位置制御を行うと、状態は、３１→３４→５１→ … →４１と遷移し、ピント状態が途中で激しく変化して品位の低い画像になってしまう。
【００３９】
ピント検知結果が不安定になる場合には、前述したように２像の一致度が低い、コントラスト信号の変化が小さい、被写体の移動速度が速すぎるというような結果が得られる。そこで、信頼性判定部２４によってズーム位置５０での演算結果５１が不適切であると判断された場合には、ズームトラッキングは電子カム算出部２２の出力に基づいて行われる。つまり直前の状態３４を参照して、この時のフォーカス位置、ズーム位置から被写体距離を求める。ズーム位置５０の時も被写体距離は変化していないものとして、フォーカスレンズの位置を求め、状態５１ａに遷移する。すなわち図４（ｂ）に示すように、状態は、３１→３４→５１ａ→ … →４１と遷移する。このようにすることで滑らかなフォーカス制御がなされる。エラー発生時にも適切なレンズ制御が行われ安定して高品位な画像を得ることが出来る。
【００４０】
次に、図５を参照して別の例について説明する。図５は図３および図４と同じ表記法を用いたグラフである。図５において図３及び図４と同じ意味を持つものは同じ番号を付した。
【００４１】
図５（ａ）はエラー発生後に被写体の距離が変化している場合の処理の様子を示す図であり、図５（ｂ）は移動する被写体に対してズームトラッキングを行っている最中に、エラーが発生した場合を示した図である。図５ではエラーが発生する前や後の信号を利用してどのような制御を行うかを説明する。ここで、図５は時間的な概念を表現していないグラフであるが、一定速度でズーム動作しており、ズーム方向の横軸は時間にも対応しているものとして説明を行う。
【００４２】
図５（ａ）の例は、ズーム状態５０でエラーが発生した後、次のタイミングに被写体が１．０ｍに移動した場合を示す図である。図５（ａ）では、説明を分かりやすくするために１回のサンプリングで３．０ｍ→１．０ｍに移動するようにしたが、これは一般的な被写体の移動速度としては非常に速いといえる。エラーの発生前後で被写体の距離が変化している場合の説明を分かりやすくするために便宜的にこのような値にしているに過ぎない。
【００４３】
図５（ａ）において、エラー発生の次のタイミングで被写体距離が変化してピント状態５２，５３が得られたとする。本実施形態の動作では、図４を用いて説明した様に、エラーの直前の状態３４を参照して、ズーム位置５０の時も被写体距離は変化していないものとして、フォーカスレンズの位置５１ａを定める。次に正しく被写体距離が求められたときに、被写体距離は１．０ｍに変化している。この時に急に状態を５１ａから５２に遷移させると、ピント変化が急激になり過ぎて品位の低い画像になってしまう。
【００４４】
そこで、エラー発生時に電子カム算出部２２の信号でフォーカスレンズの制御を行った後に、ピント検知部２１での制御に切り替える場合において、ピント検知部２１の信号に加えてレンズ位置センサ１５の信号も用いてフォーカスレンズの制御を行うようにする。具体的には、レンズ位置センサ１５を参照しながら５１ａ→５２の差を数サンプリング時間かけて埋めるようにする。別の方法としては１サンプリングあたりの移動量を制限しても良い。図５（ａ）の例では状態５１ａの次に状態５２に遷移するのではなく、レンズ位置センサ１５の出力から得られる現在のフォーカスレンズ位置から離れすぎない点５２ａを設定し、この状態に遷移する。さらに状態５３が検知されたときに状態５３ａに遷移する。図５（ａ）の例では状態が３１→３４→５１ａ→５２ａ→５３ａ→ … →４１と遷移する。
【００４５】
図５（ｂ）の例は、ズーム位置５０でエラーが発生した時に、被写体が３．０ｍから１．０ｍに移動している途中である場合である。被写体が移動していることは、エラー発生前の状態から知ることが出来る。そこで、電子カム算出部２２の信号でフォーカスレンズの制御を行う場合において、電子カム算出部２２の信号に加えて、直前のピント検知部２１の複数の信号を用いてフォーカスレンズの制御を行うようにする。具体的には、状態が３１→５４と遷移すると被写体が近づいてきていることが分かる。被写体の移動を判別するためには、直前のピント検知部２１の複数の信号を用いれば良い。エラーが発生したズーム位置５０での被写体位置を推定して（例えば等速運動していると仮定して位置を予測するなどの方法を用いる）その位置にピントが合うようにフォーカスレンズの位置を制御する。図５（ｂ）の例では３１→５４→５１ｂ→ … →４２と遷移する。
【００４６】
図４および図５ではズーム動作中にエラーが発生した場合について説明したが、ズーム動作中でない場合に本実施形態の動作を行っても不具合はない。すなわちズームトラッキング動作がなされないだけで、エラーによってピント状態が途中で激しく変化して品位の低い画像になることが回避されるという効果は同様である。つまりズーム動作中のみに行うというような場合分けは必要ない。
【００４７】
次に、図６を参照してピント検知部２１に信号を供給する撮像素子６の構成と、画像処理部７の動作について説明する。図６の例は撮像素子６でいわゆる位相差検出ＡＦ信号を得ることが出来る場合を示している。
【００４８】
図６（ａ）は撮像素子６と座標系の関係を説明するための図、図６（ｂ）は撮影光学系３の瞳面の分割状態を説明するための図、図６（ｃ）は撮像素子６から得られる一方の視点からの像を説明する図である。また、図６（ｄ）は撮像素子から得られる他方の視点からの像と位相差ＡＦの方法を説明する図、図６（ｅ）は位相差ＡＦの検出状態を模式的に示した図である。
【００４９】
図６（ａ）において、６０は撮像素子６に設けられたマイクロレンズアレイ、６１，６２は１つのマイクロレンズに対応するように設けられた複数の画素、７１，７２は瞳面においてそれぞれ画素６１，６２に対応する領域をそれぞれ示している。また、８１は瞳領域７１に対応する画素で取得された画像、８２は被写体、８３は画像８１中の着目領域、８４は瞳領域７２に対応する画素で取得された画像、８５は着目領域８３と画面内の位置が同一の領域をそれぞれ示している。また、８６は探索することを模式的に示す矢印、８７は画像８１の領域８３に対応する画像８４中の領域、８８は２つの視点から取得された画像を重ねて表示した画像、８９は画像８１中の領域８３で検知されたベクトルをそれぞれ示している。
【００５０】
図６（ａ）に示すように、撮像素子６上にはマイクロレンズアレイ６０が設けられており、マイクロレンズアレイ６０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図６（ａ）は撮像装置の横からと、正面からマイクロレンズアレイ６０を見た状態を示しており、撮像装置正面から見るとマイクロレンズアレイ６０のレンズが撮像素子６上の画素を覆うように配置されている。なお、図６（ａ）ではマイクロレンズアレイ６０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素を２つ覆う程度の大きさである。
【００５１】
図６（ｂ）は撮像素子６の１つのマイクロレンズとその下にある画素に着目し、マイクロレンズの光軸を含み撮像素子６の長手方向が図の横方向になるように切断した図である。図６（ｂ）の６１，６２はそれぞれ撮像素子６の画素（１つの光電変換部）を示している。一方、図６（ｂ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図６（ｂ）の下方に示した撮像素子の図と方向を合わせると、射出瞳面は図６（ｂ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。
【００５２】
図６（ｂ）の画素６１，６２はマイクロレンズ６０によって共役な位置関係にある射出瞳面上の領域７１，７２とそれぞれ対応する位置関係にある。図６（ｂ）に示すように、マイクロレンズ６０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。すなわち画素６１には撮影光学系３の射出瞳面上の領域７１を通過した光束のみが入射し、画素６２には撮影光学系３の射出瞳面上の領域７２を通過した光束のみが入射する。
【００５３】
瞳領域７１を通過した光束のみを捉えている画素６１と同じ対応関係にある画素のみ集めた画像と、瞳領域７２を通過した光束のみを捉えている画素６２と同じ対応関係にある画素のみ集めた画像を考えると視点の異なる像となっている。画素６１と同じ対応関係にある画素のみ集めた画像は瞳領域７１から見たような画像となっており、画素６２と同じ対応関係にある画素のみ集めた画像は瞳領域７２から見たような画像となっている。すなわち一度の露光を行い、信号を適切に並べると、同じタイミングで露光された視点の異なる画像が得られることになる。
【００５４】
次に図６（ｃ），（ｄ），（ｅ）を参照して異なる視点から取得された２つの画像を用いてピント検知（焦点状態の検知）を行う方法について説明する。図６（ａ），（ｂ）を用いて説明したような光学系によって、異なる視点から取得された２つの画像８１，８４を取得する。そのうち一方の画像８１内で被写体８２が存在する領域８３に着目する。この領域の大きさは任意に設定可能であるが例えば８ｘ８画素などとすればよい。図６の例では説明を分かりやすくするために、枠は十分大きく示している。
【００５５】
この領域８３が画像８４のどこに移動したかを差分絶対値（＝ＳＡＤ）などを基準に探索すればよい。具体的には画像８４で画像内の位置が対応する領域８５を中心に、予め定められた範囲について、矢印８６のように領域をずらしながらＳＡＤを計算すればよい。この場合、領域をずらす方向を示す矢印８６は図６（ｂ）で示した２つの瞳領域の重心を結ぶ方向に設定すればよい。これは、いわゆるエピポーラ拘束があるためである。ＳＡＤを基準に用いた場合は、最小となる位置が対応する領域８７となる。結果として２つの画像の合成画像８８において、領域８３はベクトル８９のように移動したことが分かる。このベクトル８９の方向がピントを合わせる時に動かすべきフォーカスレンズの方向を、ベクトル８９の長さがピントを合わせる時に動かすべきフォーカスレンズの量を、それぞれ示している。
【００５６】
図６（ｃ），（ｄ），（ｅ）で説明した原理によってピント検知を行った場合、視点によって正反射光が異なって見える場合、遠方と近距離に類似する物体がある場合、繰り返しパターンを観察した場合などにエラーが発生しやすい。このような場合には２像の一致度が低下したり、類似するピークが複数見られ判断が付かないという現象がみられる。
【００５７】
図６では、いわゆる位相差ＡＦの原理に基づいてピント検知を行った。別の方法としてはコントラストＡＦに基づく方法も考えられる。これはフォーカスレンズを時系列的に微少駆動させて、着目領域のコントラスト変化を観察する方法である。コントラストが最大となるようにピントを制御する方法である。コントラストＡＦでは一般的には時系列的に信号を取り出すので、照明状態の変化がある場合、手振れ状態の変化がある場合、被写体が移動する場合などにエラーが発生しやすい。
【００５８】
次に、図７を参照してピント検知においてエラーが発生する場合の例について説明する。図７において、９１は遠方と近距離に類似する個所をもった被写体が存在する画像の例、９２，９３は類似する領域を示す枠をそれぞれ示している。また、９４は正反射光がある被写体が存在する画像の例、９５は被写体、９６は被写体上の正反射光をそれぞれ示している。
【００５９】
図７（ａ）は遠方と近距離に類似する個所をもった被写体が存在する画像を説明する図である。図６で説明したピント検知のための領域が９３に設定されたとする。帽子と帽子のつばの境界付近である。後方の被写体も同じ色の帽子をかぶっている場合、領域９２は類似した信号をもつ。ノイズなどの影響によって領域９３と領域９２が対応すると判断された場合はピント検知がエラーとなる。ただし、このような場合は、正しく対応した場合と見分けがつきにくいという情報が得られる。つまり、ＳＡＤの極小値が２つありどちらも同程度に見えるという情報が得られる。本実施形態では、これを利用して信頼性判定部２４でエラーが発生したと判定する。
【００６０】
図７（ｂ）は正反射光がある被写体が存在する画像を説明する図である。被写体９５に対して太陽光のような強力な光源の光が当たると、正反射光９６の信号は強く表れる。球体など曲率を持った面の場合、この正反射光成分は視点によって被写体９５上で別の位置に観察される。このため、正反射光成分によって位相差ＡＦの検出が行われると、ピント検知がエラーとなる。ただし、このような場合は、被写体の輪郭部分と正反射光で位置が異なって観測されるので、２像の一致度が低下するという情報が得られる。本実施形態では、これを利用して信頼性判定部２４でエラーが発生したと判定する。
【００６１】
上記のような、実動作環境においてエラーが発生しやすい状況においては、ＡＦが不安定になる場合が想定され、そのような場合に本実施形態の動作を行うことにより、フォーカスレンズの位置制御を安定に行うことが出来る。
【００６２】
以上説明したように、本実施形態によれば、撮像面の信号を利用してピント調整を行うシステムにおいて、焦点検出のエラー発生時にも適切なレンズ制御を行うことができ、安定して高品位な画像を提供することが可能となる。
【００６３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
３：撮影光学系、５：カメラシステム制御回路、６：撮像素子、７：画像処理部、８：メモリ部、１２：レンズシステム制御回路、１３：レンズ駆動部、１５：レンズ位置センサ、２１：ピント検知部、２２：電子カム算出部、２３：切替スイッチ、２４：信頼性判定部
【図１】
0006659100.tif 000002
【図２】
0006659100.tif 000003
【図３】
0006659100.tif 000004
【図４】
0006659100.tif 000005
【図５】
0006659100.tif 000006
【図６】
0006659100.tif 000007
【図７】
0006659100.tif 000008