(57)【要約】【課題】  被写体検出結果を利用した焦点検出動作の高速化を、記録画像の画質低下を抑制しつつ実現する自動焦点検出装置およびその制御方法を提供する。【解決手段】  画像から所定の被写体が第１の検出手段で検出できるが第２の検出手段で検出できない場合、焦点検出動作の間に、第１の検出手段で検出された被写体についての合焦方向を判定しておく。所定の被写体が第２の検出手段で検出できるようになった場合、第２の検出手段で検出された所定の被写体の合焦方向が判定手段によって判定されていれば、判定された合焦方向を用いて焦点検出動作を開始する。【選択図】  図１１
2014126710.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像の予め設定された焦点検出領域から得られるＡＦ評価値に基づいて焦点検出を行う自動焦点検出装置であって、
前記画像から所定の被写体を検出する第１の検出手段と、
前記画像から、前記第１の検出手段と異なる方法で前記所定の被写体を検出する第２の検出手段と、
前記所定の被写体が前記第１の検出手段で検出できるが前記第２の検出手段で検出できない場合、前記焦点検出領域に対する焦点検出動作の間に、前記第１の検出手段で検出された被写体についての合焦方向を判定する判定手段と、
前記所定の被写体が前記第２の検出手段で検出できるようになった場合、前記第２の検出手段で検出された前記所定の被写体の領域に基づいて前記焦点検出領域を設定するとともに、前記第２の検出手段で検出された前記所定の被写体の合焦方向が前記判定手段によって判定されていれば、該判定された合焦方向を用いて焦点検出動作を開始する制御手段と、
を有することを特徴とする自動焦点検出装置。
【請求項２】
前記第１の検出手段の検出結果の信頼性が、前記第２の検出手段の検出結果の信頼性よりも低いことを特徴とする請求項１記載の自動焦点検出装置。
【請求項３】
前記焦点検出動作が、フォーカスレンズの異なる位置におけるＡＦ評価値に基づいて焦点検出を行い、
前記判定手段が、前記第１の検出手段で検出された被写体について設定された領域におけるＡＦ評価値の変化と、フォーカスレンズの位置の変化との関係に基づいての前記合焦方向を判定する、
ことを特徴とする請求項１または請求項２に記載の自動焦点検出装置。
【請求項４】
前記焦点検出動作が、フォーカスレンズを微小範囲内で駆動して前記焦点検出領域の合焦方向を判定する微小駆動動作と、前記フォーカスレンズを前記微小範囲よりも大きな範囲内で駆動して合焦位置を探索する山登り駆動動作とを有し、
前記制御手段は、前記判定手段によって判定された合焦方向を用いて焦点検出動作を開始する場合には、前記微小駆動動作を省略し、前記判定された合焦方向を用いた山登り駆動動作を開始する、ことを特徴とする請求項１から請求項３のいずれか１項に記載の自動焦点検出装置。
【請求項５】
前記判定手段は、前記微小駆動動作もしくは前記山登り駆動動作において前記合焦方向の判定を行う、ことを特徴とする請求項４記載の自動焦点検出装置。
【請求項６】
前記制御手段は、前記第２の検出手段で検出された前記所定の被写体の合焦方向が、前記微小駆動動作および前記山登り駆動動作の両方において判定されている場合、前記山登り駆動動作に判定された合焦方向を用いて前記焦点検出動作を開始する、ことを特徴とする請求項５記載の自動焦点検出装置。
【請求項７】
前記第１の検出手段による検出結果の信頼性が、前記第２の検出手段による検出結果の信頼よりも低い、ことを特徴とする請求項１から請求項６のいずれか１項に記載の自動焦点検出装置。
【請求項８】
前記所定の被写体が人物であり、前記第１の検出手段が人体領域を検出し、前記第２の検出手段が顔領域を検出する、ことを特徴とする請求項７記載の自動焦点検出装置。
【請求項９】
前記制御手段は、前記人体領域から推定される顔領域と、前記第２の検出手段で検出された顔領域との相関に基づいて、前記第２の検出手段で検出された前記所定の被写体の合焦方向が前記判定手段によって判定されているかどうか判定する、ことを特徴とする請求項８記載の自動焦点検出装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の自動焦点検出装置と、
前記画像を撮影する撮影手段と、
前記焦点検出動作に従ってフォーカスレンズを駆動する駆動手段と、
を有することを特徴とする撮像装置。
【請求項１１】
撮影された画像から所定の被写体を検出する第１の検出手段と、
前記画像から、前記第１の検出手段と異なる方法で前記所定の被写体を検出する第２の検出手段と、を有し、
前記画像の予め設定された焦点検出領域から得られるＡＦ評価値に基づいて焦点検出を行う自動焦点検出装置の制御方法であって、
判定手段が、前記所定の被写体が前記第１の検出手段で検出できるが前記第２の検出手段で検出できない場合、前記焦点検出領域に対する焦点検出動作の間に、前記第１の検出手段で検出された被写体についての合焦方向を判定する判定工程と、
制御手段が、前記所定の被写体が前記第２の検出手段で検出できるようになった場合、前記第２の検出手段で検出された前記所定の被写体の領域に基づいて前記焦点検出領域を設定するとともに、前記第２の検出手段で検出された前記所定の被写体の合焦方向が前記判定工程によって判定されていれば、該判定された合焦方向を用いて焦点検出動作を開始する制御工程と、
を有することを特徴とする自動焦点検出装置の制御方法。
【請求項１２】
コンピュータを、請求項１から請求項９のいずれか１項に記載の自動焦点検出装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動焦点検出装置およびその制御方法に関し、特には、被写体検出結果を用いて焦点検出する自動焦点検出装置およびその制御方法に関する。
本発明はまた、このような自動焦点検出装置およびその制御方法を適用した撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラ等の自動合焦（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト）に基づいて合焦位置を検出するＴＶ−ＡＦ方式が広く用いられている。ＴＶ−ＡＦ方式は、具体的には、異なるフォーカスレンズ位置で撮影された映像信号について、コントラストの程度を示すＡＦ評価値を生成し、ＡＦ評価値に基づいてコントラストが最大となるフォーカスレンズの位置を合焦位置として探索する方式である。
【０００３】
また、画像から例えば人物の顔のような特定のパターンを有する領域（被写体領域）を自動的に検出し、検出した被写体領域を基準に露出や焦点検出を行うことが知られている。特定のパターンは人物の顔に限らない。例えば、特許文献１には人物の上半身を検出する画像処理装置及び方法が提案されている。
【０００４】
一方、焦点検出動作を高速化するために、撮影前にフォーカスレンズをサーチ駆動して複数の焦点検出領域（ＡＦ枠）で取得したＡＦ評価値から合焦すべき被写体の位置を特定しておき、撮影時にこの位置を利用して合焦動作を行う方法が提案されている。（特許文献２）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２１１３１１号公報
【特許文献２】特開２０１０−１９１０８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１などに記載されている人体検出方法を利用した場合、人物が後ろ向きの場合や、顔に装飾品などを付けている被写体でも検出することが可能である。しかし、顔検出よりも検出誤差が高く、意図しない被写体にＡＦ枠を設定してしまう可能性がある。
【０００７】
一方、撮影前と撮影時とで合焦すべき被写体が異なる場合、特許文献２記載の方法では焦点検出動作の高速化はできない。また、動画撮影の場合、撮影中にサーチ駆動すると、サーチ駆動によるボケた映像が記録されてしまうという問題がある。
【０００８】
本発明はこのような従来技術の課題の１つ以上を改善することを目的とし、被写体検出結果を利用した焦点検出動作の高速化を、記録画像の画質低下を抑制しつつ実現する自動焦点検出装置およびその制御方法を提供する。
【課題を解決するための手段】
【０００９】
上述の目的は、撮影された画像の予め設定された焦点検出領域から得られるＡＦ評価値に基づいて焦点検出を行う自動焦点検出装置であって、画像から所定の被写体を検出する第１の検出手段と、画像から、第１の検出手段と異なる方法で所定の被写体を検出する第２の検出手段と、所定の被写体が第１の検出手段で検出できるが第２の検出手段で検出できない場合、焦点検出領域に対する焦点検出動作の間に、第１の検出手段で検出された被写体についての合焦方向を判定する判定手段と、所定の被写体が第２の検出手段で検出できるようになった場合、第２の検出手段で検出された所定の被写体の領域に基づいて焦点検出領域を設定するとともに、第２の検出手段で検出された所定の被写体の合焦方向が判定手段によって判定されていれば、判定された合焦方向を用いて焦点検出動作を開始する制御手段と、を有することを特徴とする自動焦点検出装置によって達成される。
【発明の効果】
【００１０】
本発明によれば、被写体検出結果を利用した焦点検出動作の高速化を、記録画像の画質低下を抑制しつつ実現する自動焦点検出装置およびその制御方法を提供することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る自動焦点検出装置を適用した撮像装置の一例としてのデジタルビデオカメラの機能構成例を示すブロック図
【図２】本発明の実施形態の概略を説明するための図
【図３】本発明の実施形態のメイン制御を示す図
【図４】本発明の実施形態の焦点検出領域設定処理を示す図
【図５】本発明の実施形態に係るビデオカメラのＡＦ制御動作を説明するためのフローチャート
【図６】本発明の実施形態の微小駆動動作の処理を示すフローチャート
【図７】本発明の実施形態の微小駆動動作を示す図
【図８】本発明の実施形態の山登り動作の処理を示すフローチャート
【図９】本発明の実施形態の山登り動作を示す図
【図１０】本発明の実施形態の合焦方向判定処理を示す図
【図１１】本発明の実施形態の焦点検出領域切り替え時のＡＦ制御を示す図
【図１２】本発明の実施形態の効果を説明する図
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明の例示的な実施形態について図を参照して詳細に説明するが、本発明は説明する実施形態の構成には限定されない。
図１は、撮像装置に本発明の実施形態に係る自動焦点検出装置を適用した例としてのデジタルビデオカメラの機能構成例を示すブロック図である。
【００１３】
図１において、本実施形態のデジタルビデオカメラ１００は、被写体からの光を結像するための撮像光学系１２０を備えている。撮像光学系１２０は、第１固定レンズ１０１、光軸方向に移動して変倍を行う変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスコンペンセータレンズ１０５を備える。フォーカスコンペンセータレンズ（以下、単にフォーカスレンズという）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。
【００１４】
撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサといった光電変換素子から構成される。撮像素子１０６は撮像光学系により結像された被写体像を光電変換して映像信号を出力する。ＣＤＳ／ＡＧＣ回路１０７は撮像素子１０６の出力を相関二重サンプリングするとともに、ゲイン調整する。
【００１５】
カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を行い、映像信号を生成する。表示部１０９はＬＣＤ等により構成され、カメラ信号処理回路１０８からの映像信号を表示する。記録部１１５は、カメラ信号処理回路１０８からの映像信号を記録媒体（磁気テープ、光ディスク、半導体メモリ等）に記録する。
【００１６】
ズーム駆動部１１０は、制御部１１４の制御に応じて変倍レンズ１０２を移動させる。フォーカスレンズ駆動部１１１は制御部１１４の制御に応じてフォーカスレンズ１０５を移動させる。ズーム駆動部１１０及びフォーカスレンズ駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。また、フォーカスレンズ１０５の位置の情報は、フォーカスレンズ駆動部１１１もしくは他の構成により制御部１１４に供給される。
【００１７】
ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、制御部１１４が設定した焦点検出に用いられる領域（焦点検出領域又はＡＦ枠）の信号のみを後段のＡＦ信号処理回路１１３に供給する。
【００１８】
ＡＦ信号処理回路１１３は、ＡＦゲート１１２から供給される焦点検出領域中の画素信号に対して例えばフィルタを適用して予め定められた周波数帯域の成分を抽出し、ＡＦ評価値を生成する。抽出するのは、例えば高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）である。
【００１９】
ＡＦ評価値は、制御部１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラストの程度）を表す値であるが、ピントが合った映像の鮮鋭度は高く、ぼけた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。
【００２０】
制御部１１４は例えばマイクロコンピュータであり、図示しないＲＯＭに予め記憶された制御プログラムを実行してデジタルビデオカメラ１００の各部を制御することにより、デジタルビデオカメラ１００全体の動作を司る。制御部１１４は、ＡＦ信号処理回路１１３から与えられるＡＦ評価値に基づいて、フォーカスレンズ駆動部１１１を制御してＴＶ−ＡＦ方式でのＡＦ制御処理（以下、単に「ＴＶ−ＡＦ」という）を行う。
【００２１】
顔検出部１１６は、ＣＤＳ／ＡＧＣ回路１０７が出力する画像信号に、公知の顔検出技術に基づく顔検出処理を適用し、画像内の人物領域の一例としての顔領域を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。顔検出部１１６による顔検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。
【００２２】
顔検出部１１６は、例えば人物の顔として検出された領域（顔領域）のそれぞれについて、位置と大きさを画像内で特定可能な情報と、検出結果の信頼度などを顔検出結果として制御部１１４に出力する。制御部１１４は、この顔検出結果に基づき、画像内の顔領域を含む領域に焦点検出領域を設定するよう、ＡＦゲート１１２へ指示する。
【００２３】
人体検出部１１９は、映像信号に対して公知の人体検出処理を施して、撮影画面内の人体を検出する。人体検出部１１９は、例えば人体として検出された領域（人体領域）のそれぞれについて、位置と大きさを画像内で特定可能な情報と、検出結果の信頼度などを顔検出結果として制御部１１４に出力する。本実施形態では、制御部１１４は、人体検出結果に基づいて顔領域を推定する。人体検出結果から顔領域を推定する方法に特に制限は無いが、例えば人体領域として、上半身や胸部から上の人体形状を検出している場合、人体領域の形状から頭部領域を判別することが可能である。頭部領域と顔領域との大きさや位置の関係については統計的に予め求めておくことができるため、頭部領域が判別できれば、顔領域の位置やサイズを推定することができる。制御部１１４では、人体検出結果と顔検出結果とに応じて、最終的な顔領域を決定する。人体検出部１１９による検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。
【００２４】
人体検出部１１９で人体領域を検出する方法に特に制限はないが、例えば、特開２００９−２１１３１１号公報に記載されている方法を用いることができる。具体的には、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｈａａｒフィルタなどを用い、局所的な上半身の輪郭のエッジ強度を局所特徴量として検出し、抽出された局所特徴量から各人物領域が上半身か、非上半身かを判別する。この判別は、ＡｄａＢｏｏｓｔ学習などのような機械学習に基づき実施することができる。なお、特開２００９−２１１３１１号公報では、監視カメラで撮影された画像を対象としているため、斜め上方から撮影した画像を用いるものとして記載されているが、輪郭からの人体領域検出は、斜め上方から撮影した画像に限定される技術ではない。
【００２５】
本発明は、特定被写体の領域を検出する第１の検出方法と、特定被写体の領域の位置を推定可能な第２の検出方法とを利用可能な任意の被写体に対して適用可能である。第２の検出方法は例えば、第１の検出方法で検出すべき領域を包含する領域、特には第１の検出方法で検出すべき領域の位置を特定もしくは推定可能な領域を検出する方法であってよい。あるいは、第２の検出方法は、第１の検出方法よりも検出に成功しやすいが検出精度もしくは信頼性が低い方法であってもよい。また、特定被写体は人物以外の任意の被写体であってよい。
【００２６】
また、人体検出部１１９によって取得された検出結果から、顔検出部１１６による検出領域に相当する部分領域が推定される。この推定方法としては、顔検出部１１６と人体検出部１１９との検出領域の関係に基づき、線形変換により推定されるものとする。言い換えると、人体検出部１１９で取得された検出領域のうち、所定の位置又は（及び）大きさによって定義された領域を顔領域と推定するものとする。
従って、検出された人体領域から人物の顔位置を推定することができるように、顔検出部１１６が顔検出を行う範囲を包含する範囲で人体検出部１１９が人体検出を行うようにしてもよい。
【００２７】
また、制御部１１４は、顔検出や人体検出等によって検出された被写体領域の情報を撮影者に提供するため、例えば表示部１０９が表示する映像信号に、カメラ信号処理回路１０８を通じて被写体領域枠を重畳させる。これにより、映像に被写体領域枠が重畳表示され、撮影者は、デジタルビデオカメラ１００が検出している被写体領域を把握することができる。
【００２８】
絞り駆動部１１７は、絞り１０３を駆動させるためのアクチュエータ及びそのドライバを含む。ＣＤＳ／ＡＧＣ回路１０７によって読み出された信号からは、画面内の測光枠の輝度値を取得するため、輝度情報検波・演算回路１１８により測光値が取得され、測光した測光値が演算により正規化される。そして、制御部１１４で、測光値と適正な露出が得られるように設定された目標値との差分が算出される。その後、算出した差分から制御部１１４が絞りの補正駆動量を算出し、絞り駆動部１１７の駆動を制御する。
【００２９】
制御部１１４は、顔検出部１１６の検出結果と人体検出部１１９の検出結果とについて、位置とサイズの相関を取るなどして同一の被写体に対する検出結果を判別する。この際制御部１１４は、人体検出部１１９から受信した人体検出結果から顔の位置とサイズを推定する。そして、制御部１１４は、同一被写体に対するものと判別した検出結果についてはそれらを統合して、被写体領域の情報をＡＦゲート１１２に出力する。ＡＦゲート１１２は制御部１１４から受信した被写体領域に対応する映像信号のみをＡＦ信号処理回路１１３に供給する。
【００３０】
操作部１２１はユーザがデジタルビデオカメラ１００に各種の指示や設定などを入力するための入力デバイス群である。操作部１２１にはボタンやスイッチ、タッチパネルなど一般的な入力デバイスが含まれる。制御部１１４は、操作部１２１を通じて入力されたユーザ指示に応じて各種動作を実行する。
【００３１】
上述の構成において、フォーカスレンズ位置、ＡＦ評価値、顔検出結果、および人体検出結果については何らかの方法で制御部１１４が取得できればよい。従って、本実施形態は既存の撮像装置に対して容易に適用可能である。
【００３２】
詳細な説明を行う前に、図２を用いて本実施形態の概略を説明する。
図２は、近くに固定被写体が存在するシーンにおいて、遠くから人物被写体が近づいてくる場合のフォーカスレンズ駆動とＡＦ評価値の変化について模式的に示している。このような場合、当初は人物被写体の顔が小さかったり、顔に焦点が合っておらずボケていたりするため、顔検出よりも人体検出の方が早く検出できる可能性が高い。しかし、上述の通り人体検出は顔検出よりも信頼度が低いため、人体検出結果を主被写体としてＡＦ枠を設定することは行わない。
【００３３】
しかしながら、人体検出結果を被写体の位置の情報として利用し、検出された被写体に合焦させる場合にフォーカスレンズの駆動方向（合焦方向）を予め判定しておくことで、その後その被写体に合焦させる場合に改めて合焦方向を特定する必要がなくなる。従来は、ＡＦ枠を設定した後に合焦方向を判定し、判定された方向に山登り駆動を開始するという手順が必要であったが、本実施形態ではＡＦ枠を設定すると直ちに山登り駆動を開始できるため、焦点検出動作を高速化することができる。山登り駆動は、最大で駆動範囲全域にわたってフォーカスレンズを移動させて、ＡＦ評価値がピーク（最大）となるフォーカスレンズ位置（合焦位置）を探索する動作である。
【００３４】
具体的には、図２（ａ）に示すように、人体のみが検出されている被写体２００Ａに、方向判定用ＡＦ枠２０３を設定する。なお、フォーカスレンズを駆動させるためのＡＦ評価値を取得するＡＦ枠は、主被写体に設定されるＡＦ枠である。方向判定用ＡＦ枠２０３が設定される被写体２００Ａは主被写体と決定されていないため、取得したＡＦ評価値によってフォーカスレンズが駆動されることはない。一方、図２（ａ）では顔検出できていないため、予め定められた固定ＡＦ枠２０２が設定され、固定ＡＦ枠２０２内の被写体２００Ｂに合焦するようなＡＦ制御が行われる。
【００３５】
例えばライブビュー画像のように連続的に得られる撮影画像について、方向判定用ＡＦ枠２０３内の画像信号から得られるＡＦ評価値を監視し、その変化に基づいて合焦方向を判定する。図２（ｃ）に示す例では、フォーカスレンズを微小範囲内で至近側と無限遠側に繰り返し駆動した場合に、無限遠側で高いＡＦ評価値が得られているため、合焦方向が無限遠側であると特定することができる。
【００３６】
図２（ｂ）のように人物被写体が接近し、顔検出が可能になると、主被写体を決定してＡＦ枠を設定できるようになり、固定ＡＦ枠２０２に代わって方向判定用ＡＦ枠２０３がＡＦ枠に設定される。このようなＡＦ枠の変更が生じた場合、従来は微小駆動→変更後のＡＦ枠から得られるＡＦ評価値から合焦方向判定→山登り駆動という手順が必要だった。しかし、本実施形態では、主被写体と決定される前の人体検出の段階で、方向判定用ＡＦ枠を設定し、合焦方向を特定しておくので、その後同じ被写体にＡＦ枠が設定された場合に、予め特定してあった合焦方向に山登り駆動を開始することが可能になる。つまり、微小駆動および方向判定の工程を省略することが可能になる。これにより、焦点検出に要する時間を短縮し、高速化が可能になる。また、この方法は、一般的な主被写体に対する焦点検出動作を利用して実施できるため、焦点検出動作に変更を加える必要が無く、従来の装置にも容易に適用可能である。
【００３７】
図３は、本実施形態のデジタルビデオカメラ１００におけるメイン制御処理を説明するためのフローチャートである。
Ｓ３０２で制御部１１４は、画面内のどの領域に合焦させるかを選択する焦点検出領域設定処理を行う。本実施形態においては被写体検出結果を用いて焦点検出領域を決定するため、主被写体決定処理とも言える。詳細は図４を用いて後述する。
【００３８】
Ｓ３０３で制御部１１４は、Ｓ３０２の焦点検出領域設定処理によって焦点検出領域が変更されたか否かを判定し、変更がない場合はＳ３０４に、変更された場合はＳ３０５に処理を分岐させる。
Ｓ３０４で制御部１１４は通常のＡＦ制御を実行し、設定されている焦点検出領域が合焦するようにフォーカスレンズを移動させる。詳細は図５〜図９を用いて後述する。
Ｓ３０５で制御部１１４は、焦点検出領域が変化した際のＡＦ制御を実行する。詳細は図１１を用いて後述する。
このように、本実施形態で、焦点検出領域が変化したか否かに応じて、異なるＡＦ制御動作を実行することを特徴としている。
【００３９】
次に、図４のフローチャートを用いて、Ｓ３０２における焦点検出領域設定処理の詳細を説明する。
Ｓ４０２で制御部１１４は、ユーザーから焦点検出領域が指定されているか判定する。制御部１１４は、操作部１２１を通じてユーザーが焦点検出領域を指定している場合にはＳ４０８に、そうでない場合はＳ４０３に、それぞれ処理を遷移させる。ユーザが焦点検出領域を指定する方法に特段の制限はなく、ライブビュー画像を表示している表示部１０９に対してタッチパネルで直接指定したり、方向キーを用いて領域を選択する方法などが一般的であるが、他の方法であってもよい。
【００４０】
Ｓ４０３で制御部１１４は、顔検出部１１６によって顔検出が成功しているか判定し、顔検出できていない場合にはＳ４０７に、顔検出が成功している場合はＳ４０４に、それぞれ処理を遷移させる。
【００４１】
Ｓ４０４で制御部１１４は、検出されている顔が複数か判定し、複数検出されている場合はＳ４０５に、１つのみ検出されている場合にはＳ４０６に、それぞれ処理を遷移させる。
【００４２】
Ｓ４０５で制御部１１４は、検出されている複数の顔領域の中から主被写体とする顔領域を決定し、主被写体として決定した顔領域に対して焦点検出領域を設定する。この方法には特に制限は無いが、例えば、顔領域の位置が画面の中心に近いほど、またサイズが大きいほど大きなポイントを与え、最もポイントの高い顔領域を主被写体と決定する。もしくは、顔領域の位置とサイズのいずれかに基づいて主被写体を決定してもよい。なお、顔領域の位置は、例えば顔領域の中心（例えば外接矩形の中心や、重心）であってよい。
【００４３】
Ｓ４０６で制御部１１４は、検出されている唯一の顔領域を主被写体と決定し、この顔領域に対して焦点検出領域を設定する。なお、１つのみ顔領域が検出されている場合の焦点検出領域の設定方法は、他の方法であってもよい。
【００４４】
Ｓ４０７で制御部１１４は、予め定められている、位置が固定の焦点検出領域を設定する。なお、顔が検出されていない場合には、Ｓ４０２で述べたようなユーザによる指定を促してもよい。
【００４５】
Ｓ４０８で制御部１１４は、指定された焦点検出領域に顔領域または人体領域が含まれているか否かを判定し、顔領域または人体領域が含まれている場合は処理をＳ４０９に遷移させ、含まれている顔領域または人体領域に焦点検出領域を設定する。
一方、指定された焦点検出領域に顔領域または人体領域が含まれていない場合、制御部１１４は処理をＳ４１０に遷移させ、指定された焦点検出領域をそのまま設定する。
【００４６】
例えば図２に示した例においては、ユーザによる焦点検出領域の指定は無く（Ｓ４０２，Ｎｏ）、図２（ａ）の状態では顔検出されていない（Ｓ４０３，Ｎｏ）ため、予め定められた固定ＡＦ枠２０２が設定される（Ｓ４０７）。図２（ｂ）の状態になると、１つの顔が検出されるようになる（Ｓ４０３，Ｙｅｓ→Ｓ４０４，Ｎｏ）ため、顔領域に対してＡＦ枠２０４が設定される。
【００４７】
次に、制御部１１４が図３のＳ３０４で行うＡＦ制御の詳細について、図５に示すフローチャートを用いて説明する。
Ｓ５０２Ａで制御部１１４は微小駆動動作を行う。微小駆動動作は、フォーカスレンズを現在の位置を中心とした微小範囲内で駆動してＡＦ評価値を取得する動作である。通常、山登り駆動動作よりもフォーカスレンズの駆動範囲は小さい。
Ｓ５０２Ｂで制御部１１４は、Ｓ５０２Ａで行われた微小駆動によるＡＦ評価値の変動を利用して、合焦か、合焦でないなら遠近どちらの方向に合焦点があるかを判定する。微小駆動動作の詳細については図６を用いて後述する。
【００４８】
Ｓ５０３で制御部１１４は、Ｓ５０２Ｂでの判定結果に応じて処理を分岐させる。Ｓ５０２Ａの微小駆動動作により、合焦と判定された場合、制御部１１４は処理をＳ５０９へ進め、そうでなければ処理をＳ５０４へ進める。
【００４９】
Ｓ５０４で制御部１１４は、Ｓ５０２Ａの微小駆動動作において合焦方向が判定できているかどうかにより処理をさらに分岐させる。すなわち、合焦方向が判定できていれば処理をＳ５０５Ａへ進め、できていなければ処理をＳ５０２Ａへ戻して微小駆動動作を継続する。
【００５０】
Ｓ５０５Ａで制御部１１４は、フォーカスレンズ駆動部１１１を制御し、ＡＦ評価値が大きくなる方向へ高速でフォーカスレンズを山登り駆動させる。山登り駆動動作の詳細については図８を用いて後述する。
Ｓ５０５Ｂで制御部１１４は、Ｓ５０５Ａで行った山登り駆動による評価値の変動を利用して、合焦方向判定処理を行う。
【００５１】
Ｓ５０６で制御部１１４は、Ｓ５０５Ａでの山登り駆動動作において、ＡＦ評価値のピークを越えたか否かを判定する。ピークを越えたと判定される場合は処理をＳ５０７へ進め、さもなければＳ５０５Ａの山登り駆動動作を継続する。
【００５２】
Ｓ５０７で制御部１１４は、フォーカスレンズ駆動部１１１を制御し、山登り駆動動作において得られた、ＡＦ評価値がピーク（最大）となるレンズ位置にフォーカスレンズ１０５を戻す。Ｓ５０８で制御部１１４は、ＡＦ評価値が最大となる位置にフォーカスレンズ１０５が戻ったか否かを調べる。そして、戻っていれば処理をＳ５０２へ戻して再び微小駆動動作を継続し、まだ戻っていない場合は処理をＳ５０７へ戻してフォーカスレンズ１０５の位置を戻す動作を継続する。
【００５３】
次に、Ｓ５０９からの合焦動作について説明する。
Ｓ５０９で制御部１１４はＡＦ信号処理回路１１３からのＡＦ評価値を保持する。Ｓ５１０で制御部１１４は、最新のＡＦ評価値をＡＦ信号処理回路１１３から取得する。Ｓ５１１で制御部１１４は、Ｓ５０９で保持したＡＦ評価値とＳ５１０で新たに取得したＡＦ評価値とを比較し、ＡＦ評価値の変動が大きいか否か判定する。具体的には制御部１１４はＡＦ評価値に所定値以上の差があれば変動が大きいと判定し、処理をＳ５０２Ａへ戻して微小駆動動作を再開する。一方、ＡＦ評価値の変動が大きいと判定されなければ、制御部１１４はフォーカスレンズ駆動部１１１を制御してフォーカスレンズ１０５を停止させ、処理をＳ５１０へ戻す。
【００５４】
次に、図５のＳ５０２で行う微小駆動動作について、図６に示すフローチャートを用いて説明する。
Ｓ６０１で制御部１１４は、図３のＳ３０２で設定したＡＦ枠（焦点検出領域）内の画素信号のみをＡＦ信号処理回路１１３へ供給するようにＡＦゲート１１２を設定する。また、制御部１１４は、ＡＦ信号処理回路１１３がＡＦ枠内部の画素信号に基づいて生成したＡＦ評価値を取得する。
【００５５】
Ｓ６０２で制御部１１４は、駆動周期および駆動ディレイ時間を求める。駆動ディレイ時間とは、垂直同期信号の出力からフォーカスレンズの駆動を開始するまでの時間である。
Ｓ６０３で制御部１１４は、変数Ｍｏｄｅの現在値が０か判別し、０であればＳ６０４に処理を進め、後述する至近側のフォーカスレンズ位置における処理を行い、そうでなければ処理をＳ６１２へ進める。
【００５６】
［至近側のフォーカスレンズ位置における処理］
Ｓ６０４で制御部１１４は、ＡＦ評価値を無限遠側（無限遠側にフォーカスレンズが位置するときに蓄積したセンサ出力に基づく）ＡＦ評価値として保存する。
Ｓ６０５で制御部は、Ｍｏｄｅに１を加算（４以上になった場合は０に戻す）して、処理をＳ６０６へ進める。
【００５７】
［共通の処理］
Ｓ６０６において制御部１１４は、第１の所定回数の間、連続して合焦方向と判断される方向が同一であればＳ６０７へ、そうでなければＳ６０８へ処理を進める。
Ｓ６０８において制御部１１４は、第２の所定回数の間、フォーカスレンズが同一エリアで往復を繰り返していればＳ６０９へ処理を進め、そうでなければ方向判定も合焦判定もできていないものとして処理を終了する。ここで、第１の所定回数と第２の所定回数は、同じ回数であってもよいし、異なる回数であってもよい。また、この判定は、フォーカスレンズの位置が、所定時間所定範囲内にあるか否かの判定であっても良い。
【００５８】
Ｓ６０７で制御部１１４は方向判定できたとして処理を終了し、山登り駆動へ移行する。
Ｓ６０９において制御部１１４は、これまでの第２の所定回数の間のフォーカスレンズ位置の平均位置を合焦点として演算する。Ｓ６１０で制御部１１４は合焦判定できたとして、処理を終了し合焦停止・再起動判定へ移行する。
【００５９】
Ｓ６１２で制御部１１４は、Ｍｏｄｅの現在値が１か判別し、１であれば処理をＳ６１３へ進めて後述のフォーカスレンズを無限方向に駆動する処理を行い、そうでなければ処理をＳ６１９へ進める。
【００６０】
［フォーカスレンズを無限遠側に駆動する処理］
Ｓ６１３で制御部１１４は、振動振幅、中心移動振幅を演算する。ここでは詳しく述べないが、焦点深度を基準に、深度が浅い時は振幅を小さく、深度が深いときは振幅を大きくするのが一般的である。
【００６１】
Ｓ６１４で制御部１１４は、前述のＭｏｄｅ＝０における無限遠側ＡＦ評価値と後述のＭｏｄｅ＝２における至近側ＡＦ評価値を比較し、無限遠側ＡＦ評価値が至近側ＡＦ評価値よりも大きければＳ６１５へ、そうでなければＳ６１６へ処理を進める。
【００６２】
Ｓ６１５で制御部１１４は、駆動振幅を、
駆動振幅  ＝  振動振幅  ＋  中心移動振幅
とする。
Ｓ６１６で制御部１１４は、駆動振幅を、
駆動振幅  ＝  振動振幅
とする。
【００６３】
Ｓ６１７で制御部１１４は無限遠方向へＳ６１５あるいはＳ６１６で決められた振幅で駆動することを決定する。
Ｓ６１８で制御部１１４は、Ｍｏｄｅに１を加算（４以上になった場合は０に戻す）して、処理をＳ６０６へ進める。Ｓ６０６以降の処理は前述の通りである。
Ｓ６１９で制御部１１４は、Ｍｏｄｅの現在値が２か判別し、２であればＳ６２０へ処理を進めて後述の無限遠側のフォーカスレンズ位置における処理を行い、そうでなければ処理をＳ６２２へ進める。
【００６４】
［無限遠側のフォーカスレンズ位置における処理］
Ｓ６２０で制御部１１４は、ＡＦ評価値を至近側（至近側にフォーカスレンズが位置するときに蓄積したセンサ出力に基づく）ＡＦ評価値として保存する。
Ｓ６２１で制御部１１４は、Ｍｏｄｅに１を加算（４以上になった場合は０に戻す）して、処理をＳ６０６へ進める。Ｓ６０６以降の処理は前述の通りである。
【００６５】
［フォーカスレンズを至近側に駆動する処理］
Ｓ６２２で制御部１１４は、振動振幅および中心移動振幅を演算する。ここでは詳しく述べないが焦点深度を基準に、深度が浅い時は振幅を小さく、深度が深いときは振幅を大きくするのが一般的である。
【００６６】
Ｓ６２３で制御部１１４は、前述のＭｏｄｅ＝０における無限遠側ＡＦ評価値と前述のＭｏｄｅ＝２における至近側ＡＦ評価値を比較し、至近側ＡＦ評価値が無限遠側ＡＦ評価値よりも大きければＳ６２４へ、そうでなければＳ６２５へ処理を進める。
【００６７】
Ｓ６２４で制御部１１４は、駆動振幅を、
駆動振幅  ＝  振動振幅  ＋  中心移動振幅
とする。
Ｓ６２５で制御部１１４は、駆動振幅を、
駆動振幅  ＝  振動振幅
とする。
【００６８】
Ｓ６２６で制御部１１４は至近方向へＳ６２４あるいはＳ６２５で決められた振幅で駆動することを決定する。
Ｓ６２７で制御部１１４は、Ｍｏｄｅに１を加算（４以上になった場合は０に戻す）して、処理をＳ６０６へ進める。Ｓ６０６以降の処理は前述の通りである。
【００６９】
上述したフォーカスレンズ動作の時間経過を示したのが図７である。ここで横軸は時間で、最上部にある下に凸の周期は映像信号の垂直同期信号、その下のひし形は撮像素子１０６（ここではＣＭＯＳセンサで例示する）の蓄積時間である。ＥＶｘは各蓄積時間のタイミングで得られるＡＦ評価値、一番下はフォーカスレンズ位置である。ＣＭＯＳセンサは、各走査ラインごとにシャッタを切る方式（ローリングシャッター方式）であるため、画面の上部と下部で、図のように蓄積時間、転送時間が異なる。この蓄積時間を表したのが図７のひし形である。
【００７０】
本実施形態では図６にあるようにフォーカスレンズを至近側および無限遠側に動かしながらＡＦ評価値を監視し、合焦方向にフォーカスレンズを駆動させている。しかし、フォーカスレンズが至近／無限遠側に位置している間に撮像素子１０６に蓄積された映像信号からＡＦ評価値を得る必要があるため、フォーカスレンズを駆動するタイミングを撮像素子１０６の蓄積時間に合わせる必要がある。撮像素子１０６の蓄積時間の全体において至近／無限遠側に位置してはいないが、ＡＦ枠は撮像画面よりも小さく設定されるのでＡＦ枠内の走査ラインの蓄積には十分である。
【００７１】
蓄積時間３の間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶ３が時刻Ｔ３で取り込まれ、蓄積時間５の間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶ５が時刻Ｔ５で取り込まれる。時刻Ｔ６では、ＡＦ評価値ＥＶ３、ＥＶ５を比較し、ＥＶ５＞ＥＶ３であれば振動中心を移動し、一方ＥＶ３≧ＥＶ５であれば振動中心を移動しない。このようにして、合焦方向の判別と合焦の判定を行っている。
【００７２】
次に、図５のＳ５０５で行う山登り駆動動作について、図８に示すフローチャートを用いて説明する。
山登り駆動動作においても、微小駆動動作と同様、制御部１１４はまずＡＦ枠の設定を行い、設定に従ったＡＦ評価値を取得する（Ｓ８０２）。次いで制御部１１４は、前回取得したＡＦ評価値と、今回取得したＡＦ評価値の大きさを評価し（Ｓ８０３）、処理を分岐させる。
【００７３】
今回取得したＡＦ評価値が前回取得したＡＦ評価値よりも大きければ、制御部１１４はＳ８０４で、フォーカスレンズ駆動部１１１を制御し、フォーカスレンズ１０５を前回と同じ方向（順方向）に山登り駆動、すなわち所定の速度で移動させ、処理を終了する。
【００７４】
一方、今回取得したＡＦ評価値が前回取得したＡＦ評価値以下であれば、制御部１１４はＳ８０５で、ＡＦ評価値がピークを越えて減少したのか判定する。そして、ＡＦ評価値がピークを越えて減少したと判定された場合、制御部１１４はＳ８０６へ進み、ピークを越えたとして処理を終了する。
【００７５】
Ｓ８０５でＡＦ評価値がピークを越えて減少したと判定されなかった場合、制御部１１４はＳ８０７で、フォーカスレンズ駆動部１１１を制御し、フォーカスレンズ１０５を前回と逆方向に山登り駆動、すなわち所定の速度で移動させ、処理を終了する。
【００７６】
図９は、山登り駆動動作中のＡＦ評価値の大きさとフォーカスレンズ１０５の駆動動作の例を示す図である。
図９において、山登り駆動の開始位置から図中右方向にフォーカスレンズ１０５を駆動した場合、矢印Ａで示すように、ＡＦ評価値がピーク（最大値）を越えて減少していることが検出される。この場合、合焦点を通り過ぎたものとして山登り駆動動作を終了し、ＡＦ評価値の最大値が得られた位置にフォーカスレンズ１０５を戻し（図５、Ｓ５０７及びＳ５０８）、微小駆動動作に移行する（Ｓ５０２）。
【００７７】
一方、山登り駆動の開始位置から図中左方向にフォーカスレンズ１０５を駆動した場合、矢印Ｂで示すように、ＡＦ評価値がピークを越えることなく減少していることが検出される。この場合、フォーカスレンズ１０５の移動方向を間違えたものと判断して、逆方向に山登り駆動動作を継続する。なお、山登り駆動において、フォーカスレンズ１０５の一定時間あたりの移動量は、上述した微小駆動動作時よりも大きい。
【００７８】
このように、制御部１１４は、再起動（微小駆動からのやり直し）要否判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながら、ＡＦ評価値が最大となる位置にフォーカスレンズ１０５を移動させるＡＦ制御動作を行う。
【００７９】
次に、図１０および図２を用いて、Ｓ５０２ＢおよびＳ５０５Ｂにおける合焦方向判定処理について説明する。
Ｓ１００１で制御部１１４は、人体検出部１１９によって人体領域が検出されているかどうかを判定する。人体領域が検出されていればＳ１００２に進み、人体領域が検出されていなければ処理を終了する。
【００８０】
Ｓ１００２で制御部１１４は、人体領域に焦点検出領域（ＡＦ枠）を設定する。この処理について、図２を用いて説明する。上述の通り、図２（ａ）の被写体２００Ａは、顔検出がされておらず、人体検出のみがされている。また、被写体２００Ｂは、位置が予め画面中央に設定されている固定ＡＦ枠２０２内に存在する。この状態では固定ＡＦ枠内の被写体２００Ｂが主被写体として焦点検出が行われている。一方、被写体２００Ａの人体検出結果を利用して、方向判定用ＡＦ枠２０３を設定する。なお、方向判定用ＡＦ枠２０３は、例えば胴体部分や顔部分など、人体領域の任意の場所に設定することができる。また、人体領域が複数検出されている場合には、それぞれに対して方向判定用ＡＦ枠を設定し、個々の人体領域について合焦方向を判定しても良い。
【００８１】
次に、Ｓ１００３で制御部１１４は、方向判定用ＡＦ枠２０３内のＡＦ評価値をＡＦ信号処理回路１１３から取得する。
Ｓ１００４で制御部１１４は、現在のフォーカスレンズの駆動が、微小駆動か否かを判定し、微小駆動の場合はＳ１００５に、そうでない場合はＳ１００９に処理を遷移させる。つまりＳ５０２ＢではＳ１００５以降の処理が、Ｓ５０５ＢではＳ１００９以降の処理が実行される。
【００８２】
Ｓ１００５で制御部１１４は、微小駆動の方向判定と同じ原理で、合焦方向を判定する。これを図２を用いて説明する。図２（ｃ）の線２０５は、微小駆動時におけるフォーカスレンズ位置の変化を示している。微小駆動時には、フォーカスレンズを予め定めた微小範囲内で、無限遠方向と至近方向に周期的に移動させる。線２０６は、微小駆動時の固定ＡＦ枠２０２内のＡＦ評価値の変化を簡易的に示している。図２（ａ）の状態では、被写体２００Ｂに合焦している状態であるため、微小駆動に伴う評価値の変化が少ない。
【００８３】
一方、同じ期間における方向判定用ＡＦ枠２０３内のＡＦ評価値の変化を簡易的に示したのが、線２０７である。方向判定用ＡＦ枠２０３内の評価値は、設定されている被写体のボケ方にもよるが、フォーカスレンズが被写体の合焦位置に近づいた場合に高くなる傾向にある。図２（ｃ）の例では、フォーカスレンズが無限遠方向に移動するとＡＦ評価値が高くなっているため、方向判定用ＡＦ枠２０３が設定されている被写体２００Ｂは、現在合焦している被写体２００Ａよりも無限遠方向に存在する可能性が高い。そのため、被写体２００Ｂの合焦方向は無限遠方向であると判定できる。
【００８４】
Ｓ１００５で制御部１１４は、方向判定用ＡＦ枠２０３内のＡＦ評価値に基づいて判定された合焦方向がＮ回連続して同一か判定し、Ｎ回以上連続して同一方向の合焦方向が判定されていればＳ１００６に、そうでない場合はＳ１００７にそれぞれ処理を遷移させる。なお、Ｓ１００５におけるＮの値を２以上にすることにより、合焦方向の判定の信頼性を高めることができる。
【００８５】
Ｓ１００６で制御部１１４は、判定した合焦方向を示すフラグまたはデータを内部メモリ等に記憶する。
【００８６】
一方、Ｓ１００９で制御部１１４は、山登り駆動の時と同様に方向判定用ＡＦ枠２０３内のＡＦ評価値の変化を監視して、Ｋ回連続で前のＡＦ評価値よりも増加もしくは減少しているかどうか判定する。Ｋ回連続で前のＡＦ評価値よりも増加している場合、その時点のフォーカスレンズの駆動方向と同じ方向に被写体２００Ａが存在している可能性が高い。つまり、制御部１１４は、フォーカスレンズ駆動方向を合焦方向と判定する。また、Ｋ回連続で前のＡＦ評価値よりも減少している場合は、フォーカスレンズの駆動方向と逆の方向に被写体２００Ａが存在している可能性が高いため、制御部１１４は、フォーカスレンズ駆動方向と逆方向を合焦方向と判定する。なお、Ｋの値を２以上にすることにより、合焦方向の判定の信頼性を高めることができる。
【００８７】
Ｓ１０１０で制御部１１４は、判定した合焦方向を示すフラグまたはデータを内部メモリ等に記憶する。
【００８８】
Ｓ１００７で制御部１１４は、山登り駆動中に合焦方向判定ができたか否かを判定する。すなわち、Ｓ１０１０で合焦方向を示すフラグまたはデータが記憶されていれば、合焦方向判定できたと判定する。フォーカスレンズの移動量は山登り駆動の方が微小駆動に比べて大きいため、ＡＦ評価値の変化の信頼度が微小駆動時よりも高く、山登り駆動中で判定された合焦方向を優先する。
よって、山登り駆動中に合焦方向が判定されていれば、制御部１１４はＳ１００８で、山登り駆動中に判定された合焦方向を被写体２００Ａの合焦方向として記憶する。
【００８９】
一方、山登り駆動中に合焦方向が判定されていなければ、制御部１１４はＳ１０１１で、微小駆動中に合焦方向判定ができたか否かを判定する。すなわち、Ｓ１００６で合焦方向を示すフラグまたはデータが記憶されていれば、合焦方向判定できたと判定する。微小駆動中に合焦方向が判定されていれば、Ｓ１０１２で制御部１１４は、微小駆動中に判定された合焦方向を被写体２００Ａの合焦方向として記憶する。
【００９０】
山登り駆動中にも微小駆動中にも合焦方向が判定されていない場合、制御部１１４はＳ１０１３で合焦方向を利用しないことを決定する。
【００９１】
続いて、図１１のフローチャートを用いて、Ｓ３０５における、焦点検出領域切り替え時のＡＦ制御処理について説明する。
Ｓ１１０１で制御部１１４は、Ｓ３０２で設定された焦点検出領域が顔領域を含むか否かを判定し、含まない場合はＳ１１１０に、含む場合はＳ１１０２に、それぞれ処理を遷移させる。なお、顔領域の一部が含まれていれば顔領域を含むと判定してもよいし、全体が包含されている場合のみ顔領域を含むと判定してもよい。判定条件は例えば顔領域の大きさに依存して変更してもよい。
【００９２】
Ｓ１１１０で制御部１１４は、焦点検出領域が人体領域を含むかの判定を行う。人体領域を含まない場合、方向判定用ＡＦ枠２０３の合焦方向が不明であるため、制御部１１４は処理をＳ１１１１に遷移させて、図５を用いて説明した従来のＡＦ制御を行う。一方、焦点検出領域が人体を含む場合は、その人体に関する合焦方向が判定済みの可能性があるため、処理をＳ１１０５に遷移させる。
【００９３】
一方、焦点検出領域が顔領域を含む場合、制御部１１４はＳ１１０２及びＳ１１０３で、顔領域に基づいて設定されたＡＦ枠（焦点検出領域）と、人体領域に基づいて設定された方向判定用ＡＦ枠２０３のうち、同一被写体に係るものがあるかを判定する。なお、ここでは、人体領域に基づいて設定する方向判定用ＡＦ枠２０３が、人体領域から推定される顔領域に設定されるものとする。
【００９４】
そして、制御部１１４は、方向判定用ＡＦ枠２０３と、顔領域に基づいて設定された焦点検出領域とについて、Ｓ１１０２においては位置について、Ｓ１１０３では大きさについて、それぞれ相関の有無を判定する。位置と大きさの両方について所定の相関がある場合、Ｓ１１０４で制御部１１４は両者が同一被写体に対して設定されているものと判定し、処理をＳ１１０５に遷移させる。少なくとも位置と大きさの一方について所定の相関がない場合、顔領域に基づいて焦点検出領域が設定された被写体に対して方向判定用ＡＦ枠２０３は設定されておらず、合焦方向は判定されていない。そのため、制御部１１４は処理をＳ１１０９に遷移させて従来のＡＦ制御を行う。
【００９５】
Ｓ１１０５で制御部１１４は、設定された焦点検出領域と同一被写体に係る方向判定用ＡＦ枠２０３について合焦方向が判定されているか判定する。そして、制御部１１４は、判定されていれば処理をＳ１１０６に遷移させ、フォーカスレンズの駆動方向を判定されている合焦方向に設定し、処理をＳ１１０７に遷移させて山登り駆動を開始させる。一方、合焦方向が判定されていない場合、制御部１１４は処理をＳ１１０８に遷移させて、従来のＡＦ制御を行う。
【００９６】
なお、Ｓ１１０２，Ｓ１１０３においては、方向判定用ＡＦ枠２０３が設定されている人体領域から推定される顔領域と、焦点検出領域が設定されている顔領域との間で位置と大きさについての相関を判定してもよい。
【００９７】
なお、本実施形態の構成は、主被写体になるべき被写体が横顔や後ろ向きなどの顔検出ができない場合にも有用である。
図１２（ａ）は、被写体１２００Ａおよび１２００Ｂが存在するシーンの例を示し、被写体１２００Ａは５ｍ、１２００Ｂは２ｍの距離にいるものとする。一般に、複数の顔が検出される場合、サイズが最も大きい顔、すなわち近い被写体を主被写体とする場合が多いが、図１２（ａ）の例では、近い被写体１２００Ｂが横を向いているために、被写体１２００Ａについてのみ顔領域が検出されている。被写体１２００Ｂは輪郭から人体であることは検出されている。
【００９８】
この場合、唯一顔領域が検出されている被写体１２００Ａが主被写体と決定され、顔枠１２０３が重畳表示されるとともに、内部的には顔領域に基づいてＡＦ枠１２０２が設定される。また、被写体１２００Ｂについては、人体領域から推定される顔領域に基づいて方向判定用ＡＦ枠１２０４が設定される。
【００９９】
ＡＦ枠１２０２に対する焦点検出動作を利用し、被写体１２００Ｂについての合焦方向を上述したように判定する。この場合、被写体１２００Ａの距離は５ｍ、被写体１２００Ｂの距離は２ｍであるため、方向判定用ＡＦ枠１２０４内のＡＦ評価値はフォーカスレンズを至近側に移動させた際に高くなり、合焦方向は至近方向と判定できる。
【０１００】
その後、図１２（ｂ）に示すように、被写体１２００Ｂが正面向きになり、顔検出が可能になると、顔領域のサイズが被写体１２００Ａより大きい被写体１２００Ｂが主被写体に決定され、ＡＦ枠１２０５が設定される。
【０１０１】
焦点検出領域が変更されたことで、図１１を用いて説明したＡＦ制御が実行される。新たにＡＦ枠１２０５が設定された被写体１２００Ｂには、方向判定用ＡＦ枠１２０４が設定されており、かつ合焦方向も至近方向であると判定されている。従って、ＡＦ枠１２０５についての焦点検出動作は、微小駆動および方向判定を省略することが可能であり、直ちに至近方向への山登り駆動を行うことができる。これにより、従来よりも早く主被写体（被写体１２００Ｂ）に合焦させることができる。
【０１０２】
また、本実施形態の構成は、主被写体をユーザが指定する場合においても有用である。
図１２（ｃ）は、図１２（ａ）と同様のシーンであるが、顔の向きではなく、装飾品が原因で近い被写体１３００Ｂの顔検出ができず、被写体１３００Ａについてのみ顔領域が検出されている。被写体１３００Ｂは輪郭から人体であることは検出されている。
【０１０３】
この場合、唯一顔領域が検出されている被写体１３００Ａが主被写体と決定され、顔枠１３０３が重畳表示されるとともに、内部的には顔領域に基づいてＡＦ枠１３０２が設定される。また、被写体１３００Ｂについては、人体領域から推定される顔領域に基づいて方向判定用ＡＦ枠１３０４が設定される。
なお、被写体１３００Ａが主被写体と決定されている状態であれば、被写体１３００Ｂの顔検出がされていてもよい。
【０１０４】
ＡＦ枠１３０２に対する焦点検出動作を利用し、被写体１３００Ｂについての合焦方向を上述したように判定する。この場合、被写体１３００Ａの距離は５ｍ、被写体１２００Ｂの距離は２ｍであるため、方向判定用ＡＦ枠１３０４内のＡＦ評価値はフォーカスレンズを至近側に移動させた際に高くなり、合焦方向は至近方向と判定できる。
【０１０５】
この状態で、ユーザーが例えば表示部１０９に設けられたタッチパネルなどを用い、被写体１３００Ｂの位置を指定したとする。制御部１１４は、ユーザーから入力された位置の情報と、検出されている人体領域および顔領域の位置や大きさに関する情報とから、ユーザーが指定した主被写体を決定する。ここでは、被写体１３００Ｂについて検出されている人体領域とユーザーの入力した位置とに相関があるため、被写体１３００Ｂが主被写体に決定され、人体領域から推定される顔領域にＡＦ枠１３０５が設定される（図１２（ｄ））。
【０１０６】
焦点検出領域の変更があったため、図１１の動作が行われる。この場合、新たに主被写体となった被写体１３００Ｂについては、方向判定用ＡＦ枠１３０４が設定されており、既に合焦方向が至近方向であると判定されている。従って、ＡＦ枠１３０５についての焦点検出動作は、微小駆動および方向判定を省略することが可能であり、直ちに至近方向への山登り駆動を行うことができる。これにより、従来よりも早く主被写体（被写体１３００Ｂ）に合焦させることができる。
【０１０７】
以上説明したように、本実施形態によれば、所定の被写体が第１の検出方法では検出できるが第２の検出方法で検出できない場合に、第１の検出方法で検出された被写体領域についてのＡＦ評価値を監視し、合焦方向を判定しておく。そして、第２の検出方法で被写体が検出できるようになった際に、第２の検出方法で検出された被写体と同一被写体について合焦方向が判定されていれば、判定済みの合焦方向を用いて焦点検出動作を開始するので、焦点検出動作を高速化することができる。また、合焦方向の判定は、通常の焦点検出動作で得られるＡＦ評価値を用いることで、合焦方向の判定のためにフォーカスレンズを駆動する必要が無く、動画記録中であっても記録される映像の画質に影響を与えない。
【０１０８】
（その他の実施形態）
上述の実施形態では、説明の簡略化のために、人体領域が１つ検出された場合についてのみ説明したが、人体領域が複数検出された場合には、複数の方向判定用ＡＦ枠を設定し、個々の方向判定用ＡＦ枠で合焦方向を判定することができる。この場合、顔検出が可能になった際に、顔検出された被写体について合焦方向が判定されている可能性を高めることができる。
また、上述した実施形態は単なる例示であり、特許請求の範囲に記載した範囲内で様々な変更を行うことができる。
【０１０９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014126710.tif 000003
【図３】
2014126710.tif 000004
【図４】
2014126710.tif 000005
【図５】
2014126710.tif 000006
【図６】
2014126710.tif 000007
【図７】
2014126710.tif 000008
【図８】
2014126710.tif 000009
【図９】
2014126710.tif 000010
【図１０】
2014126710.tif 000011
【図１１】
2014126710.tif 000012
【図２】
2014126710.tif 000013
【図１２】
2014126710.tif 000014