(57)【要約】【課題】  画像中の特定の被写体領域に焦点検出領域を設定する自動焦点検出装置およびその制御方法において、被写体領域に安定して合焦可能とする。【解決手段】  第１の被写体領域（例えば顔領域）を画像から検出する第１の検出手段と、画像から第２の被写体領域（例えば人体領域）を検出する第２の検出手段とを有し、設定された焦点検出領域についてのＡＦ評価値に基づいて自動焦点検出を行う。第２の被写体領域から第１の被写体領域に相当する第１の領域を設定し、当該第１の領域を主被写体とする場合は、第１の領域を包含する領域に焦点検出領域を設定する。【選択図】  図５
2014102293.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して撮像信号を生成する撮像手段と、
焦点検出領域に対応する前記撮像信号から焦点信号を生成する信号生成手段と、
前記撮像信号から第１の被写体領域を検出する第１の検出手段と、
前記撮像信号から前記第１の被写体領域を含む第２の被写体領域を検出する第２の検出手段と、
主被写体に応じた焦点検出領域を設定する設定手段と、
前記焦点信号に基づいて焦点調節を行う制御手段と、を有し、
前記設定手段は、前記第２の被写体領域から第１の被写体領域に相当する第１の領域を設定し当該第１の領域を主被写体とする場合、前記第１の領域を包含する領域に焦点検出領域を設定することを特徴とする自動焦点調節装置。
【請求項２】
前記設定手段は、
前記第１の被写体領域を主被写体とする場合、当該第１の被写体領域に対して第１の比率の大きさに焦点検出領域を設定し、
前記第２の被写体領域から設定した前記第１の領域を主被写体とする場合、当該第１の領域に対して前記第１の比率より大きい第２の比率の大きさに焦点検出領域を設定することを特徴とする請求項１に記載の自動焦点調節装置。
【請求項３】
前記設定手段は、前記第２の被写体領域から設定した前記第１の領域を主被写体とする場合、前記第１の領域に対応する前記撮像信号のコントラストに応じて焦点検出領域の大きさを変更することを特徴とする請求項２に記載の自動焦点調節装置。
【請求項４】
前記設定手段は、前記第１の領域に対応する前記撮像信号のコントラストが第１の値の場合、該コントラストが前記第１の値より大きい第２の値の場合と比較して、焦点検出領域を大きく設定することを特徴とする請求項３に記載の自動焦点調節装置。
【請求項５】
前記設定手段は、前記第２の被写体領域から設定した前記第１の領域を主被写体とする場合、前記第１の領域に基づく第１の焦点検出領域とともに、前記第２の被写体領域に基づいて、前記第１の焦点検出領域より大きい第２の焦点検出領域を設定することを特徴とする請求項１乃至４のいずれか１項に記載の自動焦点調節装置。
【請求項６】
前記設定手段は、前記第１の焦点検出領域を包含するように前記第２の焦点検出領域を設定することを特徴とする請求項５に記載の自動焦点調節装置。
【請求項７】
前記制御手段は、前記第１の焦点検出領域に対応する第１の焦点信号と前記第２の焦点検出領域に対応する第２の焦点信号を所定の比率で加算した焦点信号に基づいて焦点調節を行うことを特徴とする請求項５又は６に記載の自動焦点調節装置。
【請求項８】
前記所定の比率は、前記第１の焦点信号を加算する比率が前記第２の焦点信号を加算する比率より大きくなるように設定されることを特徴とする請求項７に記載の自動焦点調節装置。
【請求項９】
前記所定の比率は、前記第１の焦点検出領域に対応する前記撮像信号のコントラストが第３の値の場合、該コントラストが前記第３の値より小さい第４の値の場合と比較して、前記第１の焦点信号を加算する比率が大きくなるように設定されることを特徴とする請求項７又は８に記載の自動焦点調節装置。
【請求項１０】
前記第１の被写体領域は人物の顔に対応する領域であり、前記第２の被写体領域は人物の顔及び胴体を含む領域であることを特徴とする請求項１乃至９のいずれか１項に記載の自動焦点検出装置。
【請求項１１】
撮像手段が、被写体像を光電変換して撮像信号を生成する撮像ステップと、
信号生成手段が、焦点検出領域に対応する前記撮像信号から焦点信号を生成する信号生成ステップと、
第１の検出手段が、前記撮像信号から第１の被写体領域を検出する第１の検出ステップと、
第２の検出手段が、前記撮像信号から前記第１の被写体領域を含む第２の被写体領域を検出する第２の検出ステップと、
設定手段が、主被写体に応じた焦点検出領域を設定する設定ステップと、
制御手段が、前記焦点信号に基づいて焦点調節を行う制御ステップと、を有し、
前記設定ステップにおいて、前記設定手段は、
前記第２の被写体領域から第１の被写体領域に相当する第１の領域を設定し当該第１の領域を主被写体とする場合、前記第１の領域を包含する領域に焦点検出領域を設定することを特徴とする自動焦点検出装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動焦点検出装置およびその制御方法に関し、特に、画像中の特定の被写体領域に焦点検出領域を設定する自動焦点検出装置およびその制御方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の自動焦点検出（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト）に基づいて合焦位置を検出するＴＶ−ＡＦ方式が広く用いられている。ＴＶ−ＡＦ方式は、具体的には、異なるフォーカスレンズ位置で撮影された映像信号について、コントラストの程度を示すＡＦ評価値を生成し、ＡＦ評価値に基づいてコントラストが最大となるフォーカスレンズの位置を合焦位置として探索する方式である。
【０００３】
また、人物を撮影する場合において、人物被写体に安定したピント合わせを行うために、特定の被写体を検出する機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出領域を設定し、焦点検出を行う撮像装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２２７０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
人物の顔にピント合わせを行う場合、図８のように、検出された顔領域を包含する焦点検出領域を設定して、焦点検出を行う。ただし、人物が後ろ向きの場合や、人物が帽子をかぶっていたり、顔の前に手をかざしたりするなどにより、顔領域が検出できなくなると、適切な焦点検出領域を維持することができない。
【０００６】
本発明は、画像中の特定の被写体領域に焦点検出領域を設定する自動焦点検出装置およびその制御方法において、被写体領域に安定して合焦可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、被写体像を光電変換して撮像信号を生成する撮像手段と、焦点検出領域に対応する撮像信号から焦点信号を生成する信号生成手段と、撮像信号から第１の被写体領域を検出する第１の検出手段と、撮像信号から第１の被写体領域を含む第２の被写体領域を検出する第２の検出手段と、主被写体に応じた焦点検出領域を設定する設定手段と、焦点信号に基づいて焦点調節を行う制御手段と、を有し、設定手段は、第２の被写体領域から第１の被写体領域に相当する第１の領域を設定し当第１の領域を主被写体とする場合、第１の領域を包含する領域に焦点検出領域を設定することを特徴とする自動焦点調節装置によって達成される。
【発明の効果】
【０００８】
このような構成により、本発明によれば、画像中の特定の被写体領域に焦点検出領域を設定する自動焦点検出装置およびその制御方法において、被写体領域に安定して合焦可能とすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る自動焦点検出装置を適用した撮像装置の一例としてのビデオカメラの主要部の構成を示すブロック図
【図２】本発明の第１の実施形態におけるＡＦ制御処理を示すフローチャート
【図３】本発明の第１の実施形態における同一被写体判定処理を示すフローチャート
【図４】本発明の第１の実施形態における同一被写体判定処理の判定方法を示す図
【図５】本発明の第１の実施形態における主顔へのＡＦ枠設定処理を示すフローチャート
【図６】ＴＶ−ＡＦ処理におけるフォーカスレンズの微小駆動を説明するための図
【図７】ＴＶ−ＡＦ処理におけるフォーカスレンズの山登り駆動を説明するための図
【図８】本発明の背景技術に関する説明の図
【図９】本発明の第２の実施形態に係る自動焦点検出装置を適用した撮像装置の一例としてのビデオカメラの主要部の構成を示すブロック図
【図１０】本発明の第２の実施形態におけるＡＦ枠設定処理を示すフローチャート
【図１１】本発明の第２の実施形態におけるＡＦ評価値取得処理を示すフローチャート
【図１２】本発明の実施形態によって設定されるＡＦ枠を模式的に示す図
【発明を実施するための形態】
【００１０】
＜撮像装置の構成＞
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下では本発明の実施形態に係る自動焦点検出装置を撮像装置、特にはビデオカメラに適用した構成について説明する。なお、本発明の実施形態に係る自動焦点検出装置を適用可能な撮像装置はビデオカメラに限らず、デジタルスチルカメラであってもよい。また、撮像装置を備える機器（例えばパーソナルコンピュータ、携帯電話機、タブレット端末、携帯情報端末、メディアプレーヤなど）に適用してもよい。
【００１１】
図１において、本実施形態のデジタルビデオカメラ１００は、オートフォーカス機能を有するズームレンズ１２０を撮像光学系として備えている。ズームレンズ１２０は、第１固定レンズ１０１、光軸方向に移動して変倍を行う変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスコンペンセータレンズ１０５を備える。フォーカスコンペンセータレンズ（以下、単にフォーカスレンズという）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。
【００１２】
撮像素子１０６（撮像手段）は、ＣＣＤセンサやＣＭＯＳセンサといった光電変換素子から構成される。撮像素子１０６は撮像光学系により形成された被写体像を撮像して映像信号（撮像信号）を出力する。ＣＤＳ／ＡＧＣ回路１０７は撮像素子１０６の出力を相関二重サンプリングするとともに、ゲイン調整する。
【００１３】
カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を行い、映像信号を生成する。表示部１０９はＬＣＤ等により構成され、カメラ信号処理回路１０８からの映像信号を表示する。記録部１１５は、カメラ信号処理回路１０８からの映像信号を記録媒体（磁気テープ、光ディスク、半導体メモリ等）に記録する。
【００１４】
ズーム駆動部１１０は、制御部１１４の制御に応じて変倍レンズ１０２を移動させる。フォーカスレンズ駆動部１１１は制御部１１４の制御に応じてフォーカスレンズ１０５を移動させる。ズーム駆動部１１０及びフォーカスレンズ駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００１５】
ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、制御部１１４が設定した焦点検出に用いられる領域（焦点検出領域又はＡＦ枠）の信号のみを後段のＡＦ信号処理回路１１３に供給する。
【００１６】
ＡＦ信号処理回路１１３（信号生成手段）は、ＡＦゲート１１２から供給される焦点検出領域中の画素信号に対して例えばフィルタを適用して予め定められた周波数帯域の成分を抽出し、ＡＦ評価値（焦点信号）を生成する。抽出するのは、例えば高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）であってよい。
【００１７】
ＡＦ評価値は、制御部１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラストの程度）を表す値であるが、ピントが合った映像の鮮鋭度は高く、ぼけた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。
【００１８】
制御部１１４（設定手段、制御手段）は例えばマイクロコンピュータであり、図示しないＲＯＭに予め記憶された制御プログラムを実行してデジタルビデオカメラ１００の各部を制御することにより、デジタルビデオカメラ１００全体の動作を司る。制御部１１４は、ＡＦ信号処理回路１１３から与えられるＡＦ評価値に基づいて、フォーカスレンズ駆動部１１１を制御してＴＶ−ＡＦ方式でのＡＦ制御処理（以下、単に「ＴＶ−ＡＦ」という）を行う。
【００１９】
顔検出部１１６（第１の検出手段）は、ＣＤＳ／ＡＧＣ回路１０７が出力する画像信号に、公知の顔検出技術に基づく顔検出処理を適用し、画像内の人物領域の一例としての顔領域（第１の被写体領域）を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。顔検出部１１６による顔検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。
【００２０】
顔検出部１１６は、例えば人物の顔として検出された領域（顔領域）のそれぞれについて、位置と大きさを画像内で特定可能な情報と、検出結果の信頼度などを顔検出結果として制御部１１４に出力する。制御部１１４は、この顔検出結果に基づき、画像内の顔領域を含む領域に焦点検出領域を設定するよう、ＡＦゲート１１２へ指示する。
【００２１】
ここで、顔検出部１１６から複数の人物の顔を検出した場合には、顔の位置、顔のサイズ、もしくは撮影者の指示によって優先順位をつける主顔判定処理部があり、主顔判定処理部によって最も優先と判断された顔を主顔とする。例えば、撮影者の指示によって選択された顔が最も優先度が高く、続いて顔の位置が画面中央に近い程、そして、顔のサイズが大きい程優先度が高くなるように判定を行う。但し、この限りではない。
【００２２】
人体検出部１１７（第２の検出手段）は、映像信号に対して公知の人体検出処理を施して、撮影画面内の人体（顔と胴体を含む）を検出する。人体検出部１１７は、例えば人体として検出された領域（人体領域、第２の被写体領域）のそれぞれについて、位置と大きさを画像内で特定可能な情報と、検出結果の信頼度などを顔検出結果として制御部１１４に出力する。制御部１１４では、人体検出結果と顔検出結果とに応じて、最終的な顔領域を決定する。人体検出部１１７による検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。
【００２３】
人体検出部１１７で人体領域を検出する方法に特に制限はないが、例えば、特開２００９−２１１３１１号公報に記載されている方法を用いることができる。具体的には、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｈａａｒフィルタなどを用い、局所的な上半身の輪郭のエッジ強度を局所特徴量として検出し、抽出された局所特徴量から各人物領域が上半身か、非上半身かを判別する。この判別は、ＡｄａＢｏｏｓｔ学習などのような機械学習に基づき実施することができる。なお、特開２００９−２１１３１１号公報では、監視カメラで撮影された画像を対象としているため、斜め上方から撮影した画像を用いるものとして記載されているが、輪郭からの人体領域検出は、斜め上方から撮影した画像に限定される技術ではない。
【００２４】
ここでは、向きによって見えが変化しうる特定被写体が人物の顔であり、人物の顔の位置を推定する他の方法として人体検出を用いる場合を例示するが、特定被写体は動物の顔はもちろん、他の任意の被写体であってよい。本発明は、特定被写体の領域を検出する第１の検出方法と、特定被写体の領域の位置を推定可能な第２の検出方法とを利用可能な任意の被写体に対して適用可能である。第２の検出方法は例えば、第１の検出方法で検出すべき領域を包含する領域、特には第１の検出方法で検出すべき領域の位置を特定もしくは推定可能な領域を検出する方法であってよい。
【００２５】
また、制御部１１４は、顔検出や人体検出等によって検出された被写体領域の情報を撮影者に提供するため、例えば表示部１０９が表示する映像信号に、カメラ信号処理回路１０８を通じて被写体領域枠を重畳させる。これにより、映像に被写体領域枠が重畳表示され、撮影者は、デジタルビデオカメラ１００が検出している被写体領域を把握することができる。
【００２６】
本実施形態では、検出された人体領域から人物の顔位置を推定することができるように、顔検出部１１６が顔検出を行う範囲を包含する範囲で人体検出部１１７が人体検出を行っている。
【００２７】
＜ＡＦ制御処理＞
次に、制御部１１４が実行するＡＦ制御処理について、図２に示すフローチャートを用いて説明する。
本処理は、制御部１１４内に格納されたコンピュータプログラムに従って実行され、例えば１フィールド画像を生成するための、撮像素子１０６からの撮像信号の読み出し周期で繰り返し実行される。
【００２８】
まず、Ｓ２０１で制御部１１４は、最新の映像信号に対して実行した顔検出処理の結果を顔検出部１１６から取得する。
Ｓ２０２で制御部１１４は、最新の映像信号に対して実行した人体検出処理の結果を人体検出部１１７から取得する。
【００２９】
次に、Ｓ２０３で制御部１１４は、Ｓ２０１およびＳ２０２で取得した顔検出結果および人体検出結果から、同一の被写体が検出されているか否かを判定する。この処理の詳細については後述する。
【００３０】
Ｓ２０４で制御部１１４は、Ｓ２０１で取得した顔検出結果およびＳ２０２で取得した人体検出結果から、人物の顔か人体が検出されているかどうか判定する。制御部１１４は、人物の顔か人体が検出されている場合はＳ２０７へ、人物の顔も人体も検出されていない場合はＳ２０５へ、それぞれ処理を移行させる。
【００３１】
Ｓ２０５で制御部１１４は、撮影範囲内の所定の固定位置（例えば中央）にＡＦ枠（焦点検出領域）を設定し、ＡＦ枠の情報をＡＦゲート１１２に通知する。そしてＳ２１６で制御部１１４は、ＡＦ枠内に対応する映像信号に基づくＴＶ−ＡＦ制御を実行する。ＴＶ−ＡＦ制御の詳細については後述する。
【００３２】
Ｓ２０７で制御部１１４は、人体検出部１１７から得られた人体検出結果から、検出された人体領域の数を求める。そして、制御部１１４は、検出された人体領域の数が０、もしくは後述するカウント数以下の場合は（Ｓ２０８でＹｅｓ）、処理をＳ２１２に移行させる。なお、カウントは０からスタートする。
【００３３】
一方、検出された人体領域の数が後述するカウント数よりも大きい場合（Ｓ２０８でＮｏ）、制御部１１４は個々の人体検出結果についてＳ２０９以降の処理を実行する。
【００３４】
Ｓ２０９で制御部１１４は、Ｓ２０３の処理結果から、処理対象の人体検出結果と同一被写体に関する顔検出結果の有無を判定する。同一被写体に係る（すなわち、Ｓ２０３において同一識別ＩＤが付与された）顔検出結果がない場合（Ｓ２０９でＮｏ）、制御部１１４は人体検出結果に基づいて顔領域推定処理を行う（Ｓ２１０）。その後、制御部１１４は処理をＳ２１１へ移行させ、カウント数を１増やし、処理をＳ２０８に戻す。
【００３５】
人体検出結果から顔領域を推定する方法に特に制限は無いが、例えば人体領域として、上半身や胸部から上の人体形状を検出している場合、人体領域の形状から頭部領域を判別することが可能である。頭部領域と顔領域との大きさや位置の関係については統計的に予め求めておくことができるため、頭部領域が判別できれば、顔領域の位置やサイズを推定することができる。
【００３６】
一方、同一被写体に係る顔検出結果がある場合（Ｓ２０９でＹｅｓ）、制御部１１４は処理をＳ２１１へ移行させ、カウント数を１増やし、処理をＳ２０８に戻す。このように、検出された人体領域ごとに、同一被写体に係る顔検出結果がない場合には人体領域から顔領域の位置やサイズを推定する。
【００３７】
次に制御部１１４は、Ｓ２１２で主顔判定処理を行う。主顔判定は、顔検出部１１６で検出されている顔領域と、人体領域から推定された顔領域に相当する領域（第１の領域）とに対し、顔の位置、顔のサイズ、もしくは撮影者の指示によって決定される優先順位が最も高い顔領域を主顔（主被写体）とする処理である。顔の位置が画面中央に近いほど優先順位を高くして主顔を判定してもよいが、条件に対して優先順位を付けてもよい。例えば、撮影者の指示によって選択された顔が最も優先度が高く、続いて顔の位置が画面中央に最も近い顔、顔のサイズが最も大きい顔という順序で優先順位を決定してもよい。また、顔検出部１１６で検出された顔領域の優先順位を人体領域から推定された顔領域より高くしてもよい。
【００３８】
Ｓ２１３で制御部１１４は、Ｓ２１２で決定した主顔の顔領域を示す表示、例えば枠状の表示（顔枠）を、表示部１０９に表示する映像信号に重畳させる。なお、主顔以外の顔領域についても顔枠表示を行ってもよい。この場合、主顔以外の顔に対する顔枠の表示は、主顔に対する顔枠の表示とは色や形状、表示方法などを異ならせてもよい。例えば、主顔となった顔領域に対しては２重の顔枠を、他の顔領域を１重の顔枠を用いてもよい。
【００３９】
Ｓ２１４で制御部１１４は、主顔に対してピントを合わせるために、主顔の位置に基づいてＡＦ枠を設定し、ＡＦ枠（焦点検出領域）内の画素情報（例えば輝度値）からＡＦ評価値を取得し（Ｓ２１５）、ＴＶ−ＡＦ制御を実行する（Ｓ２１６）。ＡＦ枠の設定方法については、図５を用いて詳細を後述する。
【００４０】
なお、ＴＶ−ＡＦ制御処理は微小駆動と山登り駆動を組み合わせた方法であり、ＡＦ評価値が最大となるように、フォーカスレンズを駆動させながら、ＡＦ評価値の増減を判定し、合焦点を探索する方法である。ＴＶ−ＡＦ処理自体は従来知られた方法を用いることができる。
【００４１】
次に、図２のＳ２０３における同一被写体判定処理について図３に示すフローチャートを用いて説明する。
Ｓ３０１で制御部１１４は、顔検出部１１６から得られた顔検出結果から、検出された人物の顔の数を取得する。そして、Ｓ３０２で制御部１１４は、検出された人物の顔の数が０、もしくは後述するカウント数以下ならば（Ｙｅｓ）、本処理を終了する。なお、カウントは０からスタートする。
【００４２】
一方、検出された人物の顔の数が後述するカウント数より大きい場合（Ｓ３０２でＮｏ）、制御部１１４は検出された顔領域ごとに、Ｓ３０３以降の処理を実行する。Ｓ３０３で制御部１１４は、処理対象の顔領域を包含する人体領域が検出されているか否か判定する。
【００４３】
処理対象の顔領域を包含する人体領域が検出されている場合（Ｓ３０３でＹｅｓ）、制御部１１４は両領域が同一の被写体に係るものであると判定する。そして制御部１１４は、同一の被写体に係るものと判定した顔領域と人体領域の検出結果に対して、Ｓ３０４で同一識別ＩＤを付与してから処理をＳ３０５に移行させる。一方、顔領域を包含する人体領域が検出されていない場合（Ｓ３０３でＮｏ）、制御部１１４は処理をＳ３０５へ移行させる。
【００４４】
Ｓ３０５で制御部１１４は、処理済みの顔領域の数を示すカウント数を１つ増加させ、処理をＳ３０２に戻す。制御部１１４は、検出されている全ての顔領域についてＳ３０３以降の処理が行われるまで、Ｓ３０３〜Ｓ３０５の処理を繰り返し実行した後、処理を終了する。
【００４５】
従って、Ｓ２０６で制御部１１４は、同一識別ＩＤが付与されている検出結果の有無を判定することにより、同一被写体に係る顔領域と人体領域が検出されているかどうかを判定することができる。
【００４６】
なお、Ｓ３０３における判定方法について、図４を用いてさらに説明する。図４においては、説明および理解を容易にするため、検出された顔領域と人体領域とがいずれも１つである場合を示している。図４（Ａ）は、検出された顔領域４０１の全体が人体領域４０２に包含されている状態を示している。図４（Ｂ）は、検出された顔領域４０１が人体領域４０２から離れた位置にある状態を示している。図４（Ｃ）は、検出された顔領域４０１の一部が人体領域４０２に含まれている状態を示している。
本実施形態では、顔領域を包含する人体領域が存在する場合に、両領域が同一被写体に係るものであると判定する。従って、図４（Ａ）〜（Ｃ）に示す位置関係のうち、人体領域４０２に顔領域４０１の全体が含まれている図４（Ａ）の場合のみ、両領域が同一被写体に係るものであると判定される。
【００４７】
なお、この判定方法は単なる一例であって、他の基準によって判定することも可能である。例えば、包含関係に無くても、所定割合以上重複している顔領域と人体領域は同一被写体に係るものと判定してもよい。また、人体領域の輪郭から推定される顔領域（頭部領域）と検出されている顔領域との位置関係をさらに考慮することもできる。例えば、人体領域の形状から推定される頭部領域の中心座標と、検出されている顔領域の中心座標との距離が所定値未満である場合に両領域が同一被写体に係るものであると判定することができる。この場合、より精度の良い判定が可能である。
【００４８】
次に、図２のＳ２１４で行う主顔へのＡＦ枠設定処理の詳細について、図５に示すフローチャートを用いて説明する。
Ｓ５０１で制御部１１４は、Ｓ２１２の主顔判定処理によって主顔に設定された顔領域が、顔検出部１１６で検出された顔領域かどうかを判定する。
【００４９】
主顔に設定された顔領域が、顔検出部１１６で検出された顔領域であれば制御部１１４は処理をＳ５０２に進める。Ｓ５０２で制御部１１４は、顔検出部１１６で検出された顔領域に基づいて焦点検出領域（ＡＦ枠）を設定する。ここで、ＡＦ枠の大きさは、検出された顔領域の大きさに対して所定の比率１（第１の比率）に設定する。なお、本実施形態では、顔領域を含むようにＡＦ枠を設定するため、所定の比率１を１倍以上としている。
一方、主顔に設定された顔領域が、顔検出部１１６で検出された顔領域でない（すなわち、人体領域から推定された顔領域である）場合、Ｓ５０３に進む。制御部１１４はＳ５０３で、推定された顔領域に基づいて焦点検出領域（ＡＦ枠）を設定する。ここで、ＡＦ枠の大きさは、推定された顔領域の大きさに対して所定の比率２（第２の比率）に設定する。ここで、所定の比率２は所定の比率１より大きい値である。
【００５０】
人体領域から推定された顔領域が主顔となっている場合にＡＦ枠として用いる領域の設定方法には特に制限はない。しかし、人体領域から推定された顔領域は、顔検出部１１６によって検出された顔領域よりも一般には精度が低いと考えられる。そのため、人体領域から推定された顔領域に基づいてＡＦ枠を設定する場合は、顔検出結果に基づいて設定する場合と比較して、検出／推定された顔領域の大きさに対するＡＦ枠の大きさの比率をより大きくする。これにより、推定された顔領域が実際の顔領域と多少ずれていても、自動焦点調節による合焦位置が適切な位置となる可能性を高くすることができる。
【００５１】
また、人体領域の検出では人物の向きや姿勢を考慮しないため、推定された顔領域が実際には顔ではなく後頭部であったり実際の顔領域からずれている場合がある。特に後頭部のようにコントラストが低い部分がＡＦ枠に設定されると、コントラストに基づくＴＶ−ＡＦ方式では安定した焦点検出が困難な場合がある。そのため、人体領域から推定された顔領域に基づいてＡＦ枠を設定する場合、さらに推定された顔領域のコントラストを判定して、ＡＦ枠の大きさを変えてもよい。例えば、推定された顔領域のコントラストが所定値に満たない（第１の値の）場合、顔領域の大きさに対して所定の比率３（＞所定の比率２）の大きさにＡＦ枠を設定する。一方、コントラストが所定値以上の（第２の値の）場合、顔領域の大きさに対して所定の比率２の大きさにＡＦ枠を設定する。コントラストは、例えば推定された顔領域に対応する映像信号（又はＡＦ評価値）に基づいて算出することができる。このようにして、推定された顔領域のコントラストが低い場合は、頭部の輪郭が含まれる程度に大きなＡＦ枠を設定することで、安定した焦点検出を実現することができる。実際には、人体領域からの顔領域推定精度などに応じて、例えば推定された顔領域を周囲に所定割合拡張したり、頭部の輪郭が少なくとも一部含まれるように拡張することができる。あるいは、より単純に、人体領域を包含する矩形領域をＡＦ枠として設定してもよい。
【００５２】
図１２（Ａ）は、Ｓ５０３において設定されるＡＦ枠の例を模式的に示した図である。図１２（Ａ）において、推定顔領域１２０２は、人体領域１２０１に基づいて推定された顔領域である。ここでは、ＡＦ枠１２０３を、推定顔領域１２０２を包含し、頭部の輪郭に外接する方形領域に設定した場合を示している。
【００５３】
図６は、図２のＳ２１６におけるＴＶ−ＡＦ処理で実行されるフォーカスレンズ１０５の微小駆動動作を説明するための図である。図６において、横軸は時間を、縦軸はフォーカスレンズ１０５の位置を示している。また、図中上方に映像信号の垂直同期信号を示している。微小駆動動作では、制御部１１４がフォーカスレンズ駆動部１１１を所定の微小駆動範囲内を無限方向と至近方向に移動させながらＡＦ評価値を取得する。そして、無限側で得られたＡＦ評価値と至近側で得られたＡＦ評価値を比較することで、ＡＦ評価値が増加するレンズ位置の方向を判定したり、ＡＦ評価値が最大となるレンズ位置（ピーク位置）を探索したりする。
【００５４】
なお、ＡＦ評価値の変化から合焦状態か否かを判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦判定制御ということもできる。また、ＡＦ評価値の変化から合焦方向を判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦方向判別制御ということもできる。
【００５５】
図６に示すように、無限側でレンズが停止している期間Ａの間に撮像素子１０６に蓄積された電荷（図中、斜線楕円で示す）に対するＡＦ評価値ＥＶＡが時刻ＴＡで取り込まれる。また、至近側でレンズが停止している期間Ｂの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶＢが時刻ＴＢで取り込まれる。また、再び無限側でレンズが停止している期間Ｃの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶＣが時刻ＴＣで取り込まれる。
【００５６】
そして、時刻ＴＤで制御部１１４は、ＡＦ評価値ＥＶＡ、ＥＶＢ、ＥＶＣを比較する。制御部１１４は、ＥＶＡ＞ＥＶＢかつＥＶＣ＞ＥＶＢであれば、微小駆動の駆動（振動）中心を現在の位置ａからＡＦ評価値が大きくなる方向（ここでは無限方向）に所定量移動させｂとする。一方、ＥＶＡ＜ＥＶＢまたはＥＶＢ＜ＥＶＣであれば、制御部１１４は振動中心を移動させない。
【００５７】
次に、ＴＶ−ＡＦ処理で微小駆動動作と組み合わせて実行される山登り駆動動作について、図７を用いて説明する。微小駆動動作により合焦方向が判別されると、山登り駆動動作に移行する。
【００５８】
図７は、山登り駆動動作中のＡＦ評価値の大きさとフォーカスレンズ１０５の駆動動作の例を示す図である。山登り駆動動作では、フォーカスレンズ１０５を駆動しながらＡＦ評価値を取得して、得られたＡＦ評価値がピークとなるフォーカスレンズ位置（ピーク位置）又はその近傍を検出する。
【００５９】
図７において、山登り駆動の開始位置から図中右方向にフォーカスレンズ１０５を駆動した場合、矢印Ａで示すように、ＡＦ評価値がピーク（最大値）を越えて減少していることが検出される。この場合、合焦点を通り過ぎたものとして山登り駆動動作を終了し、ＡＦ評価値の最大値が得られた位置にフォーカスレンズ１０５を戻し、上述の微小駆動動作に移行する。
【００６０】
一方、山登り駆動の開始位置から図中左方向にフォーカスレンズ１０５を駆動した場合、矢印Ｂで示すように、ＡＦ評価値がピークを越えることなく減少していることが検出される。この場合、フォーカスレンズ１０５の移動方向を間違えたものと判断して、逆方向に山登り駆動動作を継続する。なお、山登り駆動において、フォーカスレンズ１０５の一定時間あたりの移動量は、上述した微小駆動動作時よりも大きい。
【００６１】
このように、制御部１１４は、再起動（微小駆動からのやり直し）要否判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながら、ＡＦ評価値が最大となる位置にフォーカスレンズ１０５を移動させるＡＦ制御動作を行う。
【００６２】
以上説明したように、本実施形態によれば、特定被写体の領域（被写体領域）を検出する検出方法に加え、被写体領域の位置を推定可能な検出方法を併用する。それにより、特定被写体が存在するにもかかわらず被写体領域が検出できない場合でも、特定被写体に焦点検出領域を安定して設定することが可能になる。
【００６３】
また、推定した被写体領域には、検出した被写体領域に設定する場合よりも、検出／推定した被写体領域に対して大きな焦点検出領域を設定する。これにより、推定された被写体領域を用いる場合でも、より安定した焦点検出を行うことができる。
【００６４】
＜第２の実施形態＞
図９は、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルビデオカメラ１００’の構成例を示すブロック図である。図９において第１の実施形態と同じ機能ブロックには同じ参照数字を付し、重複する説明は省略する。本実施形態では、第１の実施形態の構成に対し、ＡＦゲートII９０１と、ＡＦ信号処理回路II９０２が追加されている。また、本実施形態のデジタルビデオカメラ１００’は、第１の実施形態において図２を用いて説明したＡＦ制御処理のうち、Ｓ２１４でのＡＦ枠設定処理およびＳ２１５でのＡＦ評価値取得処理が異なる。従って、以下では本実施形態におけるＡＦ枠設定処理およびＡＦ評価値取得処理について説明する。
【００６５】
まず、本実施形態における主顔へのＡＦ枠設定処理について、図１０に示すフローチャートを用いて説明する。
Ｓ１００１で制御部１１４は、Ｓ２１２の主顔判定処理によって主顔に設定された顔領域が、顔検出部１１６で検出された顔領域かどうかを判定する。
主顔に設定された顔領域が、顔検出部１１６で検出された顔領域であれば、Ｓ１００２に進む。Ｓ１００２で制御部１１４は、検出された顔領域に基づいて焦点検出領域（ＡＦ枠）を設定する。ここで、ＡＦ枠の大きさは、検出された顔領域の大きさに対して所定の比率１に設定する。なお、本実施形態では、顔領域を含むようにＡＦ枠を設定するため、所定の比率１を１倍以上としている。
【００６６】
一方、主顔に設定された顔領域が顔検出部１１６で検出された顔領域でない（すなわち、人体領域から推定された顔領域である）場合、制御部１１４は処理をＳ１００３に進める。制御部１１４はＳ１００３で、推定された顔領域に基づいて第１の焦点検出領域（ＡＦ枠１）を設定する。本実施形態では、ＡＦ枠１の大きさは、推定された顔領域の大きさに対して所定の比率１に設定するが、所定の比率１より大きく設定してもよい。また、推定された顔領域のコントラストに応じて、ＡＦ枠１の大きさを変更してもよい。この場合、例えば、推定された顔領域内のコントラストが所定値に満たない場合は、コントラストが所定値以上の場合と比較してＡＦ枠１を大きく設定する。
さらにＳ１００４で制御部１１４は、人体領域に基づいて第２の焦点検出領域（ＡＦ枠２）を設定する。ここで、ＡＦ枠２は、ＡＦ枠１を含み、ＡＦ枠１よりも大きく設定されることになる。図１２（Ｂ）は、顔領域に基づいてＡＦ枠１＿１２０２を、人体領域に基づいてＡＦ枠２＿１２０１を設定した例を模式的に示している。
【００６７】
このように、本実施形態では、人体領域から推定された顔領域が主顔に設定されている場合には、推定された顔領域に対応するＡＦ枠と、人体領域に対応し、推定された顔領域を包含するより大きなＡＦ枠とをそれぞれ設定する。
【００６８】
次に、本実施形態におけるＡＦ評価値取得処理を図１１に示すフローチャートを用いて説明する。
Ｓ１１０１で制御部１１４は、Ｓ２１２の主顔判定処理によって主顔に設定された顔領域が、顔検出部１１６で検出された顔領域かどうかを判定する。
主顔に設定された顔領域が、顔検出部１１６で検出された顔領域であれば、制御部１１４は処理をＳ１１０２に進める。Ｓ１１０２で制御部１１４は、Ｓ１００２で設定されたＡＦ枠に対するＡＦ評価値を取得し、処理を終了する。この場合、ＡＦ枠は１つであり、取得したＡＦ評価値をそのまま焦点検出処理に用いる。
【００６９】
一方、人体領域から推定された顔領域が主顔に設定されている場合、Ｓ１１０３に進む。制御部１１４はＳ１１０３で、ＡＦ枠１とＡＦ枠２のそれぞれについてＡＦ評価値を取得する。
そしてＳ１１０４で制御部１１４は、ＡＦ枠１についてのＡＦ評価値（第１の焦点信号）とＡＦ枠２についてのＡＦ評価値（第２の焦点信号）とを、所定の比率で加算し、焦点検出処理に用いるＡＦ評価値とする。
【００７０】
所定の比率は、ＡＦ枠１についてのＡＦ評価値に対する比率を、ＡＦ枠２についてのＡＦ評価値の比率より大きく設定する。このような比率とすることで、ＡＦ枠１内の画像にコントラストがあればＡＦ枠１のＡＦ評価値の増減に主に依存した焦点検出が行われる。一方、推定された顔領域が実際の顔領域からずれていたり、後ろ向きの状態のようにＡＦ枠１内の画像が低コントラストだったりする場合には、ＡＦ枠２のＡＦ評価値の増減に依存した焦点検出が行われる。そのため、安定した焦点検出が実現できる。
さらに、ＡＦ枠１内のコントラストに基づいて、所定の比率を変えてもよい。例えば、ＡＦ枠１内のコントラストが所定値以上の（第３の値の）場合は、コントラストが所定値に満たない（第４の値の）場合と比較して、ＡＦ枠１についてのＡＦ評価値を加算する比率を高くする。これにより、推定された顔領域に十分なコントラストが得られている場合には、より顔領域に依存した焦点検出を行うことができ、高精度な焦点検出が可能になる。
【００７１】
本実施形態によれば、人体領域から推定された顔領域が主顔に設定されている場合には、人体領域と推定された顔領域それぞれに対応するＡＦ枠を設定し、それぞれのＡＦ枠で取得したＡＦ評価値を所定の比率で加算して用いる。そのため、第１の実施形態の効果に加え、推定された顔領域で十分な焦点検出が可能な場合には顔領域に基づく精度の高い焦点検出を、顔領域のコントラストが低い場合にはより広範囲なＡＦ枠のＡＦ評価値に基づく安定した焦点検出をそれぞれ実現できる。
【００７２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014102293.tif 000003
【図２】
2014102293.tif 000004
【図３】
2014102293.tif 000005
【図４】
2014102293.tif 000006
【図５】
2014102293.tif 000007
【図６】
2014102293.tif 000008
【図７】
2014102293.tif 000009
【図８】
2014102293.tif 000010
【図９】
2014102293.tif 000011
【図１０】
2014102293.tif 000012
【図１１】
2014102293.tif 000013
【図１２】
2014102293.tif 000014