(57)【要約】顔画像領域にコントラスト方式で合焦する撮像装置においてフォーカス制御の安定性を向上させる。人物検出回路２による閾値Ｔｈｈ１を用いた人物画像検索と顔検出回路３による閾値Ｔｈｆ１を用いた顔画像検索とにより、ある人物の全身に相当する全身画像領域と同一人物の顔に相当する顔画像領域とが、撮像画像において検出された場合、顔検出回路３は、検出された顔画像領域について、閾値Ｔｈｆ１を用いた顔画像検索よりも高い精度で顔画像検索できる閾値Ｔｈｆ２を用いて再判定を行う。
2012144195.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像において人物の画像の検索を行う撮像装置であって、
所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索手段と、
前記所定の検索条件による検索に成功したか否かを判定する判定手段とを備え、
前記検索手段は、前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について、精度を変えて検索対象の画像を含むか否かを再度判定する
ことを特徴とする画像判定装置。
【請求項２】
撮像装置は更に、
撮像光学系と、
前記撮像光学系により形成された光学像を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像をディスプレイに表示する画像表示手段と、
前記再判定により検索対象の画像を含むと判定された領域を示す画像を、前記ディスプレイに表示された撮像画像上に重畳表示する判定結果表示手段とを備える
ことを特徴とする請求項１に記載の画像判定装置。
【請求項３】
撮像画像において人物の画像の検索を行う撮像装置の制御方法であって、
所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索ステップと、
前記所定の検索条件による検索に成功したか否かを判定する判定ステップと、
前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について、精度を変えて検索対象の画像を含むか否かを再度判定する再判定ステップと
を含むことを特徴とする撮像装置の制御方法。
【請求項４】
撮像画像において人物の画像の検索を行う撮像装置の集積回路であって、
所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索手段と、
前記所定の検索条件による検索に成功したか否かを判定する判定手段とを備え、
前記検索手段は、前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について、精度を変えて検索対象の画像を含むか否かを再度判定する
ことを特徴とする集積回路。
【請求項５】
フォーカスレンズを含む撮像光学系と、
前記撮像光学系により形成された光学像を撮像する撮像手段と、
撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索手段と、
撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索手段と、
焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御手段とを備え、
フォーカス制御手段は、前記第１検索手段により前記部分画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストをフォーカス制御に用いる
ことを特徴とする撮像装置。
【請求項６】
前記部分画像とは、人物の顔画像であり、
前記被写体画像とは、人物像及び人物の上半身像の何れかである
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２検索手段は、第２の検索領域で検出された人物像の向きを判定し、当該人物像の向きに応じて、前記第２の検索領域内において焦点探索領域の候補を設定する位置を決定する
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第２検索手段は、第２の検索領域で検出された人物像の大きさに応じて、焦点探索領域の候補の大きさを決定する
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記第１検索手段により前記顔画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合の焦点探索領域は、前記複数の焦点探索領域の候補のうち焦点距離が最も近くなるものである
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記第１検索手段により前記顔画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合の焦点探索領域は、前記複数の焦点探索領域の候補の１つである基準候補から焦点距離が所定の距離内に含まれる焦点探索領域の候補のうち、焦点距離が最も近くなるものである
ことを特徴とする請求項６に記載の撮像装置。
【請求項１１】
前記基準候補は、前記複数の焦点探索領域の候補のうち、前記第２の検索領域の中心点を含むものである
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像装置は更に、前記複数の焦点探索領域の候補から少なくとも１の候補を選択するユーザ操作を受け付ける受付手段を備え、
前記第１検索手段により前記顔画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合のフォーカス制御では、前記ユーザ操作により選択された候補を焦点探索領域とする
ことを特徴とする請求項６に記載の撮像装置。
【請求項１３】
撮像装置は更に、
前記撮像手段で撮像された撮像画像をディスプレイに表示する画像表示手段と、
記フォーカス制御においてコントラストが用いられた焦点探索領域を示す画像を、前記ディスプレイに表示された撮像画像上に重畳表示する焦点探索領域表示手段とを備える
ことを特徴とする請求項６に記載の撮像装置。
【請求項１４】
撮像装置は更に、前記撮像光学系の絞りを制御する絞り制御手段を備え、
前記第１検索手段で前記顔画像が検出されず且つ前記第２検索手段で前記被写体画像が検出された場合、前記絞り制御手段は、全ての前記焦点探索領域の候補の焦点距離が被写界深度内に収まるように、前記絞りの絞り量を決定することを特徴とする請求項６に記載の撮像装置。
【請求項１５】
撮像装置は更に、前記第１検索手段により検出された顔画像と、前記第２検索手段により検出された被写体画像とが、同一の人物に係るものであるかを判定する判定手段を更に備え、
前記第１検索手段及び前記第２検索手段の少なくとも一方は、前記判定手段において同一の人物に係るものであると判定された画像について、精度を変えて検出対象の画像であるか否かを再度判定する
ことを特徴とする請求項６に記載の撮像装置。
【請求項１６】
フォーカスレンズを含む撮像光学系と前記撮像光学系により形成された光学像を撮像する撮像手段とを有する撮像装置の合焦制御方法であって、
撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索ステップと、
撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索ステップと、
前記第１検索ステップで前記部分画像が検出された場合に、第１検索ステップで設定された焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行い、前記第１検索ステップで前記部分画像が検出されず且つ前記第２検索ステップで前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御ステップと
を含むことを特徴とする合焦制御方法。
【請求項１７】
フォーカスレンズを含む撮像光学系と前記撮像光学系により形成された光学像を撮像する撮像手段とを有する撮像装置の合焦制御に用いる集積回路であって、
撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索手段と、
撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索手段と、
焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御手段とを備え、
フォーカス制御手段は、前記第１検索手段により前記部分画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストをフォーカス制御に用いる
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、ビデオカメラ等の撮像装置のフォーカス制御技術に関し、特に、コントラスト方式にて合焦するフォーカス制御技術に関するものである。
【背景技術】
【０００２】
コントラスト方式のフォーカス制御とは、撮像画像において合焦したい領域である焦点探索領域のコントラストに注目し、焦点探索領域のコントラストが最も高くなるフォーカスレンズの位置を合焦状態とするフォーカス制御方法である。また、撮像装置には、撮像画像から人物の顔が含まれる領域を検出する顔検出機能を備えたものが多く、顔検出機能により検出された領域を焦点探索領域とすることで、コントラスト方式のフォーカス制御にて人物の顔に合焦した適切な撮像画像を得ることができる。【０００３】
ただし、一般に顔検出機能は、目・鼻・口などの特徴を捉える技術であるため、検出できる顔の向きに限界がある。例えば、後ろ向きや、目が隠れる程度に横を向いた人物の顔は検出することが出来ない。そのため、人物にフォーカスを合わせて動画を撮影していても、途中で人物が後ろを向くと顔検出に失敗しフォーカスが不安定になるおそれがある。また、人物が撮影範囲外からフレームインしてきた場合等も、その人物が撮像装置の方向に顔を向けるまでフォーカスが人物に合わないことになる。【０００４】
このようなフォーカスの不安定化を防ぐ技術として特許文献１に開示のものがある。特許文献１に開示の技術では、顔検出機能により人物の顔が検出された場合にコントラスト方式のフォーカス制御を使用する。その一方で、顔が未検出の場合に位相差検出方式のフォーカス制御を使用し且つ焦点位置が背景などに合わないようにその位相差検出方式でのフォーカス制御範囲に制限をかけている。具体的には、顔を安定的に検出している状態から一時的に未検出の状態となり、位相差検出方式のフォーカス制御が適用されたときに、位相差検出方式で測距した焦点位置が背景等、顔検出時にコントラスト方式で合焦していた焦点位置近傍では無い場合に、フォーカス制御範囲を制限して、フォーカスの不安定化を抑えている。【０００５】
また、特許文献２には、撮像画像から人物に相当する人物領域を検出し、検出した人物領域から予め決められている顔部分の相対位置および相対的な大きさを示す領域規定情報により示される領域を顔領域に仮定する技術が開示されている。ここで、人物領域を検出する技術（人物検出）として、例えば非特許文献１がある。非特許文献１に開示の技術によれば、エッジ勾配のヒストグラムを連結した特徴量を用いることで、人物の形状を捉える事が可能である。そのため、例えば後向きの人物も検出することが可能である。またブロックごとに特徴量を抽出するため、人物の形状の部分的な変化が許容でき、結果としてある程度の姿勢の変動も許容される。このような人物検出技術を用いることで、顔の向きにかかわらず撮像画像から人物に相当する位置を検出することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０１５０２４号公報
【特許文献２】特開２０１０−１９９９０３号公報
【非特許文献】
【０００７】
【非特許文献１】Tomoki Watanabe, "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection," PSIVT 2009, PP.37-47, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示の技術で用いる位相差検出方式のフォーカス制御には、撮像素子に加えて焦点距離検出のために専用のセンサが必要になる。そのため、カメラの小型化が困難となり、一眼レフカメラのような一部のカメラには適用できるが、コンパクトカメラにおいては機器の内部スペースの制約から適用が困難である。【０００９】
また、実用的な精度で人物検出を行うためには、非特許文献１に開示の技術のように姿勢の変動を許容するロバスト性が必要である。そのため、人物領域に対して予め定めた顔部分の相対位置および相対的な大きさを用いて、安定して顔領域を特定することは困難である。従って、特許文献２に開示の技術では、人物の姿勢によっては、顔領域に仮定した領域に背景部分が多く含まれることがあり、その場合には焦点が背景部分に合うなどフォーカスが不安定化するおそれがある。【００１０】
本発明はかかる問題に鑑み、コントラスト方式で合焦する場合に、フォーカス制御の安定性を向上することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る撮像装置は、撮像画像において人物の画像の検索を行う撮像装置であって、所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索手段と、前記所定の検索条件による検索に成功したか否かを判定する判定手段とを備え、前記検索手段は、前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について、精度を変えて検索対象の画像を含むか否かを再度判定することを特徴とする。
【発明の効果】
【００１２】
本発明に係る撮像装置は、課題を解決するための手段に記載の構成により、同一人物に係る被写体画像領域と部分画像領域とを組みで検索する場合と、被写体画像領域と部分画像領域との組みが検出された後に検出された領域について検索対象の画像を含むか否かを再度判定する場合とで、それぞれの検索に適した異なる検索条件を用いる。これにより被写体画像領域と部分画像領域とを組みで検索することで人物の検出漏れを抑制しながら、組みで検索するときに誤検出された領域を再判定により除外し、人物や顔の検出率を向上させることが出来る。検出率の向上は、焦点探索領域の安定化に繋がり、コントラスト方式によるフォーカス制御の不安定さの抑制につながる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る撮像装置のブロック図
【図２】顔検出手順を示すフローチャート図
【図３】人物検出手順を示すフローチャート図
【図４】フォーカス制御処理のフローチャート図
【図５】顔検出結果と人物検出結果の統合手順を示すフローチャート図
【図６】顔検出結果及び人物検出結果を示す図
【図７】撮像画像から人物検出で検出された人物領域を示す図
【図８】人物検出の学習で利用している学習画像を示す図
【図９】統合結果の顔領域のサイズとサイズグループの関係を示す図
【図１０】顔検出結果、人物検出結果、および統合後の検出結果を示す図
【図１１】人物領域内に設定する焦点検出領域候補を説明する図
【図１２】第２実施形態に係る焦点探索領域設定処理を示すフローチャート図
【図１３】第２実施形態の変形例に係る焦点探索領域設定処理を示すフローチャート図
【図１４】人物との間に障害物がある場合の基準領域の一例を示す図
【図１５】２つの焦点検出領域候補の距離を説明する図
【図１６】人物領域内の焦点検出領域候補の位置の補正量を説明する図
【図１７】第２実施形態に係るフォーカス制御処理のフローチャート図
【図１８】第４実施形態における顔検出結果と人物検出結果の統合手順を示すフローチャート図
【図１９】第４実施形態における再判定処理の詳細を示すフローチャート図
【図２０】顔検出結果、人物検出結果、および統合後の検出結果を示す図
【図２１】前傾姿勢になっている人物像を示す図
【図２２】第５実施形態における顔検出結果、人物検出結果、および統合後の検出結果を示す図
【図２３】第５実施形態における顔画像の再判定結果を示す枠表示の一例を示す図
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図を用いて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。本図に示す撮像装置１はデジタルスチルカメラであり、顔検出回路２、人物検出回路３、プロセッサ４、動き検出回路５、音声処理回路６、画像符号化回路７、ＬＣＤ出力回路８、画像入力回路９、フォーカス駆動部１０、絞り駆動部１１、内部ＩＯバス１２、メモリバス１３、フラッシュメモリ１４、画像メモリ１５、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１６、Ａ／Ｄ変換回路１７、撮像素子１８、絞り１９、及びフォーカスレンズ２０から構成されている。
【００１５】
フォーカスレンズ２０、絞り１９は撮像光学系を構成する要素である。フォーカスレンズ２０は、フォーカス駆動部１０による制御に従って光軸方向に移動可能である。絞り１９は絞り駆動部１１による制御に従って光量を調整する。更に撮像装置１は、図示していないが、ズームレンズやシャッターを備えても良く、これらで撮像光学系が構成される。
【００１６】
撮像素子１８は、ＣＣＤセンサもしくはＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。撮像素子１８は撮像光学系により形成された被写体像を撮像して映像信号を出力する。
【００１７】
Ａ／Ｄ変換回路１７は撮像素子１８より出力されたアナログ信号である映像信号を、デジタル信号に変換する変換器である。Ａ／Ｄ変換回路１７から出力されたデジタルデータは、画像入力回路９から取り込まれる。
【００１８】
画像入力回路９は、Ａ／Ｄ変換回路１７からのデジタルデータに対して、画素補間処理や色変換処理を行い、撮像画像の画像信号を生成する。以上の撮像素子１８、Ａ／Ｄ変換回路１７、及び画像入力回路９によって、撮像光学系により形成された光学像から撮像画像を得る撮像手段としての機能が実現される。画像入力回路９が生成した画像信号は、画像メモリ１５に出力される。画像入力回路９は更に、撮像画像中の指定された領域の輝度値から被写体の合焦状態を示す値（例えばＡＦ評価値である画像のコントラスト値）の算出や、被写体の明るさを示す値（例えばＡＥ評価値である画像の明るさ）の算出を行う。
【００１９】
プロセッサ４は、プログラムによって演算処理装置および制御装置として機能し、フラッシュメモリ１４に記憶されたプログラムを読み込んで実行することで、撮像装置１内の各構成要素の処理を制御する。プロセッサ４がプログラムを実行することにより実現される機能としては、例えば、画像入力回路９から取得したＡＦ評価値である画像のコントラスト値に基づいて、フォーカスレンズ２０の合焦位置を算出するフォーカス制御手段としての機能や、ＡＥ評価値である画像の明るさに基づいて、絞り１９の絞り量を算出する絞り制御手段としての機能がある。プロセッサ４は、それらの算出値に基づいて、フォーカス駆動部１０や絞り駆動部１１に対して制御信号を出力して、撮像光学系を制御する。なお、本実施の形態ではプロセッサ４は１つだけの構成だが、複数のプロセッサから構成されても良い。
【００２０】
画像符号化回路７は、符号化前の画像信号を受けて、例えば静止画の場合はＪＰＥＧ形式、動画の場合はＭＰＥＧもしくはＨ．２６４形式などの符号化形式で画像信号を符号化処理する。画像符号化回路７は、符号化データを、画像メモリ１５もしくは外部の記録メディアに出力する。
【００２１】
ＬＣＤ出力回路８は、画像入力回路９から画像メモリ１５に出力された画像データを受けて、ＬＣＤ１６に画像を表示する画像表示手段である。画像メモリ１５中の撮影前の画像の他に、撮像装置１の各種設定などを表示する。また、後述の顔検出回路２及び人物検出回路３で検出された被写体を明示するための枠なども表示する。例えば、顔検出回路２で検出された顔領域については、顔の位置・大きさに合わせて枠の位置・大きさを調整した上で、画像に重畳して表示する。また、ＬＣＤ出力回路８は更に、プロセッサ４によるフォーカス制御でコントラスト値が用いられ合焦した焦点探索領域を示す枠を、画像に重畳して表示する焦点探索領域表示手段としての機能も有する。
【００２２】
ＬＣＤ１６は、撮像画像を表示する表示デバイスである。本実施の形態では表示デバイスとしてＬＣＤを用いるが、他の表示デバイス（有機ＥＬなど）で構成されても良い。
【００２３】
顔検出回路２は、画像メモリ１５に格納された撮像画像を取得し、撮像画像内で顔画像が含まれる顔領域を検出する検索手段である。顔検出回路２による検出結果は、フォーカス制御における焦点探索領域の候補として、プロセッサ４へ通知される。
【００２４】
人物検出回路３は、画像メモリ１５に格納された撮像画像を取得し、撮像画像内で人物画像が含まれる人物領域を検出する検索手段である。人物検出回路３による検出結果は、フォーカス制御における焦点探索領域の候補として、プロセッサ４へ通知される。
【００２５】
動き検出回路５は、所定時間毎に人物検出回路３による検出結果を取得し、人物領域の大きさと、位置の変化とから人物の移動速度を算出する。
【００２６】
以上が撮像装置の構成についての説明である。
【００２７】
続いて撮像装置において実行される各処理について説明する。
＜顔検出処理＞
先ず、顔検出回路２による顔検出処理の処理フローを図２を参照して説明する。顔検出処理では先ずプロセッサ４により顔画像であるかの判定の閾値となる顔検出パラメータが顔検出回路２に設定される（ステップＳ３０１）。この顔検出パラメータに応じて、顔検出回路２は以降の動作を制御する。まず、顔検出回路２は画像メモリ１５に格納された撮像画像を読み込み、あらかじめ決められたサイズ（例えば、ウィンドウサイズ２４×２４画素）のウィンドウで、顔画像を検索する検索領域を切り出す（ステップＳ３０２）。続いて、そのウィンドウ内の特徴量を算出する（ステップＳ３０３）。この特徴量の例としては、輝度値の明暗パターンがある。顔を構成する要素（例えば、目、鼻、口、顎など）の明暗パターンの特徴をあらかじめ学習して、明暗パターンに応じた評価値を得ることで、顔・非顔の識別が可能である。特徴量から学習で得られた評価値を算出（ステップＳ３０４）し、顔検出パラメータとして設定された閾値と比較して、顔か否かを判定する（ステップＳ３０５）。顔と判定されたものは、検出結果として、顔の位置情報（例えば顔を検出した検索領域の中心座標）、顔の大きさ情報および顔の向き情報を出力する（ステップＳ３０７）。以上の処理を、読み出した撮像画像中の全ウィンドウ位置に対して実施することで、撮像画像全体に対する顔検出処理を完了する。なお、フローチャート中には図示していないが、異なる大きさの顔画像を検出するために、読み出した撮像画像を縮小した何パターンかの画像に対して同様の処理を繰り返し行うことが望ましい。なお、本実施の形態以外の顔検出方法でも構わない。
＜人物検出処理＞
次に、人物検出回路３による人物検出処理の処理フローを図３を参照して説明する。人物検出処理では先ずプロセッサ４により人物画像であるかの判定の閾値となる人物検出パラメータが人物検出回路３に設定される（ステップＳ４０１）。この人物検出パラメータに応じて、人物検出回路３は以降の動作を制御する。まず、人物検出回路３は画像メモリ１５に格納された撮像画像を読み込み、あらかじめ決められたサイズ（例えば、ウィンドウサイズ６４×１２８画素）のウィンドウで、人物画像を検索する検索領域を切り出す（ステップＳ４０２）。続いて、そのウィンドウ内の特徴量を算出する（ステップＳ４０３）。この特徴量の例としては、輝度値のエッジ勾配のヒストグラムがある。人物の輪郭のエッジ勾配のヒストグラムを特徴としてあらかじめ学習して、評価値を得ることで、人物か否かの識別が可能である。特徴量から学習で得られた評価値を算出（ステップＳ４０４）し、人物検出パラメータとして設定された閾値と比較（ステップＳ４０５）して、人物か否かを判定する。人物と判定されたものは、検出結果として、人物の位置情報（例えば人物を検出した検索領域の中心座標）、人物の大きさ情報および人物の向き情報を出力する（ステップＳ４０７）。以上の処理を、読み出した撮像画像中の全ウィンドウ位置に対して実施することで、撮像画像全体に対する人物検出処理を完了する。なお、フローチャート中には図示していないが、異なる大きさの人物画像を検出するために、撮像画像を縮小した何パターンかの画像に対して同様の処理を繰り返し行うことが望ましい。
【００２８】
なお、本実施の形態以外の人物検出方法でも構わない。また、人物検出で検出する領域は、全身像に限らず、上半身のみの画像を含む領域でもよい。
【００２９】
ここで、顔検出処理に用いる画像と、人物検出処理に用いる画像とは、必ずしも同一の画像でなくてもよい。例えば、同一時点に撮像されたか、微小な間隔で連続して撮影された画像であれば、例えば解像度の異なる画像でも良い。つまり、顔検出処理はＱＶＧＡ（３２０×２４０）などの低解像度画像、人物検出処理はＶＧＡ（６４０×４８０）などの高解像度画像としてもよい。もちろん、いずれも例えばＱＶＧＡなどの同一の画像を入力としても良い。
【００３０】
なお、本実施の形態では顔検出回路２と人物検出回路３を備えているが、これらのいずれかまたは両方を、プロセッサ４上で動作するプログラムで実現しても構わない。
【００３１】
以上が顔検出処理、及び人物検出処理の説明である。
＜フォーカス制御処理＞
次に、プロセッサ４がプログラムを実行することにより実行されるフォーカス制御処理について説明する。図４は、フォーカス制御処理を示すフローチャートである。まず、最新の映像信号に対して人物検出処理（ステップＳ１０１）及び顔検出処理（ステップＳ１０２）を実行して、検出された顔領域及び人物領域の情報を取得する。ここで、顔検出と人物検出は並行して実行しても良いし、顔検出と人物検出とを逐次に実行しても良い。逐次に実行する場合の処理順序は問わない。
【００３２】
取得した顔領域の情報と人物領域との情報に基づいて、同一人物に係るものについて検出結果の統合処理を行う（ステップＳ１０３）。図５は、顔検出結果と人物検出結果との統合処理の詳細を示すフローチャートである。結果統合処理では最初に、顔検出結果と人物検出結果を取得する（ステップＳ５０１、Ｓ５０２）。顔検出結果及び人物検出結果は、図６（ａ）に示すような撮像画像に２人の人物が写っている例では、図６（ｂ）に示すような情報として得られる。「位置」は撮像画像左上を原点とした顔領域、人物領域の中心座標を示し、「大きさ」は各領域の画素数を示す。人物領域の大きさは幅および高さの画素数で示されるが、本実施の形態において顔領域の検索ウィンドウとして高さと幅とが同じ正方形の領域が用られているため、顔領域の大きさは、幅の画素数のみで示される。
【００３３】
ここで、顔検出処理により検出した顔数をＮｆ、人物検出処理により検出した人物数をＮｈとする。図６の例では、顔検出結果Ｎｆが１、人物検出結果Ｎｈが２である。
【００３４】
このような検出結果について、どの顔領域と人物領域とが同一人物に係るものであるかを比較判定できるように、人物検出結果の位置と大きさを、顔相当の位置と大きさに規定の情報で変換する（ステップＳ５０３）。
【００３５】
ステップＳ５０３における人物検出結果の変換の詳細を図７および図８を参照しながら説明する。図７は、撮像画像から人物検出で検出された人物領域を示す図であり、図８は、人物検出の学習で利用している学習画像を示す図である。人物検出の学習で利用している学習画像は、人物領域の大きさが正規化されている。その正規化された人物画像（学習画像）の顔部分の大きさをＷｎｆ、人物領域の幅をＷｎｈとすると、人物領域の幅に対する顔部分の大きさの比率はＷｎｆ÷Ｗｎｈで得られる。よって、図７に示す人物検出で検出された人物領域の顔の大きさＷｈｆは、検出された人物領域の幅をＷｈとすると、式１で算出できる。
【００３６】
Ｗｈｆ  ＝  Ｗｈ×（Ｗｎｆ÷Ｗｎｈ）  ・・・式１
また、同様に図８に示す正規化された人物画像における身体の中心位置（Ｘｎｈ，Ｙｎｈ）から顔相当の位置（Ｘｎｆ，Ｙｎｆ）までのオフセット量をＯＦＳＴ、正規化された人物画像の人物領域の高さをＨｎｈとすると、ＯＦＳＴ÷Ｈｎｈで人物領域の単位高さ当たりの身体の中心位置から顔相当位置までの差分が算出できる。
【００３７】
そこで、人物検出で検出された人物の顔相当の位置は、図７に示す検出された人物領域の高さをＨｈ、人物中心座標を（Ｘｈ，Ｙｈ）とすると、算出する顔相当位置の中心座標（Ｘｆ，Ｙｆ）が、式２および式３で算出できる。
【００３８】
Ｘｆ  ＝  Ｘｈ  ・・・式２
Ｙｆ  ＝  Ｙｈ−Ｈｈ×（ＯＦＳＴ÷Ｈｎｈ）  ・・・式３
以上の手順により、人物検出結果から顔相当の位置と大きさへの変換が可能であるが、変換方法は本手順に限定するものではない。例えば、人物検出の学習画像を使わず、変換係数を実験的に決定しても良い。また、本実施形態では人物検出結果の位置と大きさを顔領域に合わせて変換するとしたが、逆に顔検出結果の位置と大きさを人物検出結果である身体中心に合わせて変換してもよい。
【００３９】
人物検出結果の変換完了後は、図５に示す処理手順において、変数ｉ、ｊを０に初期化する（ステップＳ５０４，Ｓ５０５）。これらの変数は、ｉがＮｆ個ある顔検出結果のうちのｉ番目に処理中の顔検出結果を示し、ｊがＮｈ個ある人物検出結果のうちのｊ番目に処理中の人物検出結果を示す。
【００４０】
変数初期化後に、顔検出結果と人物検出結果とで同一人物に係るものであるかを判定し、同一人物の検出結果については検出結果の統合を行う（ステップＳ５０６〜ステップＳ５０９）。同一人物に係るものであるかの判定（ステップＳ５０６〜ステップＳ５０７）は、それぞれの検出結果から得られた位置と大きさの距離を算出し、閾値と比較することで判定する。顔検出結果の顔中心座標を（Ｘａ，Ｙａ）、人物検出結果の顔中心座標を（Ｘｂ，Ｙｂ）とし、位置のＸ方向、Ｙ方向それぞれの距離を比較する閾値をＴｈｄｘ、Ｔｈｄｙとすると、式４かつ式５のときに、位置については同一人物と判定する。
【００４１】
｜Ｘｂ−Ｘａ｜≦Ｔｈｄｘ  ・・・式４
｜Ｙｂ−Ｙａ｜≦Ｔｈｄｙ  ・・・式５
前記条件不成立の場合は異なる人物と判定する。ここで、ＴｈｄｘおよびＴｈｄｙは、式６で算出する値を用いる。
【００４２】
Ｔｈｄｘ  ＝  Ｔｈｄｙ  ＝  （Ｗｈｆ＋Ｗｆ）÷２  ・・・式６
この閾値は、２つの顔領域が隣接する場合の中心座標間の距離を示すため、人物検出結果の顔に相当する領域と顔検出結果の顔領域とが重なる場合において統合するという意味を持つ。
【００４３】
次に、大きさの距離については、顔領域の大きさを常に同一の閾値を使用してそのまま判定するのは困難である。例えば、２４画素×２４画素の大きさの顔領域と１００画素×１００画素の大きさの顔領域とでは、仮の判定閾値として５０画素を定義すると、その意味が異なってくる。前者は、顔領域の約２倍の大きさの距離まで許すことを意味し、後者は顔領域の約１／２の大きさの距離までしか許さないことを意味する。そこで、特定の顔領域の大きさの範囲でグループ分けを行い、そのグループ間の距離で判定することとする。そのグループ振り分け表の例を図９に示す。図９の表では最小顔領域のサイズが２４画素×２４画素であり、最大顔領域のサイズが２４０画素×２４０画素である。中間の顔領域のサイズは、１．２倍の範囲で各サイズグループを定義している。ここで、顔検出結果の顔領域のサイズグループをＧａ、人物検出結果の顔領域のサイズグループをＧｂとし、距離判定の閾値をＴｈｇとすると、式７の時に、大きさについては同一人物と判定する。
【００４４】
｜Ｇｂ−Ｇａ｜≦Ｔｈｇ  ・・・式７
前記条件不成立の場合は異なる人物と判定する。以上、前記３つの判定式（式４、式５、及び式７）を満たした場合のみ顔検出結果と人物検出結果を同一人物と判定し（ステップＳ５０７：Ｙｅｓ）、一つでも不成立の場合は異なる人物と判定する（ステップＳ５０７：Ｎｏ）。
【００４５】
同一人物と判定された場合は、顔検出結果と人物検出結果を同一グループ化する（ステップＳ５０８）。また、異なる人物と判定された場合は、別のグループとする（ステップＳ５０９）。
【００４６】
図１０を用いて上述の統合手順の具体例を説明する。図１０（ａ）は、顔検出結果、図１０（ｂ）は人物検出結果、図１０（ｃ）は統合後の検出結果を示す表である。まず、顔検出結果（ｉ＝０）と人物検出結果（ｊ＝０）を判定する。そのために、人物検出結果（ｊ＝０）の検出結果を顔領域相当の情報に変換する。ここで、正規化された人物画像の顔領域の大きさＷｎｆ＝２０画素、人物領域の幅Ｗｎｈ＝６４画素とすると、顔領域相当の大きさは、前述の式からＷｈｆ０＝１００×（２０÷６４）＝３１画素となる。次に、顔領域相当の位置は、正規化された人物画像における身体の中心位置から顔相当の位置までのオフセット量ＯＦＳＴ＝４８、正規化された人物画像の人物領域の高さＨｎｈ１２８とすると、前述の式から顔領域相当の位置はＸｆ０＝１２８、Ｙｆ０＝１２８−２００×（６０÷１２８）＝５３となる。よって、判定のための各閾値、Ｔｈｄｘ＝Ｔｈｄｙ＝（３２＋３１）÷２＝３１．５、Ｔｈｇ＝２とすると、｜Ｘｂ−Ｘａ｜＝０≦３１．５、｜Ｙｂ−Ｙａ｜＝５３−４８＝５≦３１．５、｜Ｇｂ−Ｇａ｜＝１−１＝０≦２となる。よって、３条件全てを満たすため、顔検出結果（ｉ＝０）と人物検出結果（ｊ＝０）は同一人物と判定され、同一グループ０とする。同様の判定を顔検出結果（ｉ＝０）と人物検出結果（ｊ＝１）に対して行うと、｜Ｘｂ−Ｘａ｜＝１２８＞３１．５となるため、異なる人物と判定される。よって、人物検出結果（ｊ＝１）は別のグループ１とする。ここで、図１０（ｃ）に示す統合後の検出結果におけるグループ化した情報には、顔検出及び人物検出それぞれにおける検出判定結果の有無と、それぞれの検出結果の情報が含まれる。
【００４７】
以上の処理をステップＳ５０５〜ステップＳ５１３の手順により顔検出結果と人物検出結果との全組み合わせに対して繰り返し実行することで、顔検出結果と人物検出結果とが統合される。
【００４８】
このように統合した検出結果情報において複数のグループが存在する場合は、図４のフォーカス制御処理では、何れか１つのグループの検出結果情報が選択される（ステップＳ１０４）。グループの選択方法としては、撮像画像の中央に最も近い被写体に関するグループを選択する方法や、顔の大きさが予め選択パラメータとして設定された画素数に最も近いグループを選択する方法等を利用できる。
【００４９】
また、ＬＣＤ１６がタッチパネル式のＬＣＤであり、画面上で押された位置を示す情報をプロセッサ４へ通知する入力装置を含む構成であれば、グループの選択方法として、ＬＣＤ１６に表示した画像を見て撮影者が選択する方法も利用できる。撮影者がグループ選択する方法では、具体的には検出結果のグループ毎に被写体を明示する枠がＬＣＤ１６に描画され、撮影者が何れかフォーカスを合わせたい被写体の枠内を接触することで、プロセッサ４へ位置情報が通知され、位置情報に応じたグループの検出結果情報が選択される。
【００５０】
尚、統合した検出結果情報においてグループが１つのみである場合は、ステップＳ１０４の処理は省略することができる。
【００５１】
統合した検出結果情報には、顔検出の検出判定結果の有無が含まれるため、その情報を用いることで、選択されたグループで顔領域が検出されているか否かを判別する（ステップＳ１０５）。判別の結果、顔領域が検出できている時は、顔領域をフォーカス制御で使用する焦点探索領域に設定する（ステップＳ１０７）。ここで、統合した検出結果情報には、顔検出の検出結果情報が含まれるため、その情報の顔領域の位置および大きさ情報に基づいて、顔領域をフォーカス制御で使用する焦点探索領域の位置および大きさを設定する。
【００５２】
顔領域が検出できていなかった時（ステップＳ１０５：Ｎｏ）は、統合した検出結果情報に基づいて、選択されたグループで人物領域が検出されているか否かを判別する（ステップＳ１０６）。判別の結果、人物領域が検出できていた時は、人物領域内の何れかの領域に焦点探索領域を設定する焦点探索領域設定処理を実行する（ステップＳ１０８）。ここで、人物領域内に設定する焦点探索領域には、人物画像の何れかの部位が含まれている必要がある。統合した検出結果情報には、人物検出の検出結果情報が含まれるため、本実施形態では、その情報の人物領域の位置および大きさ情報に基づいて、人物画像の何れかの部位が含まれている領域の位置および大きさを、焦点探索領域の位置および大きさとして設定する。例えば、人物領域の中心には身体の中心付近の部位の画像が含まれていると考えられるため、人物領域の中心を焦点探索領域の位置とし、人物領域の大きさの高さ１／８、幅１／４を焦点探索領域の大きさとして設定する。
【００５３】
顔画像と人物画像のいずれの領域も検出できていない時（ステップＳ１０５：ＮｏかつステップＳ１０６：Ｎｏ）には、通常の動作モードとして、例えば画面中心を焦点探索領域に設定する（ステップＳ１０９）。
【００５４】
以上の判別結果に応じて選択設定された焦点探索領域からコントラスト情報を取得（ステップＳ１１０）し、取得したコントラスト値を用いたコントラスト方式の合焦位置探索により距離情報を取得する。距離情報に基づいてフォーカスレンズを駆動させることで、撮影者所望の人物に焦点を合わせたフォーカス制御が可能となる（ステップＳ１１１）。
【００５５】
ここで、焦点探索領域を示す矩形領域の枠を、ＬＣＤ１６に表示する撮像画像上にプロセッサから描画しても良い（ステップＳ１１１）。このような焦点探索領域枠を撮像画像に重畳表示することで、撮影者に焦点を合わせた場所を明示することが可能である。
【００５６】
以上がフォーカス制御処理の詳細である。このようなフォーカス制御処理は、撮像画像を取り込む都度実施することが望ましい。
【００５７】
かかる構成によれば、顔領域が未検出のときに、人物検出結果を用いて身体の中心付近に焦点探索領域を設定することで、被写体の人物に焦点探索領域を安定的に合わせる事が可能となり、被写体の姿勢変動に伴うフォーカス制御の不安定さを抑制することができる。
【００５８】
以上説明したように、本発明の第１態様によれば、フォーカスレンズを含む撮像光学系と、前記撮像光学系により形成された光学像を撮像する撮像手段と、撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索手段と、撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索手段と、焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御手段とを備え、フォーカス制御手段は、前記第１検索手段により前記部分画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストをフォーカス制御に用いることを特徴とする。
【００５９】
上述の構成により、被写体の一部分である部分画像が第１検索手段で検出されない場合でも第２検索手段により被写体画像が検出されたならば、被写体画像が検出された第２の検索領域内に設定した焦点探索領域の候補のうち、被写体画像の何れかの部位が含まれる１つを焦点探索領域としてコントラスト方式のフォーカス制御に用いることができる。
【００６０】
そのため、部分画像が検出され部分画像に合焦している状態から一時的に未検出の状態となったとしても、被写体画像の何れかの部位が含まれる領域が合焦され、フォーカス位置が大きく変化することがない。
【００６１】
従って、本発明に係る撮像装置によれば、コントラスト方式で被写体の一部分に合焦する場合に、フォーカス制御の安定性を向上することができる。
（第２の実施形態）
第１の実施形態では、図４に示すフォーカス制御処理において、顔領域が検出されておらず、人物領域が検出されている場合にステップＳ１０８で実行される焦点探索領域設定処理で、身体の中心付近の部位の画像が含まれていると考えられる人物領域の中心に焦点探索領域を設定した。
【００６２】
第２の実施形態では、焦点探索領域設定処理において、人物領域内に複数の焦点探索領域の候補を設定し、これらの候補から焦点探索領域を選択する変形例について説明する。
【００６３】
図１２は、本実施形態に係る焦点探索領域設定処理を示すフローチャートである。本図に示す焦点探索領域設定処理は、図４のフローチャートにおいて、顔領域は検出できず、人物領域は検出できた場合に実行されるものであり、図４に示すその他の処理手順は、第１の実施形態と同様に実行される。
【００６４】
図１２に示す焦点探索領域設定処理では、先ず人物領域内に複数の焦点探索領域候補を設定する（ステップＳ２０１）。図１１に人物領域と複数の焦点探索領域候補の関係を示す。実線が人物領域を示し、破線が焦点探索領域の候補を示す。複数の焦点探索領域候補は、例えば人物領域内を空間的になるべく網羅する形で水平方向に３ブロック、垂直方向に５ブロックの計１５ブロックの領域が設けられる。そして、各ブロックの形状は１辺のサイズがＷｃの正方形とする。ここで、Ｗｃは、正規化された人物領域のサイズが、幅Ｗｈ、高さＨｈで定義される時の１ブロックの１辺のサイズを示し、例えば式８で算出される。
【００６５】
Ｗｃ  ＝  Ｗｈ÷４  ・・・式８
このように設定された全ての焦点探索領域候補についてコントラスト情報を取得し（ステップＳ２０２）、それらのコントラスト情報から、焦点探索領域候補ごとに距離情報を生成する（ステップＳ２０３）。距離情報の生成方法としては、コントラスト方式の合焦位置探索等を利用できる。
【００６６】
ここで被写体である人物との間に障害物が無いことを想定すると、最も近い距離に合わせれば背景に焦点位置が合うことは無く、人物に焦点位置が合う可能性が高い。よって、得られた全焦点探索領域候補の距離情報から、最小の距離情報のものを焦点探索領域に選択する（ステップＳ２０４）。選択された距離情報が、焦点を合わせる位置となる。
【００６７】
以上の手順により、適切に人物に焦点を合わせることが可能な焦点探索領域を選択することができる。
【００６８】
なお、本実施形態で説明した焦点探索領域候補の設定は一例であり、限定するものではない。例えば、主に身体の胴体付近のみに焦点探索領域候補を設定しても良いし、もしくは顔・頭付近のみに焦点探索領域候補を設定しても良い。また、焦点探索領域候補の形状も、正方形でなく、人物の形状に合わせて垂直方向を長辺とする長方形等でも良い。
【００６９】
また、焦点探索領域候補の大きさおよび数を人物領域の大きさに合わせて変更してもよい。人物領域が小さい場合、焦点探索領域候補も比例して小さくなるため、コントラスト算出に使用する画素数が減少する。そのため、相対的にノイズの影響が大きくなり、コントラスト算出精度が低下する恐れがある。よって、人物領域が小さい場合は、焦点探索領域候補の数を減らして、大きさを大きくするような適応制御を行うことが望ましい。
【００７０】
また、複数の焦点探索領域候補を設ける際に、その大きさは均一である必要は無く、不均等であっても構わない。例えば、人の形状に合わせて、顔・頭付近を小さく、身体の胴体付近を大きくするなどしてもよい。そうすることで、焦点探索領域候補数の設定数を減らすことができ、焦点探索領域の選択に必要な処理量の削減が可能である。
【００７１】
また、図１２のフローチャートで示した焦点探索領域候補の選択方法は、一実施例を示すものであり、その選択方法について制限するものではない。例えば、撮影者が１つ以上の複数の候補から、焦点探索領域を直接選択する方法が考えられる。例えば、タッチパネル式のＬＣＤの場合、ＬＣＤを含めた表示装置に押された位置の入力装置も含むため、ＬＣＤ上の押した位置の情報を取得できる。その情報を使用して実現する。具体的には、ＬＣＤ上に１つ以上の複数の焦点探索領域候補を示す枠画像を表示する。撮影者はその焦点探索領域候補の中から、フォーカスを合わせたい焦点探索領域候補の枠画像に触れることで、所望する位置を指定することができる。プロセッサ４では、その位置情報から撮影者が所望する領域が分かるため、焦点探索領域を選択することができる。
【００７２】
なお、タッチパネルを使用した位置の選択方法は一例を示すものであり、その選択方法について制限するものではない。例えば、カメラに備え付けられた機能ボタン（図示無し）を使用して選択しても良い。
【００７３】
ここで、焦点探索領域候補を示す矩形領域の枠画像を、ＬＣＤに表示する撮像画像上にプロセッサから描画しても良い。例えば、１つ以上の複数の焦点探索領域候補から、選択された焦点探索領域と、選択されなかった焦点探索領域候補とを区別して、異なる色の枠でＬＣＤに表示することで、撮影者に焦点を合わせた場所を明示することが可能となる。
【００７４】
かかる構成によれば、人物検出結果を用いて焦点探索領域を設定する場合に、被写体の人物に焦点探索領域を安定的に合わせる事が可能となり、被写体の姿勢変動に伴うフォーカス制御の不安定さを抑制することができる。
【００７５】
＜変形例１＞
図１２に示すように焦点距離が最も近い候補を焦点探索領域に選択して焦点を合わせる方法では、被写体である人物との間に障害物がある場合に、その障害物に焦点を合わせてしまう。そこで、以下では、その障害物を除外して焦点を合わせるための焦点探索領域設定処理の変形例について説明する。
【００７６】
図１３は、本変形例に係る焦点探索領域設定処理を示すフローチャートである。
図１３に示す焦点探索領域設定処理は、図１２に示す処理手順と比較して、ステップＳ２０４の処理手順を、ステップＳ２０５〜ステップＳ２０７の処理手順に変更したものである。以下、図１２に示す処理手順と相異する処理手順について説明すると、ステップＳ２０５において、焦点探索領域候補のうち基準領域となるものの距離情報（基準距離Ｄｓ）を取得する。
【００７７】
この基準距離Ｄｓからある一定の範囲内の距離の距離情報のみを焦点検出領域候補として残し、基準距離から一定の距離を越えた距離情報については、焦点検出領域候補から除外して選択対象外とする（ステップＳ２０６）。そして、選択対象として残された焦点検出領域候補から距離情報の最も小さい焦点検出領域候補を選択する（ステップＳ２０７）。そうすることで、被写体よりも手前にある障害物に焦点位置が合う事がなく、より人物に焦点位置が合う可能性を高くすることが出来る。
【００７８】
ここで基準領域としては、焦点探索領域候補のうち人物の身体の中心付近に位置する焦点探索領域候補を用いることが好ましい。例えば、図１４に示すように、人物領域の中心点を含む焦点探索領域候補Ａを基準領域とする。このように焦点探索領域候補Ａを基準領域とした場合、図１５に示すように、基準距離Ｄｓの位置を中心に距離Ｔｈｚの範囲の距離情報のみを焦点探索領域の選択対象とし、範囲外の焦点探索領域は選択対象外とする。つまり、距離情報がＤｓ−Ｔｈｚ未満の焦点探索領域候補は選択対象外となり、図１５における焦点探索領域候補Ｂ（距離情報Ｄｂ＜Ｄｓ−Ｔｈｚ）は選択対象外となる。そのため、図１５のような場合においても、人物よりも手前にある障害物に焦点位置が合う事がなく、人物に焦点位置が合う可能性が高い。この時に閾値となる距離Ｔｈｚは、人物の大きさに合わせて変化させることで、障害物を除外する精度を高めることが可能である。具体的には、距離Ｔｈｚは人物の奥行き程度の大きさであればよく、人物領域が大きな時は距離Ｔｈｚを大きくし、人物が小さなときは距離Ｔｈｚを小さくすることが好ましい。
【００７９】
例えば、人物領域の大きさに応じた距離Ｔｈｚの算出には、一例として式９を用いることができる。
【００８０】
Ｔｈｚ  ＝  Ｈｈ×（Ｗｎｈ÷Ｈｎｈ）÷２  ・・・式９
図８に示す正規化された人物画像の高さに対する幅の比率は、Ｗｎｈ÷Ｈｎｈで得られるので、この比率に人物検出で検出された人物領域の高さＨｈを乗ずる式９を用いることで、人物領域に含まれる人物が横向きである場合を想定した奥行き程度の距離Ｔｈｚを算出することができる。
【００８１】
なお、上述のような基準領域の設定方法は一例を示すものであり、その設定方法を制限するものではない。例えば、全ての焦点探索領域候補の距離情報の平均を算出し、その平均距離を基準距離としても良い。また他の例として、直前に撮影した時の合焦位置の距離情報を、基準距離として用いても良い。
【００８２】
また、上述の閾値Ｔｈｚの設定方法は一例を示すものであり、その設定方法を制限するものではない。
【００８３】
＜変形例２＞
図５及び図７のステップＳ２０１において人物領域内に複数の焦点探索領域候補を設定する処理に関して、１つ以上の焦点探索領域候補の位置を、人物検出の検出結果から得られる向き情報を用いて補正する変形例について説明する。
【００８４】
本変形例では、図５及び図７の処理手順で、焦点探索領域候補のコントラスト情報を取得する前に、人物検出の検出情報（向き情報）を用いて焦点探索領域候補の位置を補正する。
【００８５】
人は進行方向に前傾姿勢になる場合が多い。特に、走っている場合などは顕著である。その場合、頭の位置が直立時と異なり、胴体に対して進行方向へ前に出る。そのため、図１１のような直立正面時を想定した焦点探索領域候補の位置では、頭に相当する位置の焦点探索領域候補がずれてしまい、背景が多く含まれる可能性がある。これは、焦点位置の不安定化に繋がるため、好ましくない。そこで、焦点探索領域候補の位置の補正例を図１６に示す。人物検出の検出情報に含まれる「向き傾き」の情報から人物が向いている方向が示される。たとえば、人物が右向きに向いている場合には、補正量ｄだけ人物の頭の位置の焦点探索領域候補を右水平方向にずらす。このように位置を補正することで、人物の頭の位置の焦点探索領域候補が人物の頭の画像に合う可能性を高くすることが出来る。
【００８６】
なお、補正量ｄは、人物の大きさに応じて変えたほうが良い。人物が大きいときは補正量も大きく、人物が小さいときは補正量も小さくすることで、相対的な補正量をそろえることが出来るため、安定化に繋がる。
【００８７】
また、補正量ｄの大きさは、人物の移動速度を用いて決定することが考えられる。例えば、動き検出回路５等を用いて人物の移動速度を算出し、移動速度が大きいときは、より前傾姿勢になると考え、補正量を大きくし、移動速度が小さいときは補正量を小さくする。この時、ゆっくり歩行している場合では、身体が前傾姿勢とまではならないと考えられるため、移動速度がある程度小さいときは、補正量を０にしても構わない。
【００８８】
なお、上記補正量の決定方法は一例を示すものであり、その決定方法について制限するものではない。
【００８９】
また、顔検出処理において向き情報を検出できる場合には、焦点探索領域候補の位置補正に用いる向き情報として、人物検出結果の向き情報ではなく、顔検出結果の向き情報を使用してもよい。
（第３の実施形態）
図１７は、第３の実施形態に係るフォーカス制御処理を示すフローチャートである。図１７において、図４と同じ処理手順については同じ符号を用い、説明を省略する。
【００９０】
図１７の処理は、図４に示す処理に加えて、被写界深度を深くするように絞り制御を行う処理を追加したものである。以下、図１７のフローチャートにおいて、顔領域は検出できず人物領域は検出できたとき（ステップＳ１０５：ＮｏかつステップＳ１０６：Ｙｅｓ）について説明する。
【００９１】
人物検出で検出された人物領域を焦点探索領域に設定してフォーカス制御を行い、合わせてステップＳ１１３で人物領域全体が被写界深度に含まれるように絞りの制御を行う。そうすることで、被写界深度の浅い撮影は出来ないものの、フォーカスが不安定になるといった撮影者に対する不快感を抑えることが出来る。
【００９２】
また、ステップＳ１０８の焦点探索領域設定処理として、図５もしくは図７に示す複数の焦点探索領域候補から焦点探索領域を選択する処理手順を採用する場合には、ステップＳ１１６では、選択された焦点探索領域が被写界深度内に含まれるように、距離情報を用いて絞りの制御を行う。このように絞り制御を行うことで、なるべく絞りを開放側に制御しつつ、被写体である人物に対するフォーカス制御を安定化させる事が可能となる。
【００９３】
かかる構成によれば、顔検出が未検出の際に、人物にフォーカスが合うように絞りの制御を行うことが可能となり、フォーカス制御の不安定さを抑制することができる。
【００９４】
なお、上記絞りの制御範囲は一例を示すものであり、その制御方法について制限するものではない。例えば、ステップＳ２０１で設定された全ての焦点探索領域の候補が被写界深度内に含まれるように、ステップＳ２０３で得られた全ての焦点探索領域候補の距離情報を用いて絞りの制御を行ってもよい。
（第４の実施形態）
本実施形態では、顔検出結果と人物検出結果との統合処理において、検出結果の再判定を行う構成について説明する。
【００９５】
図１８は、本実施形態に係る顔検出結果と人物検出結果との統合処理を示すフローチャートである。本実施形態では、顔検出結果と人物検出結果との統合処理で検出結果の再判定を行うため、通常の顔検出処理では判定に使用する閾値（評価値と比較する値）を、単独で顔検出処理する際と比較して小さく（より検出しやすく）しておく。検出結果が得られやすくなる反面、人の顔以外のところでの検出（誤検出）も増加するが、後述する再判定により誤検出結果を抑える。
【００９６】
図１８の統合処理フローでは、全検出結果のグループ化を完了すると、顔検出結果の再判定（ステップＳ５１４）を行う。図１９は、再判定処理の詳細を示すフローチャートである。再判定処理では先ず、人物検出結果の有無に応じて、検出結果の再判定に使用する閾値を設定する（ステップＳ６０１）。人物検出結果と同一のグループにある顔検出結果は、人物検出結果から推定される顔の位置で検出されているため、一般的に顔である確率が高いと言える。そこで、再判定に使用する閾値も通常の顔検出処理時と同じ値を使用する。
【００９７】
逆に、人物検出結果と同一のグループにない顔検出結果は単独の検出結果のため、前者の人物検出と同一グループの結果と比べて、顔である確率が低くなるといえる。そのため、再判定に使用する閾値を通常の顔検出処理時よりも高くして、誤検出を抑えるようにする。
【００９８】
ステップＳ６０１で設定された閾値に従って検出結果の再判定を行い、判定結果を元の判定結果に対して上書きする（ステップＳ６０２）。これらの処理を全グループに対して行うことで、誤検出を抑えつつ、顔検出の検出率向上を見込むことが出来る。
【００９９】
具体的に図２０の例で説明する。ここで、顔検出処理時に使用した低めの閾値を３、通常顔検出処理を単独で行う場合の閾値を５とする。図２０（ａ）の例は、図１８の統合処理フローに従い結果を統合すると、図２０（ｂ）の最下段の表のようになる。ここで、顔検出結果の再判定を行う。最初にグループ０の結果を見ると、人物検出結果も検出されているため、再判定の閾値は顔検出処理時に使用した３のままである。この時、評価値と閾値を比較すると顔検出有りと判定されるため、判定結果としては「顔検出有り（１）」が変わらず上書きされる。次に、グループ１の結果を見ると、人物検出結果も検出されているため、再判定の閾値はグループ０と同様に３のままである。よって、判定結果は変わらず、「顔検出有り（１）」となる。最後に、グループ２の結果を見ると、人物検出結果は検出されていない。そのため、再判定の閾値は単独で顔検出処理を行う場合の５となる。グループ２の顔検出結果の評価値は３のため、顔検出の再判定結果は「顔検出無し（０）」に結果が変わって上書きされる。以上で再判定は完了する。
【０１００】
なお、本実施形態では人物検出結果を使用して顔検出率の向上を図ったが、逆に顔検出結果を利用して人物検出率の向上を図ってもよい。また、顔検出結果の評価値および人物検出結果の評価値の両方を用いて、再判定しても良い。例えば、顔検出結果の評価値と人物検出結果の評価値を加算し、加算結果を閾値等と比較して再判定することが考えられる。
【０１０１】
以上の検出結果の統合処理は、撮像画像を取り込む都度実施することが望ましい。かかる構成によれば、顔検出結果と人物検出結果を組み合わせることで、顔検出の検出率を向上させることが出来る。顔検出の検出率の向上は、焦点探索領域の安定化に繋がり、フォーカス制御の不安定さの抑制につながる。
（第５の実施形態）
本実施形態では、顔検出結果と人物検出結果とを併用して撮像画像において人物画像の検出率を向上させる構成について説明する。
【０１０２】
本実施形態に係る画像判定処理では、先ず、画像判定処理に用いる顔検出結果と人物検出結果を得るために、顔検出回路２及び人物検出回路３により図２で示した顔検出と図３で示した人物検出とを一度実行しておく。この顔検出と人物検出とは並行して実行しても良いし、顔検出と人物検出とを逐次に実行しても良い。逐次に実行する場合の処理順序は問わない。また、この時の顔検出及び人物検出では、第４の実施形態と同様に、顔画像であるかの判定の検索条件となる顔検出パラメータ（評価値と比較する値）として、顔検出処理を単独で利用して焦点探索領域を決定する構成と比較して、より検出しやすい小さな値（Ｔｈｆ１）を用いて顔検出処理を行い、人物画像であるかの判定の検索条件となる人物検出パラメータとして、人物検出処理を単独で利用して焦点探索領域を決定する構成と比較して、より検出しやすい小さな値（Ｔｈｈ１）を用いて、人物検出処理を行う。こうして検索条件である閾値を下げた検索では、顔や人物の向きの変動を許容するロバスト性が向上し、多くの検出結果が得られる反面、顔や人物以外の領域での検出（誤検出）も増加し、精度の低い検出結果が得られる。
【０１０３】
このようにして得られた顔検出結果及び人物検出結果に対して、プロセッサ４が図１８に示した統合処理をプログラミング言語で記述したプログラムを実行することにより、本実施形態では、顔検出回路２、人物検出回路３、及びプロセッサ４を、撮像画像から人物の全身に相当する全身画像領域と同一人物の所定の部位に相当する部分画像領域との組みを検索する検索手段として機能させる。
【０１０４】
ここで、図１８に示した統合処理のステップＳ５０３では、第１の実施形態で説明したように、どの顔領域と人物領域とが同一人物に係るものであるかを比較判定できるように、人物検出結果の位置と大きさを、顔相当の位置と大きさに規定の情報で変換している。このとき、第１の実施形態では、図８に示す学習画像を変換に用いている。しかし、本実施形態では、ロバスト性が向上を意図し物検出パラメータとして、小さな値（閾値Ｔｈｈ１）を用いるため、人物検出結果として示される領域には、必ずしも図８のように直立した姿勢の人物像が含まれるとは限らない。
【０１０５】
例えば、人物検出の検出情報に含まれる「向き傾き」の情報から人物が向いている方向が示されるが、人物検出結果として示される領域には、「向き傾き」方向に移動中で前傾姿勢になっている人物像が含まれることがある。前傾姿勢になっている人物像では、例えば、人物が右向きに向いている場合には、図８に示す直立した姿勢の学習画像に比較して、図２１に示すように走っている人物では、顔中心位置（Ｘｎｆ、Ｙｎｆ）は、右水平方向に移動していると考えられる。その時に、水平移動量であるオフセット量ＯＦＳＴｘは、人物領域の幅が、図８に示される正規化された人物領域の幅Ｗｎｈの場合のオフセット量とする。つまり、人物領域の単位幅あたりの顔中心位置の水平移動量は、ＯＦＳＴｘ÷Ｗｎｈで算出される。
【０１０６】
そこで、本実施形態では、学習画像から想定される顔相当の位置を、人物検出の検出結果から得られる向き情報を用いて補正する。具体的には、ステップＳ５０３において算出する顔相当位置の中心座標（Ｘｆ，Ｙｆ）のうち、Ｙｆについては第１の実施形態と同様に算出するが、Ｘｆについては、図７に示すように検出された人物領域の人物中心座標を（Ｘｈ，Ｙｈ）として、「向き傾き」が右向きである場合に式１０でＸｆを算出し、「向き傾き」が左向きである場合に式１１でＸｆを算出する。
【０１０７】
Ｘｆ  ＝  Ｘｈ＋Ｗｈ×（ＯＦＳＴｘ÷Ｗｎｈ）  ・・・式１０
Ｘｆ  ＝  Ｘｈ−Ｗｈ×（ＯＦＳＴｘ÷Ｗｎｈ）  ・・・式１１
このように人物検出の検出情報に含まれる「向き傾き」に応じて、人物検出で検出された人物の顔相当位置の中心座標（Ｘｆ，Ｙｆ）を算出することで、直立姿勢ではない場合にも、顔領域と人物領域とが同一人物に係るものであるかを精度よく比較判定することができる。
【０１０８】
尚、オフセット量ＯＦＳＴｘの大きさは、人物の移動速度を用いて決定することが考えられる。例えば、動き検出回路５等を用いて人物の移動速度を算出し、移動速度が大きいときは、より前傾姿勢になると考え、オフセット量ＯＦＳＴｘを大きくし、移動速度が小さいときはオフセット量ＯＦＳＴｘを小さくする。この時、ゆっくり歩行している場合では、身体が前傾姿勢とまではならないと考えられるため、移動速度がある程度小さいときは、オフセット量ＯＦＳＴｘを０にしても構わない。
【０１０９】
以上のようにステップＳ５０３の処理が実行された後、ステップＳ５０６〜ステップＳ５０９の処理を実行することで判定手段として機能するプロセッサ４により、顔検出回路２と人物検出回路３とで同一人物に係る全身画像領域と顔画像領域との組みが検出されているか否かが判定され、閾値Ｔｈｆ１及びＴｈｈ1を用いて得られた顔検出結果と人物検出結果とのグループ化が完了する。その後は、第４の実施形態と同様に、図１９に示す再判定処理をプロセッサ４が実行する。
【０１１０】
図１９に示すステップＳ６０１では、顔検出回路２と人物検出回路３とで、同一人物に係る全身画像領域と顔画像領域との組みが検出されている否かによって、再判定に用いる顔検出パラメータに異なる値が設定される。但し、第４の実施形態では、ステップＳ６０１において、人物検出結果と同一のグループにない顔検出結果については、顔検出結果の再判定に用いる顔検出パラメータを統合前の初回判定より高い値に変更しているが、人物検出結果と同一のグループにある顔検出結果については、再判定に用いる閾値を変更していない。
【０１１１】
しかし、本実施形態では、ステップＳ６０１において、人物検出結果と同一のグループにある顔検出結果についても、初回の顔検出処理で用いた閾値（Ｔｈｆ１）よりも高い値（Ｔｈｆ２）を、顔検出パラメータに設定する。これにより、統合前の初回判定で低めの閾値Ｔｈ１を用いたことで、ロバスト性の向上のトレードオフとして生じた誤検出を排除することができる。また、人物検出結果と同一のグループにない顔検出結果については、人物検出と同一グループの結果と比べて、顔である確率が更に低くなるため、Ｔｈｆ２よりも更に高い値（Ｔｈｆ３）を顔検出パラメータに設定する。
【０１１２】
このような本実施形態における顔検出パラメータにより、どのような再判定結果が得られるかを、具体的に図２１の例で説明する。ここで、初回の顔検出処理時に使用した顔検出パラメータＴｈｆ１として「３」、統合後に人物検出結果と同一のグループにある顔検出結果の再判定に用いる顔検出パラメータＴｈｆ２として「５」を用いる。また、統合後に人物検出結果と同一のグループにない顔検出結果の再判定に用いる顔検出パラメータＴｈｆ３として「７」を用いる。図２１（ａ）の例から顔検出パラメータ「３」を用いて得られる顔検出結果、及び人物検出結果を統合すると、図２１（ｂ）の最下段の表のようになる。ここで、顔検出結果の再判定を行う。最初にグループ０の統合結果を見ると、人物検出結果も検出されているため、顔画像の再判定の顔検出パラメータは「５」を使用する。この時、評価値と顔検出パラメータとを比較すると顔検出有りと判定されるため、判定結果としては変わらず「顔検出有り（１）」となる。次に、グループ１の統合結果を見ると、人物検出結果も検出されているため、再判定の顔検出パラメータはグループ０と同様に「５」を使用する。ここでグループ１の顔検出結果の評価値は４のため、評価値と顔検出パラメータとの比較により顔検出なしと判定され、その結果、図２１（ｂ）の最下段の表において、判定結果は「顔検出なし（０）」に上書きされる。最後に、グループ２の結果を見ると、人物検出結果は検出されていない。そのため、再判定の顔検出パラメータとして「７」を用いる。グループ２の顔検出結果の評価値は３のため、顔検出の再判定結果は「顔検出無し（０）」に結果が変わって上書きされる。
【０１１３】
以上のように顔検出結果が再判定された後、本実施形態では、再判定により「顔検出有り（１）」とされたグループ０について、図２３のように、顔画像領域の「位置」および「大きさ」に対応する枠画像を、ＬＣＤ出力回路８がＬＣＤ１６に表示された撮像画像上に重畳表示する。
【０１１４】
以上が本実施形態に係る画像判定処理の詳細である。このような画像判定処理は、撮像画像を取り込む都度実施することが望ましい。かかる構成によれば、顔検出結果と人物検出結果を組み合わせることで誤検出を抑えつつ、ロバスト性を高め顔画像の検出率向上を見込むことが出来る。検出率の向上は、焦点探索領域の安定化に繋がり、フォーカス制御の不安定さの抑制につながる。
【０１１５】
なお、本実施形態では誤検出を抑えるために顔検出結果の評価値を再判定する構成としたが、誤検出を抑えるために人物検出結果の評価値を再判定する構成としてもよい。このような構成では、人物検出結果の評価値の再判定に用いる人物検出パラメータとして、初回の人物検出に用いたＴｈｈ１よりも値が高く、精度の高い人物検出を可能とするＴｈｈ２を用いる。また、顔検出結果の評価値および人物検出結果の評価値の両方を再判定する構成としても良い。
【０１１６】
更に、本実施形態では、統合処理の後に顔検出パラメータを変更し、顔検出結果の評価値に対して再判定のみを行っているが、統合処理の後に実行するのは既存の評価値に対する再判定のみではなく、新たな顔検出パラメータを用いて顔検出処理を再度実行する構成としてもよい。
（その他の変形例）
尚、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１１７】
（１）本発明は、各実施形態で説明したフローチャートの処理手順が開示する撮像装置の制御方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１１８】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
【０１１９】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
【０１２０】
また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１２１】
（２）本発明は、上記各実施の形態に記載の再生装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、図１に示す集積回路５０内の機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
【０１２２】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１２３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field  Programmable  Gate  Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１２４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
【０１２５】
（４）本発明に係る撮像装置は、デジタルスチルカメラに限定されず、デジタルビデオカメラなどであっても良い。
【０１２６】
（５）上記の各実施形態では、複数の候補から１つを選択して焦点探索領域として用いる場合について説明したが、本発明は、１つ以上、例えば２つの焦点探索領域候補を焦点探索領域に選択し、これら２つの領域のコントラスト値を用いて合焦位置を探索する形態としても実施可能である。
【０１２７】
（６）上記実施形態、及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１２８】
本発明にかかる撮像装置は、人物の撮影に対して安定的なフォーカス制御を実現することができ、デジタルスチルカメラ等として有用である。また、ビデオカメラや監視カメラ等の用途にも応用できる。
【符号の説明】
【０１２９】
１      撮像装置
２      顔検出回路
３      人物検出回路
４      プロセッサ
５      動き検出回路
６      音声処理部
７      画像符号化回路
８      ＬＣＤ出力回路
９      画像入力回路
１０    フォーカス駆動部
１１    絞り駆動部
１２    内部ＩＯバス
１３    メモリバス
１４    フラッシュメモリ
１５    画像メモリ
１６    ＬＣＤ
１７    Ａ／Ｄ変換回路
１８    撮像阻止
１９    絞り
２０    フォーカスレンズ
２１    角度センサ
５０    集積回路
【図１】
2012144195.tif 000003
【図２】
2012144195.tif 000004
【図３】
2012144195.tif 000005
【図４】
2012144195.tif 000006
【図５】
2012144195.tif 000007
【図６】
2012144195.tif 000008
【図７】
2012144195.tif 000009
【図８】
2012144195.tif 000010
【図９】
2012144195.tif 000011
【図１０】
2012144195.tif 000012
【図１１】
2012144195.tif 000013
【図１２】
2012144195.tif 000014
【図１３】
2012144195.tif 000015
【図１４】
2012144195.tif 000016
【図１５】
2012144195.tif 000017
【図１６】
2012144195.tif 000018
【図１７】
2012144195.tif 000019
【図１８】
2012144195.tif 000020
【図１９】
2012144195.tif 000021
【図２０】
2012144195.tif 000022
【図２１】
2012144195.tif 000023
【図２２】
2012144195.tif 000024
【図２３】
2012144195.tif 000025
【手続補正書】
【提出日】平成24年11月30日(2012.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像画像において人物の画像の検索を行う画像判定装置であって、
所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索手段と、
前記所定の検索条件による検索に成功したか否かを判定する判定手段とを備え、
前記検索手段による所定の検索条件での検索は、撮影画像をウィンドゥを用いて複数の検索領域に分割し、各検索領域について評価値を算出して、算出された評価値を、閾値と比較する処理を含み、
前記判定手段による検索が成功したかどうかの判定は、各検索領域についての比較結果に従ってなされ、
前記検索手段は、前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について評価値に対する閾値を変えて被写体画像及び部分画像がどの検索領域に含まれるかの検索を再試行する
ことを特徴とする画像判定装置。
【請求項２】
画像判定装置は更に、
撮像光学系と、
前記撮像光学系により形成された光学像を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像をディスプレイに表示する画像表示手段と、
前記再判定により検索対象の画像を含むと判定された領域を示す画像を、前記ディスプレイに表示された撮像画像上に重畳表示する判定結果表示手段とを備える
ことを特徴とする請求項１に記載の画像判定装置。
【請求項３】
撮像画像において人物の画像の検索を行う撮像装置の制御方法であって、
所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索ステップと、
前記所定の検索条件による検索に成功したか否かを判定する判定ステップとを含み、
前記検索ステップによる所定の検索条件での検索は、撮影画像をウィンドゥを用いて複数の検索領域に分割し、各検索領域について評価値を算出して、算出された評価値を、閾値と比較する処理を含み、
前記判定ステップによる検索が成功したかどうかの判定は、各検索領域についての比較結果に従ってなされ、
前記検索ステップは、前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について評価値に対する閾値を変えて被写体画像及び部分画像がどの検索領域に含まれるかの検索を再試行する
ことを特徴とする撮像装置の制御方法。
【請求項４】
撮像画像において人物の画像の検索を行う撮像装置の集積回路であって、
所定の検索条件に従い、ある人物の全身に相当する被写体画像を含む領域と、同一人物の所定の部位に相当する部分画像を含む領域との組みを検索する検索手段と、
前記所定の検索条件による検索に成功したか否かを判定する判定手段とを備え、
前記検索手段による所定の検索条件での検索は、撮影画像をウィンドゥを用いて複数の検索領域に分割し、各検索領域について評価値を算出して、算出された評価値を、閾値と比較する処理を含み、
前記判定手段による検索が成功したかどうかの判定は、各検索領域についての比較結果に従ってなされ、
前記検索手段は、前記所定の条件による検索に成功した場合、前記検索にて検出された同一人物に係る被写体画像を含む領域及び部分画像を含む領域のうち少なくとも一方について評価値に対する閾値を変えて被写体画像及び部分画像がどの検索領域に含まれるかの検索を再試行する
ことを特徴とする集積回路。
【請求項５】
フォーカスレンズを含む撮像光学系と、
前記撮像光学系により形成された光学像を撮像する撮像手段と、
撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索手段と、
撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索手段と、
前記第１検索手段により検出された顔画像と、前記第２検索手段により検出された被写体画像とが、同一の人物に係るものであるかを判定する判定手段と、
焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御手段とを備え、
前記第１検索手段及び第２検索手段による検出処理は、撮影画像をウィンドゥを用いて複数の第１の検索領域及び複数の第２の検索領域に分割し、分割で得られた複数の第１の検索領域及び複数の第２の検索領域について評価値を算出して、算出された評価値を、閾値と比較する処理を含み、
前記第１検索手段及び前記第２検索手段の少なくとも一方は、前記判定手段において同一の人物に係るものであると判定された画像について評価値に対する閾値を変えて被写体の所定の部位に相当する部分画像及び被写体画像がどの検索領域に含まれるかの検出を再試行し、
フォーカス制御手段は、前記第１検索手段により前記部分画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストをフォーカス制御に用いる
ことを特徴とする撮像装置。
【請求項６】
前記部分画像とは、人物の顔画像であり、
前記被写体画像とは、人物像及び人物の上半身像の何れかである
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２検索手段は、第２の検索領域で検出された人物像の向きを判定し、当該人物像の向きに応じて、前記第２の検索領域内において焦点探索領域の候補を設定する位置を決定する
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第２検索手段は、第２の検索領域で検出された人物像の大きさに応じて、焦点探索領域の候補の大きさを決定する
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記第１検索手段により前記顔画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合の焦点探索領域は、前記複数の焦点探索領域の候補のうち焦点距離が最も近くなるものである
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記第１検索手段により前記顔画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合の焦点探索領域は、前記複数の焦点探索領域の候補の１つである基準候補から焦点距離が所定の距離内に含まれる焦点探索領域の候補のうち、焦点距離が最も近くなるものである
ことを特徴とする請求項６に記載の撮像装置。
【請求項１１】
前記基準候補は、前記複数の焦点探索領域の候補のうち、前記第２の検索領域の中心点を含むものである
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像装置は更に、前記複数の焦点探索領域の候補から少なくとも１の候補を選択するユーザ操作を受け付ける受付手段を備え、
前記第１検索手段により前記顔画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合のフォーカス制御では、前記ユーザ操作により選択された候補を焦点探索領域とする
ことを特徴とする請求項６に記載の撮像装置。
【請求項１３】
撮像装置は更に、
前記撮像手段で撮像された撮像画像をディスプレイに表示する画像表示手段と、
記フォーカス制御においてコントラストが用いられた焦点探索領域を示す画像を、前記ディスプレイに表示された撮像画像上に重畳表示する焦点探索領域表示手段とを備える
ことを特徴とする請求項６に記載の撮像装置。
【請求項１４】
撮像装置は更に、前記撮像光学系の絞りを制御する絞り制御手段を備え、
前記第１検索手段で前記顔画像が検出されず且つ前記第２検索手段で前記被写体画像が検出された場合、前記絞り制御手段は、全ての前記焦点探索領域の候補の焦点距離が被写界深度内に収まるように、前記絞りの絞り量を決定することを特徴とする請求項６に記載の撮像装置。
【請求項１５】
フォーカスレンズを含む撮像光学系と前記撮像光学系により形成された光学像を撮像する撮像手段とを有する撮像装置の合焦制御方法であって、
撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索ステップと、
撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索ステップと、
前記第１検索ステップにより検出された顔画像と、前記第２検索ステップにより検出された被写体画像とが、同一の人物に係るものであるかを判定する判定ステップと、
前記第１検索ステップで前記部分画像が検出された場合に、第１検索ステップで設定された焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行い、前記第１検索ステップで前記部分画像が検出されず且つ前記第２検索ステップで前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御ステップとを含み、
前記第１検索ステップ及び第２検索ステップによる検出処理は、撮影画像をウィンドゥを用いて複数の第１の検索領域及び複数の第２の検索領域に分割し、分割で得られた複数の第１の検索領域及び複数の第２の検索領域について評価値を算出して、算出された評価値を、閾値と比較する処理を含み、
前記第１検索ステップ及び前記第２検索ステップの少なくとも一方は、前記判定ステップにおいて同一の人物に係るものであると判定された画像について評価値に対する閾値を変えて被写体の所定の部位に相当する部分画像及び被写体画像がどの検索領域に含まれるかの検出を再試行する
ことを特徴とする合焦制御方法。
【請求項１６】
フォーカスレンズを含む撮像光学系と前記撮像光学系により形成された光学像を撮像する撮像手段とを有する撮像装置の合焦制御に用いる集積回路であって、
撮像手段により撮像された撮像画像において第１の検索領域を設け、当該第１の検索領域に対する所定部位の検出処理により被写体の所定の部位に相当する部分画像が検出された場合に、前記第１の検索領域を焦点探索領域に設定する第１検索手段と、
撮像手段により撮像された撮像画像において第２の検索領域を設け、当該第２の検索領域に対する被写体検出処理により被写体の全体に相当する被写体画像が検出された場合に、前記第２の検索領域内に焦点探索領域の候補を複数設定する第２検索手段と、
焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御手段とを備え、
前記第１検索手段により検出された顔画像と、前記第２検索手段により検出された被写体画像とが、同一の人物に係るものであるかを判定する判定手段と、
焦点探索領域におけるコントラストを用いて、コントラスト方式にて前記撮像光学系のフォーカス制御を行うフォーカス制御手段とを備え、
前記第１検索手段及び第２検索手段による検出処理は、撮影画像をウィンドゥを用いて複数の第１の検索領域及び複数の第２の検索領域に分割し、分割で得られた複数の第１の検索領域及び複数の第２の検索領域について評価値を算出して、算出された評価値を、閾値と比較する処理を含み、
前記第１検索手段及び前記第２検索手段の少なくとも一方は、前記判定手段において同一の人物に係るものであると判定された画像について評価値に対する閾値を変えて被写体の所定の部位に相当する部分画像及び被写体画像がどの検索領域に含まれるかの検出を再試行し、
フォーカス制御手段は、前記第１検索手段により前記部分画像が検出されず且つ前記第２検索手段により前記被写体画像が検出された場合に、前記複数の焦点探索領域の候補のうち被写体画像の何れかの部位が含まれる１つ以上を焦点探索領域とし、当該焦点探索領域におけるコントラストをフォーカス制御に用いる
ことを特徴とする集積回路。
【国際調査報告】
2012144195.tif 000026
2012144195.tif 000027
2012144195.tif 000028
2012144195.tif 000029