(57)【要約】【課題】特定物を検出してその特定物に焦点を合わせる撮像装置において、特定物を含む写真等を被写体とする場合の誤動作を防ぐ。【解決手段】特定物として人物の顔を検出し、その大きさに対応した距離に合焦距離を移動してその特定物に焦点を合わせる撮像画像において、検出した人物の顔の上下左右に検知領域を設定する。焦点合わせに用いる評価値の合焦距離を変化させたときの変化の仕方等の特性を、特定物を含む領域と検知領域と比較する。その特性が所定の個数、例えば２個以上の検知領域で特定物を含む領域と類似しない場合、実際の人物が背景の前に位置する被写体として判断し、２個未満の検知領域で特定物を含む領域と類似する場合、人物が背景の前に位置する写真や絵が被写体であると判断する。【選択図】図８
2009021893.tif 000002
【特許請求の範囲】
【請求項１】
合焦距離が変化可能であるレンズ部と、
前記レンズ部を通じて被写体が含まれる撮像画像を取得する撮像部と、
前記撮像画像から焦点合わせの評価値を算出する評価値算出部と、
を備え、
前記レンズ部において変化可能な範囲の合焦距離で取得した前記撮像画像の前記評価値が極大値となる位置に前記レンズ部の合焦位置を設定する撮像装置において、
前記撮像画像中から前記被写体の特定部分を検出する特定部分検出部を備え、
前記特定部分検出部で検出された前記特定部分の周囲に複数の検知領域を設定し、
前記被写体の特定部分を検出したとき、前記特定部分検出部における評価値の特性と、前記検知領域における評価値の特性とを比較し、前記特定部分の特性と類似した前記検知領域の数が所定の数以下であると、前記特定部分の大きさに対応した合焦距離に前記レンズ部を移動させてから合焦距離の設定動作を継続することを特徴とする撮像装置。
【請求項２】
前記特定部分の大きさから算出した合焦距離に前記レンズ部を合わせた後、前記特定部分における前記評価値に基づいて前記合焦距離の設定動作を継続することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像画像を複数の分割領域に分割する領域分割部を備え、
前記検知領域が、前期分割領域からなるとともに前記特定部分を含む前記分割領域と同じ形状であり、前記特定部分の上下左右の４箇所に設定されていることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記特定部分が、人物の顔であることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記合焦距離の設定動作において、前記レンズ部の合焦距離を変化させる方向が、無限遠側から最近接距離側に向けてであることを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
所定の合焦距離で前記レンズ部を通じて被写体が含まれる撮像画像を取得する第１のステップと、
前記撮像画像から焦点合わせの評価値を算出する第２のステップと、
前記撮像画像から被写体の特定部分を検出する第３のステップと、
前記特定部分の前記評価値の特性と、前記特定部分の周囲に設定した複数の検知領域の前記評価値の特性とを比較する第４のステップと、
前記第４のステップで比較した前記評価値の特性が、前記特定部分と類似した前記検知領域の個数を算出する第５のステップと、
前記第５のステップで算出した、前記評価値の特性が前記特定部分と類似した前記検知領域の個数が所定の数以下である場合に、前記第３のステップで検出した前記特定部分の大きさに対応した合焦距離に前記レンズ部を合わせる第６のステップと、
を備えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動的に焦点合わせが可能な撮像装置及び撮影方法に関するもので、特に対象とする被写体が特定の部位を有する場合に、その被写体に正確に焦点合わせが可能な撮像装置に関する。
【背景技術】
【０００２】
現在、デジタルカメラやデジタルビデオカメラのようなデジタル方式の撮像装置が広く普及している。このような撮像装置では、レンズの焦点は自動制御で合わせるオートフォーカス（ＡＦ；ａｕｔｏ  ｆｏｃｕｓ）が一般的である。
【０００３】
焦点合わせの制御方法としては、最近点から無限遠又はその逆の方向に合焦距離を変化させながら画像内の輝度信号の高周波成分に基づくＡＦ評価値を検出し、そのＡＦ評価値が極大値を取る位置に焦点を合わせることによって行う方法がある。
【０００４】
図１４に示すような、背景の前に実際の人物が配置されたような構図の画像を撮像する場合、ＡＦ評価値とレンズの合焦距離との関係は図１５のグラフのようになる。図１５のグラフは、横軸が合焦距離（レンズ位置）、縦軸がＡＦ評価値であり、横軸は左端を無限遠、右端を最近接距離としている。図１５のグラフでは、２箇所に極大値が現れている。無限遠側の極大値は背景の山、最近接側の極大値は手前の人物のものであり、この場合は撮像装置に近い方の極大値を選択する。
【０００５】
ＡＦ機能を有する撮像装置では、使用者が撮影したいときにすぐ焦点のあった画像を撮像できるように、焦点合わせに必要な時間を短縮し、又、合焦の精度を向上させることが必要である。そのため、特許文献１では、上述のような焦点合わせの制御方法を有するデジタルカメラにおいて、画像内の人物の顔を検出し、画像中でのその顔の大きさにに基づいて人物までのおよその距離を算出して、その距離から最近接方向へ合焦位置を移動させて合焦制御を開始する方法が開示されている。例えば図１４の画像から検出した人物の顔の大きさに基づいて人物までの距離をデジタルカメラから１．６ｍ付近と推測し、ＡＦ評価値の検出に際して、その距離（図１５中に示す「開始位置」）から合焦距離を変化させる。この方法によると、無限遠から合焦距離を変化させる場合と比べて人物に焦点を合わせるのに必要な時間を短くすることができる。
【特許文献１】特開２００６−２０１２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されたデジタルカメラでは、人物の顔を検出する際に、実際の人物であるか、テレビの画面や写真、絵画等の画面の中の人物であるかを区別しない。そのため、被写体として人物を含む写真が近くにあり、その人物が小さい場合には、人物が遠方にあるものと誤って推測していまい、逆に焦点合わせに必要な時間が長くなってしまうこととなる。
【０００７】
例えば図１６に示すような、壁面上に掛けられた人物を含む写真を被写体とする場合、ＡＦ評価値と合焦距離との関係は図１７のグラフのようになる。縦軸、横軸については図１５と同様である。図１７のグラフでは、被写体である写真に相当する位置のみの１箇所に極大値が現れている。特許文献１のデジタルカメラでは、画像内でのこの写真に含まれる人物の顔の大きさに基づいて人物までのおよその距離を算出すると、実際の写真までの距離（例えば１．６ｍ）よりもはるかに遠い位置（例えば２０ｍ、図１７の「開始位置」）に、誤って推測してしまう。
【０００８】
そこで、本発明は、画面上にある特定部分を有する被写体を撮影しようしているのか否かを判定できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置は、合焦距離が変化可能であるレンズ部と、前記レンズ部を通じて被写体が含まれる撮像画像を取得する撮像部と、前記撮像画像から焦点合わせの評価値を算出する評価値算出部と、を備え、前記レンズ部において変化可能な範囲の合焦距離で取得した前記撮像画像の前記評価値が極大値となる位置に前記レンズ部の合焦位置を設定する撮像装置において、前記撮像画像中から前記被写体の特定部分を検出する特定部分検出部を備え、前記特定部分検出部で検出された前記特定部分の周囲に複数の検知領域を設定し、前記被写体の特定部分を検出したとき、前記特定部分検出部における評価値の特性と、前記検知領域における評価値の特性とを比較し、前記特定部分の特性と類似した前記検知領域の数が所定の数以下である、前記特定部分の大きさに対応した合焦距離に前記レンズ部を移動させてから合焦距離の設定動作を継続することを特徴とする。評価値の特性としては、評価値の値や合焦距離の変化に伴う評価値の変化の方向（符号）を用いることができる。
【００１０】
又、前記特定部分の大きさから算出した合焦距離に前記レンズ部を合わせた後、前記特定部分における前記評価値に基づいて前記合焦距離の設定動作を継続するものとしても構わない。
【００１１】
又、前記撮像画像を複数の分割領域に分割する領域分割部を備え、前記検知領域が、前期分割領域からなるとともに前記特定部分を含む前記分割領域と同じ形状であり、前記特定部分の上下左右の４箇所に設定されているものとしても構わない。
【００１２】
又、前記特定部分が、人物の顔であるものとしても構わない。
【００１３】
又、前記合焦距離の設定動作において、前記レンズ部の合焦距離を変化させる方向が、無限遠側から最近接距離側に向けてであるものとしても構わない。
【００１４】
又、本発明の階調補正方法は、所定の合焦距離で前記レンズ部を通じて被写体が含まれる撮像画像を取得する第１のステップと、前記撮像画像から焦点合わせの評価値を算出する第２のステップと、前記撮像画像から被写体の特定部分を検出する第３のステップと、前記特定部分の前記評価値の特性と、前記特定部分の周囲に設定した複数の検知領域の前記評価値の特性とを比較する第４のステップと、前記第４のステップで比較した前記評価値の特性が、前記特定部分と類似した前記検知領域の個数を算出する第５のステップと、前記第５のステップで算出した、前記評価値の特性が前記特定部分と類似した前記検知領域の個数が所定の数以下である場合に、前記第３のステップで検出した前記特定部分の大きさに対応した合焦距離に前記レンズ部を合わせる第６のステップと、を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によると、例えば人物の顔を特定部分として検出し、その顔の大きさに基づいて焦点を合わせる撮像装置において、その人物の顔の評価値を顔の周囲の検知領域の評価値と比較して写真か実際の人物かを判断する。そのため、被写体として、人物を含む写真が近くにあり、その人物が小さい場合に、実際の人物が遠方にあるものと誤って推測して焦点合わせ動作が遅くなることを防ぐことができる。
【発明を実施するための最良の形態】
【００１６】
〈第１の実施形態〉
本発明の第１の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。
【００１７】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。
【００１８】
図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を電気信号に変換するマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、ぼかし処理及び階調補正を含む各種画像処理を施す画像処理部５と、画像処理部５から入力された画像信号から焦点合わせ制御に用いられるＡＦ評価値を算出する評価値算出部２３と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。レンズ部２は、画像処理部５で検出した画像信号に応じてＣＰＵ１７が、モータを駆動して焦点、絞りの制御を行うものである。
【００１９】
（撮像装置の基本動作  静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。プレビューモードとは、ディスプレイ部１２に撮影対象となる画像を表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、人物撮影に適したモードや移動物の撮影に適したモード、逆光での撮影に適したモード等、撮像装置の機能に応じたモードが選択される。撮影モードが入力されない場合はプレビューモードが選択されたものとする（ＳＴＥＰ２０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。
【００２０】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。ＡＦの最適化処理については後述する。
【００２１】
その後、シャッターボタンが全押しされると（ＳＴＥＰ２０９）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２１０）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２１１）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部５において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２１２）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。
【００２２】
（撮像装置の基本動作  動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１９によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００２３】
そして、画像処理部５で画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部８に与えて、外部メモリ２２に記録させる。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２４】
このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００２５】
又、外部メモリ２２に記録された動画を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。
【００２６】
画像を再生することが指示された場合は、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。
【００２７】
（ＡＦの最適化処理）
次に、ＡＦの最適化処理について説明する。図３は撮影画像エリアを複数の領域に分割した画像の例、図４は本実施形態のＡＦの最適化処理のフローチャートである。
【００２８】
図４のフローチャートにおいて、最適化処理を開始すると、まず、レンズ部２の合焦距離を無限遠に設定し、ＣＰＵ１７に設けられた距離情報記憶部１７ａに記憶された距離情報及びＡＦ評価値を消去し、評価値算出部２３を初期化するなど、焦点合わせ及び距離検出に関する部分を初期化する（ＳＴＥＰ４０１）。続いてその合焦距離（この場合は初期化直後なので無限遠）での画像を読み込み、その画像を複数の領域、例えば図３に示すように縦１６列、横１６行の２５６個の領域に分割し、その分割領域全てのＡＦ評価値を取得する（ＳＴＥＰ４０２）。ここでＡＦ評価値には、輝度信号の高周波成分の強度を利用することができる。
【００２９】
次に、ＳＴＥＰ４０１で読み込んだ画像中に、人物の顔があるかどうかを検出する（ＳＴＥＰ４０３）。人物の顔検出については後述する。顔を検出しなかった場合（ＳＴＥＰ４０３でＮｏ）、評価値算出部２３において今回の合焦距離の画像の分割領域全てのＡＦ評価値の合計を前回の合焦距離のものと比較する（ＳＴＥＰ４１１）。今回の画像の合焦距離が無限遠の場合は、最初の画像であることから比較の対象となる前回の合焦距離の画像がないため、ＳＴＥＰ４１１は省略し、合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。分割領域全てのＡＦ評価値の合計を比較した結果が減少していた場合（ＳＴＥＰ４１２でＮｏ）、前回の合焦距離で、ＡＦ評価値が極大値であり、被写体に焦点が合うものとしてレンズ部２の合焦距離を前回の合焦距離に戻して（ＳＴＥＰ４１４）、ＡＦの最適化処理を終了する。ＡＦ評価値を比較した結果が増加していた場合（ＳＴＥＰ４１２でＹｅｓ）、次もＡＦ評価値が増加すると予測される方向、即ちレンズ部の合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。その後、ＣＰＵ１７がＴＧ１６から垂直同期（以下Ｖ  ｓｙｎｃ）信号を受けるとＳＴＥＰ４０２に戻り、所定の距離短い合焦距離での画像を読み込み、その分割領域でのＡＦ評価値を取得する（ＳＴＥＰ４０２）。
【００３０】
（顔検出処理）
ここで、この撮像装置の顔検出処理について説明する。画像処理部５は顔検出装置４０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置４０の構成及び動作について以下に説明する。
【００３１】
図５は、顔検出装置４０の構成を示すブロック図である。顔検出装置４０は、ＡＦＥ３によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段４２、入力画像および縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段４５、および顔判定手段４５の検出結果を出力する検出結果出力手段４６を備えている。検出結果出力手段４６は、顔が検出された場合には、検出された顔の入力画像を基準とする大きさと位置及び顔の大きさから推定したその顔までの距離を出力する。
【００３２】
又、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００３３】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによ
って、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００３４】
図６は、縮小画像生成手段４２によって得られる階層画像の一例を示している。この例では、縮小率を０．８に設定した場合に、生成される複数の階層画像を示している。図６において、５０は入力画像を、５１〜５５は縮小画像を示している。６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像５０の他に、複数の縮小画像５１〜５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
【００３５】
図７は顔検出処理を説明するための図である。顔判定手段４５による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像５０に対して行なわれる顔検出処理についてのみ説明する。図７には、入力画像５０と、入力画像内に設定された判定領域６１とを示している。
【００３６】
各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。そして、顔が検出されたとき、いずれの階層画像が用いられていたかによって、入力画像を基準とする顔の大きさ及び顔までの距離を推定することができる。このようにして、検出された顔の位置、大きさ及びその顔を有する人物までの距離は検出結果出力手段４６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。
【００３７】
ＳＴＥＰ４０３で人物の顔を検出した場合（ＳＴＥＰ４０３でＹｅｓ）、前回の合焦距離での画像において顔を検出したかどうかをチェックする（ＳＴＥＰ４０４）。前回の合焦距離での画像において顔を検出しなかった場合（ＳＴＥＰ４０４でＮｏ）、顔領域を設定し、さらにその顔領域の上、下、右、左にその顔領域と同じ大きさの検知領域を設定する。そして、顔領域及び検知領域のＡＦ評価値を取得する。前回の合焦距離での画像における各領域でのＡＦ評価値とを比較する。前回と今回のものとの変化の方向（正か、負か、変化なしか）が、顔領域と異なる検知領域の個数を計数する（ＳＴＥＰ４０６）。本実施形態では、この変化の方向が顔領域と異なる検知領域の個数を信頼度Ｒと呼ぶ。
【００３８】
信頼度Ｒが２未満、即ち０又は１の場合（ＳＴＥＰ４０７でＮｏ）、上述のＳＴＥＰ４１１に移行する。この場合、ＡＦ評価値の変化の方向が顔領域と同じ検知領域が３個又は４個あるということであり、顔と背景とが同じ距離にあるもの、即ち被写体が人物を含むテレビの画面や写真、絵画等であるとして通常の焦点合わせ動作を行うものとする。このような被写体としては、例えば図１６に示す壁面上に掛けられた人物を含む写真が挙げられる。図８に、図１６の画像を縦１６列、横１６行の２５６個の領域に区分してその領域に設定した顔領域と４個の検知領域の、ＡＦ評価値と合焦距離との関係を図９に示す。図９では、顔領域のＡＦ評価値と、検知領域のＡＦ評価値は、大きさは異なるものの、極大値の合焦距離はほぼ同じである。
【００３９】
信頼度Ｒが２以上、即ち２、３又は４の場合（ＳＴＥＰ４０７でＹｅｓ）、ディスプレイ部１２上の顔領域に顔検出枠を表示する（ＳＴＥＰ４０８）。顔検出枠を表示することにより、焦点合わせの対象としている被写体を使用者に対して明確なものとすることができる。信頼度Ｒが２以上の場合、ＡＦ評価値の変化の方向が顔領域と異なる検知領域が２〜４個あるということとであり、顔と背景とが異なる距離にあるもの、即ち被写体が実際の人物とその人物から離れた背景とであるものとして焦点合わせ動作を行うものとする。そのため、顔領域の大きさに基づいて人物までの距離を推定し、その距離よりも所定の割合だけ遠い位置へレンズ部２の合焦距離を移動させる（ＳＴＥＰ４０９）。顔領域の大きさに基づいて人物までの距離を推定することは、上述のように顔が検出されたときに用いられていた階層画像の大きさから行うことができる。
【００４０】
このような被写体としては、例えば図３に示すような、背景である山と、その前に配置された実際の人物とが挙げられる。図３の画像では、顔領域及び４個の検知領域はそれぞれ縦２列、横２行の４個の領域からなる。図３の画像に設定した顔領域と４個の検知領域の、ＡＦ評価値と合焦距離との関係を図１０に示す。図１０では、顔領域のＡＦ評価値と、人物の体に当たる位置の検知領域のＡＦ評価値は、大きさは異なるものの、極大値の位置はほぼ同じである。しかし、背景に当たる位置の検知領域のＡＦ評価値の合焦距離に対する変化の仕方は、顔領域のＡＦ評価値とは異なり、極大値の位置も異なる。
【００４１】
その後、ＣＰＵ１７がＴＧ１６からＶ  ｓｙｎｃ信号を受けるとＳＴＥＰ４０２に戻り、所定の距離短い合焦距離での画像を読み込み、その分割領域でのＡＦ評価値を取得する。
【００４２】
ＳＴＥＰ４０３で人物の顔を検出し、かつ前回の合焦距離での画像においても顔を検出していた場合（ＳＴＥＰ４０４でＹｅｓ）、上述のＳＴＥＰ４１１に移行する。これは、既にその顔の大きさから推定した距離に基づく位置に合焦距離を移動させており（ＳＴＥＰ４０９）、再度その距離に合焦距離を移動させる必要はないからである。そして、今回の分割領域全てのＡＦ評価値の合計を前回のものと比較し（ＳＴＥＰ４１１）、その結果が減少していた場合（ＳＴＥＰ４１２でＮｏ）はレンズ部２の合焦距離を前回の合焦距離に戻して（ＳＴＥＰ４１４）、ＡＦの最適化処理を終了する。ＡＦ評価値を比較した結果が増加していた場合は、レンズ部２の合焦距離を短くなる方向へ所定の距離移動させ（ＳＴＥＰ４１３）、ＣＰＵ１７がＴＧ１６からＶ  ｓｙｎｃ信号を受ける（ＳＴＥＰ４１０）とＳＴＥＰ４０２に戻る。
【００４３】
ここで、本実施形態のＡＦの最適化処理について、分割領域全てのＡＦ評価値の合計及び顔領域のＡＦ評価値と合焦距離との関係を示す図１１のグラフを用いて説明する。図１１のグラフは分割領域全てのＡＦ評価値の合計の極大値の近傍の拡大図であり、横軸の１目盛りはレンズ部２の合焦距離を移動する１段階分の所定の距離である。図１１における無限遠側の１番目の合焦距離から４番目の合焦距離までは、各合焦距離の画像で顔を検出しなかった場合（ＳＴＥＰ４０３でＮｏ）であり、分割領域全てのＡＦ評価値の合計を前回の合焦距離の画像のものと比較した結果が増加していた場合（ＳＴＥＰ４１２でＮｏ）であり、それぞれの合焦距離において、ＡＦ評価値が増加する方向即ちレンズ部の合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。５番目の合焦距離では、この合焦距離の画像において顔を検出し、信頼度Ｒが２以上であるため（ＳＴＥＰ４０７でＹｅｓ）、顔領域の大きさから推定した距離に基づく合焦距離（図１１の場合所定の距離の２段階分短い合焦距離）に移動させる。よって、６番目に相当する合焦距離での画像の読み込みは省略される。その後、７番目の合焦距離から１０番目の合焦距離では各合焦距離の画像で顔を検出するものの、連続で検出している。そのため、分割領域全てのＡＦ評価値の合計を各合焦距離において前回の合焦距離（７番目の合焦距離では前回取得した５番目の合焦距離）の画像のものと比較している。７番目の合焦距離から９番目の合焦距離では、その結果が増加しているため（ＳＴＥＰ４１２でＮｏ）レンズ部の合焦距離を短くなる方向へ所定の距離移動させている（ＳＴＥＰ４１３）。１０番目の合焦距離では、分割領域全てのＡＦ評価値の合計を９番目の合焦距離の画像のものと比較した結果が減少しており（ＳＴＥＰ４１２でＹｅｓ）、合焦距離を前回すなわち９番目の合焦距離に戻す（ＳＴＥＰ４１４）。尚、図１１のグラフはＡＦの最適化処理の動作を簡単に示すための模式的なものである。したがって、レンズ部２の合焦距離を移動する１段階分の所定の距離は、実際には焦点合わせの精度を高めるために、図１１よりも細かいものとしてもよいし、又、ＡＦの最適化処理をより速くするために粗いものとしてもよい。
【００４４】
このように、顔領域の大きさから推定した距離に基づいた位置へレンズ部２の合焦距離をさせることにより、無限遠から所定の距離の１段階ずつ合焦距離を変化させる場合に比べて素早く人物に焦点を合わせることができる。さらに、被写体が実際の人物であることを信頼度Ｒから評価しているため、被写体として人物を含む写真が近くにあり、その人物が小さい場合には、人物が遠方にあるものと誤って推測していまい、焦点合わせに必要な時間が長くなってしまうことを避けることができる。尚、推定した距離よりも所定の割合だけ遠い位置へ合焦距離を移動させるのは、推定した距離が実際の距離よりも近い場合には、推定したそのままの距離に合焦距離を移動させたのでは人物に合焦できなくなるためである。
【００４５】
尚、本実施形態において、ＡＦの最適化処理には、輝度信号の高周波成分をＡＦ評価値とし、全領域のＡＦ評価値を足し合わせて用いてもよいし、特定の領域、例えば図３において中央部の縦８列、横８行の６４個の領域を他の領域よりも重みを付けて足し合わせて用いてもよい。又、上記の特定の領域のみのＡＦ評価値を足し合わせて用いてもよい。
【００４６】
（第２の実施形態）
本発明の第２の実施形態について、図を用いて説明する。図１２は第２の実施形態に係る撮像装置のＡＦ最適化処理についてのフローチャートである。本実施形態は、ＡＦ最適化処理のうち、顔を検出した場合の動作が異なる以外は第１の実施形態と同じであり、実質上同一の部分には同一の符号を付してある。
【００４７】
図１２のフローチャートにおいて、最適化処理を開始すると、まず、レンズ部２の合焦距離を無限遠に設定し、ＣＰＵ１７に設けられた距離情報記憶部１７ａに記憶されたＡＦ評価値を消去するなど、距離検出に関する部分を初期化する（ＳＴＥＰ４０１）。続いてその合焦距離（この場合は初期化直後なので無限遠）での画像を読み込み、その画像を複数の領域に分割し、その分割領域全てのＡＦ評価値を取得する（ＳＴＥＰ４０２）。
【００４８】
次に、ＳＴＥＰ４０１で読み込んだ画像中に、人物の顔があるかどうかを検出する（ＳＴＥＰ４０３）。顔を検出しなかった場合（ＳＴＥＰ４０３でＮｏ）、今回の分割領域全てのＡＦ評価値の合計を前回のものと比較する（ＳＴＥＰ１２１４）。今回の画像の合焦距離が無限遠の場合は、最初の画像であることから比較の対象となる前回の合焦距離の画像がないため、ＳＴＥＰ１２１４は省略し、合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。分割領域全てのＡＦ評価値の合計を比較した結果が減少していた場合（ＳＴＥＰ４１２でＮｏ）、前回の合焦距離で、ＡＦ評価値が極大値であり、被写体に焦点が合うものとしてレンズ部２の合焦距離を前回の合焦距離に戻して（ＳＴＥＰ１２１５）、ＡＦの最適化処理を終了する。ＡＦ評価値を比較した結果が増加していた場合（ＳＴＥＰ４１２でＹｅｓ）、次もＡＦ評価値が増加すると予測される方向、即ちレンズ部の合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。その後、ＣＰＵ１７がＴＧ１６からＶ  ｓｙｎｃ信号を受けるとＳＴＥＰ４０２に戻り、所定の距離短い合焦距離での画像を読み込み、その分割領域でのＡＦ評価値を取得する（ＳＴＥＰ４０２）。
【００４９】
ＳＴＥＰ４０３で人物の顔を検出した場合、前回の合焦距離での画像において顔を検出したかどうかをチェックする（ＳＴＥＰ４０４）。前回の合焦距離での画像において顔を検出しなかった場合（ＳＴＥＰ４０４でＮｏ）、顔領域を設定し、さらにその顔領域の上、下、右、左にその顔領域と同じ大きさの検知領域を設定する。そして、顔領域及び検知領域のＡＦ評価値を取得して前回の合焦距離のものと比較し（ＳＴＥＰ４０５）、信頼度Ｒを算出する（ＳＴＥＰ４０６）。
【００５０】
信頼度Ｒが２未満の場合（ＳＴＥＰ４０７でＮｏ）、上述のＳＴＥＰ１２１４に移行する。信頼度Ｒが２以上の場合（ＳＴＥＰ４０７でＹｅｓ）、ディスプレイ部１２上の顔領域に顔検出枠を表示する（ＳＴＥＰ４０８）。そして、顔領域の大きさから人物までの距離を推定し、その距離よりも所定の割合だけ遠い位置へレンズ部２の合焦距離を移動させる（ＳＴＥＰ４０９）。
【００５１】
その後、ＣＰＵ１７がＴＧ１６からＶ  ｓｙｎｃ信号を受けるとＳＴＥＰ４０２に戻り、所定の距離短い合焦距離での画像を読み込み、その分割領域でのＡＦ評価値を取得する。
【００５２】
ＳＴＥＰ４０３で人物の顔を検出し（ＳＴＥＰ４０３でＹｅｓ）、かつ前回の合焦距離での画像においても顔を検出していた場合（ＳＴＥＰ４０４でＹｅｓ）、今回の顔領域のＡＦ評価値を前回のものと比較する（ＳＴＥＰ４１１）。顔領域のＡＦ評価値の合計を比較した結果が減少していた場合（ＳＴＥＰ４１２でＮｏ）、レンズ部２の合焦距離を前回の合焦距離に戻して（ＳＴＥＰ１２１５）、ＡＦの最適化処理を終了する。ＡＦ評価値を比較した結果が増加していた場合（ＳＴＥＰ４１２でＹｅｓ）、次もＡＦ評価値が増加すると予測される方向、即ちレンズ部の合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。その後、ＣＰＵ１７がＴＧ１６からＶ  ｓｙｎｃ信号を受けるとＳＴＥＰ４０２に戻り、所定の距離短い合焦距離での画像を読み込み、その分割領域でのＡＦ評価値を取得する（ＳＴＥＰ４０２）。
【００５３】
ＳＴＥＰ４０３で人物の顔を検出した場合のＡＦの最適化処理について、分割領域全てのＡＦ評価値の合計及び顔領域のＡＦ評価値と合焦距離との関係を示す図１３のグラフを用いて説明する。図１３のグラフは、図１１と同様のグラフである。図１３における無限遠側の１番目の合焦距離から７番目の合焦距離までは、各合焦距離の画像で顔を検出しなかった場合（ＳＴＥＰ４０３でＮｏ）であり、分割領域全てのＡＦ評価値の合計を前回の合焦距離の画像のものと比較した結果が増加していた場合（ＳＴＥＰ４１２でＮｏ）であり、それぞれの合焦距離において、ＡＦ評価値が増加する方向即ちレンズ部の合焦距離を短くなる方向へ所定の距離移動させる（ＳＴＥＰ４１３）。５番目の合焦距離では、この合焦距離の画像において顔を初めて検出し（ＳＴＥＰ４０３でＹｅｓ、ＳＴＥＰ４０４でＮｏ）、信頼度Ｒが２以上であるため（ＳＴＥＰ４０７でＹｅｓ）、顔領域の大きさから推定した距離に基づく合焦距離（図１３の場合所定の距離の２段階分短い合焦距離）に移動させる。その後、７番目の合焦距離から９番目の合焦距離では各合焦距離の画像で顔を検出するものの、連続で検出している（ＳＴＥＰ４０４）。そのため、顔領域のＡＦ評価値の合計を各合焦距離において前回の合焦距離（７番目の合焦距離では前回取得した５番目の合焦距離）の画像のものと比較する(ＳＴＥＰ４１１)。７番目の合焦距離と８番目の合焦距離では、その結果が増加しているため（ＳＴＥＰ４１２でＮｏ）レンズ部の合焦距離を短くなる方向へ所定の距離移動させている（ＳＴＥＰ４１３）。９番目の合焦距離では、その結果が減少しており（ＳＴＥＰ４１２でＹｅｓ）、合焦距離を前回すなわち８番目の合焦距離に戻す（ＳＴＥＰ１２１５）。
【００５４】
このように、顔領域の大きさから推定した距離に基づいた位置へレンズ部２の合焦距離をさせることにより、素早く人物に焦点を合わせることができ、被写体が実際の人物であることを信頼度Ｒから評価しているため、被写体として人物を含む写真が近くにある場合などに、焦点合わせに必要な時間が長くなってしまうことを避けることができる。さらに、顔領域のＡＦ評価値を用いて焦点合わせ動作を行うことにより、被写体である人物に正確に焦点を合わせることができる。
【００５５】
尚、本実施形態において、顔が検出されない場合のＡＦの最適化処理は、輝度信号の高周波成分をＡＦ評価値とし、全領域のＡＦ評価値を足し合わせて用いてもよいし、特定の領域、例えば図３において中央部の縦８列、横８行の６４個の領域を他の領域よりも重みを付けて足し合わせて用いてもよい。又、上記の特定の領域のみのＡＦ評価値を足し合わせて用いてもよい。
【００５６】
尚、第１の実施形態及び第２の実施形態のＡＦの最適化処理において、顔を含む人物が二人以上いる場合のように顔が２個以上検出された場合、いずれの人物に焦点を合わせるかは、ディスプレイ部１２に表示された顔検出枠を操作部１９で選択できるようにしてもよいし、近い方や遠い方など、所定の基準に基づいて自動的に選択されるものとしてもよい。
【００５７】
又、被写体として、顔を含む人物について注目して焦点合わせ動作を行うものとしたが、特定の部位を有する被写体であれば、注目する被写体は顔を含む人物に限られない。
【産業上の利用可能性】
【００５８】
本発明は、顔検出機能のように被写体の特定部位を検出する機能を有する撮像装置に適用することができる。
【図面の簡単な説明】
【００５９】
【図１】は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。
【図２】は、第１の実施形態に係る撮像装置の基本動作を説明するためのフローチャートである。
【図３】は、領域に区分し顔領域を検出した、人物と背景からなる撮像画像の一例である。
【図４】は、第１の実施形態に係る撮像装置のＡＦの最適化処理を説明するためのフローチャートである。
【図５】は、顔検出装置の構成を示すブロック図である。
【図６】は、縮小画像生成手段によって得られる階層画像の一例である。
【図７】は、顔検出処理を説明するための図である。
【図８】は、領域に区分し顔領域を検出した、壁面上に掛けられた人物を含む写真からなる撮像画像の一例である。
【図９】は、図８の画像の顔領域と検知領域のＡＦ評価値と合焦距離との関係のグラフである。
【図１０】は、図３の画像の顔領域と検知領域のＡＦ評価値と合焦距離との関係のグラフである。
【図１１】は、第１の実施形態に係るＡＦの最適化処理を説明するための、顔領域と分割領域全てのＡＦ評価値と合焦距離との関係のグラフである。
【図１２】は、第２の実施形態に係る撮像装置のＡＦの最適化処理を説明するためのフローチャートである。
【図１３】は、第２の実施形態に係るＡＦの最適化処理を説明するための、顔領域と分割領域全てのＡＦ評価値と合焦距離との関係のグラフである。
【図１４】は、人物と背景からなる撮像画像の一例である。
【図１５】は、図１４の画像のＡＦ評価値と合焦距離との関係のグラフである。
【図１６】は、壁面上に掛けられた人物を含む写真からなる撮像画像の一例である。
【図１７】は、図１６の画像のＡＦ評価値と合焦距離との関係のグラフである。
【符号の説明】
【００６０】
１
１    イメージセンサ
２    レンズ部
３    ＡＦＥ
４    マイク
５    画像処理部
６    音声処理部
７    圧縮処理部
８    ドライバ部
９    伸長処理部
１０    ビデオ出力回路部
１１    ビデオ出力端子
１２    ディスプレイ部
１３    音声出力回路部
１４    音声出力端子
１５    スピーカ部
１６    タイミングジェネレータ
１７    ＣＰＵ
１７ａ  距離情報記憶部
１８    メモリ
１９    操作部
２０    バス回線
２１    バス回線
２２    外部メモリ
２３    評価値算出部
４０    顔検出装置
４２    縮小画像生成手段
４５    顔判定手段
４６    検出結果出力手段
５０    入力画像
５１    縮小画像
５２    縮小画像
５３    縮小画像
５４    縮小画像
５５    縮小画像
６１    判定領域
【図１】
2009021893.tif 000003
【図２】
2009021893.tif 000004
【図３】
2009021893.tif 000005
【図４】
2009021893.tif 000006
【図５】
2009021893.tif 000007
【図６】
2009021893.tif 000008
【図７】
2009021893.tif 000009
【図８】
2009021893.tif 000010
【図９】
2009021893.tif 000011
【図１０】
2009021893.tif 000012
【図１１】
2009021893.tif 000013
【図１２】
2009021893.tif 000014
【図１３】
2009021893.tif 000015
【図１４】
2009021893.tif 000016
【図１５】
2009021893.tif 000017
【図１６】
2009021893.tif 000018
【図１７】
2009021893.tif 000019