(57)【要約】【課題】合焦動作中の第三者の出現を検出し、目的被写体に対応する正確なフォーカス制御を行う構成を実現する。【解決手段】撮像装置における合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう。目的被写体より前の位置に第三者が現れたと判断した場合には、合焦動作を中止し、第三者が去ったことの確認の後、再度、合焦処理を実行する。本構成により、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影が実現される。【選択図】図９
2007328215.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
フォーカスレンズの調整による合焦動作を実行する制御部を有し、
前記制御部は、
合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする撮像装置。
【請求項２】
前記制御部は、
合焦動作開始前の顔検出数（Ｎ１）と、合焦動作中の顔検出数（Ｎ２）との比較処理を実行し、
Ｎ２＞Ｎ１である場合に、
合焦動作開始前の最近接顔の距離（Ｓ１）と、合焦動作中の最近接顔の距離（Ｓ２）との比較処理を実行し、
Ｓ２＜Ｓ１である場合に、
合焦動作を中止し、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なう構成であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御部は、
合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なう構成であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御部は、
合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なう構成であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記制御部は、
セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なう構成であることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記制御部は、
フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を制御する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項８】
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、入力画像から顔領域を検出する顔検出ステップと、
制御部において、フォーカスレンズの調整による合焦動作を実行する合焦動作実行ステップと、
制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう処理決定ステップと、
を有することを特徴とする撮像装置制御方法。
【請求項９】
前記処理決定ステップは、
合焦動作開始前の顔検出数（Ｎ１）と、合焦動作中の顔検出数（Ｎ２）との比較処理を実行し、
Ｎ２＞Ｎ１である場合に、
合焦動作開始前の最近接顔の距離（Ｓ１）と、合焦動作中の最近接顔の距離（Ｓ２）との比較処理を実行し、
Ｓ２＜Ｓ１である場合に、
合焦動作を中止し、合焦動作の再実行、または中止処理を行なうステップであることを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１０】
前記処理決定ステップは、
合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なうステップを含むことを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１１】
前記処理決定ステップは、
合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なうステップを含むことを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１２】
前記処理決定ステップは、
合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なうステップを含むことを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１３】
前記撮像装置制御方法は、さらに、
前記制御部において、セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なうステップを有することを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１４】
前記合焦動作実行ステップは、
フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を実行するステップであることを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１５】
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、入力画像から顔領域を検出させる顔検出ステップと、
制御部において、フォーカスレンズの調整による合焦動作を実行させる合焦動作実行ステップと、
制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なわせる処理決定ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス（ＡＦ）機構が搭載されている。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような問題に対応するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献１にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御（ピント合わせ）が可能になる。
【０００３】
フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法が知られている。撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。このようなフォーカス制御処理構成については、例えば特許文献２に記載されている。
【０００４】
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すＡＦ評価値を得る。このとき、あるフォーカス位置でピントが合ったジャスピンとなる被写体が存在する場合、フォーカスレンズ位置に対するＡＦ評価値は図１のような曲線を描く。この曲線のピーク位置Ｐ１、すなわち画像のコントラスト値が最大となる位置がジャスピンである。この方式では、イメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。
【０００５】
このように、オートフォーカス制御では、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。
【０００６】
しかし、このような合焦動作の最中に、合焦対象の被写体より前に別の人物が入り込んできた場合、次のような問題が発生する。図２、図３を参照してこの問題について説明する。図２には、目的とする被写体に対応するＡＦ評価値曲線１、合焦対象の目的被写体より前に入ってきた人物に対応するＡＦ評価値曲線２を示している。
【０００７】
合焦対象の目的被写体より前に入ってきた人物に対応するＡＦ評価値曲線２は、単体で図２の点線２で示すように、もともとの被写体よりも近い位置にピークを持つＡＦ評価値を描く。
【０００８】
このような状況において合焦動作を行い、各レンズ位置でのＡＦ評価値を取得した場合、画像全体としての評価値は図３の太線に示すＡＦ評価値曲線３のようになる。もし、このような評価値形状の変化が合焦動作中に発生すると、カメラの取得する評価値は図３における細線上の値から太線上の値へ、またはその逆へと乗り換わることになる。そのため、カメラの認識する評価値のピーク位置は、目的被写体に対する正しいフォーカスポイント位置とは異なるものとなり、ピントのずれた失敗写真になってしまう。
【０００９】
特に、セルフタイマ撮影では、専ら、主要被写体となる人物自身がシャッターとしてのレリーズボタンを押下することになるため、集合写真など複数人数での撮影を除き、レリーズボタンを半押ししてカメラが合焦動作を行うタイミングでは、主要被写体となる人物が画角内に存在しないことになる。
【００１０】
従って、セルフタイマ撮影における合焦動作と撮影処理のシーケンスを、通常の撮影と同様にレリーズボタンを半押しした時点で合焦動作、深押し操作後一定時間経過したら撮影というシーケンスとしてしまうと、主要被写体にピントの合った写真は撮影できないことになる。
【００１１】
従って、セルフタイマ撮影においては、合焦動作は、主要被写体となる人物が画角内に入っていると予想される撮影直前に行うことが望ましい。このような合焦動作の実行タイミングの制御構成を開示した従来技術として特許文献３がある。特許文献３は、被写体となる人数に応じて、セルフタイマ撮影の際に合焦動作を行うタイミングをユーザが切替えられるようにした構成を開示している。
【００１２】
セルフタイマ撮影においては、撮像装置の操作を実行した時刻と実際に撮影が行われる時刻との間に時間的な開きがあるため、撮影の直前に撮影画角内に意図しない人物が割り込んでしまうケースがしばしばある。この場合、本来の被写体である人物が別の人物に隠れたまま撮影されてしまい、失敗写真となってしまう。
【００１３】
仮に、撮影直前に別の人物がカメラの前を横切ってしまったにも関わらず、撮影の瞬間にはその人物がいなくなっており、本来の被写体を撮影することができた場合でも、合焦動作中に別の人物が横切ってしまっているため、結局ピントのずれた失敗写真になってしまう。
【００１４】
このような、撮影直前に画角内に他人が割り込んでしまうという問題を解決するための技術として、例えば特許文献４は、セルフタイマ撮影の待ち時間中の測光値が変化した場合に撮影を禁止する、または撮影タイミングを遅らせる構成を開示している。さらに、特許文献５は、シャッターボタンであるレリーズ操作時の測距値と撮影直前の測距値に差があった場合に撮影を禁止する構成を開示している。
【００１５】
しかしながら、これらの手法では、測光値が変化検出エラーや、測距値の測定の誤判定が発声すると、本来、正しく撮影できるにもかかわらず撮影中止となってしまう可能性がある。例えば、測光値を手がかりにした場合、例えば、走る車や観覧車など、動きのある風景を背に主要被写体となる人物が立って撮影しようとすると、正常に撮影できるにもかかわらず測光値の変化を検出してしまうために撮影が中止されてしまうことがありうる。測距値を手がかりとする場合には、例えば、レリーズ操作をした撮影者が撮影画角に入った段階で測距値が変わってしまうため、やはり不本意に撮影が中止されてしまう。
【特許文献１】特開２００３−１０７３３５号公報
【特許文献２】特開平１０−２１３７３７号公報
【特許文献３】特開平１０−２９３３４２号公報
【特許文献４】特開平６−２０２２２号公報
【特許文献５】特開平５−２０３８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。例えば、合焦動作中に目的被写体の前に第三者が割り込んでしまった場合にも、目的被写体に対応する正しいフォーカス制御を行う撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の第１の側面は、
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
フォーカスレンズの調整による合焦動作を実行する制御部を有し、
前記制御部は、
合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする撮像装置にある。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作開始前の顔検出数（Ｎ１）と、合焦動作中の顔検出数（Ｎ２）との比較処理を実行し、Ｎ２＞Ｎ１である場合に、合焦動作開始前の最近接顔の距離（Ｓ１）と、合焦動作中の最近接顔の距離（Ｓ２）との比較処理を実行し、Ｓ２＜Ｓ１である場合に、合焦動作を中止し、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする。
【００１９】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なう構成であることを特徴とする。
【００２０】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なう構成であることを特徴とする。
【００２１】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なう構成であることを特徴とする。
【００２２】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なう構成であることを特徴とする。
【００２３】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を制御する構成であることを特徴とする。
【００２４】
さらに、本発明の第２の側面は、
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、入力画像から顔領域を検出する顔検出ステップと、
制御部において、フォーカスレンズの調整による合焦動作を実行する合焦動作実行ステップと、
制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう処理決定ステップと、
を有することを特徴とする撮像装置制御方法にある。
【００２５】
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作開始前の顔検出数（Ｎ１）と、合焦動作中の顔検出数（Ｎ２）との比較処理を実行し、Ｎ２＞Ｎ１である場合に、合焦動作開始前の最近接顔の距離（Ｓ１）と、合焦動作中の最近接顔の距離（Ｓ２）との比較処理を実行し、Ｓ２＜Ｓ１である場合に、合焦動作を中止し、合焦動作の再実行、または中止処理を行なうステップであることを特徴とする。
【００２６】
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なうステップを含むことを特徴とする。
【００２７】
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なうステップを含むことを特徴とする。
【００２８】
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なうステップを含むことを特徴とする。
【００２９】
さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、前記制御部において、セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なうステップを有することを特徴とする。
【００３０】
さらに、本発明の撮像装置制御方法の一実施態様において、前記合焦動作実行ステップは、フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を実行するステップであることを特徴とする。
【００３１】
さらに、本発明の第３の側面は、
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、入力画像から顔領域を検出させる顔検出ステップと、
制御部において、フォーカスレンズの調整による合焦動作を実行させる合焦動作実行ステップと、
制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なわせる処理決定ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００３２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３４】
本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出し、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう。目的被写体より前の位置に第三者が現れたと判断した場合には、合焦動作を中止し、第三者が去ったことの確認の後、再度、合焦処理を実行する。本構成により、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影が実現される。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３６】
本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした構成を開示するものである。本発明の撮像装置では、フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる。撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。
【００３７】
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。
【００３８】
本発明は、このようなコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を算出し、フォーカスレンズを移動させてＡＦ評価値を取得する合焦動作中に、算出済みの被写体距離より近い距離を持つ顔の検出がなされた場合に、合焦動作を中止して合焦動作を再度実行することで、合焦動作中に目的被写体の前に第三者が割り込んでしまった場合にも、目的被写体に対応する正しいフォーカス制御を行うことを可能とするものである。
【００３９】
まず、図を参照して、本発明の撮像装置の構成について説明する。図４は、本発明の撮像装置１０の外観を示す図である。図４（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（ＣＣＤ）としてのイメージャ１４、ズーム制御を行うためのズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮像装置によって撮影される画像（スルー画像）を確認するためのビューファインダ１７、フォーカス調整において駆動されるフォーカスレンズ１８、ズーム調整に際して駆動されるズームレンズ１９、撮影モードを設定するためのモードダイアル２０、フォーカスレンズ１８を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１９を駆動するためのズームレンズモータ（Ｍ２）２２を有する。
【００４０】
被写体画像は、ビューファインダ１７およびモニタ１３に表示される。ビューファインダ１７およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１７またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。
【００４１】
図５を参照して本発明の撮像装置１００の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ１０１、ズームレンズ１０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子１０３に入力し、撮像素子１０３において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、アナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１１７、ビューファインダ（ＥＶＦ）１１６に表示される。モニタ１１７、ビューファインダ（ＥＶＦ）１１６には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
【００４２】
操作部１１８は、図４を参照して説明したカメラ本体にあるレリーズスイッチ１２、ズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮影モードを設定するためのモードダイアル２０等を含む操作部である。制御部１１０は、ＣＰＵを有し、撮像装置の実行する各種の処理の制御を予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ１１１は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部（ＣＰＵ）１１０に入力され手ぶれ防止などの処理が実行される。
【００４３】
モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。垂直ドラバ１０７は、撮像素子（ＣＣＤ）１０３を駆動する。タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
【００４４】
顔検出部１３０は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部１１０に送られ、制御部１１０では、検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。さらに、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を行なう。さらに、顔の大きさに基づく被写体距離の推定処理に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した処理を行うことで正確な距離推定を実現する。
【００４５】
本発明の撮像装置では、前述したように、フォーカス制御において、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いるが、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を算出し、フォーカスレンズを移動させてＡＦ評価値を取得する合焦動作中に、算出済みの被写体距離より近い距離を持つ顔の検出がなされた場合に、合焦動作を中止して合焦動作を再度実行する。この処理により、合焦動作中に目的被写体の前に第三者が割り込んでしまった場合にも、目的被写体に対応する正しいフォーカス制御が可能となる。
【００４６】
第三者の割り込みによるフォーカスエラーによる撮影処理は、特にユーザが撮影を直前に停止できないセルフタイマーモードにおいて発生する可能性が高い。以下では、セルフタイマ撮影モードにおける処理例を中心として説明する。まず、本発明の撮像装置において実行する処理の全体概要について説明し、後段で、顔の検出、距離の算出処理などの各処理の詳細を説明する。
【００４７】
（１）全体処理の概要
撮像装置（カメラ）をセルフタイマ撮影モードに設定すると、図６に示すように、撮像装置において取得されている画像（スルー画）の画角内に、オートフォーカス処理におけるＡＦ評価値の取得のための画像領域であるＡＦ用検波領域２０１と、顔検出処理のための画像領域である顔検出領域２０２が設定される。この２つの画像領域の設定に併せて、さらに、合焦動作中に人物が割り込んできたことを検出するための処理が開始される。
【００４８】
なお、ＡＦ用検波領域２０１と顔検出領域２０２は、その用途に従って別々の領域に設定しても良い。通常は、顔検出領域２０２はＡＦ用検波領域２０１と同じか、ＡＦ用検波領域２０１を含み、これよりも広い範囲をカバーするよう配置することで、合焦動作中に人物が割り込んできたことを精度良く検出することができる。
【００４９】
セルフタイマーモードに設定の後、シャッターボタンに相当するレリーズボタンが押下されると、タイマカウンタが動作し始め、撮影までの時間をカウントする。この間、例えば図６に示すような顔検出領域２０２内にある顔を検出し、検出された顔の数［Ｎ１］と、検出されたうちで最も近距離となる顔までの距離［Ｓ１］を算出し保持する。この顔検出および距離算出の詳細については後述する。
【００５０】
最も近距離となる顔までの距離［Ｓ１］と、検出された顔の数［Ｎ１］は、予め設定されたタイマカウントの計時まで一定時間間隔で更新しつづける。所定の長さの計時が終わると、合焦動作が開始される。すなわち、先に図１を参照して説明したように、フォーカスレンズを移動させてＡＦ評価値を取得してピークを求める処理である。
【００５１】
例えば、この合焦動作開始後に画角外から別の人物が横切ったとする。具体的には、図７に示すような状態である。合焦動作中、本発明の撮像装置は、一定時間間隔で顔検出処理を行い、検出された顔の数［Ｎ２］と合焦動作開始直前まで検出されていた顔の数［Ｎ１］を随時比較する。図６、図７の例では、図６が合焦動作開始直前、図７が、合焦動作中とすると、
合焦動作開始直前まで検出されていた顔の数［Ｎ１］＝１、
合焦動作中に検出された顔の数［Ｎ２］＝２、
となる。
【００５２】
このように、合焦動作中に検出された顔の数が合焦動作開始前に比べて増加していた場合、合焦動作前と合焦動作中に検出された顔の中でのそれぞれの最小距離［Ｓ１］、［Ｓ２］を比較し、合焦動作中に検出された顔の最小距離［Ｓ２］が、合焦動作前に検出された顔の最小距離［Ｓ１］より小さい場合、目的被写体より前の位置を、第三者が横切ったものと判断して、合焦動作をただちに中止し、これまでに取得済みの評価値をすべて破棄して、リトライ待ち処理に移る。
【００５３】
リトライ待ち処理は、割り込んできた人物が画角から出ていったこと、すなわち、撮像手段による撮影画像に含まれなくなったことを検出し、再び、目的被写体のみの画像に基づく合焦動作を開始できるようになったことを判定して合焦動作を再開する許可を出すことを目的とする。具体的には、以下のような処理をする。
【００５４】
リトライ処理に入ると、本発明の撮像装置は、一定時間間隔で検波領域内に存在する顔の個数［Ｎｎｏｗ］、および検出された顔の中の最小距離［Ｓｎｏｗ］を更新する。リトライ開始時と比較し、顔の個数が減少し、且つ最小距離が、予め定めた閾値［Ｔｈｒ］以上大きくなっていたら、割り込んできた人物が去ったと判断し、リトライを許可する。割り込んだ人物がいつまでも立ち去らない場合に備え、リトライ待ち時間を計測するカウンタを用意し、このカウンタが一定以上の値になったら、リトライをキャンセルし、合焦不可能と判断する。
【００５５】
また、繰り返し合焦動作のリトライを実行しても新たな人物が割り込んできて、いつまでたっても撮影されなくなってしまう事態を避けるため、連続でリトライ待ち処理に入る回数自体にも制限を設ける。リトライ待ちがタイムアウトになった場合とリトライ回数が満了してしまった場合は合焦不可能と判断する。合焦不可能と判断し他場合は、例えば予め固定値で指定されている位置へフォーカスレンズを移動し、撮影を行う。
【００５６】
この処理によって、目的とする被写体をフォーカス制御対象とした処理が実行される可能性を向上させ、フォーカスエラーのないピントの合った写真を撮影することが可能となる。なお、セルフタイマ撮影以外の撮影、例えばリモコン撮影においても、上記と同様の処理を行なうことで、高確率でフォーカスエラーのないピントの合った写真を撮影することが可能となる。
【００５７】
以下、本発明の撮像装置において実行される個々の処理の詳細について説明する。本発明の撮像装置では、撮像装置によって撮影される画像データから目的被写体の人物の顔領域を特定し、顔画像に基づく距離算出を実行する。すなわち、顔検出部１３０による顔領域検出、制御部１１０による顔までの距離算出を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
（１）顔識別処理
（２）顔の大きさに基づく被写体距離算出処理
【００５８】
（１）顔識別処理
まず、顔検出部１３０の実行する処理、すなわち撮像装置によって取得される画像データから人物の顔領域を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開２００４−１３３６３７に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸＹＺ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
【００５９】
縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離を算出する。
【００６０】
（２）顔までの距離算出方法
以下、具体的な顔までの距離の算出方法について説明する。本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図８を参照して説明する。図８には、被写体位置３０１、フォーカスレンズ３０２、撮像素子３０３を示している。被写体位置３０１には人物の顔が存在する。顔の大きさ（顔の幅）はＷｆである。
【００６１】
顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写体位置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。  Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ
【００６２】
人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値（Ｗｒｅｆ）を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。
【００６３】
撮像装置は、撮影される画像（スルー画）に基づいて、上述の式（式１．１）を適用して被写体距離（Ｄｆ）を算出する。
【００６４】
具体的には、合焦動作中に検出された顔の数が合焦動作開始前に比べて増加していた場合、合焦動作前と合焦動作中に検出された顔の中でのそれぞれの最小距離［Ｓ１］、［Ｓ２］を比較し、合焦動作中に検出された顔の最小距離［Ｓ２］が、合焦動作前に検出された顔の最小距離［Ｓ１］より小さい場合、目的被写体より前の位置を、第三者が横切ったものと判断して、合焦動作を中止し、これまでに取得済みの評価値をすべて破棄して、リトライ待ち処理に移る。
【００６５】
次に、図９に示すフローチャートを参照して、本発明の撮像装置において実行する処理シーケンスについて説明する。図９に示すフローチャートは、図５に示す撮像装置の制御部１１０の制御の下に、顔検出部１３０などの各構成部を制御して実行される。例えば、セルフタイマ撮影やリモコン撮影を設定し、ユーザがレリーズボタンを操作してタイマーがスタートした後の処理として実行される。
【００６６】
例えば、セルフタイマ撮影モードやリモコン撮影モードに設定の後、シャッターボタンに相当するレリーズボタンまたはリモコンの操作がなされると、タイマカウンタが動作し始め、撮影までの時間をカウントする。その後、ステップＳ１０１において、例えば図６に示すような顔検出領域２０２内にある顔を検出し、検出された顔の数［Ｎ１］と、検出されたうちで最も近距離となる顔までの距離［Ｓ１］を算出し、記憶部に記録保持する。
【００６７】
顔検出処理は、先に説明したように、例えば、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって行われ、距離算出処理は、先に、図８を参照して説明したように、以下の被写体距離（Ｄｆ）算出式で求める。
Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
なお、顔大きさ基準値（Ｗｒｅｆ）は、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離算出を実現することが可能となる。
【００６８】
ステップＳ１０１では、このような顔検出と距離算出を実行して、検出された顔の数［Ｎ１］と、検出されたうちで最も近距離となる顔までの距離［Ｓ１］を記憶部に記録保持する。
【００６９】
ステップＳ１０２〜Ｓ１０６は、合焦動作ループであり、先に図１を参照して説明したように、フォーカスレンズを移動させて書く移動ポイントにおいて、ＡＦ評価値を取得してピークを求める処理が実行される。ステップＳ１０３は、フォーカスレンズの１つの移動点におけるＡＦ評価値（＝ＡＦ検波値）の取得処理である。次のステップＳ１０４では、撮像装置において、現在取得されている画像からの顔検出を実行し、合焦動作中に検出された顔の数［Ｎ２］と、合焦動作中に検出された顔の中の最小距離［Ｓ２］を算出する。
【００７０】
ステップＳ１０５では、
合焦動作開始直前に検出された顔の数［Ｎ１］と、
合焦動作中に検出された顔の数［Ｎ２］と、
の比較を実行する。
Ｎ２＞Ｎ１
上記式が成立しなければ、ステップＳ１０６に進み、合焦動作を継続する。すなわち、ステップＳ１０３に進み、フォーカスレンズを次の移動ポイントに移動させてＡＦ評価値を取得する。
【００７１】
ステップＳ１０５において、
Ｎ２＞Ｎ１
上記式が成立した場合は、合焦動作開始前より顔が増加したことになり、この場合は、ステップＳ１１１に進み、合焦動作前と合焦動作中に検出された顔の中でのそれぞれの最小距離［Ｓ１］、［Ｓ２］を比較する。
Ｓ２＜Ｓ１
上記式が成立した場合は、合焦動作開始前の最近接人物の前に、新たな人物が出現したと判断し、ステップＳ２０１〜Ｓ２０７のリトライ処理に移行する。
【００７２】
ステップＳ１１１において、
Ｓ２＜Ｓ１
上記式が成立しない場合は、合焦動作開始前の最近接人物の前に、新たな人物が出現しなかったと判断し、ステップＳ１０６に進み、合焦動作を継続する。すなわち、ステップＳ１０３に進み、フォーカスレンズを次の移動ポイントに移動させてＡＦ評価値を取得する。
【００７３】
合焦ループの実行期間内に、ステップＳ１０５がＹｅｓ、すなわち、
Ｎ２＞Ｎ１
が成立し、かつ、
ステップＳ１１１がＹｅｓ、すなわち、
Ｓ２＜Ｓ１
が成立することがなかった場合は、合焦動作中に、合焦動作開始前の最近接人物の前に、新たな人物が出現することがなかったと判断し、ステップＳ１０７に進み、合焦動作中に得られたＡＦ評価値曲線のピークを検出する。
【００７４】
ピークが検出された場合、ステップＳ１０８において合焦成功と判断して、ステップＳ１０９に進み、合焦位置へフォーカスレンズを設定して、ステップＳ１１０において撮影処理を実行する。ピークが検出されなかった場合は、ステップＳ１０８において合焦失敗と判断して、ステップＳ１１２に進み、予め定められたフォーカスレンズ設定位置へフォーカスレンズを移動させた後、ステップＳ１１０において撮影処理を実行する。
【００７５】
一方、合焦ループの実行期間内に、ステップＳ１０５がＹｅｓ、すなわち、
Ｎ２＞Ｎ１
が成立し、かつ、
ステップＳ１１１がＹｅｓ、すなわち、
Ｓ２＜Ｓ１
が成立した場合は、合焦動作中に、合焦動作開始前の最近接人物の前に、新たな人物が出現したと判断し、ステップＳ２０１に進みリトライ処理に移行する。
【００７６】
ステップＳ２０１では、予め定められたリトライ回数に達しているか否かを判定する。予め定められたリトライ回数に達していると判定されると、ステップＳ１１２に進み、予め定められたフォーカスレンズ設定位置へフォーカスレンズを移動させた後、ステップＳ１１０において撮影処理を実行する。
【００７７】
ステップＳ２０１において、予め定められたリトライ回数に達していないと判定した場合は、ステップＳ２０２において、リトライ回数カウント値を１つ増加させて記憶部に記録する。さらに、ステップＳ２０３において、リトライ待ち時間のカウントを開始する。次に、ステップＳ２０４において、現時点で、取得されている画像から検出される顔の数［Ｎｎｏｗ］と、これらの検出顔中、最も近い距離にある顔の距離［Ｓｎｏｗ］を算出する。
【００７８】
次に、ステップＳ２０５では、
合焦動作中に検出された顔の数［Ｎ２］と、
現時点で取得されている画像から検出された顔の数［Ｎｎｏｗ］と、
の比較を実行する。
Ｎ２＞Ｎｎｏｗ
上記式が成立しなければ、まだ、合焦開始前に検出された顔以外の顔が存在していることになり、ステップＳ２０６に進み、
【００７９】
現時点で取得されている画像から検出された顔中の最も近い距離にある顔の距離［Ｓｎｏｗ］と、合焦動作中に検出された顔の中の最も近い距離にある顔の距離［Ｓ２］との差分絶対値［｜Ｓｎｏｗ−Ｓ２｜］が予め定めた閾値［Ｔｈｒ］より大きいか否かを判定する。
｜Ｓｎｏｗ−Ｓ２｜＞Ｔｈｒ
上記式が成立せず、［｜Ｓｎｏｗ−Ｓ２｜］が予め定めた閾値［Ｔｈｒ］より大きくない場合は、合焦動作中に新たに検出された顔が、そのまま存在していると判断して、ステップＳ２０７に進み、予め定めたリトライ待ちタイムアウトの時間が経過したか否かを判定し、経過していない場合は、ステップＳ２０３においてリトライ待ち時間カウントを増加させて、処理ステップＳ２０４以下を繰り替えし実行する。
【００８０】
ステップＳ２０７において、予め定めたリトライ待ちタイムアウトの時間が経過したと判定した場合は、合焦不可能と判断して、ステップＳ１１２に進み、予め定められたフォーカスレンズ設定位置へフォーカスレンズを移動させた後、ステップＳ１１０において撮影処理を実行する。
【００８１】
一方、ステップＳ２０６において、
｜Ｓｎｏｗ−Ｓ２｜＞Ｔｈｒ
上記式が成立し、［｜Ｓｎｏｗ−Ｓ２｜］が予め定めた閾値［Ｔｈｒ］より大きいと判定した場合は、合焦動作中に新たに検出された顔が、去ったと判断し、ステップＳ１０１に戻り、再度、顔の数のカウント、距離算出、および合焦動作を開始する。この処理の開始に際しては、これまでに取得済みの評価値をすべて破棄した後、新たな処理として実行される。
【００８２】
なお、ステップＳ１０８において、合焦成功と判定された場合は、撮像装置のモニタの表示画像に合焦が成功したことを示す合焦枠を提示してユーサに通知する。例えば特定の顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
【００８３】
合焦表示の例を図１０に示す。図１０に示す例は、撮像装置のカメラのモニタに表示される画像に合焦表示を行なった例である。たとえば上述したＡＦ評価値算出によるピーク検出に成功して、ある人物の顔に対する合焦に成功した場合、例えば、合焦の成功した顔３２１に、合焦枠３３１を設定して表示する。さらに、このフォーカスポイントにおいて、顔３２２、顔３２３についても、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦枠３３２，３３３の表示を行なう。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
【００８４】
以上、説明したように、本発明の撮像装置では、図９に示すフローを参照して説明した処理によって、合焦動作中に検出された顔の最小距離［Ｓ２］が、合焦動作前に検出された顔の最小距離［Ｓ１］より小さい（近い）場合、目的被写体より前の位置を、第三者が横切ったものと判断して、合焦動作をただちに中止し、第三者が去ったことが確認された後、再度、合焦処理を実行する構成としたので、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影が実現される。
【００８５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８７】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９０】
以上、説明したように、本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出し、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう。目的被写体より前の位置に第三者が現れたと判断した場合には、合焦動作を中止し、第三者が去ったことの確認の後、再度、合焦処理を実行する。本構成により、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影を行なうことを可能とした撮像装置が実現される。
【図面の簡単な説明】
【００９１】
【図１】フォーカス制御における合焦動作として実行されるレンズ駆動、ＡＦ評価値取得処理例について説明する図である。
【図２】合焦動作としてのＡＦ評価値取得処理における複数の人物による影響について説明する図である。
【図３】合焦動作としてのＡＦ評価値取得処理における複数の人物による影響について説明する図である。
【図４】本発明の撮像装置の外観構成例について説明する図である。
【図５】本発明の撮像装置のハードウェア構成例について説明する図である。
【図６】ＡＦ評価値の取得のための画像領域であるＡＦ用検波領域と、顔検出処理のための画像領域である顔検出領域の設定例について説明する図である。
【図７】合焦動作の実行中に第三者が横切った場合のＡＦ用検波領域と、顔検出領域との対応例について説明する図である。
【図８】顔の大きさに基づく被写体距離算出処理について説明する図である。
【図９】本発明の撮像装置において実行する処理のシーケンスの一例について説明するフローチャートを示す図である。
【図１０】合焦表示例について説明する図である。
【符号の説明】
【００９２】
１０  撮像装置
１１  電源スイッチ
１２  レリーズスイッチ
１３  モニタ
１４  イメージャ
１５  ズームボタン
１６  操作ボタン
１７  ビューファインダ
１８  フォーカスレンズ
１９  ズームレンズ
２０  モードダイアル
２１  フォーカスレンズモータ（Ｍ１）
２２  ズームレンズモータ（Ｍ２）
１００  撮像装置
１０１  フォーカスレンズ
１０２  ズームレンズ
１０３  撮像素子
１０４  アナログ信号処理部
１０５  Ａ／Ｄ変換部
１０６  タイミングジェネレータ（ＴＡ）
１０７  垂直ドライバ
１０８  デジタル信号処理部
１１０  制御部
１１１  ジャイロ
１１２  モータドライバ
１１３，１１４  モータ
１１５記録デバイス１１５
１１６  ビューファインダ（ＥＶＦ）
１１７  モニタ
１１８  操作部
１１９  メモリ（ＥＥＰＲＯＭ）
１２０  メモリ（ＲＯＭ）
１２１  メモリ（ＲＡＭ）
２０１  ＡＦ用検波領域
２０２  顔検出領域
３０１  被写体位置
３０２  フォーカスレンズ
３０３  撮像素子
３２１，３２２，３２３  顔（画像）
３３１，３３２，３３３  合焦枠
【図１】
2007328215.tif 000003
【図２】
2007328215.tif 000004
【図３】
2007328215.tif 000005
【図５】
2007328215.tif 000006
【図８】
2007328215.tif 000007
【図９】
2007328215.tif 000008
【図４】
2007328215.tif 000009
【図６】
2007328215.tif 000010
【図７】
2007328215.tif 000011
【図１０】
2007328215.tif 000012