(57)【要約】【課題】  画面上から対象物が消えた場合の制御の切り替えを適切に行えるようにする。【解決手段】画像信号から特定の被写体を検出する被写体検出部と、特定の被写体が検出された場合に特定の被写体に応じた第１の制御を行なうとともに、特定の被写体が検出されなかった場合に第１の制御とは異なる第２の制御を行なう制御部とを備え、特定の被写体が検出されている状態から特定の被写体が検出されない状態に移行した場合に、特定の被写体が検出されなくなる前の情報に基づいて、第１の制御を保持する時間、及び第１の制御から第２の制御に移行する遷移速度の少なくとも１つを変化させる。【選択図】図３
2010183559.tif 000002
【特許請求の範囲】
【請求項１】
画像信号から特定の被写体を検出する被写体検出手段と、
前記被写体検出手段により前記特定の被写体が検出された場合に該特定の被写体に応じた第１の制御を行なうとともに、前記被写体検出手段により前記特定の被写体が検出されなかった場合に前記第１の制御とは異なる第２の制御を行なう制御手段とを備え、
前記制御手段は、前記被写体検出手段により前記特定の被写体が検出されている状態から前記特定の被写体が検出されない状態に移行した場合に、前記特定の被写体が検出されなくなる前の情報に基づいて、前記第１の制御を保持する時間、及び前記第１の制御から前記第２の制御に移行する遷移速度の少なくとも１つを変化させることを特徴とする撮像装置。
【請求項２】
前記情報とは、前記画像信号の画角における前記特定の被写体の位置もしくは位置の変化、前記画像信号の画角における前記特定の被写体の大きさもしくは大きさの変化、前記特定の被写体までの距離もしくは距離の変化、前記特定の被写体に対する合焦の状態もしくは合焦の状態の変化、前記撮像装置のズーム、パン、チルトのいずれかの動作の有無もしくはそれらの動作の方向、及び前記特定の被写体を検出する際に用いる条件と被写体との合致の度合いを示すパラメータである確からしさもしくは確からしさの変化の少なくとも１つであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、検出されていた前記特定の被写体が検出されなくなった場合に、前記情報に基づいて前記特定の被写体の再出現の可能性を判定し、再出現の可能性が高いと判定された場合には、前記第１の制御を保持する時間を延長すること、および、前記第１の制御から前記第２の制御に移行する際の遷移速度を遅くすることのうちの少なくとも１つを行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、検出されていた前記特定の被写体が検出されなくなった場合に、前記情報に基づいて前記特定の被写体の再出現の可能性を判定し、再出現の可能性が低いと判定された場合には、前記第１の制御を保持する時間を短縮すること、および前記第１の制御から前記第２の制御に移行する際の遷移速度を速くすることのうちの少なくとも１つを行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、検出されていた前記特定の被写体が検出されなくなった後、前記撮像装置のズーム、パン、チルトのいずれかの動作が発生した場合には、前記特定の被写体の再出現の可能性が低いと判定し、前記第１の制御を保持する時間を短縮すること、および前記第１の制御から前記第２の制御に移行する際の遷移速度を速くすることのうちの少なくとも１つを行うことを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記制御手段は、検出されていた前記特定の被写体が検出されなくなる前の前記特定の被写体の位置が前記画像信号の画角の端部付近であり、前記特定の被写体が検出されなくなった後、前記特定の被写体の存在した方向に前記撮像装置のパンまたはチルトの動作が発生した場合、前記特定の被写体の再出現の可能性が高いと判定し、前記第１の制御を保持する時間を延長すること、および前記第１の制御から前記第２の制御に移行する際の遷移速度を遅くすることのうちの少なくとも１つを行うことを特徴とする請求項３または４に記載の撮像装置。
【請求項７】
前記特定の被写体が人物の顔であることを特徴とする請求項１に記載の撮像装置。
【請求項８】
撮像装置を制御する方法であって、
前記撮像装置により撮像された画像信号から特定の被写体を検出する被写体検出工程と、
前記被写体検出工程において前記特定の被写体が検出された場合に該特定の被写体に応じた第１の制御を行なうとともに、前記被写体検出工程において前記特定の被写体が検出されなかった場合に前記第１の制御とは異なる第２の制御を行なう制御工程とを備え、
前記制御工程では、前記被写体検出工程において前記特定の被写体が検出されている状態から前記特定の被写体が検出されない状態に移行した場合に、前記特定の被写体が検出されなくなる前の情報に基づいて、前記第１の制御を保持する時間、及び前記第１の制御から前記第２の制御に移行する遷移速度の少なくとも１つを変化させることを特徴とする撮像装置の制御方法。
【請求項９】
請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は被写体検出機能を有する撮像装置に関するものである。
【背景技術】
【０００２】
従来のビデオカメラ等の撮像装置の焦点調整制御では、撮像素子にて得られた画像信号中より鮮鋭度（コントラスト状態）を表す焦点信号を検出し、その焦点信号が最大となるようにフォーカスレンズ位置を制御するＴＶ−ＡＦ方式が主流である。
【０００３】
例えば、特許文献１においては、画像から所定の対象物として顔領域を検出し、検出された顔領域が含まれるようにＡＦエリアを設定して、焦点検出を行う構成が提案されている。この撮像装置は、顔領域が検出された場合は顔領域から得た焦点信号を用いてＡＦ（オートフォーカス）制御を行い、顔領域が検出されない場合は画面全体から得られた焦点信号を用いてＡＦ制御を行う。
【０００４】
ここで、ビデオカメラのように動画像中から所定の対象物を検出する場合には、その対象物が動いたり向きを変えたりすることがあるため、安定してその対象物を検出し続けることは難しい。そのため、特許文献１に開示された構成では、顔領域から得た焦点信号を用いてＡＦを行う場合と、画面全体から得た焦点信号を用いてＡＦを行う場合とが頻繁に切り替わることがあり、画像に頻繁に変化が生じて煩わしくなることがあった。
【０００５】
類似する課題を解決するための１つの方法として、特許文献２において、それまで検出できていた対象物を見失った場合であっても、所定の保持時間の間は対象物に重畳して表示していた被写体枠を継続して表示する撮像装置が提案されている。この撮像装置によれば、対象物を短時間だけ見失った場合であれば、その対象物を表示していることを示す被写体枠が継続して表示されるため、頻繁に被写体枠が表示されたり消えたりすることを防止でき、画面上の表示が煩わしくなることを低減することができる。この構成を上記のＴＶ−ＡＦ方式に応用することで、頻繁にフォーカスレンズの目標位置が切り替わることを低減することが可能となる。つまり、検出していた顔領域を見失った場合であっても、所定の保持時間の間は、顔領域を検出していた領域で得た焦点信号を用いてＡＦ制御を行えばよい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２２７０８０号公報
【特許文献２】特開２００７−６８１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、対象物を見失った場合に、見失う前の制御状態を保持するための所定の保持時間の設定の仕方についても課題があった。すなわち、この保持時間を長く設定した場合は、頻繁にフォーカスレンズの目標位置が切り替わることを抑制することは可能になるが、被写体が画面外に出たような場合でも制御がなかなか切り替わらなくなる。そのため、新たな被写体に対し適切なＡＦ制御が行われにくくなるという課題が生じてしまう。反対に、この保持時間を短く設定した場合は、被写体が変化した場合に新たな被写体にすぐにＡＦ制御を追従させることが可能になるが、上述したように一時的に対象物が消えただけにも関わらずフォーカスレンズの目標位置が切り替わってしまう。そのため、画像の変化が煩わしくなるという課題が生じてしまう。
【０００８】
そしてこれはＡＦ制御に限られた話ではなく、画像から所定の対象物を検出してＡＥ（自動露出）制御、ＷＢ（ホワイトバランス）制御、輝度信号補正、および、ノイズリダクションなどの画像補正処理などを行う場合であっても、同様の課題が生じてしまう。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画面上から対象物が消えた場合の制御の切り替えを適切に行えるようにすることである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る撮像装置は、画像信号から特定の被写体を検出する被写体検出手段と、前記被写体検出手段により前記特定の被写体が検出された場合に該特定の被写体に応じた第１の制御を行なうとともに、前記被写体検出手段により前記特定の被写体が検出されなかった場合に前記第１の制御とは異なる第２の制御を行なう制御手段とを備え、前記制御手段は、前記被写体検出手段により前記特定の被写体が検出されている状態から前記特定の被写体が検出されない状態に移行した場合に、前記特定の被写体が検出されなくなる前の情報に基づいて、前記第１の制御を保持する時間、及び前記第１の制御から前記第２の制御に移行する遷移速度の少なくとも１つを変化させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画面上から対象物が消えた場合の制御の切り替えを適切に行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。
【図２】第１の実施形態における、ＡＦ制御の全体の流れを示すフローチャートである。
【図３】第１の実施形態における、顔が検出されなくなった際の保持時間と遷移速度の設定動作を説明するフローチャートである。
【図４】第２の実施形態における、顔が検出されなくなった際の保持時間と遷移速度の設定動作を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１５】
図１は、本発明の実施の形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラ等、動画像を取得することのできる他の撮像装置にも適用することができる。
【００１６】
図１において、光学レンズ群１０１は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という）を含む複数のレンズにて構成されている。光量調整装置１０２は絞りであり、開口径を制御することで撮像素子１０３に入射する光量を調整する。撮像素子１０３はＣＣＤセンサやＣＭＯＳセンサにより構成され、被写体像を光電変換し撮像画像を得ることができる光電変換部を備えている。信号変換部１０４は、撮像素子１０３の出力をサンプリングし、ゲイン調整し、デジタル化する回路である。撮像信号処理部１０５は、信号変換部１０４からの出力信号に対して各種の画像処理を施し、画像信号を生成する。記録再生処理部１０６は、撮像信号処理部１０５からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録し、記録した画像信号を再生する。
【００１７】
顔検出部１０７は信号変換部１０４から出力された画像信号に対して顔検出処理を施し、被写体情報（撮影画面内の人物の顔の大きさ、位置、顔の確からしさを示す信頼性）を検出する。顔検出部１０７は、その検出結果を後述の制御部１１０に送信する。顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等がある。本願発明は顔検出処理により限定されるものではなく、どのような方法を用いても構わない。
【００１８】
焦点信号処理部１０８は、信号変換部１０４から出力された画像信号から高周波成分や、高周波信号から生成した輝度差成分等を抽出して、焦点信号を生成し、制御部１１０に出力する。なお、焦点信号は、撮像素子１０３からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。なお、焦点信号処理部１０８は制御部１１０にて設定されたＡＦエリア毎に焦点信号を抽出することができ、制御部１１０が顔検出部１０７で検出した顔領域をＡＦエリアとして設定すれば、この顔領域における焦点信号を抽出することができる。輝度信号処理部１０９は、信号変換部１０４から出力された画像信号から輝度成分を抽出して、輝度信号を生成し、制御部１１０に出力する。なお、輝度信号処理部１０９は、制御部１１０にて設定されたＡＥエリア毎に輝度信号を抽出することができる。
【００１９】
制御部１１０は、レンズ駆動部１１１、光量調整駆動部１１２、撮像素子駆動部１１３をはじめとして、撮像装置全体を制御する。この制御部１１０は顔検出部１０７で検出された顔領域を用いて、焦点信号処理部１０８および輝度信号処理部１０９におけるメインＡＦエリア、メインＡＥエリアを設定する。レンズ駆動部１１１は、焦点信号処理部１０８から出力された焦点信号を受けた制御部１１０の指令によって、光学レンズ群１０１のフォーカスレンズを駆動する。光量調整駆動部１１２は、輝度信号処理部１０９から出力された輝度信号を受けた制御部１１０の指令によって、光量調整装置１０２を駆動する。撮像素子駆動部１１３は、輝度信号処理部１０９から出力された輝度信号を受けた制御部１１０の指令によって、撮像素子１０３を駆動する。操作部１１４はユーザーからの指示を受け付け、その指示を制御部１１０に送信する。表示部１１５は例えばＬＣＤや有機ＥＬにて構成されており、メニュー画面を表示したり、撮影にて得られた画像信号や記録再生処理部１０６で再生された画像信号を用いて画像を表示したりする。
【００２０】
次に、本発明の第１の実施形態において制御部１１０で行われるＡＦ（オートフォーカス）制御の概要について、図２を用いて説明する。このＡＦ制御は、制御部１１０内のＲＯＭに格納されたコンピュータプログラムに従って実行される。
【００２１】
図２は、本実施形態におけるＡＦ制御の全体の流れを示すフローチャートである。なお、図２に示す制御は、例えば、撮像素子１０３から１フレーム（またはフィールド）分の画像信号が読み出される毎に、または、複数フレーム（またはフィールド）おきに繰り返し実行される。
【００２２】
図２において、ステップＳ２０１では、顔検出部１０７から、信号変換部１０４から出力された画像信号に対する顔検出処理の結果の情報（顔検出結果）を取得する。ステップＳ２０２では、ステップＳ２０１で取得した顔検出結果から顔が検出されたか否かを判別し、検出されなかった場合はステップＳ２０３へ、検出された場合はステップＳ２０４へ進む。ステップＳ２０３では、撮像画面に対して中央の、顔検出結果に基づかない（特定の被写体とは無関係の）、予め設定された固定領域をメインＡＦエリアとして設定する。一方、ステップＳ２０４では、ステップＳ２０１で取得した顔検出結果に基づき、顔領域をメインＡＦエリアとして設定する。
【００２３】
次にステップＳ２０５では、ステップＳ２０３またはステップＳ２０４で設定したメインＡＦエリアを含む広い領域であって、顔検出結果に基づかない固定領域を、サブＡＦエリアとして設定する。なお、ステップＳ２０３またはステップＳ２０４、及びステップＳ２０５でＡＦエリアを設定したことにより、焦点信号処理部１０８にてＴＶ−ＡＦ制御の基本となる焦点信号を取得することが可能となる。また、このとき焦点信号処理部１０８内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理部１０８内のバンドパスフィルタの設定値を変更することを意味する。
【００２４】
ステップＳ２０６では、ステップＳ２０３またはステップＳ２０４、およびステップＳ２０５で設定したＡＦエリアの焦点信号を取得する。なお、本実施形態では、それぞれの顔の領域における焦点信号は、メモリ等に履歴として記憶していくものとする。これは、制御対象とする顔の領域が変化した場合に、後述のステップＳ２１０にて焦点信号を合成する際、履歴をたどって再利用できるようにするためである。
【００２５】
ステップＳ２０７では、ステップＳ２０１で取得した顔検出結果から顔が検出されたか否かを再度判別し、検出されなかった場合はステップＳ２０８へ、検出された場合はステップＳ２０９へ遷移する。
【００２６】
ステップＳ２０８では、ステップＳ２０６で取得した焦点信号を後述のステップＳ２１０で合成する際の、顔非検出時用の加算比率αを設定する。ここで、加算比率αは、ステップＳ２０３で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ２０５で設定したサブＡＦエリアから得られる焦点信号の加算比率である。
【００２７】
一方、ステップＳ２０９では、ステップＳ２０６で取得した焦点信号を後述のステップＳ２１０で合成する際の、顔検出時用の加算比率βを設定する。ここで、加算比率βは、ステップＳ２０４で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ２０５で設定したサブＡＦエリアから得られる焦点信号の加算比率である。このとき、加算比率βは、ステップＳ２０８で設定する顔非検出時の加算比率αに比べて小さく、言い換えれば、メインＡＦエリアから得られる焦点信号の比率が大きくなるように設定する。これにより、コントラストの低い人物の顔に対応する焦点信号の重み付けが相対的に大きくなり、従来手法に比べて主被写体にピントが合いやすくなる。
【００２８】
ステップＳ２１０では、ステップＳ２０６で取得した焦点信号を、ステップＳ２０８またはステップＳ２０９で設定した加算比率に基づいて合成する。ステップＳ２１１では、ステップＳ２１０で合成された焦点信号に基づいて、ＴＶ−ＡＦ制御により焦点調整を行い、ステップＳ２０１へ戻る。
【００２９】
このように、図２に示すＡＦ制御によれば、画像信号から顔が検出された場合のほうが、検出されなかった場合に比較して、サブＡＦエリアの焦点信号に対するメインＡＦエリアの焦点信号の重み付けを大きくして、ＡＦ制御を行っている。したがって、顔領域の検出に成功していた状態から、顔領域の検出に失敗する状態に変化することにより、ステップＳ２０９における焦点信号の合成方法に変化が生じることになる。
【００３０】
ここで、それまで検出できていた顔領域が画面外に移動してしまったのであれば、すぐに焦点信号の合成方法を切り替えて、ステップＳ２０９の加算比率αで合成した焦点信号を用いたほうが、被写体の変化に応じたＡＦ制御を行うという点で望ましい。反対に、それまで検出できていた顔領域が一時的に検出できなくなっただけであれば、顔領域が検出できているとみなして、焦点信号の合成方法を切り替えずＡＦ制御を行ったほうが、画像の一時的な変動を抑制できるという点で望ましい。
【００３１】
そこで本実施の形態では、制御部１１０は、顔を見失った場合には、最後に検出できた顔の状態に応じてこの保持時間の長さを変更している。なお、制御部１１０は、保持時間が経過するまでの間は、最後に顔領域が検出できた領域をメインＡＦエリアとみなして、加算比率βを用いて焦点信号を求めることになる。
【００３２】
さらに、制御部１１０は、保持時間が経過した後は、顔検出結果に基づかない予め設定された固定領域をメインＡＦエリアとし、加算比率αを用いて焦点信号を求めることになるが、ここにも工夫を施している。具体的には、制御部１１０は、保持時間経過後にすぐに固定領域をメインＡＦエリアとして焦点信号を求めるのではなく、顔が検出された領域をメインＡＦエリアとした状態から、徐々に固定領域をメインＡＦエリアとした状態へと遷移させるようにしている。そして、制御部１１０は、最後に検出できた顔の状態に応じてこの遷移速度を変更している。
【００３３】
これは、保持時間が経過した場合であっても、再び顔領域が検出される可能性があるためである。保持時間が経過し、固定領域をメインＡＦエリアとした状態へと遷移させる途中で顔が検出されれば、再び顔領域をメインＡＦエリアとした状態へ戻す必要がある。顔領域が検出される可能性が比較的高い状況下では、再び顔領域をメインＡＦエリアとする状態へ移行したとしても、焦点信号の変化幅をなるべく小さく抑えるために、遷移速度を遅く設定している。反対に、顔領域が検出される可能性が比較的低い状況下では、再び顔領域をメインＡＦエリアとする状態へ移行する可能性が低いことから、遷移速度を早く設定している。
【００３４】
図３は、本実施形態の撮像装置における、それまで顔検出部１０７にて検出されていた顔が検出されなくなった際の保持時間と遷移速度の設定動作を説明するフローチャートである。このフローチャートは顔検出部１０７が画像信号から顔領域を検出することで開始され、顔を見失ってから保持時間が経過することによって終了する。
【００３５】
図３において、ステップＳ３０１では、制御部１１０は、顔検出部１０７から最新の顔検出結果を取得し、顔検出に成功してればステップＳ３０２へ進む。制御部１１０は、顔領域が検出されている間は、ステップＳ３０２からステップＳ３０５において、顔検出部１０７にて検出されている顔領域の位置情報、大きさ情報、顔までの距離情報、および、顔の確からしさを示す信頼性の情報を取得する。ここでは、顔の情報の一例として、位置、大きさ、距離、確からしさを取得しているが、これらのうちのいくつかでも良いし、これら以外の情報を取得しても良い。なお、確からしさとは、顔検出機能において被写体が顔であると判別する際に用いる条件と被写体との合致の度合いを示すパラメータであり、ここでは確からしさが高いほど被写体が顔である可能性が高いものとする。また、確からしさが低いほど被写体が顔である可能性が低いものとする。また、顔までの距離情報は、顔が検出できていたときのフォーカスレンズの位置から求めることができる。
【００３６】
制御部１１０は、顔領域が検出されなくなると、ステップＳ３０１からステップＳ３０６へと進み、最後に取得した顔の位置情報（顔が検出されなくなる直前の顔の位置情報）が画面の中央付近であったか、画面の端であったかを判定する。制御部１１０は、顔の位置が画角の端に近ければ（端部付近ならば）ステップＳ３０７に進み、設定されている保持時間を短く（短縮）し、遷移速度を速く（遷移時間を短く）設定する処理を行う。これは、顔が検出されなくなる直前の顔の位置が画角の端に近い場合、顔が検出されなくなるのは人物が画面から外れた可能性が高く、顔が再出現する可能性は低いと考えられるためである。そこで、このような状況下では、制御部１１０は、顔領域をメインＡＦエリアとするＡＦ制御から、固定領域をメインＡＦエリアとしたＡＦ制御へとすぐに移行する。なお、制御部１１０は、顔の位置が画角の中央に近い場合の処理は特に行っていないが、保持時間を延長して遷移速度を遅く（遷移時間を長く）するような処理を行っても良い。
【００３７】
次に、制御部１１０は、ステップＳ３０８において、最後に取得した顔の大きさ情報が閾値よりも大きかったか、閾値以下であったかを判定する。制御部１１０は、顔の大きさが画角に対して、ある割合よりも小さければ（閾値以下であれば）ステップＳ３０９に進み、保持時間を短くし、遷移速度を速く設定する処理を行う。これは、顔の大きさが画角に対して小さいということは、その人物が主たる被写体でない可能性が高いので、すぐに顔領域をメインＡＦエリアとするＡＦ制御から固定領域をメインＡＦエリアとするＡＦ制御に移行させるためである。
【００３８】
ステップＳ３１０において、最後に取得した顔までの距離情報を基に、顔までの距離が閾値より大きかったか、閾値以下であったかを判定する。制御部１１０は、顔の距離が遠ければ（閾値より大きければ）ステップＳ３１１に進み、保持時間を短くし、遷移速度を速く設定する処理を行う。これは、顔までの距離が遠いということは、その人物が主たる被写体でない可能性が高いので、すぐに顔領域をメインＡＦエリアとするＡＦ制御から固定領域をメインＡＦエリアとするＡＦ制御に移行させるためである。
【００３９】
ステップＳ３１２において、最後に取得した顔の確からしさ情報を基に、確からしさが閾値より大きかったか、閾値以下であったかを判定する。制御部１１０は、顔の確からしさが低ければ（閾値以下であれば）ステップＳ３１３に進み、保持時間を短くし、遷移速度を速く設定する処理を行う。これは、顔の確からしさが低い場合、顔で無い被写体を顔と誤検出している可能性があるので、すぐに顔領域をメインＡＦエリアとするＡＦ制御から固定領域をメインＡＦエリアとするＡＦ制御に移行させるためである。
【００４０】
以上説明したように、本実施形態における撮像装置は、最後に検出された顔領域の状態に応じて、顔領域をメインＡＦエリアとするＡＦ制御から固定領域をメインＡＦエリアとするＡＦ制御に移行させる際の保持時間、および、遷移速度を変更するようにしている。このように、新たな被写体に対し適切なＡＦ制御が行われにくくなるという課題と、画像の変化が煩わしくなるという課題の、どちらを優先すべきかを状況に応じて判断する構成とすることで、ユーザーにとって使い勝手の良い撮像装置を提供することが可能になる。
【００４１】
なお、本実施形態では、顔の位置、顔の大きさ、顔までの距離、顔の確からしさのそれぞれに応じて保持時間、および、遷移速度を変更したが、この中のいずれかのみを保持時間、および、遷移速度を変更するための判断基準としてもよい。あるいは、保持時間、および、遷移速度の一方のみを変更の対象としても構わない。
【００４２】
また、ステップＳ３０６の場合と同様に、ステップＳ３０８で顔が大きいと判断された場合に、保持時間を長くし、遷移速度を遅くするような処理を行っても良い。これは、ステップＳ３１０で顔までの距離が近いと判断された場合、あるいは、ステップＳ３１２で顔の確からしさが高いと判断された場合も同様である。
【００４３】
また、本実施形態では、顔が検出されなくなった際に制御を変更する判断基準として、顔が検出されなくなる直前の顔の位置情報、大きさ情報、距離情報、確からしさ情報を用いたが、これら以外の情報を用いても良い。例えば、顔の位置が画角内のどちらへ移動していたか、顔の大きさが画角内でどのように変化していたか、顔までの距離がどのように変化していたか、顔の確からしさの値がどのように変化していたか等である。その場合は、顔が検出されていた期間の情報の全部ないし一部を蓄積しておくことで、それぞれの情報の変化を読み取り、それによって顔検出時制御の保持時間を変えたり、顔検出時制御から通常時制御へ遷移する速度を変えたりすることが可能となる。
【００４４】
また、上記以外の情報として、例えば顔の合焦状態の情報やパンおよびチルトなどの撮像装置自体の動きの情報を取得しておき、その変化によって保持時間や遷移速度を変化させても良い。
【００４５】
また、本実施形態では、メインＡＦエリアとサブＡＦエリアの焦点信号を合成することを前提として、顔領域をメインＡＦエリアとするＡＦ制御と、固定領域をメインＡＦエリアとするＡＦ制御とで切り替える例をあげたが、これに限られるものではない。例えば、顔が検出された場合には、顔領域のみから得られた焦点信号を用いてＡＦ制御を行い、顔が検出されなかった場合には、画面の中央部ほど焦点信号の重み付けを大きくして合成した焦点信号を用いてＡＦ制御を行うようにしてもよい。
【００４６】
また、本実施形態ではＡＦ制御を例にあげて説明を行ったが、これに限られるものではない。例えば、ＡＦ処理と同様に、メインＡＥエリアとサブＡＥエリアの輝度信号を合成することを前提として、顔領域をメインＡＥエリアとするＡＥ制御と、固定領域をメインＡＥエリアとするＡＥ制御とで切り替えるようにしてもよい。あるいは、画像信号における顔領域の輝度値が目標値に近づくように輝度成分の補正を行う輝度信号補正処理と、画面全体の平均的な輝度値が目標値に近づくように輝度成分の補正を行う輝度信号補正処理とで切り替えるようにしてもよい。あるいは、顔領域が肌色に近くなるように算出されたＷＢ係数を用いるＷＢ制御と、単に画面全体から求めたＷＢ係数を用いるＷＢ制御とを切り替えるようにしてもよい。あるいは、顔領域が検出された場合にはコントラストを抑えてノイズリダクションを強くかける画像補正処理と、顔領域が検出されなかった場合にはコントラストを抑えることなく、ノイズリダクションを弱めにかける画像補正処理とを切り替えるようにしてもよい。なお、これらＷＢ制御、輝度信号補正処理、および、画像補正処理は、撮像信号処理部１０５で実行される。
【００４７】
また、本実施形態では、画像中から人物の顔を検出する例をあげて説明を行ったが、予め定めた特定の被写体を画像中から検出する被写体検出の機能を備えた構成であれば、所定のユニホームを着た人物や、予め登録しておいたペットなどであっても構わない。
【００４８】
つまり、画像中から特定の被写体を検出した場合に実行される第１の制御と、検出しなかった場合に実行される第２の制御とが、異なる制御内容であるならば、本発明を適用することが可能となる。
【００４９】
（第２の実施形態）
上記の第１の実施形態では、顔が検出されなくなる直前の顔の情報や、それらの変化によって、第１の制御から第２の制御に移行するまでの保持時間や、移行する際の遷移速度を変化させている。本実施形態においては、顔が検出されなくなる直前の顔の情報や、それらの変化によって、顔が再出現する可能性を判断する。そして、再出現の可能性が高ければ保持時間を長くして遷移速度を遅くし、再出現の可能性が低ければ保持時間を短くして遷移速度を速くするといった処理を行う。
【００５０】
図４は、本実施形態における、顔が検出されなくなった際の保持時間と遷移速度の設定動作を説明するフローチャートである。なお、ここでは位置情報と確からしさ情報と合焦状態の情報と撮像装置の動きの情報を用いているが、これら以外の情報を加味しても良い。このフローチャートは顔検出部１０７が画像信号から顔領域を検出することで開始され、顔を見失ってから保持時間が経過することによって終了する。
【００５１】
図４において、ステップＳ４０１では、制御部１１０は、顔検出部１０７から最新の顔検出結果を取得し、顔検出に成功してればステップＳ４０２へ進む。制御部１１０は、顔領域が検出されている間は、ステップＳ４０２からステップＳ４０５において、顔検出部１０７にて検出されている顔領域の位置情報、顔の確からしさを示す信頼性の情報、顔の合焦状態の情報、および、撮像装置の動きの情報を取得する。顔の合焦状態の情報とは、顔領域から抽出された焦点信号であり、撮像装置の動き情報とは、ジャイロ等で検出された撮像装置のパン、チルト動作の情報や、ズーム動作を行ったことを示すズーム情報などである。
【００５２】
制御部１１０は、顔領域が検出されなくなると、ステップＳ４０１からステップＳ４０６へ進み、最後に取得した顔の位置情報が画面の中央付近であったか、画面の端であったかを判定する。制御部１１０は、顔の位置が画面の端であればステップＳ４０７に進む。制御部１１０は、ステップＳ４０７では撮像装置の動き（パン、チルト、ズームなどの有無）を確認する。そして、所定量以上のパンやチルトやズームなどが発生しており、かつその方向が顔が画面外に出るような方向であった場合には、顔が再出現する可能性は低いと判定し、保持時間を短くして遷移速度を速く設定する。
【００５３】
制御部１１は、ステップＳ４０７で撮像装置の動きがないと判断した場合、ステップＳ４０８で顔の確からしさの情報の変化速度を確認する。画面の端で顔の確からしさ情報が急激に変化した場合、顔の構成要素が急に失われたと考えられ、顔が画角内から外れ画面外に出たものと判断される。例えば、顔が半分画面外に出た場合、顔の構成要素である目が片方だけ消滅するため、確からしさの値が急激に変化する。このことから、制御部１１０は、顔が画面外に出たと判断でき、顔が再出現する可能性は低いと判定し、ステップＳ４０９にて保持時間を短くして遷移速度を速く設定する。
【００５４】
一方、制御部１１０は、ステップＳ４０８で確からしさ情報の変化が緩やかであったり、ステップＳ４０６で顔の位置が画面中央付近であった場合には、ステップＳ４１０に進む。制御部１１０は、ステップＳ４１０では、顔のあった位置の焦点信号が、顔が検出されなくなる前後で大きく変化したかどうかを判定する。焦点信号が大きく変化していた場合、顔の前を何らかの物体が遮ったために顔が検出されなくなったと考えられる。そこで、制御部１１０はステップＳ４１１に進み、顔の再出現の可能性が高いと判定し、保持時間を長くする。ただし、保持時間が経過しても顔が再出現しない場合には、別の被写体に変わったものと判断できるため、遷移速度を速くする。
【００５５】
また、制御部１１０は、ステップＳ４１０で焦点信号が変化していない場合には、ステップＳ４１２で顔の確からしさの変化を確認する。制御部１１０は、顔の確からしさが急に変化していれば障害物が遮ったものと考えられるため、ステップＳ４１１に進んで上記と同様の処理を行う。
【００５６】
制御部１１０は、ステップＳ４１２で顔の確からしさの変化が緩やかであった場合には、正面を向いていた顔が横や後を向いたために顔が検出されなくなったと考えられる。この場合は、制御部１１０は、画角内にまだ人物は存在するため、再出現の可能性が高いと判定し、ステップＳ４１３に進んで保持時間を長くする。また、制御部１１０は、保持時間が経過してもまだ画角内に人物が存在している可能性があるため、制御間の遷移速度を遅くする。
【００５７】
このように複数の情報を考慮して顔の再出現の可能性を判定することで、顔を検出した場合に実行される第１の制御から、顔を検出しなかった場合に実行される第２の制御へ移行するまでの保持時間や、移行する際の遷移速度を変化させるような処理を行っても良い。
【００５８】
なお、顔が検出されなくなり、一旦保持時間や遷移速度を変化させた後であっても、撮像装置自体にパンやチルトやズームなどの動きが発生した場合は、撮影の対象が別の被写体に変わったものと考えられる。そのため、そのような場合は、顔の再出現の可能性が低いと判定し、保持時間を短くして遷移速度を速くしても良い。
【００５９】
また、本実施形態で顔が画面外に出たと考えられる状況において、保持時間や遷移速度を変化させた後の撮像装置自体の動きが、消えた顔を追いかける方向の動きであれば、顔の再出現の可能性が高いと判定し、保持時間を長くして遷移速度を遅くしても良い。
【００６０】
なお、顔が検出されなくなり、一旦顔保持時間や遷移速度を変化させた後であっても、保持時間が経過する前や、制御の遷移中に再度顔が出現した場合には、再び顔を検出した場合に実行される第１の制御に移行するとともに、保持時間や遷移速度は初期化する。そして、再び顔が検出されなくなった際は、その時の情報を基に再度顔の再出現の可能性を判定し、保持時間や遷移速度を変化させる。
【００６１】
さらに、顔が検出されている状態と顔が検出されない状態を頻繁に繰り返す場合、顔が検出されなくなった際の情報から得られる顔の消え方の判定を所定回数分蓄積しておく。そして、顔の消え方が毎回同様であれば、次回顔が検出されなくなった際に顔の再出現の可能性が高いと判定し、保持時間を長くし、遷移速度を遅く設定するようにしても良い。
【００６２】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2010183559.tif 000003
【図２】
2010183559.tif 000004
【図３】
2010183559.tif 000005
【図４】
2010183559.tif 000006