(57)【特許請求の範囲】
【請求項１】
動画を撮影する撮影手段と、
撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、
撮影された前記動画の撮影状態を評価して評価結果を得る状態評価手段と、
前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御手段とを備え、
前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする撮影装置。
【請求項２】
前記制御手段は、前記撮影手段の焦点および露出の少なくともいずれかを制御することを特徴とする請求項１記載の撮影装置。
【請求項３】
動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、
前記動画に図形を描画する描画手段と、
前記動画の検出された前記特徴部分に対して前記図形を描画するよう前記描画手段を制御する制御手段とを備え、
前記制御手段は、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、優先度に応じて、前記特徴部分に対する前記図形を描画するよう前記描画手段を制御するものであって、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置。
【請求項４】
前記制御手段は、最も優先度の高い前記特徴部分に対して、他の前記特徴部分と異なる前記図形を描画するよう前記描画手段を制御することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記制御手段は、前記特徴部分を囲む矩形の枠を描画するよう前記描画手段を制御することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、
前記動画の状態を評価して評価結果を得る状態評価手段と、
前記動画に対して画像処理を行う画像処理手段と、
前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理手段を制御する制御手段とを備え、
前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置。
【請求項７】
動画を撮影する撮影手段を備えた撮像装置の制御方法であって、
撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出するステップと、
撮影された前記動画の撮影状態を評価して評価結果を得る状態評価ステップと、
前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御ステップとを有し、
前記制御ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする撮影装置の制御方法。
【請求項８】
動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画の検出された前記特徴部分に対して図形を描画する画像処理装置の制御方法であって、
前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、前記優先度に応じて、前記特徴部分に対する前記図形を描画する描画ステップを有し、
前記描画ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置の制御方法。
【請求項９】
動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画に画像処理を行う画像処理装置の制御方法であって、
前記動画の状態を評価して評価結果を得る状態評価ステップと、
前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理を行う画像処理ステップとを有し、
前記画像処理ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラなどの撮影装置及び画像処理装置に関し、より具体的には、被写体を認識してカメラ制御を行う撮影装置及びその制御方法、並びに画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、撮影している画像から、顔などの注目すべき被写体を認識して、その部分にあったフォーカスや露出などのカメラ制御を行うスチルカメラや、監視用カメラなどが登場している。
【０００３】
特許文献１では、撮影画像から複数の顔を検出して、本体に登録されている人物と一致する顔があった場合、その顔を優先して顔部分に応じたフォーカスや露出の制御を行い、顔部分に枠表示を行うスチルカメラについて記述されている。
【０００４】
また、特許文献２では、撮影画像に対する複数の測距部分から、中央部分を優先してフォーカスを制御するスチルカメラについて記述されている。
【０００５】
また、特許文献３では、複数の動きベクトル検出枠で最も多く検出した動きベクトルを主要被写体のものと判断する自動追尾カメラについて記述されている。
【特許文献１】特開２００４−３２０２８７号公報
【特許文献２】特開平０７−１４０３７４号公報
【特許文献３】特開平０５−０３０４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のカメラでは、ユーザーが所望の人物の顔を撮影しているときに、他の人物が撮影範囲に入ってくると、ユーザーの期待に反して他の人物の顔にあったフォーカスや露出の制御が行われることがあった。また、ユーザーの期待に反して他の人物の顔に枠が表示されてしまうことがあった。
【０００７】
特に、スチルカメラの場合には、ユーザーがレリーズ前に所望の被写体が優先されるように操作することができるが、ビデオカメラの場合には連続して撮影を行うため、所望の人物に対するフォーカスや露出の制御が外れてしまうと、画質面で大きな問題となる。
【０００８】
特許文献１に示したスチルカメラでは、所望の被写体を判別するために、登録済みの人物の顔と一致するかを判定する処理が必要で、ハードウェアが複雑化し、ソフトウェアの処理時間が長くなってしまう問題があった。
【０００９】
また、特許文献２に示したスチルカメラでは、撮影対象の人物の後で通行人などが撮影範囲の中央を通り過ぎた場合などに、期待に反する人物が優先される問題があった。
【００１０】
また、特許文献３に示した自動追尾カメラでは、撮影対象の人物より手前で通行人などが撮影範囲を通り過ぎた場合などに、期待に反する人物が優先される問題があった。
【００１１】
本発明の目的は、検出された複数の被写体の中から、優先すべき被写体をより適切に自動選択することができる撮影装置及びその制御方法、並びに画像処理装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、請求項１記載の撮影装置は、動画を撮影する撮影手段と、撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、撮影された前記動画の撮影状態を評価して評価結果を得る状態評価手段と、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御手段とを備え、前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。 
【００１３】
請求項３記載の画像処理装置は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、前記動画に図形を描画する描画手段と、前記動画の検出された前記特徴部分に対して前記図形を描画するよう前記描画手段を制御する制御手段とを備え、前記制御手段は、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、優先度に応じて、前記特徴部分に対する前記図形を描画するよう前記描画手段を制御するものであって、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。 
【００１４】
請求項６記載の画像処理装置は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、前記動画の状態を評価して評価結果を得る状態評価手段と、前記動画に対して画像処理を行う画像処理手段と、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理手段を制御する制御手段とを備え、前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
請求項７記載の撮影装置の制御方法は、動画を撮影する撮影手段を備えた撮像装置の制御方法であって、撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出するステップと、撮影された前記動画の撮影状態を評価して評価結果を得る状態評価ステップと、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御ステップとを有し、前記制御ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
請求項８記載の画像処理装置の制御方法は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画の検出された前記特徴部分に対して図形を描画する画像処理装置の制御方法であって、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、前記優先度に応じて、前記特徴部分に対する前記図形を描画する描画ステップを有し、前記描画ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
請求項９記載の画像処理装置の制御方法は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画に画像処理を行う画像処理装置の制御方法であって、前記動画の状態を評価して評価結果を得る状態評価ステップと、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理を行う画像処理ステップとを有し、前記画像処理ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
【発明の効果】
【００１５】
請求項１記載の発明によれば、検出された複数の被写体の中から、より適切に自動選択された被写体に対して適切なカメラ制御を行うことができる。
【００１６】
請求項３記載の発明によれば、検出された複数の被写体の中から、装置がどの被写体を優先しているかを容易に知ることができる。
【００１７】
請求項６記載の発明によれば、検出された複数の被写体の中から、より適切に自動選択された被写体に対して適切な画像処理制御を行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１９】
図１は、本発明の実施の形態に係る画像撮影装置としての、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラのブロック構成図である。
【００２０】
図１において、ビデオカメラ１００は、図中の１０１〜１０５に示す制御系ブロックを備える。
【００２１】
ＣＰＵ１０１は、内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムを基に、各ブロックの制御を行う。
【００２２】
ＣＰＵ１０１は、動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、ＣＰＵ１０１に接続された操作部１０４は、ユーザーによる各種の操作レバーやボタンなどの入力をＣＰＵ１０１に伝え、ＣＰＵ１０１は、ユーザーの指示に応じて、各種処理を行うことができる。
【００２３】
また、ビデオカメラ１００は図中の１１０〜１１４に示すカメラ系ブロックを備える。
【００２４】
フォーカスレンズ１１０を通過した光は、ＣＣＤイメージセンサ（ＣＣＤ）１１３の撮像面上に結像し、撮像面の光学像が電気信号に変換される。
【００２５】
レンズドライバ１１２は、ＣＰＵ１０１の制御により、フォーカスレンズ１１０及び絞り１１１を駆動して、フォーカスと絞り量の調整を行う。ＡＦＥ１１４は、ＣＰＵ１０１に指示されたシャッター速度に基づき、ＣＣＤイメージセンサ１１３を駆動して画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００２６】
また、ビデオカメラ１００は、図中の１２０〜１２５に示す画像処理系ブロックを備える。
【００２７】
ＣＰＵ１０１の制御により、画像入力部１２０は、撮影時にはＡＦＥ１１４から、再生時にはＣＯＤＥＣ１３０から画像信号を入力し、画像処理部１２１は、バッファメモリ１２２を用いて、色変換や解像度変換といった各種の画像信号処理を行う。
【００２８】
フォーカス評価部１２３及び露出評価部１２４は、画像処理部１２１から得た画像信号に含まれる複数の領域に対して、フォーカス及び露出の状態をそれぞれ評価する。特徴検出部１２５は、バッファメモリ１２２から読み出した画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置を検出する。
【００２９】
本実施の形態では、画像に含まれる特徴部分として、人物の顔部分を検出するものとする。顔部分を検出する方法には、ニューラルネットワークやサポートベクターマシンに代表される学習を用いた方法がある。また、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングで抽出する方法がある。更に、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報に示されるように、肌の色や目の形といった画像特徴量を検出し統計的手法を用いて解析する方法などがある。
【００３０】
また、ビデオカメラ１００は、図中の１３０〜１３３に示すレコーダ系ブロックを備える。
【００３１】
撮影画像の記録時、ＣＰＵ１０１の制御により、ＣＯＤＥＣ１３０は、画像処理部１２１から得た画像信号を符号化してバッファメモリ１３１に書き出し、ディスクコントローラ１３２がその符号データをディスク１３３（ＤＶＤなどの記録媒体）に記録する。
【００３２】
逆に、記録画像の再生時には、ＣＰＵ１０１の制御により、ディスクコントローラ１３２は、ディスク１３３から読み出した符号データをバッファメモリ１３１に書き出し、ＣＯＤＥＣ１３０がそれを復号化する。
【００３３】
また、ビデオカメラ１００は、図中の１４０〜１４６に示す表示系ブロックを備える。
【００３４】
描画処理部１４０は、画像処理部１２１から得た画像信号に対して、ＣＰＵ１０１の指示に基づき描画した文字や図形などを重畳して、バッファメモリ１４１に書き出す。ＬＣＤコントローラ１４２は、バッファメモリ１４１より読み込んだ画像信号をＬＣＤ１４３に出力して表示させる。
【００３５】
また、外部出力コントローラ１４５は、バッファメモリ１４１より読み込んだ画像信号を、外部端子１４６に接続ケーブル１５０を介して接続されている外部出力装置１５１へ出力して表示させる。
【００３６】
ここで、フォーカスレンズ１１０、絞り１１１及びＣＣＤ１１３は、画像を撮影する撮影手段として機能する。
【００３７】
また、特徴検出部１２５は、撮影された画像から特徴部分を検出する特徴検出手段として機能する。動画を構成する複数フレームの画像信号から、所定周期で画像信号を受け取り、特徴部分を検出する。
【００３８】
また、フォーカス評価部１２３及び露出評価部１２４は、撮影された画像の撮影状態を評価する状態評価手段として機能する。
【００３９】
また、ＣＰＵ１０１及びレンズドライバ１１２は、特徴部分に対する撮影状態に応じて撮影手段を制御する制御手段として機能する。
【００４０】
そして、制御手段としてのＣＰＵ１０１は、特徴検出手段によって特徴部分が複数検出された場合には、検出されている時間の長い特徴部分を優先して、撮影状態に応じた撮影手段の制御を行う。
【００４１】
また、ＣＰＵ１０１は、検出されている時間の長い特徴部分を優先する際に、特徴部分の大きさと、特徴部分の中心から画像の中心までの近さのいずれか、もしくは全てを含めて特徴部分に対する優先度付けを行う。
【００４２】
また、ＣＰＵ１０１は、検出されている時間の最も長い特徴部分に応じて撮影手段を制御する。
【００４３】
状態評価手段としてのフォーカス評価部１２３は、撮影された画像の測距を行い、レンズドライバ１１２は、フォーカスレンズ１１０の焦点を制御する。
【００４４】
また、状態評価手段としての露出評価部１２４は、撮影された画像の測光を行い、レンズドライバ１１２は、絞り１１１の露出を制御する。
【００４５】
また、画像入力部１２０は、画像を入力する入力手段として機能する。
【００４６】
特徴検出部１２５は、入力された画像から特徴部分を検出する特徴検出手段として機能する。
【００４７】
また、描画処理部１４０は、入力された画像に任意の図形を描画する描画手段として機能する。
【００４８】
また、ＣＰＵ１０１は、検出された特徴部分に対して図形を描画するよう描画手段を制御する制御手段として機能する。
【００４９】
また、ＣＰＵ１０１は、特徴検出手段によって特徴部分が複数検出された場合には、検出されている時間の長さに応じて、特徴部分に対する図形を描画するよう描画手段を制御する。
【００５０】
また、ＣＰＵ１０１は、検出されている時間の最も長い特徴部分に対して、他の特徴部分と異なる図形を描画するよう描画手段を制御する。
【００５１】
また、ＣＰＵ１０１は、特徴部分を囲む矩形の枠を描画するよう描画手段を制御する。
【００５２】
また、ＣＰＵ１０１は、検出されている時間の長い特徴部分を優先する際に、特徴部分の大きさと、特徴部分の中心から前記画像の中心までの近さのいずれか、もしくは全てを含めて特徴部分に対する優先度付けを行う。
【００５３】
上記の具体的な内容については、以下、順に説明する。
【００５４】
次に、ビデオカメラ１００で複数の被写体を撮影した場合の動作について説明する。
【００５５】
（第１の実施の形態）
図２は、図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（１）。
【００５６】
出力画像２００には撮影者が撮ろうとしている人物２１０と、通行人である人物２２０とが写っている。特徴検出部１２５は、人物２１０の顔部分を特徴として、その大きさ、位置を検出している一方、人物２２０の顔部分は画像全体に対して小さいため、ここでは検出していない。
【００５７】
ＣＰＵ１０１は、ＲＡＭ１０２に被写体リストを格納しており、特徴検出部１２５の検出結果から上記被写体リストを更新する。ＣＰＵ１０１は、人物２１０の顔部分に対するフォーカス、露出の評価結果をフォーカス評価部１２３及び露出評価部１２４より得る。そして、それを基に、レンズドライバ１１２とＡＦＥ１１４とを制御してフォーカスと露出（絞り量とシャッター速度）の調整を行う。人物２１０の顔部分に対する検出枠２１１を描画し、画像信号に重畳して出力させる。 
【００５８】
図３は、図２の出力画像からある時間経過したときの出力画像の例を示す図である。
【００５９】
図２に比べて、通行人である人物２２０が右手前に移動し、顔部分も大きくなったため、特徴検出部１２５は、人物２１０の顔部分に加えて、人物２２０の顔部分の大きさと位置を新たに検出している。
【００６０】
ＣＰＵ１０１は、被写体リストを更新し、より長い時間検出されている人物２１０を優先すべき被写体と判断し、図２の例と同様に、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。
【００６１】
また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体である人物２１０の顔部分に対する検出枠３１１は実線で描画し、他の被写体である人物２２０の顔部分に対する検出枠３２１は破線で描画し、画像信号に重畳して出力させる。
【００６２】
図４は、図３の出力画像からある時間経過したときの出力画像の例を示す図である。
【００６３】
図３に比べて通行人である人物２２０がさらに右手前に移動し、顔部分は人物２１０の顔部分より大きくなっている。
【００６４】
特徴検出部１２５の検出結果に応じて、ＣＰＵ１０１は、被写体リストを更新し、図３の例と同様に、より長い時間検出されている人物２１０を優先すべき被写体と判断し、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。
【００６５】
また、図３の例と同様に、ＣＰＵ１０１は、描画処理部１４０を制御して、人物２１０及び人物２２０の顔部分に対する検出枠４１１、４２１を実線及び破線でそれぞれ描画し、画像信号に重畳して出力させる。
【００６６】
図５は、図１のビデオカメラによって実行される被写体リスト更新処理の手順を示すフローチャートである。被写体リストは、特徴検出部１２５が新たな画像信号に対して特徴抽出を実行するたびに更新処理が実施される。
【００６７】
本処理は、図１におけるＣＰＵ１０１の制御の下に実行される。
【００６８】
図６は、図１におけるＲＡＭに格納される被写体リストの例を示す図である。
【００６９】
ＲＡＭ１０２に格納される被写体リストには、被写体の位置（ｘ，ｙ）と、幅ｗと、検出している時間ｔとが登録されている。検出している時間ｔは、その被写体が検出されたフレームの数でも表すことができる。尚、本実施の形態の特徴検出部１２５は、特徴部分を含む正方形の幅ｗを、特徴部分の大きさとして検出する。
【００７０】
図５のステップＳ５０１において、ＣＰＵ１０１は、特徴検出部１２５より画像信号から検出した特徴部分の数Ｎを取得する。ステップＳ５０２において、被写体リストと照合していない特徴部分が残っている場合には、ステップＳ５０３で、ｎ番目の特徴部分の大きさと位置を取得する（ここで１≦ｎ≦Ｎであり、ｎは毎回カウントアップされる）。
【００７１】
続いて、ステップＳ５０４で、取得した大きさと位置に近いまたは同じ要素が、被写体リストに登録されているか照合を行う。該当する要素が被写体リストで見つかった場合、ステップＳ５０５で、該当要素の大きさと位置を更新し、検出時間をカウントアップする。
【００７２】
該当する要素が登録されていない場合、ステップＳ５０６で、新たに被写体リストの要素として、その大きさと位置とともに登録し、検出時間をカウントアップする。
【００７３】
ステップＳ５０２において、全ての特徴部分の照合が済んでいる場合には、ステップＳ５０７で、一定時間更新されなかった要素を削除（清掃）し、その検出時間を０にクリアする。要素を削除するまでに一定時間待つのは、対象となる被写体が余所見をしたり、別の人が前を横切ったりするなどの理由によって、たまたま被写体の特徴部分の検出に失敗した場合であっても、すぐさま要素を削除しないようにするためである。そして、本処理を終了する。
【００７４】
こうした構成によって、撮影者が撮ろうとしている人物を他の人物よりも長い時間、撮影範囲に入れて撮影すれば、その人物を撮るのに適切なカメラ制御を行うことができる。また、装置がどの人物を優先して動作しているかがＬＣＤや外部出力装置などの画面上で確認することができる。
【００７５】
（第２の実施の形態）
次に、第２の実施の形態のビデオカメラについて説明する。第２の実施の形態のビデオカメラは、第１の実施の形態のビデオカメラに比べ、ＣＰＵ１０１が優先すべき被写体を判断する方法が異なる。
【００７６】
ビデオカメラ１００で複数の被写体を撮影した場合の動作について説明する。
【００７７】
図７は、図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（２）。
【００７８】
図７において、出力画像７００には、撮影者が撮ろうとしている人物７１０と、その後を歩いている人物７２０とが写っている。特徴検出部１２５は、人物７１０の顔部分を特徴として、その大きさ、位置を検出している一方、人物７２０の顔部分は手前方向を向いていないため、ここでは検出していない。
【００７９】
ＣＰＵ１０１は、特徴検出部１２５の検出結果から被写体リストを更新する。ＣＰＵ１０１は、人物７１０の顔部分に対するフォーカス、露出の評価結果をフォーカス評価部１２３及び露出評価部１２４より得て、それを基にレンズドライバ１１２とＡＦＥ１１４とを制御してフォーカスと露出（絞り量とシャッター速度）の調整を行う。
【００８０】
また、ＣＰＵ１０１は、描画処理部１４０を制御して、人物７１０の顔部分に対する検出枠７１１を描画し、画像信号に重畳して出力させる。
【００８１】
図８は、図７の出力画像からある時間経過したときの出力画像の例を示す図である。
【００８２】
図７に比べて後を歩いている人物７２０が中央奥に移動し、顔部分が手前方向を向いたため、特徴検出部１２５は、人物７１０の顔部分に加えて、人物７２０の顔部分の大きさと位置を新たに検出している。
【００８３】
ＣＰＵ１０１は、被写体リストを更新し、検出されている時間の長さと、位置と、大きさから人物７１０を優先すべき被写体と判断し、図７の例と同様に、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。
【００８４】
また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体である人物７１０の顔部分に対する検出枠８１１は実線で描画し、他の被写体である人物７２０の顔部分に対する検出枠８２１は破線で描画し、画像信号に重畳して出力させる。
【００８５】
図９は、図８の出力画像からある時間経過したときの出力画像の例を示す図である。
【００８６】
図８に比べて後を歩いていた人物７２０が撮影者に向かって手前方向に移動し、顔部分は人物７１０の顔部分より大きくなっている。
【００８７】
ここで、撮影者は人物７１０に代わって、人物７２０を主たる被写体として撮ろうとしているため、人物７２０が画像中心に大きく入ってきても、そのままの位置で撮り続けているものとする。
【００８８】
特徴検出部１２５の検出結果に応じて、ＣＰＵ１０１は、被写体リストを更新し、検出されている時間の長さと、位置と、大きさから、今度は人物７２０を優先すべき被写体と判断する。そして、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。
【００８９】
また、ＣＰＵ１０１は、描画処理部１４０を制御して、人物７２０及び人物７１０の顔部分に対する検出枠９２１、９１１を実線及び破線でそれぞれ描画し、画像信号に重畳して出力させる。
【００９０】
ここで、図１０、図１１、図１２は、ＣＰＵ１０１が優先すべき被写体を判断する際に、被写体の距離、大きさ、検出している時間の長さを考慮する割合を点数で示したグラフである。
【００９１】
図１０において、横軸は被写体の位置（ｘ，ｙ）と、画像の中心（Ｘ０，Ｙ０）との距離ｄを示し、縦軸は点数ｐを示す。被写体の位置が画像の中心に近いほど点数は高く、画像の中心から最も遠い距離Ｄｍａｘに近づくと急峻に点数が低くなって０に至る。
【００９２】
図９に示した人物７１０の顔画像と、画像の中心との距離をＤ１とすると、その点数はＰｄ１となり、人物７２０の顔画像と、画像の中心との距離をＤ２とすると、その点数はＰｄ２となる。
【００９３】
図１１において、横軸は被写体の幅ｗを示し、縦軸は点数ｐを示す。特徴検出部１２５が検出できる最も小さい特徴部分の幅Ｗｍｉｎでも点数は付き、検出できる最も大きい特徴部分の幅Ｗｍａｘまで幅が大きくなるほど点数は高くなる。
【００９４】
図９に示した人物７１０の顔画像を含む正方形を幅Ｗ１とすると、その点数はＰｗ１となり、人物７２０の顔画像を含む正方形を幅Ｗ２とすると、その点数はＰｗ２となる。
【００９５】
図１２において、横軸は被写体を検出している時間ｔを示し、縦軸は点数ｐを示す。閾値である時間Ｔｍｉｎまでは点数が０のままで、それを越えて被写体が検出され続けると徐々に点数が増える。時間Ｔｍａｘに近づくと点数の増加が抑えられ、Ｔｍａｘに至ると被写体に対する時間のカウントアップは停止され、それ以上点数は増えない。
【００９６】
図９に示した人物７１０の検出時間をＴ１とすると、その点数はＰｔ１となり、人物７２０の検出時間をＴ２とすると、その点数はＰｔ２となる。
【００９７】
図９では、人物７１０の合計点数Ｐｄ１＋Ｐｗ１＋Ｐｔ１に比べて、人物７２０の合計点数Ｐｄ２＋Ｐｗ２＋Ｐｔ２が高くなるので、ＣＰＵ１０１は人物７２０を優先すべき被写体と判断する。
【００９８】
こうした構成によって、撮影者が撮ろうとしている人物が、より長い時間、より大きく、より中心に近く撮影されていれば、それらの要素を総合的に判断して、所望の人物を撮るのに適切なカメラ制御を行うことができる。また、装置がどの人物を優先して動作しているかがＬＣＤや外部出力装置などの画面上で確認することができる。
【００９９】
以上のように、上述した各実施の形態によれば、特徴部分が検出されている時間を考慮して優先すべき被写体を判断しているため、所望の被写体をより適切に自動選択してカメラ制御を行うことができる。
【０１００】
また、特徴部分が検出されている時間を考慮して優先すべき被写体を判断するという構成は、カメラ制御だけでなく、画像信号の再生時にも応用することができる。例えば、優先すべき被写体の輝度値や色信号の状態を評価し、この評価した値が最適値となるように画像信号に輝度補正や色補正等を施したり、その被写体が写っている画像信号を基にインデックス画像を生成したりする画像処理を行うこともできる。
【０１０１】
そして、画像信号の再生時に応用するのであれば、本発明はカメラ以外であっても、画像処理機能を備えたパーソナルコンピュータにも適用することが可能である。また、複数の機器（例えば、画像処理装置を構成するホストコンピュータやインターフェイス機器など）から構成されるシステムに適用することもできる。
【０１０２】
なお、上述した実施の形態では、被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用可能である。
【０１０３】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、ハードディスク、ＲＯＭ、ＲＡＭ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施の形態に係る画像撮影装置としての、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラのブロック構成図である。
【図２】図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（１）。
【図３】図２の出力画像からある時間経過したときの出力画像の例を示す図である。
【図４】図３の出力画像からある時間経過したときの出力画像の例を示す図である。
【図５】図１のビデオカメラによって実行される被写体リスト更新処理の手順を示すフローチャートである。
【図６】図１におけるＲＡＭに格納される被写体リストの例を示す図である。
【図７】図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（２）。
【図８】図７の出力画像からある時間経過したときの出力画像の例を示す図である。
【図９】図８の出力画像からある時間経過したときの出力画像の例を示す図である。
【図１０】図１のビデオカメラにおける被写体の距離に対する点数を示すグラフである。
【図１１】図１のビデオカメラにおける被写体の幅に対する点数を示すグラフである。
【図１２】図１のビデオカメラにおける被写体の検出時間に対する点数を示すグラフである。
【符号の説明】
【０１０６】
１００  ビデオカメラ
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＯＭ
１０４  操作部
１１０  フォーカスレンズ
１１１  絞り
１１２  レンズドライバ
１１３  ＣＣＤ
１２０  画像入力部
１２２  バッファメモリ
１２３  フォーカス評価部
１２４  露出評価部
１２５  特徴検出部
１４０  描画処理部
【図１】
0005137622.tif 000002
【図２】
0005137622.tif 000003
【図３】
0005137622.tif 000004
【図４】
0005137622.tif 000005
【図５】
0005137622.tif 000006
【図６】
0005137622.tif 000007
【図７】
0005137622.tif 000008
【図８】
0005137622.tif 000009
【図９】
0005137622.tif 000010
【図１０】
0005137622.tif 000011
【図１１】
0005137622.tif 000012
【図１２】
0005137622.tif 000013