(57)【特許請求の範囲】
【請求項１】
撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段と、
前記撮像手段によって生成された前記撮像信号から撮影画面内の予め決められた特徴を有する被写体を検出する被写体検出手段と、
前記予め決められた特徴を有する被写体を優先させて焦点調節をする第１のＡＦモードと、前記予め決められた特徴を有する被写体だけに焦点調節をする前記第２のＡＦモードとを設定する設定手段と、
前記被写体検出手段により検出された被写体から主被写体を選択すると共に、主被写体が撮影画面内に存在しなくなった場合に、撮影画面内に存在する他の被写体から主被写体を新たに選択する主被写体選択手段と、
前記主被写体選択手段により選択された主被写体に対する合焦状態を検出する焦点検出手段と、
前記焦点検出手段により検出された合焦状態から焦点調節動作を実行する焦点調節手段と、
前記第２のＡＦモードにおいては、前記予め決められた特徴を有する被写体が複数検出されている状態で、前記主被写体が撮影画面内に存在しなくなった場合に、前記第１のＡＦモードの場合よりも長い所定の時間が経過するまで前記主被写体選択手段による新たな主被写体の選択を禁止する制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１のＡＦモードにおいては、前記予め決められた特徴を有する被写体が複数検出されている状態で、前記主被写体が撮影画面内に存在しなくなった場合にただちに前記主被写体選択手段による新たな主被写体の選択を行うように制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体検出手段により検出された被写体から主被写体を選択するための撮影者の操作を受け付ける操作手段を更に有し、
前記制御手段は、前記操作手段によって主被写体が選択された場合、前記主被写体選択手段による新たな主被写体の選択の禁止を解除することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記主被写体が撮影画面内に存在しなくなった場合に、前記制御手段は、前記被写体検出手段により検出された被写体の中に、前記撮影画面内に存在しなくなった主被写体と同じ被写体が再び現れたか否かを判定し、
前記同じ被写体が現れたと判定された場合は、前記主被写体選択手段による新たな主被写体の選択の禁止を解除することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記撮影画面内に存在しなくなった主被写体と他の被写体の大きさ、位置、もしくは特徴の類似度とを比較し、当該大きさ、位置、もしくは類似度の差が所定の差未満である場合に、前記撮影画面内に存在しなくなった主被写体と同じ被写体が再び現れたと判定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像装置のズーム操作もしくはパンニングを検出する検出手段を更に有し、
前記制御手段は、前記主被写体が撮影画面内に存在しなくなり、他の被写体が存在している場合に、前記撮像装置のズームもしくはパンニングが検出されたならば、前記主被写体選択手段による新たな主被写体の選択の禁止を解除することを特徴とする請求項１又は２に記載の撮像装置。
【請求項７】
前記被写体検出手段により検出された被写体の画像に重畳して、当該被写体を取り囲む枠を表示する枠表示手段を更に有し、
前記枠表示手段は、前記主被写体選択手段により選択された主被写体と他の被写体との間で種類の異なる枠を表示することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段によって生成された前記撮像信号から撮影画面内の予め決められた特徴を有する被写体を検出する被写体検出工程と、
前記予め決められた特徴を有する被写体を優先させて焦点調節をする第１のＡＦモードと、前記予め決められた特徴を有する被写体だけに焦点調節をする前記第２のＡＦモードとを設定する設定工程と、
前記被写体検出工程により検出された被写体から主被写体を選択すると共に、主被写体が撮影画面内に存在しなくなった場合に、撮影画面内に存在する他の被写体から主被写体を新たに選択する主被写体選択工程と、
前記主被写体選択工程により選択された主被写体に対する合焦状態を検出する焦点検出工程と、
前記焦点検出工程により検出された合焦状態から焦点調節動作を実行する焦点調節工程と、
前記第２のＡＦモードにおいては、前記予め決められた特徴を有する被写体が複数検出されている状態で、前記主被写体が撮影画面内に存在しなくなった場合に、前記第１のＡＦモードの場合よりも長い所定の時間が経過するまで前記主被写体選択工程による新たな主被写体の選択を禁止する制御工程と、を有することを特徴とする制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置におけるオートフォーカス制御に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置には、予め設定された条件を有する被写体（例えば、顔）を検出する機能を備え、その検出結果を利用して被写体にオートフォーカス（以下、ＡＦ）制御を実行するものがある。また、例えば、撮影画像中に複数の顔が検出された場合には顔の大きさや位置から優先順位を付与し、最も優先順位の高い顔（主顔）の位置にフォーカス枠を自動的に設定するデジタルカメラがある。このようにすることで、簡単に被写体の顔にフォーカスを合わせて撮影することができる。
【０００３】
また、一時的に被写体を検出できなくなってしまった場合に、すぐに被写体を検出したことを示す枠を消してしまうと見栄えが悪いため、被写体を見失っても暫くは被写体を検出したことを示す枠を表示するものが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０４４４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記顔検出機能を利用した焦点検出は、認識された顔（主被写体）に対してピント合わせを行うが、主被写体が画面上から存在しなくなった（フレームアウトした）場合等、主被写体が認識されない場合も存在する。そこで、主被写体が認識されない場合には、画面内に存在する他の被写体に対してピント合わせを行うことが考えられるが、映画やドラマ等の映像作品を制作するプロカメラマン等が撮影した映像を編集する場合、編集カット点は画像の動きのないシーンにしたい。例えば、意図的に主被写体がフレームアウトするシーンを撮影したい場合に、認識された主被写体に追従していたピント面が、主被写体がフレームアウトし、すぐに他の被写体にピント面が動いてしまうと、編集時にカットしにくい映像になってしまう。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、画面内に複数の被写体が存在している場合に主被写体が画面から消失しても、主被写体がすぐに他の被写体に切り替わらないＡＦ制御技術を実現することである。
【課題を解決するための手段】
【０００７】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段と、前記撮像手段によって生成された前記撮像信号から撮影画面内の予め決められた特徴を有する被写体を検出する被写体検出手段と、前記予め決められた特徴を有する被写体を優先させて焦点調節をする第１のＡＦモードと、前記予め決められた特徴を有する被写体だけに焦点調節をする前記第２のＡＦモードとを設定する設定手段と、前記被写体検出手段により検出された被写体から主被写体を選択すると共に、主被写体が撮影画面内に存在しなくなった場合に、撮影画面内に存在する他の被写体から主被写体を新たに選択する主被写体選択手段と、前記主被写体選択手段により選択された主被写体に対する合焦状態を検出する焦点検出手段と、前記焦点検出手段により検出された合焦状態から焦点調節動作を実行する焦点調節手段と、前記第２のＡＦモードにおいては、前記予め決められた特徴を有する被写体が複数検出されている状態で、前記主被写体が撮影画面内に存在しなくなった場合に、前記第１のＡＦモードの場合よりも長い所定の時間が経過するまで前記主被写体選択手段による新たな主被写体の選択を禁止する制御手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、画面内に複数の被写体が存在している場合に主被写体が画面から消失しても、主被写体がすぐに他の被写体に切り替わらないので、撮影者が編集しやすい画像を撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の構成を示すブロック図。
【図２】実施形態１の撮影動作を示すフローチャート。
【図３】実施形態１の顔枠処理を示すフローチャート。
【図４】実施形態１の主顔選択処理を示すフローチャート。
【図５】実施形態１の顔枠表示処理を示すフローチャート。
【図６】顔優先ＡＦモード時における表示部での顔枠表示例を示す図。
【図７】顔だけＡＦモード時における表示部での顔枠表示例を示す図。
【図８】顔だけＡＦモード時における表示部での顔枠表示例を示す図。
【図９】実施形態２の顔枠表示処理を示すフローチャート。
【図１０】顔だけＡＦモード時における表示部での顔枠表示例を示す図。
【図１１】顔だけＡＦモード時における表示部での顔枠表示例を示す図。
【図１２】実施形態１の変形例の顔選択処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１１】
［実施形態１］以下、本発明の撮像装置をデジタルビデオカメラに適用した例を説明するが、これに限られず、デジタルスチルカメラ等に適用しても良い。
【００１２】
＜装置構成＞まず、図１を参照して、本実施形態のビデオカメラの主要な構成について説明する。
【００１３】
図１において、１１１は第１の固定レンズ群、１１２は光軸方向に移動して変倍を行い、焦点距離を可変な変倍レンズ、１１３は絞りである。また、１１４は第２の固定レンズ群、１１５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、フォーカスレンズと略称する）である。第１の固定レンズ群１１１、変倍レンズ１１２、絞り１１３、第２の固定レンズ群１１４及びフォーカスレンズ１１５により撮影光学系１１が構成される。
【００１４】
システム制御部１４は、ビデオカメラ全体の動作を統括して制御し、操作部１３４からの入力に応じて所定の制御プログラムに従って各部を制御する。
【００１５】
バス１５を介して接続されたＲＯＭ１６７には、システム制御部１４が実行する制御プログラム及び制御に必要な各種データ等が格納されている。フラッシュＲＯＭ１６８には、ユーザ設定情報等のビデオカメラ１０の動作に関する各種設定情報等が格納されている。
【００１６】
ＳＤＲＡＭ１６６は、システム制御部１４のワークエリアとして使用されると共に、画像データの一時記憶領域として使用される。
【００１７】
変倍レンズ１１２は、ズーム駆動部１３１に駆動されて光軸に沿って前後移動する。フォーカスレンズ１１５は、フォーカシング駆動部１３３に駆動されて光軸に沿って前後移動する。
【００１８】
システム制御部１４は、ズーム駆動部１３１とフォーカシング駆動部１３３を制御することにより、変倍レンズ１１２の位置とフォーカスレンズ１１５の位置を制御し、撮影光学系１１のズーミングとフォーカシングを行う。
【００１９】
絞り１１３は、例えば、アイリス絞りで構成されており、絞り駆動部１３２に駆動されて動作する。システム制御部１４は、絞り駆動部１３２を制御することにより、絞り１１３の開口量（絞り値）を制御し、撮像素子１２１への入射光量を制御する。
【００２０】
撮像素子１２１は、撮影光学系１１を介して入射した被写体像を光電変換して撮像信号を生成するＣＭＯＳセンサやＣＣＤセンサからなる。撮影光学系１１によって撮像素子１２１の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、システム制御部１４の指令に従ってタイミングジェネレータ（ＴＧ）１２３から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１２１から順次読み出される。
【００２１】
なお、本実施形態では、撮像素子１２１としてＣＭＯＳセンサを用いているが、ＣＣＤセンサ等の他の構成の撮像素子を用いることもできる。
【００２２】
ＣＳＤ／ＡＧＣ回路１２２は、撮像素子１２１から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング処理を行うＣＤＳ回路と、撮像素子１２１から出力される画像信号を増幅し、一定レベルの大きさにコントロールするＡＧＣ回路とを有する。
【００２３】
画像入力コントローラ１２４は、ＣＳＤ／ＡＧＣ回路１２２から出力された画像信号を取り込んでＳＤＲＡＭ１６６に格納する。
【００２４】
信号処理部１２５は、システム制御部１４からの指令に従いＳＤＲＡＭ１６６に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。
【００２５】
被写体領域検出部１２６は、画像信号に対して被写体検出処理を実行し、撮影画面内の被写体領域を特定し、その検出結果をシステム制御部１４に送出する。システム制御部１４は、ＡＦ検出部１６５に上記検出結果を送出し、ＡＦ検出部１６５は、撮影画面内の被写体領域を含む位置を焦点検出に利用される領域（焦点検出エリア）として設定する。次に、ＡＦ検出部１６５は、設定した焦点検出エリアの合焦度合いを計算し、システム制御部１４に送出する。システム制御部１４は、焦点調節動作として、ＡＦ検出部１６５から入力した合焦度合い（合焦状態）に応じてフォーカシング駆動部１３３を制御し、フォーカシング駆動部１３３はフォーカスレンズ１１５を制御する。
【００２６】
ここで、上述した被写体検出処理の一例として顔検出機能が挙げられる。顔検出機能によって検出された撮影画面内の顔に対してＡＦ制御を行う顔優先ＡＦモード時等に利用される。
【００２７】
ここで、顔検出機能について説明する。
【００２８】
システム制御部１４は、顔検出対象の画像データを信号処理部１２５に送る。信号処理部１２５は当該画像データを被写体領域検出部１２６に送り、被写体領域検出部１２６は、当該画像データに水平方向バンドパスフィルタを作用させる。また、被写体領域検出部１２６は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データのエッジ成分が検出される。
【００２９】
その後、信号処理部１２５は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補を抽出する。そして、信号処理部１２５は、抽出された目の候補群の中から、予め設定された条件（例えば、２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、信号処理部１２５は絞り込まれた目の候補群とそれに対応する顔を形成するほかのパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。信号処理部１２５は顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をＳＤＲＡＭ１６６に記録する。
【００３０】
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、動物やボール等、非顔の特徴検出等の様々な情報がある。
【００３１】
また、全ての顔を検出するのではなく、予め登録した顔の特徴量に当てはまるものを被写体として検出するシステムや、撮影者がタッチパネル等の操作部１３４から指定した特長量を分析し、検出を行うシステムでも良い。
【００３２】
＜画像表示処理＞次に、図２乃至図９を参照して、ビデオカメラ１０による画像表示処理について説明する。以下に説明するフローチャートは、システム制御部１４がＲＯＭ１６７に格納されたプログラムをＳＤＲＡＭ１６６のワークエリアに展開し、例えば１フィールド画像を生成するための撮像素子１２１からの撮像信号の読み出し周期にて繰り返し実行される。
【００３３】
図２は、実施形態１のビデオカメラによる画像表示処理を示すフローチャートである。
【００３４】
図示しない電源ボタンが操作されてビデオカメラ１０に電源が投入されて起動が完了すると、ステップＳ１において、システム制御部１４は、ＴＧ１２３にタイミング信号生成の指令を出力し、その指令に従って撮像素子１２１から順次画像信号が読み出される。
【００３５】
画像信号の読み出しが終わると、ステップＳ２に移行し、システム制御部１４はバス１５を介してフラッシュＲＯＭ１６８から各種設定情報を読み出し、読み出した各種設定情報の中から顔検出を行うモードなのか否かを判定する。顔検出を行うモードであった場合はステップＳ３の顔枠処理に移行し、顔検出を行わないモードの場合はステップＳ４に移行する。
【００３６】
ステップＳ３では、ステップＳ１にて読み出された画像データから被写体として顔を検出する。更に、検出した顔の情報を基に顔枠（すなわち、被写体を示す領域表示）を設定し、設定した顔枠を画像データに重畳表示する顔枠処理を行う。なお、顔枠処理の詳細については図３乃至図５を用いて後述する。
【００３７】
ステップＳ４では、ステップＳ１にて読み出された画像データに対して、ステップＳ３にて生成された顔枠情報を表示制御部１６３が重畳して表示部１６４に表示する。
【００３８】
＜顔枠処理＞次に、図３を参照して、図２のステップＳ３での顔枠処理について説明する。図３は、図２のステップＳ３での顔枠処理を示すフローチャートである。
【００３９】
ステップＳ３１では、ステップＳ１において読み出した画像データから被写体の顔を検出する顔検出処理い、ステップＳ３２に移行する。ステップＳ３１において、システム制御部１４は、信号処理部１２５を介して被写体領域検出部１２６に画像データを送出する。被写体領域検出部１２６は画像データから被写体の顔を検出し、検出した全ての顔について、顔の領域の位置やサイズ、角度、顔の確からしさ、顔の数、その他の顔の特徴量等の顔情報を、ＳＤＲＡＭ１６６に記録する。
【００４０】
ステップＳ３２において、システム制御部１４は、ＳＤＲＡＭ１６６に記録されている顔情報から、検出した顔の中から主被写体とする顔を選択して主顔とする主顔選択処理を行う。この主顔選択処理が本発明の主被写体選択手段を構成する。なお、主顔選択処理の詳細については図４を用いて後述する。
【００４１】
ステップＳ３３において、システム制御部１４は、表示部１６４に表示されている画像に対して、ステップＳ３２で選択した主顔の領域を示す顔枠（以下、主顔枠と略称する）や、主顔以外の領域を示す顔枠（以下、非主顔枠と略称する）を重ねて表示する。ここでは、例えば図６（ａ）に示すように、主顔枠４００及び非主顔枠４０１が顔領域に重ねて表示される。なお、顔枠表示処理の詳細については図５を用いて後述する。
【００４２】
＜主顔選択処理＞次に、図４を参照して、図３のステップＳ３２での主顔選択処理について説明する。
【００４３】
ステップＳ３２１において、システム制御部１４は、ステップＳ３１で顔が検出されたか否かを判定し、検出されていない場合はステップＳ３２２に移行し、検出された場合はステップＳ３２３に移行する。
【００４４】
ステップＳ３２２では、システム制御部１４は、ＳＤＲＡＭ１６６に記録されている内部顔情報をクリアして主顔選択処理を終了する。ここで、内部顔情報とは、システム制御部１４が保持、管理している顔情報であり、ステップ３１で検出された顔情報によって更新されるデータである。内部顔情報はＳＤＲＡＭ１６６に記録されている。主顔とは、ステップＳ３２５で後述する内部主顔強制選択処理とステップＳ３２７で後述する内部主顔自動選択処理において、システム制御部１４によって内部顔情報の中から主な被写体であると判定された顔情報のことである。
【００４５】
一方、ステップＳ３２３では、ステップＳ３２１にて顔が検出された場合、システム制御部１４がＳＤＲＡＭ１６６から顔の数を読み出し、検出された顔が１人なのか、それとも複数検出されたのかを判定する。検出された顔が複数の場合はステップＳ３２４に移行し、検出された顔が１人の場合はステップＳ３２９に移行する。
【００４６】
ステップＳ３２４では、システム制御部１４は、撮影者から操作部１３４を介してシステム制御部１４に主顔切替え指示が入力されたか否かを判定する。システム制御部１４が撮影者から主顔切替え指示を受け付けた場合はステップＳ３２５に移行し、主顔切替え指示を受けていない場合はステップＳ３２７に移行する。
【００４７】
ステップＳ３２５では、撮影者が操作部１３４を介して指定した顔を内部主顔とするため、システム制御部１４は指定された顔の領域の位置やサイズを内部主顔情報として保持する。
【００４８】
ステップＳ３２６では、システム制御部１４はステップＳ３２５で保持した内部主顔情報を含む内部顔情報をＳＤＲＡＭ１６６に書き込み、処理を終了する。
【００４９】
一方、システム制御部１４が主顔切替え指示を受けていない場合（Ｓ３２４）、ステップＳ３２７にて、内部主顔自動選択処理を行う。
【００５０】
ステップＳ３２７では、システム制御部１４は、検出された全ての顔の顔情報をＳＤＲＡＭ１６６から読み出す。そして、それぞれの顔の領域の位置やサイズ、角度、確からしさ、又は、その他の顔の特徴量の情報のうち少なくとも１つの情報を用いて内部主顔を決定し、内部主顔情報として保持する。
【００５１】
ステップＳ３２８では、システム制御部１４はステップＳ３２７で保持した内部主顔情報を含む内部顔情報をＳＤＲＡＭ１６６に書き込み、処理を終了する。
【００５２】
ステップＳ３２９では、システム制御部１４は、検出したただ１つの顔情報が内部主顔であるとして、ＳＤＲＡＭ１６６に記録されている内部主顔情報を、新しく検出した顔情報で上書きし、処理を終了する。
【００５３】
＜顔枠表示処理＞次に、図５を参照して、図３のステップＳ３３での顔枠表示処理について説明する。
【００５４】
システム制御部１４は、フラッシュＲＯＭ１６８からモード設定情報を読み出し、ステップＳ３３１にて顔だけＡＦモードか否かを判定する。顔だけＡＦモードである場合はステップＳ３３４に移行し、顔だけＡＦモードではない（以下、顔優先ＡＦモード）場合は、ステップＳ３３２に移行する。なお、この顔優先ＡＦモードが本発明の第１の焦点調節モード、顔だけＡＦモードが第２の焦点調節モードに対応する。
【００５５】
ステップＳ３３２では、システム制御部１４は、ＳＤＲＡＭ１６６に記録されている内部顔情報を読み出し、ＳＤＲＡＭ１６６の表示顔情報を記録する領域に上書きする。ここで、表示顔情報とは、ステップＳ１にて読み出した画像データに対して表示制御部１６３が顔枠を重畳して、表示部１６４に表示する顔情報である。但し、主顔以外の非主顔に関しては、システム制御部１４は内部顔情報の全てを表示顔情報として記録しても良いし、内部主顔情報を含む内部顔情報の一部を表示顔情報として記録しても良い。
【００５６】
ステップＳ３３３では、システム制御部１４はＳＤＲＡＭ１６６から表示顔情報を読み出し、表示制御部１６３に送出する。表示制御部１６３はシステム制御部１４から入力した表示顔情報から、顔枠データを生成し、画像データに顔枠データを重畳して表示部１６４に表示する。主顔に関しては、主顔であることがわかるように、非主顔と異なる表示を行う（図６（ａ）参照）。図６（ａ）では、主顔枠４００を非主顔枠４０１に比べて太い線で表示している。
【００５７】
ここで、図４のステップＳ３２１〜Ｓ３２８において、主顔とされていた被写体が画面内から消失し、内部主顔が切り替わったと仮定する。その場合、図６（ａ）の状態から図６（ｂ）の状態に遷移する。また、主顔枠を基準としてＡＦ制御を行っている場合、ＡＦ検出部１６５は、焦点検出エリアの合焦度合いが低下したことを検出してシステム制御部１４に通知する。システム制御部１４はＡＦ検出部１６５からの通知を受けて、フォーカシング駆動部１３３にフォーカスレンズ１１５を駆動する指示を送出する。ここではフォーカシングの説明は省略する。
【００５８】
ステップＳ３３１において、顔だけＡＦモードであると判定された場合はステップＳ３３４に移行する。
【００５９】
ステップＳ３３４では、システム制御部１４は主顔選択禁止モード中か否かを判定する。主顔選択禁止モード中でなければステップＳ３３５に移行し、主顔選択禁止モード中であればステップＳ３４２に移行する。ここで主顔切替えカウントはＳＤＲＡＭ１６６に記録されており、電源投入直後かモード切替後に０に初期化される値とする。また、ここではカウントが０から１，２，３・・・とカウントアップされていく方式としたが、初期値をある所定の値に設定して、そこからカウントダウンしていき、ある閾値を下回った時をトリガとして以降の処理を切り替えても良い。
【００６０】
ステップＳ３３５では、システム制御部１４はＳＤＲＡＭ１６６から内部主顔情報と表示主顔情報を読み出し、それぞれの主顔情報の位置やサイズ、顔の角度、顔の特徴量の差を比較する。具体的には、顔の位置の差（例えば、ｘ座標とｙ座標の差の合計）が、表示主顔のサイズ以内である場合を同じ顔であるとする。また、内部主顔のサイズが表示主顔の１．５倍以内の大きさ、又は半分以内の大きさの場合を同じ顔であるとする。さらに、内部主顔の顔の角度と表示主顔の顔の角度の差が４５度以内の場合は同じ顔であるとすることもできる。さらにまた、両目の幅や目の位置に対する口の位置の特徴などの特徴量を数値化して、その数値の差が所定の差未満である場合に同じ顔であるとすることもできる。さらに上述のように求めたそれぞれの数値の和が所定量以内である場合に同じ顔であるとして、総合的に類似度を判断することもできる。以下、上記比較を行うことを「相関を取る」と表現し、相関を取った結果、同一の顔であると判断できる状態のことを「相関がある」と表現する。
【００６１】
上記比較の結果、表示主顔と内部主顔が同一と判定された場合は、ステップＳ３３６に移行し、異なると判定された場合はステップＳ３４１に移行する。
【００６２】
ここで、表示主顔と内部主顔が同一であるか否かを判定する方法は、ＳＤＲＡＭ１６６に記録されている表示顔情報と、図４で更新した内部主顔情報の位置情報とサイズ情報等から相関を取り、相関がある場合は同一の顔であると判定する。
【００６３】
ステップＳ３３６では、システム制御部１４は、ＳＤＲＡＭ１６６から表示顔情報と内部顔情報を読み出し、表示主顔情報が消失したか否かを判定する。表示主顔が消失した場合はステップＳ３３７に移行し、消失していない場合はステップＳ３４１に移行する。なお、システム制御部１４がＳＤＲＡＭ１６６から読み出した表示主顔情報がクリアされている場合は、表示主顔は消失したのではなく、元々存在していなかったと判定できるので、ステップＳ３３７に移行する。一方、表示主顔情報がクリアされておらず、表示主顔情報と内部顔情報の相関を取った結果、内部顔情報の全てのデータと相関が取れなかった場合、表示主顔は消失したと判定してステップＳ３４１に移行する。
【００６４】
ステップＳ３３７では、撮影者から操作部１３４を介してシステム制御部１４に主顔切替え指示が入力されたか否かを判定する。システム制御部１４が主顔切替え指示を受け付けた場合はステップＳ３４１に移行し、主顔切替え指示を受けていない場合はステップＳ３３８に移行する。
【００６５】
ステップＳ３３８では、システム制御部１４は、ＳＤＲＡＭ１６６に記録されている表示主顔情報をクリアし、ステップＳ３３９に移行する。この処理により、表示顔情報が複数ある場合でも表示主顔情報が存在しない状態となる。
【００６６】
ステップＳ３３９ではて、システム制御部１４は表示主顔情報が存在しない状態を所定期間継続させるために、ＳＤＲＡＭ１６６の主顔切替えカウントを記録する領域の数値をカウントアップして、ステップＳ３４０に移行する。
【００６７】
ステップＳ３４０では、システム制御部１４はフラッシュＲＯＭ１６８に保持されている設定情報に主顔選択禁止モードである旨を書き込んで、ステップＳ３３３に移行する。
【００６８】
ステップＳ３３３では、システム制御部１４はＳＤＲＡＭ１６６から表示顔情報を読み出し、表示制御部１６３に送出する。表示顔枠情報を受信した表示制御部１６３は、システム制御部１４が読み出した画像データに顔枠データを重畳して表示部１６４に表示するが、表示制御部１６３が入力した表示顔枠情報のうち表示主顔情報はクリアされている。表示制御部１６３は主顔の顔枠は生成せずに、非主顔の顔枠のみ生成するので、図７（ｂ）に示すように、主顔の顔枠が存在せず、非主顔枠４０１だけが表示される。
【００６９】
一方、表示主顔と内部主顔が同一（Ｓ３３５）、又は、表示主顔が消失していない（Ｓ３３６）、又は、主顔切替え指示があった場合（Ｓ３３７）、システム制御部１４は、表示顔情報を内部顔情報で更新してステップＳ３３３に移行する（Ｓ３４１）。
【００７０】
次に、ステップＳ３４２では、システム制御部１４は、ＳＤＲＡＭ１６６から主顔切替えカウント値を読み出し、また、フラッシュＲＯＭ１６８から主顔切替えカウント閾値を読み出して比較する。主顔切替えカウント値が主顔切替えカウント閾値を超えている場合はステップＳ３４５に移行し、超えていない場合はステップＳ３４３に移行する。ここでは、仮に主顔切替えカウント閾値を３００とする。これは、ビデオカメラ１０が１秒につき３０フレームで動作していると仮定し、また、図２の処理が１フレームにつき１回実行されると仮定すると、１０秒経過することを意味する。
【００７１】
しかしながら、本発明はこれに限るものではなく、主顔切替えカウント値と比較する閾値は任意に設定することが可能である。また、閾値を撮影者が設定できるように構成しても良い。
【００７２】
ステップＳ３４３では、撮影者から操作部１３４を介してシステム制御部１４に主顔切替え指示が入力されたか否かを判定する。システム制御部１４が主顔切替え指示を受け付けた場合はステップＳ３４５に移行し、主顔切替え指示を受けていない場合はステップＳ３４４に移行する。
【００７３】
ステップＳ３４４では、現在の表示主顔が消失中であるので、システム制御部１４はＳＤＲＡＭ１６６の主顔切替えカウント値をカウントアップして、ステップＳ３３３に移行する。
【００７４】
一方、ステップＳ３４５では、システム制御部１４が撮影者からの主顔切替え指示を受付けているので、表示顔情報を内部顔情報で更新してステップＳ３４６に移行する。
【００７５】
その後、ステップＳ３３３では、表示主顔情報はクリアされたままなので、表示部１６４には図７（ｂ）のように表示される。また、主顔枠を基準として焦点を合わせる場合、焦点を合わせるべき合焦検出エリアが存在しないので、ＡＦ検出部１６５は動作しない。
【００７６】
ステップＳ３４６では、システム制御部１４はＳＤＲＡＭ１６６内の主顔切替えカウントをクリアして、ステップＳ３４７に移行する。
【００７７】
ステップＳ３４７では、システム制御部１４はフラッシュＲＯＭ１６８の設定情報に、主顔選択禁止モードを解除する旨の情報を書き込んで、ステップＳ３３３に移行する。
【００７８】
以上の処理が終了し、再びステップＳ３３３で顔枠描画処理が実行された時は、表示主顔が存在するため、表示部１６４の表示は図７（ｃ）のようになる。
【００７９】
上記処理を繰り返し実行することにより、画像の被写体の顔部分に顔枠を重畳表示し続けると共に、顔だけＡＦモード設定中に被写体が複数検出されている状況で、主被写体が検出できなくなっても、他の被写体が主被写体に切り替わることを防ぐことができる。これによって、編集しやすい映像を撮影することが可能となる。
【００８０】
以上の説明では、ステップＳ３２にて内部主顔を決定し、ステップＳ３３にて表示顔情報を内部顔情報で更新するか否かを判定したが、他の方法として、内部主顔を顔だけＡＦモード時と顔優先ＡＦモード時とで分けて処理することも考えられる。以下では、図１２を用いて他の主顔選択処理について説明する。
【００８１】
以下の説明では、上記の説明と異なる処理のみを説明するため、図１２において、図４又は図５の処理と同様の場合は同じ番号を付し、特に必要な場合を除き説明を省略する。
【００８２】
図９のステップＳ３３１にて顔だけＡＦモードではない、後述するステップＳ３６１にて前回の内部主顔が消失していない、又は、ステップＳ３３４にて主顔選択禁止モードではないと判定された場合は、図１２のステップＳ３２３に移行する。
【００８３】
ステップＳ３６１では、システム制御部１４はＳＤＲＡＭ１６６から内部主顔情報を読み出し、読み出された内部主顔情報と検出結果の顔情報を比較し、各顔情報の位置やサイズ、顔の角度、顔の特徴量の差を比較する。具体的には、顔の位置の差（例えば、ｘ座標とｙ座標の差の合計）が、前回の内部主顔のサイズ以内である場合を同じ顔であるとする。また、検出結果の顔のサイズが、前回の内部主顔の１．５倍以内の大きさ、又は半分以内の大きさの場合を同じ顔であるとする。さらに、検出結果の顔の角度と前回の内部主顔の角度の差が４５度以内の場合は同じ顔であるとすることもできる。さらにまた、両目の幅や目の位置に対する口の位置の特徴などの特徴量を数値化して、その数値の差が所定量以内である場合に同じ顔であるとすることもできる。さらに上述のように求めたそれぞれの数値の和が所定量以内である場合に同じ顔であると判定することもできる。
【００８４】
上記比較の結果、検出結果の顔の中に、前回の内部主顔と同一の顔情報があると判定された場合、前回の内部主顔は消失していないと判定しステップＳ３２３に移行する。一方、検出結果の顔の中に、前回の内部主顔と同一の顔情報がないと判定された場合、前回の内部主顔は消失したと判定しステップＳ３３４に移行する。
【００８５】
顔枠の種類は図６及び図７に示すものに限定されるものではなく、任意の種類の顔枠であって構わない。例えば、図８（ａ）で存在していた主顔枠４００がフレームアウトして消失した場合を考える。主顔枠４００が消失した時点で、内部的には主顔が切り替わっていたとすると、所定時間経過後に主顔となる候補の顔を次期主顔枠４０３として図８（ｂ）のように表示する。そして、所定時間経過後、図８（ｃ）に示すように主顔枠４００が表示される。
【００８６】
また、顔優先ＡＦモードと顔だけＡＦモードとで同種類の顔枠を用いても構わないが、異なる種類の枠で表現することにより撮影者に設定されているモードを知らせることができる。
【００８７】
［実施形態２］次に、図９乃至図１１を参照して、実施形態２の顔枠表示処理について説明する。
【００８８】
実施形態１では、主顔が消失すると、所定時間が経過するまで主顔の選択及び主顔枠の表示を行わず、非主顔枠のみを表示していた。これに対し、実施形態２では、ビデオカメラ１０のパンニングやズーミング操作を検出し、その検出結果に応じて主顔枠の切替えを行う。
【００８９】
図９は、実施形態２の顔枠表示処理を示すフローチャートである。なお、図９のフローチャートにおいて、図５と同じ処理には同じ番号を付して説明を省略する。
【００９０】
ステップＳ３５１とＳ３５２において、システム制御部１４は、振れ検出部１７によってパンニングを検出したか、または、撮影者が操作部１３４を介してズーム操作を行ったか否かを判定する。パンニングまたはズーム操作が検出された場合には、ステップＳ３４１及びＳ３４５に移行する。図１０および図１１に、ステップＳ３４１又はＳ３４５に移行した時の表示部１６４に表示される画面を例示している。
【００９１】
図１０は振れ検出部１７にてパンニングが検出された場合の例であり、図１０（ａ）に示すように表示主顔が消失し、非主顔枠４０１、４０２が表示されている時にパンニングが検出されたとする。この場合、システム制御部１４は、図４のステップＳ３２７にて選択されている内部主顔情報を表示主顔情報に上書きする。これによって、表示部１６４には図１０（ｂ）のように表示される。また、表示主顔枠４００が存在することによって、ＡＦ検出部１６５は合焦度合いが低下したことを検出した場合、その旨をシステム制御部に通知する。システム制御部はＡＦ検出部１６５からの通知を受け、フォーカシング駆動部１３３にフォーカシングの指示を行い、フォーカシング駆動部１３３はフォーカスレンズ１１５を駆動する。
【００９２】
また、図１１は撮影者によるズーム操作が検出された場合の例であり、図１１（ａ）に示すように表示主顔が消失し、非主顔枠４０１、４０２が表示されている時にズーミング操作が検出されたとする。その場合、システム制御部１４は、図４のステップＳ３２７にて選択されている内部主顔情報を表示主顔情報に上書きする。これによって、表示部１６４には図１１（ｂ）のように表示される。また、表示主顔枠４００が存在することによって、ＡＦ検出部１６５は合焦度合いが低下したことを検出した場合、システム制御部にその旨を通知する。システム制御部はＡＦ検出部１６５からの通知を受け、フォーカシング駆動部１３３にフォーカシングの指示を行い、フォーカシング駆動部１３３はフォーカスレンズ１１５を駆動する。
【００９３】
なお、上述した各実施形態では、被写体として顔を検出する場合について説明したが、本発明は顔検出に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、顔以外の被写体にも適用可能である。
【００９４】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００９５】
また、本発明は、複数の機器（例えば、画像処理装置を構成するホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。また、１つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【図１】
0005629533.tif 000002
【図２】
0005629533.tif 000003
【図３】
0005629533.tif 000004
【図４】
0005629533.tif 000005
【図５】
0005629533.tif 000006
【図６】
0005629533.tif 000007
【図７】
0005629533.tif 000008
【図８】
0005629533.tif 000009
【図９】
0005629533.tif 000010
【図１０】
0005629533.tif 000011
【図１１】
0005629533.tif 000012
【図１２】
0005629533.tif 000013