(57)【要約】【構成】イメージセンサ１６および５６の各々は、シーンを表す光学像に対応する生画像データを繰り返し出力する。ＣＰＵ２６は、イメージセンサ５６の各々から出力された生画像データに基づくＹＵＶ画像データのうち人物の顔または人体を表す部分画像データに注目してフォーカスレンズ５２の設定を調整する。調整が完了すると、ＣＰＵ２６は、イメージセンサ５６の被写界深度を縮小方向に変更し、変更後にイメージセンサ５６から出力された生画像データに基づくＹＵＶ画像データから顔または人体を表す部分画像データを繰り返し探索し、そして探索結果に基づいてフォーカスレンズ１２の設定を調整する。【効果】探索結果に基づいたフォーカスの調整精度を高めることができる。【選択図】図２
2014042186.tif 000002
【特許請求の範囲】
【請求項１】
シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段、
前記撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整手段、
前記第１調整手段の処理の実行後に前記撮像手段の被写界深度を縮小方向に変更する変更手段、
前記変更手段の処理の実行後に前記撮像手段から出力された電子画像から前記特定物体を表す部分画像を繰り返し探索する探索手段、および
前記探索手段の探索結果に基づいて前記撮像条件を調整する第２調整手段を備える、電子カメラ。
【請求項２】
前記撮像手段はフォーカスレンズを通して前記シーンを捉える撮像面を含み、
前記撮像条件は前記フォーカスレンズから前記撮像面までの距離に相当する、請求項１記載の電子カメラ。
【請求項３】
前記撮像手段から出力された電子画像を記録する記録手段をさらに備える、請求項１または２記載の電子カメラ。
【請求項４】
前記撮像手段は共通のシーンを捉える第１撮像手段および第２撮像手段を含み、
前記第１調整手段，前記変更手段，および前記探索手段は前記第２撮像手段に注目して各々の処理を実行し、
前記第２調整手段は前記第１撮像手段に注目して処理を実行し、
前記記録手段は前記第１撮像手段から出力された電子画像を記録する、請求項３記載の電子カメラ。
【請求項５】
前記特定物体は人物の顔に相当する、請求項１ないし３のいずれかに記載の電子カメラ。
【請求項６】
前記特定物体は人物の人体に相当する、請求項１ないし３のいずれかに記載の電子カメラ。
【請求項７】
シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ、
前記第１調整ステップの処理の実行後に前記撮像手段の被写界深度を縮小方向に変更する変更ステップ、
前記変更ステップの処理の実行後に前記撮像手段から出力された電子画像から前記特定物体を表す部分画像を繰り返し探索する探索ステップ、および
前記探索ステップの探索結果に基づいて前記撮像条件を調整する第２調整ステップを実行させるための、撮像制御プログラム。
【請求項８】
シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ、
前記第１調整ステップの処理の実行後に前記撮像手段の被写界深度を縮小方向に変更する変更ステップ、
前記変更ステップの処理の実行後に前記撮像手段から出力された電子画像から前記特定物体を表す部分画像を繰り返し探索する探索ステップ、および
前記探索ステップの探索結果に基づいて前記撮像条件を調整する第２調整ステップを備える、撮像制御方法。
【請求項９】
シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ、
前記第１調整ステップの処理の実行後に前記撮像手段の被写界深度を縮小方向に変更する変更ステップ、
前記変更ステップの処理の実行後に前記撮像手段から出力された電子画像から前記特定物体を表す部分画像を繰り返し探索する探索ステップ、および
前記探索ステップの探索結果に基づいて前記撮像条件を調整する第２調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ、
前記第１調整ステップの処理の実行後に前記撮像手段の被写界深度を縮小方向に変更する変更ステップ、
前記変更ステップの処理の実行後に前記撮像手段から出力された電子画像から前記特定物体を表す部分画像を繰り返し探索する探索ステップ、および
前記探索ステップの探索結果に基づいて前記撮像条件を調整する第２調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に特定物体を表す画像を繰り返し探索する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、基台で広角カメラと望遠カメラとが支持される。広角カメラは、撮影光軸が一定方向を指向するように固定される。望遠カメラは電動式架台によりパンニング方向及びチルト方向に傾けることができ、撮影光軸の指向方向を変更することができる。広角カメラからの画像信号を評価して広角カメラの撮影画面内で動体画像が識別されると、画面中心との相対位置に基づいて動体の位置に対応する指向情報が算出される。この指向情報により撮影光軸が動体に指向するように望遠カメラの姿勢が制御される。以後は、望遠カメラの撮影画面の中心で動体画像を捕捉するように望遠カメラの姿勢制御が継続され、望遠カメラは追尾しながら動体を撮影する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１６６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、広角カメラおよび望遠カメラに相当する２台のカメラが必要とされ、システム全体のコストが上昇し、操作者の手間が増大する。一方、カメラをいずれか１台のみ使用する場合には、特定物体を表す画像を繰り返し探索するうちに誤って他の物体を表す画像を検出する可能性がある。このため、探索結果を撮像条件の調整に用いている場合には、調整精度が低下する恐れがある。
【０００５】
それゆえに、この発明の主たる目的は、撮像条件の調整精度を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段(16, 56)、撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整手段(S41)、第１調整手段の処理の実行後に撮像手段の被写界深度を縮小方向に変更する変更手段(S45)、変更手段の処理の実行後に撮像手段から出力された電子画像から特定物体を表す部分画像を繰り返し探索する探索手段(S177)、および探索手段の探索結果に基づいて撮像条件を調整する第２調整手段(S49)を備える。
【０００７】
好ましくは、撮像手段はフォーカスレンズ(12)を通してシーンを捉える撮像面を含み、撮像条件はフォーカスレンズから撮像面までの距離に相当する。
【０００８】
好ましくは、撮像手段から出力された電子画像を記録する記録手段(S51~S59)がさらに備えられる。
【０００９】
さらに好ましくは、撮像手段は共通のシーンを捉える第１撮像手段(16)および第２撮像手段(56)を含み、第１調整手段，変更手段，および探索手段は第２撮像手段に注目して各々の処理を実行し、第２調整手段は第１撮像手段に注目して処理を実行し、記録手段は第１撮像手段から出力された電子画像を記録する。
【００１０】
好ましくは、特定物体は人物の顔に相当する。
【００１１】
好ましくは、特定物体は人物の人体に相当する。
【００１２】
この発明に従う撮像制御プログラムは、シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段(16, 56)を備える電子カメラ(10)のプロセッサ(26)に、撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ(S41)、第１調整ステップの処理の実行後に撮像手段の被写界深度を縮小方向に変更する変更ステップ(S45)、変更ステップの処理の実行後に撮像手段から出力された電子画像から特定物体を表す部分画像を繰り返し探索する探索ステップ(S177)、および探索ステップの探索結果に基づいて撮像条件を調整する第２調整ステップ(S49)を実行させるための、撮像制御プログラムである。
【００１３】
この発明に従う撮像制御方法は、シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段(16, 56)を備える電子カメラ(10)によって実行される撮像制御方法であって、撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ(S41)、第１調整ステップの処理の実行後に撮像手段の被写界深度を縮小方向に変更する変更ステップ(S45)、変更ステップの処理の実行後に撮像手段から出力された電子画像から特定物体を表す部分画像を繰り返し探索する探索ステップ(S177)、および探索ステップの探索結果に基づいて撮像条件を調整する第２調整ステップ(S49)を備える。
【００１４】
この発明に従う外部制御プログラムは、シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段(16, 56)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ(S41)、第１調整ステップの処理の実行後に撮像手段の被写界深度を縮小方向に変更する変更ステップ(S45)、変更ステップの処理の実行後に撮像手段から出力された電子画像から特定物体を表す部分画像を繰り返し探索する探索ステップ(S177)、および探索ステップの探索結果に基づいて撮像条件を調整する第２調整ステップ(S49)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う電子カメラ(10)は、シーンを表す光学像に対応する電子画像を繰り返し出力する撮像手段(16, 56)、外部制御プログラムを取り込む取り込み手段(60)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラであって、外部制御プログラムは、撮像手段から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する第１調整ステップ(S41)、第１調整ステップの処理の実行後に撮像手段の被写界深度を縮小方向に変更する変更ステップ(S45)、変更ステップの処理の実行後に撮像手段から出力された電子画像から特定物体を表す部分画像を繰り返し探索する探索ステップ(S177)、および探索ステップの探索結果に基づいて撮像条件を調整する第２調整ステップ(S49)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、特定物体像に相当する部分画像に注目して撮像条件が一旦調整された後、被写界深度が縮小方向に調整される。被写界深度の調整後に同じ特定物体像に相当する部分画像が探索され、探索結果に基づいて撮像条件が再度調整される。被写界深度が縮小方向に調整された後に探索処理が実行されるので、異なる物体像が誤って検出される可能性が減少する。このため、探索結果に基づいた撮像条件の調整精度を高めることができる。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】この発明の一実施例のカメラの外観の一部を示す図解図である。
【図４】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図５】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図６】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図７】人体検出処理において用いられる人体検出枠の一例を示す図解図である。
【図８】追尾処理において用いられる追尾検出枠の一例を示す図解図である。
【図９】図２実施例で参照される顔辞書の構成の一例を示す図解図である。
【図１０】図２実施例で参照される人体辞書の構成の一例を示す図解図である。
【図１１】図２実施例において参照されるレジスタの構成の一例を示す図解図である。
【図１２】図２実施例において参照される他のレジスタの構成の一例を示す図解図である。
【図１３】図２実施例において参照されるその他のレジスタの構成の一例を示す図解図である。
【図１４】図２実施例において参照されるさらにその他のレジスタの構成の一例を示す図解図である。
【図１５】顔検出処理および人体検出処理の一部を示す図解図である。
【図１６】顔検出処理の他の一部を示す図解図である。
【図１７】人体検出処理の他の一部を示す図解図である。
【図１８】被写界深度の調整処理の一部を示す図解図である。
【図１９】追尾処理の一部を示す図解図である。
【図２０】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２５】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２６】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２７】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２８】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２９】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図３０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図３１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図３２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図３３】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、シーンを表す光学像に対応する電子画像を繰り返し出力する。第１調整手段２は、撮像手段１から出力された電子画像のうち特定物体を表す部分画像に注目して撮像条件を調整する。変更手段３は、第１調整手段２の処理の実行後に撮像手段１の被写界深度を縮小方向に変更する。探索手段４は、変更手段３の処理の実行後に撮像手段１から出力された電子画像から特定物体を表す部分画像を繰り返し探索する。第２調整手段５は、探索手段４の探索結果に基づいて撮像条件を調整する。
【００２１】
特定物体像に相当する部分画像に注目して撮像条件が一旦調整された後、被写界深度が縮小方向に調整される。被写界深度の調整後に同じ特定物体像に相当する部分画像が探索され、探索結果に基づいて撮像条件が再度調整される。被写界深度が縮小方向に調整された後に探索処理が実行されるので、異なる物体像が誤って検出される可能性が減少する。このため、探索結果に基づいた撮像条件の調整精度を高めることができる。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、ドライバ１８ｃによって駆動されるイメージセンサ１６の撮像面に照射され、光電変換を施される。また、フォーカスレンズ１２，絞りユニット１４，イメージセンサ１６，およびドライバ１８ａ〜１８ｃは、第１撮像ブロック１００を構成する。
【００２３】
ディジタルビデオカメラ１０にはまた、イメージセンサ１６によって捉えられたシーンと共通のシーンを捉えるために、フォーカスレンズ５２，絞りユニット５４，およびイメージセンサ５６が設けられている。フォーカスレンズ５２および絞りユニット５４を経たシーンの光学像は、ドライバ５８ｃによって駆動されるイメージセンサ５６の撮像面に照射され、光電変換を施される。また、フォーカスレンズ５２，絞りユニット５４，イメージセンサ５６，およびドライバ５８ａ〜５８ｃは、第２撮像ブロック５００を構成する。
【００２４】
これらの部材によって、イメージセンサ１６によって捉えられたシーンに対応した電荷およびイメージセンサ５６によって捉えられたシーンに対応した電荷が生成される。
【００２５】
図３を参照して、第１撮像ブロック１００および第２撮像ブロック５００は、ディジタルビデオカメラ１０の筐体ＣＢ１の前面に固定的に設けられる。第１撮像ブロック１００は筐体ＣＢ１の前方に向かって左側に位置し、第２撮像ブロック５００は筐体ＣＢ１の前方に向かって右側に位置する。以下、第１撮像ブロック１００を“Ｌ側撮像ブロック”と称し、第２撮像ブロック５００を“Ｒ側撮像ブロック”と称する。
【００２６】
Ｌ側撮像ブロックおよびＲ側撮像ブロックはそれぞれ光軸ＡＸ＿ＬおよびＡＸ＿Ｒを有し、筐体ＣＢ１の底面から光軸ＡＸ＿Ｌまでの距離（＝Ｈ＿Ｌ）は筐体ＣＢ１の底面から光軸ＡＸ＿Ｒまでの距離（＝Ｈ＿Ｒ）と一致する。また、水平方向における光軸ＡＸ＿ＬおよびＡＸ＿Ｒの間隔（＝Ｂ）は、人間の両目の間隔を考慮して６ｃｍ程度に設定される。さらに、Ｌ側撮像ブロックおよびＲ側撮像ブロックは、共通の倍率を有する。
【００２７】
Ｌ側撮像ブロックで捉えられた画像が動画像の記録に用いられる一方、Ｒ側ブロックで捉えられた画像は、後述の追尾処理に用いられる。
【００２８】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃおよび５８ｃの各々に命令する。ドライバ１８ｃおよび５８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージセンサ１６および５６の撮像面をそれぞれ露光し、かつイメージセンサ１６および５６の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ１６からは読み出された電荷に基づく第１生画像データが周期的に出力され、イメージセンサ５６からは読み出された電荷に基づく第２生画像データが周期的に出力される。
【００２９】
前処理回路２０は、イメージセンサ１６および５６からそれぞれ出力された第１生画像データおよび第２生画像データの各々にディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された第１生画像データおよび第２生画像データは、メモリ制御回路３０を通して図４に示すＳＤＲＡＭ３２の第１生画像エリア３２ａおよび第２生画像エリア３２ｂにそれぞれ書き込まれる。
【００３０】
後処理回路３４は、第１生画像エリア３２ａに格納された第１生画像データをメモリ制御回路３０を通して読み出し、読み出された第１生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によって図４に示すＳＤＲＡＭ３２の表示画像エリア３２ｃに書き込まれる。探索画像データは、メモリ制御回路３０によって図４に示すＳＤＲＡＭ３２の第１探索画像エリア３２ｄに書き込まれる。
【００３１】
後処理回路３４はまた、第２生画像エリア３２ｂに格納された第２生画像データをメモリ制御回路３０を通して読み出し、読み出された第２生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して探索用のズーム処理を実行する。この結果、ＹＵＶ形式に従う追尾画像データが作成される。追尾画像データは、メモリ制御回路３０によって図４に示すＳＤＲＡＭ３２の追尾画像エリア３２ｅに書き込まれる。
【００３２】
ＬＣＤドライバ３６は、表示画像エリア３２ｃに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００３３】
図５を参照して、イメージセンサ１６および５６の撮像面の中央には評価エリアＥＶＡ１およびＥＶＡ２がそれぞれ割り当てられる。評価エリアＥＶＡ１およびＥＶＡ２の各々は水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡ１およびＥＶＡ２の各々を形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、第１生画像データおよび第２生画像データの各々を簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。この結果、Ｌ側撮像ブロックに対応した第１ＲＧＢデータおよびＲ側撮像ブロックに対応した第２ＲＧＢデータの各々が前処理回路２０から出力される。
【００３４】
ＡＥ評価回路２２は、第１ＲＧＢデータのうち評価エリアＥＶＡ１に属するＲＧＢデータおよび第２ＲＧＢデータのうち評価エリアＥＶＡ２に属するＲＧＢデータの各々を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、Ｌ側撮像ブロックに対応する２５６個の積分値およびＲ側撮像ブロックに対応する２５６個の積分値、つまりＬ側撮像ブロックに対応する２５６個のＡＥ評価値およびＲ側撮像ブロックに対応する２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００３５】
ＣＰＵ２６は、撮像タスクの下で、Ｌ側撮像ブロックに対応する２５６個のＡＥ評価値に基づいてコンティニュアス厳格ＡＥ処理を実行する。コンティニュアス厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像および記録画像の明るさの厳格な調整が、Ｌ側撮像ブロックに対して継続的に実行される。
【００３６】
ＣＰＵ２６はまた、撮像タスクの下で、Ｒ側撮像ブロックに対応する２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を繰り返し実行する。簡易ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像および記録画像の明るさの適度な調整が、Ｒ側撮像ブロックに対して実行される。
【００３７】
ＡＦ評価回路２４は、第１ＲＧＢデータのうち評価エリアＥＶＡ１に属するＲＧＢデータの高周波成分および第２ＲＧＢデータのうち評価エリアＥＶＡ２に属するＲＧＢデータの高周波成分の各々を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、Ｌ側撮像ブロックに対応する２５６個の積分値およびＲ側撮像ブロックに対応する２５６個の積分値、つまりＬ側撮像ブロックに対応する２５６個のＡＦ評価値およびＲ側撮像ブロックに対応する２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。こうして得られたＡＦ評価値に基づく処理については、後述する。
【００３８】
キー入力装置２８に設けられた記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、ＣＰＵ２６は、記録処理を開始するべく動画記録タスクを起動し、ＭＰ４コーデック４６およびＩ／Ｆ４０を動画記録タスクの下で起動する。Ｉ／Ｆ４０は、記録媒体４２にアクセスし、動画ファイルを記録媒体４２に新規に作成する（作成された動画ファイルはオープンされる）。ファイル作成＆オープン処理が完了すると、ＣＰＵ２６は、ＭＰ４符号化処理の開始をＭＰ４コーデック４６に命令する。
【００３９】
ＭＰ４コーデック４６は、垂直同期信号Ｖｓｙｎｃに応答して、第１生画像エリア３２ａに格納された生画像データをメモリ制御回路２８を通して繰り返し読み出し、読み出された画像データをＭＰ４方式に従って符号化し、そして符号化画像データつまりＭＰ４データをメモリ制御回路３０を通して図４に示す記録画像エリアに書き込む。
【００４０】
ＣＰＵ２６はまた、書き込まれたＭＰ４データをオープン状態の動画ファイルに転送する。転送されたＭＰ４データは、Ｉ／Ｆ４０を通して動画ファイルに書き込まれる。
【００４１】
記録ボタン２８ｒｅｃに向けて記録終了操作が行われると、ＣＰＵ２６は、ＭＰ４符号化処理の停止をＭＰ４コーデック４６に命令し、記録処理が終了する。また、オープン状態の動画ファイルはクローズされる。
【００４２】
ＣＰＵ２６は、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃの発生毎に顔・人体検出タスクの下で顔検出処理を繰り返し実行する。このような顔・人体検出タスクのために、図６に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…、図７に示す複数の人体検出枠ＢＤ，ＢＤ，ＢＤ，…、図９に示す顔辞書ＤＣｆ、図１０に示す人体辞書ＤＣｂ、図１１に示す人物検出ワークレジスタＲＧＳＴｗｋ１、図１２に示す顔レジスタＲＧＳＴｆｃおよび人体レジスタＲＧＳＴｂｄが準備される。顔辞書ＤＣｆには５つの辞書画像（＝向きが互いに異なる顔画像）が収められる。人体辞書ＤＣｂには単一の辞書画像（＝人体の輪郭画像）が収められる。なお、顔辞書ＤＣｆおよび人体辞書ＤＣｂはフラッシュメモリ４４に保存される。
【００４３】
顔検出処理ではまず、評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘが“２００”に設定され、最小サイズＦＳＺｍｉｎが“２０”に設定される。
【００４４】
顔検出枠ＦＤは、探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図１５参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＦＳＺｍａｘ”から“ＦＳＺｍｉｎ”まで“５”ずつ縮小される。
【００４５】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｄから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書ＤＣｆの各々の特徴量と照合される。照合度が基準値ＴＨ１を上回ると、顔画像が検出されたものとみなされ、現時点の顔検出枠ＦＤの位置およびサイズが、顔情報として人物検出ワークレジスタＲＧＳＴｗｋ１に格納される。
【００４６】
したがって、正面を向いた人物ＨＭ１が図１６に示す要領で撮像面に捉えられる場合、人物検出ワークレジスタＲＧＳＴｗｋ１に登録される顔情報は、顔検出枠ＦＤ１の位置およびサイズを示す。
【００４７】
顔検出処理の完了後に人物検出ワークレジスタＲＧＳＴｗｋ１に顔情報が格納されていたとき、ＣＰＵ２６は、人物検出ワークレジスタＲＧＳＴｗｋ１に格納された顔情報の中から主要な被写体とすべき顔情報を、顔・人体検出タスクの下で決定する。人物検出ワークレジスタＲＧＳＴｗｋ１に１つの顔情報が格納されている場合、ＣＰＵ２６は、格納された顔情報を主要被写体顔情報とする。人物検出ワークレジスタＲＧＳＴｗｋ１に複数の顔情報が格納されている場合、ＣＰＵ２６は、位置が撮像面中央に最も近い顔情報を主要被写体顔情報とする。主要被写体顔情報とされた顔情報の位置およびサイズは、顔レジスタＲＧＳＴｆｃに格納される。
【００４８】
また、ＣＰＵ２６は、人物の顔を発見したことを表明するべくフラグＦＬＧｆｃを“１”に設定する。
【００４９】
顔検出処理の完了後、人物検出ワークレジスタＲＧＳＴｗｋ１に顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合、ＣＰＵ２６は、フラグＦＬＧｆｃを“０”に設定する。またこの場合、ＣＰＵ２６は、探索画像エリア３２ｄに格納された探索画像データから人体画像を探索するべく、人体検出処理を実行する。
【００５０】
人体検出処理ではまず、評価エリアＥＶＡの全域が人体探索エリアとして設定される。また、人体検出枠ＢＤのサイズの可変範囲を定義するべく、最大サイズＢＳＺｍａｘが“２００”に設定され、最小サイズＢＳＺｍｉｎが“２０”に設定される。
【００５１】
人体検出枠ＢＤは、人体探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図１５参照）。また、人体検出枠ＢＤのサイズは、人体検出枠ＢＤが終了位置に到達する毎に“ＢＳＺｍａｘ”から“Ｂｓｚｍｉｎ”まで“５”ずつ縮小される。
【００５２】
人体検出枠ＢＤに属する一部の探索画像データは、メモリ制御回路３０を通して探索画像エリア３２ｄから読み出される。読み出された探索画像データの特徴量は、人体辞書ＤＣｂに収められた辞書画像の特徴量と照合される。閾値ＴＨ２を超える照合度が得られると、人体画像が検出されたものとみなされる。現時点の人体検出枠ＢＤの位置およびサイズは、人体情報として顔検出ワークレジスタＲＧＳＴｂｄに登録される。
【００５３】
したがって、背を向けた人物ＨＭ１が図１７に示す要領で撮像面に捉えられる場合、人物検出ワークレジスタＲＧＳＴｗｋ１に登録される人体情報は、人体検出枠ＢＤ１の位置およびサイズを示す。
【００５４】
人体検出処理の完了後に人物検出ワークレジスタＲＧＳＴｗｋ１に人体情報が格納されていたとき、ＣＰＵ２６は、人物検出ワークレジスタＲＧＳＴｗｋ１に格納された人体情報の中から主要な被写体とすべき人体情報を、顔・人体検出タスクの下で決定する。人物検出ワークレジスタＲＧＳＴｗｋ１に１つの人体情報が格納されている場合、ＣＰＵ２６は、格納された人体情報を主要被写体人体情報とする。人物検出ワークレジスタＲＧＳＴｗｋ１に複数の人体情報が格納されている場合、ＣＰＵ２６は、位置が撮像面中央に最も近い人体情報を主要被写体人体情報とする。主要被写体人体情報とされた人体情報の位置およびサイズは、人体レジスタＲＧＳＴｂｄに格納される。
【００５５】
また、ＣＰＵ２６は、人物の人体を発見したことを表明するべくフラグＦＬＧｂｄを“１”に設定する。一方、人体検出処理の完了後、人物検出ワークレジスタＲＧＳＴｗｋ１に人体情報の登録がなかった場合、すなわち人物の人体が発見されなかった場合、ＣＰＵ２６は、フラグＦＬＧｂｄを“０”に設定する。
【００５６】
フラグＦＬＧｆｃの示す値が“０”から“１”に更新されると、撮像タスクの下でＣＰＵ２６は、後述する追尾処理の対象領域に相当する追尾対象領域ＴＲを主要被写体顔情報が示す領域に決定し、図１３に示す追尾対象レジスタＲＧＳＴｔｒに主要被写体顔情報を登録する。
【００５７】
一方、フラグＦＬＧｆｃの示す値が“０”のままでフラグＦＬＧｂｄの示す値が“０”から“１”に更新されると、撮像タスクの下でＣＰＵ２６は、追尾対象領域ＴＲを主要被写体人体情報が示す領域に決定し、追尾対象レジスタＲＧＳＴｔｒに主要被写体人体情報を登録する。
【００５８】
このように追尾対象領域ＴＲが決定すると、ＣＰＵ２６は、フラグＦＬＧｍｎを“１”に設定する。
【００５９】
また、追尾対象領域ＴＲが決定すると、撮像タスクの下でＣＰＵ２６は、追尾対象領域ＴＲに注目した厳格ＡＦ処理をＲ側撮像ブロックに対して実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力されたＲ側撮像ブロックに対応する２５６個のＡＦ評価値のうち、追尾対象レジスタＲＧＳＴｔｒに格納された位置およびサイズに対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくＡＦ処理をＲ側撮像ブロックに対して実行する。この結果、追尾対象領域ＴＲに注目した合焦点にフォーカスレンズ５２が配置され、Ｒ側撮像ブロックから出力される生画像における追尾対象の顔または人体の鮮鋭度が向上する。
【００６０】
ＣＰＵ２６はまた、Ｒ側撮像ブロックに対する厳格ＡＦ処理の結果に基づいて、フォーカスレンズ１２の配置を調整する。この結果、Ｌ側撮像ブロックから出力される生画像における主要被写体の鮮鋭度が向上する。
【００６１】
厳格ＡＦ処理が完了すると、ＣＰＵ２６は、小さい絞り量に絞りユニット５４を調整すべき旨をドライバ５８ｂに命令する。この結果、Ｒ側撮像ブロックの被写界深度が浅いレベルに変更される。したがって、図１８に示す例のように、人物ＨＭ１の顔画像を含む領域が追尾対象領域ＴＲに決定された場合は、人物ＨＭ１以外の物体の鮮鋭度が低下する。これによって、後述する追尾処理において、人物ＨＭ１の顔以外の物体を誤って追尾する可能性が低下する。
【００６２】
被写界深度の調整処理が完了すると、ＣＰＵ２６は、追尾画像エリア３２ｅに格納された追尾画像データにおいて追尾対象領域ＴＲに顔または人体が属する人物の位置を継続して把握するべく、撮像タスクと並列して実行される追尾タスクの下で、垂直同期信号Ｖｓｙｎｃの発生毎に追尾処理を繰り返し実行する。このような追尾処理のために、図８に示す複数の追尾検出枠ＴＤ，ＴＤ，ＴＤ，…、および図１４に示す追尾ワークレジスタＲＧＳＴｗｋ２が準備される。
【００６３】
追尾処理ではまず、追尾対象領域ＴＲとその周辺の既定の範囲の領域とが追尾探索エリアＳＲとして設定される。また、追尾対象領域ＴＲに属する画像データが追尾画像エリア３２ｅから読み出され、読み出された画像データの特徴量が算出される。
【００６４】
次に、追尾検出枠ＴＤのサイズの可変範囲を定義するべく、最大サイズＴＳＺｍａｘが“追尾対象領域ＴＲのサイズ×１．３”に設定され、最小サイズＴＳＺｍｉｎが“追尾対象領域ＴＲのサイズ×０．７”に設定される。最大サイズＴＳＺｍａｘおよび最小サイズＳＺｍｉｎの設定値は、これら以外であってもよい。
【００６５】
追尾検出枠ＴＤは、追尾探索エリアＳＲの開始位置から終了位置に向かって、既定量ずつ移動される。また、追尾検出枠ＴＤのサイズは、追尾検出枠ＴＤが終了位置に到達する毎に“ＴＳＺｍａｘ”から“ＴＳＺｍｉｎ”まで“５”ずつ縮小される。
【００６６】
ＣＰＵ２６は、追尾検出枠ＴＤに属する画像データをメモリ制御回路３０を通して追尾画像エリア３２ｅから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、追尾対象領域ＴＲの特徴量と照合される。照合度が基準値ＴＨ３を上回ると、主要被写体が検出されたものとみなされ、現時点の追尾検出枠ＴＤの位置，サイズ，および照合度が、追尾情報として追尾ワークレジスタＲＧＳＴｗｋ２に登録される。また、ＣＰＵ２６は、主要被写体の追尾に成功したことを表明するべく、フラグＦＬＧｔｒｃを“１”に設定する。
【００６７】
なお、追尾処理はサイズが“ＴＳＺｍｉｎ”の追尾検出枠ＴＤが終了位置に到達するまで続行される。照合度が追尾ワークレジスタＲＧＳＴｗｋ２に登録された照合度を上回った場合は、その時点の追尾検出枠ＴＤの位置，サイズ，および照合度によって、追尾ワークレジスタＲＧＳＴｗｋ２の登録内容が更新される。
【００６８】
追尾処理の完了後にフラグＦＬＧｔｒｃが“１”を示すとき、ＣＰＵ２６は、追尾対象レジスタＲＧＳＴｔｒの登録位置と追尾ワークレジスタＲＧＳＴｗｋ２の登録位置との差分に基づいて、主要被写体の移動方向および移動量を算出する。ＣＰＵ２６はまた、算出された移動方向および移動量と追尾ワークレジスタＲＧＳＴｗｋ２に登録された位置およびサイズとを用いて、追尾対象レジスタＲＧＳＴｔｒの登録内容を更新する。
【００６９】
更新された追尾対象領域ＴＲと追尾対象レジスタＲＧＳＴｔｒに登録された移動方向および移動量とに基づいて、次回の追尾探索エリアＳＲが設定される。図１９に示す例によると、画像右上から左下方向に向かって移動中の人物ＨＭ１が、Ｒ側撮像ブロックによって捉えられている。この場合、人物ＨＭ１の顔画像が属する追尾対象領域ＴＲから左下方向に向けて広がるように、追尾探索エリアＳＲが設定される。
【００７０】
追尾処理の完了後にフラグＦＬＧｔｒｃが“０”を示すとき、ＣＰＵ２６は、追尾タスクを終了する。また、Ｌ            側撮像ブロックのフォーカス設定が、デフォルト値に戻される。
【００７１】
ＣＰＵ２６は、図２０〜２１に示す撮像タスク，図２２に示す動画記録タスク，図２３〜２４に示す顔・人体検出タスク，および図２９に示す追尾タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００７２】
図２０を参照して、ステップＳ１ではＬ側撮像ブロックおよびＲ側撮像ブロックの各々において動画取り込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではＬ側撮像ブロックおよびＲ側撮像ブロックの各々のフォーカス設定をデフォルト値に設定する。
【００７３】
ステップＳ５では顔・人体検出タスクを起動し、ステップＳ７ではフラグＦＬＧｍｎを“０”に設定する。
【００７４】
ステップＳ９では、Ｌ側撮像ブロックに対応する２５６個のＡＥ評価値に基づいてコンティニュアス厳格ＡＥ処理を実行する。この結果、スルー画像および記録画像の明るさの厳格な調整が、Ｌ側撮像ブロックに対して継続的に実行される。
【００７５】
ステップＳ１１では、Ｒ側撮像ブロックに対応する２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を繰り返し実行する。この結果、Ｒ側撮像ブロックで取り込まれる画像の明るさが適度に調整される。
【００７６】
ステップＳ１３では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＹＥＳであればステップＳ１７に進む一方、判別結果がＮＯであれば記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かをステップＳ１５で判別する。ステップＳ１５の判別結果がＹＥＳであればステップＳ２１に進む一方、ステップＳ１５の判別結果がＮＯであればステップＳ２３に進む。
【００７７】
ステップＳ１７ではフラグＦＬＧｓｔｐに“０”を設定し、ステップＳ１９では動画記録タスクを起動する一方、ステップＳ２１ではフラグＦＬＧｓｔｐに“１”を設定する。ステップＳ１９またはＳ２１の処理が完了すると、ステップＳ９に戻る。
【００７８】
ステップＳ２３ではフラグＦＬＧｍｎが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２５に進む一方、判別結果がＹＥＳであればステップＳ２９に進む。ステップＳ２５ではフラグＦＬＧｆｃが“１”を示すか否かを判別し、判別結果がＮＯであればフラグＦＬＧｂｄが“１”を示すか否かをステップＳ２７で判別する。ステップＳ２７の判別結果がＮＯであればステップＳ９に戻る。
【００７９】
ステップＳ２９ではフラグＦＬＧｔｒｇｔが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ４９の処理を経てステップＳ９に戻り、判別結果がＮＯであればステップＳ３１およびＳ３３の処理を経てステップＳ９に戻る。
【００８０】
ステップＳ３１ではフラグＦＬＧｍｎを“０”に設定し、ステップＳ３３ではＬ側撮像ブロックのフォーカス設定をデフォルト値に設定する。
【００８１】
ステップＳ２５の判別結果がＹＥＳであればステップＳ３５の処理を経てステップＳ３９に進み、ステップＳ２７の判別結果がＹＥＳであればステップＳ３７の処理を経てステップＳ３９に進む。
【００８２】
ステップＳ３５では、追尾対象領域ＴＲを主要被写体顔情報が示す領域に決定し、追尾対象レジスタＲＧＳＴｔｒに主要被写体顔情報を登録する。ステップＳ３７では、追尾対象領域ＴＲを主要被写体人体情報が示す領域に決定し、追尾対象レジスタＲＧＳＴｔｒに主要被写体人体情報を登録する。ステップＳ３９では、フラグＦＬＧｍｎを“１”に設定する。
【００８３】
ステップＳ４１では、追尾対象領域ＴＲに注目した厳格ＡＦ処理をＲ側撮像ブロックに対して実行する。この結果、追尾対象領域ＴＲに注目した合焦点にフォーカスレンズ５２が配置され、Ｒ側撮像ブロックから出力される生画像における追尾対象の顔または人体の鮮鋭度が向上する。ステップＳ４３では、Ｒ側撮像ブロックに対する厳格ＡＦ処理の結果に基づいて、Ｌ側撮像ブロックのフォーカス設定を調整する。この結果、Ｌ側撮像ブロックから出力される生画像における主要被写体の鮮鋭度が向上する。
【００８４】
ステップＳ４５では、小さい絞り量に絞りユニット５４を調整すべき旨をドライバ５８ｂに命令する。この結果、Ｒ側撮像ブロックの被写界深度が浅いレベルに変更される。ステップＳ４７では追尾タスクを起動する。
【００８５】
ステップＳ４９では、追尾対象領域ＴＲに注目したコンティニュアス厳格ＡＦ処理をＬ側撮像ブロックに対して実行する。この結果、追尾対象領域ＴＲに注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における主要被写体の鮮鋭度が継続的に向上する。ステップＳ４７またはＳ４９の処理が完了すると、ステップＳ９に戻る。
【００８６】
図２２を参照して、ステップＳ５１ではオープン状態の動画ファイルを記録媒体４２に新規に作成し、ステップＳ５３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯであればステップＳ５７に進み、判別結果がＹＥＳであればＭＰ４データをオープン状態の動画ファイルにステップＳ５５で転送する。転送されたＭＰ４データは、Ｉ／Ｆ４０を通して動画ファイルに書き込まれる。
【００８７】
ステップＳ５７ではフラグＦＬＧｓｔｐが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ５３に戻る一方、判別結果がＹＥＳであればステップＳ５９に進む。ステップＳ５９では、オープン状態の動画ファイルをクローズして記録処理を終了する。ステップＳ５９の処理が完了すると、動画記録タスクは終了する。
【００８８】
図２３を参照して、ステップＳ６１ではフラグＦＬＧｆｃに“０”を設定し、ステップＳ６３ではフラグＦＬＧｂｄに“０”を設定する。ステップＳ６５では顔レジスタＲＧＳＴｆｃの登録内容を初期化するべくクリアする。ステップＳ６７では人体レジスタＲＧＳＴｂｄの登録内容を初期化するべくクリアする。ステップＳ６９では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ７１に進む。
【００８９】
ステップＳ７１では、探索画像データから人物の顔画像を探索するべく、顔検出処理を実行する。ステップＳ７３では、ステップＳ７１の処理によって人物検出ワークレジスタＲＧＳＴｗｋ１に顔情報が格納されたか否かを判別し、判別結果がＹＥＳであればステップＳ７５に進む一方、判別結果がＮＯであればステップＳ８３に進む。
【００９０】
ステップＳ７５では、人物検出ワークレジスタＲＧＳＴｗｋ１に複数の顔情報が格納されたか否かを判別し、判別結果がＮＯであればステップＳ７９に進む一方、判別結果がＹＥＳであればステップＳ７７の処理を経てステップＳ７９に進む。
【００９１】
ステップＳ７７では、人物検出ワークレジスタＲＧＳＴｗｋ１に格納された位置が画像中央に最も近い顔情報を主要被写体顔情報と決定し、ステップＳ７９では、主要被写体顔情報とされた顔情報の位置およびサイズを、顔レジスタＲＧＳＴｆｃに登録する。ステップＳ８１ではフラグＦＬＧｆｃに“１”を設定する。
【００９２】
ステップＳ８３ではフラグＦＬＧｆｃに“０”を設定し、ステップＳ８５では、探索画像データから人物の人体画像を探索するべく、人体検出処理を実行する。ステップＳ８７では、ステップＳ８５の処理によって人物検出ワークレジスタＲＧＳＴｗｋ１に人体情報が格納されたか否かを判別し、判別結果がＹＥＳであればステップＳ９１に進む一方、判別結果がＮＯであればステップＳ８９でフラグＦＬＧｂｄに“０”を設定する。
【００９３】
ステップＳ９１では、人物検出ワークレジスタＲＧＳＴｗｋ１に複数の人体情報が格納されたか否かを判別し、判別結果がＮＯであればステップＳ９５に進む一方、判別結果がＹＥＳであればステップＳ９３の処理を経てステップＳ９５に進む。
【００９４】
ステップＳ９３では、人物検出ワークレジスタＲＧＳＴｗｋ１に格納された位置が画像中央に最も近い人体情報を主要被写体人体情報と決定し、ステップＳ９５では、主要被写体人体情報とされた人体情報の位置およびサイズを、人体レジスタＲＧＳＴｂｄに登録する。ステップＳ９７ではフラグＦＬＧｂｄに“１”を設定する。
【００９５】
ステップＳ８９またはＳ９７の処理が完了すると、ステップＳ６９に戻る。
【００９６】
ステップＳ７１の顔検出処理は、図２５〜２６に示すサブルーチンに従って実行される。
【００９７】
図２５を参照して、ステップＳ１０１では、人物検出ワークレジスタＲＧＳＴｗｋ１を初期化すべく格納内容をクリアする。
【００９８】
ステップＳ１０３では変数Ｎｍａｘを顔辞書ＤＣｆの登録数に設定し、ステップＳ１０５では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ１０７では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘを“２００”に設定し、最小サイズＦＳＺｍｉｎを“２０”に設定する。
【００９９】
ステップＳ１０９では顔検出枠ＦＤのサイズを“ＦＳＺｍａｘ”に設定し、ステップＳ１１１では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１１３では、顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された探索画像データの特徴量を算出する。
【０１００】
ステップＳ１１５では変数Ｎを“１”に設定し、ステップＳ１１７では、ステップＳ１１３で算出された特徴量と顔辞書ＤＣｆのＮ番目に収められた辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨ１を超える照合度が得られたか否かをステップＳ１１９で判別し、判別結果がＮＯであればステップＳ１２１に進む一方、判別結果がＹＥＳであればステップＳ１２５に進む。
【０１０１】
ステップＳ１２１では変数Ｎをインクリメントし、ステップＳ１２３では変数ＮがＮｍａｘを超えたか否かを判別する。判別結果がＮＯであればステップＳ１１７に戻る一方、判別結果がＹＥＳであればステップＳ１２７に進む。
【０１０２】
ステップＳ１２５では、現時点の顔検出枠ＦＤの位置およびサイズを顔情報として人物検出ワークレジスタＲＧＳＴｗｋ１に登録する。ステップＳ１２７では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１３１に進む一方、判別結果がＮＯであれば、ステップＳ１２９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１１３に戻る。
【０１０３】
ステップＳ１３１では顔検出枠ＦＤのサイズが“ＦＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１３３に進む。
【０１０４】
ステップＳ１３３では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１３５では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１３５の処理が完了すると、ステップＳ１１３に戻る。
【０１０５】
ステップＳ８５の人体検出処理は、図２７〜２８に示すサブルーチンに従って実行される。
【０１０６】
図２７を参照して、ステップＳ１４１では、人物検出ワークレジスタＲＧＳＴｗｋ１を初期化すべく格納内容をクリアする。
【０１０７】
ステップＳ１４３では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ１４５では、人体検出枠ＢＤのサイズの可変範囲を定義するべく、最大サイズＢＳＺｍａｘを“２００”に設定し、最小サイズＢＳＺｍｉｎを“２０”に設定する。
【０１０８】
ステップＳ１４７では人体検出枠ＢＤのサイズを“ＢＳＺｍａｘ”に設定し、ステップＳ１４９では人体検出枠ＢＤを探索エリアの左上位置に配置する。ステップＳ１５１では、人体検出枠ＢＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された探索画像データの特徴量を算出する。
【０１０９】
ステップＳ１５３では、ステップＳ１５１で算出された特徴量と人体辞書ＤＣｆに収められた辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨ２を超える照合度が得られたか否かをステップＳ１５５で判別し、判別結果がＮＯであればステップＳ１５９に進む一方、判別結果がＹＥＳであればステップＳ１５７の処理を経てステップＳ１５９に進む。
【０１１０】
ステップＳ１５７では、現時点の人体検出枠ＢＤの位置およびサイズを人体情報として人物検出ワークレジスタＲＧＳＴｗｋ１に登録する。ステップＳ１５９では人体検出枠ＢＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１６３に進む一方、判別結果がＮＯであれば、ステップＳ１６１で人体検出枠ＢＤを既定量だけラスタ方向に移動させ、その後にステップＳ１５１に戻る。
【０１１１】
ステップＳ１６３では人体検出枠ＢＤのサイズが“ＢＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１６５に進む。
【０１１２】
ステップＳ１６５では人体検出枠ＢＤのサイズを“５”だけ縮小させ、ステップＳ１６７では人体検出枠ＢＤを探索エリアの左上位置に配置する。ステップＳ１６７の処理が完了すると、ステップＳ１５１に戻る。
【０１１３】
図２９を参照して、ステップＳ１７１ではフラグＦＬＧｔｒｇｔに“１”を設定し、ステップＳ１７３では追尾対象領域ＴＲとその周辺の既定の範囲の領域とを追尾探索エリアＳＲとして設定する。
【０１１４】
ステップＳ１７５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１７７に進む。
【０１１５】
ステップＳ１７７では、追尾画像データにおいて追尾対象領域ＴＲに顔または人体が属する人物の位置を継続して把握するべく、追尾処理を実行する。ステップＳ１７９では、ステップＳ１７７の処理の結果フラグＦＬＧｔｒｃが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１８１に進む一方、判別結果がＮＯであればステップＳ１８７に進む。
【０１１６】
ステップＳ１８１では、追尾対象レジスタＲＧＳＴｔｒの登録位置と追尾ワークレジスタＲＧＳＴｗｋ２の登録位置との差分に基づいて、主要被写体の移動方向および移動量を算出する。ステップＳ１８３では、ステップＳ１８１で算出された移動方向および移動量と追尾ワークレジスタＲＧＳＴｗｋ２に登録された位置およびサイズとを用いて、追尾対象レジスタＲＧＳＴｔｒの登録内容を更新する。
【０１１７】
ステップＳ１８５では、ステップＳ１８３で更新された追尾対象領域ＴＲと追尾対象レジスタＲＧＳＴｔｒに登録された移動方向および移動量とに基づいて、次回の追尾探索エリアＳＲを設定する。ステップＳ１８５の処理が完了すると、ステップＳ１７５に戻る。
【０１１８】
ステップＳ１８７ではフラグＦＬＧｔｒｇｔを“０”に設定し、その後に追尾タスクは終了する。
【０１１９】
ステップＳ１７７の追尾処理は、図３０〜３２に示すサブルーチンに従って実行される。
【０１２０】
図３０を参照して、ステップＳ１９１では、追尾ワークレジスタＲＧＳＴｗｋ２を初期化すべく格納内容をクリアする。ステップＳ１９３では、追尾対象領域ＴＲに属する画像データを追尾画像エリア３２ｅから読み出し、読み出された画像データの特徴量を算出する。
【０１２１】
ステップＳ１９５では、追尾検出枠ＴＤのサイズの可変範囲を定義するべく、最大サイズＴＳＺｍａｘを“追尾対象領域ＴＲのサイズ×１．３”に設定し、最小サイズＴＳＺｍｉｎを“追尾対象領域ＴＲのサイズ×０．７”に設定する。
【０１２２】
ステップＳ１９７では追尾検出枠ＴＤのサイズを“ＴＳＺｍａｘ”に設定し、ステップＳ１９９ではフラグＦＬＧｔｒｃを“０”に設定する。ステップＳ２０１では追尾検出枠ＴＤを探索エリアの探索開始位置に配置する。
【０１２３】
ステップＳ２０３では、追尾検出枠ＴＤに属する一部の追尾画像データを追尾画像エリア３２ｅから読み出し、読み出された追尾画像データの特徴量を算出する。算出された特徴量をステップＳ１９３で算出された追尾対象領域ＴＲの特徴量とステップＳ２０５で照合する。
【０１２４】
ステップＳ２０７ではフラグＦＬＧｔｒｃが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ２１５に進む一方、判別結果がＮＯであればステップＳ２０９に進む。
【０１２５】
ステップＳ２０９ではステップＳ２０５の照合の結果、閾値ＴＨ３を超える照合度が得られたか否かを判別し、判別結果がＮＯであればステップＳ２２１に進む一方、判別結果がＹＥＳであればステップＳ２１１およびＳ２１３の処理を経てステップＳ２２１に進む。
【０１２６】
ステップＳ２１１ではフラグＦＬＧｔｒｃを“１”に設定し、ステップＳ２１３では、現時点の追尾検出枠ＴＤの位置およびサイズならびにステップＳ２０５で得られた照合度を追尾情報として追尾ワークレジスタＲＧＳＴｗｋ２に登録する。
【０１２７】
ステップＳ２１５では、ステップＳ２０５の照合の結果、追尾ワークレジスタＲＧＳＴｗｋ２に登録された照合度を超える照合度が得られたか否かを判別し、判別結果がＮＯであればステップＳ２２１に進む一方、判別結果がＹＥＳであればステップＳ２１７の処理を経てステップＳ２２１に進む。
【０１２８】
ステップＳ２１７では、現時点の追尾検出枠ＴＤの位置およびサイズならびにステップＳ２０５で得られた照合度を追尾情報として、追尾ワークレジスタＲＧＳＴｗｋ２を更新する。
【０１２９】
ステップＳ２２１では追尾検出枠ＴＤが探索エリアの終了位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ２２５に進む一方、判別結果がＮＯであれば、ステップＳ２２３で追尾検出枠ＴＤを既定量だけラスタ方向に移動させ、その後にステップＳ２０３に戻る。
【０１３０】
ステップＳ２２５では追尾検出枠ＴＤのサイズが“ＴＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ２２７に進む。
【０１３１】
ステップＳ２２７では追尾検出枠ＴＤのサイズを“５”だけ縮小させ、ステップＳ２２９では追尾検出枠ＴＤを探索エリアの探索開始位置に配置する。ステップＳ２２９の処理が完了すると、ステップＳ２０３に戻る。
【０１３２】
以上の説明から分かるように、イメージセンサ１６および５６の各々は、シーンを表す光学像に対応する生画像データを繰り返し出力する。ＣＰＵ２６は、イメージセンサ５６の各々から出力された生画像データに基づくＹＵＶ画像データのうち人物の顔または人体を表す部分画像データに注目してフォーカスレンズ５２の設定を調整する(S41)。調整が完了すると、ＣＰＵ２６は、イメージセンサ５６の被写界深度を縮小方向に変更し(S45)、変更後にイメージセンサ５６から出力された生画像データに基づくＹＵＶ画像データから顔または人体を表す部分画像データを繰り返し探索し(S177)、そして探索結果に基づいてフォーカスレンズ１２の設定を調整する(S49)。
【０１３３】
顔または人体に相当する部分画像に注目してフォーカスが一旦調整された後、被写界深度が縮小方向に調整される。被写界深度の調整後に顔または人体に相当する部分画像が探索され、探索結果に基づいてフォーカスが再度調整される。被写界深度が縮小方向に調整された後に探索処理が実行されるので、異なる物体像が誤って検出される可能性が減少する。このため、探索結果に基づいたフォーカスの調整精度を高めることができる。
【０１３４】
なお、この実施例では、人物の顔または人体を検出して追尾するようにしたが、人物以外の物体を検出および追尾するようにしてもよい。
【０１３５】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図３３に示す要領でディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【０１３６】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図２０〜２１に示す撮像タスク，図２２に示す動画記録タスク，図２３〜２４に示す顔・人体検出タスク，および図２９に示す追尾タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【０１３７】
また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ、携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【０１３８】
１０  …ディジタルビデオカメラ
１２，５２  …フォーカスレンズ
１４，５４  …絞りユニット
１６，５６  …イメージセンサ
２６  …ＣＰＵ
４２  …記録媒体
【図１】
2014042186.tif 000003
【図２】
2014042186.tif 000004
【図３】
2014042186.tif 000005
【図４】
2014042186.tif 000006
【図５】
2014042186.tif 000007
【図６】
2014042186.tif 000008
【図７】
2014042186.tif 000009
【図８】
2014042186.tif 000010
【図９】
2014042186.tif 000011
【図１０】
2014042186.tif 000012
【図１１】
2014042186.tif 000013
【図１２】
2014042186.tif 000014
【図１３】
2014042186.tif 000015
【図１４】
2014042186.tif 000016
【図１５】
2014042186.tif 000017
【図１６】
2014042186.tif 000018
【図１７】
2014042186.tif 000019
【図１８】
2014042186.tif 000020
【図１９】
2014042186.tif 000021
【図２０】
2014042186.tif 000022
【図２１】
2014042186.tif 000023
【図２２】
2014042186.tif 000024
【図２３】
2014042186.tif 000025
【図２４】
2014042186.tif 000026
【図２５】
2014042186.tif 000027
【図２６】
2014042186.tif 000028
【図２７】
2014042186.tif 000029
【図２８】
2014042186.tif 000030
【図２９】
2014042186.tif 000031
【図３０】
2014042186.tif 000032
【図３１】
2014042186.tif 000033
【図３２】
2014042186.tif 000034
【図３３】
2014042186.tif 000035