(57)【要約】【構成】イメージセンサ１６は、撮像面で捉えられた光学像に対応する生画像データを１／２４０秒毎に出力する。出力された生画像データに基づくＹＵＶ画像データは、１／６０秒毎に取得される。また、出力された生画像データに基づくＹＵＶ画像データのうち主要被写体領域ＭＮに属する一部のＹＵＶ画像データは、１／２４０秒毎に取得される。記録媒体４２に形成された動画ファイルＦＭ１には、１／６０秒毎に取得されたＹＵＶ画像データが納められる。また、記録媒体４２に形成された動画ファイルＦＭ２には、１／２４０秒毎に取得されたＹＵＶ画像データが納められる。【効果】記録動画像の多様化が図られる。【選択図】図２
2014030095.tif 000002
【特許請求の範囲】
【請求項１】
撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段、
前記撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得手段、
前記撮像手段から出力された電子画像の一部を前記電子画像の出力に関連して繰り返し切り出す切り出し手段、
前記切り出し手段によって切り出された部分画像を取得する処理を前記第１周期よりも短い第２周期で実行する第２取得手段、
前記第１取得手段によって取得された複数の電子画像を用いて動画像を記録する第１記録手段、および
前記第２取得手段によって取得された複数の部分画像を用いて動画像を記録する第２記録手段を備える、電子カメラ。
【請求項２】
前記撮像手段から出力された電子画像から特定物体像を繰り返し探索する探索手段をさらに備え、
前記切り出し手段は、前記探索手段の探索結果に基づいて切り出し領域を設定する領域設定手段、および前記撮像手段から出力された電子画像のうち前記領域設定手段によって設定された領域を抽出する抽出手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記設定手段は、前記特定物体像の発見に関連して前記特定物体像を含む領域を切り出し領域に設定する第１設定手段、および前記特定物体像の非発見に関連して既定領域を切り出し領域に設定する第２設定手段を含む、請求項２記載の電子カメラ。
【請求項４】
前記特定物体像は人物の顔画像に相当する、請求項２または３記載の電子カメラ。
【請求項５】
前記特定物体像は人物の人体画像に相当する、請求項２または３記載の電子カメラ。
【請求項６】
撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ、
前記撮像手段から出力された電子画像の一部を前記電子画像の出力に関連して繰り返し切り出す切り出しステップ、
前記切り出しステップによって切り出された部分画像を取得する処理を前記第１周期よりも短い第２周期で実行する第２取得ステップ、
前記第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ、および
前記第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップを実行させるための、撮像制御プログラム。
【請求項７】
撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ、
前記撮像手段から出力された電子画像の一部を前記電子画像の出力に関連して繰り返し切り出す切り出しステップ、
前記切り出しステップによって切り出された部分画像を取得する処理を前記第１周期よりも短い第２周期で実行する第２取得ステップ、
前記第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ、および
前記第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップを備える、撮像制御方法。
【請求項８】
撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ、
前記撮像手段から出力された電子画像の一部を前記電子画像の出力に関連して繰り返し切り出す切り出しステップ、
前記切り出しステップによって切り出された部分画像を取得する処理を前記第１周期よりも短い第２周期で実行する第２取得ステップ、
前記第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ、および
前記第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項９】
撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ、
前記撮像手段から出力された電子画像の一部を前記電子画像の出力に関連して繰り返し切り出す切り出しステップ、
前記切り出しステップによって切り出された部分画像を取得する処理を前記第１周期よりも短い第２周期で実行する第２取得ステップ、
前記第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ、および
前記第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に複数の動画像を記録する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、レンズによる広い画角による第１撮像範囲の画素信号が第１ＡＦＥによって読み出される。同じレンズによる狭い画角による第２撮像範囲の画素信号が第２ＡＦＥによって読み出される。撮像素子が１回露光された後に、第１撮像範囲の画素信号および第２撮像範囲の画素信号の読み出しが連続して行われる。２つの画素信号には、同一露光の画素信号が共通して利用される。それぞれ読み出された画素信号は、信号処理部で圧縮等所定の画像処理が施される。処理された第１画像がメモリに記録される。第２画像が補助メモリに記録される。これにより２つの動画像が同時に記録される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５９１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、２つの動画像の画質について記述されておらず、２つの動画像の画質が共通する場合等に画像処理の負荷が増大し、動画像の記録性能が低下する恐れがある。
【０００５】
それゆえに、この発明の主たる目的は、動画像の記録性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得手段(S169)、撮像手段から出力された電子画像の一部を電子画像の出力に関連して繰り返し切り出す切り出し手段(S125, S127, S129, S161)、切り出し手段によって切り出された部分画像を取得する処理を第１周期よりも短い第２周期で実行する第２取得手段(S163)、第１取得手段によって取得された複数の電子画像を用いて動画像を記録する第１記録手段(S147, S153, S175)、および第２取得手段によって取得された複数の部分画像を用いて動画像を記録する第２記録手段(S149, S155, S177)を備える。
【０００７】
好ましくは、撮像手段から出力された電子画像から特定物体像を繰り返し探索する探索手段(S47, S63)がさらに備えられ、切り出し手段は、探索手段の探索結果に基づいて切り出し領域を設定する領域設定手段(S125, S127, S129)、および撮像手段から出力された電子画像のうち領域設定手段によって設定された領域を抽出する抽出手段(S161)を含む。
【０００８】
或る局面では、設定手段は、特定物体像の発見に関連して特定物体像を含む領域を切り出し領域に設定する第１設定手段(S125, S127)、および特定物体像の非発見に関連して既定領域を切り出し領域に設定する第２設定手段(S129)を含む。
【０００９】
他の局面では、特定物体像は人物の顔画像に相当する。
【００１０】
その他の局面では、特定物体像は人物の人体画像に相当する。
【００１１】
この発明に従う撮像制御プログラムは、撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ(S169)、撮像手段から出力された電子画像の一部を電子画像の出力に関連して繰り返し切り出す切り出しステップ(S125, S127, S129, S161)、切り出しステップによって切り出された部分画像を取得する処理を第１周期よりも短い第２周期で実行する第２取得ステップ(S163)、第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ(S147, S153, S175)、および第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップ(S149, S155, S177)を実行させるための、撮像制御プログラムである。
【００１２】
この発明に従う撮像制御方法は、撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)によって実行される撮像制御方法であって、撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ(S169)、撮像手段から出力された電子画像の一部を電子画像の出力に関連して繰り返し切り出す切り出しステップ(S125, S127, S129, S161)、切り出しステップによって切り出された部分画像を取得する処理を第１周期よりも短い第２周期で実行する第２取得ステップ(S163)、第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ(S147, S153, S175)、および第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップ(S149, S155, S177)を備える。
【００１３】
この発明に従う外部制御プログラムは、撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ(S169)、撮像手段から出力された電子画像の一部を電子画像の出力に関連して繰り返し切り出す切り出しステップ(S125, S127, S129, S161)、切り出しステップによって切り出された部分画像を取得する処理を第１周期よりも短い第２周期で実行する第２取得ステップ(S163)、第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ(S147, S153, S175)、および第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップ(S149, S155, S177)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１４】
この発明に従う電子カメラ(10)は、撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する撮像手段(16)、外部制御プログラムを取り込む取り込み手段(60)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラであって、外部制御プログラムは、撮像手段から出力された電子画像を取得する処理を第１周期で実行する第１取得ステップ(S169)、撮像手段から出力された電子画像の一部を電子画像の出力に関連して繰り返し切り出す切り出しステップ(S125, S127, S129, S161)、切り出しステップによって切り出された部分画像を取得する処理を第１周期よりも短い第２周期で実行する第２取得ステップ(S163)、第１取得ステップによって取得された複数の電子画像を用いて動画像を記録する第１記録ステップ(S147, S153, S175)、および第２取得ステップによって取得された複数の部分画像を用いて動画像を記録する第２記録ステップ(S149, S155, S177)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１５】
この発明によれば、２つの動画像のうち、一方の動画像には、撮像手段から出力された電子画像が用いられる。また、他方の動画像には、撮像手段から出力された電子画像から切り出された部分画像が用いられる。切り出された部分画像は、撮像手段から出力された電子画像よりも画素数が少なく処理の負荷が小さいので、短い周期で取得して動画像の記録に用いることができる。したがって、動画像の記録性能を向上させることができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図６】顔検出処理において参照される顔辞書の構成の一例を示す図解図である。
【図７】人体検出処理において参照される人体辞書の構成の一例を示す図解図である。
【図８】図２実施例において参照されるレジスタの構成の一例を示す図解図である。
【図９】図２実施例において参照される他のレジスタの構成の一例を示す図解図である。
【図１０】顔検出処理の一部を示す図解図である。
【図１１】主要被写体更新処理の一部を示す図解図である。
【図１２】図２実施例の処理の一部を示すタイミング図である。
【図１３】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２３】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、撮像面で捉えられた光学像に対応する電子画像を繰り返し出力する。第１取得手段２は、撮像手段１から出力された電子画像を取得する処理を第１周期で実行する。切り出し手段３は、撮像手段１から出力された電子画像の一部を電子画像の出力に関連して繰り返し切り出す。第２取得手段４は、切り出し手段３によって切り出された部分画像を取得する処理を第１周期よりも短い第２周期で実行する。第１記録手段５は、第１取得手段２によって取得された複数の電子画像を用いて動画像を記録する。第２記録手段６は、第２取得手段４によって取得された複数の部分画像を用いて動画像を記録する。
【００２０】
２つの動画像のうち、一方の動画像には、撮像手段１から出力された電子画像が用いられる。また、他方の動画像には、撮像手段１から出力された電子画像から切り出された部分画像が用いられる。切り出された部分画像は、撮像手段１から出力された電子画像よりも画素数が少なく処理の負荷が小さいので、短い周期で取得して動画像の記録に用いることができる。したがって、動画像の記録性能を向上させることができる。
［実施例］
【００２１】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、シーンを表す電荷が生成される。
【００２２】
電源が投入されると、ＣＰＵ２６は、顔・人体検出タスクを撮像タスクの下で起動する。ＣＰＵ２６は次に、動画取り込み処理を実行するべく、露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。ＣＰＵ２６はまた、撮像タスクの下で、初期設定位置であるパンフォーカス位置にフォーカスレンズ１２を配置する。
【００２３】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。
【００２４】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。この結果、ＹＵＶ画像データが作成され、作成されたＹＵＶ画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。
【００２５】
後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｃ（図３参照）に書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｄ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ３６は、表示画像エリア３２ｃに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３８に表示される。
【００２７】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００２９】
ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３０】
ＣＰＵ２６は、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃの発生毎に顔・人体検出タスクの下で顔検出処理を繰り返し実行する。このような顔検出タスクのために、図５に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…、図６に示す顔辞書ＤＣｆ、図７に示す人体辞書ＤＣｂ、図８に示す顔検出ワークレジスタＲＧＳＴｗｋ、図９に示す顔レジスタＲＧＳＴｆｃおよび図９に示す人体レジスタＲＧＳＴｂｄが準備される。顔辞書ＤＣｆには５つの辞書画像（＝向きが互いに異なる顔画像）が収められる。人体辞書ＤＣｂには単一の辞書画像（＝上半身の輪郭画像）が収められる。なお、顔辞書ＤＣｆおよび人体辞書ＤＣｂはフラッシュメモリ４４に保存される。
【００３１】
顔検出処理ではまず、評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘが“２００”に設定され、最小サイズＳＺｍｉｎが“２０”に設定される。
【００３２】
顔検出枠ＦＤは、探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図１０参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＳＺｍａｘ”から“ＳＺｍｉｎ”まで“５”ずつ縮小される。
【００３３】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｄから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書ＤＣｆの各々の特徴量と照合される。照合度が基準値ＴＨを上回ると、顔画像が検出されたものとみなされ、現時点の顔検出枠ＦＤの位置およびサイズが、顔情報として顔検出ワークレジスタＲＧＳＴｗｋに格納される。
【００３４】
顔検出処理の完了後に顔検出ワークレジスタＲＧＳＴｗｋに顔情報が格納されていたとき、ＣＰＵ２６は、顔検出ワークレジスタＲＧＳＴｗｋに格納された顔情報の中からＡＦ処理の対象とすべき顔情報を、顔検出タスクの下で決定する。顔検出ワークレジスタＲＧＳＴｗｋに１つの顔情報が格納されている場合、ＣＰＵ２６は、格納された顔情報を主要被写体候補顔情報とする。顔検出ワークレジスタＲＧＳＴｗｋに複数の顔情報が格納されている場合、ＣＰＵ２６は、位置が撮像面中央に最も近い顔情報を主要被写体候補顔情報とする。主要被写体候補顔情報とされた顔情報の位置およびサイズは、顔レジスタＲＧＳＴｆｃに格納される。
【００３５】
また、ＣＰＵ２６は、人物の顔を発見したことを表明するべくフラグＦＬＧ＿ｆを“１”に設定する。
【００３６】
ＣＰＵ２６は、顔画像が検出された場合、主要被写体候補顔情報が示す領域を含む人体の画像を、人体辞書ＤＣｂを用いて探索画像データから検出する。人体画像が検出された場合、検出された位置およびサイズが主要被写体候補人体情報として人体レジスタＲＧＳＴｂｄに格納される。また、ＣＰＵ２６は、人物の人体を発見したことを表明するべくフラグＦＬＧ＿ｂを“１”に設定する。
【００３７】
なお、顔検出処理の完了後に顔検出ワークレジスタＲＧＳＴｗｋに顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合は、ＣＰＵ２６は、人物が未発見であることを表明するべくフラグＦＬＧ＿ｆおよびＦＬＧ＿ｂの各々を“０”に設定する。つまり、人物の顔および人体が検出された場合はフラグＦＬＧ＿ｆおよびＦＬＧ＿ｂの各々が“１”に設定され、人物の顔は検出されたが人体は検出されなかった場合はフラグＦＬＧ＿ｆが“１”に設定され、ＦＬＧ＿ｂが“０”に設定される。
【００３８】
フラグＦＬＧ＿ｆが“１”を示すとき、撮像タスクの下でＣＰＵ２６は、主要被写体候補顔情報が示す領域に注目したコンティニュアス厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、主要被写体候補顔レジスタＲＧＳＴｆｃに格納された位置およびサイズに対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくＡＦ処理を実行する。この結果、主要被写体候補顔情報が示す領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における顔の鮮鋭度が継続的に向上する。
【００３９】
フラグＦＬＧ＿ｆが“０”を示すとき、撮像タスクの下でＣＰＵ２６は、画像中央に注目したコンティニュアス厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、画面中央に対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくコンティニュアス厳格ＡＦ処理を実行する。この結果、スルー画像または記録画像における画像中央の鮮鋭度が向上する。
【００４０】
ＣＰＵ２６はまた、撮像タスクの下で、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいてコンティニュアス厳格ＡＥ処理を実行する。コンティニュアス厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像および記録画像の明るさの厳格な調整が継続的に実行される。
【００４１】
ＣＰＵ２６はまた、撮像タスクの下で、高フレームレートで記録される領域に相当する主要被写体領域ＭＮを定めるべく、主要被写体更新処理を繰り返し実行する。このような主要被写体更新処理のために、図９に示す主要被写体領域レジスタＲＧＳＴｍｎが準備される。
【００４２】
主要被写体更新処理において、フラグＦＬＧ＿ｂが“０”を示すとき、ＣＰＵ２６は、主要被写体候補人体情報に基づいて、主要被写体領域ＭＮを設定する。図１１を参照して、人物ＨＭ１が撮像面に捉えられたとき、顔検出枠ＦＤ１によって人物ＨＭ１の顔が検出され、人体検出枠ＢＤ１によって人物ＨＭ１の人体が検出される。この場合、例えば人体検出枠ＢＤ１を中心に元の画像のアスペクト比を縦と横とで入れ替えた既定の大きさの領域を、主要被写体領域ＭＮとして設定する。主要被写体領域ＭＮとして設定された領域の位置およびサイズは、主要被写体領域レジスタＲＧＳＴｍｎに登録される。
【００４３】
主要被写体領域ＭＮのサイズは、例えば、主要被写体領域ＭＮの水平方向の長さを元の画像の垂直方向の長さの２分の１とし、主要被写体領域ＭＮの垂直方向の長さを元の画像の水平方向の長さの２分の１とすればよい。
【００４４】
フラグＦＬＧ＿ｂが“０”を示しフラグＦＬＧ＿ｆが“１”を示すとき、ＣＰＵ２６は、主要被写体候補顔情報に基づいて、主要被写体領域ＭＮを設定する。
【００４５】
フラグＦＬＧ＿ｂおよびＦＬＧ＿ｆが“０”を示すとき、ＣＰＵ２６は、画像中央の既定の領域を、主要被写体領域ＭＮとして設定する。
【００４６】
記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、動画記録タスクが起動される。キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態が同時記録モードを示さない場合、つまり通常の記録モードを示す場合は、ＣＰＵ２６は単一の動画ファイルの設定を行う。例えば、動画ファイルの画素数が“２５６０×１９２０”に設定され、フレームレートが“６０ｆｐｓ”に設定され、垂直同期信号Ｖｓｙｎｃの発生周期が“１／６０秒”に設定される。このように設定されたオープン状態の単一の動画ファイルが、記録媒体４２に新規に作成される。
【００４７】
ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＹＵＶ画像エリア３２ｂに書き込まれたＹＵＶ画像データをフレーム画像として、オープン状態の動画像ファイルに繰り返し記録する。記録ボタン２８ｒｅｃに向けて記録終了操作が行われると、オープン状態の動画ファイルはクローズされ、記録処理が終了する。このようにして、動画像が作成される。
【００４８】
キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態が同時記録モードを示す場合、ＣＰＵ２６は２つの動画ファイルの設定を行う。例えば、動画ファイルＦＭ１の画素数が“２５６０×１９２０”に設定され、フレームレートが“６０ｆｐｓ”に設定される。また、動画ファイルＦＭ２の画素数が“９６０×１２８０”に設定され、フレームレートが“２４０ｆｐｓ”に設定される。さらに、垂直同期信号Ｖｓｙｎｃの発生周期が“１／２４０秒”に設定される。
【００４９】
このように、同時記録モードにおいては、サイズの異なる２つの動画ファイルの記録の準備が行われる。また、サイズの小さい動画ファイルＦＭ２のフレームレートは、動画ファイルＦＭ１のフレームレートよりも高く設定される。こうして設定されたオープン状態の動画ファイルＦＭ１およびＦＭ２は、記録媒体４２に新規に作成される。
【００５０】
垂直同期信号Ｖｓｙｎｃが発生する毎に、ＣＰＵ２６は、ＹＵＶ画像エリア３２ｂに書き込まれたＹＵＶ画像データから主要被写体レジスタＲＧＳＴｍｎに登録された主要被写体領域ＭＮに属する一部の画像データを切り出して、ＳＤＲＡＭ３２の切り出し画像エリア３２ｅに書き込む。切り出し画像エリア３２ｅに書き込まれた切り出し画像データは、フレーム画像としてオープン状態の動画像ファイルＦＭ２に記録される。
【００５１】
また、垂直同期信号Ｖｓｙｎｃが４回発生する毎に、ＣＰＵ２６は、ＹＵＶ画像エリア３２ｂに書き込まれたＹＵＶ画像データをフレーム画像として、オープン状態の動画像ファイルＦＭ１に繰り返し記録する。
【００５２】
記録ボタン２８ｒｅｃに向けて記録終了操作が行われると、オープン状態の動画ファイルＦＭ１およびＦＭ２はクローズされ、記録処理が終了する。このようにして、図１２に示すように、画角およびフレームレートの異なる２つの動画ファイルＦＭ１およびＦＭ２が作成される。
【００５３】
ＣＰＵ２６は、図１３〜１４に示す撮像タスク，図１５〜１６に示す顔検出タスク，および図２０〜２２に示す動画記録タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５４】
図１３を参照して、ステップＳ１では初期設定位置であるパンフォーカス位置にフォーカスレンズ１２を配置する。ステップＳ３では顔・人体検出タスクを起動する。ステップＳ５では動画取り込み処理を開始する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。
【００５５】
ステップＳ７では簡易ＡＥ処理を実行する。この結果、スルー画像の明るさが適度に調整される。ステップＳ９では、主要被写体を画像中央の既定領域と決定し、主要被写体レジスタＲＧＳＴｍｎを更新する。
【００５６】
ステップＳ１１では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＹＥＳであればステップＳ１５に進む一方、判別結果がＮＯであれば記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かをステップＳ１３で判別する。ステップＳ１３の判別結果がＹＥＳであればステップＳ１９に進む一方、ステップＳ１３の判別結果がＮＯであればステップＳ２１に進む。
【００５７】
ステップＳ１５ではフラグＦＬＧ＿ｓｔｐに“０”を設定し、ステップＳ１７では動画記録タスクを起動する一方、ステップＳ１９ではフラグＦＬＧ＿ｓｔｐに“１”を設定する。ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ１１に戻る。
【００５８】
ステップＳ２１ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２５の処理を経てステップＳ２７に進む一方、判別結果がＹＥＳであればステップＳ２３の処理を経てステップＳ２７に進む。
【００５９】
ステップＳ２３では、主要被写体候補顔情報が示す領域に注目したコンティニュアス厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、主要被写体候補顔情報に対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくコンティニュアスＡＦ処理を実行する。この結果、主要被写体候補顔情報が示す領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における主要被写体候補の顔の鮮鋭度が継続的に向上する。
【００６０】
ステップＳ２５では、画像中央に注目したコンティニュアス厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、画面中央に対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくコンティニュアスＡＦ処理を実行する。この結果、スルー画像または記録画像における画像中央の鮮鋭度が継続的に向上する。
【００６１】
ステップＳ２７ではコンティニュアス厳格ＡＥ処理を実行する。この結果、スルー画像および記録画像の明るさの厳格な調整が継続的に実行される。ステップＳ２９では主要被写体更新処理を実行し、その後ステップＳ１１に戻る。
【００６２】
図１５を参照して、ステップＳ４１ではフラグＦＬＧ＿ｆに“０”を設定し、ステップＳ４３では顔レジスタＲＧＳＴｆｃの登録内容を初期化するべくクリアする。ステップＳ４５では人体レジスタＲＧＳＴｂｄの登録内容を初期化するべくクリアする。ステップＳ４７では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ４９に進む。
【００６３】
ステップＳ４９では、探索画像データから人物の顔画像を探索するべく、顔検出処理を実行する。ステップＳ５１では、ステップＳ４９の処理によって顔検出ワークレジスタＲＧＳＴｗｋに顔情報が格納されたか否かを判別し、判別結果がＹＥＳであればステップＳ５７に進む一方、判別結果がＮＯであればステップＳ５３に進む。ステップＳ５３ではフラグＦＬＧ＿ｆに“０”を設定し、ステップＳ５５ではフラグＦＬＧ＿ｂに“０”を設定する。ステップＳ５５の処理が完了すると、ステップＳ４７に戻る。
【００６４】
ステップＳ５７では、顔検出ワークレジスタＲＧＳＴｗｋに複数の顔情報が格納されたか否かを判別し、判別結果がＮＯであればステップＳ６１に進む一方、判別結果がＹＥＳであればステップＳ５９の処理を経てステップＳ６１に進む。
【００６５】
ステップＳ５９では、顔検出ワークレジスタＲＧＳＴｗｋに格納された位置が画像中央に最も近い顔情報を主要被写体候補顔情報と決定し、ステップＳ６１では、主要被写体候補顔情報とされた顔情報の位置およびサイズを、顔レジスタＲＧＳＴｆｃに登録する。ステップＳ６３ではフラグＦＬＧ＿ｆに“１”を設定する。
【００６６】
ステップＳ６５ではＡＦ顔情報が示す領域を含む人体の画像を、標準人体辞書ＤＣｓｂを用いて探索画像データから検出する。人体画像が検出されたか否かをステップＳ６７で判別し、判別結果がＮＯであればステップＳ７３に進む一方、判別結果がＹＥＳであればステップＳ６９に進む。
【００６７】
ステップＳ６９では検出された人体画像の位置およびサイズを主要被写体候補人体情報として人体レジスタＲＧＳＴｂｄに登録する。ステップＳ７１ではフラグＦＬＧ＿ｂに“１”を設定する一方、ステップＳ７３ではフラグＦＬＧ＿ｆに“０”を設定する。ステップＳ７１またはＳ７３の処理が完了すると、ステップＳ４７に戻る。
【００６８】
ステップＳ４９の顔検出処理は、図１７〜１８に示すサブルーチンに従って実行される。
【００６９】
図１７を参照して、ステップＳ８１では、顔検出ワークレジスタＲＧＳＴｗｋを初期化すべく格納内容をクリアする。
【００７０】
ステップＳ８３では変数Ｎｍａｘを顔辞書ＤＣｆの登録数に設定し、ステップＳ８５では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ８７では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小サイズＳＺｍｉｎを“２０”に設定する。
【００７１】
ステップＳ８９では顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定し、ステップＳ９１では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ９３では、顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された探索画像データの特徴量を算出する。
【００７２】
ステップＳ９５では変数Ｎを“１”に設定し、ステップＳ９７では、ステップＳ９３で算出された特徴量と顔辞書ＤＣｆのＮ番目に収められた辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨを超える照合度が得られたか否かをステップＳ９９で判別し、判別結果がＮＯであればステップＳ１０１に進む一方、判別結果がＹＥＳであればステップＳ１０５に進む。
【００７３】
ステップＳ１０１では変数Ｎをインクリメントし、ステップＳ１０３では変数ＮがＮｍａｘを超えたか否かを判別する。判別結果がＮＯであればステップＳ９７に戻る一方、判別結果がＹＥＳであればステップＳ１０７に進む。
【００７４】
ステップＳ１０５では、現時点の顔検出枠ＦＤの位置およびサイズを顔情報として顔検出ワークレジスタＲＧＳＴｗｋに登録する。ステップＳ１０７では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１１１に進む一方、判別結果がＮＯであれば、ステップＳ１０９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ９３に戻る。
【００７５】
ステップＳ１１１では顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１１３に進む。
【００７６】
ステップＳ１１３では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１１５では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１１５の処理が完了すると、ステップＳ９３に戻る。
【００７７】
ステップＳ２９の主要被写体更新処理は、図１９に示すサブルーチンに従って実行される。
【００７８】
図１９を参照して、ステップＳ１２１ではフラグＦＬＧ＿ｂが“１”を示すか否かを判別し、判別結果がＮＯであればフラグＦＬＧ＿ｆが“１”を示すか否かをステップＳ１２３で判別する。
【００７９】
ステップＳ１２１の判別結果がＹＥＳであればステップＳ１２５の処理を実行し、ステップＳ１２３の判別結果がＹＥＳであればステップＳ１２７の処理を実行する。ステップＳ１２３の判別結果がＮＯであればステップＳ１２９の処理を実行する。
【００８０】
ステップＳ１２５では主要被写体候補人体情報に基づいて主要被写体領域ＭＮを設定し、ステップＳ１２７では主要被写体候補顔情報に基づいて主要被写体領域ＭＮを設定する。ステップＳ１２９では画像中央を基準に主要被写体領域ＭＮを設定する。ステップＳ１２５，Ｓ１２７，またはＳ１２９で設定された主要被写体の位置およびサイズは、主要被写体レジスタＲＧＳＴｍｎに登録される。ステップＳ１２５，Ｓ１２７，またはＳ１２９の処理が完了すると、上階層のルーチンに復帰する。
【００８１】
図２０を参照して、ステップＳ１３１では、キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態が同時記録モードを示すか否かを判別する。判別結果がＹＥＳであればステップＳ１４７に進む一方、判別結果がＮＯであればステップＳ１３３に進む。
【００８２】
ステップＳ１３３では、動画ファイルＦＭ１の画素数を“２５６０×１９２０”に設定し、フレームレートを“６０ｆｐｓ”に設定する。ステップＳ１３５では垂直同期信号Ｖｓｙｎｃの発生周期を“１／６０秒”に設定する。ステップＳ１３７ではオープン状態の動画ファイルＦＭ１を記録媒体４２に新規に作成する。
【００８３】
ステップＳ１３９では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯであればステップＳ１４３に進む一方、判別結果がＹＥＳであればステップＳ１４１に進む。
【００８４】
ステップＳ１４１では、ＹＵＶ画像エリア３２ｂに書き込まれたＹＵＶ画像データをフレーム画像として、オープン状態の動画像ファイルＦＭ１に記録する。ステップＳ１４１の処理の完了後、ステップＳ１３９に戻る。
【００８５】
ステップＳ１４３ではフラグＦＬＧ＿ｓｔｐが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ１３９に戻る一方、判別結果がＹＥＳであればステップＳ１４５で、オープン状態の動画ファイルＦＭ１をクローズして記録処理を終了する。ステップＳ１４５の処理が完了すると、動画記録タスクは終了する。
【００８６】
ステップＳ１４７では、動画ファイルＦＭ１の画素数を“２５６０×１９２０”に設定し、フレームレートを“６０ｆｐｓ”に設定する。ステップＳ１４９では、動画ファイルＦＭ２の画素数を“９６０×１２８０”に設定し、フレームレートを“２４０ｆｐｓ”に設定する。
【００８７】
ステップＳ１５１では垂直同期信号Ｖｓｙｎｃの発生周期を“１／２４０秒”に設定する。ステップＳ１５３ではオープン状態の動画ファイルＦＭ１を記録媒体４２に新規に作成し、ステップＳ１５５ではオープン状態の動画ファイルＦＭ２を記録媒体４２に新規に作成する。
【００８８】
ステップＳ１５７では変数Ｍを“０”に設定し、ステップＳ１５９では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯであればステップＳ１７３に進む一方、判別結果がＹＥＳであればステップＳ１６１に進む。
【００８９】
ステップＳ１６１では、ＹＵＶ画像エリア３２ｂに書き込まれたＹＵＶ画像データから主要被写体レジスタＲＧＳＴｍｎに登録された主要被写体領域ＭＮに属する一部の画像データを切り出して、ＳＤＲＡＭ３２の切り出し画像エリア３２ｅに書き込む。ステップＳ１６３では、切り出し画像エリア３２ｅに書き込まれた切り出し画像データをフレーム画像として、オープン状態の動画像ファイルＦＭ２に記録する。
【００９０】
ステップＳ１６５では変数Ｍをインクリメントし、変数Ｍが“４”以上となったか否かをステップＳ１６７で判別する。判別結果がＮＯであればステップＳ１５９に戻る一方、判別結果がＹＥＳであればステップＳ１６９に進む。
【００９１】
ステップＳ１６９では、ＹＵＶ画像エリア３２ｂに書き込まれたＹＵＶ画像データをフレーム画像として、オープン状態の動画像ファイルＦＭ１に記録する。ステップＳ１７１では変数Ｍを“０”に設定し、その後にステップＳ１５９に戻る。
【００９２】
ステップＳ１７３ではフラグＦＬＧ＿ｓｔｐが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ１５９に戻る一方、判別結果がＹＥＳであればステップＳ１７５に進む。
【００９３】
ステップＳ１７５ではオープン状態の動画ファイルＦＭ１をクローズして記録処理を終了し、ステップＳ１７７ではオープン状態の動画ファイルＦＭ２をクローズして記録処理を終了する。ステップＳ１７７の処理が完了すると、動画記録タスクは終了する。
【００９４】
以上の説明から分かるように、イメージセンサ１６は、撮像面で捉えられた光学像に対応する生画像データを１／２４０秒毎に出力する。出力された生画像データに基づくＹＵＶ画像データは、１／６０秒毎に取得される(S169)。また、出力された生画像データに基づくＹＵＶ画像データのうち主要被写体領域ＭＮに属する一部のＹＵＶ画像データは、１／２４０秒毎に取得される(S125~S129, S161~S163)。動画ファイルＦＭ１には、１／６０秒毎に取得されたＹＵＶ画像データが納められる(S147, S153, S175)。また、動画ファイルＦＭ２には、１／２４０秒毎に取得されたＹＵＶ画像データが納められる(S149, S155, S177)。
【００９５】
このように、動画ファイルＦＭ１には、１／６０秒毎に取得されたＹＵＶ画像データが納められ、動画ファイルＦＭ２には、主要被写体領域ＭＮから切り出されかつ１／２４０秒毎に取得されたＹＵＶ画像データが納められる。切り出されたＹＵＶ画像データの処理に掛かる負荷は小さいので、１／２４０秒のような短い周期で取得しても動画記録処理が破綻することはない。これによって、記録動画像の多様化が図られる。
【００９６】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２３に示す要領でディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００９７】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１３〜１４に示す撮像タスク，図１５〜１６に示す顔検出タスク，および図２０〜２２に示す動画記録タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００９８】
また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ、携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【００９９】
１０  …ディジタルカメラ
１６  …イメージセンサ
２６  …ＣＰＵ
４２  …記録媒体
ＤＣｆ  …顔辞書
ＤＣｂ  …人体辞書
【図１】
2014030095.tif 000003
【図２】
2014030095.tif 000004
【図３】
2014030095.tif 000005
【図４】
2014030095.tif 000006
【図５】
2014030095.tif 000007
【図６】
2014030095.tif 000008
【図７】
2014030095.tif 000009
【図８】
2014030095.tif 000010
【図９】
2014030095.tif 000011
【図１０】
2014030095.tif 000012
【図１１】
2014030095.tif 000013
【図１２】
2014030095.tif 000014
【図１３】
2014030095.tif 000015
【図１４】
2014030095.tif 000016
【図１５】
2014030095.tif 000017
【図１６】
2014030095.tif 000018
【図１７】
2014030095.tif 000019
【図１８】
2014030095.tif 000020
【図１９】
2014030095.tif 000021
【図２０】
2014030095.tif 000022
【図２１】
2014030095.tif 000023
【図２２】
2014030095.tif 000024
【図２３】
2014030095.tif 000025