(57)【特許請求の範囲】
【請求項１】
特定の人物の顔認識データを記憶する記憶手段と、
被写体を所定のフレームレートで撮像して画像を出力する撮像手段と、
前記撮像手段により出力された画像中の人物の顔が前記記憶手段に記憶された特定の人物の顔か否かを判定する顔判定手段と、
前記撮像手段により出力された画像中の被写体の数を算出する数算出手段と、
前記数算出手段により算出された被写体の数が一定数以上か否かを判定する数判定手段と、
前記顔判定手段による判定結果及び前記数判定手段による判定結果に基づいて、前記所定のフレームレートを制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像手段により出力された画像中の少なくとも一つの被写体の大きさを算出する大きさ算出手段と、
前記大きさ算出手段により算出された大きさが所定値以上か否かを判定する大きさ判定手段と、を更に備え、
前記制御手段は、前記数判定手段による判定結果と前記大きさ判定手段による判定結果とに基づいて、前記所定のフレームレートを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段により制御された所定のフレームレートで前記撮像手段により撮像された画像を動画像として記録手段に記録させる記録制御手段を更に備えることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、前記判定結果が肯定のときに前記所定のフレームレートを上げるように制御することを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像手段により出力された画像から被写体を検出する際の検出モードとして、前記顔判定手段及び前記数判定手段の何れかを選択する選択手段を更に備えることを特徴とする請求項１から４の何れか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記顔判定手段により特定の人物の顔と判定された第１の時間帯と当該第１の時間帯以外の時間帯とを区別して前記フレームレートを制御することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項７】
前記制御手段により制御された前記フレームレートに基づいて、前記第１の時間帯中の画像をダイジェスト再生するように制御する再生制御手段を更に備えることを特徴とする請求項６に記載の撮像装置。
【請求項８】
撮像装置が行う撮像制御方法であって、
被写体を所定のフレームレートで撮像して画像を出力するよう撮像手段を制御する撮像制御ステップと、
前記撮像手段により出力された画像中の人物の顔が記憶手段に記憶された特定の人物の顔か否かを判定する顔判定ステップと、
前記撮像手段により出力された画像中の被写体の数を算出する数算出ステップと、
前記顔判定ステップによる判定結果及び前記数算出ステップにより算出された被写体の数が一定数以上か否かを判定する数判定ステップと、
前記数判定ステップによる判定結果に基づいて、前記所定のフレームレートを制御する制御ステップと、
を含むことを特徴とする撮像制御方法。
【請求項９】
コンピュータを、
被写体を所定のフレームレートで撮像して画像を出力するよう撮像手段を制御する撮像制御手段、
前記撮像手段により出力された画像中の人物の顔が記憶手段に記憶された特定の人物の顔か否かを判定する顔判定手段、
前記撮像手段により出力された画像中の被写体の数を算出する数算出手段、
前記数算出手段により算出された被写体の数が一定数以上か否かを判定する数判定手段、
前記顔判定手段による判定結果及び前記数判定手段による判定結果に基づいて、前記所定のフレームレートを制御する制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置動画撮像方法及びプログラムに関し、特に、動画撮影のフレームレートの制御技術に関する。
【背景技術】
【０００２】
従来より、動画像の撮像装置に関する技術として、一定のフレームレートで動画像を撮像する技術がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２９５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を用いて撮像された動画像では、一定のフレームレートで撮像するため、例えば、画角に動きがなく変化に乏しいシーンであっても、動く人物が画角に含まれ、変化に富んでいるシーンであっても、同じフレームレートで再生されてしまうという問題点があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、撮影時のフレームレートを制御することで、変化に富んでいるシーンや注視される可能性のあるシーンを、変化の乏しいシーンと比較して強調するように再生させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点によると、
特定の人物の顔認識データを記憶する記憶手段と、
被写体を所定のフレームレートで撮像して画像を出力する撮像手段と、
前記撮像手段により出力された画像中の人物の顔が前記記憶手段に記憶された特定の人物の顔か否かを判定する顔判定手段と、
前記撮像手段により出力された画像中の被写体の数を算出する数算出手段と、
前記数算出手段により算出された被写体の数が一定数以上か否かを判定する数判定手段と、
前記顔判定手段による判定結果及び前記数判定手段による判定結果に基づいて、前記所定のフレームレートを制御する制御手段と、
を備える撮像装置を提供する。
【０００７】
本発明の第２の観点によると、
前記撮像手段により出力された画像中の少なくとも一つの被写体の大きさを算出する大きさ算出手段と、
前記大きさ算出手段により算出された大きさが所定値以上か否かを判定する大きさ判定手段を更に備え、
前記制御手段は、前記数判定手段による判定結果と前記大きさ判定手段による判定結果とに基づいて、前記所定のフレームレートを制御する、
撮像装置を提供する。
本発明の第３の観点によると、
前記制御手段により制御された所定のフレームレートで前記撮像手段により撮像された画像を動画像として記録手段に記録させる記録制御手段、
を備える撮像装置を提供する。
本発明の第４の観点によると、
前記制御手段は、前記判定結果が肯定のときに前記所定のフレームレートを上げるように制御する、
撮像装置を提供する。
【０００９】
本発明の第５の観点によると、
前記撮像手段により出力された画像から被写体を検出する際の検出モードとして、前記顔判定手段及び前記数判定手段の何れかを選択する選択手段、
を更に備える撮像装置を提供する。
【００１０】
本発明の第６の観点によると、
前記制御手段は、前記顔判定手段により特定の人物の顔と判定された第１の時間帯と当該第１の時間帯以外の時間帯とを区別して前記フレームレートを制御する、
撮像装置を提供する。
【００１１】
本発明の第７の観点によると、
前記制御手段により制御された前記フレームレートに基づいて、前記第１の時間帯中の画像をダイジェスト再生するように制御する再生制御手段、
を更に備える撮像装置を提供する。
【００１２】
本発明の第８の観点によると、
撮像装置が行う撮像制御方法であって、
被写体を所定のフレームレートで撮像して画像を出力するよう撮像手段を制御する撮像制御ステップと、
前記撮像手段により出力された画像中の人物の顔が記憶手段に記憶された特定の人物の顔か否かを判定する顔判定ステップと、
前記撮像手段により出力された画像中の被写体の数を算出する数算出ステップと、
前記顔判定ステップによる判定結果及び前記数算出ステップにより算出された被写体の数が一定数以上か否かを判定する数判定ステップと、
前記数判定ステップによる判定結果に基づいて、前記所定のフレームレートを制御する制御ステップと、
を含む撮像制御方法を提供する。
【００１３】
本発明の第９の観点によると
コンピュータを、
被写体を所定のフレームレートで撮像して画像を出力するよう撮像手段を制御する撮像制御手段、
前記撮像手段により出力された画像中の人物の顔が記憶手段に記憶された特定の人物の顔か否かを判定する顔判定手段、
前記撮像手段により出力された画像中の被写体の数を算出する数算出手段、
前記数算出手段により算出された被写体の数が一定数以上か否かを判定する数判定手段、
前記顔判定手段による判定結果及び前記数判定手段による判定結果に基づいて、前記所定のフレームレートを制御する制御手段、
として機能させるプログラムを提供する。
【発明の効果】
【００１４】
本発明によれば、撮影時のフレームレートを制御することで、変化に富んでいるシーンや注視される可能性のあるシーンを、変化の乏しいシーンと比較して強調するように再生させることを目的とする。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成を示す機能ブロック図である。
【図３】図２の撮像装置が実行する動画像撮像処理の流れの一例を示すフローチャートである。
【図４】図２の撮像装置が実行する動画像撮像処理の流れの一例であって、図３の例とは異なる例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１７】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１８】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１９】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ１１は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２０】
例えば本実施形態では、後述する図２の動画像取得部５１乃至メタ情報生成部５６の各機能を実現するプログラムが、ＲＯＭ１２や記憶部１９に記憶されている。従って、ＣＰＵ１１が、このプログラムに従った処理を実行することで、後述する図２の動画像取得部５１乃至メタ情報生成部５６の各機能を実現することができる。
【００２１】
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、及び通信部２０が接続されている。
【００２２】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２３】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２４】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。なお、本実施例において、画像信号のディジタル信号は、「画像データ」として出力される。従って、撮像部１６からは画像データが出力されて、ＣＰＵ１１等に適宜供給される。
【００２５】
操作部１７は、各種ボタン等で構成され、ユーザの指示操作を受け付ける。表示部１８は、各種画像データにより表現される画像を表示する。記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、撮像部１６から出力された画像データを一時記憶する。また、記憶部１９は、各種画像処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値等も記憶する。また、記憶部１９には、表示部１８に表示させる画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２６】
入出力インターフェース１５にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像データ等の各種データも、記憶部１９と同様に記憶することができる。
【００２７】
図２は、動画像を撮像して記録するまでの一連の処理（以下、「動画像撮像処理」と呼ぶ）、及び当該動画像を再生するまでの一連の処理（以下、「動画像再生処理」と呼ぶ）を実行するための撮像装置１の機能的構成を示す機能ブロック図である。
【００２８】
図２に示すように、撮像装置１は、動画像撮像処理及び動画像再生処理を実現すべく、上述した撮像部１６乃至表示部１８に加えて、動画像取得部５１と、記録制御部５２と、再生制御部５３と、顔検出部５４と、フレームレート制御部５５と、メタ情報生成部５６と、モード制御部５７と、を備えている。本実施形態では、動画像取得部５１乃至モード制御部５７は、ＣＰＵ１１というハードウェアと、ＲＯＭ１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。また、撮像装置１のＲＯＭ１２、ＲＡＭ１３、又は記憶部１９（図１）内には、動画像記録部６１と、特定人物顔記憶部６２と、が設けられている。
【００２９】
動画像取得部５１は、撮像部１６により撮像された動画像の画像データを取得する。例えば、動画像取得部５１は、後述するフレームレート制御部５５により制御されたフレームレートを撮像部１６に設定して、撮像部１６を連続駆動させる。これにより、設定されたフレームレートで撮像部１６から順次供給されてくる複数の画像（以下、「フレーム」と呼ぶ）の画像データが、動画像の画像データとして動画像取得部５１に取得される。
【００３０】
記録制御部５２は、動画像取得部５１により取得された動画像の画像データを、動画像記録部６１に記録させる。本実施形態では、このときの記録レートは、動画像取得部５１により各フレームが取得されるフレームレートと同一であるとする。記録制御部５２は、さらに、後述するメタ情報生成部５６により生成されたメタ情報を、当該動画像の画像データと対応付けて動画像記録部６１に記録させる。
【００３１】
再生制御部５３は、後述するフレームレート制御部５５により制御されたフレームレートを再生レートとして、動画像記録部６１に画像データとして記録されている動画像を再生する。具体的には、動画像記録部６１に記憶された動画像の画像データのうち、表示対象のフレームの画像データが、記憶部１９の表示メモリ領域に表示画像データとして格納される。すると、動画像の再生時には、再生制御部５３は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、表示対象のフレームを表示部１８に表示させる。再生制御部３５は、このような処理を、後述するフレームレート制御部５５により制御されたフレームレートに基づいて、動画像を構成する各フレーム毎に実行することで、動画像を再生することができる。
【００３２】
このような再生制御部５３による動画像の再生手法として、本実施形態では、ユーザにとって関心のあるシーンとして人物の顔が登場するシーンに着目し、着目した当該シーンを他のシーンよりも強調して再生させる手法（以下、「関心シーン強調再生手法」と呼ぶ）が採用されている。当該関心シーン強調再生手法を実現するために、顔検出部５４、フレームレート制御部５５、及びメタ情報生成部５６が、撮像装置１に設けられている。
【００３３】
顔検出部５４は、記録制御部５２の記録制御の対象となっている動画像から人物の顔を検出するために、顔数検出部７１と、特定人物顔検出部７２と、顔大きさ検出部７３と、を備えている。
【００３４】
即ち、本実施形態では、ユーザにとって関心のあるシーンとして、一定数以上の顔が登場するシーンと、特定人物の顔が登場するシーンとの２種類が採用されている。そこで、ユーザは、操作部１７を操作することによって、これらの２種類の中から、より関心のある方の種類のシーンを選択することができる。
【００３５】
例えば、一定数以上の人物が登場するシーンが選択された場合、顔数検出部７１が、所定周期毎に、記録制御部５２の記録制御の対象となっている動画像から人物の顔を検出し、検出された顔の数を検出する。この検出結果に基づいて、記録制御部５２の記録制御の対象となっている動画像の中から、一定数以上の顔が登場するシーンを特定することが可能になる。なお、以下、このような顔数検出部７１が動作するモードを、「顔数検出モード」と呼ぶ。
【００３６】
これに対して、例えば、特定人物が登場するシーンが選択された場合、特定人物顔検出部７２が、所定周期毎に、記録制御部５２の記録制御の対象となっている動画像から特定人物の顔を検出する。具体的には例えば、特定人物の顔の画像データ(以下、「特定人物の顔認識データ」と呼ぶ)は、特定人物顔記憶部５８に記憶されている。そこで、特定人物顔検出部７２は、特定人物の顔認識データを特定人物顔記憶部５８から取得すると共に、記録制御部５２の記録制御の対象となっている動画像から人物の顔の画像データを検出する。次に、特定人物顔検出部７２は、検出された顔の画像データを比較対象とし、特定人物の顔認識データを被比較対象として、比較対象と被比較対象とを比較する。特定人物顔検出部７２は、比較対象及び被比較対象が同一人物の顔のデータであると判定した場合、比較対象を、特定人物の顔の画像データとして検出する。この検出結果に基づいて、記録制御部５２の記録制御の対象となっている動画像の中から、特定人物の顔が登場するシーンを特定することが可能になる。なお、以下、このような特定人物顔検出部７２が動作するモードを、「特定顔検出モード」と呼ぶ。
【００３７】
ここで、顔数検出モードと特定顔検出モードとのうち何れのモードが選択されている場合であっても、フレーム内に小さく含まれる顔は、ユーザにとって関心のある顔とは限らない。このため、フレーム内に含まれる顔のうち、一定未満の大きさの顔を検出対象から除外して、一定以上の大きさの顔のみを検出対象にする必要がある。そこで、顔大きさ検出部７３は、顔数検出部７１又は特定人物顔検出部７２により検出された顔の大きさを検出する。この検出結果に基づいて、顔数検出部７１又は特定人物顔検出部７２により検出された顔を、検出対象として採用するのか否かを判定することが可能になる。
【００３８】
このように、関心シーン強調再生手法を実現するためには、顔検出部５４の動作が必要であることから、ユーザは、関心シーン強調再生手法に従った再生が可能になる動画像を記録させたい場合、操作部１７を操作して、顔数検出モード又は特定人物顔検出モードを選択すればよい。
【００３９】
フレームレート制御部５５は、関心シーン強調再生手法に従った動画像の再生が可能となるように、顔検出部５４により検出された顔の検出状態に基づいて、撮像部１６に設定される、当該動画像を再生する時のフレームレートを制御する。
【００４０】
具体的には、本実施形態では、顔検出部５４により顔が検出された時間帯（以下、「顔検出時間帯」と呼ぶ）とそれ以外の時間帯とを区別せずに、一定の記録レートで動画像の画像データが記録される。これに対して、顔検出時間帯の方が他の時間帯よりも再生レートが低くなるように、動画像の画像データが再生される。その結果、顔検出時間帯のシーン、即ち、ユーザにとって関心のあるシーンは、他のシーンよりもスロー再生されるので、他のシーンよりも強調されることになる。このようにして、関心シーン強調再生手法が実現される。
【００４１】
このような関心シーン強調再生手法を適用した動画像の再生を実現するためには、動画像の再生時点に、顔検出時間帯及びそれ以外の時間帯の各々の再生レートを決定する必要がある。そこで、フレームレート制御部５５は、動画像の記録時において、当該動画像の全時間帯で記録レートが一定となるように制御すると共に、動画像の再生時点において顔検出時間帯及びそれ以外の時間帯の各々の再生レートを決定できるようなメタ情報を生成するようにメタ情報生成部５６に指示する。
【００４２】
メタ情報生成部５６は、この通知を受けると、記録制御対象の当該動画像について、顔検出時間帯とフレームレートとを含むメタ情報を生成する。ここで、メタ情報に含まれる「フレームレート」とは、上述したように、動画像の再生時点において顔検出時間帯及びそれ以外の時間帯の各々の再生レートを決定できる情報であれば足りる。従って、メタ情報に含まれる「フレームレート」としては、当該顔検出時間帯の画像データが記録されている最中の実績値としての記録レートを採用してもよいし、当該記録レートに基づいて演算された予測値としての再生レートを採用してもよい。このようなメタ情報は、上述したように、記録制御部５２によって、当該動画像の画像データと関連付けられて動画像記録部６１に記録される。これにより、再生制御部５３は、当該動画像を再生する場合、当該動画像の画像データと関連付けられているメタ情報に基づいて、顔検出時間帯及びそれ以外の時間帯の各々の再生レートを決定することが可能になる。
【００４３】
モード制御部５７は、操作部１７の操作を適宜受け付け、表示部１８に各種報知内容を適宜表示させることによって、上述した各種モードへの移行や開始等の動作を制御する。
【００４４】
次に、このような機能的構成を有する撮像装置１が実行する動画像撮像処理について説明する。
【００４５】
図３は、動画像撮像処理の流れの一例を示すフローチャートである。
【００４６】
ステップＳ１において、モード制御部５７は、撮像装置１の動作モードが動画像撮像モードか否かを判定する。撮像装置１の動作モードとして動画像撮像モード以外のモード、例えば、動画像再生モード等が選択されている場合、ステップＳ１においてＮＯであると判定されて、動画像撮像処理は終了となる。これに対して、撮像装置１の動作モードとして動画像再生モードが選択されている場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
【００４７】
ステップＳ２において、モード制御部５７は、顔数検出モード又は特定人物顔検出モードを選択するよう報知する。例えば、モード制御部５７は、顔検出モードの選択を促すメッセージを、表示部１８に表示させる。
【００４８】
ユーザは、当該メッセージを視認した後、操作部１７を操作することで、顔数検出モード又は特定人物顔検出モードを選択することができる。
【００４９】
そこで、ステップＳ３において、モード制御部５７は、顔数検出モードが選択されたか否かを判定する。
【００５０】
ユーザにより顔数検出モードが選択された場合、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。ステップＳ４において、モード制御部５７は、顔数検出モードを起動させる。ステップＳ５において、モード制御部５７は、録画開始する。
【００５１】
ステップＳ６において、顔数検出部７１は、撮像部１６から出力される動画像の画像データから、一定数以上の数を検出したか否かを判定する。
【００５２】
顔数検出部７１が、人物の顔の検出の試みに失敗した場合、又は、検出された顔の数が一定数未満の場合、ステップＳ６においてＮＯであると判定し、処理をステップＳ１０に進める。ステップＳ１０において、動画像取得部５１は、撮像部１６を制御して、一定のフレームレートで動画像を撮像する。即ち、フレームレート制御部５５は、記録レートが一定のフレームレートになるように制御する。ステップＳ１１において、記録制御部５２は、動画像のデータを動画像記録部６１に書き込む。これにより、動画像撮像処理は終了となる。このように、ステップＳ１０及びＳ１１の処理は、関心シーン強調再生手法による再生ができない通常の動画像の録画の処理である。そこで、以下、ステップＳ１０及びＳ１１の処理を、「通常録画処理」と呼ぶ。
【００５３】
これに対して、顔数検出部７１は、一定数以上の顔を検出した場合、ステップＳ６においてＹＥＳであると判定し、処理をステップＳ７に進める。ステップＳ７において、顔大きさ検出部７３は、検出された顔が所定以上の大きさの顔か否かを判定する。
【００５４】
顔大きさ検出部７３は、検出された顔の大きさを検出し、これらの大きさの全てが所定未満であると判定した場合、ステップＳ７においてＮＯであると判定し、処理をステップＳ１０に進める。すると、ステップＳ１０及びＳ１１において、上述した通常録画処理が実行されて、動画像撮像処理は終了となる。
【００５５】
これに対して、顔大きさ検出部７３は、検出された顔の大きさを検出し、これらの大きさのうち少なくとも１つが所定以上であると判定した場合、ステップＳ７においてＹＥＳであると判定し、処理をステップＳ８に進める。
【００５６】
ステップＳ８において、動画像取得部５１は、撮像部１６を制御して、一定のフレームレートで動画像を撮像する。即ち、フレームレート制御部５５は、記録レートが一定のフレームレートになるように制御する。このとき、メタ情報生成部５６は、顔検出時間帯とフレームレートとを含むメタ情報を生成する。ステップＳ９において、記録制御部５２は、顔検出時間帯とフレームレートとを含むメタ情報を、動画像の画像データと共に動画像記録部６１に書き込む。これにより、動画像撮像処理は終了となる。
【００５７】
このように、ステップＳ８及びＳ９の処理は、関心シーン強調再生手法による再生が可能となる動画像の録画の処理である。そこで、以下、ステップＳ８及びＳ９の処理を、「関心シーン強調録画処理」と呼ぶ。関心シーン強調録画処理によって記録された動画像が再生されると、上述したように、メタ情報に含まれるフレームレートに基づいて、メタ情報に含まれる顔検出時間帯の再生レートが、他の時間帯の再生レートよりも低くなるように制御される。これにより、顔検出時間帯のシーン、即ち、ユーザにとって関心のあるシーンが、他のシーンよりもスロー再生されるため、他のシーンよりも強調される。
【００５８】
以上、顔数検出モードが選択された場合の動画像撮像処理について説明を終了する。次に、特定顔検出モードが選択された場合の動画像撮像処理について説明する。
【００５９】
この場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、モード制御部５７は、特定人物顔検出モードを起動させる。ステップＳ１３において、特定人物顔検出部７２は、特定人物の顔認識データを特定人物顔記憶部６２から読み出す。ステップＳ１４において、モード制御部５７は、録画を開始する。
【００６０】
ステップＳ１５において、特定人物顔検出部７２は、撮像部１６から出力される動画像の画像データから特定人物の顔を検出したか否かを、ステップＳ１３の処理で読み出した特定人物の顔認識データを用いて判定する。
【００６１】
特定人物顔検出部７２が、人物の顔の検出の試みに失敗した場合、又は、検出した顔が特定人物の顔以外の場合、ステップＳ１５においてＮＯであると判定し、処理をステップＳ１０に進める。すると、ステップＳ１０及びＳ１１において、上述した通常録画処理が実行されて、動画像撮像処理は終了となる。
【００６２】
これに対して、特定人物顔検出部７２は、特定人物の顔を検出した場合、ステップＳ１５においてＹＥＳであると判定し、処理をステップＳ７に進める。ステップＳ７において、顔大きさ検出部７３は、検出された顔が、所定以上の大きさの顔か否かを判定する。
【００６３】
顔大きさ検出部７３は、検出された顔の大きさを検出し、これらの大きさの全てが所定未満であると判定した場合、ステップＳ７においてＮＯであると判定し、処理をステップＳ１０に進める。すると、ステップＳ１０及びＳ１１において、上述した通常録画処理が実行されて、動画像撮像処理は終了となる。
【００６４】
これに対して、顔大きさ検出部７３は、検出された顔の大きさを検出し、これらの大きさのうち少なくとも１つが所定以上であると判定した場合、ステップＳ７においてＹＥＳであると判定し、処理をステップＳ８に進める。すると、ステップＳ８及びＳ９において、上述した関心シーン強調録画処理が実行されて、動画像撮像処理は終了となる。
【００６５】
なお、このような動画像撮像処理は、撮像装置１の電源がＯＮにされた後に１回だけ実行されるようにしてもよいし、所定周期毎に実行されるようにしてもよい。ここで、所定周期は、特に限定されず、フレーム期間であってもよいし、所定の時間（５秒とか１分とか予め規定された時間）であってもよい。また、録画開始後に所定周期毎に実行する場合には、録画開始までの処理は省略してもよい。即ち、顔検出モードが選択されている場合には、ステップＳ６の処理から開始させればよい。また、特定人物顔検出モードが選択されて場合には、ステップＳ１５の処理から開始させればよい。
【００６６】
以上説明したように、本実施形態に係る撮像装置１は、動画像を撮像し、撮像された動画像から人物の顔を検出し、検出された人物の顔の検出状態に基づいて、撮像部１６に設定されるフレームレートであって、当該動画像を再生する時のフレームレートを制御する。そして、デジタルカメラ１は、制御されたフレームレートに基づいて当該動画像の画像データを記録する。
【００６７】
これにより、当該動画像が再生されると、顔検出時間帯のフレームレートが適切に制御されるので、人物の顔のシーン、即ち、ユーザにとって関心のあるシーンを、他のシーンよりも強調して再生することが可能になる。
【００６８】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６９】
例えば、上述した実施形態では、フレームレート制御部５５の制御手法として、動画像の全時間帯の記録レートを一定とすると共に、顔検出時間帯、及び、この顔検出時間帯におけるフレームレートを含むメタ情報の生成をメタ情報生成部５６に指示する、といった制御手法が採用されている。このような制御手法が本実施形態で採用された理由は、本実施形態では、動画像の全時間帯で記録レートを一定にする一方で、顔検出時間帯の再生レートを他の時間帯よりも低くすることによって、関心シーン強調再生手法を実現するためである。
【００７０】
しかしながら、関心シーン強調再生手法の実現形態は、特に本実施形態に限定されず、その他例えば、顔検出時間帯と他の時間帯とを区別して、再生レートを制御するようにしてもよい。即ち、顔検出時間帯の再生レートを他の時間帯よりも高くする一方で、動画像の全時間帯で再生レートを一定にするようにしてもよい。この場合にも、顔検出時間帯のシーン、即ち、ユーザにとって関心のあるシーンが、他のシーンよりもスロー再生されるため、他のシーンよりも強調されることになる。
【００７１】
具体的には、フレームレート制御部５５は、動画像のうち、顔検出時間帯以外については、一定のフレームレートを記録レートとして採用し、顔検出時間帯については、当該一定のフレームレートよりも高いフレームレートを記録レートとして採用すればよい。この場合の動画像撮像処理は、図４のフローチャートに従った処理となる。
【００７２】
図４は、動画像撮像処理の流れの一例であって、図３の例とは異なる例を示すフローチャートである。
【００７３】
図３と図４とを比較するに、図４のステップＳ２１乃至Ｓ２７、及びＳ３０乃至Ｓ３５の各々の処理は、図３のステップＳ１乃至Ｓ７，及びＳ１０乃至Ｓ１５の各々の処理と基本的に同様である。換言すると、関心シーン強調録画処理が、図３の例ではステップＳ８及びＳ９の処理であったのに対して、図４の例ではステップＳ２８及びＳ２９の処理となっている点が、図３と図４との間の差異点であり、その他の処理は一致している。そこで、以下、図４における関心シーン強調録画処理であるステップＳ２８及びＳ２９の処理についてのみ説明し、それ以外の説明は省略する。
【００７４】
ステップＳ２８において、動画像取得部５１は、撮像部１６を制御して、顔検出時間帯についてはフレームレートを上げて動画像を撮像する。即ち、フレームレート制御部５５は、顔検出時間帯以外については、記録レートが一定になるように制御し、顔検出時間帯については、記録レートがより高くなるように制御する。ステップＳ２９において、記録制御部５２は、動画像の画像データを動画像記録部６１に書き込む。これにより、動画像撮像処理は終了となる。
【００７５】
このようにして図４の動画像撮像処理により記録された動画像を再生する場合、再生制御部５３は、再生レートを全時間帯で一定にするだけで、顔検出時間帯のシーン、即ち、ユーザにとって関心のあるシーンを、他のシーンよりもスロー再生することができる。このようにして、ユーザにとって関心のあるシーンが他のシーンよりも強調されることになる。ここで注目すべき点は、この場合には、録画時にメタ情報を生成しなくとも、関心シーン強調再生手法が実現可能になる点である。
【００７６】
また例えば、上述した実施形態では、関心シーン強調再生手法に従った動画像の再生の形態は、顔検出時間帯のシーンをスロー再生させる形態が採用されていたが、特にこれに限定されない。例えば、顔検出時間帯のシーンをダイジェスト再生させる形態を採用してもよい。
【００７７】
また例えば、上述した実施形態では、本発明が適用される撮像装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、撮像機能を有する電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
【００７８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８０】
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００８１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００８２】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・動画像取得部、５２・・・記録制御部、５３・・・再生制御部、５４・・・顔検出部、５５・・・フレームレート制御部、５６・・・メタ情報生成部、５７・・・モード制御部、６１・・・動画像記憶部、６２・・・特定人物顔記憶部
【図１】
0005560744.tif 000002
【図２】
0005560744.tif 000003
【図３】
0005560744.tif 000004
【図４】
0005560744.tif 000005