(57)【要約】【課題】撮影されて記録媒体に記録された動画像の内容に適したダイジェスト再生情報を簡単に生成できるようにする。【解決手段】撮影の際の動作条件が互いに異なる複数の撮影モードで撮像手段により撮影されて生成された動画像信号と、前記撮影が行われた際の撮影モードの情報を含む付加情報とが記録された記録媒体を再生する再生装置に、前記記録媒体から前記動画像信号と、前記動画像信号の撮影モードの情報を含む付加情報とを再生する再生手段と、前記再生手段により再生された撮影モードの情報に基づいて前記動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成する生成手段とを備える。【選択図】図１
2011205568.tif 000002
【特許請求の範囲】
【請求項１】
撮影の際の動作条件が互いに異なる複数の撮影モードで撮像手段により撮影されて生成された動画像信号と、前記撮影が行われた際の撮影モードの情報を含む付加情報とを記録媒体から再生する再生手段と、
前記再生手段により再生された撮影モードの情報に基づいて前記動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成する生成手段とを備えることを特徴とする再生装置。
【請求項２】
前記付加情報は前記動画像信号の状態に係る情報を含み、前記生成手段は前記動画像信号の状態に係る情報に基づいて第１の評価値を算出し、前記算出した第１の評価値を前記撮影モードの情報に基づいて重み付けすることにより第２の評価値を算出し、前記第２の評価値に基づいて前記ダイジェスト再生情報を生成することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記動画像信号の状態に係る情報は、前記動画像信号の明るさに係る情報、前記動画像信号に係る動画像の動きに係る情報、前記動画像信号に係る動画像に含まれる顔に係る情報のうちの少なくとも一つを含むことを特徴とする請求項２に記載の再生装置。
【請求項４】
前記付加情報は、前記動画像信号の撮影時における前記撮像手段の状態に係る情報を含み、前記生成手段は前記動画像信号の状態に係る情報と前記撮像手段の状態に係る情報とに基づいて第１の評価値を算出することを特徴とする請求項２に記載の再生装置。
【請求項５】
前記撮像手段の状態に係る情報は、前記撮像手段におけるズームの速度に係る情報、前記撮像手段におけるフォーカスに関する情報のうちの何れかを含むことを特徴とする請求項４に記載の再生装置。
【請求項６】
前記生成手段は、前記複数の撮影モードに応じて前記重み付けの値を変更することを特徴とする請求項２に記載の再生装置。
【請求項７】
前記生成手段は、前記動画像信号に関する複数の評価項目についてそれぞれ前記第１の評価値を算出し、各評価項目に対する第１の評価値について独立に重み付けを行うことを特徴とする請求項２に記載の再生装置。
【請求項８】
前記生成手段は、前記算出した評価値が閾値以上のフレームに対応した期間を選択し、前記選択した期間を前記ダイジェスト再生情報として生成することを特徴とする請求項１に記載の再生装置。
【請求項９】
前記生成手段は、一つの前記動画像信号が複数の撮影モードで撮影されていた場合に、前記指定されたフレームに対応した撮影モードに応じてそれぞれ前記評価値を算出することを特徴とする請求項１に記載の再生装置。
【請求項１０】
前記生成手段により生成されたダイジェスト再生情報を前記記録媒体に記録する記録手段を備えたことを特徴とする請求項１〜９の何れか１項に記載の再生装置。
【請求項１１】
動画像信号を生成して出力する撮像手段と、
前記撮像手段の動作条件が互いに異なる複数の撮影モードのうちの何れかを設定するモード設定手段と、
前記モード設定手段により設定された撮影モードにて前記撮像手段を動作させる制御手段と、
前記撮像手段により生成された動画像信号と、前記動画像信号の撮影モードの情報を含む付加情報とを記録媒体に記録する記録手段と、
前記記録媒体に記録された撮影モードの情報に基づいて前記記録媒体に記録された動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記記録媒体に記録された動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成する生成手段とを備えることを特徴とする撮像装置。
【請求項１２】
撮影の際の動作条件が互いに異なる複数の撮影モードで撮像手段により撮影されて生成された動画像信号と、前記撮影が行われた際の撮影モードの情報を含む付加情報とを記録媒体から再生する再生装置の制御方法であって、
前記記録媒体から再生された撮影モードの情報に基づいて前記動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成することを特徴とする再生装置の制御方法。
【請求項１３】
動画像信号を生成して出力する撮像手段と、
前記撮像手段の動作条件が互いに異なる複数の撮影モードのうちの何れかを設定するモード設定手段と、
前記モード設定手段により設定された撮影モードにて前記撮像手段を動作させる制御手段と、
前記撮像手段により生成された動画像信号と、前記動画像信号の撮影モードの情報を含む付加情報とを記録媒体に記録する記録手段とを備える撮像装置の制御方法であって、
前記記録媒体に記録された撮影モードの情報に基づいて前記記録媒体に記録された動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記記録媒体に記録された動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成することを特徴とする撮像装置の制御方法。
【請求項１４】
撮影の際の動作条件が互いに異なる複数の撮影モードで撮像手段により撮影されて生成された動画像信号と、前記撮影が行われた際の撮影モードの情報を含む付加情報とを記録媒体から再生する再生装置の制御方法をコンピュータに実行させるプログラムであって、
前記記録媒体から再生された撮影モードの情報に基づいて前記動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成する処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は再生装置及び撮像装置に関し、特に、動画像のダイジェストを撮影モードに応じて適切に生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、テレビジョン放送を録画するＨＤＤレコーダ等の記録装置が知られている。これらのレコーダのうち、記録した放送番組の動画や音声のうちの一部をダイジェストとして再生する機能を持つものがある（例えば、特許文献１参照）。
【０００３】
また、従来、被写体を撮影して動画や音声を記録するビデオカメラが知られている。近年では、メモリカードやＨＤＤなどのランダムアクセスが可能であり、且つ、大容量の記録媒体に対して動画や音声を記録することが可能となり、家庭用のビデオカメラとしても、一般家庭に広く普及している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０６３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
家庭用のビデオカメラで撮影して記録する被写体は、放送番組の被写体とは異なり種々の撮影条件で撮影されることが多い。そのため、放送番組を記録するレコーダと同様の方法で、家庭用のビデオカメラで撮影された動画像や音声のダイジェストを生成して再生した場合、適切なダイジェストを再生することができない問題点があった。
本発明は前述の問題点に鑑み、種々の撮影条件で撮影されて記録媒体に記録された動画像の内容に適したダイジェスト再生情報を簡単に生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の再生装置は、撮影の際の動作条件が互いに異なる複数の撮影モードで撮像手段により撮影されて生成された動画像信号と、前記撮影が行われた際の撮影モードの情報を含む付加情報とを記録媒体から再生する再生手段と、前記再生手段により再生された撮影モードの情報に基づいて前記動画像信号における指定されたフレームの評価値を算出し、前記評価値に基づいて前記動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成する生成手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、種々の撮影条件で撮影されて記録媒体に記録された動画像のダイジェストを生成する際に、撮影条件に応じてダイジェストの生成方法を変更するようにしたので、動画像の内容に適したダイジェスト再生情報を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態におけるビデオカメラの構成を示すブロック図である。
【図２】撮影モードにおける動作条件を示す図である。
【図３】各評価項目についての評価値を算出する際の条件を示す図である。
【図４】撮影モードに対応した重みの値を示す図である。
【図５】動画像における評価値の様子を示す図である。
【図６】撮影モードの一例を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１は、本発明の実施形態としてのビデオカメラ１００の構成例を示すブロック図である。
図１において、撮像部１０１は被写体を撮影して動画像信号を生成して出力する。撮像部１０１は、ズームレンズやフォーカスレンズ等の光学系、ＣＣＤ等のイメージセンサ、アイリス、撮影した動画像信号をデジタル信号に変換するＡＤ変換器、撮影された動画像に必要な処理を施す処理回路等を含む。そして、撮像部１０１は、制御部１０８からの制御信号に従い、撮影時のフォーカス、ズーム動作、シャッタ速度やアイリス等を変更する。音声入力部１０２は、外部から被写体に関連した音声を取得して、音声信号を出力する。音声入力部１０２は、マイクロフォンやアンプ、ＡＤ変換器等を含み、取得した音声信号をデジタル信号として出力する。
【００１０】
信号処理部１０３は、記録時においては、撮影された動画像信号や音声信号に対して、ＭＰＥＧ等の公知の符号化方式に従う符号化処理を施し、その情報量を圧縮する。また、再生時においては、再生された動画像信号や音声信号を復号し、情報量を伸張する。表示制御部１０４は、制御部１０８からの指示に従い、動画像や各種の情報を表示部１０５に表示する。表示部１０５は液晶パネル等、公知の表示デバイスを含む。
【００１１】
メモリ１０６は、動画像信号や音声信号、或いは、後述の様に各種の情報を記憶する。顔検出部１０７は、撮影時において、撮像部１０１から出力された動画像信号中の各フレームに含まれる顔の画像を検出する。制御部１０８は、操作部１０９からの指示に応じてビデオカメラ１００の各部の動作を制御する。操作部１０９は、電源スイッチ、動画像の撮影開始、停止を指示するトリガスイッチ、ズームスイッチ、再生スイッチ、メニュースイッチ、撮影モードの切り替えスイッチ等の各種のスイッチを備える。また、本実施形態では、ユーザのメニュースイッチ操作に応じて表示部１０５にメニュー画面を表示し、このメニュー画面を利用して、ダイジェスト再生を指示する。
【００１２】
記録再生部１１０は、制御部１０８からの指示に従い、動画像信号や音声信号、或いは、各種の情報を記録媒体１１１に記録する。また、記録媒体１１１から動画像信号や音声信号、或いは、各種の情報を再生する。記録媒体１１１は、メモリカードやハードディスク（ＨＤＤ）等のランダムアクセス可能な記録媒体である。本実施形態では、記録媒体１１１は、不図示の装着、排出機構により、ビデオカメラ１００に対してユーザが容易に装着、排出可能に構成されている。出力部１１２は、撮影された動画像信号や音声信号、或いは、再生された動画像信号や音声信号を外部の表示装置等に出力する。内部のバス１１３は、ビデオカメラ１００の各部の間で、各種のデータやコマンドを転送するために用いられる。
【００１３】
次に、ビデオカメラ１００による基本的な撮影処理、及び再生処理について説明する。まず、ビデオカメラ１００における撮影モードについて説明する。ビデオカメラ１００では、撮像部１０１による撮影機能に関する動作条件が互いに異なる複数の撮影モードを備えている。ユーザは、ビデオカメラ１００が記録ポーズ状態であるときに操作部１０９を操作することにより、これら複数の撮影モードの中から所望の撮影モードを選択してモード設定を行うことができる。
【００１４】
図２に示す、撮影モードにおける動作条件設定テーブル２０１は、ビデオカメラ１００において設定可能な撮影モードと、各撮影モードにおける撮像部１０１の制御状態との対応を示している。動作条件設定テーブル２０１に示す様に、本実施形態のビデオカメラ１００は、スポーツモード、花火モード、スポットライトモード、水中モードの四種類の撮影モードを持つ。これらの撮影モードは、シャッタ速度、アイリス、動画像のゲインの各項目について、互いに動作条件が異なっている。
【００１５】
例えば、スポーツモードは、動きの速い被写体を撮影した場合でも被写体のぶれが少なくなるよう、シャッタ速度を比較的高速になるよう制御する。また、スポーツモードでは、レンズのＦ値を高くすることで被写界深度を深く設定し、動きの速い被写体を撮影した場合でもフォーカスがぼけないように制御する。
【００１６】
その他、各撮影モードにおいても、動作条件設定テーブル２０１に示す様に撮像部１０１のシャッタ速度、アイリス、ゲインを制御する。本実施形態では、制御部１０８は、撮像部１０１から出力された動画像信号の明るさを検出し、シャッタ速度やアイリス、ゲインを調整する。この際、操作部１０９により設定された撮影モードに応じて、シャッタ速度やアイリス、ゲインを調整する際の条件を変更する。なお、本実施形態では、これら四種類の撮影モードに加え、自動モードを用意している。自動モードでは、制御部１０８は予め決められた動作条件に従って撮像部１０１を制御する。
【００１７】
操作部１０９が操作されることによりビデオカメラ１００の電源が投入されると、制御部１０８は各部を制御して、撮像部１０１により得られた動画像信号に応じた被写体の動画像を表示部１０５に表示し、記録ポーズ状態となる。この状態で、前述の様に撮影モードが設定され、操作部１０９により撮影開始の指示があると、制御部１０８は各部を制御し、動画像信号と音声信号の記録を開始する。撮像部１０１と音声入力部１０２は、制御部１０８からの指示があると、動画像信号と音声信号をそれぞれ出力し、バス１１３を介してメモリ１０６に一旦記憶する。信号処理部１０３は、メモリ１０６に記憶された動画像信号と音声信号を符号化して、メモリ１０６に再度記憶する。記録再生部１１０は制御部１０８からの指示に従い、メモリ１０６から動画像信号と音声信号を読み出し、記録媒体１１１に記録する。
【００１８】
また、顔検出部１０７は、制御部１０８からの指示に従い、撮影開始後、メモリ１０６に記憶された動画像信号を読み出し、動画像信号の各フレームに含まれる顔の画像を検出する。そして、顔が含まれていた場合には、その旨を示す情報を制御部１０８に出力する。また、顔検出部１０７は、顔を検出した場合には、各フレームの大きさに対する顔の画像の割合を示す情報も併せて制御部１０８に出力する。制御部１０８は、顔検出部１０７により顔画像が検出されると、撮影開始からの経過時間（フレーム数）を検出する。そして、顔を検出したフレームの撮影開始からの経過時間、及び、当該フレームにおける顔画像の割合を示す顔情報をメモリ１０６に記憶する。
【００１９】
制御部１０８は、動画撮影中に操作部１０９によりズーム操作があると、撮像部１０１を制御してズーム動作を行わせる。また、制御部１０８は、ズーム操作があると、撮影開始からの経過時間（フレーム数）を検出する。そして、ズーム操作があった時刻及び、ズームの方向を示すズーム情報をメモリ１０６に記憶する。
【００２０】
また、制御部１０８は、撮影開始の指示があると、撮像部１０１から出力された動画像信号におけるフレーム間の画像の動きを順次検出する。そして、各フレームについて、フレーム間の画像の動き量を示す動き情報を生成し、メモリ１０６に記憶する。更に、制御部１０８は、撮影開始の指示があると、撮像部１０１から出力された動画像信号の明るさ（画面輝度）を検出し、各フレームについて、明るさを示す明るさ情報を生成してメモリ１０６に記憶する。また、制御部１０８は、撮像部１０１から出力された動画像信号に基づいて、フォーカス制御のための空間周波数のピークを算出する。そして、各フレームについて、ピーク値を示すフォーカス情報を生成し、メモリ１０６に記憶する。
【００２１】
この様に、制御部１０８は、動画の撮影中に各種の情報を順次生成し、メモリ１０６に記憶する。そして、操作部１０９により撮影停止の指示があると、記録再生部１１０を制御し、記録媒体１１１に対する動画像信号と音声信号の記録を停止する。なお、本実施形態では、記録再生部１１０は記録媒体１１１に記録した動画像信号と音声信号とを、所定のファイルシステムに従い、動画ファイルとして管理する。また、本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録された一連の動画像信号と音声信号を一つのファイルとして管理する。
【００２２】
また、制御部１０８は、撮影停止の指示があると、メモリ１０６から顔情報、ズーム情報、動き情報、明るさ情報、及びフォーカス情報をそれぞれ読み出す。そして、制御部１０８は、これらの情報に加え、ユーザにより設定されている撮影モードを示す撮影モード情報を含む付加情報ファイルを生成し、記録再生部１１０により記録媒体１１１に記録する。このとき、記録再生部１１０は、各動画ファイルに対応した付加情報が識別できるように、付加情報ファイルを記録する。
【００２３】
なお、付加情報ファイルについては、動画ファイル毎に一つの付加情報ファイルを作成することも可能であり、或いは、記録媒体１１１に記録された全ての動画ファイルに対して一つの付加情報ファイルを作成するようにしてもよい。
【００２４】
次に、再生処理について説明する。
操作部１０９により再生指示があると、制御部１０８は、記録再生部１１０を制御して、記録媒体１１１に記録された動画ファイルに含まれる動画像信号の先頭部分を再生する。そして、再生された動画像信号の先頭部分を信号処理部１０３により復号し、表示制御部１０４に送る。表示制御部１０４は、復号された先頭画面のサイズを縮小して代表画像を生成し、表示部１０５に表示する。ユーザは操作部１０９を操作し、表示部１０５に表示された各動画ファイルの代表画像のうち、再生したい所望の代表画像を選択し、再生を指示する。
【００２５】
制御部１０８は再生が指示されると、選択された代表画像に対応した動画ファイルを再生するように、記録再生部１１０を制御する。記録再生部１１０は、指定された動画ファイルを記録媒体１１１から再生し、メモリ１０６に記憶する。信号処理部１０３はメモリ１０６から動画像信号と音声信号を読み出して復号し、再度メモリ１０６に記憶する。表示制御部１０４は、メモリ１０６から復号された動画像信号を読み出し、再生された動画像信号を表示部１０５に表示する。また、音声信号については、不図示のスピーカから出力する。そして、再生停止の指示があると、制御部１０８は記録再生部１１０による動画ファイルの再生を停止し、再び、代表画像を表示部１０５に表示させる。
【００２６】
次に、ビデオカメラ１００において行われる、動画像信号のうちの一部の期間をダイジェストとして再生するためのダイジェスト再生情報を生成するダイジェスト生成処理について説明する。
ユーザが操作部１０９を操作して、ダイジェスト再生したい動画ファイルを指定し、ダイジェスト再生を指示すると、制御部１０８は記録再生部１１０に対し、指定された動画ファイルに対応する付加情報ファイルを再生するよう指示する。記録再生部１１０は、記録媒体１１１から付加情報ファイルを再生し、メモリ１０６に記憶する。制御部１０８は、メモリ１０６に記憶された付加情報ファイルに含まれる、顔情報、ズーム情報、動き情報、明るさ情報、及びフォーカス情報に基づいて、動画データの各フレームについて評価値を算出する。
【００２７】
図３の３０１〜３０５はそれぞれ、明るさ情報、ズーム情報、動き情報、フォーカス情報、顔情報を用いて評価値を算出する際の条件を示す図である。例えば、明るさについては、図３の３０１に示すように、画面全体の輝度に対して、輝度７０％周辺を最大として評価値が緩やかに低下していく。ズームは、図３の３０２に示すように、ズーム移動が無ければ評価値が最大、動きが大きくなることに応じて評価値が下がる。なお、３０２で画面上方向がテレ方向（望遠方向）、画面下方向がワイド方向（広角方向）である。動きに関しては、図３の３０３に示すように、検出された動き量が大きければ評価値が低くなる。また、フォーカスに関しては、図３の３０４に示すように、ピーク検出値が高ければ評価値が高い。顔については、図３の３０５に示すように、主顔の画面占有率が大きければ基本的には評価値が高いが、大きすぎる場合には評価値が低い。
【００２８】
更に、本実施形態では、指定された動画データを撮影した際の撮影モードによって、この様に算出した評価値を重み付けすることにより、各フレームについての最終的な評価値を算出する。具体的には、各評価値に対して撮影モードに対応した重みの値を乗算したものを加算する。そして、この加算結果を、重みの値の合計値で割ることで最終的な評価値を算出する。図４は、各撮影モードに対応した各評価項目に対する重み付けの値を示す図である。
【００２９】
図４に示すように、例えば、スポーツモードは、スポーツ等、動きが激しい被写体を撮影するために用いられることが多いことを考慮し、ズーム安定と動き検出の重みを他の項目に比べて低く設定している。また、花火モードは、暗い環境で、遠くを撮影する場合に用いられるため、明るさ、フォーカス、顔検出の各項目についての重みを低く設定する。また、スポットライトモードでは、人物を中央において撮影することが多いと考えられるため、明るさについては中央部を重点的に判別し、さらに、重みも高く設定している。水中の場合には、フォーカスが合いにくく、さらに顔検出は重要ではないため、これらの重要度を低く設定している。
【００３０】
例えば、あるフレームについて、明るさの評価値が４．５、ズームの評価値が１．７、動きの評価値が１．５、フォーカスの評価値が３．４、顔の評価値が４．２であったとする。このフレームは、ズーム、動きの評価値が相対的に低いので、ズーム操作中で、被写体またはビデオカメラの動きが大きいフレームであると考えられる。
【００３１】
この様なフレームを自動モードで撮影していた場合、最終的な評価値は以下の通りになる。
（明るさの評価値４．５×５）＋（ズームの評価値１．７×５）＋（動きの評価値１．５×５）＋（フォーカスの評価値３．４×５）＋（顔の評価値４．２×５）／（重み値の合計２５）＝３．１６
また、同じフレームをスポーツモードで撮影していた場合、最終的な評価値は以下の通りになる。
（明るさの評価値４．５×５）＋（ズームの評価値１．７×２）＋（動きの評価値１．５×２）＋（フォーカスの評価値３．４×５）＋（顔の評価値４．２×５）／（重み値の合計１９）＝３．４２
【００３２】
この様に、ズーム操作中で、被写体またはビデオカメラの動きが大きいフレームの場合、自動モードで撮影した場合よりもスポーツモードで撮影した場合の方が評価値が高くなる。
制御部１０８は、同様に全てのフレームについて評価値を算出すると、算出した評価値をメモリ１０６に記憶する。
【００３３】
図５（ａ）は、動画５０１の各フレームについて算出した評価値の様子を示す図である。また、特性図（５０１ａ）は自動モードの場合の最終的な評価値を示し、特性図（５０１ｂ）はスポーツモードの場合の最終的な評価値を示している。
制御部１０８は、この様に算出した各フレームの評価値を閾値と比較して、評価値が閾値以上であるフレームを検出する。そして、検出したフレームを、ダイジェストとして再生すべきフレームとして選択し、動画データにおける選択したフレームの位置を示す情報をダイジェスト再生情報としてメモリ１０６に記憶する。
【００３４】
図５（ｂ）は、図５（ａ）に示す評価値に基づいて、ダイジェストとして再生するフレームの様子を示す図である。
図５（ｂ）において、評価値が閾値５０２以上のフレームは黒く塗った部分である。制御部１０８は、この閾値以上の評価値を持つフレームの位置をダイジェスト再生情報としてメモリ１０６に記憶する。そして、このダイジェスト再生情報に指定された位置のフレームを選択して再生し、それ以外のフレームを再生しないように、記録再生部１１０を制御する。記録再生部１１０は、指定された位置のフレームを記録媒体１１１から再生する。そして、通常の再生時と同様に動画像信号を復号して出力する。ダイジェスト再生開始後、操作部１０９より再生停止の指示があると、制御部１０８は記録再生部１１０を制御して、ダイジェスト再生を停止する。
【００３５】
この様に、本実施形態によれば、撮影時におけるビデオカメラの状態や動画像の状態に基づいて第１の評価値を算出する。そして、この第１の評価値に基づいてダイジェストとして再生するフレームを選択する際に、各評価項目に対する第１の評価値について独立に重み付けを行い、第２の評価値を算出している。そのため、各撮影モードで撮影、記録された被写体に適したダイジェストの動画を再生することができる。
【００３６】
なお、メモリ１０６に記憶したダイジェスト再生情報を記録媒体１１１に記録しておき、次回のダイジェスト再生時には、このダイジェスト再生情報を記録媒体１１１から再生して利用するようにしてもよい。この場合、制御部１０８は、ユーザからダイジェスト再生の指示があったときに、選択された動画ファイルに対応したダイジェスト再生情報が記録媒体１１１に記録されているかどうかを判別する。そして、ダイジェスト再生情報が記録されていた場合には記録媒体１１１から再生してメモリ１０６に記憶し、このダイジェスト再生情報に基づいてダイジェスト再生を実行する。また、ダイジェスト再生情報が記録されていない場合には、前述のように、新たにダイジェスト再生情報を生成すればよい。
【００３７】
また、閾値５０２を自由に設定して、ダイジェスト再生の時間をユーザが調整できるようにしてもよい。また、本実施形態では、フレーム毎に評価値を算出していたが、例えば、ｎフレーム（ｎは１以上の正数）に１フレームの割合で評価値を算出するフレームを指定し、指定したフレームについて評価値を算出するようにしてもよい。
また、本実施形態では、ビデオカメラに対して本発明を適用した場合について説明したが、例えば、撮影された動画像と共に、撮影モード及び付加情報が記録された記録媒体から動画像を再生する装置に対しても同様に本発明を適用可能である。
【００３８】
（第２の実施形態）
前述した第１の実施形態では、ユーザが選択した撮影モードに応じて撮像部１０１の制御を変えながら動画像を撮影していた。第２の実施形態では、これらの撮影モード以外に、自動判別モードを備える。自動判別モードでは、撮影された動画像の動きや明るさ、被写体との距離や色などを解析して、撮影している被写体に適した撮影モードを判別する。そして、撮影モードを撮影中に自動的に切り替える。
【００３９】
本実施形態においても、ビデオカメラ１００の構成は図１に示す通りである。そして、操作部１０９により自動判別モードが設定され、撮影開始が指示されると、制御部１０８は、撮像部１０１から出力された動画像を解析する。そして、解析の結果、撮影している被写体に適した撮影モードを判別し、図２に示す複数の撮影モードのうちの何れかの撮影モードに自動的に切り替える。なお、自動判別モードでは、前述の様に、撮影された動画像の状態に基づいて撮影モードを判別するので、撮影開始後、被写体の状態を判別するのに時間がかかる。そのため、被写体の状態を判別するまでの間は自動モードで撮影を行う。
【００４０】
この様に、自動判別モードの場合には、動画像の撮影中に撮影モードが切り替わるので、制御部１０８は、撮影中に撮影モードを切り替えた際には、切り替えたフレームの位置（タイミング）と切り替え後の撮影モードの情報を順次メモリ１０６に記憶する。そして、撮影停止後、メモリ１０６から撮影モードの情報を読み出し、付加情報ファイルとして記録媒体１１１に記録する。
【００４１】
また、ダイジェスト再生の指示があると、制御部１０８は第１の実施形態と同様に、指定された動画ファイルの付加情報ファイルを記録媒体１１１から再生してメモリ１０６に記憶する。そして、前述の様に、付加情報ファイルに含まれる情報に基づいて動画像の各フレームに対する評価値を算出し、更に、撮影モードに応じて評価値に対して重み付けを行う。この際、動画像が自動判別モードで撮影されていた場合には、一つの動画ファイルの途中で撮影モードが切り替わることがあるので、評価値を算出する場合には、各フレームの撮影モードを付加情報ファイルに基づいて判別する。
【００４２】
この際、前記の様に、撮影開始直後の期間は自動モードとなっている。しかし、撮影直後の自動モードとなっている期間については、その後に切り替わった撮影モードと同じ撮影モードとして評価値の重み付けを行うようにしてもよい。
また、本実施形態では、撮影開始後、被写体の状態を判別して撮影モードを切り替えるまでの間、撮像部１０１は自動モードで動作させ、付加情報ファイルに対しては、この期間を撮影モード未定として記録しておいてもよい。そして、ダイジェスト再生時には、撮影モード未定期間のフレームに対しては、この撮影モード未定期間の後に切り替わった撮影モードとして重み付けを行うようにしてもよい。
【００４３】
図６は、ダイジェスト再生に伴う撮影モードの変更の様子を示す図である。
図６において、６０１は自動判別モードで記録された動画像の撮影モードの様子を示している。６０２が撮影開始点、６０３は撮影停止点である。付加情報ファイルには、図６（ａ）に示すように、撮影開始点６０２からのスポーツモードに切り替わるまでの期間６０１ａについては撮影モード未定と記録されている。そして、６０１では、未定期間６０１ａに続く期間６０１ｂの撮影モードがスポーツモードになっているので、図６（ｂ）に示す様に、期間６０１ａの撮影モードもスポーツモードに変更する。その後、期間６０１ａに含まれるフレームについては、スポーツモードでの重み値に応じて評価値を算出する。
【００４４】
なお、図６の様に期間６０１ｃはポートレートモードとなっているが、その前後の期間６０１ｂと６０１ｄはスポーツモードとなっている。そこで、期間６０１ｃが動画全体の長さに比べて短い場合には、期間６０１ｃもスポーツモードに変更し、ダイジェスト再生を行う様にしてもよい。
【００４５】
具体的には、制御部１０８により、動画像の全体の長さに対する一つの撮影モードが継続している期間の長さの割合を算出する。そして、算出した割合が所定の割合よりも小さく、且つ、その前または後の期間の割合が所定の割合よりも大きい場合には、前または後の期間における撮影モードに変更する。この際、前後の期間の撮影モードが異なっていた場合には、何れか割合が大きい方の期間の撮影モードに切り替える。
【００４６】
この様に、本実施形態によれば、一つの動画像において撮影モードが切り替わった場合であっても、各撮影モードで撮影、記録された被写体に適したダイジェストの動画を再生することができる。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１００  ビデオカメラ、１０１  撮像部、１０２  音声入力部、１０３  信号処理部、１０４  表示制御部、１０５  表示部、１０６  メモリ、１０７  顔検出部、１０８  制御部、１０９  操作部、１１０  記録再生部、１１１  記録媒体、１１２  出力部、１１３  内部バス
【図１】
2011205568.tif 000003
【図２】
2011205568.tif 000004
【図３】
2011205568.tif 000005
【図４】
2011205568.tif 000006
【図５】
2011205568.tif 000007
【図６】
2011205568.tif 000008