(57)【要約】【課題】  ユーザの撮影意図に沿ったダイジェストを動画から自動生成する。【解決手段】  動画情報（１０３ａ）と動画撮影情報（１０３ｂ）が動画記録部（１０３）に記録され、静止画情報（１０４ａ）と静止画撮影情報（１０４ｂ）が静止画記録部（１０４）に記録される。動画評価値算出部（１０２ｂ）は動画情報（１０３ａ）から動画評価値を算出する。動画・静止画関連部分抽出部（１０２ｃ）は、動画情報（１０３ａ）と静止画情報（１０４ａ）の関連部分を抽出する。静止画評価値算出部（１０２ｄ）は静止画情報（１０４ａ）から静止画評価値を算出する。再生情報抽出部（１０２ｆ）は、動画評価値情報と静止画評価値情報からダイジェスト再生すべき部分を示す再生情報を抽出する。【選択図】  図２
2013239796.tif 000002
【特許請求の範囲】
【請求項１】
動画データを記録する動画記録手段と、
前記動画データの内容に基づき動画評価値を算出する動画評価値算出手段と、
前記動画データと関連する１以上の静止画データを記録する静止画記録手段と、
前記１以上の静止画データに基づき静止画評価値を算出する静止画評価値算出手段と、
前記動画データと前記１以上の静止画データとの関連部分を示す関連部分情報を抽出する関連部分抽出手段と、
前記動画評価値及び前記静止画評価値に基づいて前記動画データからダイジェスト部分を抽出するダイジェスト抽出手段
とを具備することを特徴とする画像処理装置。
【請求項２】
更に、前記ダイジェスト部分を連続的に再生する再生手段を具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関連部分情報が、前記静止画データの記録日時に関する情報であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記動画評価値算出手段は、前記動画データに含まれる画像信号及び音声信号、並びに前記動画データの撮影情報のうちの少なくとも一つを用いて前記動画評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記動画評価値算出手段は、前記動画データに含まれる画像信号の明るさ、ノイズ及びコントラストを用いて前記動画評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項６】
前記動画評価値算出手段は、前記動画データに含まれる音声信号の音声レベル、ノイズ及び周波数を用いて前記動画評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項７】
前記動画評価値算出手段は、前記動画データの撮影時のパンニング動作又はズーム動作を含む撮影情報に基づき前記動画評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記静止画評価値算出手段は、前記静止画データの記録日時に基づいて前記静止画評価値を算出することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記静止画評価値算出手段は、前記１以上の静止画データの単位時間あたりの枚数に基づいて前記静止画評価値を算出することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項１０】
静止画評価値算出手段は、前記関連部分情報の有無により前記静止画評価値のレベルを変化させることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項１１】
前記１以上の静止画データが、前記動画データの撮影に使ったのとは異なる手段により撮影されたものであることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、動画のダイジェストを生成する装置に関する。
【背景技術】
【０００２】
従来、動画像データや静止画データ、音声データを記録媒体に記録するビデオカメラが知られている。また、このように記録された動画像データや静止画データ、音声データを編集し、ダイジェストを生成する技術が各種提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１には、静止画が撮影された時点における所定範囲の動画像の音声を、静止画と共に再生することが記載され、この技術により臨場感のある再生が可能になる。また、音声の代わりに動画像を再生することが記載され、これにより、動画のダイジェスト再生を可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３５２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、静止画が撮影された時点の動画像の撮影状態や内容等を考慮していない。例えば、静止画が撮影された部分の動画像データが、ブレ、白トビ又はボケ等を伴う場合や、動画像データの音声がノイズや音量の問題により再生するのに不適切なデータであった場合がありうる。従来技術では、このような場合であっても、ダイジェスト再生が実行されてしまう。
【０００６】
さらに、従来の技術では、静止画が動画とは異なる記録媒体に記録されていた場合、静止画の情報を利用することが出来ない。例えば、デジタルカメラとビデオカメラなどの２台の撮影機器を用いた場合が相当する。このような場合に、デジタルカメラで撮影された静止画を用いてダイジェスト再生を行うためには、ビデオカメラとデジタルカメラを連係動作させる手段が新たに必要となる。
【０００７】
本発明は、以上の点を考慮してなされたもので、撮影者の意図を反映させたダイジェスト再生を容易に可能とする画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、動画データを記録する動画記録手段と、前記動画データの内容に基づき動画評価値を算出する動画評価値算出手段と、前記動画データと関連する１以上の静止画データを記録する静止画記録手段と、前記１以上の静止画データに基づき静止画評価値を算出する静止画評価値算出手段と、前記動画データと前記１以上の静止画データとの関連部分を示す関連部分情報を抽出する関連部分抽出手段と、前記動画評価値及び前記静止画評価値に基づいて前記動画データからダイジェスト部分を抽出するダイジェスト抽出手段とを具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ダイジェスト再生に適する部分を自動生成できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】メイン制御部の概略構成ブロック図である。
【図３】動画から得られる撮影評価値の一例を示す模式図である。
【図４】動画と静止画の関連部分情報を示す模式図である。
【図５】静止画の撮影タイミングからの評価値算出を示す模式図である。
【図６】静止画情報を利用して動画からダイジェスト部分を抽出する動作の模式図である。
【図７】本実施例のダイジェスト再生の処理の流れを示すフローチャートである。
【図８】ダイジェスト再生モードのモード／設定情報の表である。
【図９】ダイジェスト再生閾値の相違によるダイジェスト抽出部分の相違を示す模式図である。
【図１０】動画評価値だけを用いた場合と、動画評価値と静止画評価値を併用する場合の、ダイジェスト抽出処理を説明する模式図である。
【図１１】異なる静止画評価値算出方法に対するダイジェスト抽出処理を説明する模式図である。
【図１２】異なる動画評価値に対するダイジェスト抽出処理を説明する模式図である。
【図１３】本発明の第２実施例の概略構成ブロック図である。
【図１４】図１３のメイン制御部の概略構成ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。尚、以下に説明する実施例は、本発明の実現手段としての説明用の一例である。本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施例に限定されない。
【実施例１】
【００１２】
図１は、本発明の一実施例である記録再生装置１００の概略構成ブロック図を示す。記録再生装置１００は、例えば、動画及び静止画の撮影が可能なカメラや、音声の収録が可能なマイクなどが一体化されたデジタルビデオカメラに組み込まれる。
【００１３】
記録再生装置１００は、操作部１０１、メイン制御部１０２、動画記録部１０３、静止画記録部１０４、動画像処理部１０８、静止画情報処理部１０９、再生制御部１１０、再生部１１１及び入力部１１２を備えている。バス１１３は、これら手段１０１〜１１２の間でデータ及び制御信号を伝送又は仲介する。
【００１４】
操作部１０１は、動画撮影の開始・停止ボタン、静止画の撮影開始ボタン、再生ボタン等の外部操作部を備えている。メイン制御部１０２は、撮影者は操作部１０１で種々の指示に従い、記録再生装置１００を指示内容に沿って動作させる。
【００１５】
入力部１１２は、撮影レンズによる光学像をＣＣＤ又はＣＭＯＳ式の撮像素子により光電変換し、画像データを取得する画像取得部と、マイク等などの、外部音声を取得する音声取得部とからなる。
【００１６】
動画処理部１０８は、動画像データと音声データの符号化・復号化処理機能と分離・多重化処理機能を具備する。動画記録部１０３は、撮影された動画情報（符号化動画データ）１０３ａと、動画撮影時の撮影パラメータ等からなる動画撮影情報１０３ｂを記録媒体に記録再生する。動画処理部１０８は、撮影（記録）時には、入力部１１２により取得される動画像と音声を符号化及び多重化して、所定形式の符号化動画データを動画記録部１０３に供給する。また、動画処理部１０８は、再生時には、動画記録部１０３からの符号化動画データを動画像成分と音声成分に分離し、それぞれを復号化する。
【００１７】
静止画処理部１０９は、静止画像の符号化・復号化処理機能を具備する。静止画記録部１０４は、撮影された静止画情報（符号化静止画データ）１０４ａと撮影時の撮影パラメータ等からなる静止画撮影情報１０４ｂを記録媒体に記録再生する。静止画処理部１０９は、撮影（記録）時には、入力部１１２により取得される静止画像を符号化して静止画記録部１０４に符号化静止画データを供給し、再生時には、静止画記録部１０４からの符号化静止画データを復号化する。
【００１８】
動画記録部１０３及び静止画記録部１０４の記録先となる記録媒体は、記録媒体は例えば、光ディスク、ＨＤＤ又はメモリカード等のランダムアクセス記録媒体である。動画記録部１０３及び静止画記録部１０４は、記録媒体に記録される動画データ及び静止画データをファイルとして管理するファイルシステムを備える。
【００１９】
再生制御部１１０は、メイン制御部１０２からの指示により、動画記録部１０３の情報に基づいて再生の制御を行う。出力部１１１は、電気音声信号を音響信号に変換するスピーカ等の音声出力部と、電気画像信号を画像表示する液晶表示パネル等の表示部を備える。出力部１１１は、再生制御部１１０からの指示に従い音声出力と画像表示を変更する。
【００２０】
メイン制御部１０２は、ＣＰＵ又はマイクロコンピュータを備え、不図示のメモリに記憶されたプログラムに従って記録再生装置１００の各部の動作を制御する。また、メイン制御部１０２により、記録再生装置１００の少なくとも一部の機能を実行する構成としてもよい。具体的には、メイン制御部１０２は、撮影時の処理を行う撮影処理部１０２ａと、図２に詳細に図示する手段１０２ｂ〜１０２ｈ，１０２Ｌを具備する。
【００２１】
記録再生装置１００における動画を撮影して記録する動画撮影処理を説明する。記録再生装置１００の利用者が操作部１０１の動画撮影ボタンを押下することが、メイン制御部１０２に対する動画撮影開始（又は記録開始）の指示となり、再度の動画撮影ボタンの押下が動画撮影停止（又は記録停止）の指示となる。この動画撮影開始の指示に応じて、メイン制御部１０２の撮影処理部１０２ａが、この動画撮影開始の指示に応じて各部に動画撮影のための処理の開始を指示し、動画撮影のための制御を実行する。
【００２２】
まず、撮影処理部１０２ａは、画像・音声入力部１１２の動作を開始させる。これにより、記録すべき動画データ及び音声データが生成される。撮影処理部１０２ａは、生成された動画データ及び音声データを動画像処理部１０８に転送する。動画像処理部１０８は動画データ及び音声データを圧縮符号化及び、多重化して、記録されるべき動画音声（ＡＶ）データを生成する。動画記録部１０３は、動画像処理部１０８で生成されたＡＶデータを記録媒体（不図示）に記録する。本実施例では、動画データ及び音声データの圧縮符号化方式として公知のＭＰＥＧ方式を用いるものとするが、他の圧縮符号化方式を用いてもよい。
【００２３】
動画撮影停止の指示に応じて、メイン制御部１０２の撮影処理部１０２ａは、各部に記録動作の停止を指示する。具体的には、撮影処理部１０２ａは、撮影停止の指示に応じて、動画記録部１０３に記録媒体へのＡＶデータの記録を停止させる。本実施例では、記録開始の指示から記録停止の指示までの間に記録媒体に記録された一連のＡＶデータは、一つの動画ファイルとして管理される。
【００２４】
動画記録部１０３は、動画撮影が終了してＡＶデータの記録媒体への記録が完了した後に、そのＡＶデータの撮影情報（動画撮影情報）１０３ｂを生成し、記録媒体に記録する。撮影情報は、ＡＶファイルの作成日時使用コーデック、データサイズ、記録媒体上の記録位置及び全再生時間長、絞り、シャッタ速度及びゲインなどの撮影時設定、並びに、ＧＯＰ単位の再生時間長及びデータサイズなどからなる情報である。この撮影情報は、ＡＶファイルとは別のファイルに記録しても、ヘッダ又はフッタとしてＡＶデータに付加してもよい。
【００２５】
静止画を撮影して記録する静止画撮影処理の動作を説明する。記録再生装置１００の利用者が操作部１０１の静止画撮影ボタンを押下することが、メイン制御部１０２に対する静止画撮影開始（又は静止画開始）の指示となる。この静止画撮影の指示に応じて、メイン制御部１０２の撮影処理部１０２ａが、各部に静止が撮影のための処理を指示する。
【００２６】
まず、撮影処理部１０２ａは、画像・音声入力部１１２を動作させて、所望の構図の被写体に対する静止画データを生成させる。撮影処理部１０２ａは、生成された静止画データを静止画像処理部１０９に転送する。静止画像処理部１０９は、静止画データを圧縮符号化し、静止画記録部１０４に送る。静止画記録部１０４は、圧縮符号化された静止画データを静止画ファイルとして記録媒体に記録する。本実施例では、静止画データの圧縮符号化方式としてＪＰＥＧ  Ｅｘｉｆ方式を用いるが、他の圧縮符号化方式を用いてもよい。
【００２７】
撮影処理部１０２ａは、静止画データの記録が完了した後に、その静止画データの撮影情報１０４ｂを生成し、記録媒体に記録する。静止画撮影情報１０４ｂは、静止画ファイルの作成日時（即ち、記録日時）、使用コーデック及びデータサイズ、絞り値、シャッタ速度、ＩＳＯ感度並びに顔検出情報などからなる。静止画撮影情報１０４ｂは、ヘッダ又はフッタとして静止画データに付加しても良い。
【００２８】
本実施例では、動画記録中に１以上の静止画を撮影（記録）できる。即ち、動画記録中にユーザが操作部１０１を操作して静止画撮影をメイン制御部１０２に指示すると、メイン制御部１０２の撮影処理部１０２ａは、上記の様に静止画を撮影し、記録媒体に記録する。これにより、動画記録中に１画面以上の静止画が記録される。
【００２９】
図２を参照して、メイン制御部１０２のその他の機能を詳細に説明する。バス１１３は省略してある。メイン制御部１０２は、撮影処理部１０２ａ以外に以下の手段を具備する。
【００３０】
モード判別部１０２Ｌは、操作部１０１で操作された内容を受け取り、以下に説明するダイジェスト抽出処理に必要な情報を判別し、モード情報として情報取得部１０２ｇに送る。情報取得部１０２ｇは、動画記録部１０３及び静止画記録部１０４から転送された情報と、モード判別部１０２Ｌからのモード情報を、動画評価値算出部１０２ｂ及び動画・静止画関連部分抽出部１０２ｃに供給する。
【００３１】
動画評価値算出部１０２ｂは、撮影時の撮影状況を数値化して評価値を算出する。具体的には、動画評価値算出部１０２ｂは、情報取得部１０２ｇを介して入力する動画記録部１０３からの動画情報１０３ａと動画撮影情報１０３ｂを取り込む。評価値算出の範囲はユーザの指示に基づき指定されるシーンであり、指定されたシーンに含まれた全てのフレーム画像データの評価値からシーン評価値を算出する。評価値算出方法としては、映像情報の明るさ、ノイズ及びコントラスト情報を用いる方法や、音声情報の音声レベル、ノイズ及び周波数などを用いる方法が知られている。ここでは、撮影状態に基づいた算出方法を説明する。
【００３２】
動画評価値算出部１０２ｂは、例えばビデオカメラのズーム操作やパン操作に基づいて評価値を算出する。ズーム操作は、ズームレンズを用いて被写体の像を拡大又は縮小する操作である。パン操作は、カメラの位置を固定したまま、カメラの向きを水平に振って広い範囲を撮影することである。例えば、図３に示すように、撮影状況がズーム動作とパンニング動作のみであった場合、ズーム動作後に評価値が高くなるように評価値を算出する。同様に、パンニング後は被写体の切り替え等が行われる確率が高いので、重要度が高いと判断し、評価値を高くする。算出された動画評価値が低い場合、例えば、閾値ＴＨ３（＝０）以下である場合、ダイジェスト再生には適さない部分と判断される。
【００３３】
本実施例では、動画評価値算出部１０２ｂは、算出した動画評価を、最大値１、最小値０の範囲内で正規化し、動画撮影情報１０３ｂの時系列を維持した形式で動画評価値情報１０２ｉとしてメモリ１０２ｅに一旦保存する。
【００３４】
動画評価値算出部１０２ｂによる評価値算出方法としては、評価値の算出対象のフレーム画像データを含む２つのフレーム画像データを比較して動きベクトルを求め、その動きベクトルから評価値を算出するものであっても良い。例えば、動きベクトルからズーム操作などを検出でき、撮影者が特に撮影しようとしたと思われるフレーム画像を特定できる。そのように特定されたフレーム画像を動画像データにおける重要度が高いものと判断し、高い評価値を与える。
【００３５】
他の評価値算出方法として、例えばズーム操作やカメラの姿勢などの撮影情報を撮影時に記録しておき、この撮影情報を用いて評価値を算出するようにしても良い。また、評価値は、フレーム画像内での動体の位置、動体の大きさ、背景の動き及び肌色の大きさなどに基づいて算出しても良い。更には、フレーム画像内の物体の数、フレーム画像の輝度や色のヒストグラム及び音声データなどに基づいて、評価値を算出しても良い。
【００３６】
動画・静止画関連部分抽出部１０２ｃは、動画撮影情報１０３ｂと静止画撮影情報１０４ｂを参照し、撮影時間に基づいて関連部分を抽出する。抽出の対象となるのは、操作部１０１の操作によって指定された範囲である。動画・静止画関連部分抽出部１０２ｃはまず、情報取得部１０２ｇを介して、対象となる範囲の動画撮影情報１０３ｂと静止画撮影情報１０４ｂを取り込む。そして、静止画撮影情報１０４ｂの中から画像情報毎の撮影時間を順次読み出し、動画撮影情報１０３ｂとの関連部分を抽出する。
【００３７】
静止画撮影時間に対応する動画があった場合、動画・静止画関連部分抽出部１０２ｃは、図４に示すように、関連部分抽出情報としてＡ：関連フラグとＢ：ファイルに所定の情報を付加する。Ａ：関連フラグは、初期値を０とし、静止画に対する対応動画がある場合に値を１に変更する。そのときの対応静止画のファイル番号と撮影時間、又は静止画データを特定できる情報を、Ｂ：ファイル情報として記録する。静止画Ｐ２のように、その撮影時間に対応する動画が存在しない場合、動画・静止画関連部分抽出部１０２ｃは、関連部分情報を変更しない。このような操作を対象範囲内の静止画・動画情報に対してすべて完了したら、動画・静止画関連部分抽出部１０２ｃは、得られた情報を関連部分情報１０２Ｊとしてメモリ１０２ｅに一旦保存する。
【００３８】
静止画評価値算出部１０２ｄは、動画・静止画関連部分抽出部１０２ｃにより抽出された関連部分情報１０２Ｊを用いて、静止画評価値を算出する。具体的には、先ず、動画・静止画関連部分抽出部１０２ｃによる関連部分抽出によって得られた情報を任意の時間間隔に分割し、個々の分割された範囲での撮影頻度を算出する。ただし、時間間隔の設定は、指定された対象範囲の長さと撮影された静止画の枚数等に応じて変化させる。本実施例では、静止画評価値算出部１０２ｄは、図５に示すように、動画撮影時間を単位時間ｔに分割し、撮影頻度を求める。実際に計算で求まる撮影頻度は、段階的に変化し滑らかさが無いデータになるので、隣接するデータから補完を行い、図５にパターンＡの静止画評価値Ｅ２として図示したように平滑化する。静止画評価値算出部１０２ｄは、このように算出した静止画評価値情報を最大値２、最小値１の範囲に正規化する。
【００３９】
他の方法として、図５にパターンＢの静止画評価値Ｅ３として図示するように、静止画が撮影された撮影時間の前後の所定の範囲Ｗ分の静止画評価値情報を最大値とし、撮影されていない部分のそれを最小値とする形式でも良い。ただし、隣接する最大値と最大値の時間幅がＴＨ１以下である場合、ＴＨ１以内の静止画評価値情報も最大値として補完する補正処理を行う。こうすることにより、静止画評価値が離散的になることを防ぎ、ダイジェスト再生抽出時の連続性を保つことができる。
【００４０】
静止画評価値算出部１０２ｄは、最終的に算出された静止画評価値を示す静止画評価値情報１０２Ｋをメモリ１０２ｅに一時保存する。
【００４１】
再生情報抽出部１０２ｆは、メモリ１０２ｅに保持される動画評価値情報１０２ｉ及び静止画評価値情報１０２Ｋを用いて、ダイジェスト再生すべき部分を特定する。動画評価値情報１０２ｉが０〜１の間で変化するのに対して、静止画評価値情報１０２Ｋは１〜２の間で変化する。そこで、動画評価値情報１０２ｉに対して静止画評価値情報１０２Ｋの重み付けを行い、評価値を再計算するため、動画評価値情報１０２ｉに静止画評価値情報１０２Ｋを乗算する。合成された評価値は、最大値１、最小値０に正規化される。
【００４２】
図６は、動画情報シーンＥと静止画情報Ｐ７〜Ｐ１２を用いた再生情報抽出例を示す。シーンＥから算出された動画評価値と静止画情報Ｐ７〜Ｐ１２から算出される静止画評価値情報を乗算したものが、評価値Ｅ４である。ダイジェスト再生の閾値をＴＨ２とすると、評価値Ｅ４がＴＨ２以上となる部分が、ダイジェスト再生対象となる。すなわち、評価値Ｅ４が閾値ＴＨ２以上となる、シーンＥの期間Ｄ１，Ｄ２，Ｄ３の部分が、ダイジェスト抽出部分になる。抽出される再生情報は、評価値Ｅ４が閾値ＴＨ２以上となる期間に対して１となり、閾値ＴＨ２未満に対して０となる再生フラグからなる。
【００４３】
なお、閾値ＴＨ２は、操作部１０１の操作によって指定されたダイジェスト総再生時間により変更される。例えば、ダイジェスト総再生時間が５分と指定された場合、閾値ＴＨ２以上の部分が５分間になるように、メイン制御部１０２は閾値ＴＨ２を変化させる。
【００４４】
再生情報抽出部１０２ｆは、このように決定された再生情報（再生フラグ）を、情報書込み部１０２ｈに供給する。情報書込み部１０２ｈは、再生情報抽出部１０２ｆからの再生情報を動画記録部１０３の動画撮影情報１０３ｂの時系列を維持したまま、動画撮影情報１０３ｂの対応部分に追記する。
【００４５】
再生情報抽出部１０２ｆにより決定された再生情報に従うダイジェスト再生の動作を説明する。操作部１０１によりダイジェスト再生の指示があると、メイン制御部１０２は再生制御部１１０に再生の指示を出す。再生制御部１１０は、動画記録部１０３から動画情報１０３ａと動画撮影情報１０３ｂを取得し、先ず動画撮影情報１０３ｂに基づき再生部分を特定する。具体的には、動画撮影情報１０３ｂに記録されている再生情報（再生フラグ）を読み込み、１（又は０でない）期間部分を判別する。再生制御部１１０は、再生フラグが０でない部分の動画情報１０３ａ（の画像情報と音声情報）を動画記録部１０３から読み出して再生部１１１に転送する。再生部１１１は、再生制御部１１０から送られる画像情報及び音声情報を再生し、再生画像を表示し、再生音声信号を音響出力する。
【００４６】
このようにして、本実施例では、静止画記録部１０４に記録されている静止画情報を用いて動画の重要部分を自動決定し、決定した重要部分をダイジェスト再生することができる。
【００４７】
図７を参照して、静止画を用いた動画のダイジェスト部分を抽出する処理の流れを説明する。図７は、本実施例によるダイジェスト再生対象を決定する動作のフローチャートを示す。
【００４８】
Ｓ１において、モード判定部１０２Ｌは、ユーザによる操作部１０１からの入力を解析し、指定されるモード／設定を判定する。本実施例は、図８に示すように５つのモード／設定を具備する。
【００４９】
ダイジェストモードＡには、１：動画の評価値のみを使用するモードと、２：動画の評価値に加えて静止画の評価値を利用するモードがある。但し、モード１の場合には通常のダイジェスト再生になり、本実施例の効果は得られない。
【００５０】
ダイジェスト範囲設定Ｂには、１：日付／時間、２：ファイル番号、３：場所、４：撮影モード及びその他の設定項目がある。１：日付・時間は、動画または静止画に記録されている日付・時間時間を参照して対象範囲を決定する場合の設定項目である。２：ファイル番号は、動画又は静止画を対象として指定する設定項目である。３：場所は、動画及び静止画にＧＰＳなどにより計測され埋め込まれた位置情報を参照して対象範囲を決定する場合の設定項目である。４：撮影モードは、動画及び静止画のそれぞれに適用された撮影モードにより対象範囲を設定する場合の設定項目である。例えば、花火撮影に特化した花火モードのように特定シーンに特化した複数の撮影モードを具備する場合に、有益である。
【００５１】
静止画重み付けモードＣは、静止画評価値算出部１０２ｄにおける静止画評価値の算出方法に関するモードである。図５に示す評価値Ｅ２のように、静止画の撮影頻度を算出し、それを正規化したものを静止画撮影頻度利用モードとする。また、評価値Ｅ３のように、静止画の撮影頻度によらず、静止画が撮影された部分に対して所定範囲の静止画評価値を最大値にする方法を静止画撮影部分利用モードとする。
【００５２】
ダイジェスト閾値設定Ｄでは、ダイジェストの総再生時間Ｔｄを予め任意に設定できる。総再生時間Ｔｄに、０分以上の任意の数値を入力する事が可能であり、最大入力値は、対象となる動画情報の撮影時間によって変化する。
【００５３】
Ｅ．静止画の保存場所は１：内部記録媒体と２：外部記録媒体（他の記録装置で記録）があり、どちらのデータを利用するかの切り替えを行うことが可能である。
【００５４】
Ｓ１で、モード判定部１０２Ｌが以上のモード判定処理を行った後、Ｓ２で、動画評価値算出部１０２ｂが、動画記録部１０３の動画情報１０３ａを解析して、動画撮影評価値を算出する。なお、動画の対象情報は、ステップＳ１において対象と判定された部分とする。
【００５５】
Ｓ３で、動画・静止画関連部分抽出部１０２ｃが、ダイジェストモードを判定する。ダイジェストモードが「１：動画の評価値のみ利用」に設定されている場合、静止画情報を利用しないので、Ｓ１１に遷移し、動画・静止画関連部分抽出部１０２ｃが、動画評価値のみからダイジェスト部分を抽出する。他方、「２：動画の評価値に加えて静止画の情報を利用」に設定されている場合、静止画の評価値を算出するために、メイン制御部１０２は、Ｓ４に遷移する。
【００５６】
Ｓ４で、モード判定部１０２Ｌが、利用する静止画の保存場所を確認し、指定の場所に静止画が存在するか否かを判別する。静止画が存在する場合、Ｓ５に遷移する。静止画が存在しない場合、Ｓ９に遷移する。
【００５７】
静止画が存在しない場合、静止画情報が得られないので、静止画情報を用いたダイジェスト部分抽出が不可能になる。Ｓ９で、メイン制御部１０２は、その旨の警告を再生部１１１の画面に表示させ、動画撮影評価値のみを考慮したダイジェスト部分抽出処理Ｓ１１に遷移する。
【００５８】
Ｓ５で、動画・静止画関連部分抽出部１０２ｃは、情報取得部１０２ｇを介して静止画の撮影情報を静止画記録部１０４から取得する。Ｓ６で、動画・静止画関連部分抽出部１０２ｃは、先に説明した方法で静止画と動画の関連部分を抽出する。動画・静止画関連部分抽出部１０２ｃは、算出された関連部分情報１０２Ｊをメモリ１０２ｅに一旦保存し、Ｓ７に遷移する。
【００５９】
Ｓ７で、再生情報抽出部１０２ｆは、関連部分情報１０２Ｊから「Ａ：関連フラグ情報」を読み込み、関連部分情報の有無をチェックする。ユーザが指定した動画情報に対して同じ時系列で静止画が撮影されていない場合、関連部分情報１０２Ｊは生成されない。よって、対象とする動画情報に関連付けられた静止画が存在する場合、Ｓ８で、静止画評価値算出部１０２ｄが、静止画の撮影評価値を算出する。他方、関連部分が存在しない場合、Ｓ９で、メイン制御部１０２は、その旨の警告を再生部１１１の画面に表示させる。関連部分情報が得られず、静止画情報を用いたダイジェスト部分抽出が不可能になるので、動画撮影評価値のみを考慮したダイジェスト部分抽出処理Ｓ１１に遷移する。
【００６０】
静止画評価値算出処理（Ｓ８）では、静止画評価値算出部１０２ｄは、モード判定部１０２Ｌの判定に基づき、静止画評価値を算出する。すなわち、「１：静止画撮影頻度利用モード」が選択されている場合、静止画評価値算出部１０２ｄは、関連部分情報１０２Ｊの関連フラグを利用し、ｔ時間毎に撮影頻度を算出し、最大値２、最小値１で正規化した評価値を出力する。また、「２：静止画撮影部分利用モード」が選択された場合、静止画評価値算出部１０２ｄは、関連部分情報１０２Ｊの関連フラグが１である部分を抽出し、その部分から所定時間Ｗの範囲の静止画評価値情報１０２Ｋを最大値とする。メイン制御部１０２は、静止画評価値算出処理（Ｓ８）で得られた静止画評価値情報１０２Ｋをメモリ１０２ｅに一旦保存し、Ｓ１４の処理に遷移する。
【００６１】
Ｓ１４で、メイン制御部１０２は、静止画情報を考慮したダイジェスト再生の閾値ＴＨ２を設定する。具体的には、再生情報抽出部１０２ｆが先ず、動画評価値情報１０２ｉと静止画評価値情報１０２Ｋを乗算して算出された評価値を最大値１、最小値０に正規化する。続いて、モード判定部１０２Ｌが、ダイジェスト総再生時間Ｔｄに基づいて閾値ＴＨ２を設定する。図９を用いて説明すると、閾値ＴＨ２をＴＨ２’に変化させることにより、ダイジェスト抽出部分が変化する。閾値ＴＨ２を閾値ＴＨ２’に変更すると、閾値ＴＨ１に対するダイジェスト部分Ｄ１，Ｄ２，Ｄ３がダイジェスト部分Ｄ１’，Ｄ２’，Ｄ３’と短くなる。総再生時間Ｔｄは、Ｔｄ＝Ｄ１＋Ｄ２＋・・・Ｄｎで求まるため、ユーザが指定した総再生時間Ｔｄになるように、閾値ＴＨ２を変化させる。閾値ＴＨ２の設定が完了し、ダイジェスト部分が確定したら、メイン制御部１０２は、Ｓ１２に遷移する。
【００６２】
Ｓ１１では、メイン制御部１０２は、動画情報のみを考慮したダイジェスト再生の閾値ＴＨ２を設定する。具体的には、再生情報抽出部１０２ｆが、動画評価値情報１０２ｉのみを用いて閾値ＴＨ２以上の部分を再生部分として抽出する。閾値ＴＨ２の設定が完了し、ダイジェスト部分が確定したら、メイン制御部１０２は、Ｓ１２に遷移する。なお、動画評価値と静止画評価値を用いた再生部分抽出は、図１０乃至図１２を参照して、後述する。
【００６３】
Ｓ１２で、メイン制御部１０２は、抽出された部分が、ユーザにより設定された総再生時間Ｔｄに達しているかどうかを確認する。動画の撮影状況により、動画評価値が非常に低く、ダイジェストとして抽出された部分の総時間がユーザの指定時間に達していない場合も考えられる。ダイジェストとして再生された部分の長さ、即ち再生時間が充分でない場合、一旦、処理を終了し、再度、ユーザにダイジェスト総再生時間を入力させる。再生時間が充分な場合、メイン制御部１０２は、Ｓ１５に遷移する。
【００６４】
Ｓ１５で、再生情報抽出部１０２ｆは、確定したダイジェスト部分に再生フラグ情報を付加し、その再生フラグ情報を動画記録部１０３の動画撮影情報１０３ｂに記録する。この記録が完了したら、メイン制御部１０２は、再生処理（Ｓ１６）に遷移する。
【００６５】
再生処理（Ｓ１６）では、メイン制御部１０２は、動画撮影情報１０３ｂに記録されている再生情報に基づき、ダイジェスト再生を実行する。すなわち、ダイジェスト再生の対象された動画部分を連続的に再生する。
【００６６】
動画評価値だけを用いてダイジェスト部分を決定した場合と、静止画情報を用いてダイジェスト部分を抽出した場合との相違を、図１０乃至図１２に示す例を参照して説明する。
【００６７】
静止画重み付けモードとして１：静止画撮影頻度利用モードを設定した場合の動作を、図１０を参照して説明する。図１０は、静止画Ｐ１９〜Ｐ２４と動画シーンＧに対するダイジェスト例を示す。Ｅ７は動画シーンＧに対する動画評価値を示す。動画評価値Ｅ７のみを使用する場合、評価値Ｅ７がダイジェスト閾値ＴＨ２以上となる部分Ｄ１，Ｄ２をダイジェストとして抽出する。この結果では、静止画Ｐ２０，Ｐ２１が撮影されている動画部分は、動画評価値が低いのでダイジェスト抽出結果から外れている。静止画が撮影された部分はイベントの重要度の高いシーンである可能性が高いという前提では、このダイジェストは好ましくないと言える。
【００６８】
静止画の撮影情報を解析し、撮影頻度（静止画重み付けモードが１：静止画撮影頻度利用モードの場合）を考慮した静止画評価値Ｅ６を加味する本実施例の方法では、以下のようになる。すなわち、静止画評価値Ｅ６を動画評価値Ｅ７に乗算した得られる評価値（統合評価値と呼ぶ）Ｅ８を想定する。統合評価値Ｅ８では、静止画Ｐ２０（Ｐ２１）に対応する点Ａでの評価値が、動画評価値Ｅ７より増加し、ダイジェスト閾値ＴＨ２を超える。この結果、統合評価値Ｅ８を使う場合には、静止画Ｐ２０，Ｐ２１に対応する部分Ｄ４もダイジェスト用に抽出されうる。
【００６９】
このように、動画評価値が低くとも、静止画の撮影情報を用いることで、イベントの重要度の高いシーンをダイジェストとして抽出することが可能になる。また、撮影頻度の高い部分のダイジェスト抽出時間が長くなるので、撮影者の意図を反映したダイジェストを生成できる。
【００７０】
静止画重み付けモードとして２：静止画撮影部分利用モードを設定した場合の動作を、図１１を参照して説明する。図１１に示す例では、図１０と同様に、動画シーンＧに対して、静止画Ｐ１９〜Ｐ２４が撮影されている。図１１に示す例では、静止画評価値を、関連部分情報が存在する点に対して所定時間Ｗ（静止画重み付けモードが２：静止画撮影部分利用モードの場合）だけ最大値になるように２値化している。また、Ｂ点のように、所定期間ＴＨ１以下となる静止画評価値が１の期間は、連続したダイジェスト再生を行えるように、評価値２に補正する。補正後の評価値Ｅ１０を動画評価値Ｅ９に乗算して統合評価値を算出し、この統合評価値が閾値ＴＨ２以上となる部分Ｄ６〜Ｄ８が、ダイジェスト用に抽出される。このように、静止画撮影時点から所定時間Ｗの静止画評価値を設定することで、静止画撮影時点を含む動画ダイジェストを生成できる。また、一定期間未満の低い静止画評価値を最大値に補正することで、間欠的な静止画撮影に対して連続したダイジェストを生成できる。
【００７１】
撮影者は、静止画撮影頻度利用モードか静止画撮影部分利用モードの選択設定を考慮して静止画を撮影するか、撮影された静止画の撮影枚数の特徴から静止画撮影頻度利用モードか静止画撮影部分利用モードを選択すればよい。
【００７２】
図１２に示す例で本実施例の作用を説明する。図１２に示す例では、動画シーンＨに対して、静止画Ｐ１９〜Ｐ２４が撮影されている。動画シーンＨでは、点Ｃにおいて、動画評価値Ｅ１１が０（ＴＨ３以下）になっている。動画評価値Ｅ１１＝０は、例えば、キャップを閉じたまま撮影を開始してしまった場合や、画像が白トビをしてしまい情報が殆どない場合など、ダイジェスト再生に適さない部分であることを意味する。従来の方法では、このような部分もダイジェスト用に選択されてしまう。
【００７３】
本実施例では、動画評価値Ｅ１１に加えて、静止画評価値情報Ｅ６又はＥ１０を考慮することで、より適切な部分をダイジェスト用に選択できる。統合評価値Ｅ１２は、動画評価値Ｅ１１に静止画評価値Ｅ６を乗算した結果である。静止画Ｐ２０，Ｐ２１の撮影タイミングであっても、動画評価値Ｅ１１が０になっているので、統合評価値Ｅ１２もゼロとなる。従って、図１２に示す例では、静止画Ｐ２０，Ｐ２１に対応する、Ｄを含む部分は、ダイジェスト用には抽出されない。動画評価値Ｅ１１に静止画評価値Ｅ１０を乗算して統合評価値を算出した場合も、同様である。
【００７４】
以上のように、動画評価値に、動画と同時に撮影される静止画の評価値をも加味することで、動画のより適切な範囲、すなわち、重要度と注目度の高い部分をダイジェストとして選択できる。
【実施例２】
【００７５】
図１３は、変更実施例の概略構成ブロック図を示す。図１３に示す記録再生装置２００は、例えば、動画及び静止画の撮影が可能なカメラや、音声の収録が可能なマイクなどが一体化されたデジタルビデオカメラに組み込まれる。
【００７６】
記録再生装置２００は、図１に示す記録再生装置１００の構成に加え、外部情報読取部１０５、情報転送部１０６及び外部静止画情報記録部１０７を具備する。外部情報読取部１０５、情報転送部１０６及び外部静止画情報記録部１０７を利用するためのメイン制御部１０２の機能を除き、記録再生装置１００と同じ符号の手段は、記録再生装置２００でも同じ機能を果たす。
【００７７】
記録再生装置２００は、記録再生装置１００と同様に、動画と静止画を記録再生できる。ただし、再生の際に、外部情報記録媒体１０７に記録された情報を利用できる点が、記録再生装置１００とは異なる。外部情報記録媒体１０７には、静止画が静止画記録部１０４に静止画記録する際と同様の処理を経て記録されている。
【００７８】
外部情報記録媒体１０７の記録情報を読み込む処理を説明する。情報転送部１０６は、記録再生装置２００とは異なる装置で外部静止画情報記録媒体１０７に記録された情報を記録再生装置２００に転送する。記録再生装置２００と外部静止画情報記録媒体１０７を物理的に接触させて情報を転送する方式や、赤外線通信、ＢｌｕｅＴｏｏｔｈ（登録商標）又は無線ＬＡＮ等の非接触情報転送方式を利用できる。
【００７９】
外部情報読取部１０５は、情報転送装置１０６からの情報を、バス１１３を介してメイン制御部１０２を含む各部に供給することができる。
【００８０】
図１４は、メイン制御部１０２の概略構成ブロック図を示す。メイン制御部１０２は、実施例１と同様に静止画記録部１０４の静止画情報を利用してダイジェストを生成できるが、更には、外部情報記録媒体１０７の静止画情報を用いてもダイジェストを生成できる。外部情報記録媒体１０７の静止画情報を用いた場合の動作を説明する。
【００８１】
メイン制御部１０２は、外部情報読取部１０５及び情報転送部１０６を介して、外部情報記録媒体１０７に記録される静止画情報１０７ａ及び静止画撮影情報１０７ｂをメイン制御部１０２に転送させる。外部情報記録媒体１０７からの情報は、メイン制御部１０２の情報取得部１０２ｇを介して動画・静止画関連抽出部１０２ｃに供給される。動画・静止画関連抽出部１０２ｃは、静止画撮影情報１０７ｂを用いて、動画撮影情報１０３ｂとの関連部分を抽出する。ただし、外部の静止画情報を用いる場合、撮影された動画と他の撮影機器で撮影された静止画の撮影時間の時間軸は同一でない場合がある。二つのデータの時間軸が異なっていた場合、動画と静止画の適切な関連部分を抽出することが難しい。そこで、動画・静止画関連部分抽出部１０２ｃは、事前に両者の時間軸を一致させるためのオフセットを一方に加減算し、その後、実施例１と同様の方法で関連部分を抽出する。
【００８２】
記録再生装置２００では、他の記録装置で記録された外部の静止画情報を利用可能なので、静止画の撮影者が限定されない。即ち、様々な撮影者が撮影した静止画を利用でき、静止画情報の種類に応じて、生成されるダイジェスト再生のパターンが変わり、撮影者個々の意図を反映したダイジェスト再生が可能となる。
【図１】
2013239796.tif 000003
【図２】
2013239796.tif 000004
【図３】
2013239796.tif 000005
【図４】
2013239796.tif 000006
【図５】
2013239796.tif 000007
【図６】
2013239796.tif 000008
【図７】
2013239796.tif 000009
【図８】
2013239796.tif 000010
【図９】
2013239796.tif 000011
【図１０】
2013239796.tif 000012
【図１１】
2013239796.tif 000013
【図１２】
2013239796.tif 000014
【図１３】
2013239796.tif 000015
【図１４】
2013239796.tif 000016