(57)【要約】      （修正有）【課題】うまく撮影できなかった区間であっても利用したい場合があり、何が写っているのか判別が難しいような不明瞭な映像のときでも、音声は重要であり再生させたい場合について、映像が不明瞭な区間の利用を可能にする。【解決手段】撮影手段の操作や状態に関する付帯情報に基づいて画像が不明瞭になっている区間を判別し、不明瞭区間の長さに応じて静止画切り換ることを示す所定の静止画または動画を前後に挿入して当該部分の音声と共に代替静止画を再生する。【選択図】図１
2010004277.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮像する手段と、
前記撮像手段の操作、又は、状態に関する付帯情報を検出する手段と、
前記付帯情報に基いて画像が不明瞭な区間を判定する手段と、
前記判定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記動画像、前記区間情報を記憶する手段と、
前記動画像、前記区間情報を読み出す手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を持つことを特徴とする動画像処理装置。
【請求項２】
請求項１に記載の動画像処理装置において、
前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項３】
請求項１に記載の動画像処理装置において、
前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項４】
請求項１に記載の動画像処理装置において、
前記付帯情報に基いて画像が不明瞭な区間を判定する際の閾値を指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項５】
請求項１に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項６】
請求項１に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、不明瞭区間の前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項７】
請求項５に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項８】
請求項６に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までの区間の、前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項９】
請求項１に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の静止画の再生を採用する
ことを特徴とする動画像処理装置。
【請求項１０】
請求項１に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の動画を不明瞭区間の長さに合わせた回数分の繰り返し再生を採用する
ことを特徴とする動画像処理装置。
【請求項１１】
請求項１に記載の動画像処理装置において、
他の機器との通信手段
を更に備え、
前記代替再生手順を決定する手段は、
前記通信手段を介して読み込んだ他の機器で撮像された静止画または動画の記録時刻と、不明瞭区間の記録時刻を比較し、
不明瞭区間内の記録時刻をもつ静止画または動画を、不明瞭区間中の再生に採用する
ことを特徴とする動画像処理装置。
【請求項１２】
動画像を撮像する手段と、
前記撮像手段の操作、又は、状態に関する付帯情報を検出する手段と、
前記動画像、前記付帯情報を記憶する手段と、
前記動画像、前記付帯情報を読み出す手段と、
前記付帯情報に基いて画像が不明瞭な区間を判定する手段と、
前記判定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を持つことを特徴とする動画像処理装置。
【請求項１３】
請求項１２に記載の動画像処理装置において、
前記区間情報を記憶する手段
を更に備えたことを特徴とする動画像処理装置。
【請求項１４】
請求項１２に記載の動画像処理装置において、
前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項１５】
請求項１２に記載の動画像処理装置において、
前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項１６】
請求項１２に記載の動画像処理装置において、
前記付帯情報に基いて画像が不明瞭な区間を判定する際の閾値を指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項１７】
請求項１２に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項１８】
請求項１２に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、不明瞭区間の前方と後方をトランジションエフェクトを掛けながらの再生を採用する、
ことを特徴とする動画像処理装置。
【請求項１９】
請求項１７に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項２０】
請求項１８に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までの区間の、前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項２１】
請求項１２に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の静止画の再生を採用する
ことを特徴とする動画像処理装置。
【請求項２２】
請求項１２に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の動画を不明瞭区間の長さに合わせた回数分の繰り返し再生を採用する
ことを特徴とする動画像処理装置。
【請求項２３】
請求項１２に記載の動画像処理装置において、
他の機器との通信手段
を更に備え、
前記代替再生手順を決定する手段は、
前記通信手段を介して読み込んだ他の機器で撮像された静止画または動画の記録時刻と、不明瞭区間の記録時刻を比較し、
不明瞭区間内の記録時刻をもつ静止画または動画を、不明瞭区間中の再生に採用する
ことを特徴とする動画像処理装置。
【請求項２４】
動画像を撮像する手段と、
前記動画像を記憶する手段と、
前記動画像を読み出す手段と、
前記動画像を解析して撮像手段の操作、又は、状態に関する付帯情報を抽出する手段と、
前記付帯情報に基いて画像が不明瞭な区間を判定する手段と、
前記判定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を持つことを特徴とする動画像処理装置。
【請求項２５】
請求項２４に記載の動画像処理装置において、
前記区間情報を記憶する手段
を更に備えたことを特徴とする動画像処理装置。
【請求項２６】
請求項２４に記載の動画像処理装置において、
前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項２７】
請求項２４に記載の動画像処理装置において、
前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項２８】
請求項２４に記載の動画像処理装置において、
前記付帯情報に基いて画像が不明瞭な区間を判定する際の閾値を指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項２９】
請求項２４に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項３０】
請求項２４に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、不明瞭区間の前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項３１】
請求項２９に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項３２】
請求項３０に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までの区間の、前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項３３】
請求項２４に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の静止画の再生を採用する
ことを特徴とする動画像処理装置。
【請求項３４】
請求項２４に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の動画を不明瞭区間の長さに合わせた回数分の繰り返し再生を採用する
ことを特徴とする動画像処理装置。
【請求項３５】
請求項２４に記載の動画像処理装置において、
他の機器との通信手段
を更に備え、
前記代替再生手順を決定する手段は、
前記通信手段を介して読み込んだ他の機器で撮像された静止画または動画の記録時刻と、不明瞭区間の記録時刻を比較し、
不明瞭区間内の記録時刻をもつ静止画または動画を、不明瞭区間中の再生に採用する
ことを特徴とする動画像処理装置。
【請求項３６】
動画像を撮像する手段と、
画像が不明瞭であることを指定する手段と、
前記指定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記動画像、前記区間情報を記憶する手段と、
前記動画像、前記区間情報を読み出す手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を持つことを特徴とする動画像処理装置。
【請求項３７】
請求項３６に記載の動画像処理装置において、
前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項３８】
請求項３６に記載の動画像処理装置において、
前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と
を更に備えたことを特徴とする動画像処理装置。
【請求項３９】
請求項３６に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項４０】
請求項３６に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間の前か後の区間よりフレーム画像を抜き出し、不明瞭区間中は前記フレーム画像の再生を採用し、
不明瞭区間の長さに応じて、不明瞭区間の前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項４１】
請求項３９に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
静止画再生に切り替わることを示す所定の静止画または動画を不明瞭区間の前方と後方に挿入する
ことを特徴とする動画像処理装置。
【請求項４２】
請求項４０に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
複数の不明瞭区間が密集しているときは、不明瞭区間に挟まれた明瞭区間よりフレーム画像を抜き出し、はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までを前記フレーム画像の再生を採用し、
はじめの不明瞭区間の開始点から最後の不明瞭区間の終了点までの区間の、前方と後方をトランジションエフェクトを掛けながらの再生を採用する
ことを特徴とする動画像処理装置。
【請求項４３】
請求項３６に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の静止画の再生を採用する
ことを特徴とする動画像処理装置。
【請求項４４】
請求項３６に記載の動画像処理装置において、前記代替再生手順を決定する手段は、
不明瞭区間中は音声のみの再生であることを示す所定の動画を不明瞭区間の長さに合わせた回数分の繰り返し再生を採用する
ことを特徴とする動画像処理装置。
【請求項４５】
請求項３６に記載の動画像処理装置において、
他の機器との通信手段
を更に備え、
前記代替再生手順を決定する手段は、
前記通信手段を介して読み込んだ他の機器で撮像された静止画または動画の記録時刻と、不明瞭区間の記録時刻を比較し、
不明瞭区間内の記録時刻をもつ静止画または動画を、不明瞭区間中の再生に採用する
ことを特徴とする動画像処理装置。
【請求項４６】
請求項１〜請求項４５のいずれかに記載の動画像処理装置の制御をコンピュータに行なわせるための制御プログラムであって、コンピュータにより読取り可能な制御プログラム。
【請求項４７】
請求項４６に記載の制御プログラムをコンピュータにより読取り可能な形で記録した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画中の不明瞭な区間を判別し、この区間を代替再生する技術に関する。
【背景技術】
【０００２】
近年、ランダムアクセスの可能な記憶媒体が発達してきており、特に光ディスクは数ギガバイトの大容量メディアも存在する。このようなメディアに記録されたAVストリームは極めて大きなサイズとなる。このような非常に大きなAVストリームの管理や編集を容易にする方法として、特許文献１に見られるように、PlayListを使用する方法が一般的になっている。即ち、PlayListとクリップ(AVストリーム)の２つの階層を設け、ユーザは、クリップを(主に区間情報からなる)PlayListを介して、再生を行ったり編集を行ったりする。また、PlayListにはReal PlayListとVirtual PlayListの2種類が存在する。Real PlayListは、それが参照するクリップを共有し、Real PlayListの消去が行われた場合は、それが参照しているクリップも消去される。これに対し、Virtual PlayListは、クリップのデータを共有せず、Virtual PlayListの変更が行われても、クリップには変更がない。よって、Virtual PlayListを使用して、仮編集などをなんども試行錯誤し、納得のいったものをReal PlayListにして、クリップを実際に編集する、といった使い方が可能になっている。
【０００３】
一方、光ディスクなどのランダムアクセス型の記憶媒体を小型化し、カムコーダにも採用されるようになってきている。このようなカムコーダでは、一般に撮影に不慣れなユーザが使用するため、うまく撮影ができないことが頻繁に起こり、撮影されたクリップ中に何が写っているのか判別が難しいような、見苦しい区間が多数存在しやすい。このような事情を考慮して、例えば、特許文献２においては、フォーカスの制御情報を動画像に対するメタデータとして付与することによって、非合焦となっている区間を、再生や編集時に利用しないようにする工夫が開示されている。また、例えば、特許文献３においては、フォーカス情報などから失敗撮影を判定し、このような画像はスキップして再生させないようにする工夫が開示されている。
【特許文献１】特開２００３−１５８９７４号公報
【特許文献２】特開２００２−３７４５２４号公報
【特許文献３】特開２００３−７８８５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、何が写っているのか判別が難しいような不明瞭な映像のときでも、音声は重要であり再生させたい場合が有る。また特に特許文献３のように再生させずスキップすると、細切れに再生されて、不自然な印象をユーザに与えてしまう場合もある。よって、うまく撮影できなかった区間であっても利用したい場合があり、このような状況には特許文献２、特許文献３などの従来技術では対応できなかった。
【０００５】
本発明は、上記の問題に鑑みてなされたものであり、画像が不明瞭になっている区間を判別し、この区間に対しては代替再生を行うことにより、不明瞭区間の利用を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための、
請求項１に記載の動画像処理装置は、
動画像を撮像する手段と、
前記撮像手段の操作、又は、状態に関する付帯情報を検出する手段と、
前記付帯情報に基いて画像が不明瞭な区間を判定する手段と、
前記判定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記動画像、前記区間情報を記憶する手段と、
前記動画像、前記区間情報を読み出す手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を備える。
【０００７】
請求項２に記載の動画像処理装置は、
請求項１に記載の動画像処理装置に前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と
を更に備える。
【０００８】
請求項３に記載の動画像処理装置は、
請求項１に記載の動画像処理装置に前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と
を更に備える。
【０００９】
請求項４に記載の動画像処理装置は、
請求項１に記載の動画像処理装置に前記付帯情報に基いて画像が不明瞭な区間を判定する際の閾値を指定する手段と、
を更に備える。
【００１０】
請求項５に記載の動画像処理装置は、
請求項１に記載の動画像処理装置に他の機器との通信手段
を更に備える。
【００１１】
請求項１２に記載の動画像処理装置は、
動画像を撮像する手段と、
前記撮像手段の操作、又は、状態に関する付帯情報を検出する手段と、
前記動画像、前記付帯情報を記憶する手段と、
前記動画像、前記付帯情報を読み出す手段と、
前記付帯情報に基いて画像が不明瞭な区間を判定する手段と、
前記判定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を備える。
【００１２】
請求項１３に記載の動画像処理装置は、
請求項１２に記載の動画像処理装置に前記区間情報を記憶する手段
を更に備える。
【００１３】
請求項１４に記載の動画像処理装置は、
請求項１２に記載の動画像処理装置に前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と、
を更に備える。
【００１４】
請求項１５に記載の動画像処理装置は、
請求項１２に記載の動画像処理装置に前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と、
を更に備える。
【００１５】
請求項１６に記載の動画像処理装置は、
請求項１２に記載の動画像処理装置に前記付帯情報に基いて画像が不明瞭な区間を判定する際の閾値を指定する手段と、
を更に備える。
【００１６】
請求項２３に記載の動画像処理装置は、
請求項１２に記載の動画像処理装置に他の機器との通信手段
を更に備える。
【００１７】
請求項２４に記載の動画像処理装置は、
動画像を撮像する手段と、
前記動画像を記憶する手段と、
前記動画像を読み出す手段と、
前記動画像を解析して撮像手段の操作、又は、状態に関する付帯情報を抽出する手段と、
前記付帯情報に基いて画像が不明瞭な区間を判定する手段と、
前記判定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を更に備える。
【００１８】
請求項２５に記載の動画像処理装置は、
請求項２４に記載の動画像処理装置に前記区間情報を記憶する手段
を更に備える。
【００１９】
請求項２６に記載の動画像処理装置は、
請求項２４に記載の動画像処理装置に前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と、
を更に備える。
【００２０】
請求項２７に記載の動画像処理装置は、請求項２４に記載の動画像処理装置に
前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と、
を更に備える。
【００２１】
請求項２８に記載の動画像処理装置は、
請求項２４に記載の動画像処理装置に前記付帯情報に基いて画像が不明瞭な区間を判定する際の閾値を指定する手段と、を更に備える。
【００２２】
請求項３５に記載の動画像処理装置は、
請求項２４に記載の動画像処理装置に他の機器との通信手段
を更に備える。
【００２３】
請求項３６に記載の動画像処理装置は、
動画像を撮像する手段と、
画像が不明瞭であることを指定する手段と、
前記指定された不明瞭区間と明瞭区間を指し示す区間情報を生成する手段と、
前記動画像、前記区間情報を記憶する手段と、
前記動画像、前記区間情報を読み出す手段と、
前記区間情報に基いて、前記不明瞭区間の代替再生手順を決定する手段と、
前記決定された代替再生手順に従って前記動画像の再生を行う再生手段と
を備える。
【００２４】
請求項３７に記載の動画像処理装置は、
請求項３６に記載の動画像処理装置に前記代替再生方法決定手段により決定された代替再生手順を記憶する手段と、
を更に備える。
【００２５】
請求項３８に記載の動画像処理装置は、
請求項３６に記載の動画像処理装置に前記代替再生手順に従って再生を行うか、通常の再生を行うかを指定する手段と、
を更に備える。
【００２６】
請求項４５に記載の動画像処理装置は、
請求項３６に記載の動画像処理装置に他の機器との通信手段
を更に備える。
【発明の効果】
【００２７】
以上説明したように、本発明によれば、不明瞭な区間の判別と、不明瞭区間に対する代替再生が可能となるので、不明瞭な区間を含んだクリップの利用を容易に行える。
【発明を実施するための最良の形態】
【００２８】
次に、本発明の詳細を実施例の記述に従って説明する。
【００２９】
以下、本発明の好適な実施形態について添付の図面を用いて説明する。
【実施例１】
【００３０】
図１は本実施例における動画記録再生装置の構成を示したものである。動画記録再生装置(100)内の各ユニットはバス(113)を介して接続されており，各ユニットは，CPU(108)によって制御される構造になっている。
【００３１】
また，揺れ検出の回路にジャイロセンサ115が使用されており，動画記録再生装置の垂直方向，水平方向の角速度を検出し，揺れベクトルを算出する回路となっており，揺れ量が検出される構成である。
【００３２】
この動画記録再生装置の動作として，まず，記録モード時の動作について説明する。動画記録再生装置(100)が記録モードで起動すると，フラッシュメモリ(110)に格納されていたプログラムがRAM(109)の一部にロードされCPU(108)はこのRAM(109)にロードされたプログラムにしたがって動作を行う。レンズユニット(101)，撮像素子(102)，撮像信号処理回路(103)は，CPU(108)で制御された撮像部制御回路(104)により制御され，後述の撮像動作を行う。被写体からの光はレンズユニット(101)を通して撮像素子(102)に結像される。撮像素子(102)に結像された映像は光電変換され，所定周期で読み出される。撮像信号処理回路(103)では，撮像素子画像の画像処理が行われデジタルの動画像が生成される。以上が，撮像動作である。操作スイッチ(105)にて，画像の記録の操作が行われると，このデジタル動画像は画像・音声圧縮解凍器(107)にて，MPEG等の画像圧縮が行われ，圧縮動画像が生成され，ハードディスク、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、不揮発性の半導体メモリなどの補助記録装置(106)に記録される。一方、所定周期で揺れ検出回路114より読み出された揺れ量と，撮像部制御回路(104)によってレンズユニット(101)のフォーカスレンズを制御した情報は、前記圧縮動画像のメタデータとして，一次的にRAM(109)に格納される。所定周期で蓄積されたメタデータから不明瞭な区間の判定を行い、RAM(109)に蓄積する。(詳細は後述する)
前記圧縮動画像が記録された際に、撮影開始から終了までの一つの区間をもったReal PlayListが作成される。そして、RAM(109)に蓄積されている不明瞭な区間を読み出し、明瞭区間と不明瞭区間とからなるVirtual PlayListを作成する。そして、前記補助記録装置(106)に記録する。作成されたReal PlayListとVirtual PlayListの関係を図５を用いて説明する。５００が前記圧縮動画像であるクリップに相当する。５０１がReal PlayListであり、５０２がVirtual PlayListである。Real PlayListは、撮影開始点であるSと終了点であるEを指した一つのPlayItemから構成される。Virtual PlayList５０２は、撮影開始点Sから不明瞭区間(クリップ５００の斜線部分に相当する)の開始点までと、不明瞭区間の開始点Aから終了点Bまでと、不明瞭区間の終了点Bから撮影終了点Eまでの、３つのPlayItemからなる。このとき、PlayItemを拡張し、動画像が明瞭であるか否か、またはNo Informationかを示す情報を属性として付与できるようにしておく。本属性は、Real PlayList５０１では、No Informationを示す値(例えば０)を記述し、Virtual PlayList５０２では、区間SA、区間BEのPlayItemでは、明瞭を示す値(例えば１)を記述し、区間ABのPlayItemでは、不明瞭を示す値(例えば２)を記述する。
【００３３】
ここで、メタデータより不明瞭な区間を判定する方法についてその詳細を説明する。不明瞭な区間を判別する際に使えるメタデータの例としては、従来技術で取り上げたフォーカスの制御情報や、撮像装置の水平方向への揺れ量などが上げられる。揺れ量が大きいときは、何が写っているのか判別しにくい映像となり、とくにこれが長くつづく、急激なパン動作(以降、急パンと呼ぶ)では顕著である。判定方法としては、揺れ量に関しては、所定の閾値以上となる揺れ量となったら、不明瞭と判定し、ことき閾値を超えてから再び閾値以下になるまでの区間をRAM(109)上に記録する。フォーカスの制御情報については、特許文献２に上げた方法がある。もし、同時に2種類以上のメタデータ項目について、不明瞭な区間と判定できる場合は、２つの区間をマージする。
【００３４】
前記のような明瞭区間か不明瞭区間かの属性のついたVirtual PlayListを作成し、前記補助記録装置(106)に記録することにより、補助記憶装置(106)から再生する装置の能力に応じた代替再生(後述)を決定することができる。また、不明瞭区間が不要とユーザが判定した場合は、Real PlayListと置き換え、該当区間の削除を行うことによって、クリップ中の不要な不明瞭区間を削除することができる。
【００３５】
次に上記のようなクリップとReal PlayList、Virtual PlayListを記録した動画記録媒体を，本動画記録再生装置の再生モードで再生した時の動作を説明する。動画記録再生装置(100)が再生モードで起動すると，フラッシュメモリ(110)に格納されていたプログラムがRAM(109)の一部にロードされCPU(108)はこのRAM(109)にロードされたプログラムにしたがって動作を行う。再生モードで起動すると，補助記録装置(106)内のReal PlayListからサムネイルなどを読み出し，ディスプレイ(110)に，動画インデックス情報として表示する。操作スイッチ(105)にて，前記動画インデックス情報から特定の画像を選択して再生命令を与えると，CPU(108)は，指定されたReal PlayListに対応するクリップを補助記録装置内から読み出し，順次画像音声圧縮解凍回路(107)を通して圧縮動画像を解凍し，ディスプレイ（111）に動画像を再生する。この際に，Real PlayListの区間に対応するVirtual PlayListを参照して、不明瞭な区間についての代替再生方法を決定し、再生を行う。代替再生の例を図６を用いて述べる。クリップ６００において、区間AB(斜線部分)が不明瞭区間であり、音声は、クリップ全体の区間SEを通して通常通り再生され、動画は区間SA、BEのみ再生され、不明瞭区間ABについては、静止画再生が行われる。
【００３６】
代替再生方法決定処理を説明する。
【００３７】
まず、不明瞭区間の長さが所定値以上である場合について述べる。
【００３８】
静止画再生に切り替えることをユーザに知らせるため、予め用意された静止画６０１を所定時間(AH)表示することにし、区間SAまたは区間BEの動画中から抜き出したフレーム画像６０２を表示することにし、Bより所定時間分前の区間(IB)、動画再生に戻ることを知らせるため、予め用意された静止画６０３を表示することにする。なお、区間HIで表示する静止画６０２は区間SA、区間BEのどちらから抜き出しても構わないが、区間SAであれば点Aより、区間BEであれば点Bより抜き出す方がより自然である。
【００３９】
これは、動画再生中に静止画再生に切り替わると、突然、画面が固まったようになり、ユーザに不自然な印象を与えてしまうので、静止画６０２を表示する前後に静止画６０１、６０３を挿入することによって、不自然な印象を与えないようにするのが目的である。なお、所定値は、静止画６０１、６０２、６０３を均等な時間表示しても、目にちらつかない長さである。
【００４０】
次に、不明瞭区間の長さが所定値未満である場合について述べる。
【００４１】
このような場合は、反対に静止画６０１、６０３を表示させるとちらついてしまい、かえって見苦しくなってしまうため、静止画６０２のみを、不明瞭区間の長さ分、表示することにする。
【００４２】
次に、図３に示したように、不明瞭区間が密集している場合について述べる。
【００４３】
不明瞭区間HI、JK、LMの間(即ち、明瞭区間IJ、KL)が十分に短いときは、前記の方法に従って代替再生方法を決定すると、動画再生１、静止画再生１のようになり、区間HMにおいて、動画と静止画が交互にめまぐるしく再生されることになり、大変、見苦しくなってしまう。そこで、区間HMをまとめて、静止画再生とする、動画再生２、静止画再生２のようにする。まず、はじめの不明瞭区間は図６の６０１を採用する。そして、次の明瞭区間IJとJKを合わせた区間であるIKについて、明瞭区間IJから選んだフレーム画像を、再生する静止画とする。これは、本来動画として再生可能なIJから選ぶことで、音声とある程度同期を確保し、より自然な再生とするためである。なお、明瞭区間IJからであれば、どこのフレームを選んでも構わない。同様の理由で区間KMについても、明瞭区間KLから選んだフレーム画像を選択する。ただし、最後の区間には、動画再生に戻ることをユーザに知らせるため、所定区間(M'M)、図６の６０３を採用するため、その分、短くなり、区間KM'となる。
【００４４】
更に、他の代替再生方法決定処理についていくつか挙げる。
【００４５】
再生する装置にそのような動画中からフレーム画像を取得する能力がなければ、図２のように音声のみを再生していることを知らせる静止画を予め用意しておき、これに置き換えるようにする。
【００４６】
または、音声のみを再生することをしらせる所定時間長のクリップを予め用意しておき、不明瞭区間の長さに合わせた回数分繰り返し再生するようにする。このときは、Virtual PlayListのPlayItemとして回数分記述するか、PlayItemを拡張し、繰り返す回数を指定する項目を追加するようにすればよい。
【００４７】
静止画再生への切り替わりをユーザに知らせるための他の方法としては、所定長のクリップを予め容易しておいてもよいし、クリップの静止画６０１、６０３を表示した区間に対してトランジションエフェクト(例：フェードインフェードアウト)をかけながら、クリップを再生するようにする。
【００４８】
同じ対象を同時に撮影していた他の撮像装置があるときは、その撮像装置から静止画または動画を受け取って用いるようにしてもよい。このときは、本動画記録再生装置にIEEE１３９４などの通信手段を設け、これを介して、他の撮像装置から静止画または動画を受け取り、受け取った静止画または動画に付与されている記録時刻と、クリップ中の不明瞭区間の記録時刻(クリップの記録開始時刻と不明瞭区間を表す開始点と終了点を示すタイムコードとから算出される)を比較し、不明瞭区間内の記録時刻をもつ静止画または動画を採用するようにする。
【００４９】
以上のような方法で決定された代替再生を行うことで、不明瞭区間が存在するクリップであっても、ユーザに不自然な印象を与えることなく、見苦しさを低減した再生を行うことが可能となる。
【実施例２】
【００５０】
第1の実施例では、撮影中の動画記録再生装置によって検出される、装置の操作情報(揺れ量など)、装置の状態情報(フォーカスレンズの制御情報など)から、不明瞭な区間を判定したが、第2の実施例は、ユーザが撮影中に明示的に指示を与える、というものである。
【００５１】
動画記録再生装置の構成は、第1の実施例と同じであるので説明は省略する。ただし、操作スイッチ(105)には、不明瞭区間であることを指示するボタンが含まれているものとする。これは例えば、撮影中にユーザがうまく撮影できていないと判断した際に、このボタンを押下し、次に再び押下するまでの区間を不明瞭区間とする。
【００５２】
この動画記録再生装置の動作として，まず，記録モード時の動作について説明する。動画記録再生装置(100)が記録モードで起動すると，フラッシュメモリ(110)に格納されていたプログラムがRAM(109)の一部にロードされCPU(108)はこのRAM(109)にロードされたプログラムにしたがって動作を行う。レンズユニット(101)，撮像素子(102)，撮像信号処理回路(103)は，CPU(108)で制御された撮像部制御回路(104)により制御され，後述の撮像動作を行う。被写体からの光はレンズユニット(101)を通して撮像素子(102)に結像される。撮像素子(102)に結像された映像は光電変換され，所定周期で読み出される。撮像信号処理回路(103)では，撮像素子画像の画像処理が行われデジタルの動画像が生成される。以上が，撮像動作である。操作スイッチ(105)にて，画像の記録の操作が行われると，このデジタル動画像は画像圧縮解凍器(107)にて，MPEG等の画像圧縮が行われ，圧縮動画像が生成され，補助記録装置(106)に記録される。一方、撮像中に操作スイッチ(105)にて、不明瞭区間であることが指示された場合は、指示された区間の開始点と終了点のタイムコードをRAM(109)に一時的に保持しておく。
【００５３】
前記圧縮動画像が記録された際に、撮影開始から終了までの一つの区間をもったReal PlayListが作成される。そして、RAM(109)に蓄積されている不明瞭な区間をまとめて、Virtual PlayListを作成し、前記補助記録装置(106)に記録する。なお、Real PlayList、Virtual PlayListのPlayItemは第一の実施例と同様に、不明瞭区間であるかどうかを示す属性が付与できるように、拡張されているものとする。
【００５４】
再生時の動作については、第1の実施例と同様であるので、説明は省略する。
【００５５】
以上のようにユーザの指示を可能とすることにより、不明瞭な区間に対してはもちろん、画像は明瞭であるが、ユーザが意図した対象が写っていないような場合であっても、代替再生を利用できる。
［その他の実施例］
実施例1,実施例2では、動画を録画と再生を一つの装置で実現したが、もちろん、それぞれを別の装置で実現してもよく、このときは、補助記憶装置を介して、或いは、それぞれにIEEE１３９４などの通信手段を設け、これを介して、クリップとReal PlayList、Virtual PlayListをやりとりすればよい。
【００５６】
実施例1, 実施例2の代替再生の結果を、Virtual PlayListとして作成し、補助記憶装置に記憶するようにしてもよい。これをユーザが編集することにより、代替再生方法を後から自由に変更することが可能となる。例えば、不明瞭区間が密集している場合は、複数の静止画が表示されることになるが、ユーザが不適切と考える静止画を間引いたり、他の静止画に置き換えたりすることが用意となる。また、作成された代替再生結果を、他の装置でもその能力によらず、再生させることが可能となる。
【００５７】
このようなVirtual PlayListは、例えば、PlayItemに次のような変更を加えることで可能となる。即ち、Clip_Information_file_nameとして、クリップの代わりに静止画を指定し、開始点、終了点に加えて、静止画を表示する長さを指定できるように、時間長の項目を追加すればよい。更に、代替再生用であることを示す番号を割り当て、PlayList_Typeに記述するようにしておけば、不明瞭区間であるかどうかを示したVirtual PlayListとの区別が容易になる。
【００５８】
実施例1, 実施例2において、Real PlayList、Virtual PlayListは、特許文献１に開示されているものを例にあげて説明したが、もちろん同様なシンタクス、データ構造、規則をもっていればよい。例えば、本例ではバイナリデータで表現されているが、XMLの形式を用いてテキストデータで表現しても構わない。
【００５９】
実施例１において、メタデータはRAM(109)上に一時的に保存するのみであったが、これを補助記憶装置に記録するようにしても構わない。このようにすることで、撮影時はVirtual PlayListは作成せず、再生時に、ユーザの指示のあったクリップに対してだけ、Virtual PlayListを作成し、代替再生を行うことができる。また、再生する機器によって、不明瞭区間の判定方法に違いがあるときは、その機器に応じたメタデータを使用して、判定を行うことができ、既にVirtual PlayListが作成されていても、再度作成しなおしたりすることが可能となる。
【００６０】
このとき、メタデータの格納方法としては、動画像のストリーム中のフレーム単位の画像データの管理情報中の未使用領域などに、格納する方法(MPEG-2ストリームであれば、ピクチャヘッダのユーザ領域に格納する)や、対応するクリップ及びタイムコードと関連付けて、動画像と別領域に格納する方法があげられる。
【００６１】
メタデータの記述形式の一例としては、フォーカスレンズの制御情報、揺れ量は、図４のように記述できる。なお、本例はバイナリ形式で記述しているが、XMLの形式を用いてテキストデータで表現してももちろん構わない。
【００６２】
実施例1, 実施例2では、クリップを再生させると不明瞭区間については常に代替再生を行うが、操作スイッチ105にモード設定用のスイッチなどを設け、通常再生モード／代替再生モードというように切り替えるようにしてもよい。或いは、クリップ選択時にメニューを表示し、どちらのモードで再生させるかユーザに選択させるようにしてもよい。このようにすれば、例えば、撮影者自身が撮影をどのくらい適切に行うことができたかをチェックする場合には、通常再生モードで全ての動画を再生し、鑑賞を行う時や、他の人に見せる時には、代替再生モードで、見苦しさを低減した再生を行う、といった使い分けが可能となる。
【００６３】
実施例1の不明瞭区間の判定時の各メタデータに対する閾値は、ユーザが操作スイッチ（105）を用いて任意に変更できるようにしても、もちろん構わない。これにより、不明瞭区間の判定をユーザが満足できるように調整することができる。
【００６４】
実施例１において、メタデータは、各種のセンサや撮像部制御回路104などの制御情報から得たが、画像を解析することによって得るようにしてもよい。例えば、揺れ検出回路(114)には，ジャイロセンサ(115)を用いて，装置自身の揺れ角を検出したが，撮像素子(102)から撮像信号処理回路(103)において生成された動画像を用いて，画像の動きベクトル検出を利用することもできる。現在，動きベクトル検出法として，相関法や，ブロックマッチング法などがある。例えば，ブロックマッチング法とは，入力画像信号を複数の適当な大きさのブロックに分割し，ブロック単位ごとに前のフィールド（またはフレーム）の一定範囲の画素との差を計算し，この差の絶対値の和が最小になる前のフィールド(またはフレーム)のブロックを検索する。当該検索したブロックの相対的なずれをそのブロックの動きベクトルとして算出する方法である。なお，本発明は動きベクトルを検出する方法は，その他のどのような方法でもかまわないことは言うまでもない。
【００６５】
また、フォーカスについては、フォーカスレンズの制御情報を用いたが、撮像素子(102)から撮像信号処理回路(103)において生成された動画像を用いて，周波数分布を抽出し、高周波成分が少ない場合に、非合焦(ボケた画像)であると判断できる。
【００６６】
以上のような画像を解析する方法は、撮影中に用いることができるだけでなく、撮影後に画像を取り込んで解析を行うことも可能となる。よって、例えば、撮影時にメタデータを抽出できないような撮像機器で撮影された動画像を含んだ補助記憶装置を、本動画記録再生装置にて読み込み、本動画記録再生装置でメタデータを抽出し、不明瞭区間を判定し、代替再生を行うことが可能となる。
【００６７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【００７０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７２】
【図１】本実施例における動画記録再生装置の構成例を示した図である。
【図２】代替再生用の静止画の一例を示した図である。
【図３】代替再生方法を説明する図である。
【図４】メタデータの記述の一例(フォーカスレンズの制御情報)である。
【図５】クリップとReal PlayList、Virtual PlayListの関係を説明する図である。
【図６】代替再生方法を説明する図である。
【符号の説明】
【００７３】
100  動画記録再生装置
101  レンズユニット
102  撮像素子
103  撮像信号処理回路
104  撮像部制御回路
105  操作スイッチ
106  補助記録装置
107  画像・音声圧縮解凍器
108  CPU
109  RAM
110  フラッシュメモリ
111  ディスプレイ
112  マイク
113  バス
114  揺れ検出回路
115  ジャイロセンサ
【図１】
2010004277.tif 000003
【図２】
2010004277.tif 000004
【図３】
2010004277.tif 000005
【図４】
2010004277.tif 000006
【図５】
2010004277.tif 000007
【図６】
2010004277.tif 000008