(57)【要約】【課題】  短時間で動画データを視聴可能にするとともに、重要なシーンの見落としのない録画再生装置を提供する。【解決手段】  本発明の動画再生装置は、動画データにおけるシーンごとに重要度に応じてランキングづけられたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、ランキングに応じたダイジェスト動画再生かすべての動画データの動画再生かの再生モードを選択する再生対象選択手段と、再生シーンの変更指示を入力するスキップ入力手段と、前記スキップ入力手段により入力された操作指示と前記ランキングデータ及び前記再生対象選択に基づいて再生する動画データを決定する再生動画データ決定手段と、前記再生動画データ決定手段により決定された動画データを再生する再生手段と、を備える構成とした。【選択図】図１
2008193270.tif 000002
【特許請求の範囲】
【請求項１】
動画再生装置において、
動画データを入力する動画データ入力手段と、
前記動画データにおけるシーンごとに重要度に応じてランキングづけられたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、
再生する動画データの対象を、重要度に応じて選択された再生シーンとするか、すべての動画データとするかを選択する再生対象選択手段と、
再生シーンの変更指示を入力するスキップ入力手段と、
前記スキップ入力手段により入力された操作指示と前記ランキングデータ及び前記再生対象選択に基づいて再生する動画データを決定する再生動画データ決定手段と、
前記再生動画データ決定手段により決定された動画データを再生する再生手段と、
再生画像を表示する表示手段と、を備えたことを特徴とする動画再生装置。
【請求項２】
請求項１に記載の動画再生装置において、
前記再生対象選択手段により再生する動画データの対象をすべての動画データとする選択がおこなわれ、前記スキップ入力手段で前方スキップ指示が入力された時に、
前記再生動画データ決定手段は、直後のランキング付けされた重要シーンの先頭にジャンプし、
前記再生対象選択手段は、以降の再生する動画データの対象を、重要度に応じて選択された再生シーンとすることを特徴とする動画再生装置。
【請求項３】
請求項２に記載の動画再生装置において、
スキップ操作入力部と再生する動画データの対象を示すモード表示部から成る再生操作パネル表示部を有し、
前記スキップ操作入力部は前方スキップ指示ボタンを表示し、前記モード表示部は、前記再生対象選択手段に連動して通常再生の表示からダイジェスト再生の表示に変わることを特徴とする動画再生装置。
【請求項４】
請求項１に記載の動画再生装置において、
前記再生対象選択手段により再生する動画データの対象を重要度に応じて選択された再生シーンとする選択がおこなわれ、前記スキップ入力手段で後方スキップ指示が入力された時に、
前記再生動画データ決定手段は、直前のランキング付けされた重要シーンの最後尾にジャンプし、
前記再生対象選択手段は、以降の再生する動画データの対象を、すべての動画データとすることを特徴とする動画再生装置。
【請求項５】
請求項４に記載の動画再生装置において、
スキップ操作入力部と再生する動画データの対象を示すモード表示部から成る再生操作パネル表示部を有し、
前記スキップ操作入力部は後方スキップ指示ボタンを表示し、前記モード表示部は、前記再生対象選択手段に連動してダイジェスト再生の表示から通常再生の表示に変わることを特徴とする動画再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを再生する動画再生装置の再生制御に関する。
【背景技術】
【０００２】
近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上や、それを実現するハードウェア/ソフトウェアの低価格化、及び蓄積メディアの大容量化ならびにその低価格化により、多くの動画データの保存を手軽に行えるようになり、視聴可能な動画データが増加しつつある。しかしながら、多忙な人にとっては、それら全ての動画データを視聴する時間は無く、結果として視聴可能な動画データが氾濫するといった状況になってきている。そこで、動画データにおける重要なシーンだけを視聴することにより、短時間で内容を理解する仕組みや、本当に視聴したい動画データを探し出せるようにすることが重要となる。
【０００３】
このような状況に鑑み、例えば特許文献１及び非特許文献１では、動画データにおける重要なシーンを表示可能な技術が紹介されている。特に、非特許文献１では、動画データからその特徴を生成し、その特徴に基づいて、重要なシーンの抽出及びランキング付けを行い、利用者から指定された割合で重要なシーンのみを再生する技術が紹介されている。これらの技術により、利用者が動画データの内容を短時間で把握することが可能となる。また、特許文献２では、分割されたシーンをグルーピングし、グルーピングされた結果に基づいて各シーンの優先度を決定することにより、目的に応じたフレキシビリティが高い要約画像を容易に作成する技術を紹介している。
【０００４】
【特許文献１】特開２００３−１５３１３９号公報
【特許文献２】特開２０００−２５３３５１号公報
【非特許文献１】D.DeMenthon, V.Kobla, and D.Doermann, “Video Summarization by Curve Simplification”, ACM Multimedia 98, Bristol, England, pp.211-218, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上のように、動画データの内容を短時間で把握するための技術が提案されているが、利用者にとって好ましいユーザーインターフェースは提案されていない。例えば、特許文献２では、生成された要約画像を視聴することは可能であるが、要約画像にユーザの見たいシーンが含まれていない場合、そのシーンがスキップされてしまい、そのシーンを視聴できないという不具合が発生する。
【０００６】
本発明は、これらの課題を解決するものであり、重要なシーンを表示することによって短時間で動画データを視聴可能にする一方、ユーザが見たいシーンがスキップされてしまった場合にも容易にスキップされた部分を確認可能にし、また、次の重要なシーンにスキップ可能な動画再生装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の動画再生装置は、動画データを入力する動画データ入力手段と、前記動画データにおけるシーンごとに重要度に応じてランキングづけられたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、再生する動画データの対象を、重要度に応じて選択された再生シーンとするか、すべての動画データとするかを選択する再生対象選択手段と、再生シーンの変更指示を入力するスキップ入力手段と、前記スキップ入力手段により入力された操作指示と前記ランキングデータ及び前記再生対象選択に基づいて再生する動画データを決定する再生動画データ決定手段と、前記再生動画データ決定手段により決定された動画データを再生する再生手段と、再生画像を表示する表示手段と、を備える構成とした。
【０００８】
より詳しくは、通常再生中に前方スキップ指示が入力されたときに、直後のランキング付けされた重要シーンの先頭にジャンプし、以降の動画再生をダイジェスト再生するようにした。
【０００９】
また、ダイジェスト再生中に後方スキップ指示が入力されたときに、直前のランキング付けされた重要シーンの最後尾にジャンプし、以降の動画再生を通常再生するようにした。
【発明の効果】
【００１０】
氾濫しつつある視聴可能な動画データの内容を効果的に把握可能となる。また、飛ばされたシーンを容易に確認でき、次のシーンに容易にスキップできることにより、利用者にとって好ましいユーザーインターフェースが提供可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明にかかる実施例について、図面を参照して説明する。
図１は、本実施例１に係る動画再生装置の機能ブロック図である。これらの機能ブロックの一部あるいは全部は、ハードウェアとして実現されてもよいが、中央処理装置（ＣＰＵ）等によって実行されるソフトウェアプログラムとして実現されてもよい。
【００１２】
図１に示す通り、動画再生装置は、解析動画データ入力部１０１と、特徴生成部１０２と、特徴データ保持部１１３と、特徴データ入力部１１４と、ランキング生成部１０３と、ランキングデータ保持部１１０と、ランキングデータ入力部１１１と、再生動画データ入力部１０７と、再生動画データ入力部１１２と、再生シーン決定部１０４と、再生シーン決定パラメタ入力部１０５と、再生部１０６と、表示部１０８と、音声出力部１１５を有して構成される。
【００１３】
解析動画データ入力部１０１は、ビデオダイジェスト再生を行う際に必要となる特徴データ及びランキングデータを生成するための解析の元となる動画データを入力する。なお、本解析動画データ入力部１０１は、利用者によって、特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に実行される。
【００１４】
特徴生成部１０２は、解析動画データ入力部１０１において入力した動画データの特徴を生成する。これは、例えば、動画データにおける音声データ及び画像データのそれぞれのフレームについて、音声のパワー及び画像の動き等を生成することによって実現できる。なお、本特徴生成部１０２は、解析動画データ入力部１０１が実行された場合に、動画データが入力されるたびに実行される。
【００１５】
特徴データ保持部１１３は、特徴生成部１０２において生成した特徴データを保持する。なお、本特徴データ保持部１１３は、特徴生成部１０２が実行された場合に、特徴データが生成されるたびに、あるいは１フレーム分の特徴データが生成されるごとに実行されるように構成すればよい。
【００１６】
特徴データ入力部１１４は、特徴データ保持部１１３において保持された特徴データ、あるいは他の装置などによって既に生成されている特徴データを入力する。なお、本特徴データ入力部１１４は、後述するランキング生成部１０３が実行された場合に実行されればよい。
【００１７】
ランキング生成部１０３は、ランキングデータ入力／生成手段に相当し、特徴データ入力部１１４で入力した特徴データに基づいて、重要シーンの抽出及び各シーンのランキング付けを行う。これは、例えば非特許文献１で記載されている方法で実現可能である。なお、ランキング生成部１０３は、利用者によって、ランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、ランキングデータが作成されていない動画データを発見した場合に実行される。
【００１８】
ランキングデータ保持部１１０は、ランキング生成部１０３において生成したランキングデータを保持する。ただし、ランキング生成部１０３において生成したランキングデータが後述する再生シーン決定部１０４に直接読み込まれる場合には、本ランキングデータ保持部１１０は必ずしも必要はない。なお、本ランキングデータ保持部１１０が存在する場合には、本ランキングデータ保持部１１０は、ランキング生成部１０３が実行された場合に実行されるように構成すればよい。
【００１９】
ランキングデータ入力部１１１は、ランキングデータ入力／生成手段に相当し、ランキングデータ保持部１１０において保持されたランキングデータ、あるいは他の装置などによって既に生成されているランキングデータを入力する。ただし、ランキング生成部１０３において生成したランキングデータが後述する再生シーン決定部１０４に直接読み込まれる場合には、本ランキングデータ入力部１１１は必ずしも必要はない。なお、本ランキングデータ入力部１１１が存在する場合には、本ランキングデータ入力部１１１は、後述する再生シーン決定部１０４が実行された場合に実行されるように構成すればよい。
【００２０】
再生シーン決定パラメタ入力部１０５は、再生シーン決定パラメタ入力手段に相当し、ビデオダイジェスト再生における再生シーンを決定する際のパラメタを入力する。本再生シーン決定パラメタ入力部１０５は、後述する再生部１０６においてビデオダイジェスト再生が実行された時点で実行される。
【００２１】
再生シーン決定部１０４は、再生シーン決定手段に相当し、再生シーン決定パラメタ入力部１０５で入力したパラメタ及び、ランキング生成部１０３で生成あるいはランキングデータ入力部１１１入力したランキングデータを元にビデオダイジェスト再生における再生シーンを決定する。本再生シーン決定部１０４は、再生シーン決定パラメタ入力部１０５でビデオダイジェスト再生における再生シーンを決定する際のパラメタが入力された後に実行される。
【００２２】
再生動画選択入力部１０７は、再生対象選択手段に相当し、実際に再生するシーンを、再生シーン決定部１０４で決定した再生シーンとする“ビデオダイジェストモード”か、すべてのシーンとする“通常再生モード”を選択するためのデータを入力する。なお、再生動画選択入力部１０７は、利用者によってモード選択の操作が行われた時点か、利用者によって後述するスキップ操作が行われた時点に実行される。
【００２３】
再生動画データ入力部１１２は、再生動画データ入力手段に相当し、再生動画選択入力部１０７で決定したモードの再生対象となるシーンの動画データを入力する。再生動画選択入力部１０７で“通常再生モード”が選択された場合にはすべての動画データが、“ビデオダイジェストモード”が選択された場合には、再生シーン決定部１０４が決定した再生シーンが、入力される。なお、本再生動画データ入力部１１２は、後述する再生部１０６によって再生対象の動画データを取得する際に起動され実行される。
【００２４】
再生部１０６は、再生手段に相当し、再生シーン決定部１０４で決定した再生シーンの動画データを再生動画データ入力部１１２により入力して、再生画像を生成して後述する表示部に表示する。本再生部１０６は、通常再生あるいはビデオダイジェスト再生が指示された場合に実行される。
【００２５】
表示部１０８は、表示手段に相当し、再生部１０６において生成された再生画像を表示装置に表示する。本表示部１０６は、再生部１０６が生成した再生画像を１フレームごとに表示する。この場合、本表示部１０８は、再生部１０６によって１フレーム分の再生画像が生成されるごとに起動され実行される。
【００２６】
音声出力部１１５は、再生部１０６において生成された再生音声を音声出力装置に出力する。本音声出力部１１５は、再生部１０６が生成した再生音声を１フレームごとに出力することによって実現可能である。この場合、本音声出力部１１５は、再生部１０６によって１フレーム分の再生音声が生成されるごとに起動され実行される。
【００２７】
次に、ランキング生成部１０３において生成あるいはランキングデータ入力部１１１で入力されるランキングデータのデータ構造について説明する。
【００２８】
図２は、本実施例１で取り扱うランキングデータのデータ構造の一例である。
図２において、２０４乃至２０８は動画データにおけるシーンであり、２０９はこれ以上シーンが無いことを示すデータである。また、２０１は各シーンにおける重要度すなわちランクである。なお、ここでは、便宜的に数値が小さいほどランクが高いものとしている。２０２及び２０３はそれぞれ各シーンの開始位置及び終了位置であり、ここでは便宜的に各シーンの開始時刻（秒）と終了時刻（秒）としている。ランキング生成部１０３が本データ構造を生成する場合には、例えば非特許文献１に記載の方法、あるいは非特許文献１に記載の方法で動画データにおけるシーンを認識し、各シーンにおける音声のパワーが高い順に各シーンのランキング付けを行い、各シーンの開始位置の時刻及び終了位置の時刻を取得して、本データ構造を生成すればよい。なお、各シーンの開始位置の時刻及び終了位置の時刻は、例えば動画データがMPEGストリームであれば、フレームに対応するタイムスタンプを取得することによって取得可能である。なお、図２では、各シーンにおけるランク２０１、各シーンの開始位置２０２及び終了位置２０３をそれぞれ１バイト及び８バイトづつとしているが、これに限定するものではなく、それぞれのデータがオーバーフローすることなく格納できるように構成すればよい。また、２０９では、これ以上シーンが無いことを示すために、ランク２０１、開始位置２０２及び終了位置２０３をすべて０としているが、この限りではなく、これ以上シーンが無いことが示されるように構成すればよい。
【００２９】
再生シーン決定部１０４は、再生シーン決定パラメタ入力部１０５から入力されたパラメタを基に、上記ランキングデータのランク２０１で上位のシーンから順に、あるランクまでのシーンを、再生シーンとして決定する。
【００３０】
以上説明した動画再生装置により、利用者の操作によって、重要なシーンの動画データを再生するビデオダイジェスト再生を行うか、すべての動画データを再生する通常再生を行うかを、選択することが可能となる。
【００３１】
つぎに、次の重要なシーンに容易にスキップ可能な動画再生装置について、図３、図４により説明する。図３は、実施例の動画再生装置におけるストリーム中の再生される映像データの順序の一例である。
【００３２】
再生シーン決定パラメタ入力部１０５からの入力により、再生シーン決定部１０４が重要なシーンとして、図３に示すようにランク上位３つのシーンである、重要シーン１（３０２）、重要シーン２（３０４）、重要シーン３（３０６）を選択したと仮定する。再生動画選択入力部１０７からの入力により“ビデオダイジェストモード”が選択された場合には、重要シーン１（３０２）、重要シーン２（３０４）、重要シーン３（３０６）の順で、再生動画データ入力部１１２から再生動画が入力される。再生動画選択入力部１０７からの入力により“通常再生モード”が選択された場合には、重要シーンであるかどうかに関わらず、（３０１）（３０２）（３０３）（３０４）（３０５）（３０６）（３０７）の順に、再生動画データ入力部１１２からすべての再生動画が入力される。
【００３３】
利用者が“通常再生モード”で重要でないシーンを視聴中に、利用者がスキップ操作を行うことにより、つぎのようにシーンの再生をおこなう。ここで、ストリームは、ダイジェストモードで再生されるべきランク付けされた重要シーン１（３０２）、重要シーン２（３０４）、重要シーン３（３０７）と、ダイジェストモードで再生されない映像データ（３０１）（３０３）（３０５）で構成されていると仮定する。
【００３４】
図４は、動画再生装置の再生操作パネルの一例である。図４において、４０１は前スキップボタン、４０２は再生モード表示である。利用者が“通常再生モード”で重要でないシーンを視聴中に、４０１の前スキップボタンを押すと、現在の再生位置である３０８から次の重要なシーンである重要シーン２（３０４）の先頭にスキップし、その再生動画が再生動画データ入力部１１２から入力される。
【００３５】
また同時に再生動画選択入力部に“ビデオダイジェストモード”が入力され、“通常再生モード”から“ビデオダイジェストモード”に自動的に遷移する。したがって、重要シーン２（３０４）の視聴が終わると、次の重要シーンである重要シーン３（３０７）にスキップする。４０２には現在の視聴モードが表示され、視聴中にどちらのモードで再生されているかを利用者に提示する。
【００３６】
以上に説明した動画再生装置により、利用者は重要でないシーンを視聴中にすぐに次の重要シーンにスキップして視聴することが可能となる。
【００３７】
つぎに、重要でないシーンがスキップされた際に、利用者がスキップされたシーンにすぐに戻って視聴可能にする動画再生装置について説明する。図５は、この場合の、動画再生装置におけるストリーム中の再生される映像データの順序の一例である。
【００３８】
再生シーン決定パラメタ入力部１０５からの入力により、再生シーン決定部１０４が重要なシーンとして、図５に示すようにランク上位３つのシーン、重要シーン１（５０１）、重要シーン２（５０２）、重要シーン３（５０３）を選択したと仮定する。再生動画選択入力部１０７からの入力により“ビデオダイジェストモード”が選択された場合には、重要シーン１（５０２）、重要シーン２（５０４）、重要シーン３（５０６）の順で、再生動画データ入力部１１２から再生動画が入力される。
【００３９】
図６は、この例の動画再生装置の再生操作パネルを示す図である。図６において、５０１は後スキップボタン、４０２は再生モード表示である。
【００４０】
利用者は、ダイジェストモードで重要シーン２（５０２）を視聴後、その続きを見たいにも関わらず重要シーン３（５０３）にスキップされた場合、利用者が後スキップボタン５０１を押すことにより、現在の再生位置である５０４から直前の重要シーンでないシーン（５０５）の先頭にスキップする。  また同時に再生動画選択入力部に“通常再生モード”が入力され、“ビデオダイジェストモード”から“通常再生モード”に自動的に遷移する。したがって、重要でないシーン（５０３）の視聴が終わると、次の重要シーンである重要シーン３（５０７）を継続して再生する。４０２には現在の視聴モードが表示され、視聴中にどちらのモードで再生されているかを利用者に提示する。その際、ダイジェストモードから通常再生モードに自動的に切り替わる。
【００４１】
以上説明した動画再生装置により、利用者はスキップされた重要でないシーンをすぐに視聴することが可能となる。
【００４２】
つぎに、利用者が視聴中の再生モードが“通常再生モード”であるか“ビデオダイジェストモード”であるかを容易に把握できる動画再生装置について説明る。
【００４３】
図７は、本実施例の動画再生装置の“通常モード”における表示画面の一例である。画面の下部にスライドバー７０１が表示され、左端がストリームの先頭を示し、右端がストリームの最後尾を示す。“通常再生モード”ではすべての動画データが表示対象となるので、スライドバー７０１全体を黒で塗り潰す。スライドバーの位置は特に画面下部に限定する必要はなく、利用者が認識可能な場所であればよい。また、表示方法は特に黒で塗り潰すのを限定する必要はなく、表示対象が全体であることが分かる表示方法であればよい。
【００４４】
図８は、本実施例の動画再生装置の“ビデオダイジェストモード”における表示画面の一例である。画面の下部にスライドバー８０１が表示され、左端がストリームの先頭を示し、右端がストリームの最後尾を示す。“ビデオダイジェストモード”では重要なシーンのみが表示対象となるので、スライドバー８０１内の重要なシーンを示す箇所（８０２）（８０３）（８０４）（８０５）（８０６）を黒で塗り潰す。スライドバーの位置は特に画面下部に限定する必要はなく、利用者が認識可能な場所であればよい。また、表示方法は特に黒で塗り潰すのを限定する必要はなく、表示対象が全体であることが分かる表示方法であればよい。
【００４５】
利用者は図７、図８の表示から、“通常再生モード”か“ビデオダイジェストモード”か、また“ビデオダイジェストモード”の場合、ストリームのどの位置が重要なシーンかを容易に判断することができる。
【００４６】
図９は、本実施例の動画再生装置の“ビデオダイジェストモード”における表示画面の一例である。画面下部のスライドバー９０１内に示される重要なシーン（９０２）（９０３）（９０４）（９０５）（９０６）の箇所に、そのシーンの代表となる映像が表示される。
【００４７】
以上から、利用者は、“ビデオダイジェストモード”で表示対象となるシーンがどのようなシーンかを代表となる映像から推測することができる。
【００４８】
図１０は、本実施例の動画再生装置の“ビデオダイジェストモード”における表示画面の一例である。画面下部のスライドバー１００１内に示される重要なシーン（１００２）（１００３）（１００４）（１００５）（１００６）の箇所に、そのシーンのランク値が表示される。ランクの表示方法は、ランクの数値を表示するのに限定する必要はなく、塗り潰す色の濃淡のレベルで表現する等してもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の動画再生装置の機能ブロック図である。
【図２】本発明のランキングデータのデータ構造をしめす図である。
【図３】本発明の動画再生装置で再生される再生シーンを説明する図である。
【図４】本発明の動画再生装置の再生操作パネルをしめす図である。
【図５】本発明の動画再生装置で再生される他の再生シーンを説明する図である。
【図６】本発明の動画再生装置の再生操作パネルを他の例をしめす図である。
【図７】本発明の動画再生装置の通常再生モードのスライドバー表示の一例である。
【図８】本発明の動画再生装置のダイジェストモードのスライドバー表示の一例である。
【図９】本発明の動画再生装置のダイジェストモードのスライドバー表示の他の例である。
【図１０】本発明の動画再生装置のダイジェストモードのスライドバー表示の他の例である。
【符号の説明】
【００５０】
１０１・・・解析動画データ入力部、１０２・・・特徴生成部、１０３・・・ランキング生成部、
１０４・・・再生シーン決定部、１０５・・・再生シーン決定パラメタ入力部、
１０６・・・再生部、１０７・・・再生動画選択入力部、１０８・・・表示部、
１１０・・・ランキングデータ保持部、１１１・・・ランキングデータ入力部、
１１２・・・再生動画データ入力部、１１３・・・特徴データ保持部、
１１４・・・特徴データ入力部、１１５・・・音声出力部
【図１】
2008193270.tif 000003
【図２】
2008193270.tif 000004
【図３】
2008193270.tif 000005
【図４】
2008193270.tif 000006
【図５】
2008193270.tif 000007
【図６】
2008193270.tif 000008
【図７】
2008193270.tif 000009
【図８】
2008193270.tif 000010
【図９】
2008193270.tif 000011
【図１０】
2008193270.tif 000012