(57)【要約】  【課題】再生速度を上げた場合でも、映像の見逃しを低減でき、ユーザがスムーズに視聴できる映像再生装置を提供する。  【解決手段】映像再生装置１は、再生対象の映像データを指定された再生速度で再生する。映像解析部１５は、映像データを解析して、フレーム間の類似度に基づいて映像データ中の複数のカットを検出する。再生予定算出部２３は、映像データのうちで再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報を算出する。再生予定算出部２３は、映像解析部１５によるカット検出結果に基づき、映像データを構成する複数のカット区間の各々から１以上の再生予定フレームを抽出する。映像再生部２５は、再生予定情報により特定される複数の再生予定フレームを再生する。【選択図】  図１
2009021694.tif 000002
【特許請求の範囲】
【請求項１】
再生対象の映像データを指定された再生速度で再生する可変速再生機能を備えた映像再生装置であって、
前記映像データを解析して、フレーム間の類似度に基づいて前記映像データ中の複数のカットを検出する映像解析部と、
前記映像データのうちで前記再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報を算出する再生予定算出部と、
前記再生予定情報により特定される前記複数の再生予定フレームを再生する映像再生部とを備え、
前記再生予定算出部は、前記映像解析部によるカット検出結果に基づき、前記映像データを構成する複数のカット区間の各々から１以上の前記再生予定フレームを抽出することを特徴とする映像再生装置。
【請求項２】
前記再生予定算出部は、前記映像データを構成する各カット区間から１以上のカット代表フレームを前記再生予定フレームとして抽出する代表フレーム抽出部を有することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記１以上のカット代表フレームは、前記各カット区間における所定位置のフレームであることを特徴とする請求項２に記載の映像再生装置。
【請求項４】
前記再生予定算出部は、前記映像データの総フレーム数と前記再生速度から決まる要求再生フレーム数を、各カット区間から前記再生予定フレームとして前記カット代表フレームを抽出するときの再生予定フレーム数が超過する場合に、カット境界におけるフレーム間の類似度に基づいて類似カット区間を結合するカット集約処理を行うカット集約処理部を有することを特徴とする請求項２または３に記載の映像再生装置。
【請求項５】
前記再生予定算出部は、前記映像データの総フレーム数と前記再生速度から決まる要求再生フレーム数に対して、各カット区間から前記再生予定フレームとして前記カット代表フレームを抽出するときの再生予定フレーム数が不足する場合に、前記再生予定フレーム数が前記要求再生フレーム数に達するように前記再生予定フレームを補充する補充処理部を有することを特徴とする請求項２ないし４のいずれかに記載の映像再生装置。
【請求項６】
前記補充処理部は、既に選択された前記再生予定フレームの間に前記再生予定フレームを補充する処理を行い、補充箇所は再生予定フレーム間隔に応じて決定されることを特徴とする請求項５に記載の映像再生装置。
【請求項７】
前記補充処理部は、最大再生予定フレーム間隔の中間フレームを再生予定フレームとして前記再生予定情報に加える処理を、前記再生予定フレーム数が前記要求再生フレーム数に達するまで繰り返すことを特徴とする請求項６に記載の映像再生装置。
【請求項８】
再生対象の映像データを指定された再生速度で再生する映像再生方法であって、
前記映像データを解析して、フレーム間の類似度に基づいて前記映像データ中の複数のカットを検出し、
前記映像データのうちで前記再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報を算出し、
前記再生予定情報により特定される前記複数の再生予定フレームを再生し、
前記再生予定情報を算出する処理では、前記映像解析部によるカット検出結果に基づき、前記映像データを構成する複数のカット区間の各々から１以上の前記再生予定フレームを抽出することを特徴とする映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生対象の映像データを指定された再生速度で再生する可変速再生機能を備えた映像再生装置に関する。
【背景技術】
【０００２】
従来、放送局用や家庭用の各種の映像再生装置において、早送りや巻戻しを行う可変速再生機能が備えられている。この機能では、ユーザ入力操作等により再生速度が指定され、指定された再生速度で映像データが再生される。
【０００３】
映像データは周知のように一連のフレームデータで構成されている。そして、早送り再生の場合、従来は、再生速度に応じて複数のフレーム毎に１フレームが再生される（特許文献１参照）。例えば、２倍速再生では、１フレームおきにフレームが再生される。また、別の従来技術では、フレーム単位の表示時間を短縮または伸長することにより再生速度が変更される。例えば、通常の１フレームの表示時間が１／３０秒（約３３ｍｓｅｃ）であるのに対して、２倍速再生では、１フレームの表示時間が１／６０秒（約１６ｍｓｅｃ）に変更される。
【特許文献１】特開２００６−３３８７４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の映像再生装置のように、複数のフレーム毎に１フレームを再生する場合、再生されないフレームがある。そのため、再生速度を上げた場合、表示されないフレームが増加し、必要な映像を見逃す可能性が高くなってしまうという問題がある。
【０００５】
また、１フレームあたりの表示時間を短くする技術では、再生速度を上げた場合、表示スピードへの再生処理の追従が困難になり、さらに、数倍以上の速度で高速再生するとユーザの目で映像を確認することが困難になるという問題があった。例えば、４倍から８倍程度までの速度ではユーザが映像を把握できるが、それ以上の速度では映像の把握が困難になる。
【０００６】
本発明は、従来の問題を解決するためになされたもので、その目的は、再生速度を上げた場合でも、映像の見逃しを低減でき、ユーザがスムーズに視聴できる映像再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の映像再生装置は、再生対象の映像データを指定された再生速度で再生する可変速再生機能を備えた装置であって、前記映像データを解析して、フレーム間の類似度に基づいて前記映像データ中の複数のカットを検出する映像解析部と、前記映像データのうちで前記再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報を算出する再生予定算出部と、前記再生予定情報により特定される前記複数の再生予定フレームを再生する映像再生部とを備え、前記再生予定算出部は、前記映像解析部によるカット検出結果に基づき、前記映像データを構成する複数のカット区間の各々から１以上の前記再生予定フレームを抽出するように構成されている。
【０００８】
この構成により、映像データのうちで再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報が算出され、再生予定情報に従って映像データが再生され、これにより映像データが指定された再生速度で再生される。再生予定情報としては、映像データを構成する複数のカット区間の各々から再生予定フレームが抽出される。したがって、ユーザが各カット区間の映像を視聴でき、映像の見逃しを低減できる。また、１フレーム当たりの表示時間は通常速度と同じか、過度に短くない範囲でよく、したがって、ユーザが映像をスムーズに視聴できる。
【０００９】
また、本発明の映像再生装置において、前記再生予定算出部は、前記映像データを構成する各カット区間から１以上のカット代表フレームを前記再生予定フレームとして抽出する代表フレーム抽出部を有する。この構成により、複数のカット区間の各々から適切に再生予定フレームを抽出することができる。
【００１０】
また、本発明の映像再生装置において、前記１以上のカット代表フレームは、前記各カット区間における所定位置のフレームである。この構成により、複数のカット区間の各々から適切に再生予定フレームを抽出することができる。
【００１１】
また、本発明の映像再生装置において、前記再生予定算出部は、前記映像データの総フレーム数と前記再生速度から決まる要求再生フレーム数を、各カット区間から前記再生予定フレームとして前記カット代表フレームを抽出するときの再生予定フレーム数が超過する場合に、カット境界におけるフレーム間の類似度に基づいて類似カット区間を結合するカット集約処理を行うカット集約処理部を有する。この構成により、カット数が多すぎて、各カット区間からカット代表フレームを抽出すると指定再生速度を達成できなくなる場合でも、カット集約処理を行うことにより指定再生速度を達成できる。
【００１２】
また、本発明の映像再生装置において、前記再生予定算出部は、前記映像データの総フレーム数と前記再生速度から決まる要求再生フレーム数に対して、各カット区間から前記再生予定フレームとして前記カット代表フレームを抽出するときの再生予定フレーム数が不足する場合に、前記再生予定フレーム数が前記要求再生フレーム数に達するように前記再生予定フレームを補充する補充処理部を有する。この構成により、各カット区間からカット代表フレームを抽出しただけでは再生予定フレーム数が不足して指定再生速度を達成できない場合でも、再生予定フレームを補充することにより指定再生速度を達成できる。
【００１３】
また、本発明の映像再生装置において、前記補充処理部は、既に選択された前記再生予定フレームの間に前記再生予定フレームを補充する処理を行い、補充箇所は再生予定フレーム間隔に応じて決定される。この構成により、適切なフレームを再生予定フレームとして補充できる。
【００１４】
また、本発明の映像再生装置において、前記補充処理部は、最大再生予定フレーム間隔の中間フレームを再生予定フレームとして前記再生予定情報に加える処理を、前記再生予定フレーム数が前記要求再生フレーム数に達するまで繰り返す。この構成により、適切なフレームを再生予定フレームとして補充できる。
【００１５】
また、本発明の別の態様は、再生対象の映像データを指定された再生速度で再生する映像再生方法であって、前記映像データを解析して、フレーム間の類似度に基づいて前記映像データ中の複数のカットを検出し、前記映像データのうちで前記再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報を算出し、前記再生予定情報により特定される前記複数の再生予定フレームを再生し、前記再生予定情報を算出する処理では、前記映像解析部によるカット検出結果に基づき、前記映像データを構成する複数のカット区間の各々から１以上の前記再生予定フレームを抽出する。この方法によっても上述した本発明の利点が得られる。
【発明の効果】
【００１６】
本発明は、映像データを構成する複数のカット区間の各々から再生予定フレームを抽出する構成を設けたことにより、再生速度を上げた場合でも、映像の見逃しを低減でき、ユーザが映像をスムーズに視聴できるという効果を有する映像再生装置を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態に係る映像再生装置について、図面を用いて説明する。
【００１８】
本発明の実施の形態に係る映像再生装置を図１に示す。映像再生装置１は、例えば、放送局の編集用の映像再生装置である。ただし、映像再生装置１は放送局の装置に限定されず、例えば家庭用の装置でもよい。
【００１９】
図１において、映像再生装置１は、操作装置３および表示装置５と接続される。操作装置３がユーザに操作されて再生速度等の指示が入力され、映像再生装置１がユーザの指示に従い、指定された再生速度で映像を再生し、再生された映像が表示装置５に表示される。
【００２０】
図示のように、映像再生装置１は、映像データを入力する映像入力部１１と、入力された映像データを記憶する映像記憶部１３と、入力された映像データを解析して映像データ中のカットを検出する映像解析部１５と、映像データの解析結果を記憶する解析情報記憶部１７と、映像再生に関するユーザの指示を入力する操作入力部１９と、操作入力部１９から入力された再生条件を記憶する再生条件記憶部２１と、映像解析部１５の解析結果に基づいて再生予定フレームを特定する再生予定情報を算出する再生予定算出部２３と、再生予定情報従って映像記憶部１３に記憶された映像データを再生する映像再生部２５とを備える。
【００２１】
映像解析部１５は、上述のように入力された映像データを解析して映像データ中のカットを検出する。一般的に映像データではシーンが順次変わっていく。カットとは、各シーンのことであり、また、シーンの境界のことをカットということもある。ここでは、各々のシーンのことをカット区間といい、カット区間の境界をカット境界という。
【００２２】
カット検出は、映像データを構成するフレーム間の類似度に基づいて行われる。例えば、各フレームが複数の領域（例えば１６領域）に分割され、分割領域毎の色のヒストグラムが生成される。連続する２枚のフレームで対応する分割領域について、ヒストグラムの類似度が算出される。全領域（例えば１６領域）の類似度が平均されて、フレーム間の類似度が算出される。そして、類似度がカット閾値以下になる場所が、カット境界として検出される。すなわち、類似度がカット閾値以下になる２つのフレームが、前のカット区間の最終フレームと、次のカット区間の先頭フレームである。
【００２３】
上記のカット閾値は予め設定される。カット閾値は、例えば、検出されるカット区間の長さが概ね３秒〜５秒程度になるように（１秒当たり３０フレームの場合に、カット区間のフレーム数が９０〜１５０フレームになるように）設定することが好適である。
【００２４】
このようなカット検出技術は、例えば、特開平７−２８８８４０号公報および特開平９−９３５３０号公報に開示されている。ただし、カット検出技術は上記に限定されず、また、類似度の算出処理も上記に限定されない。別の処理により類似度が算出され、類似度からカット境界が検出されてよい。
【００２５】
映像解析部１５は、カット検出結果の情報を解析情報記憶部１７に格納する。図２は、カット検出結果の情報の例を示している。カット検出結果では、各カット区間にカット番号が割り振られる。そして、カット番号毎に、先頭フレームのタイムコードと、カット間類似度が記録される。カット間類似度は、カット境界におけるフレーム間類似度であり、すなわち、カット区間の先頭フレームと、前のカット区間の最終フレームとの類似度である。
【００２６】
操作入力部１９は、操作装置３からユーザの指示を入力する。操作装置３はボタン、スイッチ等で構成されてよい。操作装置３は、キーボード、マウスなどでもよく、また、タッチパネルを含んでもよい。ユーザの指示としては、再生速度Ｐｓが入力される。再生速度は再生予定算出部２３に供給される。再生速度は再生条件記憶部２１に記憶されてから、再生予定算出部２３に参照されてもよい。
【００２７】
また、操作入力部１９からは、再生条件として、カット集約の有無の指定が入力される。カット集約指定は、後述するカット集約処理を行うか否かを規定する条件である。カット集約の指定は再生条件記憶部２１に記憶されて、再生予定算出部２３により参照される。
【００２８】
再生予定算出部２３は、映像再生部２５により再生されるべき再生予定フレームを特定する再生予定情報を算出する。再生予定情報としては、要求再生フレーム数Ｔｆの再生予定フレームが抽出される。要求再生フレーム数Ｔｆとは、再生速度Ｐｓを達成するのに必要なフレーム数である。
【００２９】
また、再生予定情報を算出する際には、解析情報記憶部１７に記憶された解析情報が参照されて、映像解析部１５によるカット検出結果に基づいて再生予定フレームが抽出される。そして、再生予定算出部２３は複数のカット区間の各々から１以上の再生予定フレームを抽出する。
【００３０】
ただし、各カット区間から再生予定フレーム数を単に抽出すると、抽出された再生予定フレーム数が多かったり、少なくて、再生速度Ｐｓが達成されない。そこで、後述するように、カット集約処理および補充処理が行われて、再生予定フレームの数が調整される。
【００３１】
映像再生部２５は、映像記憶部１３に記憶された映像データを再生する。このとき、映像再生部２５は、再生予定情報に従い、再生予定情報により特定される再生予定フレームを再生する。
【００３２】
図３は、再生予定算出部２３の構成を示す機能ブロック図である。図示のように、再生予定算出部２３は、再生フレーム数算出部３１、代表フレーム抽出部３３、フレーム数比較部３５、カット集約処理部３７および補充処理部３９を有する。
【００３３】
再生フレーム数算出部３１は、要求再生フレーム数Ｐｆを算出する。要求再生フレーム数Ｐｆは、上述したように再生速度Ｐｓを達成するために再生されるべきフレームの数であり、総フレーム数Ｔｆを再生速度Ｐｓで割った値である。
【００３４】
代表フレーム抽出部３３は、カット検出結果に基づき、各カット区間から１以上のカット代表フレームを再生予定フレームとして抽出する。カット代表フレームは、カット区間における所定位置のフレームである。
【００３５】
フレーム数比較部３５は、要求再生フレーム数Ｐｆを、再生予定フレーム数Ｐｐと比較する。再生予定フレーム数Ｐｐは、既に選択された再生予定フレームの数である。これにより、フレーム数比較部３５は、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに対して超過したり、不足するかを判定する。
【００３６】
カット集約処理部３７は、フレーム数比較部３５の比較結果に応じて動作する。カット集約処理部３７は、各カット区間から再生予定フレームとしてカット代表フレームを抽出すると再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆを超過してしまう場合に、カット集約処理を行う。カット集約処理では、カット境界におけるフレーム間の類似度に基づいて類似カット区間が結合され、カット数が削減される。
【００３７】
また、補充処理部３９も、フレーム数比較部３５の比較結果に応じて動作する。補充処理部３９は、各カット区間から再生予定フレームとしてカット代表フレームを抽出すると再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに対して不足する場合に補充処理を行う。補充処理では、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに達するように再生予定フレームが補充される。
【００３８】
以上に、本発明の実施の形態に係る映像再生装置１の各部の構成について説明した。次に、映像再生装置１の動作を説明する。
【００３９】
まず、映像データが映像入力部１１から入力され、映像記憶部１３に記憶されると共に、映像解析部１５に供給される。映像解析部１５では、映像データから複数のカットが検出され、カット検出結果が解析情報として解析情報記憶部１７に記憶される。
【００４０】
また、操作入力部１９からは再生速度Ｐｓが入力されて再生予定算出部２３に供給される。さらに、操作入力部１９から再生条件としてカット集約の有無の指定が入力されて、カット集約指定が再生条件記憶部２１に記憶されて、再生予定算出部２３により参照される。そして、再生予定算出部２３で再生予定情報が算出される。
【００４１】
図４および図５は、再生予定算出部２３による再生予定情報の算出処理を示している。図４に示すように、再生予定算出部２３は、まず、映像データの総フレーム数Ｔｆを算出する（Ｓ１）。そして、再生フレーム数算出部３１が、再生速度Ｐｓを達成する要求再生フレーム数Ｐｆを算出する（Ｓ３）。要求再生フレーム数Ｐｆは、総フレーム数Ｔｆを再生速度Ｐｓで割った値である。
【００４２】
次に、再生条件記憶部２１の再生条件が参照され、カット集約の有無の指定が判定される（Ｓ５）。カット集約有りが指定されている場合、フレーム数比較部３５により、要求再生フレーム数Ｐｆとカット総数Ｔｃが比較される（Ｓ７）。
【００４３】
ここで、本実施の形態では、例として、各カット区間からは、先頭の１枚のフレームが、カット代表フレームとして抽出されるとする。したがって、カット総数Ｔｃは、各カット区間からカット代表フレームを抽出したときの要求再生フレーム数Ｐｆに相当する。
【００４４】
なお、本発明の範囲内で、各カット区間のカット代表フレームの枚数は、１枚に限られず、複数枚でよい。例えば、カット代表フレームの枚数が、１カット区間にｎ枚であるとする。この場合には、各カット区間からカット代表フレームを抽出したときの再生予定フレーム数Ｐｐが、（カット総数Ｔｃ）×ｎになる。この値Ｐｐ（＝Ｔｃ×ｎ）がステップＳ７で要求再生フレーム数Ｐｆと比較されて、以降の処理が行われてよい。
【００４５】
図４の説明に戻ると、カット総数Ｔｃが要求再生フレーム数Ｐｆより大きい場合（Ｐｆ＜Ｔｃ）、各カット区間から再生予定フレームを抽出すると、再生予定フレームが多すぎて、再生速度Ｐｓを達成できない。そこで、カット集約処理部３７によりカット集約処理が行われる（Ｓ９）。カット集約処理では、カット境界におけるフレーム間の類似度に基づいて類似カット区間が結合される。
【００４６】
図６は、カット集約処理を示している。カット集約処理では、図２のカット検出結果の情報が算出され、最も類似度が大きいカット境界（カット点）が抽出される（Ｓ３１）。例えば、図７に示すように、カット番号ｉの類似度が最も高かったとする。この場合、カット番号ｉ−１とカット番号ｉの境界が抽出される。
【００４７】
同一の最大類似度が複数のカット境界に存在したとする。この場合には、タイムコードが先頭のカット境界が抽出される（Ｓ３３）。
【００４８】
そして、カット境界の前後のカット区間が集約される（Ｓ３５）。ここでは、図７の例に示されるように、抽出されたカット境界は削除されて、２つのカット区間が結合され、１つのカット区間になる。
【００４９】
図４に戻ると、ステップＳ９でのカット集約処理の後、ステップＳ７に戻る。ステップＳ７に戻ったときにはカット総数Ｔｃが１つ少なくなっている。したがって、カット総数Ｔｃが要求再生フレーム数Ｐｆに達するまで、ステップＳ９のカット集約処理が繰り返し行われて、カット総数Ｔｃが１つずつ減っていく。
【００５０】
ステップＳ７にて、カット総数Ｔｃが要求再生フレーム数Ｐｆと一致する場合は（ｐｆ＝Ｔｃ）、代表フレーム抽出部３３により、各カット区間のカット代表フレームが、再生予定フレームとして抽出される（Ｓ１１）。カット代表フレームは前述のようにカット区間の先頭フレームである。これにより、要求再生フレーム数Ｐｆの再生予定フレームが抽出され、再生予定情報の計算処理が終了する。
【００５１】
なお、再生予定情報は、具体的には、各再生予定フレームのタイムコードの情報の集まりでよい。したがって、上記処理では、各カット区間の先頭フレームのタイムコードが、再生予定情報として記録される。
【００５２】
また、ステップＳ７にて、カット総数Ｔｃが要求再生フレーム数Ｐｆより小さかった場合（ｐｆ＞Ｔｃ）、単にカット代表フレームを抽出しただけでは、再生予定フレーム数Ｐｐが不足する。そこで、以下の処理が行われる。
【００５３】
まず、ステップＳ１１と同様に、代表フレーム抽出部３３により、各カット区間のカット代表フレームが、再生予定フレームとして抽出される（Ｓ１３）。さらに、再生予定フレームの不足分を補うように、補充処理部３９により再生予定フレームが補充される。補充処理では、最大生成予定フレーム間隔Ｔｐｐが補充箇所として抽出される。最大再生予定フレーム間隔ＴＰｐは、既に抽出された再生予定フレーム同士の最大の間隔である。そして、最大再生予定フレーム間隔ＴＰｐの中間フレームが再生予定フレームに加えられる（Ｓ１５）。補充される中間フレームは、最大再生予定フレーム間隔ＴＰｐの中央に位置するフレームとする。
【００５４】
なお、同一の最大再生予定フレーム間隔ＴＰｐが複数箇所から抽出されたとする。この場合には、タイムコードが先頭の箇所に再生予定フレームが挿入される。また、ここでは、１箇所の追加フレーム数が１枚であるとする。ただし、本発明の範囲内で１箇所に複数の再生予定フレームが１度に追加されてもよい。
【００５５】
ステップＳ１５で再生予定フレームが挿入されると、要求再生フレーム数Ｐｆと再生予定フレーム数Ｐｐが比較されて、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに達したか否かが判定される（Ｓ１７）。再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに達していなければ、ステップＳ１５に戻る。ステップＳ１５の補充処理が１回行われると、１枚の再生予定フレームが補充される。したがって、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに達するまで、ステップＳ１５の処理が繰り返されて、再生予定フレームが１枚ずつ増えていく。そして、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに達すると、再生予定情報の計算処理が終了する。
【００５６】
以上のようにして、本実施の形態によれば、各カット区間から１以上の再生予定フレームが抽出されて、要求再生フレーム数Ｐｆの再生予定フレームが再生予定情報として抽出される。カット総数Ｔｃが要求再生フレーム数Ｐｆより多かったり、少なかったりするときは、カット集約処理および補充処理が行われて、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに揃えられて、確実に再生速度Ｐｓが達成される。
【００５７】
図４のステップＳ５にて、カット集約無しが指定されていたとする。この場合、図５に示す処理が行われる。図５に示すように、要求再生フレーム数Ｐｆとカット総数Ｔｃが比較され（Ｓ２１）、カット総数Ｔｃが要求再生フレーム数Ｐｆ以上であれば、各カット区間からカット代表フレームが抽出される（Ｓ２３）。カット総数Ｔｃが要求再生フレーム数Ｐｆより小さければ、各カット区間からカット代表フレームが抽出され（Ｓ２５）、さらに補充処理が行われる（Ｓ２７、Ｓ２９）。
【００５８】
このように、カット集約無しの場合、たとえカット総数Ｔｃが要求再生フレーム数Ｐｆより大きくとも、カット集約処理を経ずに、ステップＳ２３に進んでカット代表フレームが抽出される。したがって、多数の再生予定フレームが抽出されて、再生速度Ｐｓは達成されなくなる。しかし、全シーンからの再生予定フレームの抽出がより確実に行われる。ユーザは、シーンの見逃しを避けたいときは、カット集約無しを指定することが好適である。これにより、カットが多いと再生速度Ｐｓは達成されないものの、全カットのフレームが表示されるので、見逃しは低減できる。
【００５９】
上記のようにして再生予定情報が算出されると、映像再生部２５により、再生予定情報に従って、映像記憶部１３に記憶された映像データが再生される。このとき、再生予定情報に従い、再生予定情報により特定される再生予定フレームが再生される。
【００６０】
以上に、映像再生装置１による一連の再生動作を説明した。次に、映像再生装置１による動作の具体例を説明する。
【００６１】
図８は、再生動作の具体例を示している。図の例では、説明を分かりやすくするために、各カットのフレーム枚数が少なく示されており、具体的には、総フレーム数Ｔｆが１２である。再生速度Ｐｓは２倍速であり、要求再生フレーム数Ｐｆは６（＝１２÷２）である。カット総数Ｔｃは５であり、カット１、２、３、４、５が、それぞれ、３枚、１枚、４枚、１枚、３枚のフレームで構成されている。したがって、カット総数Ｔｃは要求再生フレーム数Ｐｆより１つ小さい。
【００６２】
この場合、図示のように、まず、５つのカット区間からそれぞれ５つの先頭フレームが、カット代表フレームとして抽出され、再生予定情報に再生予定フレームとして組み込まれる。さらに、最大再生予定フレーム間隔ＴＰｐが抽出されて、１つの中間のフレームが再生予定フレームとして補充される。図の例では、カット３のフレーム数が最大であり、その結果、カット３の先頭フレームとカット４の先頭フレームとの中間フレーム、具体的にはカット３の３番目のフレーム（全体の７番目のフレーム）が抽出される。こうして、カット代表フレームの抽出と中間フレームの補充により、各カット区間から１以上の再生予定フレームが抽出され、かつ、要求再生フレーム数Ｐｆ（＝６）の再生予定フレームが抽出される。
【００６３】
図９は、カット集約処理の具体例を示している。この例では、総フレーム数Ｔｆが１２である。再生速度Ｐｓは６倍速であり、要求再生フレーム数Ｐｆは２（＝１２÷６）である。カット総数Ｔｃは３であり、カット１、２、３の各々が４枚のフレームで構成されている。したがって、カット総数Ｔｃは要求フレーム数Ｐｆより１つ大きい。各カットから先頭フレームを抽出すると、図示のように再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆより１つ多くなる。
【００６４】
そこで、カット境界の類似度に基づき、カット集約処理が行われて、カットが間引かれる。この例では、カット１、２の境界の類似度（４フレームと５フレームとの類似度）よりも、カット２、３の境界の類似度（８フレームと９フレームとの類似度）が大きい。そこで、カット３が間引かれる。これにより、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに一致して、再生速度Ｐｓが達成される。
【００６５】
なお、図８および図９の例では上述のように各カットのフレーム枚数が少なく示されている。実際には、例えば、カット区間の長さが概ね３秒〜５秒程度になるように（１秒当たり３０フレームの場合に、カット区間のフレーム数が９０〜１５０フレームになるように）、カット検出の類似度の閾値が設定される。この場合、例えば、再生速度Ｐｓが３０倍であるとして単純に計算すると、１カット当たりの再生予定フレームの枚数は３枚である。したがって、ある程度の速度までは、カット集約処理は行われず、再生予定フレームが補充されることが多くなる。かなりの高速になると、カット集約処理が行われることになる。
【００６６】
以上に映像再生装置１の動作について説明した。なお、本実施の形態では、映像データに関する構成とその処理のみが説明された。しかし、映像データと共に音声データが入力され、記憶され、映像データと同期して音声データが再生されてよいことはもちろんである。
【００６７】
また、上記の例では、各カット区間のカット代表フレームの枚数は１枚であった。しかし、既に述べたように、複数枚のカット代表フレームが各カットから抽出されてよい。同様に、補充処理についても、上記の例では１度に１枚の再生予定フレームが補充されたが、複数枚のフレームが１度に補充されてよい。
【００６８】
また、上記の例では、カット代表フレームはカット区間の先頭に位置していた。しかし、本発明の範囲内で、カット代表フレームはカット区間の先頭でなくてもよい。例えば、カット区間の中央でもよく、最後でもよく、前からｎ番目といったかたちで特定されてもよい。さらに、１カット区間のカット代表フレームが複数であり、カット区間内の複数箇所から抽出されてよい。
【００６９】
また、上記の例では、早送り再生が説明された。しかし、巻戻し再生でも同様の構成により同様の処理が行われてよい（ただし、再生の方向は反対になる）。
【００７０】
また、上記の例では、１フレーム当たりの表示時間は、通常速度（１倍速）と同じであることが想定されていた。しかし、１フレーム当たりの表示時間は、過度に短くない範囲で、すなわち、ユーザの視認が困難にならず、スムーズに視聴できる範囲で短縮されてよい。例えば、２倍速程度の所定の再生速度までは、１フレーム当たりの表示時間が短縮される。それ以上の再生速度では、本実施の形態の処理により再生予定情報が計算されて、再生予定フレームが再生されてよい。
【００７１】
以上に本発明の実施の形態に係る映像再生装置１について説明した。本実施の形態によれば、映像データのうちで再生速度を達成するために再生されるべき複数の再生予定フレームを特定する再生予定情報が算出され、再生予定情報に従って映像データが再生され、これにより映像データが指定された再生速度で再生される。再生予定情報としては、映像データを構成する複数のカット区間の各々から再生予定フレームが抽出される。したがって、ユーザが各カット区間の映像を視聴でき、映像の見逃しを低減できる。また、１フレーム当たりの表示時間は通常速度と同じか、過度に短くない範囲でよく、したがって、ユーザが映像をスムーズに視聴できる。
【００７２】
また、本実施の形態によれば、各カット区間から１以上のカット代表フレームが再生予定フレームとして抽出され、これにより、複数のカット区間の各々から適切に再生予定フレームを抽出することができる。
【００７３】
また、本実施の形態によれば、カット代表フレームは各カット区間における所定位置のフレームであり、これにより、複数のカット区間の各々から適切に再生予定フレームを抽出することができる。
【００７４】
また、本実施の形態によれば、要求再生フレーム数Ｐｆに対して、各カット区間からカット代表フレームを抽出するときの再生予定フレーム数Ｐｐが超過する場合に、カット集約処理が行われる。これにより、カット数が多すぎて、各カット区間からカット代表フレームを抽出すると再生速度Ｐｓを達成できなくなる場合でも、カット数が削減されて再生速度Ｐｓを達成できる。
【００７５】
また、本実施の形態によれば、要求再生フレーム数Ｐｆに対して、各カット区間からカット代表フレームを抽出するときの再生予定フレーム数Ｐｐが不足する場合に、補充処理が行われる。これにより、各カット区間からカット代表フレームを抽出しただけでは再生予定フレーム数が不足して再生速度Ｐｓを達成できない場合でも、再生予定フレームを補充することにより再生速度Ｐｓを達成できる。
【００７６】
また、本実施の形態によれば、既に選択された再生予定フレームの間に再生予定フレームが補充され、補充箇所は再生予定フレーム間隔に応じて決定される。これにより、適切なフレームを再生予定フレームとして補充できる。
【００７７】
また、本実施の形態によれば、最大再生予定フレーム間隔ＴＰｐの中間フレームが再生予定フレームとして再生予定情報に加えられる。この処理が、再生予定フレーム数Ｐｐが要求再生フレーム数Ｐｆに達するまで繰り返される。これにより、適切なフレームを再生予定フレームとして補充できる。
【００７８】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００７９】
以上のように、本発明にかかる映像再生装置は、複数のカット区間の各々から再生予定フレームを抽出する構成を設けたことにより、再生速度を上げた場合でも、映像の見逃しを低減でき、ユーザが映像をスムーズに視聴できるという効果を有し、放送局用および家庭用等の映像再生装置等として有用である。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態における映像再生装置のブロック図
【図２】解析情報におけるカット検出結果を示す図
【図３】再生予定算出部の構成を示すブロック図
【図４】再生予定情報の算出処理を示すフロー図
【図５】再生予定情報の算出処理を示すフロー図
【図６】カット集約処理を示すフロー図
【図７】カット検出結果のテーブルを用いてカット集約処理を示す図
【図８】映像再生装置の動作例を示す図
【図９】映像再生装置の動作例を示す図
【符号の説明】
【００８１】
１  映像再生装置
１１  映像入力部
１３  映像記憶部
１５  映像解析部
１７  解析情報記憶部
１９  操作入力部
２１  再生条件記憶部
２３  再生予定算出部
２５  映像再生部
３１  再生フレーム数算出部
３３  代表フレーム抽出部
３５  フレーム数比較部
３７  カット集約処理部
３９  補充処理部
Ｐｓ  再生速度
Ｔｆ  総フレーム数
Ｐｆ  要求再生フレーム数
Ｔｃ  カット総数
Ｐｐ  再生予定フレーム数
ＴＰｐ  最大再生予定フレーム間隔
【図１】
2009021694.tif 000003
【図２】
2009021694.tif 000004
【図３】
2009021694.tif 000005
【図４】
2009021694.tif 000006
【図５】
2009021694.tif 000007
【図６】
2009021694.tif 000008
【図７】
2009021694.tif 000009
【図８】
2009021694.tif 000010
【図９】
2009021694.tif 000011