(57)【特許請求の範囲】
【請求項１】
動画像データと関連する特徴量に基づいて前記動画像データの再生速度を決定する再生速度制御ステップであって、前記特徴量の値の大小に対して、前記再生速度の値が大から小、又は、小から大へと変化するように与えられる相反する再生特性を持った複数の再生速度制御条件を有し、前記複数の再生速度制御条件のいずれかに基づき再生速度を決定する再生速度制御ステップを有する動画像再生方法であって、
前記特徴量は、前記動画像データから抽出され、
さらに、シーン毎に目標再生速度を定め、シーンを構成するフレーム毎に再生速度を変更するステップを有し、
前記ステップは、連続する２つのシーン間で再生速度が滑らかに変化するように、第１のシーンの第１の目標再生速度と、第１のシーンに隣接する第２のシーンの第２の目標再生速度とに基づいて、前記第１のシーンを構成するフレーム毎の再生速度を決定することを特徴とする動画像再生方法。
【請求項２】
前記再生速度制御ステップは、前記動画像データの連続する所定フレーム数の画像に対する１種類以上の特徴量を基に、再生速度を決定するステップを含むことを特徴とする請求項１記載の動画像再生方法。
【請求項３】
動画像データと関連する特徴量に基づいて前記動画像データの再生速度を決定する再生速度制御手段であって、前記特徴量の値の大小に対して、前記再生速度の値が大から小、又は、小から大へと変化するように与えられる相反する再生特性を持った複数の再生速度制御条件を有し、前記複数の再生速度制御条件のいずれかに基づき再生速度を決定する再生速度制御手段を有し、
前記特徴量は、前記動画像データから抽出され、
さらに、シーン毎に目標再生速度を定め、シーンを構成するフレーム毎に再生速度を変更する手段を有し、
前記手段は、連続する２つのシーン間で再生速度が滑らかに変化するように、第１のシーンの第１の目標再生速度と、第１のシーンに隣接する第２のシーンの第２の目標再生速度とに基づいて、前記第１のシーンを構成するフレーム毎の再生速度を決定することを特徴とする動画像再生装置。
【請求項４】
前記再生速度制御手段は、前記動画像データの連続する所定フレーム数の画像に対する１種類以上の特徴量を基に、再生速度を決定する手段を有することを特徴とする請求項３に記載の動画像再生装置。
【請求項５】
動画像データの要約を再生することを特徴とする請求項３又は４に記載の動画像再生装置。
【請求項６】
前記再生速度制御手段は、フレーム単位の画像特徴量を元に前記再生速度を決定することを特徴とする請求項３から５までのいずれか１項に記載の動画像再生装置。
【請求項７】
動画像データと関連する特徴量に基づいて前記動画像データの再生速度を決定する再生速度制御手段であって、前記特徴量に対して、特徴量と再生速度との関係で表される相反する再生特性を持った複数の再生速度制御条件を有し、前記複数の再生速度制御条件のいずれかに基づき再生速度を決定する再生速度制御手段と、
シーン毎に目標再生速度を定め、シーンを構成するフレーム毎に再生速度を変更する再生速度変更手段と、を有し、
前記再生速度変更手段は、連続する２つのシーン間で再生速度が滑らかに変化するように、第１のシーンの第１の目標再生速度と、第１のシーンに隣接する第２のシーンの第２の目標再生速度とに基づいて、前記第１のシーンを構成するフレーム毎の再生速度を決定することを特徴とする動画像再生装置。
【請求項８】
前記特徴量は、前記動画像データから抽出されることを特徴とする請求項７に記載の動画像再生装置。
【請求項９】
前記再生速度制御手段は、前記動画像データの連続する所定フレーム数の画像に対する１種類以上の特徴量を基に、再生速度を決定する手段を有することを特徴とする請求項７に記載の動画像再生装置。
【請求項１０】
動画像データの要約を再生することを特徴とする請求項７から９までのいずれか１項に記載の動画像再生装置。
【請求項１１】
前記再生速度制御手段は、フレーム単位の画像特徴量を元に前記再生速度を決定することを特徴とする請求項７から１０までのいずれか１項に記載の動画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの要約再生方法および要約再生機能を有した動画像再生装置に関する。
【背景技術】
【０００２】
動画像データの内容に応じた高速再生を実現する従来技術として、特許文献１に記載されている技術がある。この技術では、再生対象の動画像データに関連付けられたフレーム単位の画像特徴量を基にフレーム単位での再生速度の制御を行う。【０００３】
尚、以下の説明では、フレームｉに対する画像特徴量ｘiとして、下記式１に示すフレームｉ−１とフレームｉの画像変化量（フレーム間差分の大きさ）を用いるものとする。
【式１】
【０００４】
0004746560.tif 000002
上記式１において、ｐi(ｕ,ｖ)はフレームｉの座標(ｕ,ｖ)における画素値、Ｗはフレーム幅、Ｈはフレーム高さを示す。
【０００５】
次に図１２に示すフローチャート図を参照して上記技術を用いた再生動作の流れについて説明する。まずフレームｉに対する画像特徴量ｘiを、所定の閾値ＴＨ1と比較する（ステップＳ００１）。ここで、ｘi≦ＴＨ1であれば、フレームｉの再生速度ｓi＝Ｓ1と設定する（ステップＳ００２）。一方、ｘi＞ＴＨ1であれば、フレームｉの再生速度ｓi＝Ｓ2と設定する（ステップＳ００３）。
【０００６】
尚、ここで、Ｓ1＞Ｓ2である。
【０００７】
次いで、決定した再生速度ｓiにしたがって当該フレームｉを再生し（ステップＳ００４）、上記ステップＳ００１からステップＳ００４までの各ステップを全てのフレームについて繰り返す（ステップＳ００５）。これにより、高速再生処理を行うことができる。
【０００８】
以上に説明したように、特許文献１に記載の技術では、フレーム間の画像変化量が小さい場合には高速再生し、フレーム間の画像変化量が大きい場合には低速再生することにより、動画像データの画像特徴量の変化にあわせた高速再生を実現している。
【特許文献１】特開平８−２９８６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記特許文献１に記載の再生方法を用いた動画像再生装置では、画像変化量の小さいフレームを高速再生し、画像変化量の大きいフレームを低速再生することで、ユーザが、動画像データ中の画像の変遷を把握し易い高速再生を提供する。しかしながら、このような方法が、必ずしも当該動画像データの概要を表す適切な高速再生（以下要約再生）とはいえない場合がある。【００１０】
例えば、再生対象の動画像データの内容がドラマ等の場合、ストーリーの概要を把握するためには、登場人物の会話のやり取りが重要となる場合があるが、一般にこのような場面ではフレーム間の画像変化量は小さく、当該技術では高速に再生されることになるため、当該動画像データの内容を把握することが難しくなる。【００１１】
またフレームｉの再生速度を画像特徴量ｘiに基づき決定するため、短時間にｘiが激しく変動する動画像データでは、再生速度もまたフレーム毎に激しく変動することになる。したがって再生される画像の動きが不自然になりやすいといった問題もある。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、動画像データの再生速度を決定する再生速度制御ステップであって、前記動画像データと関連する１種類以上の特徴量を基に前記動画像データの再生速度を決定するステップを有することを特徴とする動画像再生方法が提供される。前記特徴量は、動画像データから抽出されるのが好ましい。前記再生速度制御ステップは、１種類以上の特徴量のそれぞれに対し複数の再生速度制御条件を有しており、外部からの指示に基づき前記再生速度制御条件を変更することを特徴とする。これにより、特徴量が激しく変動する場合でも、フレーム間の再生速度変化を最小限に抑えつつ、良好な要約再生を実現することができる。【００１３】
本発明の他の観点によれば、動画像データの再生速度を決定する再生速度制御手段であって、前記動画像データに関連する１種類以上の特徴量を基に前記再生速度を決定する再生速度制御手段を有することを特徴とする動画像再生装置が提供される。前記特徴量は、動画像データから抽出されることを特徴とする。前記再生速度制御手段は、１種類以上の特徴量に対し複数の再生速度制御条件を有し、外部からの指示に基づき該再生速度制御条件を変更する手段を有することを特徴とする。【００１４】
本発明の別観点によれば、動画像データのシーン単位のシーン特徴量に基づく異なる再生特性を有する複数の要約再生方法を提供する手段を備えた動画像再生装置が提供される。前記シーンを構成するフレーム数を予め設定する手段を有するのが好ましい。【００１５】
尚、上記動画像再生装置は、動画像データの要約を再生することを特徴とする。
【発明の効果】
【００１６】
本発明の動画像再生方法および動画像再生装置によれば、１種類以上の特徴量に基づく複数の要約再生方法を提供するため、ユーザの要求に応じた要約再生が可能である。【００１７】
またフレーム毎に特徴量が激しく変動する場合でも、フレーム間の再生速度変化を最小限に抑えつつ、良好な要約再生を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態による動画像再生装置の動作例を示すフローチャート図である。
【図２】本発明の実施の形態による動画像再生装置の構成例を示す機能ブロック図である。
【図３】本発明の実施の形態による動画像再生装置の図２とは異なる構成例を示す機能ブロック図である。
【図４】本発明の実施の形態によるシーン特徴量として色構成比（Ａ）と代表色を求める際の求め方（Ｂ）を示す図である。
【図５】シーン特徴量として動き強度と動き強度の空間分布とを求める際の求め方を示す図である。
【図６】要約再生方法１における再生速度ｓiとシーン特徴量ｘiとの関係を示す図である。
【図７】要約再生方法１と要約再生方法２との再生特性の違いを示す図である。
【図８】要約再生方法２における再生速度ｓiとシーン特徴量ｘiとの関係を示す図である。
【図９】本発明の第２の実施の形態による動画像再生装置の動作の流れを示すフローチャート図である。
【図１０】本発明の第２の実施の形態による再生速度の変化の説明する図である。
【図１１】本発明の第３の実施の形態による動画像生成装置の動作の流れを示すフローチャート図である。
【図１２】従来技術の動画像再生装置の動作の流れを示すフローチャート図である。
【符号の説明】
【００１９】
１…画像復号部、２…再生部、３…再生速度制御部、４…画像解析部。
【発明を実施するための最良の形態】
【００２０】
まず、本発明の第１の実施の形態について図面を参照しつつ説明を行う。図２は、本発明の第１の実施の形態による動画像再生装置の概略構成例を示す機能ブロック図である。図２において、符号１は動画像符号化データを復号し、所定の再生速度にしたがって復号画像を出力する画像復号部であり、符号２は復号画像を表示する再生部であり、符号３は外部からのユーザ指示に従い、ユーザが要約再生を指示した場合に再生対象の動画像データに関連付けられた特徴量を基に、ユーザ所望の要約再生方法で再生速度の制御を行う再生速度制御部である。【００２１】
本実施の形態による動画像再生装置は、動画像データを所定のフレーム数毎、あるいは、所定の時間毎に分割した動画像データを処理単位（シーン）として用いることを特徴とする。以下の説明では、１つのシーンが所定のフレーム数Ｎ1からなる動画像データで構成されるものとして説明する。尚、図２の動画像再生装置において、再生速度制御部３には、動画像データの特徴量としてシーンｉに対応するシーン特徴量ｘiが入力され、シーンｉの再生速度ｓiが決定される。【００２２】
また、図２において、シーン特徴量は、動画像符号化データと共に外部記憶装置（図示せず）に記録しておいても良いし、予め動画像符号化データに対しシーン単位の特徴解析を行い、得られたシーン特徴量ｘiを外部記憶装置に記録する構成にしても良い。或いは、図３に示すように、画像復号部１の出力を基に特徴解析を行う画像解析部４を備え、動画像データの解析を再生中に順次行い、シーン特徴量として用いる構成であっても良い。【００２３】
以下、本実施の形態による動画像再生装置で用いられるシーン特徴量について、説明する。シーン特徴量は、シーンを構成する動画像データから直接または間接に求められる。例えば、動画像データから直接に計算されるシーン特徴量としては、シーンに含まれる動画像データ内での「色構成比」や「代表色（最も出現頻度が高い色）」、「模様（テクスチャ）の周波数成分分布」等が挙げられる。【００２４】
図４は、動画像がａ、ｂ、ｃの３色から成り、かつ、１つのフレームが４×４の１６画素から成ると仮定した場合に、図示したシーン中の色構成比（図４Ａ）、代表色（図４Ｂ）を求めた例を示す図である。尚、実際の動画像は、色数、画素数、共に図４の例よりもはるかに多いが、算出方法の基本原理は同様である。但し、色数については、適当に量子化して色数を限定し、それから色構成比、代表色を求めることも可能である。【００２５】
また、間接に得られるものとしては、前述の画像特徴量の場合と同様「画像変化量」があるが、その他には動画像内の「動きの強度（動きの激しさ）」や「動き強度の空間分布、時間分布」等が挙げられる。これら動きに関するシーン特徴量を動画像データから求めるには、複数のフレームデータからフレーム間で、動画像信号がどのように移動しているかを示した動きベクトルをまず求め、得られた動きベクトル情報から計算する。【００２６】
図５は、シーンに含まれるそれぞれのフレームをブロック１〜４までの４つのブロックに区切り、それぞれのブロック１〜４までについて動きベクトルを求めた上で、シーンの動き強度及び動き強度の空間分布を求めた様子を示す図である。個々のブロックに付された動きベクトルは、そのブロックを構成している動画像信号が、１つ前のフレーム内でどこに位置していたかを、１つ前のフレームからの移動量としてベクトル表示したものである。従って、図５中では、シーン先頭のフレームには動きベクトルは与えられていない。動き強度及び動き強度の空間分布は、それぞれのブロックに付された動きベクトルについて、ベクトルの大きさを求めた上で（図５Ａ）、それらのシーン全体（動き強度、図５Ｂ）、もしくはそれぞれの空間位置（動き強度の空間分布、図５Ｃ）における平均値を計算することで得られる。【００２７】
尚、図５では、動きベクトルを求めるブロックと動き強度の空間分布を求めた際の分割数とが同じ（２×２の４つ）であるが、これらを同じにする必要はなく、複数ブロックをまとめて１つの空間位置とし、動き強度の空間分布を求めてもよい。例えば、４×４の１６個のブロックに区切られた動画像に対して、２×２の４個ずつを組にし、２×２の４つの分割位置を設定して動き強度の空間分布が求められる。【００２８】
動画像データがＭＰＥＧのようなフレーム間予測符号化方式で符号化された圧縮符号化データである場合では、上記の動きに関するシーン特徴量は、動画像符号化データに含まれる動きベクトル情報を用いて直接計算することができる。【００２９】
一方、動画像符号化データから色信号に関するシーン特徴量を求めるには、一旦動画像を復号した上でシーン特徴量を計算することが必要なこともある。この他、信号成分の急激に変化している箇所を捉える「エッジの分布」等も、動画像データから間接に得られるシーン特徴量にあたる。尚、シーンｉに対応するシーン特徴量ｘiは、例えば従来技術でも用いられるフレーム単位の画像特徴量を次式の通り変換したものを用いることも可能である。
【式２】
【００３０】
0004746560.tif 000003
式２において、ｘi,jはシーンｉを構成するフレームｊ:ｊ＝0,…,Ｎ1−１における画像特徴量である。尚、フレーム単位の画像特徴量を基にシーンｉのシーン特徴量を算出する方法は、式２の方法に限定されるものではなく、例えば、シーンｉを構成するフレーム単位の画像特徴量の中から、最大値又は中央値を、シーンｉを代表するシーン特徴量ｘiとして用いても良い。また、以下の説明では、従来技術でも用いられる画像特徴量である画像変化量を、式２を用いてシーン特徴量に変換して用いるものである。
【００３１】
次に、本実施の形態による動画像再生装置の要約再生の動作について図１を参照しつつ説明を行う適宜、図２も参照する。
【００３２】
尚、以下の説明では、シーン単位のシーン特徴量ｘiを基に画像の変化が少ないシーンでは再生速度siを大きく、画像の変化が大きいシーンでは再生速度siを小さくすることで、動画像データ中の画像変化の変遷をユーザが把握することが容易な要約再生（要約再生方法１）を実現する場合について説明する。この場合、再生速度制御部３には予めユーザから要約再生方法１を用いた再生指示があるものとする。
【００３３】
（要約再生方法１）
まず、再生速度制御部３において、シーンｉに対するシーン特徴量ｘiを所定の閾値ＴＨ2と比較する（ステップＳ１０１）。ここで、ｘi≦ＴＨ2であれば、シーンｉの再生速度ｓi＝Ｓ１と設定する（ステップＳ１０２）。一方、ｘi＞ＴＨ2であれば、シーンｉの再生速度ｓi＝Ｓ2と設定する（ステップＳ１０３）。尚、ここで、Ｓ1＞Ｓ2であり、Ｓ１０２、Ｓ１０３で、一旦再生速度を決定した後、所定の閾値ＴＨ3を用いて、ｓi−ｓi-1＞ＴＨ3であれば、ｓi＝ｓi-1＋ＴＨ3と補正し、ｓi−ｓi-1＜−ＴＨ3であれば、ｓi＝ｓi-1−ＴＨ3と補正する、というように、再生速度ｓiの補正を行い、再生速度ｓiの変動幅を抑える構成としても良い。
【００３４】
次に、決定した再生速度ｓiに基づいて、画像復号部１において復号されたフレームを再生部２において表示し（ステップＳ１０４）、シーンｉ内のすべてのフレームについてステップＳ１０４を繰り返し（ステップＳ１０５）、上記ステップＳ１０１からステップＳ１０５までのステップを全てのシーンについて繰り返す（ステップＳ１０６）。
【００３５】
尚、一般に、本実施の形態による要約再生方法１は、ｓiとｘiとの関係をｓi＝ｆ(ｘi)で表すとき、任意のＸ0,Ｘ1:Ｘ0＜Ｘ1に対して、ｆ(Ｘ0)≧ｆ(Ｘ1)を満たす構成であれば構わない。例えば、図６（a）に示すように複数の閾値を用いて多段階に再生速度を切替え可能な構成でも良く、或いは、図６（b）に示すように、ｘiに応じてｓiが滑らかに変化する構成であっても良い。また、図６（c）に示すように、区間Ｘ0＜ｘi＜Ｘ1において、ｆ2(ｘi)＜ｆ1(ｘi)となる２つの関数を用いて、シーンｉ−１におけるｘi-1,ｓi-1に応じて、以下のようにｓiを異なる条件で決定する構成であっても構わない。
【００３６】
１）ｘi-1＜Ｘ0かつｘi≧Ｘ0ならば、ｓi＝ｆ1(ｘi)と設定する。
【００３７】
２）ｘi-1＞Ｘ1かつｘi≦Ｘ1ならば、ｓi＝ｆ2(ｘi)と設定する。
【００３８】
３）上記１）２）以外の場合、さらに
３-１）ｓi-1＝ｆ1(ｘi-1)ならば、ｓi＝ｆ1(ｘi)と設定する。
【００３９】
３-２）ｓi-1＝ｆ2(ｘi-1)ならば、ｓi＝ｆ2(ｘi)と設定する。
【００４０】
図６（ｃ）の例において、上記のように再生速度ｓiを決定する条件を変更することで、シーン特徴量ｘiの微小変化に対して、再生速度ｓiの変動を抑えることができる。
【００４１】
以上に説明したように、要約再生方法１は、画像の変化が少ないシーンでは再生速度ｓiを大きくし、画像の変化が大きいシーンでは再生速度ｓiを小さくすることにより、例えば、野球中継等の動画像データにおいて，動画像データの概要を把握するために重要となるシーンがヒット、ホームランのシーン等、一般に画像変化の大きいシーンで構成される動画像データにおいて、当該シーンを強調した要約再生が可能である。
【００４２】
次に、上述の要約再生方法１とは異なり、画像変化量の小さいシーンを低速再生し、画像変化量の大きいシーンを高速再生する制御を行う要約再生方法（要約再生方法２）につい説明する。
【００４３】
（要約再生方法２）
本発明における要約再生方法２は、ｓiとｘiとの関係をｓi＝ｆ(ｘi)で表すとき、任意のＸ0,Ｘ1:Ｘ0＜Ｘ1に対して、ｆ(Ｘ0)≦ｆ(Ｘ1)を満たす構成により実現可能である。従って、要約再生方法２に関する簡単な実現方法としては、前述の図１におけるステップＳ１０２、ステップＳ１０３における再生速度の関係をＳ1＜Ｓ2とすることである。この場合、図７に示す通り、要約再生方法１で高速再生が行われていたシーンが要約再生方法２では低速再生され、要約再生方法１で低速再生が行われていたシーンが要約再生方法２では高速再生される例からも明らかなように、要約再生方法１と要約再生方法２とは異なる再生特性を持つ。
【００４４】
尚、要約再生方法１における図６の例と同様に、図８（a）に示す複数の閾値を用いて多段階に再生速度を切替え可能な構成、あるいは、図８（b）に示すｘiに応じてｓiが滑らかに変化する構成、図８（c）に示す区間Ｘ0＜ｘi＜Ｘ1において、ｆ2(ｘi)＜ｆ1(ｘi)となる２つの関数を用いて、シーンｉ−１におけるｘi-1,ｓi-1に応じて、以下のようにｓiを異なる条件で決定する構成も同様に実現可能である。ここで、
１）ｘi-1＜Ｘ0かつｘi≧Ｘ0ならば、ｓi＝ｆ2(ｘi)と設定する。
【００４５】
２）ｘi-1＞Ｘ1かつｘi≦Ｘ1ならば、ｓi＝ｆ1(ｘi)と設定する。
【００４６】
３）上記１）２）以外の場合、さらに、
３−１）ｓi-1＝ｆ1(ｘi-1)ならば、ｓi＝ｆ1(ｘi)と設定する。
【００４７】
３−２）ｓi-1＝ｆ2(ｘi-1)ならば、ｓi＝ｆ2(ｘi)と設定する。
【００４８】
図８（ｃ）の例において上記のように再生速度ｓiを決定する条件を変更することで、シーン特徴量ｘiの微小変化に対して、再生速度ｓiの変動を抑えることができる。
【００４９】
以上に説明したように、要約再生方法２は画像変化量の大きいシーンを高速再生し、画像変化量の小さいシーンを低速再生することで、例えばドラマ等の動画像データにおいて、動画像データの概要を把握するために重要となるシーンが、登場人物の会話シーン等、一般に画像変化の小さいシーンで構成される動画像データの場合、当該シーンを強調した要約再生が可能である。
【００５０】
また要約再生方法は上述の要約再生方法１、２に限られるものではなく、例えば図１のステップＳ１０２、Ｓ１０３において再生速度制御部３の設定する再生速度をＳ1＝∞,Ｓ2＝１とすることで、画像変化量の大きいシーンを通常速度で再生し、画像変化量の小さいシーンの再生を省略し、動画像データ中の主要なシーンのみを再生するダイジェスト再生を実現することが可能である。
【００５１】
以上に説明したように、本実施の形態による動画像再生装置では、シーン単位のシーン特徴量を基に異なる再生特性をもった複数の要約再生方法を提供すると共に、予めシーンを構成するフレーム数Ｎ1を実験等で適切に定めることで、短時間のうちに激しく再生速度が変化することを回避することが可能である。
【００５２】
尚、上記の説明ではシーン特徴量として画像変化量（フレーム間差分）を用いたが、一般に画像変化量が大きい場合は、動きが激しく（動き強度大）、また動画像符号化データの発生符号量も大きくなり、画像変化量が小さい場合は、動きがほとんどなく（動き強度小）、また動画像符号化データの発生符合量符号量も小さくなるため、動き強度や動画像符号化データ中のシーンｉの占める符号量をシーン特徴量として用いても同様の効果が得られる。
【００５３】
また、本実施の形態による動画像再生装置で利用可能なシーン特徴量は、上述の例に限定されるものではなく、例えばシーン特徴量ｘiとしてシーンｉにおける代表色を用いる場合には、代表色と所定の色との差が小さいシーンを低速とし、所定の色との差が大きいシーンを高速に再生する制御を行うことで、例えば、代表色を肌色とした場合、動画像データ中で人物がアップとなっているシーンのみを強調した要約再生を実現することも可能である。同様に、所定の画像変化量や動き強度を設定しその値に近い画像変化量又は動き強度を持ったシーンを低速で、その値とは離れた画像変化量又は動き強度を高速で、要約再生することもできる。
【００５４】
さらには、動画像データに付随する音声データの特徴量をシーン特徴量ｘiとして用いる構成であっても構わない。例えば、シーンｉにおける平均音量をシーン特徴量ｘiとして用い、平均音量が所定以上のシーンでは低速再生し、平均音量が所定未満の場合に高速再生するように制御を行うとすれば、例えばサッカー中継の動画像データの場合に、ゴールシーン等の重要なシーンでは、通常のシーンに比べ観客の歓声の影響で音量が大きくなる傾向があるため、重要シーンを強調した要約再生が可能となる。
【００５５】
また、シーンｉについてＭ種類のシーン特徴量ｘ'i,j:ｊ＝0,…,Ｍ−１が存在する時、次式に示す特徴量の変換を行うことで、１つの合成特徴量ｘiとして扱うことが可能である。
【式３】
【００５６】
0004746560.tif 000004
式３において、Ｗjは特徴量の種類で異なる重み係数であり、予め実験等により最適な値を定めるものとする。尚、式３の変換は、予め変換した合成特徴量ｘiを外部記憶装置に記録する構成でもよいし、再生速度制御部３において行う構成であっても良い。
【００５７】
以上に説明したように、本実施の形態による動画再生装置においては、複数のシーン特徴量を利用することにより、より複雑なユーザニーズに応じた要約再生を実現することが可能であるという利点がある。
【００５８】
次に、本発明の第２の実施の形態による動画像再生装置について図面を参照しつつ説明を行う。本実施の形態による動画像再生装置は、第１の実施の形態における図２の構成と同様であるため、その説明を省略する。尚、本実施の形態による動画像再生装置は、第１の実施の形態による動画像再生装置とは、再生速度制御手段３（図２）の動作が異なる。
【００５９】
次に、本実施の形態による動画像再生装置の要約再生動作の流れについて図９を参照しつつ説明を行う。尚、以下の説明では、第１の実施の形態による要約再生方法１の実現方法についてのみ説明するが、その他の要約再生（要約再生方法２他）も、説明は省略するが実現可能である。
【００６０】
本実施の形態による再生速度制御部３において、シーンｉに対するシーン特徴量ｘiを所定の閾値ＴＨ2と比較する（ステップＳ２０１）。ここで、１）ｘi≦ＴＨ2であれば、シーンｉの目標再生速度ｓi＝Ｓ1に設定する（ステップＳ２０２）。２）ｘi＞ＴＨ2ならば、シーンｉの目標再生速度ｓi＝Ｓ2に設定する（ステップＳ２０３）。尚、ここで、Ｓ1＞Ｓ2である。次に、再生速度制御部３において、シーンｉを構成する各フレームｊ:ｊ＝0,…,Ｎ1−１の再生速度を所定の閾値Ｎ2:Ｎ2＜Ｎ1と比較する（ステップＳ２０４）。ここで、ｊ＜Ｎ2であれば、フレームｊの再生速度ｓi,j＝(Ｎ2−j)ｓi-i/Ｎ2＋ｊｓi/Ｎ2と設定する（ステップＳ２０５）。一方、ｊ≧Ｎ2であれば、フレームｊの再生速度ｓi,j＝ｓiと設定する（ステップＳ２０６）。
【００６１】
次に、決定した再生速度ｓi,jにしたがって画像復号部１において復号されたフレームを再生部２に表示し（ステップＳ２０７）、シーンｉ内の全てのフレームについてステップＳ２０４からステップＳ２０７を繰り返し（ステップＳ２０８）、上記ステップＳ２０１からステップＳ２０８までのステップを全てのシーンについて繰り返す（ステップＳ２０９）。
【００６２】
尚、上記の説明において、目標再生速度ｓiがＳ1,Ｓ2の２通のいずれかを選択する方法について説明したが、この方法に限定されるものではなく、第１の実施の形態における場合と同様に、図６に示されるような再生速度切り替えに関する構成であっても良い。
【００６３】
またシーンｉを構成する各フレームｊの再生速度ｓi,jはステップＳ２０４からステップＳ２０６に示す方法に限られるものではない。シーンｉを構成するフレームの再生速度がｓi-1からｓiへ段階的に変化する方法であれば、どのような方法で再生速度ｓi,jを決めても良い。
【００６４】
以上に説明したように、本実施の形態による動画像再生装置では、シーン毎に目標再生速度を定め、シーンを構成するフレーム毎に再生速度を変更することにより、図１０に例として示したように、シーン間の再生速度は滑らかに変化し、急激な再生速度の変化を回避することが可能である。
【００６５】
次に、本発明の第３の実施の形態による動画像再生装置について図面を参照しつつ説明を行う。本実施の形態による動画像再生装置の構成は、第１の実施の（図２）と同様であるため説明を省略する。尚、本実施の形態による動画像再生装置は、第１及び第２の実施の形態による動画像再生装置と再生速度制御手段３の動作が、フレーム単位の画像特徴量ｘiを入力として用いる点で異なる。
【００６６】
第１及び第２の実施の形態によるシーン単位のシーン特徴量の場合と同様に、本実施の形態において用いられるフレーム単位の画像特徴量ｘiも、画像変化量（フレーム間差分）に限定されるものではなく、動画像符号化データ中にフレームｉの占める符号量や動きベクトルの大きさ等を用いることも可能である。
【００６７】
次に、本実施の形態による動画像再生装置の要約再生動作について図１１を参照しつつ説明を行う。尚、以下の説明では、前述の要約再生方法１の実現方法についてのみ説明するが、その他の要約再生（要約再生方法２等）も、同様に実現可能である。
【００６８】
まず、再生速度制御部３において、次式に示すようにフレームｉおよびフレームｉに先行する所定数Ｎ3フレームのシーン特徴量ｘiの加重平均ｘ'iを求める（ステップＳ３０１）。
【式４】
【００６９】
0004746560.tif 000005
式４において、Ｗj'は、フレームｉ−ｊに対する所定の重み係数であり、予め実験等により定められる係数である。尚、加重平均ｘ'iとしてフレームｉの直近Ｎ3フレームに対する加重平均を求める構成であっても良い。或いは、フレームｉに先行する所定数Ｎ3フレームの画像特徴量の最大値又は中央値を求め、加重平均ｘ'iの代わりに用いる構成でも良い。
【００７０】
次に、再生速度制御部３において、フレームｉに対する画像特徴量ｘiを所定の閾値ＴＨ2と比較する（ステップＳ３０２）。ここで、ｘ'i≦ＴＨ2であれば、フレームｉの再生速度ｓi=Ｓ1と設定する（ステップＳ３０３）。一方、ｘ'i＞ＴＨ2であれば、フレームｉの再生速度ｓi=Ｓ2と設定する（ステップＳ３０４）。
【００７１】
尚、ここで、Ｓ1＞Ｓ2である。
【００７２】
次に、決定した再生速度ｓiにしたがって画像復号部１において復号されたフレームを再生部２に表示し（再生：ステップＳ３０５）、上記ステップＳ３０１からステップＳ３０５までのステップを全てのフレームについて繰り返す（ステップＳ３０６）。
【００７３】
尚、上記の説明において、目標再生速度ｓiがＳ1,Ｓ2の２通のいずれかを選択する方法について説明したが、この方法に限定されるものではなく、第１の実施の形態の場合と同様に、図６に示されるような図中のｘiをｘ'iと置き換えた構成を用いても良い。また、本実施の形態による動画像再生装置では、フレーム単位の再生速度制御を行うため、再生速度ｓiはｘ'iの変動の影響を受け易く、図６（c）のような構成を用いることで、フレーム間の再生速度の変動をさらに抑えることが出来る。
【００７４】
以上説明したように、本実施の形態による動画像再生装置では、フレーム単位の画像特徴量ｘiの加重平均を基に再生速度を決定するため、フレーム間の画像特徴量ｘiの変動の影響を抑えつつ、画像の変化が少ないフレームの割合が高い場面では再生速度ｓiを大きく、画像の変化が大きいフレームの割合が高い場面では再生速度ｓiを小さくすることで、動画像の概要をユーザが把握することが容易な要約再生技術を提供することができる。
【産業上の利用可能性】
【００７５】
本発明は、動画像データの要約再生可能な動画像再生装置に利用できる。
【図１】
0004746560.tif 000006
【図２】
0004746560.tif 000007
【図３】
0004746560.tif 000008
【図４】
0004746560.tif 000009
【図５】
0004746560.tif 000010
【図６】
0004746560.tif 000011
【図７】
0004746560.tif 000012
【図８】
0004746560.tif 000013
【図９】
0004746560.tif 000014
【図１０】
0004746560.tif 000015
【図１１】
0004746560.tif 000016
【図１２】
0004746560.tif 000017