(57)【特許請求の範囲】
【請求項１】
フレーム間予測符号化によって圧縮された動画像データから、各フレーム毎に動きベクトルに関する第１の情報を収集し、さらに、各フレームについて画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集する情報収集手段と、
前記第１の情報、および前記第２の情報を、シーンチェンジ情報として記憶するシーンチェンジ情報記憶手段と、
該情報収集手段によって収集された前記第１の情報と前記第２の情報をパラメータとして含む評価関数の値を、前記シーンチェンジ情報記憶手段から読みだされた前記シーンチェンジ情報を用いて算出する評価関数算出手段と、
該評価関数算出手段によって算出された評価関数の値を閾値と比較して、シーンチェンジを決定するシーンチェンジ決定手段とを備え、
ここで、前記第１の情報は、前記各フレーム内の動きベクトルの数の和、および、前記各フレーム内の動きベクトルの大きさ、を含み、また、
前記第２の情報は、前記各フレーム内の前記前後フレームとの相関が所定の閾値よりも少ないマクロブロックもしくは相関の無いマクロブロックの総面積、ならびに、前方向予測動きベクトルのフレーム内での総数、ならびに、後方向予測動きベクトルのフレーム内での総数、を含む
ことを特徴とする動画像処理装置。
【請求項２】
前記情報収集手段は、さらに、前記シーンチェンジ決定手段がシーンチェンジの有無について決定しようとする対象となるフレームに時間的に先立つフレームにおけるシーンチェンジ間隔を収集して前記シーンチェンジ情報記憶手段に格納し、
前記評価関数算出手段は、前記シーンチェンジ情報記憶手段を用いて、前記第１の情報、前記第２の情報、及び前記シーンチェンジ決定手段がシーンチェンジの有無について決定しようとする対象となるフレームに時間的に先立つフレームにおける前記シーンチェンジ間隔をパラメータとして含む評価関数の値を算出すること、
を特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記評価関数算出手段は、前記シーンチェンジ情報記憶手段から読みだされたシーンチェンジ情報を用いて評価関数の値を算出し、
前記シーンチェンジ決定手段は、該評価関数の算出値を閾値と比較してシーンチェンジを決定することを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記情報収集手段は、各フレームの動きベクトルに関する第１の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームのマクロブロックに付加される第２のヘッダ情報から、フレームの画像を復号せずに収集することを特徴とする請求項１記載の動画像処理装置。
【請求項５】
前記情報収集手段は、各フレームの前後のフレームとの相関性に関する第２の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームのマクロブロックに付加される第２のヘッダ情報から、フレームの画像を復号せずに収集することを特徴とする請求項１記載の動画像処理装置。
【請求項６】
前記評価関数は、各パラメータをそれぞれのパラメータに割り当てられた係数を用いて線形結合した関数であることを特徴とする請求項１記載の動画像処理装置。
【請求項７】
前記情報収集手段は、各フレームについて前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測が行われるマクロブロックの数を収集し、連続するフレームが共に該双方向予測が行われるマクロブロックの数が所定の閾値よりも少ないという条件を満たすフレーム群のフレームについてのみ、前記第１の情報と前記第２の情報を前記評価関数算出手段に前記評価関数のパラメータとして出力することを特徴とする請求項１記載の動画像処理装置。
【請求項８】
前記情報収集手段は、前記フレーム群の各フレームにおける前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測が行われるマクロブロックの数を、前記評価関数算出手段に前記評価関数のパラメータとして出力することを特徴とする請求項１記載の動画像処理装置。
【請求項９】
前記情報収集手段は、前記連続するフレームが共に該双方向予測が行われるマクロブロックの数が所定の閾値よりも少ないという条件を満たすフレーム群内の前記シーンチェンジ決定手段がシーンチェンジの有無について決定しようとする対象となるフレームに時間的に先立つフレームにおけるシーンチェンジとなるフレームの出現間隔を収集し、そのフレームの出現間隔を、前記評価関数算出手段に前記評価関数のパラメータとして出力することを特徴とする請求項７記載の動画像処理装置。
【請求項１０】
前記シーンチェンジ情報記憶手段が、連続するフレームが共に該双方向予測が行われるマクロブロックの数が所定の閾値よりも少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報、及び前記シーンチェンジ決定手段がシーンチェンジの有無について決定しようとする対象となるフレームに時間的に先立つフレームにおける前記シーンチェンジとなるフレームの出現間隔を、シーンチェンジ情報として記憶し、
前記評価関数算出手段が前記シーンチェンジ情報記憶手段から読みだされた前記シーンチェンジ情報を用いて評価関数を算出し、
前記シーンチェンジ決定手段は、該評価関数の算出値を閾値と比較してシーンチェンジを決定する
ことを特徴とする請求項９記載の動画像処理装置。
【請求項１１】
前記第１の情報は動きベクトルの数と大きさであり、前記第２の情報は前後のフレームとの相関が低いマクロブロックの面積であることを特徴とする請求項１記載の動画像処理装置。
【請求項１２】
前記符号化された動画像データにおけるフレーム内符号化フレームまたは前方向予測フレームの出現周期に応じた数のフレームをひとまとまりとして、そのうちの各フレームのそれぞれについて前記第１の情報と前記第２の情報とに基づいて、前記評価関数算出手段が前記評価関数のパラメータを決定することを特徴とする請求項１記載の動画像処理装置。
【請求項１３】
（ａ）  フレーム間予測符号化によって圧縮された動画像データから、各フレーム毎に動きベクトルに関する第１の情報を収集し、
（ｂ）  各フレームについて画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集し、
（ｃ）  該第１の情報と第２の情報をパラメータとして含む評価関数の値を算出し、
（ｄ）  該算出された評価関数の値を閾値と比較して、シーンチェンジを決定し、
ここで、前記第１の情報は、前記各フレーム内の動きベクトルの数の和、および、前記各フレーム内の動きベクトルの大きさ、を含み、また、
前記第２の情報は、前記各フレーム内の前記前後フレームとの相関が所定の閾値よりも少ないマクロブロックもしくは相関の無いマクロブロックの総面積、ならびに、前方向予測動きベクトルのフレーム内での総数、ならびに、後方向予測動きベクトルのフレーム内での総数、を含む
ことを特徴とする動画像処理方法。
【請求項１４】
更に、
（ｅ）  前記シーンチェンジ決定するステップでシーンチェンジの有無について決定しようとする対象となるフレームに時間的に先立つフレームにおけるシーンチェンジ間隔を収集し、
ステップ（ｃ）において、前記シーンチェンジ間隔をパラメータとして含む前記評価関数を算出すること、
を特徴とする請求項１３記載の動画像処理方法。
【請求項１５】
ステップ（ａ）において、各フレームの動きベクトルに関する第１の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームのマクロブロックに付加される第２のヘッダ情報から、フレームの画像を復号せずに収集することを特徴とする請求項１３記載の動画像処理方法。
【請求項１６】
ステップ（ｂ）において、各フレームの前後のフレームとの相関性に関する第２の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームのマクロブロックに付加される第２のヘッダ情報から、フレームの画像を復号せずに収集することを特徴とする請求項１３記載の動画像処理方法。
【請求項１７】
更に、
（ｅ）  各フレームについて前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測が行われるマクロブロックの数を収集し、
ステップ（ｃ）において、連続するフレームが共に該双方向予測が行われるマクロブロックの数が所定の閾値よりも少ないという条件を満たすフレーム群のフレームについてのみ、前記評価関数の値を算出すること、
を特徴とする請求項１３記載の動画像処理方法。
【請求項１８】
ステップ（ｃ）で算出される前記評価関数は、前記フレーム群の各フレームにおける前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測が行われるマクロブロックの数を、パラメータとして含むことを特徴とする請求項１７記載の動画像処理方法。
【請求項１９】
更に、
（ｆ）  前記連続するフレームが共に該双方向予測が行われるマクロブロックの数が所定の閾値よりも少ないという条件を満たす前記シーンチェンジ決定するステップでシーンチェンジの有無について決定しようとする対象となるフレームに時間的に先立つフレームにおけるフレーム群内の、シーンチェンジとなるフレームの出現間隔を収集し、
ステップ（ｃ）で算出される前記評価関数は、該フレームの出現間隔を、パラメータとして含むことを特徴とする請求項１７記載の動画像処理方法。
【請求項２０】
前記第１の情報は動きベクトルの数と大きさであり、前記第２の情報は前後のフレームとの相関が所定の閾値よりも低い領域マクロブロックもしくは相関が無いマクロブロックの面積であることを特徴とする請求項１３記載の動画像処理方法。
【請求項２１】
（ａ）  フレーム間予測符号化によって圧縮された動画像データから、各フレーム毎に動きベクトルに関する第１の情報を収集する処理と、
（ｂ）  各フレームについて画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集する処理と、
（ｃ）  該第１の情報と第２の情報をパラメータとして含む評価関数の値を算出する処理と、
（ｄ）  該算出された評価関数の値を閾値と比較して、シーンチェンジを決定するし、
ここで、前記第１の情報は、前記各フレーム内の動きベクトルの数の和、および、前記各フレーム内の動きベクトルの大きさ、を含み、また、
前記第２の情報は、前記各フレーム内の前記前後フレームとの相関が所定の閾値よりも少ないマクロブロックもしくは相関の無いマクロブロックの総面積、ならびに、前方向予測動きベクトルのフレーム内での総数、ならびに、後方向予測動きベクトルのフレーム内での総数、を含む
処理を、コンピュータに実行させるプログラムを記録した該コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測符号化によって圧縮された動画像からシーンチェンジを自動検出する動画像処理装置及びその方法に関する。
【背景技術】
【０００２】
近年、膨大な情報量を持つディジタル動画像の蓄積や伝送を実現するために、Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ２等のフレーム間予測符号化方式が国際標準化されており、これらの方式により動画像の符号化や復号化を行う動画像記録再生装置が開発されている。また、ＩＳＯ／ＩＥＣ  ＭＰＥＧ１を利用したＶｉｄｅｏＣＤ規格の動画像データは、既に全世界的に普及している。また、ＩＳＯ／ＩＥＣ  ＭＰＥＧ２はＤＶＤにディジタルビデオ信号を記録する際に利用されている。
【０００３】
一方で、動画像を記録する記憶媒体（ハードディスクや光磁気ディスクなど）の大容量化が進み、長時間の動画を該記憶媒体に記憶して処理することが可能になっている。具体的なアプリケーションとしては、動画像の編集やビデオ・オン・デマンド等である。
【０００４】
動画像の編集を行う際には、動画像からインデックスを作成するなどのような、画像の検索や編集を補助するための機能が必要不可欠である。このインデックスの作成には、シーンチェンジの検出が有効である。フレーム間予測符号化された動画像のストリームは符号データのビット列であり、このストリームからは、直接、シーンチェンジを見つけることはできないので、従来より、様々のシーンチェンジ検出方式及び装置が提案されている。
【０００５】
代表的なシーンチェンジ検出方式には、フレーム間の画像差分情報を用いるもの、離散的コサイン変換係数（ＤＣＴ係数）情報を用いるもの、色情報を用いるもの、データ符号量情報を用いるもの、動きベクトル情報を用いるもの、マクロブロック数情報を用いるもの、また、これらの情報を組み合わせたものがある。しかしながら、これらの方式の場合、シーンチェンジ検出のための特別の回路などが大規模化すると動画像再生装置のコストを増大させてしまう。
【０００６】
既に圧縮されて符号化されたあとのストリームから、シーンチェンジを高速に検出する従来手法は少ないが、例えば、以下のようなものがある。
（i）  動きベクトルの符号量を調べる方法
（ii）符号データを一度、完全に復号化し、動画像を再構築してから行うもの
このような手法には、例えば、フレーム間の画像差分情報や色情報を用いるもの、動き補償用の動きベクトルとは別に、動きベクトルを求め、この動きベクトルを用いるものがある。
【０００７】
（iii）既に、符号化された後の動画像の一部を復号化し、この一部のデータを用いて、シーンチェンジの検出を高速化する手法
この手法には、例えば、離散的コサイン変換係数情報、データ符号化量情報、動きベクトル情報、マクロブロック情報を用いるものがある。
【発明の開示】
【０００８】
上記（i）の手法の場合、動きベクトルはフレーム内の動きベクトル全体に適用されるスケールと個々のベクトルの大きさが別々に符号化されるため、動きベクトルの符号量だけでは動きベクトルを反映したものとなりにくく、シーンチェンジの誤検出の原因となるという問題がある。
【０００９】
上記（ii）のような動画像の符号化データを完全に復号する必要がある手法では、復号した後のデータを記憶するための記憶装置とフレームの画素間の演算を行うための演算回路が必要となるため、回路が大規模化してコストが増大する。また、復号するには、最低限、再生処理と同等の処理時間が必要となるため、高速化が困難であるという問題もあった。
【００１０】
上記（iii）の手法の場合、上記（ii）の手法よりは処理の高速化が図れるものの、以下のような問題がある。
まず、離散的コサイン変換係数情報を用いるものでは、離散的コサイン変換係数が画像の構成要素の一つ一つが持つ情報であるため、画像の再構築の一歩手前まで復号化する必要があるので、復号化に要する時間が比較的大きくなるという問題がある。
【００１１】
データ符号化量情報を用いるものは、データ符号化量が多いフレームをシーンチェンジとみなすが、データ符号化量のみを用いるため処理の高速化を図れるという反面、被写体の動きが激しいときなどはシーンチェンジではなくても、フレームのデータ符号化量が多くなるので、シーンチェンジを誤検出しやすいという問題がある。
【００１２】
動きベクトル情報を用いるものは、動きベクトルの大きさのみに着目しているため、大きさが０である動きベクトルを持つ画像の構成要素があったとしても、この情報が反映されないため、シーンチェンジ検出に有効な情報を十分に活用していない。このため、シーンチェンジ検出の正確さに欠けるため、動きベクトルをそれ以外の他の情報と組み合わせて用いなければならない。したがって、シーンチェンジ検出に要する処理時間が増大するという問題がある。
【００１３】
また、長時間の動画像では、含まれるシーンチェンジの数も増加する。
ところが、従来のシーンチェンジ検出方式は、符号化の最適化を目的としたものが大多数である。この目的を実現するには、検出したシーンチェンジを全て提示する必要があった。しかしながら、検出されるシーンチェンジの数が膨大になるときは、動画像の検索や編集する作業の場合、補助情報としてそれら全てのシーンチェンジに目を通すことは、作業効率の妨げとなる。
【００１４】
また、シーンチェンジを動画像の検索や編集の補助情報として利用することを目的として用いる場合、動画像の再生時間に応じたシーンチェンジ数の提示、あるいは重要性の高いシーンチェンジを提示する必要がある。また、動画像の内容（ジャンル）によっては、該重要性の尺度を変更する必要がある。しかしながら、従来、このような情報を提示するものはなかった。
【００１５】
本発明は、フレーム間予測符号化によって圧縮された動画像を完全に復号化することなく、該動画像からシーンチェンジを、高速、かつ、正確に検出できる動画像処理装置を提供することを目的とする。また、検出するシーンチェンジ数を指定可能な動画像処理装置を提供することを目的とする。また、更に、動画像の内容（ジャンル）に則して、重要性の高いシーンチェンジを優先的に検出する動画像処理装置を提供するとを目的とする。
【００１６】
本発明の第１の態様の動画像処理装置は、下記の手段を備える。
情報収集手段は、フレーム間予測符号化によって圧縮された動画像データから、各フレーム毎に動きベクトルに関する第１の情報を収集し、さらに、各フレームについて画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集する。前記第１の情報は、例えば、動きベクトルの数と大きさであり、前記第２の情報は、例えば、前後のフレームとの相関が低い領域の面積である。
【００１７】
評価関数算出手段は、該情報収集手段によって収集された第１の情報と第２の情報をパラメータとして含む評価関数の値を算出する。前記評価関数は、例えば、前記符号化された動画像データにおけるフレーム内符号化フレームまたは前方向予測フレームの出現周期に応じてパラメータが決定される関数である。
【００１８】
シーンチェンジ決定手段は、該評価関数算出手段によって算出された評価関数の値を閾値と比較して、シーンチェンジを決定する。前記シーンチェンジ決定手段は、例えば、前記閾値を変更することにより、指定された数のシーンチェンジを決定する。
【００１９】
前記情報収集手段は、例えば、各フレームの動きベクトルに関する第１の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームの構成要素単位に付加される第２のヘッダ情報から、フレームの画像を復号せずに収集する。また、前記情報収集手段は、例えば、各フレームの前後のフレームとの相関性に関する第２の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームの構成要素単位に付加される第２のヘッダ情報から、フレームの画像を復号せずに収集する。
【００２０】
上記構成の第１の態様の動画像処理装置によれば、各フレームについて、動きベクトルに関する第１の情報に加え、画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集し、第１の情報と第２の情報をパラメータとして含む評価関数の値を算出し、その算出値と閾値との比較により、シーンチェンジを決定するので、従来よりも、高速かつ正確にシーンチェンジを検出できる。
【００２１】
前記情報収集手段は、例えば、さらに、シーンチェンジ間隔を収集し、前記評価関数算出手段は、前記第１及び第２の情報に加え、前記シーンチェンジ間隔をパラメータとして含む評価関数の値を算出する。このように、評価関数のパラメータに前記シーンチェンジ間隔を加えることにより、シーンチェンジ検出の精度を向上させることができる。
【００２２】
また、前記評価関数は、例えば、各パラメータをそれぞれのパラメータに割り当てられた係数を用いて線形結合した関数であり、この場合、前記評価関数算出手段は、シーンチェンジを検出する動画像データの内容によって、前記評価関数の各パラメータの係数を変更する。
【００２３】
このように評価関数のパラメータの係数を、動画像の内容（ジャンル）に応じて変更することにより、各種の動画像の特性に応じたシーンチェンジの検出が可能となり、あらゆるジャンルの動画像について、正確に、シーンチェンジを検出することができる。
【００２４】
また、前記評価関数を、オフセット用の定数を有する関数とすることにより、はめ込み合成などの縮小画像等についても、該定数を調整することにより、正確にシーンチェンジを検出することが可能になる。
【００２５】
また、前記情報収集手段は、例えば、各フレームについて前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を収集し、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群のフレームについてのみ、前記第１の情報と前記第２の情報を前記評価関数算出手段に前記評価関数のパラメータとして出力するように構成することもできる。このことにより、評価関数算出手段の演算回数を削減することができ、評価関数算出手段は、シーンチェンジの可能性が高いフレーム群のフレームについてのみ演算するので、シーンチェンジ検出の精度を保ったまま、処理速度を向上させることが可能となる。
【００２６】
また、前記情報収集手段を、例えば、前記フレーム群の各フレームにおける前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を、前記評価関数算出手段に前記評価関数のパラメータとして出力するような構成とすることにより、評価関数をより適切な関数とすることができる。この結果、シーンチェンジ検出の精度を更に向上させることができる。
【００２７】
また、前記情報収集手段を、さらに、前記連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のシーンチェンジとなるフレームの出現間隔を収集する構成とし、前記双方向予測領域数に加え、そのフレームの出現間隔を、前記評価関数算出手段に前記評価関数のパラメータとして出力するような構成とすることにより、シーンチェンジ検出の精度を更に向上させることができる。
【００２８】
本発明の第２の態様の動画像処理装置は、第１の態様の動画像処理装置が有する各手段に加え、更に、前記第１の情報、前記第２の情報、及び前記フレーム間隔を、シーンチェンジ情報として記憶するシーンチェンジ情報記憶手段を備える。
【００２９】
上記構成の第２の態様の動画像処理装置によれば、前記評価関数算出手段は、前記シーンチェンジ情報記憶手段に記憶されたシーンチェンジ情報を用いて評価関数の値を算出し、前記シーンチェンジ決定手段は、該評価関数の算出値を閾値と比較してシーンチェンジを決定することで、シーンチェンジ検出の更なる高速化が可能となる。
【００３０】
前記シーンチェンジ決定手段は、例えば、前記閾値を変更することにより、指定された数のシーンチェンジを決定する。このことにより、ユーザに対して、ユーザが指定した数だけ、シーンチェンジを、提示できる。
【００３１】
本発明の第３の態様の動画像処理装置は、第１の態様の動画像処理装置が有する各手段に加え、更に、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報、及び前記シーンチェンジとなるフレームの出現間隔を、シーンチェンジ情報として記憶するシーンチェンジ情報記憶手段を備える。
【００３２】
このような構成において、例えば、前記評価関数算出手段は、前記シーンチェンジ情報記憶手段から読みだされたシーンチェンジ情報を用いて評価関数の値を算出し、前記シーンチェンジ決定手段は、該評価関数の算出値を閾値と比較してシーンチェンジを決定する。
【００３３】
本発明の第３の態様の動画像処理装置によれば、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報に加え、前記シーンチェンジとなるフレームの出現間隔をパラメータとして含む評価関数の値を用いてシーンチェンジを検出するので、第２の実施形態の動画像処理装置よりも、シーンチェンジの検出精度を高めることができる。また、前記閾値を変更することにより、第２の実施形態と同様に、ユーザにより指定された数と同数のシーンチェンジを提示できる。
【００３４】
本発明の第４の態様の動画像処理装置は、第１の態様の動画像処理装置が有する各手段に加え、更に、前記シーンチェンジ決定手段によって決定されたシーンチェンジのフレームの画像を復元する復号化手段を備える。
【００３５】
本発明の第４の態様の動画像処理装置によれば、シーンチェンジの画像を復元することができる。
本発明の第５の態様の動画像処理方法は、（ａ）  フレーム間予測符号化によって圧縮された動画像データから、各フレーム毎に動きベクトルに関する第１の情報を収集し、（ｂ）  各フレームについて画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集し、（ｃ）  該第１の情報と第２の情報をパラメータとして含む評価関数の値を算出し、（ｄ）  該算出された評価関数の値を閾値と比較して、シーンチェンジを決定することを特徴とする。前記評価関数は、例えば、各パラメータをそれぞれのパラメータに割り当てられた係数を用いて線形結合した関数である。また、前記評価関数は、例えば、前記符号化された動画像データにおけるフレーム内符号化フレームまたは前方向予測フレームの出現周期に応じてパラメータが決定される関数である。
【００３６】
本発明の第６の態様の動画像処理方法は、上記ステップ（ａ）〜（ｄ）に加え、更に、（ｅ）  シーンチェンジ間隔を収集し、ステップ（ｃ）において、前記シーンチェンジ間隔をパラメータとして含む前記評価関数を算出する。
【００３７】
本発明の第７の態様の動画像処理方法は、上記ステップ（ａ）〜（ｅ）に加え、更に、（ｆ）  前記第１の情報、前記第２の情報、及び前記シーンチェンジ間隔を、シーンチェンジ情報として記憶する。
【００３８】
本発明の第８の態様の動画像処理方法は、上記ステップ（ａ）〜（ｆ１）に加え、更に、（ｇ）  前記記憶されたシーンチェンジ情報を用いて評価関数の値を算出し、（ｈ）  該評価関数の算出値を閾値と比較してシーンチェンジを決定する。
【００３９】
本発明の第９の態様の動画像処理方法は、上記ステップ（ａ）〜（ｈ）に加え、更に、（ｉ）  ステップ（ｃ）において決定されるシーンチェンジ数が指定された数と等しくなるように、前記閾値を変更する。
【００４０】
本発明の第１０の態様の動画像処理方法は、上記ステップ（ａ）〜（ｄ）に加え、更に、（ｅ１）  シーンチェンジを検出する動画像データの内容によって、前記評価関数の各パラメータの係数を変更することを特徴とする。
【００４１】
本発明の第１１の態様の動画像処理方法は、上記ステップ（ａ）〜（ｄ）に加え、更に、（ｅ２）  各フレームについて前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を収集し、ステップ（ｃ）において、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群のフレームについてのみ、前記評価関数の値を算出する。
【００４２】
この場合、ステップ（ｃ）で算出される前記評価関数は、例えば、前記フレーム群の各フレームにおける前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を、パラメータとして含む。
【００４３】
本発明の第１２の態様の動画像処理方法は、上記ステップ（ａ）〜（ｅ２）に加え、更に、（ｆ２）  連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報、及び前記シーンチェンジとなるフレームの出現間隔を、シーンチェンジ情報として記憶する。
【００４４】
本発明の第１３の態様の動画像処理方法は、上記ステップ（ａ）〜（ｆ２）に加え、更に、（ｇ２）  連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報、及び前記シーンチェンジとなるフレームの出現間隔を、シーンチェンジ情報として記憶する。
【００４５】
本発明の第１４の態様の動画像処理方法は、上記ステップ（ａ）〜（ｇ２）に加え、更に、（ｈ２）  前記記憶されたシーンチェンジ情報を用いて評価関数の値を算出し、（ｉ２）  該評価関数の算出値を閾値と比較してシーンチェンジを決定する。
【００４６】
本発明の第１５の態様の動画像処理方法は、上記ステップ（ａ）〜（ｉ２）に加え、更に、（ｊ２）  ステップ（ｉ２）において決定されるシーンチェンジ数が、指定された数となるよう前記閾値を変更する。
【００４７】
本発明の第１６の態様の動画像処理方法は、上記ステップ（ａ）〜（ｄ）に加え、更に、（ｅ３）  前記シーンチェンジ決定手段によって決定されたシーンチェンジのフレームの画像を復元する。
【００４８】
本発明の第１７の態様の記録媒体は、（ａ）  フレーム間予測符号化によって圧縮された動画像データから、各フレーム毎に動きベクトルに関する第１の情報を収集する処理と、（ｂ）  各フレームについて画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集する処理と、（ｃ）  該第１の情報と第２の情報をパラメータとして含む評価関数の値を算出する処理と、（ｄ）  該算出された評価関数の値を閾値と比較して、シーンチェンジを決定する処理を、コンピュータに実行させるプログラムを記録した該コンピュータが読み取り可能な記録媒体である。
【００４９】
前記プログラムは、例えば、ステップ（ａ）において、各フレームの動きベクトルに関する第１の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームの構成要素単位に付加される第２のヘッダ情報から、フレームの画像を復号せずに収集する処理を、コンピュータを実行させる。
【００５０】
前記プログラムは、例えば、ステップ（ｂ）において、各フレームの前後のフレームとの相関性に関する第２の情報を、前記圧縮された動画像データのフレーム単位に付加される第１のヘッダ情報と該フレームの構成要素単位に付加される第２のヘッダ情報から、フレームの画像を復号せずに収集する処理を、コンピュータを実行させる。
【００５１】
前記評価関数は、例えば、各パラメータをそれぞれのパラメータに割り当てられた係数を用いて線形結合した関数である。前記評価関数は、また、例えば、前記符号化された動画像データにおけるフレーム内符号化フレームまたは前方向予測フレームの出現周期に応じてパラメータが決定される関数である。
前記評価関数は、また、オフセット用の定数を有する。また、前記第１の情報は、例えば、動きベクトルの数と大きさであり、前記第２の情報は、例えば、前後のフレームとの相関が低い領域の面積である。
【００５２】
本発明の第１８の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｄ）に加え、更に、（ｅ）  シーンチェンジ間隔を収集する処理をコンピュータに実行させ、ステップ（ｃ）で算出される評価関数は、前記シーンチェンジ間隔をパラメータとして含む。
【００５３】
本発明の第１９の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｄ）に加え、更に、（ｅ１）  前記第１の情報、前記第２の情報、及び前記シーンチェンジ間隔を、シーンチェンジ情報として記憶する処理を、コンピュータに実行させる。
【００５４】
本発明の第２０の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｅ１）に加え、更に、（ｆ１）  前記記憶されたシーンチェンジ情報を用いて評価関数の値を算出する処理と、（ｇ１）  該評価関数の算出値を閾値と比較してシーンチェンジを決定する処理を、コンピュータに実行させる。
【００５５】
本発明の第２１の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｇ１）に加え、更に、（ｈ１）  ステップ（ｇ１）において決定されるシーンチェンジ数が、指定された数となるように、前記閾値を変更させる処理を、コンピュータに実行させる。
【００５６】
本発明の第２２の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｄ）に加え、（ｅ２）  シーンチェンジを検出する動画像データの内容によって、前記評価関数の各パラメータの係数を変更する処理を、コンピュータに実行させる。
【００５７】
本発明の第２３の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｄ）に加え、更に、（ｅ３）  前記各フレームについて前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を収集する処理をコンピュータに実行させ、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群のフレームについてのみ、ステップ（ｃ）の評価関数の算出処理をコンピュータに実行させる。
【００５８】
前記評価関数は、例えば、前記フレーム群の各フレームにおける前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を、パラメータとして含む。
【００５９】
本発明の第２４の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｅ３）に加え、更に、（ｆ３）  前記連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のシーンチェンジとなるフレームの出現間隔を収集する処理をコンピュータに実行させ、ステップ（ｃ）において、そのフレームの出現間隔をパラメータとして含む前記評価関数をコンピュータに実行させる。
【００６０】
本発明の第２５の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｆ３）に加え、更に、（ｇ３）  連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報、及び前記シーンチェンジとなるフレームの出現間隔を、シーンチェンジ情報として記憶する処理を、コンピュータに実行させる。
【００６１】
本発明の第２６の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｇ３）に加え、更に、（ｈ３）  前記記憶されたシーンチェンジ情報を用いて評価関数の値を算出する処理と、（ｉ３）  該評価関数の算出値を閾値と比較してシーンチェンジを決定する処理を、コンピュータに実行させる。
【００６２】
本発明の第２７の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｉ３）に加え、（ｊ３）  ステップ（ｉ３）で決定されるシーンチェンジ数が、指定された数と等しくなるように前記閾値を変更させる処理をコンピュータに実行させる。
【００６３】
本発明の第２８の態様の記録媒体に記録される前記プログラムは、上記（ａ）〜（ｄ）に加え、更に、（ｅ４）  前記決定されたシーンチェンジのフレームの画像を復元する処理を、コンピュータに実行させる。
【発明を実施するための最良の形態】
【００６４】
本発明の動画像処理装置は、様々な分野に適用可能であり、例えば、動画像再生装置や動画像編集装置において利用されうる。
図１は、本発明の動画像再生装置（動画像処理装置）の原理を説明するブロック図である。
【００６５】
同図において、情報蓄積部１は、ブロック適応フレーム間予測符号化によって符号化された動画像の符号化データを記憶している記憶装置である。情報収集部２は、情報蓄積部１に記憶されている動画像の符号化データから動きベクトルの情報と前後フレームと相関の低い領域の面積などの情報を収集する。すなわち、符号化された動画像データの一部を復号して、各フレームについての動きベクトルの数と大きさに関する情報、及び前後フレームと相関の低い領域の面積などを抽出する。
【００６６】
評価関数算出部３は、情報収集部２によって収集された情報をパラメータとする所定の評価関数の値を算出する。すなわち、情報収集部２により収集された上記動きベクトルの数と大きさに関する情報と上記前後フレームと相関の低い領域の面積などから上記評価関数の値を算出する。該評価関数の各パラメータの係数数は、ユーザにより設定可能になっている。ユーザは、例えば、動画像の内容（ジャンル）に応じて、適切な係数を設定する。また、シーンチェンジ決定部４により検出されるシーンチェンジ数に応じて、該係数を変更する。
【００６７】
シーンチェンジ決定部４は、評価関数算出部３によって算出された該評価関数の値を基に、前記動画像のシーンチェンジを決定する。すなわち、該評価関数の値と所定に閾値とを比較して、シーンチェンジを決定する。該閾値は、例えば、ユーザが、シーンチェンジ決定部４に入力する指定シーンチェンジ数によって変更される。
【００６８】
シーンチェンジ情報記憶部５は、シーンチェンジ決定部４によって決定されたシーンチェンジに関する情報（シーンチェンジ情報）を記憶する。このシーンチェンジ情報は、例えば、シーンチェンジの前後のフレームの動きベクトルの数と大きさ、該前後フレームと相関の低い面積、及びシーンチェンジ間隔等である。尚、シーンチェンジ間隔からシーンチェンジのフレームを特定することも可能であるが、処理を高速化するために、シーンチェンジ情報とシーンチェンジのフレーム番号とを対応付けて記憶するようにしてもよい。
【００６９】
復号化部６は、情報蓄積部１から符号化された動画像データを読みだして動画像を復号し、該動画像を出力する。復号化部６は、また、シーンチェンジ決定部４から入力する情報を基に、シーンチェンジのフレームの画像のみを復元して出力する。
【００７０】
図２は、シーンチェンジを説明する図である。
同図には、連続する４枚のフレーム１１〜１４が示されている。同図に示すようにフレーム１１、１２とフレームメ１３、１４とでは、明らかにシーンが異なっており、フレーム１２の表示からフレーム１３の表示に切り換わる際にシーンチェンジが発生している。シーンチェンジとは、フレーム１２とフレーム１３との繋ぎ目２１をさす。また、この場合、シーンチェンジとなるフレームはフレーム１３である。
【００７１】
情報蓄積部１は、例えば図３に示すフォーマットの動画像の圧縮データを蓄積している。図３（ａ）は、ＩＳＯ／ＩＥＣ  ＭＰＥＧ１、ＩＳＯ／ＩＥＣ
ＭＰＥＧ２等のフレーム間予測符号化方式により符号化された動画像の符号化データの階層構成図である。同図（ｂ）に示すように複数の連続するピクチャから成るシーケンス９の符号化データは、同図（ａ）に示すシーケンスレイヤ、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ、及びブロックレイヤ（不図示）の６層の階層構造となっている。
【００７２】
シーケンスレイヤのデータは、一連の同じ属性（例えば、画像サイズ、画像レートなど）をもつ画面グループのデータであり、先頭にシーケンスヘッダを、最後にシーケンスエンドコードを有する。シーケンスヘッダは、画面のフォーマットなどを指定するものであり、先頭に開始コードが設定される。シーケンスエンドコードは、シーケンスの終了を示すコードである。シーケンスヘッダとシーケンスエンドコードの間には、１または複数のＧＯＰレイヤのデータが存在する（図３（ａ）の（１）参照）。
【００７３】
ＧＯＰレイヤのデータは、ランダム・アクセスの単位となる画面グループの最小単位であり、先頭にＧＯＰヘッダ情報があり、その後に、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの３種類のピクチャレイヤのデータが、１または複数続く（図３（ａ）の（２）参照）。
【００７４】
ピクチャレイヤのデータは、先頭がピクチャヘッダ情報であり、その後に、複数のスライスレイヤのデータ（スライス）が続く（図３（ａ）の（３）参照）。ピクチャヘッダ情報には、フレーム全体のスケールが記録される。
【００７５】
スライスレイヤのデータは、開始コードを持つ一連のデータ列の中の最小単位であり、先頭にスライスヘッダ情報が有り、その後に、任意の数のマクロブロックレイヤのデータが続く（図３（ａ）の（４）参照）。
【００７６】
マクロブロックレイヤのデータは、先頭にマクロブロックヘッダ情報が有り、その後に、６個のブロックレイヤのデータ（４個の輝度信号のブロックと２個の色差信号のブロック）が続く（図３（ａ）の（５）参照）。該マクロブロックヘッダ情報に、個々のベクトルの大きさが記録される。
【００７７】
動画像の符号化の際に求められた動きベクトルは、フレーム毎に得られるスケール（ピクチャヘッダ情報内のデータ）と個々のベクトルの大きさ（マクロブロックヘッダ情報内のデータ）から、所定の演算により算出される。
【００７８】
このように、動画の１シーケンス９は、１または複数のピクチャ（フレーム）から成るＧＯＰに分割されて可変長符号化される（図３（ｂ）参照）。ＧＯＰは、フレーム内符号化画像（Ｉピクチャ）、既に符号化された時間的に前のフレームから予測するフレーム間符号化画像（Ｐピクチャ）、及び時間的に前後の２フレームから予測するフレーム間符号化画像（Ｂピクチャ）から構成される。
【００７９】
ＭＰＥＧでは、ＧＯＰ中のピクチャ（フレーム）数、Ｉ，Ｐピクチャの間隔などを符号化器で定めることができるようになっている。
ピクチャはスライスから構成され、スライスは複数のマクロブロックから構成される。ＭＰＥＧにおいて、符号化の最小単位は８×８画素からなるブロックであり、このブロックが直接離散コサイン変換（ＤＣＴ）の単位である。隣接する４つのＹ信号のブロックとそれに位置的に対応する１個のＣｂブロック、１個のＣｒブロックの計６個のブロックをマクロブロックと呼ぶ。
【００８０】
マクロブロックは、動き補償予測の最小単位であり、動き補償予測のための動きベクトルはマクロブロック単位で検出が行われる。マクロブロック（ＭＢ）は原信号を直接離散コサイン変換（以後、ＤＣＴと記載）するイントラマＭＢ、前方向のみから予測するフォワードＭＢ，後ろ方向のみから予測するバックワードＭＢ，前方向と後ろ方向の両方向から予測するバイプレクティブＭＢの４つに分類される。ＩピクチャはイントラＭＢのみで符号化されるが、ＰピクチャはイントラＭＢかフォワードＭＢをマクロブロック毎に選択する。
図４は、ある動画像における動きベクトルの大きさの時間的推移を示したものである。同図に示すように、動きベクトルの大きさは、パンやチルトといったカメラの動きや被写体の動きが大きいところで増大するのに対して、シーンチェンジの所で著しく減少する。したがって、フレーム毎に動きベクトルの総和を検出し、それに対する評価関数を作成し、その評価関数の値を所定の閾値と比較することにより、シーンチェンジを検出することができる。例えば、動きベクトルの大きさが図４の破線が示す閾値よりも大きい場合にはシーンチェンジの可能性が小さいと判断する。
【００８１】
しかしながら、動きベクトルのみを観察してシーンチェンジの有無を評価する場合、動きベクトルが検出されてもその大きさが小さければ評価関数の値に寄与しないので、シーンチェンジ検出の精度が低くなってしまう。図４の例では、シーンチェンジでない所でも、動きベクトルの大きさが閾値（破線の値）に近くなっている。
【００８２】
したがって、動きベクトルの検出情報を加味することで、シーンチェンジ検出用の評価関数の信頼性を向上させることができる。動きベクトルの検出情報は動きベクトルの数に反映される。図５は、ある動画像について、各フレームの前方向予測動きベクトル数の時間的推移を調べたものである。同図に示すように、シーンチェンジの所で、前方向予測動きベクトル数が著しく減少している。したがって、フレーム毎の動きベクトル数を評価関数とし、該評価関数の値を閾値と比較することによりシーンチェンジを検出することもできる（図５の破線が示す値よりも動きベクトル数が少なくなる所を、シーンチェンジの可能性が大きいとみなす）。
【００８３】
上述したように、動きベクトルはマクロブロック毎に割り当てられており、図３（ａ）の（５）のマクロブロックレイヤのマクロブロック情報に、動きベクトルを持つマクロブロックか、または、動きベクトルを持たないマクロブロックであるかという情報が格納されている。したがって、動きベクトルの数は、動きベクトルの大きさと同時に求めることができる。これは、動きベクトルの大きさと動きベクトル数の両方を加した評価関数の精度向上と該評価関数が必要とする情報収集に要する処理時間の効率向上が図れることを意味している。
【００８４】
また、図６に示すように、前後フレームと相関がない面積を評価することも、シーンチェンジの有無を評価するうえで大きな意味がある。同図に示すように、シーンチェンジの所では、前後フレームと相関のない面積が顕著に増大する。画面の動きが大きいシーンでも前後フレームと相関のない面積が大きくなるが、該前後フレームと相関のない面積を評価する評価関数の値に対する閾値を適切に設定することによって、シーンチェンジの可能性が大きいところを適切に評価することができる。
従来手法では、符号化された画像を復号し、フレーム間の差分をとったり、離散コサイン変換係数（ＤＣＴ係数）情報を用いて、シーンチェンジを検出しているが、この手法では、演算量が多く、個々の値の比較したい領域の対応付けを行うために、再度、動きベクトルを演算するなどするため、処理時間が増大する。
本発明では、符号化の際に動きベクトルを持たないと判断されたマクロブロックを、前後フレームと相関のない領域であるとみなす。そして、前後フレームと相関のない面積を、動きベクトルを持たないマクロブロックの数とマクロブロックの面積との積との総和とする。この場合、マクロブロックの面積は、同一の動画では等しいので、前後フレームと相関のない面積を評価することは、動きベクトルを持たないマクロブロックの数のフレーム内での総和を評価することと等価である。このように、前後フレームと相関のない領域の面積は、動きベクトルの大きさと同時に求めることができる。したがって、前後フレームと相関のない領域の面積を評価することは、評価関数の精度向上に寄与し、かつ該評価関数の値を算出するために必要となる情報収集に要する処理時間の効率向上を意味する。
次に、評価関数算出部３の動作を説明する。
【００８５】
まず、評価関数の作成例を示す。図４〜６に示すように、シーンチェンジで、動きベクトルの大きさと数は共に値が極端に減少するが、前後フレームと相関のない領域の面積は逆に増加する。したがって、動きベクトルの大きさと数に対しては負の係数を与え、前後フレームと相関のない領域の面積に対しては正の係数を与える。ところで、ＧＯＰ内において、双方向予測符号化フレームは、必ず、フレーム内符号化フレーム（Ｉピクチャ）と前方向予測符号化フレーム（Ｐピクチャ）のどちらか一方と必ず対になって出現する。このとき、フレーム内符号化フレームまたは前方向予測符号化フレームはＭフレームの周期で出現する。そこで、Ｍフレームを一まとまりにして、評価関数を作成する。以下に、Ｍ＝３のときの評価関数Ｅ（ｉ）の一例を示す。
Ｅ（ｉ）＝Ｃ０Ｖ（ｉ）＋Ｃ１Ｖ（ｉ＋１）＋Ｃ２Ｖ（ｉ＋２）
＋Ｃ３ＮＩ（ｉ）＋Ｃ４ＮＩ（ｉ＋１）＋Ｃ５ＮＩ（ｉ＋２）
＋Ｃ６ＮＦ（ｉ）＋Ｃ７ＮＦ（ｉ＋１）＋Ｃ８ＮＦ（ｉ＋２）
＋Ｃ９ＮＢ（ｉ）＋Ｃ１０ＮＢ（ｉ＋１）＋Ｃ１１ＮＢ（ｉ＋２）
＋Ｃ１２ＮＤ（ｉ）＋Ｃ１３ＮＤ（ｉ＋１）＋Ｃ１４ＮＤ（ｉ＋２）        ＋Ｃ１５Ｆ＋Ｃ１６
Ｖ：フレーム内の動きベクトルの総和
ＮＩ：前後フレームと相関のない領域のフレーム内での総面積
ＮＦ：前方向予測動きベクトルのフレーム内での総数
ＮＢ：後方向予測動きベクトルのフレーム内での総数
ＮＤ：前方向予測動きベクトルと後方向予測動きベクトルを両方を持つもの        のフレーム内での総数
Ｆ：シーンチェンジのフレーム間隔（シーンチェンジ間隔）。最初のシーン      チェンジのフレームの場合には、先頭フレームからカウントしたフレー      ム数とする。
【００８６】
Ｃ０〜Ｃ１６：係数
シーンチェンジ決定部４は、評価関数算出部３により算出された評価関数Ｅ（ｉ）の値と所定の閾値とを比較することによりシーンチェンジを決定する。
【００８７】
係数Ｃ０〜Ｃ１６は、予め、いくつかのパターンを設定することができる。係数Ｃ０〜Ｃ１６の設定は試行錯誤によって決定してもよいが、評価関数Ｅ（ｉ）は、線形関数となっているので、判別分析など多変量解析手法や、最急降下法などの最適化手法、ニューラルネットワークやファジイ推論などの人間の脳の働きや判断を模擬した手法などで容易に求めることができる。
【００８８】
評価関数Ｅ（ｉ）を使用することにより、図７に示すような同じバックグラウンド（背景）にはめ込み合成された映像についても、係数Ｃ１６を調整することで、シーンチェンジの検出もれを抑制することができる。
【００８９】
尚、評価関数Ｅ（ｉ）は、あくまでも、一例であり、上記パラメータの一部を使用するものであってもよく、パラメータの組み合わせには各種形態が考えられる。また、評価関数Ｅ（ｉ）は他の多項式等であってもよい。また、評価関数Ｅ（ｉ）のパラメータ数は、Ｍの値に応じて適宜変更するようにする。
【００９０】
図７（ａ），（ｂ）に、それぞれ示すように、画面の中央付近や右下付近に画像を縮小してはめ込み合成する場合は、有効な情報を持つ領域（マクロブロック）も小さくなるため、評価関数Ｅ（ｉ）の値が小さく見積もられる。このため、評価関数Ｅ（ｉ）の値が大きいほど、よりシーンチェンジらしいとすると、図７（ａ），（ｂ）に示すようなはめ込み合成された映像を、縮小のない通常の画像と同じ閾値で評価した場合、シーンチェンジの検出もれが発生してしまう。そこで、図７（ａ），（ｂ）に示すようなはめ込み合成された映像については、係数Ｃ１６の値を大きくすることによって、同じ閾値で評価関数Ｅ（ｉ）の値を評価できるようにする。尚、係数Ｃ０〜Ｃ１６を定数倍することによっても、同様な評価が可能である。
【００９１】
評価関数算出部３は、評価関数Ｅ（ｉ）の係数Ｃ０〜Ｃ１６を、予め、動画像の内容（ジャンル）に則した値に設定することができる。この場合、例えば、係数Ｃ０〜Ｃ１６の値を、ユーザからの入力によって変更する。このように、評価関数Ｅ（ｉ）の係数Ｃ０〜Ｃ１６の値を動画像の内容（ジャンル）に応じて変更することにより、評価関数Ｅ（ｉ）の値が同じであっても重要性が異なる場合に対処することができる。
【００９２】
例えば、スポーツ番組では、選手やボールなどの被写体の動き、カメラのパンやチルトなどの動きが他の番組より大きいので、動きベクトルの変化や大きさが大きい傾向がある。このため、動きベクトルの大きさが増大し、評価関数Ｅ（ｉ）の値も減少する。また、ドラマやニュース番組では、役者やニュースキャスターがセリフやコメントなどを発しているときの被写体の動き、カメラワークの動きは、他の番組より小さいので、動きベクトルの変化や大きさが小さい傾向にある。このため、動きベクトルの大きさが減少し、評価関数Ｅ（ｉ）の値も増大する。このように、評価関数Ｅ（ｉ）の値が動画像の内容によって変化するため、本発明では、係数Ｃ０〜Ｃ１６の値を動画像の内容（ジャンル）に応じて変更させることで、動画像の内容による評価関数Ｅ（ｉ）の値の変化に対処できるようにしている。
【００９３】
また、評価関数算出部３は、評価関数Ｅ（ｉ）の係数Ｃ０〜Ｃ１６の値を、動画像の内容あるいはユーザの指定によって変更することができる。例えば、歌番組やドラマでは、目まぐるしくカット割れされ、非常に短いシーンが連続することがある。これらの目まぐるしくカット割りは、意味のある１シーンとみなせる場合もあるが、一方ではシーンチェンジの無意味な増加となる。よって、シーンチェンジの重要性は、動画像の内容によって異なってくる。本発明では、評価関数Ｅ（ｉ）の係数Ｃ０〜Ｃ１６の値を、動画像の内容あるいはユーザの指定によって変更させることで、動画像の内容によってシーンチェンジの重要性が異なる場合に対処することができる。
【００９４】
評価関数算出部３は、処理を高速化するために、まず、動きベクトルの数を用いて、シーンチェンジを選別する。
図８は、ＭＰＥＧによるフレーム間予測符号化の方法を示す図である。尚、図８は、Ｉ，Ｐピクチャの周期Ｍが“３”の場合を示している。
【００９５】
同図に示すように、フレーム間予測符号化においては、Ｐピクチャ及びＢ
ピクチャを符号化する際、それぞれ、前方向予測、双方向予測を行う。このように、フレーム間予測符号化においては、符号化の際に前後のフレームを参照するが、シーンチェンジを挟んだフレームではこの前後のフレームの参照が一部行われない（一部、動き補償予測が行われない）。このような参照関係は、動きベクトルの数に現れる。
【００９６】
このようなシーンチェンジと動きベクトルの数との関係を、Ｍ＝３の場合を例にして、図９乃至図１１を参照しながら説明する。
図９は、ｉフレーム（この場合、双方向予測符号化フレーム（Ｂピクチャ））からシーンがチェンジする場合を示している。この場合、ｉフレーム（Ｂピクチャ）、ｉ＋１フレーム（Ｂピクチャ），及びｉ＋２フレーム（Ｐピクチャ）で、ｉ−１フレーム（シーンチェンジの直前の前方向予測符号化フレーム（Ｐピクチャ））に対する前方向予測での動きベクトルの数が減少する。
【００９７】
図１０は、ｉ＋１フレーム（この場合、双方向予測符号化フレーム（Ｂピクチャ））からシーンがチェンジする場合を示している。この場合、ｉ＋１フレーム（Ｂピクチャ）及びｉ＋２フレーム（Ｐピクチャ）で、ｉ−１フレーム（シーンチェンジの直前の前方向符号化予測フレーム（Ｐピクチャ））に対する前方向予測での動きベクトルの数が減少し、ｉフレーム（Ｂピクチャ）ではｉ＋２フレーム（シーンチェンジ直後の前方向予測符号化フレーム（Ｐピクチャ））に対する後方向予測での動きベクトルの数が減少する。
【００９８】
図１１は、ｉ＋２フレーム（この場合、前方向予測符号化フレーム（Ｐピクチャ））からシーンがチェンジする場合を示している。この場合、ｉ＋２フレーム（Ｐピクチャ）で、ｉ−１フレーム（Ｐピクチャ））に対する前方向予測での動きベクトルの数が減少し、ｉフレーム（Ｂピクチャ）及びｉ＋１フレーム（Ｂピクチャ）ではｉ＋２フレーム（シーンチェンジする前方向予測符号化フレーム（Ｐピクチャ））に対する後方向予測での動きベクトルの数が減少する。
【００９９】
図９〜図１１で示したシーンチェンジが発生した場合の条件を整理したのが図１２〜図１４である。図９の場合が図１２に、図１０の場合が図１３に、図１１の場合が図１４に、それぞれ、対応している。
【０１００】
シーンチェンジの場合には、図１２〜図１４に示した動きベクトル数の条件を満たしている。ところが、シーンチェンジでない場合も、図１２〜図１４に示す条件を満たす場合があり、動きベクトル数のみを用いた場合のシーンチェンジの検出精度は低い。このため、本発明では、図１２〜図１４に示した動きベクトルに着目したシーンチェンジの性質を必要条件として用いて、大まかにシーンチェンジを検出することにする。つまり、図１２〜図１４の条件では、正確に、シーンチェンジを検出することはできないので、図１２〜図１４の条件を、シーンチェンジの対象フレームをある程度まで絞り込むために利用する。評価関数Ｅ（ｉ）は、パラメータ数が多いので、比較的、演算量を大きくなる、そこで、図１２〜図１４の条件を用いて、評価関数Ｅ（ｉ）を算出する対象フレームを絞り込むことによって、評価関数Ｅ（ｉ）の演算回数を低減させ、処理時間を短縮させる。
【０１０１】
ところで、フレーム間予測符号化においては、前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ領域（双方向予測動きベクトルを持つ領域）が存在するが、これを、便宜上、双方向予測領域と呼ぶことにする。
【０１０２】
図１５、１６、及び１７は、それぞれ、図１２、１３、及び１４に、上記双方向予測領域の情報と、ｉ＋２フレームに関する情報を追加した条件テーブルである。
図１２乃至図１４に示す３種類のケースにおいて、図１５乃至図１７に示すように、ｉフレーム及びｉ＋１フレームで、双方向予測領域の数が極小であることが共通している。したがって、双方向予測領域の数を所定の閾値と比較することで、前方向予測動きベクトル数と後方向予測動きベクトル数との比較演算の演算回数を減少させることができる。本発明では、図１５乃至図１７に示す条件をシーンチェンジの必要条件として利用することで、評価関数Ｅ（ｉ）の算出対象となるフレームを絞り込むための比較演算の量を減少させることで、処理時間を短縮する。
【０１０３】
つまり、本発明では、シーンチェンジの選別を以下に述べるような２段階で行うことで、処理時間の低減を図っている。
１）  双方向予測領域数が閾値以下である連続するフレームを選ぶ。
【０１０４】
２）  １）で選ばれたフレームに対して、前方向予測動きベクトル数と後方向予測動きベクトル数を閾値と比較する。
３）  ２）の閾値の比較結果が、図１５乃至図１７のいずれかの条件を満たすフレームを選択する。
【０１０５】
シーンチェンジ決定部４は、シーンチェンジを検出するために評価関数Ｅ（ｉ）の値と比較される閾値の値を変更することができる。例えば、通常、長時間の動画像データではシーンチェンジの数が増大する。また、記録時間が短くても、カット割りが多い番組ではシーンチェンジの数が増大する。動画像を符号化する際には全てのシーンチェンジを利用する必要があるが、動画像再生装置においては、必ずしも、全てのシーンチェンジを提示する必要がない。したがって、本発明では、上記シーンチェンジ判断用の閾値を変更させることで、提示するシーンチェンジ数を変更可能にしている。このとき、評価関数Ｅ（ｉ）の値が大きい程、よりシーンチェンジらしいシーンであるため、重要性の高いシーンチェンジを提示することができる。
【０１０６】
図１８は、本発明の第１の実施形態の動画像再生装置のシステム構成を示すブロックである。同図において、情報蓄積部１１、情報収集部１２、評価関数算出部１３、シーンチェンジ決定部１４、シーンチェンジ情報記憶部１５は、上述した、図１の情報蓄積部１、情報収集部２、評価関数算出部３、シーンチェンジ決定部４、及びシーンチェンジ情報記憶部５と同様の機能を有する。
【０１０７】
復号化部１６は、図１の復号化部６と同様の機能を有するとともに、情報蓄積部１２に蓄積されている符号化された動画像データ以外の外部入力される符号化データの復号化も行う。復号化部１６は、復号した動画像データまたはシーンチェンジの画像を表示部１７に出力する。
【０１０８】
図１８において破線で囲まれた第１の実施形態の動画像再生装置１０は、符号化された動画像データを復号し表示する機能、復号化された動画像データからシーンチェンジを検出する機能、検出したシーンチェンジとシーンチェンジ検出に用いられた情報を記憶する機能を備えている。
【０１０９】
情報蓄積部１１は、符号化された動画像データを記録・蓄積する装置であり、動画像の再生、シーンチェンジの検出が行われる場合、ここから、該動画像データが情報収集部１２及び復号化部１６に読みだされる。情報蓄積部１１は、シーンチェンジの提示を高速に行うために、符号化された動画像データを高速に読み出し可能な装置が適している。また、大容量の該動画像データを記録可能な装置が適している。例えば、アクセス速度及びシーク速度が速く、かつ大容量の光ディスク装置、光磁気ディスク装置、あるいは磁気ディスク装置等が適している。  情報収集部１２は、符号化された動画像データを情報蓄積部１１から読みだし、それからシーンチェンジ検出に用いられる情報を収集する装置である。情報収集部１２は、高速かつ精度良くシーンチェンジを検出するために、該動画像データの各フレームについて、動きベクトルの数、動きベクトルの大きさ、前後フレームとの相関が小さい領域の面積を抽出すると共に、図１５〜図１７に示す条件を満たすフレームの間隔を抽出する。そして、図１５〜図１７の条件を満たすフレームを抽出し、該フレームのみを評価関数算出部１３に出力することにより、評価関数算出部１３の演算時間の短縮を図っている。また、情報収集部１２において、不要な情報（シーンチェンジ検出に不要な情報）を除去することにより、シーンチェンジ検出の精度を向上させる。
【０１１０】
図１９のフローチャートを参照しながら、情報収集部１２の動作を説明する。同図は、Ｉ，Ｐピクチャのフレーム周期Ｍが“３”の場合の動作フローチャートである。
情報収集部１２は、連続する３つのピクチャ（フレーム）を読みだす。そして、それらのピクチャについて、まず、ピクチャヘッダを探索し、ピクチャタイプ（Ｉピクチャ、Ｂピクチャ、またはＰピクチャ）を復号する。また、動きベクトルのスケールを復号する（ステップＳ１１）。
【０１１１】
次に、マクロブロックヘッダを探索し（ステップＳ１２）、ピクチャ毎に第１のシーンチェンジ情報（動きベクトル数、動きベクトル量、前後フレームとの相関が小さい面積、双方向予測領域数）を抽出する（ステップＳ１３）。
【０１１２】
動きベクトルの数は、マクロブロックヘッダに動きベクトルの有無が書かれていることを利用して、前方向、後方向、及び双方向の時間的方向別にカウントする。また、同じく、マクロブロックヘッダに動きベクトルの有無が書かれていることを利用して、前後フレームとの相関が小さい面積もカウントする。また、マクロブロックヘッダから動きベクトルの大きさを復号する。そして、この復号した動きベクトルの値とステップＳ１１で復号した動きベクトルのスケールに対して所定の演算を行うことで、ピクセル単位の動きベクトルの大きさを求める。
【０１１３】
続いて、図１５乃至図１７の条件を満たすフレーム（ピクチャ）を見つけるために、動きベクトル数を比較する。このとき、比較演算数を減らすために、始めに、前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を第１の閾値と比較し、先頭とその次のフレームの双方向予測領域数が極小のものを選別する。そして、選別した３フレームのそれぞれについて、前方向予測動きベクトル数と後方向予測動きベクトル数を、それぞれ、第２及び第３の閾値と比較し、該比較結果が図１３乃至図１５のいずれかのシーンチェンジの条件を満たすか判断する（ステップＳ１４）。
そして、いずれかのシーンチェンジの条件を満たしていれば（ステップＳ１４ＹＥＳ）、条件を満たしているフレームについてフレーム間隔（第２のシーンチェンジ情報）を抽出した上で、該フレーム間隔とステップＳ１３で抽出した第１のシーンチェンジ情報をを評価関数算出部１３に出力する（ステップＳ１６）。
一方、ステップＳ１４で、シーンチェンジの条件を満たしていないと判断した場合には（ステップＳ１４、ＮＯ），ステップＳ１７に進む。
【０１１４】
ステップＳ１７では、符号化された動画像データの残りのフレーム（ピクチャ）が３フレーム以上あるか調べる。そして、３フレーム以上ある場合には、情報蓄積部１１から該動画像データの次の３フレームを読みだし（ステップＳ１８）、ステップＳ１１に戻る。
【０１１５】
このようにして、符号化された動画像データから図１５乃至図１７のいずれかの条件を満たすシーンチェンジのフレーム（ピクチャ）を全て検出し、該フレームのシーンチェンジ情報（第１及び第２のシーンチェンジ情報）を評価関数算出部１３に出力する。
【０１１６】
評価関数算出部１３は、情報収集部１２から上記シーンチェンジ情報を入力すると、評価関数Ｅ（ｉ）の値を算出する。この算出は、上記シーンチェンジ情報と情報収集部１２が上記シーンチェンジ情報を抽出した動画像データのジャンルに対応する係数Ｃ０〜Ｃ１６を基に行われる。
【０１１７】
該係数Ｃ０〜Ｃ１６は、予め、所定の手法によって決定される。すなわち、例えば、判別分析などの多変量解析手法、最急降下法などの最適化手法、ニューラルネットワークやファジー推論などの人間の脳の働きや判断を模擬した手法などにより決定される。また、既に、シーンチェンジ情報がシーンチェンジ情報記憶部１５に記憶されている場合は、該係数Ｃ０〜Ｃ１６は、ユーザなどによって再生する動画像ジャンルが変更されるとそれに応じて変更される。
シーンチェンジ決定部１４は、評価関数算出部１３によって算出された評価関数Ｅ（ｉ）の値を、予め設定された閾値と比較することにより、シーンチェンジを決定する。また、シーンチェンジ決定部１４は、既に、シーンチェンジ
情報がシーンチェンジ情報記憶部１５に記憶されている場合には、提示するシーンチェンジ数が指定された数となるように、上記閾値を変更する。
【０１１８】
シーンチェンジ情報記憶部１５は、シーンチェンジ決定部１４によって決定されたシーンチェンジの情報（シーンチェンジ情報）を記憶する。シーンチェンジ情報記憶部１５には、不揮発性のメモリを用いる。
【０１１９】
このことにより、シーンチェンジ情報記憶部１５は、同じ動画像データから再びシーンチェンジ情報を抽出するというオーバーヘッドをなくす機能を、動画像再生装置１０に与える。動画像データは、非常に大容量であり、情報蓄積部１１から動画像データを読みだす処理が、第１の実施形態の動画像再生装置１０において最も処理時間を要するため、このオーバーヘッドをなくすことで、該動画像再生装置１０全体の処理時間を大幅に短縮することができる。したがって、既に、シーンチェンジ情報がシーンチェンジ情報記憶部１５に記憶されている動画像データについて、提示するシーンチェンジ数やシーンチェンジの位置を変更する場合、以下に説明する図２０のフローチャートの処理を実行することにより、該変更処理を高速化する。
【０１２０】
図２０は、既に、シーンチェンジ情報がシーンチェンジ情報記憶部１５に記憶されている場合の第１の実施形態の動作を説明する図である。
まず、動画像のジャンルが選択されると、評価関数算出部１３は、評価関数Ｅ（ｉ）の係数Ｃ０〜Ｃ１６を該ジャンルに対応する値に設定する（ステップＳ２１）。
【０１２１】
次に、評価関数算出部１３は、シーンチェンジ情報記憶部１５から、該選択された動画像データに関するシーンチェンジ情報を読みだし（ステップＳ２２）、該シーンチェンジ情報を用いて評価関数Ｅ（ｉ）の値を算出する（ステップＳ２３）。ステップＳ２３とステップＳ２４の処理は、シーンチェンジ情報記憶部１５に記憶されている上記選択された動画像データの全てのシーンチェンジ情報に対して実施されるものとする。
【０１２２】
続いて、シーンチェンジ決定部１４は、各シーンチェンジ情報に対する該評価関数Ｅ（ｉ）の算出値を閾値と比較し、シーンチェンジを検出する（ステップＳ２４）。
シーンチェンジ決定部１４は、ステップＳ２４で検出した動画像のシーンチェンジ数を指定されたシーンチェンジ数と比較し、検出したシーンチェンジ数が指定されたシーンチェンジ数以下であるか判断する（ステップＳ２５）。
【０１２３】
そして、検出したシーンチェンジ数が指定シーンチェンジ数より多かった場合には（ステップＳ２５、ＮＯ）、検出されるシーンチェンジ数がより少なくなるように、評価関数Ｅ（ｉ）の閾値を変更し（ステップＳ２６）、ステップＳ２３に戻る。
【０１２４】
このようにして、ステップＳ２５で、検出されるシーンチェンジ数が指定シーンチェンジ数以下となるように、評価関数Ｅ（ｉ）の閾値を変更する。
第１の実施形態においては、復号化部１６により動画像を再生しながら、情報収集部１２、評価関数算出部１３及びシーンチェンジ決定部１４によりシーンチェンジを検出することが可能である。もちろん、第１の実施形態において、復号化部１６の動作を停止させ、動画像を再生せずに、情報収集部１２、評価関数算出部１３、シーンチェンジ決定部１４及びシーンチェンジ情報記憶部１５によりシーンチェンジ情報を蓄積することも可能である。
【０１２５】
図２１は、本発明の第２の実施形態の動画像再生装置２０を示すブロック図である。同図において、図１８の第１の実施形態の動画像再生装置１０内の構成要素と同一の構成要素には同一の符号を付与しており、これらの構成要素についての説明は省略する。
【０１２６】
第２の実施形態においては、復号化部２６内に情報収集部１２と同等の機能を有する情報収集部１２ａを設けている。第１の実施形態では、情報収集部１２と復号化部１６を別個のブロックとしていたが、第２の実施形態では、情報収集部１２ａを復号化部２６内に組み込むようにしている。情報収集部１２ａは、動画像を再構築する機能までは有しないものの、ピクチャヘッダ情報やマクロブロックヘッダ情報から動きベクトルなどを復号する。このようにして、復号化部１６と情報収集部１２とで共通していた機能の共通化を図り、復号化部２６内に情報収集部１２ａを組み込む。このように、復号化回路の共通化を図ることにより、動画像再生装置２０の回路規模を、第１の実施形態の動画像再生装置１０よりも小さくすることができ、シーンチェンジ検出機能を加えることによるコストの上昇を抑制することができる。
【０１２７】
また、情報蓄積部２１は、復号化部２６にのみ符号化された動画像データを出力する（第１の実施形態の動画像再生装置１００の情報蓄積部１１のように、情報収集部１２に符号化された動画像データを出力しない）。
【０１２８】
図２２は、復号化部２６の回路構成を示すブロック図である。
復号化部２６は、復号化器２００と情報収集部１２ａとで構成される。
復号化器２００は、入力バッファ２０１、可変長復号化器２０２、ジグザグ逆走査／逆量子化器２０３、逆離散コサイン変換器（ＩＤＣＴ）２０４、前フレームメモリ２０５、現フレームメモリ２０６、順方向動き補償化器２０７、双方向動き補償化器２０８，逆方向動き補償化器２０９、セレクタ２１０、加算器２１１、及び表示バッファ２１２を備える。
【０１２９】
入力バッファ２０１は、所定のレートで外部入力される動画像のフレーム（原フレームと呼ぶ）のブロックの画像の符号化データを一時的に格納するバッファである。また、前フレームメモリ２０５は、順方向動き補償及び双方向動き補償に必要な前フレームの復号画像を格納しておくフレームメモリである。現フレームメモリ２０６は、双方向動き補償及び逆方向動き補償に必要なフレームの復号画像を格納するフレームメモリである。該原フレームには、Ｉピクチャ、Ｂピクチャ及びＰピクチャがある。
【０１３０】
入力バッファ２０１に格納された動画像の各ブロックの符号化データは、可変長復号化器２０２によって復号される。この復号によって、ピクチャヘッダ情報やマクロブロックヘッダ情報が、可変長復号化器２０２から情報収集部１２ａに出力される。情報収集部１２ａは、上記第１の実施形態と同様にして動きベクトルの大きさを復号したり、動きベクトル数を抽出する。
【０１３１】
また、可変長復号化器２０２は、各ブロックの可変長符号化された離散コサイン係数の量子化データを復号する。原フレームがＩピクチャの場合には、ブロックの画像の離散コサイン係数の量子化データが復号されるが、Ｂピクチャ及びＰピクチャの場合は、ブロックの差分画像の離散コサイン係数の量子化データが復号される。
【０１３２】
可変長復号化器２０２によって復号された量子化データは、ジグザグ逆走査／逆量子化器２０３により、符号化時と逆の順序でジグザグ走査されながら逆量子化される。これにより、ジグザグ逆走査／逆量子化器２０３は、符号化された各ブロックの画像データ（Ｉピクチャの場合）または差分画像データ（Ｂピクチャ及びＰピクチャの場合）の離散コサイン係数を復号する。
【０１３３】
該復号化れた離散コサイン係数はＩＤＣＴ２０４により逆コサイン変換され、ブロックの画像データ（Ｉピクチャの場合）または差分画像データ（Ｂピクチャ及びＰピクチャの場合）が復号される。該ブロックの画像データまたは差分画像データは、加算器２１１に入力される。
【０１３４】
加算器２１１は、フレームの各ブロックの画像データを復元するものであり、Ｉピクチャのブロックの画像データが入力された場合には、その画像データをそのまま表示バッファ２１２に出力すると共に、前フレームメモリ２０５と現フレームメモリ２０６に出力する。ＭＰＥＧの場合、動画像の符号化データにおいて、画像データが復号される最初のピクチャはＩピクチャであるので、復号化器２００において、まず、Ｉピクチャの画像が復元され、この画像が前フレームメモリ２０５に格納される。また、該Ｉピクチャの復元画像は表示バッファ２１２に格納される。
【０１３５】
以上のようにして、Ｉピクチャの画像データがブロック単位で復元されるが、Ｐピクチャの画像は前フレームメモリ２０５に格納されている前に復元されたＩピクチャまたはＰピクチャの画像を用いて、順方向動き補償器２０７によって復元される。
【０１３６】
順方向動き補償器２０７は、復号された順方向動きベクトル（前方向予測動きベクトル）を基に、前フレームメモリ２０５から順方向（前方向）の予測ブロック画像データを読みだし、これをセレクタ２１０に出力する。セレクタ２１０は、Ｐピクチャの画像が復元される際には、順方向動き補償器２０７からの出力を加算器２１１に選択出力する。これにより、順方向動き補償器２０７から出力されるＰピクチャの順方向予測ブロック画像データ（前方向予測画像データ）とＩＤＣＴ２０４から出力されるＰピクチャの差分ブロック画像データとが、加算器２１１によって加算されることにより、加算器２１１によりＰピクチャの画像がブロック単位で復元される。このようにして復元されたＰピクチャの復元ブロック画像データは、表示バッファ２１２に格納されると共に、前フレームメモリ２０５または現フレームメモリ２０６に格納される。この場合、前フレームメモリ２０５に格納されるＰピクチャの画像データが、現フレームメモリ２０６に格納されるＰピクチャの画像データよりも、常に、前のフレームであるようにするための処理が施される。例えば、新たなＰピクチャの画像データが現フレームメモリ２０６に格納される場合には、現フレームメモリ２０６に格納されている前に復元されたＰピクチャの画像データが前フレームメモリ２０５に転送された後、該新たなＰピクチャの画像データが現フレームメモリ２０６に格納される。
【０１３７】
また、Ｂピクチャの画像の復元は、前フレームメモリ２０５に格納されている前フレーム（ＩピクチャまたはＰピクチャ）の画像データと現フレームメモリ２０６に格納されている現フレーム（Ｐピクチャ）の画像データとを基に行われる。動画像データを符号化する際、Ｂピクチャは、原画像において時間的に後のＩピクチャまたはＰピクチャの後に符号化されるので、Ｂピクチャを復元する際、原画像において時間的に後のＩピクチャまたはＰピクチャの画像データは、既に復元され、現フレームメモリ２０６に格納されている。また、原画像において時間的に前のＩピクチャまたはＰピクチャの画像データは前フレームメモリ２０５に既に格納されている。
【０１３８】
双方向動き補償器２０８は、復号された順方向動き補償（前方向予測動きベクトル）を基に、前フレームメモリ２０５からＢピクチャの順方向予測ブロック画像データ（前方向予測ブロック画像データ）を読みだす。また、双方向動き補償器２０８は、復号された逆方向動きベクトル（後方向予測動きベクトル）を基に、現フレームメモリ２０６からＢピクチャの逆方向予測ブロック画像データ（後方向予測ブロック画像データ）を読みだす。そして、双方向動き補償器２０８は、上記順方向予測ブロック画像データと上記逆方向予測ブロック画像データとからＢピクチャの予測ブロック画像データを生成し、これをセレクタ２１０に出力する。セレクタ２１０は、Ｂピクチャの画像データが復元される際には、双方向動き補償器２０８から出力されるＢピクチャの予測ブロック画像データを加算器２１１に出力する。加算器２１１は、セレクタ２１０から入力されるＢピクチャの予測ブロック画像データとＩＤＣＴ２０４から入力されるＢピクチャの差分ブロック画像データとを加算し、Ｂピクチャのブロック画像データを復元する。そして、加算器２１１は、該復元したＢピクチャのブロック画像データを表示バッファ２１２に出力する。これにより、表示バッファ２１２には、Ｂピクチャの復元ブロック画像データが格納される。
【０１３９】
逆方向動き補償器２０９は、Ｂピクチャが双方向動き予測ではなく逆方向動き予測（後方向動き予測）により符号化されている場合、復号された逆方向動きベクトル（後方向予測動きベクトル）を基に、現フレームメモリ２０６に格納されているＰピクチャの画像データからＢピクチャの予測ブロック画像データを生成する。そして、逆方向動き補償器２０９によって生成されたＢピクチャの予測ブロック画像データは、セレクタ２１０によって加算器２１１に選択出力される。加算器２１１は、セレクタ２１０から入力されるＢピクチャの予測ブロック画像データとＩＤＣＴ２０４から入力されるＢピクチャの差分ブロック画像データとを加算し、Ｂピクチャのブロック画像データを復元する。この復元されたＢピクチャのブロック画像データは、加算器２１１から表示バッファ２１２に出力・格納される。
【０１４０】
情報収集部１２ａは、可変長復号化器２０２から入力されるマクロブロックヘッダ情報とピクチャヘッダ情報を基に、図１９のフローチャートの処理を実行して、シーンチェンジの条件を満たすフレームを検出し、該フレームのシーンチェンジ情報（動きベクトルの数、動きベクトルの大きさ、前後のフレームとの相関の低い面積、双方向予測領域の数、及びフレーム間隔）を評価関数算出部１３に出力する。
【０１４１】
以上の構成により、第２の実施形態においても、第１の実施形態と同様にして、シーンチェンジを検出することができる。
次に、本発明の第３の実施形態の動画像再生装置について説明する。
【０１４２】
図２３は、第３の実施形態の動画像再生装置３００のシステム構成を示すブロック図である。同図において、図１８の第１の実施形態の動画像再生装置１０内の構成要素と同一の構成要素には同一の符号を付与しており、これらの構成要素の説明は省略する。
【０１４３】
第１の実施形態の動画像再生装置１０においては、情報蓄積部１１とシーンチェンジ情報記憶部１５を個別に設けていたが、第３の実施形態の動画像再生装置３００においては、情報蓄積部３１をデータの書換え可能な記録装置とし、情報蓄積部３１に符号化された動画像データのみならず、シーンチェンジ決定部３４によってシーンチェンジと決定されたシーンのシーンチェンジ情報を記録するようにしている。
【０１４４】
このように、第３の実施形態の動画像再生装置３００においては、シーンチェンジ検出機能を付加したことによるコストの上昇を、情報蓄積部とシーンチェンジ情報記憶部を共通化することで、抑制するようにしている。
【０１４５】
情報蓄積部３１としては、例えば、光ディスク、光磁気ディスク、または磁気ディスクなどのリムーバブルな記録媒体を装着可能な記録装置を使用することができる。情報蓄積部３１にこのような記録装置を採用した場合、パーソナルコンピュータ（パソコン）やワークステーションなどの外部の情報処理装置で、情報蓄積部３１に記録する符号化された動画像データのシーンチェンジ情報を作成し、このシーンチェンジ情報を該動画像データと共に記録させる構成とすることが可能となる。
【０１４６】
尚、この場合、上記外部情報処理装置は、例えば、図１９のシーンチェンジ検出処理を実現するプログラムを実行することにより、符号化された動画像データのシーンチェンジ情報を作成する。尚、図１９のシーンチェンジ検出処理は、専用のハードウェア（ＤＳＰ，ＡＳＩＣ，システムＬＳＩ等）により実現することも可能である。
【０１４７】
情報蓄積部３１に符号化された動画像データとそのシーンチェンジ情報を記録しておくことにより、シーンチェンジ決定部３４がシーンチェンジを検出するまでの処理時間を短縮することができる。すなわち、例えば、情報収集部１２の処理を省略することができる。また、場合によっては、評価関数算出部１３の処理も省略し、シーンチェンジ決定部３４が、情報蓄積部３１から読みだしたシーンチェンジ情報を基に、シーンチェンジのフレームを復号化部１６に通知するように構成することも可能である。この場合、復号化部６は、通知されたシーンチェンジのフレームの画像を高速に復元することが可能となる。
【０１４８】
尚、シーンチェンジ数がユーザによりシーンチェンジ決定部３４に対して指定される場合には、シーンチェンジ決定部３４は図２０のフローチャートの処理を実行して評価関数Ｅ（ｉ）の閾値を変更し、ユーザにより指定された数と同数のシーンチェンジを検出する。このとき、上述したように、符号化された動画像データとそのシーンチェンジ情報が情報蓄積部３１に記録されるシステムにおいては、評価関数算出部１３は、情報収集部１２を介さずに、情報蓄積部３１から直接シーンチェンジ情報を読みだす形態を取ることが可能である。このような形態とすることにより、シーンチェンジの検出が高速化される。
【０１４９】
次に、本発明の第４の実施形態の動画像再生装置について説明する。
図２４は、本発明の第４の実施形態の動画像再生装置４００のシステム構成を示すブロック図である。
【０１５０】
動画像再生装置４００は、図２１の第２の実施形態の動画像再生装置２０と図２３の第３の実施形態の動画像再生装置３００とを組み合わせた構成をしている。情報蓄積部４１は、図２３の情報蓄積部３１と同様に符号化された動画像データを記録すると共に、シーンチェンジ決定部３４によってシーンチェンジと検出されたシーンのシーンチェンジ情報を記録する。
【０１５１】
復号化部４６は、図２１の動画像再生装置２００の復号化部２６と同様な構成であり、内部に情報収集部１２ａを備えている。このことにより、第４の実施形態の動画像再生装置４００は、第１の実施形態の動画像再生装置１０や第３の実施形態の動画像再生装置３００のように、情報収集部１２を別個に備えていない。
【０１５２】
このように、第４の実施形態の動画像再生装置４００は、第２の実施形態の動画像再生装置２０の利点と第３の実施形態の動画像再生装置３００の利点を兼ね備えており、動画像再生装置２０及び動画像再生装置３００のいずれよりも装置コストを低くすることができる。
【０１５３】
次に、本発明の第５の実施形態を説明する。
本発明の動画像再生装置は、ソフトウェア（プログラム）とそのソフトウェアを実行するＣＰＵ、あるいは、ソフトウェア（プログラム）とそのソフトウェアを実行する計算機によって実現することが可能である。
【０１５４】
図２５は、本発明の第５の実施形態の動画像再生装置であるコンピュータ５００のシステム構成を示すブロック図である。
コンピュータ５００は、ＣＰＵ５０１と該ＣＰＵ５０１とバス５０９によって接続されたＲＯＭ６０２、ＲＡＭ６０３、外部記憶装置５０４、記録媒体駆動装置５０５、入出力装置５０７、及び通信インターフェース５０７から構成されている。
【０１５５】
ＣＰＵ５０１は、ＲＡＭ５０３にロードされたプログラムを実行することにより、後述する図２６及び図２７のフローチャートに示す処理を実行する。該プログラムは、ＲＯＭ５０１、外部記憶装置５０４、または記録媒体駆動装置５０５に装着される可搬記録媒体５０６に格納されている。また、該プログラムは、通信インターフェース５０８を介して、コンピュータ５００とネットワーク６００により接続されている情報提供者７００から、外部記憶装置５０４や記録媒体駆動装置５０５に装着された可搬記録媒体５０６等にダウンロードされる。
【０１５６】
外部記憶装置５０４、または記録媒体駆動装置５０５に装着された可搬記録媒体５０６には、符号化された動画像データが記録されている。
入出力装置５０７は、キーボードやマウス等のポインティング・デバイス等を備える入力装置とＣＲＴディスプレイ、ＬＣＤ等の表示装置から成る。ユーザは、入出力装置５０７を介して、本実施形態のプログラムの実行の開始及び終了、再生すべき動画像のジャンルの選択、該動画像から検出すべきシーンチェンジ数等を指定する。
【０１５７】
図２６及び図２７は、本発明の第５の実施形態のコンピュータ５００によって実行される処理を説明するフローチャートである。これらのフローチャートに示す処理は、ＣＰＵ５０１がＲＡＭ５０３にロードされるプログラムを実行することによって行われる。
【０１５８】
図２６は、コンピュータ５００が外部記憶装置５０４に記録されている動画像の符号化データから新たにシーンチェンジを検出する処理の流れを示すフローチャートである。尚、同図は、Ｉ，Ｐピクチャの周期Ｍが“３”の場合のフローチャートである。
【０１５９】
まず、ユーザにより、入出力装置５０７を介して、シーンチェンジを検出すべき動画像のジャンルが選択される（ステップＳ５１）。
これにより、外部記憶装置５０４から上記選択されたジャンルの符号化された動画像データが読みだされ、該動画像データのピクチャヘッダの探索が行われる（ステップＳ５２）。次に、上記動画像データのマクロブロックヘッダの探索が行われる（ステップＳ５３）。
【０１６０】
ステップＳ５２とステップＳ５３の処理は、それぞれ、上述した図１９のフローチャートのステップＳ１１とステップＳ１２と同様な処理であるので、ここでは、詳しい説明は省略する。
【０１６１】
次に、ステップＳ５２とステップＳ５３の処理結果を基に、ピクチャ毎に、シーンチェンジ情報を抽出する（ステップＳ５４）。このステップＳ５４の処理も、上述した図１９のフローチャートのステップＳ１３と同様の処理であり、ステップＳ５４において、各フレームの第１のシーンチェンジ情報、すなわち、動きベクトル数（前方向予測動きベクトル数、後方向予測動きベクトル数前方向予測数）、各動きベクトルの大きさ、前後のフレームとの相関が小さい面積、及び双方向予測領域数が抽出される。
【０１６２】
ステップＳ５２〜Ｓ５４の処理は連続する３フレームについて行われ、続いて、それらの３フレームが図１５乃至図１７に示すいずれかの条件を満たすか判断する（ステップＳ５５）。
【０１６３】
このステップＳ５５の処理は図１９のフローチャートのステップＳ１４と同様の処理であり、比較演算数を減少するために、まず、最初の２フレームの双方向予測領域数が極小であるか判断し、この条件を満たした場合には、上記３フレームについて、前方向予測動きベクトル数と後方向予測動きベクトル数が図１５乃至図１７に示す条件のいずれかを満たすか判断する。
【０１６４】
そして、いずれの条件も満たしていない場合には（ステップＳ５５、ＮＯ），ステップＳ６１に進む。
一方、ステップＳ５５でいずれかの条件を満たしていると判断した場合には（ステップＳ５５、ＹＥＳ）、シーンチェンジポイントとなっているフレームについて、前にシーンチェンジが検出されたフレームとのフレーム間隔（第２のシーンチェンジ情報）を算出し、このフレーム間隔に、ステップＳ５４で抽出した第１のシーンチェンジ情報を加えたシーンチェンジ情報を外部記憶装置５０４に記録・保存する（ステップＳ５７）。
【０１６５】
このように、図１５乃至図１７のいずれかの条件を満たすシーンチェンジのフレームについて、上記シーンチェンジ情報を外部記憶装置５０４に保存し、後で、このシーンチェンジ情報を再利用する。
【０１６６】
次に、上記シーンチェンジ情報を基に評価関数Ｅ（ｉ）の値を演算し（ステップＳ５８）、続いて、評価関数Ｅ（ｉ）の値が閾値より大きいか判別する（ステップＳ５９）。
そして、評価関数Ｅ（ｉ）の値が閾値以下であれば（ステップＳ５９，ＮＯ），ステップＳ６１に進むが、閾値より大きければ（ステップＳ５９，ＹＥＳ）、シーンチェンジを検出したと判断し、例えば入出力装置５０７を介してシーンチェンジのフレームの画像をユーザに提示する等の処理を行う（ステップＳ６０）。
【０１６７】
次に、外部記憶装置５０４に蓄積されている符号化された動画像データの残りのフレーム（ピクチャ）が３フレーム以上あるか調べ（ステップＳ６１）、３フレーム以上あれば、次の３フレーム（ピクチャ）を外部記憶装置５０４から読みだし（ステップＳ６２）、ステップＳ５２に戻る。
【０１６８】
以上のようにして、選択されたジャンルの符号化された動画像データについて、該動画像データの残りフレーム（ピクチャ）が３フレームより少なくなるまで、ステップＳ５２〜Ｓ６１のループ処理を繰り返し、該動画像のシーンチェンジを検出すると共に、該動画像のフレーム（ピクチャ）の中から、図１５乃至図１７のいずれかの条件を満たすフレームを抽出し、該フレームに関するシーンチェンジ情報を外部記憶装置５０４に保存する。
【０１６９】
図２６は、図２５のフローチャートの処理等により、外部記憶装置５０４に、既にシーンチェンジ情報が蓄積されている場合に、該シーンチェンジ情報を用いてシーンチェンジを検出するコンピュータ５００の処理フローを示すフローチャートである。尚、本フローチャートの処理を実行する前に、予め、ユーザの指定等により、提示するシーンチェンジ数が設定されているものとする。
【０１７０】
まず、ユーザにより、入出力装置５０７を介して、シーンチェンジを検出する動画像のジャンルを選択する（ステップＳ７１）。次に、その選択されたジャンルの動画像の全てのシーンチェンジ情報を外部記憶装置５０４から読みだす（ステップＳ７２）。
【０１７１】
続いて、各シーンチェンジ情報毎に、評価関数Ｅ（ｉ）の値を演算し（ステップＳ７３）、次に、各シーンチェンジ情報の評価関数Ｅ（ｉ）の値を現在の閾値と比較する（ステップＳ７４）。そして、現在の閾値よりも評価関数Ｅ（ｉ）の値が大きいシーンチェンジ情報の数（シーンチェンジ数）を求め、そのシーンチェンジ数が、予め指定されたシーンチェンジ数以下であるか判別する（ステップＳ７５）。
【０１７２】
そして、検出されたシーンチェンジ数が指定されたシーンチェンジ数より多い場合には、現在の閾値をより大きな値に変更し（ステップＳ７５）、ステップＳ７３に戻る。
このようにして、選択されたジャンルの動画像について、検出されるシーンチェンジ数が指定シーンチェンジ数以下となるように、閾値の値を変更し、最終的に、指定シーンチェンジ数以下のシーンチェンジを検出する。そして、最終的に決定されたシーンチェンジは、例えば、入出力装置５０７を介してユーザに提示される。
【０１７３】
次に、本発明の第６の実施形態について説明する。
図２８は、本発明第６の実施形態の動画像記録・再生装置８００のシステム構成を示すブロック図である。
【０１７４】
この動画像記録・再生装置８００は、図２４の第４の実施形態の動画像再生装置４００に、ＴＶ（テレビジョン）映像信号（第１のＴＶ映像信号）及び符号化された動画像データを用いたＴＶ映像信号（第２のＴＶ映像信号）の受信機能、ビデオ映像信号の入出機能、さらには、該第１のＴＶ映像信号及び該ビデオ映像信号を符号化して記録する機能を付加したものである。
【０１７５】
第１のＴＶ映像信号は、例えば、アナログＴＶ放送、デジタルＴＶ放送による映像信号である。また、第２のＴＶ映像信号は、例えば、符号化された動画像データを用いたデジタル放送による映像信号である。ビデオ映像信号は、例えば、アナログまたはデジタルのビデオカメラにより撮影された映像信号である。
【０１７６】
選局部（第１の選局部）８０１は、第１のＴＶ映像信号を受信するチューナー等を備えた受信機であり、各チャネルの第１のＴＶ映像信号を選局し、受信した第１のＴＶ映像信号を符号化部８０３に出力する。
【０１７７】
選局部（第２の選局部）８０２は、第２のＴＶ映像信号を受信するチューナー、復調器、誤り訂正器等を備えた受信機であり、各チャネルの第２のＴＶ映像信号を選局し、受信した第２のＴＶ映像信号を復調して情報蓄積部４１に出力・記録する。
【０１７８】
符号化部３０２は、選局部８０１から入力される第１のＴＶ映像信号またはビデオ映像信号をＭＰＥＧ等により符号化し、符号化により得られた動画像データを情報蓄積部４１に出力・記録する。また、選局部８０２、符号化８０３の出力、及び外部入力される符号化された動画像データは復号化部４６の情報収集部１２に出力される。
【０１７９】
情報収集部１２は、それらの入力データ（符号化された動画像データ）からシーンチェンジ情報を抽出し、それを評価関数算出部１３に出力する。評価関数算出部１３は、情報収集部１２から入力されるシーンチェンジ情報を基に評価関数Ｅ（ｉ）を演算し、その演算値をシーンチェンジ決定部３４に出力する。シーンチェンジ決定部３４は、評価関数算出部１３から入力される評価関数Ｅ（ｉ）の値を閾値と比較することによりシーンチェンジのフレームを検出する。
【０１８０】
また、情報収集部１２は抽出したシーンチェンジ情報を情報蓄積部４１内に設けられたシーンチェンジ情報記憶部４１ａに出力・記録する。また、評価関数算出部１３は、シーンチェンジ情報記憶部４１ａに記憶されているシーンチェンジ情報を読みだし、それを基に評価関数Ｅ（ｉ）を演算し、その演算値をシーンチェンジ決定部３４に出力する。
【０１８１】
シーンチェンジ決定部３４は、評価関数算出部１３から入力される評価関数Ｅ（ｉ）の値を閾値と比較することにより、ユーザにより設定されたシーンチェンジ数と同数のシーンチェンジを決定し、該シーンチェンジのフレームを復号化部４６に通知する。復号化部４６は、シーンチェンジ決定部３４から通知されたフレームの符号化データを情報蓄積部４１から読みだして復号し、シーンチェンジのフレームの画像を出力する。
【０１８２】
情報蓄積部４１は、例えば、光磁気ディスク装置である。光磁気ディスクは、他の記録媒体に比べてサイズが小さく、かつ可搬性に優れており、磁気テープなどと比較した場合、何度、記録・再生しても半永久的に性能が劣化しないため、耐久性に優れている。
【０１８３】
また、光磁気ディスク装置はシーク時間が短くアクセス速度が速いため、高速アクセス性に優れている。また、光磁気ディスク装置はデータ転送速度も速い。したがって、情報蓄積部４１に光磁気ディスク装置を採用することにより、動画像の記録・再生機能を高めることができる。
【０１８４】
例えば、光磁気ディスク装置のデータ転送速度は光磁気ディスクに対するデータの読み込み速度と書き込み速度の合計速度よりも十分に速いことを利用して、アナログＴＶ放送、デジタルＴＶ放送、及びビデオカメラなどの映像を、少なくとも同時に２チャンネル録画することが可能となる。また、ある映像を録画しながら他の映像再生することも可能になる。すなわち、ある番組を録画中にその番組の映像を記録されているのであれば、どこからでも再生して見るような利用ができるようになる。
【０１８５】
また、動画像記録・再生装置８００によれば、ある番組を録画しながら、その番組のシーンチェンジを検出することができる。また、放送映像信号やビデオ映像信号を情報蓄積部４１に録画し、録画中、あるいは既に録画された符号化された動画像データを情報蓄積部４１から読みだして、該動画像のシーンチェンジを検出することができる。また、さらに、符号化部８０３、選局部８０２または外部から入力される符号化された動画像データからシーンチェンジを検出して、シーンチェンジ情報のみをシーンチェンジ情報記憶部４１ａに記録させることもできる。また、ある動画像を再生しながら、別の動画像のシーンチェンジを検出することも可能である。
【０１８６】
尚、第４の実施形態の動画像再生装置４００の代わりに、第１乃至第３の動画像再生装置のいずれかを用いて、第６の実施形態の動画像記録・再生装置８００と同様な動画像記録・再生装置を構成するようにすることも可能である。
【０１８７】
尚、情報蓄積部４１として光磁気ディスク装置ではなく、例えば、磁気ディスク装置を用いるようにしてもよい。
本発明は、ハードウェア、ファームウェア、またはソフトウェアのいずれによっても実現可能であり、システムＬＳＩのＩＰ（Ｉｎｔｅｌｌｅｃｔｕａｌ  Ｐｒｏｐｅｒｔｙ）として実現することも可能である。また、ＳＴＢ（セット・トップ・ボックス）やパソコンに組み込むことも可能である。
【０１８８】
以上、説明したように、本発明によれば、各フレームについて、動きベクトルに関する第１の情報に加え、画像を復号することなく前後のフレームとの相関性に関する第２の情報を収集し、第１の情報と第２の情報をパラメータとして含む評価関数の値を算出し、その算出値と閾値との比較により、シーンチェンジを決定するので、従来よりも、高速かつ正確にシーンチェンジを検出できる。
【０１８９】
また、前記評価関数を、各パラメータをそれぞれのパラメータに割り当てられた係数を用いて線形結合した関数とし、シーンチェンジを検出する動画像データの内容（ジャンル）によって、前記評価関数の各パラメータの係数を変更することにより、各種の動画像の特性に応じたシーンチェンジの検出が可能となり、あらゆるジャンルの動画像について、正確に、シーンチェンジを検出することができる。
【０１９０】
また、前記評価関数を、オフセット用の定数を有する関数とすることにより、はめ込み合成などの縮小画像等についても、該定数を調整することにより、正確に、シーンチェンジを検出することが可能になる。
【０１９１】
また、各フレームについて前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を収集し、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群のフレームについてのみ評価関数を演算して、評価関数の演算回数を削減することにより、シーンチェンジ検出の精度を保ったまま、シーンチェンジ検出を高速化することが可能となる。
【０１９２】
また、前記フレーム群の各フレームにおける前方向予測動きベクトルと後方向予測動きベクトルの両方を持つ双方向予測領域の数を、前記評価関数のパラメータとして付加することにより、評価関数Ｅをより適切な関数とすることができ、その結果として、シーンチェンジ検出の精度を更に向上させることができる。
【０１９３】
また、前記双方向予測領域数に加え、前記連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のシーンチェンジとなるフレームの出現間隔も、前記評価関数のパラメータとして付加することにより、シーンチェンジ検出の精度を一段と向上させることができる。
【０１９４】
また、前記第１の情報、前記第２の情報、及び前記フレーム間隔を含むシーンチェンジ情報を記憶し、その後は、該シーンチェンジ情報を用いて評価関数の値を算出しながら、シーンチェンジを検出するようにすることで、シーンチェンジ検出の更なる高速化が可能となる。
【０１９５】
また、指定されたシーンチェンジ数に応じて、評価関数の値と比較する閾値を変更することにより、例えば、重要性の高いシーンチェンジのみを指定された数だけ、ユーザに提示することができる。
【０１９６】
また、連続するフレームが共に該双方向予測領域数が少ないという条件を満たすフレーム群内のフレームの前記第１の情報と前記第２の情報、及び前記シーンチェンジとなるフレームの出現間隔を、シーンチェンジ情報として記憶し、該記憶されたシーンチェンジ情報を用いて評価関数の値を算出し、該評価関数の算出値を閾値と比較してシーンチェンジを決定することにより、シーンチェンジ情報の記憶容量の削減、及び高精度のシーンチェンジ検出の高速化が可能となる。
また、前記第１の情報と前記第２の情報に加え、前記シーンチェンジとなるフレームの出現間隔をパラメータとして加味した評価関数の値を用いてシーンチェンジを検出することにより、シーンチェンジの検出精度を高めることができる。
また、シーンチェンジのフレームの画像のみを、高速に復元することができる。
産業上の利用可能性
本発明は、符号化された動画像データのシーンチェンジ検出において広く利用されうる。応用分野としは、動画像の検索システムや動画像の編集システムにおいて有用である。また、本発明は、動画像再生装置にも有用である。
【図面の簡単な説明】
【０１９７】
【図１】図１は、本発明の動画像再生装置の原理を示すブロック図である。
【図２】図２は、シーンチェンジを説明する図である。
【図３Ａ】図３Ａは、ＭＰＥＧにより符号化された動画像の符号化データの階層構造を示す図である。
【図３Ｂ】図３Ｂは、シーケンスの構成を示す図である。
【図４】図４は、動きベクトルの大きさとシーンチェンジとの関係を示す図である。
【図５】図５は、前方向予測動きベクトル数とシーンチェンジとの関係を示す図である。
【図６】図６は、前後フレームと相関のない領域の面積とシーンチェンジとの関係を示す図である。
【図７】図７は、本発明でシーンチェンジを検出できるはめ込み合成画像の例を示す図である。
【図８】図８は、フレーム間予測符号化における、前方向予測と後方向予測を説明する図である。
【図９】図９は、ｉフレームがシーンチェンジポイントの場合における、ｉフレーム、ｉ＋１フレームとｉ＋２フレームでの前方向予測動きベクトル数を説明する図である。
【図１０】図１０は、ｉ＋１フレームがシーンチェンジポイントの場合における、ｉ＋１フレーム、ｉ＋２フレームでの前方向予測動きベクトル数と、ｉフレームでの後方向予測動きベクトル数を説明する図である。
【図１１】図１１は、ｉ＋１フレームがシーンチェンジポイントの場合における、ｉ＋２フレームでの前方向予測動きベクトル数と、ｉフレームとｉ＋１フレームでの後方向予測動きベクトル数を説明する図である。
【図１２】図１２は、ｉフレームがシーンチェンジポイントの場合における、前方向予測動きベクトル数と後方向予測動きベクトル数を用いたシーンチェンジ検出条件を示す図である。
【図１３】図１３は、ｉ＋１フレームがシーンチェンジポイントの場合における、前方向予測動きベクトル数と後方向予測動きベクトル数を用いたシーンチェンジ検出条件を示す図である。
【図１４】図１４は、ｉ＋２フレームがシーンチェンジポイントの場合における、前方向予測動きベクトル数と後方向予測動きベクトル数を用いたシーンチェンジ検出条件を示す図である。
【図１５】図１５は、ｉフレームがシーンチェンジポイントの場合における、前方向予測動きベクトル数，後方向予測動きベクトル数、及び双方向予測領域数を用いたシーンチェンジ検出条件を示す図である。
【図１６】図１６は、ｉ＋１フレームがシーンチェンジポイントの場合における、前方向予測動きベクトル数と後方向予測動きベクトル数、及び双方向予測領域数を用いたシーンチェンジ検出条件を示す図である。
【図１７】図１７は、ｉ＋２フレームがシーンチェンジポイントの場合における、前方向予測動きベクトル数と後方向予測動きベクトル数、及び双方向予測領域数を用いたシーンチェンジ検出条件を示す図である。
【図１８】図１８は、本発明の第１の実施形態の動画像再生装置のシステム構成を示すブロック図である。
【図１９】図１９は、第１の実施形態の動画像再生装置の情報収集部の動作を説明するフローチャートである。
【図２０】図２０は、既に、シーンチェンジ情報が記録されている場合に、動画像のジャンルと提示するシーンチェンジ数が指定されたときの第１の実施形態の動画像再生装置の動作を説明するフローチャートである。
【図２１】図２１は、本発明の第２の実施形態の動画像再生装置のシステム構成を示すブロック図である。
【図２２】図２２は、第２の実施形態の動画像再生装置の復号化部の詳細な回路構成を示すブロック図である。
【図２３】図２３は、本発明の第３の実施形態の動画像再生装置のシステム構成を示すブロック図である。
【図２４】図２４は、本発明の第４の実施形態の動画像再生装置のシステム構成を示すブロック図である。
【図２５】図２５は、本発明の第５の実施形態の動画像再生装置のシステム構成を示すブロック図である。
【図２６】図２６は、本発明の第５の実施形態の動画像再生装置において、新規にシーンチェンジを検出する場合の処理の流れを説明するフローチャートである。
【図２７】図２７は、本発明の第５の実施形態の動画像再生装置において、提示するにシーンチェンジ数を変更する場合の処理の流れを説明するフローチャートである。
【図２８】図２８は、本発明の第６の実施形態の動画像記録・再生装置のシステム構成を示すブロック図である。
【図１】
0003939551.tif 000002
【図２】
0003939551.tif 000003
【図３Ａ】
0003939551.tif 000004
【図３Ｂ】
0003939551.tif 000005
【図４】
0003939551.tif 000006
【図５】
0003939551.tif 000007
【図６】
0003939551.tif 000008
【図７Ａ】
0003939551.tif 000009
【図７Ｂ】
0003939551.tif 000010
【図８】
0003939551.tif 000011
【図９】
0003939551.tif 000012
【図１０】
0003939551.tif 000013
【図１１】
0003939551.tif 000014
【図１２】
0003939551.tif 000015
【図１３】
0003939551.tif 000016
【図１４】
0003939551.tif 000017
【図１５】
0003939551.tif 000018
【図１６】
0003939551.tif 000019
【図１７】
0003939551.tif 000020
【図１８】
0003939551.tif 000021
【図１９】
0003939551.tif 000022
【図２０】
0003939551.tif 000023
【図２１】
0003939551.tif 000024
【図２２】
0003939551.tif 000025
【図２３】
0003939551.tif 000026
【図２４】
0003939551.tif 000027
【図２５】
0003939551.tif 000028
【図２６】
0003939551.tif 000029
【図２７】
0003939551.tif 000030
【図２８】
0003939551.tif 000031