(57)【要約】【課題】圧縮符号化された動画像の符号化データのヘッダ情報を利用してシーンチェンジを検出する新規な装置及び方法を提供する。【解決手段】情報取得部１１１によって、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００による動画像の符号化データから１つ以上の特定のヘッダ情報が抽出される。情報取得部１１１より、抽出されたヘッダ情報、及び／又は、抽出されたヘッダ情報に基づいて求められた特定の１つ以上の特徴量が出力され、それは比較判定処理部１１３に入力されるとともに情報一時記憶部１１２に一時記憶される。比較判定処理部１１３において、現フレームとその前のフレームの間で、ヘッダ情報及び／又は特徴量を比較することにより、現フレームでシーンチェンジが発生したか否かを判定する。多様なシーンチェンジ検出を高速に行うことができる。【選択図】　　　図２３
2004120497.tif 000002
【特許請求の範囲】
【請求項１】
連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出装置であって、
各フレームの符号化データより特定の１つ以上のヘッダ情報を取得する第１の手段と、前記第１の手段により抽出されたヘッダ情報をフレーム間で比較することによりシーンチェンジの発生を判定する第２の手段とを有することを特徴とするシーンチェンジ検出装置。
【請求項２】
連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出装置であって、
各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の手段と、前記第１の手段により求められた特徴量をフレーム間で比較することによりシーンチェンジの発生を判定する第２の手段とを有することを特徴とするシーンチェンジ検出装置。
【請求項３】
連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出装置であって、
各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の手段と、前記第１の手段により抽出されたヘッダ情報と前記第１の手段により求められた特徴量の少なくとも一方をフレーム間で比較することによりシーンチェンジの発生を判定する第２の手段とを有することを特徴とするシーンチェンジ検出装置。
【請求項４】
請求項２又は３に記載のシーンチェンジ検出装置において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の手段により求められる特徴量は、解像度レベル毎の符号量、位置毎の符号量、コンポーネント毎の符号量、レイヤ毎の符号量、ＲＯＩ領域の位置のうちの１つ以上に関連するものであることを特徴とするシーンチェンジ検出装置。
【請求項５】
請求項１又は３に記載のシーンチェンジ検出装置において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の手段により抽出されるヘッダ情報は、コードブロックのサイズ、プリシンクトのサイズ、タイルのサイズ、画像のサイズ、プログレッション順序、レイヤ数、量子化、色変換、デコンポジションレベル数、ウェーブレット変換、タイルのオフセット、コンポーネント数、ビット数、サンプル数、コメントのうちの１つ以上に関連するものであることを特徴とするシーンチェンジ検出装置。
【請求項６】
各フレームの符号化データの一部符号を復号伸長して画像データを生成する第３の手段と、前記第２の手段によりシーンチェンジが発生したと判定されたフレームとその前のフレームの、前記第３の手段により生成された画像データを比較することによりシーンチェンジの発生の二次判定を行う第４の手段とをさらに有することを特徴とする請求項１乃至５のいずれか１項に記載のシーンチェンジ検出装置。
【請求項７】
請求項１乃至６のいずれか１項に記載のシーンチェンジ検出装置と、符号化データより画像検索のための静止画特徴量を抽出する第５の手段とを有することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、前記第５の手段は符号化データの特定のヘッダ情報を利用して静止画特徴量を抽出することを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置において、前記第５の手段は、符号化データの一部の符号の復号伸長により生成された画像データから静止画特徴量を抽出することを特徴とする画像処理装置。
【請求項１０】
連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出方法であって、
各フレームの符号化データより特定の１つ以上のヘッダ情報を取得する第１の処理と、前記第１の処理により抽出されたヘッダ情報をフレーム間で比較することによりシーンチェンジの発生を判定する第２の処理とを含むことを特徴とするシーンチェンジ検出方法。
【請求項１１】
連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出方法であって、
各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の処理と、前記第１の処理により求められた特徴量をフレーム間で比較することによりシーンチェンジの発生を判定する第２の処理とを含むことを特徴とするシーンチェンジ検出方法。
【請求項１２】
連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出方法であって、
各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の処理と、前記第１の処理により抽出されたヘッダ情報と前記第１の処理により求められた特徴量の少なくとも一方をフレーム間で比較することによりシーンチェンジの発生を判定する第２の処理とを含むことを特徴とするシーンチェンジ検出方法。
【請求項１３】
請求項１１又は１２に記載のシーンチェンジ検出方法において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の処理により求められる特徴量は、解像度レベル毎の符号量、位置毎の符号量、コンポーネント毎の符号量、レイヤ毎の符号量、ＲＯＩ領域の位置のうちの１つ以上に関連するものであることを特徴とするシーンチェンジ検出方法。
【請求項１４】
請求項１０又は１２に記載のシーンチェンジ検出方法において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の処理により抽出されるヘッダ情報は、コードブロックのサイズ、プリシンクトのサイズ、タイルのサイズ、画像のサイズ、プログレッション順序、レイヤ数、量子化、色変換、デコンポジションレベル数、ウェーブレット変換、タイルのオフセット、コンポーネント数、ビット数、サンプル数、コメントのうちの１つ以上に関連するものであることを特徴とするシーンチェンジ検出方法。
【請求項１５】
各フレームの符号化データの一部符号を復号伸長して画像データを生成する第３の処理と、前記第２の処理によりシーンチェンジが発生したと判定されたフレームとその前のフレームの、前記第３の処理により生成された画像データを比較することによりシーンチェンジの発生の二次判定を行う第４の処理とをさらに含むことを特徴とする請求項１０乃至１４のいずれか１項に記載のシーンチェンジ検出方法。
【請求項１６】
請求項１０乃至１５のいずれか１項に記載のシーンチェンジ検出方法のための処理をコンピュータに実行させるプログラム。
【請求項１７】
請求項１６に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化データの処理に係り、特に、圧縮符号化された動画像のシーンチェンジ検出に関する。
【０００２】
【従来の技術】
動画像のシーンが変化するフレームを自動的に検出する技術は数多く提案されているが、基本的には連続したフレームの静止画特徴量を比較し、その変化の大きいフレームをシーンチェンジ発生フレームとして検出する。
【０００３】
特許文献１には、予測符号化方式の符号化装置又は復号化装置において、各フレームの予測誤差量や符号数、フレーム内符号化（又はフレーム間符号化）された画素数を計数し、それらの計数値の変化が大きいフレームをシーンチェンジ発生フレームとして検出する如き構成の装置が記載されている。また、特許文献２には、動画像の各フレームの符号量を計数し、その計数値が閾値を越えたときにシーンチェンジとして検出する装置が記載されている。
【０００４】
本発明に関連する画像符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣＦＣＤ　１５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−３）がある（例えば、非特許文献１参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は連続した複数の静止画像のそれぞれをフレームとして動画像を圧縮符号化するが、各フレームの符号化データのフォーマットはＪＰＥＧ２０００に準拠している。
【０００５】
【特許文献１】
特許３０９３４９９号公報
【特許文献２】
特開２０００−７８５８５号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式　ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
本発明の目的は、動画像の符号化データのヘッダ情報を利用し、少ない処理量で高速にシーンチェンジを検出する新規な装置及び方法を提供することにある。本発明のもう１つの目的は、動画像の符号化データのヘッダ情報を利用し、簡易な手段もしくは処理により、多様な特徴量に基づいたシーンチェンジ検出が可能な新規な装置及び方法を提供することにある。本発明のもう１つの目的は、動画像の符号化データのヘッダ情報を利用し、高速かつ高精度のシーンチェンジ検出が可能な新規な装置及び方法を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するための本発明の特徴は、請求項１に記載のように、連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出装置であって、各フレームの符号化データより特定の１つ以上のヘッダ情報を取得する第１の手段と、前記第１の手段により抽出されたヘッダ情報をフレーム間で比較することによりシーンチェンジの発生を判定する第２の手段とを有するシーンチェンジ検出装置にある。
【０００８】
本発明のもう１つの特徴は、請求項２に記載のように、連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出装置であって、各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の手段と、前記第１の手段により求められた特徴量をフレーム間で比較することによりシーンチェンジの発生を判定する第２の手段とを有するシーンチェンジ検出装置にある。
【０００９】
本発明のもう１つの特徴は、請求項３に記載のように、連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出装置であって、各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の手段と、前記第１の手段により抽出されたヘッダ情報と前記第１の手段により求められた特徴量の少なくとも一方をフレーム間で比較することによりシーンチェンジの発生を判定する第２の手段とを有するシーンチェンジ検出装置にある。
【００１０】
本発明のもう１つの特徴は、請求項４に記載のように、請求項２又は３に記載の構成において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の手段により求められる特徴量は、解像度レベル毎の符号量、位置毎の符号量、コンポーネント毎の符号量、レイヤ毎の符号量、ＲＯＩ領域の位置のうちの１つ以上に関連するものであることにある。
【００１１】
本発明のもう１つの特徴は、請求項５に記載のように、請求項１又は３に記載の構成において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の手段により抽出されるヘッダ情報は、コードブロックのサイズ、プリシンクトのサイズ、タイルのサイズ、画像のサイズ、プログレッション順序、レイヤ数、量子化、色変換、デコンポジションレベル数、ウェーブレット変換、タイルのオフセット、コンポーネント数、ビット数、サンプル数、コメントのうちの１つ以上に関連するものであることにある。
【００１２】
本発明のもう１つの特徴は、請求項６に記載のように、請求項１乃至５のいずれか１項に記載の構成に加え、各フレームの符号化データの一部符号を復号伸長して画像データを生成する第３の手段と、前記第２の手段によりシーンチェンジが発生したと判定されたフレームとその前のフレームの、前記第３の手段により生成された画像データを比較することによりシーンチェンジの発生の二次判定を行う第４の手段とをさらに有するシーンチェンジ検出方法にある。
【００１３】
本発明のもう１つの特徴は、請求項７に記載のように、請求項１乃至６のいずれか１項に記載のシーンチェンジ検出装置と、符号化データより画像検索のための静止画特徴量を抽出する第５の手段とを有する画像処理装置にある。
【００１４】
本発明のもう１つの特徴は、請求項８に記載のように、請求項７に記載の構成において、前記第５の手段は符号化データの特定のヘッダ情報を利用して静止画特徴量を抽出することにある。
【００１５】
本発明のもう１つの特徴は、請求項９に記載のように、請求項７に記載の構成において、前記第５の手段は、符号化データの一部の符号の復号伸長により生成された画像データから静止画特徴量を抽出することにある。
【００１６】
本発明のもう１つの特徴は、請求項１０に記載のように、連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出方法であって、各フレームの符号化データより特定の１つ以上のヘッダ情報を取得する第１の処理と、前記第１の処理により抽出されたヘッダ情報をフレーム間で比較することによりシーンチェンジの発生を判定する第２の処理とを含むシーンチェンジ検出方法にある。
【００１７】
本発明のもう１つの特徴は、請求項１１に記載のように、連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出方法であって、各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の処理と、前記第１の処理により求められた特徴量をフレーム間で比較することによりシーンチェンジの発生を判定する第２の処理とを含むシーンチェンジ検出方法にある。
【００１８】
本発明のもう１つの特徴は、請求項１２に記載のように、連続した複数の静止画像のそれぞれがフレームとして圧縮符号化された動画像のシーンチェンジを自動検出するシーンチェンジ検出方法であって、各フレームの符号化データより特定の１つ以上のヘッダ情報を抽出し、抽出したヘッダ情報に基づいて特定の１つ以上の特徴量を求める第１の処理と、前記第１の処理により抽出されたヘッダ情報と前記第１の処理により求められた特徴量の少なくとも一方をフレーム間で比較することによりシーンチェンジの発生を判定する第２の処理とを含むシーンチェンジ検出方法にある。
【００１９】
本発明のもう１つの特徴は、請求項１３に記載のように、請求項１１又は１２に記載の構成において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の処理により求められる特徴量は、解像度レベル毎の符号量、位置毎の符号量、コンポーネント毎の符号量、レイヤ毎の符号量、ＲＯＩ領域の位置のうちの１つ以上に関連するものであることにある。
【００２０】
本発明のもう１つの特徴は、請求項１４に記載のように、請求項１０又は１２に記載の構成において、前記符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データであり、前記第１の処理により抽出されるヘッダ情報は、コードブロックのサイズ、プリシンクトのサイズ、タイルのサイズ、画像のサイズ、プログレッション順序、レイヤ数、量子化、色変換、デコンポジションレベル数、ウェーブレット変換、タイルのオフセット、コンポーネント数、ビット数、サンプル数、コメントのうちの１つ以上に関連するものであることにある。
【００２１】
本発明のもう１つの特徴は、請求項１５に記載のように、請求項１０乃至１４のいずれか１項に記載の構成に加え、各フレームの符号化データの一部符号を復号伸長して画像データを生成する第３の処理と、前記第２の処理によりシーンチェンジが発生したと判定されたフレームとその前のフレームの、前記第３の処理により生成された画像データを比較することによりシーンチェンジの発生の二次判定を行う第４の処理とをさらに含むシーンチェンジ検出方法にある。
【００２２】
【発明の実施の形態】
以下に説明する実施の形態において処理の対象となる符号化データは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−３）による動画像の符号化データである。各フレームの符号化データのフォーマットはＪＰＥＧ２０００に準拠しているので、以下の説明と関連する範囲でＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−１）について概説する。
【００２３】
図１はＪＰＥＧ２０００の圧縮符号化アルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００２４】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００２５】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００２６】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００２７】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００２８】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ　Ｂｌｏｃｋ　Ｃｏｄｉｎｇ　ｗｉｔｈ　Ｏｐｔｉｍｉｚｅｄ　Ｔｒｕｎｃａｔｉｏｎ）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００２９】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プリシンクト（ｐｏｓｉｔｉｏｎ）、レイヤ、コンポーネント（ＹＣｒＣｂやＲＧＢなどの色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００３０】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ　Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ　Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ　Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３１】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００３２】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００３３】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００３４】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３５】
デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの例を図５に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の９レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００３６】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクトである。
【００３７】
ＬＲＣＰプログレッションの場合、パケットの配置（符号化時）又はパケットの解釈（復号化時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のような
ｆｏｒループで表すことができる。
2004120497.tif 000003
【００３８】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図６のような順に配置され、また解釈される。
【００３９】
また、ＲＬＣＰプログレッションの場合には、
2004120497.tif 000004
という順で、パケットの配置（符号化時）又はパケットの解釈（復号化時）がなされる。他のプログレッション順序の場合も同様のネストされたｆｏｒループにより、パケットの配置順又は解釈順が決まる。
【００４０】
また、ＪＰＥＧ２０００には、選択した領域（ＲＯＩ領域）の画質を他の領域よりも向上させる機能があり、基本仕様ではＲＯＩ領域のウェーブレット係数のビットシフトによるＭａｘ　Ｓｈｉｆｔ方式が規定されている。
【００４１】
本発明においては、符号化データに付加されるメインヘッダ、タイルヘッダ、パケットヘッダの情報を利用するので、ヘッダ情報の概要を以下に示す。
図７にメインヘッダの構成を示す。このメインヘッダの情報中でＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。
図８にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
図９に、マーカ及びマーカセグメントの一覧表を示す。
ＳＯＴマーカセグメントの構成を図１０に、ＳＩＺマーカセグメントの構成を図１１に、ＣＯＤマーカセグメントの構成を図１２に、ＣＯＣマーカセグメントの構成を図１３に、ＲＧＮマーカセグメントの構成を図１４に、ＱＣＤマーカセグメントの構成を図１５に、ＱＣＣマーカセグメントの構成を図１６に、ＴＬＭマーカセグメントの構成を図１７に、ＰＬＭマーカセグメントの構成を図１８に、ＰＬＴマーカセグメントの構成を図１９に、ＰＰＭマーカセグメントの構成を図２０に、ＰＰＴマーカセグメントの構成を図２１に、ＣＯＭマーカセグメントの構成を図２２に、それぞれ示す。
【００４２】
なお、パケットは、本体であるパケットデータにパケットヘッダを付加した構成である。パケットヘッダには、パケットデータの長さ、符号パス数、０ビットプレーン数などの情報が含まれている（非特許文献１参照）。
【００４３】
《実施の形態１》　図２３は、本発明による画像処理装置の一例を説明するためのブロック図である。この画像処理装置は、単独の装置として実現される形態、デジタルビデオカメラや監視カメラ等の撮像装置、画像編集装置、ビデオ再生装置、画像検索システム、画像データベースシステム等の一部として実現される形態、パソコンなどのコンピュータのハードウェアを利用しプログラムにより実現される形態とがあるが、いずれの形態も本発明に包含される。
【００４４】
この画像処理装置は、符号化データ入力部１００、シーンチェンジ検出装置１０１Ａ、記憶部１０２、外部インターフェース部１０３を備える。
【００４５】
符号化データ入力部１００は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データを取り込むための手段である。より具体的には、この符号化データ入力部１００は、有線又は無線の伝送路もしくはネットワークを通じ外部より符号化データを直接取り込むインターフェース手段、記録媒体から符号化データを読み込む手段、被写体を撮影して動画像の符号化データを入力する撮像手段、動画像の圧縮符号化を行うＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠のエンコーダなどである。
【００４６】
シーンチェンジ検出装置１０１Ａは、動画像の各フレームの符号化データの特定のヘッダの情報を利用して動画像のシーンチェンジ（シーンの切り替わり）を自動的に検出するものであり、情報取得部１１１、情報一時記憶部１１２、比較判定処理部１１３からなる。
【００４７】
記憶部１０２は、動画像の符号化データと、シーンチェンジ検出装置１０１Ａによる検出結果の記憶に利用される。シーンチェンジ検出結果の記憶方法としては、動画像ファイルのファイルヘッダにシーンチェンジ検出結果を記述する方法、フレームのメインヘッダのＣＯＭマーカセグメント（図２２）にコメントデータとしてシーンチェンジ検出結果を記述する方法、動画像ファイルと関連付けた別のファイルとしてシーンチェンジ検出結果を記憶する方法など、様々な方法をとることができる。外部インターフェース部１０３は、符号化データ及びシーンチェンジ検出結果を外部に出力するために利用される。
【００４８】
次に、シーンチェンジ検出装置１０１Ａについて詳細に説明する。情報取得部１１１は、各フレームの符号化データより、１つ又は複数の特定のヘッダ情報を抽出する。後述のように様々なシーンチェンジ検出モードを選択できるが、ヘッダ情報そのものの比較によりシーンチェンジを検出するモードが選択された場合には、情報取得部１１１は抽出したヘッダ情報をそのまま出力する。ヘッダ情報に基づいて計算される特徴量の比較によりシーンチェンジを検出するモードが選択された場合には、情報取得部１１１は、抽出したヘッダ情報に基づいて特徴量を計算し、その特徴量を出力する。モードによっては、抽出されたヘッダ情報と、計算された特徴量の両方が出力される。
【００４９】
情報取得部１１１より出力されたヘッダ情報及び／又は特徴量は比較判定部１１３に渡されるとともに情報一時記憶部１１２に記憶される。情報一時記憶部１１２には、現在のフレームと直前のフレームのヘッダ情報及び／又は特徴量が保存され、それより前のフレームのヘッダ情報及び／又は特徴量は順次消去される。情報一時記憶部１１２より、現在フレームの直前フレームのヘッダ情報及び／又は特徴量が比較判定処理部１１３へ入力される。比較判定処理部１１３は、入力された現在フレームと直前フレームのヘッダ情報そのもの比較、及び／又は、ヘッダ情報に基づいて計算された特徴量の比較により、シーンチェンジが発生したか否かの判定を行う。なお、情報一時記憶部１１２を情報取得部１１１又は比較判定処理部１１３と一体化してもよいことは明らかである。
【００５０】
このシーンチェンジ検出装置１０１Ａは、様々な検出モードを選択することができる。以下、各モード別に具体的に説明するが、複数のモードを組み合わせたモードも選択することができる。この組み合わせモードの場合には、情報取得部１１１は各モードで利用される複数のヘッダ情報の抽出、及び／又は特徴量の計算を行い、比較判定処理部１１３は組み合わされた各モードによる比較判定処理を行い、その結果を評価することによりシーンチェンジであるか否かを判断する。例えば、全てのモードの結果がシーンチェンジの場合にシーンチェンジと判断し、又は、多数決により判断する。
【００５１】
［モードＡ］　解像度レベル毎の符号量分布の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームの解像度レベル毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、ヘッド情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩｐｌｍ（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩｐｌｔ（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、各解像度レベルのパケット長の合計を求める。なお、パケット長の合計は、必ずしも全ての解像度レベルについて求める必要はなく、特定の一部解像度レベルについて求めるようにしてもよい。
【００５２】
［モードＢ］　位置（タイル又はプリシンクト）毎の符号量分布の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームのプリシンクト毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、次のヘッダ情報の予め指定されたものが利用される。なお、コードブロック毎の符号量分布の変化に着目したシーンチェンジ検出も可能であり、これも本発明に包含される。情報取得部１１１は、
１）ＴＬＭマーカセグメント（図１７）のＰｔｍｌ（タイル長）、又は、ＳＯＴマーカセグメント（図１０）のＰｓｏｔ（タイル長）よりタイル長の情報を抽出する。あるいは、
２）ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダより符号パス数の情報を抽出し、それに基づいて各プリシンクト毎の符号パス数の合計を求める。
【００５３】
なお、タイル長と各プリシンクト毎の合計符号パス数の両方を抽出することも可能であり、これも本発明に包含される。また、以上の特徴量は、一部のタイル、一部のプリシンクト、又は、一部のコードブロックについて求めるようにしてもよい。
【００５４】
［モードＣ］　コンポーネント毎の符号量分布の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームのコンポーネント毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩｐｌｍ（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩｐｌｔ（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットのパケット長の情報を抽出し、それに基づいて各コンポーネントのパケット長の合計を求める。なお、一部のコンポーネントについてのみ特徴量を求めるようにしてもよい。
【００５５】
［モードＤ］　レイヤ毎の符号量分布の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームのレイヤ毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩｐｌｍ（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩｐｌｔ（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットのパケット長の情報を抽出し、それに基づいて各レイヤのパケット長の合計を求める。なお、一部のレイヤについてのみ特徴量を求めるようにしてもよい。
【００５６】
［モードＥ］　ＲＯＩ領域の位置の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームのＲＯＩ領域の位置の違いを評価し、その違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。情報取得部１１１は、
１）各タイルのタイルヘッダ中のＲＧＮマーカセグメントの有無を調べ、タイル単位でのＲＯＩ領域の有無を示す情報を取得する。あるいは、
２）ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットの符号パス数を抽出してプリシンクト毎（又はコードブロック毎）の符号パス数の合計を求め、その合計符号バス数に基づいて、プリシンクト（又はコードブロック）単位でＲＯＩ領域の有無を示す情報を取得する。
【００５７】
［モードＦ］　圧縮方法の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームの圧縮方法が異なるときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、
１）ＣＯＤマーカセグメント（図１２）のＳｇｃｏｄ（符号スタイル）よりプログレッション順序の情報を抽出する。
２）ＣＯＤマーカセグメント（図１２）のＳｇｃｏｄ（符号スタイル）よりレイヤ数の情報を抽出する。
３）ＱＣＤマーカセグメント（図１５）のＳｑｃｄ（量子化スタイル），ＳＰｑｃｄ（量子化ステップサイズ）の情報を抽出する。
４）ＣＯＤマーカセグメント（図１２）のＳｇｃｏｄ（符号スタイル）より色変換の情報を抽出する。
５）ＣＯＤマーカセグメント（図１２）のＳＰｃｏｄ（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰｃｏｃ（符号スタイル）よりデコンポジション数の情報を抽出する。
６）ＣＯＤマーカセグメント（図１２）のＳＰｃｏｄ（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰｃｏｃ（符号スタイル）よりコードブロックのサイズの情報を抽出する。
７）ＣＯＤマーカセグメント（図１２）のＳＰｃｏｄ（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰｃｏｃ（符号スタイル）よりウェーブレット変換方法の情報を抽出する。あるいは
８）ＣＯＤマーカセグメント（図１２）のＳＰｃｏｄ（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰｃｏｃ（符号スタイル）よりプリシンクトのサイズの情報を抽出する。
【００５８】
なお、このモードにおいて以上の２つ以上の情報を抽出することも可能であり、これも本発明に包含される。
【００５９】
［モードＧ］　前記各モードとは異なる画像特徴の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームの画像特徴が異なるときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、
１）ＳＩＺマーカセグメント（図１１）のＸＴｓｉｚ，ＹＴｓｉｚ（タイルの水平、垂直方向サイズ）の情報を抽出する。
２）ＳＩＺマーカセグメント（図１１）のＸＴＯｓｉｚ，ＹＴＯｓｉｚ（タイルの水平、垂直方向オフセット）の情報を抽出する。
３）ＳＩＺマーカセグメント（図１１）のＣｓｉ（コンポーネント数）の情報を抽出する。
４）ＳＩＺマーカセグメント（図１１）のＳｓｉｚ（ビット数）の情報を抽出する。
５）ＳＩＺマーカセグメント（図１１）のＸｓｉｚ，Ｙｓｉｚ（画像の水平、垂直方向サイズ）の情報を抽出する。
６）ＳＩＺマーカセグメント（図１１）のＸＯｓｉｚ，ＹＯｓｉｚ（画像の水平、垂直方向オフセット）の情報を抽出する。
７）ＳＩＺマーカセグメント（図１１）のＸＲｓｉｚ，ＹＲｓｉｚ（水平、垂直方向サンプル数）の情報を抽出する。あるいは
８）ＣＯＭマーカセグメント（図２２）のＣｃｏｍ（コメントデータ）の情報を抽出する。
【００６０】
なお、このモードにおいて、以上の２つ以上の情報を抽出することも可能であり、これも本発明に包含される。
【００６１】
《実施の形態２》　図２４は、本発明による画像処理装置の別の例を説明するためのブロック図である。ここに示す画像処理装置は、シーンチェンジ検出装置１０１Ｂの構成が図２３に示したシーンチェンジ検出装置１０１Ａと相違する。すなわち、シーンチェンジ検出装置１０１Ｂは、情報取得部１１１、情報一時記憶部１１２、比較判定処理部１１３に加え、部分復号化部１１４、画像一時記憶部１１５及び二次判定処理部１１６を有する。情報取得部１１１及び比較判定処理部１１３の動作は前述した通りであるので説明を割愛する。
【００６２】
部分復号化部１１４は、符号化データの一部の符号の復号伸長を行う手段である。例えば、低解像度レベル（レベル０、レベル１など）、あるいは、上位レイヤ（上位の１レイヤ、数レイヤなど）の特定コンポーネント又は全コンポーネントの符号の復号伸長を行う。部分復号化部１１４より出力される画像データは二次判定処理部１１６に入力されるとともに、画像一時記憶部１１５に記憶される。画像一時記憶部１１５は、現在のフレームと直前のフレームの画像データを一時的に記憶するもので、直前のフレームの画像データは二次判定部１１６に入力される。
【００６３】
二次判定処理部１１６は、比較判定処理部１１３の判定結果も入力され、比較判定処理部１１３により現在フレームがシーンチェンジ発生フレームと判定された場合にのみ、二次判定処理を行う。この二次判定処理は、部分復号化部１１４より入力された現在フレームの画像データと、画像一時記憶部１１５より入力された直前フレームの画像データとを比較し、その差異が所定の程度を越えたときに現在フレームを最終的にシーンチェンジ発生フレームと判定する処理である。この二次判定処理部１１６の判定結果がシーンチェンジ検出装置１０１Ｂの最終的な判定結果として出力される。
【００６４】
すなわち、シーンチェンジ検出装置１０１Ｂは、比較判定処理部１１３でヘッダ情報及び／又はヘッダ情報に基づいて計算された特徴量の比較によりシーンチェンジの一次判定を行い、二次判定処理部１１６で画像データの比較により、より精密なシーンチェンジの二次判定を行う構成である。このような２段階のシーンチェンジ判定を行うことにより、より高精度なシーンチェンジ検出が可能である。また、一次判定でシーンチェンジとされたフレームに関してのみ画像データの比較による二次判定を行うため、全てのフレーム間で画像データの比較によるシーンチェンジ判定を行う構成に比べ、シーンチェンジ検出速度も向上する。
【００６５】
二次判定には、従来から知られている方法を利用できる。例えば、特許文献１にも記載されているような、画像の小領域毎の色分布を求め、画像間の色分布の相関を調べるような方法を利用することができる。どのような方法を利用するにしても、比較対象となる画像データは一部符号を復号伸長したものであり、全符号を復号伸長した画像データに比べデータ量は遙かに小さいため、処理にそれほどの時間はかからない。したがって、高速かつ高精度のシーンチェンジ検出が可能である。
【００６６】
《実施の形態３》　図２５は、本発明による画像処理装置の別の例を説明するためのブロック図である。ここに示す画像処理装置は、静止画特徴量抽出部１２０が追加されている。シーンチェンジ検出装置１０１としては、図２３に示したシーンチェンジ検出装置１０１Ａ、又は、図２４に示したシーンチェンジ検出装置１０１Ｂが用いられる。
【００６７】
静止画特徴量抽出部１２０は、画像検索に利用するための特徴量を検出する手段である。抽出された特徴量は、該当フレームのメインヘッダのＣＯＭマーカセグメント（図２２）にコメントデータとして記述されて記憶部１０２に記憶され、あるいは、動画像ファイルと関連付けた別のファイルとして記憶部１０２に記憶される。この特徴量を外部インターフェース部１０３を介して外部へ出力することもできる。
【００６８】
抽出される静止画特徴量としては、例えば、カラーヒストグラム、代表色、エッジ特徴量、動き（カメラの動き：水平又は垂直方向のパン）の中から１つ以上を指定することができる。
【００６９】
静止画特徴量としてカラーヒストグラム又は代表色が指定された場合、静止画特徴量抽出部１２０は、各フレームの符号化データの低解像度レベル（例えばレベル０）又は上位レイヤ（例えば上位の１レイヤ）の全コンポーネントの符号の復号伸長を行い、得られた画像データよりカラーヒストグラム又は代表色を求める。なお、シーンチェンジ検出装置１０１として図２４に示したシーンチェンジ装置１０１Ｂが用いられる場合には、部分復号化部１１４（図２４）を符号化データの一部符号の復号伸長に利用できる。また、シーンチェンジ検出のために低解像度レベル又は上位レインの全コンポーネントの符号が復号伸長されるならば、画像一時記憶部１１５に記憶されている画像データを特徴量抽出にそのまま用いることができる。
【００７０】
静止画特徴量としてエッジ特徴量が指定された場合には、静止画特徴量抽出部１２０は、各フレームの符号化データのヘッダ情報を利用して、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨ，ＨＨサブバンドの符号量を位置（コードブロック又はプリシンクト）毎に求める。具体的には、ＰＬＭマーカセグメント（図１８）のＩｐｌｍ（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩｐｌｔ（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、位置毎に高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨ，ＨＨサブバンドのパケット長の合計を符号量として求める。そして、各位置の符号量が最大のサブバンドに対応した方向をエッジ方向として検出し、位置とエッジ方向の組をエッジ特徴量として抽出する。
【００７１】
静止画特徴量として動きが指定された場合には、静止画特徴量抽出部１２０は、各フレームの符号化データのヘッダ情報を利用して、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨサブバンドの符号量を求める。具体的には、ＰＬＭマーカセグメント（図１８）のＩｐｌｍ（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩｐｌｔ（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩｐｐｍ（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩｐｐｔ（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨサブバンドのパケット長の合計を符号量として求める。カメラを水平方向にパンしながら撮影されたフレームでは、水平方向の手振れが生じた時と同様に、パンしない場合に比べＬＨサブバンドの符号量は一般に減少する。その減少の程度はパンの速度が速いほど激しい。カメラを垂直方向にパンしながら撮影したフレームは、パンしない場合に比べＨＬサブバンドの符号量が一般に減少し、その減少程度はパン速度が速いほど激しい。そこで、静止画特徴量抽出部１２０は、連続したフレーム間のＬＨ，ＨＬサブバンドの符号量に基づいて、パンの有無と方向、さらには速度（低速、中速、高速など）を判定し、それを動きの特徴量として抽出する。なお、低解像度又は上位レイヤの符号を復号伸長した画像データを用い、フレーム間の動きベクトルを抽出してもよく、これも本発明に包含される。
【００７２】
ここまで、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データを対象として本発明の実施の形態を説明したが、連続した複数の静止画像のそれぞれを動画像のフレームとして圧縮符号化し、同様のヘッダ情報を利用可能な他の圧縮符号化アルゴリズムによる符号化データに対しても、本発明を適用可能であることは以上の説明から明白であろう。
【００７３】
また、以上に説明したシーンチェンジ検出装置の情報取得部、比較判定処理部、部分復号化部、二次判定処理部の機能、静止画特徴量抽出部の機能、シーンチェンジ検出装置におけるシーンチェンジ検出手順（方法）は、パソコンやマイクロコンピュータなどのコンピュータ上でプログラムによって実現することも可能である。そのようなプログラム、及び、それが記録されたコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。
【００７４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、
（１）符号化データのヘッダ情報から求められる解像度レベル毎の符号量分布の変化、位置毎の符号量分布の変化、コンポーネント毎の符号量分布の変化、レイヤ毎の符号量分布の変化、ＲＯＩ領域の位置の変化、その他の圧縮方法などに関連した様々なヘッダ情報そのものの変化などに着目した極めて多様なシーンチェンジ検出が可能である。
（２）シーンチェンジの検出にヘッダ情報そのものの変化を利用する場合には、ヘッダ情報を抽出してフレーム間で比較するだけであるから、極めて簡易な処理もしくは手段によって、様々なヘッダ情報による多様なシーンチェンジ検出を極めて高速に行うことができる。
（３）シーンチェンジの検出にヘッダ情報から求められる符号量分布などの特徴量の変化を利用する場合には、ヘッダ情報の抽出のほかに特徴量を求めるための演算などのための処理もしくは手段が必要になるが、その処理もしくは手段は簡易なものでよく、また、処理にそれほどの時間を要しないため、高速なシーンチェンジ検出が可能である。
（４）ヘッダ情報そのものの変化と、ヘッダ情報より求められた特徴量を組み合わせて利用することによって、シーンチェンジ検出精度を向上させることができる。
（５）符号化データの最低解像度レベルや上位レイヤの符号の復号伸長によって得た画像データのフレーム間比較によるシーンチェンジ二次判定を行うことにより、より高精度なシーンチェンジ検出が可能である。一部符号を復号伸長した画像データのデータ量は全画像データに比べ遙かに少ないため、画像データのフレーム間比較のための処理時間は容易に短縮可能であり、したがってシーンチェンジ二次判定を行っても十分な速度でシーンチェンジ検出を行うことができる。
（６）シーンチェンジの検出とともに、カラーヒストグラム、代表色、エッジ特徴量、動きなどの静止画特徴量を抽出することにより、動画像の編集などの際の映像検索が容易になる。符号化データのヘッダ情報や、低解像度レベル又は上位レイヤの符号を復号伸長した画像データを利用することにより、静止画特徴量の抽出処理を高速に行うことができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】２次元ウェーブレット変換を説明するための図である。
【図３】符号化データのフォーマットを説明するための図である。
【図４】プリシンクトとコードブロックの説明図である。
【図５】パケットとレイヤの例を示す図である。
【図６】パケットの配列順を例示する図である。
【図７】メインヘッダの構成を示す図である。
【図８】タイルヘッダの構成を示す図である。
【図９】マーカ及びマーカセグメントの一覧表を示す図である。
【図１０】ＳＯＴマーカセグメントの構成を示す図である。
【図１１】ＳＩＺマーカセグメントの構成を示す図である。
【図１２】ＣＯＤマーカセグメントの構成を示す図である。
【図１３】ＣＯＣマーカセグメントの構成を示す図である。
【図１４】ＲＧＮマーカセグメントの構成を示す図である。
【図１５】ＱＣＤマーカセグメントの構成を示す図である。
【図１６】ＱＣＣマーカセグメントの構成を示す図である。
【図１７】ＴＬＭマーカセグメントの構成を示す図である。
【図１８】ＰＬＭマーカセグメントの構成を示す図である。
【図１９】ＰＬＴマーカセグメントの構成を示す図である。
【図２０】ＰＰＭマーカセグメントの構成を示す図である。
【図２１】ＰＰＴマーカセグメントの構成を示す図である。
【図２２】ＣＯＭマーカセグメントの構成を示す図である。
【図２３】本発明の実施の形態１を説明するためのブロック図である。
【図２４】本発明の実施の形態２を説明するためのブロック図である。
【図２５】本発明の実施の形態３を説明するためのブロック図である。
【符号の説明】
１００　符号化データ入力部
１０１，１０１Ａ，１０１Ｂ　シーンチェンジ検出装置
１０２　記憶部
１１１　情報取得部
１１２　情報一時記憶部
１１３　比較判定処理部
１１４　部分復号化部
１１５　画像一時記憶部
１１６　二次判定処理部
１２０　静止画特徴量抽出部
【図１】
2004120497.tif 000005
【図２】
2004120497.tif 000006
【図３】
2004120497.tif 000007
【図４】
2004120497.tif 000008
【図５】
2004120497.tif 000009
【図６】
2004120497.tif 000010
【図７】
2004120497.tif 000011
【図８】
2004120497.tif 000012
【図９】
2004120497.tif 000013
【図１０】
2004120497.tif 000014
【図１１】
2004120497.tif 000015
【図１２】
2004120497.tif 000016
【図１３】
2004120497.tif 000017
【図１４】
2004120497.tif 000018
【図１５】
2004120497.tif 000019
【図１６】
2004120497.tif 000020
【図１７】
2004120497.tif 000021
【図１８】
2004120497.tif 000022
【図１９】
2004120497.tif 000023
【図２０】
2004120497.tif 000024
【図２１】
2004120497.tif 000025
【図２２】
2004120497.tif 000026
【図２３】
2004120497.tif 000027
【図２４】
2004120497.tif 000028
【図２５】
2004120497.tif 000029