(57)【特許請求の範囲】
【請求項１】
動画像データについてフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化を行なう画像圧縮装置と、圧縮符号化された符号列データについてフレーム間の比較により符号データを削減する符号列変換装置とを有する画像処理装置において、
前記符号列変換装置は、
前記符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶部に記憶する構文解析手段と、
フレームごとに、前記記憶部に記憶される先行するフレームと比較し類似度を判定する比較手段であって、対象となるフレームと当該フレームに先行するフレームとの間で類似度を求めるために、前記両フレームのウェーブレット係数値の相関係数値を求めて所定の閾値と比較する比較手段と、
前記比較手段の比較の結果、前記相関係数値が前記所定の閾値に達している矩形領域について符号データを削減するとともに、削除された符号データの代替となるよう指定されたフレーム番号を対象となるフレームのフレーム・ヘッダに記述する符号列作成手段と
を有することを特徴とする画像処理装置。
【請求項２】
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値を離散ウェーブレット変換により階層的に圧縮符号化され、フレーム間の比較により符号データが削減されている符号列データについて、前記削減がされている符号データを補って当該符号列データの復元を行なう符号列変換装置と、前記符号列変換装置による復元後の符号列データについてウェーブレット係数値を逆ウェーブレット変換するウェーブレット伸長装置とを有する画像処理装置において、
前記符号列変換装置は、
前記符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶部に記憶する構文解析手段と、
前記符号データの削減されている前記矩形領域については、当該矩形領域の削減されている符号データに代替すべくヘッダの情報で代替として指定されているフレーム番号に係る先行するフレームの符号データを前記記憶部から呼び出す削除符号データ検出手段と、
前記呼び出された符号データを当該矩形領域に補うことで、符号列データの復元を行なう符号列作成手段と、
前記符号列作成手段による復元を行なうことができないときは、当該フレームの符号列データに当該フレームの直前のフレームの符号列データを補うことで前記復元を代替する代替手段と
を有することを特徴とする画像処理装置。
【請求項３】
前記符号列変換装置は、前記比較手段で用いる両フレームのウェーブレット係数値を求めるために復号化及び逆量子化する変換手段を備えている、請求項１に記載の画像処理装置。
【請求項４】
前記符号列変換装置は、前記符号列作成手段で符号量を削減された後の符号列データを構成するパケットの順序を任意に並び替え、当該並び替えに係るスクランブル情報を当該符号列データのフレーム・ヘッダに記述するパケット・スクランブル手段を備えている、請求項３に記載の画像処理装置。
【請求項５】
前記比較手段による前記両フレームの比較の内容を変更する比較内容変更手段を備えている、請求項１に記載の画像処理装置。
【請求項６】
前記符号列変換装置は、前記符号列データの復元を行なう前に当該符号列データのフレーム・ヘッダに記述されている当該符号列データに施されているパケットの並べ替えに係るスクランブル情報を参照して、パケットの順序が並び替えられている当該符号列データを元の順序に並べ替えるパケット・デスクランブル手段を備えている、請求項２に記載の画像処理装置。
【請求項７】
動画像を撮像する画像入力装置と、この撮像した動画像データを処理する請求項１、３、４、又は５に記載の画像処理装置と、を備えている画像記録装置。
【請求項８】
動画像データについてフレームごとに１又は複数の矩形領域に分割して当該矩形領域ごとに階層的に圧縮符号化し、また、フレーム間の圧縮を行なっている符号列データを処理する請求項２、又は６に記載の画像処理装置と、この処理後の動画像データに基づいて動画像を表示する画像表示装置と、を備えている画像再生装置と、
請求項７に記載の画像記録装置と、を備えていて、前記画像記録装置の画像処理装置で処理後の符号列データを前記画像再生装置の画像処理装置で処理する、カメラシステム。
【請求項９】
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値を離散ウェーブレット変換により階層的に圧縮符号化されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析処理と、
フレームごとに、前記記憶エリアに記憶される先行するフレームとを比較して類似度を判定する比較処理であって、対象となるフレームと当該フレームに先行するフレームとの間で類似度を求めるために、前記両フレームのウェーブレット係数値の相関係数値を求めて所定の閾値と比較する比較処理と、
前記比較処理の比較の結果、前記相関係数値が前記所定の閾値に達している矩形領域について符号データを削減するとともに、削除された符号データの代替となるよう指定されたフレーム番号を対象となるフレームのフレーム・ヘッダに記述する符号列作成処理と
をコンピュータに実行させることを特徴とするコンピュータに読取り可能なプログラム。
【請求項１０】
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値が離散ウェーブレット変換により階層的に圧縮符号化され、前記矩形領域ごとに符号データが削減されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析処理と、
前記符号データの削減されている前記矩形領域については、当該矩形領域の削減されている符号データに代替すべくヘッダの情報で代替として指定されているフレーム番号に係る先行するフレームの符号データを前記記憶エリアから呼び出す削除符号データ検出処理と、
前記呼び出された符号データを当該矩形領域に補うことで、符号列データの復元を行なう符号列作成処理と、
前記符号列作成処理による前記復元を行なうことができないときは、当該フレームの符号列データに当該フレームの直前のフレームの符号列データを補うことで前記復元を代替する代替処理と
をコンピュータに実行させることを特徴とするコンピュータに読取り可能なプログラム。
【請求項１１】
前記比較処理で用いる両フレームのウェーブレット係数値を求めるために復号化及び逆量子化する変換処理をコンピュータに実行させる、請求項９に記載のプログラム。
【請求項１２】
前記符号列作成処理で符号量を削減された後の符号列データを構成するパケットの順序を任意に並び替え、当該並び替えに係るスクランブル情報を当該符号列データのフレーム・ヘッダに記述するパケット・スクランブル処理をコンピュータに実行させる、請求項１１に記載のプログラム。
【請求項１３】
前記比較処理による前記両フレームの比較の内容を変更する比較内容変更処理をコンピュータに実行させる、請求項９に記載のプログラム。
【請求項１４】
前記符号列データの復元を行なう前に当該符号列データのフレーム・ヘッダに記述されている当該符号列データに施されているパケットの並べ替えに係るスクランブル情報を参照して、パケットの順序が並び替えられている当該符号列データを元の順序に並べ替えるパケット・デスクランブル処理をコンピュータに実行させる、請求項１０に記載のプログラム。
【請求項１５】
請求項９乃至１４の何れかの一に記載のプログラムを記憶している記憶媒体。
【請求項１６】
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値を離散ウェーブレット変換により階層的に圧縮符号化されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析ステップと、
フレームごとに、前記記憶エリアに記憶される先行するフレームとを比較して類似度を判定する比較ステップであって、対象となるフレームと当該フレームに先行するフレームとの間で類似度を求めるために、前記両フレームのウェーブレット係数値の相関係数値を求めて所定の閾値と比較する比較ステップと、
前記比較ステップの比較の結果、前記相関係数値が前記所定の閾値に達している矩形領域について符号データを削減するとともに、削除された符号データの代替となるよう指定されたフレーム番号を対象となるフレームのフレーム・ヘッダに記述する符号列作成ステップと
からなる画像処理方法。
【請求項１７】
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値が離散ウェーブレット変換により階層的に圧縮符号化され、前記矩形領域ごとに符号データが削減されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析ステップと、
前記符号データの削減されている前記矩形領域については、当該矩形領域の削減されている符号データに代替すべくヘッダの情報で代替として指定されているフレーム番号に係る先行するフレームの符号データを前記記憶エリアから呼び出す削除符号データ検出ステップと、
前記呼び出された符号データを当該矩形領域に補うことで、符号列データの復元を行なう符号列作成ステップと、
前記符号列作成ステップにて前記復元を行なうことができないときは、当該フレームの符号列データに当該フレームの直前のフレームの符号列データを補うことで前記復元を代替する代替ステップと
を含むことを特徴とする画像処理方法。
【請求項１８】
前記比較ステップで用いる両フレームのウェーブレット係数値を求めるために復号化及び逆量子化する変換ステップを、更に含む請求項１６に記載の画像処理方法。
【請求項１９】
前記符号列作成ステップで符号量を削減された後の符号列データを構成するパケットの順序を任意に並び替え、当該並び替えに係るスクランブル情報を当該符号列データのフレーム・ヘッダに記述するパケット・スクランブルステップを、更に含む請求項１８に記載の画像処理方法。
【請求項２０】
前記比較ステップによる前記両フレームの比較の内容を変更する比較内容変更ステップを、更に含む請求項１６に記載の画像処理方法。
【請求項２１】
前記符号列作成ステップにて前記符号列データの復元を行なう前に当該符号列データのフレーム・ヘッダに記述されている当該符号列データに施されているパケットの並べ替えに係るスクランブル情報を参照して、パケットの順序が並び替えられている当該符号列データを元の順序に並べ替えるパケット・デスクランブルステップを、更に含む請求項１７に記載の画像処理方法。
【発明の詳細な説明】
【発明の属する技術分野】
【０００１】
この発明は、画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法に関する。
【従来の技術】
【０００２】
従来から、画像圧縮伸長アルゴリズムとして、動画像専用のMPEG1／MPEG2／MPEG4や、静止画像を連続したフレームとして扱うMotion JPEGが使用されている。また、最近、後者のMotion静止画像の符号化については、国際標準としてMotionJPEG2000という新しい方式が規格化されつつある。
【０００３】
MPEG方式とMotion静止画像方式の違いは、後者がフレーム内符号化だけを行なうのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、MPEG方式、Motion静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００４】
Motion JPEG2000方式では、変換方式として離散ウェーブレット変換を用いているが、離散ウェーブレット変換を用いて画像データを圧縮符号化する技術としては、特許文献１に開示のものが知られている。
【特許文献１】
特開２００１−３０９３８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この特許文献１に開示の技術では、画素値を離散ウェーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしているので、よりデータの圧縮率を向上することができる。
【０００６】
しかしながら、かかる従来技術においては、動画像データの画素値を離散ウェーブレット変換した後、量子化、符号化する前のウェーブレット変換値を用いて、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしている。
【０００７】
そのため、かかる技術を用いて最終的に生成されるデータ圧縮後の符号列データは、Motion JPEG2000方式で圧縮されたデータ形式を扱う標準のシステムでは利用しにくい。また、Motion JPEG2000方式で圧縮符号化したのみで、フレーム間で画像の動きがない場合の画像データの冗長性は解消されないままの符号列データを残しておくこともできない。よって、かかる技術により生成された符号列データは、汎用性が薄く、Motion JPEG2000方式を採用した標準的なシステムでは利用することができず、専用の特殊なシステムを用意する必要があるという不具合がある。
【０００８】
この発明の目的は、画素値を離散ウェーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の画像データの冗長性も解消するようにした場合に、汎用性が高く、Motion JPEG2000方式を採用した標準的なシステムで利用することができる符号列データを生成することである。
【０００９】
この発明の別の目的は、この場合に、符号列データの伸長を行なうことができる、Motion JPEG2000方式を採用した標準的なシステムを提供することである。
【課題を解決するための手段】
【００１０】
【課題を解決するための手段】
本発明は、上記目的を達成するために為されたものである。本発明に係る第１の画像処理装置は、
動画像データについてフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化を行なう画像圧縮装置と、圧縮符号化された符号列データについてフレーム間の比較により符号データを削減する符号列変換装置とを有する画像処理装置において、
前記符号列変換装置は、
前記符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶部に記憶する構文解析手段と、
フレームごとに、前記記憶部に記憶される先行するフレームと比較し類似度を判定する比較手段であって、対象となるフレームと当該フレームに先行するフレームとの間で類似度を求めるために、前記両フレームのウェーブレット係数値の相関係数値を求めて所定の閾値と比較する比較手段と、
前記比較手段の比較の結果、前記相関係数値が前記所定の閾値に達している矩形領域について符号データを削減するとともに、削除された符号データの代替となるよう指定されたフレーム番号を対象となるフレームのフレーム・ヘッダに記述する符号列作成手段と
を有することを特徴とする。
【００１１】
本発明に係る第２の画像処理装置は、
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値を離散ウェーブレット変換により階層的に圧縮符号化され、フレーム間の比較により符号データが削減されている符号列データについて、前記削減がされている符号データを補って当該符号列データの復元を行なう符号列変換装置と、前記符号列変換装置による復元後の符号列データについてウェーブレット係数値を逆ウェーブレット変換するウェーブレット伸長装置とを有する画像処理装置において、
前記符号列変換装置は、
前記符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶部に記憶する構文解析手段と、
前記符号データの削減されている前記矩形領域については、当該矩形領域の削減されている符号データに代替すべくヘッダの情報で代替として指定されているフレーム番号に係る先行するフレームの符号データを前記記憶部から呼び出す削除符号データ検出手段と、
前記呼び出された符号データを当該矩形領域に補うことで、符号列データの復元を行なう符号列作成手段と、
前記符号列作成手段による復元を行なうことができないときは、当該フレームの符号列データに当該フレームの直前のフレームの符号列データを補うことで前記復元を代替する代替手段と
を有することを特徴とする。
【００１２】
本発明に係る第１のコンピュータに読取り可能なプログラムは、
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値を離散ウェーブレット変換により階層的に圧縮符号化されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析処理と、
フレームごとに、前記記憶エリアに記憶される先行するフレームと比較して類似度を判定する比較処理であって、対象となるフレームと当該フレームに先行するフレームとの間で類似度を求めるために、前記両フレームのウェーブレット係数値の相関係数値を求めて所定の閾値と比較する比較処理と、
前記比較処理の比較の結果、前記相関係数値が前記所定の閾値に達している矩形領域について符号データを削減するとともに、削除された符号データの代替となるよう指定されたフレーム番号を対象となるフレームのフレーム・ヘッダに記述する符号列作成処理と
をコンピュータに実行させることを特徴とする。
【００１３】
本発明に係る第２のコンピュータに読取り可能なプログラムは、
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値が離散ウェーブレット変換により階層的に圧縮符号化され、前記矩形領域ごとに符号データが削減されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析処理と、
前記符号データの削減されている前記矩形領域については、当該矩形領域の削減されている符号データに代替すべくヘッダの情報で代替として指定されているフレーム番号に係る先行するフレームの符号データを前記記憶エリアから呼び出す削除符号データ検出処理と、
前記呼び出された符号データを当該矩形領域に補うことで、符号列データの復元を行なう符号列作成処理と、
前記符号列作成処理による前記復元を行なうことができないときは、当該フレームの符号列データに当該フレームの直前のフレームの符号列データを補うことで前記復元を代替する代替処理と
をコンピュータに実行させることを特徴とする。
【００１４】
本発明に係る第１の画像処理方法は、
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値を離散ウェーブレット変換により階層的に圧縮符号化されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析ステップと、
フレームごとに、前記記憶エリアに記憶される先行するフレームと比較して類似度を判定する比較ステップであって、対象となるフレームと当該フレームに先行するフレームとの間で類似度を求めるために、前記両フレームのウェーブレット係数値の相関係数値を求めて所定の閾値と比較する比較ステップと、
前記比較ステップの比較の結果、前記相関係数値が前記所定の閾値に達している矩形領域について符号データを削減するとともに、削除された符号データの代替となるよう指定されたフレーム番号を対象となるフレームのフレーム・ヘッダに記述する符号列作成ステップとからなる。
【００１５】
本発明に係る第２の画像処理方法は、
動画像データについてフレームごとに１又は複数の矩形領域に分割され当該矩形領域ごとに画素値が離散ウェーブレット変換により階層的に圧縮符号化され、前記矩形領域ごとに符号データが削減されている符号列データについて、
当該符号列データの構文を解析し、該解析結果に基づいて先行する複数フレーム分のヘッダデータ及び符号データを記憶エリアに記憶する構文解析ステップと、
前記符号データの削減されている前記矩形領域については、当該矩形領域の削減されている符号データに代替すべくヘッダの情報で代替として指定されているフレーム番号に係る先行するフレームの符号データを前記記憶エリアから呼び出す削除符号データ検出ステップと、
前記呼び出された符号データを当該矩形領域に補うことで、符号列データの復元を行なう符号列作成ステップと、
前記符号列作成ステップにて前記復元を行なうことができないときは、当該フレームの符号列データに当該フレームの直前のフレームの符号列データを補うことで前記復元を代替する代替ステップと
を含むことを特徴とする。
【００１６】
本発明に係る第１の画像処理装置は、符号列変換装置で処理後の符号列データは削減した符号データを補うだけでMotion JPEG2000方式で圧縮した標準のデータ形式に簡易に変換することができ、また、画像圧縮装置で処理後のままのデータによりMotion JPEG2000方式で圧縮した標準のデータ形式を残しておくこともできるので、汎用性が高く、Motion JPEG2000方式を採用した標準的なシステムで利用することができる符号列データを生成することができる。更に、ウェーブレット係数値の相関係数を求めて閾値と比較することにより、フレーム間で画像の動きがない場合の画像データの冗長性を解消することができる。
【００１７】
本発明に係る第２の画像処理装置は、Motion JPEG2000方式の標準のデータ形式で圧縮符号化した後に、フレーム間で画像の動きがない場合の画像データの冗長性の解消を図った符号列データについて、Motion JPEG2000方式を採用した標準的なシステムを利用して、符号列データの伸長を行なうことができる。更に、圧縮後の符号列データを通信ネットワークを介して送信する場合等に、符号列データの一部が失われても、当該フレームの直前のフレームの符号列データを補うことで、符号列データを代替的に復元することができる。
【００１８】
本発明に係る第１のプログラムに基づく処理後の符号列データは、削減した符号データを補うだけでMotion JPEG2000方式で圧縮した標準のデータ形式に簡易に変換することができ、また、所定の画像圧縮装置で処理後のままのデータによりMotion JPEG2000方式で圧縮した標準のデータ形式を残しておくこともできるので、本発明に係る第１のプログラムは、汎用性が高く、Motion JPEG2000方式を採用した標準的なシステムで利用することができる符号列データを生成することができる。更に、ウェーブレット係数値の相関係数値を求めて閾値と比較することにより、フレーム間で画像の動きがない場合の画像データの冗長性を解消することができる。
【００１９】
本発明に係る第２のプログラムは、Motion JPEG2000方式の標準のデータ形式で圧縮符号化した後に、フレーム間で画像の動きがない場合の画像データの冗長性の解消を図った符号列データについて、Motion JPEG2000方式を採用した標準的なシステムを利用して、符号列データの伸長を行なうことができる。更に、符号量を削減された後の符号列データを通信ネットワークを介して送信する場合等に、符号列データの一部が失われても、当該フレームの直前のフレームの符号列データを補うことで、符号列データを代替的に復元することができる。
【００２０】
本発明に係る第１の画像処理方法に基づく処理後の符号列データは、削減した符号データを補うだけでMotion JPEG2000方式で圧縮した標準のデータ形式に簡易に変換することができ、また、所定の画像圧縮装置で処理後のままのデータによりMotion JPEG2000方式で圧縮した標準のデータ形式を残しておくこともできるので、本発明に係る第１の画像処理方法は、汎用性が高く、Motion JPEG2000方式を採用した標準的なシステムで利用することができる符号列データを生成することができる。更に、ウェーブレット係数値の相関係数値を求めて閾値と比較することにより、フレーム間で画像の動きがない場合の画像データの冗長性を解消することができる。
【００２１】
本発明に係る第２の画像処理方法は、Motion JPEG2000方式の標準のデータ形式で圧縮符号化した後に、フレーム間で画像の動きがない場合の画像データの冗長性の解消を図った符号列データについて、Motion JPEG2000方式を採用した標準的なシステムを利用して、符号列データの伸長を行なうことができる。更に、符号量を削減された後の符号列データを通信ネットワークを介して送信する場合等に、符号列データの一部が失われても、当該フレームの直前のフレームの符号列データを補うことで、符号列データを代替的に復元することができる。
【発明を実施するための最良の形態】
【００２２】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００２３】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００２４】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所をもち、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００２５】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成をおこなうために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、図３に示すように、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
【００２６】
原画像の入出力部分には、色空間変換部・逆変換部１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行なう部分がこれに相当する。
【００２７】
次に、JPEG2000アルゴリズムについて説明する。
【００２８】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行なわれる。
【００２９】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００３０】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジション・レベル数を３としたとき、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００３１】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００３２】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。
【００３３】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行なう。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行なう。
【００３４】
図４には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（header）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。
【００３５】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理を行なう。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００３６】
以上が、「JPEG2000アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000アルゴリズム」である。
【００３７】
以下、本発明の一実施の形態について詳細に説明する。
【００３８】
ここでは、Motion JPEG2000を代表とする動画像圧縮伸長技術に関する例について説明するが、いうまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００３９】
図６は、この実施の形態である監視カメラシステム１の概略構成を示すブロック図である。この監視カメラシステム１は、本発明のカメラシステムを実施するものであり、図６に示すように、この監視カメラシステム１は、動画像を撮影する画像入力装置２と、この撮影した画像データを圧縮符号化する画像圧縮装置３と、この圧縮符号化された符号列から別の符号列を作成する画像圧縮用の符号列変換装置４と、この符号列変換装置４が出力する符号列から別の符号列を作成する画像伸長用の符号列変換装置５と、この作成された符号列を伸長して動画像の画像データとする画像伸長装置６と、この伸長後の画像データによる画像を表示する画像表示装置７と、符号列変換装置４が出力する符号列を記憶する外部符号列記憶装置９とを備えている。符号列変換装置４と符号列変換装置５とはシリアル接続され、その接続の仕方は、両装置４，５間を直接繋いでもよいし、ネットワークを介して接続していてもよい。外部符号列記憶装置９は、一般的なバッファとしての機能、あるいは、長期間に渡る動画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。画像圧縮装置３及び符号列変換装置４で動画像データの圧縮処理を行なう本発明の画像処理装置を実施し、符号列変換装置５及び画像伸長装置６により圧縮された動画像の符号列データを伸長する本発明の画像処理装置を実施している。
【００４０】
図７は、監視カメラシステム１のハードウエア構成の一例を示すブロック図である。監視カメラシステム１は、図７に示す画像記録装置１０ａ，画像再生装置１０ｂを用いて構成している。すなわち、このコンピュータシステム１０ａ，１０ｂは、それぞれ各種演算を行ない、装置の各部を集中的に制御するＣＰＵ１１ａ，１１ｂと、各種のＲＯＭ、ＲＡＭからなる記憶媒体であるメモリ１２ａ，１２ｂと、ネットワークと通信を行なう所定の通信インターフェイス１３ａ，１３ｂと、ユーザから各種の操作を受付ける操作パネル１８ａ，１８ｂが、バス１４ａ，１４ｂで接続されている。
【００４１】
画像記録装置１０ａは、画像入力装置２、画像圧縮装置３、論理回路１５も、バス１３ａに接続されている。
【００４２】
画像再生装置１０ｂは、画像伸長装置６、画像表示装置７、論理回路１６、ハードディスク１７も、バス１４ｂに接続されている。
【００４３】
このような構成の画像記録装置１０ａ、画像再生装置１０ｂの記憶媒体であるメモリ１２ａ，１２ｂ（のＲＯＭ）には、それぞれ動画像を処理する動画プログラムが記憶されている。この動画プログラムは本発明のプログラムを実施するものである。そして、この動画プログラムに基づいてＣＰＵ１１ａ，１１ｂが実行する処理により、符号列変換装置４、符号列変換装置５の機能を実現する。また、外部符号列記憶装置９は、ハードディスク１７により実現している。
【００４４】
図８、図９を参照して、監視カメラシステム１の各部について説明する。
【００４５】
まず、画像記録装置１０ａについて、図８を参照して説明する。
【００４６】
画像入力装置２は、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置３に出力する。
【００４７】
画像圧縮装置３は、動画像のデジタル画素値信号の入力を、イメージＩ／Ｏ４１を介して受付ける。この画像圧縮装置３は、動画像のデジタル画素値信号をJPEG2000アルゴリズムで圧縮符号化する。すなわち、イメージＩ／Ｏ４１を介して受付けた動画像のデジタル画素値信号は、以後、Ｒ，Ｇ，Ｂの各成分別に以下のように処理される。
【００４８】
まず、Ｒ，Ｇ，Ｂの各コンポーネントの画素値Ｉ（ｘ，ｙ）は、各メモリ４２で一旦バッファされる。そして、このＲ，Ｇ，Ｂの各コンポーネントは１又は複数のタイルに分割されて、このタイルごとの画素値Ｉ（ｘ、ｙ）は、各離散ウェーブレット変換器４３によりウェーブレット変換係数値ａ（ｕ，ｖ）に変換される。なお、このときのデコンポジション・レベル数、いわゆるウェーブレット階層数は、符号列データを操作する時に各種機能の幅を大きく左右するので重要である。原画像の画素数にもよるが、ＶＧＡクラスの画像サイズでは、通常、３から５の値が採用されることになる。
【００４９】
さらに、ウェーブレット係数値ａ（ｕ，ｖ）は、階層毎、タイル毎、コンポーネント毎に各量子化器４４で量子化される。量子化の方法や量子化ステップ・サイズは、非可逆圧縮伸長した場合に画像品質に大きな影響を与えるので、これもまた重要である。その後、ウェーブレット係数値ａ（ｕ，ｖ）は、各符号化器４５で階層毎、タイル毎、コンポーネント毎に符号化され、各メモリ４６に記憶される。そして、図示しないタグ処理部により、一連の符号列データ全体に関わる情報、あるいは各フレーム単位に関わる情報が、それぞれヘッダに記述されて、各メモリ４６に記憶される符号列データに付加され、完成した符号列データとしてコードＩ／Ｏ４７から符号列変換装置４に出力される。
【００５０】
このような画像圧縮装置３における処理により、元の動画像の各コンポーネントの動画像データは、フレームごとに１又は複数（通常は複数）のタイルに分割され、このタイルごとに階層的に圧縮符号化された符号化データとなるので、元の動画像データの同一フレームかつ同一タイル内の冗長性は除去される。
【００５１】
符号列変換装置４では、画像圧縮装置３から出力される符号列データについて、フレーム間の相関をとることによるフレーム間圧縮を行ない、タイルごとの符号データの削減を行なって、よりデータ量の少ない符号列データに変換する。なお、以下に説明する例では、タイルごとに選択あるいは非選択の処理を行うが、後述するように、サブバンドやコンポーネントといった比較対照の内容を絞り込むことにより、アプリケーションに対して柔軟に対応することができる。
【００５２】
この符号列変換装置４は、符号列入力手段５１、構文解析手段５２、符号列作成手段５３、符号列出力手段５４、符号列記憶手段５５、入力画像選択手段５６（比較手段５６ａ、パケット・スイッチ５６ｂからなる）などから構成される。符号列入力手段５１、符号列作成手段５３、符号列出力手段５４、符号列記憶手段５５、比較手段５６ａなどは、前述の動画プログラムにしたがってＣＰＵ１１ａが行なう処理により実現している。構文解析手段５２、入力画像選択手段５６も動画プログラムにしたがってＣＰＵ１１ａが行なう処理により実現することも可能ではあるが、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路１５の動作により、入力画像選択手段５６、符号列作成手段５３の機能を実現するようにするのが望ましい。
【００５３】
すなわち、画像圧縮装置３から入力された符号列データの構文すなわちヘッダのデータに記述された情報をＣＰＵ１１ａが動画プログラムにしたがって実現する構文解析手段５２が解析し、入力した符号列データがどのように符号化されたのかを判断する。ヘッダの情報の内容がわかれば、後は、符号列データの具体的処理方法を決めることが可能である。
【００５４】
符号列データ中の各タイルの符号データを入力画像として選択するか選択しないかを決定するには、いくつかの手段が考えられるが、ここでは、各フレームにおける特定のサブバンドのウェーブレット係数値を比較する手段を例として説明する。
【００５５】
先行して符号列変換装置４に入力した現フレームに先行するフレームのヘッダデータ及びウェーブレット係数値は、符号列データの選択、非選択を決める上で必要なデータなので、構文解析手段５２で解析した構文に基づいて、別途メモリ１２ａの所定エリアに格納する。これが符号列記憶手段５５である。この場合、ウェーブレット係数値については変換手段５７で変換してから格納する。すなわち、変換手段５７は、復号化手段５７ａ、逆量子化手段５７ｂを備えていて、ウェーブレット係数値を復号化、逆量子化して、ウェーブレット係数値を量子化前のウェーブレット係数値に戻す。
【００５６】
そして、比較手段５６ａにおいて、この復号化、逆量子化後のウェーブレット係数値を用い、現フレームと先行するフレームとのウェーブレット係数値を各々比較して相関係数を求め、それを所定の閾値と比較することにより、現フレームと先行するフレームとの類似度を判定する。この比較のために過去に遡って参照されるフレーム数は、少なくとも１つ（直近フレームのみ）から数フレーム程度が適当である。
【００５７】
比較手段５６ａにおいて、現フレームと先行するフレームとの相関係数値が、あらかじめ設定された閾値に達し、すなわち、現フレームと先行するフレームとの間に大きな相違がない場合、現フレームは入力画像として選択されない。このように、現フレームが入力画像として選択されなかった場合は、スイッチ５６ｂをオフにして、現フレームの画像部分の符号列データを一連の符号列データから冗長であると判断されたタイルの符号データを削除し、符号列データのデータ量の削減を行なう。同時に、符号列作成手段５３において、削除されたデータの代替となるよう指定されたフレーム番号が、現フレームのフレーム・ヘッダに記述される。こうして、フレーム・ヘッダだけで構成される現フレームの符号列が符号列出力手段５４によりネットワークに出力される。
【００５８】
一方、現フレームと先行するフレームとの相関係数値が、あらかじめ設定された閾値に達しない、すなわち、現フレームと先行するフレームとの間に大きな相違がある場合、現フレームは入力画像として選択される。この場合は、スイッチ５６ｂはオン状態のままとして、現フレームの符号列データは、削除されることなく符号列出力手段５４によりネットワークに出力される。
【００５９】
先行するフレームとして比較手段５６ａで参照されるフレーム数が多ければ、フレーム間の相関は高くなり、結果として一連の符号列データのデータ量の削減に大きく寄与する。その一方で、ウェーブレット係数値を保存しておくバッファ・メモリに大きな容量を必要とし、また、係数値の比較や、フレーム毎のヘッダ情報書き換えに要する処理時間が長くなる。したがって、符号列変換装置４を使うにあたっては、実際の使用状況を十分に考慮した上で、参照すべき先行するフレーム数を最適化する必要がある。
【００６０】
符号列変換装置４の処理の流れの概要を図１９のフローチャートを参照して説明すると、次のとおりである。
【００６１】
すなわち、構文解析手段５２により符号列データのヘッダ情報の構文解析を行ない（ステップＳ１）、この解析した構文内容に基づいて、複数フレーム分のヘッダデータ及びウェーブレット係数値（符号データ）について、後者については前述のように変換手段５７で復号化、逆量子化してから（ステップＳ２）、それぞれ符号列記憶手段５５で記憶する（ステップＳ３）。ステップＳ１により構文解析処理を、ステップＳ２により変換処理を実現している。
【００６２】
そして、比較手段５６ａにおいて、復号化、逆量子化後のウェーブレット係数値を用い、現フレームと先行するフレームとのウェーブレット係数値を各々比較して相関係数を求め、それを所定の閾値と比較することにより、現フレームと先行するフレームとの類似度を判定する（ステップＳ４）。この判定により、相関係数値が閾値より大きい、すなわち、現フレームと先行するフレームとの類似度が高いタイルについては、パケット・スイッチ５６ｂをＯＦＦして、タイルごとに符号データを削減し、相関係数値が閾値以下、すなわち、現フレームと先行するフレームとの類似度が低いタイルについては、パケット・スイッチ５６ｂをＯＮして、タイルごとに符号データを残すように、選別する（ステップＳ５）。このような処理を最終フレームまで行なって（ステップＳ６）、符号列作成手段５３では、ステップＳ５の処理により残った符号データに新たなヘッダデータを付加して、新たな符号列データを作成し、符号列データのタイル間の圧縮を行なう。ステップＳ５により符号列作成処理を実現している。
【００６３】
次に、図７に示す画像再生装置１０ｂについて説明する。
【００６４】
圧縮用の符号列変換装置４（図６参照）を出力してネットワークを介して画像再生装置１０ｂに送信された符号列データは、画像再生装置１０ｂにおいて、外部符号列記憶装置９（図６参照）に格納され、また、符号列変換装置５（図６参照）で処理される。
【００６５】
すなわち、図９に示すように、符号列変換装置５では、受信した符号列データについて、符号列変換装置４で削減したタイルごとに、符号データの復元処理を行なう。この符号列変換装置５は、符号列入力手段６１、構文解析手段６２、符号列作成手段６３、符号列出力手段６４、符号列記憶手段６５、入力画像符号データ挿入手段６７（削減符号データ検出手段６６、パケット・スイッチ６８からなる）などから構成される。符号列入力手段６１、符号列作成手段６３、符号列出力手段６４、符号列記憶手段６５、削減符号データ検出手段６６などは、前述の動画プログラムにしたがってＣＰＵ１１ｂが行なう処理により実現している。入力画像符号データ挿入手段６７、符号列作成手段６３なども動画プログラムにしたがってＣＰＵ１１ｂが行なう処理により実現することができるが、処理の高速化のためには、論理回路１６の動作により入力画像符号データ挿入手段６７、符号列作成手段６３の機能を実現するのが望ましい。
【００６６】
まず、符号列入力手段６１に入力された符号列データの構文すなわちヘッダに記述された情報を構文解析手段６２が解析し、入力された符号列データが圧縮用の符号列変換装置４でどのようにデータ量を削減されたのかを判断する。このヘッダの情報が判れば、後は、後述のように符号列データの復元処理が進められることになる。
【００６７】
つまり、構文解析手段６２による解析結果に基づいて、先行する複数フレーム分のヘッダデータ及びウェーブレット係数値（符号データ）について、別途メモリ１２ｂ（図７参照）の所定エリアに格納する。これが図９に示す符号列記憶手段６５である。符号列変換装置４（図８参照）における前述の処理で、現フレームが入力画像として選択されていない場合は、符号列データはヘッダデータだけで構成されている。そこで、削減されてしまって存在しない画像部分の符号データを、別のデータで代替する必要がある。そのために、削除符号データ検出手段６６は、スイッチ６８を一時オフにして、ヘッダ情報で代替として指定されているフレーム番号の完全な形で残っている符号データを符号列記憶手段６５から呼び出し、符号列作成手段６３は、その符号データを、後続の符号データが存在しないヘッダの後に挿入する処理を行なう。そして、このように復元処理がなされた後の符号列データが符号列出力手段６４により画像伸長装置６に出力される。
【００６８】
一方、符号列変換装置４（図８参照）で符号量削減の対象とならなかったタイルの符号データの場合は、削除符号データ検出手段６６は、スイッチ６８をオン状態のままにして、現フレームの符号データを、そのままの状態で符号列出力手段６４により画像伸長装置６に出力する。
【００６９】
符号列変換装置５の処理の流れの概要を図２０のフローチャートを参照して説明すると、次のとおりである。
【００７０】
すなわち、構文解析手段６２により符号列データのヘッダ情報の構文解析を行ない（ステップＳ１１）、この解析した構文内容に基づいて、複数フレーム分のヘッダデータ及びウェーブレット係数値（符号データ）について、符号列記憶手段６５で記憶する（ステップＳ１２）。ステップＳ１１により構文解析処理を実現している。
【００７１】
そして、削除符号データ検出手段６６は、ヘッダのみで符号列データが存在しないタイルには、スイッチ６８を一時オフにして、ヘッダの情報で代替として指定されているフレーム番号の完全な形で残っている符号データを符号列記憶手段６５から呼び出し、符号列作成手段６３は、その符号データを、後続の符号データが存在しないヘッダの後に挿入する処理を行なってデータの補充を行い、そうでないタイルには、スイッチ６８をオン状態のままにして、現フレームの符号データを、そのまま符号列作成手段６３に出力する（ステップＳ１３）。このような処理を最終フレームまで行なって（ステップＳ１４）、符号列作成手段６３では、ステップＳ１３の処理により挿入された符号データに新たなヘッダデータを付加して、新たな符号列データを作成し、符号列データのタイル間の復元を行なう。ステップＳ１３により符号列作成処理を実現している。
【００７２】
図９に示すように、符号列変換装置５でタイルごとの符号データの復元を行なった符号列データは、画像伸長装置６のコードＩ／Ｏ７１に入力される。この画像伸長装置６は、符号列データをJPEG2000アルゴリズムで伸長する。すなわち、コードＩ／Ｏ７１を介して受付けた符号列データは、以後、Ｒ，Ｇ，Ｂの各成分別に以下のように処理される。
【００７３】
すなわち、Ｒ，Ｇ，Ｂの各コンポーネントのウェーブレット変換係数値ａ（ｕ，ｖ）は各メモリ７２に入力され、このウェーブレット変換係数値ａ（ｕ，ｖ）は、各逆符号化器７３で逆符号化され、各逆量子化器７４で逆量子化される。そして、各タイルのウェーブレット変換係数値ａ（ｕ，ｖ）は、各逆ウェーブレット変換器７５に入力されて逆ウェーブレット変換がされ、デジタル動画像データの画素値Ｉ（ｘ，ｙ）に変換されて、各メモリ７６に記憶される。
【００７４】
こうして、タイルごとに伸長されたデジタル動画像データは、イメージＩ／Ｏ７７を介して表示装置７に出力されて動画像が再生される。
【００７５】
次に、圧縮用の符号列変換装置４が行なう、フレーム間の類似度を検出して符号列データのデータ量を削減する処理の詳細について説明する。
【００７６】
図１０、図１１は、かかる処理の説明図である。図１０、図１１に示すように、この例では、動画像の単一のフレームの画像エリア８１が、縦横が３×５の合計１５個のタイル８２に分割されている。この画像エリア８１に、円形のオブジェクト８３が左上から進入し画面中央下部にぶつかり、今度は右上に向かって動いていく様子を、（ａ）〜（ｆ）に順次示している。図中、フレーム毎に番号をつけられたタイル８２は、直前フレームから変化のあったタイル８２を、下線付きの数字を付けられたタイル８２は、過去３フレームまで遡って比較し、変化のあったタイル８２を、各々示している。また、（Ａ）は符号列変換装置４で処理前の符号データ８４を、（Ｂ）〜（Ｆ）は（ｂ）〜（ｆ）の各場合について符号列変換装置４でデータ量の削減後の符号データ８４を、それぞれ示している。また、符号８５は各タイル８２の符号データであり、符号８６は各符号データ８４のタイル・ヘッダである。符号データ８４の先頭にはＳＯＣ（start of codestream）が、末尾にはＥＯＣ（end of codestream）のタグが存在する。
【００７７】
例えば、第４フレーム（図１１（ｄ））に注目してみると、直前の第３フレームと比較して明らかに変化があったと判断されたのは、６個のタイル８２（６，７，８，１１，１２，１３）と左上領域の３個のタイル８２（０，１，５）、計9個のタイルである。このうち、下線数字で示された３個のタイル８２（０，１，５）は、３フレーム前に既に現れた第１フレーム（図１０（ａ））の同番号のタイル８２と全く同じ状態にあると、比較手段５６ａにより判断されている。
【００７８】
比較手段５６ａで参照されるフレーム数が１の場合と３の場合とでは、この圧縮用の符号列変換装置４から出力されるフレーム毎の符号列データは異なる。前者においては、現フレームの中で９個のタイル全てが、入力画像として選択され、番号を付けられていない６個のタイル（２，３，４，９，１０，１４）については、画像部分の符号データは削除され、タイル・ヘッダ部だけが残される。一方、後者においては、入力画像として選択されるのは、６個のタイル（６，７，８，１１，１２，１３）だけである。残り９個のタイルは、ヘッダ部だけが残される（図１１（Ｄ））。参照フレーム数を増やせば、より多く符号量を削減することができる反面、比較やヘッダ書き換えの手間を要する。
【００７９】
もう一つの例として、第５フレーム（図１１（ｅ））について考えてみる。円形のオブジェクト８３は静止状態にあるので、直前の第４フレーム（図１１（ｄ））に比べて変化はない。従って、１５個全てのタイル８２から画像部分の符号データが削除され、作成される新しい符号列データは、タイル・ヘッダ８６が並んだだけの非常にコンパクトなデータになる。
【００８０】
次に、圧縮用の符号列変換装置４が行なう、フレーム間の類似度を検出して符号列データのデータ量を削減する処理の他の例について説明する。
【００８１】
図１２、図１３は、かかる例について説明する説明図である。図１２、図１３を参照して前述した例と同様に、（Ａ）は符号列変換装置４で処理前の符号データ８４を、（Ｂ）〜（Ｆ）は（ｂ）〜（ｆ）の各場合について符号列変換装置４でデータ量の削減後の符号データ８４を、それぞれ示している。図１０，図１１を参照して前述した例と異なるのは、相関係数値を算出するために設定する画像領域が、画像中央の７番のタイル８２に特定されていることである。
【００８２】
７番のタイル８２に変化が生ずるのは、オブジェクト８３が横切る、第４、第６フレーム（図１３（ｄ）（ｅ））である。比較手段５６ａで参照する先行のフレーム数を最小の１とした場合、入力画像として選択されるのは、第４フレーム（図１３（ｄ））、第７フレーム（図示せず）だけである。更に、参照するフレーム数を３とした場合は、第４フレーム（図１３（ｄ））の７番のタイル８２だけが入力画像として選択される。
【００８３】
次に、伸長用の符号列変換装置５が行なう、符号列データを復元する処理について説明する。
【００８４】
図１４は、伸長用の符号列変換装置５が、実際に、どのようにしてフレーム間の類似度に基づいて、削減された画像領域の符号データを復元するかを詳細に説明する説明図である。
【００８５】
今、参照する先行のフレーム数を最小の１とし、第６フレーム（図１４（ｆ））の０番のタイル８２に注目してみる。画像領域の符号データが残されている一番近いフレームは第４フレームである。従って、復元用に挿入する符号データは第４フレームにおける０番のタイル８２のものである。
【００８６】
次に、参照する先行のフレーム数を３とし、第６フレーム（図１４（ｆ））の６番のタイル８２に注目してみる。画像領域の符号データが残されている一番近いフレームは、３フレーム前の第１フレーム（図１４（ａ））である。従って、復元用に挿入する符号データは第１フレームの６番のタイル８２のものである。
【００８７】
同様に、参照する先行のフレーム数を３とし、第６フレーム（図１４（ｆ））の７番タイル８２に注目してみる。画像領域の符号データが残されている一番近いフレームは、２フレーム前の第１フレーム（図１４（ａ））である。従って、復元用に挿入する符号データは第１フレームの７番のタイル８２のものとなる。
【００８８】
次に、比較手段５６ａにおけるフレーム間の相関を検出する処理について説明する。図１５は、かかる処理を説明する説明図である。図１５には、連続する３フレーム分の符号列データを並べて示している。各符号列は、ＹＵＶの３コンポーネントで構成されている。デコンポジション・レベル数は３でる。
【００８９】
ここで、３ＬＬサブバンドのウェーブレット係数値を、フレーム間で比較する。元画像のデジタル画素値が各ピクセルに８ビットの深さを持っている場合、ウェーブレット係数値も各ピクセルに対して８ビットの値を持つ。そして、３ＬＬの係数値を比較し、その結果が、あらかじめ設定した閾値を超えなかった場合には、現フレームは入力画像として選択しないようにする。閾値は任意に設定することができる。例えば、次第に下がる傾向に並べると、全ビット一致／下位４ビット一致／下位２ビット一致／等が考えられる。また、比較するコンポーネントをＹＵＶの全てではなく、Ｙ成分のみに限定してもよい。
【００９０】
以上説明した監視カメラシステム１によれば、画像記録装置１０ａは、画像圧縮装置３でMotion JPEG2000方式の標準のデータ形式で圧縮符号化した後に、フレーム間で画像の動きがない場合の画像データの冗長性を符号列変換装置４により解消することができるので、符号列変換装置４で処理後の符号列データは削減した符号データを補うだけでMotion JPEG2000方式で圧縮した標準のデータ形式に簡易に変換することができ、また、画像圧縮装置３で処理後のままのデータによりMotion JPEG2000方式で圧縮した標準のデータ形式を残しておくこともできるので、汎用性が高く、Motion JPEG2000方式を採用した標準的なシステム（画像圧縮装置３）で利用することができる符号列データを生成することができる。
【００９１】
また、画像再生装置１０ｂは、画像記録装置１０ａにより、Motion JPEG2000方式の標準のデータ形式で圧縮符号化した後に、フレーム間で画像の動きがない場合の画像データの冗長性の解消を図った符号列データを受信して、符号列変換装置５によりMotion JPEG2000方式で圧縮した標準のデータ形式にもどすことができ、さらに、画像伸長装置６により元の動画像データに伸長することができるので、Motion JPEG2000方式を採用した標準的なシステム（画像伸長装置６）を利用して、符号列データの伸長を行なうことができる。
【００９２】
図８に示すように、符号列変換装置４は比較内容変更手段５８を備えている。この比較内容変更手段５８は、比較手段５６ａで参照すべき先行するフレーム数をユーザの選択に応じて変更することができる。また、比較手段５６ａにおける他の比較の内容、すなわち、相関係数値の閾値、係数値を比較する画像の領域や色成分、そしてサブバンドについても変更することができる。
【００９３】
したがって、ユーザの意図を反映させながら符号データの削減量を調節することができる。
【００９４】
例えば、相関係数値の閾値は、前述のように相関係数値が閾値より小さいとき、すなわち、動画像の動きの変化が大きいシーンのフレームだけを残すために用いられる。例えば、図２２（ａ）に示すように、相関係数値が時間変化した場合に、値の大きな閾値１を用いれば、残されるフレームが多くなり（図２２（ｂ）参照）、値の小さな閾値２を用いれば、残されるフレームが少なくなる（図２２（ｃ）参照）。そこで、ユーザは伝送路のバンド幅や外部符号列記憶装置９の記憶容量に応じて、閾値を最適な値に設定することができる。
【００９５】
この場合に、比較内容変更手段５８における、比較手段５６ａでの比較の内容を変更は、圧縮用の符号列変換装置４に符号列データが入力している途中で行なうようにしてもよい。
【００９６】
図１６は、かかる処理の具体例を示す説明図である。図１６において、（ａ）に示すように、符号列データ８７は、各フレームの符号データ８４とフレーム・ヘッダ８８とから構成されている。そして、この符号列データ８７における各フレームの前述の相関係数の時間変化を（ｂ）に示している。各フレーム画像エリア８１は縦横が４×４、計１６個のタイル８２により分割されている（図１６（ｃ）（ｄ））。
【００９７】
第ｎフレームと第ｎ＋１フレームの間で、フレーム間の比較の条件を変更する。この変更前及び変更後の各々の条件を条件Ａ及び条件Ｂとする。変更前の条件Ａでは、比較する領域を全画像エリア８１とし（図１６（ｃ））、相関係数値に対する閾値は高く設定した（閾値α）（図１６（ｂ））。ところが、この動画コンテンツは、画像の周辺部は比較的動きが少なく、画像の中心領域でのみフレーム毎の変化が大きいことが判明したとする。その場合は、条件をＡからＢに途中で変更することができる。この条件Ｂでは、比較領域を画像の中心付近に存在する５番、６番、９番、１０番の４個のタイル８２に限定し（図１６（ｄ））、閾値も条件Ａに較べて低くした（閾値β）（図１６（ｂ））。その結果、条件Ｂでは条件Ａに較べて、画質を重視した符号量の削減ができるようになる。
【００９８】
符号列変換装置４，５に入力する符号列データは、通信エラー等により正常に伝送されない場合もある。以下では，図１７を参照して、この場合の対処方法について説明する。
【００９９】
すなわち、図１７（ａ）の符号列データにおいて、第ｎ＋１フレームは、入力時の異常で欠損している。そこで、符号列変換装置４，５の符号列入力手段５１，６１では、第ｎ＋１フレームの直前の第ｎフレームの符号データ８４を、欠損した箇所に置換する（図１７（ｂ））。欠損フレームの符号データ８４が、ヘッダ８８だけを持っていた場合も、その直前のフレームの符号データ８４を、欠損した箇所に置換する。図１７（ｃ）の例では、ヘッダ８８だけでなる第ｎ＋１フレームの符号列データが欠損しているので、図１７（ｄ）に示すように、第ｎフレームの符号データ８４を、欠損した箇所に置換している。このような処理により、代替手段、代替処理を実現している。このように符号列データの一部が失われても、当該フレームの直前のフレームの符号列データを補うことで、符号列データを代替的に復元することができる。
【０１００】
また、図１８に示すように、符号列変換装置４，５にパケット・スクランブル機能を組み込ませてもよい。すなわち、圧縮用の符号列変換装置４のデータの出力部には、符号列データを構成するパケットの順序を任意に並び替えることのできるパケット・スクランブル手段９１を、一方、伸長用の符号列変換装置５のデータ入力部には、符号列データを伸長する前に当該符号列データを構成するパケットを正しく並べ替えることのできるパケット・デスクランブル手段９２を、各々設ける。
【０１０１】
パケット・スクランブル手段９１におけるスクランブルに関する情報は、符号列データのフレーム・ヘッダに記述され、パケット・デスクランブル手段９２によるデスクランブル時に、この情報が読み取られる。また、外部符号列記憶装置９にも、スクランブル化された状態で符号列が蓄えられる。パケット・スクランブル手段９１の実行する機能によりパケット・スクランブル処理を、パケット・デスクランブル手段９２の実行する機能によりパケット・デスクランブル処理を実現している。
【０１０２】
なお、前述の説明では、本発明を監視カメラシステム１に適用する例を説明したが、画像再生装置１０ｂをパーソナルコンピュータ（ＰＣ）、携帯情報端末装置（ＰＤＡ）、携帯電話などの情報端末装置として実施することもできる。
【０１０３】
図２１は、このような情報端末装置９５の一例を示す概念図である。図９と同一符号の要素については前述のとおりであるため、詳細な説明は省略する。この情報端末装置９５は、通信インターフェイス９６を介して、前述のように圧縮符号化した動画像データの符号列データを受信し、符号列変換装置５、画像伸長装置６で元の動画像データに伸長して、表示装置９７に動画像を表示する。このような情報端末装置９５に本発明を適用する場合も、Motion JPEG2000方式を採用した標準的なシステムを利用して、符号列データの伸長を行なうことができる。
【０１０４】
この場合に、符号列データが前述のパケット・スクランブル手段９１により並べ替えられているときは、パケット・デスクランブル手段９２も用意し、符号列データとともにスクランブル解読キーも受信して、符号列データを構成するパケットを正しく並べ替えるようにすることができる。
【図面の簡単な説明】
【０１０５】
【図１】JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」について説明する説明図である。
【図３】「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」について説明する説明図である。
【図４】「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」について説明する説明図である。
【図５】「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」について説明する説明図である。
【図６】本実施の形態である監視カメラシステムの全体構成を示すブロック図である。
【図７】監視カメラシステムの電気的な接続を示すブロック図である。
【図８】監視カメラシステムを構成する画像記録装置の構成を示すブロック図である。
【図９】監視カメラシステムを構成する画像再生装置の構成を示すブロック図である。
【図１０】画像記録装置が行なう処理を説明する説明図である。
【図１１】画像記録装置が行なう処理を説明する説明図である。
【図１２】画像記録装置が行なう処理の他の例を説明する説明図である。
【図１３】画像記録装置が行なう処理の他の例を説明する説明図である。
【図１４】画像記録装置が行なう処理を説明する説明図である。
【図１５】画像記録装置が行なう処理を説明する説明図である。
【図１６】比較内容変更手段が行なう処理を説明する説明図である。
【図１７】代替手段が行なう処理を説明する説明図である。
【図１８】符号列データの並べ替えについて説明する説明図である。
【図１９】画像記録装置が行なう処理のフローチャートである。
【図２０】画像再生装置が行なう処理のフローチャートである。
【図２１】別の実施の形態である情報端末装置の全体構成を示すブロック図である。
【図２２】相関係数値の閾値の変更について説明する説明図である。
【符号の説明】
【０１０６】
１ カメラシステム
２ 画像入力装置
３ 画像圧縮装置
４ 符号列変換装置
５ 符号列変換装置
６ 画像伸長装置
７ 画像表示装置
１０ａ 画像記録装置
１０ｂ 画像再生装置
１２ａ 記憶媒体
１２ｂ 記憶媒体
５２ 構文解析手段
５３ 符号列作成手段
５６ａ 比較手段
５８ 比較内容変更手段
６２ 構文解析手段
６３ 符号列作成手段
９５ 画像再生装置
９７ 表示装置
【図１】
0004350342.tif 000002
【図２】
0004350342.tif 000003
【図３】
0004350342.tif 000004
【図４】
0004350342.tif 000005
【図５】
0004350342.tif 000006
【図６】
0004350342.tif 000007
【図７】
0004350342.tif 000008
【図８】
0004350342.tif 000009
【図９】
0004350342.tif 000010
【図１０】
0004350342.tif 000011
【図１１】
0004350342.tif 000012
【図１２】
0004350342.tif 000013
【図１３】
0004350342.tif 000014
【図１４】
0004350342.tif 000015
【図１５】
0004350342.tif 000016
【図１６】
0004350342.tif 000017
【図１７】
0004350342.tif 000018
【図１８】
0004350342.tif 000019
【図１９】
0004350342.tif 000020
【図２０】
0004350342.tif 000021
【図２１】
0004350342.tif 000022
【図２２】
0004350342.tif 000023