(57)【要約】【課題】画像データを階層符号化した符号列データから、情報の多いペイロード・データを優先的に伸長できるようにした符号列データを生成するための符号列変換装置及び方法を提供する。【解決手段】データ長検出手段１０３は、構文解析手段１０２の解析結果に基づいて、入力符号列データ中のペイロード・データのデータ長をタイル毎に、かつ、階層毎に検出する。重要度指定手段１０４は、検出されたデータ長に基づいて、タイル毎に、かつ、階層毎に、データ長の大きいペイロード・データほど高い重要度を指定する。符号列作成手段１０５は、入力符号列データのヘッダ・データに、重要度指定手段により指定された重要度の情報を追加情報として記述することにより、さらには、データ長の小さいペイロード・データを削除することより、新しい符号列データを作成する。【選択図】図１
2005110145.tif 000002
【特許請求の範囲】
【請求項１】
画像データを階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を指定された領域毎に、かつ、階層毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定手段と、
前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置。
【請求項２】
画像データを矩形領域に分割し、矩形領域毎に階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、前記矩形領域に相当する領域毎に、かつ、階層毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定手段と、    前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置。
【請求項３】
画像データをＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、タイル、プリシンクト又はコードブロックに相当する領域毎に、かつ、階層毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定手段と、
前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置。
【請求項４】
画像データをＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、タイル、プリシンクト又はコードブロックに相当する領域毎に、かつ、サブバンド毎又はコンポーネント毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置。
【請求項５】
前記重要度指定手段は、指定された特定の領域のペイロード・データに最高の重要度を指定することを特徴とする請求項１，２又は３に記載の符号列変換装置。
【請求項６】
前記重要度指定手段は、指定された階層以下の重要度の低いペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度指定対象外とされたペイロード・データを伸長対象外又は送信対象外とする情報を前記新たな符号列データのヘッダ・データに追加情報として記述することを特徴とする請求項１，２又は３に記載の符号列変換装置。
【請求項７】
前記重要度指定手段は、総データ長が指定された閾値以下の領域のペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度対象指定対象外とされたペイロード・データを伸長対象外又は送信対象外とする情報を前記新たな符号列データのヘッダ・データに追加情報として記述することを特徴とする請求項１，２又は３に記載の符号列変換装置。
【請求項８】
前記重要度指定手段は、総データ長が所定の閾値以下の領域のペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度指定対象外とされたペイロード・データが削除された前記新たな符号列データを作成することを特徴とする請求項１，２又は３に記載の符号列変換装置。
【請求項９】
前記符号列出力手段は、前記符号列作成手段により作成された符号列データを出力する際に、送信対象外とされたペイロード・データを破棄することを特徴とする請求項６又は８に記載の符号列変換装置。
【請求項１０】
前記重要度指定手段は、総データ長が所定の閾値以下の領域のペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度指定対象外とされたペイロード・データが削除され、残りのペイロード・データが階層別に重要度順に並べ替えられた前記新たな符号列データを作成することを特徴とする請求項１，２又は３に記載の符号列変換装置。
【請求項１１】
画像データを階層符号化した符号列データを入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析ステップと、
前記構文解析ステップによる解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、指定された領域毎に、かつ、階層毎に検出するデータ長検出ステップと、
前記データ長検出ステップにより検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定ステップと、
前記入力符号列データのヘッダ・データに、前記重要度指定ステップにより指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列データを出力する符号列出力ステップと、を有することを特徴とする符号列変換方法。
【請求項１２】
画像データを矩形領域に分割し、矩形領域毎に階層符号化した符号列データを入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析ステップと、
前記構文解析ステップによる解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、前記矩形領域に相当する領域毎に、かつ、階層毎に検出するデータ長検出ステップと、
前記データ長検出ステップにより検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定ステップと、
前記入力符号列データのヘッダ・データに、前記重要度指定ステップにより指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列データを出力する符号列出力ステップと、を有することを特徴とする符号列変換方法。
【請求項１３】
画像データをＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データを入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析ステップと、
前記構文解析ステップによる解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、タイル、プリシンクト又はコードブロックに相当する領域毎に、かつ、階層毎に検出するデータ長検出ステップと、
前記データ長検出ステップにより検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定ステップと、
前記入力符号列データのヘッダ・データに、前記重要度指定ステップにより指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列データを出力する符号列出力ステップと、を有することを特徴とする符号列変換方法。
【請求項１４】
撮像手段によりシーンを撮影し、静止画像又は動画像の画像データを入力する画像入力装置と、
前記画像入力装置により入力される画像データを符号化した符号列データを生成する画像圧縮装置と、
前記画像圧縮装置により生成された符号列データの変換を行う請求項１乃至１０のいずれか１項に記載の符号列変換装置と、
を有することを特徴とする撮影システム。
【請求項１５】
請求項１乃至１０のいずれか１項に記載の符号列変換装置と、
前記符号列変換装置より出力される符号列データを伸長する画像伸長装置と、
前記画像伸長装置により伸長された画像データを表示する画像表示装置と、
を有し、
前記画像伸長装置において、符号列データのヘッダ・データに記述された追加情報に従って該符号列データのペイロード・データの伸長を制御することを特徴とする画像表示システム。
【請求項１６】
撮像手段によりシーンを撮影し、静止画像又は動画像の画像データを入力する画像入力装置と、
前記画像入力装置により入力される画像データを符号化した符号列データを生成する画像圧縮装置と、
前記画像圧縮装置により生成された符号列データの変換を行う請求項１乃至１０のいずれか１項に記載の符号列変換装置と、
前記符号列変換装置より出力される符号列データを伸長する画像伸長装置と、
前記画像伸長装置により伸長された画像データを表示する画像表示装置と、
を有し、
前記画像伸長装置において、符号列データのヘッダ・データに記述された追加情報に従って該符号列データのペイロード・データの伸長を制御することを特徴とする監視システム。
【請求項１７】
請求項１乃至１０のいずれか１項に記載の符号列変換装置の各手段としてコンピュータを機能させるプログラム。
【請求項１８】
請求項１１乃至１３のいずれか１項に記載の符号列変換方法の各ステップをコンピュータに実行させるプログラム。
【請求項１９】
請求項１７又は１８に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の圧縮伸長の分野に係り、特に、画像データを階層符号化した符号列データの変換処理に関する。
【背景技術】
【０００２】
画像の圧縮（符号化）／伸長（復号）アルゴリズムとして、静止画像を対象にしたＪＰＥＧと、動画像を対象にしたＭＰＥＧ（MPEG1，MPEG2，MPEG4），Motion-JPEGの各方式が広く普及している。ここで、Motion-JPEG方式は静止画像を連続したフレームとして扱う方式(Motion静止画像方式)であり、ＪＰＥＧの拡張方式のとみなすことができる。
【０００３】
ＭＰＥＧ方式とMotion静止画像方式の違いは、後者はフレーム内の符号化だけを行うのに対し、前者はフレーム間の相関を取ることにある。したがって、ＭＰＥＧ方式は高い圧縮率を得ることができる。一方、各々のフレームを独立に扱うMotion静止画像方式は、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、ＭＰＥＧ方式とMotion静止画像方式は、各々独自の特長を持っているため、用途に応じて使い分けられている。
【０００４】
また、最近、ＪＰＥＧの後継アルゴリズムとして、静止画像用のＪＰＥＧ２０００と動画像用のMotion-JPEG2000が注目されている。
【０００５】
なお、Motion-JPEG2000を採用する画像処理装置に関して、フレーム間でフレーム単位又はタイル単位で低周波サブバンド係数を比較することにより画像の動きを判定し、画像の動きがないフレーム又はタイルに関しては、その旨の情報をヘッダに書き込み、そのフレーム又はタイルの符号化データの書き込みを省略する技術が特許文献１に記載されている。
【０００６】
ここで、本発明の理解を容易にするため、ＪＰＥＧ２０００の概要について説明する。図１４は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを実現するためのシステムのブロック図である。このシステムは、色空間変換・逆変換部５００、二次元ウエーブレット変換・逆変換部５０１、量子化・逆量子化部５０２、エントロピー符号化・復号化部５０３、タグ処理部５０４の各機能ブロックにより構成されている。
【０００７】
このシステムが、従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは周波数変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ）が用いられているが、ＪＰＥＧ２０００では離散ウエーブレット変換（ＤＷＴ）が用いられる。ＤＷＴはＤＣＴに比べて高圧縮領域における画質が良いという長所を持ち、この点が、ＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【０００８】
また、他の大きな相違点は、ＪＰＥＧ２０００の階層符号化アルゴリズムでは、システムの最終段に符号形成をおこなうためのタグ処理部５０４という機能ブロックが追加されていることである。このタグ処理部５０４において、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できる。例えば、ブロック・ベースでのＤＷＴのオクターブ分割に対応した任意の階層(デコンポジション・レベル)で圧縮伸長動作を自由に停止させることができる。
【０００９】
ＪＰＥＧ２０００では、図１４に示すように、原画像の入出力部分に色空間変換部・逆変換部５００が接続される場合が多い。例えば、原色系のR(赤)／G(緑)／B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)／M(マゼンタ)／C(シアン)の各コンポーネントからなるYMC表色系から、YUV
あるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【００１０】
次に、ＪＰＥＧ２０００における圧縮（符号化）処理の流れを説明する。カラー画像は、一般に、図１５に示すように、原画像の各コンポーネント(ここではRGB原色系)が、重複しない矩形領域によって分割される。この分割された矩形領域はタイルと呼ばれる。図１５の例では、各コンポーネントが縦横4×4、合計16個のタイルに分割されている。このような個々のタイルが画像データの圧縮伸長プロセスを実行する際の基本単位となり、画像データの圧縮伸長動作はコンポーネントごとに、かつ、タイルごとに、独立に行なわれる。
【００１１】
画像データの符号化時には、各コンポーネントの各タイルのデータは、色空間変換・逆変換部５００で色空間変換を施された後、二次元ウエーブレット変換・逆変換部５０１で二次元ウエーブレット変換(順変換)が適用されて周波数帯域（サブバンド）に空間分割される。
【００１２】
図１６に、デコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブバンドを示す。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL；デコンポジション・レベル０)に対して、二次元ウェーブレット変換を施し、デコンポジション・レベル１のサブバンド(1LL,
1HL, 1LH, 1HH)を分離する（ｂ）。そして引き続き、この階層における低周波成分１LLに対して、二次元ウェーブレット変換を施し、デコンポジション・レベル２のサブバンド(2LL,
2HL, 2LH, 2HH)を分離する。同様に、低周波成分2LLに対しても二次元ウェーブレット変換を施し、デコンポジション・レベル３のサブバンド(3LL,
3HL, 3LH, 3HH)を分離する。なお、大きなデコンポジション・レベルは上位階層レベルに、また、小さなデコンポジション・レベルは下位階層レベル」に、各々対応する。
【００１３】
次に、指定した符号化の順番で符号化の対象となるビットが定められ、量子化・逆量子化部５０２で対象ビット周辺のビットからコンテキストが生成される。
【００１４】
量子化・逆量子化部５０２で量子化されたウエーブレット係数は、サブバンドごとに、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図１９に示すように、一つのプレシンクトは、空間的に一致した三つの矩形領域からなっている。個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分割される。これは、エントロピー符号化を行う際の基本単位となる。
【００１５】
エントロピー符号化・復号化部５０３では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部５０４は、エントロピー符号化・復号化部５０３からの全符号化データを、一本の符号列データに結合するとともに、それにタグ及びタグ情報を付加する処理を行うことにより、図１７に示すような構造のコードストリームを生成する。図示のように、コードストリームの先頭と各タイルの符号データ(bit stream)の先頭には、ヘッダ(header)と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、符号列データの終端には、再びタグ(end
of codestream)が置かれる。このような符号列データ（コードストリーム）のヘッダ・データ以外の部分、すなわち各タイルの符号データ（ビットストリーム）がペイロード・データであり、パケットの集合である。
【００１６】
図１８に、符号化されたウエーブレット係数値の収容されたパケットを、サブバンドごとに表わした時の、コード・ストリーム構造を示す。（ａ）はタイル分割を行わない場合の構造であり、（ｂ）は４タイルに分割した場合の構造である。タイル分割の有無に関わらず、図１８中の最下段に例示するような同様のパケット列構造を持っている。
【００１７】
一方、復号化（伸長）時には、符号化時とは逆に、各コンポーネントの各タイルの符号列データから、画像データを生成する。この場合、タグ処理部５０４は、外部より入力したコードストリーム中のタグ情報を解釈し、符号列データ（ペイロード・データ）を各コンポーネントの各タイルの符号列データに分解し、その各コンポーネントの各タイルの符号列データごとに復号化処理が行われる。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部５０２で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部５０３で、このコンテキストと符号列データから確率推定によって復号化を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータはサブバンド毎に空間分割されているため、これを二次元ウェーブレット逆変換・逆変換部５０１で二次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部５００によって元の表色系のデータに変換される。
【００１８】
以上がＪＰＥＧ２０００のアルゴリズムの概要である。なお、静止画像すなわち単フレームに対するＪＰＥＧ２０００アルゴリズムを複数フレームに拡張したものがＭｏｔｉｏｎ−ＪＰＥＧ２０００である。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画は、各フレームがＪＰＥＧ２０００のアルゴリズムにより圧縮されたＭｏｔｉｏｎ静止画であるので、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００についてはこれ以上の説明を割愛する。
【００１９】
【特許文献１】特開２００１−３０９３８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
例えば、図１４の（ｂ）に示すような画像の画像データを、図示のように１６タイルに分割してＪＰＥＧ２０００のアルゴリズムにより階層符号化された符号列データを伸長する場合、各デコンポジション・レベルにおいて（ａ）に示すように、各タイルの番号順（ラスター順）に伸長される。なお、（ａ）はデコンポジション・レベル数が４の場合の伸長経過を示している。
【００２１】
例えば、この符号列データを上のデコンポジション・レベルより順に伸長し、画像をプログレッシブ表示（解像度を段階的に上げる表示）を行う場合、各デコンポジション・レベルで左上のタイルからラスター順に伸長されるため、その順でタイル領域の画像の鮮明度が向上していく。（ｂ）に示す画像の場合、中央部分のタイル領域に情報が集中しており、その領域が関心の高い領域であるが、関心領域でないタイル＃００，＃０１，＃２，＃０３の方が先に鮮明度が向上するのである。本来ならば、関心領域こそ優先的に鮮明度を向上させるのが望ましいことは明らかである。
【００２２】
また、動画像の符号列データを伝送路を通して伝送し、それを伸長して表示する場合においては、伝送路のスループットの制約から伸長処理を完了できないフレームが発生することがある。例えば、あるフレームが図１４０の（ａ）に示すような画像であるとし、そのフレームの符号列データの伸長処理が、例えばデコンポジション・レベル１のタイル＃００，＃０１，＃０２，＃０３まで伸長された時点で打ち切られたとする。この場合、それらタイルは最高解像度で表示されるが、肝心の関心領域は１レベルだけ低い解像度で表示されることになってしまい、動画を見ている者に違和感やストレスを感じさせてしまう。本来ならば、関心領域こそ高い解像度で表示されるべきである。
【００２３】
ＪＰＥＧ２０００以外のアルゴリズムにより階層符号化した符号列データを伸長する場合においても、同様の問題がある。
【００２４】
よって、本発明の目的は、静止画像の画像データ又は動画像の各フレームの静止画像の画像データを階層符号化した符号列データの伸長に関する前記問題点を解決できるように、符号列データを変換する符号列変換装置及び符号列変換方法を提供することにある。
【００２５】
本発明の他の目的は、前記問題点を解決するために、本発明の符号列変換装置を用いた画像撮影システム、画像表示システム及び監視システムを提供することにある。
【課題を解決するための手段】
【００２６】
請求項１の発明は、画像データを階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を指定された領域毎に、かつ、階層毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定手段と、
前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置である。
【００２７】
請求項２の発明は、画像データを矩形領域に分割し、矩形領域毎に階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、前記矩形領域に相当する領域毎に、かつ、階層毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定手段と、    前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置である。
【００２８】
請求項３の発明は、画像データをＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、タイル、プリシンクト又はコードブロックに相当する領域毎に、かつ、階層毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定手段と、
前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置である。
【００２９】
請求項４の発明は、画像データをＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データを入力する符号列入力手段と、
前記符号列入力手段により入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析手段と、
前記構文解析手段による解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、タイル、プリシンクト又はコードブロックに相当する領域毎に、かつ、サブバンド毎又はコンポーネント毎に検出するデータ長検出手段と、
前記データ長検出手段により検出されたデータ長に基づき、前記入力符号列データのヘッダ・データに、前記重要度指定手段により指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成手段と、
前記符号列作成手段で作成された符号列データを出力する符号列出力手段と、
を有することを特徴とする符号列変換装置である。
【００３０】
請求項５の発明は、前記重要度指定手段は、指定された特定の領域のペイロード・データに最高の重要度を指定することを特徴とする請求項１，２又は３の発明による符号列変換装置である。
【００３１】
請求項６の発明は、前記重要度指定手段は、指定された階層以下の重要度の低いペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度指定対象外とされたペイロード・データを伸長対象外又は送信対象外とする情報を前記新たな符号列データのヘッダ・データに追加情報として記述することを特徴とする請求項１，２又は３の発明による符号列変換装置である。
【００３２】
請求項７の発明は、前記重要度指定手段は、総データ長が指定された閾値以下の領域のペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度対象指定対象外とされたペイロード・データを伸長対象外又は送信対象外とする情報を前記新たな符号列データのヘッダ・データに追加情報として記述することを特徴とする請求項１，２又は３の発明による符号列変換装置である。
【００３３】
請求項８の発明は、前記重要度指定手段は、総データ長が所定の閾値以下の領域のペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度指定対象外とされたペイロード・データが削除された前記新たな符号列データを作成することを特徴とする請求項１，２又は３の発明による符号列変換装置である。
【００３４】
請求項９の発明は、前記符号列出力手段は、前記符号列作成手段により作成された符号列データを出力する際に、送信対象外とされたペイロード・データを破棄することを特徴とする請求項６又は８に記載の符号列変換装置である。
【００３５】
請求項１０の発明は、前記重要度指定手段は、総データ長が所定の閾値以下の領域のペイロード・データを重要度指定対象外とし、
前記符号列作成手段は、前記重要度指定手段により重要度指定対象外とされたペイロード・データが削除され、残りのペイロード・データが階層別に重要度順に並べ替えられた前記新たな符号列データを作成することを特徴とする請求項１，２又は３の発明による符号列変換装置である。
【００３６】
請求項１１の発明は、画像データを階層符号化した符号列データを入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析ステップと、
前記構文解析ステップによる解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、指定された領域毎に、かつ、階層毎に検出するデータ長検出ステップと、
前記データ長検出ステップにより検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定ステップと、
前記入力符号列データのヘッダ・データに、前記重要度指定ステップにより指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列データを出力する符号列出力ステップと、を有することを特徴とする符号列変換方法である。
【００３７】
請求項１２の発明は、画像データを矩形領域に分割し、矩形領域毎に階層符号化した符号列データを入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析ステップと、
前記構文解析ステップによる解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、前記矩形領域に相当する領域毎に、かつ、階層毎に検出するデータ長検出ステップと、
前記データ長検出ステップにより検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定ステップと、
前記入力符号列データのヘッダ・データに、前記重要度指定ステップにより指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列データを出力する符号列出力ステップと、を有することを特徴とする符号列変換方法である。
【００３８】
請求項１３の発明は、画像データをＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データを入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列データのヘッダ・データとペイロード・データを分離し、ヘッダ・データを解析する構文解析ステップと、
前記構文解析ステップによる解析結果に基づいて、前記入力符号列データのペイロード・データのデータ長を、タイル、プリシンクト又はコードブロックに相当する領域毎に、かつ、階層毎に検出するデータ長検出ステップと、
前記データ長検出ステップにより検出されたデータ長に基づき、前記入力符号列データのペイロード・データに、領域毎に、かつ、階層毎に重要度を指定する重要度指定ステップと、
前記入力符号列データのヘッダ・データに、前記重要度指定ステップにより指定された重要度の情報を追加情報として記述することにより、新たな符号列データを作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列データを出力する符号列出力ステップと、を有することを特徴とする符号列変換方法である。
【００３９】
請求項１４の発明は、撮像手段によりシーンを撮影し、静止画像又は動画像の画像データを入力する画像入力装置と、
前記画像入力装置により入力される画像データを符号化した符号列データを生成する画像圧縮装置と、
前記画像圧縮装置により生成された符号列データの変換を行う請求項１乃至１０のいずれか１項に記載の符号列変換装置と、
を有することを特徴とする撮影システムである。
【００４０】
請求項１５の発明は、請求項１乃至１０のいずれか１項の発明による符号列変換装置と、
前記符号列変換装置より出力される符号列データを伸長する画像伸長装置と、
前記画像伸長装置により伸長された画像データを表示する画像表示装置と、
を有し、
前記画像伸長装置において、符号列データのヘッダ・データに記述された追加情報に従って該符号列データのペイロード・データの伸長を制御することを特徴とする画像表示システムである。
【００４１】
請求項１６の発明は、撮像手段によりシーンを撮影し、静止画像又は動画像の画像データを入力する画像入力装置と、
前記画像入力装置により入力される画像データを符号化した符号列データを生成する画像圧縮装置と、
前記画像圧縮装置により生成された符号列データの変換を行う請求項１乃至１０のいずれか１項の発明による符号列変換装置と、
前記符号列変換装置より出力される符号列データを伸長する画像伸長装置と、
前記画像伸長装置により伸長された画像データを表示する画像表示装置と、
を有し、
前記画像伸長装置において、符号列データのヘッダ・データに記述された追加情報に従って該符号列データのペイロード・データの伸長を制御することを特徴とする監視システムである。
【００４２】
請求項１７の発明は、請求項１乃至１０のいずれか１項の発明による符号列変換装置の各手段としてコンピュータを機能させるプログラムである。
【００４３】
請求項１８の発明は、請求項１１乃至１３のいずれか１項の発明による符号列変換方法の各ステップをコンピュータに実行させるプログラムである。
【００４４】
請求項１９の発明は、請求項１７又は１８の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００４５】
請求項１乃至１６の発明によれば、画像データを階層符号化した符号列データから、情報が多くデータ長の大きいペイロード・データほど高い重要度を指定した新しい符号列データを生成することができる。この符号列データを画像伸長装置に入力し、重要度の高いペイロード・データほど優先して伸長させるならば、例えば、静止画像のプログレッシブ表示の場合に、情報の多い関心領域の画質を先に向上させることができる。また、動画像を表示する場合に、各フレームの伸長処理が途中で打ち切られたときでも、情報の多い関心領域ほど高い画質で表示させることができる。さらに、請求項５の発明によれば、一般に画像中心部のような関心の高いと考えらる領域のペイロード・データを最優先に伸長させることができ、また、そのような領域のペイロード・データに関してはデータ長の検出を行う必要がないため、データ長検出のための処理時間を短縮できる。さらに、請求項６乃至１０の発明によれば、情報の少ないペイロード・データの伸長処理を不要にし、伸長処理時間を短縮することができる。さらに請求項８，９，１０の発明によれば、情報が少ないペイロード・データを符号列変換時又は出力時に破棄されるため、符号列データのデータ量を削減でき、符号列データの伝送時間を短縮し、また、符号列データの記憶スペースを削減できる。請求項１４，１５，１６の発明によれば、上に述べたような利点を持つ撮影システム、画像表示システム又は監視システムを実現することができる。請求項１７，１８，１９の発明によれば、パソコンなどのコンピュータを利用し、請求項１乃至１６の発明を容易に実施することができる、等々の効果を得られる。
【発明を実施するための最良の形態】
【００４６】
まず、本発明の符号列変換装置に関する実施の形態について説明する。ここで、符号列変換装置とは、画像データを圧縮した符号列データすなわちコード・ストリームに対して様々な操作を行うモジュールであり、それ自体は圧縮又は伸長処理を行うことも目的とするものではない。
【００４７】
図１は、本発明の符号列変換装置の一実施例を示すブロック図である。ここに示す符号列変換装置は、符号列入力手段１０１、構文解析手段１０２、データ長検出手段１０３、重要度指定手段１０４、符号列作成手段１０５、符号列出力手段１０６から構成されている。
【００４８】
符号列入力手段１０１は、静止画像の画像データ（画素値データ）又は動画像の各フレームの画像データを階層符号化することにより生成された符号列データを、外部の画像圧縮装置、符号列データを記憶している記憶装置、ネットワーク、あるいは、別の同様の符号列変換装置より入力するする手段である。本実施例においては、静止画像の画像データ又は動画像の各フレームの画像データを前述したＪＰＥＧ２０００アルゴリズムにより階層符号した符号列データ（コードストリーム）が入力される。ただし、ＪＰＥＧ２０００アルゴリズム以外の階層符号化アルゴリズム、例えば、離散ウェーブレット変換を用いる他の階層符号化アルゴリズム、離散コサイン変換を用いる他の階層符号化アルゴリズムにより符号化された符号列データに対しても、本発明を適用し得ることは明らかである。
【００４９】
構文解析手段１０２は、入力された符号列データのヘッダ・データとペイロード・データとを分離し、ヘッダ・データの情報に基づいて符号列データの構文を解析する手段である。
【００５０】
データ長検出手段１０３は、構文解析手段１０２による解析結果に基づき、入力符号列データのペイロード・データのデータ長を検出する手段である。ペイロード・データはパケット列からなるが、パケット長の情報はメインヘッダ及びタイルヘッダに含まれており、この情報は構文解析手段１０２よりデータ長検出手段１０３へ送られる。データ長検出手段１０３は、このパケット長の情報を基にしてペイロード・データのデータ長を検出することができる。データ長の検出は、タイル毎に、かつ、デコンポジション・レベル（階層）毎に行われる。
【００５１】
重要度指定手段１０４は、データ長検出手段１０３により検出されたデータ長に基づき、タイル毎に、かつ、デコンポジション・レベル毎にペイロード・データの重要度を指定する。この際、ユーザが指示することにより、特定のタイルのペイロード・データについては無条件に重要度を最高ランクに指定させたり、総データ長が所定の閾値を下回るタイルのペイロード・データについては重要度指定の対象外とさせたりすることができる。その具体例については後述する。
【００５２】
符号列作成手段１０５は、入力符号列データのヘッダ・データに重要度指定手段１０４により指定された重要度の情報を追加情報として記述し、さらにユーザの指示に従って、重要度指定情報に基づいて入力符号列データのペイロード・データの一部の削除や並べ替えを行うことにより、新たな符号列データ（入力符号列データを変換した符号列データ）を作成する。ペイロード・データの一部削除や並べ替えの例については後述する。
【００５３】
符号列出力手段１０６は、符号列作成手段１０５により作成された変換後の符号列データ（コード・ストリーム）を、画像伸長装置、符号列記憶装置、ネットワーク、あるいは別の符号列変換装置などへ出力する手段である。
【００５４】
図２の（ａ）に入力符号列データの例を示す（図中、メインヘッダは省略されている）。この符号列データは、画像データを（ｂ）に示すように１６個のタイル（＃００〜＃１５）に分割して階層符号化されたものである。符号化時のウェーブレット変換のデコンポジション・レベル数は４であり、各タイルのペイロード・データは最高階層であるデコンポジション・レベル４から最低階層であるデコンポジション・レベル１まで各レベルの符号データ（パケット列）が順に並べられた構成である。それぞれのレベルの符号データは矩形として図示されており、矩形の長さ（横幅）をデータ長に比例させている。
【００５５】
この符号列データは、（ｃ）に示すような中央部分に情報が集まった画像データを符号化したものであるので、（ａ）に見られるように中央部分のタイルのペイロード・データのデータ長が大きく、周辺部分のタイルのデータ長は小さい。
【００５６】
図２（ａ）に示した入力符号列データについて、データ長検出手段１０３でタイル毎に、かつ、デコンポジション・レベル毎にペイロード・データのデータ長を検出し、重要度指定手段１０４で、そのデータ長の大きい順に重要度を指定した結果を図３に示す。図３において、小さい数字ほど高い重要度を意味する。図２（ａ）の入力符号列データでは、タイル＃０６が、いずれのデコンポジション・レベルにおいてもデータ長が最大であるので、最高の重要度が指定される。
【００５７】
符号列作成手段１０５において、図２（ａ）に示す入力符号列データのヘッダ・データに図３に示すような重要度の情報を追加情報として記述した新しい符号列データ（コード・ストリーム）を作成させることができる。このような変換された符号列データを画像伸長装置に入力し、高いデコンポジション・レベル（高い階層）から、かつ、重要度の高いペイロード・データから順に伸長させてプログレッシブ表示させる場合を考える。つまり、重要度のランクを伸長動作の開始順序の情報として利用するわけである。
【００５８】
デコンポジション・レベル４では、図４中の左上図に示す数字（重要度）の小さいタイルから先に順に伸長されて表示されることになる。同様に、デコンポジション・レベル３では図４中の右上図に示す数字の小さいタイルから先に順に伸長されて表示される。同様に、デコンポジション・レベル２では、図４中の右下図に示す数字の小さいタイルから先に順に伸長されて表示される。同様にデコンポジション・レベル１では、図４中の左下図に示す数字の小さいタイルから先に順に伸長され表示される。
【００５９】
このように、いずれのデコンポジション・レベルにおいても、データ長が最大で重要度が最高のタイル＃０６が最初に伸長されて表示され、また、概ね中心部のタイルほど優先的に表示される。周辺部のタイルは、いずれのデコンポジション・レベルにおいても遅く伸長され表示される。データ長が大きいタイルは、通常、情報量の大きい高精細画像領域で、最も関心のある画像領域であるので、そのような部分の画像を早い段階で視認できるのは一般に好都合である。
【００６０】
このことは静止画像をプログレッシブ表示させる場合に限らない。動画像の符号列データを帯域の狭い伝送路により伝送しながら伸長し表示する場合、各フレームの伸長処理を途中で打ち切らざるを得ないようなことがある。例えば、伸長処理がデコンポジション・レベル１の途中で打ち切られたとする。この場合、重要度が高い中央部分のタイルは優先的に伸長されるため、それらのタイルは高い解像度で表示される。後回しにされた周辺のタイルはデコンポジション・レベル１の伸長が未完であるため、１レベル低い解像度で表示されることになる。しかし、重要度の高いタイルはデータ長が長く情報の多い部分でり、その部分は高解像度で表示されるため、周辺部のタイルの解像度が低くても、ほとんど違和感を感じない。
【００６１】
重要度指定手段１０４において、ユーザからの指示により、特定のタイルについては無条件に最高の重要度を指定し、それ以外のタイルについてはデータ長の大きい順に高い重要度を指定することができる。そのような重要度指定の例を図５に示す。この例では、中央部分のタイル＃０５，＃０６，＃０９，＃１０に無条件に最高の重要度が指定されている。画像の中心部に情報が集中するのが普通であるため、このような重要度指定は一般に合理的である。この場合、データ長検出手段１０３は、そのような中央部分の４タイルについてはデータ長検出を省くことができるため、処理時間の短縮に効果がある。
【００６２】
符号列作成手段１０５において、図２（ａ）に示す入力符号列データのヘッダ・データに図５に示すような重要度の情報を追加記述した新しい符号列データ（コード・ストリーム）を作成させることができる。このような変換された符号列データを画像伸長装置に入力し、高いデコンポジション・レベルから、かつ、重要度の高いペイロード・データを順に符号データを伸長させてプログレッシブ表示させる場合を考える。
【００６３】
デコンポジション・レベル４では、図６中の左上図に示す数字（重要度）の小さいタイルから先に順に伸長されて表示されることになる。同様に、デコンポジション・レベル３では図６中の右上図に示す数字の小さいタイルから先に順に伸長されて表示される。同様に、デコンポジション・レベル２では、図６中の右下図に示す数字の小さいタイルから先に順に伸長されて表示される。同様にデコンポジション・レベル１では、図６中の左下図に示す数字の小さいタイルから先に順に伸長され表示される。このように、いずれのデコンポジション・レベルにおいても、中心部のタイル＃０５，＃６，＃９，＃１０が優先的に伸長されて表示され、また、周辺部のタイルはデータ長が大きい（すなわち情報の多い）タイルから順に伸長されて表示される。
【００６４】
重要度指定手段１０４において、ユーザの指示により、最高階層（ここではデコンポジション・レベル４）より下層の指定階層以下に関し、重要度の低いペイロード・データを重要度指定対象外とさせることができる。各デコンポジション・レベルで各タイルに図３に示すような重要度が指定される場合に、例えば、デコンポジション・レベル２以下のレベルで重要度が上位６番までのペイロード・データのみ重要度を指定し、それ以下の重要度のペイロード・データを重要度指定の対象外とさせることができる。そして、符号列作成手段１０５において、重要度指定対象外とされたペイロード・データを伸長処理の対象外とする情報を、変換後の符号列データのヘッダ・データに追加情報として記述させることができる。
【００６５】
この例における変換後の符号列データを画像伸長装置に入力し、伸長処理の対象とされたペイロード・データ以外のペイロード・データを、高いデコンポジション・レベルから、かつ、重要度の高い順に伸長させてプログレッシブ表示させる場合を考える。
【００６６】
デコンポジション・レベル４では、図７中の左上図に示す数字の小さいタイルから順に伸長されて表示されることになる。同様に、デコンポジション・レベル３では図７中の右上図に示す数字の小さいタイルから順に伸長されて表示される。同様に、デコンポジション・レベル２では、図７中の右下図に示す数字の小さいタイルから順に伸長されて表示されるが、×印が付けられたタイルは伸長処理対象外であるので伸長されない。同様にデコンポジション・レベル１では、図７中の左下図に示す数字の小さいタイルから伸長され表示されるが、×印が付けられたタイルは伸長処理対象外であるので伸長されない。なお、×印の付けられたタイルにおいても、デコンポジション・レベル３までは伸長されるため、解像度は低いが画像は表示される。
【００６７】
このように、あるデコンポジション・レベル以下に関し、所定の重要度以下の（つまり情報の少ない）ペイロード・データの伸長処理を省くと、伸長処理時間を短縮し静止画の迅速な表示が可能である。
【００６８】
また、動画像の各フレームを伸長して表示させる場合は、×印を付けたタイルはデコンポジション・レベル３までしか伸長されないため、全レベル伸長されるタイルに比べ、２レベル低い解像度で表示されることになる。しかし、データ長が大きく重要度の高いタイル、すなわち情報が多い関心領域のタイルは高い解像度で表示されるため、それほどの違和感はない。動画像を帯域の狭い伝送路を介して伝送し表示させる場合には、伸長処理時間が不足する場合があるが、上に述べたように、あるデコンポジション・レベル以下に関し所定の重要度より重要度の低い（つまり情報の少ない）タイルのペイロード・データの伸長処理を省くことにより、伸長処理時間の不足を補うことができる利点がある。
【００６９】
なお、重要度指定対象外のペイロード・データについて、そのパケットの送信動作の抑止を指定し、変換後の符号列データをネットワークへ出力する際に、それらパケットを符号列出力手段１０６で破棄するフィルタリング処理を行わせてもよい。
【００７０】
重要度指定手段１０４において、ユーザの指示により、タイルの総データ長（全てのデコンポジション・レベルのデータ長の合計）と指定された閾値とを比較し、総データ長が指定閾値を越えるタイルのペイロード・データに対してのみ重要度を指定し、総データ長が指定閾値以下のタイルのペイロード・データを重要度指定の対象外にさせることができる。そして、符号列作成手段１０５において、重要度指定の対象外とされたペイロード・データを伸長処理の対象外とする情報を、新たな符号列データのヘッダ・データに追記情報として記述させることができる。
【００７１】
例えば、図２（ａ）に示した入力符号列データに対して、図８（ａ）に示すような閾値を指定した場合、総データ長が指定閾値を越えるタイルは＃０２，＃０４，＃０５，＃０６，＃０７，＃０９，＃１０，＃１１の８タイルのみであり、残りの８タイルは総データ長が指定閾値以下であるため、そのペイロード・データを伸長処理の対象外とする追加情報が変換後の符号列データのヘッダ・データに記述される。
【００７２】
この符号列データを画像伸長装置に入力し、伸長処理の対象外とされたペイロード・データを除くペイロード・データを、高いデコンポジション・レベルより重要度の高い順に伸長させた場合、図８（ｃ）に示すように、タイル＃００，＃０１，＃０３，＃０８，＃１２，＃１３，＃１４，＃１５は全デコンポジション・レベルが伸長処理対象外となるため、その部分の画像は表示されない。しかし、それらのタイルは情報の少ない部分である。情報の多い関心領域のみを短時間に表示させたい場合や、伸長処理時間の制約が強い場合には、この例のように総データ量の少ないタイルのペイロード・データを伸長処理の対象外にすることも効果的である。
【００７３】
なお、重要度指定対象外のペイロード・データについて、そのパケットの送信動作の抑止を指定し、変換後の符号列データをネットワークへ出力する際に、それらパケットを符号列出力手段１０６で破棄するフィルタリング処理を行わせてもよい。
【００７４】
また、符号列作成手段１０５において、上に述べたように重要度指定手段１０４で総データ長が指定閾値以下で重要度指定の対象外とされたタイルのペイロード・データを削除した符号列データを作成させることができる。
【００７５】
例えば、図９（ａ）に示すように、総データ長が指定閾値を超えるタイル＃０２，＃０４，＃０５，＃０７，＃０９，＃１０，＃１１についてのみペイロード・データを持ち、それ以外のタイルに関してはヘッダ・データのみでペイロード・データのない符号列データを作成させることができる。
【００７６】
この符号列データを画像伸長装置へ入力した場合、（ｃ）に示すような画像が再生されることになる。変換後の符号列データは総データ量が大幅に削減される。このことは、特に、動画像を狭い帯域の伝送路を介して伝送する場合に伝送時間を短縮でき、動画像を記憶装置に蓄積する場合に必要な記憶スペースを削減できるなどの効果がある。
【００７７】
また、符号列作成手段１０５において、入力符号列データのペイロード・データを並べ替えた新しい符号列データを作成させることもできる。例えば、図９に関連して説明したように、総データ長が指定閾値を超える各タイルのペイロード・データを、図１０に示すように、デコンポジション・レベル（階層）別に、データ長の大きい順に（つまり重要度の高い順に）並べ替え、各デコンポジション・レベルのペイロード・データの先頭にデコンポジションレベル・ヘッダを付けたような符号列データを作成することができる。なお、図１０において、（  ）内の数字はデコンポジション・レベルを示し、［  ］内の数字はタイル番号を示す。
【００７８】
このような符号列データは、画像伸長装置において、その先頭のペイロード・データから順に伸長することにより、ペイロード・データの重要度を格別意識することなく、高いデコンポジション・レベルから、かつ、重要度の高い順にペイロード・データを伸長することができる。したがって、符号列データのヘッダ・データへの重要度に関する情報の記述を省略可能である。ただし、各ペイロード・データがどのタイルの符号データであるか識別するための情報をデコンポジション・ヘッダあるいはメインヘッダに記述する必要がある。
【００７９】
以上の説明においては、タイル毎に、かつ、デコンポジション・レベル（階層）毎に、データ長の検出と重要度の指定を行った。しかし、タイルより狭いプリシンクト又はコードブロック毎に、また、デコンポジション・レベル毎でなく、サブバンド毎あるいはコンポーネント（輝度、色差）毎に、データ長検出と重要度指定を行うことも可能である。また、例えば、８×８画素のブロック単位で離散コサイン変換を行う階層符号化の場合には、そのブロックをデータ長検出と重要度指定の単位領域として用いることもできる。
【００８０】
なお、繰り返しになるが、ヘッダ・データに記述された重要度の情報は、ペイロード・データの伸長処理を開始させる順序の情報として扱うことも、ペイロード・データの送信動作を開始させる順序の情報として扱うことも可能である。また、伸長対象外のペイロード・データを送信対象外として扱うことも可能であり、そのようなペイロード・データのパケットをネットワークへ出力する際に破棄することができる。
【００８１】
また、ここまでの符号列変換装置に関する説明は、本発明の符号列変換方法の説明でもあることは明らかである。すなわち、符号列変換装置の各手段の機能は、本発明の符号列変換方法の各ステップの処理内容に対応する。
【００８２】
また、以上に説明した本発明の符号列変換装置の各手段、あるいは、本発明の符号列変換方法の各ステップを、パソコンなどの汎用コンピュータやマイクロコンピュータなどを利用し、１以上のプログラムにより実現することも可能である。そのプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も本発明に包含される。
【００８３】
図１１は、本発明に係る撮影システムのブロック図である。図１１において、画像入力装置２０１は、撮像手段を用いてシーンを撮像し、その画像データを入力する手段である。静止画撮影を目的とする場合には、個別の静止画像の画像データが入力される。動画像撮影を目的とする場合には、動画像のフレームを構成する連続した複数の静止画像の画像データが順に入力される。なお、画像入力装置２０１を複数台備えることもできる。
【００８４】
入力された画像データは、画像圧縮装置２０２において例えばＪＰＥＧ２０００のアルゴリズムにより階層符号化され、その符号列データが本発明の符号列変換装置２０３に入力される。この符号列変換装置２０３は以上に説明した構成のもので、入力符号列データを変換した新しい符号列データを出力する。
【００８５】
図１２は、本発明に係る画像表示システムのブロック図である。静止画像又は動画像の各フレームの静止画像の画像データを例えばＪＰＥＧ２０００のアルゴリズムにより階層符号化した符号列データが、本発明の符号列変換装置３０１により新しい符号列データに変換される。この符号列変換装置３０１は以上に説明した構成のものである。変換後の符号列データは画像伸長装置３０２により伸長されるが、ヘッダ・データに記述された追加情報に従って伸長処理が制御される。そして、伸長された画像データが画像表示装置３０２に表示される。このような画像表示システムによれば、図２乃至図１０に関連して説明したような関心領域を優先した画像表示が可能である。
【００８６】
なお、符号列変換装置３０１と画像伸長装置３０２の間に、符号列を蓄積する記憶装置や伝送装置などが介在してもよい。
【００８７】
図１３に、本発明に係る監視システムのブロック図である。画像入力装置４０１は、１又は複数の撮像手段（監視カメラ）を用いてシーンを撮像し、その画像データを入力する手段である。
【００８８】
入力された画像データは、画像圧縮装置４０２において例えばＪＰＥＧ２０００のアルゴリズムにより階層符号化され、その符号列データが本発明の符号列変換装置４０３に入力される。この符号列変換装置２０３は以上に説明した如き構成のもので、入力符号列データを変換した新しい符号列データを出力する。
【００８９】
符号列変換装置４０３より出力される符号列データは、直接的に伝送路を介して画像伸長装置４０４へ伝送され、あるいは、符号列記憶装置４０６に一旦蓄積され、この符号列記憶装置４０６より符号列データが伝送路を介して画像伸長装置４０４へ伝送される。なお、符号列記憶装置４０６を画像伸長装置４０４側に設置する構成も可能である。
【００９０】
画像伸長装置４０４は、入力された符号列データの伸長処理を行うが、そのヘッダ・データに追加情報として記述された情報に従って伸長処理を制御する。伸長された画像データは画像表示装置４０５に表示される。
【００９１】
符号列変換装置４０３において、図２乃至図１０に関連して説明したような符号列変換を行うならば、撮影されたシーンの関心領域を優先して画像表示装置４０５で表示させることができる。
【００９２】
なお、画像伸長装置４０４の前段に、本発明による別の符号列変換装置を設け、符号列変換装置４０３又は符号列記憶装置４０６より入力する符号列データをさらに変換するような構成も本発明に包含される。
【図面の簡単な説明】
【００９３】
【図１】本発明の符号列変換装置のブロック図である。
【図２】入力される符号列データの説明図である。
【図３】タイル単位、デコンポジション単位の重要度指定の例を示す図である。
【図４】図３に示す重要度指定に従った伸長・表示の説明図である。
【図５】特定タイルを無条件に最高の重要度に指定する例の説明図である。
【図６】図５に示す重要度指定に従った伸長・表示の説明図である。
【図７】デコンポジション・レベル２以下で重要度の低いタイルを伸長しない場合の伸長・表示の説明図である。
【図８】総データ長が指定閾値以下のタイルを伸長対象外とする場合の説明図である。
【図９】総データ長が指定閾値以下のタイルの符号データを削除する処理の説明図である。
【図１０】総データ長が指定閾値以上のタイルの符号データを、デコンポジション・レベル毎に、データ長の長い順に並べ替えた符号列データの例を示す図である。
【図１１】本発明の画像撮影システムを説明するためのブロック図である。
【図１２】本発明の画像表示システムを説明するためのブロック図である。
【図１３】本発明の監視カメラシステムを説明するためのブロック図である。
【図１４】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図１５】ブロック分割の説明図である。
【図１６】二次元離散ウェーブレット変換のオクターブ分割の説明図である。
【図１７】ＪＰＥＧ２０００のコードストリーム構造の説明図である。
【図１８】ＪＰＥＧ２０００のコードストリームの説明図である。
【図１９】タイル、プリシンクト、コードブロックの説明図である。
【図２０】タイル番号順の伸長・表示の説明図である。
【符号の説明】
【００９４】
１０１  符号列入力手段
１０２  構文解析手段
１０３  データ長検出手段
１０４  重要度指定手段
１０５  符号列作成手段
１０６  符号列出力手段
２００  画像撮影システム
２０１  画像入力装置
２０２  画像圧縮装置
２０３  符号列変換装置
３００  画像表示システム
３０１  符号列変換装置
３０２  画像伸長装置
３０３  画像表示装置
４００  監視カメラシステム
４０１  画像入力装置（監視カメラ）
４０２  画像圧縮装置
４０３  符号列変換装置
４０４  画像伸長装置
４０５  画像表示装置
４０６  符号列記憶装置
【図１】
2005110145.tif 000003
【図２】
2005110145.tif 000004
【図３】
2005110145.tif 000005
【図４】
2005110145.tif 000006
【図５】
2005110145.tif 000007
【図６】
2005110145.tif 000008
【図７】
2005110145.tif 000009
【図８】
2005110145.tif 000010
【図９】
2005110145.tif 000011
【図１０】
2005110145.tif 000012
【図１１】
2005110145.tif 000013
【図１２】
2005110145.tif 000014
【図１３】
2005110145.tif 000015
【図１４】
2005110145.tif 000016
【図１５】
2005110145.tif 000017
【図１６】
2005110145.tif 000018
【図１７】
2005110145.tif 000019
【図１８】
2005110145.tif 000020
【図１９】
2005110145.tif 000021
【図２０】
2005110145.tif 000022