【手続補正書】
【提出日】平成16年10月4日(2004.10.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】        明細書
【発明の名称】    符号化装置及び符号化方法、並びに復号装置及び復号方法
【特許請求の範囲】
【請求項１】  原画像データを圧縮符号化する符号化装置であって、
上記原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化手段と、
上記非可逆符号化手段によって符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、非可逆復号画像データを復元する非可逆復号手段と、
上記原画像データと上記非可逆復号手段によって復号されて得られた上記非可逆復号画像データとの差分をとる差分手段と、
上記差分手段によって差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化手段とを備え、
上記非可逆符号化手段は、上記非可逆符号化コードストリームを外部に出力し、
上記可逆符号化手段は、符号化して得られた可逆符号化コードストリームを外部に出力すること
を特徴とする符号化装置。
【請求項２】  原画像データを圧縮符号化する符号化方法であって、
上記原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化工程と、
上記非可逆符号化工程にて符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、非可逆復号画像データを復元する非可逆復号工程と、
上記原画像データと上記非可逆復号工程にて復号されて得られた上記非可逆復号画像データとの差分をとる差分工程と、
上記差分工程にて差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化工程とを備え、
上記非可逆符号化工程では、上記非可逆符号化コードストリームが外部に出力され、
上記可逆符号化工程では、符号化して得られた可逆符号化コードストリームが外部に出力されること
を特徴とする符号化方法。
【請求項３】  上記非可逆符号化工程は、
上記原画像データに対して垂直方向及び／又は水平方向にウェーブレット変換処理を施すウェーブレット変換工程と、
上記ウェーブレット変換工程にてウェーブレット変換されて得られたウェーブレット変換係数データを量子化する量子化工程と、
上記量子化工程にて量子化されて得られた量子化係数データに対して所定の符号化処理を施す符号化工程と、
上記符号化工程にて生成された算術符号データに基づいて符号量を制御するレート制御工程と、
上記レート制御工程にて符号量が制御された算術符号データを含むデータに対してヘッダデータを加えて上記非可逆符号化コードストリームとしてのパケットデータを生成するパケット生成工程とを有すること
を特徴とする請求項２記載の符号化方法。
【請求項４】  上記ウェーブレット変換工程では、低域成分について再帰的にフィルタリング処理が施されること
を特徴とする請求項３記載の符号化方法。
【請求項５】  上記量子化工程では、上記ウェーブレット変換工程にて生成されたサブバンドのウェーブレット変換係数データがスカラ値の量子化ステップサイズで除算されること
を特徴とする請求項３記載の符号化方法。
【請求項６】  上記符号化工程は、
上記量子化係数データをビットプレーンに展開してビットプレーン毎に符号化パスを生成するビットプレーン符号化パス生成工程と、
上記ビットプレーン符号化パス生成工程にて生成されたビットプレーンと符号化パスとを用いて符号化パス内で算術符号化を行い、上記算術符号データを生成する算術符号化工程とを有すること
を特徴とする請求項３記載の符号化方法。
【請求項７】  上記非可逆復号工程は、
パケット化された上記非可逆符号化コードストリームをアンパケット化して解読するパケット解読工程と、
上記パケット解読工程にて解読されて抽出された算術符号データに対して所定の復号処理を施す復号工程と、
上記復号工程にて復号されて得られた係数データを逆量子化する逆量子化工程と、
上記逆量子化工程にて逆量子化されて得られたウェーブレット変換係数データに対してウェーブレット逆変換処理を施し、上記非可逆復号画像データを生成するウェーブレット逆変換工程とを有すること
を特徴とする請求項２記載の符号化方法。
【請求項８】  上記復号工程は、
上記非可逆符号化工程にて行われる算術符号化に対応する算術復号を行う算術復号工程と、
上記非可逆符号化工程にて行われるビットプレーン毎の符号化パスの生成に対応して復号された係数値に基づいてビットプレーンに再構成するビットプレーン復号工程とを有すること
を特徴とする請求項７記載の符号化方法。
【請求項９】  原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化手段と、上記非可逆符号化手段によって符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、第１の非可逆復号画像データを復元する第１の非可逆復号手段と、上記原画像データと上記第１の非可逆復号手段によって復号されて得られた上記第１の非可逆復号画像データとの差分をとる差分手段と、上記差分手段によって差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化手段とを備え、上記非可逆符号化手段によって上記非可逆符号化コードストリームを外部に出力するとともに、上記可逆符号化手段によって符号化して得られた可逆符号化コードストリームを外部に出力する符号化装置によって圧縮符号化された符号化コードストリームを伸長して原画像データを復元する復号装置であって、
上記非可逆符号化コードストリームに対して非可逆復号処理を施す第２の非可逆復号手段と、
上記可逆符号化コードストリームに対して可逆復号処理を施す可逆復号手段と、
上記第２の非可逆復号手段によって復号されて得られた第２の非可逆復号画像データと上記可逆復号手段によって復号されて得られた可逆差分画像データとを加算する加算手段とを備え、
上記第２の非可逆復号手段は、上記第２の非可逆復号画像データを外部に出力し、
上記加算手段は、加算して得られた可逆復号画像データを外部に出力すること
を特徴とする復号装置。
【請求項１０】  原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化工程と、上記非可逆符号化工程にて符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、第１の非可逆復号画像データを復元する第１の非可逆復号工程と、上記原画像データと上記第１の非可逆復号工程にて復号されて得られた上記第１の非可逆復号画像データとの差分をとる差分工程と、上記差分工程にて差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化工程とを備え、上記非可逆符号化工程にて上記非可逆符号化コードストリームが外部に出力されるとともに、上記可逆符号化工程にて符号化して得られた可逆符号化コードストリームが外部に出力される符号化方法にて圧縮符号化された符号化コードストリームを伸長して原画像データを復元する復号方法であって、
上記非可逆符号化コードストリームに対して非可逆復号処理を施す第２の非可逆復号工程と、
上記可逆符号化コードストリームに対して可逆復号処理を施す可逆復号工程と、
上記第２の非可逆復号工程にて復号されて得られた第２の非可逆復号画像データと上記可逆復号工程にて復号されて得られた可逆差分画像データとを加算する加算工程とを備え、
上記第２の非可逆復号工程では、上記第２の非可逆復号画像データが外部に出力され、
上記加算工程では、加算して得られた可逆復号画像データが外部に出力されること
を特徴とする復号方法。
【請求項１１】  上記第２の非可逆復号工程は、
パケット化された上記非可逆符号化コードストリームをアンパケット化して解読するパケット解読工程と、
上記パケット解読工程にて解読されて抽出された算術符号データに対して所定の復号処理を施す復号工程と、
上記復号工程にて復号されて得られた係数データを逆量子化する逆量子化工程と、
上記逆量子化工程にて逆量子化されて得られたウェーブレット変換係数データに対してウェーブレット逆変換処理を施し、上記第２の非可逆復号画像データを生成するウェーブレット逆変換工程とを有すること
を特徴とする請求項１０記載の復号方法。
【請求項１２】  上記復号工程は、
上記非可逆符号化工程にて行われる算術符号化に対応する算術復号を行う算術復号工程と、
上記非可逆符号化工程にて行われるビットプレーン毎の符号化パスの生成に対応して復号された係数値に基づいてビットプレーンに再構成するビットプレーン復号工程とを有すること
を特徴とする請求項１１記載の復号方法。
【請求項１３】  上記算術復号工程では、上記非可逆符号化工程にて行われる学習型の２値算術符号化であるＭＱ符号化に対応するＭＱ復号が行われ、
上記ビットプレーン復号工程では、上記非可逆符号化工程にて行われるエントロピー符号化としてのＥＢＣＯＴに対応するエントロピー復号が行われること
を特徴とする請求項１２記載の復号方法。
【請求項１４】  上記可逆復号工程は、
パケット化された上記可逆符号化コードストリームをアンパケット化して解読するパケット解読工程と、
上記パケット解読工程にて解読されて抽出された算術符号データに対して所定の復号処理を施す復号工程と、
上記復号工程にて復号されて得られた係数データに対してウェーブレット逆変換処理を施し、上記可逆差分画像データを生成するウェーブレット逆変換工程とを有すること
を特徴とする請求項１０記載の復号方法。
【請求項１５】  上記復号工程は、
上記可逆符号化工程にて行われる算術符号化に対応する算術復号を行う算術復号工程と、
上記可逆符号化工程にて行われるビットプレーン毎の符号化パスの生成に対応して復号された係数値に基づいてビットプレーンに再構成するビットプレーン復号工程とを有すること
を特徴とする請求項１４記載の復号方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データを圧縮符号化する符号化装置及び符号化方法、並びに圧縮符号化された符号化コードストリームを伸長して画像データを復元する復号装置及び復号方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式として、ＩＳＯ（International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）符号化方式がある。このＪＰＥＧ符号化方式は、その変換方式にＤＣＴ（Discrete Cosine Transform；離散コサイン変換）を用い、比較的高いビットが割り当てられる場合には、良好な符号化及び復号特性を実現することができる。
【０００３】
一方、静止画像の圧縮方式であるＪＰＥＧ符号化方式とともに、いわゆるＭｏｔｉｏｎ  ＪＰＥＧ符号化方式やＤＶ（Digital Video）符号化方式といった静止画像の連続型の動画像符号化技術が広く普及している。Ｍｏｔｉｏｎ  ＪＰＥＧ符号化方式は、ＪＰＥＧ符号化方式を動画像に適用可能とすることを目的として開発されたものであり、ディジタルカメラによるムービー記録、監視用画像システム、及びビデオライブ配信等に広く利用されている。一方、ＤＶ符号化方式は、主に家庭用のディジタルビデオカメラの記録に広く利用されている。
【０００４】
これらの動画像符号化技術は、動画像符号化規格として広く知られているＭＰＥＧ（Moving Picture Experts Group）符号化方式のような動き補償予測という技術を用いておらず、全ての符号化処理単位であるピクチャ単位に独立して符号化を完結していることに特徴を有する。そのため、これらの動画像符号化技術は、圧縮率の点ではＭＰＥＧ符号化方式に劣るものの、画像の編集、スロー再生、逆転再生、及びサーチといったディジタルビデオを用いるにあたって不可欠である各種機能を容易に実現することができるという利点を有する。このような利点から、上述したＤＶ符号化方式は、家庭用及びプロフェッショナル用のＶＴＲ（Video Tape Recorder）に採用されている。
【０００５】
さて、ＪＰＥＧ符号化方式をはじめとする上述した画像圧縮方式においては、変換方式にＤＣＴを用いているが、ある程度符号化ビット数を少なくした場合には、符号化及び復号画像は、ＤＣＴ特有のブロックノイズ（block noise）やモスキートノイズ（mosquito noise）が顕著に現れ、主観的に劣化が目立つものになる。
【０００６】
そこで、このようなＤＣＴをベースとした方式に代わり、最近では、フィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって、画像信号を複数の帯域に分割し、それらの帯域毎に符号化を行う方式に関する研究が盛んに行われている。このような方式の中でも、ウェーブレット（wavelet）符号化は、ＤＣＴとは異なり、高圧縮時にブロックノイズやモスキートノイズが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００７】
このようなウェーブレット変換をベースとした符号化方式の効率向上のための検討が、各研究機関で盛んに行われており、２００１年１月にＩＳＯにより、画像圧縮の基本である変換方式としてウェーブレット変換を採用するＪＰＥＧ−２０００符号化方式が規格化された。ＪＰＥＧ−２０００符号化方式は、ＪＰＥＧ符号化方式の次世代規格であり、現在のＪＰＥＧ符号化方式の利用分野は勿論のこと、それ以外の新たな市場を開拓することが期待されている。
【０００８】
【発明が解決しようとする課題】
ところで、上述したＭｏｔｉｏｎ  ＪＰＥＧ符号化方式やＤＶ符号化方式といった既存の符号化方式を用いた画像圧縮装置やこれらの符号化方式によって圧縮符号化されて所定の記録媒体に記録された符号化コードストリームを伸長して画像データを復元する編集装置は実在するものの、新しい規格であるＪＰＥＧ−２０００符号化方式を動画像に適用したＭｏｔｉｏｎ  ＪＰＥＧ−２０００符号化方式を用いた装置は存在していない。
【０００９】
特に、動画像を圧縮符号化して得られた符号化コードストリームを伸長して復元した画像データを利用する際には、復元した画像データを用いた各種編集や閲覧機能に関する操作性が良好であることが望ましい。また、動画像を圧縮符号化して得られた符号化コードストリームを伸長して復元した画像データを利用する際には、符号化コードストリームを記憶しておくメモリやハードディスク等の記録媒体の使用容量を節減できることが望ましい。さらに、Ｍｏｔｉｏｎ  ＪＰＥＧ−２０００符号化方式を用いて動画像を圧縮符号化する際には、正確なビットレート制御のために行うＪＰＥＧ−２０００符号化方式の特徴であるレイヤ化を圧縮側で行う必要をなくし、圧縮側での制約条件をできる限り回避することが望ましい。さらにまた、圧縮符号化された符号化コードストリームを伸長して所定の解像度又は所定の画質の画像を復元する際には、通常、対応する符号化コードストリームを抽出する処理が必要とされるが、処理量を軽減するためには、これらの処理を不要とするのが望ましい。
【００１０】
本発明は、このような実情に鑑みてなされたものであり、処理量を軽減して記録媒体の使用容量も節減することができ、操作性のよい編集及び閲覧機能を提供することができる符号化装置及び符号化方法、並びに復号装置及び復号方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成する本発明にかかる符号化装置は、原画像データを圧縮符号化する符号化装置であって、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化手段と、この非可逆符号化手段によって符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、非可逆復号画像データを復元する非可逆復号手段と、原画像データと非可逆復号手段によって復号されて得られた非可逆復号画像データとの差分をとる差分手段と、この差分手段によって差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化手段とを備え、非可逆符号化手段は、非可逆符号化コードストリームを外部に出力し、可逆符号化手段は、符号化して得られた可逆符号化コードストリームを外部に出力することを特徴としている。
【００１２】
このような本発明にかかる符号化装置は、非可逆符号化手段によって原画像データに対して非可逆符号化処理を施して得られた非可逆符号化コードストリームを出力するとともに、可逆符号化手段によって原画像データに対する非可逆復号画像データの差分画像データに対して可逆符号化処理を施して得られた可逆符号化コードストリームを出力する。
【００１３】
また、この本発明にかかる符号化装置において、非可逆符号化手段及び可逆符号化手段は、共有化されて構成されることを特徴としている。
【００１４】
すなわち、この本発明にかかる符号化装置は、非可逆符号化手段と可逆符号化手段とにおける各部のうち、共通する部分を共有化し、非可逆符号化処理と可逆符号化処理とに応じて、内部でのデータの経路を切り替える。
【００１５】
また、上述した目的を達成する本発明にかかる符号化方法は、原画像データを圧縮符号化する符号化方法であって、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化工程と、この非可逆符号化工程にて符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、非可逆復号画像データを復元する非可逆復号工程と、原画像データと非可逆復号工程にて復号されて得られた非可逆復号画像データとの差分をとる差分工程と、この差分工程にて差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化工程とを備え、非可逆符号化工程では、非可逆符号化コードストリームが外部に出力され、可逆符号化工程では、符号化して得られた可逆符号化コードストリームが外部に出力されることを特徴としている。
【００１６】
このような本発明にかかる符号化方法は、原画像データに対して非可逆符号化処理を施して得られた非可逆符号化コードストリームを出力するとともに、原画像データに対する非可逆復号画像データの差分画像データに対して可逆符号化処理を施して得られた可逆符号化コードストリームを出力する。
【００１７】
さらに、上述した目的を達成する本発明にかかる復号装置は、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化手段と、この非可逆符号化手段によって符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、第１の非可逆復号画像データを復元する第１の非可逆復号手段と、原画像データと第１の非可逆復号手段によって復号されて得られた第１の非可逆復号画像データとの差分をとる差分手段と、この差分手段によって差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化手段とを備え、非可逆符号化手段によって非可逆符号化コードストリームを外部に出力するとともに、可逆符号化手段によって符号化して得られた可逆符号化コードストリームを外部に出力する符号化装置によって圧縮符号化された符号化コードストリームを伸長して原画像データを復元する復号装置であって、非可逆符号化コードストリームに対して非可逆復号処理を施す第２の非可逆復号手段と、可逆符号化コードストリームに対して可逆復号処理を施す可逆復号手段と、第２の非可逆復号手段によって復号されて得られた第２の非可逆復号画像データと可逆復号手段によって復号されて得られた可逆差分画像データとを加算する加算手段とを備え、第２の非可逆復号手段は、第２の非可逆復号画像データを外部に出力し、加算手段は、加算して得られた可逆復号画像データを外部に出力することを特徴としている。
【００１８】
このような本発明にかかる復号装置は、非可逆符号化コードストリーム及び可逆符号化コードストリームを入力し、第２の非可逆復号手段によって非可逆符号化コードストリームに対して非可逆復号処理を施して得られた第２の非可逆復号画像データを出力するとともに、可逆復号手段によって可逆符号化コードストリームに対して可逆復号処理を施して得られた可逆差分画像データと第２の非可逆復号画像データとを加算して得られた可逆復号画像データを出力する。
【００１９】
また、この本発明にかかる復号装置において、第２の非可逆復号手段及び可逆復号手段は、共有化されて構成されることを特徴としている。
【００２０】
すなわち、この本発明にかかる復号装置は、第２の非可逆復号手段と可逆復号手段とにおける各部のうち、共通する部分を共有化し、非可逆復号処理と可逆復号処理とに応じて、内部でのデータの経路を切り替える。
【００２１】
さらにまた、上述した目的を達成する本発明にかかる復号方法は、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化工程と、この非可逆符号化工程にて符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、第１の非可逆復号画像データを復元する第１の非可逆復号工程と、原画像データと第１の非可逆復号工程にて復号されて得られた第１の非可逆復号画像データとの差分をとる差分工程と、この差分工程にて差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化工程とを備え、非可逆符号化工程にて非可逆符号化コードストリームが外部に出力されるとともに、可逆符号化工程にて符号化して得られた可逆符号化コードストリームが外部に出力される符号化方法にて圧縮符号化された符号化コードストリームを伸長して原画像データを復元する復号方法であって、非可逆符号化コードストリームに対して非可逆復号処理を施す第２の非可逆復号工程と、可逆符号化コードストリームに対して可逆復号処理を施す可逆復号工程と、第２の非可逆復号工程にて復号されて得られた第２の非可逆復号画像データと可逆復号工程にて復号されて得られた可逆差分画像データとを加算する加算工程とを備え、第２の非可逆復号工程では、第２の非可逆復号画像データが外部に出力され、加算工程では、加算して得られた可逆復号画像データが外部に出力されることを特徴としている。
【００２２】
このような本発明にかかる復号方法は、非可逆符号化コードストリーム及び可逆符号化コードストリームを入力し、非可逆符号化コードストリームに対して非可逆復号処理を施して得られた第２の非可逆復号画像データを出力するとともに、可逆符号化コードストリームに対して可逆復号処理を施して得られた可逆差分画像データと第２の非可逆復号画像データとを加算して得られた可逆復号画像データを出力する。
【００２３】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００２４】
この実施の形態は、画像データを圧縮符号化する符号化装置及び圧縮符号化された符号化コードストリームを伸長して画像データを復元する復号装置を備える圧縮符号化・復号システムである。
【００２５】
この圧縮符号化・復号システムは、符号化装置によってＭｏｔｉｏｎ  ＪＰＥＧ（Joint Photographic Experts Group）−２０００符号化方式を用いて画像データを圧縮し、復号装置によって符号化コードストリームを伸長して画像データを復元するものであって、特に、可逆符号化を行うことによって欠損なく画像データを所定の記録媒体に記録したり所定の伝送媒体を介して伝送したりする用途に適用して好適なものである。具体的には、圧縮符号化・復号システムにおいて、符号化装置は、画像データを非可逆符号化して得られた符号化コードストリームとともに、画像データとこの符号化コードストリームを非可逆復号して得られた画像データとの差分データを可逆符号化して得られた符号化コードストリームを出力するものである。また、圧縮符号化・復号システムにおいて、復号装置は、この符号化装置によって圧縮符号化されて得られた符号化コードストリームを伸長し、圧縮符号化による欠損なしに画像データを復元するものである。
【００２６】
また、この実施の形態は、このような復号装置を、画像データの閲覧及び検索機能を有する編集装置に適用した例についてもあわせて説明するものとする。
【００２７】
まず、圧縮符号化・復号システムにおける符号化装置について説明する。
【００２８】
図１に示すように、符号化装置１０は、ＪＰＥＧ−２０００符号化方式を用いた非可逆符号化を行う非可逆符号化部１１と、この非可逆符号化に対応する非可逆復号を行う非可逆復号部１２と、入力された２つのデータの差分をとる差分器１３と、ＪＰＥＧ−２０００符号化方式を用いた可逆符号化を行う可逆符号化部１４とを備える。
【００２９】
非可逆符号化部１１は、入力された原画像データＤ１に対してＪＰＥＧ−２０００符号化方式を用いた非可逆符号化処理を施し、この原画像データＤ１を例えば１／５０乃至１／１００程度といった所定のビットレート又は圧縮率に圧縮符号化する。非可逆符号化部１１は、圧縮符号化して得られた非可逆符号化コードストリームＤ２をそのまま外部に出力するとともに、非可逆符号化コードストリームＤ３を非可逆復号部１２に供給する。なお、非可逆符号化コードストリームＤ２と非可逆符号化コードストリームＤ３とは、互いに同一のものである。
【００３０】
非可逆復号部１２は、非可逆符号化部１１から供給された非可逆符号化コードストリームＤ２に対して非可逆復号処理を施し、非可逆復号画像データＤ４を復元する。非可逆復号部１２は、復号して得られた非可逆復号画像データＤ４を差分器１３に供給する。
【００３１】
差分器１３は、原画像データＤ１と非可逆復号部１２から供給された非可逆復号画像データＤ４との差分をとる。差分器１３は、差分して得られた差分画像データＤ５を可逆符号化部１４に供給する。なお、差分画像データＤ５は、非可逆復号画像データＤ４が原画像データＤ１とどの程度差異があるかを示すものである。一般的に、非可逆符号化部１１における圧縮率が高いほど、非可逆復号画像データＤ４の劣化が大きくなることから、非可逆符号化部１１における圧縮率が高いほど、差分画像データＤ５の値も大きくなる。
【００３２】
可逆符号化部１４は、差分器１３から供給された差分画像データＤ５に対してＪＰＥＧ−２０００符号化方式を用いた可逆符号化処理を施し、この差分画像データＤ５を例えば１／２乃至１／３程度といった所定のビットレート又は圧縮率に圧縮符号化する。可逆符号化部１４は、圧縮符号化して得られた可逆符号化コードストリームＤ６をそのまま外部に出力する。
【００３３】
このような符号化装置１０は、原画像データＤ１に対して非可逆符号化処理を施して得られた非可逆符号化コードストリームＤ２を出力するとともに、原画像データＤ１に対する非可逆復号画像データＤ４の差分画像データＤ５に対して可逆符号化処理を施して得られた可逆符号化コードストリームＤ６を出力する。これらの非可逆符号化コードストリームＤ２及び可逆符号化コードストリームＤ６は、それぞれ、後述する復号装置に入力され、復号される。
【００３４】
ここで、非可逆符号化部１１、非可逆復号部１２、及び可逆符号化部１４の構成について順次詳述する。なお、非可逆符号化部１１及び可逆符号化部１４は、それぞれ、非可逆符号化及び可逆符号化を行う異なる処理を行うものであるが、符号化装置１０においては、これらの非可逆符号化部１１及び可逆符号化部１４が、共有化されて構成される。これについては後述する。
【００３５】
非可逆符号化部１１は、図２に示すように、原画像データＤ１に対してウェーブレット変換（wavelet transform）処理を施すウェーブレット変換部２１と、このウェーブレット変換部２１によってウェーブレット変換されて得られたウェーブレット変換係数データＤ１１を量子化する量子化部２２と、この量子化部２２によって量子化されて得られた量子化係数データＤ１２に対して所定の符号化処理を施す符号化部２３と、この符号化部２３によって生成された算術符号データＤ１３に基づいて符号量を制御するレート制御部２４と、ヘッダデータＤ１５を生成するヘッダ生成部２５と、パケット（packet）本体に相当するデータＤ１６を生成するパケットデータ生成部２６と、ヘッダ生成部２５によって生成されたヘッダデータＤ１５とパケットデータ生成部２６によって生成されたデータＤ１６とを用いてパケットデータを生成するパケット生成部２７とを有する。
【００３６】
ウェーブレット変換部２１は、原画像データＤ１に対してウェーブレット変換処理を施す。ここで、ウェーブレット変換は、通常、ローパス・フィルタとハイパス・フィルタとから構成されるフィルタバンクによって実現される。そのため、ディジタルフィルタは、通常、複数タップ長のインパルス応答、すなわち、フィルタ係数を有していることから、非可逆符号化部１１は、フィルタリングが行えるだけの原画像データＤ１を図示しないバッファによって予めバッファリングしておく必要がある。ウェーブレット変換部２１は、フィルタリングに必要な最低限の原画像データＤ１を入力すると、この原画像データＤ１に対して垂直方向及び／又は水平方向にウェーブレット変換を行うフィルタリング処理を施し、ウェーブレット変換係数データＤ１１を生成する。なお、ウェーブレット変換部２１は、通常、例えば図３に示すように、ウェーブレット変換処理を施して得られた縦（Ｙ＿ＳＩＺＥ／２）×横（Ｘ＿ＳＩＺＥ／２）からなる４つのウェーブレット変換係数領域ＬＬ，ＨＬ，ＬＨ，ＨＨに属するウェーブレット変換係数データのうち、最も低域の成分であるウェーブレット変換係数領域ＬＬについて、再帰的にフィルタリング処理を施し、さらに縦（Ｙ＿ＳＩＺＥ／４）×横（Ｘ＿ＳＩＺＥ／４）からなる４つのウェーブレット変換係数領域ＬＬＬＬ，ＬＬＨＬ，ＬＬＬＨ，ＬＬＨＨに属するウェーブレット変換係数データを求めるが、これは、通常、画像データのエネルギの多くが低域成分に集中していることに起因するものである。図３に示す例の場合には、ウェーブレット変換の分割レベル数は"２"であり、この結果、７つのサブバンドが生成される。ウェーブレット変換部２１は、このようにして生成したウェーブレット変換係数データＤ１１を量子化部２２に供給する。
【００３７】
量子化部２２は、ウェーブレット変換部２１から供給されたウェーブレット変換係数データＤ１１を量子化する。量子化部２２としては、サブバンドのウェーブレット変換係数データＤ１１をスカラ値の量子化ステップサイズで除算するスカラ量子化を行うものが一般的である。量子化部２２は、量子化して得られた量子化係数データＤ１２を符号化部２３における後述するビットプレーン符号化パス生成部２８に供給する。
【００３８】
符号化部２３は、量子化係数データＤ１２を最上位ビットから最下位ビットまでのビットプレーンに展開してビットプレーン毎に符号化パスを生成するビットプレーン符号化パス生成部２８と、このビットプレーン符号化パス生成部２８によって生成されたビットプレーンと符号化パスとを用いて符号化パス内で算術符号化を行う算術符号化部２９とを有し、量子化部２２から供給された量子化係数データＤ１２に対して所定の符号化処理を施す。
【００３９】
例えば、符号化部２３は、ビットプレーン符号化パス生成部２８によって"ISO/IEC FDIS 15444-1, JPEG-2000 Part-1 FDIS, 18 August 2000"で定められたＥＢＣＯＴ（EmBedded Coding with Optimized Truncation）と称されるエントロピー符号化を行う。以下では、符号化部２３は、ＥＢＣＯＴを含む符号化を行うものとし、ここでは、ＥＢＣＯＴについて説明する。
【００４０】
まず、ＥＢＣＯＴの説明に先だって、ビットプレーンの概念について図４を用いて説明する。
【００４１】
図４（Ａ）に示すように、縦４個×横４個の計１６個の係数からなる量子化係数データＤ１２を考える。この量子化係数データＤ１２は、"＋１３"、"−６"及び"＋３"の係数が存在し、他の係数は全て"０"であるものとする。これらの係数のうち、絶対値が最大のものは"１３"であり、これを２進数表記すると、"１１０１"となる。同様に、"６"を２進数表記すると、"１１０"となり、"３"を２進数表記すると、"１１"となる。したがって、最上位ビット（Most Significant Bit）から最下位ビット（Least Significant Bit）までのビット列をビット毎にスライスすると、図４（Ｂ）に示すように、４つのプレーンが生成される。これらの４つのプレーンが、量子化係数データＤ１２を構成する各係数の絶対値のビットプレーンとなる。なお、各ビットプレーンの要素は、全て"０"又は"１"のいずれかの値をとることは自明である。また、量子化係数データＤ１２を構成する各係数の正負識別用の符号を参照すると、"＋１３"及び"＋３"が正値であり、"−６"のみが負値であり、その他の係数は"０"である。したがって、量子化係数データＤ１２を構成する各係数の符号のビットプレーンは、図４（Ｃ）に示すようになる。
【００４２】
ＥＢＣＯＴは、所定のサイズのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行うものである。ＥＢＣＯＴは、量子化係数データＤ１２をコード・ブロック（code-block）と称される所定のサイズのブロック単位にエントロピー符号化する。コード・ブロックは、図４（Ｂ）に示したように、最上位ビットから最下位ビット方向にビットプレーン毎に独立して符号化される。コード・ブロックの縦横のサイズは、"４"から"２５６"までの２のべき乗で表され、通常使用されるサイズとしては、縦３２×横３２、縦６４×横６４、縦１２８×横３２等がある。ここで、ウェーブレット領域の係数値がｎビットの符号付きの２進数で表されていて、ビット０からビットｎ−２までが、最下位ビットから最上位ビットまでのそれぞれのビットを表すものとする。なお、残りの１ビットは、符号である。コード・ブロックの符号化は、図４（Ｂ）に示したように、最上位ビット側のビットプレーンから順次、後に詳述する３種類の符号化パス、すなわち、シグニフィカンス・パス（Significance Pass）、リファインメント・パス（Refinement Pass）及びクリーンアップ・パス（Cleanup Pass）によって行われる。
【００４３】
これらの３つの符号化パスが用いられる順序は、図５に示すようになる。まず、ＥＢＣＯＴにおいては、最上位ビット、すなわち、ビットプレーン（ｎ−２）がクリーンアップ・パスによって符号化され、順次最下位ビット側に向かって、各ビットプレーンの符号化がシグニフィカンス・パス、リファインメント・パス及びクリーンアップ・パスの順序で用いて行われる。すなわち、ＥＢＣＯＴにおいては、ビットプレーン（ｎ−２）の符号化が行われると、ビットプレーン（ｎ−３）がシグニフィカンス・パスによって符号化され、続いて、同じくビットプレーン（ｎ−３）がリファインメント・パスによって符号化され、さらに、同じくビットプレーン（ｎ−３）がクリーンアップ・パスによって符号化される。同様に、ＥＢＣＯＴにおいては、ビットプレーン（ｎ−４）がシグニフィカンス・パスによって符号化され、続いて、同じくビットプレーン（ｎ−４）がリファインメント・パスによって符号化され、さらに、同じくビットプレーン（ｎ−４）がクリーンアップ・パスによって符号化される。そして、ＥＢＣＯＴにおいては、最下位ビット、すなわち、ビットプレーン（０）がシグニフィカンス・パスによって符号化され、続いて、同じくビットプレーン（０）がリファインメント・パスによって符号化され、さらに、同じくビットプレーン（０）がクリーンアップ・パスによって符号化される。
【００４４】
ただし、ＥＢＣＯＴにおいては、実際には最上位ビット側から何番目のビットプレーンで初めて"１"が現れるかをヘッダに書き込み、それまでのオール"０"であるビットプレーンについては符号化しないという処理を行う。
【００４５】
ＥＢＣＯＴにおいては、このような順序で３種類の符号化パスを繰り返し用いて符号化し、任意のビットプレーンの任意の符号化パスまでで符号化を打ち切ることにより、符号量と画質とのトレードオフがとられる、すなわち、レート制御が行われる。
【００４６】
つぎに、係数の走査、すなわち、スキャニングについて説明する。
【００４７】
コード・ブロックは、図６に示すように、高さが４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅は、コード・ブロックの幅に等しいものとされる。スキャニングの順序とは、１個のコード・ブロック内の全ての係数を辿る順番のことである。スキャニングは、コード・ブロックの中では、上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では、上から下へという順序で行われる。ＥＢＣＯＴにおいては、各符号化パスにおいてコード・ブロックの全ての係数が、このスキャニングの順序で処理される。
【００４８】
以下、３つの符号化パスについて説明する。
【００４９】
あるビットプレーンを符号化するシグニフィカンス・パスにおいては、８近傍の少なくとも１つの係数がシグニフィカント（Significant）であるような非シグニフィカント（non-Significant）係数のビットプレーンの値を算術符号化する。シグニフィカンス・パスにおいては、その符号化したビットプレーンの値が"１"である場合には、符号が"＋"であるか"−"であるかについて続けて算術符号化する。
【００５０】
ここで、シグニフィカンス（Significance）という語について説明する。シグニフィカンスとは、各係数に対して符号化器が有する状態であり、シグニフィカンスの初期値は、非シグニフィカントを表す"０"であり、その係数で"１"が符号化されたときにシグニフィカントを表す"１"に変化し、以降、常に"１"であり続けるものである。したがって、シグニフィカンスとは、有効桁の情報を既に符号化したか否かを示すフラグであるともいえるものである。
【００５１】
また、ビットプレーンを符号化するリファインメント・パスにおいては、ビットプレーンを符号化するシグニフィカンス・パスで符号化していないシグニフィカントな係数のビットプレーンの値を算術符号化する。
【００５２】
さらに、ビットプレーンを符号化するクリーンアップ・パスにおいては、ビットプレーンを符号化するシグニフィカンス・パスで符号化していない非シグニフィカントな係数のビットプレーンの値を算術符号化する。クリーンアップ・パスにおいては、その符号化したビットプレーンの値が"１"である場合には、符号が"＋"であるか"−"であるかについて続けて算術符号化する。
【００５３】
なお、これらの３つの符号化パスでの算術符号化においては、ケースに応じて、ＺＣ（ゼロ・コーディング；Zero Coding）、ＲＬＣ（ランレングス・コーディング；Run-Length Coding）、ＳＣ（サイン・コーディング；Sign Coding）、又はＭＲ（マグニチュード・リファインメント；Magnitude Refinement）が使い分けられる。ここで、算術符号化としては、ＭＱ符号化と称される算術符号化が用いられる。ＭＱ符号化は、ＪＢＩＧ２（ISO/IEC FDIS 14492, "Lossy/Lossless Coding of Bi-level Images", March 2000）で規定された学習型の２値算術符号である。ＪＰＥＧ−２０００符号化方式においては、全ての符号化パスで合計１９種類のコンテキストがある。
【００５４】
符号化部２３は、ＪＰＥＧ−２０００符号化方式に基づいて、以上のように、ビットプレーン符号化パス生成部２８によってコード・ブロック毎に独立して符号化を行い、且つ算術符号化部２９による算術符号化の統計量測定をコード・ブロック内で閉じて処理を行う、すなわち、コード・ブロックを跨って算術符号化の統計量測定を行わないように処理を行う。符号化部２３は、生成した算術符号データＤ１３をレート制御部２４に供給する。
【００５５】
レート制御部２４は、符号化部２３における算術符号化部２９から供給された算術符号データＤ１３の符号量をカウントしながら、目標のビットレート又は圧縮率に近付けるように、符号量制御を行う。具体的には、レート制御部２４は、コード・ブロック毎の符号化パスの一部又は全てを切り捨てる（truncate）ことによって符号量制御を実現する。
【００５６】
ヘッダ生成部２５は、レート制御部２４によって符号量が制御された算術符号データＤ１４を入力すると、例えば、この算術符号データＤ１４のコード・ブロック内での付加情報をヘッダデータＤ１５として生成する。付加情報としては、例えば、このコード・ブロック内の符号化パスの個数や圧縮コードストリーム長を示す情報がある。また、ヘッダ生成部２５は、ヘッダデータＤ１５として、ＪＰＥＧ−２０００符号化方式で定義されているパケットヘッダをそのまま用いることもできる。ヘッダ生成部２５は、生成したヘッダデータＤ１５をパケット生成部２７に供給する。
【００５７】
パケットデータ生成部２６は、パケット本体に相当するデータＤ１６を生成する。このデータには、パケットに包含される符号化パスの算術符号データが含まれる。パケットデータ生成部２６は、生成したデータＤ１６をパケット生成部２７に供給する。
【００５８】
パケット生成部２７は、パケットデータ生成部２６から供給されたデータＤ１６に対して、ヘッダ生成部２５から供給されたヘッダデータＤ１５を加え、最終的にパケット単位でデータを出力すべく、パケットデータを生成する。パケット生成部２７は、生成したパケットデータを非可逆符号化コードストリームＤ２，Ｄ３として出力する。
【００５９】
なお、ＪＰＥＧ−２０００符号化方式を用いた符号化においては、図７に"Layer-resolution level-component-position progression"のパケット構造の断面図を示すように、同一解像度領域に属する部分から構成されるパケット単位で符号化コードストリームが生成される。したがって、非可逆符号化部１１においては、先に図３に示したように、ウェーブレット変換部２１によって分割レベル数が"２"のウェーブレット変換処理が施された場合には、７つの変換領域が生成され、図７に示すように、４個のパケットが生成される。
【００６０】
このような非可逆符号化部１１は、原画像データＤ１を入力すると、上述したように、量子化をともなう非可逆符号化処理を施し、パケット単位で非可逆符号化コードストリームＤ２，Ｄ３を出力する。
【００６１】
非可逆復号部１２は、図８に示すように、先に図２に示した非可逆符号化部１１と表裏一体の構成からなり、パケット化された非可逆符号化コードストリームＤ３をアンパケット化して解読してヘッダ情報Ｄ２１とパケット本体に相当するデータＤ２２とに分類するパケット解読部３１と、このパケット解読部３１によって解読されたヘッダ情報Ｄ２１からパケットヘッダ情報Ｄ２４を解読するヘッダ解読部３２と、パケット解読部３１によって解読されたデータＤ２２から算術符号データＤ２３を抽出するパケットデータ抽出部３３と、このパケットデータ抽出部３３によって抽出された算術符号データＤ２３に対して所定の復号処理を施す復号部３４と、この復号部３４によって復号されて得られた係数データＤ２５を逆量子化する逆量子化部３５と、この逆量子化部３５によって逆量子化されて得られたウェーブレット変換係数データＤ２６に対してウェーブレット逆変換処理を施すウェーブレット逆変換部３６とを有する。
【００６２】
パケット解読部３１は、非可逆符号化部１１におけるパケット生成部２７に対応して設けられるものであり、パケット化された非可逆符号化コードストリームＤ３をアンパケット化して解読する。パケット解読部３１は、解読して得られたヘッダ情報Ｄ２１をヘッダ解読部３２に供給するとともに、得られたパケット本体に相当するデータＤ２２をパケットデータ抽出部３３に供給する。
【００６３】
ヘッダ解読部３２は、非可逆符号化部１１におけるヘッダ生成部２５に対応して設けられるものであり、パケット解読部３１から供給されたヘッダ情報Ｄ２１に基づいて、パケットヘッダ情報Ｄ２４を解読して抽出する。ヘッダ解読部３２は、解読して得られたパケットヘッダ情報Ｄ２４を復号部３４における後述するビットプレーン復号部３８に供給する。
【００６４】
パケットデータ抽出部３３は、非可逆符号化部１１におけるパケットデータ生成部２６に対応して設けられるものであり、パケット解読部３１から供給されたデータＤ２２から算術符号データＤ２３を抽出する。パケットデータ抽出部３３は、抽出して得られた算術符号データＤ２３を復号部３４における後述する算術復号部３７に供給する。
【００６５】
復号部３４は、非可逆符号化部１１における符号化部２３に対応して設けられるものであり、パケットデータ抽出部３３から供給された算術符号データＤ２３に対して所定の復号処理を施す。復号部３４は、上述した算術符号化部２９に対応する算術復号を行う算術復号部３７と、上述したビットプレーン符号化パス生成部２８に対応して復号された係数値に基づいてビットプレーンに再構成するビットプレーン復号部３８とを有する。復号部３４は、パケットデータ抽出部３３から供給された算術符号データＤ２３に対して算術復号部３７によって上述したＭＱ符号化に対応するＭＱ復号処理を施し、得られた符号化パスとヘッダ解読部３２から供給されたパケットヘッダ情報Ｄ２４とを用いてビットプレーン復号部３８によって上述したＥＢＣＯＴによるエントロピー復号処理を行ってビットプレーンに再構成し、係数データＤ２５を生成する。復号部３４は、復号して得られた係数データＤ２５を逆量子化部３５に供給する。
【００６６】
逆量子化部３５は、非可逆符号化部１１における量子化部２２に対応して設けられるものであり、復号部３４におけるビットプレーン復号部３８から供給された係数データＤ２５を逆量子化する。逆量子化部３５は、逆量子化して得られたウェーブレット変換係数データＤ２６をウェーブレット逆変換部３６に供給する。
【００６７】
ウェーブレット逆変換部３６は、非可逆符号化部１１におけるウェーブレット変換部２１に対応して設けられるものであり、逆量子化部３５から供給されたウェーブレット変換係数データＤ２６に対して、ローパス・フィルタとハイパス・フィルタとを連続して施すことにより、ウェーブレット逆変換処理を施し、最終的に非可逆復号画像データＤ４を生成して出力する。
【００６８】
このような非可逆復号部１２は、非可逆符号化コードストリームＤ３を入力すると、非可逆符号化部１１に対応した非可逆復号処理を施し、非可逆復号画像データＤ４を出力する。
【００６９】
可逆符号化部１４は、非可逆符号化部１１と比較して、量子化を行わないことのみを差異とするものであり、先に図２に示した非可逆符号化部１１と共有化されて構成される。具体的には、可逆符号化部１４は、非可逆符号化部１１における量子化部２２を省略した構成によって実現される。すなわち、可逆符号化部１４は、原画像データＤ１の代わりに、差分器１３から供給された差分画像データＤ５を入力すると、この差分画像データＤ５に対してウェーブレット変換部２１によってウェーブレット変換処理を施し、得られたウェーブレット変換係数データＤ１１を量子化せずに直接符号化部２３に供給し、最終的に可逆符号化コードストリームＤ６を出力する。したがって、符号化装置１０においては、非可逆符号化部１１と可逆符号化部１４とにおける各部のうち、共通する部分を共有化し、ウェーブレット変換係数データＤ１１の経路を図示しないスイッチ等によって切り替えるのみで、非可逆符号化処理及び可逆符号化処理の両方を実現することができる。なお、この場合、ウェーブレット変換部２１は、可逆用の整数精度のフィルタを用いたフィルタリング処理を施すことによって実現される。
【００７０】
このような非可逆符号化部１１、非可逆復号部１２、及び可逆符号化部１４を備える符号化装置１０は、ＪＰＥＧ−２０００符号化方式を用いた非可逆符号化、非可逆復号、及び可逆符号化を行うことにより、２系統の非可逆符号化コードストリームＤ２及び可逆符号化コードストリームＤ６を出力する。この際、符号化装置１０は、非可逆符号化部１１と可逆符号化部１４とを共有化することにより、回路規模を削減することができる。
【００７１】
つぎに、このような符号化装置１０によって符号化された非可逆符号化コードストリームＤ２及び可逆符号化コードストリームＤ６を復号する復号装置について説明する。
【００７２】
図９に示すように、復号装置５０は、符号化装置１０における非可逆符号化部１１による非可逆符号化に対応する非可逆復号を行う非可逆復号部５１と、符号化装置１０における可逆符号化部１４による可逆符号化に対応する可逆復号を行う可逆復号部５２と、入力された２つのデータを加算する加算器５３とを備える。
【００７３】
非可逆復号部５１は、入力された非可逆符号化コードストリームＤ２に対して非可逆復号処理を施し、非可逆復号画像データＤ３１を生成する。具体的には、非可逆復号部５１は、先に図８に示した符号化装置１０における非可逆復号部１２と同様の構成からなり、非可逆符号化コードストリームＤ３の代わりに、符号化装置１０によって生成された非可逆符号化コードストリームＤ２を入力すると、この非可逆符号化コードストリームＤ２に対して逆量子化をともなう非可逆復号処理を施し、非可逆復号画像データＤ３１を生成する。非可逆復号部５１は、非可逆復号画像データＤ３１をそのまま外部に出力するとともに、加算器５３に供給する。
【００７４】
可逆復号部５２は、入力された可逆符号化コードストリームＤ６に対して可逆復号処理を施し、可逆差分画像データＤ３２を生成する。可逆復号部５２は、非可逆復号部５１と比較して、逆量子化を行わないことのみを差異とするものであり、先に図８に示した非可逆復号部１２、すなわち、非可逆復号部５１と共有化されて構成される。具体的には、可逆復号部５２は、非可逆復号部５１における逆量子化部３５を省略した構成によって実現される。すなわち、可逆復号部５２は、非可逆符号化コードストリームＤ３の代わりに、符号化装置１０によって生成された可逆符号化コードストリームＤ６を入力すると、この可逆符号化コードストリームＤ６に対して上述した所定の復号処理を施し、得られた係数データＤ２５を逆量子化せずにウェーブレット逆変換部３６に供給し、上述した差分画像データＤ５に対応する可逆差分画像データＤ３２を生成する。可逆復号部５２は、可逆差分画像データＤ３２を加算器５３に供給する。したがって、復号装置５０においては、非可逆復号部５１と可逆復号部５２とにおける各部のうち、共通する部分を共有化し、復号されて得られた係数データの経路を図示しないスイッチ等によって切り替えるのみで、非可逆復号処理及び可逆復号処理の両方を実現することができる。
【００７５】
加算器５３は、非可逆復号部５１から供給された非可逆復号画像データＤ３１と可逆復号部５２から供給された可逆差分画像データＤ３２とを加算する。加算器５３は、加算して得られたデータを、原画像データＤ１と比べて欠損のない可逆復号画像データＤ３３として外部に出力する。
【００７６】
このような復号装置５０は、２系統の非可逆符号化コードストリームＤ２及び可逆符号化コードストリームＤ６を入力し、非可逆符号化コードストリームＤ２に対して非可逆復号処理を施して得られた非可逆復号画像データＤ３１を出力するとともに、可逆符号化コードストリームＤ６に対して可逆復号処理を施して得られた可逆差分画像データＤ３２と非可逆復号画像データＤ３１とを加算して得られた可逆復号画像データＤ３３を出力する。
【００７７】
ここで、非可逆復号画像データＤ３１は、圧縮率が高く原画像データＤ１と比べてサイズの小さい画像データであり、後述するように、復号装置５０を画像データの閲覧及び検索機能を有する編集装置に適用した場合には、一連の動画像データの中から所望の画像データをフレーム単位で簡易に閲覧及び検索可能とするフレーム画像データとして利用される。また、可逆復号画像データＤ３３は、原画像データＤ１と比べて欠損のない全く同一の画像データであり、復号装置５０を編集装置に適用した場合には、この可逆復号画像データＤ３３が所定の記録媒体に記録されたり、所定の伝送媒体を介して伝送されたりする編集用途に利用される。
【００７８】
この際、復号装置５０は、非可逆復号部５１と可逆復号部５２とを共有化することにより、回路規模を削減することができる。
【００７９】
このような符号化装置１及び復号装置５０を備える圧縮符号化・復号システムは、画像データを閲覧及び検索する用途に利用する場合に、通常であれば、欠損のないサイズが大きい画像データから例えば低域成分等の一部を取り出して検索に必要な画像データの復号処理を行う必要があるところ、非可逆復号画像データＤ３１を別途容易に生成することができることから、処理量を軽減することができる。また、圧縮符号化・復号システムは、圧縮率が高い非可逆符号化コードストリームＤ２のサイズが小さいことから、この非可逆符号化コードストリームＤ２を記憶して保持するメモリやハードディスク等の記録媒体の使用容量も節減することができ、伝送する際にも伝送レートを低減することができる。
【００８０】
さて、以下では、このような圧縮符号化・復号システムにおける復号装置５０を、特に動画像データを対象として画像データの閲覧及び検索機能を有する編集装置に適用した場合について説明する。
【００８１】
以下に示す編集装置は、一連の動画像データをフレーム単位で閲覧させるべく、図１０に概念を示すように、動画像データを構成する各フレーム画像データに相当するサイズが小さい非可逆復号画像データＤ３１を"ｊｐ２"で示すフレーム単位で表示装置に表示させて編集対象のフレーム画像データを検索し、検索の結果、編集対象のフレーム画像データとして選択されたフレーム画像データに対応する"ＪＰ２"で示す可逆復号画像データＤ３３を所定の記録媒体に記録するものである。
【００８２】
なお、以下では、復号装置５０と同様の構成については、同一符号を付し、その詳細な説明を省略するものとする。
【００８３】
まず、上述した非可逆符号化コードストリームＤ２の全てを復号して非可逆復号画像データＤ３１を得る編集装置について図１１を用いて説明する。
【００８４】
編集装置１００は、図１１に示すように、復号装置５０における非可逆復号部５１、可逆復号部５２及び加算器５３の他に、各部を統括的に制御する制御部１０１と、この制御部１０１の制御のもとに動作するセレクタ１０２と、非可逆復号画像データＤ３１をフレーム単位で閲覧させるべく表示装置１１０に表示させて編集対象のフレーム画像データを検索する画像閲覧・検索部１０３と、編集対象のフレーム画像データとして選択されたフレーム画像データに対応する可逆復号画像データＤ３３を記録媒体に記録する記録部１０４とを有する。
【００８５】
制御部１０１は、制御信号Ｄ５１を画像閲覧・検索部１０３に供給することにより、この画像閲覧・検索部１０３による表示装置１１０への画像データＤ５４の表示動作を制御する。また、制御部１０１は、表示装置１１０に表示された画像データＤ５４のうち、画像閲覧・検索部１０３によって所望の画像データが検索され、ユーザによって画像データの選択指示が与えられた場合には、制御信号Ｄ５２をセレクタ１０２に供給し、このセレクタ１０２の動作を制御するとともに、制御信号Ｄ５３を記録部１０４に供給し、この記録部１０４による記録媒体への可逆復号画像データＤ３３の記録動作を制御する。
【００８６】
セレクタ１０２は、開閉することによってデータ経路の接続又は切断を切り替えるスイッチであり、通常は開放状態とされてデータの経路を切断している。セレクタ１０２は、制御部１０１から制御信号Ｄ５２が供給されると、非可逆復号部５１から供給された非可逆復号画像データＤ３１が加算器５３に供給されるように、データの経路を接続する。
【００８７】
画像閲覧・検索部１０３は、制御部１０１から供給された制御信号Ｄ５１に基づいて、非可逆復号部５１から供給された非可逆復号画像データＤ３１を閲覧させるべく、フレーム単位の画像データＤ５４として時系列順に表示装置１１０に出力し、この表示装置１１０に画像データＤ５４を表示させる。そして、画像閲覧・検索部１０３は、表示装置１１０に表示された画像データＤ５４の中から、編集対象となるフレーム画像データを検索する。
【００８８】
記録部１０４は、制御部１０１から制御信号Ｄ５３が供給されると、加算器５３から供給された可逆復号画像データＤ３３を例えばテープ等の所定の記録媒体に記録する。
【００８９】
このような編集装置１００においては、非可逆符号化コードストリームＤ２及び可逆符号化コードストリームＤ６を入力すると、非可逆復号部５１によって非可逆符号化コードストリームＤ２を復号して得られた非可逆復号画像データＤ３１が画像閲覧・検索部１０３によって画像データＤ５４としてフレーム単位で表示装置１１０に表示される。
【００９０】
ここで、非可逆符号化されている非可逆符号化コードストリームＤ２は、可逆符号化されている可逆符号化コードストリームＤ６と比べて非常に情報量が小さいものである。しかしながら、ＪＰＥＧ−２０００符号化方式は、高圧縮性能に優れていることから、非可逆復号部５１によって復号されて得られた非可逆復号画像データＤ３１は、例えば非可逆符号化コードストリームＤ２が原画像データＤ１を１／５０程度に圧縮して得られたものであった場合でも、十分に実用に耐えうるものであり、表示装置１１０に表示されても十分に内容を視認できるものである。
【００９１】
続いて、編集装置１００においては、画像閲覧・検索部１０３によって目的とするフレーム画像データが検索された場合には、制御部１０１からセレクタ１０２に対して制御信号Ｄ５２が供給され、セレクタ１０２がデータの経路を接続することにより、可逆復号部５２によって可逆符号化コードストリームＤ６を復号して得られた可逆差分画像データＤ３２と非可逆復号部５１から供給された非可逆復号画像データＤ３１とが加算器５３によって加算され、可逆復号画像データＤ３３が生成され、記録部１０４に供給される。
【００９２】
そして、編集装置１００においては、制御部１０１から記録部１０４に対して制御信号Ｄ５３が供給され、編集対象のフレーム画像データとして選択されたフレーム画像データに対応する可逆復号画像データＤ３３が記録部１０４によって記録媒体に記録される。
【００９３】
このような編集装置１００は、可逆符号化されて圧縮率が小さい符号化コードストリームＤ６を全て復号する必要がなく、圧縮率が高くサイズが小さい非可逆符号化コードストリームＤ２を読み出して復号することから、非可逆復号部５１の処理負荷が小さくて済み、非可逆符号化コードストリームＤ２を記憶しておく記録媒体の容量を削減することができる。
【００９４】
また、編集装置１００は、画像閲覧・検索部１０３による検索の結果、記録部１０４によって記録媒体に画像データを記録する際には、記録する対象のフレーム画像データに相当する可逆符号化コードストリームＤ６を読み出して復号することから、最初から可逆符号化コードストリームＤ６の全てを可逆復号部５２によって復号して記録媒体に記録する場合と比べ、処理量を大幅に軽減することができる上、必要なメモリ容量も削減することができる。
【００９５】
例えば、可逆符号化された符号化コードストリームを全て復号して所定の記録媒体に記録する場合には、図１２に示すような編集装置１２０を用いることが考えられる。すなわち、この編集装置１２０は、上述した可逆復号部５２と同様の可逆復号部１２１によって原画像データＤ１を可逆符号化して得られた可逆符号化コードストリームＤ６１を復号し、得られた可逆復号画像データＤ６２を制御部１２２の制御のもとに動作する画像閲覧・検索部１２３によって画像データＤ６３として表示装置１１０に出力して表示させるとともに、画像データＤ６３を記録部１２４に供給して記録媒体に記録させるものである。
【００９６】
このような編集装置１２０は、可逆符号化されて圧縮率が小さい可逆符号化コードストリームＤ６１を全て復号する必要があり、可逆復号部１２１の処理量が膨大化するとともに、可逆符号化コードストリームＤ６１を記憶しておく記録媒体の容量も膨大化するおそれがある。
【００９７】
これに対して、図１１に示す編集装置１００は、処理量を大幅に軽減し、且つ必要なメモリ容量も削減することができることから、編集操作を高速且つ効率的に行うことができ、操作性のよい編集及び閲覧機能を提供することができる。
【００９８】
つぎに、編集装置１００の改良形であって、非可逆符号化コードストリームＤ２をそのまま復号するのではなく、非可逆符号化コードストリームＤ２の一部を復号して非可逆復号画像データＤ３１を得る編集装置について図１３を用いて説明する。なお、以下では、編集装置１００と同様の構成については、同一符号を付し、その詳細な説明を省略するものとする。
【００９９】
編集装置１３０は、図１３に示すように、編集装置１００と同様に、非可逆復号部５１と、可逆復号部５２と、加算器５３と、制御部１０１と、セレクタ１０２と、画像閲覧・検索部１０３と、記録部１０４とを有する。
【０１００】
この編集装置１３０は、編集装置１００と異なる点として、非可逆復号部５１からセレクタ１０２に対しては非可逆復号画像データＤ３１をそのまま供給するものの、画像閲覧・検索部１０３に対しては非可逆符号化コードストリームＤ２の一部を復号して生成された非可逆復号画像データＤ７１を供給し、この非可逆復号画像データＤ７１に基づく画像データＤ５４を表示装置１１０に対して表示させる。
【０１０１】
ここで、非可逆復号部５１によって復号する非可逆符号化コードストリームＤ２の一部としては、例えば符号化装置１０におけるウェーブレット変換処理の過程で生成された空間解像度の低域成分に相当する符号化コードストリームが考えられる。
【０１０２】
原画像データＤ１は、符号化装置１０によるウェーブレット変換処理により、先に図３に示したように、低域成分を階層的に分割され、符号化装置１０においては、２のべき乗分の１のサイズで縮小されたウェーブレット変換係数領域が得られる。また、ＪＰＥＧ−２０００符号化方式においては、先に図７に示したように、同一解像度領域に属する部分から構成されるパケット単位で符号化コードストリームが生成されることから、先に図３に示したように、分割レベル数が"２" のウェーブレット変換処理が施された場合には、７つの変換領域が生成され、４個のパケットが生成される。
【０１０３】
そこで、編集装置１３０は、低域成分、すなわち、図７中パケット−１に相当する符号化コードストリームのみを上述した非可逆符号化コードストリームＤ２の一部として非可逆復号部５１によって復号して非可逆復号画像データＤ７１とし、画像閲覧・検索部１０３を介して、解像度が小さいサムネイル画像を画像データＤ５４として表示装置１１０に出力して表示させる。
【０１０４】
これにより、編集装置１３０は、サイズが小さい非可逆符号化コードストリームＤ２のうち、さらにパケット−１に相当する部分のみを復号すればよく、より復号処理量の軽減を図ることができる。したがって、編集装置１３０は、動画像データを扱う場合には、単位時間当たりに、より多くのフレーム数の画像データを復号することが可能となる。
【０１０５】
なお、非可逆復号部５１によって復号する非可逆符号化コードストリームＤ２の一部としては、例えば符号化装置１０におけるビットプレーン生成処理の過程で生成された上位ビットプレーンに相当する部分を用いることも考えられる。
【０１０６】
例えば、編集装置１３０は、先に図７に示したように、上位側のビットプレーンから下位側のビットプレーンに向けて、レイヤ（Layer）−０からレイヤ−Ｎまでレイヤを展開した場合には、上位レイヤであるレイヤ−０に存在するパケット、すなわち、パケット−１乃至パケット−４に相当する符号化コードストリームのみを上述した非可逆符号化コードストリームＤ２の一部として非可逆復号部５１によって復号して非可逆復号画像データＤ７１とすることができる。
【０１０７】
これにより、編集装置１３０は、画像閲覧・検索部１０３を介して、解像度については原画像データＤ１と同一であるが画質を低下させた画像データＤ５４を表示装置１１０に出力して表示させることができ、より復号処理量の軽減を図ることができる。
【０１０８】
以上説明したように、圧縮符号化・復号システムは、符号化装置１０により、原画像データＤ１に対して非可逆符号化処理を施して得られた非可逆符号化コードストリームＤ２を出力するとともに、原画像データＤ１に対する非可逆復号画像データＤ４の差分画像データＤ５に対して可逆符号化処理を施して得られた可逆符号化コードストリームＤ６を出力する。また、圧縮符号化・復号システムは、復号装置５０により、符号化装置１０から出力された２系統の非可逆符号化コードストリームＤ２及び可逆符号化コードストリームＤ６を入力し、非可逆符号化コードストリームＤ２に対して非可逆復号処理を施して得られた非可逆復号画像データＤ３１を出力するとともに、可逆符号化コードストリームＤ６に対して可逆復号処理を施して得られた可逆差分画像データＤ３２と非可逆復号画像データＤ３１とを加算して得られた可逆復号画像データＤ３３を出力する。
【０１０９】
これにより、圧縮符号化・復号システム、及びこの圧縮符号化・復号システムを適用した編集装置１００，１３０は、検索に必要な画像データの復号処理量を軽減することができ、操作性のよい編集及び閲覧機能を提供することができるとともに、圧縮率が高くサイズが小さい非可逆符号化コードストリームＤ２に対応する非可逆復号画像データＤ３１を検索に用いることにより、非可逆符号化コードストリームＤ２を記憶して保持するメモリやハードディスク等の記録媒体の使用容量も節減することができ、伝送する際にも伝送レートを低減することができる。
【０１１０】
また、ＪＰＥＧ−２０００符号化方式においては、通常、プログレッシブ機能を持たせるために、先に図７に示したように、レイヤ化した符号化コードストリームを生成する必要があるが、圧縮符号化・復号システム、及び編集装置１００，１３０は、既に非可逆符号化コードストリームＤ２が低画質のものとなっていることから、符号化装置１０によってレイヤ化された符号化コードストリームを生成する必要がない。すなわち、圧縮符号化・復号システム、及び編集装置１００，１３０は、圧縮側での制約条件を少なくし、自由度を増加させることができる。また、ＪＰＥＧ−２０００符号化方式においては、レイヤ化を行うとレイヤを表現するためのオーバーヘッドが生じて、圧縮率が低下するという欠点があるが、圧縮符号化・復号システム、及び編集装置１００，１３０は、このような欠点も回避することができる。
【０１１１】
さらに、ＪＰＥＧ−２０００符号化方式においては、レイヤ化されていなくても画像データの一部の符号化コードストリームを抽出するためには、最初から符号化コードストリームを読み出していく必要があることから、その処理が余分に必要となるが、圧縮符号化・復号システム、及び編集装置１００，１３０は、その処理が不要であり、高速に画像データの検索及び閲覧を実現することができ、単位時間当たりの処理画像数を増加させることができる。
【０１１２】
さらにまた、圧縮符号化・復号システム、及び編集装置１００，１３０は、非可逆符号化部及び可逆符号化部、並びに非可逆復号部及び可逆復号部を共有化することにより、回路規模を削減することもできる。
【０１１３】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した実施の形態では、編集装置１００，１３０は、それぞれ、可逆復号画像データＤ３３をテープに記録するものとして説明したが、本発明は、可逆復号画像データを例えばハードディスク等の任意の記録媒体に記録するものであっても適用することができる。
【０１１４】
また、上述した実施の形態では、編集装置１００，１３０は、それぞれ、可逆復号画像データＤ３３を所定の記録媒体に記録するものとして説明したが、本発明は、可逆復号画像データを例えばいわゆるインターネット等の任意の伝送媒体を介して伝送するものであっても適用することができる。
【０１１５】
さらに、上述した実施の形態では、編集装置１００，１３０は、それぞれ、画像データＤ５４を別途接続された表示装置１１０に対して出力するものとして説明したが、本発明は、これらの編集装置が表示部を有するものである場合にも適用することができる。
【０１１６】
さらにまた、上述した実施の形態では、ＪＰＥＧ−２０００符号化方式を用いた非可逆符号化処理及び可逆符号化処理を行うものとして説明したが、本発明は、所定の非可逆符号化処理及び可逆符号化処理を行う符号化方式であれば、いかなる符号化方式を適用してもよい。
【０１１７】
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１１８】
【発明の効果】
以上詳細に説明したように、本発明にかかる符号化装置は、原画像データを圧縮符号化する符号化装置であって、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化手段と、この非可逆符号化手段によって符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、非可逆復号画像データを復元する非可逆復号手段と、原画像データと非可逆復号手段によって復号されて得られた非可逆復号画像データとの差分をとる差分手段と、この差分手段によって差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化手段とを備え、非可逆符号化手段は、非可逆符号化コードストリームを外部に出力し、可逆符号化手段は、符号化して得られた可逆符号化コードストリームを外部に出力する。
【０１１９】
したがって、本発明にかかる符号化装置は、非可逆符号化手段によって原画像データに対して非可逆符号化処理を施して得られた非可逆符号化コードストリームを出力するとともに、可逆符号化手段によって原画像データに対する非可逆復号画像データの差分画像データに対して可逆符号化処理を施して得られた可逆符号化コードストリームを出力することにより、復号側で所望の画像データを検索する際に、圧縮率が高くサイズが小さい非可逆符号化コードストリームを復号した画像データを用いることができることから、検索に必要な画像データの復号処理量を軽減することができ、操作性のよい編集及び閲覧機能を提供することができるとともに、非可逆符号化コードストリームを記憶して保持する記録媒体の使用容量も節減することができ、伝送する際にも伝送レートを低減することができる。
【０１２０】
また、この本発明にかかる符号化装置において、非可逆符号化手段及び可逆符号化手段は、共有化されて構成される。
【０１２１】
したがって、この本発明にかかる符号化装置は、非可逆符号化手段と可逆符号化手段とにおける各部のうち、共通する部分を共有化し、非可逆符号化処理と可逆符号化処理とに応じて、内部でのデータの経路を切り替えることにより、回路規模を削減することができる。
【０１２２】
また、本発明にかかる符号化方法は、原画像データを圧縮符号化する符号化方法であって、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化工程と、この非可逆符号化工程にて符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、非可逆復号画像データを復元する非可逆復号工程と、原画像データと非可逆復号工程にて復号されて得られた非可逆復号画像データとの差分をとる差分工程と、この差分工程にて差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化工程とを備え、非可逆符号化工程では、非可逆符号化コードストリームが外部に出力され、可逆符号化工程では、符号化して得られた可逆符号化コードストリームが外部に出力される。
【０１２３】
したがって、本発明にかかる符号化方法は、原画像データに対して非可逆符号化処理を施して得られた非可逆符号化コードストリームを出力するとともに、原画像データに対する非可逆復号画像データの差分画像データに対して可逆符号化処理を施して得られた可逆符号化コードストリームを出力することにより、復号側で所望の画像データを検索する際に、圧縮率が高くサイズが小さい非可逆符号化コードストリームを復号した画像データを用いることが可能となることから、検索に必要な画像データの復号処理量を軽減することが可能となり、操作性のよい編集及び閲覧機能を提供することが可能となるとともに、非可逆符号化コードストリームを記憶して保持する記録媒体の使用容量も節減することが可能となり、伝送する際にも伝送レートを低減することが可能となる。
【０１２４】
さらに、本発明にかかる復号装置は、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化手段と、この非可逆符号化手段によって符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、第１の非可逆復号画像データを復元する第１の非可逆復号手段と、原画像データと第１の非可逆復号手段によって復号されて得られた第１の非可逆復号画像データとの差分をとる差分手段と、この差分手段によって差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化手段とを備え、非可逆符号化手段によって非可逆符号化コードストリームを外部に出力するとともに、可逆符号化手段によって符号化して得られた可逆符号化コードストリームを外部に出力する符号化装置によって圧縮符号化された符号化コードストリームを伸長して原画像データを復元する復号装置であって、非可逆符号化コードストリームに対して非可逆復号処理を施す第２の非可逆復号手段と、可逆符号化コードストリームに対して可逆復号処理を施す可逆復号手段と、第２の非可逆復号手段によって復号されて得られた第２の非可逆復号画像データと可逆復号手段によって復号されて得られた可逆差分画像データとを加算する加算手段とを備え、第２の非可逆復号手段は、第２の非可逆復号画像データを外部に出力し、加算手段は、加算して得られた可逆復号画像データを外部に出力する。
【０１２５】
したがって、本発明にかかる復号装置は、非可逆符号化コードストリーム及び可逆符号化コードストリームを入力し、第２の非可逆復号手段によって非可逆符号化コードストリームに対して非可逆復号処理を施して得られた第２の非可逆復号画像データを出力するとともに、可逆復号手段によって可逆符号化コードストリームに対して可逆復号処理を施して得られた可逆差分画像データと第２の非可逆復号画像データとを加算して得られた可逆復号画像データを出力することにより、所望の画像データを検索する際に、圧縮率が高くサイズが小さい非可逆符号化コードストリームを復号した第２の非可逆復号画像データを用いることができることから、検索に必要な画像データの復号処理量を軽減することができ、操作性のよい編集及び閲覧機能を提供することができるとともに、非可逆符号化コードストリームを記憶して保持する記録媒体の使用容量も節減することができ、伝送する際にも伝送レートを低減することができる。
【０１２６】
また、この本発明にかかる復号装置において、第２の非可逆復号手段及び可逆復号手段は、共有化されて構成される。
【０１２７】
したがって、この本発明にかかる復号装置は、第２の非可逆復号手段と可逆復号手段とにおける各部のうち、共通する部分を共有化し、非可逆復号処理と可逆復号処理とに応じて、内部でのデータの経路を切り替えることにより、回路規模の削減を図ることができる。
【０１２８】
さらにまた、本発明にかかる復号方法は、原画像データに対して所定の圧縮率でウェーブレット変換処理をともなう非可逆符号化処理を施す非可逆符号化工程と、この非可逆符号化工程にて符号化されて得られた非可逆符号化コードストリームに対して非可逆復号処理を施し、第１の非可逆復号画像データを復元する第１の非可逆復号工程と、原画像データと第１の非可逆復号工程にて復号されて得られた第１の非可逆復号画像データとの差分をとる差分工程と、この差分工程にて差分されて得られた差分画像データに対して所定の圧縮率でウェーブレット変換処理をともなう可逆符号化処理を施す可逆符号化工程とを備え、非可逆符号化工程にて非可逆符号化コードストリームが外部に出力されるとともに、可逆符号化工程にて符号化して得られた可逆符号化コードストリームが外部に出力される符号化方法にて圧縮符号化された符号化コードストリームを伸長して原画像データを復元する復号方法であって、非可逆符号化コードストリームに対して非可逆復号処理を施す第２の非可逆復号工程と、可逆符号化コードストリームに対して可逆復号処理を施す可逆復号工程と、第２の非可逆復号工程にて復号されて得られた第２の非可逆復号画像データと可逆復号工程にて復号されて得られた可逆差分画像データとを加算する加算工程とを備え、第２の非可逆復号工程では、第２の非可逆復号画像データが外部に出力され、加算工程では、加算して得られた可逆復号画像データが外部に出力される。
【０１２９】
したがって、本発明にかかる復号方法は、非可逆符号化コードストリーム及び可逆符号化コードストリームを入力し、非可逆符号化コードストリームに対して非可逆復号処理を施して得られた第２の非可逆復号画像データを出力するとともに、可逆符号化コードストリームに対して可逆復号処理を施して得られた可逆差分画像データと第２の非可逆復号画像データとを加算して得られた可逆復号画像データを出力することにより、所望の画像データを検索する際に、圧縮率が高くサイズが小さい非可逆符号化コードストリームを復号した第２の非可逆復号画像データを用いることが可能となることから、検索に必要な画像データの復号処理量を軽減することが可能となり、操作性のよい編集及び閲覧機能を提供することが可能となるとともに、非可逆符号化コードストリームを記憶して保持する記録媒体の使用容量も節減することが可能となり、伝送する際にも伝送レートを低減することが可能となる。
【図面の簡単な説明】
【図１】
本発明の実施の形態として示す圧縮符号化・復号システムにおける符号化装置の構成を説明するブロック図である。
【図２】
同符号化装置が有する非可逆符号化部の構成を説明するブロック図である。
【図３】
ウェーブレット変換係数データを説明するための図であって、ウェーブレット変換の分割レベルを説明するための図である。
【図４】
ビットプレーンの概念を説明するための図であって、（Ａ）は、量子化係数データを示し、（Ｂ）は、量子化係数データを構成する各係数の絶対値のビットプレーンを示し、（Ｃ）は、量子化係数データを構成する各係数の符号のビットプレーンを示す図である。
【図５】
コード・ブロックにおける符号化パスが用いられる順序を説明する図である。
【図６】
コード・ブロック内での係数のスキャニングの順序を説明する図である。
【図７】
マルチレイヤ化とパケットとの関係を説明するためのパケット構造の断面図である。
【図８】
同符号化装置が有する非可逆復号部の構成を説明するブロック図である。
【図９】
同圧縮符号化・復号システムにおける復号装置の構成を説明するブロック図である。
【図１０】
同圧縮符号化・復号システムを適用した編集装置における編集動作の概念を説明するための図である。
【図１１】
非可逆の符号化コードストリームの全てを復号して非可逆復号画像データを得る編集装置の構成を説明するブロック図である。
【図１２】
可逆符号化された符号化コードストリームを全て復号して所定の記録媒体に記録する編集装置の構成を説明するブロック図である。
【図１３】
図１１に示す編集装置の改良形であって、非可逆の符号化コードストリームの一部を復号して非可逆復号画像データを得る編集装置の構成を説明するブロック図である。
【符号の説明】
１０  符号化装置、  １１  非可逆符号化部、  １２，５１  非可逆復号部、  １３  差分器、  １４  可逆符号化部、  ２１  ウェーブレット変換部、  ２２  量子化部、  ２３  符号化部、  ２４  レート制御部、  ２５  ヘッダ生成部、  ２６  パケットデータ生成部、  ２７  パケット生成部、  ２８  ビットプレーン符号化パス生成部、  ２９  算術符号化部、  ３１  パケット解読部、  ３２  ヘッダ解読部、  ３３  パケットデータ抽出部、  ３４  復号部、  ３５  逆量子化部、  ３６  ウェーブレット逆変換部、  ３７  算術復号部、  ３８  ビットプレーン復号部、  ５０  復号装置、  ５２  可逆復号部、  ５３  加算器、  １００，１３０  編集装置、  １０１  制御部、  １０２  セレクタ、  １０３  画像閲覧・検索部、  １０４  記録部、  １１０  表示装置