(57)【要約】【課題】画像が符号化された符号化データを低遅延かつスケーラブルに復号する。【解決手段】サブバンド・ライン選択部２０２は、符号語解読部２０１から供給される各分割レベルの符号ラインを区別するために必要な情報に基づいて、符号語解読部２０１から供給されるコードストリームから、復号する各分割レベルの符号ラインを選択する。エントロピ復号部２０３は、選択された各分割レベルの符号ラインをエントロピ復号する。逆量子化部２０４は、エントロピ復号部２０３から供給される、各分割レベルの係数ラインを逆量子化する。ウェーブレット逆変換部２０５は、符号語解読部２０１から供給される情報に基づいて、逆量子化された係数ラインをウェーブレット逆変換し、復号画像を生成する。本発明は、例えば、画像処理装置に適用することができる。【選択図】図１４
2011071649.tif 000002
【特許請求の範囲】
【請求項１】
階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データから、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択する選択手段と、
前記選択手段により選択された符号化データを、復号する復号手段と、
階層的に前記合成フィルタ処理を行い、前記復号手段により復号されて得られた前記係数データを合成し、前記所定の解像度の復号画像を生成する合成フィルタ手段と
を備える画像処理装置。
【請求項２】
前記符号化データを解読する解読手段をさらに備え、
前記選択手段は、前記解読手段による解読結果に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、その中から、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択する
請求項１に記載の画像処理装置。
【請求項３】
前記解読手段は、前記符号化データを解読することにより、前記符号化データに含まれる、各階層の前記係数データの１ライン分に対応する符号化データの符号量の情報を抽出し、
前記選択手段は、前記符号量に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、その中から、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択する
請求項２に記載の画像処理装置。
【請求項４】
前記解読手段は、前記符号化データを解読することにより、前記符号化データに含まれる、各階層の前記係数データの１ライン分に対応する符号化データの境界を示すマーカを検出し、
前記選択手段は、前記マーカの検出結果に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、その中から、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択する
請求項２に記載の画像処理装置。
【請求項５】
前記復号手段により復号されて得られた前記係数データの並び順を、前記復号手段により復号された順から、前記合成フィルタ処理される順に並び替える係数データ並び替え手段をさらに備え、
前記合成フィルタ手段は、前記係数データ並び替え手段により並び替えられた各サブバンドの前記係数データを合成し、前記所定の解像度の復号画像を生成する
請求項１に記載の画像処理装置。
【請求項６】
前記合成フィルタ手段は、実行可能な中で、より下位の階層のサブバンドの係数データに対する前記合成フィルタ処理を優先的に実行する
請求項１に記載の画像処理装置。
【請求項７】
前記合成フィルタ手段は、前記合成フィルタ処理を、リフティング演算を用いて行う
請求項１に記載の画像処理装置。
【請求項８】
前記合成フィルタ手段は、初期状態のラインブロックに対しては、必要な係数データの対称拡張を行ってから前記リフティング演算を行い、定常状態のラインブロックに対しては、前回の前記リフティング演算結果を利用して、前記リフティング演算を行う
請求項７に記載の画像処理装置。
【請求項９】
前記合成フィルタ手段は、前記係数データに対して、水平方向に前記リフティング演算を行ってから、垂直方向に前記リフティング演算を行う
請求項７に記載の画像処理装置。
【請求項１０】
画像処理装置の選択手段が、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データから、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択し、
前記画像処理装置の復号手段が、選択された符号化データを復号し、
前記画像処理装置の合成フィルタ手段が、階層的に前記合成フィルタ処理を行い、復号されて得られた前記係数データを合成し、前記所定の解像度の復号画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、特に、画像が符号化された符号化データを低遅延かつスケーラブルに復号することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたJPEG（Joint Photographic Experts Group）やJPEG2000がある。
【０００３】
近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT（Discrete Cosine Transform）変換で問題になる高圧縮でのブロック歪みが無いことから、DCTに代わる新たな技術として有力視されている。
【０００４】
2001年１月に国際標準化が完了したJPEG2000は、このウェーブレット変換に高能率なエントロピ符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、JPEGに比べて符号化効率の大きな改善を実現している。
【０００５】
このJPEG2000はデジタルシネマ規格（DCI（Digital Cinema Initiative）規格）用の標準コーデックとしても選定されており、映画の様な動画像用の圧縮にも使われ始めている。また各メーカからJPEG2000を監視カメラや放送局用の取材カメラ、セキュリティ・レコーダなどに応用した製品も出始めている。
【０００６】
しかしながら、JPEG2000は基本的にピクチャ単位の符号化・復号を行うため、リアルタイム送受信に使うために低遅延を実現しようとした場合、エンコード（符号化）で最低１ピクチャ分、デコード（復号）でも最低１ピクチャ分の遅延が生じる。
【０００７】
これはJPEG2000のみならず、AVC（Advanced Video Coding）イントラ、JPEG等どのコーデックについても同様である。但し、最近になって、画面を幾つかの矩形スライスまたはタイルに分けて、それらを独立にエンコード・デコードを行うことで遅延時間を短縮する手段が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００８】
【特許文献１】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、この方法では、通常のJPEG2000のように、１つの符号化コードストリームから複数の解像度または複数の画質に対応する部分の符号化コードストリームだけを抽出してデコードすることで目的の解像度または画質を得る、スケーラブルなデコードを行うことができなかった。
【００１０】
本発明は、このような状況に鑑みて提案されたものであり、画像が符号化された符号化データを低遅延かつスケーラブルに復号することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一側面は、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データから、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択する選択手段と、前記選択手段により選択された符号化データを、復号する復号手段と、階層的に前記合成フィルタ処理を行い、前記復号手段により復号されて得られた前記係数データを合成し、前記所定の解像度の復号画像を生成する合成フィルタ手段とを備える画像処理装置である。
【００１２】
前記符号化データを解読する解読手段をさらに備え、前記選択手段は、前記解読手段による解読結果に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、その中から、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択することができる。
【００１３】
前記解読手段は、前記符号化データを解読することにより、前記符号化データに含まれる、各階層の前記係数データの１ライン分に対応する符号化データの符号量の情報を抽出し、前記選択手段は、前記符号量に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、その中から、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択することができる。
【００１４】
前記解読手段は、前記符号化データを解読することにより、前記符号化データに含まれる、各階層の前記係数データの１ライン分に対応する符号化データの境界を示すマーカを検出し、前記選択手段は、前記マーカの検出結果に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、その中から、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択することができる。
【００１５】
前記復号手段により復号されて得られた前記係数データの並び順を、前記復号手段により復号された順から、前記合成フィルタ処理される順に並び替える係数データ並び替え手段をさらに備え、前記合成フィルタ手段は、前記係数データ並び替え手段により並び替えられた各サブバンドの前記係数データを合成し、前記所定の解像度の復号画像を生成することができる。
【００１６】
前記合成フィルタ手段は、実行可能な中で、より下位の階層のサブバンドの係数データに対する前記合成フィルタ処理を優先的に実行することができる。
【００１７】
前記合成フィルタ手段は、前記合成フィルタ処理を、リフティング演算を用いて行うことができる。
【００１８】
前記合成フィルタ手段は、初期状態のラインブロックに対しては、必要な係数データの対称拡張を行ってから前記リフティング演算を行い、定常状態のラインブロックに対しては、前回の前記リフティング演算結果を利用して、前記リフティング演算を行うことができる。
【００１９】
前記合成フィルタ手段は、前記係数データに対して、水平方向に前記リフティング演算を行ってから、垂直方向に前記リフティング演算を行うことができる。
【００２０】
本発明の一側面は、また、画像処理装置の選択手段が、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データから、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データを選択し、前記画像処理装置の復号手段が、選択された符号化データを復号し、前記画像処理装置の合成フィルタ手段が、階層的に前記合成フィルタ処理を行い、復号されて得られた前記係数データを合成し、前記所定の解像度の復号画像を生成する画像処理方法である。
【００２１】
本発明の一側面においては、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データから、所定の解像度の復号画像を生成するのに必要なサブバンドの係数データに対応する符号化データが選択され、その選択された符号化データが復号され、階層的に合成フィルタ処理が行われ、復号されて得られた係数データが合成され、所定の解像度の復号画像が生成される。
【発明の効果】
【００２２】
本発明によれば、画像を復号することができる。特に、画像が符号化された符号化データを低遅延かつスケーラブルに復号することができる。
【図面の簡単な説明】
【００２３】
【図１】画像符号化装置の主な構成例を示すブロック図である。
【図２】サブバンドおよびラインブロックを説明する図である。
【図３】５×３フィルタの例を示す図である。
【図４】リフティング演算例を説明する図である。
【図５】分析フィルタリングの処理の様子を説明する図である。
【図６】分析フィルタリングの処理の様子を説明する図である。
【図７】分析フィルタリングの処理の様子を説明する図である。
【図８】分析フィルタリングの処理の様子を説明する図である。
【図９】係数データの出力順の例を説明する図である。
【図１０】係数データの出力順を説明する図である。
【図１１】係数データの並び替えを説明する図である。
【図１２】ヘッダ情報の付加の例を説明する図である。
【図１３】符号化処理の流れの例を説明するフローチャートである。
【図１４】本発明を適用した画像復号装置の主な構成例を示すブロック図である。
【図１５】部分デコードの例を示す図である。
【図１６】スケーラブルなデコードのパターン例を説明する図である。
【図１７】リフティング演算例を説明する図である。
【図１８】合成フィルタリングの処理の様子を説明する図である。
【図１９】係数データの処理順の例を説明する図である。
【図２０】ピクチャの変換処理の様子の例を説明する図である。
【図２１】復号処理の流れの例を説明するフローチャートである。
【図２２】マーカの付加の例を説明する図である。
【図２３】本発明を適用した画像復号装置の他の構成例を示すブロック図である。
【図２４】係数データの並び替えを説明する図である。
【図２５】係数データの並び替えを説明する図である。
【図２６】復号処理の流れの例を説明するフローチャートである。
【図２７】本発明を適用した画像伝送システムの主な構成例を示すブロック図である。
【図２８】本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像復号装置）
２．第２の実施の形態（画像復号装置の他の構成例）
３．第３の実施の形態（伝送システム）
４．第４の実施の形態（パーソナルコンピュータ）
【００２５】
＜１．第１の実施の形態＞
［画像符号化装置の説明］
最初に、本発明を適用した画像処理装置としての画像復号装置に対応する、画像符号化装置について説明する。後述する画像復号装置は、符号化データをスケーラブルにデコードし、所望の解像度の復号画像を得ることができる。図１に示される画像符号化装置１００は、画像データを符号化し、そのような画像復号装置が復号可能な符号化データを生成する装置である。
【００２６】
図１において、画像符号化装置１００は、画像ライン入力部１０１、ラインバッファ部１０２、ウェーブレット変換部１０３、係数ライン並び替え部１０４、量子化部１０５、エントロピ符号化部１０６、付加部１０７、およびレート制御部１０８を有する。
【００２７】
画像ライン入力部１０１は、入力される画像データ（矢印Ｄ１０）を、ライン毎にラインバッファ部１０２に供給し（矢印Ｄ１１）、ラインバッファ部１０２に蓄積させる。ラインバッファ部１０２は、画像ライン入力部１０１から供給される画像データや、ウェーブレット変換部１０３から供給される係数データを保持し、所定のタイミングにおいてその画像データや係数データをウェーブレット変換部１０３に供給する（矢印Ｄ１２）。
【００２８】
ウェーブレット変換部１０３は、ラインバッファ部１０２から供給される画像データや係数データに対してウェーブレット変換を行い、次の階層の低域成分と高域成分の係数データを生成する。ウェーブレット変換の詳細については後述する。
【００２９】
ウェーブレット変換部１０３は、生成した係数データの、垂直方向および水平方向に低域な成分をラインバッファ部１０２に供給して保持させ（矢印Ｄ１３）、その他の成分を係数ライン並び替え部１０４に供給する（矢印Ｄ１４）。なお、ウェーブレット変換部１０３は、生成した係数データが最上位層である場合、垂直方向および水平方向に低域な成分も係数ライン並び替え部１０４に供給する。
【００３０】
係数ライン並び替え部１０４には、ウェーブレット変換部１０３から係数データ（係数ライン）が供給される（矢印Ｄ１４）。係数ライン並び替え部１０４は、その係数データ（係数ライン）の順序を、ウェーブレット逆変換処理の順序に並び替える。
【００３１】
図１に示されるように、係数ライン並び替え部１０４は、係数ライン並び替えバッファ１１１および係数ライン読み出し部１１２を有する。係数ライン並び替えバッファ１１１は、ウェーブレット変換部１０３から供給される係数ラインを保持する。係数ライン読み出し部１１２は、係数ライン並び替えバッファ１１１に保持された係数ラインを、ウェーブレット逆変換処理の順序で読み出す（矢印Ｄ１５）ことにより、並び替えを行う。この並び替えの詳細については後述する。
【００３２】
係数ライン並び替え部１０４（係数ライン読み出し部１１２）は、順序を並び替えた係数データを量子化部１０５に供給する（矢印Ｄ１６）。
【００３３】
量子化部１０５は、係数ライン並び替え部１０４から供給された係数データに対して、量子化を行う。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（１）に示されるような、係数データＷを量子化ステップサイズＱで除算する手法を用いれば良い。
【００３４】
量子化係数＝Ｗ／Ｑ  ・・・（１）
【００３５】
なお、この量子化ステップサイズＱは、レート制御部１０８により指定される。量子化部１０５は、量子化された係数データをエントロピ符号化部１０６に供給する（矢印Ｄ１７）。
【００３６】
エントロピ符号化部１０６は、量子化部１０５から供給される係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１０６は、１係数ラインを符号化すると、その１係数ラインから生成された符号化データである１符号ラインを付加部１０７に供給する（矢印Ｄ１８）。エントロピ符号化部１０６は、さらに、その１符号ラインの符号量を付加部１０７に供給する（点線矢印Ｄ１９）。
【００３７】
付加部１０７は、エントロピ符号化部１０６から供給された１符号ラインに対して、同じくエントロピ符号化部１０６から供給されたその１符号ラインの符号量を、ヘッダ情報として付加する。ヘッダ情報の付加の詳細については後述する。ヘッダ情報を付加すると、付加部１０７は、その符号化データ（符号ライン）を画像符号化装置１００の外部に出力する（矢印Ｄ２０）。画像符号化装置１００の外部に出力された符号化データは、例えばネットワーク等を介して、後述する画像復号装置に供給される。
【００３８】
この符号化データは、係数ライン並び替え部１０４により、ウェーブレット逆変換の順に並び替えられている。これにより、例えば、画像復号装置による復号処理の遅延時間を低減させることができる。
【００３９】
なお、エントロピ符号化部１０６は、各符号ラインの符号量を、レート制御部１０８にも供給する（点線矢印Ｄ２１）。
【００４０】
レート制御部１０８は、エントロピ符号化部１０６から供給される符号ライン毎の符号量に基づいて、画像の符号化難易度を推定し、その符号化難易度に応じて量子化部１０５により用いられる量子化ステップサイズＱを指定する（点線矢印Ｄ２２）。つまり、レート制御部１０８は、量子化ステップサイズＱを指定することにより、符号化データのレート制御を行う。
【００４１】
［サブバンドの説明］
次に、画像符号化装置１００が行うウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。
【００４２】
１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。最初に水平方向の分析フィルタリングが行われ、次に垂直方向の分析フィルタリングが行われる。したがって、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４つのサブバンド（ＬＬ、ＬＨ、ＨＬ、およびＨＨ）に分割される。そして、次の階層の分析フィルタリングは、生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。
【００４３】
このように分析フィルタリングを再帰的に繰り返すことにより、空間周波数の低い帯域の係数データをより小さな領域に追い込むことができる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。
【００４４】
図２は、分析フィルタリングを４回繰り返して生成される係数データの構成について説明する図である。
【００４５】
ベースバンドの画像データに対して分割レベル１の分析フィルタリングが行われると、画像データは、分割レベル１の４つのサブバンド（１ＬＬ、１ＬＨ、１ＨＬ、および１ＨＨ）に変換される。この分割レベル１の、水平方向および垂直方向の両方に対して低域成分のサブバンド１ＬＬに対して、分割レベル２の分析フィルタリングが行われ、分割レベル２の４つのサブバンド（２ＬＬ、２ＬＨ、２ＨＬ、および２ＨＨ）に変換される。この分割レベル２の、水平方向および垂直方向の両方に対して低域成分のサブバンド２ＬＬに対して、分割レベル３の分析フィルタリングが行われ、分割レベル３の４つのサブバンド（３ＬＬ、３ＬＨ、３ＨＬ、および３ＨＨ）に変換される。この分割レベル３の、水平方向および垂直方向の両方に対して低域成分のサブバンド３ＬＬに対して、分割レベル４の分析フィルタリングが行われ、分割レベル４の４つのサブバンド（４ＬＬ、４ＬＨ、４ＨＬ、および４ＨＨ）に変換される。
【００４６】
図２は、このようにして、１３個のサブバンドに分割された係数データの構成を示している。
【００４７】
以上のような分析フィルタリングにより、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データが１ラインずつ生成される。したがって、図２の斜線部分で示されるように、分割レベル４のサブバンドの係数データが１ラインずつ生成されるのに、サブバンド３ＬＬは２ライン必要であり、サブバンド２ＬＬは４ライン必要であり、サブバンド１ＬＬは８ライン必要である。つまり、１６ラインの画像データが必要になる。
【００４８】
このような最低域成分のサブバンドの１ライン分の係数データを生成するために必要なライン数の画像データをラインブロック（またはプレシンクト）と称する。また、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。
【００４９】
例えば、図２の例の場合、図示せぬ１６ラインの画像データが１ラインブロックとなる。また、ラインブロックは、その１６ラインの画像データから生成される、分割レベル１の各サブバンドの８ラインの係数データ、分割レベル２の各サブバンドの４ラインの係数データ、分割レベル３の各サブバンドの２ラインの係数データ、および分割レベル４の各サブバンドの１ラインの係数データのことを示す場合もある。
【００５０】
ウェーブレット変換部１０３は、ウェーブレット変換をこのようなラインブロック毎に行うとも言える。
【００５１】
ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、各分割レベル内、または各サブバンド内において形成される１行のことを示す。
【００５２】
この１ライン分の係数データ（画像データ）を係数ラインとも称する。より詳細に区別して説明する必要がある場合、適宜表現を変える。例えば、あるサブバンドのある１ラインを「あるサブバンドの係数ライン」と称し、１つ下位の階層の同じ２係数ラインから生成された、ある階層（分割レベル）の全サブバンド（ＬＨ，ＨＬ、およびＨＨ（最上位層の場合ＬＬも含む））の１ラインを「ある分割レベル（または階層）の係数ライン」と称する。
【００５３】
図２の例の場合、「分割レベル４（最上位層）の係数ライン」は、サブバンド４ＬＬ，４ＬＨ，４ＨＬ、および４ＨＨの、互いに対応する（１つ下位の分割レベルの同じ係数ラインから生成された）ある１ラインを示す。また、「分割レベル３の係数ライン」は、サブバンド３ＬＨ，３ＨＬ、および３ＨＨの、互いに対応するある１ラインを示す。さらに、「サブバンド２ＨＨの係数ライン」は、サブバンド２ＨＨのある１ラインを示す。
【００５４】
なお、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。
【００５５】
図２においては、分割レベル４のウェーブレット変換について説明した。以下においても、基本的に、ウェーブレット変換は分割レベル４まで行われるものとして説明するが、実際には、ウェーブレット変換の階層数（分割レベル）は任意である。
【００５６】
［リフティング演算］
ウェーブレット変換部１０３は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。
【００５７】
このウェーブレット変換の具体的な例として、５×３フィルタを用いる方法について説明する。この５×３フィルタを用いる方法は、従来技術で既に説明したJPEG（Joint Photographic Experts Group）2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。
【００５８】
５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（２）および式（３）に示すように、低域フィルタＨ0（ｚ）と、高域フィルタＨ1（ｚ）とから構成される。式（２）および式（３）から、低域フィルタＨ0（ｚ）は、５タップで、高域フィルタＨ1（ｚ）は、３タップであることが分かる。
【００５９】
Ｈ0（ｚ）＝（−１＋２ｚ-1＋６ｚ-2＋２ｚ-3−ｚ-4）/８    ・・・（２）
Ｈ1（ｚ）＝（−１＋２ｚ-1−ｚ-2）/２            ・・・（３）
【００６０】
これら式（２）および式（３）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。
【００６１】
図３は、５×３フィルタをリフティング表現した図である。図中、最上部の一列が入力信号列である。データ処理は画面上から下方向に流れ、以下の式（４）および式（５）により、高域成分の係数（高域係数）と、低域成分の係数（低域係数）とが出力される。
【００６２】
ｄi1＝ｄi0−１／２（ｓi0＋ｓi+10）  ・・・（４）
ｓi1＝ｓi0＋１／４（ｄi-11＋ｄi1）  ・・・（５）
【００６３】
図４は、５x３分析フィルタを用いて、縦方向のラインに対してフィルタリングを行った場合の図である。横方向は、演算過程とそれによって生成される低域・高域係数を図示したものである。図３の場合と照らし合わせて見れば水平が垂直に変わっただけであり、演算の方法は全く同様であることがわかる。
【００６４】
画像の上端においては、矢印１５１に示されるように、Line-１から最上位ラインが点線の様に対称拡張され、１ラインが補填される。枠１５２で示されるように、これとLine-0、Line-１の合計３ラインを用いてリフティング演算が行われ、Step-1の演算で係数ａが生成される。これは高域係数（Ｈ０）である。
【００６５】
Line-1,Line-2,Line-3が入力されると、この３ラインを用いて次の高域係数ａが算出される。これは高域係数（Ｈ１）である。そして、上記の１番目の高域係数ａ（Ｈ０）と２番目高域係数ａ（Ｈ１）、及びLine-1の係数の合計３つの係数を用いて、式２に従い計算すると係数ｂが生成される。これは低域係数（Ｌ１）である。つまり、枠１５３で示されるように、Line-1,Line-2,Line-3の３ラインと、高域係数（Ｈ０）とを用いて、低域係数（Ｌ１）および高域係数（Ｈ１）が生成される。
【００６６】
その後、２ラインが入力される毎に、上記のリフティング演算が後続のラインに対しても同様に繰り返され、低域係数と高域係数とが出力される。そして、枠１５４に示されるように、低域係数（Ｌ（Ｎ−１））および高域係数（Ｈ（Ｎ−１））が生成されると、高域係数（Ｈ（Ｎ−１））が矢印１５５のように対称拡張され、枠１５６のように演算が行われ、低域成分（Ｌ（Ｎ））が生成される。
【００６７】
以上のリフティング演算は、各階層について再帰的に行われる。
【００６８】
また図４は垂直方向のラインに対してフィルタリングを行った例であるが、水平方向のフィルタリングの場合でも全く同様に考えることができることは自明である。
【００６９】
［分析フィルタリングの手順］
以上のような分析フィルタリングは、図５乃至図８のように進められる。
【００７０】
すなわち、図５の左に示されるようにベースバンドの画像データが３ライン入力されると、図４を参照して説明したようにリフティング演算が行われ、図５の右に示されるように、分割レベル１の各サブバンド（１ＬＬ，１ＬＨ，１ＨＬ，１ＨＨ）が１ラインずつ生成される。
【００７１】
その後、ベースバンドの画像データが２ライン入力される毎に、同様のリフティング演算が行われるので、図６の左に示されるように、ベースバンドの画像データ７ラインから、図６の右に示されるように、分割レベル１の各サブバンドの係数ラインが３ラインずつ生成される。
【００７２】
図７の左（図６の右）に示されるように、１ＬＬの係数ラインが３ライン生成されると、図４を参照して説明したようにリフティング演算が行われ、図７の右に示されるように、分割レベル２の各サブバンド（２ＬＬ，２ＬＨ，２ＨＬ，２ＨＨ）が１ラインずつ生成される。分割レベル１においてもベースバンドのときと同様に、その後は１ＬＬの係数ラインが２ラインずつ生成される毎にリフティング演算が行われ、分割レベル２の各サブバンドの係数ラインが１ラインずつ生成される。
【００７３】
したがって、図８の左に示されるように、ベースバンドの画像データが１１ラインから、図８の右に示されるように、分割レベル２の各サブバンドの係数ラインが２ラインと、分割レベル１の１ＬＨ，１ＨＬ、および１ＨＨの各サブバンドの係数ラインが５ラインずつ生成される。
【００７４】
つまり、その時点で実行可能な、もっとも上位の階層のリフティング演算が実行される。換言すれば、より上位の階層のリフティング演算が優先的に実行される。また、分析フィルタリングは、画像上端の初期状態においては、３ラインの画像データ若しくは係数データが入力として必要である。ただし、それ以外の部分の定常状態においては、２ラインの画像データ若しくは係数データが入力される毎に分析フィルタリングが行われる。
【００７５】
以上のような手順でリフティング演算は進行される。
【００７６】
［ウェーブレット変換部１０３の出力］
次に、以上のような手順で分析フィルタリングを行うウェーブレット変換部１０３から出力されるデータについて説明する。図９は、初期状態において、ウェーブレット変換部１０３から出力されるデータを時系列順に示す図である。図９においては、ウェーブレット変換部１０３から出力されるデータが、図中、上から下に向かう方向に時系列順に並べられている。
【００７７】
ウェーブレット変換部１０３が上述したような手順で分析フィルタリングを行うので、初期状態において、分割レベル１（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の上から１番目の係数ライン（ライン１）が、ウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１は、ラインバッファ部１０２に供給され保持される。
【００７８】
続いて、分割レベル１のライン２（上から２番目の係数ライン）およびライン３（上から３番目の係数ライン）が、生成され次第、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン２とライン３は、ラインバッファ部１０２に供給され保持される。
【００７９】
上述したように、ウェーブレット変換部１０３は、ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが３ライン（２回目以降は２ライン）保持されると、それらに対して分割レベル１の分析フィルタリングを行う。
【００８０】
したがって、分割レベル１のライン３が出力された後、分割レベル２（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）のライン１がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン１は、ラインバッファ部１０２に供給され保持される。
【００８１】
続いて、分割レベル１のライン４（上から４番目の係数ライン）およびライン５（上から５番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン４とライン５は、ラインバッファ部１０２に供給され保持される。
【００８２】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されたので、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン２がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン２は、ラインバッファ部１０２に供給され保持される。
【００８３】
続いて、分割レベル１のライン６（上から６番目の係数ライン）およびライン７（上から７番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン６とライン７は、ラインバッファ部１０２に供給され保持される。
【００８４】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されたので、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン３がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン３は、ラインバッファ部１０２に供給され保持される。
【００８５】
ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが３ライン（２回目以降は２ライン）保持されたので、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）のライン１がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン１は、ラインバッファ部１０２に供給され保持される。
【００８６】
続いて、分割レベル１のライン８（上から８番目の係数ライン）およびライン９（上から９番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン８とライン９は、ラインバッファ部１０２に供給され保持される。
【００８７】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン４がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン４は、ラインバッファ部１０２に供給され保持される。
【００８８】
続いて、分割レベル１のライン１０（上から１０番目の係数ライン）およびライン１１（上から１１番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１０とライン１１は、ラインバッファ部１０２に供給され保持される。
【００８９】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン５がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン５は、ラインバッファ部１０２に供給され保持される。
【００９０】
ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のライン２がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン２は、ラインバッファ部１０２に供給され保持される。
【００９１】
続いて、分割レベル１のライン１２（上から１２番目の係数ライン）およびライン１３（上から１３番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１２とライン１３は、ラインバッファ部１０２に供給され保持される。
【００９２】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン６がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン６は、ラインバッファ部１０２に供給され保持される。
【００９３】
続いて、分割レベル１のライン１４（上から１４番目の係数ライン）およびライン１５（上から１５番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１４とライン１５は、ラインバッファ部１０２に供給され保持される。
【００９４】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン７がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン７は、ラインバッファ部１０２に供給され保持される。
【００９５】
ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のライン３がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン３は、ラインバッファ部１０２に供給され保持される。
【００９６】
ラインバッファ部１０２にサブバンド３ＬＬの係数ラインが３ライン（２回目以降は２ライン）保持されると、それらに対して分割レベル３の分析フィルタリングが行われ、分割レベル４（４ＨＨ，４ＨＬ，４ＬＨ、および４ＨＨ）のライン１がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。
【００９７】
以上が、初期状態においてウェーブレット変換部１０３から出力される１ラインブロック分の係数ライン群である。初期状態が終了すると、２ラインずつ処理される定常状態に移行する。
【００９８】
図１０は、定常状態において、ウェーブレット変換部１０３から出力されるデータを時系列順に示す図である。図１０においては、図９と同様に、ウェーブレット変換部１０３から出力されるデータが、図中、上から下に向かう方向に時系列順に並べられている。
【００９９】
ウェーブレット変換部１０３が上述したような手順で分析フィルタリングを行うので、定常状態のあるタイミングにおいて、分割レベル１のラインＬ（上からＬ番目の係数ライン）およびライン（Ｌ＋１）（上から（Ｌ＋１）番目の係数ライン）が、生成され次第、順次、ウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのラインＬおよびライン（Ｌ＋１）は、ラインバッファ部１０２に供給され保持される。
【０１００】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のラインＭ（上からＭ番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのラインＭは、ラインバッファ部１０２に供給され保持される。
【０１０１】
続いて、分割レベル１のライン（Ｌ＋２）（上から（Ｌ＋２）番目の係数ライン）およびライン（Ｌ＋３）（上から（Ｌ＋３）番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン（Ｌ＋２）とライン（Ｌ＋３）は、ラインバッファ部１０２に供給され保持される。
【０１０２】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋１）（上から（Ｍ＋１）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン（Ｍ＋１）は、ラインバッファ部１０２に供給され保持される。
【０１０３】
ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のラインＮ（上からＮ番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのラインＮは、ラインバッファ部１０２に供給され保持される。
【０１０４】
続いて、分割レベル１のライン（Ｌ＋４）（上から（Ｌ＋４）番目の係数ライン）およびライン（Ｌ＋５）（上から（Ｌ＋５）番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン（Ｌ＋４）とライン（Ｌ＋５）は、ラインバッファ部１０２に供給され保持される。
【０１０５】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋２）（上から（Ｍ＋２）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン（Ｍ＋２）は、ラインバッファ部１０２に供給され保持される。
【０１０６】
続いて、分割レベル１のライン（Ｌ＋６）（上から（Ｌ＋６）番目の係数ライン）およびライン（Ｌ＋７）（上から（Ｌ＋７）番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン（Ｌ＋６）とライン（Ｌ＋７）は、ラインバッファ部１０２に供給され保持される。
【０１０７】
ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋３）（上から（Ｍ＋３）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン（Ｍ＋３）は、ラインバッファ部１０２に供給され保持される。
【０１０８】
ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のライン（Ｎ＋１）（上から（Ｎ＋１）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン（Ｎ＋１）は、ラインバッファ部１０２に供給され保持される。
【０１０９】
ラインバッファ部１０２にサブバンド３ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル３の分析フィルタリングが行われ、分割レベル４のラインＰ（上からＰ番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。
【０１１０】
以上のような定常状態において、一番下のラインまで処理される。
【０１１１】
なお、ウェーブレット変換部１０３の各係数ラインの処理順、すなわち、ウェーブレット変換部１０３からの各係数ラインの出力順は、任意であり、上述した以外の順序であってもよい。ただし、上述したような手順で分析フィルタリングを行うことにより、ウェーブレット変換部１０３は、効率よく各係数ラインを生成することができ、低遅延に変換処理を行うことができる。
【０１１２】
［係数ライン並び替え］
図９および図１０を参照して説明したような順でウェーブレット変換部１０３から出力された各分割レベルの係数ラインは、係数ライン並び替え部１０４の係数ライン並び替えバッファ１１１に保持される。係数ラインが１ラインブロック分蓄積されると、係数ライン読み出し部１１２は、各係数ラインを、図１１に示されるように、ウェーブレット逆変換処理の順序で読み出すことにより、係数ラインの並び替えを行う。
【０１１３】
図１１において、各係数ラインは、その処理順に並べられている。図中上から下に向かう向きに時系列が示されている。つまり、図１１に示される各係数ラインは、図中上から順に処理される。
【０１１４】
つまり、図１１の左側に示されるような順序（ウェーブレット変換出力順）でウェーブレット変換部１０３から出力された各係数ラインは、係数ライン並び替え部１０４により、図１１の右側に示されるようなウェーブレット逆変換処理の順に並び替えられる。
【０１１５】
より具体的には、係数ライン読み出し部１１２は、分割レベル４のラインＰの係数ラインを読み出し、分割レベル３のラインＮの係数ラインを読み出し、分割レベル２のラインＭの係数ラインを読み出し、分割レベル１のラインＬおよびライン（Ｌ＋１）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部１０５に供給する。
【０１１６】
また、係数ライン読み出し部１１２は、次に、分割レベル２のライン（Ｍ＋１）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋２）およびライン（Ｌ＋３）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部１０５に供給する。
【０１１７】
さらに、係数ライン読み出し部１１２は、分割レベル３のライン（Ｎ＋１）の係数ラインを読み出し、分割レベル２のライン（Ｍ＋２）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋４）およびライン（Ｌ＋５）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部１０５に供給する。
【０１１８】
また、係数ライン読み出し部１１２は、次に、分割レベル２のライン（Ｍ＋３）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋６）およびライン（Ｌ＋７）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部１０５に供給する。
【０１１９】
量子化部１０５は、各係数ラインを、供給された順に処理し、エントロピ符号化部１０６に供給するので、エントロピ符号化部１０６も、この図１１の左に示される順に、各係数ラインを処理することになる。
【０１２０】
レート制御部１０８は、係数値が小さければ量子化ステップサイズを小さくするように設定して符号量発生を促進し、係数値が大きければステップサイズを大きくするように設定して符号量の発生を抑制するなどの制御を行う。
【０１２１】
なお、係数ラインの並び替えは、画像符号化装置１００の中で行われればよく、例えば、量子化処理の後に行うようにしてもよい。
【０１２２】
［符号量の付加］
上述したように、付加部１０７は、各符号ラインに対して、その符号ラインの符号量を、ヘッダ情報として付加する。図１２にその様子の例を示す。
【０１２３】
図１２の例において、付加部１０７は、各分割レベルの符号ライン（符号語）に対して、その符号量をヘッダ情報（Code_info）として付加している。例えば、分割レベル１の符号ライン（ラインＬ）の符号量が１００バイトの場合、その符号ライン（ラインＬ）の例えば先頭に、「１００バイト」を示す情報が、ヘッダ情報（Code_info（Ｌ））として付加される。
【０１２４】
上述したように、画像符号化装置１００の各部は、係数データを係数ライン毎に取り扱う。すなわち、各部は、係数ラインの境界を把握することができる。しかしながら、画像符号化装置１００により生成された符号化データを復号する画像復号装置には、各符号ラインが連続して供給されるので、その符号ラインの境界を把握することができない。
【０１２５】
そこで、付加部１０７が各符号ラインの符号量を符号化データに付加することにより、画像復号装置は、その符号量に基づいて、符号化データ（ストリーム）を符号ライン毎に分割し、処理することができるようになる。
【０１２６】
［処理の流れ］
以上のような画像符号化装置１００の各部により実行される符号化処理の流れの例を、図１３のフローチャートを参照して説明する。なお、この符号化処理は、入力画像のピクチャ毎に実行される。
【０１２７】
符号化処理が開始されると、ステップＳ１０１において、画像ライン入力部１０１が、ライン毎に入力される画像データを受け付けながら（ラインバッファ部１０２に保持させながら）、ウェーブレット変換部１０３が、ラインバッファ部１０２に保持されている係数ラインを用いて、ウェーブレット変換を１ラインブロック分行う。
【０１２８】
ステップＳ１０２において、ウェーブレット変換部１０３は、１ラインブロック分の処理を行ったか否かを判定する。１ラインブロック分の処理を行っていないと判定された場合、ステップＳ１０１に戻り、ウェーブレット変換処理を継続する。
【０１２９】
１ラインブロック分ウェーブレット変換処理を行ったと判定された場合、ステップＳ１０３に進む。
【０１３０】
ステップＳ１０３において、係数ライン並び替え部１０４は、ウェーブレット変換された係数データを、ウェーブレット逆変換処理順に並び替える。ステップＳ１０４において、量子化部１０５は、その係数データを、レート制御部１０８に指定される量子化ステップサイズで量子化する。
【０１３１】
ステップＳ１０５において、エントロピ符号化部１０６は、係数データをエントロピ符号化する。ステップＳ１０６において、付加部１０７は、各符号ラインにその符号量をヘッダ情報として付加する。ステップＳ１０７において、付加部１０７は、ウェーブレット逆変換処理順に並び替えられた符号化データを出力する。
【０１３２】
ステップＳ１０８において、レート制御部１０８は、エントロピ符号化部１０６におけるエントロピ符号化の情報に基づいて、レート制御を行う。
【０１３３】
ステップＳ１０９において、ウェーブレット変換部１０３は、処理対象ピクチャの最終ラインブロック（例えば最下段のラインブロック）まで処理したか否かを判定する。処理していないと判定された場合、ステップＳ１０１に戻り、次のラインブロックに対して、それ以降の処理が繰り返される。また、ステップＳ１１０において、最終ラインブロックまで、処理が終了したと判定された場合、その処理対象ピクチャに対する符号化処理が終了される。
【０１３４】
［画像復号装置のデバイスの構成］
次に、上述した画像符号化装置１００に対応する画像復号装置について説明する。図１４は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成例を示すブロック図である。
【０１３５】
画像復号装置２００は、画像符号化装置１００より出力される符号化データを復号し、復号画像を生成する。
【０１３６】
画像復号装置２００は、符号語解読部２０１、サブバンド・ライン選択部２０２、エントロピ復号部２０３、逆量子化部２０４、ウェーブレット逆変換部２０５、およびバッファ部２０６を有する。
【０１３７】
符号語解読部２０１は、入力された符号化データ（符号語）（矢印Ｄ５１）を解読して、データや符号化処理に関する関連情報を抽出する。この関連情報にどのような情報が含まれていてもよいが、例えば、画像の解像度（水平・垂直サイズ）、量子化ステップサイズ、ウェーブレット変換の分解数、および係数ライン（符号ライン）の並び順に関する情報等が含まれる。
【０１３８】
係数ライン（符号ライン）の並び順に関する情報としては、各分割レベルの符号ラインの並び順を示す情報、若しくは、その並び順を求めるのに必要な情報であればどのようなものであってもよい。例えば、図１２に示されるような、各分割レベルの符号ラインの符号量を含むヘッダ情報や、後述するマーカの検出結果等であってもよい。
【０１３９】
符号語解読部２０１は、入力された符号化データ（コードストリーム）をサブバンド・ライン選択部２０２に供給する（矢印Ｄ５２）。また、符号語解読部２０１は、コードストリームにおいて各分割レベルの符号ラインを区別するために必要な情報をサブバンド・ライン選択部２０２に供給する（点線矢印Ｄ６２）。例えば、符号語解読部２０１は、各分割レベルの符号ラインの符号量や、マーカの検出結果等をサブバンド・ライン選択部２０２に供給する。
【０１４０】
また、符号語解読部２０１は、量子化ステップサイズを示す情報を逆量子化部２０４に供給する（点線矢印Ｄ６１）。
【０１４１】
符号語解読部２０１は、さらに、例えば画像の解像度やウェーブレット変換の分解数等の、ウェーブレット逆変換処理に必要な情報をウェーブレット逆変換部２０５に供給する（点線矢印Ｄ６０）。
【０１４２】
サブバンド・ライン選択部２０２は、符号語解読部２０１から供給される各分割レベルの符号ラインを区別するために必要な情報に基づいて、符号語解読部２０１から供給されるコードストリームから、復号する各分割レベルの符号ラインを選択する。
【０１４３】
画像復号装置２００は、画像符号化装置１００から供給される符号化データを復号して復号画像を生成する。この画像符号化装置１００より供給される符号化データは、ウェーブレット変換により複数の周波数帯域に分割された係数データをエントロピ符号化したものである。この係数データのサブバンドは、図２を参照して説明したように階層化されており、その時点で最低域成分となるサブバンド（図２の例の場合、４ＬＬ）には、画像のエネルギーのほとんどが集中しており、元の画像と略同等とみなすことができる（画像データとして成立する）。ただし、上位階層（低域成分）になる程、その解像度は小さくなる。
【０１４４】
つまり、画像復号装置２００は、このようなサブバンド毎に分割された係数データを、最上位の階層（最低域成分）から所望の階層までウェーブレット逆変換することにより、元の画像以下の解像度で復号画像を生成することができる。換言すれば、画像復号装置２００は、ウェーブレット逆変換（合成フィルタリング）を行う階層を選択することにより、復元画像の解像度を選択することができる。すなわち、画像復号装置２００は、符号化データをスケーラブルにデコードすることができる。
【０１４５】
このように、解像度の小さい復号画像を得るために、符号化データの一部のサブバンドのみを復号することを部分デコードと称する。なお、全てのサブバンドをデコード（フルデコード）した場合の復号画像の解像度は、元の画像の解像度と同一になる。
【０１４６】
このような部分デコードを行う場合、合成フィルタリングされない高域成分のサブバンドは、不要であり、エントロピ復号する必要がない。したがって、サブバンド・ライン選択部２０２は、合成フィルタリングを行うサブバンドの係数データ（に対応する符号化データ）のみを選択し、不要なサブバンドの係数データ（に対応する符号化データ）を破棄する。サブバンド・ライン選択部２０２は、このような選択を、符号語解読部２０１から供給される情報に基づいて行う。
【０１４７】
サブバンド・ライン選択部２０２は、選択部２１１および保持部２１２を有する。符号語解読部２０１から出力された符号化データ（コードストリーム）は、選択部２１１に供給される。また、符号語解読部２０１から供給されるコードストリームにおいて各分割レベルの符号ラインを区別するために必要な情報も、選択部２１１に供給される。
【０１４８】
選択部２１１は、符号語解読部２０１から供給されるコードストリームにおいて各分割レベルの符号ラインを区別するために必要な情報に基づいて、符号語解読部２０１から供給されるコードストリームにおいて、各分割レベルの符号ラインを識別し、その分割レベルの符号ラインの取捨選択を行う。
【０１４９】
復号画像の解像度は、予め設定されている。つまり、必要なデータと不要なデータは、予め定められている。したがって、選択部２１１は、その設定に従って、供給される符号ラインの一部または全部を選択することになる。
【０１５０】
もちろん、例えばユーザ等が復号画像の解像度を適宜選択し、選択部２１１は、そのような解像度指定指示に従って、符号化する必要な符号ラインを特定し、供給される符号ラインの中からその特定した符号ラインを検索し、選択するようにしてもよい。
【０１５１】
いずれにしても、この選択部２１１の選択により、必要な符号ラインが抽出されるのみであり、符号ラインの並びは変化しない。したがって、サブバンド・ライン選択部２０２は、ウェーブレット逆変換順に供給された各符号ラインを、そのウェーブレット逆変換順のまま、エントロピ復号部２０３に供給することができる。
【０１５２】
選択部２１１は、選択した符号ラインを保持部２１２に供給し、保持させる（矢印Ｄ５３）。
【０１５３】
保持部２１２は、選択部２１１から供給される符号ラインを保持し、所定のタイミングにおいて、その符号ラインをエントロピ復号部２０３に供給する（矢印Ｄ５４）。なお、この保持部２１２を省略し、選択部２１１の出力がエントロピ復号部２０３に供給されるようにしてもよい。ただし、符号ラインの並び方によっては、選択部２１１により符号ラインが選択されるタイミングに偏りが生じる場合が考えられる。この保持部２１２を用いて選択された符号ラインをバッファリングすることにより、その偏りを低減させることができ、エントロピ復号部２０３の処理効率を向上させることができる。
【０１５４】
エントロピ復号部２０３は、各分割レベルの符号ラインを、エントロピ符号化部１０６（図１）のエントロピ符号化に対応する方法で、エントロピ復号し、係数データ（量子化係数）を生成する。エントロピ復号部２０３は、その分割レベルの係数ライン（量子化係数）を逆量子化部２０４に供給する（矢印Ｄ５５）。
【０１５５】
逆量子化部２０４は、エントロピ復号部２０３から供給される、各分割レベルの係数ライン（量子化係数）を、符号語解読部２０１から供給される情報に基づいて決定される量子化ステップサイズにより逆量子化する。逆量子化部２０４は、逆量子化した各分割レベルの係数ライン（ウェーブレット変換係数）をウェーブレット逆変換部２０５に供給する（矢印Ｄ５６）。
【０１５６】
ウェーブレット逆変換部２０５は、符号語解読部２０１から供給される情報に基づいて、ウェーブレット変換部１０３（図１）において行われたウェーブレット変換の逆処理を行い、復号画像を生成する。ウェーブレット逆変換の詳細については後述する。
【０１５７】
ウェーブレット逆変換部２０５は、係数データの低域成分と高域成分を合成する合成フィルタリングを繰り返すことにより、ウェーブレット逆変換を行う。このとき、ウェーブレット逆変換部２０５は、合成フィルタリングを行って生成された１つ下位の階層の係数データを、バッファ部２０６に供給して保持させ（矢印Ｄ５７）、次の合成フィルタリングに利用する。つまり、ウェーブレット逆変換部２０５は、逆量子化部２０４から供給される係数データ（矢印Ｄ５６）の他に、必要に応じて、バッファ部２０６から読みだされた係数データ（矢印Ｄ５８）も用いて合成フィルタリングを行う。
【０１５８】
以上のように合成フィルタリングを繰り返し行い、復号画像を復元すると、ウェーブレット逆変換部２０５は、その画像データを画像復号装置２００の外部に出力する（矢印Ｄ５９）。
【０１５９】
このように、画像復号装置２００は、符号化データをスケーラブルにデコードすることができる。このとき、画像復号装置２００は、ピクチャよりも小さい単位のラインブロックを単位としてデコードを行う。したがって、画像復号装置２００は、符号化データを、低遅延に、かつ、スケーラブルにデコードすることができる。
【０１６０】
特に、このラインブロックは、最上位のサブバンドの係数ラインを少なくとも1ライン生成するのに必要なライン数の画像データであり、ウェーブレット変換可能な最小のデータ単位とすることもできる。したがって、画像復号装置２００は、符号化データを、より低遅延に、かつ、スケーラブルにデコードすることができる。
【０１６１】
［部分デコード］
次に、部分デコードについて説明する。図１５は、部分デコードの例を説明する図である。図１５において、画像データは、ウェーブレット変換され、分割レベル４まで分割されている。
【０１６２】
例えば、復号画像の解像度を元の画像の解像度の４分の１とする場合、サブバンド１ＬＬを復号画像とすればよい。したがって、点線枠で示されるように、分割レベル４乃至分割レベル２の係数データを合成フィルタリングすればよい。つまり、サブバンド１ＬＨ、１ＨＬ、および１ＨＨの係数データは不要であるので、サブバンド・ライン選択部２０２は、これらの係数データに対応する符号ラインを選択しない。
【０１６３】
このように、符号ラインが必要か否かは、生成する復号画像の解像度によって決まる。換言すれば、選択する符号ラインは、最下位階層からどの階層までをウェーブレット逆変換するかによって決まる。
【０１６４】
［スケーラブルデコードの例］
例えば、画像復号装置２００が元の画像の１／１６×１／１６の解像度でデコードする場合、サブバンド・ライン選択部２０２は、図１６Ａに示されるケース１のように、分割レベル４（最下位階層）の最低域成分（サブバンド４ＬＬ）の係数ラインのみを選択する。
【０１６５】
ウェーブレット変換やウェーブレット逆変換は、ラインブロック毎に行われるので、サブバンド・ライン選択部２０２の選択もラインブロック毎となる。したがって、ケース１の場合、図１６Ａに示されるように、サブバンド４ＬＬの係数ライン（符号ライン）が１ライン（ラインＰ）選択される。
【０１６６】
また、例えば、画像復号装置２００が元の画像の１／８×１／８の解像度でデコードする場合、サブバンド・ライン選択部２０２は、図１６Ｂに示されるケース２のように、分割レベル４（最下位階層）の各サブバンド（４ＨＨ，４ＨＬ，４ＬＨ、および４ＬＬ）の係数ライン（ラインＰ）のみを選択する。
【０１６７】
さらに、例えば、画像復号装置２００が元の画像の１／４×１／４の解像度でデコードする場合、サブバンド・ライン選択部２０２は、図１６Ｃに示されるケース３のように、分割レベル４（最下位階層）の各サブバンド（４ＨＨ，４ＨＬ，４ＬＨ、および４ＬＬ）の係数ライン（ラインＰ）と、分割レベル３の各サブバンド（３ＨＨ，３ＨＬ、および３ＬＨ）の係数ライン（ラインＮおよびライン（Ｎ＋１））とを選択する。
【０１６８】
また、例えば、画像復号装置２００が元の画像の１／２×１／２の解像度でデコードする場合、サブバンド・ライン選択部２０２は、図１６Ｄに示されるケース４のように、分割レベル４（最下位階層）の各サブバンド（４ＨＨ，４ＨＬ，４ＬＨ、および４ＬＬ）の係数ライン（ラインＰ）と、分割レベル３の各サブバンド（３ＨＨ，３ＨＬ、および３ＬＨ）の係数ライン（ラインＮおよびライン（Ｎ＋１））と、分割レベル２の各サブバンド（２ＨＨ，２ＨＬ、および２ＬＨ）の係数ライン（ラインＭ乃至ライン（Ｍ＋３））とを選択する。
【０１６９】
さらに、例えば、画像復号装置２００が元の画像と同じ解像度でデコードする場合、サブバンド・ライン選択部２０２は、図１６Ｅに示されるケース５のように、全てのサブバンドの係数ライン（分割レベル４の各サブバンド（４ＨＨ，４ＨＬ，４ＬＨ、および４ＬＬ）の係数ライン（ラインＰ）と、分割レベル３の各サブバンド（３ＨＨ，３ＨＬ、および３ＬＨ）の係数ライン（ラインＮおよびライン（Ｎ＋１））と、分割レベル２の各サブバンド（２ＨＨ，２ＨＬ、および２ＬＨ）の係数ライン（ラインＭ乃至ライン（Ｍ＋３）と、分割レベル１の各サブバンド（１ＨＨ，１ＨＬ、および１ＬＨ）の係数ライン（ラインＬ乃至ライン（Ｌ＋７）と）を選択する。
【０１７０】
したがって、エントロピ復号部２０３以降の処理部は、この選択された符号ラインのみを処理すればよく、画像復号装置２００は、不要な処理による不要な負荷の増大を抑制することができる。
【０１７１】
なお、図１６においては、定常状態のラインブロック（図１０）について説明したが、初期状態のラインブロックについても基本的に同様に処理することができる。初期状態と定常状態の係数ラインの並びの違いは、図９および図１０に示されるとおりである。したがって、初期状態のラインブロックの場合については、上述した説明に、図９および図１０に示される違いを反映させるだけでよいので、その説明は省略する。
【０１７２】
［リフティング演算］
ウェーブレット逆変換部２０５は、ウェーブレット変換部１０３によるウェーブレット変換処理に対応する方法でウェーブレット逆変換を行う。例えば、上述したように、ウェーブレット変換部１０３が５×３フィルタを用いて分析フィルタリングを行った場合、ウェーブレット逆変換部２０５も、５×３フィルタを用いて合成フィルタリングを行う。
【０１７３】
合成フィルタリングの場合も、逆処理になるだけで、基本的に分析フィルタリングの場合と同様に処理が行われる。つまり、合成フィルタリングの場合も、図３に示されるような、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。
【０１７４】
図１７は、５×３合成フィルタを用いて、縦方向のラインに対してフィルタリングを行った場合の図である。横方向は、演算過程とそれによって生成される下位の係数を図示したものである。分析フィルタリングの場合と同様に、水平方向の処理も垂直方向の処理と同様に行われる。最初に垂直方向の合成フィルタリングが行われ、次に水平方向の合成フィルタリングが行われる。
【０１７５】
画像の上端においては、枠２５１に示されるように、高域係数（Ｈ０）、低域係数（Ｌ１）、および高域係数（Ｈ１）が入力された時点で、リフティング演算が行われる。このとき、矢印２５２に示されるように、係数ａが対称拡張される。このようにして、１つ下位の階層のLine-0とLine-1が生成される。
【０１７６】
次に、２係数ライン（低域成分Ｌ２と高域成分Ｈ２）が入力されると、枠２５３に示されるように、１つ下位の階層のLine-2とLine-3が生成される。
【０１７７】
その後、２係数ラインが入力される毎に、枠２５４に示されるように、上記のリフティング演算が後続のラインに対しても同様に繰り返され、下位の係数ラインが２ライン出力される。そして、枠２５５に示されるように、入力された低域係数（Ｌ（Ｎ））および高域係数（Ｈ（Ｎ））に対してLine-2(N)-2とLine-2(N)-1が生成されると、高域係数（Ｈ（Ｎ））が矢印２５６のように対称拡張され、枠２５７のように演算が行われ、Line-2(N+1)-2とLine-2(N+1)-1が生成される。
【０１７８】
［ラインブロック単位の合成フィルタリング］
以上の合成フィルタリング（リフティング）は、各階層について再帰的に行われる。したがって、階層が１つ下位になる毎にライン数は２倍になる。
【０１７９】
例えば、図１８に示されるように、分割レベル２の係数ラインがＮ／４であるとする。この分割レベル２のサブバンド２ＬＬ，２ＬＨ，２ＨＬ、および２ＨＨに対して合成フィルタリングを行うと、分割レベル１のサブバンド１ＬＬがＮ／２ライン生成される。
【０１８０】
［係数ラインの処理順］
以上のようなウェーブレット逆変換部２０５による合成フィルタリングの処理手順の例について、より具体的に説明する。
【０１８１】
図１９は、定常状態において、ウェーブレット逆変換部２０５により処理されるデータを時系列順に示す図である。図１９においては、ウェーブレット逆変換部２０５により処理されるデータが、図中、上から下に向かう方向に時系列順に並べられている。
【０１８２】
図１６Ａに示されるケース１の場合、ウェーブレット逆変換部２０５は、供給されたサブバンド４ＬＬの係数ライン（ラインＰ）をそのまま出力する。
【０１８３】
また、図１６Ｂに示されるケース２の場合、ウェーブレット逆変換部２０５は、供給される分割レベル４の各サブバンド（サブバンド４ＨＨ，４ＨＬ，４ＬＨ、および４ＬＬ）の１係数ライン（ラインＰ）を、合成フィルタリングし、分割レベル３のサブバンド３ＬＬを２係数ライン（ラインＮおよびライン（Ｎ＋１））を生成し、出力する。
【０１８４】
また、図１６Ｃに示されるケース３の場合、ウェーブレット逆変換部２０５は、ケース２の場合と同様にして生成された分割レベル３のサブバンド３ＬＬの２係数ライン（ラインＮおよびライン（Ｎ＋１））のうち、ライン（Ｎ＋１）の係数ラインを、バッファ部２０６に供給し、保持させる。
【０１８５】
次に、ウェーブレット逆変換部２０５は、分割レベル３のサブバンド３ＬＬ（ラインＮ）と他の各サブバンド（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）の１係数ライン（ラインＮ）を合成フィルタリングし、分割レベル２のサブバンド２ＬＬを２係数ライン（ラインＭおよびライン（Ｍ＋１））を生成し、出力する。
【０１８６】
次に、ウェーブレット逆変換部２０５は、分割レベル３のサブバンド３ＬＬ（ライン（Ｎ＋１））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）の１係数ライン（ライン（Ｎ＋１））と合成フィルタリングし、分割レベル２のサブバンド２ＬＬを２係数ライン（ライン（Ｍ＋２）およびライン（Ｍ＋３））を生成し、出力する。
【０１８７】
また、図１６Ｄに示されるケース４の場合、ウェーブレット逆変換部２０５は、ケース３の場合と同様にして生成された分割レベル２のサブバンド２ＬＬの２係数ライン（ラインＭおよびライン（Ｍ＋１））のうち、ライン（Ｍ＋１）の係数ラインを、バッファ部２０６に供給し、保持させる。
【０１８８】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ラインＭ）と他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ラインＭ）を合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ラインＬおよびライン（Ｌ＋１））を生成し、出力する。
【０１８９】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋１））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋１））と合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋２）およびライン（Ｌ＋３））を生成し、出力する。
【０１９０】
次に、ウェーブレット逆変換部２０５は、分割レベル３のサブバンド３ＬＬ（ライン（Ｎ＋１））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）の１係数ライン（ライン（Ｎ＋１））と合成フィルタリングし、分割レベル２のサブバンド２ＬＬを２係数ライン（ライン（Ｍ＋２）およびライン（Ｍ＋３））を生成する。このうちライン（Ｍ＋３）の係数ラインは、バッファ部２０６に供給され、保持される。
【０１９１】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋２））と他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋２））を合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋４）およびライン（Ｌ＋５））を生成し、出力する。
【０１９２】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋３））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋３））と合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋６）およびライン（Ｌ＋７））を生成し、出力する。
【０１９３】
また、図１６Ｅに示されるケース５の場合、ウェーブレット逆変換部２０５は、ケース４の場合と同様にして生成された分割レベル１のサブバンド１ＬＬの２係数ライン（ラインＬおよびライン（Ｌ＋１））のうち、ライン（Ｌ＋１）の係数ラインを、バッファ部２０６に供給し、保持させる。
【０１９４】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ラインＬ）と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ラインＬ）を合成フィルタリングし、ベースバンドの画像データを２ライン（ラインＫおよびライン（Ｋ＋１））を生成し、出力する。
【０１９５】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋１））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋１））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋２）およびライン（Ｋ＋３））を生成し、出力すする。
【０１９６】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋１））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋１））と合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋２）およびライン（Ｌ＋３））を生成する。このうちライン（Ｌ＋３）の係数ラインは、バッファ部２０６に供給され、保持される。
【０１９７】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋２））と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋２））を合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋４）およびライン（Ｋ＋５））を生成し、出力する。
【０１９８】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋３））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋３））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋６）およびライン（Ｋ＋７））を生成し、出力する。
【０１９９】
次に、ウェーブレット逆変換部２０５は、分割レベル３のサブバンド３ＬＬ（ライン（Ｎ＋１））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）の１係数ライン（ライン（Ｎ＋１））と合成フィルタリングし、分割レベル２のサブバンド２ＬＬを２係数ライン（ライン（Ｍ＋２）およびライン（Ｍ＋３））を生成する。このうちライン（Ｍ＋３）の係数ラインは、バッファ部２０６に供給され、保持される。
【０２００】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋２））と他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋２））を合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋４）およびライン（Ｌ＋５））を生成する。このうちライン（Ｌ＋５）の係数ラインは、バッファ部２０６に供給され、保持される。
【０２０１】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋４））と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋４））を合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋８）およびライン（Ｋ＋９））を生成し、出力する。
【０２０２】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋５））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋５））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋１０）およびライン（Ｋ＋１１））を生成し、出力する。
【０２０３】
次に、ウェーブレット逆変換部２０５は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋３））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋３））と合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋６）およびライン（Ｌ＋７））を生成する。このうちライン（Ｌ＋７）の係数ラインは、バッファ部２０６に供給され、保持される。
【０２０４】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋６））と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋６））を合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋１２）およびライン（Ｋ＋１３））を生成し、出力する。
【０２０５】
次に、ウェーブレット逆変換部２０５は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋７））をバッファ部２０６から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋７））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋１４）およびライン（Ｋ＋１５））を生成し、出力する。
【０２０６】
以上のように、ウェーブレット逆変換部２０５は、生成する復号画像の解像度に応じて、必要な係数データのみを合成フィルタ処理するので、不要な負荷の増大を抑制することができる。また、このような合成フィルタリングの順序は任意であるが、より低遅延に行うためには、実行可能な中で、より下位の階層に対する合成フィルタリングが優先的に実行されるようにするのが望ましい。
【０２０７】
なお、以上においては定常状態のラインブロックについて説明したが、初期状態と定常状態の係数ラインの並びの違いは、図９および図１０に示されるとおりであり、初期状態のラインブロックの場合も、基本的に同様に処理することができる。したがって、その説明は省略する。
【０２０８】
［スケーラブル変換］
以上のようにして、画像符号化装置１００および画像復号装置２００により画像データ（および符号化データ）は、ラインブロック単位でウェーブレット変換・ウェーブレット逆変換処理（符号化・復号処理）される。
【０２０９】
ピクチャ全体でみると、例えば、図２０Ａに示されるように、ベースバンドの画像データ２８１は、画像符号化装置１００のエンコード（ウェーブレット変換）により、図２０Ｂに示されるように、１３個のサブバンドに分割された係数データ２８２（符号化データ）に変換される。
【０２１０】
また、その係数データ２８２は、画像復号装置２００のデコード（ウェーブレット逆変換）により、復号画像に変換される。画像復号装置２００は、上述したようにスケーラブルにデコードを行うことができるので、図２０Ｃに示されるように、復号画像２８３乃至復号画像２８７のいずれかの解像度（画像サイズ）で復号画像を生成することができる。
【０２１１】
画像復号装置２００は、例えば、画像復号装置２００のハードウェアの性能、復号画像を処理する画像処理装置の性能、若しくは、復号画像を表示する表示画面のサイズ等に応じた適切な解像度（画像サイズ）を選択することができる。上述したように、この解像度の大きさは、予め定められていてもよいし、ユーザ指定や、接続される装置のハードウェアスペック等に応じて、画像復号装置２００が適宜選択するようにしてもよい。
【０２１２】
［処理の流れ］
以上のような画像復号装置２００の各部により実行される復号処理の流れの例を、図２１のフローチャートを参照して説明する。なお、この復号処理は、１ピクチャ分の画像に対応する符号化データ毎に実行される。
【０２１３】
復号処理が開始されると、ステップＳ２０１において、符号語解読部２０１は、１ラインブロック分の符号化データの入力を受け付ける。ステップＳ２０２において、符号語解読部２０１は、入力された符号化データの符号語を解読し、関連情報を抽出する。符号語解読部２０１は、抽出した関連情報に基づいて、必要な情報を各処理部に提供する。
【０２１４】
ステップＳ２０３において、サブバンド・ライン選択部２０２の選択部２１１は、符号語解読部２０１から提供される情報（例えば符号量）に基づいて、符号化データから処理対象ラインを抽出する。
【０２１５】
ステップＳ２０４において、選択部２１１は、抽出した処理対象ラインが、選択対象のラインであるか否かを判定する。すなわち、選択部２１１は、処理対象ラインが、スケーラブルデコードに必要な、復号すべき符号ラインであるか否かを判定する。処理対象ラインが選択対象ラインであると判定された場合、ステップＳ２０５に進む。
【０２１６】
ステップＳ２０５において、保持部２１２は、選択対象ラインである処理対象ラインを保持する。処理対象ラインが保持されると、ステップＳ２０６に進む。また、ステップＳ２０４において、処理対象ラインが復号すべき符号ラインでなく、スケーラブルデコードに不要であると判定された場合、ステップＳ２０５の処理を省略し、処理対象ラインを保持せずに、ステップＳ２０６に進む。
【０２１７】
ステップＳ２０６において、符号語解読部２０１は、１ラインブロック分処理したか否かを判定する。処理対象のラインブロック内に未処理の係数ラインが存在すると判定された場合、ステップＳ２０３に戻り、それ以降の処理が繰り返される。また、ステップＳ２０６において、１ラインブロック分処理したと判定された場合、ステップＳ２０７に進む。
【０２１８】
ステップＳ２０７において、エントロピ復号部２０３は、１ラインブロック分の符号ラインから選択対象ラインとして選択されて保持された処理対象ラインを読み出し、エントロピ復号する。ステップＳ２０８において、逆量子化部２０４は、そのエントロピ復号されて得られた係数データを逆量子化する。
【０２１９】
ステップＳ２０９において、ウェーブレット逆変換部２０５は、逆量子化された係数データをウェーブレット逆変換する。以上の処理により１ラインブロック分の符号ラインがスケーラブルにデコード（フルデコード若しくは部分デコード）される。
【０２２０】
ステップＳ２１０において、ウェーブレット逆変換部２０５は、処理対象ピクチャの最終ラインブロック（例えば最下段のラインブロック）まで処理したか否かを判定する。処理していないと判定された場合、ステップＳ２０１に戻り、次のラインブロックに対して、それ以降の処理が繰り返される。また、ステップＳ２１０において、最終ラインブロックまで、処理が終了したと判定された場合、その処理対象ピクチャに対する復号処理が終了される。
【０２２１】
以上のように、復号処理を実行することにより、画像復号装置２００は、画像が符号化された符号化データを低遅延かつスケーラブルに復号することができる。
【０２２２】
［符号ライン区切りのその他の例］
なお、図１２においては、画像復号装置２００がコードストリームにおいて各分割レベルの符号ラインの区切りを識別することができるように、画像符号化装置１００において、各分割レベルの符号ラインにその符号量を含むヘッダ情報が付加されるように説明した。しかしながら、この区切りを示す方法としては、これ以外にも、例えば、図２２に示されるように専用のマーカを付加するようにしてもよい。
【０２２３】
例えば、画像符号化装置１００は、付加部１０７において、コードストリームの各分割レベルの符号ラインの境界に、この専用のマーカを付加する。画像復号装置２００は、このマーカを検出することにより、各分割レベルの符号ラインの境界を特定することができる。ただし、この場合、画像復号装置２００は、このマーカに基づいて、各分割レベルの符号ラインを区別することはできるが、その符号ラインの符号量を判別することはできない。つまり、マーカからすぐに各分割レベルの符号ラインの並び順を特定することはできない。したがって、画像復号装置は、何らかの別の手段により、その並び順を把握する必要がある。
【０２２４】
＜２．第２の実施の形態＞
［デバイスの構成］
なお、以上においては、画像符号化装置１００が、ウェーブレット変換により生成された係数ラインをウェーブレット逆変換順に並び替えるように説明したが、係数ライン（符号ライン）は、どのような順で伝送されるようにしてもよい。
【０２２５】
画像復号装置２００が取得した係数ライン（符号ライン）の並び順が、第１の実施の形態において説明したようなウェーブレット逆変換される順でない場合、その順のままウェーブレット逆変換させると、バッファにおけるデータ管理が煩雑になり、負荷が増大する恐れがある。さらに、その係数データの並び順が常に同一でなく、伝送元となる画像符号化装置の仕様によって、その係数データの並び順が異なる場合、ウェーブレット変換時のデータ管理はさらに煩雑になる恐れがある。
【０２２６】
そこで、画像復号装置がウェーブレット逆変換する前に、係数データをウェーブレット逆変換される順に並び替えるのが望ましい。
【０２２７】
図２３は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成例を示すブロック図である。
【０２２８】
図２３において、画像復号装置３００は、図１４の画像復号装置２００と同様に、画像符号化装置１００によって画像が符号化されて生成された符号化データを復号し、復号画像を生成する装置である。
【０２２９】
画像復号装置３００は、画像復号装置２００と基本的に同様の構成を有する。ただし、画像復号装置３００は、画像復号装置２００の構成に加えて、エントロピ復号部２０３と逆量子化部２０４との間に、係数ライン並び替え部３０２を有する。また、符号語解読部２０１の代わりに符号語解読部３０１を有する。
【０２３０】
エントロピ復号部２０３は、その分割レベルの係数ライン（量子化係数）を係数ライン並び替え部３０２に供給する（矢印Ｄ１０５）。
【０２３１】
係数ライン並び替え部３０２は、符号語解読部２０１から供給される各分割レベルの符号ラインを区別するために必要な情報に基づいて、係数データ（係数ライン）の順序（伝送時の順序）を、ウェーブレット逆変換処理の順序に並び替える。
【０２３２】
図２３に示されるように、係数ライン並び替え部３０２は、係数ライン並び替えバッファ３１１および係数ライン読み出し部３１２を有する。係数ライン並び替えバッファ３１１は、エントロピ復号部２０３から供給される各分割レベルの係数ラインを保持する。係数ライン読み出し部３１２は、係数ライン並び替えバッファ３１１に保持された各分割レベルの係数ラインを、ウェーブレット逆変換処理用の順序で読み出す（矢印Ｄ１０６）ことにより、並び替えを行う。
【０２３３】
符号語解読部３０１は、符号語解読部２０１と同様に、入力された符号化データ（符号語）（矢印Ｄ１０１）を解読して、データや符号化処理に関する関連情報を抽出する。そして、符号語解読部３０１は、各分割レベルの係数ラインの並び替えに必要な情報を係数ライン読み出し部３１２に供給する（点線矢印Ｄ１２３）。係数ライン読み出し部３１２は、並び替え後の並び順となる、ウェーブレット逆変換部２０５によるウェーブレット逆変換処理順を予め把握している。係数ライン読み出し部３１２は、係数ライン並び替えのために、並び替え前の並び順となる、伝送時の符号ラインの並び順を把握する必要がある。そこで、符号語解読部３０１は、伝送時の符号ラインの並び順を示す情報、若しくは、その並び順を求めるのに必要な情報を係数ライン読み出し部３１２に提供する。
【０２３４】
例えば、符号語解読部３０１は、符号語を解読することにより、伝送時の符号ラインの並び順を特定し、その並び順を示す情報を係数ライン読み出し部３１２に提供するようにしてもよい。また、例えば、符号語解読部３０１は、コードストリームより抽出した、各分割レベルの符号ラインの符号量を示す情報を、係数ライン読み出し部３１２に順次提供するようにしてもよい。この場合、係数ライン読み出し部３１２は、符号語解読部３０１より供給される符号量の順に基づいて、係数ラインの並び順を把握する。
【０２３５】
なお、係数ライン並び替えバッファ３１１には、各分割レベルの係数ラインが区別可能な状態で記憶される。そこで係数ライン読み出し部３１２は、その係数ライン並び替えバッファ３１１に保持されている各分割レベルの係数ラインのデータ量を求め、そのデータ量の並び順から係数ラインの並び順を把握するようにしてもよい。この場合、符号語解読部３０１からの情報提供は省略することができる。
【０２３６】
係数ライン並び替え部３０２（係数ライン読み出し部３１２）は、順序を並び替えた係数データを逆量子化部２０４に供給する（矢印Ｄ１０７）。
【０２３７】
逆量子化部２０４は、係数データを供給された順に処理するので、ウェーブレット逆変換部２０５には、係数データが、係数ライン並び替え部３０２が並び替えた順で供給される（矢印Ｄ１０８）。
【０２３８】
つまり、ウェーブレット逆変換部２０５は、供給されるデータをその順に使用し、合成フィルタリングを行うことができるので、不要な待機時間等を必要とせずに低遅延にウェーブレット逆変換を行うことができる。また、係数データの管理が容易になるので、ウェーブレット逆変換部２０５は、ウェーブレット逆変換処理の負荷を低減させることができる。
【０２３９】
したがって、画像復号装置３００は、より多様な画像符号化装置に対して、符号化データを低遅延かつスケーラブルに復号することができる。
【０２４０】
［伝送順の例］
なお、符号ライン（係数ライン）の並び順（伝送順）は、任意である。どのような並び順であっても、係数ライン並び替え部３０２は、符号語解読部１０１からの情報に基づいて、その並び順を把握し、その並び順からウェーブレット逆変換処理の順への並び替えを行う。
【０２４１】
この伝送順の例を図２４および図２５に示す。図２４および図２５において、各係数ラインは、その伝送順に並べられている。図中上から下に向かう向きに時系列が示されている。つまり、図２４および図２５に示される各係数ラインは、図中上から順に伝送される。
【０２４２】
図２４Ａは、各分割レベルの係数ラインを低域成分から高域成分に向かう順に伝送する例を示している。図２４Ｂは、各分割レベルの係数ラインを高域成分から低域成分に向かう順に伝送する例を示している。図２５Ａは、各分割レベルの係数ラインをウェーブレット変換処理された順のまま伝送する例を示している。図２５Ｂは、各分割レベルの係数ラインをウェーブレット逆変換処理された順に伝送する例を示している。
【０２４３】
図２４Ａ、図２４Ｂ、および図２５Ａの場合、伝送順が、ウェーブレット逆変換処理の順と異なるので、係数ライン並び替え部３０２は、この伝送順を把握し、それをウェーブレット逆変換処理の順に並び替える。
【０２４４】
図２５Ｂの場合、係数ライン並び替え部３０２は、並び替えを省略し、そのままの順で係数データを逆量子化部２０４に供給する。つまり、係数ライン読み出し部３１２は、各分割レベルの係数ラインを、係数ライン並び替えバッファ３１１に保持された順に読み出し、逆量子化部２０４に供給する。
【０２４５】
なお、上述したように、選択部２１１の選択により符号ラインの並びは変化しない。したがって、上述したどの場合であっても、係数ライン並び替えバッファ３１１は、サブバンド・ライン選択部２０２により選択された分割レベルの係数ラインによらず（生成する復号画像の解像度によらず）、同様の方法で係数データの並び替えを行うことができる。
【０２４６】
［処理の流れ］
以上のような画像復号装置３００の各部により実行される復号処理の流れの例を、図２６のフローチャートを参照して説明する。なお、この復号処理は、１ピクチャ分の画像に対応する符号化データ毎に実行される。
【０２４７】
この画像復号装置３００の場合も、画像復号処理は、基本的に、図２１のフローチャートを参照して説明した画像復号装置２００の場合と同様に実行される。
【０２４８】
すなわち、画像復号装置３００の各部は、ステップＳ３０１乃至ステップＳ３０７の各処理を、図２１のステップＳ２０１乃至ステップＳ２０７の各処理と同様に実行する。
【０２４９】
ステップＳ３０８において、係数ライン並び替え部３０２は、係数データをウェーブレット逆変換の順に並び替える。
【０２５０】
画像復号装置３００の各部は、ステップＳ３０９乃至ステップＳ３１１の各処理を、図２１のステップＳ２０８乃至ステップＳ２１０の各処理と同様に実行する。
【０２５１】
以上のように、復号処理を実行することにより、画像復号装置３００は、画像が符号化された符号化データを低遅延かつスケーラブルに復号することができる。
【０２５２】
なお、画像復号装置３００において、係数ライン並び替え部３０２の位置は、ウェーブレット逆変換部２０５より前の位置であればよい。例えば、サブバンド・ライン選択部２０２とエントロピ復号部２０３との間に係数ライン並び替え部３０２を設けるようにしてもよいし、逆量子化部２０４とウェーブレット逆変換部２０５との間に係数ライン並び替え部３０２を設けるようにしてもよい。
【０２５３】
＜３．第３の実施の形態＞
［システムの構成］
第１の実施の形態で説明した画像符号化装置１００と、画像復号装置２００（若しくは、第２の実施の形態で説明した画像復号装置３００）との適用例について説明する。図２７は、入力画像を符号化して伝送し、その符号化データを伝送先で復号し、得られた復号画像を出力する画像伝送システムの構成例を示す図である。
【０２５４】
画像伝送システム４００は、画像をより低遅延に伝送するシステムである。画像伝送システム４００は、ネットワーク４０２を介して接続される送信装置４０１および受信装置４０３を有する。
【０２５５】
送信装置４０１は、入力画像を、ネットワーク４０２を介して受信装置４０３に送信する装置である。送信装置４０１は、効率よく画像を伝送するために、画像データを符号化し、その符号化データを受信装置４０３に送信する。
【０２５６】
送信装置４０１は、符号化部４１１、パケタイズ処理部４１２、および送信部４１３を有する。
【０２５７】
符号化部４１１は、入力画像を符号化し、符号化データを出力する。符号化部４１１には、第１の実施の形態において説明した画像符号化装置１００が適用される。つまり、符号化部４１１は、画像符号化装置１００と同様の構成を有し、同様の処理を行う。
【０２５８】
パケタイズ処理部４１２は、符号化部４１１から出力される符号化データ（コードストリーム）をパケット化する。送信部４１３は、パケタイズ処理部４１２により生成されたパケットを、ネットワーク４０２を介して受信部４２１に送信する。
【０２５９】
ネットワーク４０２は、例えばインターネットや無線LAN等に代表される任意の通信網であり、送信装置４０１から受信装置４０３に伝送される符号化データの伝送路である。ネットワーク４０２の構成は任意であり、複数のネットワークの集合により構成されてもよいし、その一部または全部が、有線または無線のいずれにより構成されるようにしてもよい。
【０２６０】
受信装置４０３は、ネットワーク４０２を介して送信装置４０１から供給されるパケットを受信し、そのパケットに含まれる符号化データを復号し、復号画像を生成し、出力する装置である。
【０２６１】
受信装置４０３は、受信部４２１、デパケタイズ処理部４２２、および復号部４２３を有する。
【０２６２】
受信部４２１は、送信装置４０１の送信部４１３に対応する処理を行い、送信部４１３からネットワークを介して供給されるパケットを受信する処理を行う。
【０２６３】
デパケタイズ処理部４２２は、受信部４２１において受信されたパケットをデパケタイズし、符号化データを抽出する。
【０２６４】
復号部４２３は、デパケタイズ処理部４２２により抽出された符号化データを復号し、復号画像を出力する。復号部４２３には、第１の実施の形態において説明した画像復号装置２００（若しくは、第２の実施の形態において説明した画像復号装置３００）が適用される。つまり、復号部４２３は、画像復号装置２００（若しくは画像復号装置３００）と同様の構成を有し、同様の処理を行う。
【０２６５】
このように、復号部４２３として画像復号装置２００を適用することにより、受信装置４０３は、符号化データを低遅延かつスケーラブルに復号することができる。また、係数ライン並び替え部３０２を有する画像復号装置３００を復号部４２３として適用することにより、受信装置４０３は、より多様な画像符号化装置に対して、符号化データを低遅延かつスケーラブルに復号することができる。
【０２６６】
＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２６７】
図２８において、パーソナルコンピュータ５００のCPU５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６８】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０２６９】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２７０】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０２７１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２７２】
この記録媒体は、例えば、図２８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０２７３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７４】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７５】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２７６】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２７７】
１００  画像符号化装置，  １０１  画像ライン入力部，  １０２  ラインバッファ部，  １０３  ウェーブレット変換部，  １０４  係数ライン並び替え部，  １０５  量子化部，  １０６  エントロピ符号化部，  １０７  付加部，  １０８  レート制御部，  １１１  係数ライン並び替えバッファ，  １１２  係数ライン読み出し部，  ２００  画像復号装置，  ２０１  符号語解読部，  ２０２  サブバンド・ライン選択部，  ２０３  エントロピ復号部，  ２０４  逆量子化部，  ２０５  ウェーブレット逆変換部，  ２０６  バッファ部，  ２１１  選択部，  ２１２  保持部，  ３００  画像復号装置，  ３０１  符号語解読部，  ３０２  係数ライン並び替え部，  ３１１  係数ライン並び替えバッファ，  ３１２  係数ライン読み出し部
【図１】
2011071649.tif 000003
【図２】
2011071649.tif 000004
【図３】
2011071649.tif 000005
【図４】
2011071649.tif 000006
【図５】
2011071649.tif 000007
【図６】
2011071649.tif 000008
【図７】
2011071649.tif 000009
【図８】
2011071649.tif 000010
【図９】
2011071649.tif 000011
【図１０】
2011071649.tif 000012
【図１１】
2011071649.tif 000013
【図１２】
2011071649.tif 000014
【図１３】
2011071649.tif 000015
【図１４】
2011071649.tif 000016
【図１５】
2011071649.tif 000017
【図１６】
2011071649.tif 000018
【図１７】
2011071649.tif 000019
【図１８】
2011071649.tif 000020
【図１９】
2011071649.tif 000021
【図２０】
2011071649.tif 000022
【図２１】
2011071649.tif 000023
【図２２】
2011071649.tif 000024
【図２３】
2011071649.tif 000025
【図２４】
2011071649.tif 000026
【図２５】
2011071649.tif 000027
【図２６】
2011071649.tif 000028
【図２７】
2011071649.tif 000029
【図２８】
2011071649.tif 000030