(57)【特許請求の範囲】
【請求項１】
符号化対象の画像信号を複数の階層に分割し符号化するスケーラブル符号化方法において，
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力するステップと，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定するステップと，
前記決定した対象符号量に基づき前記残差信号を符号化するステップと，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化するステップと
を有するスケーラブル符号化方法。
【請求項２】
請求項１記載のスケーラブル符号化方法において，
前記複数の階層の符号化信号を多重化して符号化ストリームとするステップを更に有し、該ステップにおいて、前記対象符号量を用いて符号化した残差信号を，符号化済みの前記対象階層の画像信号に対する付加情報とし，多重化される符号化信号は、前記符号化済みの前記対象階層の画像信号と、前記対象符号量に基づいて符号化した残差信号、及び、前記変更した符号量に基づいて符号化した前記目的階層の画像信号とを含む
スケーラブル符号化方法。
【請求項３】
請求項１記載のスケーラブル符号化方法において，
前記対象符号量を決定するステップは、前記対象階層および前記目的階層の符号化歪みをそれぞれ求め、それらの総和を最小にする符号量を該対象符号量とすることを含む
スケーラブル符号化方法。
【請求項４】
符号化対象の画像信号を複数の階層に分割し符号化するスケーラブル符号化装置であって，
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力する対象階層符号化部と，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定する対象符号量決定部と，
前記決定した対象符号量に基づき前記残差信号を符号化する残差信号符号化部と，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化する目的階層符号化部と
を有するスケーラブル符号化装置。
【請求項５】
請求項１記載のスケーラブル符号化方法によって符号化された画像信号の符号化ストリームを復号するスケーラブル復号方法であって，
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号するステップと，
前記各階層ごとに復号された階層信号と残差信号とを合成するステップと
を有するスケーラブル復号方法。
【請求項６】
請求項４記載のスケーラブル符号化装置によって符号化された画像信号の符号化ストリームを復号するスケーラブル復号装置であって，
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解する階層分離部と，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号する階層信号復号部と，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号する残差信号復号部と，
前記各階層ごとに復号された階層信号と残差信号とを合成する復号信号合成部とを備えるスケーラブル復号装置。
【請求項７】
符号化対象の画像信号を複数の階層に分割し符号化する処理をコンピュータに実行させるためのスケーラブル符号化プログラムであって，
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力するステップと，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定するステップと，
前記決定した対象符号量に基づき前記残差信号を符号化するステップと，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化するステップと
を有するスケーラブル符号化プログラム。
【請求項８】
請求項１記載のスケーラブル符号化方法によって符号化された画像信号の符号化ストリームを復号する処理をコンピュータに実行させるためのスケーラブル復号プログラムであって，
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号するステップと，
前記各階層ごとに復号された階層信号と残差信号とを合成するステップと
を有するスケーラブル復号プログラム。
【請求項９】
符号化対象の画像信号を複数の階層に分割し符号化する処理をコンピュータに実行させるためのスケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって，前記プログラムは、
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力するステップと，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定するステップと，
前記決定した対象符号量に基づき前記残差信号を符号化するステップと，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化するステップと
を有する記録媒体。
【請求項１０】
請求項１記載のスケーラブル符号化方法によって符号化された画像信号の符号化ストリームを復号する処理をコンピュータに実行させるためのスケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体であって，前記プログラムは、
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号するステップと，
前記各階層ごとに復号された階層信号と残差信号とを合成するステップと
を有する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，高能率画像信号符号化／復号技術に関し，特にスケーラブル符号化において最適な符号量の割当てを行う符号化／復号技術に関するものである。
本願は、２００４年１０月６日に出願された特願２００４−２９３３９５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年，多様化するネットワーク環境・端末環境などに対応するためスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層ごとに符号化が行われる。階層分割の方法としては，
（ｉ）空間周波数に関する帯域分割
（ii）時間周波数に関する帯域分割
などがある。【０００３】
（ｉ）としては，ｗａｖｅｌｅｔ分割（例えば，非特許文献１参照），（ii）としては，Motion Compensation Temporal Fitering （ＭＣＴＦ）（例えば，非特許文献２参照）が代表例である。【０００４】
なお，分割された各階層の符号化に関する技術としては，ＥＢＣＯＴ（例えば，非特許文献３参照），３Ｄ−ＥＳＣＯＴ（例えば，非特許文献４参照）に示すようなビットプレーンベースの手法などがある。
【非特許文献１】“A theory for multiresolution signal decomposition: the wavelet representation”，S. G. Mallat，IEEE Trans. Pattern Analysis and Machine Intelligence，Vol.11，No.7，pp. 674-693，July，1989
【非特許文献２】“Three-dimensional subband coding with motion compensation”，J. R. Ohm ，IEEE Trans. Image Processing，Vol.3 ，No.5，pp. 559-571，Sept.，1994
【非特許文献３】“High performance scalable image compression with EBCOT”，D. Taubman; IEEE Trans. Image Processing， Volume: 9，Issue: 7， pp. 1158-1170，July, 2000
【非特許文献４】“Three-Dimensional Embedded Subband Coding with Optimized Truncation (3-D ESCOT)”，J. Xu，Z. Xiong, S. Li, and Y. Zhang，Applied and Computational Harmonic Analysis 10，pp. 290-315，2001
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に，各階層への割当て符号量は，ネットワークの帯域等を考慮して，符号化前に設定される。【０００６】
図１は，スケーラブル符号化における階層の設定例を示す図である。図１の例は，画素数４ＣＩＦ（７０４×５７６［pels］，６０［frames/sec］）の画像信号を６階層に分割した場合の例である（“Description of Core Experiments in SVC”，ISO/IEC JTC1/SC29/WG11 N6373，March，2004参照）。【０００７】
こうした条件の下，各階層の信号を独立に符号化した場合，画像によっては致命的な画質劣化を引き起こすことがある。下位階層の信号へ情報が集中している画像に対して，下位階層に対する符号量が十分に割当てられていなければ，大きな符号化歪みが発生する。しかし，各階層を独立に符号化しているため，下位階層の情報に上位階層の情報を付加しても下位階層での劣化は修復できない。このため，下位階層の信号へ情報が集中しているような画像では、上位階層の復号信号を付加した復号画像においても，符号量に見合う画質の向上は期待できない。問題は，各階層への割当て符号量が画像によらず一定であること，および，各階層の符号化が独立に行われることにある。【０００８】
本発明は，このような事情に鑑みてなされたものであって，階層間の情報量の偏りに応じた適応的な階層ごとの符号量割当て法を確立し，復号画像の画質を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、符号化対象の画像信号を複数の階層に分割し符号化するスケーラブル符号化方法において，
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力するステップと，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定するステップと，
前記決定した対象符号量に基づき前記残差信号を符号化するステップと，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化するステップと
を有するスケーラブル符号化方法を提供する。【００１０】
前記複数の階層の符号化信号を多重化して符号化ストリームとするステップを更に有し、該ステップにおいて、前記対象符号量を用いて符号化した残差信号を，符号化済みの前記対象階層の画像信号に対する付加情報とし，多重化される符号化信号は、前記符号化済みの前記対象階層の画像信号と、前記対象符号量に基づいて符号化した残差信号、及び、前記変更した符号量に基づいて符号化した前記目的階層の画像信号とを含むようにしても良い。
好適例としては、前記対象符号量を決定するステップは、前記対象階層および前記目的階層の符号化歪みをそれぞれ求め、それらの総和を最小にする符号量を該対象符号量とすることを含む。【００１１】
本発明よれば，下位階層の信号に情報が集中しているにもかかわらず同階層への割当て符号量が少ない場合に，上位階層に対する割当て符号量の一部を用いて下位階層の符号化残差を符号化する。信号全体に割当てられる符号量が一定であるという条件のもと，例えば符号化歪みの総和を最小化するように，下位階層の符号化残差への割当て符号量を設定する。その際，符号量と符号化歪みとの関係をモデル化し，各階層の信号電力，および，下位階層信号の符号化残差電力の測定結果に基づき，同残差電力に対する適切な符号量を設定することが可能であり、これにより，符号量の再配分を行う。
また，決定した対象符号量に基づき符号化した残差信号を符号化済みの対象階層の画像信号に対する付加情報とし，該対象符号量と他の目的階層の信号に対する割当て符号量から目的階層信号に対する新たな割当て符号量を算出することによりスケーラブル符号化を行う。【００１２】
本発明はまた、符号化対象の画像信号を複数の階層に分割し符号化するスケーラブル符号化装置であって，
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力する対象階層符号化部と，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定する対象符号量決定部と，
前記決定した対象符号量に基づき前記残差信号を符号化する残差信号符号化部と，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化する目的階層符号化部と
を有するスケーラブル符号化装置を提供する。【００１３】
本発明はまた、上記スケーラブル符号化方法によって符号化された画像信号の符号化ストリームを復号するスケーラブル復号方法であって，
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号するステップと，
前記各階層ごとに復号された階層信号と残差信号とを合成するステップと
を有するスケーラブル復号方法を提供する。【００１４】
本発明はまた、上記スケーラブル符号化装置によって符号化された画像信号の符号化ストリームを復号するスケーラブル復号装置であって，
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解する階層分離部と，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号する階層信号復号部と，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号する残差信号復号部と，
前記各階層ごとに復号された階層信号と残差信号とを合成する復号信号合成部とを備えるスケーラブル復号装置を提供する。【００１５】
本発明はまた、符号化対象の画像信号を複数の階層に分割し符号化する処理をコンピュータに実行させるためのスケーラブル符号化プログラムであって，
前記複数の階層中の少なくとも一つの対象階層の画像信号を，該対象階層に割当てられた符号量に基づいて符号化するとともに、符号化前の画像信号と符号化後の画像信号を復号した画像信号との差に相当する残差信号を出力するステップと，
前記残差信号と，他の目的階層への割当て符号量およびその目的階層の画像信号とに基づき，前記残差信号の符号化に割当てる対象符号量を決定するステップと，
前記決定した対象符号量に基づき前記残差信号を符号化するステップと，
前記目的階層への割当て符号量を前記対象符号量に基づき変更し，変更した符号量に基づいて前記目的階層の画像信号を符号化するステップと
を有するスケーラブル符号化プログラムを提供する。【００１６】
本発明はまた、上記スケーラブル符号化方法によって符号化された画像信号の符号化ストリームを復号する処理をコンピュータに実行させるためのスケーラブル復号プログラムであって，
入力した符号化ストリームを，各階層ごとの符号化済み階層信号の符号化ストリームと，前記階層信号に対する符号化済み残差信号の符号化ストリームと，各階層の信号に対する制御情報とに分解するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記符号化済み階層信号の符号化ストリームが含まれる場合に，その階層信号の符号化ストリームを復号するステップと，
第１階層から第Ｎ階層までの各階層ごとに，前記入力した符号化ストリーム中に前記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合に，その残差信号の符号化ストリームを復号するステップと，
前記各階層ごとに復号された階層信号と残差信号とを合成するステップと
を有するスケーラブル復号プログラムを提供する。【００１７】
本発明はまた、上記スケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体，上記スケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００１８】
本発明によれば、階層分割後の任意の隣接階層間において，低階層信号を基本信号と残差信号に分割し，該基本信号，該残差信号，および高階層信号を用いて，符号化ストリームを多重化することができる。復号装置は，該符号化ストリームを入力として，低階層信号の復号信号を該基本信号および該残差信号から得ることができる。
これによれば、従来，各階層の信号を独立に符号化した場合，下位階層の信号に情報が集中している画像に対して下位階層に対する符号量が十分割当てられていなければ，上位階層の復号信号を付加しても情報量に見合う画質の向上は期待できなかったものを、下位階層に含まれる情報量に応じて上位階層の割当て符号量の一部を下位階層の符号化に割当てることができる。このため，全符号量を一定とした場合，その符号量で得られる復号画像の画質を向上させることができる。
【図面の簡単な説明】
【００１９】
【図１】スケーラブル符号化における階層の設定例を示す図である。
【図２】入力信号に対する帯域分割の例を示す図である。
【図３】本実施の形態における符号化の処理フローチャートである。
【図４】本実施の形態における符号化装置の構成例を示す図である。
【図５】本実施の形態における復号の処理フローチャートである。
【図６】本実施の形態における復号装置の構成例を示す図である。
【図７】図６に示す復号装置における残差信号復号部の構成例を示す図である。
【符号の説明】
【００２０】
１    符号化装置
１０  高階層信号抽出部
１１  低階層信号抽出部
１２  割当て符号量設定部
１３  低階層信号符号化部
１４  低階層補填符号量算出部
１５  低階層残差信号符号化部
１６  高階層信号符号化部
１７  符号化ストリーム多重化部
２    復号装置
２０  階層分離部
２１〜２３  第１〜第Ｎ階層信号復号部
２４  残差信号復号部
２５〜２７  加算器
２８  復号信号合成部
２４１  残差信号階層分離部
２４２  残差信号制御部
２４３  復号処理切換え部
２４４〜２４６  第１〜第Ｎ階層残差信号復号部
【発明を実施するための最良の形態】
【００２１】
以下，本発明の実施の形態について，図を用いて説明する。
図３は，本実施の形態における符号化の処理フローチャートである。ここでは，階層数は２とし，低階層信号に対する割当て符号量をＲl ，高階層信号に対する割当て符号量をＲh とする。【００２２】
まず，符号化対象信号を入力し，低階層と高階層の２階層に分割する処理を行い，低階層信号および高階層信号を出力する（ステップＳ１０）。このとき，具体的な分割方法は，外部から与えられるものとする。図２に示す帯域分割（詳細は後述）は，その一例である。【００２３】
次に，各階層に対する割当て符号量（低階層信号に対する割当て符号量Ｒl ，高階層信号に対する割当て符号量Ｒh ）を入力情報として取得する（ステップＳ１１）。低階層信号および同信号に対する割当て符号量Ｒl を入力として，低階層信号に対する符号化処理を行い，符号化ストリームおよび低階層信号に対する符号化残差信号（低階層残差信号）を出力する（ステップＳ１２）。このとき，具体的な符号化方法は外部から与えられるものとする。
なお、符号化残差信号とは、符号化前の画像信号（原画像）と符号化後の画像信号を復号した画像信号（復号画像）との差に相当する信号である。【００２４】
ステップＳ１２で出力された低階層残差信号を入力とし，その低階層残差信号の電力値を算出する処理を行い，低階層残差信号の電力（低階層残差信号電力Ａ′l）を出力する（ステップＳ１３）。【００２５】
次に，高階層信号電力Ａh と，低階層残差信号電力Ａ′lと，高階層信号に対する割当て符号量Ｒhとを入力とし，以下に説明する処理を行い，低階層補填符号量α* を算出する（ステップＳ１４）。【００２６】
図２に示すように，周波数ｆに対してｐ（ｆ）の電力特性をもつ信号を例にとり，同信号を２つの帯域（low-bandとhigh-band ）に分割する場合を考える。この帯域分割は，信号の階層的な表現の一手段であることから，各帯域を階層ととらえ，以下では，low-band信号を低階層信号，high-band 信号を高階層信号と呼ぶ。【００２７】
ここで，低階層信号に対する割当て符号量をＲl ，高階層信号に対する割当て符号量をＲh とし，低階層信号電力Ａl ，高階層信号電力Ａh を，それぞれ以下の通りとする。【００２８】
【数１】
0004624347.tif 000002
【００２９】
この場合，前述の通り，従来は、低階層信号に対する割当て符号量Ｒl ，高階層信号に対する割当て符号量Ｒh が，ネットワーク等の外的条件により、画像によらず一定に設定されることが問題となる。
そこで，本実施形態では、低階層信号への情報量の偏りが大きい場合には，高階層信号に対する割当て符号量の一部を低階層信号の符号化に割当てる。
具体的には，低階層信号を符号量Ｒl で符号化した際の符号化残差(信号）に対して，高階層信号に対する割当て符号量Ｒh の一部（α）を同残差の符号化に用いる。以下では，低階層信号の符号化残差信号を低階層残差信号と呼び，同残差信号に対する割当て符号量αを低階層補填符号量と呼ぶ。【００３０】
低階層補填符号量αの設定方法を以下に示す。なお，電力ａを持つ信号を符号量ｒで符号化した場合の符号化歪みをＤ（ａ，ｒ）と表す。低階層信号，低階層残差信号，高階層信号を，それぞれ符号量Ｒl ， α， Ｒh−α で符号化した場合，符号化歪みの総和Ｊ（α）は，次式となる。【００３１】
Ｊ（α）＝Ｄ（Ｄ（Ａl ，Ｒl ），α）＋Ｄ（Ａh ，Ｒh −α）          （１）
このＪ（α）を最小化するαの求解が目標である。上式右辺の各項について，αに依存しないＤ（Ａl ，Ｒl ）について，Ｄ（Ａl ，Ｒl ）＝Ａ′l とおくと，式（１）は，
Ｊ（α）＝Ｄ（Ａ′l ，α）＋Ｄ（Ａh ，Ｒh −α）                    （２）
と表すことができる。【００３２】
式（２）の右辺の２項｛Ｄ（Ａ′l ，α），Ｄ（Ａh ，Ｒh −α）｝について，量子化誤差による符号化歪みと符号量との関係（N. S. Jayant and P. Noll:“Digital coding of waveforms”，Prentice Hall，1984参照）から，次のようにモデル化する。【００３３】
【数２】
0004624347.tif 000003
ここで，βは変換係数の分布に対応して定まる定数である。Ｊ（α）を最小化するαを求めるため，式（３），式（４）を式（２）に代入し，
ｄＪ（α）／ｄα＝０                                    （５）
をαについて解く。【００３４】
この方程式（５）の解として次のα* を得る。
α* ＝（ｌｏｇ2 （Ａ′l ／Ａh ））／４＋Ｒh ／２                    （６）【００３５】
さらに，算出された低階層補填符号量α*が物理的に実現可能な値にあることを検証するため，低階層補填符号量α* と高階層信号に対する割当て符号量Ｒhとを入力とし，求めた符号量α*が
０≦α* ≦Ｒh 
の範囲にあるか否かを判定する処理を行い，α* が上式の範囲にあれば真値“１”を出力してステップＳ１７へ進み，そうでなければ，偽値“０”を出力してステップＳ１６へ進む（ステップＳ１５）。【００３６】
ステップＳ１６では，算出された低階層補填符号量α*と，高階層信号電力Ａh と，低階層残差信号電力Ａ′l と，高階層信号に対する割当て符号量Ｒh とを入力とし，下式（７）に示すクリッピング処理を行い（式中、αをα*とする），最終的な低階層補填符号量であるαの最適値αopt を出力する。【００３７】
【数３】
0004624347.tif 000004
なお，ここでは，簡単のため１次元信号の周波数帯域の分割を例に挙げているが，同様の考え方は，フレーム内信号に対する２次元の周波数帯域分割，および，時空間の動画像信号に対する３次元の周波数帯域分割にも適用できる。【００３８】
この処理により，ステップＳ１５の判定結果が真値“１”の場合には，前述の式（６）で表される右辺の値が最終的な低階層補填符号量αopt として出力され，ステップＳ１５の判定結果が偽値“０”の場合には，そのときのα* の値により，０またはＲh が最終的な低階層補填符号量αopt として出力される。【００３９】
この低階層補填符号量αopt と低階層残差信号とを入力として，低階層残差信号に対する符号化処理を行い，符号化ストリームを出力する（ステップＳ１７）。このとき，具体的な符号化方法は外部から与えられるものとする。【００４０】
次に，低階層補填符号量αopt と高階層信号に対する割当て符号量Ｒh とを入力し，Ｒh からαopt を減じた結果を求める処理を行い，低階層補填後の高階層信号に対する符号量（Ｒh−αopt ）を出力する（ステップＳ１８）
最後に，低階層補填後の高階層信号に対する符号量Ｒh−αopt と，高階層信号とを入力として，高階層信号に対する符号化処理を行い，高階層信号に対する符号化ストリームを出力する（ステップＳ１９）。このとき，具体的な符号化方法は外部から与えられるものとする。【００４１】
上記各階層の符号化方法としては，外部から与えられるものとしたが，例えば上記非特許文献３や非特許文献４に記載されているようなビットプレーンベースの手法を用いることができる。【００４２】
図４は，本実施の形態における符号化装置の構成例を示す図である。符号化装置１は，高階層信号抽出部１０と，低階層信号抽出部１１と，割当て符号量設定部１２と，低階層信号符号化部１３と，低階層補填符号量算出部１４と，低階層残差信号符号化部１５と，高階層信号符号化部１６と，符号化ストリーム多重化部１７とから構成される。【００４３】
高階層信号抽出部１０は，符号化対象の信号を入力して帯域分割処理を行い，高階層信号を出力する。また，低階層信号抽出部１１は，符号化対象の信号を入力して帯域分割処理を行い，低階層信号を出力する。割当て符号量設定部１２は，あらかじめ外部から指定された低階層信号に対する割当て符号量Ｒl ，高階層信号に対する割当て符号量Ｒh を設定する。【００４４】
低階層信号符号化部１３は，低階層信号と同信号に対する割当て符号量Ｒl とを入力し，符号化処理を行い，低階層信号に対する符号化ストリームを出力する。低階層補填符号量算出部１４は，高階層信号電力と，低階層残差信号と，高階層信号に対する割当て符号量Ｒh とを入力し，図３のステップＳ１３〜Ｓ１６，Ｓ１８に相当する処理により，低階層残差信号の電力値の算出，低階層補填符号量αopt の算出および低階層補填後の高階層信号に対する割当て符号量Ｒh−αopt の算出を行い，算出された低階層補填符号量αopt を低階層残差信号符号化部１５へ出力し，また、低階層補填後の高階層信号に対する割当て符号量Ｒh−αopt を高階層信号符号化部１６へ出力する。【００４５】
低階層残差信号符号化部１５は，低階層残差信号と低階層補填符号量αopt とを入力し，低階層残差信号の符号化処理を行い，符号化ストリームを出力する。また，高階層信号符号化部１６は，高階層信号と低階層補填後の高階層信号に対する割当て符号量Ｒh −αopt とを入力し，高階層信号の符号化処理を行い，符号化ストリームを出力する。符号化ストリーム多重化部１７は，低階層信号に対する符号化ストリーム，高階層信号に対する符号化ストリーム，低階層残差信号に対する符号化ストリームを入力し，多重化処理を行い，多重化された符号化ストリームを出力する。【００４６】
以上，階層数が２の場合の符号化処理の実施の形態について説明したが，本発明はこれに限られるものではなく，３階層以上に分割する場合にも同様に適用することができる。
以下、階層数がN の場合を考える。このとき、第n 階層における信号電力、割り当て符号量、符号化歪みを各々、An, Rn, Dn とする。符号化歪みDi = βAi-2Ri の値に関して、降順にソートを行い、同値が最小となる階層（第l 階層）から同値が最大値となる階層（第h 階層）へと、符号量の一部を補填する。また、補填先、補填元を決定する際のソートに用いる値としては、上記の他に、Ai/Ri をとることもできる。具体的な補填方法は、先に示した2 階層の場合と同様である。つまり、第l 階層を２階層の例における低階層とみなし、第h 階層を２階層の例における高階層とみなせば良い。
また，Ｎ階層（Ｎ≧３）の中の複数の階層について，符号化残差への割当て符号量を適応的に設定し，各階層への割当て符号量を再分配して階層ごとに符号化することも可能である。【００４７】
図５は，本実施の形態における復号の処理フローチャートである。ここでは，符号化装置において画像信号を２階層以上に分割して符号化し，その符号化ストリームを符号化装置から受信し，それを復号する場合の例を説明する。総階層数をＮ（Ｎ≧２）とする。【００４８】
まず，多重化された符号化ストリームを入力し，それを各階層に対する符号化ストリームに分解し，各階層に対する符号化ストリーム，各階層に対する符号化残差ストリーム，各階層の信号に対する制御情報を出力する（ステップＳ２０）。【００４９】
復号対象階層を示す変数ｎをｎ＝１に初期化し（ステップＳ２１），各階層の符号化ストリームの復号処理を以下のように行う。ステップＳ２０で分解された符号化ストリームと制御情報とを入力し，符号化ストリームに第ｎ階層に対する符号化ストリームが存在するか否かを判定する処理を行い，第ｎ階層に対する符号化ストリームが存在すれば真値“１”を出力し，そうでなければ偽値“０”を出力する（ステップＳ２２）。ここで，偽値“０”を出力した場合には，同階層に対して復号処理は行わない。真値“１”を出力した場合には，第ｎ階層信号に対する符号化ストリームを入力して復号処理を行い，第ｎ階層信号の復号信号を出力する（ステップＳ２３）。【００５０】
次に，全ての階層をチェックしたかどうを判定する。すなわち，復号対象階層を示す変数ｎと総階層数Ｎとの大小比較を行い，ｎ≧Ｎであれば，全階層の復号処理を終えたとして，真値“１”を出力し，そうでなければ偽値“０”を出力する（ステップＳ２４）。ここで偽値“０”を出力した場合には，復号対象階層を示す変数ｎに１を加算する処理を行い（ステップＳ２５），ステップＳ２２以降の処理を同様に繰り返す。【００５１】
また，ステップＳ２０に続く別系統の処理として、復号対象階層を示す変数ｎをｎ＝１に初期化し（ステップＳ２６），各階層の残差信号に対する復号処理を以下のように行う。ステップＳ２０で分解された符号化ストリームと制御情報とを入力し，符号化ストリームに第ｎ階層に対する符号化残差信号の符号化ストリームが存在するか否かを判定する処理を行い，第ｎ階層に対する符号化残差信号の符号化ストリームが存在すれば真値“１”を出力し，そうでなければ偽値“０”を出力する（ステップＳ２７）。ここで，偽値“０”を出力した場合には，同階層に対して符号化残差信号の復号処理は行わない。真値“１”を出力した場合には，第ｎ階層信号に対する符号化残差信号の符号化ストリームを入力して復号処理を行い，その符号化残差信号の復号信号を出力する（ステップＳ２８）。【００５２】
次に，全ての階層をチェックしたかどうを判定する。すなわち，復号対象階層を示す変数ｎと総階層数Ｎとの大小比較を行い，ｎ≧Ｎであれば，全階層の符号化残差信号に対する復号処理を終えたとして，真値“１”を出力し，そうでなければ偽値“０”を出力する（ステップＳ２９）。ここで偽値“０”を出力した場合には，復号対象階層を示す変数ｎに１を加算する処理を行い（ステップＳ３０），ステップＳ２７以降の処理を同様に繰り返す。【００５３】
ステップＳ３１では，各階層の復号信号および各階層の符号化残差の復号信号を入力し，これらを合成する処理を行い，合成後の復号信号を出力する。【００５４】
図６は，本実施の形態における復号装置の構成例を示す図である。復号装置２は，図５で説明した復号処理を実行する装置であり（ただし、わかりやすいように、総階層数Ｎ＝３以上の場合を図示している），階層分離部２０と，第１階層信号から第Ｎ階層信号までの復号部２１〜２３と，残差信号復号部２４と，加算器２５〜２７と，復号信号合成部２８とから構成される。【００５５】
階層分離部２０は，多重化された符号化ストリームを入力として，各階層ごとに分離する処理を行い，各階層の符号化ストリーム，各階層ごとの符号化残差の符号化ストリーム，各階層の信号に対する制御情報を出力する。【００５６】
第１階層信号復号部２１は，第１階層の符号化ストリームが存在すれば，その符号化ストリームを入力として復号処理を行い，復号信号を出力する。第２階層信号復号部２２は，第２階層の符号化ストリームが存在すれば，その符号化ストリームを入力として復号処理を行い，復号信号を出力する。同様に，各階層の符号化ストリームを復号する復号処理部を有し，第Ｎ階層信号復号部２３は，第Ｎ階層の符号化ストリームが存在すれば，その符号化ストリームを入力として復号処理を行い，復号信号を出力する。【００５７】
残差信号復号部２４は，各階層ごとの符号化残差の符号化ストリームとその制御情報とを入力として復号処理を行い，各階層の符号化残差の符号化ストリームに対する復号信号を出力する。加算器２５〜２７では，第１〜第Ｎ階層信号復号部２１〜２３の出力と，残差信号復号部２４の出力であるそれぞれ対応する階層の符号化残差の復号信号とが加算され，復号信号合成部２８に出力される。復号信号合成部２８は，加算器２５〜２７の出力である各階層ごとの復号信号を入力として合成処理を行い，合成された信号を最終的な復号信号として出力する。
または，復号信号合成部２８は，各階層ごとの復号信号および各階層ごとの符号化残差の復号信号を，第１〜第Ｎ階層信号復号部２１〜２３および残差信号復号部２４から直接入力し，それらの合成処理を行い，合成された信号を最終的な復号信号として出力するようにしてもよい。この場合、加算器２５〜２７は不要となる。【００５８】
図７は，図６に示す残差信号復号部２４の構成例を示す図である。残差信号復号部２４は，残差信号階層分離部２４１と，残差信号制御部２４２と，復号処理切換え部２４３と，第１階層信号から第Ｎ階層信号までの残差信号復号部２４４〜２４６とから構成される。【００５９】
残差信号階層分離部２４１は，各階層ごとの符号化残差の符号化ストリームを入力として，階層ごとに分離する処理を行い，分離された符号化ストリームを出力する。残差信号制御部２４２は，各階層信号に対する制御情報を入力として，階層ごとに符号化残差信号の重畳の有無を判定し，判定結果を出力する。判定結果は，例えばＮビットの２進数列として出力される。【００６０】
復号処理切換え部２４３は，残差信号制御部２４２から出力された判定結果を入力として，符号化残差信号が重畳される階層については復号処理を行うべく，対応する残差信号復号部へ、復号すべき符号化残差の符号化ストリームを送信する。符号化残差信号が重畳されない階層については，対応する階層の残差信号復号部による復号処理は行わない。第１階層から第Ｎ階層までの残差信号復号部２４４〜２４６は，それぞれ担当する階層の符号化残差の符号化ストリームが存在する場合，その符号化ストリームを入力として復号処理を行い，その符号化残差信号の符号化ストリームに対する復号信号を出力する。【００６１】
以上説明した画像信号符号化および復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００６２】
下位階層に含まれる情報量に応じて上位階層の割当て符号量の一部を下位階層の符号化に割当てることができる。このため，全符号量を一定とした場合，その符号量で得られる復号画像の画質を向上させることができる。
【図１】
0004624347.tif 000005
【図２】
0004624347.tif 000006
【図３】
0004624347.tif 000007
【図４】
0004624347.tif 000008
【図５】
0004624347.tif 000009
【図６】
0004624347.tif 000010
【図７】
0004624347.tif 000011