(57)【特許請求の範囲】
【請求項１】
最上位の基本階層と複数の付加階層からなる画像信号の階層符号化方法において、
基本階層を符号化するステップと、
付加階層を符号化する際、直前の上位階層で真値が存在する領域を分割する領域幅の比率となる分割比率を、目標符号量と直前までの発生符号量の少なくとも２つの値から決定するステップと、
基本階層および符号化対象となる付加階層より上位の付加階層で、符号化対象信号が非有意係数の場合には該付加階層の直前の上位階層で真値が存在する領域を前記分割比率に従って３分割し、有意係数の場合には該付加階層の直前の上位階層で真値が存在する領域を前記分割比率に従って２分割するステップと、
前記付加階層の直前の上位階層で真値が存在する分割領域を検出するステップと、
前記真値が存在する分割領域の情報を符号化するステップと、
を有することを特徴とする画像信号の階層符号化方法。
【請求項２】
請求項１に記載の画像信号の階層符号化方法において、前記分割比率を決定した後に、該分割比率の情報を符号化するステップを有することを特徴とする画像信号の階層符号化方法。
【請求項３】
請求項１に記載の画像信号の階層符号化方法で符号化されたデータを復号する階層復号方法であって、
前記基本階層の信号を復号するステップと、
前記直前の上位階層で真値が存在する領域を分割する領域幅の比率となる分割比率を決定するステップと、
前記付加階層を復号する際、基本階層および復号対象となる付加階層より上位の付加階層で、復号対象信号が非有意係数の場合には領域分割数３の前記分割比率の情報に従って復号領域情報を求め、有意係数の場合には領域分割数２の前記分割比率の情報に従って復号領域情報を求め、前記真値が存在する領域情報を復号するステップと、
前記復号した領域情報と前記分割比率の情報から付加階層の量子化代表値を算出するステップと、
を有することを特徴とする画像信号の階層復号方法。
【請求項４】
請求項２に記載の画像信号の階層符号化方法で符号化されたデータの復号方法であって、直前の上位階層で真値が存在する領域を分割する領域幅の比率となる分割比率を決定する際、該分割比率の情報を受信し、復号するステップを有することを特徴とする画像信号の階層復号方法。
【請求項５】
請求項１または２のいずれか１項に記載の画像信号の階層符号化方法におけるステップをコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする画像信号の階層符号化方法を記録した記録媒体。
【請求項６】
請求項３または４のいずれか１項に記載の画像信号の階層復号方法におけるステップをコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする画像信号の階層復号方法を記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号の階層符号化および復号に関するものである。
【０００２】
【従来の技術】
通常、１つの符号化データは、符号化時に決定された１種類の符号化ビットレートで符号化される。これに対し、画像信号を階層符号化し、伝送する階層を制限することで、１つの符号化データから複数の符号化ビットレートの符号化データを得ることができる。
【０００３】
階層符号化の方法として、画像サイズや符号化フレームレートを階層化する他に、符号化対象値をビット平面に展開し、階層化して符号化する方法がある。ビット平面への展開方法を図３に示す。上位ビットのビット平面を上位階層とし、各ビット平面ごとにハフマン符号化などのエントロピー符号化を行うことで、階層符号化が可能となる。ビット平面展開の例を図４に示す。伝送するビット平面を制限することで、符号化ビットレートを変更できる。
【０００４】
この階層符号化データを復号する場合は、受信した各ビット平面を復号し、ビット平面を上位ビットから並べることで、復号値を得ることができる。
【０００５】
また、ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２）では、上位階層での量子化誤差を再量子化する方法が採用されている。この方法は、上位階層での量子化誤差を、上位階層より小さい量子化幅で細かく量子化し、付加階層とする。２階層（基本階層＋付加階層）の例を示す。画像信号Ｓを量子化幅Ｑ0で量子化すると、量子化インデックスｑ0は次式より求まる。
【０００６】
ｑ0＝Ｓ／Ｑ0
ここで、上式の除算は、整数演算とする。この時の量子化誤差ｅｒｒ0は、次式で表される。
【０００７】
ｅｒｒ0＝Ｓ−ｑ0・Ｑ0
基本階層では、量子化インデックスｑ0を符号化する。付加階層では、新たな量子化幅Ｑ1（＜Ｑ0）で、上位階層の量子化誤差ｅｒｒ0を量子化し、量子化インデックスｑ1を符号化する。
【０００８】
ｑ1＝ｅｒｒ0／Ｑ1
復号する際は、上位階層の復号信号に、付加階層の量子化誤差信号を加えて復号する。以下に２階層（基本階層＋付加階層）の例を示す。
【０００９】
まず、基本階層の量子化インデックスｑ0と量子化幅Ｑ0を復号し、量子化幅Ｑ0で量子化インデックスｑ0を逆量子化することで、基本階層の復号信号Ｓ′が得られる。
【００１０】
Ｓ′＝ｑ0・Ｑ0
次に、付加階層の量子化インデックスｑ1と量子化幅Ｑ1を復号し、量子化幅Ｑ1で量子化インデックスｑ1を逆量子化することで、基本階層の量子化誤差ｅｒｒ0′が得られる。
【００１１】
ｅｒｒ0′＝ｑ1・Ｑ1
そして、基本階層の復号信号Ｓ′と基本階層の量子化誤差ｅｒｒ0′を加えることで、付加階層の復号信号Ｓ″が得られる。
【００１２】
Ｓ″＝Ｓ′＋ｅｒｒ0′
上記のビット平面展開による階層符号化方法では、符号化対象値により発生符号量が変化する。このため一定の符号化ビットレートで符号化データを伝送するには、目標符号化ビットレートにあわせて各ビット平面の符号化データの符号量を制御しなければならない。
【００１３】
また、量子化誤差を再量子化する階層符号化方法では、基本階層および付加階層の発生符号量を符号化時に制御できる。しかし、符号化側では、付加階層ごとに量子化と逆量子化の処理が、復号側でも付加階層ごとに逆量子化の処理が必要となり、付加階層での処理が複雑になる。さらに、付加階層で用いる情報は、上位階層の量子化誤差のみで、符号化効率は低い。
【００１４】
これら課題を解決する符号化方法および復号方法を本願出願人は既に提案している。
【００１５】
この方法は、基本階層と複数の付加階層からなる画像信号階層符号化方式において、最初に基本階層を符号化し、続いて各付加階層を符号化する。ここで、各階層は、基本階層を最上位階層とし、符号化する順番により下位階層となる。
【００１６】
付加階層を符号化する際、図５に示すように、符号化対象階層の全ての上位階層で、符号化対象信号が非有意係数の場合、直前の上位階層で真値が存在する領域をほぼ１：２：１の比率で３分割し、有意係数の場合は、直前の上位階層で真値が存在する領域をほぼ２等分し、真値が存在する領域を検出する。そして、検出した真値が存在する領域情報を符号化する。以下に、符号化の例を示す。
【００１７】
基本階層での有意係数とは、量子化インデックス≠０の場合である。図６では、符号化対象信号Ｓ１およびＳ２は、それぞれ、有意係数および非有意係数となる。
【００１８】
次に、符号化対象信号Ｓ１およびＳ２について領域情報検出の例を、図７に示す。符号化対象信号Ｓ１は、基本階層で有意係数となっているので、全ての付加階層では領域を２分割する。符号化対象信号Ｓ２は、基本階層で非有意係数となっているので、付加階層１では領域を３分割する。付加階層１でも非有意係数と判断されたため、付加階層２でも３分割である。
【００１９】
付加階層２では有意係数と判断されたため、付加階層３では領域は２分割する。この様にして、符号化対象信号の各階層での領域情報を抽出する。
【００２０】
この方法では、基本階層の量子化幅は任意であるため、量子化制御を行うことで、伝送レートを制御できる。また、付加階層では、上位階層の情報を利用することで、符号化効率の低下を抑えることができる。
【００２１】
【発明が解決しようとする課題】
上記の画像信号階層符号化方法および復号方法では、基本階層の発生符号量は制御可能であるが、付加階層の発生符号量は制御はできない。付加階層の発生符号量は、符号化対象画像や上位階層の符号化条件によって異なる。このため、付加階層の符号の伝送を制限するなどして、付加階層の符号量を制御しなければならない。
【００２２】
本発明の目的は、付加階層の発生符号量制御を容易にし、また発生符号量の増加を抑制できる階層符号化方法および復号方法を提供することにある。
【００２３】
【課題を解決するための手段】
（原理的な説明）
本発明は、基本階層と複数の付加階層からなる画像信号階層符号化方式において、最初に基本階層を符号化し、続いて各付加階層を符号化する。ここで、各階層は、基本階層を最上位階層とし、符号化する順番により、下位階層となる。付加階層の符号化は、以下の通りである。
【００２４】
まず、分割比率を決定する。分割比率は、（０，１）の範囲をとり、符号化対象付加階層の目標符号量や過去（直前まで）の発生符号量などから決定する。続いて、分割比率に基づいて、符号化対象階層の上位階層で真値が存在する領域を分割する。基本階層および符号化対象となる付加階層より上位の付加階層で、符号化対象信号が非有意係数の場合には該付加階層の直前の上位階層で真値が存在する領域を３分割し、有意係数の場合にはは該付加階層の直前の上位階層で真値が存在する領域を２分割し、真値が存在する領域を検出する。そして、検出した真値が存在する領域情報を符号化する。
【００２５】
分割比率αは、符号化対象付加階層の目標符号量Ｔtと現時点での符号化対象付加階層の発生符号量Ｇtから以下のように算出する。
【００２６】
【数１】
α＝ｍｉｎ（ｍａｘ（ｆ（Ｇt，Ｔt），０），１）  …（１）
分割比率αを変化させることにより、量子化幅の制御と同様な制御が可能となる。なお、分割比率αの算出方法は、発生符号量の制御方法および目的により異なる。例えば、画質劣化を考慮した制御を行う場合、発生符号量だけでなく、符号化対象信号の性質も分割比率算出に用いることができる。
【００２７】
領域分割の例を図８に示す。直前の上位階層で真値が存在する領域を２分割する際、上位階層の領域の広さＱと分割比率αから、０に近い領域の幅Ｑm0および他方の領域の幅Ｑm1を、次式から算出する。
【００２８】
【数２】
Ｑm0＝α・Ｑ、  Ｑm1＝（１−α）・Ｑ        …（２）
同様に、直前の上位階層で真値が存在する領域を３分割する際、０を含む領域を（−α・Ｑ，＋α・Ｑ）、負の領域を（−Ｑ，−α・Ｑ）、正の領域を（＋α・Ｑ，＋Ｑ）とする。
【００２９】
分割比率αの情報は、分割比率を変化させる単位で、符号化データに含める。例えば、１フレーム単位で、分割比率αを変化させる場合は、フレーム単位に分割比率αを伝送する。小ブロック単位の制御では、１ブロック単位での伝送が必要となる。
【００３０】
なお、分割比率の算出に用いた情報が、上位階層も含めて、目標符号量と発生符号量に限られる場合、復号側に目標符号量のみを伝送することで、分割比率を算出できる。この場合、分割比率の情報を符号化データに含める必要はない。
【００３１】
次に、領域情報を符号化する。２分割した場合は、領域情報を０と１の１ビットで表現できるが、３分割した場合、２ビツトが必要となる。そこで、真値が０を含む領域がどうかを判断する情報と、真値が０を含まない分割領域に存在する場合、真値が存在する領域の符号情報を符号化する。
【００３２】
次に、復号方法を説明する。まず、基本階層を復号する。続いて、分割比率を復号または算出する。続いて、基本階層および復号対象となる付加階層より上位の付加階層で、復号対象信号が非有意係数の場合、該付加階層の直前の上位階層で真値が存在する領域を３分割し、有意係数の場合、該付加階層の直前の上位階層で真値が存在する領域を２分割する。そして、真値が存在する領域情報を復号し、該領域情報から量子化代表値を算出する。
【００３３】
符号化時に、目標符号量と発生符号量から分割比率を決定している場合、目標符号量を復号し、受信済の符号量を符号化時の発生符号量とすることで、分割比率を算出できる。
【００３４】
以上のことから、本願発明は、以下の符号化方法および復号方法により、基本階層だけでなく付加階層の量子化幅（分割幅）も制御することができ、結果として付加階層の発生符号量を制御できるようにしたものである。また、付加階層では、目標符号量と発生符号量から分割比率を決定することで、復号側では、目標符号量と受信済の符号量から、分割比率情報を復号すること無く分割比率を算出できる。結果として分割比率情報による発生符号量の増加を抑えることができるようにしたものである。
【００３５】
（階層符号化方法）
最上位の基本階層と複数の付加階層からなる画像信号の階層符号化方法において、
基本階層を符号化するステップと、
付加階層を符号化する際、直前の上位階層で真値が存在する領域を分割する領域幅の比率となる分割比率を、目標符号量と直前までの発生符号量の少なくとも２つの値から決定するステップと、
基本階層および符号化対象となる付加階層より上位の付加階層で、符号化対象信号が非有意係数の場合には該付加階層の直前の上位階層で真値が存在する領域を前記分割比率に従って３分割し、有意係数の場合には該付加階層の直前の上位階層で真値が存在する領域を前記分割比率に従って２分割するステップと、
前記付加階層の直前の上位階層で真値が存在する分割領域を検出するステップと、
前記真値が存在する分割領域の情報を符号化するステップと、
を有することを特徴とする。
【００３６】
また、前記分割比率を決定した後に、該分割比率の情報を符号化するステップを有することを特徴とする。
【００３８】
（階層復号方法）
上記の階層符号化方法で符号化されたデータを復号する階層復号方法であって、
前記基本階層の信号を復号するステップと、前記直前の上位階層で真値が存在する領域を分割する領域幅の比率となる分割比率を決定するステップと、前記付加階層を復号する際、基本階層および復号対象となる付加階層より上位の付加階層で、復号対象信号が非有意係数の場合には領域分割数３の前記分割比率の情報に従って復号領域情報を求め、有意係数の場合には領域分割数２の前記分割比率の情報に従って復号領域情報を求め、前記真値が存在する領域情報を復号するステップと、前記復号した領域情報と前記分割比率の情報から付加階層の量子化代表値を算出するステップとを有することを特徴とする。
【００３９】
また、直前の上位階層で真値が存在する領域を分割する領域幅の比率となる分割比率を決定する際、該分割比率の情報を受信し、復号するステップを有することを特徴とする。
【００４１】
（記録媒体）
上記の画像信号の階層符号化方法におけるステップをコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００４２】
また、上記の画像信号の階層復号方法におけるステップをコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００４３】
【発明の実施の形態】
本実施形態は、画像信号をブロック単位に分割し、ブロックごとに階層符号化を行う方法を説明する。分割比率の変更は、ブロック単位で行い、ブロックの先頭に分割比率情報を含める。領域情報の符号化は、ランレングス符号化とする。符号化データの並びを図９に示す。
【００４４】
本実施形態では、付加階層数をＭ、基本階層の階層番号を０、符号化対象階層の番号をｍ（ｍ＝１，２，…，Ｍ）、１ブロック内の画像信号数をＮ、ブロック内の画像信号をＳ（ｉ）（ｉ＝１，２，…，Ｎ）とする。各領域の量子化代表値は、各領域で最も０に近い値とする。
【００４５】
以下に、符号化の手順を説明する。ブロック単位の符号化手順の流れ図を図１にステップＳ１〜Ｓ１２で示す。
【００４６】
（Ｓ１）基本階層の符号化を行う。この時、各画像信号Ｓ（ｉ）の量子化で用いた量子化幅をＱ0（ｉ）とする。
【００４７】
（Ｓ２）分割比率αを決定する。符号化対象ブロックの分割比率は、符号化対象階層ｍの発生符号量Ｇm,tと目標符号量Ｔm,tから以下のように決定する。
【００４８】
【数３】
α＝ｍｉｎ（ｍａｘ（Ｇm,t／Ｔm,t，０），１）    …（３）
（Ｓ３）分割比率情報を符号化する。
【００４９】
（Ｓ４）符号化対象信号Ｓ（ｉ）が有意係数がどうかを調べる。直前の上位階層ｍ−１で、符号化対象ブロックでｉ番目の符号化対象信号Ｓ（ｉ）が有意係数となっているかを調べる。
【００５０】
（Ｓ５）符号化対象信号Ｓ（ｉ）が有意係数の場合、分割数を２として、０に近い領域の幅をＱm（ｉ）＝α・Ｑm-1（ｉ）とし、他方の領域の幅をＱm（ｉ）＝（１−α）・Ｑm-1（ｉ）として分割する。ここで、Ｑm-1（ｉ）は、直前の上位階層ｍ−１の領域の広さである。
【００５１】
（Ｓ６）符号化対象信号Ｓ（ｉ）が非有意係数の場合、直前の上位階層ｍ−１での領域は、｛Ｑm-1（ｉ）＋１，＋Ｑm-1（ｉ）−１｝となっている。分割数を３として、直前の上位階層ｍ−１の領域を分割する。分割領域は、以下のようにする。
【００５２】
０を含む領域を｛−α・Ｑm-1（ｉ）＋１，＋α・Ｑm-1（ｉ）−１｝
負の領域を｛−Ｑm-1（ｉ）＋１，−α・Ｑm-1（ｉ）｝
正の領域を｛＋α・Ｑm-1（ｉ），＋Ｑm-1（ｉ）−１｝
（Ｓ７）符号化対象信号Ｓ（ｉ）が有意係数の場合（領域分割数＝２）で、真値が存在する分割領域を検出する。検出した領域情報ｑm（ｉ）は、次の様に表現する。
【００５３】
０に近い領域を０，他方の領域を＋１とする。
【００５４】
（Ｓ８）符号化対象信号Ｓ（ｉ）が非有意係数の場合（領域分割数＝３）で、真値が存在する分割領域を検出する。検出した領域情報ｑm（ｉ）は、次の様に表現する。
【００５５】
０を含む領域を０、負の領域を−１、正の領域を＋１とする。
【００５６】
（Ｓ９）ブロック内処理の終了判定を行う。符号化対象ブロックに含まれる全画素について領域情報を検出したかを判定する。終了していない場合は、ｉ＝ｉ＋１として、Ｓ４に戻る。
【００５７】
（Ｓ１０）ゼロランと符号情報の符号化を行う。先に検出した領域情報ｑm（ｉ）を順番に調べ、０の長さ（ゼロラン）を算出する。このゼロランを符号化する際、正または負の符号情報を持つ場合、ゼロラン符号の後に符号情報を伝送する。
【００５８】
（Ｓ１１）発生符号量を算出する。符号化対象ブロックの発生符号量ｇm（ｊ）（ｊはブロック番号）を算出し、発生符号量Ｇm,tを更新する。
【００５９】
【数４】
Ｇm,t＝Ｇm,t＋ｇm（ｊ）    …（４）
（Ｓ１２）全付加階層の符号化終了判定を行う。符号化対象ブロックについて、全ての付加階層の符号化を終了したかを判定する。終了していない場合は、ｍ＝ｍ＋１として、Ｓ２に戻る。
【００６０】
次に、本実施形態の復号方法の手順を説明する。復号手順の流れ図を図２にステップＳ２１〜Ｓ３０で示す。
【００６１】
（Ｓ２１）基本階層を復号する。ここで、基本階層の復号信号は、Ｓ0（ｉ）とする。
【００６２】
（Ｓ２２）分割比率情報を復号する。分割比率情報の復号結果をαとする。
【００６３】
（Ｓ２３）ゼロラン符号を復号する。ゼロラン符号の復号結果をγとする。
【００６４】
（Ｓ２４）復号対象信号Ｓm-1（ｉ）が有意係数がどうかを調べる。ゼロラン符号の復号結果γと直前まで復号した係数位置ｉを加え（ｉ＝ｉ＋γ）、復号対象信号の位置を求める。そして、直前の上位階層ｍ−１で求めた位置の復号対象信号Ｓm-1（ｉ）が有意係数がどうかを調べる。
【００６５】
（Ｓ２５）復号対象信号Ｓm-1（ｉ）が有意係数の場合、領域分割数＝２で領域情報を算出する。分割比率αに基づき、復号対象信号Ｓｍ（ｉ）の領域情報ｑm（ｉ）を求める。
【００６６】
（Ｓ２６、Ｓ２７）復号対象信号Ｓm-1（ｉ）が非有意係数の場合、領域分割数＝３で領域情報を算出する。このとき、符号情報を復号した後、分割比率αに基づき、復号対象信号Ｓｍ（ｉ）の領域情報ｑm（ｉ）を求める。また、ゼロラン符号の復号結果γが２以上の場合、スキップした復号対象信号の領域情報は、全て０とする。
【００６７】
（Ｓ２８）ブロック内処理の終了判定を行う。符号対象ブロックに含まれる全画素について領域情報を復号したかを判定する。終了していない場合は、ｉ＝ｉ＋１として、Ｓ２３に戻る。
【００６８】
（Ｓ２９）量子化代表値を設定する。復号対象ブロックに含まれる全画素について、復号した領域情報ｑm（ｉ）から、各領域で最も０に近い値を求め、復号信号Ｓm（ｉ）とする。
【００６９】
（Ｓ３０）全付加階層の復号終了判定を行う。復号対象ブロックについて、全ての付加階層の復号処理を終了したかを判定する。終了していない場合は、ｍ＝ｍ＋１として、Ｓ２２に戻る。
【００７０】
上記の例では、分割比率を伝送する方法をとっている。本実施形態では、分割比率を発生符号量と目標符号量から決定している。従って、符号化データに各階層の目標符号量を加えることで、復号側で受信済符号量を基に分割比率の算出が可能となる。分割比率を伝送しない場合、復号側では、「分割比率の復号」の代りに、以下の処理を行う。
【００７１】
・分割比率の算出
復号対象ブロックの分割比率αは、復号対象階層ｍの受信済符号量Ｇm,tと目標符号量Ｔm,tから以下のように算出する。
【００７２】
【数５】
α＝ｍｉｎ（ｍａｘ（Ｇm,t／Ｔm,t，０），１）    …（５）
また、「ゼロラン符号の復号」および「符号情報の復号」では、受信済符号量を算出する。
【００７３】
なお、以上までの符号化方法および復号方法での処理の手順ないし計算アルゴリズムをコンピュータ等に実行させるためのプログラムを該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、ＭＯ、ＣＤ、ＤＶＤなどに記録して配布することが可能である。
【００７４】
【発明の効果】
以上の方法によれば、付加階層の量子化幅を制御することができる。結果として、付加階層の発生符号量を制御できる。
【００７５】
また、目標符号量と発生符号量から分割比率を決定することで、復号側では、目標符号量と受信済の符号量から、分割比率情報を復号すること無く分割比率を算出できる。結果として、分割比率情報による発生符号量の増加を抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す階層符号化方法の流れ図。
【図２】本発明の実施形態を示す階層復号方法の流れ図。
【図３】階層符号化方法におけるビット平面展開を説明する図。
【図４】階層符号化方法におけるビット平面展開の例。
【図５】原信号が存在する領域の分割例。
【図６】基本階層の量子化特性。
【図７】領域情報検出の説明図。
【図８】原信号が存在する領域の分割例。
【図９】符号化データの並び。
【図１】
0003670897.tif 000002
【図２】
0003670897.tif 000003
【図３】
0003670897.tif 000004
【図４】
0003670897.tif 000005
【図５】
0003670897.tif 000006
【図６】
0003670897.tif 000007
【図７】
0003670897.tif 000008
【図８】
0003670897.tif 000009
【図９】
0003670897.tif 000010