(57)【特許請求の範囲】
【請求項１】
入力される画像信号を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段により分割される各々のブロックに対応する前記画像信号に対してウェーブレット変換を行うウェーブレット変換手段と、
前記ウェーブレット変換手段により出力されるウェーブレット変換された前記ブロックに対応する画像信号を量子化する量子化手段と、
前記量子化された画像信号に対して、ウェーブレット変換によって生成される同一の周波数帯域の画像信号をさらに複数の小ブロックに分割し、該複数の小ブロックのスキャン順及びそれぞれの小ブロック内のデータのスキャン順を、非ゼロのデータが連続的になるように、適応的に決定し、１次元にデータを並べ替えて出力する適応スキャン手段と、
前記１次元に並べられた画像信号を符号化して出力する符号化手段と、
を備えたことを特徴とする画像符号化装置。
【請求項２】
入力される画像信号に対してウェーブレット変換を行うウェーブレット変換手段と、
前記ウェーブレット変換手段より出力される、ウェーブレット変換されたそれぞれの周波数帯域の画像信号を各ブロックに配分して、複数のブロックを形成するブロック形成手段と、
前記ブロックに形成された画像信号を量子化する量子化手段と、
前記量子化された画像信号をさらに複数の小ブロックに分割し、前記ブロックのそれぞれの小ブロックのスキャン順及びそれぞれの小ブロック内のデータのスキャン順を、非ゼロのデータが連続的になるように、適応的に決定し、１次元にデータを並べ替えて出力する適応スキャン手段と、
前記１次元に並べられた画像信号を符号化して出力する符号化手段と、
を備えたことを特徴とする画像符号化装置。
【請求項３】
請求項１または２に記載の画像符号化装置において、
前記ウェーブレット変換手段は、横方向及び縦方向に分離処理可能な可分式のウェーブレット変換を行うことを特徴とする画像符号化装置。
【請求項４】
請求項１から３のいずれかに記載の画像符号化装置において、
前記適応スキャン手段は、前記量子化された画像信号を少なくとも低周波数ブロック、横方向ブロック、縦方向ブロック、及び斜め方向ブロックに分割し、前記横方向ブロック、縦方向ブロック、及び斜め方向ブロックのスキャン順を、前記低周波ブロックの値によって決定することを特徴とする画像符号化装置。
【請求項５】
請求項４に記載の画像符号化装置において、
前記適応スキャン手段は、前記横方向ブロック、縦方向ブロック、及び斜め方向ブロック内のスキャンに際して、低周波成分の値が非ゼロである場合は前記低周波成分に対応する高周波成分が先にスキャンされるようにスキャン順を決定することを特徴とする画像符号化装置。
【請求項６】
請求項４に記載の画像符号化装置において、
前記適応スキャン手段は、前記横方向ブロック、縦方向ブロック、及び斜め方向ブロック内のスキャンに際して、それぞれの周波数単位でスキャン順を決定することを特徴とする画像符号化装置。
【請求項７】
請求項１から６のいずれかに記載の画像符号化装置において、
前記小ブロックは、２×２のサイズを有することを特徴とする画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の符号化・復号化装置に用いられ、画像符号化の高能率化に関するものである。
【０００２】
【従来の技術】
従来このような分野の技術として例えば、下記の文献に記載されるものがあった。文献名：安田  浩著「MPEG／マルチメディア符号化の国際標準」平成６年９月３０日・丸善株式会社発行、pp.60-75。前記文献には、画像信号（ここで言う画像信号とは、静止画の場合は画像データそのものを指し、動画の場合はフレーム間の差分信号を指す）を符号化する方法が記載されている。
図２は前記文献に記載されている画像符号化装置のブロック図である。この従来の画像符号化装置は、画像信号をｎ×ｎのブロックに分割するブロック分割手段２１と、ブロック単位で離散余弦変換（以下ＤＣＴと記載する）するＤＣＴ手段２２と、ＤＣＴされたブロック信号を量子化する量子化手段２３と、量子化されたブロック信号をあらかじめ決められたスキャン順にスキャンして1次元化するスキャン手段２４と、１次元化された信号を符号化する符号化手段２５とから構成されている。
【０００３】
入力画像信号s20がブロック分割手段２１に接続され、ブロック分割手段の出力s21がＤＣＴ手段２２に接続され、ＤＣＴ手段の出力s22が量子化手段２３に接続され、量子化手段２３の出力s23がスキャン手段２４に接続され、スキャン手段の出力s24が符号化手段２５に接続され、符号化手段の出力s25が出力端子に出力される。
図２の画像符号化装置において、ブロック分割手段２１では、入力される２次元の画像信号をｎ×ｎ（一般的にｎは２のべき乗の正整数である）の小ブロックに分割し、該小ブロックデータを出力する。
【０００４】
ＤＣＴ手段２２では、ブロック分割手段２１より入力されるｎ×ｎのブロックデータｘ(k,l)に対して、(1)式のＤＣＴをし、ＤＣＴ係数F(u,v)s22を出力する。
【０００５】
【数１】
0003635791.tif 000002
【０００６】
量子化手段２３では、入力されるＤＣＴ係数s22に対して、例えば以下のような量子化を行う。直流成分F(0,0)に対しては、(2)式のような量子化をし、その他の成分に対しては、(3)式のような量子化を行う。
ＱＦ＝（Ｆ(0,0)＋４）／８       ・・・(2)
ＱＦ(u,v)＝Ｆ(u,v) ／（２×ｑ）  ・・・(3)
スキャン手段２4では、入力される2次元の量子化出力s23に対して例えば図４のＺＩＧＺＡＧスキャン順に従って順次1次元に出力する。
符号化手段２５では、入力される１次元化された画像信号に対して、連続するゼロの数と非ゼロの値の複合可変長符号化をし、該符号を外部端子に出力する。
【０００７】
【発明が解決しようとする課題】
しかしながら従来の画像符号化装置には、次のような課題があった。２次元のブロックデータを１次元化するスキャン手段は、ＤＣＴなどの変換手段用に開発されているもので、ウェーブレット変換のようなＤＣＴと変換特性が異なる変換法に適用すると符号化効率がかなり低下するという現象が起きる。しかし一方では、ウェーブレット変換は画像の特性を適切に表現でき、画像符号化の効率向上に大きく寄与するとされている。
【０００８】
【課題を解決するための手段】
入力される画像信号をブロックに分割するブロック分割手段と、ブロック分割手段により分割されるブロックに対応する画像信号に対してウェーブレット変換を行うＷＬＴ手段と、ＷＬＴ手段により出力される変換された画像信号を量子化する量子化手段と、量子化された画像信号を非ゼロが連続するようにスキャン順を決定し１次元に並べかえて出力する適応スキャン手段と、１次元に並べられた画像信号を符号化して出力する符号化手段と、を具える。
【０００９】
【発明の実施の形態】
《具体例１》
＜構成＞
以下、本発明による具体例１を図面を参照して詳細に説明する。図１は本発明による具体例１の画像符号化装置のブロック図である。本発明の第１の具体例の画像符号化装置は、ブロック分割手段１１、ＤＣＴと特性が異なる可分式ウェーブレット変換手段１２（以下ＷＬＴ手段と記載する）、量子化手段１３、適応スキャン手段１４、符号化手段１５を備えている。
図１において、入力画像信号s10は、ブロック分割手段１１に接続され、ブロック分割手段の出力s11が、可分式ＷＬＴ手段１２に接続され、可分式ＷＬＴ手段の出力s12が、量子化手段１３に接続され、量子化手段の出力s13が、適応スキャン手段１４に接続され、適応スキャン手段の出力s14が、符号化手段１５に接続され、符号化手段の出力が外部端子に出力される。
【００１０】
＜動作＞
ブロック分割手段１１は前に説明した従来の画像符号化装置のと同様な機能を有し、同じ動作をするため、説明を省略する。
可分式ＷＬＴ手段１２では、ブロック分割手段１１より入力される画像ブロックデータに対して、以下のようにウェーブレット変換を行う。まず、ブロックの横方向のデータに対して、（４）式及び（５）式の１次元のウェーブレットフィルタをかけ、低周波成分Sl+1を先に高周波成分Wl+1を後に並べて出力する。このウェーブレットフィルタ処理を予め決められた回数だけ出力される低周波成分に対して繰り返し行う。ブロックの横方向のすべての１次元データに対してこのウェーブレット変換を行った後に、縦方向に対しても同様な１次元ウェーブレット変換を行う。
【００１１】
【数２】
0003635791.tif 000003
【００１２】
（４）式及び（５）式において、 ｈ(k)及びｇ(k)は、それぞれローパスフィルタ及びハイパスフィルタであり、 ｈ(k)及びｇ(k)のフーリエ変換Ｈ(ω)及びＧ(ω)は、（６）式を満たす。Ｓl及びＷlは、それぞれｌ階層目の低周波成分及び高周波成分を表す。０階層目の低周波成分は入力画像となる。また、ここでは、一例として、０点を中心として−ｎからｍの長さを持つウェーブレットフィルタを用いている。
一例として、前記ウェーブレット変換を横方向及び縦方向をそれぞれ３回繰り返して行った後の画像ブロックの周波数帯域の分割図を図５に示す。
適応スキャン手段１３では、例えば図５のように並べられたウェーブレット変換の出力s12に対して、図６のように、該ブロックを低周波ブロックと、横方向ブロックと、縦方向ブロックと、斜め方向ブロックとに分割する。図６において、ａ〜ｐはそれぞれ２×２の小ブロックを表す。そして、該適応スキャン手段では、
１．低周波ブロックに対して、図７(a)のスキャン順でスキャンし、該スキャンされたデータの値をチェックする。もし２番のデータの値がゼロでなければ、横方向ブロックを先にスキャンする。もし３番のデータがゼロでなければ、縦方向ブロックを先にスキャンする。もし４番のデータがゼロでなければ、斜め方向ブロックを先にスキャンする。このように、非ゼロの値の順、または共にゼロあるいは非ゼロの場合に、横、縦、及び斜めのスキャン順にブロックをスキャンする。
【００１３】
横方向ブロックをスキャンする場合は、以下の各ステップのように動作する。
２．小ブロックｂの最初のデータの値をチェックし、該値が非ゼロであれば、図７(b)の順に小ブロックｂをスキャンし、さもなければ、図７(c)の順にスキャンをする。
３．小ブロックｂの値をチェックし、１あるいは３の値が非ゼロであれば、小ブロックｃをスキャンし、さもなければ、小ブロックｅをスキャンする。
４．小ブロックｃでは小ブロックｂと同様に最初のデータの値をチェックし、該値が非ゼロであれば、図７(b)の順にスキャンし、さもなければ、図７(c)の順にスキャンをする。
５．小ブロックｃの値をチェックし、１または３の値が非ゼロであれば、小ブロックｄを図７(b)の順にスキャンし、２または４の値が非ゼロであれば、小ブロックｄを図７(d)の順にスキャンし、さもなければ、小ブロックｅをスキャンする。
６．前記５において小ブロックｄが先にスキャンされた場合に、次に、小ブロックｅを前記４の小ブロックｃと同様にスキャンし、そして小ブロックｆを前記５の小ブロックｄと同様にスキャンする。
７．前記３において、小ブロックｅが選ばれた場合に、前記３、４、５、６同様に小ブロックｅ、ｆ、ｃ、ｄをそれぞれスキャンする。
【００１４】
縦方向ブロックにおいても、横方向と同様に
８．小ブロックｇの最初のデータの値をチェックし、該値が非ゼロであれば、図７(ａ)の順に小ブロックｂをスキャンし、さもなければ、図７(ｅ)の順にスキャンをする。
９．小ブロックｇの値をチェックし、１あるいは３の値が非ゼロであれば、小ブロックｈをスキャンし、さもなければ、小ブロックｊをスキャンする。
１０．小ブロックｈは小ブロックｇと同様に最初のデータの値をチェックし、該値が非ゼロであれば、図７(ａ)の順にスキャンし、さもなければ、図７(ｅ)の順にスキャンをする。
１１．  小ブロックｈの値をチェックし、１または３の値が非ゼロであれば、小ブロックｉを図７(ａ)の順にスキャンし、２または４の値が非ゼロであれば、小ブロックｉを図７(ｆ)の順にスキャンし、さもなければ、小ブロックｊをスキャンする。
【００１５】
１２．前記５において小ブロックｉが先にスキャンされた場合に、次に、小ブロックｊを前記１０の小ブロックｈと同様にスキャンし、そして小ブロックｋを前記１１の小ブロックｉと同様にスキャンする。
【００１６】
１３．前記９において、小ブロックｊが選ばれた場合に、前記９、１０、１１、１２同様に小ブロックｊ、ｋ、ｈ、ｉをそれぞれスキャンする。
【００１７】
斜め方向ブロックにおいて、
１４．小ブロックｌを図７(a)の順にスキャンする。
１５．小ブロックlの値をチェックし、１あるいは３の値が非ゼロであれば、小ブロックm，ｏ，ｎ，ｐの順に図７(a)のようにスキャンし、さもなければ、小ブロックn，ｐ，ｍ，ｏの順に図７(a)のようにスキャンする。
【００１８】
符号化手段１５では、例えば従来技術の符号化手段２５と同様に連続するゼロの数と非ゼロの値の複合符号化を行い、該符号s15を出力する。ただし、本符号化手段では、横方向、あるいは縦方向、あるいは全ブロックの終了を示す符号を備えている。
【００１９】
＜効果＞
以上説明したように本発明の第１の具体例によれば、可分式ウェーブレット変換後の２次元ブロックデータを低周波ブロックと横方向ブロックと縦方向ブロックと斜め方向ブロックとに分割し、低周波ブロックの値によって適応的に横、縦、斜めのスキャン順を変え、また、それぞれの方向のブロックにおいても、低周波成分の値に応じて高周波成分のスキャン順を変えることによって、非ゼロ間の連続するゼロの数を少なくでき、符号化効率を向上することが出来る。
【００２０】
《具体例２》
＜構成＞
本発明の第２の具体例の画像符号化装置は、本発明の第１の具体例の画像符号化装置において、ブロック分割手段及びウェーブレット変換手段の代わりに、全画像に対してウェーブレット変換を行うウェーブレット手段と、ウェーブレット変換後の画像データを各周波数帯域からピックアップし、図５のような構成のブロックを形成するブロック形成手段と、を備えている。
図１１は、この発明の第２の具体例の画像符号化装置のブロック図である。図１１において、入力画像s40が、ウェーブレット変換手段４１に接続され、ウェーブレット変換手段の出力s41が、ブロック形成手段４２に接続され、ブロック形成手段の出力s42が、量子化手段４３に接続され、量子化手段の出力s43が、適応スキャン手段４４に接続され、適応スキャン手段の出力s44が、符号化手段４５に接続され、符号化手段の出力s45が外部端子に出力される。
【００２１】
＜動作＞
図１１の本発明の第２の具体例の符号化装置において、ウェーブレット変換手段手段４１では、本発明の具体例１と同様なウェーブレット変換を入力される２次元の全画像信号に対して行う。
ブロック形成手段４２では、ウェーブレット変換されたそれぞれの周波数帯域の２次元画像信号のデータを各ブロックに配分し、図５のような構成のブロックを順次形成する。
量子化手段４３及び適応スキャン手段４４及び符号化手段４５はそれぞれ本発明の第１の具体例を同じ動作をする。
【００２２】
＜効果＞
以上説明したように、本発明の第３の具体例によれば、画像符号化装置を図１１のように構成することによって、全画像のウェーブレット変換方式に対しても、効率よく符号化することが出来る。
【００２３】
《具体例３》
＜構成＞
以下、本発明による具体例３を図面を参照して詳細に説明する。本発明の第３の具体例の画像符号化装置は、本発明の第１の具体例及び第２の具体例の画像符号化装置において、可分式ウェーブレット変換手段の代わりに非可分式ウェーブレット変換手段３２を備え、適応スキャン手段３４も非可分式ウェーブレット変換手段に適応するように変えたものである。
【００２４】
＜動作＞
図３は、この発明の第３の具体例の画像符号化装置のブロック図である。図３において、ブロック分割手段３１、及び量子化手段３３、及び符号化手段３５は、図１と同じ動作をするため説明を省略する。
非可分式ＷＬＴ手段３２では、ブロック分割手段３１より入力される画像ブロックデータに対して、以下のようにウェーブレット変換を行う。まず、ブロックの横方向の１次元データに対して、それぞれ（４）式及び（５）式の１次元のウェーブレットフィルタをかけ、低周波成分Sl+1を先に高周波成分Wl+1を後に並べて出力する。そして、縦方向に対しても同様な１次元ウェーブレット変換を行う。これのウェーブレット変換処理を、予め決められた回数だけ２次元の低周波成分に対して繰り返し行う。一例として、前記ウェーブレット変換を３回繰り返して行った後の画像ブロックの周波数帯域の分割図を図８に示す。
適応スキャン手段３４では、例えば図８のように並べられたウェーブレット変換の出力s32に対して、図9のように、該ブロックを低周波ブロックと、横方向ブロックと、縦方向ブロックと、斜め方向ブロックとに分割し、さらに周波数単位の小ブロックに分割する。図9において、 ａ，ｂ，ｄ，ｆはそれぞれ２×２の小ブロックを表し、ｃ，ｅ，ｇはそれぞれ４×４の小ブロックを表す。そして、適応スキャン手段３４では、
１．低周波ブロックに対して、図７(a)のスキャン順でスキャンし、該スキャンされたデータの値をチェックする。もし２番のデータの値がゼロでなければ、横方向ブロックを先にスキャンする。もし３番のデータがゼロでなければ、縦方向ブロックを先にスキャンする。もし４番のデータがゼロでなければ、斜め方向ブロックを先にスキャンする。このように、非ゼロの値の順、または共にゼロあるいは非ゼロの場合に、横、縦、及び斜めのスキャン順にブロックをスキャンする。
【００２５】
横方向ブロックにおいて、
２．小ブロックｂの最初のデータの値をチェックし、該値が非ゼロであれば、図７(b)の順に小ブロックｂをスキャンし、さもなければ、図７(c)の順にスキャンをする。
３．小ブロックｂの値をチェックし、１あるいは３の値が非ゼロであれば、小ブロックｃを図１０(a)の順にスキャンし、さもなければ、小ブロックｃを図１０(ｂ)の順にスキャンする。
【００２６】
縦方向ブロックにおいても、横方向と同様に
４．小ブロックｄの最初のデータの値をチェックし、該値が非ゼロであれば、図７(a)の順に小ブロックｄをスキャンし、さもなければ、図７(e)の順にスキャンをする。
５．小ブロックｄの値をチェックし、１あるいは３の値が非ゼロであれば、小ブロックｄを図１０(c)の順にスキャンし、さもなければ、小ブロックｄを図１０(d)の順にスキャンする。
６．斜め方向のブロックに対しては、小ブロックｆを図７(a)の順にスキャンし、小ブロックｇを図１０(e)の順にスキャンする。
【００２７】
＜効果＞
以上説明したように本発明の第３の具体例によれば、非可分式ウェーブレット変換に対しても具体例１及び具体例２と同様に、２次元ブロックデータを低周波ブロックと横方向ブロックと縦方向ブロックと斜め方向ブロックとに分割し、低周波ブロックの値によって適応的に横、縦、斜めのスキャン順を変え、また、それぞれの方向のブロックにおいても、低周波成分の値に応じて高周波成分のスキャン順を変えることによって、非ゼロ間の連続するゼロの数を少なくでき、符号化効率を向上することが出来る。
【００２８】
【発明の効果】
本発明によれば、入力される画像信号をブロックに分割するブロック分割手段と、ブロック分割手段により分割されるブロックに対応する画像信号に対してウェーブレット変換を行うＷＬＴ手段と、ＷＬＴ手段により出力される変換された画像信号を量子化する量子化手段と、量子化された画像信号を非ゼロが連続するようにスキャン順を決定し１次元に並べかえて出力する適応スキャン手段と、１次元に並べられた画像信号を符号化して出力する符号化手段と、を備えたことよって、ウェーブレット変換符号化の効率を高めることが出来る。
【図面の簡単な説明】
【図１】本発明による具体例１の画像符号化装置のブロック図である。
【図２】従来技術の画像符号化装置のブロック図である。
【図３】本発明による具体例３の画像符号化装置のブロック図である。
【図４】従来技術のスキャン方法の説明図である。
【図５】本発明による具体例１の可分式ＷＬＴ手段の周波数帯域分割図である。
【図６】本発明による具体例１の適応スキャン方式の説明図である。
【図７】本発明による適応スキャン方式における小ブロックスキャンパターン図である。
【図８】本発明による具体例３の非可分式ＷＬＴ手段の周波数帯域分割図である。
【図９】本発明による具体例３の適応スキャン方式の説明図である。
【図１０】本発明による具体例３の適応スキャン方式における小ブロックスキャンパターン図である。
【図１１】本発明による具体例２の画像符号化装置のブロック図である。
【符号の説明】
１１  ブロック分割手段
１２  可分式ＷＬＴ手段
１３  量子化手段
１４  適応スキャン手段
１５  符号化手段
２１  ブロック分割手段
２２  ＤＣＴ手段
２３  量子化手段
２４  スキャン手段
２５  符号化手段
３１  ブロック分割手段
３２  非可分式ＷＬＴ手段
３３  量子化手段
３４  適応スキャン手段
３５  符号化手段
４１  ＷＬＴ手段
４２  ブロック形成手段
４３  量子化手段
４４  適応スキャン手段
４５  符号化手段
【図１】
0003635791.tif 000004
【図２】
0003635791.tif 000005
【図３】
0003635791.tif 000006
【図４】
0003635791.tif 000007
【図５】
0003635791.tif 000008
【図６】
0003635791.tif 000009
【図７】
0003635791.tif 000010
【図８】
0003635791.tif 000011
【図９】
0003635791.tif 000012
【図１０】
0003635791.tif 000013
【図１１】
0003635791.tif 000014