(57)【特許請求の範囲】
【請求項１】
入力多値画像に対して符号化の処理単位となる任意の大きさのブロックに画像を分割する画像ブロック化手段と、前記ブロック化された画像に対して２次元のウェーブレット変換を施して、画像から係数への変換を行う２次元ウェーブレット変換手段と、前記ウェーブレット変換で得られた係数を符号化する順序を、低解像度の画像成分に対する係数を先に、高解像度の画像成分に対する係数を後にする順序に決定する係数順序制御手段と、前記係数順序制御手段で決定された順に並べられた係数を、符号化処理で符号化する単位にブロック分割する係数ブロック化手段と、前記係数ブロック化手段で分割された各係数ブロックに符号化処理を行って、各係数ブロックの符号を生成する係数符号化手段と、前記係数順序制御手段で決定された係数の順序情報を、前記係数符号化手段で生成された符号の列の先頭に挿入し、前記係数の順序情報が挿入された符号の列を、順にまとめて、予め設定した固定符号長の符号量となるように制御する符号量制御手段とを具備し、前記符号量制御手段は、前記符号を順にまとめて１つの符号量とするときに、該まとめた符号の列が前記固定符号長を越える場合には、最終の符号を削除し、前記固定符号長となるまで意味のない符号を出力するよう制御することを特徴とした多値画像の固定長画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の符号化装置に関し、より詳細には、多値画像の固定長画像符号装置に係り、例えば、ディジタル複写機、ファクシミリ、ファイリング装置等に応用して好適なものである。
【０００２】
【従来の技術】
ディジタル機器においては高画質化のために、解像度を高くすることや階調数を多くする等の傾向がある。これらは画像の持つ情報量が多くなることで画質は向上するが、その反面、画像の情報量は多くなるという問題がある。例えば後者の例を挙げると、従来２階調（白または黒）であった画像を白黒２５６階調の画像にすると、情報量は８倍になってしまう。情報量が８倍になると言うことはその画像を記憶するために必要とされる記憶容量も単純に計算すると８倍になってしまい、機器コストが増大するという問題になる。そこで、通常は記憶容量削減のために画像を符号化する方法が適用される。
【０００３】
データ量の多さを解決する方法の１つに多階調画像を効率良く符号化する方法が考えられる。多階調画像（カラー画像も含む）の符号化方式の代表としてはＩＳＯとＩＴＵ−Ｔとで標準勧告されているＪＰＥＧ方式が代表的である。ＪＰＥＧ方式は基本であるＤＣＴ方式とオプションのＤＰＣＭを用いた方式がある。ＤＣＴ方式は人間の視覚特性を利用して画質を損なわない程度に原画の情報量を一部削減して符号化を行う符号化方式（非可逆符号化方式と呼ばれる）であり、ＤＰＣＭ方式は原画の情報量を損なうこと無く符号化を行う符号化方式（可逆符号化方式と呼ばれる）である。ＤＣＴ方式は離散コサイン変換を使って画像情報を周波数情報に変換した後に情報の符号化を行う方式である。一方、ＤＰＣＭ方式は注目画素レベルを周囲画素より予測を行い、その予測誤差を符号化する方式である。
【０００４】
画質重視により符号化を行うのであれば効率の良いＤＣＴ方式を用いるのが良いが、情報の保存性という点ではＤＣＴ方式は非可逆であるために可逆であるＤＰＣＭ方式になる。理想としては可逆で高能率な方式が良いのであるが、現状のＤＰＣＭによる可逆方式ではそれほど大きな効率を得られないという問題があり、パソコン等で使用される比較的階調数の多い多値画像の圧縮にはＤＣＴ方式を使うことが主流になっている。しかし、ＤＣＴ方式は圧縮率を高くすると特有のブロック歪みや輪郭部でモスキートノイズが発生し、画質が極端に劣化する。特に文字画像においてはその傾向が顕著であるために画質的に大きな問題となっている。
【０００５】
上記ＪＰＥＧの持つ欠点を解決するために、ＪＰＥＧ２０００と称する符号化方式が近年、注目されている。ＪＰＥＧ２０００は西暦２０００年に勧告化された新しい符号化方式で、ＪＰＥＧの欠点である低ビットレートでの画質劣化を少なくしたことに加え、実用的な新機能を多数備えている。特に、階層的表示を容易に実現できる点でＪＰＥＧに対して大きなメリットとなっている。ＪＰＥＧ２０００はウェーブレット変換を用いた変換符号化方式で、今後、カラー画像をはじめとする静止画像の分野において、ＪＰＥＧに置き換わっていくだろうと予測されている。しかし、このＪＰＥＧ２０００も万能というわけではなく、規模の大きさや処理速度の点からＪＰＥＧと比べて劣っている点もあるのが事実である。
【０００６】
画像の符号化には符号化後の符号語長から可変長と固定長に大きく分けられる。前者（可変長符号化方式）の特徴は後者（固定長符号化方式）に比べて符号化効率が高い点と可逆も可能である点に対し、後者（固定長符号化方式）の特徴は符号状態で符号化前の画像の位置がわかるために任意の部分の画像のみを再生することが可能である。これらの特徴から前者（可変長符号化方式）はファクシミリのような機器に適しており、後者（固定長符号化方式）は複写機等の画像加工が伴う機器に適している。
【０００７】
ここで複写機等に適している固定長符号化方式について考えると、最も簡単な方法は、１画素に割り当てる符号語長を固定してしまう方法がある。例えば、１画素８ビットである画素に対して１画素２ビットの符号語を当てはめるという方法である。しかし、この方法では画像の持つ部分的な特徴を符号に反映することができない、言い換えれば視覚的に重要である画像領域とそうでない画像領域とを区別できないため、画質的には劣ったものになってしまう。画質を向上しようとすると１画素に割り当てるビット数を多くしなければならず、符号化効率が悪くなると言う問題が発生する。
【０００８】
【発明が解決しようとする課題】
多階調の画像を効率よく符号化する方法の１つにＤＣＴを用いたＪＰＥＧ方式があるが、これは前述したように圧縮率を高くするとブロック歪みや輪郭部でのモスキートノイズが発生する可能性があり、画質的に問題がある。これを解決する方法の１つにＤＣＴではなく、ウェーブレット変換を用いる方法がある。ウェーブレット変換を用いた符号化は、サブバンド符号化とも呼ばれ、入力信号を複数の周波数帯域に分割し、帯域毎の偏りを利用して圧縮率を向上させるものである。ウェーブレット変換の最も大きな特徴はＤＣＴと比べて高画質な点である。画像を固定長に符号化する場合、画素毎に平均して情報量を割り当てるよりも、一定の大きさの領域毎に画像を分割し、分割した領域単位で固定長にして、領域内の画素には重み付けをして情報量を割り当てた方が画素毎の持つ重要度を反映できることになり、画質を向上させることできる。
【０００９】
本発明は、上記の特徴を生かすため、画像を任意の大きさのブロック単位で符号化処理を行うことを基本として、分割されたブロック単位の画像に対してウェーブレット変換を行い、変換後の係数の状態から高画質になるような符号化する係数順序を決定し、決定された順序でブロック化を行った後に符号化を行い、作成された符号量を予め定められた固定長の符号量に制御を行うようにして、符号量が一定になるようにし、かつ、高画質な符号化を可能としたものである。
【００１０】
【課題を解決するための手段】
請求項１の発明は、入力多値画像に対して符号化の処理単位となる任意の大きさのブロックに画像を分割する画像ブロック化手段と、前記ブロック化された画像に対して２次元のウェーブレット変換を施して、画像から係数への変換を行う２次元ウェーブレット変換手段と、前記ウェーブレット変換で得られた係数を符号化する順序を、低解像度の画像成分に対する係数を先に、高解像度の画像成分に対する係数を後にする順序に決定する係数順序制御手段と、前記係数順序制御手段で決定された順に並べられた係数を、符号化処理で符号化する単位にブロック分割する係数ブロック化手段と、前記係数ブロック化手段で分割された各係数ブロックに符号化処理を行って、各係数ブロックの符号を生成する係数符号化手段と、前記係数順序制御手段で決定された係数の順序情報を、前記係数符号化手段で生成された符号の列の先頭に挿入し、前記係数の順序情報が挿入された符号の列を、順にまとめて、予め設定した固定符号長の符号量となるように制御する符号量制御手段とを具備し、前記符号量制御手段は、前記符号を順にまとめて１つの符号量とするときに、該まとめた符号の列が前記固定符号長を越える場合には、最終の符号を削除し、前記固定符号長となるまで意味のない符号を出力するよう制御することを特徴としたものである。
【００１６】
【発明の実施の形態】
多値画像の符号化を行う際に用いられる符号化方式として、サブバンド符号化あるいはウェーブレット符号化と呼ばれるものが知られている。サブバンド符号化は入力信号を複数の周波数帯域に分割し、帯域毎の情報量の偏りを利用して符号化効率を向上させるようにしたものである。また、ウェーブレット符号化はサブバンド符号化において低域側の帯域を再帰的に２分割し、階層化されたサブバンド符号化を行い、サブバンド符号化と同様に帯域毎の情報量の偏りを利用して符号化効率を向上させるようにしたものである。
特にウェーブレット符号化は、多階層にわたる縮小画像が復号時に自然に生成されるため、画像データがピラミッド構造を成し、そのためプログレッシブ（段階的に画質が向上していく）再生表示が可能である。
【００１７】
まず、本発明における符号化方式を具体的に実施したときについて、ファクシミリを例にとって説明する。
図１は、本発明の符号化装置を具体的に実施したときのファクシミリにおけるブロック構成図を示したもので、まず、送信側で画像読取り部１においてＣＣＤイメージセンサ等を用いて原稿を読み取り、続く画像処理部２で送信データを適切なデータにするために処理を行い、最後に符号化部３において符号化を行って作成された符号を伝送路へ送出する。一方、受信側で画像を再生するときは、符号化データを復号部４により復号し、画像処理部５で出力装置に適した画像処理を行い、プロッタ等の画像出力部６に出力することでハードコピーを得る。
【００１８】
なお、画像処理部２，５で行われる処理の例としては、２値画像においては解像度変換、サイズ変換等があり、カラーを含めた多値画像においては色（色成分）変換、解像度変換、サイズ変換等が挙げられる。
また符号化部３、復号部４で使われる符号化方式の例として、２値画像を対象とするものでは従来のファクシミリで使われているＭＨ，ＭＲ，ＭＭＲ方式やＪＢＩＧ方式があり、多値画像を対象とするものではＪＰＥＧ方式がある。
【００１９】
続いて、本符号化装置に適した符号化方式の一例であるＪＰＥＧ２０００符号化方式について簡単に説明する。
図２は、ＪＰＥＧ２０００の機能ブロックを示す。ＪＰＥＧ２０００は変換符号化と呼ばれる方式で、データの流れとしては、変換−量子化−符号化というステップが実行される。変換（Ｓ１）は離散ウェーブレット変換（ＤＷＴ  ：  Ｄｉｓｃｒｅｔｅ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ）が用いられる。ＪＰＥＧの特徴がＤＣＴと言われるように、ＪＰＥＧ２０００の特徴はこのＤＷＴと言っても過言ではない。量子化（Ｓ２）は変換係数に対してスカラー量子化が行われる。エントロピ符号化（Ｓ３）は、ＤＷＴの特性を利用した、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ  ｗｉｔｈ  Ｏｐｔｉｍｉｚｅｄ  Ｔｒｕｎｃａｔｉｏｎ）と称する方式で実行される。
【００２０】
図３は、ＥＢＣＯＴの処理の流れを示す図で、ＥＢＣＯＴの特徴は、各サブバンドを同一サイズにブロック分割して符号化する点と，ポスト処理による符号量制御が可能な点である。処理は大きく、ブロック分割（Ｓ１１）、係数モデリング（Ｓ１２）、算術符号化（Ｓ１３）という処理である。最後に、作成された符号は、符号生成と称する機能ブロック（Ｓ４）で画質と符号量が制御される。以上のような処理によってＪＰＥＧ２０００の符号化が実行される。
【００２１】
次に、ＥＢＣＯＴで用いられている算術符号化方式の原理について簡単に説明する。
算術符号化方式は、従来のランレングス符号化方式（ＭＨ，ＭＲ）よりは一般的に符号化効率が良いものである。その符号化方法は、［０，１］の数直線上の対応区間（２進小数で［０．０・・・・０，０．１・・・・１］）を各シンボルの生起確率に応じて不等長に分割していき、対象シンボル系列を対応する部分区間に割り当て、再帰的に分割を繰り返していくことにより得られた区間内に含まれる点の座標を、少なくとも他の区間と区別できる２進小数で表現してそのまま符号とするものである。
【００２２】
図４は、シンボル系列‘０１００’を例に、算術符号化の概念を説明するための図で、まず、第１シンボルの符号化時には全区間が‘０’と‘１’のシンボルの生起確率比に従ってＡ（０）とＡ（１）に分割され、‘０’の発生により区間Ａ（０）が選択される。次に、第２シンボルの符号化の際にはその状態における両シンボルの生起確率比によってＡ（０）がさらに分割され、発生シンボル系列に対応する区間としてＡ（０１）が選択される。このような分割と選択の処理の繰り返しにより符号化が進んでいくものである。一方、復号では符号化と全く逆の処理を行い、符号が示す２進小数をもとにシンボルを再生するものである。ここで重要なのは、シンボルの符号化を行う際の数直線の幅Ｃであり、この数直線の幅が符号化開始時と復号開始時とで一致しないとシンボルを正確に再現できなくなってしまうということである。普通はこの数直線の幅を符号化側と復号側で１としている。
【００２３】
図５は、本発明における符号化装置の一例を説明するためのブロック図で、
構成としては、入力多値画像に対して符号化の処理単位となる任意形状のブロックに画像を分割する画像ブロック化手段１１、該ブロック化された画像に対して２次元のウェーブレット変換を行う２次元ウェーブレット変換手段１２、該ウェーブレット変換で得られた変換係数の状態から符号化する係数の順序を決定する係数順序制御手段１３、該係数順序制御手段で決定された係数順序で符号化処理用に任意の大きさに係数をブロック分割する係数ブロック化手段１４、該ブロック化された係数毎に係数の符号化を行う係数符号化手段１５、該係数符号化手段で符号化された符号量を制御する符号量制御手段１６から成る。
【００２４】
動作を簡単に説明すると、まず、符号化するために入力された画像は画像ブロック化手段１１に入力され、任意の大きさであるブロック単位の画像に分割される。分割の方法としては様々な方法があるが、回転等の画像処理に適した水平方向の大きさと垂直方向の大きさが同じとなる矩形ブロックにすることが適している。ブロックに分割された画像は符号化処理単位となり、２次元ウェーブレット変換手段１２に入力される。２次元ウェーブレット変換手段１２では、入力された画像に対して２次元のウェーブレット変換処理を施して、画像から係数への変換を行う。
【００２５】
２次元ウェーブレット変換の方法としてはいろいろあるが、一例として、図６に示すようなウェーブレット変換を施すことにより２次元係数を作成するものが挙げられる。なお、１次元のウェーブレット変換を水平方向および垂直方向に対して施すことにより２次元係数を作成するものが一般的であり、図６の例も基本的にはそのようになっている。変換は図７に示すように、低域側の帯域（ＬＬ成分）に対して再帰的に変換を施すことで、係数の階層構造化を図っていく。２次元ウェーブレット変換手段で作成された係数は係数順序制御手段１３に入力され、係数の符号化順序が決定される。
【００２６】
符号化順序の決定方法は、図７に示した階層構造を利用して、低解像度の画像成分に対する係数を先に、高解像度の画像成分に対する係数を後にする方法が一例として挙げられる。具体的には、図７を例にすると、第２階層の係数（２ＬＬ，２ＬＨ，２ＨＬ，２ＨＨ）を先に符号化するようにして、続いて第１階層（１ＬＨ，１ＨＬ，１ＨＨ）を符号化するような順序にすることである。
また、各階層の係数の精度を徐々に向上できるような符号化順序方法というのも考えられる。これは、結果的に画質が徐々に向上する。具体的には、前者のように階層構造を利用するのではなく、各係数の上位ビットの相当する係数部分を先に、下位ビットに相当する部分を後になるような順序にすることである。
さらには、係数順序決定を高速化するため、またはユーザーが任意に制御できるために、予め定められた複数の係数順序表を持ち、順序決定の際には該複数の順序表の中から１つを選択することが考えられる。
【００２７】
係数順序制御手段１３で順序が決定された係数は、決定された順序に基づいて係数ブロック化手段１４に入力され、符号器で符号化する単位にブロック分割される。係数をブロック分割して符号器に入力するのは、ブロック内で符号ビットの配分を適応的に変化させることで圧縮効率を向上させること、符号器で必要とする作業領域を少なくすること、等が主な理由である。
ブロック分割された係数は、続いて係数符号化手段１５に入力され符号化が行われる。ここで行う符号化の例としては先に挙げた算術符号化方式等が挙げられる。係数符号化手段１５で作成された符号は符号量制御手段１６に入力され、符号量の制御が行われる。
【００２８】
符号量の制御方法として、単位あたりの符号量が予め定められた符号長を越える場合には、図８に示すように、最終ブロックの符号を符号列から削除すると共に、予め定められた固定の符号長になるまで意味のない符号を出力する方法が考えられる。この方法は高速に処理できるメリットがある。また、他の方法として、図９に示すように、単位あたりの符号量が予め定められた符号長を越える場合には、最終ブロックの符号を予め定められた符号長に入るように符号を変更する処理を行う方法が考えられる。この方法によれば、割り当てられた符号長における意味のある情報量を増やすことができ、高速かつ画質を向上させることが可能になる。
【００２９】
本発明における符号の構成であるが、復号側で正確に画像を再現するために、符号量制御手段は係数の符号化順序の情報を符号列に挿入し、該情報を含めて予め定められた符号量になるように制御することが考えられる。図示すると、図１０に示すようになり、符号列中に係数の符号化順序を表す情報（ｏｒｄｅｒ）を挿入しておけば、復号側は符号列から符号化順序を把握できるために正確な画像の再現が可能になる。
【００３０】
上述のようにして、本発明は、一定の符号量になるようにしながら符号化を行うのが特徴であり、これによれば、符号量が一定になるという利点を持ちつつ、かつ高画質な符号化が可能になる。また、作成された符号列は再生時に容易に階層的な表示が可能になる。
【００３１】
次に、復号装置の一例について図１１のブロック図を用いて説明する。構成としては、入力される符号列に対して復号処理を行って係数群を再生する係数復号手段２１、入力される符号列から符号化されている係数の順序を決定する復号係数順序決定手段２２、係数復号手段と復号係数順序決定手段の結果を元に変換係数を再生する変換係数再生手段２３、再生された係数に対して符号化時に行われた変換と逆の２次元ウェーブレット変換を施して画像の再生を行う２次元逆ウェーブレット変換手段２４、２次元逆ウェーブレット変換手段で再生された画像から全体の画像を作成する画像再生手段２５から成る。
【００３２】
動作を簡単に説明すると、本発明による符号化装置で作成された符号列が係数復号手段２１および復号係数順序決定手段２２に入力される。係数復号手段２１では符号列から係数の復元が行われる。復号係数順序決定手段２２では復元された係数がどの順序で符号化されたものであるかを判断する。これら２つの情報は変換係数再生手段２３に入力され、画像を正確に再生するための変換係数の再生が行われる。変換係数再生手段で復元された係数は、２次元逆ウェーブレット変換手段２４に入力され、符号化時と逆の変換処理が行われ、画像の再生が行われる。再生された画像はブロック単位の画像となっているため、画像再生手段２５により合成されて全体画像の再生が行われる。
以上のようにして、符号化時の係数順序を理解しながら画像再生することが可能なので、正確に画像の再現が可能になる。
【００３３】
【発明の効果】
本発明による符号化装置では、画像を任意の大きさのブロック単位で符号化処理を行うことを基本として、分割されたブロック単位の画像に対してウェーブレット変換を行い、変換後の係数の状態から高画質になるような符号化する係数順序を決定し、決定された順序でブロック化を行った後に符号化を行い、作成された符号量を予め定められた固定長の符号量に制御を行うので、符号量が一定になるという利点を持ち、かつ高画質な符号化が可能になる。
【００３４】
係数を符号化する順序は任意である方が画質劣化を少なくすることが可能である反面、順序決定の際に処理が複雑になる点や処理速度が低下してしまう恐れがある。そこで、予め代表的な係数の符号化順序を定義しておき、符号化の際にはそれらの中から１つを選択して使用することで高速処理が可能になる。
【００３５】
順次生成されるブロック化された係数単位の符号毎に符号長を越えるかどうか判断し、符号長を越える場合には該符号の前の符号までを有効として、残りの符号は意味のない符号とするので、予め定められた符号長にするのに非常に簡単でかつ高速処理が可能になる。
【００３６】
しかし、最後の符号（残りの符号）を破棄してしまうために損である。そこで、符号長を越える場合には該符号を符号長内に収まる符号語に変更することで、割り当てられた符号長における意味のある情報量を増やすことができ、画質を向上させることが可能になる。
【００３７】
符号列中に係数の符号化順序を表す情報が挿入されているので、復号側は符号列から符号化順序を把握できるために正確な画像の再現が可能になる。
【図面の簡単な説明】
【図１】  本発明の符号化装置を具体的に実施したときのファクシミリにおけるブロック構成図を示したものである。
【図２】  ＪＰＥＧ２０００の機能ブロックを示す図である。
【図３】  ＥＢＣＯＴの処理の流れを示す図である。
【図４】  シンボル系列‘０１００’を例に、算術符号化の概念を説明するための図である。
【図５】  本発明における符号化装置の一例を説明するためのブロック図である。
【図６】  ウェーブレット変換を施して２次元係数を作成する例を示す図である。
【図７】  低域側の帯域（ＬＬ成分）に対して再帰的に変換を施して、係数の階層構造化を図る例を示す図である。
【図８】  単位あたりの符号量が予め定められた符号長を越える場合には、最終ブロックの符号を符号列から削除すると共に、予め定められた固定の符号長になるまで意味のない符号を出力する例を示す図である。
【図９】  単位あたりの符号量が予め定められた符号長を越える場合には、最終ブロックの符号を予め定められた符号長に入るように符号を変更する例を示す図である。
【図１０】  符号列中に係数の符号化順序を表す情報（ｏｒｄｅｒ）を挿入した例を示す図である。
【図１１】  復号化装置の一例を示すブロック図である。
【符号の説明】
１…画像読取り部、２…画像処理部、３…符号化部、４…復号部、５…画像処理部、６…画像出力部、１１…画像ブロック化手段、１２…２次元ウェーブレット変換手段、１３…係数順序制御手段、１４…係数ブロック化手段、１５…係数符号化手段、１６…符号量制御手段、２１…係数復号手段、２２…復号係数順序決定手段、２３…変換係数再生手段、２４…２次元逆ウェーブレット変換手段、２５…画像再生手段。
【図１】
0004137458.tif 000002
【図２】
0004137458.tif 000003
【図３】
0004137458.tif 000004
【図４】
0004137458.tif 000005
【図５】
0004137458.tif 000006
【図６】
0004137458.tif 000007
【図７】
0004137458.tif 000008
【図８】
0004137458.tif 000009
【図９】
0004137458.tif 000010
【図１０】
0004137458.tif 000011
【図１１】
0004137458.tif 000012