(57)【特許請求の範囲】
【請求項１】
直交変換を用いた非可逆な画像符号化方式により符号化された非可逆ビットストリームに，これを原画像信号へ復元するための充補情報の符号を付加することにより可逆性を実現する段階的可逆画像信号符号化方法において，
前記非可逆ビットストリームを復号し，量子化代表値を得るステップと，
その結果を逆量子化するステップと，
逆量子化した値について逆直交変換を施すステップと，
逆直交変換結果を画像の取り得る値の範囲にクリッピングするステップと，
クリッピングにより得られた整数化処理が施される前の逆直交変換値から原信号値の取る確率密度関数を特定するステップと，
前記確率密度関数により原画像信号から得られる実際の原信号値の生起確率を導出し，その確率区間をエントロピ符号化するステップと，
エントロピ符号化によって得た充補情報を，前記非可逆ビットストリームと多重化し，段階的可逆ビットストリームとして出力するステップとを有する
ことを特徴とする段階的可逆画像信号符号化方法。
【請求項２】
請求項１記載の段階的可逆画像信号符号化方法によって生成された段階的可逆ビットストリームを復号する復号方法であって，
前記段階的可逆ビットストリームを，既存の符号化復号方式で復号するための非可逆ビットストリームの符号と充補情報とに分離するステップと，
分離した非可逆ビットストリームの符号を復号し，量子化代表値を得るステップと，
その結果を逆量子化するステップと，
逆量子化した値について逆直交変換を施すステップと，
逆直交変換結果を画像の取り得る値の範囲にクリッピングするステップと，
クリッピングにより得られた整数化処理が施される前の逆直交変換値から原信号値の取る確率密度関数を特定するステップと，
前記確率密度関数により前記段階的可逆ビットストリームから分離した原画像信号の存在する区間の充補情報をエントロピ復号するステップと，
その区間の中心値を復号画像信号として出力するステップとを有する
ことを特徴とする段階的可逆画像信号復号方法。
【請求項３】
直交変換を用いた非可逆な画像符号化方式により符号化された非可逆ビットストリームに，これを原画像信号へ復元するための充補情報の符号を付加することにより可逆性を実現する段階的可逆画像信号符号化装置において，
前記非可逆ビットストリームを復号し，量子化代表値を得る手段と，
その結果を逆量子化する手段と，
逆量子化した値について逆直交変換を施す手段と，
逆直交変換結果を画像の取り得る値の範囲にクリッピングする手段と，
クリッピングにより得られた整数化処理が施される前の逆直交変換値から原信号値の取る確率密度関数を特定する手段と，
前記確率密度関数により原画像信号から得られる実際の原信号値の生起確率を導出し，その確率区間をエントロピ符号化する手段と，
エントロピ符号化によって得た充補情報を，前記非可逆ビットストリームと多重化し，段階的可逆ビットストリームとして出力する手段とを備える
ことを特徴とする段階的可逆画像信号符号化装置。
【請求項４】
請求項３記載の段階的可逆画像信号符号化装置によって生成された段階的可逆ビットストリームを復号する復号装置であって，
前記段階的可逆ビットストリームを，既存の符号化復号方式で復号するための非可逆ビットストリームの符号と充補情報とに分離する手段と，
分離した非可逆ビットストリームを復号し，量子化代表値を得る手段と，
その結果を逆量子化する手段と，
逆量子化した値について逆直交変換を施す手段と，
逆直交変換結果を画像の取り得る値の範囲にクリッピングする手段と，
クリッピングにより得られた整数化処理が施される前の逆直交変換値から原信号値の取る確率密度関数を特定する手段と，
前記確率密度関数により前記段階的可逆ビットストリームから分離した原画像信号の存在する区間の充補情報をエントロピ復号する手段と，
その区間の中心値を復号画像信号として出力する手段とを備える
ことを特徴とする段階的可逆画像信号復号装置。
【請求項５】
直交変換を用いた非可逆な画像符号化方式により符号化された非可逆ビットストリームに，これを原画像信号へ復元するための充補情報の符号を付加することにより可逆性を実現する段階的可逆画像信号符号化処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記コンピュータを，
前記非可逆ビットストリームを復号し，量子化代表値を得る手段と，
その結果を逆量子化する手段と，
逆量子化した値について逆直交変換を施す手段と，
逆直交変換結果を画像の取り得る値の範囲にクリッピングする手段と，
クリッピングにより得られた整数化処理が施される前の逆直交変換値から原信号値の取る確率密度関数を特定する手段と，
前記確率密度関数により原画像信号から得られる実際の原信号値の生起確率を導出し，その確率区間をエントロピ符号化する手段と，
エントロピ符号化によって得た充補情報を，前記非可逆ビットストリームと多重化し，段階的可逆ビットストリームとして出力する手段
として機能させるためのプログラムを記録した
ことを特徴とする段階的可逆画像信号符号化プログラムの記録媒体。
【請求項６】
請求項１記載の段階的可逆画像信号符号化方法によって生成された段階的可逆ビットストリームを復号する処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記コンピュータを，
前記段階的可逆ビットストリームを，既存の符号化復号方式で復号するための非可逆ビットストリームの符号と充補情報とに分離する手段と，
分離した非可逆ビットストリームを復号し，量子化代表値を得る手段と，
その結果を逆量子化する手段と，
逆量子化した値について逆直交変換を施す手段と，
逆直交変換結果を画像の取り得る値の範囲にクリッピングする手段と，
クリッピングにより得られた整数化処理が施される前の逆直交変換値から原信号値の取る確率密度関数を特定する手段と，
前記確率密度関数により前記段階的可逆ビットストリームから分離した原画像信号の存在する区間の充補情報をエントロピ復号する手段と，
その区間の中心値を復号画像信号として出力する手段
として機能させるためのプログラムを記録した
ことを特徴とする段階的可逆画像信号復号プログラムの記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，高能率可逆画像信号符号化の技術に関するものである。
【０００２】
【従来の技術】
段階的可逆画像信号符号化方法においては，直交変換を用いた画像符号化によるビットストリームを利用し，必要に応じてこれに付加情報を加えることにより，原画像と同一の信号を得ることができるようにしている。この方法は，比較的低いレートの非可逆な画像を得られる一方で，可逆な画像を用いてレタッチ等の編集加工や再符号化を行う場合の画品質劣化をなくすことが可能になるなどの利点がある。
【０００３】
従来の段階的可逆画像信号符号化装置では，例えば図６に示すように，非可逆な方法により符号化された非可逆ビットストリーム１０１を，対応する復号器１０２にて復号し，その復号画像出力と原画像信号１０３との画素毎の差分（原画像画素値−復号画像画素値）を，画素単位差分計算器１０４にて計算し，その値をエントロピ符号化器１０５にてエントロピ符号化し，適宜，原ビットストリームと多重化器１０６にて多重化し，可逆復号可能な段階的可逆ビットストリーム１０７を得ていた。
【０００４】
対応する従来の段階的可逆画像信号復号装置においては，図７に示すように，段階的可逆ビットストリーム２０１の入力ストリームを，分離器２０２にて非可逆符号化ビットストリームと差分情報ビットストリームとに分離し，それぞれ非可逆画像復号器２０３およびエントロピ復号器２０４により復号し，両者を画素単位加算器２０５にて画素単位に加え合わせ，原画像信号と等しい可逆復号信号２０６の出力を得ていた。
【０００５】
【発明が解決しようとする課題】
前節で述べた従来の段階的可逆画像信号符号化方式では，復号画像信号から原画像信号を復元できるような情報（これを充補情報という）を生成する際に，逆直交変換後に小数点以下四捨五入などの（符号化復号方式に依存する）整数化を施した後の値（復号画像信号値）をもとに，充補情報の算出を行うという処理を行っている。ここで実数値の信号（この場合，逆直交変換値）に対して小数点以下の四捨五入を行うことは，±０．５の雑音を重畳させることと等価である。したがって，その雑音を含んだ信号を符号化しなければならず，結果的に充補情報符号量の増大を招くという問題があった。
【０００６】
【課題を解決するための手段】
本発明は，上記課題を解決するため，直交変換を用いた非可逆な画像符号化方式により符号化されたビットストリームに，これを原画像信号へ復元するための充補情報の符号を付加することにより可逆性を実現する段階的可逆画像信号符号化方法において，復号画像信号として，復号画素値を求める最終段階である整数化処理直前の値（逆直交変換値）を用いることを特徴とする。
【０００７】
また，前記段階的可逆画像信号符号化方法に対応する復号方法であって，伝送されたビットストリームから，既存の符号化復号方式で復号するための符号と充補情報とを分離し，前者を非可逆復号し，整数化処理が施される前の逆直交変換値を求め，充補情報を復号し，前記逆直交変換値と充補情報を復号したものとから原画像信号の値を導出することを特徴とする。
【０００８】
本発明は，ハードウェア回路によって実現することができるとともに，以上の符号化処理，復号処理を行うソフトウェアプログラムをコンピュータに実行させることによって実現することもできる。本発明をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができる。
【０００９】
【発明の実施の形態】
最初に，本発明の原理について例を用いて説明する。本発明においては，復号画像信号の値として，整数化される前の逆直交変換直後の値（実数値）を用いる。ただし，この値は画像信号のとる範囲（８ビット画像の場合［０，２５５］）にクリッピングされているものとする。この値と原画像信号の値の二者から充補情報を求める。
【００１０】
以下，８ビット画像を例にとり充補情報符号化を説明する。ある画素位置において，復号画像信号の値（整数化前の値，［０，２５５］にクリッピングされたもの）がｙであるとする。
【００１１】
原画像信号値がｘであり，ｘの確率密度関数がｆy （ｘ）であるとする。つまり，原信号の値が値ｘ（整数値）である確率Ｐx は，
【００１２】
【数１】
0003676651.tif 000002
【００１３】
で表される。ｆy （ｘ）は，ｘ∈［０，２５５］の任意の実数値に対して定義され，それ以外の範囲では，ｆy （ｘ）＝０である。また，
【００１４】
【数２】
0003676651.tif 000003
【００１５】
である。この確率密度関数は，符号化側と復号側で同一に保持している。ここでは，確率密度関数がｙにより一意に定まるものとしているが，ｙの他に，例えば着目画素周囲の画素値等の，符号化器と復号器で共通に持つことができる情報を適宜用い，確率密度関数を特定してもよい。
【００１６】
図１（Ａ）に，本発明によるｙ＝１０．４，ｘ＝１３の場合の符号化の例を示す。ｆy （ｘ）は，このようなｘ＝ｙにピークがある山型の分布をしていることが多い。ただし，本発明は，ｆy （ｘ）の形状に依存するものではない。
【００１７】
ここで，［ｘ−０．５，ｘ＋０．５）の区間を伝送する。これが充補情報に相当し，以下に述べるようにハフマン符号や算術符号等のエントロピ符号化方法により符号化・伝送される。
【００１８】
ハフマン符号化を行う場合には，Ｐ0 ，…，Ｐx ，…，Ｐ255 なる確率に対応するハフマン符号を生成し，Ｐx に当たる符号を出力する。
【００１９】
算術符号化を行う場合には，この区間［ｘ−０．５，ｘ＋０．５）に対応する確率区間，すなわち
【００２０】
【数３】
0003676651.tif 000004
【００２１】
を符号化する。
【００２２】
いずれの符号化であっても復号器では，区間［ｘ−０．５，ｘ＋０．５）が復号できる。この区間に含まれる整数はただ一つであり，区間の中心に位置している。この値が求める原信号の値ｘとなる。
【００２３】
この手法は，ハードウェアあるいはコンピュータ上で稼働するプログラムで実現される。
【００２４】
従来方式による作用と本発明による作用とを比較すると，以下のとおりである。従来の方法は，上記手順においてｙをその小数点以下四捨五入値ｙ’＝↑［ｙ＋０．５］で置換したものと等価である。ただし，↑［ｘ］の表記は，ｘを超えない最大の整数を表す。図６に示した手順は，さらに任意のｙについて確率密度関数ｆy （ｘ）を固定としたものとなる。ｙが整数の場合，ｙ＝ｙ’であるが，一般にｙ≠ｙ’である。
【００２５】
したがって，確率密度関数ｆy （ｘ）が実際の値と異なってしまうための損失が生じる。従来の方法のように，情報源に対し実際の生起確率が反映された符号化を行わない場合，本発明のように正確に生起確率が反映された符号化を行う場合に比べ，必ず符号量は増大する。これを簡単な例でいうと，すべての目が均等の確率で出るサイコロの目それぞれに１／６の確率を割り当て，振って出た目を算術符号化する場合と，１／６以外の非均等な確率を割り当て算術符号化した場合とでは，後者の符号量が必ず大きくなることに例えられる。ここの例では，図１（Ｂ）にハッチングで示した領域の部分の面積がｙの整数化により変化し誤った値となってしまった確率Ｐx を示している。
【００２６】
したがって，従来の方法に比べ，本発明の方法では，常に充補情報の符号量が低減できることになる。
【００２７】
以下，図を用いて静止画像の可逆復号を例にとり，本発明による具体的な実施の形態を説明する。入力として既に非可逆符号化方式により符号化された非可逆ビットストリーム１０および原画像信号１５を用いる。
【００２８】
図２は，本発明による段階的可逆画像信号符号化装置の構成例を示すブロック図である。図３に，その装置の処理の流れを示す。
【００２９】
まず，量子化代表値復号器１１により，入力した非可逆ビットストリーム１０を復号し，量子化代表値を得る（ステップＳ１）。次いで，逆量子化器１２によって逆量子化し（ステップＳ２），この値について，逆直交変換器１３により逆直交変換を施す（ステップＳ３）。これを，クリッピング器１４によって画像の取り得る値の範囲にクリッピングする（ステップＳ４）。
【００３０】
確率密度関数特定器１６は，クリッピングにより得られた値から原信号値ｘの取る確率密度関数を特定する（ステップＳ５）。確率区間符号化器１７は，原画像信号１５から得られる実際の原信号値ｘから確率密度関数によりその生起確率Ｐx を導き（ステップＳ６），その確率区間をエントロピ符号化する（ステップＳ７）。すべての画素について上記処理を行なったかをステップＳ８にて判定し，まだ処理していない画素がある間はステップＳ１へ戻る。最後にエントロピ符号化によって得た充補情報を，多重化器１８にて非可逆ビットストリーム１０と多重化し，段階的可逆ビットストリーム１９として出力し（ステップＳ９），終了する。
【００３１】
図４は，図２に示す段階的可逆画像信号符号化装置によって得られた段階的可逆ビットストリーム１９を復号する段階的可逆画像信号復号装置の構成例を示すブロック図である。図５に，その装置の処理の流れを示す。
【００３２】
まず，分離器２０は，入力した段階的可逆ビットストリーム１９を，非可逆ビットストリーム２１と充補情報符号２２とに分離する（ステップＳ１０）。分離した非可逆ビットストリーム２１は，量子化代表値復号器２３により量子化代表値に復号され（ステップＳ１１），さらに逆量子化器２４による逆量子化（ステップＳ１２），逆直交変換器２５による逆直交変換（ステップＳ１３），クリッピング器２６によるクリッピング（ステップＳ１４）の処理が行われ，その結果から整数化前の復号画像信号が得られる。確率密度関数特定器２７は，これを用いて原画像信号の確率密度関数を特定し（ステップＳ１５），確率区間復号器２８によって，先ほど段階的可逆ビットストリーム１９から分離した充補情報符号２２により原画像信号の存在する区間を復号する（ステップＳ１６）。この区間の中心は整数値となるので，区間中心算出器２９によってそれを求める（ステップＳ１７）。これが原画像信号に相当するので，この結果を可逆の復号画像信号３０として出力する。全画素について以上の処理を行ったかをステップＳ１８にて判定し，まだであればステップＳ１１へ戻り，同様に復号処理を繰り返す。
【００３３】
なお，上記では，静止画像を例として説明したが，本発明を動画像に適用しても同様の効果が得られることは明らかである。
【００３４】
【発明の効果】
以上説明したように，本発明によれば，非可逆な符号化方式により生成されたビットストリームに対して充補情報を付加し原画像信号と同一の画像信号を得る段階的可逆符号化において，充補情報の符号量を常に低減することができる。
【図面の簡単な説明】
【図１】本発明による方法と従来技術とを比較するための図である。
【図２】本発明による符号化装置の構成例を示すブロック図である。
【図３】図２に示す装置の処理の流れを示す図である。
【図４】本発明による復号装置の構成例を示すブロック図である。
【図５】図４に示す装置の処理の流れを示す図である。
【図６】従来の段階的可逆画像信号符号化装置の一例を示す図である。
【図７】従来の段階的可逆画像信号復号装置の一例を示す図である。
【符号の説明】
１０  非可逆ビットストリーム
１１  量子化代表値復号器
１２  逆量子化器
１３  逆直交変換器
１４  クリッピング器
１５  原画像信号
１６  確率密度関数特定器
１７  確率区間符号化器
１８  多重化器
１９  段階的可逆ビットストリーム
２０  分離器
２１  非可逆ビットストリーム
２２  充補情報符号
２３  量子化代表値復号器
２４  逆量子化器
２５  逆直交変換器
２６  クリッピング器
２７  確率密度関数特定器
２８  確率区間復号器
２９  区間中心算出器
３０  復号画像信号（可逆）
【図１】
0003676651.tif 000005
【図２】
0003676651.tif 000006
【図３】
0003676651.tif 000007
【図４】
0003676651.tif 000008
【図５】
0003676651.tif 000009
【図６】
0003676651.tif 000010
【図７】
0003676651.tif 000011