(57)【要約】【課題】安価で高速なDCTチップをそのまま使ってロッシー・ロスレス統合符号化を実現する。【解決手段】ブロックと同じ大きさのゼロ行列であるサイド情報ブロックＳxを準備する。リフティング構造の変換処理部２５で、最初のブロックの入力信号Ｘ0をDCT-IIで変換し、サイド情報ブロックＳxをDCT-IIIで変換する。次段のリフティング構造の変換処理部２６で次のブロックの入力信号Ｘ1をDCT-IIで変換し、変換処理部２５のサイド情報ブロックに対応する出力信号をDCT-IIIで変換する。以下順次同様の処理を実行し、各ブロックに対応する入力信号Ｘ0〜Ｘn-1をDCT-IIで変換したＹ0〜Ｙn-1を出力するとともに、サイド情報ブロックＳxを繰り返しDCT-IIIで変換した信号Ｓyを出力する。Ｓyも用いて逆変換するとロスレスとなり、用いないとロッシーとなる。【選択図】図３
2011003946.tif 000002
【特許請求の範囲】
【請求項１】
画像データを所定の画素数を有するｎ個（ｎは２以上の整数）のブロックに分割し、第１番目のブロックの信号に対するタイプ２の離散コサイン変換処理と、前記ブロックと同じ大きさのゼロ行列であるサイド情報ブロックの信号に対するタイプ３の離散コサイン変換処理を、リフティング構造とされた変換処理部で実行し、第１番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第１のステップと、
第ｉ番目（２≦ｉ≦ｎ）のブロックの信号に対するタイプ２の離散コサイン変換処理と、先行するステップからのサイド情報ブロックに対応する出力信号に対するタイプ３の離散コサイン変換処理を、リフティング構造とされた変換処理部で実行し、第ｉ番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第２のステップと、
前記第２のステップを、第２番目のブロックの信号から第ｎ番目のブロックの信号について順次実行する第３のステップとを有することを特徴とする画像符号化方法。
【請求項２】
請求項１に記載の画像符号化方法で符号化されたデータから元の画像データを復元する画像復号化方法であって、
画像データの第ｎ番目のブロックに対応する入力信号に対するタイプ３の離散コサイン変換処理と、サイド情報ブロックの入力信号に対するタイプ２の離散コサイン変換処理を、リフティング構造とされた逆変換処理部で実行し、第ｎ番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第１のステップと、
第ｊ番目（１≦ｊ≦ｎ−１）のブロックに対応する入力信号に対するタイプ３の離散コサイン変換処理と、先行するステップからのサイド情報ブロックに対応する出力信号に対するタイプ２の離散コサイン変換処理を、リフティング構造とされた逆変換処理部で実行し、第ｊ番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第２のステップと、
前記第２のステップを、第（ｎ−１）番目のブロックに対応する入力信号から第１番目ののブロックに対応する入力信号について順次実行する第３のステップとを有することを特徴とする画像復号化方法。
【請求項３】
第１の入力信号に対するタイプ２の離散コサイン変換処理と、第２の入力信号に対するタイプ３の離散コサイン変換処理を実行するリフティング構造とされた変換処理部が複数直列に接続されており、
前記各変換処理部は、その第１の入力信号として画像データを所定の画素数を有するブロックに分割した各ブロックの信号が供給され、その第２の入力信号として、最前段の変換処理部には前記ブロックに対応する大きさのゼロ行列であるサイド情報ブロックの信号が、また、最前段以外の変換処理部にはその前段に位置する変換処理部において前記タイプ３の離散コサイン変換処理がなされた前記サイド情報ブロックに対応する信号が供給されることを特徴とする画像符号化装置。
【請求項４】
前記請求項３記載の画像符号化装置により符号化されたデータから元の画像データを復元する画像復号化装置であって、
第１の入力信号に対するタイプ３の離散コサイン変換処理と、第２の入力信号に対するタイプ２の離散コサイン変換処理を実行するリフティング構造とされた逆変換処理部が複数直列に接続されており、
前記各逆変換処理部は、その第１の入力信号として前記各ブロックに対応する入力信号が供給され、その第２の入力信号として、最前段の逆変換処理部には前記サイド情報ブロックに対応する入力信号が、また、最前段以外の逆変換処理部にはその前段に位置する逆変換処理部においてタイプ２の離散コサイン変換処理がなされた前記サイド情報ブロックに対応する信号が供給されることを特徴とする画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロッシー符号化とロスレス符号化を統合的に扱うことができる画像符号化復号化方法及び装置に関する。
【背景技術】
【０００２】
図１０は、画像の符号化／復号化過程を説明するための図である。
オリジナルデータ（原画像）１０１は、変換部１０２で時間領域のデータから周波数領域のデータに変換された後、符号化部１０３で符号化されバイナリデータ（ビット列）１０４に変換される。符号化されたバイナリデータ１０４の総符号量がオリジナルデータ１０１の総符号量を下回っていれば、画像は圧縮符号化されたことになる。このバイナリデータの形でデータの保存や転送などが行われる。
バイナリデータ１０４を復号するときには、まず、復号化部１０５で前記符号化と逆の過程を行って周波数領域のデータに変換し、逆変換部１０６で該周波数領域のデータを時間領域のデータに変換して、再構成データ（復号画像データ）１０７を得る。
画像データを符号化／復号化したときに、元のデータが完全に復元されるものをロスレス符号化（可逆符号化）、完全に復元されないものをロッシー符号化（非可逆符号化）と呼ぶ。
【０００３】
図１１は、一般的なロッシー画像符号化とロスレス画像符号化について説明するための図である。
ロッシー画像符号化は高圧縮低品質（情報損失有り）な画像符号化方法であり、図示するように、オリジナルデータは、主にフィルタバンクＦＢ（JPEGにおけるDCT（離散コサイン変換）、JPEG2000におけるDWT（離散ウェーブレット変換））という技術で周波数変換された後、ハフマン符号化や算術符号化などにより符号化されてバイナリデータ（ロッシー圧縮データ）とされる。このロッシー画像符号化は、データ圧縮比が高く、インターネットコンテンツなどの、品質よりも容量の少なさや転送速度を重視する分野で使われる。
ロスレス画像符号化は低圧縮高品質（情報損失なし）な画像符号化方法で、図示するように、主に線形予測法（DPCMやLOCO-I）を用いて周波数変換された後、ハフマン符号化や算術符号化により符号化されバイナリデータ（ロスレス圧縮データ）とされる。このロスレス画像符号化は、ロッシー符号化よりもデータ圧縮比が低く、医療や美術などのデータ損失があってはならない分野で主に使われる。
【０００４】
近年、ブロードバンド網の発達やＰＣや携帯電話などの機器の発展・普及によって、高品質なデータが必要とされてきており、ロスレス画像符号化に注目が集まっている一方、ロースペックな機器では転送・処理速度が遅く、まだまだ高圧縮率データが必要とされている。例えば、ハイスペックなパーソナルコンピュータなどのハイエンドの機器に対してはデータ量の多いロスレス圧縮データを送っても問題はないが、携帯電話などのローエンドの機器に対してはデータ量の少ないロッシー圧縮データが求められている。
現在、JPEGなどの世界標準の規格では、図１１に示したように、ロッシー画像符号化とロスレス画像符号化で異なる変換法（ロッシー画像符号化ではフィルタバンク、ロスレス画像符号化では線形予測法）が用いられているため、ロッシーデータとロスレスデータの両方に対応するには、ロッシー圧縮データとロスレス圧縮データの２つの圧縮データを用意しなければならない。
【０００５】
そこで、１つの圧縮データからロッシー・ロスレス両データを生成することのできるロッシー・ロスレス統合画像符号化が近年、注目されている。ロッシー画像符号化で用いられるフィルタバンクにリフティング及びそのリフティングごとの丸め（ラウンディング）処理を適用したリフティングベースフィルタバンク（Lifting-based FB：LBFB）を用いることにより、ロスレス画像符号化を実現することができる。
図１２は、ロッシー・ロスレス統合画像符号化システムについて説明するための図である。図示するように、オリジナルデータは、リフティングベースフィルタバンクＬＢＦＢで周波数変換された後、符号化されてバイナリデータ（ロッシー・ロスレス統合圧縮データ）とされる。その後、符号化されたビットストリームを全て使って復号化・逆変換すればロスレスデータを、任意のビットレートでそのビットストリームを断ち切って復号化・逆変換すればロッシーデータを取得できるためロッシー・ロスレス画像符号化が実現する。すなわち、１つの圧縮データを用意するだけでロッシー符号化とロスレス符号化の両方に対応することができる。代表としてJPEG2000という規格があり、圧縮率や品質ではJPEGよりも優れているが、計算時間やJPEGの広い普及などの問題から、世界的に浸透しているJPEGに取って代わる技術にまではなっていない。
【０００６】
また、同じくリフティングを用いた整数離散コサイン変換（整数DCT、IntDCT）というロッシー・ロスレス画像符号化用変換アルゴリズムがいくつか提案されている（非特許文献１〜１０、特許文献１）。
離散コサイン変換（DCT）は、画像符号化時の変換において最も知られている技術であり、国際標準であるJPEGやMPEGに採用されている。JPEGにおいて、符号化前の変換ではタイプ２のDCT（DCT-II）が用いられ、復号化後の逆変換ではタイプ３のDCT（DCT-III）が用いられる。
タイプ２のDCT（DCT-II）の変換行列のｍ行ｎ列の成分は、次式で表される。
【数１】
2011003946.tif 000003
また、DCT-IIの逆変換であるタイプ３のDCT（DCT-III）は、DCT-IIと転置になる。
【数２】
2011003946.tif 000004
【０００７】
図１３を参照して、リフティングについて説明する。
例えば、次の式（３）の左辺の２×２行列は、右辺に示すリフティング行列に分解することができる。
【数３】
2011003946.tif 000005
【０００８】
図１３は、上記式（３）の行列を変換行列とした場合における、（ａ）通常の変換逆変換処理の場合と、（ｂ）リフティング構造としたときの変換逆変換処理について説明するための図である。
図１３の（ａ）に示すように、式（３）の左辺の変換行列に入力［2 4］T（Tは転置）が入力されたとき、図示するように、出力は［8.6 4.4］Tとなる。この出力［8.6 4.4］Tを量子化すると［9 4］Tとなり、該量子化されたデータ［9 4］Tを逆変換部に入力すると、その出力は図示するように［3 3.4］Tとなって、元のデータ［2 4］Tとは異なるデータが復元される。すなわち、量子化誤差が発生することにより、ロッシーとなる。
図１３の（ｂ）は、前記式（３）の右辺に基づいてリフティング構造とされた変換部である。ここで、図中の○はラウンディング（丸め）操作を意味している。このリフティング構造とされた変換部に入力［2 4］Tを入力すると、その出力は、図示するように［8 4］Tとなる。この出力［8 4］Tをリフティング構造とされた逆変換に入力すると、その出力は、図示するように［2 4］Tとなり、ロスレス変換が実現できる。
このように変換部から整数で出力してやれば、量子化しても誤差が発生しないので、変換前の情報を完全に復元することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３９７９８号公報
【非特許文献】
【００１０】
【非特許文献１】K. Komatsu and K. Sezaki, "Reversible discrete cosine transform", in Proc. of ICASSP 1998, May. 1998.
【非特許文献２】Y. J. Chen, S. Oraintara, and T. Nguyen, "Integer discrete cosine transform (IntDCT)", in Proc. of 2nd ICICS 1999, Dec. 1999.
【非特許文献３】福間慎司, 大山公一, 岩橋政宏, 神林紀嘉, "ロスレスアダマール変換を応用したロスレス８点高速離散コサイン変換", 信学技報, IE99-65, pp.37-44, Oct. 1999.
【非特許文献４】T. D. Tran, "The binDCT: fast multiplierless approximation of the DCT", IEEE Trans. on Signal Process. Lett., vol.7, no.6, pp.141-144, June 2000.
【非特許文献５】K. Komatsu and K. Sezaki, "2D lossless discrete cosine transform", in Proc. of ICIP 2001, Oct. 2001.
【非特許文献６】J. Liang and T. D. Tran, "Fast multiplierless approximations of the DCT with the lifting scheme", IEEE Trans. of Signal Process., vol.49 no.12 pp.3032-3044, Dec. 2001.
【非特許文献７】G. Charith and K. Abhayaratne, "N-pint discrete cosine transform that map integers to integers for lossless image and video coding", in Proc. of PCS 2003, Apr. 2003.
【非特許文献８】S. Chokchaitam, M. Iwahashi, and S. Jitapunkul, "A new unified lossless/lossy image compression based on a new integer DCT", IEICE Trans. Fundamentals, vol.E88-D, no.7, July 2005.
【非特許文献９】L. Wang, J. Wu, L. Jiao, L.Zhang, and G. Shi, "Lossy to lossless image compression based on reversible integer DCT", in Proc. of ICIP 2008, Oct. 2008.
【非特許文献１０】T. Suzuki and M. Ikehara, "Design of block lifting-based discrete cosine transform type-II and IV", Proc. of DSPWS 2009, Jan. 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の整数DCT（非特許文献１〜１０、特許文献１）を用いればロッシー・ロスレス画像符号化は実現することができる。しかしながら、上述の整数DCTは、いずれも、DCTそのものをリフティング構造により実行させるというものであり、DCTを新たに設計し直す必要がある。
JPEGで用いられるDCTが広く研究開発されており、安価で高速なDCTチップが多く存在しているが、上述の整数DCTは、安価で高速なDCTチップをそのまま使うことができないという問題がある。
そこで本発明は、国際標準として最も使われているDCTに注目し、より現実的なロッシー・ロスレス統合符号化を実現することができる画像符号化方法及び装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の画像符号化方法は、画像データを所定の画素数を有するｎ個（ｎは２以上の整数）のブロックに分割し、第１番目のブロックの信号に対するタイプ２の離散コサイン変換処理と、前記ブロックと同じ大きさのゼロ行列であるサイド情報ブロックの信号に対するタイプ３の離散コサイン変換処理を、リフティング構造とされた変換処理部で実行し、第１番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第１のステップと、第ｉ番目（２≦ｉ≦ｎ）のブロックの信号に対するタイプ２の離散コサイン変換処理と、先行するステップからのサイド情報ブロックに対応する出力信号に対するタイプ３の離散コサイン変換処理を、リフティング構造とされた変換処理部で実行し、第ｉ番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第２のステップと、前記第２のステップを、第２番目のブロックの信号から第ｎ番目のブロックの信号について順次実行する第３のステップとを有するものである。
また、本発明の画像復号化方法は、前記画像符号化方法で符号化されたデータから元の画像データを復元する画像復号化方法であって、画像データの第ｎ番目のブロックに対応する入力信号に対するタイプ３の離散コサイン変換処理と、サイド情報ブロックの入力信号に対するタイプ２の離散コサイン変換処理を、リフティング構造とされた逆変換処理部で実行し、第ｎ番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第１のステップと、第ｊ番目（１≦ｊ≦ｎ−１）のブロックに対応する入力信号に対するタイプ３の離散コサイン変換処理と、先行するステップからのサイド情報ブロックに対応する出力信号に対するタイプ２の離散コサイン変換処理を、リフティング構造とされた逆変換処理部で実行し、第ｊ番目のブロックに対応する出力信号とサイド情報ブロックに対応する出力信号を出力する第２のステップと、前記第２のステップを、第（ｎ−１）番目のブロックに対応する入力信号から第１番目のブロックに対応する入力信号について順次実行する第３のステップとを有するものである。
【００１３】
さらに、本発明の画像符号化装置は、第１の入力信号に対するタイプ２の離散コサイン変換処理と、第２の入力信号に対するタイプ３の離散コサイン変換処理を実行するリフティング構造とされた変換処理部が複数直列に設けられており、前記各変換処理部は、その第１の入力信号として画像データを所定の画素数を有するブロックに分割した各ブロックの信号が供給され、その第２の入力信号として、最前段の変換処理部には前記ブロックに対応する大きさのゼロ行列であるサイド情報ブロックの信号が、また、最前段以外の変換処理部にはその前段に位置する変換処理部において前記タイプ３の離散コサイン変換処理がなされた前記サイド情報ブロックに対応する信号が供給されるものである。
さらにまた、本発明の画像復号化装置は、前記画像符号化装置により符号化されたデータから元の画像データを復元する画像復号化装置であって、第１の入力信号に対するタイプ３の離散コサイン変換処理と、第２の入力信号に対するタイプ２の離散コサイン変換処理を実行するリフティング構造とされた逆変換処理部が複数直列に接続されており、前記各逆変換処理部は、その第１の入力信号として前記各ブロックに対応する入力信号が供給され、その第２の入力信号として、最前段の逆変換処理部には前記サイド情報ブロックに対応する入力信号が、また、最前段以外の逆変換処理部にはその前段に位置する逆変換処理部においてタイプ２の離散コサイン変換処理がなされた前記サイド情報ブロックに対応する信号が供給されるものである。
【発明の効果】
【００１４】
本発明の画像符号化復号化方法及び装置によれば、リフティング係数にDCT-IIとDCT-IIIをそのまま用いているため、従来より多く存在している安価で高速なDCTチップをそのまま用いてロッシー・ロスレス画像符号化を実現することができる。
また、その構造の性質から、従来のロスレスDCTよりも高圧縮高品質を実現することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の画像符号化方法における変換部（フィルタバンク）の基本的な構成を説明するための図である。
【図２】ハイブリッドリフティング構造を実際のシステムの変換部に応用するときのシステム構成を示す図であり、（ａ）はリフティング構造を用いない構成、（ｂ）はリフティング構造を用いる構成を示す図である。
【図３】本発明の画像符号化方法における変換部の一構成例を示す図であり、（ａ）はサイド情報ブロックを設けたフィルタバンクの構成、（ｂ）は本発明のサイド情報ブロックを設けリフティング構造とされたフィルタバンクの構成を示す図である。
【図４】本発明の画像復号化方法における逆変換部の一構成例を示す図である。
【図５】本発明の画像符号化復号化方法の２次元同時処理を行う実施の形態の構成を示す図であり、（ａ）は変換処理部の構成、（ｂ）は逆変換処理部の構成を示す図である。
【図６】本発明の画像符号化方法における信号の符号化の一例について説明するための図である。
【図７】本発明の画像符号化復号化方法のロスレス画像符号化に関する特性をシミュレーションした結果を示す図である。
【図８】本発明の画像符号化復号化方法のロッシー画像符号化に関する特性をシミュレーションした結果を示す図である。
【図９】本発明の画像符号化復号化方法と従来提案されているロッシー・ロスレス統合画像符号化法及び従来のDCTを用いた画像符号化法における圧縮率対画質特性のシミュレーション結果を示す図である。
【図１０】画像の符号化／復号化過程を説明するための図である。
【図１１】一般的なロッシー画像符号化とロスレス画像符号化について説明するための図である。
【図１２】ロッシー・ロスレス統合画像符号化システムについて説明するための図である。
【図１３】リフティングについて説明するための図である。
【発明を実施するための形態】
【００１６】
JPEGにおいて、符号化前の変換ではタイプ２のDCT（DCT-II）、復号化後の逆変換ではタイプ３のDCT（DCT-III）が用いられる。本発明では、この２つのタイプのDCTを同時に変換側（及び逆変換側）で用いることで、より効率的なロッシー・ロスレス画像符号化を実現する。
ある正則行列をＴ、単位行列をＩ、ゼロ行列を０とすると、次の式（４）の左辺は、右辺のリフティング行列に分解できることが一般的に知られている。
【数４】
2011003946.tif 000006
ここで、DCT-IIとDCT-IIIの行列をＣIIとＣIIIとすると、ＣII-1＝ＣIIIであるので、
【数５】
2011003946.tif 000007
となる。
本発明の画像符号化方法における変換部では、このリフティング構造を基本的に用いる。これをハイブリッドリフティングと呼ぶ。
【００１７】
図１は本発明の画像符号化方法における変換部（フィルタバンク）の基本的な構成を説明するための図であり、（ａ）は前記式（５）の左辺に対応するフィルタバンクの構成、（ｂ）は前記式（５）の右辺に対応するリフティング構造とされたフィルタバンクの構成を示している。
本発明の画像符号化方法においては、図１の（ａ）に示すように、上側のＭ個の入力信号をタイプ２のDCT（DCT-II）で変換して出力し、下側のＭ個の入力信号をタイプ３のDCT（DCT-III）で変換して出力する変換部（フィルタバンク）を用いる。そして、この変換を、図１の（ｂ）に示すリフティング構造とされたフィルタバンクを用いて実行する。
図１の（ｂ）に示すように、本発明のリフティング構造とされたフィルタバンクは、上側の入力信号と下側の入力信号を入れ替える入替え部１、下側の入力信号をタイプ３のDCTで変換するDCT-III処理部１１、該DCT-III処理部１１の出力信号に対し丸め処理（四捨五入又は切り捨て、以下同じ）を行うラウンディング処理部１２及び該ラウンディング処理部１２の出力信号を前記上側の入力信号から減算する加算部１３からなる第１の処理部２、前記第１の処理部２における加算部１３の出力信号をタイプ２のDCTで変換するDCT-II処理部１４、該DCT-II処理部１４の出力信号に対し丸め処理を行うラウンディング処理部１５及び該ラウンディング処理部１５の出力信号を前記下側の入力信号に加算する加算部１６からなる第２の処理部３、前記第２の処理部３における加算部１６の出力信号をタイプ３のDCTで変換するDCT-III処理部１７、該DCT-III処理部１７の出力信号に対し丸め処理を行うラウンディング処理部１８及び該ラウンディング処理部１８の出力信号を前記第１の処理部１における加算部１３の出力信号から減算する加算部１９からなる第３の処理部４、並びに、前記第３の処理部４における加算部１９の出力信号に対し「−１」を乗算する乗算部５を備え、前記第２の処理部３における加算部１６の出力信号が上側の出力信号として出力され、前記乗算部５の出力信号が下側の出力信号として出力される。
【００１８】
図２は、このようなハイブリッドリフティング構造を実際のシステムの変換部に応用するときのシステム構成を示す図であり、（ａ）はリフティング構造を用いない構成、（ｂ）はリフティング構造を用いる構成を示す。
このシステムにおいては、始めから半分までの入力信号に対してはDCT-IIを用いて周波数領域のデータに変換し、残りの半分の部分の入力信号に対してはDCT-IIIを用いて周波数領域のデータに変換する。
すなわち、図２の（ａ）に示すように、入力信号（オリジナルデータ）が所定の画素数を有するｎ個（ｎは２以上の整数）のブロックで構成されている場合、入力信号の前半に属する第１番目から第ｎ／２番目の各ブロックの信号Ｘ0〜Ｘn/2-1はそれぞれタイプ２のDCT（DCT-II）で変換して対応する各ブロックの出力信号Ｙ0〜Ｙn/2-1とし、入力信号の後半に属する第（ｎ／２＋１）番目から第ｎ番目の各ブロックの信号Ｘn/2〜Ｘn-1は、それぞれタイプ３のDCT（DCT-III）で変換して対応する各ブロックの出力信号Ｙn/2〜Ｙn-1とする。
【数６】
2011003946.tif 000008
【００１９】
図２の（ａ）において破線で囲んで示すように、第１番目のブロックの入力信号Ｘ0に対するDCT-II処理部と第（ｎ／２＋１）番目のブロックの入力信号Ｘn/2に対するDCT-III処理部、第２番目のブロックの入力信号Ｘ1に対するDCT-II処理部と第（ｎ／２＋２）番目のブロックの入力信号Ｘn/2+1に対するDCT-III処理部、・・・のように、前半の１つのブロックの入力信号に対するDCT-II処理部と後半の１つのブロックの入力信号に対するDCT-III処理部を組とし、各組について前記図１に示した方法でリフティング構造とすることにより、図２の（ｂ）に示すリフティング構造とされた構成が得られる。なお、図２の（ｂ）においては、煩雑さを避けるため破線で囲んだ部分２１，２２，・・・の内部の構成を省略して記載しているが、実際には、図２の（ｂ）における破線で囲まれた部分２１，２２，・・・の内部は、前記図１の（ｂ）に示した構成と同じ構成とされている。すなわち、破線で囲まれた部分（変換処理部）２１，２２，・・・の中には、上側の入力信号と下側の入力信号を入れ替える入替え部１、下側の信号をタイプ３のDCTで変換するDCT-III処理部１１、該DCT-III処理部１１の出力に対し丸め処理を行うラウンディング処理部１２及び該ラウンディング処理部１２の出力を前記上側の入力信号から減算する加算部１３からなる第１の処理部２、前記第１の処理部２における加算部１３の出力信号をタイプ２のDCTで変換するDCT-II処理部１４、該DCT-II処理部１４の出力に対し丸め処理を行うラウンディング処理部１５及び該ラウンディング処理部１５の出力を前記下側の入力信号に加算する加算部１６からなる第２の処理部３、前記第２の処理部３における加算部１６の出力信号をタイプ３のDCTで変換するDCT-III処理部１７、該DCT-III処理部１７の出力に対し丸め処理を行うラウンディング処理部１８及び該ラウンディング処理部１８の出力を前記第１の処理部１における加算部１３の出力信号から減算する加算部１９からなる第３の処理部４、並びに、前記第３の処理部４における加算部１９の出力信号に対し「−１」を乗算する乗算部５がそれぞれ設けられており、前記第２の処理部３における加算部１６の出力が上側のサブバンド変換された出力信号Ｙ0，Ｙ1，・・・として出力され、前記乗算部５の出力が下側のサブバンド変換された出力信号Ｙn/2，Ｙn/2+1，・・・として出力される。
【００２０】
しかし、この構造を用いると、通常はDCT-IIのみで構成される変換システムの半分に、DCT-IIIが組み込まれてしまうこととなる。DCT-IIは符号化前の変換で非常に効率的なフィルタであるが、DCT-IIIは単にDCT-IIの逆変換であるので、そのフィルタ特性（ＤＣ漏れ）から非効率な変換になってしまい、画像符号化の変換には向いていない。
【００２１】
そこで、本発明では、前記ブロックと同じ大きさのゼロ行列であるサイド情報ブロック（分割数Ｍ（通常はＭ＝８）に対して、Ｍ×Ｍのゼロ行列）というものを用意する。そのサイド情報ブロックがDCT-IIIの処理を全て請け負うようなシステムとすることで、通常のシステムと同様に、元の信号にはDCT-II処理のみ（但し、丸め誤差は付加される）が行われることになる。
図３は、本発明の画像符号化方法が実行される画像符号化装置の変換部の一構成例を示す図であり、（ａ）はサイド情報ブロックを設けたフィルタバンクの構成を示し、（ｂ）は本発明のサイド情報ブロックを設けリフティング構造とされたフィルタバンクの構成を示す。
【００２２】
リフティング構造とされていないフィルタバンクの場合には、図３の（ａ）に示すように、符号化される画像データをｎ個のブロックに分割した各ブロックの入力信号Ｘ0〜Ｘn-1は、それぞれ、タイプ２のDCT（DCT-II）によりサブバンド変換された出力信号Ｙ0〜Ｙn-1として出力される。また、サイド情報ブロックＳxは、タイプ３のDCT（DCT-III）をｎ回施され、サイド情報ブロックの出力信号Ｓyとして出力される。ただし、この構成においては、サイド情報ブロックＳxはゼロ行列であるため、出力信号Ｓyもゼロ行列となる。
すなわち、この構成による出力信号は次の式で表される。
【数７】
2011003946.tif 000009
【００２３】
図３の（ｂ）は、前記図３の（ａ）のフィルタバンクをリフティング構造で実現した本発明のフィルタバンクの構成を示す図である。
図３の（ａ）中に破線で囲って示した入力信号Ｘ0〜Ｘn-1に対するDCT-II処理部の一つとサイド情報ブロックＳxに対する複数のDCT-III処理部の一つとの組を、前述と同様にリフティング構造とすることにより、図３の（ｂ）に示すリフティング構造とされたフィルタバンクを実現することができる。すなわち、最初のブロックの入力信号Ｘ0とサイド情報ブロックＳxを入力信号とするリフティング構造の変換処理部２５、第２番目のブロックの入力信号Ｘ1と前記変換処理部２５からのサイド情報ブロックに対応する出力信号（下側の出力信号）を入力信号とするリフティング構造の変換処理部２６、第３番目のブロックの入力信号Ｘ2と前記変換処理部２６からのサイド情報ブロックに対応する出力信号を入力信号とするリフティング構造の変換処理部２７、・・・、第ｎ番目のブロックの入力信号Ｘn-1と前段の変換処理部からのサイド情報ブロックに対応する出力信号を入力信号とするリフティング構造の変換処理部２８により構成されており、各リフティング構造の変換処理部２５〜２８の上側の出力は、それぞれサブバンド変換された各ブロックの出力信号Ｙ0〜Ｙn-1とされ、前記最終段の処理部２８の下側の出力信号がサイド情報ブロックの出力信号Ｓyとされる。ここで、破線で囲まれた変換処理部２５〜２８の中は、前記図２の（ｂ）の場合と同様に、前記図１の（ｂ）に示す構成とされている。すなわち、前述した入替え部１、第１の処理部２、第２の処理部３、第３の処理部４及び乗算部５がそれぞれの内部に設けられている。
【００２４】
この構成により、最初に、符号化される画像データを所定の画素数を有するブロックに分割した第１番目のブロックの入力信号Ｘ0に対するタイプ２のDCT処理とサイド情報ブロックＳxに対するタイプ３のDCT処理がリフティング構造とされた変換処理部２５で実行され、続いて、前記画像データの第２番目のブロックの入力信号Ｘ1に対するタイプ２のDCT処理と前記変換処理部２５からのサイド情報ブロックに対応する出力信号に対するタイプ３のDCT処理が変換処理部２６で実行され、以下同様に、第ｉ番目のブロックの入力信号Ｘi-1に対するタイプ２のDCT処理と前段の変換処理部からのサイド情報ブロックに対応する出力信号に対するタイプ３のDCT処理が順次実行され、最後に、第ｎ番目のブロックの入力信号Ｘn-1に対するタイプ２のDCT処理と前段の変換処理部からのサイド情報ブロックに対応する出力信号に対するタイプ３のDCT処理が変換処理部２８で実行される。
この場合の出力信号は次の式により表される。
【数８】
2011003946.tif 000010
この場合には、サイド情報ブロックの入力信号Ｓxがゼロ行列であっても、各変換処理部２５〜２８における処理によりサイド情報ブロックの出力信号Ｓyはゼロではない値となっており、ここにラウンディングエラーが蓄積していることとなる。
【００２５】
次に、上述したリフティング構造の変換部により周波数変換されたデータを逆変換する逆変換部について図４を参照して説明する。図４の（ａ）は、前記図３の（ｂ）に示したリフティング構造の変換部により周波数変換されたデータを逆変換する逆変換部の構成を示す図であり、（ｂ）は該逆変換部中に破線で囲んで示された逆変換処理部３１〜３４の内部構成を示す図である。この逆変換部では、前述した変換部と逆の処理が行われる。すなわち、各ブロックに対応する入力信号Ｙ0〜Ｙn-1に対してそれぞれタイプ３のDCT処理が行われ、サイド情報ブロックに対応する入力信号Ｓyに対してはタイプ２のDCT処理が繰り返し実行される。
【００２６】
図示しない復号化部で復号された各ブロックに対応する入力信号Ｙ0，Ｙ1，Ｙ2，・・・，Ｙn-1及びサイド情報ブロックに対応する入力信号Ｓyがこの逆変換部に入力される。図４の（ａ）に示すように、逆変換部では、まず、画像データの第ｎ番目のブロックの入力信号Ｙn-1とサイド情報ブロックの入力信号Ｓyが破線で囲まれたリフティング構造とされた逆変換処理部３１に入力され、その上側からはタイプ３のDCT処理されたＹn-1の信号が第ｎ番目のブロックの出力信号Ｘn-1として出力され、下側からはタイプ２のDCT処理されたＳyの信号がサイド情報ブロックに対応する信号として出力される。次に、第（ｎ−１）番目のブロックの入力信号Ｙn-2と逆変換処理部３１からのサイド情報ブロックに対応する出力信号が逆変換処理部３１に後続する逆変換処理部に入力され、その上側からはタイプ３のDCT処理されたＹn-2の信号が第（ｎ−１）番目のブロックの出力信号Ｘn-2として出力されるとともに、その下側からタイプ２のDCT処理されたサイド情報ブロックに対応する信号が出力される。以下同様に、第ｊ番目のブロックの入力信号Ｙj-1と前段の逆変換処理部からのサイド情報ブロックに対応する出力信号とが後続する逆変換処理部に入力されて、第ｊ番目のブロックの入力信号Ｙj-1はタイプ３のDCT処理をされて第ｊ番目のブロックの出力信号Ｘj-1とされ、逆変換処理部の下側からはタイプ２のDCT処理されたサイド情報ブロックに対応する出力信号が出力される。このようにして、第２番目のブロックの入力信号Ｙ1と逆変換処理部３２からのサイド情報ブロックに対応する出力信号が逆変換処理部３３に入力され、該逆変換処理部３３の上側から第２番目のブロックの出力信号Ｘ1が出力される。そして、第１番目のブロックの入力信号Ｙ0と逆変換処理部３３からのサイド情報ブロックに対応する出力信号が逆変換処理部３４に入力され、その上側から入力信号Ｙ0をタイプ３のDCT処理した第１番目のブロックに対応する出力信号Ｘ0が出力されるとともに、下側からタイプ２のDCT処理されたサイド情報ブロックの信号がサイド情報ブロックの出力信号Ｓxとして出力される。
【００２７】
図４の（ｂ）は、前記図４の（ａ）における逆変換処理部３１〜３４の内部構成を示す図であり、逆変換処理部３１〜３４はいずれも図４の（ｂ）に示した構成とされている。
この逆変換処理部の構成は、前記図１の（ｂ）に示した変換処理部と逆の処理を行うようになされている。
逆変換処理部は、下側の入力信号（サイド情報ブロックに対応する入力信号又は前段の逆変換処理部からのサイド情報ブロックに対応する出力信号（下側の出力信号））に対して「−１」を乗算する乗算部４１、上側の入力信号（各ブロックに対応する入力信号）をタイプ３のDCTで変換するDCT-III処理部５１、該DCT-III処理部５１の出力信号に対して丸め処理を行うラウンディング処理部５２及び該ラウンディング処理部５２の出力信号と前記乗算部４１の出力信号を加算する加算部５３からなる第１の処理部４２、前記第１の処理部４２における加算部５３の出力信号をタイプ２のDCTで変換するDCT-II処理部５４、該DCT-II処理部５４の出力信号に対して丸め処理を行うラウンディング処理部５５及び該ラウンディング処理部５５の出力信号をこの逆変換処理部への上側の入力信号から減算する加算部５６からなる第２の処理部４３、前記第２の処理部４３における加算部５６の出力信号をタイプ３のDCTで変換するDCT-III処理部５７、該DCT-III処理部５７の出力信号に対して丸め処理を行うラウンディング処理部５８及び該ラウンディング処理部５８の出力信号と前記第１の処理部４２における加算器５３の出力信号とを加算する加算部５９からなる第３の処理部４４、並びに、前記第２の処理部４３における加算部５６の出力信号をこの逆変換処理部の下側の出力信号とし、前記第３の処理部４４における加算部５９の出力信号をこの逆変換処理部の上側の出力信号とする入替え部４５を備えている。
この逆変換処理部における乗算部４１、第１の処理部４２、第２の処理部４３、第３の処理部４４及び入替え部４５により、前記図１の（ｂ）における乗算部１、第３の処理部４、第２の処理部３、第１の処理部２及び入替え部１によりそれぞれ実行された操作が順に打ち消されることとなる。
【００２８】
このような本発明の画像符号化復号化方法及び装置によれば、通常のシステムと同様に、元の信号にはDCT-IIの処理のみ（但し、丸め誤差は付加される）が行われることになる。なお、サイド情報ブロックの情報が余計に付加されることになるが、情報としては極少量であるので、そのまま伝送しても圧縮率になんら影響はない。
また、本発明は画像変換であるので、システムを水平・垂直方向それぞれに対して処理しなければならないが、各リフティングステップの丸め処理前に水平・垂直方向の処理（２次元同時処理）を行うことにより丸め処理の回数を少なくすることができ、丸め誤差を低減することができる。
【００２９】
図５は２次元同時処理を行うようにした本発明の画像符号化復号化方法及び装置の他の実施の形態の構成を示す図であり、（ａ）は変換処理部の構成を示す図、（ｂ）は逆変換処理部の構成を示す図である。
図５の（ａ）に示す変換処理部は、前記図３の（ｂ）における変換処理部２５〜２８に対応するものであり、この変換処理部に対応するブロック（Ｍ×Ｍ画素）の入力信号Ｘkと、Ｍ×Ｍ画素のサイド情報ブロックＳkが入力される。入力された信号は、前述と同様の入替え部６１で入れ替えられ、サイド情報ブロックの信号Ｓkは２次元DCT-III処理部６２でタイプ３の２次元DCT処理され、ラウンディング処理部６３で丸め処理された後、加算部６４で前記入力信号Ｘkから減算される。前記加算部６４の出力信号は、２次元DCT-II処理部６５でタイプ２の２次元DCT処理され、ラウンディング処理部６６で丸め処理された後、加算部６７で前記サイド情報ブロックの信号Ｓkと加算される。この加算器６７の出力信号がこのブロックのサブバンド変換された出力信号Ｙkとなる。また、前記加算器６７の出力信号は２次元DCT-III処理部６８にも入力され、ここでタイプ３の２次元DCT処理された後、ラウンディング処理部６９で丸め処理され、加算部７０で前記加算部６４の出力信号から減算される。該加算部７０の出力信号は、乗算部７１で「−１」と乗算された後、サイド情報ブロックに対応する出力信号Ｓyとして出力される。
このように、この実施の形態の変換処理部は、前記図３の（ｂ）に示した変換処理部と基本的に同様の構成とされているが、DCT処理部６２、６５及び６８が２次元のDCT処理を行うものである点で異なっている。
この構成により出力される信号は次の式で表される。
【数９】
2011003946.tif 000011
【００３０】
図５の（ｂ）は、図５の（ａ）で示した変換処理部で変換された信号を逆変換する逆変換処理部の構成を示す図であり、前記図４における変換処理部３１〜３４に対応するものである。
この図において、８１はサイド情報ブロックの入力信号（又は、前段に位置する変換処理部からの下側の出力信号）Ｓyに「−１」を乗算する乗算部、８２はこの変換処理部に対応するブロックの入力信号Ｙkに対してタイプ３の２次元DCT処理を行う２次元DCT-III処理部、８３は２次元DCT-III処理部８２の出力信号に対して丸め処理を行うラウンディング処理部、８４はラウンディング処理部８３の出力信号と前記乗算部８１の出力信号とを加算する加算部、８５は前記加算部８４の出力信号に対しタイプ２の２次元DCT処理を行う２次元DCT-II処理部、８６は前記２次元DCT-II処理部８５の出力信号に対して丸め処理を行うラウンディング処理部、８７は前記入力信号Ｙkから前記ラウンディング処理部８６の出力信号を減算する加算部、８８は前記加算部８７の出力信号に対してタイプ３の２次元DCT処理を行う２次元DCT-III処理部、８９は前記２次元DCT-III処理部８８の出力信号に対し丸め処理を行うラウンディング処理部、９０は前記ラウンディング処理部８９の出力信号と前記加算部８４の出力信号を加算する加算部、９１は前記加算部９０の出力信号をサイド情報ブロックの出力信号Ｓxとし、前記加算部９０の出力信号をそのブロックの逆変換出力信号Ｘkとして出力する入替え部である。
この逆変換処理部は、前記図４の（ｂ）に関して説明した変換処理部と基本的に同様に構成されているが、前記DCT処理部８２、８５及び８８がいずれも２次元DCT処理を行うものである点で、前記図４の（ｂ）に記載した変換処理部と異なっている。
【００３１】
このように２次元同時処理を行うことの長所の一つは、１処理ごとの丸め処理数が３／２Ｍ個（Ｍは分割数、通常はＭ＝８）と少ない点である。縦方向の処理と横方向の処理を別々に実行する場合の１／２の回数となる。丸め処理の回数が少ないと、ロスレス符号化で問題となる丸め誤差を低減することが可能となる。
【００３２】
図６は、前記図３（ｂ）又は前記図５で変換された信号の符号化の一例について説明する図である。
前述した変換部から出力されるサブバンド変換された信号Ｙk（0≦ｋ≦n-1）は、例えば、多重解像度モードに変換して周知のSPIHT（Set Partitioning in Hierarchical Trees）符号化を用いて符号化処理を行う。また、ラウンディングエラーを含むサイド情報ブロックの信号Ｓyは、そのデータ量が少ないため、符号化を行うこと無くそのまま伝送すればよい。
サイド情報ブロックに対応する信号Ｓyのデータ量は、次式で表される。
【数１０】
2011003946.tif 000012
例えば、画像データが「Barbara」（512×512ピクセル）の場合、Ｍ＝８のときに５１２ビット、Ｍ＝１６のときに１７９２ビットとなる。
【００３３】
このような本発明の画像符号化復号化方法において、サイド情報ブロックを含む符号化された全てのビットストリームを用いて逆変換すれば、ロスレスデータを取得することができる。また、サイド情報ブロックを使わずに、符号化されたビットストリームを任意のビットレートで断ち切って逆変換すれば、ロッシーデータを取得することができる。このように、ロッシー・ロスレス統合画像符号化が達成できる。
本発明の画像符号化復号化方法においては、リフティング係数にDCT-IIとDCT-IIIをそのまま用いている点が最大の長所である。DCT-IIIはDCT-IIの転置であるため、DCT-IIの機構をそのまま用いることができる。従来の整数DCTでは広く開発されている安価で高速なDCTチップを使えなかったが、本発明の整数DCTではリフティング係数そのものに従来のDCTチップを用いることができるため、従来のシステムに組み込み易いアルゴリズムとなっている。
【００３４】
計算機シミュレーションにより、本発明の画像符号化復号化方法の特性を評価した結果について説明する。
図７は、本発明の画像符号化復号化方法のロスレス画像符号化に関する特性を評価した結果を示す図であり、本発明の画像符号化復号化方法と従来より提案されているロッシー・ロスレス統合画像符号化法におけるロスレスビットレート（ロスレス画像符号化を行うために必要な１ピクセルあたりのビット数）のシミュレーション結果を示している。ここでは、各画像は全て512×512ピクセルとし、符号化法としてSPIHTを用い、Ｍ＝８とした。また、Ｋ.[1]、Ｆ.[3]、Ｔ.[4]、Ｃ.[8]及びＳ.[10]は、それぞれ、前述した非特許文献１、非特許文献３、非特許文献４、非特許文献８及び非特許文献１０に記載されたロッシー・ロスレス統合画像符号化方法を用いた場合のシミュレーション結果である。
図７において、四角で囲まれた数字はその画像におけるロスレスビットレートの最小値である。画像「Grass」の場合を除いて、本願発明の方法が最もよい結果を示している。また、「Grass」の場合にも、非特許文献３の場合との差は非常に少ない。このように、本願発明の画像符号化復号化方法は良好なロスレス画像符号化特性を有していることがわかる。
【００３５】
図８は、本発明の画像符号化復号化方法のロッシー画像符号化に関する特性を評価した結果を示す図であり、本発明の画像符号化復号化方法と従来より提案されている前述のロッシー・ロスレス統合画像符号化法において、ビットレートを一定の値としたときのＰＳＮＲ（Peak Signal-to-Noise Ratio：原画像−復号画像間の平均二乗誤差の対数値）のシミュレーション結果を示している。図７の場合と同様に、画像の大きさは５１２×５１２ピクセルとし、SPIHT符号化法を用い、Ｍ＝８とした。また、図８の（ａ）はビットレートを0.25[bpp]とした場合、（ｂ）は0.50[bpp]とした場合を示している。図中、四角で囲まれた数字はその画像におけるPSNR値の最大値である。（ａ）、（ｂ）いずれの場合でも、本発明の画像符号化復号化方法により良い結果が得られていることがわかる。
【００３６】
図９は、本発明の画像符号化復号化方法と従来提案されているロッシー・ロスレス統合画像符号化法及び従来のDCTを用いた画像符号化法におけるビットレート（圧縮率）対PSNR（画質）特性のシミュレーション結果を示す図である。ここで、画像データに「Barbara」（512×512ピクセル）を用いた。図中、Ａは従来のDCTを用いた画像符号化方法、Ｂは前記非特許文献３に記載されたロッシー・ロスレス統合画像符号化法、Ｃは前記非特許文献１０に記載されたロッシー・ロスレス統合画像符号化法、Ｄは本発明の画像符号化復号化方法の場合を示している。
この図に示すように、高ビットレートのときに、本発明の画像符号化復号化方法と従来提案されている統合画像符号化法との間に差が生じており、本発明の画像符号化復号化方法の方がより良いPSNRとなっている。PSNRが垂直になった状態はロスレスになっていることを示しており、従来のDCTを用いた画像符号化方法の場合には、ビットレートが所定値以上のときにPSNR値は一定値に飽和してしまうことがわかる。
【符号の説明】
【００３７】
１：入替え部、２：第１の処理部、３：第２の処理部、４：第３の処理部、５：乗算部、１１：DCT-III処理部、１２：ラウンディング処理部、１３：加算部、１４：DCT-II処理部、１５：ラウンディング処理部、１６：加算部、１７：DCT-III処理部、１８：ラウンディング処理部、１９：加算部、２１，２２，２５，２６，２７，２８：変換処理部、３１，３２，３３，３４：逆変換処理部、４１：乗算部、４２：第１の処理部、４３：第２の処理部、４４：第３の処理部、４５：入替え部、５１：DCT-III処理部、５２：ラウンディング処理部、５３：加算部、５４：DCT-II処理部、５５：ラウンディング処理部、５６：加算部、５７：DCT-III処理部、５８：ラウンディング処理部、５９：加算部、６１：入替え部、６２：２次元タイプ３DCT処理部、６３：ラウンディング処理部、６４：加算部、６５：２次元タイプ２DCT処理部、６６：ラウンディング処理部、６７：加算部、６８：２次元タイプ３DCT処理部、６９：ラウンディング処理部、７０：加算部、７１：乗算部、８１：乗算部、８２：２次元タイプ３DCT処理部、８３：ラウンディング処理部、８４：加算部、８５：２次元タイプ２DCT処理部、８６：ラウンディング処理部、８７：加算部、８８：２次元タイプ３DCT処理部、８９：ラウンディング処理部、９０：加算部、９１：入替え部
【図１】
2011003946.tif 000013
【図２】
2011003946.tif 000014
【図３】
2011003946.tif 000015
【図４】
2011003946.tif 000016
【図５】
2011003946.tif 000017
【図６】
2011003946.tif 000018
【図７】
2011003946.tif 000019
【図８】
2011003946.tif 000020
【図９】
2011003946.tif 000021
【図１０】
2011003946.tif 000022
【図１１】
2011003946.tif 000023
【図１２】
2011003946.tif 000024
【図１３】
2011003946.tif 000025