(57)【特許請求の範囲】
【請求項１】
入力した波形符号化処理による符号化データに対して復号処理を行って、復号画像データを生成して出力する波形復号処理手段と、
前記復号画像データに対して、逆解像度変換を行うことにより、符号化対象画像データと同じ解像度の復元画像データを復元して出力する逆解像度変換処理手段と、
前記復元画像データに対するテクスチャ分析により、前記復元画像データに対する画素値のヒストグラム及び変換係数のヒストグラムからなるヒストグラム情報を生成して出力するテクスチャ分析処理手段と、
入力したテクスチャ分析に基づく符号化データに対して復号処理を行って、符号化対象画像データに対するヒストグラム情報と前記復元画像データに対するヒストグラム情報の間の差分情報を生成して出力するヒストグラム差分情報復号手段と、
前記差分情報と前記復元画像データに対する前記ヒストグラム情報とを加算処理して、前記符号化対象画像データに対するヒストグラム情報を生成して出力するヒストグラム情報加算処理手段と、
前記符号化対象画像データに対する前記ヒストグラム情報を入力してテクスチャ合成処理を行うことにより、復号画像データを生成して出力するテクスチャ合成処理手段と
を備え、
前記テクスチャ合成処理手段は、
合成すべき合成画像データが得られた段階で、該合成画像データに対してフーリエ変換を適用し、前記合成画像データの周波数成分を算出するとともに、前記復元画像データに対してフーリエ変換を適用し、前記復元画像データの周波数成分を算出し、前記合成画像データの低周波成分を前記復元画像データの低周波成分で置換し、置換後の周波数成分を逆フーリエ変換することによりテクスチャ合成処理を行って前記復号画像データを出力することを特徴とする画像復号装置。
【請求項２】
波形復号処理手段と、逆解像度変換処理手段と、テクスチャ分析処理手段と、ヒストグラム差分情報復号手段と、ヒストグラム情報加算処理手段と、テクスチャ合成処理手段とを備える画像復号装置における画像復号方法であって、
前記波形復号処理手段が、入力した波形符号化処理による符号化データに対して復号処理を行って、復号画像データを生成して出力する波形復号処理ステップと、
前記逆解像度変換処理手段が、前記復号画像データに対して、逆解像度変換を行うことにより、符号化対象画像データと同じ解像度の復元画像データを復元して出力する逆解像度変換処理ステップと、
前記テクスチャ分析処理手段が、前記復元画像データに対するテクスチャ分析により、前記復元画像データに対する画素値のヒストグラム及び変換係数のヒストグラムからなるヒストグラム情報を生成して出力するテクスチャ分析処理ステップと、
前記ヒストグラム差分情報復号手段が、入力したテクスチャ分析に基づく符号化データに対して復号処理を行って、符号化対象画像データに対するヒストグラム情報と前記復元画像データに対するヒストグラム情報の間の差分情報を生成して出力するヒストグラム差分情報復号ステップと、
前記ヒストグラム情報加算処理手段が、前記差分情報と前記復元画像データに対する前記ヒストグラム情報とを加算処理して、前記符号化対象画像データに対するヒストグラム情報を生成して出力するヒストグラム情報加算処理ステップと、
前記テクスチャ合成処理手段が、前記符号化対象画像データに対する前記ヒストグラム情報を入力してテクスチャ合成処理を行うことにより、復号画像データを生成して出力するテクスチャ合成処理ステップと
を有し、
前記テクスチャ合成処理ステップでは、
合成すべき合成画像データが得られた段階で、該合成画像データに対してフーリエ変換を適用し、前記合成画像データの周波数成分を算出するとともに、前記復元画像データに対してフーリエ変換を適用し、前記復元画像データの周波数成分を算出し、前記合成画像データの低周波成分を前記復元画像データの低周波成分で置換し、置換後の周波数成分を逆フーリエ変換することによりテクスチャ合成処理を行って前記復号画像データを出力することを特徴とする画像復号方法。
【請求項３】
コンピュータを、請求項１に記載の画像復号装置として機能させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置、画像復号方法及び画像復号プログラムに関する。
【背景技術】
【０００２】
ＡＶＣ／Ｈ．２６４に代表される現行の符号化方式においては、フレーム内予測、フレーム間予測および階層間予測によって予測信号を生成し、予測信号と原信号の残差信号を符号化対象としている。こうした従来の符号化方式では、原信号波形の正確な再現を目的としている。
【０００３】
しかし、こうした従来の符号化方式では、波形再現の枠組みのもと、量子化により符号量を制御していたため、低レートでは、ブロック歪み、リンギングといった画質劣化が顕在化する。また、その予測処理は復号信号を参照するため、低レートでは、劣化した復号信号を参照することになるため、ある一定以上の高周波成分を予測することは不可能となる。
【０００４】
このため、高周波成分を多く含む画像に対しては、予測性能は低下する。例えば、こうした低レートにおける画質劣化は、フレーム間予測の場合、剛体移動モデルの成立しない水面等のシーンにおいて顕著であり、フレーム内予測・階層間予測の場合、精細な絵柄のテクスチャ領域において顕著となる。
【０００５】
これに対し、テクスチャ合成と呼ばれる手法が検討されている。付与されたデータ（これをシードと呼ぶ）を用いて、予め定められた生成規則に基づき、画像を合成する技術である。テクスチャ合成では、原信号の正確な波形再現を追求するのではなく、原信号内のテクスチャの特徴量を再現対象とする点が、従来の符号化方式とは異なる。テクスチャ合成の方法としては、例えば、非特許文献１の方法がある。
【０００６】
この方法では、テクスチャ合成処理は、方向性フィルタバンクから出力された係数のヒストグラムをテクスチャの特徴量として用いる。また、一般に、テクスチャ合成で使用するシードのデータ量は、原信号のデータ量に比べて、極めて少なく抑えることが可能である。このため、テクスチャ合成の画像符号化への適用が期待される。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】D.Heeger and J. Bergeny. Pyramid-based texture analysis/synthesis. In Proc ACM SIGGRAPH 95, 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、テクスチャ合成によって生成された信号は、波形再現という観点からは原信号との類似度は保証されない。これは、画像中の位相情報を保持する保証はないためである。このため、原画像との比較を前提として、主観的に原信号に近い画質の信号を得ることが求められる場合には、単純に適用しても、その要求に応えることができないという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、従来の波形再現ベースの符号化方式に代わる手法として、テクスチャ合成技術に基づき主観的に原信号に近い画質の信号を生成することができる低レートの符号化方式を用いて符号化した符号化データを復号する画像復号装置、画像復号方法及び画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、入力した波形符号化処理による符号化データに対して復号処理を行って、復号画像データを生成して出力する波形復号処理手段と、前記復号画像データに対して、逆解像度変換を行うことにより、符号化対象画像データと同じ解像度の復元画像データを復元して出力する逆解像度変換処理手段と、前記復元画像データに対するテクスチャ分析により、前記復元画像データに対する画素値のヒストグラム及び変換係数のヒストグラムからなるヒストグラム情報を生成して出力するテクスチャ分析処理手段と、入力したテクスチャ分析に基づく符号化データに対して復号処理を行って、符号化対象画像データに対するヒストグラム情報と前記復元画像データに対するヒストグラム情報の間の差分情報を生成して出力するヒストグラム差分情報復号手段と、前記差分情報と前記復元画像データに対する前記ヒストグラム情報とを加算処理して、前記符号化対象画像データに対するヒストグラム情報を生成して出力するヒストグラム情報加算処理手段と、前記符号化対象信号に対する前記ヒストグラム情報を入力してテクスチャ合成処理を行うことにより、復号画像データを生成して出力するテクスチャ合成処理手段とを備え、合成画像データの低周波成分を前記復元画像データの低周波成分で置換し、置換後の周波数成分を逆フーリエ変換して得られる画像データを前記テクスチャ合成処理の対象とすることを特徴とする。
【００１１】
本発明は、波形復号処理手段と、逆解像度変換処理手段と、テクスチャ分析処理手段と、ヒストグラム差分情報復号手段と、ヒストグラム情報加算処理手段と、テクスチャ合成処理手段とを備える画像復号装置における画像復号方法であって、前記波形復号処理手段が、入力した波形符号化処理による符号化データに対して復号処理を行って、復号画像データを生成して出力する波形復号処理ステップと、前記逆解像度変換処理手段が、前記復号画像データに対して、逆解像度変換を行うことにより、符号化対象画像データと同じ解像度の復元画像データを復元して出力する逆解像度変換処理ステップと、前記テクスチャ分析処理手段が、前記復元画像データに対するテクスチャ分析により、前記復元画像データに対する画素値のヒストグラム及び変換係数のヒストグラムからなるヒストグラム情報を生成して出力するテクスチャ分析処理ステップと、前記ヒストグラム差分情報復号手段が、入力したテクスチャ分析に基づく符号化データに対して復号処理を行って、符号化対象画像データに対するヒストグラム情報と前記復元画像データに対するヒストグラム情報の間の差分情報を生成して出力するヒストグラム差分情報復号ステップと、前記ヒストグラム情報加算処理手段が、前記差分情報と前記復元画像データに対する前記ヒストグラム情報とを加算処理して、前記符号化対象画像データに対するヒストグラム情報を生成して出力するヒストグラム情報加算処理ステップと、前記テクスチャ合成処理手段が、前記符号化対象信号に対する前記ヒストグラム情報を入力してテクスチャ合成処理を行うことにより、復号画像データを生成して出力するテクスチャ合成処理ステップとを有し、合成画像データの低周波成分を前記復元画像データの低周波成分で置換し、置換後の周波数成分を逆フーリエ変換して得られる画像データを前記テクスチャ合成処理の対象とすることを特徴とする。
【００１２】
本発明は、画像復号装置上のコンピュータに画像復号処理を行わせる画像復号プログラムであって、入力した波形符号化処理による符号化データに対して復号処理を行って、復号画像データを生成して出力する波形復号処理ステップと、前記復号画像データに対して、逆解像度変換を行うことにより、符号化対象画像データと同じ解像度の復元画像データを復元して出力する逆解像度変換処理ステップと、前記復元画像データに対するテクスチャ分析により、前記復元画像データに対する画素値のヒストグラム及び変換係数のヒストグラムからなるヒストグラム情報を生成して出力するテクスチャ分析処理ステップと、入力したテクスチャ分析に基づく符号化データに対して復号処理を行って、符号化対象画像データに対するヒストグラム情報と前記復元画像データに対するヒストグラム情報の間の差分情報を生成して出力するヒストグラム差分情報復号ステップと、前記差分情報と前記復元画像データに対する前記ヒストグラム情報とを加算処理して、前記符号化対象画像データに対するヒストグラム情報を生成して出力するヒストグラム情報加算処理ステップと、前記符号化対象信号に対する前記ヒストグラム情報を入力してテクスチャ合成処理を行うことにより、復号画像データを生成して出力するテクスチャ合成処理ステップとを行わせ、合成画像データの低周波成分を前記復元画像データの低周波成分で置換し、置換後の周波数成分を逆フーリエ変換して得られる画像データを前記テクスチャ合成処理の対象とすることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、主観画質は保持しつつ、符号量を削減した符号化データの復号を実現できるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による符号化装置の構成を示すブロック図である。
【図２】図１に示すテクスチャ分析処理部１０５、テクスチャ分析処理部１０６の構成を示すブロック図である。
【図３】図１に示す符号化装置の動作を示すフローチャートである。
【図４】本発明の一実施形態による復号装置の構成を示すブロック図である。
【図５】図４に示すテクスチャ合成処理部２０９の構成を示すブロック図である。
【図６】図１に示す復号装置の動作を示すフローチャートである。
【図７】ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換の分析フィルタの構成例を示す説明図である。
【図８】画像伝送システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の一実施形態による画像符号化装置及び画像復号装置を説明する。始めに、本発明における画像符号化装置及び画像復号装置の処理動作原理について説明する。テクスチャ合成のみでの波形再現は、その処理の構造上、限界がある。これは、テクスチャ合成では、画像内の位相情報が保持されないためである。本発明では、従来の波形再現ベースの符号化方式とテクスチャ合成を組み合わせ、両者の苦手とした部分を互いの長所で補い合うようにする。そのために、画像信号を波形の概形を表す成分（構造成分）とそれ以外の成分（テクスチャ成分）に分割し、構造成分に対して波形再現ベースの符号化を適用し、テクスチャ成分に対してテクスチャ分析・テクスチャ合成による符号化を適用する。
【００１６】
以下、符号化処理の流れを説明する。まず、画像信号（Ｘ×Ｙ画素）を入力として、解像度変換処理により、Ｘ’×Ｙ’画素の縮小画像信号へ変換する。ここで、Ｘ’，Ｙ’はＸ’≦Ｘ、Ｙ’≦Ｙを満たす整数である。解像度変換処理としては、空間フィルタとサブサンプリングを用いる。ここで用いる空間フィルタは、分離型フィルタと非分離型フィルタに大別できる。分離型フィルタは係数を（ａ−Ｎ，ａ−Ｎ＋１，・・・，ａＮ−１，ａＮ）とする２Ｎ＋１タップのフィルタを水平方向、垂直方向に独立に処理するフィルタである。非分離型フィルタは、
【数１】
0005700666.tif 000002
として規定される２Ｎ＋１×２Ｎ＋１タップの２次元フィルタを対象信号に適用する。サブサンプリングは、解像度比ｒに応じて、信号をｒ画素毎に間引く処理である。
【００１７】
解像度変換処理の出力として得られた縮小画像信号が、本発明における構造成分である。そこで、構造成分である画像信号（Ｘ’×Ｙ’画素）に対して、波形符号化処理を行い、符号化ストリームを出力する。波形符号化処理としては、例えば、ＡＶＣ／Ｈ．２６４準拠の符号化方式を用いるが、波形符号化処理をＡＶＣ／Ｈ．２６４に限定するものではなく、ＪＰＥＧ，ＪＰＥＧ２０００，ＭＰＥＧ−２といった方法を用いることも可能である。
【００１８】
波形符号化処理の出力として得られた符号化ストリームに対して、ＡＶＣ／Ｈ．２６４が規定する復号処理を行い、復号信号を得る。符号化方式としてＡＶＣ／Ｈ．２６４以外の方法（ＪＰＥＧ，ＪＰＥＧ２０００，ＭＰＥＧ−２等）を用いた場合は、対応する復号処理を行う。復号処理の出力として得られた復号信号（Ｘ’×Ｙ’画素）を低解像度構造成分復号信号と呼ぶ。低解像度構造成分復号信号に対して、逆解像度変換処理を行い、原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）得る。この結果、得られる信号を構造成分復号信号と呼ぶ。
【００１９】
次に、原信号と構造成分復号信号との差分信号に対する符号化処理について説明する。まず、原信号と構造成分の復号信号（Ｘ×Ｙ画素）との差分信号を算出する。この差分信号が、本手法におけるテクスチャ成分となる。符号化の順序としては、構造成分の復号信号を得た後、テクスチャ成分に対する符号化処理に移行する。テクスチャ成分の表現する情報として、以下の２種類のヒストグラムを生成する。一つが、原信号のヒストグラム（画素値ヒストグラムと呼ぶ）である。もう一つが、原信号に対するＳｔｅｅｒａｂｌｅｐｙｒａｍｉｄ変換（文献：E. P. Simoncelli and W. T Freeman. The steerable pyramid: A exible architecture for multi-scale derivative computation. In IEEE Int'l Conf. on Image Processing, Oct. 199. 10参照）により得られる変換係数に対するヒストグラム（変換係数ヒストグラムと呼ぶ）である。なお、Ｓｔｅｅｒａｂｌｅｐｙｒａｍｉｄ変換の具体的アルゴリズムは、後述する。このテクスチャ成分を表現するための情報（前述のヒストグラム）を生成する処理をテクスチャ分析処理と呼ぶ。
【００２０】
生成されたヒストグラムの符号化については以下のように行う。まず、原信号に対して、前述の２種類のヒストグラムを生成し、次に、構造成分復号信号に対しても同様に、前述の２種類のヒストグラムを生成する。原信号のヒストグラムと構造成分復号信号のヒストグラムの差分を計算し、同差分を符号化対象とする。構造成分は、原信号に含まれる情報の一部であることから、ヒストグラムに関しても、構造成分と原信号では重複した情報が存在する。そこで、両者のヒストグラム間の差分を符号化対象とすることで、原信号のヒストグラムを、そのまま符号化対象とした場合に比べて、符号量を低減することが可能となる。
【００２１】
次に、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換について説明する。Ｓｔｅｅｒａｂｌｅｐｙｒａｍｉｄ変換は、方向性フィルタバンクの一種であり、方向数と分解レベルにより出力が規定される。原信号を２Ｊ×２Ｊ画素として、方向数Ｍと分解レベルＪｍａｘのＳｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を行う場合、第ｊ分解レベル（０≦ｊ≦Ｊｍａｘ−１）においては、Ｍ種類の方向成分を有し、各方向成分が２Ｊ−ｊ×２Ｊ−ｊ個の変換係数を有する。なお、最上位の分解レベルｊ＝Ｊｍａｘにおいては、方向成分に関する分割はなく、２Ｊ−Ｊｍａｘ×２Ｊ−Ｊｍａｘ個の変換係数を有する。また、上記とは別に、高周波成分として、２Ｊ×２Ｊ個の変換係数を有する。
【００２２】
また、変換係数は実数値で表現されているため、分解レベル毎の各方向成分を予め与えられた量子化幅Ｋで量子化し、量子化後の変換係数に対するヒストグラムをテクスチャ分析情報とする。例として、図７に、Ｍ＝２，Ｊｍａｘ＝１とした場合のｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換の分析フィルタの構成例を示す。図７は、ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換の分析フィルタの構成例を示す図である。このフィルタは、高域通過フィルタ６０１、低域通過フィルタ６０２、第一方向成分通過フィルタ６０３、第二方向成分通過フィルタ６０４、低域通過フィルタ６０５及びダウンサンプル６０６によって構成する。分解レベルを増やす場合は、サブサンプリング後の信号に対して、破線で囲んだ部分の処理を再帰的に繰り返す。
【００２３】
ここで、ヒストグラムの表現方法について整理する。
ヒストグラムをｈＢ［ｉ］（ｉ＝０，・・・，Ｂ−１）と表した場合、ｈＢ［ｉ］は、対象となる信号値がｉとなるサンプルの個数を格納する。このとき、Ｂをヒストグラムのｂｉｎ数と呼び、ｈＢ［ｉ］を第ｉ番目のｂｉｎの頻度値を表すものとする。
【００２４】
Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換の変換係数に対するヒストグラムに対しても、解像度変換後の画像の電力に基づき、ヒストグラムのｂｉｎ数を制限する。具体的には、同電力が小さくなるにつれて、ヒストグラムのｂｉｎ数を小さく設定する。これは、変換前の信号の周波数成分と解像度変換に用いるフィルタの周波数特性に応じて、変換係数に必要なビット深度も変化することを考慮すると、変換係数のヒストグラムのｂｉｎ数を常に一定に保つことは、解像度変換後の画像の電力が小さな場合、変換係数に対して冗長な表現を与える可能性があるためである。
【００２５】
Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換における第ｊ分解レベル（０≦ｊ≦Ｊｍａｘ−１）における第ｍ（ｍ＝０，・・・，Ｍ−１）方向成分の変換係数に対するヒストグラムをＬ（ｊ，ｍ）Ｂδ［ｉ］（ｉ＝０，・・・，２２（Ｊ−ｊ）−１）とする。
【００２６】
なお、前述の通り、最上位の分解レベルｊ＝Ｊｍａｘにおいては、方向成分に関する分割はなく、ｍ＝０に対応するヒストグラムに限定される。また、上記とは別に、高周波成分として、２Ｊ×２Ｊ個の変換係数を有するため、この高周波成分を格納するヒストグラムを、ＨＪ［ｉ］（ｉ＝０，・・・，２２Ｊ−１）とする。
【００２７】
第ｊ分解レベル（０≦ｊ≦Ｊｍａｘ−１）における第ｍ（ｍ＝０，・・・，Ｍ−１）方向成分の変換係数に対するヒストグラムをＬ（ｊ，ｍ）Ｂδ［ｉ］（ｉ＝０，・・・，２２（Ｊ−ｊ）−１）とすることは、実数値で表現された変換係数をＢ種類の離散値で近似することになる。この離散化の際、用いる量子化幅をｑｊ，ｍ、第ｊ分解レベル（０≦ｊ≦Ｊｍａｘ−１）における第ｍ（ｍ＝０，・・・，Ｍ−１）方向成分の変換係数ｃｊ，ｍ［ｋ］（ｋ＝０，・・・，２２（Ｊ−ｊ）−１）とすると、この離散化に伴う近似誤差Ｅ（ｊ，ｍ）Ｂδは、次式のように表せる。
【数２】
0005700666.tif 000003
【００２８】
「ｘ」は実数ｘに対する小数点以下の切捨てを意味する。また、高周波成分に対する近似誤差を、便宜上、以下のように表す。
【数３】
0005700666.tif 000004
【００２９】
なお、ここで用いたｍ＝Ｍは方向成分を同定するためではなく、高周波成分を表すインデックとして用いている。
【００３０】
全分解レベルの全方向成分に対する近似誤差の和として、次式を定義する。
【数４】
0005700666.tif 000005
【００３１】
ｂｉｎ数の増加に対して、近似誤差和Ｅｔｏｔａｌ（Ｂδ）は単調減少となる。
そこで、ｂｉｎ数の設定の際には、式（２）に対する閾値Ｔを設定し、ｂｉｎ数の候補となる値を複数用意し、同候補に含まれる値の中で次式を満たす最小の値をｂｉｎ数とする。
Ｅｔｏｔａｌ（Ｂδ）≦Ｔ
【００３２】
以下では、復号処理の流れを説明する。復号処理では、２種類の符号化情報を入力とする。まず、波形符号化処理の出力として得られた符号化ストリームに対して、対応する復号処理を行い、復号信号を得る。復号処理の出力として得られた復号信号（Ｘ’×Ｙ’画素）に対して、逆解像度変換処理を行い、構造成分の復号信号（Ｘ×Ｙ画素）を得る。
【００３３】
次に、テクスチャ分析情報を入力として、以下のテクスチャ合成の方法に基づき、テクスチャ情報を復号する。テクスチャ合成には、非特許文献１の方法をベースに、構造成分の復号信号を利用した方法を使用する。非特許文献１の方法では、テクスチャ合成処理の入力として、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換と呼ぶ方向性フィルタバンクの出力として得られた係数のヒストグラムを用いる。
【００３４】
同方法の概要を以下に示す。同方法の入力は、適当な初期画像（上記文献では、白色雑音画像）、および目標とするテクスチャ画像（以後、目標テクスチャ画像と呼ぶ）に対する各々の画素値ヒストグラム、前記両画像に対する各々の各サブバンドのヒストグラムとする。サブバンド分解には、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を用いる。テクスチャ合成の出力として得られる画像を合成画像と呼ぶ。なお、以下の処理の開始時点では、合成画像は上記の初期画像で初期化されている。
【００３５】
次に、テクスチャ合成処理について説明する。まず、合成画像の画素値ヒストグラム、目標テクスチャ画像の画素値ヒストグラムを入力として、合成画像の画素値ヒストグラムを目標テクスチャ画像のそれに近づける画素値ヒストグラムに対する変換処理を行う。同変換処理においては、画素値ヒストグラムに対するヒストグラムマッチングを行い、両画素値ヒストグラム間の対応付けを行うマッピングテーブルＦ［］を算出する。画素値ヒストグラムに対するヒストグラムマッチングの処理の概要は以下のとおりである。
【００３６】
目標テクスチャ画像の累積ヒストグラム及び合成画像の累積ヒストグラムを、各々、Ｈ１［ｘ］，Ｈ２［ｘ］とおく。８ｂｉｔ画像の場合、ｘは０≦ｘ≦２５５の値をとる。目標テクスチャ画像の画素値ｘ１に対して、Ｈ１［ｘ１］＝Ｈ２［ｘ２］を満たす合成画像の画素値ｘ２を求める。この画素値ｘ１とｘ２の対応関係を格納するためにマッピングテーブルと呼ぶルックアップテーブルを用意し、マッピングテーブルの第ｘ１要素として、画素値ｘ２を格納する。マッピングテーブルをＦ［］として、上記のｘ１とｘ２の対応関係をＦ［ｘ１］＝ｘ２のように表す。ｘ１として取り得る全ての画素値に対して、上記のＦ［ｘ１］を求める。
【００３７】
次に、得られたマッピングテーブルＦ［］を用いて、合成画像の画素値を変換する。合成画像の画素値ｘ２に対して、マッピングテーブルを参照して、Ｆ［ｘ１］＝ｘ２を満たすｘ１を求め、合成画像の画素値ｘ２をｘ１へ補正する。補正された合成画像を入力として、同画像に対する方向性フィルタバンクの順変換を行い、変換係数を算出して、サブバンド毎に変換係数のヒストグラムを生成する。以下、サブバンド毎に生成された変換係数のヒストグラムをサブバンドヒストグラムと呼ぶ。
【００３８】
次に、目標テクスチャ画像を入力として、同画像に対する方向性フィルタバンクの順変換を行い、変換係数を算出して、サブバンド毎に変換係数のヒストグラムを生成する。
【００３９】
次に、生成した両画像のサブバンドヒストグラムを入力として、合成画像の各サブバンドヒストグラムを目標テクスチャ画像の同一サブバンドのサブバンドヒストグラムに近づける変換処理を行う。同変換処理においては、サブバンドヒストグラムに対するヒストグラムマッチングを行い、両サブバンドヒストグラム間の対応付けを行うマッピングテーブルＧ［］を算出する。
【００４０】
以下、第ｍ方向成分の第ｊ分解レベルのサブバンドを例にとり説明するが、他のサブバンドの場合も処理は同様である。目標テクスチャ画像のサブバンド係数の累積ヒストグラム、及び、合成画像の変換係数の累積ヒストグラムを、各々、Ｈ１’［ｙ］，Ｈ２’［ｙ］とおく。目標テクスチャ画像のサブバンド係数値ｙ１に対して、Ｈ１’［ｙ１］＝Ｈ２’［ｙ２］を満たす合成画像のサブバンド係数値ｙ２を求める。この結果、ヒストグラムマッチングに用いるマッピングテーブルをＧ［ｙ１］＝ｙ２として定める。ｙ１として取り得る全てのサブバンド係数値に対して、上記のＧ［ｙ１］を求める。
【００４１】
続いて、上記のヒストグラムマッチングにより得られたマッピングテーブルＧ［］を用いて、合成画像のサブバンド係数値を補正する。合成画像のサブバンド係数値ｙ２に対して、マッピングテーブルを参照して、Ｇ［ｙ１］＝ｙ２を満たすｙ１を求め、合成画像のサブバンド係数値ｙ２をｙ１へ補正する。全てのサブバンドのサブバンド係数に対して、同様の補正処理を行う。補正処理後の合成画像のサブバンド係数値を入力として、方向性フィルタバンクの逆変換を行い、合成画像を出力するという処理を一定回数、繰り返す。
【００４２】
テクスチャ合成においてサブバンド係数を得る手法としては、例えば、ｗａｖｅｌｅｔ変換のような上記以外のフィルタバンクの適用も可能である。本発明におけるテクスチャ特量の予測機構は、上記の方向性フィルタバンクに限らず、それ以外のフィルタバンクに対しても同様に適用することができる。本発明は、前述したテクスチャ合成処理に、以下の改良を加える。
【００４３】
その改良の特徴は、構造成分の復号信号の周波数成分を用いて、テクスチャ合成での生成過程に制約を課す処理にある。まず、合成画像を得られた段階で、合成画像に対してフーリエ変換を適用し、合成画像の周波数成分を算出する。
【００４４】
次に、構造成分の復号信号に対してフーリエ変換を適用し、構造成分の復号信号の周波数成分を算出する。そして、合成画像の周波数成分のうち、低域成分（全周波数帯域の１／ｒ以下の帯域）については、構造成分の復号信号の周波数成分と置換する。なお、ｒ＝Ｘ／Ｘ’＝Ｙ／Ｙ’とする。
【００４５】
前述した方法では、ヒストグラムによる制約のみであったため、画像信号内の構造情報を保存するための機構が存在しなかった。このため、繰返し処理の収束が保障されない場合がある、あるいは、収束に多くの繰り返し回数を要するという問題点がある。これに対して、上記の改良を加えることで、繰返し処理の中に構造情報による制約を加えることが可能となり、前述の問題を解消することが可能である。
【００４６】
次に、図１を参照して、本発明の一実施形態による画像符号化装置の構成を説明する。図１は、同実施形態における画像符号化装置の構成を示すブロック図である。図１において、符号１０１は、符号化対象画像（Ｘ×Ｙ画素）を入力とし、解像度変換処理により、Ｘ’×Ｙ’画素の縮小画像信号へ変換し、同縮小画像を出力する解像度変換処理部である。符号１０２は、解像度変換処理の出力として得られた縮小画像信号を入力として、予め定めれた符号化方法に従い、符号化処理を行い、その符号化データを出力する波形符号化処理部である。符号化処理としては、例えば、Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法を適用可能である。
【００４７】
符号１０３は、波形符号化処理部１０２で生成された符号化データを入力として、復号処理を行い、復号信号（低解像度構造成分復号信号：Ｘ’×Ｙ’画素）を得る波形復号処理部である。復号方法は、波形符号化処理部１０２で用いた符号化方法に対応する方法であり、Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法を用いたのであれば、復号方法としても、Ｈ．２６４／ＡＶＣの標準規格に準拠した復号方法を用いる。
【００４８】
符号１０４は、低解像度構造成分復号信号（Ｘ’×Ｙ’画素）を入力として、逆解像度変換処理を行い、原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）としての構造成分復号信号を得る逆解像度変換処理部である。符号１０５は、構造成分復号信号に対するテクスチャ分析処理を行い、構造成分復号信号に対する画素値ヒストグラム・変換係数ヒストグラムを出力するテクスチャ分析処理部である。
【００４９】
符号１０６は、符号化対象信号に対するテクスチャ分析処理を行い、符号化対象信号に対する画素値ヒストグラム・変換係数ヒストグラムを出力するテクスチャ分析処理部である。符号１０７は、符号化対象画像及び構造成分復号信号の画素値ヒストグラムを入力として、両ヒストグラムの差分情報を生成して出力するヒストグラム差分情報生成部である。また、ヒストグラム差分情報生成部１０７は、符号化対象画像及び構造成分復号信号の画素値ヒストグラムを入力として、両ヒストグラムの差分情報を生成して出力する。あわせて、符号化対象画像及び構造成分復号信号の変換係数ヒストグラムを入力として、両ヒストグラムの差分情報を生成して出力する。
【００５０】
符号１０８は、ヒストグラム差分情報生成部１０７から出力された画素値ヒストグラム差分情報を入力として、同差分情報を符号化し、符号化データとして出力するヒストグラム差分情報符号化部である。また、ヒストグラム差分情報符号化部１０８は、変換係数ヒストグラムの差分情報を入力として、同差分情報を符号化し、符号化データとして出力する。符号化方法の例としては、ヒストグラムの各頻度を算術符号化する方法が適用可能である。符号１０９は、波形符号化処理部１０２とヒストグラム差分情報符号化部１０８が出力する符号化データを多重化して出力する符号化データ多重化部である。
【００５１】
次に、図２を参照して、図１に示すテクスチャ分析処理部１０５の構成を説明する。図２は、図１に示すテクスチャ分析処理部１０５の構成を示す図である。図２において、符号３０１は、入力画像の画素値ヒストグラムを生成して出力する画素値ヒストグラム生成処理部である。符号３０２は、入力画像に対して、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を適用し、変換係数を出力する変換処理部である。符号３０３は、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換の変換係数を入力として、変換係数ヒストグラムを生成して出力する変換係数ヒストグラム生成処理部である。
【００５２】
次に、図３を参照して、図１に示す画像符号化装置の処理動作を説明する。図３は、図１に示す画像符号化装置の処理動作を示す図である。まず、解像度変換処理部１０１は、符号化対象画像（Ｘ×Ｙ画素）を入力し、解像度変換処理により、Ｘ’×Ｙ’画素の縮小画像信号へ変換し、縮小画像を出力する（ステップＳ１）。続いて、波形符号化処理部１０２は、解像度変換処理の出力として得られた縮小画像信号を入力として、予め定められた符号化方法に従い、符号化処理を行い、その符号化データを出力する（ステップＳ２）。符号化処理としては、例えば、Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法が適用可能である。
【００５３】
次に、波形復号処理部１０３は、波形符号化処理部１０２から出力された符号化データを入力として、復号処理を行い、復号信号（低解像度構造成分復号信号：Ｘ’×Ｙ’画素）を生成する（ステップＳ３）。復号方法は、符号化方法に対応する方法であり、Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法を用いたのであれば、復号方法としても、Ｈ．２６４／ＡＶＣの標準規格に準拠した復号方法を用いればよい。
【００５４】
次に、逆解像度変換処理部１０４は、低解像度構造成分復号信号（Ｘ’×Ｙ’画素）を入力として、逆解像度変換処理を行い、原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）としての構造成分復号信号を生成する（ステップＳ４）。テクスチャ分析処理部１０５は、構造成分復号信号（Ｘ×Ｙ画素）を入力とし、構造成分復号信号の画素値ヒストグラムを生成して出力する（ステップＳ５）。また、テクスチャ分析処理部１０５は、構造成分復号信号（Ｘ×Ｙ画素）を入力とし、構造成分復号信号に対して、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、得られる変換係数に対して、変換係数ヒストグラムを生成して出力する（ステップＳ６）。
【００５５】
変換係数ヒストグラムの生成は、以下のように行う。まず、Ｓｔｅｅｒａｂｌｅｙｒａｍｉｄ変換を規定するパラメータ方向数Ｍ、分解レベルＪｍａｘを読み込む。そして、入力信号に対して、方向数Ｍ、分解レベルＪｍａｘで定まるＳｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を行い、変換係数を出力する。次に、高周波成分に属する２Ｊ×２Ｊ個の変換係数に対して、ヒストグラムを求め、ＨＪ［ｉ］（ｉ＝０，・・・，２２Ｊ−１）として出力する。続いて、ｊ＝０，・・・，Ｊｍａｘ−１に対して次の処理を繰り返す。ｍ＝０，・・・，Ｍ−１に対して次の処理を繰り返す。第ｊ分解レベルにおける第ｍ方向成分に属する２２（Ｊ−ｊ）個の変換係数に対するヒストグラムを求め、Ｌ（ｊ，ｍ）Ｂδ［ｉ］（ｉ＝０，・・・，２２（Ｊ−ｊ）−１）として出力する。そして、最上位の分解レベルｊ＝Ｊｍａｘに属する２２（Ｊ−Ｊｍａｘ）個の変換係数に対するヒストグラムを求め、Ｌ（Ｊｍａｘ，０）Ｂδ［ｉ］（ｉ＝０，・・・，２２（Ｊ−．Ｊｍａｘ）−１）として出力する。最上位の分解レベルでは、方向成分に関する分割はなく、ｍ＝０に対応するヒストグラムに限定される。
【００５６】
次に、テクスチャ分析処理部１０６は、符号化対象画像（Ｘ×Ｙ画素）を入力し、符号化対象画像の画素値ヒストグラムを生成して出力する（ステップＳ７）。また、テクスチャ分析処理部１０６は、符号化対象画像（Ｘ×Ｙ画素）を入力し、符号化対象画像に対して、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、得られる変換係数に対して、変換係数ヒストグラムを生成して出力する（ステップＳ８）。変換係数ヒストグラムの生成は、ステップＳ６と同様の処理によって行う。
【００５７】
次に、ヒストグラム差分情報生成部１０７は、符号化対象画像及び構造成分復号信号の画素値ヒストグラムを入力し、両ヒストグラムの差分情報を生成して出力し、ヒストグラム差分情報符号化部１０８は、この差分情報を符号化し、符号化データとして出力する（ステップＳ９）。また、ヒストグラム差分情報生成部１０７は、符号化対象画像及び構造成分復号信号の変換係数ヒストグラムを入力し、両ヒストグラムの差分情報を生成して出力し、ヒストグラム差分情報符号化部１０８は、この差分情報を符号化し、符号化データとして出力する（ステップＳ１０）。符号化方法の例としては、ヒストグラムの各頻度を算術符号化する方法が適用可能である。そして、符号化データ多重化部１０９は、符号化データを多重化して出力する。
【００５８】
次に、図４を参照して、本発明の一実施形態による画像復号装置の構成を説明する。図４は、同実施形態における画像復号装置の構成を示すブロック図である。図４において、符号２０１は、符号化データを入力として、低解像度構造成分に対する符号化データとヒストグラムの差分情報の符号化データに分離する符号化データ分離部である。符号２０２は、低解像度構造成分に対する符号化データを入力として、復号処理を行い、復号信号（低解像度構造成分復号信号：Ｘ’×Ｙ’画素）を得る波形復号処理部である。復号方法は、入力した符号化データの生成に用いた符号化処理に対応する方法であり、Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法を用いたのであれば、復号方法としても、Ｈ．２６４／ＡＶＣの標準規格に準拠した復号方法を用いる。
【００５９】
符号２０３は、低解像度構造成分復号信号（Ｘ’×Ｙ’画素）を入力として、逆解像度変換処理を行い、原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）としての構造成分復号信号を生成して出力する逆解像度変換処理部である。符号２０４は、構造成分復号信号を記憶する構造成分復号信号記憶部である。符号２０５は、構造成分復号信号（Ｘ×Ｙ画素）を入力とし、テクスチャ分析処理を行い、構造成分復号信号に対する画素値ヒストグラムと変換係数ヒストグラムを出力するテクスチャ分析処理部である。図４に示すテクスチャ分析部２０５の詳細な構成は、図２に示す構成と同様とであるので、詳細な説明を省略する。
【００６０】
符号２０６は、符号化対象画像及び構造成分復号信号の画素値ヒストグラムの差分情報の符号化データを読み込み、指定された復号処理を行い、同差分情報を生成するヒストグラム差分情報復号部である。復号処理の例としては、差分情報を算術符号化していたのであれば、算術符号化に対応する復号処理となる。符号２０７は、テクスチャ分析部２０５から出力された構造成分復号信号のヒストグラム情報（画素値ヒストグラム及び変換係数ヒストグラム）及びヒストグラム差分情報復号部２０６から出力されたヒストグラム情報の差分を入力として、ヒストグラムの成分毎に両者を加算し、符号化対象画像の画素値ヒストグラム及び変換係数ヒストグラムを生成して出力するヒストグラム情報加算処理部である。
【００６１】
符号２０８は、ヒストグラム情報を記憶するヒストグラム情報記憶部である。符号２０９は、符号化対象画像の画素値ヒストグラム及び変換係数ヒストグラムを入力として、テクスチャ合成処理を行い、復号画像を出力するテクスチャ合成処理部である。
【００６２】
次に、図５を参照して、図４に示すテクスチャ合成処理部２０９の構成を説明する。図５は、図４にテクスチャ合成処理部２０９の構成を示すブロック図である。図５において、符号４０１は、予め定められた画像信号を合成画像の初期値として出力する合成画像初期化部である。初期化に用いる画像の例としては、乱数で生成された白色雑音画像を用いることができる。符号４０２は、合成画像初期化部４０１から出力する合成画像の初期値を記憶する合成画像記憶部である。
【００６３】
符号４０３は、合成画像を入力として、フーリエ変換を行い、同信号の周波数成分を生成するフーリエ変換部である。符号４０４は、構造成分復号信号を入力として、フーリエ変換を行い、同信号の周波数成分を生成するフーリエ変換部である。符号４０５は、フーリエ変換部４０３から出力する合成画像の周波数成分およびフーリエ変換部４０４から出力する構造成分復号信号の周波数成分を入力として、合成画像の周波数成分のうち、低域成分（全周波数帯域の１／ｒ以下の帯域）については、構造成分の復号信号の周波数成分と置換する低域成分置換部である。なお、ｒ＝Ｘ／Ｘ’＝Ｙ／Ｙ’である。
【００６４】
符号４０６は、低域成分置換部４０５から出力する周波数成分を入力として、逆フーリエ変換処理を行い、得られる画像信号を、修正を加えた合成画像として出力する逆フーリエ変換処理部である。符号４０７は、逆フーリエ変換処理部４０６から出力する合成画像を記憶する合成画像記憶部である。
【００６５】
符号４０８は、合成画像記憶部４０７から読み出した合成画像を入力として、合成画像の画素値ヒストグラムを生成する画素値ヒストグラム生成部である。符号４０９は、画素値ヒストグラム生成部４０８から出力された合成画像の画素値ヒストグラムおよびヒストグラム情報記憶部２０８に記憶された符号化対象画像の画素値ヒストグラムを読み込み、合成画像の画素値ヒストグラムを符号化対象画像の画素値ヒストグラムに近づける処理を行い、処理後の合成画像の画素値ヒストグラムを出力するヒストグラム情報補正処理部である。
【００６６】
符号４１０は、ヒストグラム情報補正処理部４０９の処理前の合成画像の画素値ヒストグラム、ヒストグラム情報補正処理部４０９で得られた合成画像の画素値ヒストグラム、合成画像を入力として、ヒストグラム情報補正処理部４０９の処理前後の合成画像の画素値ヒストグラムを用いて、合成画像の画素値を修正し、修正後の合成画像を出力する画像値補正処理部である。符号４１１は、画像値補正処理部４１０が出力する修正後の合成画像を記憶する合成画像記憶部である。
【００６７】
符号４１２は、合成画像記憶部４１１から読み出した合成画像を入力として、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、変換係数を出力する変換処理部である。符号４１３は、変換処理部４１２から出力された変換係数に対して、変換係数ヒストグラムを生成する変換係数ヒストグラム生成部である。
【００６８】
符号４１４は、変換係数ヒストグラム生成部４１３から出力された合成画像の変換係数ヒストグラムおよびヒストグラム情報記憶部２０８に記憶された符号化対象画像の変換係数ヒストグラムを読み込み、合成画像の変換係数ヒストグラムを符号化対象画像の変換係数ヒストグラムに近づける処理を行い、処理後の合成画像の変換係数ヒストグラムを出力するヒストグラム情報補正処理部である。
【００６９】
符号４１５は、ヒストグラム情報補正処理部４１４の処理前の合成画像の変換係数ヒストグラム、ヒストグラム情報補正処理部４１４で得られた合成画像の変換係数ヒストグラム、合成画像を入力として、ヒストグラム情報補正処理部４１４による処理前後の合成画像の変換係数ヒストグラムを用いて、合成画像の変換係数値を補正し、修正後の変換係数を入力として、同変換係数に対して、逆Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、合成画像を出力する画像値補正処理部である。符号４１６は、終了条件を満たしていれば、画像値補正処理部４１５から出力された合成画像を復号画像として出力し、終了条件を満たしていなければ、画像値補正処理部４１５から出力された合成画像を合成画像記憶部４０２に記憶する。
【００７０】
次に、図６を参照して、図４、図５に示す復号装置の処理動作を説明する。図６は、図４、図５に示す復号装置の処理動作を示すフローチャートである。まず、波形復号処理部２０２は、符号化データ分離部２０１によって分離された低解像度構造成分に対する符号化データを入力として、復号処理を行い、復号信号（低解像度構造成分復号信号：Ｘ’×Ｙ’画素）を生成する（ステップＳ２１）。復号方法は、入力した符号化データの生成に用いた符号化処理に対応する方法であり、Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法を用いたのであれば、復号方法としても、Ｈ．２６４／ＡＶＣの標準規格に準拠した復号方法を用いる。
【００７１】
次に、逆解像度変換処理部２０３は、低解像度構造成分復号信号（Ｘ’×Ｙ’画素）を入力として、逆解像度変換処理を行い、原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）としての構造成分復号信号を生成する（ステップＳ２２）。続いて、テクスチャ分析処理部２０５は、構造成分復号信号（Ｘ×Ｙ画素）を入力とし、構造成分復号信号の画素値ヒストグラムを生成する（ステップＳ２３）。
【００７２】
一方、ヒストグラム差分情報復号部２０６は、符号化データ分離部２０１によって分離された符号化対象画像及び構造成分復号信号の画素値ヒストグラムの差分情報の符号化データを読み込み、指定された復号処理を行い、同差分情報を生成する（ステップＳ２４）。復号処理の例としては、差分情報を算術符号化していたのであれば、算術符号化に対応する復号処理となる。
【００７３】
次に、ヒストグラム情報加算処理部２０７は、テクスチャ分析処理部２０５から出力されたヒストグラム及びヒストグラム差分情報復号部２０６から出力されたヒストグラムの差分情報を入力として、ヒストグラムの成分毎に両者を加算し、符号化対象画像の画素値ヒストグラムを生成する（ステップＳ２５）。テクスチャ分析処理部２０５は、構造成分復号信号（Ｘ×Ｙ画素）を入力とし、構造成分復号信号に対して、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、得られる変換係数に対して、変換係数ヒストグラムを生成する（ステップＳ２６）。
【００７４】
次に、ヒストグラム差分情報復号部２０６は、符号化対象画像及び構造成分復号信号の変換係数ヒストグラムの差分情報の符号化データを読み込み、指定された復号処理を行い、同差分情報を生成する（ステップＳ２７）。復号処理の例としては、差分情報を算術符号化していたのであれば、算術符号化に対応する復号処理となる。続いて、ヒストグラム情報加算処理部２０７は、出力された変換係数ヒストグラム及び出力されたヒストグラムの差分情報を入力として、ヒストグラムの成分毎に両者を加算し、符号化対象画像の画素値ヒストグラムを生成する符号化対象画像の変換係数ヒストグラムを生成する（ステップＳ２８）。
【００７５】
次に、合成画像初期化部４０１は、合成画像を予め定められた画像信号で初期化する（ステップＳ２９）。初期化に用いる画像の例としては、乱数で生成された白色雑音画像を用いることができる。続いて、フーリエ変換処理部４０４は、構造成分復号信号を入力として、フーリエ変換を行い、同信号の周波数成分を生成する（ステップＳ３０）。
【００７６】
次に、フーリエ変換処理部４０３は、合成画像を入力として、フーリエ変換を行い、得られた合成画像の周波数成分および得られた構造成分復号信号の周波数成分を入力として、合成画像の周波数成分のうち、低域成分（全周波数帯域の１／ｒ以下の帯域）については、構造成分の復号信号の周波数成分と置換する。なお、ｒ＝Ｘ／Ｘ’＝Ｙ／Ｙ’である。そして、逆フーリエ変換処理部４０６は、置換後の周波数成分に対して、逆フーリエ変換を行い、修正処理後の合成画像を得る（ステップＳ３２）。
【００７７】
次に、画素値ヒストグラム生成部４０７は、合成画像を入力として、合成画像の画素値ヒストグラムを生成する（ステップＳ３３）。続いて、ヒストグラム情報補正処理部４０９は、合成画像の画素値ヒストグラムおよび符号化対象画像の画素値ヒストグラムを読み込み、合成画像の画素値ヒストグラムを符号化対象画像の画素値ヒストグラムに近づける処理を行い、処理後の合成画像の画素値ヒストグラムを出力する（ステップＳ３４）。
【００７８】
次に、画像値補正処理部４１０は、ヒストグラム情報補正処理部４０９による処理前の合成画像の画素値ヒストグラム、得られた合成画像の画素値ヒストグラム、合成画像を入力として、ヒストグラム情報補正処理部４０９による処理前後の合成画像の画素値ヒストグラムを用いて、合成画像の画素値を修正し、修正後の合成画像を生成する（ステップＳ３５）。続いて、変換処理部４１２は、合成画像を入力として、Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、得られる変換係数に対して、変換係数ヒストグラムを生成する（ステップＳ３６）。
【００７９】
次に、変換係数ヒストグラム生成部４１３は、合成画像の変換係数ヒストグラムおよび符号化対象画像の変換係数ヒストグラムを読み込み、合成画像の変換係数ヒストグラムを符号化対象画像の変換係数ヒストグラムに近づける処理を行い、処理後の合成画像の変換係数ヒストグラムを出力する（ステップＳ３７）。
【００８０】
次に、ヒストグラム情報補正処理部４１４は、変換係数ヒストグラム生成部４１３の処理前の合成画像の変換係数ヒストグラム、変換係数ヒストグラム生成部４１３で得られた合成画像の変換係数ヒストグラム、合成画像を入力として、変換係数ヒストグラム生成部４１３による処理前後の合成画像の変換係数ヒストグラムを用いて、合成画像の変換係数値を修正する（ステップＳ３８）。
【００８１】
次に、画像値補正処理部４１５は、修正後の変換係数を入力として、同変換係数に対して、逆Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ変換を施し、合成画像を生成する（ステップＳ３９）。そして、終了判定部４１６は、ステップＳ３１〜Ｓ３９の処理を終了条件を満たすまで繰り返す。終了条件の例としては、反復回数が与えらえた上限を超える、あるいは、入力とした合成画像と出力とした合成画像の変化量が与えらえた閾値以下となる等がある。
【００８２】
次に、図８を参照して、図１、図４に示す画像符号化装置、画像復号装置を含む画像伝送システムの構成を説明する。図８は、画像伝送システムの構成を示すブロック図である。図８において、符号５０１は、カメラ等で撮像した動画像を入力する動画像入力部である。符号５０２は、図１に示す画像符号化装置で構成する動画像符号化装置あり、動画像入力部１によって入力した動画像を符号化して送信する。符号５０３は、動画像符号化装置５０２から送信された符号化動画像のデータを伝送する伝送路である。符号５０４は、図４に示す画像復号装置で構成する動画像復号装置あり、伝送路５０３によって伝送された符号化動画像のデータを受信し、符号化動画像のデータを復号して出力する。符号５０５は、動画像復号装置５０４において復号された動画像を表示装置等へ出力する動画像出力部である。
【００８３】
次に、図８に示す画像伝送システムの動作を説明する。画像符号化装置５０２は、動画像入力部５０１を介して、動画像のデータを入力し、動画像のフレーム毎に、前述した処理動作によって符号化を行う。そして、動画像符号化装置５０２は、符号化した動画像データを伝送路５０３を介して動画像復号装置５０４に対して送信する。動画像復号装置５０４は、この符号化動画像データを前述した処理動作によって復号し、動画像出力部２０５を介して、表示装置等に動画像を表示する。
【００８４】
以上説明したように、低レートの符号化方式として、従来の波形再現ベースの符号化方式に変わる手法として、テクスチャ合成技術に基づき主観的に原信号に近い画質の信号を生成することができる画像符号化処理と画像復号処理を提供することが可能となる。これにより、主観画質は保持しつつ、符号量を削減する符号化を実現できる。
【００８５】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理及び画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００８６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００８７】
低レートの符号化方式として、従来の波形再現ベースの符号化方式に変わる手法として、テクスチャ合成技術に基づき主観的に原信号に近い画質の信号を生成することが不可欠な用途に適用できる。
【符号の説明】
【００８８】
１０１・・・解像度変換処理部、１０２・・・波形符号化処理部、１０３・・・波形復号処理部、１０４・・・逆解像度変換処理部、１０５・・・テクスチャ分析処理部、１０６・・・テクスチャ分析処理部、１０７・・・ヒストグラム差分情報生成部、１０８・・・ヒストグラム差分情報符号化部、１０９・・・符号化データ多重化部、２０１・・・符号化データ分離部、２０２・・・波形復号処理部、２０３・・・逆解像度変換処理部、２０４・・・構造成分復号信号記憶部、２０５・・・テクスチャ分析処理部、２０６・・・ヒストグラム差分情報復号部、２０７・・・ヒストグラム情報加算処理部、２０８・・・ヒストグラム情報記憶部、２０９・・・テクスチャ合成処理部、３０１・・・画素値ヒストグラム生成処理部、３０２・・・変換処理部、３０３・・・変換係数ヒストグラム生成処理部、４０１・・・合成画像初期化部、４０２、４１１・・・合成画像記憶部、４０３、４０４・・・フーリエ変換処理部、４０５・・・低域成分置換部、４０６・・・逆フーリエ変換処理部、４０７・・・合成画像記憶部、４０８・・・画素値ヒストグラム生成部、４０９・・・ヒストグラム情報補正処理部、４１０、４１５・・・画像値補正処理部、４１２・・・変換処理部、４１３・・・変換係数ヒストグラム生成部、４１４・・・ヒストグラム情報補正処理部、４１６・・・終了判定部
【図１】
0005700666.tif 000006
【図２】
0005700666.tif 000007
【図３】
0005700666.tif 000008
【図４】
0005700666.tif 000009
【図５】
0005700666.tif 000010
【図６】
0005700666.tif 000011
【図７】
0005700666.tif 000012
【図８】
0005700666.tif 000013