(57)【要約】【課題】主観画質は保持しつつ，符号量を削減する符号化を実現する。【解決手段】原信号の画像信号の解像度を低解像度に変換し（Ｓ１０），原信号よりも低解像度で表現された信号（構造成分）に対して，波形符号化に基づく符号化処理を行う（Ｓ１１）。また，原信号から構造成分の信号を取り除いたテクスチャ成分の信号については，テクスチャ分析に基づく符号化処理を行い（Ｓ１６），波形符号化処理による符号化データとテクスチャ分析による符号化データを符号化ストリームに統合する。【選択図】図７
2011254219.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像信号を入力し，入力画像信号よりも低解像度の画像信号に解像度を変換する過程と，
前記低解像度の画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理過程と，
前記符号化データを復号する過程と，
復号された復号信号を逆解像度変換し，前記符号化対象の画像信号と同じ解像度の復号信号を生成する過程と，
前記入力画像信号と，前記逆解像度変換後の復号信号との差分信号を算出する過程と，
前記差分信号に対するテクスチャ分析により，前記差分信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理過程と，
符号化ストリームとして，前記波形符号化処理過程による符号化データと前記テクスチャ分析処理過程による符号化データを符号化ストリームに統合する過程とを有する
ことを特徴とする画像符号化方法。
【請求項２】
請求項１記載の画像符号化方法において，
前記差分信号に対して，テクスチャ分析処理前に周波数帯域通過フィルタを適用する過程を有し，
前記テクスチャ分析処理過程では，周波数帯域の制限された差分信号に対するテクスチャ分析により符号化データを生成する
ことを特徴とする画像符号化方法。
【請求項３】
請求項２記載の画像符号化方法において，
前記差分信号に対する周波数帯域の制限量に応じて，前記テクスチャ分析で得られるヒストグラムの表現精度を制御する
ことを特徴とする画像符号化方法。
【請求項４】
符号化対象の画像信号を入力し，入力した画像信号を低周波帯域信号と高周波帯域信号とに分離する過程と，
前記低周波帯域信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理過程と，
前記高周波帯域信号に対するテクスチャ分析により，前記高周波帯域信号の画像信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理過程と，
符号化ストリームとして，前記波形符号化処理過程による符号化データと前記テクスチャ分析処理過程による符号化データを符号化ストリームに統合する過程とを有する
ことを特徴とする画像符号化方法。
【請求項５】
波形符号化処理による符号化データを入力として，復号処理により，復号信号を生成する過程と，
前記復号信号に対して，逆解像度変換により符号化前の原信号と同じ解像度の信号として復元する過程と，
テクスチャ分析による符号化データを入力として，テクスチャ合成処理により，波形符号化処理で表現しきれなかった残差信号を復号する過程と，
前記原信号と同じ解像度の信号として復元した信号と，前記残差信号を復号した信号の２つの信号を統合することで，復号信号を生成する過程とを有する
ことを特徴とする画像復号方法。
【請求項６】
符号化対象の画像信号を入力し，入力画像信号よりも低解像度の画像信号に解像度を変換する解像度変換部と，
前記低解像度の画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理部と，
前記符号化データを復号する復号処理部と，
復号された復号信号を逆解像度変換し，前記符号化対象の画像信号と同じ解像度の復号信号を生成する逆解像度変換部と，
前記入力画像信号と，前記逆解像度変換後の復号信号との差分信号を算出する差分信号生成部と，
前記差分信号に対するテクスチャ分析により，前記差分信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理部とを備え，
符号化ストリームとして，前記波形符号化処理による符号化データと前記テクスチャ分析処理による符号化データを符号化ストリームに統合する
ことを特徴とする画像符号化装置。
【請求項７】
符号化対象の画像信号を入力し，入力した画像信号を低周波帯域信号と高周波帯域信号とに分離する帯域分離部と，
前記低周波帯域信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理部と，
前記高周波帯域信号に対するテクスチャ分析により，前記高周波帯域信号の画像信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理部とを備え，
符号化ストリームとして，前記波形符号化処理による符号化データと前記テクスチャ分析処理による符号化データを符号化ストリームに統合する
ことを特徴とする画像符号化装置。
【請求項８】
波形符号化処理による符号化データを入力として，復号処理により，復号信号を生成する復号処理部と，
前記復号信号に対して，逆解像度変換により符号化前の原信号と同じ解像度の信号として復元する逆解像度変換部と，
テクスチャ分析による符号化データを入力として，テクスチャ合成処理により，波形符号化処理で表現しきれなかった残差信号を復号するテクスチャ合成処理部と，
前記原信号と同じ解像度の信号として復元した信号と，前記残差信号を復号した信号の２つの信号を統合することで，復号信号を生成する復号信号生成部とを備える
ことを特徴とする画像復号装置。
【請求項９】
請求項１から請求項４までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
【請求項１０】
請求項５記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，高能率画像信号符号化方法および復号方法に関する。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣに代表される現行の符号化方式においては，フレーム内予測，フレーム間予測および階層間予測によって予測信号を生成し，予測信号と原信号の残差信号を符号化対象としている。このような従来の技術は，原信号波形の正確な再現を目的としている。しかし，こうした従来手法では，波形再現の枠組みのもと，量子化により符号量を制御していたため，低レートでは，ブロック歪み，リンギングといった画質劣化が顕在化する。
【０００３】
また，その予測処理は復号信号を参照するため，低レートでは，劣化した復号信号を参照することになり，ある一定以上の高周波成分を予測することは不可能となる。このため，高周波成分を多く含む画像に対しては，予測性能は低下する。例えば，こうした低レートにおける画質劣化は，フレーム間予測の場合，剛体移動モデルの成立しない水面等のシーンにおいて顕著であり，フレーム内予測・階層間予測の場合，精細な絵柄のテクスチャ領域において顕著となる。
【０００４】
これに対し，テクスチャ合成と呼ばれる手法が検討されている。付与されたデータ（シードと呼ぶ）を用いて，予め定められた生成規則に基づき，画像を合成する技術である。テクスチャ合成は，原信号の正確な波形再現を追求するのではなく，原信号内のテクスチャの特徴量を再現対象とする点が，従来の一般的な符号化方式と異なる。
【０００５】
テクスチャ合成の方法としては，例えば，非特許文献１に記載されている方法がある。この方法では，テクスチャ合成処理の入力として，方向性フィルタバンクの出力として得られた係数のヒストグラムをテクスチャの特徴量として用いる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】D.Heeger, and J. Bergen,“Pyramid-Based Texture Analysis/Synthesis”, Proc ACM SIGGRAPH 95, 1995．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に，テクスチャ合成で使用するシードのデータ量は，原信号のデータ量に比べて，極めて少なく抑えることが可能である。このため，テクスチャ合成の画像符号化への適用が期待される。
【０００８】
一方，テクスチャ合成によって生成された信号は，波形再現という観点からは原信号との類似度は保証されない。これは，画像中の位相情報を保持する保証がないためである。このため，原画像との比較を前提として，主観的に原信号に近い画質の信号を得ることが求められる場合には，単純に画像符号化にテクスチャ合成の手法を適用しても，その要求に応えることができない。
【０００９】
本発明はかかる事情に鑑みてなされたものであって，低レートの符号化方式として，従来の波形再現ベースの符号化方式に変わる手法として，テクスチャ合成技術に基づき主観的に原信号に近い画質の信号を生成する処理を確立することを目的とする。
【課題を解決するための手段】
【００１０】
テクスチャ合成のみでの波形再現は，その処理の構造上，限界があった。これは，テクスチャ合成では，画像内の位相情報が保持されないためである。本発明では，従来の波形再現ベースの符号化方式とテクスチャ合成とを組み合わせ，両者の苦手とした部分を互いの長所で補い合うアプローチを取る。そのために，画像信号を波形の概形を表す成分（構造成分）とそれ以外の成分（テクスチャ成分）に分割し，構造成分に対して波形再現ベースの符号化を適用し，テクスチャ成分に対してテクスチャ分析・テクスチャ合成による符号化を適用する。
【００１１】
すなわち，本発明は，主観画質を保持しつつ符号量の削減を図るため，符号化対象の画像信号の低周波成分を構造情報とし，高周波成分をテクスチャ情報として，画像信号を構造成分とテクスチャ成分とに分割し，構造成分については，波形符号化に基づく符号化処理を行い，テクスチャ成分に対して，テクスチャ合成に基づく符号化処理を行う。高周波成分の劣化が視覚的に検知しにくい情報の場合，大きな符号量削減効果が期待できる。
【００１２】
詳しくは本発明の画像符号化装置は，まず，原信号の解像度変換により，低解像度で表現された信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する。その符号化データを復号し，さらに，逆解像度変換により原信号と同じ解像度の信号を復元する。その復元信号と原信号との差分信号を算出し，差分信号に対して，テクスチャ分析を行うことにより，その信号を画素値のヒストグラム，変換フィルタ係数のヒストグラム群により表現して，テクスチャ分析による符号化データを生成する。以上の波形符号化処理による符号化データとテクスチャ分析による符号化データとを符号化ストリームとして統合して出力する。
【００１３】
または，本発明の画像符号化装置は，まず，原信号の解像度変換により，低解像度で表現された信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する。その符号化データを復号し，さらに，逆解像度変換により原信号と同じ解像度の信号を復元する。その復元信号と原信号の差分信号を算出し，差分信号に対して，周波数帯域通過フィルタを適用し，周波数帯域の制限された差分信号に対して，テクスチャ分析により画素値のヒストグラム，変換フィルタ係数のヒストグラム群により表現して，テクスチャ分析による符号化データを生成する。以上の波形符号化処理による符号化データとテクスチャ分析による符号化データとを符号化ストリームとして統合して出力する。
【００１４】
なお，上記画像符号化において，差分信号に対する周波数帯域の制限量に応じて，テクスチャ分析で得られるヒストグラムの表現精度を制御することもできる。
【００１５】
また，本発明では，次のように画像信号を符号化することもできる。まず，入力画像を低周波帯域信号と高周波帯域信号に分離し，低周波帯域信号に対しては，波形符号化に基づく符号化処理を行い，符号化データを生成する。高周波帯域信号に対しては，テクスチャ分析により画素値のヒストグラム，変換フィルタ係数のヒストグラム群により表現して，テクスチャ分析による符号化データを生成する。以上の波形符号化処理による符号化データとテクスチャ分析による符号化データとを符号化ストリームとして統合して出力する。
【００１６】
また，本発明の画像復号装置は，波形符号化処理による符号化データを入力として，復号処理により，復号信号を生成し，その復号信号に対して，逆解像度変換により原信号と同じ解像度をもつ信号として復元する。一方，テクスチャ分析による符号化データを入力として，テクスチャ合成処理により，波形符号化処理で表現しきれなかった残差信号を復号する。これらの２つの信号を統合することで，復号信号を得る。
【発明の効果】
【００１７】
本発明により，主観画質は保持しつつ，符号量を削減する符号化を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】画像符号化装置の構成例を示す図である。
【図２】Steerable pyramid の分析フィルタの構成例を示す図である。
【図３】画像符号化装置の他の構成例を示す図である。
【図４】画像符号化装置の他の構成例を示す図である。
【図５】画像復号装置の構成例を示す図である。
【図６】Steerable pyramid の合成フィルタの構成例を示す図である。
【図７】符号化処理のフローチャートである。
【図８】テクスチャ分析処理のフローチャートである。
【図９】復号処理のフローチャートである。
【図１０】テクスチャ合成処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下，本実施形態で行う処理の概要について説明する。
【００２０】
図１は，本発明の実施形態に係る画像符号化装置の構成例を示す。符号化処理の流れを図１を用いて説明する。まず，画像符号化装置１は，符号化対象の画像信号（Ｘ×Ｙ画素）を入力する。解像度変換部１０は，入力した画像信号に対して，解像度変換処理により，Ｘ′×Ｙ′画素の縮小画像信号へ変換する。ここで，Ｘ′，Ｙ′は，Ｘ′≦ＸおよびＹ′≦Ｙを満たす整数である。解像度変換処理としては，空間フィルタとサブサンプリングを用いる。ここで用いる空間フィルタは，分離型フィルタと非分離型フィルタに大別できる。
【００２１】
分離型フィルタは係数を（ａ-N，ａ-N+1，…，ａN-1 ，ａN ）とする２Ｎ＋１タップのフィルタを水平方向，垂直方向に独立に処理するフィルタである。非分離型フィルタは，次のように規定される（２Ｎ＋１）×（２Ｎ＋１）タップの２次元フィルタを対象信号に適用する。
【００２２】
【数１】
2011254219.tif 000003
【００２３】
サブサンプリングは，解像度比ｒに応じて，信号をｒ画素毎に間引く処理である。
【００２４】
解像度変換処理の出力として得られた縮小画像信号が，本手法における構造成分である。そこで，波形符号化処理部１１は，構造成分である画像信号（Ｘ′×Ｙ′画素）に対して波形符号化処理を行い，符号化ストリームを出力する。波形符号化処理としては，Ｈ．２６４／ＡＶＣ準拠の符号化方式を用いる。なお，本発明は，波形符号化処理をＨ．２６４／ＡＶＣに限定するものではなく，例えば，ＪＰＥＧ，ＪＰＥＧ２０００，ＭＰＥＧ−２といった方法を用いることも可能である。
【００２５】
復号処理部１２は，波形符号化処理の出力として得られた符号化ストリームに対して，Ｈ．２６４／ＡＶＣが規定する復号処理を行い，復号信号を得る。符号化方式としてＨ．２６４／ＡＶＣ以外の方法（ＪＰＥＧ，ＪＰＥＧ２０００，ＭＰＥＧ−２等）を用いた場合には，対応する復号処理を行う。
【００２６】
逆解像度変換部１３は，復号処理の出力として得られた復号信号（Ｘ′×Ｙ′画素）に対して，逆解像度変換処理を行い，原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）としての構造成分の復号信号を得る。
【００２７】
差分信号生成部１４は，原信号の画像信号と構造成分の復号信号（Ｘ×Ｙ画素）との差分信号を算出する。この差分信号が，本手法におけるテクスチャ成分となる。テクスチャ分析処理部１５は，テクスチャ成分に対して，テクスチャ分析処理を行い，復号時のテクスチャ合成において必要となる情報として，以下の２種類のヒストグラムを抽出する。一つが，差分信号のヒストグラムである。もう一つが，差分信号に対するSteerable pyramid 変換〔参考文献１参照〕により得られる変換係数に対するヒストグラムである。
〔参考文献１〕：E. P. Simoncelli and W. T. Freeman, “The Steerable Pyramid: A Flexible Architecture for Multi-Scale Derivative Computation ”，IEEE Int'l Conf. on Image Processing. Washington DC, October 1995 ．
Steerable pyramid 変換は，方向性フィルタバンクの一種であり，方向数と分解レベルにより出力が規定される。原信号を２J ×２J 画素として，方向数Ｍと分解レベルＪmax のSteerable pyramid 変換を行う場合，第ｊ分解レベル（０≦ｊ≦Ｊmax −１）においては，Ｍ種類の方向成分を有し，各方向成分が２J-J ×２J-j 個の変換係数を有する。なお，最上位の分解レベルｊ＝Ｊmax においては，方向成分に関する分割はなく，２J-Jmax×２J-Jmax個の変換係数を有する。また，上記とは別に，高周波成分として，２J ×２J 個の変換係数を有する。
【００２８】
また，変換係数は実数値で表現されているため，分解レベル毎の各方向成分を予め与えられた量子化幅Ｋで量子化し，量子化後の変換係数に対するヒストグラムをテクスチャ分析情報とする。
【００２９】
例として，図２に，Ｍ＝２, Ｊmax ＝１とした場合のsteerable pyramid 変換の分析フィルタの構成例を示す。高域通過フィルタ２１および低域通過フィルタ２２の入力は，画像信号（差分信号）である。この分析フィルタは，入力された画像信号に対して，指定されたレベル分解および方向分解を行い，高域成分，低域成分としてのフィルタ係数を算出する。高域通過フィルタ２１から，高域通過フィルタの係数が出力され，第一方向成分通過フィルタ２３１から低域通過フィルタ＋第一方向成分通過フィルタの係数が出力され，第二方向成分通過フィルタ２３２から低域通過フィルタ＋第一方向成分通過フィルタの係数が出力され，低域通過フィルタ２３３とダウンサンプリング部２３４から，低域通過フィルタ＋ダウンサンプリング後の係数が出力される。
【００３０】
分解レベルを増やす場合には，ダウンサンプリング部２３４の出力するダウンサンプリング後の信号に対して，破線で囲んだ部分２３の処理を再帰的に繰り返す。
【００３１】
図３は，画像符号化装置の他の構成例を示す。図３に示す画像符号化装置１−１では，図１に示す画像符号化装置１に対して，差分信号生成部１４とテクスチャ分析処理部１５との間に，高域通過フィルタ処理部１６が設けられている。他の構成部分は，図１に示す画像符号化装置１と同様である。高域通過フィルタ処理部１６は，差分信号に対して高域通過フィルタを施し，テクスチャ分析処理の対象を差分信号の高周波成分に制限する。この場合，高域通過フィルタは，解像度変換処理で用いるフィルタの周波数特性に基づき設定することができる。
【００３２】
ここで，ヒストグラムの表現方法について整理する。ヒストグラムをｈB ［ｉ］（ｉ＝０，１，…，Ｂ−１）と表した場合，ｈB ［ｉ］は，対象となる信号値がｉとなるサンプルの個数を格納する。このとき，Ｂをヒストグラムのｂｉｎ数と呼び，ｈB ［ｉ］を第ｉｂｉｎの頻度値と呼ぶ。
【００３３】
前記のように，テクスチャ合成処理の対象の周波数帯域を制限することで，帯域幅に応じて前記差分信号の電力も制限される。この結果，ビット制限前に比べて，同ヒストグラムを表現する情報量を低減することが可能となる。
【００３４】
Steerable pyramid 変換の変換係数に対するヒストグラムに対しても，解像度変換後の画像の電力に基づき，ヒストグラムのｂｉｎ数を制限する。具体的には，同電力が小さくなるにつれて，ヒストグラムのｂｉｎ数を小さく設定する。これは，変換前の信号の周波数成分と解像度変換に用いるフィルタの周波数特性に応じて，変換係数に必要なビット深度も変化することを考慮すると，変換係数のヒストグラムのｂｉｎ数を常に一定に保つことは，解像度変換後の画像の電力が小さな場合，変換係数に対して冗長な表現を与える可能性があるためである。
【００３５】
Steerable pyramid 変換における第ｊ分解レベル（0 ≦ｊ≦Ｊmax −１）における第ｍ（ｍ＝０，１，…，Ｍ−１）方向成分の変換係数に対するヒストグラムをＬx (j,m) ［ｉ］（ｉ＝０，…，２2(J-j)−１）〔ここで，下添字ＸはＢδ（δは下添字）の代わりの表記，以下同様〕とする。なお，前述の通り，最上位の分解レベルｊ＝Ｊmax においては，方向成分に関する分割はなく，ｍ＝０に対応するヒストグラムに限定される。また，上記とは別に，高周波成分として，２J ×２J 個の変換係数を有するため，この高周波成分を格納するヒストグラムを，ＨJ ［ｉ］（ｉ＝０，…，２2J−１）とする。
【００３６】
第ｊ分解レベル（０≦ｊ≦Ｊmax −１）における第ｍ（ｍ＝０，１，…，Ｍ−１）方向成分の変換係数に対するヒストグラムをＬx (j,m) ［ｉ］（ｉ＝０，…，２2(J-j)−１）とすることは，実数値で表現された変換係数をＢδ種類の離散値で近似することになる。この離散化の際，用いる量子化幅をｑj,m ，第ｊ分解レベル（０≦ｊ≦Ｊmax −１）における第ｍ（ｍ＝０，１，…，Ｍ−１）方向成分の変換係数ｃj,m ［ｋ］（ｋ＝０，…，２2(J-j)−１）とすると，この離散化に伴う近似誤差Ｅx (j,m) は，次式のように表される。
【００３７】
【数２】
2011254219.tif 000004
【００３８】
この式中，「Ｌ字型の記号」と「左右反転Ｌ字型の記号」で挟まれる値ｘは，実数ｘに対する少数点以下の切捨てを意味する。また，高周波成分に対する近似誤差を，便宜上，以下のように表す。
【００３９】
【数３】
2011254219.tif 000005
【００４０】
なお，ここで用いたｍ＝Ｍは方向成分を同定するためではなく，高周波成分を表すインデックスとして用いている。
【００４１】
全分解レベルの全方向成分に対する近似誤差の和として，次式を定義する。
【００４２】
【数４】
2011254219.tif 000006
【００４３】
ｂｉｎ数の増加に対して，近似誤差和Ｅtotal （Ｂδ，δ）は単調減少となる。そこで，ｂｉｎ数の設定の際には，式（２）に対する閾値Ｔを設定し，ｂｉｎ数の候補となる値を複数用意し，同候補に含まれる値の中で次式を満たす最大の値をｂｉｎ数とする。
【００４４】
Ｅtotal （Ｂδ，δ）≦Ｔ
また，図４は，画像符号化装置のさらに他の構成例を示す。図４に示す画像符号化装置１−２では，帯域分離部１０１が，入力した画像信号を低周波帯域信号と高周波帯域信号とに分離する。波形符号化処理部１０２は，低周波帯域信号に対して波形符号化に基づく符号化処理を行い，符号化データを生成する。一方，テクスチャ分析処理部１０３は，高周波帯域信号に対してテクスチャ分析を行い，高周波帯域信号を，画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成する。これらの波形符号化処理による符号化データとテクスチャ分析による符号化データとを符号化ストリームとして統合し，出力する。
【００４５】
以上のように，解像度変換として，高周波帯域信号と低周波帯域信号とに分離して処理する方法を用いる図４の画像符号化装置１−２の構成の利点は，テクスチャ分析処理と波形符号化処理とを並列に処理できる点にある。このため，図１，図３の符号化処理では，波形符号化処理・復号処理が完了するまで，テクスチャ合成処理が実行できないのに対して，図４の構成では，両者を並列に処理できるため，並列処理が可能な環境では，処理速度の向上が期待できる。
【００４６】
復号処理について，図５を用いて説明する。図５は，画像復号装置の構成例を示す。画像復号装置３は，テクスチャ合成処理部３０と，復号処理部３１と，逆解像度変換部３２と，復号信号生成部３３とを備える。
【００４７】
復号処理では，２種類の符号化情報を入力とする。まず，復号処理部３１は，波形符号化処理の出力として得られた符号化ストリームに対して，対応する復号処理を行い，復号信号を生成する。逆解像度変換部３２は，復号処理の出力として得られた復号信号（Ｘ′×Ｙ′画素）に対して，逆解像度変換処理を行い，構造成分の復号信号（Ｘ×Ｙ画素）を得る。
【００４８】
一方，テクスチャ合成処理部３０は，テクスチャ分析情報を入力として，以下のテクスチャ合成の方法に基づき，テクスチャ情報を復号する。符号化処理において，図３に示すような高域通過フィルタによる帯域制限処理が加わっている場合には，テクスチャ合成・分析処理の対象は，一定の帯域内の周波数成分に制限される。
【００４９】
テクスチャ合成の方法は，非特許文献１の方法を使用する。この方法では，テクスチャ合成処理の入力として，Steerable pyramid と呼ぶ方向性フィルタバンクの出力として得られた係数のヒストグラムを用いる。同方法の概要を以下に示す。
【００５０】
同方法の入力は，適当な初期画像（上記非特許文献１では，白色雑音画像），および目標とするテクスチャ画像（以後，目標テクスチャ画像と呼ぶ）に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンドのヒストグラムとする。サブバンド分解には，Steerable pyramid を用いる。テクスチャ合成の出力として得られる画像を合成画像と呼ぶ。なお，以下の処理の開始時点では，合成画像は上記の初期画像で初期化されている。
【００５１】
〔テクスチャ合成の方法〕
（１）処理対象画像の初期画像としての白色雑音画像，および目標テクスチャ画像に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンド毎の変換係数のヒストグラム（サブバンドヒストグラムと呼ぶ）を入力する。
（２）合成画像（最初は初期画像）の画素値ヒストグラム，目標テクスチャ画像の画素値ヒストグラムをもとに，合成画像の画素値ヒストグラムを目標テクスチャ画像のそれに近づける。
（３）上記（２）で得られた合成画像の画素値ヒストグラムを用いて，合成画像を生成する。
（４）上記（３）で得られた合成画像を入力として，同画像に対する方向性フィルタバンクの順変換を行い，変換係数を算出する。各サブバンド毎に変換係数のヒストグラムを生成する。
（５）合成画像および目標テクスチャ画像の両画像のサブバンドヒストグラムを入力として，合成画像の各サブバンドのヒストグラムを目標テクスチャ画像の同一帯域のサブバンドのヒストグラムに近づける。
（６）上記（５）で修正した合成画像のサブバンド係数を入力として，方向性フィルタバンクの逆変換を行い，合成画像を出力する。
（７）上記（２）〜（６）の処理を一定回数，繰り返す。
【００５２】
テクスチャ合成においてサブバンド係数を得る手法としては，例えばwavelet のような上記以外のフィルタバンクの適用も検討されている。本発明におけるテクスチャ特徴量の予測機構は，上記の方向性フィルタバンクに限らず，それ以外のフィルタバンクに対しても同様に適用することができる。
【００５３】
例として，図６に，Ｍ＝２, Ｊmax ＝１とした場合のsteerable pyramid 変換の合成フィルタの構成例を示す。この合成フィルタは，入力されたフィルタ係数から画像信号を合成する。高域合成フィルタ４２は，図２に示す高域通過フィルタ２１が出力したフィルタ係数を入力し，画像信号を合成する。第一方向成分合成フィルタ４０１は，図２に示す第一方向成分通過フィルタ２３１が出力した低域通過フィルタと第一方向成分通過フィルタの係数を入力する。第二方向成分合成フィルタ４０２は，図２に示す第二方向成分通過フィルタ２３２が出力した低域通過フィルタと第二方向成分通過フィルタの係数を入力する。アップサンプリング部４０３は，図２に示すダウンサンプリング部２３４が出力した低域通過フィルタとダウンサンプリング後の係数を入力してアップサンプリングし，低域成分合成フィルタ４０４はアップサンプリング後の係数から画像信号を合成する。低域合成フィルタ４１は，第一方向成分合成フィルタ４０１，第二方向成分合成フィルタ４０２，低域成分合成フィルタ４０４の出力を合成する。高域合成フィルタ４２および低域合成フィルタ４１の出力から，最終的な差分信号の画像信号が合成される。
【００５４】
分解レベルを増やす場合には，破線で囲んだ部分４０の処理を，再帰的に繰り返す。
【００５５】
以下，本実施形態の具体的な処理の流れについて説明する。
【００５６】
〔フローチャート（符号化処理）〕
図７は，図３に示す画像符号化装置１−１の処理フローチャートである。他の実施形態についても同様に処理できる。
【００５７】
（１）画像信号（Ｘ×Ｙ画素）を入力とし，解像度変換処理により，Ｘ′×Ｙ′画素の縮小画像信号へ変換し，同縮小画像を出力する（ステップＳ１０）。
【００５８】
（２）解像度変換処理の出力として得られた縮小画像信号を入力として，予め定められた符号化方法に従い，波形符号化処理を行い，その符号化データを出力する。波形符号化処理としては，例えば，Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法がある（ステップＳ１１）。
【００５９】
（３）上記（２）で生成された符号化データを復号し，復号信号（Ｘ′×Ｙ′画素）を得る（ステップＳ１２）。
【００６０】
（４）復号信号（Ｘ′×Ｙ′画素）を入力として，逆解像度変換処理を行い，原画像と同じ解像度の画像信号（Ｘ×Ｙ画素）としての構造成分の復号信号を得る（ステップＳ１３）。
【００６１】
（５）上記（４）で生成した復号信号と原信号との差分を算出し，差分信号として出力する（ステップＳ１４）。
【００６２】
（６）差分信号を入力として，同信号を高域通過フィルタにより帯域制限した信号を出力する（ステップＳ１５）。
【００６３】
（７）上記（６）で生成した帯域制限後の信号を入力として，テクスチャ分析処理を行い，画素値のヒストグラム，方向性フィルタバンクの各バンド毎のフィルタ係数のヒストグラムを出力する（ステップＳ１６）。このステップＳ１６の処理を「テクスチャ分析処理」と呼ぶ。
【００６４】
〔フローチャート（テクスチャ分析処理）〕
図８は，テクスチャ分析処理（ステップＳ１６）の詳細な処理フローチャートである。以下，テクスチャ分析処理の流れを説明する。
【００６５】
（１）入力信号を読み込み，入力信号の画素値のヒストグラムを出力する（ステップＳ１６１）。
【００６６】
（２） Steerable pyramid変換を規定するパラメータ方向数Ｍ，分解レベルＪmax を読み込む（ステップＳ１６２）。
【００６７】
（３）入力信号に対して，方向数Ｍ，分解レベルＪmax で定まるSteerable pyramid 変換を行い，変換係数を出力する（ステップＳ１６３）。
【００６８】
（４）高周波成分に属する２J ×２J 個の変換係数に対してヒストグラムを求め，ＨJ ［ｉ］（ｉ＝０，…，２2J−１）として出力する（ステップＳ１６４）。
【００６９】
（５）ｊ＝０，１，…，Ｊmax −１に対して，以下の処理を繰り返す（ステップＳ１６５〜Ｓ１７０）。
【００７０】
（６）ｍ＝０，１，…，Ｍ−１に対して，以下の処理を繰り返す（ステップＳ１６６〜Ｓ１６８）。
【００７１】
（７）第ｊ分解レベルにおける第ｍ方向成分に属する２2(J-j)個の変換係数に対するヒストグラムを求め，Ｌx (j,m) ［ｉ］（ｉ＝０，…，２2(J-j)−１）として出力する（ステップＳ１６６）。
【００７２】
（８）最上位の分解レベルｊ＝Ｊmax に属する「２の２（Ｊ−Ｊmax ）乗」個の変換係数に対するヒストグラムを求め，Ｌx Y ［ｉ］（ｉ＝０，…，２の２（Ｊ−Ｊmax ）乗−１）として出力する。なお，ここでＹは（Ｊmax ，０）である。最上位の分解レベルでは，方向成分に関する分割はなく，ｍ＝０に対応するヒストグラムに限定される（ステップＳ１７１）。
【００７３】
〔フローチャート（復号処理）〕
図９は，図５に示す画像復号装置３の処理フローチャートである。
【００７４】
（１）波形符号化処理の出力として得られた符号化データを入力として，波形符号化処理に対応する復号処理を行い，復号信号を出力する（ステップＳ２０）。
【００７５】
（２）復号処理の出力として得られた復号信号（Ｘ′×Ｙ′画素）を入力として，逆解像度変換処理を行い，Ｘ×Ｙ画素の復号信号を得る（ステップＳ２１）。
【００７６】
（３）テクスチャ分析情報を入力として，テクスチャ合成処理を行い，復号されたテクスチャ信号を出力する（ステップＳ２２）。この処理の詳細については，図１０を用いて後述する。
【００７７】
（４）上記（２）で復号された構造成分，（３）で復号されたテクスチャ成分を入力として，二つの信号を加算し，加算後の信号を復号信号として出力する（ステップＳ２３）。
【００７８】
〔フローチャート（テクスチャ合成処理）〕
図１０は，テクスチャ合成処理（図９のステップＳ２２）の詳細な処理フローチャートである。
【００７９】
テクスチャ合成処理では，Steerable pyramid 変換の変換係数のヒストグラムを入力として，サブバンド分解には，Steerable pyramid を用いる。テクスチャ合成の出力として得られる画像を合成画像と呼ぶ。なお，以下の処理の開始時点では，合成画像は上記の初期画像で初期化されている。
【００８０】
（１）入力として，処理対象画像の初期画像としての白色雑音画像，および目標とするテクスチャ画像（以後，目標テクスチャ画像と呼ぶ）に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンドのヒストグラムを読み込む。このヒストグラムをサブバンドヒストグラムと呼ぶ（ステップＳ２２１）。
【００８１】
（２）合成画像の画素値ヒストグラム，目標テクスチャ画像の画素値ヒストグラムを入力として，合成画像の画素値ヒストグラムを目標テクスチャ画像のそれに近づける処理を行い，処理後の合成画像の画素値ヒストグラムを出力する（ステップＳ２２２）。
【００８２】
（３）上記（２）で得られた合成画像の画素値ヒストグラムを用いて，処理対象画像の画素値を修正し，合成画像を生成する（ステップＳ２２３）。
【００８３】
（４）上記（３）で得られた合成画像を入力として，同画像に対する方向性フィルタバンクの順変換を行い，変換係数を算出する（ステップＳ２２４）。
【００８４】
（５）各サブバンドの変換係数を入力として，同変換係数のヒストグラムを出力する（ステップＳ２２５）。
【００８５】
（６）合成画像と目標テクスチャ画像の両画像のサブバンドヒストグラムを入力として，合成画像の各サブバンドのヒストグラムを目標テクスチャ画像の同一帯域のサブバンドのヒストグラムに近づける処理を行い，処理後のヒストグラムを出力する（ステップＳ２２６）。
【００８６】
（７）上記（６）で得られたサブバンドのヒストグラムを用いて，変換係数の値を修正し，修正後の値を生成する（ステップＳ２２７）。
【００８７】
（８）上記（７）で修正した合成画像のサブバンド係数を入力として，方向性フィルタバンクの逆変換を行い，合成画像を出力する（ステップＳ２２８）。
【００８８】
（９）以上の処理を一定回数，繰り返す（ステップＳ２２２〜Ｓ２２９）。
【００８９】
以上説明した画像符号化および画像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００９０】
１    画像符号化装置
１０  解像度変換部
１１  波形符号化処理部
１２  復号処理部
１３  逆解像度変換部
１４  差分信号生成部
１５  テクスチャ分析処理部
３    画像復号装置
３０  テクスチャ合成処理部
３１  復号処理部
３２  逆解像度変換部
３３  復号信号生成部
【図１】
2011254219.tif 000007
【図２】
2011254219.tif 000008
【図３】
2011254219.tif 000009
【図４】
2011254219.tif 000010
【図５】
2011254219.tif 000011
【図６】
2011254219.tif 000012
【図７】
2011254219.tif 000013
【図８】
2011254219.tif 000014
【図９】
2011254219.tif 000015
【図１０】
2011254219.tif 000016