(57)【特許請求の範囲】
【請求項１】
ブロックベースの予測を行って予測信号を生成し、その予測信号との予測誤差を直交変換し量子化するとともに、その量子化結果を逆量子化して変換係数を得てそれを逆直交変換することで予測誤差の復号信号を生成して、その予測信号にその予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像符号化方法において、
Ｎ×Ｎ画素のブロック内の各画素位置における符号化歪みと、変換係数のＮ×Ｎ要素の量子化誤差との関係を示す所定の式を用いて、変換係数の要素の量子化誤差によってブロック境界に位置する画素に生じる符号化歪みの大きさを変換係数の要素毎に算出し、前記変換係数の要素のうち、規定の閾値以上のブロック符号化歪みを生じさせる変換係数の要素を特定する第１の過程と、
前記第１の過程で特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の過程と、
前記第１の過程で特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第３の過程と、
前記予測により生成した予測信号をｔ倍（ｔは０≦ｔ≦１の範囲内の設定値）した予測信号に前記第２の過程で生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行する第４の過程と、
前記予測により生成した予測信号を（１−ｔ）倍した予測信号に前記第３の過程で生成した予測誤差の復号信号を加算することで得られる復号信号と、前記第４の過程の実行により得たブロック歪み低減処理を施した復号信号とを加算する第５の過程とを備えることを、
特徴とする画像符号化方法。
【請求項２】
請求項１に記載の画像符号化方法において、
前記第１の過程では、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に前記所定の式を用いて算出することで、特定の辺に規定の閾値以上の符号化歪みが発生しているのかを判断し、特定の辺に規定の閾値以上の符号化歪みが発生している場合には、その辺について前記規定の閾値以上の符号化歪みを発生させるもととなった変換係数の要素を、前記特定する変換係数の要素とし、
前記第４の過程では、前記第１の過程で特定の辺に規定の閾値以上の符号化歪みが発生していることを判断する場合には、その辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することを、
特徴とする画像符号化方法。
【請求項３】
ブロックベースの予測を行うことで生成された予測信号との予測誤差の符号化情報を復号して逆量子化することで変換係数を得て、それを逆直交変換することで予測誤差の復号信号を生成するとともに、予測信号を特定可能にする符号化情報を復号し、それに基づいて予測信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像復号方法において、
Ｎ×Ｎ画素のブロック内の各画素位置における符号化歪みと、変換係数のＮ×Ｎ要素の量子化誤差との関係を示す所定の式を用いて、変換係数の要素の量子化誤差によってブロック境界に位置する画素に生じる符号化歪みの大きさを変換係数の要素毎に算出し、前記変換係数の要素のうち、規定の閾値以上のブロック符号化歪みを生じさせる変換係数の要素を特定する第１の過程と、
前記第１の過程で特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の過程と、
前記第１の過程で特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第３の過程と、
前記符号化情報の復号により生成した予測信号をｔ倍（ｔは０≦ｔ≦１の範囲内の設定値）した予測信号に前記第２の過程で生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行する第４の過程と、
前記予測により生成した予測信号を（１−ｔ）倍した予測信号に前記第３の過程で生成した予測誤差の復号信号を加算することで得られる復号信号と、前記第４の過程の実行により得たブロック歪み低減処理を施した復号信号とを加算する第５の過程とを備えることを、
特徴とする画像復号方法。
【請求項４】
請求項３に記載の画像復号方法において、
前記第１の過程では、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に前記所定の式を用いて算出することで、特定の辺に規定の閾値以上の符号化歪みが発生しているのかを判断し、特定の辺に規定の閾値以上の符号化歪みが発生している場合には、その辺について前記規定の閾値以上の符号化歪みを発生させるもととなった変換係数の要素を、前記特定する変換係数の要素とし、
前記第４の過程では、前記第１の過程で特定の辺に規定の閾値以上の符号化歪みが発生していることを判断する場合には、その辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することを、
特徴とする画像復号方法。
【請求項５】
ブロックベースの予測を行って予測信号を生成し、その予測信号との予測誤差を直交変換し量子化するとともに、その量子化結果を逆量子化して変換係数を得てそれを逆直交変換することで予測誤差の復号信号を生成して、その予測信号にその予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像符号化装置において、
Ｎ×Ｎ画素のブロック内の各画素位置における符号化歪みと、変換係数のＮ×Ｎ要素の量子化誤差との関係を示す所定の式を用いて、変換係数の要素の量子化誤差によってブロック境界に位置する画素に生じる符号化歪みの大きさを変換係数の要素毎に算出し、前記変換係数の要素のうち、規定の閾値以上のブロック符号化歪みを生じさせる変換係数の要素を特定する特定手段と、
前記特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、
前記特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、
前記予測により生成した予測信号をｔ倍（ｔは０≦ｔ≦１の範囲内の設定値）した予測信号に前記第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、
前記予測により生成した予測信号を（１−ｔ）倍した予測信号に前記第２の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号と、前記フィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えることを、
特徴とする画像符号化装置。
【請求項６】
ブロックベースの予測を行うことで生成された予測信号との予測誤差の符号化情報を復号して逆量子化することで変換係数を得て、それを逆直交変換することで予測誤差の復号信号を生成するとともに、予測信号を特定可能にする符号化情報を復号し、それに基づいて予測信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像復号装置において、
Ｎ×Ｎ画素のブロック内の各画素位置における符号化歪みと、変換係数のＮ×Ｎ要素の量子化誤差との関係を示す所定の式を用いて、変換係数の要素の量子化誤差によってブロック境界に位置する画素に生じる符号化歪みの大きさを変換係数の要素毎に算出し、前記変換係数の要素のうち、規定の閾値以上のブロック符号化歪みを生じさせる変換係数の要素を特定する特定手段と、
前記特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、
前記特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、
前記符号化情報の復号により生成した予測信号をｔ倍（ｔは０≦ｔ≦１の範囲内の設定値）した予測信号に前記第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、
前記予測により生成した予測信号を（１−ｔ）倍した予測信号に前記第２の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号と、前記フィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えることを、
特徴とする画像復号装置。
【請求項７】
請求項１または請求項２に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
【請求項８】
請求項１または請求項２に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
請求項３または請求項４に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
【請求項１０】
請求項３または請求項４に記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロックベースの予測を行うことで画像を符号化する場合に、主観画質を劣化させないブロック歪みの低減処理を実行する画像符号化方法およびその装置と、その画像符号化技術により生成された符号化情報を復号する場合に、主観画質を劣化させないブロック歪みの低減処理を実行する画像復号方法およびその装置と、その画像符号化方法の実現に用いられる画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その画像復号方法の実現に用いられる画像復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
Ｈ．２６４に代表される動画像符号化方式では、ブロックベースの動き補償と離散コサイン変換（ＤＣＴ）の組合せによる符号化手法が用いられている。これは、動き補償により時間方向の冗長性を除去し、ＤＣＴにより空間方向の冗長性を除去する狙いがある。
【０００３】
しかしながら、ブロックベースの方式であるため、原理上、ブロック歪みの発生を内在する。つまり、低レートにおいて、量子化ステップ幅が大きくなると、隣接ブロックとの不連続性が大きくなり、ブロック境界においてブロック歪みが顕在化する。このため、ブロック歪みの低減が復号画像の画質向上には不可欠となる。
【０００４】
そこで、ブロック境界におけるブロック歪みを低減するためにデブロッキングフィルタが利用される。
【０００５】
Ｈ．２６４のデブロッキング処理（例えば、非特許文献１参照）では、まず、空間的な位置（マクロブロック境界か否か）、符号化モード（イントラ符号化されたか否か）、直交変換係数の有無、参照フレームの枚数・動きベクトルの差異等により、フィルタの強度を５通りに設定する。この強度を表すのはＢｓ値と呼ばれるパラメータであり、０，１，２，３，４のいずれかの値をとる。さらに、量子化パラメータの大小に応じて、デブロッキングフィルタの形状が設定される。
【非特許文献１】Adaptive deblocking filter, P.List，et.al., IEEE Transactions on Circuits and Systems for Video Technology, Volume 13, Issue 7, July 2003, pp.614-619
【発明の開示】
【発明が解決しようとする課題】
【０００６】
Ｈ．２６４において用いられるデブロッキングフィルタでは、ブロック境界に存在する不連続性、即ちブロック歪みを低減する一方で、同時に、ブロック境界に存在する細かいテクスチャの模様も消失させる（oversmoothing)。
【０００７】
このoversmoothing と呼ばれる現象は、復号画質の精細さを失わせ、主観画質を大きく劣化させる。
【０００８】
しかしながら、Ｈ．２６４において用いられるデブロッキングフィルタでは、このoversmoothing の発生を抑える仕組みを具備していない。
【０００９】
これから、従来技術に従っていると、ブロック歪みを低減する際に、ブロック境界に存在する細かいテクスチャの模様も消失させるという問題がある。
【００１０】
本発明はかかる事情に鑑みてなされたものであって、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、ブロック歪みを低減し、かつ、高域成分を保持できるようにする新たなブロック歪み低減処理技術を確立することを目的とする。
【課題を解決するための手段】
【００１１】
前述のoversmoothing は、各変換係数の量子化が画素領域において及ぼす影響を考慮していないことによる。
【００１２】
ＤＣＴ係数の場合、低域成分の量子化誤差は、ＤＣＴブロック境界近傍に大きな誤差電力を発生させ、一方、高域成分の量子化誤差は、同境界近傍には小さな誤差電力しか発生させないことが知られている。ブロック歪みの原因がブロック境界での不連続性であることを考慮すると、ブロック歪みの原因となるのは、低域成分の量子化誤差と言える。
【００１３】
そこで、本発明では、適応的に選択した直交変換の変換係数により得られる復号信号に対してデブロッキング処理（ブロック歪み低減処理）を実施する適応処理を導入する。
【００１４】
例えば、直交変換の変換係数の低域成分に対して、復号処理およびデブロッキング処理を行い、低域復号信号を得る。一方、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得る。最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とする。この適応処理により、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【００１５】
次に、このことを実現する本発明の画像符号化装置および画像復号装置の構成について説明する。
【００１６】
［１］本発明の画像符号化装置
本発明の画像符号化装置は、ブロックベースの予測を行って予測信号を生成し、その予測信号との予測誤差を直交変換し量子化するとともに、その量子化結果を逆量子化して変換係数を得てそれを逆直交変換することで予測誤差の復号信号を生成して、その予測信号にその予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成するという構成を採るときに、（１）Ｎ×Ｎ画素のブロック内の各画素位置における符号化歪みと、変換係数のＮ×Ｎ要素の量子化誤差との関係を示す所定の式を用いて、変換係数の要素の量子化誤差によってブロック境界に位置する画素に生じる符号化歪みの大きさを変換係数の要素毎に算出し、変換係数の要素のうち、規定の閾値以上のブロック符号化歪みを生じさせる変換係数の要素を特定する特定手段と、（２）特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、（３）特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、（４）予測により生成した予測信号をｔ倍（ｔは０≦ｔ≦１の範囲内の設定値）した予測信号に第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、（５）予測により生成した予測信号を（１−ｔ）倍した予測信号に第２の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号と、フィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えるように構成する。
【００１７】
以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１８】
このように構成される本発明の画像符号化装置では、逆量子化により得られた変換係数の要素について、ブロック境界に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価して、規定の閾値以上の符号化歪みを示す変換係数の要素を、ブロック歪みの生成に大きな影響を与える変換係数の要素として特定する。
【００１９】
逆量子化により得られた変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定すると、その特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第１の予測誤差の復号信号）を生成するとともに、その特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第２の予測誤差の復号信号）を生成する。
【００２０】
そして、予測により生成した予測信号（それを低減させた予測信号を用いることも可能）に第１の予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するとともに、第２の予測誤差の復号信号とそのブロック歪み低減処理の実行により得たブロック歪み低減処理を施した復号信号とを加算することで、予測信号の生成に用いる復号信号を生成する。
【００２１】
このようにして、本発明の画像符号化装置では、符号化歪みへの影響の大きさに基づいて、直交変換の変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。
【００２２】
この適応処理により、本発明の画像符号化装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【００２３】
この構成を採るときにあって、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に前記所定の式を用いて算出することで、特定の辺に規定の閾値以上の符号化歪みが発生しているのかを判断し、特定の辺に規定の閾値以上の符号化歪みが発生している場合には、その辺について前記規定の閾値以上の符号化歪みを発生させるもととなった変換係数の要素を、前記特定する変換係数の要素とすることがあり、特定の辺に規定の閾値以上の符号化歪みが発生していることを判断する場合には、フィルタ手段は、その辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することで、一律にブロック歪み低減処理を実行することによるoversmoothing の発生を防止することができるようになる。
【００２４】
［２］本発明の画像復号装置
本発明の画像復号装置は、ブロックベースの予測を行うことで生成された予測信号との予測誤差の符号化情報を復号して逆量子化することで変換係数を得て、それを逆直交変換することで予測誤差の復号信号を生成するとともに、予測信号を特定可能にする符号化情報（動きベクトルや符号化モードの情報）を復号し、それに基づいて予測信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成するという構成を採るときに、（１）Ｎ×Ｎ画素のブロック内の各画素位置における符号化歪みと、変換係数のＮ×Ｎ要素の量子化誤差との関係を示す所定の式を用いて、変換係数の要素の量子化誤差によってブロック境界に位置する画素に生じる符号化歪みの大きさを変換係数の要素毎に算出し、変換係数の要素のうち、規定の閾値以上のブロック符号化歪みを生じさせる変換係数の要素を特定する特定手段と、（２）特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、（３）特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、（４）符号化情報の復号により生成した予測信号をｔ倍（ｔは０≦ｔ≦１の範囲内の設定値）した予測信号に第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、（５）予測により生成した予測信号を（１−ｔ）倍した予測信号に第２の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号と、フィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えるように構成する。
【００２５】
以上の各処理手段が動作することで実現される本発明の画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２６】
このように構成される本発明の画像復号装置では、画像符号化装置と同一処理を実行することで、逆量子化により得られた変換係数の要素について、ブロック境界に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価して、規定の閾値以上の符号化歪みを示す変換係数の要素を、ブロック歪みの生成に大きな影響を与える変換係数の要素として特定したり、あるいは、画像符号化装置から送られてくる符号化情報を復号することで、それらの変換係数の要素を特定する。
【００２７】
逆量子化により得られた変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定すると、その特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第１の予測誤差の復号信号）を生成するとともに、その特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第２の予測誤差の復号信号）を生成する。
【００２８】
そして、符号化情報の復号により生成した予測信号（それを低減させた予測信号を用いることも可能）に第１の予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するとともに、第２の予測誤差の復号信号とそのブロック歪み低減処理の実行により得たブロック歪み低減処理を施した復号信号とを加算することで、予測信号の生成に用いる復号信号を生成する。
【００２９】
このようにして、本発明の画像復号装置では、符号化歪みへの影響の大きさに基づいて、直交変換の変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。
【００３０】
この適応処理により、本発明の画像復号装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【００３１】
この構成を採るときにあって、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に前記所定の式を用いて算出することで、特定の辺に規定の閾値以上の符号化歪みが発生しているのかを判断し、特定の辺に規定の閾値以上の符号化歪みが発生している場合には、その辺について前記規定の閾値以上の符号化歪みを発生させるもととなった変換係数の要素を、前記特定する変換係数の要素とすることがあり、特定の辺に規定の閾値以上の符号化歪みが発生していることを判断する場合には、フィルタ手段は、その辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することで、一律にブロック歪み低減処理を実行することによるoversmoothing の発生を防止することができるようになる。
【発明の効果】
【００３２】
本発明は、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、直交変換の変換係数の量子化誤差の画素領域での局在性に着目し、変換係数のブロック歪みへの影響の大きさに応じて、ブロック歪み低減処理のフィルタ強度を変化させる適応処理を導入している。
【００３３】
これにより、本発明によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【発明を実施するための最良の形態】
【００３４】
以下、実施の形態に従って本発明を詳細に説明する。
【００３５】
以下の文献によれば、量子化による誤差電力は、ＤＣＴ成分毎の空間的局在性を有していることが分かる。具体的には、低域成分に対する量子化誤差は、ブロック境界に大きな誤差を発生させ、高域成分に対する量子化誤差は、ブロック中央部に大きな誤差を発生させる。
【００３６】
文献："DCT quantization noise in compressed images", M.A.Robertson and R.L.Ste        venson, IEEE Transactions on CSVT Vol.15, No.1, pp.27-38, Jan. 2005 
本発明では、この量子化誤差の局在性を利用して、以下のようなＤＣＴ成分毎の適応的なデブロッキング処理を実施する。なお、ＤＣＴのサイズをＮ×Ｎとする。
【００３７】
［１］要素適応デブロッキング処理
（０）量子化によるブロック境界に大きな誤差が発生する低域成分を選択する。具体的        な選択方法については、次に説明する“［２］デブロッキング処理対象となる要        素の選択方法”において後述する。
【００３８】
（１）（０）で選択された低域ＤＣＴ成分以外を零値として、逆ＤＣＴを実施すること        で予測誤差の復号信号を生成する。
【００３９】
（２）（１）で得られた予測誤差の復号信号と予測信号とを加算した信号に対してデブ        ロッキング処理を施す。具体的なデブロッキング処理は外部から与えられる。例        えば、Ｈ．２６４で規定されるデブロッキング処理を用いる。
【００４０】
（３）（０）で選択されなかったＤＣＴ成分以外を零値として、逆ＤＣＴを実施するこ        とで予測誤差の復号信号を生成する。
【００４１】
（４）（２）で得られた復号信号と（３）で得られた復号信号とを加算して、予測に用        いる復号信号とする。
【００４２】
［２］デブロッキング処理対象となる要素の選択方法
［２−１］デブロッキング処理対象となる要素の選択方法（ブロック単位）
以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【００４３】
前述の文献によれば、変換係数を量子化した場合、変換係数に対する量子化誤差が画素領域において以下の式（１）で示すような符号化歪みとなって現れる。ここでは、直交変換行列をＮ×Ｎ行列とし、さらに、その直交変換の対象となるＮ×Ｎ［画素］のブロック内における（ｍ，ｎ）の位置の符号化歪みをεS ［ｍ，ｎ］とする。
【００４４】
【数１】
0004902553.tif 000002
【００４５】
ここで、φ［ｌ，ｍ］は変換行列＾Φの（ｌ，ｍ）要素である。また、εC ［ｋ，ｌ］は変換係数の第（ｋ，ｌ）成分に対する量子化誤差である。式（１）は、ブロック内の位置（ｍ，ｎ）における符号化歪みに対して、変換行列＾Φの（ｌ，ｍ）要素の量子化誤差の寄与は、以下に示す式（２）であることを示している。
【００４６】
【数２】
0004902553.tif 000003
【００４７】
この式（２）の値を用いて、符号化済みのブロックとの境界に位置する画素について、以下の値α［ｋ，ｌ］を求める。
【００４８】
【数３】
0004902553.tif 000004
【００４９】
この求めたα［ｋ，ｌ］に対して、閾値ηとの比較を行い、
α［ｋ，ｌ］≧η
を満たす変換係数をデブロッキング処理の対象とする。ここで、閾値ηは外部から与えられるものとする。
【００５０】
α［ｋ，ｌ］は、ブロック境界に位置する画素の符号化歪みの画素平均であり、ブロック境界の不連続性であるブロック歪みをモデル化した値である。従って、α［ｋ，ｌ］が一定の閾値以上の要素に対して、デブロッキング処理を施すことは、ブロック歪みが大きな要素に対してのみ、ブロック歪みを処理することになる。
【００５１】
式（３）に式（２）を代入し、
Φ［ｌ，ｋ，ｍ，ｎ］＝φ［ｌ，ｍ］φ［ｋ，ｎ］
とおくと、式（３）は以下の式（４）のように変形できる。
【００５２】
【数４】
0004902553.tif 000005
【００５３】
ここで、ΨN ［ｋ，ｌ］を以下の式（５）のようにおく。
【００５４】
【数５】
0004902553.tif 000006
【００５５】
このΨN ［ｋ，ｌ］は、変換行列のみから定まる値であり、符号化に先立ち、予め、算出しておくことが可能である。
【００５６】
そこで、算出したΨN ［ｋ，ｌ］の値を格納しておき、符号化時に呼び出すようにする。このテーブル参照により、符号化時のα［ｋ，ｌ］の算出のための演算量増加は、テーブル参照の演算コストおよび、乗算のみに抑えることができる。なお、ΨN ［ｋ，ｌ］を格納したルックアップテーブルをブロック歪み参照テーブルと呼ぶ。
【００５７】
α［ｋ，ｌ］の算出には、εC ［ｋ，ｌ］2 の値も必要であるが、εC ［ｋ，ｌ］2 は第（ｋ，ｌ）成分の量子化誤差電力であり、符号化時には、符号化モード選択のために算出されている。このため、εC ［ｋ，ｌ］2 もレジスタに格納しておき、必要に応じて参照すればよく、改めて、α［ｋ，ｌ］の算出時に、εC ［ｋ，ｌ］2 を再度、算出する必要はない。
【００５８】
復号側には、ブロック毎にデブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送すればよい。
【００５９】
あるいは、εC ［ｋ，ｌ］2 の値は、変換係数の量子化ステップ幅Ｑk,l から、
εC ［ｋ，ｌ］2 ＝βＱk,l 2 
として推定することも可能である。
【００６０】
ここで、βは、予め外部から与えられるものとする。例えば、量子化誤差が一様分布に従うと仮定すれば、β＝１／１２となる。また、量子化誤差がパラメータλのラプラス分布に従うと仮定すれば、β＝λ／１２となる。このβの設定する単位（シーケンス単位、フレーム単位、ブロック単位）は、歪み・符号量のトレードオフの観点から、別途、定められるものとする。
【００６１】
この推定を利用する場合、復号側には、デブロッキング処理対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送する必要はなく、βの値を、定められ単位毎に伝送するだけで事足りる。あるいは、βとして用いる値を固定値として、符号化器・復号器で共有しておけば、βの情報すら伝送の必要はない。
【００６２】
［２−２］デブロッキング処理対象となる要素の選択方法（境界線単位）
式（２）の値を用いて、符号化済みのブロックとの境界に位置する画素について、以下の値αv ［ｋ，ｌ］，αh ［ｋ，ｌ］を求める。
【００６３】
【数６】
0004902553.tif 000007
【００６４】
この求めたαv ［ｋ，ｌ］，αh ［ｋ，ｌ］に対して、各々、閾値ηv ，ηh との比較を行い、
αv ［ｋ，ｌ］≧ηv 
を満たす変換係数を垂直方向のブロック境界におけるデブロッキング処理の対象とする。また、
αh ［ｋ，ｌ］≧ηh 
を満たす変換係数を水平方向のブロック境界におけるデブロッキング処理の対象とする。ここで、閾値ηv ，ηh は外部から与えられるものとする。
【００６５】
αv ［ｋ，ｌ］は、垂直方向のブロック境界に位置する水平に配置された画素列の符号化歪みの画素平均であり、αh ［ｋ，ｌ］は、水平方向のブロック境界に位置する垂直に配置された画素列の符号化歪みの画素平均であり、ブロック境界の不連続性であるブロック歪みをモデル化した値である。
【００６６】
従って、αv ［ｋ，ｌ］，αh ［ｋ，ｌ］が一定の閾値以上の要素に対して、デブロッキング処理を施すことは、ブロック歪みが大きな要素に対してのみ、ブロック歪みを処理することになるが、どちらの方を選択するのかということは（どちらの方向に大きなブロック符号化歪みが発生しているのかということは）、例えば、αv ［ｋ，ｌ］≧ηv となる変換係数の個数と、αh ［ｋ，ｌ］≧ηh となる変換係数の個数とを比較して、個数の多い方を選択することにより決定する。
【００６７】
式（６）と式（７）に式（２）を代入し、
Φ［ｌ，ｋ，ｍ，ｎ］＝φ［ｌ，ｍ］φ［ｋ，ｎ］
とおくと、式（６）、式（７）は、各々、以下の式（８）、式（９）のように変形できる。
【００６８】
【数７】
0004902553.tif 000008
【００６９】
ここで、ΨN,v ［ｋ，ｌ］，ΨN,h ［ｋ，ｌ］を、各々、以下の式（１０）、式（１１）のようにおく。
【００７０】
【数８】
0004902553.tif 000009
【００７１】
このΨN,v ［ｋ，ｌ］，ΨN,h ［ｋ，ｌ］は、変換行列のみから定まる値であり、符号化に先立ち、予め、算出しておくことが可能である。
【００７２】
そこで、算出したΨN,v ［ｋ，ｌ］，ΨN,h ［ｋ，ｌ］の値を格納しておき、符号化時に呼び出すようにする。このテーブル参照により、符号化時のαv ［ｋ，ｌ］，αh ［ｋ，ｌ］の算出のための演算量増加は、テーブル参照の演算コストおよび、乗算のみに抑えることができる。なお、ΨN,v ［ｋ，ｌ］，ΨN,h ［ｋ，ｌ］を格納したルックアップテーブルをブロック歪み参照テーブルと呼ぶ。
【００７３】
αv ［ｋ，ｌ］，αh ［ｋ，ｌ］の算出には、εC ［ｋ，ｌ］2 の値も必要であるが、εC ［ｋ，ｌ］2 は第（ｋ，ｌ）成分の量子化誤差電力であり、符号化時には、符号化モード選択のために算出されている。このため、εC ［ｋ，ｌ］2 もレジスタに格納しておき、必要に応じて参照すればよく、改めて、αv ［ｋ，ｌ］，αh ［ｋ，ｌ］の算出時に、εC ［ｋ，ｌ］2 を再度、算出する必要はない。
【００７４】
復号側には、境界線毎にデブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送すればよい。
【００７５】
あるいは、εC ［ｋ，ｌ］2 の値は、変換係数の量子化ステップ幅Ｑk,l から、
εC ［ｋ，ｌ］2 ＝βＱk,l 2 
として推定することも可能である。
【００７６】
ここで、βは、予め外部から与えられるものとする。例えば、量子化誤差が一様分布に従うと仮定すれば、β＝１／１２となる。また、量子化誤差がパラメータλのラプラス分布に従うと仮定すれば、β＝λ／１２となる。このβの設定する単位（シーケンス単位、フレーム単位、ブロック単位）は、歪み・符号量のトレードオフの観点から、別途、定められるものとする。
【００７７】
この推定を利用する場合、復号側には、デブロッキング処理対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送する必要はなく、βの値を、定められ単位毎に伝送するだけで事足りる。あるいは、βとして用いる値を固定値として、符号化器・復号器で共有しておけば、βの情報すら伝送の必要はない。
【００７８】
境界線を単位にして、デブロッキング処理の対象となる要素を選択する場合には、水平方向と垂直方向のどちらの方向に符号化歪みが大きいのかを判定できることになるので、その方向のみにブロック歪み低減処理の働くデブロッキング処理を施すことになる。
【実施例】
【００７９】
以下、実施例に従って本発明を詳細に説明する。
【００８０】
図１に、本発明の実行するフローチャートを図示する。
【００８１】
本発明では、このフローチャートに示すように、まず最初に、ステップＳ１０１で、逆量子化により得られたＤＣＴ変換の変換係数をレジスタに格納する。
【００８２】
続いて、ステップＳ１０２で、前述の“［２］デブロッキング処理対象となる要素の選択方法”で説明した選択方法に従って、デブロッキング処理の対象となる変換係数の要素を選択する。
【００８３】
続いて、ステップＳ１０３で、レジスタに格納した変換係数のうち、ステップＳ１０２で選択した要素以外は零値とし、ステップＳ１０２で選択した要素はその値をそのままとして、レジスタに書き出す。
【００８４】
続いて、ステップＳ１０４で、ステップＳ１０３でレジスタに書き出した変換係数に対して逆変換を行う。
【００８５】
続いて、ステップＳ１０５で、ステップＳ１０４で得た信号（予測誤差の復号信号）を用いてデブロッキング処理を行う。
【００８６】
一方、ステップＳ１０６で、レジスタに格納した変換係数のうち、ステップＳ１０２で選択した要素は零値とし、ステップＳ１０２で選択した要素以外はそのままとして、レジスタに書き出す。
【００８７】
続いて、ステップＳ１０７で、ステップＳ１０６でレジスタに書き出した変換係数に対して逆変換を行う。
【００８８】
そして、最後に、ステップＳ１０８で、ステップＳ１０５の処理で得られた復号信号と、ステップＳ１０７の処理で得られた復号信号とを加算することで、予測信号の生成に用いる復号信号を生成する。
【００８９】
［１］第１の実施例
次に、第１の実施例について説明する。第１の実施例は、画像復号装置が画像符号化装置から送られてくる符号化情報を復号することで、画像符号化装置の行うデブロッキング処理と同一のデブロッキング処理を実現するという実施例である。
【００９０】
ここで、以下の説明では、説明の便宜上、前述の“［２−１］デブロッキング処理対象となる要素の選択方法（ブロック単位）”で説明した選択方法に従って、デブロッキング処理の対象となる変換係数の要素を選択することを想定する。
【００９１】
図２および図３に、第１の実施例を実現すべく構成される本発明の画像符号化装置の一例を図示し、図４および図５に、第１の実施例を実現すべく構成される本発明の画像復号装置の一例を図示する。
【００９２】
［１−１］画像符号化装置
図２に示すように、本発明の画像符号化装置は、第１の実施例を実現する場合には、入力画像と予測信号との差分信号をＤＣＴ変換する変換部１０１と、変換部１０１の算出した変換係数を記憶する変換係数記憶部１０２と、変換係数記憶部１０２の記憶する変換係数を量子化する量子化部１０３と、量子化部１０３の算出した量子化値を記憶する量子化値記憶部１０４と、量子化値記憶部１０４の記憶する量子化値を逆量子化する逆量子化部１０５と、逆量子化部１０５の算出した逆量子化値（変換係数）を記憶する変換係数記憶部１０６と、本発明を実現すべく備えられて、予測信号と予測誤差の復号信号との和で表される復号信号に対して適応的なデブロッキング処理を施す適応デブロッキング処理部１０７と、変換係数記憶部１０２，１０６の記憶する変換係数を入力として、適応デブロッキング処理部１０７の必要とする量子化誤差電力εC ［ｋ，ｌ］2 を算出する量子化誤差電力算出部１０８と、適応デブロッキング処理部１０７の必要とするΨN ［ｋ，ｌ］の値を格納するブロック歪み参照テーブル１０９と、適応デブロッキング処理部１０７の処理した復号信号を記憶するローカル復号信号記憶部１１０と、ローカル復号信号記憶部１１０の記憶する復号信号を使って予測処理を行う予測処理部１１１と、予測処理部１１１の生成した予測信号を記憶する予測信号記憶部１１２と、予測信号記憶部１１２の記憶する予測信号を遅延させて適応デブロッキング処理部１０７に与える遅延部１１３と、予測処理部１１１の求めた動きベクトルを記憶する動きベクトル記憶部１１４と、量子化値記憶部１０４の記憶する量子化値／動きベクトル記憶部１１４の記憶する動きベクトル／適応デブロッキング処理部１０７の生成したデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を符号化するエントロピ符号化部１１５と、エントロピ符号化部１１５の生成した符号化ストリームを記憶する符号化ストリーム記憶部１１６とを備える。
【００９３】
図３に、適応デブロッキング処理部１０７の詳細な構成の一例を図示する。
【００９４】
この図に示すように、適応デブロッキング処理部１０７は、変換係数振分部２０１と、第１の変換係数記憶部２０２と、第１の逆変換部２０３と、第１の予測誤差復号信号記憶部２０４と、第２の変換係数記憶部２０５と、第２の逆変換部２０６と、第２の予測誤差復号信号記憶部２０７と、予測信号記憶部２０８と、乗算値設定部２０９と、乗算部２１０と、第１の予測信号記憶部２１１と、第２の予測信号記憶部２１２と、第１の加算部２１３と、デブロッキング部２１４と、第１の復号信号記憶部２１５と、第２の加算部２１６と、第２の復号信号記憶部２１７と、第３の加算部２１８と、処理結果復号信号記憶部２１９とを備える。
【００９５】
変換係数振分部２０１は、量子化誤差電力算出部１０８の算出する量子化誤差電力εC ［ｋ，ｌ］2 とブロック歪み参照テーブル１０９の格納するΨN ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部１０６の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分けるとともに、その振り分け結果のデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）をエントロピ符号化部１１５に出力する。
【００９６】
第１の変換係数記憶部２０２は、変換係数振分部２０１の振り分けたデブロッキング処理の対象となる変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第１の逆変換部２０３は、第１の変換係数記憶部２０２の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第１の予測誤差復号信号記憶部２０４は、第１の逆変換部２０３の生成した予測誤差の復号信号を記憶する。
【００９７】
第２の変換係数記憶部２０５は、変換係数振分部２０１の振り分けたデブロッキング処理の対象とならない変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第２の逆変換部２０６は、第２の変換係数記憶部２０５の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第２の予測誤差復号信号記憶部２０７は、第２の逆変換部２０６の生成した予測誤差の復号信号を記憶する。
【００９８】
予測信号記憶部２０８は、遅延部１１３の出力する予測信号を記憶する。乗算値設定部２０９は、乗算値ｔ（０≦ｔ≦１）を設定する。乗算部２１０は、乗算値設定部２０９の設定した乗算値ｔに基づいて、予測信号記憶部２０８の記憶する予測信号をｔ倍と（１−ｔ）倍して出力する。第１の予測信号記憶部２１１は、乗算部２１０の算出した予測信号のｔ倍値を記憶する。第２の予測信号記憶部２１２は、乗算部２１０の算出した予測信号の（１−ｔ）倍値を記憶する。
【００９９】
第１の加算部２１３は、第１の予測誤差復号信号記憶部２０４の記憶する予測誤差の復号信号と第１の予測信号記憶部２１１の記憶する予測信号とを加算する。デブロッキング部２１４は、第１の加算部２１３の加算結果の復号信号に対してデブロッキング処理を施す。第１の復号信号記憶部２１５は、デブロッキング部２１４の処理した復号信号を記憶する。
【０１００】
第２の加算部２１６は、第２の予測誤差復号信号記憶部２０７の記憶する予測誤差の復号信号と第２の予測信号記憶部２１２の記憶する予測信号とを加算する。第２の復号信号記憶部２１７は、第２の加算部２１６の加算結果の復号信号を記憶する。
【０１０１】
第３の加算部２１８は、第１の復号信号記憶部２１５の記憶する復号信号と第２の復号信号記憶部２１７の記憶する復号信号とを加算する。処理結果復号信号記憶部２１９は、第３の加算部２１８の出力する復号信号を記憶してローカル復号信号記憶部１１０に出力する。
【０１０２】
このように構成される本発明の画像符号化装置では、適応デブロッキング処理部１０７は、量子化誤差電力算出部１０８の算出する量子化誤差電力εC ［ｋ，ｌ］2 とブロック歪み参照テーブル１０９の格納するΨN ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部１０６の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。
【０１０３】
そして、デブロッキング処理の対象となる変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号に遅延部１１３から与えられる予測信号を加算して、デブロッキング処理を施す。
【０１０４】
そして、デブロッキング処理の対象とならない変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号と、デブロッキング処理を施した復号信号とを加算して、ローカル復号信号記憶部１１０に出力する。
【０１０５】
このようにして、本発明の画像符号化装置では、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。
【０１０６】
この適応処理により、本発明の画像符号化装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【０１０７】
［１−２］画像復号装置
図４に示すように、本発明の画像復号装置は、第１の実施例を実現する場合には、画像符号化装置から送られてくる符号化ストリームを記憶する符号化ストリーム記憶部３０１と、符号化ストリーム記憶部３０１の記憶する符号化ストリームを復号するエントロピ復号部３０２と、エントロピ復号部３０２の復号した量子化値を記憶する量子化値記憶部３０３と、量子化値記憶部３０３の記憶する量子化値を逆量子化する逆量子化部３０４と、逆量子化部３０４の算出した変換係数（逆量子化値）を記憶する変換係数記憶部３０５と、本発明を実現すべく備えられて、予測信号と予測誤差の復号信号との和で表される復号信号に対して適応的なデブロッキング処理を施す適応デブロッキング処理部３０６と、エントロピ復号部３０２の復号した適応デブロッキング処理部３０６の必要とするデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を記憶するデブロッキング変換係数情報記憶部３０７と、エントロピ復号部３０２の復号した動きベクトルを記憶する動きベクトル記憶部３０８と、動きベクトル記憶部３０８の記憶する動きベクトルに基づいて予測信号を生成する予測処理部３０９と、予測処理部３０９の生成した予測信号を記憶する予測信号記憶部３１０と、適応デブロッキング処理部３０６の処理した復号信号を記憶する復号信号記憶部３１１と、復号信号記憶部３１１の記憶する復号信号を遅延させて予測処理部３０９に与える遅延部３１２とを備える。
【０１０８】
図５に、適応デブロッキング処理部３０６の詳細な構成の一例を図示する。
【０１０９】
この図に示すように、適応デブロッキング処理部３０６は、変換係数振分部４０１と、第１の変換係数記憶部４０２と、第１の逆変換部４０３と、第１の予測誤差復号信号記憶部４０４と、第２の変換係数記憶部４０５と、第２の逆変換部４０６と、第２の予測誤差復号信号記憶部４０７と、乗算値設定部４０８と、乗算部４０９と、第１の予測信号記憶部４１０と、第２の予測信号記憶部４１１と、第１の加算部４１２と、デブロッキング部４１３と、第１の復号信号記憶部４１４と、第２の加算部４１５と、第２の復号信号記憶部４１６と、第３の加算部４１７とを備える。
【０１１０】
変換係数振分部４０１は、デブロッキング変換係数情報記憶部３０７の記憶するデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）に従って、変換係数記憶部３０５の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。
【０１１１】
第１の変換係数記憶部４０２は、変換係数振分部４０１の振り分けたデブロッキング処理の対象となる変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第１の逆変換部４０３は、第１の変換係数記憶部４０２の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第１の予測誤差復号信号記憶部４０４は、第１の逆変換部４０３の生成した予測誤差の復号信号を記憶する。
【０１１２】
第２の変換係数記憶部４０５は、変換係数振分部４０１の振り分けたデブロッキング処理の対象とならない変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第２の逆変換部４０６は、第２の変換係数記憶部４０５の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第２の予測誤差復号信号記憶部４０７は、第２の逆変換部４０６の生成した予測誤差の復号信号を記憶する。
【０１１３】
乗算値設定部４０８は、乗算値ｔ（０≦ｔ≦１）を設定する。このとき設定する乗算値ｔは、画像符号化装置の乗算値設定部２０９の設定する乗算値ｔと同一値である。乗算部４０９は、乗算値設定部４０８の設定した乗算値ｔに基づいて、予測信号記憶部３１０の記憶する予測信号をｔ倍と（１−ｔ）倍して出力する。第１の予測信号記憶部４１０は、乗算部４０９の算出した予測信号のｔ倍値を記憶する。第２の予測信号記憶部４１１は、乗算部４０９の算出した予測信号の（１−ｔ）倍値を記憶する。
【０１１４】
第１の加算部４１２は、第１の予測誤差復号信号記憶部４０４の記憶する予測誤差の復号信号と第１の予測信号記憶部４１０の記憶する予測信号とを加算する。デブロッキング部４１３は、第１の加算部４１２の加算結果の復号信号に対してデブロッキング処理を施す。第１の復号信号記憶部４１４は、デブロッキング部４１３の処理した復号信号を記憶する。
【０１１５】
第２の加算部４１５は、第２の予測誤差復号信号記憶部４０７の記憶する予測誤差の復号信号と第２の予測信号記憶部４１１の記憶する予測信号とを加算する。第２の復号信号記憶部４１６は、第２の加算部４１５の加算結果の復号信号を記憶する。第３の加算部４１７は、第１の復号信号記憶部４１４の記憶する復号信号と第２の復号信号記憶部４１６の記憶する復号信号とを加算して、復号信号記憶部３１１に出力する。
【０１１６】
このように構成される本発明の画像復号装置では、適応デブロッキング処理部３０６は、デブロッキング変換係数情報記憶部３０７の記憶するデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）に従って、変換係数記憶部３０５の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。
【０１１７】
そして、デブロッキング処理の対象となる変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号に予測信号記憶部３１０の記憶する予測信号を加算して、デブロッキング処理を施す。
【０１１８】
そして、デブロッキング処理の対象とならない変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号と、デブロッキング処理を施した復号信号とを加算して、復号信号記憶部３１１に出力する。
【０１１９】
このようにして、本発明の画像復号装置では、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。
【０１２０】
この適応処理により、本発明の画像復号装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【０１２１】
［２］第２の実施例
次に、第２の実施例について説明する。第２の実施例は、符号化情報を使わずに、画像復号装置が画像符号化装置の行うデブロッキング処理と同一のデブロッキング処理を実現するという実施例である。
【０１２２】
ここで、以下の説明では、説明の便宜上、前述の“［２−１］デブロッキング処理対象となる要素の選択方法（ブロック単位）”で説明した選択方法に従って、デブロッキング処理の対象となる変換係数の要素を選択することを想定する。
【０１２３】
図６および図７に、第２の実施例を実現すべく構成される本発明の画像符号化装置の一例を図示し、図８および図９に、第２の実施例を実現すべく構成される本発明の画像復号装置の一例を図示する。
【０１２４】
ここで、図６〜図９において、図２〜図５で示したものと同じものについては同一の記号で示してある。
【０１２５】
［２−１］画像符号化装置
図６に示すように、本発明の画像符号化装置は、第２の実施例を実現する場合には、第１の実施例で備える図２に示す量子化誤差電力算出部１０８に代えて、量子化誤差電力推定部１１７を備えるようにするとともに、適応デブロッキング処理部１０７がデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を生成しないようにする。
【０１２６】
この量子化誤差電力推定部１１７は、量子化部１０３から量子化ステップ幅Ｑk,l を入力するとともに、前述のパラメータβを入力して、
εC ［ｋ，ｌ］2 ＝βＱk,l 2 
という推定式に従って、量子化誤差電力算出部１０８の算出する量子化誤差電力εC ［ｋ，ｌ］2 を推定して、適応デブロッキング処理部１０７に与えるようにする。
【０１２７】
この量子化誤差電力推定部１１７を受けて、適応デブロッキング処理部１０７の備える変換係数振分部２０１は、図７に示すように、量子化誤差電力推定部１１７の算出する量子化誤差電力εC ［ｋ，ｌ］2 とブロック歪み参照テーブル１０９の格納するΨN ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部１０６の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。このとき、変換係数振分部２０１は、デブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を生成する必要はない。
【０１２８】
適応デブロッキング処理部１０７の備えるその他の各処理部は、第１の実施例と同じ処理を実行する。
【０１２９】
これにより、第２の実施例に従う本発明の画像符号化装置もまた、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号を出力するので、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【０１３０】
［２−２］画像復号装置
図８に示すように、本発明の画像復号装置は、第２の実施例を実現する場合には、第１の実施例で備える図４に示すデブロッキング変換係数情報記憶部３０７に代えて、量子化誤差電力推定部３１３と、ブロック歪み参照テーブル３１４とを備えるようにする。
【０１３１】
この量子化誤差電力推定部３１３は、逆量子化部３０４から量子化ステップ幅Ｑk,l を入力するとともに、前述のパラメータβを入力して、
εC ［ｋ，ｌ］2 ＝βＱk,l 2 
という推定式に従って、適応デブロッキング処理部３０６の必要とする量子化誤差電力εC ［ｋ，ｌ］2 を推定して、適応デブロッキング処理部３０６に与えるようにする。
【０１３２】
また、ブロック歪み参照テーブル３１４は、適応デブロッキング処理部３０６の必要とするΨN ［ｋ，ｌ］の値を格納する。
【０１３３】
この量子化誤差電力推定部３１３およびブロック歪み参照テーブル３１４を受けて、適応デブロッキング処理部３０６の備える変換係数振分部４０１は、図９に示すように、量子化誤差電力推定部３１３の算出する量子化誤差電力εC ［ｋ，ｌ］2 とブロック歪み参照テーブル３１４の格納するΨN ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部３０５の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。
【０１３４】
適応デブロッキング処理部３０６の備えるその他の各処理部は、第１の実施例と同じ処理を実行する。
【０１３５】
これにより、第２の実施例に従う本発明の画像復号装置もまた、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号を出力するので、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【０１３６】
以上に説明した実施例では、フレーム間予測を用いる場合の装置構成を図示したが、本発明はフレーム内予測を用いる場合にも、同様に適用できるものである。ただし、フレーム内予測を用いる場合は、予測処理部１１１，３０９においてフレーム内予測を行いフレーム内予測モードを符号化情報とするため、動きベクトル記憶部１１４，３０８の代わりにフレーム内予測モードの情報を記憶する記憶部を備えることになる。
【産業上の利用可能性】
【０１３７】
本発明は、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理に適用できるものであり、本発明を適用することで、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。
【図面の簡単な説明】
【０１３８】
【図１】本発明の実行するフローチャートである。
【図２】第１の実施例を実現すべく構成される本発明の画像符号化装置である。
【図３】第１の実施例を実現すべく構成される本発明の画像符号化装置である。
【図４】第１の実施例を実現すべく構成される本発明の画像復号装置である。
【図５】第１の実施例を実現すべく構成される本発明の画像復号装置である。
【図６】第２の実施例を実現すべく構成される本発明の画像符号化装置である。
【図７】第２の実施例を実現すべく構成される本発明の画像符号化装置である。
【図８】第２の実施例を実現すべく構成される本発明の画像復号装置である。
【図９】第２の実施例を実現すべく構成される本発明の画像復号装置である。
【符号の説明】
【０１３９】
１０１  変換部
１０２  変換係数記憶部
１０３  量子化部
１０４  量子化値記憶部
１０５  逆量子化部
１０６  変換係数記憶部
１０７  適応デブロッキング処理部
１０８  量子化誤差電力算出部
１０９  ブロック歪み参照テーブル
１１０  ローカル復号信号記憶部
１１１  予測処理部
１１２  予測信号記憶部
１１３  遅延部
１１４  動きベクトル記憶部
１１５  エントロピ符号化部
１１６  符号化ストリーム記憶部
【図１】
0004902553.tif 000010
【図２】
0004902553.tif 000011
【図３】
0004902553.tif 000012
【図４】
0004902553.tif 000013
【図５】
0004902553.tif 000014
【図６】
0004902553.tif 000015
【図７】
0004902553.tif 000016
【図８】
0004902553.tif 000017
【図９】
0004902553.tif 000018