(57)【要約】【課題】画像の量子化に伴って失われた情報を高精度に復元する画像復号化装置、画像復号化方法およびプログラムを提供すること。【解決手段】実施形態によれば、画像復号化装置は、エントロピー復号手段と逆量子化手段と推測手段と推測係数値制限手段と逆離散コサイン変換手段とをもつ。復号手段は符号化対象画像を所定数画素からなる矩形領域に分割し、矩形領域を処理対象として符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元する。逆量子化手段は復号結果の逆量子化処理を行う。推測手段は逆量子化結果に対し処理対象画素を含む矩形領域内の離散コサイン変換係数および処理対象画素を含む矩形領域の隣接領域の変換係数をもとに処理対象の変換係数の修正値を推測する。推測係数値制限手段は、推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう。【選択図】      図３
2012134632.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像を所定の数の画素からなる短形領域に分割し、前記短形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元するエントロピー復号手段と、
前記復号結果に対する逆量子化処理を行なう逆量子化手段と、
前記逆量子化結果に対し、処理対象の画素を含む短形領域内の離散コサイン変換係数および前記処理対象の画素を含む短形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測する推測手段と、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう推測係数値制限手段と、
前記推測係数値制限手段による処理結果に対して２次元逆離散コサイン変換処理を行なう逆離散コサイン変換手段と
を備えた画像復号化装置。
【請求項２】
前記推測手段は
前記逆量子化処理結果に対し、前記処理対象の離散コサイン変換係数がゼロの場合に当該係数の修正値を線形推測し、また、前記処理対象の離散コサイン変換係数がゼロでない場合に当該係数の修正値の絶対値を線形推測した結果に、修正前の前記係数の正負符号を付加することで当該係数の修正値を線形推測する
請求項１に記載の画像符号化装置。
【請求項３】
前記推測手段は、
前記逆量子化結果に対し、前記処理対象の離散コサイン変換係数の修正値の絶対値をさらに線形推測し、この絶対値に修正前の前記係数の正負符号を付加することで当該係数の第２の修正値を線形推測し、
前記推測係数値制限手段は、
前記推測手段によるいずれかの修正値を選択して、当該選択した修正値を前記所定の範囲内になるように制限する
請求項１に記載の画像復号化装置。
【請求項４】
前記推測手段は、
前記処理対象の画素を含む短形領域内の離散コサイン変換係数、前記処理対象の短形領域に隣接し、かつ全ての離散コサイン変換係数について前記修正値の線形推測を行なった短形領域の離散コサイン変換係数、および前記処理対象の短形領域に隣接し、かつ前記修正値の線形推測を行なった離散コサイン変換係数がない短形領域の離散コサイン変換係数に所定の推測係数を掛けることで、前記処理対象の前記離散コサイン変換係数の修正値を線形推測し、
前記推測係数を複数種類記憶する推測係数記憶手段をさらに備え、
前記推測手段は、
前記推測係数記憶手段に記憶される推測係数のうち前記量子化ステップの値の大小に応じて選択した推測係数をもとに前記処理対象の前記離散コサイン変換係数の修正値を線形推測する
請求項１乃至３のいずれかに記載の画像復号化装置。
【請求項５】
前記符号化された画像信号は、予測残差符号化された画像信号であり、
前記逆量子化結果に対する逆離散コサイン変換処理を行なう逆離散コサイン第２変換手段と、
前記第２の逆離散コサイン変換手段における変換結果に予測画像信号を加えた結果の復号信号を一時記憶する記憶装置と、
前記記憶された復号画像から予測画像信号を生成する予測部と、
前記予測部による予測結果に前記逆離散コサイン第２変換手段における変換結果を加算して前記記憶装置へ出力する第１の加算器と、
前記予測部による予測結果に前記逆離散コサイン変換手段による前記推測係数値制限手段による処理結果に対する変換結果を加算する第２の加算器と
をさらに備えた請求項１に記載の画像復号化装置。
【請求項６】
符号化対象の画像を所定の数の画素からなる短形領域に分割し、前記短形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元し、
前記復号結果に対する逆量子化処理を行ない、
前記逆量子化処理結果に対し、処理対象の画素を含む短形領域内の離散コサイン変換係数および前記処理対象の画素を含む短形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行ない、
前記修正値の制限結果に対して２次元逆離散コサイン変換処理を行なう
画像復号化方法。
【請求項７】
前記修正値を線形推測することは、
前記逆量子化結果に対し、前記処理対象の離散コサイン変換係数がゼロの場合に当該係数の修正値を線形推測し、また、前記処理対象の離散コサイン変換係数がゼロでない場合に当該係数の修正値の絶対値を線形推測し、この結果に、修正前の係数の正負符号を付加することで当該係数の修正値を線形推測することである
請求項６に記載の画像復号化方法。
【請求項８】
前記逆量子化結果に対し、前記処理対象の離散コサイン変換係数の修正値の絶対値をさらに線形推測し、この絶対値に修正前の前記係数の正負符号を付加することで当該係数の第２の修正値を線形推測し、
前記修正値の制限を行なうことは、
前記推測したいずれかの修正値を選択して、当該選択した修正値を前記所定の範囲内になるように制限することである
請求項６に記載の画像復号化方法。
【請求項９】
前記修正値を線形推測することは、
前記処理対象の画素を含む短形領域内の他の離散コサイン変換係数、前記処理対象の短形領域に隣接し、かつ全て離散コサイン変換係数について前記修正値の線形推測を行なった短形領域の離散コサイン変換係数、および前記処理対象の短形領域に隣接し、かつ前記修正値の線形推測を行なった離散コサイン変換係数がない短形領域の離散コサイン変換係数に所定の推測係数を掛けることで、前記処理対象の前記離散コサイン変換係数の修正値を線形推測することであり、
前記推測係数を複数種類記憶し、
前記修正値を線形推測することは、
前記記憶される推測係数のうち前記量子化ステップの値の大小に応じて選択した推測係数をもとに前記処理対象の前記離散コサイン変換係数の修正値を線形推測することである
請求項６乃至８のいずれかに記載の画像復号化方法。
【請求項１０】
前記符号化された画像信号は、予測残差符号化された画像信号であり、
前記逆量子化結果に対する逆離散コサイン変換処理を行ない、
前記第２の逆離散コサイン変換手段における変換結果に予測画像信号を加えた結果の復号信号を一時記憶し、
前記記憶された復号画像から予測画像信号を生成し、
前記逆量子化結果に対する逆離散コサイン変換結果を前記予測画像信号に加算して前記記憶装置へ出力し、
前記予測部による予測結果に前記修正値の制限結果に対する逆離散コサイン変換結果を加算する
請求項６に記載の画像復号化方法。
【請求項１１】
コンピュータにより実行されるプログラムであって、
前記プログラムは、
符号化対象の画像を所定の数の画素からなる短形領域に分割し、前記短形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元し、
前記復号結果に対する逆量子化処理を行ない、
前記逆量子化処理結果に対し、処理対象の画素を含む短形領域内の離散コサイン変換係数および前記処理対象の画素を含む短形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行ない、
前記修正値の制限結果に対して２次元逆離散コサイン変換処理を行なう
ものであるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像情報を処理する画像復号化装置、画像復号化方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ディジタル化された画像信号に対して高能率符号化による圧縮された情報を用いて、記録媒体により長時間のコンテンツを記録する装置や、衛星や地上局等からのディジタル放送波やネットワークを介してコンテンツを配信するサービスが実用化されている。このようなサービスにおいては、膨大な情報量を持つ画像・音声の情報を大量に放送・伝送するために、大きな圧縮率を実現する高能率符号化が必要となっている。
【０００３】
この動画像の高能率符号化として国際規格であるＭＰＥＧ２（Moving Picture Experts Group phase 2）等の符号化方式が用いられている。これらの符号化方式においては、画像信号の隣接画素間（空間方向）の相関および、隣接するフレーム間やフィールド間（時間方向）の相関を利用して情報量を圧縮する方式を用いている。
【０００４】
入力フレームの画像信号は、輝度信号で水平方向１６画素、垂直方向１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に水平方向８画素、垂直方向８画素単位の２次元ブロックに分割され、離散直交変換の一種である二次元ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。画像符号化装置は、このＤＣＴ処理により得られたＤＣＴ係数（離散コサイン変換係数）に対して量子化を行い、それに対してエントロピー符号化を行って、符号化データを生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２７２７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述したようにＤＣＴ処理や量子化による符号化アルゴリズムを使って画像を圧縮する場合、この量子化により元の情報が失われ、復号画像にブロック歪みやモスキート歪みといった符号化歪みが生じてしまい、高精度の画像復元を行なうことが出来なかった。
【０００７】
本発明の目的は、画像の量子化に伴って失われた情報を高精度に復元する画像復号化装置、画像復号化方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
実施形態によれば、画像復号化装置は、エントロピー復号手段と、逆量子化手段と、推測手段と、推測係数値制限手段と逆離散コサイン変換手段とをもつ。エントロピー復号手段は、符号化対象の画像を所定の数の画素からなる短形領域に分割し、前記短形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元する。逆量子化手段は、前記復号結果に対する逆量子化処理を行なう。推測手段は、前記逆量子化結果に対し、処理対象の画素を含む短形領域内の離散コサイン変換係数および前記処理対象の画素を含む短形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測する。推測係数値制限手段は、前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう。逆離散コサイン変換手段は、前記推測係数値制限手段による処理結果に対して２次元逆離散コサイン変換処理を行なう。
【図面の簡単な説明】
【０００９】
【図１】一般的な画像復号化装置の構成例を示すブロック図。
【図２】量子化およびＤＣＴ係数制限の一例を示す図。
【図３】第１の実施形態における画像復号化装置の構成例を示すブロック図。
【図４】第１の実施形態における画像復号化装置の処理動作の一例を示すフローチャート。
【図５】第１の実施形態における画像復号化装置によるＤＣＴ係数の線形推測の形態の一例を示す図。
【図６】第１の実施形態における画像復号化装置によるＤＣＴ係数の線形推測の形態の一例を示す図。
【図７】第１の実施形態における画像復号化装置によるＤＣＴ係数の線形推測の形態の一例を示す図。
【図８】第１の実施形態における画像復号化装置の構成の変形例を示すブロック図。
【図９】第２の実施形態における画像復号化装置の構成例を示すブロック図。
【図１０】第２の実施形態における画像復号化装置の処理動作の一例を示すフローチャート。
【図１１】第２の実施形態における画像復号化装置の構成の変形例を示すブロック図。
【図１２】第２の実施形態における画像復号化装置の処理動作の変形例を示すフローチャート。
【図１３】第３の実施形態における画像復号化装置の構成例を示すブロック図。
【図１４】第３の実施形態における画像復号化装置の処理動作の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、実施の形態について、図面を参照して説明する。  
（第１の実施形態）
まず、第１の実施形態について説明する。ここでは本実施形態の理解を容易にするために一般的な画像復号化装置について説明を行なう。  
静止画の符号化に用いられるＪＰＥＧ、動画像の符号化に用いられるＭＰＥＧ２などに適合する図示しない画像符号化装置は、入力画像フレーム内の画素をＮ×Ｎ、例えば８×８といったサイズのブロックに分割し、この分割した各ブロックごとに離散直交変換である２次元離散コサイン変換処理（２次元ＤＣＴ処理）を行うことでＤＣＴ係数を得て、このＤＣＴ係数に対して量子化処理を行ない、この量子化処理の結果に対してエントロピー符号化を行って、符号化データを生成する。また、画像符号化装置は、２次元ＤＣＴ処理の前に画面間予測や画面内予測を行って、その予測残差を２次元ＤＣＴ処理の入力とする予測残差符号化を行なう。
【００１１】
図１は、一般的な画像復号化装置の構成例を示すブロック図である。  
図１に示すように、一般的な画像復号化装置は、エントロピー復号部１、逆量子化部２、２次元逆ＤＣＴ部３、バッファ４、予測部５および歪除去フィルタ６を備える。この歪除去フィルタ６は、画像復号化装置に必須のものではなく、省略してもよい。
【００１２】
エントロピー復号部１は、画像符号化装置から送られた符号化データに対するエントロピー復号処理を行なう。この処理結果のデータには、各ブロックの２次元ＤＣＴ係数量子化値が含まれる。
【００１３】
逆量子化部２は、エントロピー復号部１による復号結果であるブロック内のデータに対する逆量子化処理を行なうことで量子化代表値を得る。２次元逆ＤＣＴ部３は、逆量子化部２による処理結果に対する２次元逆ＤＣＴ処理を行なうことで、復号画像ブロックを得る。
【００１４】
前述したように、画像符号化装置側で画面内予測や画面間予測が行われている場合は、２次元逆ＤＣＴ部３による処理結果に予測画像ブロックを加えたものがバッファ４に蓄積される。予測部５は、バッファ４に蓄積される復号画像から予測画像データを生成し、この生成結果を、復号された予測残差画像ブロックに加えることにより復号画像ブロックを得る。画像復号化装置は、このブロックごとの復号データを元の画像内位置に配置して、復号画像として歪除去フィルタ６に出力する。
【００１５】
次に、画像情報の量子化およびＤＣＴ係数制限について説明する。図２は、量子化およびＤＣＴ係数制限の一例を示す図である。  
画像符号化装置側における画像情報の２次元ＤＣＴ処理結果で示されるＤＣＴ係数が値Ｄを持つ場合、図２のグラフで示すように、量子化および逆量子化により、出力は値ＱＤとなる。同様に、入力されたＤＣＴ係数の値が、図２の横軸である入力ＤＣＴ係数の軸上における値Ｄ０からＤ１の間にある場合は、出力は全て値ＱＤとなる。この値ＱＤを量子化代表値と呼ぶ。
【００１６】
この値Ｄと値ＱＤの差分が量子化誤差成分となり、この誤差成分を２次元逆量子化したものが、復号画像における歪み成分となる。値Ｄ０とＤ１の間隔は、画像符号化装置側の条件により設定され、この情報が量子化ステップ（Ｑステップ）として画像復号化装置側に伝えられる。また、このグラフに示す量子化特性は、画像符号化装置で入力された２次元ＤＣＴ係数がどの次数の係数かによって一般的に異なる特性となる。
【００１７】
図１の上部に示すブロック図は、図１の下部に示すブロック図のうち、逆量子化部２と２次元逆ＤＣＴ部３の部分を抜き出して示したもので、入力ＤＣＴブロックおよびＱステップがエントロピー復号部１から逆量子化部２に入力されて、２次元逆ＤＣＴ部３から出力ブロックが出力される事が示される。
【００１８】
図１に示した歪除去フィルタ６は、前述した復号画像に対する歪み除去処理を行なう。一般に、歪除去フィルタ６は、歪み除去処理として、画像内のエッジ成分をできるだけ保存しつつ、画像内の輝度値の細かな変動成分をモスキート歪みと判断して除去する。
【００１９】
また、歪除去フィルタ６は、輝度値の細かな変動成分を除去する際に、Ｑステップに応じてその効果を調節する。また、歪除去フィルタ６は、ブロック境界付近の画素に対して、ローパス特性を持つフィルタを掛けることにより、ブロック歪みを低減する。しかし、これらの処理は、いずれも符号化前の原画像データに含まれる情報のうち、量子化によって失われた情報が持つ本来の形とは無関係に、出力画像の視覚的な好感度に基づく画像修正を行なうのみの処理であり、原画像データの情報を復元しようとする処理ではない。
【００２０】
図３は、第１の実施形態における画像復号化装置の構成例を示すブロック図である。図４は、第１の実施形態における画像復号化装置の処理動作の一例を示すフローチャートである。  
第１の実施形態における画像復号化装置は、逆量子化により量子化代表値ＱＤという値として出力されるＤＣＴ係数を、同じブロック内のＤＣＴ係数や、隣接するブロック内のＤＣＴ係数の値を用いて、より適切な値に修正することにより、量子化の過程で失われた情報を高精度に復元する。
【００２１】
図３に示すように、本実施形態における画像復号化装置は、図１に示したエントロピー復号部１に接続される逆量子化部２、２次元逆ＤＣＴ部３、ＤＣＴ係数バッファ１１、ＤＣＴ係数線形推測部１２、推測係数値制限部１３を備える。
【００２２】
まず、エントロピー復号部１は、画像符号化装置から送られた符号化データに対するエントロピー復号処理を行ない、この処理結果を画像符号化装置から送られたＱステップの情報とともに逆量子化部２に出力する。そして、逆量子化部２は、エントロピー復号部１による復号結果であるブロック内のデータに対する逆量子化処理を行ない（ステップＳ１）、この処理により量子化代表値ＱＤを得てＤＣＴ係数バッファ１１に出力する（ステップＳ２）。また、エントロピー復号部１からのＱステップの情報は推測係数値制限部１３に入力される。
【００２３】
ＤＣＴ係数バッファ１１は、ＤＣＴ係数の推測に用いる隣接ブロックや同じブロック内のＤＣＴ係数を一時的に保持する。ＤＣＴ係数バッファ１１には、最初は、逆量子化部２の出力であるＤＣＴ係数の量子化代表値ＱＤがそのまま保持されるが、ＤＣＴ係数の修正が順次行われ、この修正されたＤＣＴ係数によってＤＣＴ係数バッファ１１の保持内容が随時置き換えられる。
【００２４】
ＤＣＴ係数の修正は、ＤＣＴ係数線形推測部１２と推測係数値制限部１３とによって行われる。ＤＣＴ係数線形推測の詳細については後述する。  
ＤＣＴ係数線形推測部１２は、ＤＣＴ係数の量子化代表値ＱＤをもとにＤＣＴ係数の線形推測処理を行ない（ステップＳ３）、この処理により、図２に示すような推測ＤＣＴ係数ＥＤを得て推測係数値制限部１３に出力する（ステップＳ４）。
【００２５】
推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数ＥＤが図２に示したＤ０からＤ１までの範囲外であれば（ステップＳ５のＮＯ）、この推測ＤＣＴ係数ＥＤをＤ０からＤ１までの範囲内に制限して、この制限した結果を修正されたＤＣＴ係数として２次元逆ＤＣＴ部３に出力する（ステップＳ６）。
【００２６】
また、推測係数値制限部１３は、推測ＤＣＴ係数ＥＤが前述したＤ０からＤ１までの範囲内であれば（ステップＳ５のＹＥＳ）、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数ＥＤをそのまま２次元逆ＤＣＴ部３に出力する。
【００２７】
ここで、図２を参照して、推測係数値制限部１３の動作を説明する。ＤＣＴ係数線形推測部１２からの出力である推測されたＤＣＴ係数の値が図２に示した値ＥＤとなる場合、この値ＥＤは、前述したように量子化代表値ＱＤを生じさせるＤＣＴ係数の範囲であるＤ０からＤ１までの範囲外であり、当該範囲の上限値である境界値Ｄ１を超える。
【００２８】
すなわち、この推測値ＥＤは、符号化前の原画像において取り得るはずの無い値である。この場合は、推測係数値制限部１３は、値ＥＤに近い境界値Ｄ１を、制限された推測ＤＣＴ係数の値として２次元逆ＤＣＴ部３に出力する。
【００２９】
また、推測値ＥＤが前述した範囲の下限値である境界値Ｄ０よりも小さい場合は、推測係数値制限部１３は、値ＥＤに近い境界値Ｄ０を、制限された推測ＤＣＴ係数の値として２次元逆ＤＣＴ部３に出力する。
【００３０】
また、推測値ＥＤが前述したＤ０からＤ１の範囲内である場合は、推測係数値制限部１３は、値ＥＤを修正することなく、２次元逆ＤＣＴ部３にそのまま出力する。  
また、値ＥＤが前述したＤ０からＤ１の範囲を大きく外れた場合、推測係数値制限部１３は、ＤＣＴ係数の推測に失敗したと判断して、出力する値をＤ０あるいはＤ１ではなく、Ｄ０とＤ１の間のあらかじめ設定した値とする。
【００３１】
本実施形態では、値Ｄ０と値Ｄ１を決定するために、Ｑステップの値をサイド情報として用いている。ただし、画像符号化装置側で、符号化効率の向上や量子化歪み低減を目的として、量子化代表値ＱＤを生じさせるようなＤＣＴ係数の範囲を前述したＤ０からＤ１の範囲とは多少異なる範囲に設定したり、もともと非ゼロの値をとるＤＣＴ係数を強制的にゼロにすることもある。
【００３２】
画像符号化装置は多種多様であり、このような画像符号化装置でどのような量子化処理を行っているかを画像復号化装置側で厳密に判断することは不可能であるため、本実施形態では、推測係数値制限部１３は、値ＥＤが前述したＤ０からＤ１の範囲よりもを若干の余裕を持たせた範囲より外にある場合に制限処理を行なう。
【００３３】
ステップＳ６の処理後もしくは、推測係数値制限部１３がステップＳ５の処理で「ＹＥＳ」と判定した場合は、２次元逆ＤＣＴ部３は、推測係数値制限部１３から出力されたＤＣＴ係数を用いた２次元逆ＤＣＴ処理を行なって復号画像ブロックを生成する（ステップＳ７）。
【００３４】
次に、ＤＣＴ係数の線形推測処理に関する詳細を説明する。図５は、第１の実施形態における画像復号化装置によるＤＣＴ係数の線形推測の形態の一例を示す図である。  
図５に示した例では、画像内が８画素×８画素の大きさのブロックに分割されており、このブロック内の画素値に対する２次元ＤＣＴ係数の配列が、元のブロックと同じ画像内の空間位置に配置されている。図５に示した中心のブロックは復号化処理中である処理対象ブロックである。この中心のブロックに対して上と左に配置されるブロックは処理済みのブロックである。中心のブロックの右と下に配置されるブロックは未処理のブロックである。
【００３５】
各ブロックの各要素は２次元ＤＣＴ係数の値を有する。図５に示した中央のブロックの上のブロックに示すように、左上の要素は最低次のＤＣＴ係数であるＤＣＴ（０，０）を有し、右下の要素は最高次のＤＣＴ係数であるＤＣＴ（７，７）を有し、途中のｉ行ｊ列の要素はＤＣＴ（ｉ，ｊ）を有する。
【００３６】
処理済のブロックや、処理対象ブロック内の処理済みＤＣＴ係数は推測処理後のＤＣＴ係数である。未処理ブロックや、処理中ブロック内の未処理ＤＣＴ係数は、推測処理を行う前のＤＣＴ係数（量子化代表値）である。
【００３７】
図５に示した中心のブロックである処理対象ブロックは、低次のＤＣＴ係数からジグザグスキャン順にＤＣＴ係数の推測処理が行われた複数の要素のＤＣＴ係数は、推測処理済みのＤＣＴ係数である。また、同ブロックのジグザグスキャン順の矢印に沿った先の要素のＤＣＴ係数であるＤＣＴ（１，６）は、現在の処理対象のＤＣＴ係数である。また、同ブロック内のその他の要素のＤＣＴ係数は、推測処理がまだなされていない未処理ＤＣＴ係数である。
【００３８】
図６および図７は、第１の実施形態における画像復号化装置によるＤＣＴ係数の線形推測の形態の一例を示す図である。  
図６と図７では、図５に示した中心のブロックである処理中のブロックをブロックＣとし、ブロックＣの左側のブロックをブロックＡとし、ブロックＣの上のブロックをブロックＢとし、ブロックＣの下のブロックをブロックＤとし、ブロックＣの右のブロックをブロックＥとする。また、図６と図７では、それぞれのブロック内のＤＣＴ係数は、ブロックの識別文字を付した表記で示される。たとえばブロックＡのＤＣＴ係数はＤＣＴ＿Ａ（１，４）といった表記で示される。
【００３９】
図６に示した例では、ＤＣＴ係数線形推測部１２が、処理済みのブロックと、処理中のブロック内の処理済みＤＣＴ係数のみを用いて線形推測を行なう例を示す。図６に示した例では、簡単のため、中央のブロックの左と上に隣接するブロックのみを処理済みブロックとして用いている。
【００４０】
ここで、処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（１，６）に対する推測値ＥＤＣＴ＿Ｃ（１，６）は、以下の式（１）で示される。
【００４１】
EDCT_C(1,6)=a(1,6;A,1,4)*DCT_A(1,4)+a(1,6;A,1,5)*DCT_A(1,5)+a(1,6;A,1,6)*DCT_A(1,6)+a(1,6;A,1,7)*DCT_A(1,7)
+a(1,6;B,1,6)*DCT_B(1,6)+a(1,6;B,4,6)*DCT_B(4,6)+a(1,6;B,5,6)*DCT_B(5,6)+a(1,6;B,6,6)*DCT_B(6,6)+a(1,6;B,7,6)*DCT_B(7,6)
+a(1,6;C,1,2)*DCT_C(1,2)+a(1,6;C,1,4)*DCT_C(1,4)+a(1,6;C,1,6)*DCT_C(1,6)  …式（１）
上記の式は、線形推測に用いるＤＣＴ係数の集合と、それに対応する推測係数a(1,6;...),...の積でなる。本実施形態では、推測を行なう次数（この例では（１，６）次）のＤＣＴ係数との相関を多くの学習用画像から事前に求めておき、最適な推測ができるように推測係数が予め定められる。推測対象のＤＣＴ係数が変われば、この推測に用いるＤＣＴ係数の集合と、それに対応する推測係数も変化する。  
このようにして推測されたＤＣＴ係数は、前述した推測係数値制限部１３で量子化ステップに応じた制限がかけられる。このようにして、ＤＣＴ係数の修正が完了する。
【００４２】
図６に示した例では、処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（１，６）は、この修正値に置き換えられ、この置き換えの後、ジグザグスキャン順に従った次の処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（２，５）の推測処理に移る。このブロックＣのＤＣＴ係数に対する修正処理が全て完了した段階で、修正されたＤＣＴ係数を有するブロックが２次元逆ＤＣＴ部３に送られる。
【００４３】
図７に示した例では、未処理ブロックのＤＣＴ係数も処理対象のＤＣＴ係数の推測に用いている。このために、逆量子化部２の処理に対して、必要なデータが得られるまでＤＣＴ係数推測以降の処理を遅延させる必要がある。
【００４４】
図７に示した例では、未処理ブロックである中央のブロックＣの右および下に隣接するブロックＤ，ＥをブロックＣの処理対象のＤＣＴ係数の推測に用いているので、水平１ブロックラインの遅延が必要となる。先行して逆量子化部２により得られた推測処理前のＤＣＴ係数はＤＣＴ係数バッファ１１に蓄積される。このとき、処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（１，６）に対して、その推測値ＥＤＣＴ＿Ｃ（１，６）は、事前に求めてある推測係数Ｃ（１，６；・・・）・・・を用いて以下の式（２）で示される。
【００４５】
EDCT_C(1,6)=c(1,6;A,1,4)*DCT_C(1,4)+c(1,6;A,1,5)*DCT_C(1,5)+c(1,6;A,1,6)*DCT_C(1,6)+c(1,6;A,1,7)*DCT_C(1,7)
+c(1,6;B,1,6)*DCT_B(1,6)+c(1,6;B,4,6)*DCT_B(4,6)+c(1,6;B,5,6)*DCT_B(5,6)+c(1,6;B,6,6)*DCT_B(6,6)+c(1,6;B,7,6)*DCT_B(7,6)
+c(1,6;C,1,2)*DCT_C(1,2)+c(1,6;C,1,4)*DCT_C(1,4)+c(1,6;C,1,6)*DCT_C(1,6)
+c(1,6;D,1,6)*DCT_D(1,6)+c(1,6;D,4,6)*DCT_D(4,6)+c(1,6;D,5,6)*DCT_D(5,6)
+c(1,6;E,1,5)*DCT_E(1,5)+c(1,6;E,1,6)*DCD_E(1,6)+c(1,6;E,1,7)*DCT_E(1,7)
…式（２）
以上説明したように、第１の実施形態における画像復号化装置では、符号化された画像の復号の際に、低次の係数から高次の係数まで全てのＤＣＴ係数に対して効果的な推測を行なうことができるため、ブロック歪みやモスキート歪みの除去といった、対処療法的な符号化歪み除去にとどまらず、量子化により失われた高周波成分の復元という、より積極的かつ高精度な劣化画像の復元が可能となる。
【００４６】
図８は、第１の実施形態における画像復号化装置の構成の変形例を示すブロック図である。  
画像符号化装置側で前述した予測残差符号化を行なっている場合は、画像復号化装置の構成は図８のようになる。この構成は、図３に示した構成と比較して、第２の２次元逆ＤＣＴ部３ｂ、バッファ１４および予測部１５を備える。図８に示したＤＣＴ係数修正部１０は、図３に示したＤＣＴ係数バッファ１１、ＤＣＴ係数線形推測部１２および推測係数値制限部１３を纏めて表したものである。
【００４７】
この変形例では、予測画像を生成するために、画像符号化装置側とのミスマッチが発生しないように、逆量子化部２からの、修正を行わないＤＣＴ係数を用いて２次元逆ＤＣＴ部３ｂによる２次元逆ＤＣＴ処理を行ない、この処理結果である復号画像ブロックがバッファ１４に蓄積される。
【００４８】
予測部１５は、このバッファ１４に蓄積されている復号画像から予測画像を生成し、この生成結果を２次元逆ＤＣＴ部３から出力された復号画像ブロックおよび２次元逆ＤＣＴ部３ｂから出力された予測残差復号画像ブロックに加算する。予測部１５からの予測画像と２次元逆ＤＣＴ部３ｂから出力された予測残差復号画像ブロックとの加算結果はバッファ１４に出力される。
【００４９】
一方で、画像復号化装置は、前述したように、逆量子化部２からのＤＣＴ係数に対してＤＣＴ係数修正部１０により修正を行ったＤＣＴ係数に対して、２次元逆ＤＣＴ部３による処理を行ない、この処理結果を先ほどの予測画像に加えることにより、最終的な出力画像を得る。このように、図１に示した構成の画像復号化装置による処理と、図８に示した構成の画像復号化装置による処理とは、予測画像の生成にかかる処理以外は同じである。
【００５０】
（第２の実施形態）
次に、第２の実施形態について説明する。なお、以下の各実施形態における画像復号化装置の構成のうち図３に示したものと同一部分の説明は省略する。  
図９は、第２の実施形態における画像復号化装置の構成例を示すブロック図である。  
本実施形態では、修正を行おうとしているＤＣＴ係数が、量子化の過程で完全に値がゼロになっている場合と、それ以外の場合を分けて処理を行なうものである。  
図９に示すように、本実施形態では、図３に示した構成と比較して、ＤＣＴ係数線形推測部１２を備える代わりに、ゼロＤＣＴ係数線形推測部２１、非ゼロＤＣＴ係数線形推測部２２および符号決定部２３を備える。
【００５１】
また、ＤＣＴ係数バッファ１１にはスイッチが接続される。このスイッチは、例えばスイッチング素子であり、ゼロＤＣＴ係数線形推測部２１側または非ゼロＤＣＴ係数線形推測部２２側のいずれかに切り替えられる。
【００５２】
図１０は、第２の実施形態における画像復号化装置の処理動作の一例を示すフローチャートである。  
まず、第１の実施形態で説明したように、逆量子化部２は、図１に示したエントロピー復号部１による復号結果であるブロック内のデータに対する逆量子化処理を行ない（ステップＳ１）、この処理により量子化代表値ＱＤを得てＤＣＴ係数バッファ１１に出力する（ステップＳ２）。
【００５３】
そして逆量子化部２からの量子化代表値ＱＤであるＤＣＴ係数の値が完全にゼロとなっている場合には（ステップＳ１１のＹＥＳ）、スイッチがゼロＤＣＴ係数線形推測部２１側に切り替わる。ゼロＤＣＴ係数線形推測部２１は、ＤＣＴ係数線形推測部１２と同様に、ＤＣＴ係数の量子化代表値ＱＤをもとにＤＣＴ係数の線形推測処理を行ない（ステップＳ１２）、この処理により推測ＤＣＴ係数ＥＤを得て推測係数値制限部１３に出力する（ステップＳ４）。
【００５４】
一方、量子化代表値がゼロ以外となっている場合には（ステップＳ１１のＮＯ）、スイッチが非ゼロＤＣＴ係数線形推測部２２側に切り替わる。非ゼロＤＣＴ係数線形推測部２２は、ＤＣＴ係数の量子化代表値ＱＤをもとにＤＣＴ係数の絶対値の線形推測処理を行なう（ステップＳ１３）。そして、符号決定部２３は、逆量子化部２からの量子化代表値の正負の符号を非ゼロＤＣＴ係数線形推測部２２により推測した値の絶対値の符号として決定し（ステップＳ１４）、この符号を反映した推測ＤＣＴ係数ＥＤを得て推測係数値制限部１３に出力する（ステップＳ４）。ステップＳ４の処理後は、第１の実施形態で説明したステップＳ５からＳ７までの処理がなされる。
【００５５】
以上説明したように、第２の実施形態における画像復号化装置では量子化代表値がゼロ以外となっている場合にはＤＣＴ係数の絶対値の線形推測処理を行なって、量子化代表値の正負の符号を非ゼロＤＣＴ係数線形推測部２２により推測した値の符号として決定する。第１の実施形態で説明した画像復号化装置は、ＤＣＴ係数の正負の符号を誤って推測する可能性があるが、本実施形態では、誤った符号が付されたＤＣＴ係数推測値の出力を防止することができる。
【００５６】
次に、第２の実施形態の変形例を説明する。図１１は、第２の実施形態における画像復号化装置の構成の変形例を示すブロック図である。  
図１１に示すように、この変形例では、図３に示した構成と比較して、ＤＣＴ係数絶対値線形推測部３１、および符号決定部３２をさらに備える。
【００５７】
図１２は、第２の実施形態における画像復号化装置の処理動作の変形例を示すフローチャートである。  
まず、第１の実施形態で説明したように、逆量子化部２は、図１に示したエントロピー復号部１による復号結果であるブロック内のデータに対する逆量子化処理を行ない（ステップＳ１）、この処理により量子化代表値ＱＤを得てＤＣＴ係数バッファ１１に出力する（ステップＳ２）。
【００５８】
そして、ＤＣＴ係数線形推測部１２は、ＤＣＴ係数の量子化代表値ＱＤをもとにＤＣＴ係数の線形推測処理を行ない、この処理により、図２に示すような推測ＤＣＴ係数ＥＤを得て推測係数値制限部１３に出力する。また、ＤＣＴ係数絶対値線形推測部３１は、ＤＣＴ係数の量子化代表値ＱＤをもとにＤＣＴ係数の絶対値の線形推測処理を行なう。そして、符号決定部３２は、逆量子化部２からの量子化代表値の正負の符号をＤＣＴ係数絶対値線形推測部３１により推測した絶対値の符号として決定し、この符号を反映した推測ＤＣＴ係数ＥＤを得て推測係数値制限部１３に出力する（ステップＳ２１）。
【００５９】
推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数の片方のみが図２に示した所定の値Ｄ０からＤ１までの範囲内であれば（ステップＳ２２のＹＥＳ）、範囲内である推測ＤＣＴ係数を２次元逆ＤＣＴ部３に出力する（ステップＳ２３）。
【００６０】
また、推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数の双方が図２に示した所定の値Ｄ０からＤ１までの範囲外であって、これらの係数がともにＤ０未満である場合には、外れた側の境界値Ｄ０を２次元逆ＤＣＴ部３に出力する。
【００６１】
また、推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数の双方が図２に示した所定の値Ｄ０からＤ１までの範囲外であって、これらの係数がともにＤ１を超える場合には、外れた側の境界値Ｄ１を２次元逆ＤＣＴ部３に出力する（ステップＳ２４→Ｓ２５）。
【００６２】
また、推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数の双方が図２に示した所定の値Ｄ０からＤ１までの範囲外であって、これらの係数の片方がＤ０未満で、もう片方がＤ１を超える場合で、一方の係数とＤ０との差分が他方の係数とＤ１の差分より小さければ、推測値がより境界に近い方の境界値であるＤ０を２次元逆ＤＣＴ部３に出力する。
【００６３】
また、推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数の双方が図２に示した所定の値Ｄ０からＤ１までの範囲外であって、これらの係数の片方がＤ０未満で、もう片方がＤ１を超える場合で、一方の係数とＤ１との差分が他方の係数とＤ０の差分より小さければ、推測値がより境界に近い方の境界値であるＤ１を２次元逆ＤＣＴ部３に出力する（ステップＳ２６→Ｓ２７）。
【００６４】
また、推測係数値制限部１３は、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数の双方が図２に示した所定の値Ｄ０からＤ１までの範囲内である場合には（ステップＳ２６のＮＯ）、ＤＣＴ係数線形推測部１２からの推測ＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１からの推測ＤＣＴ係数のうち所定のいずれかを２次元逆ＤＣＴ部３に出力する（ステップＳ２８）。
【００６５】
以上説明したように、この変形例では、量子化代表値がゼロである場合と非ゼロである場合とで推測値の処理を区別せず、量子化代表値の値に関わらず、ＤＣＴ係数通常の線形推測およびＤＣＴ係数の絶対値線形推測を行ない、得られた推測値と境界値との比較により決定した値を出力するので、前述した第２の実施形態と同様の効果を得ることができる。
【００６６】
（第３の実施形態）
次に、第３の実施形態について説明する。この実施形態は、図７に示したように未処理ブロックのＤＣＴ係数を推測に用いる場合に効果が生ずる。  
図１３は、第３の実施形態における画像復号化装置の構成例を示すブロック図である。  
図１３に示すように、本実施形態における画像復号化装置は、図９に示した構成と比較して、推測係数セット・バンク４１および推測係数セット選択部４２をさらに備える。推測係数セット・バンク４１は、不揮発性メモリなどの記憶媒体である。推測係数セット・バンク４１は、処理対象のＤＣＴ係数に掛けるための推測係数セットを複数種類記憶する。
【００６７】
図１４は、第３の実施形態における画像復号化装置の処理動作の一例を示すフローチャートである。  
推測係数セット選択部４２は、図１に示したエントロピー復号部１からのＱステップの情報を入力する（ステップＳ３１）。推測係数セット選択部４２は、この入力したＱステップの粗密を判定する（ステップＳ３２）。
【００６８】
推測係数セット選択部４２は、このＱステップが粗い場合には、未処理ブロックのＤＣＴ係数に対する推測係数の重みが処理済みのブロックのＤＣＴ係数に対する推測係数の重みより小さくなるような推測係数セットを推測係数セット・バンク４１から読み出す。
【００６９】
逆に、推測係数セット選択部４２は、Ｑステップが細かい場合には、未処理ブロックのＤＣＴ係数に対する推測係数の重みが処理済みのブロックのＤＣＴ係数に対する推測係数の重みより小さくなるが、Ｑステップが粗い場合と比較してあまり小さくならないような推測係数セットを推測係数セット・バンク４１から読み出す（ステップＳ３３）。
【００７０】
そして、推測係数セット選択部４２は、読み出した推測係数セットをゼロＤＣＴ係数線形推測部２１に出力することで、ゼロＤＣＴ係数線形推測部２１による処理のためのゼロ用推測係数をセットする（ステップＳ３４）。ゼロＤＣＴ係数線形推測部２１は、推測係数セット選択部４２からのゼロ用推測係数のセットが完了した場合に処理を行なう。
【００７１】
また、推測係数セット選択部４２は、読み出した推測係数セットを非ゼロＤＣＴ係数線形推測部２２に出力することで、非ゼロＤＣＴ係数線形推測部２２による処理のための非ゼロ用ＤＣＴ係数をセットする（ステップＳ３５）。非ゼロＤＣＴ係数線形推測部２２は、推測係数セット選択部４２からの非ゼロ用推測係数のセットが完了した場合に処理を行なう。
【００７２】
以上説明したように、第３の実施形態における画像復号化装置では、推測係数セットを複数種類記憶し、これらのうちゼロ用ＤＣＴ係数および非ゼロ用ＤＣＴ係数をＱステップの値により切り替えるようにしたので、未処理ブロックをＤＣＴ係数を推測に用いる場合において、より適切な推測を行うことができる。
【００７３】
ここでは、推測係数セットを複数種類記憶し、これらのうちゼロ用ＤＣＴ係数および非ゼロ用ＤＣＴ係数をＱステップの値により切り替える構成を説明したが、これに限らず、第２実施形態の変形例である図１１に示した構成において、ＤＣＴ係数線形推測部１２による処理の為のＤＣＴ係数およびＤＣＴ係数絶対値線形推測部３１による処理の為のＤＣＴ係数をＱステップの値により切り替える構成であってもよい。
【００７４】
また、処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（１，６）に対して、第２および第３の実施形態で説明した非ゼロＤＣＴ係数線形推測部２２、および第２の実施形態の変形例で説明したＤＣＴ係数絶対値線形推測部３１による推測値ＥＤＣＴ＿Ｃ（１，６）は、以下の式（３）、式（４）、式（５）で示される。b(・・・)は事前に求めてある推測係数である。
【００７５】
t=b(1,6;A,1,4)*|DCT_A(1,4)|+b(1,6;A,1,5)*|DCT_A(1,5)|+b(1,6;A,1,6)*|DCT_A(1,6)|+b(1,6;A,1,7)*|DCT_A(1,7)|
+b(1,6;B,1,6)*|DCT_B(1,6)|+b(1,6;B,4,6)*|DCT_B(4,6)|+b(1,6;B,5,6)*|DCT_B(5,6)|+b(1,6;B,6,6)*|DCT_B(6,6)|+b(1,6;B,7,6)*|DCT_B(7,6)|
+b(1,6;C,1,2)*|DCT_C(1,2)|+b(1,6;C,1,4)*|DCT_C(1,4)|+b(1,6;C,1,6)*|DCT_C(1,6)|  …式（３）
EDCT_C(1,6)=t*DCT_C(1,6)  (DCT_C(1,6) > 0 のとき)  …式（４）
EDCT_C(1,6)=-t*DCT_C(1,6)  (DCT_C(1,6) < 0 のとき)  …式（５）
また、前述した、未処理ブロックのＤＣＴ係数も推測に用いる際に、処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（１，６）に対して、前述した非ゼロＤＣＴ係数線形推測部２２およびＤＣＴ係数絶対値線形推測部３１による推測値ＥＤＣＴ＿Ｃ（１，６）は、以下の式（６）、式（７）、式（８）で示される。ｄ(・・・)は事前に求めてある推測係数である。
【００７６】
t=d(1,6;A,1,4)*|DCT_A(1,4)|+d(1,6;A,1,5)*|DCT_A(1,5)|+d(1,6;A,1,6)*|DCT_A(1,6)|+d(1,6;A,1,7)*|DCT_A(1,7)|
+d(1,6;B,1,6)*|DCT_D(1,6)|+d(1,6;B,4,6)*|DCT_D(4,6)|+d(1,6;B,5,6)*|DCT_D(5,6)|+d(1,6;B,6,6)*|DCT_D(6,6)|+d(1,6;B,7,6)*|DCT_D(7,6)|
+d(1,6;C,1,2)*|DCT_C(1,2)|+d(1,6;C,1,4)*|DCT_C(1,4)|+d(1,6;C,1,6)*|DCT_C(1,6)|
+d(1,6;D,1,6)*|DCT_D(1,6)|+d(1,6;D,4,6)*|DCT_D(4,6)|+d(1,6;D,5,6)*|DCT_D(5,6)|
+d(1,6;E,1,5)*|DCT_E(1,5)|+d(1,6;E,1,6)*|DCD_E(1,6)|+d(1,6;E,1,7)*|DCT_E(1,7)|  …式（６）
EDCT_C(1,6)=t*DCT_C(1,6)  (DCT_C(1,6) > 0 のとき)  …式（７）
EDCT_C(1,6)=-t*DCT_C(1,6)  (DCT_C(1,6) < 0 のとき)  …式（８）
これらの各実施形態によれば、画像の量子化に伴って失われた情報を高精度に復元することが可能になる画像復号化装置、画像復号化方法およびプログラムを提供することができる。
【００７７】
また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等)、光ディスク（CD-ROM、DVD、MO等）、半導体メモリ（ROM、RAM、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【００７８】
発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７９】
１…エントロピー復号部、２…逆量子化部、３，３ｂ…２次元逆ＤＣＴ部、４，１４…バッファ、５，１５…予測部、６…歪除去フィルタ、１０…ＤＣＴ係数修正部、１１…ＤＣＴ係数バッファ、１２…ＤＣＴ係数線形推測部、１３…推測係数制限部、２１…ゼロＤＣＴ係数線形推測部、２２…非ゼロＤＣＴ係数線形推測部、２３，３２…符号決定部、３１…ＤＣＴ係数絶対値線形推測部、４１…推測係数セット・バンク部、４２…推測係数セット選択部。
【図１】
2012134632.tif 000003
【図２】
2012134632.tif 000004
【図３】
2012134632.tif 000005
【図４】
2012134632.tif 000006
【図５】
2012134632.tif 000007
【図６】
2012134632.tif 000008
【図７】
2012134632.tif 000009
【図８】
2012134632.tif 000010
【図９】
2012134632.tif 000011
【図１０】
2012134632.tif 000012
【図１１】
2012134632.tif 000013
【図１２】
2012134632.tif 000014
【図１３】
2012134632.tif 000015
【図１４】
2012134632.tif 000016
【手続補正書】
【提出日】平成23年10月4日(2011.10.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
実施形態によれば、画像復号化装置は、エントロピー復号手段と、逆量子化手段と、推測手段と、推測係数値制限手段と逆離散コサイン変換手段とをもつ。エントロピー復号手段は、符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元する。逆量子化手段は、前記復号結果に対する逆量子化処理を行なう。推測手段は、前記逆量子化結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測する。推測係数値制限手段は、前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう。逆離散コサイン変換手段は、前記推測係数値制限手段による処理結果に対して２次元逆離散コサイン変換処理を行なう。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
画像符号化装置は多種多様であり、このような画像符号化装置でどのような量子化処理を行っているかを画像復号化装置側で厳密に判断することは不可能であるため、本実施形態では、推測係数値制限部１３は、値ＥＤが前述したＤ０からＤ１の範囲よりも若干の余裕を持たせた範囲より外にある場合に制限処理を行なう。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
EDCT_C(1,6)=c(1,6;A,1,4)*DCT_A(1,4)+c(1,6;A,1,5)*DCT_A(1,5)+c(1,6;A,1,6)* DCT_A(1,6)+c(1,6;A,1,7)*DCT_A(1,7)
+c(1,6;B,1,6)*DCT_B(1,6)+c(1,6;B,4,6)*DCT_B(4,6)+c(1,6;B,5,6)*DCT_B(5,6)+ c(1,6;B,6,6)*DCT_B(6,6)+c(1,6;B,7,6)*DCT_B(7,6)
+c(1,6;C,1,2)*DCT_C(1,2)+c(1,6;C,1,4)*DCT_C(1,4)+c(1,6;C,1,6)*DCT_C(1,6)       +c(1,6;D,1,6)*DCT_D(1,6)+c(1,6;D,4,6)*DCT_D(4,6)+c(1,6;D,5,6)*DCT_D(5,6)       +c(1,6;E,1,5)*DCT_E(1,5)+c(1,6;E,1,6)*DCD_E(1,6)+c(1,6;E,1,7)*DCT_E(1,7)  …式（２）
以上説明したように、第１の実施形態における画像復号化装置では、符号化された画像の復号の際に、低次の係数から高次の係数まで全てのＤＣＴ係数に対して効果的な推測を行なうことができるため、ブロック歪みやモスキート歪みの除去といった、対処療法的な符号化歪み除去にとどまらず、量子化により失われた高周波成分の復元という、より積極的かつ高精度な劣化画像の復元が可能となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
（第３の実施形態）
次に、第３の実施形態について説明する。この実施形態は、図７に示したように未処理ブロックのＤＣＴ係数を推測に用いる場合に効果が生ずる。  
図１３は、第３の実施形態における画像復号化装置の構成例を示すブロック図である。
図１３に示すように、本実施形態における画像復号化装置は、図９に示した構成と比較して、推測係数セット・バンク４１および推測係数セット選択部４２をさらに備える。推測係数セット・バンク４１は、不揮発性メモリなどの記憶媒体である。推測係数セット・バンク４１は、処理対象のＤＣＴ係数に掛けるための推測係数セットを複数種類記憶する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
t=b(1,6;A,1,4)*|DCT_A(1,4)|+b(1,6;A,1,5)*|DCT_A(1,5)|+b(1,6;A,1,6)*|DCT_A (1,6)|+b(1,6;A,1,7)*|DCT_A(1,7)|
+b(1,6;B,1,6)*|DCT_B(1,6)|+b(1,6;B,4,6)*|DCT_B(4,6)|+b(1,6;B,5,6)*|DCT_B(5,6)|+b(1,6;B,6,6)*|DCT_B(6,6)|+b(1,6;B,7,6)*|DCT_B(7,6)|
+b(1,6;C,1,2)*|DCT_C(1,2)|+b(1,6;C,1,4)*|DCT_C(1,4)|+b(1,6;C,1,6)*|DCT_C(1,6)|  …式（３）
EDCT_C(1,6)=t  (DCT_C(1,6) > 0 のとき)  …式（４）
EDCT_C(1,6)=-t  (DCT_C(1,6) < 0 のとき)  …式（５）
また、前述した、未処理ブロックのＤＣＴ係数も推測に用いる際に、処理対象のＤＣＴ係数であるＤＣＴ＿Ｃ（１，６）に対して、前述した非ゼロＤＣＴ係数線形推測部２２およびＤＣＴ係数絶対値線形推測部３１による推測値ＥＤＣＴ＿Ｃ（１，６）は、以下の式（６）、式（７）、式（８）で示される。ｄ(・・・)は事前に求めてある推測係数である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
t=d(1,6;A,1,4)*|DCT_A(1,4)|+d(1,6;A,1,5)*|DCT_A(1,5)|+d(1,6;A,1,6)*|DCT_A (1,6)|+d(1,6;A,1,7)*|DCT_A(1,7)|
+d(1,6;B,1,6)*|DCT_B(1,6)|+d(1,6;B,4,6)*|DCT_B(4,6)|+d(1,6;B,5,6)*|DCT_B(5,6)|+d(1,6;B,6,6)*|DCT_B(6,6)|+d(1,6;B,7,6)*|DCT_B(7,6)|
+d(1,6;C,1,2)*|DCT_C(1,2)|+d(1,6;C,1,4)*|DCT_C(1,4)|+d(1,6;C,1,6)*|DCT_C(1,6)|
+d(1,6;D,1,6)*|DCT_D(1,6)|+d(1,6;D,4,6)*|DCT_D(4,6)|+d(1,6;D,5,6)*|DCT_D(5,6)|
+d(1,6;E,1,5)*|DCT_E(1,5)|+d(1,6;E,1,6)*|DCD_E(1,6)|+d(1,6;E,1,7)*|DCT_E(1,7)|  …式（６）
EDCT_C(1,6)=t  (DCT_C(1,6) > 0 のとき)  …式（７）
EDCT_C(1,6)=-t  (DCT_C(1,6) < 0 のとき)  …式（８）
これらの各実施形態によれば、画像の量子化に伴って失われた情報を高精度に復元することが可能になる画像復号化装置、画像復号化方法およびプログラムを提供することができる。
【手続補正７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元するエントロピー復号手段と、
前記復号結果に対する逆量子化処理を行なう逆量子化手段と、
前記逆量子化結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測する推測手段と、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう推測係数値制限手段と、
前記推測係数値制限手段による処理結果に対して２次元逆離散コサイン変換処理を行なう逆離散コサイン変換手段と
を備えた画像復号化装置。
【請求項２】
前記推測手段は
前記逆量子化処理結果に対し、前記処理対象の離散コサイン変換係数がゼロの場合に当該係数の修正値を線形推測し、また、前記処理対象の離散コサイン変換係数がゼロでない場合に当該係数の修正値の絶対値を線形推測した結果に、修正前の前記係数の正負符号を付加することで当該係数の修正値を線形推測する
請求項１に記載の画像符号化装置。
【請求項３】
前記推測手段は、
前記逆量子化結果に対し、前記処理対象の離散コサイン変換係数の修正値の絶対値をさらに線形推測し、この絶対値に修正前の前記係数の正負符号を付加することで当該係数の第２の修正値を線形推測し、
前記推測係数値制限手段は、
前記推測手段によるいずれかの修正値を選択して、当該選択した修正値を前記所定の範囲内になるように制限する
請求項１に記載の画像復号化装置。
【請求項４】
前記推測手段は、
前記処理対象の画素を含む矩形領域内の離散コサイン変換係数、前記処理対象の矩形領域に隣接し、かつ全ての離散コサイン変換係数について前記修正値の線形推測を行なった矩形領域の離散コサイン変換係数、および前記処理対象の矩形領域に隣接し、かつ前記修正値の線形推測を行なった離散コサイン変換係数がない矩形領域の離散コサイン変換係数に所定の推測係数を掛けることで、前記処理対象の前記離散コサイン変換係数の修正値を線形推測し、
前記推測係数を複数種類記憶する推測係数記憶手段をさらに備え、
前記推測手段は、
前記推測係数記憶手段に記憶される推測係数のうち前記量子化ステップの値の大小に応じて選択した推測係数をもとに前記処理対象の前記離散コサイン変換係数の修正値を線形推測する
請求項１乃至３のいずれかに記載の画像復号化装置。
【請求項５】
前記符号化された画像信号は、予測残差符号化された画像信号であり、
前記逆量子化結果に対する逆離散コサイン変換処理を行なう逆離散コサイン第２変換手段と、
前記第２の逆離散コサイン変換手段における変換結果に予測画像信号を加えた結果の復号信号を一時記憶する記憶装置と、
前記記憶された復号画像から予測画像信号を生成する予測部と、
前記予測部による予測結果に前記逆離散コサイン第２変換手段における変換結果を加算して前記記憶装置へ出力する第１の加算器と、
前記予測部による予測結果に前記逆離散コサイン変換手段による前記推測係数値制限手段による処理結果に対する変換結果を加算する第２の加算器と
をさらに備えた請求項１に記載の画像復号化装置。
【請求項６】
符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元し、
前記復号結果に対する逆量子化処理を行ない、
前記逆量子化処理結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行ない、
前記修正値の制限結果に対して２次元逆離散コサイン変換処理を行なう
画像復号化方法。
【請求項７】
前記修正値を線形推測することは、
前記逆量子化結果に対し、前記処理対象の離散コサイン変換係数がゼロの場合に当該係数の修正値を線形推測し、また、前記処理対象の離散コサイン変換係数がゼロでない場合に当該係数の修正値の絶対値を線形推測し、この結果に、修正前の係数の正負符号を付加することで当該係数の修正値を線形推測することである
請求項６に記載の画像復号化方法。
【請求項８】
前記逆量子化結果に対し、前記処理対象の離散コサイン変換係数の修正値の絶対値をさらに線形推測し、この絶対値に修正前の前記係数の正負符号を付加することで当該係数の第２の修正値を線形推測し、
前記修正値の制限を行なうことは、
前記推測したいずれかの修正値を選択して、当該選択した修正値を前記所定の範囲内になるように制限することである
請求項６に記載の画像復号化方法。
【請求項９】
前記修正値を線形推測することは、
前記処理対象の画素を含む矩形領域内の他の離散コサイン変換係数、前記処理対象の矩形領域に隣接し、かつ全て離散コサイン変換係数について前記修正値の線形推測を行なった矩形領域の離散コサイン変換係数、および前記処理対象の矩形領域に隣接し、かつ前記修正値の線形推測を行なった離散コサイン変換係数がない矩形領域の離散コサイン変換係数に所定の推測係数を掛けることで、前記処理対象の前記離散コサイン変換係数の修正値を線形推測することであり、
前記推測係数を複数種類記憶し、
前記修正値を線形推測することは、
前記記憶される推測係数のうち前記量子化ステップの値の大小に応じて選択した推測係数をもとに前記処理対象の前記離散コサイン変換係数の修正値を線形推測することである請求項６乃至８のいずれかに記載の画像復号化方法。
【請求項１０】
前記符号化された画像信号は、予測残差符号化された画像信号であり、
前記逆量子化結果に対する逆離散コサイン変換処理を行ない、
前記第２の逆離散コサイン変換手段における変換結果に予測画像信号を加えた結果の復号信号を一時記憶し、
前記記憶された復号画像から予測画像信号を生成し、
前記逆量子化結果に対する逆離散コサイン変換結果を前記予測画像信号に加算して前記記憶装置へ出力し、
前記予測部による予測結果に前記修正値の制限結果に対する逆離散コサイン変換結果を加算する
請求項６に記載の画像復号化方法。
【請求項１１】
コンピュータに、
符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元する手順と、
前記復号結果に対する逆量子化処理を行なう手順と、
前記逆量子化処理結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測する手順と、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう手順と、
前記修正値の制限結果に対して２次元逆離散コサイン変換処理を行なう手順と、
を実行させるプログラム。
【手続補正書】
【提出日】平成24年1月6日(2012.1.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
実施形態によれば、画像復号化装置は、エントロピー復号手段と、逆量子化手段と、推測手段と、推測係数値制限手段と逆離散コサイン変換手段とをもつ。エントロピー復号手段は、符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元する。逆量子化手段は、前記復号結果に対する逆量子化処理を行なう。推測手段は、前記逆量子化結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロの場合に、処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、また、逆量子化結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロでない場合に、処理対象の画素を含む矩形領域内の離散コサイン変換係数および処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに処理対象の離散コサイン変換係数の修正値の絶対値を線形推測した結果に、修正前の係数の正負符号を付加することで当該係数の修正値を線形推測する。推測係数値制限手段は、前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう。逆離散コサイン変換手段は、前記推測係数値制限手段による処理結果に対して２次元逆離散コサイン変換処理を行なう。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元するエントロピー復号手段と、
前記復号結果に対する逆量子化処理を行なう逆量子化手段と、
前記逆量子化結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロの場合に、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、また、前記逆量子化結果に対し、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロでない場合に、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値の絶対値を線形推測した結果に、修正前の前記係数の正負符号を付加することで当該係数の修正値を線形推測する推測手段と、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう推測係数値制限手段と、
前記推測係数値制限手段による処理結果に対して２次元逆離散コサイン変換処理を行なう逆離散コサイン変換手段と
を備えた画像復号化装置。
【請求項２】
前記推測手段は、
前記処理対象の画素を含む矩形領域内の離散コサイン変換係数、前記処理対象の矩形領域に隣接し、かつ全ての離散コサイン変換係数について前記修正値の線形推測を行なった矩形領域の離散コサイン変換係数、および前記処理対象の矩形領域に隣接し、かつ前記修正値の線形推測を行なった離散コサイン変換係数がない矩形領域の離散コサイン変換係数に所定の推測係数を掛けることで、前記処理対象の前記離散コサイン変換係数の修正値を線形推測し、
前記推測係数を複数種類記憶する推測係数記憶手段をさらに備え、
前記推測手段は、
前記推測係数記憶手段に記憶される推測係数のうち前記量子化ステップの値の大小に応じて選択した推測係数をもとに前記処理対象の前記離散コサイン変換係数の修正値を線形推測する
請求項１に記載の画像復号化装置。
【請求項３】
符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元し、
前記復号結果に対する逆量子化処理を行ない、
前記逆量子化処理結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロの場合に、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、また、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロでない場合に、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値の絶対値を線形推測し、この結果に、修正前の係数の正負符号を付加することで当該係数の修正値を線形推測し、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行ない、
前記修正値の制限結果に対して２次元逆離散コサイン変換処理を行なう
画像復号化方法。
【請求項４】
前記修正値を線形推測することは、
前記処理対象の画素を含む矩形領域内の他の離散コサイン変換係数、前記処理対象の矩形領域に隣接し、かつ全て離散コサイン変換係数について前記修正値の線形推測を行なった矩形領域の離散コサイン変換係数、および前記処理対象の矩形領域に隣接し、かつ前記修正値の線形推測を行なった離散コサイン変換係数がない矩形領域の離散コサイン変換係数に所定の推測係数を掛けることで、前記処理対象の前記離散コサイン変換係数の修正値を線形推測することであり、
前記推測係数を複数種類記憶し、
前記修正値を線形推測することは、
前記記憶される推測係数のうち前記量子化ステップの値の大小に応じて選択した推測係数をもとに前記処理対象の前記離散コサイン変換係数の修正値を線形推測することである請求項３に記載の画像復号化方法。
【請求項５】
コンピュータに、
符号化対象の画像を所定の数の画素からなる矩形領域に分割し、前記矩形領域を処理対象として２次元離散コサイン変換処理および量子化処理を順次施して符号化された画像のエントロピー復号処理を行なって量子化離散コサイン変換係数を復元する手順と、
前記復号結果に対する逆量子化処理を行なう手順と、
前記逆量子化処理結果に対し、処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロの場合に、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値を線形推測し、また、前記逆量子化結果に対し、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数がゼロでない場合に、前記処理対象の画素を含む矩形領域内の離散コサイン変換係数および前記処理対象の画素を含む矩形領域に隣接する領域の離散コサイン変換係数をもとに前記処理対象の離散コサイン変換係数の修正値の絶対値を線形推測した結果に、修正前の前記係数の正負符号を付加することで当該係数の修正値を線形推測する手順と、
前記推測した修正値が量子化ステップに基づいた所定の範囲内になるように当該修正値の制限を行なう手順と、
前記修正値の制限結果に対して２次元逆離散コサイン変換処理を行なう手順と、
を実行させるプログラム。