(57)【特許請求の範囲】
【請求項１】
符号化画像を復号化する画像復号化装置であって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成する復号化手段と、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関を示すデータである相互相関データを、前記符号化ストリームに含まれる符号化されたピクチャの補助拡張情報から抽出する抽出手段と、
前記復号画像内の相関を示す自己相関データを生成し、生成した前記自己相関データと、前記抽出手段によって抽出された前記相互相関データとに基づいてフィルタパラメータを算出するパラメータ算出手段と、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリング手段と
を備えることを特徴とする画像復号化装置。
【請求項２】
前記パラメータ算出手段は、前記フィルタパラメータをウィナーフィルタのフィルタ係数として算出する
ことを特徴とする請求項１記載の画像復号化装置。
【請求項３】
前記フィルタリング手段は、前記フィルタリング演算が行われた前記復号画像をフィルタリング復号画像として出力し、
前記復号化手段は、前記フィルタリング復号画像を用いて前記符号化画像の後の符号化画像を復号化する
ことを特徴とする請求項２記載の画像復号化装置。
【請求項４】
前記画像復号化装置は、さらに、
参照画像を記憶するための領域を有する記憶手段と、
前記記憶手段に記憶されている複数の参照画像から、前記符号化画像の後の符号化画像に対応する参照画像を選択することにより、前記後の符号化画像に対する予測画像を生成する予測手段とを備え、 
前記フィルタリング手段は、前記フィルタリング復号画像を前記参照画像として前記記憶手段に格納し、
前記復号化手段は、前記後の符号化画像と前記予測画像とを加算することにより前記後の符号化画像を復号化する
ことを特徴とする請求項３記載の画像復号化装置。
【請求項５】
前記画像復号化装置は、さらに、
参照画像を記憶するための領域を有する記憶手段と、
前記記憶手段に記憶されている複数の参照画像から、前記符号化画像の後の符号化画像に対応する参照画像を選択することにより、前記後の符号化画像に対する予測画像を生成する予測手段とを備え、
前記フィルタリング手段は、前記フィルタパラメータに従ったフィルタリング演算を前記予測画像に対して行うことにより、前記フィルタリング復号画像を生成し、
前記復号化手段は、生成された前記復号画像を前記参照画像として前記記憶媒体に格納するとともに、前記後の符号化画像と前記フィルタリング復号画像とを加算することにより前記後の符号化画像を復号化する
ことを特徴とする請求項３記載の画像復号化装置。
【請求項６】
前記パラメータ算出手段は、前記復号画像の領域ごとに前記自己相関データを生成し、前記領域ごとに前記フィルタパラメータを算出する
ことを特徴とする請求項１記載の画像復号化装置。
【請求項７】
前記パラメータ算出手段は、ブロック、スライス、ピクチャ、または複数のピクチャを１つの前記領域とし、前記領域ごとに前記自己相関データおよび前記フィルタパラメータを算出する
ことを特徴とする請求項６記載の画像復号化装置。
【請求項８】
前記抽出手段は、前記符号化ストリームに含まれる、符号化されたブロック、スライス、ピクチャ、または複数のピクチャをまとめた領域のヘッダから前記相互相関データを抽出する
ことを特徴とする請求項１記載の画像復号化装置。
【請求項９】
入力画像を符号化する画像符号化装置であって、
入力画像を符号化することにより符号化画像を生成する符号化手段と、
符号化画像を復号化することにより復号画像を生成する復号化手段と、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記入力画像と前記復号化画像との間の相関を示すデータである相互相関データを生成する相互相関データ生成手段と、
前記符号化手段によって生成された符号化画像を含む符号化ストリームに含まれる、符号化されたピクチャの補助拡張情報に、前記相互相関データを挿入する挿入手段と
を備えることを特徴とする画像符号化装置。
【請求項１０】
前記挿入手段は、前記符号化ストリームに含まれる、符号化されたブロック、スライス、ピクチャ、または複数のピクチャをまとめた領域のヘッダに前記相互相関データを挿入する
ことを特徴とする請求項９記載の画像符号化装置。
【請求項１１】
前記相互相関データ生成手段は、画像の領域ごとに前記相互相関データを生成する
ことを特徴とする請求項９記載の画像符号化装置。
【請求項１２】
前記相互相関データ生成手段は、ブロック、スライス、ピクチャ、または複数のピクチャを１つの前記領域とし、前記領域ごとに前記相互相関データを生成する
ことを特徴とする請求項１１記載の画像符号化装置。
【請求項１３】
符号化画像を復号化する画像復号化方法であって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成する復号化ステップと、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関を示すデータである相互相関データを、前記符号化ストリームに含まれる符号化されたピクチャの補助拡張情報から抽出する抽出ステップと、
前記復号画像内の相関を示す自己相関データを生成し、生成した前記自己相関データと、前記抽出ステップで抽出された前記相互相関データとに基づいてフィルタパラメータを算出するパラメータ算出ステップと、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリングステップと
を含むことを特徴とする画像復号化方法。
【請求項１４】
入力画像を符号化する画像符号化方法であって、
入力画像を符号化することにより符号化画像を生成する符号化ステップと、
符号化画像を復号化することにより復号画像を生成する復号化ステップと、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記入力画像と前記復号化画像との間の相関を示すデータである相互相関データを生成する相互相関データ生成ステップと、
前記符号化ステップで生成された符号化画像を含む符号化ストリームに含まれる、符号化されたピクチャの補助拡張情報に、前記相互相関データを挿入する挿入ステップと
を含むことを特徴とする画像符号化方法。
【請求項１５】
符号化画像を復号化するためのプログラムであって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成する復号化ステップと、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関を示すデータである相互相関データを、前記符号化ストリームに含まれる符号化されたピクチャの補助拡張情報から抽出する抽出ステップと、
前記復号画像内の相関を示す自己相関データを生成し、生成した前記自己相関データと、前記抽出ステップで抽出された前記相互相関データとに基づいてフィルタパラメータを算出するパラメータ算出ステップと、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリングステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
入力画像を符号化するためのプログラムであって、
入力画像を符号化することにより符号化画像を生成する符号化ステップと、
符号化画像を復号化することにより復号画像を生成する復号化ステップと、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記入力画像と前記復号化画像との間の相関を示すデータである相互相関データを生成する相互相関データ生成ステップと、
前記符号化ステップで生成された符号化画像を含む符号化ストリームに含まれる、符号化されたピクチャの補助拡張情報に、前記相互相関データを挿入する挿入ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
符号化画像を復号化する集積回路であって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成する復号化手段と、 
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関を示すデータである相互相関データを、前記符号化ストリームに含まれる符号化されたピクチャの補助拡張情報から抽出する抽出手段と、
前記復号画像内の相関を示す自己相関データを生成し、生成した前記自己相関データと、前記抽出手段によって抽出された前記相互相関データとに基づいてフィルタパラメータを算出するパラメータ算出手段と、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリング手段と
を備えることを特徴とする集積回路。
【請求項１８】
入力画像を符号化する集積回路であって、
入力画像を符号化することにより符号化画像を生成する符号化手段と、
符号化画像を復号化することにより復号画像を生成する復号化手段と、
行列に含まれる要素の数と、各要素の値とを含むデータであって、前記入力画像と前記復号化画像との間の相関を示すデータである相互相関データを生成する相互相関データ生成手段と、
前記符号化手段によって生成された符号化画像を含む符号化ストリームに含まれる、符号化されたピクチャの補助拡張情報に、前記相互相関データを挿入する挿入手段と
を備えることを特徴とする集積回路。
【請求項１９】
前記相互相関データは、行列に含まれる要素の数を各色成分に共通のパラメータとして含み、さらに、色成分ごとに、前記行列の各要素の値を含む
ことを特徴とする請求項１に記載の画像復号化装置。
【請求項２０】
前記相互相関データは、行列に含まれる要素の数を各色成分に共通のパラメータとして含み、さらに、色成分ごとに、前記行列の各要素の値を含む
ことを特徴とする請求項９に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化して復号化する画像符号化装置および画像復号化装置に関し、特に復号化された画像に対してフィルタをかける画像符号化装置および画像復号化装置に関する。
【背景技術】
【０００２】
動画像は、テレビ電話やテレビ会議からデジタルテレビやＤＶＤ（Digital Versatile Disc）に至るまで多くのアプリケーションに採用されている。動画像をデジタルデータとして送信するときや記録するときには、限られた周波数帯域の伝送チャンネルを通して大量のデータを送信しなければならず、限られた容量の記憶媒体に大量のデータを格納しなければならない。したがって、動画像を示すデジタルデータを送信するときや記録するときには、そのデジタルデータを圧縮してデータ量を抑える必要がある。
【０００３】
そこで、動画像符号化の多くの規格が開発された。例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔの規格と、ＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣの規格とがある。最新の動画像符号化の規格は、Ｈ．２６４／ＡＶＣまたはＭＰＥＧ−４／ＡＶＣとして示される規格である。
【０００４】
この規格では基本的に、まず、ブロックレベルでデータを圧縮するために動画像の１枚のフレーム（ピクチャ）をブロック（マクロブロック）に分割する。そして、ブロックの空間領域を周波数領域に変換することにより変換係数を生成し、フレームの空間的冗長性を低減する。さらに、その変換係数を量子化する。このような動画像の符号化により、動画像のデータ量が低減される。そして、その量子化された変換係数をエントロピー符号化する。
【０００５】
ここで、上述の量子化によってデータが失われるため、量子化された変換係数から元の変換係数を復元することはできない。つまり、動画像を符号化すると、量子化ノイズによって画質が低下する。
【０００６】
また、上述の規格では、符号化された動画像のデータ量をさらに抑えるために、フレーム間のブロックの時間的な依存性を利用して、フレーム間の差分のみを送信することができる。このことは、動き検出および動き補償の技術によってなされる。
【０００７】
上述のような動画像圧縮技術（画像符号化方法）はハイブリッド符号化技術と呼ばれ、さまざまな動画像圧縮技術の中でも最も効果的である。ハイブリッド符号化技術は、時間的および空間的圧縮技術と統計的符号化技術とを結合したものである。そして、ハイブリッド符号化技術は、動き補償ＤＰＣＭ（Differential Pulse Code Modulation）と、２次元ＤＣＴ（Discrete Cosine Transform）と、ＤＣＴ係数の量子化と、ＶＬＣ（Variable Length Coding）とを有する。
【０００８】
動き補償ＤＰＣＭは、処理対象フレームと処理後のフレームとの間の画像の動きを検出し、その検出された動きに従って処理対象フレームを予測し、処理対象フレームと予測結果との差分を生成する。
【０００９】
このように画像を符号化してさらに復号化すると、画像に乱れが生じる。例えば、ＤＣＴ係数を量子化するときには、量子化ノイズが発生する。さらに、画像をブロックごとに符号化することによってブロック歪が発生する。
【００１０】
以下、ハイブリッド符号化技術を用いた従来の画像符号化装置および画像復号化装置について図面を用いて説明する。
【００１１】
図１は、従来の画像符号化装置の構成を示すブロック図である。
【００１２】
画像符号化装置１０００は、減算器１１００、直交変換量子化部１２００、逆量子化逆直交変換部１３００、加算器１３５０、デブロッキングフィルタ１４００、メモリ１５００、面内予測部１６００、動き補償部１６５０、動き検出部１７００、切換部１８００、およびエントロピー符号化部１９００を備えている。
【００１３】
減算器１１００は、入力画像信号Ｉｎの示す入力画像と、面内予測部１６００または動き補償部１６５０から出力される予測画像Ｐｒｅとの差分を予測誤差Ｒｅｓとして算出する。
【００１４】
直交変換量子化部１２００は、減算器１１００によって算出された予測誤差Ｒｅｓを周波数成分に変換（例えば離散コサイン変換）し、その周波数成分に対して量子化を行うことにより、その周波数成分を量子化係数Ｑｃに圧縮符号化する。
【００１５】
逆量子化逆直交変換部１３００は、直交変換量子化部１２００から出力される量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部１３００は、その周波数成分に対して逆直交変換（例えば逆離散コサイン変換）を行うことにより、その周波数成分を予測誤差Ｄｒに変換する。
【００１６】
加算器１３５０は、上述の予測画像Ｐｒｅと予測誤差Ｄｒとを加算することにより、局所復号画像Ｒｃを生成して、その局所復号画像Ｒｃをデブロッキングフィルタ１４００に出力する。
【００１７】
デブロッキングフィルタ１４００は、加算器１３５０から出力された局所復号画像Ｒｃからブロック歪を取り除くように、その局所復号画像Ｒｃに対してフィルタをかける。つまり、局所復号画像Ｒｃが生成されるまでの上述の処理は、ピクチャを構成するブロック単位で行われているため、その局所復号画像Ｒｃにはブロック歪が含まれている。そこで、デブロッキングフィルタ１４００はそのブロック歪を局所復号画像Ｒｃから取り除く。
【００１８】
デブロッキングフィルタ１４００は、例えば、局所復号画像Ｒｃの各ブロックの境界に対してリニアフィルタをかけることで、各ブロックのエッジを滑らかにする。そして、デブロッキングフィルタ１４００は、フィルタリングされた局所復号画像Ｒｃを局所復号画像Ｒｄｆとしてメモリ１５００に格納する。
【００１９】
面内予測部１６００は、入力画像のマクロブロックがイントラモードで符号化されるときには、メモリ１５００から、符号化対象の入力画像に対応する１または複数の局所復号画像Ｒｄｆを参照画像Ｒｅｆとして取り出し、それらの参照画像Ｒｅｆを用いて符号化対象の入力画像に対する予測画像Ｐｒｅを生成する。
【００２０】
動き検出部１７００は、入力画像の符号化対象ピクチャよりも前に符号化されたピクチャ、つまりメモリ１５００に格納されている局所復号画像Ｒｃを参照画像Ｒｅｆとして参照し、例えば、符号化対象ピクチャに含まれるマクロブロックごとに動きベクトルＭＶを検出する。
【００２１】
動き補償部１６５０は、入力画像のマクロブロックがインターモードで符号化されるときには、メモリ１５００に格納されている参照画像Ｒｅｆから、動き検出部１７００によって検出された動きベクトルＭＶにより示される領域の画像を取り出し、予測画像Ｐｒｅとして出力する。
【００２２】
切換部１８００は、符号化対象マクロブロックの符号化モードがイントラモードのときには、減算器１１００での処理に、面内予測部１６００から出力された予測画像Ｐｒｅが利用されるように、減算器１１００を面内予測部１６００に接続する。また、切換部１８００は、符号化対象マクロブロックの符号化モードがインターモードのときには、減算器１１００での処理に、動き補償部１６５０から出力された予測画像Ｐｒｅが利用されるように、減算器１１００を動き補償部１６５０に接続する。
【００２３】
エントロピー符号化部１９００は、直交変換量子化部１２００によって生成された量子化係数Ｑｃと、動き検出部１７００によって検出された動きベクトルＭＶとをエントロピー符号化（可変長符号化）することにより、符号化ストリームＳｔｒを生成する。
【００２４】
このような画像符号化装置１０００では、入力画像の符号化として、予測画像Ｐｒｅの生成や直交変換、量子化、入力画像からの予測画像Ｐｒｅの減算などを行い、さらに、符号化された入力画像の復号化として、量子化係数Ｑｃに対する逆量子化や、逆直交変換、予測誤差Ｄｒと予測画像Ｐｒｅとの加算などを行う。
【００２５】
図２は、従来の画像復号化装置の構成を示すブロック図である。
【００２６】
画像復号化装置２０００は、エントロピー復号化部２１００、逆量子化逆直交変換部２２００、加算器２３００、デブロッキングフィルタ２４００、メモリ２５００、面内予測部２６００、動き補償部２６５０、および切換部２７００を備えている。
【００２７】
エントロピー復号化部２１００は、符号化ストリームＳｔｒを取得し、その符号化ストリームＳｔｒに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号化部２１００は、そのエントロピー復号化された符号化ストリームＳｔｒから、量子化係数Ｑｃと動きベクトルＭＶとを抽出する。
【００２８】
逆量子化逆直交変換部２２００は、エントロピー復号化部２１００で抽出された量子化係数Ｑｃを取得し、その量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部２２００は、その周波数成分に対して逆直交変換（例えば離散コサイン変換）を行うことにより、その周波数成分を予測誤差Ｄｒに変換する。
【００２９】
加算器２３００は、逆量子化逆直交変換部２２００から出力された予測誤差Ｄｒに、面内予測部２６００または動き補償部２６５０から出力された予測画像Ｐｒｅを加算することにより復号画像Ｒｃを生成する。また、加算器２３００は、その生成された復号画像Ｒｃをデブロッキングフィルタ２４００に出力する。
【００３０】
デブロッキングフィルタ２４００は、加算器２３００から出力された復号画像Ｒｃからブロック歪を取り除くように、その復号画像Ｒｃに対してフィルタをかける。つまり、復号画像Ｒｃが生成されるまでの上述の処理は、ピクチャを構成するブロック単位で行われているため、その復号画像Ｒｃにはブロック歪が含まれている。
【００３１】
デブロッキングフィルタ２４００は、例えば、復号画像Ｒｃの各ブロックの境界に対してリニアフィルタリングをかけることで、各ブロックのエッジを滑らかにする。そして、デブロッキングフィルタ２４００は、フィルタリングされた復号画像Ｒｃを出力画像Ｄｓとして出力するとともに、その復号画像Ｒｃを参照画像Ｒｅｆとしてメモリ２５００に格納する。
【００３２】
面内予測部２６００は、符号化ストリームＳｔｒに含まれる復号化対象マクロブロックをイントラモードで復号化すべきときには、メモリ２５００から、予測誤差Ｄｒに対応する１または複数の参照画像Ｒｅｆを取り出し、それらの参照画像Ｒｅｆを用いて予測画像Ｐｒｅを生成する。
【００３３】
動き補償部２６５０は、符号化ストリームＳｔｒに含まれる復号化対象マクロブロックをインターモードで復号化すべきときには、メモリ２５００に格納されている参照画像Ｒｅｆから、エントロピー復号化部２１００によって抽出された動きベクトルＭＶにより示される領域の画像を取り出し、予測画像Ｐｒｅとして出力する。
【００３４】
切換部２７００は、復号化対象マクロブロックの符号化モードがイントラモードのときには、加算器２３００での処理に、面内予測部２６００から出力された予測画像Ｐｒｅが利用されるように、加算器２３００を面内予測部２６００に接続する。また、切換部２７００は、復号化対象マクロブロックの復号化モードがインターモードのときには、加算器２３００での処理に、動き補償部２６５０から出力された予測画像Ｐｒｅが利用されるように、加算器２３００を動き補償部２６５０に接続する。
【００３５】
このような画像復号化装置２０００では、復号化として、量子化係数Ｑｃに対する逆量子化や、逆直交変換、予測誤差Ｄｒと予測画像Ｐｒｅとの加算などを行う。
【００３６】
このように、従来の画像符号化装置１０００および画像復号化装置２０００では、画像の符号化および復号化を行うことによって、画像符号化装置１０００における局所復号画像Ｒｃや、画像復号化装置２０００における復号画像Ｒｃの画質は、それらの画像に対応する入力画像の画質よりも劣っている。即ち、局所復号画像Ｒｃおよび復号画像Ｒｃは入力画像と比べて乱れ、符号化および復号化に伴うノイズを含んでいる。ノイズには、量子化ノイズやブロック歪などがある。
【００３７】
そこで、デブロッキングフィルタ１４００，２４００は、局所復号画像Ｒｃや復号画像Ｒｃの画質を向上させるために備えられている。
【００３８】
しかし、このようなデブロッキングフィルタ１４００，２４００では、局所復号画像Ｒｃや復号画像Ｒｃの画質を十分に高めることはできない。つまり、デブロッキングフィルタ１４００，２４００は、ブロックの境界を滑らかにしてブロック歪を取り除こうとするのみであって、その他のノイズを取り除くことも、境界以外の領域の画質を向上することも行わない。さらに、デブロッキングフィルタ１４００，２４００は、局所復号画像Ｒｃや復号画像Ｒｃの内容（鮮明さや平滑さなど）に関わらず、予め定められたフィルタ係数でリニアフィルタをかけるため、その局所復号画像Ｒｃや復号画像Ｒｃに適したフィルタリングを行うことができない。
【００３９】
そこで、画質の向上を図るため、画像の内容を解析することにより、その画像に適したフィルタリングを行うこと、いわゆる適応的フィルタが提案されている。例えば、符号化されてさらに復号化された画像が解析され、その解析結果に応じたフィルタパラメータ（フィルタ係数）がその画像に対するフィルタリングに用いられる。
【００４０】
特許文献１では、動画像に対する適応的フィルタについて記載されている。この特許文献１の適応的フィルタでは、復号画像の動きやノイズを検出して、その検出結果に応じたフィルタパラメータを算出し、そのフィルタパラメータに従ったフィルタをその復号画像にかける。フィルタパラメータは、上述の検出によって、反復的に算出される。
【特許文献１】米国特許出願公開番号第２００５／０１０５６２７号明細書
【発明の開示】
【発明が解決しようとする課題】
【００４１】
しかしながら、上記特許文献１の適応的フィルタでも、復号画像の画質を入力画像の画質に十分近づけることができないという問題がある。
【００４２】
つまり、上記特許文献１の適応的フィルタでは、歪やノイズが含まれる乱れた復号画像に基づいてフィルタパラメータを決定しているため、画質の向上には限界がある。ところで、符号化された入力画像を含む符号化ストリームＳｔｒのビットレートを上げれば、復号画像の画質を向上することができる。しかし、この場合には、符号化ストリームＳｔｒを格納するために、多くの容量を有する記録媒体が必要になり、符号化ストリームＳｔｒを送信するために、広いバンド幅の通信媒体が必要になる。
【００４３】
そこで、本発明は、かかる問題に鑑みてなされたものであって、符号化されて復号化された画像の画質の低下を確実に防ぐ画像符号化装置および画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００４４】
上記目的を達成するために、本発明に係る画像復号化装置は、符号化画像を復号化する画像復号化装置であって、符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成する復号化手段と、行列に含まれる要素の数と、各要素の値とを含むデータであって、前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関を示すデータである相互相関データを、前記符号化ストリームに含まれる符号化されたピクチャの補助拡張情報から抽出する抽出手段と、前記復号画像内の相関を示す自己相関データを生成し、生成した前記自己相関データと、前記抽出手段によって抽出された前記相互相関データとに基づいてフィルタパラメータを算出するパラメータ算出手段と、前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリング手段とを備えることを特徴とする。
また、上記目的を達成するために、本発明に係る画像復号化装置は、符号化画像を復号化する画像復号化装置であって、符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成する復号化手段と、前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関を示す相互相関データを前記符号化ストリームから抽出する抽出手段と、前記抽出手段によって抽出された前記相互相関データに基づいてフィルタパラメータを算出するパラメータ算出手段と、前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリング手段とを備えることを特徴とする。例えば、前記パラメータ算出手段は、前記復号画像内の相関を示す自己相関データを生成し、前記自己相関データと前記相互相関データとを用いて演算することにより前記フィルタパラメータを算出する。また、前記パラメータ算出手段は、前記フィルタパラメータをウィナーフィルタのフィルタ係数として算出する。
【００４５】
これにより、画像復号化装置は、例えば、ノイズを含む乱れた復号画像と、その復号画像の元となる符号化されず乱れていない画像との間の相関を示す相互相関データを取得し、その復号画像に対してウィナーフィルタをかけることによって、復号画像を上述の乱れていない元の画像に近づけることができる。その結果、符号化されて復号化された画像の画質の低下を確実に防ぐことができる。
【００４６】
また、前記抽出手段は、前記符号化ストリームに含まれる、符号化されたブロック、スライス、ピクチャ、または複数のピクチャをまとめた領域のヘッダから前記相互相関データを抽出することを特徴としてもよい。また、前記抽出手段は、前記符号化ストリームに含まれる、符号化されたピクチャの補助拡張情報から前記相互相関データを抽出することを特徴としてもよい。
【００４７】
これにより、相互相関データは補助拡張情報にあるため、画像復号化装置は、その相互相関データを用いて復号画像に対してウィナーフィルタをかけることができるとともに、その相互相関データを読み飛ばして、ウィナーフィルタをかけないこともできる。
【００４８】
また、前記パラメータ算出手段は、前記復号画像の領域ごとに前記自己相関データを生成し、前記領域ごとに前記フィルタパラメータを算出することを特徴としてもよい。例えば、前記パラメータ算出手段は、ブロック、スライス、ピクチャ、または複数のピクチャを１つの前記領域とし、前記領域ごとに前記自己相関データおよび前記フィルタパラメータを算出する。
【００４９】
これにより、ブロックやスライスなどの領域ごとに、その領域に適したフィルタパラメータを算出することができる。つまり、相互相関データが例えば１つのスライス内の各ブロックで共用される場合であっても、ブロックごとにそのブロックに適したフィルタパラメータを算出することができ、画質の低下をより確実に防ぐことができる。
【００５０】
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像を符号化する画像符号化装置であって、入力画像を符号化することにより符号化画像を生成する符号化手段と、符号化画像を復号化することにより復号画像を生成する復号化手段と、前記入力画像と前記復号化画像との間の相関を示す相互相関データを生成する相互相関データ生成手段と、前記符号化手段によって生成された符号化画像を含む符号化ストリームに前記相互相関データを挿入する挿入手段とを備えることを特徴とする。例えば、前記画像符号化装置は、さらに、前記復号画像内の相関を示す自己相関データを生成し、前記自己相関データと前記相互相関データとを用いて演算することによりフィルタパラメータを算出するパラメータ算出手段と、前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリング手段とを備える。また、前記パラメータ算出手段は、前記フィルタパラメータをウィナーフィルタのフィルタ係数として算出する。
【００５１】
これにより、符号化ストリームを取得する画像復号化装置は、例えば、ノイズを含む乱れた復号画像と、その復号画像の元となる符号化されず乱れていない入力画像との間の相関を示す相互相関データを取得することができ、その復号画像に対してウィナーフィルタをかけることによって、復号画像を上述の乱れていない元の入力画像に近づけることができる。その結果、符号化されて復号化された画像の画質の低下を確実に防ぐことができる。
【００５２】
また、前記挿入手段は、前記符号化ストリームに含まれる、符号化されたブロック、スライス、ピクチャ、または複数のピクチャをまとめた領域のヘッダに前記相互相関データを挿入することを特徴としてもよい。また、前記挿入手段は、前記符号化ストリームに含まれる、符号化されたピクチャの補助拡張情報に前記相互相関データを挿入することを特徴としてもよい。
【００５３】
これにより、相互相関データが補助拡張情報に挿入されるため、符号化ストリームを取得する画像復号化装置は、その相互相関データを用いて復号画像に対してウィナーフィルタをかけることができるとともに、その相互相関データを読み飛ばして、ウィナーフィルタをかけないこともできる。
【００５４】
また、前記相互相関データ生成手段は、画像の領域ごとに前記相互相関データを生成することを特徴としてもよい。例えば、前記相互相関データ生成手段は、ブロック、スライス、ピクチャ、または複数のピクチャを１つの前記領域とし、前記領域ごとに前記相互相関データを生成する。
【００５５】
これにより、符号化ストリームを取得する画像復号化装置は、ブロックやスライスなどの領域ごとに、その領域に適したフィルタパラメータを算出することができ、画質の低下をより確実に防ぐことができる。また、ブロックなどの小さな領域ごとに相互相関データを生成するように、その領域が小さければ小さいほど、画質の低下を防ぐことができ、複数のピクチャなどの大きな領域ごとに相互相関データを生成するように、その領域が大きければ大きいほど、符号化ストリームに含まれる相互相関データのデータ量を小さくし、符号化ストリームのデータ量を抑えることができる。
【００５６】
なお、本発明は、このような画像符号化装置および画像復号化装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体、集積回路としても実現することができる。
【発明の効果】
【００５７】
本発明の画像符号化装置および画像復号化装置は、符号化されて復号化された画像の画質の低下を確実に防ぐことができるという作用効果を奏する。
【発明を実施するための最良の形態】
【００５８】
以下、本発明の実施の形態における画像符号化装置および画像復号化装置について図面を参照しながら説明する。
【００５９】
図３は、本発明の実施の形態における画像符号化装置の構成を示すブロック図である。
【００６０】
本実施の形態における画像符号化装置１００は、画像復号化装置によって復号化された画像に対して画像復号化装置が適切にフィルタをかけて画質の低下を防ぐことができるように、相互相関データを画像復号化装置に出力する。
【００６１】
つまり、本実施の形態における画像符号化装置１００は、入力画像信号Ｉｎの示す入力画像を取得して符号化することによって符号化ストリームＳｔｒを生成するとともに、相互相関データを生成して、その相互相関データを符号化ストリームＳｔｒに挿入する。
【００６２】
具体的に、画像符号化装置１００は、減算器１１０、直交変換量子化部１２０、逆量子化逆直交変換部１３０、加算器１３５、相互相関データ生成部１４０、メモリ１５０、面内予測部１６０、動き補償部１６５、動き検出部１７０、切換部１８０、およびエントロピー符号化部１９０を備えている。なお、本実施の形態では、減算器１１０および直交変換量子化部１２０が符号化手段として構成され、逆量子化逆直交変換部１３０および加算器１３５が復号化手段として構成されている。そして、エントロピー符号化部１９０が挿入手段として構成され、面内予測部１６０、動き補償部１６５および動き検出部１７０が予測手段として構成されている。
【００６３】
減算器１１０は、入力画像信号Ｉｎの示す入力画像と、面内予測部１６０または動き補償部１６５から出力される予測画像Ｐｒｅとの差分を予測誤差Ｒｅｓとして算出する。
【００６４】
直交変換量子化部１２０は、減算器１１０によって算出された予測誤差Ｒｅｓを周波数成分に変換（例えば離散コサイン変換）し、その周波数成分に対して量子化を行うことにより、その周波数成分を量子化係数Ｑｃに圧縮符号化する。
【００６５】
逆量子化逆直交変換部１３０は、直交変換量子化部１２０から出力される量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部１３０は、その周波数成分に対して逆直交変換（例えば逆離散コサイン変換）を行うことにより、その周波数成分を予測誤差Ｄｒに変換する。
【００６６】
加算器１３５は、上述の予測画像Ｐｒｅと予測誤差Ｄｒとを加算することにより、局所復号画像Ｒｃを生成して、その局所復号画像Ｒｃをメモリ１５０に格納する。
【００６７】
面内予測部１６０は、入力画像のマクロブロックがイントラモードで符号化されるときには、メモリ１５０から、符号化対象の入力画像に対応する１または複数の局所復号画像Ｒｃを参照画像Ｒｅｆとして取り出し、それらの参照画像Ｒｅｆを用いて符号化対象の入力画像の予測画像Ｐｒｅを生成する。
【００６８】
動き検出部１７０は、入力画像の符号化対象ピクチャよりも前に符号化されたピクチャ、つまりメモリ１５０に格納されている局所復号画像Ｒｃを参照画像Ｒｅｆとして参照し、例えば、符号化対象ピクチャに含まれるマクロブロックごとに動きベクトルＭＶを検出する。
【００６９】
動き補償部１６５は、入力画像のマクロブロックがインターモードで符号化されるときには、メモリ１５０に格納されている参照画像Ｒｅｆから、動き検出部１７０によって検出された動きベクトルＭＶにより示される領域（マクロブロック）の画像を取り出し、予測画像Ｐｒｅとして出力する。
【００７０】
切換部１８０は、符号化対象マクロブロックの符号化モードがイントラモードのときには、減算器１１０での処理に、面内予測部１６０から出力された予測画像Ｐｒｅが利用されるように、減算器１１０を面内予測部１６０に接続する。また、切換部１８０は、符号化対象マクロブロックの符号化モードがインターモードのときには、減算器１１０での処理に、動き補償部１６５から出力された予測画像Ｐｒｅが利用されるように、減算器１１０を動き補償部１６５に接続する。
【００７１】
相互相関データ生成部１４０は、入力画像信号Ｉｎの示す入力画像と、その入力画像に対応する局所復号画像Ｒｃとに基づいて、入力画像と局所復号画像Ｒｃとの相関（違い）を示す相互相関データ（相互相関行列または相互相関ベクトル）ｐを生成する。
【００７２】
例えば、相互相関データ生成部１４０は、ピクチャを構成するブロックやマクロブロック（以下、ブロックおよびマクロブロックを総称して単にブロックという）ごとに、複数のブロックからなるスライスごとに、ピクチャごとに、または、複数のピクチャから構成されるシーンやＧＯＰ（Group Of Picture）ごとに、１つの相互相関データｐを生成する。したがって、ピクチャごとに相互相関データｐが生成される場合には、そのピクチャに含まれる全てのブロックのフィルタリングに対して共通の相互相関データｐが利用される。同様に、スライスごとに相互相関データｐが生成される場合には、そのスライスに含まれる全てのブロックのフィルタリングに対して共通の相互相関データｐが利用される。
【００７３】
また、赤（Ｒ）、緑（Ｇ）および青（Ｂ）や、輝度（Ｙ）および色差（Ｃｒ，Ｃｂ）のような色成分ごとに入力画像が符号化される場合には、相互相関データ生成部１４０は、その色成分ごとに相互相関データｐを生成してもよい。これにより、各色成分ごとに対して適切なフィルタリングを行うことができる。
【００７４】
エントロピー符号化部１９０は、直交変換量子化部１２０によって生成された量子化係数Ｑｃと、相互相関データ生成部１４０によって生成された相互相関データｐと、動き検出部１７０によって検出された動きベクトルＭＶとをエントロピー符号化（可変長符号化）することにより、符号化ストリームＳｔｒを生成する。
【００７５】
つまり、本実施の形態におけるエントロピー符号化部１９０は、相互相関データｐをエントロピー符号化し、そのエントロピー符号化された相互相関データｐを、符号化された入力画像を含む符号化ストリームＳｔｒに挿入する。
【００７６】
したがって、相互相関データ生成部１４０がシーン単位やピクチャ単位で、つまり画像の大きな空間領域の単位で相互相関データｐを生成する場合には、全ての相互相関データｐのデータ量が少ないため、符号化ストリームＳｔｒのデータ量を抑えることができる。一方、相互相関データ生成部１４０がブロック単位やシーケンス単位で、つまり画像の小さな空間領域の単位で相互相関データｐを生成する場合には、ブロックやシーケンスごとに最適なフィルタリングを行うことができ、画質のさらなる向上を図ることができる。
【００７７】
このような画像符号化装置１００では、入力画像の符号化として、予測画像Ｐｒｅの生成や直交変換、量子化、入力画像からの予測画像Ｐｒｅの減算などをブロック単位で行い、さらに、符号化された入力画像の復号化として、量子化係数Ｑｃに対する逆量子化や、逆直交変換、予測誤差Ｄｒと予測画像Ｐｒｅとの加算などブロック単位で行う。
【００７８】
また、本実施の形態における画像符号化装置１００では、上述のように相互相関データｐを符号化ストリームＳｔｒに挿入することにより、その符号化ストリームＳｔｒを取得して復号化する画像復号化装置では、相互相関データｐを取得することができる。その結果、画像復号化装置は、その相互相関データｐに基づいてウィナーフィルタのフィルタパラメータを算出し、復号画像に対してウィナーフィルタによるフィルタリングを行い、復号画像の画質を向上することができる。
【００７９】
ここで、ウィナーフィルタについて詳細に説明する。
【００８０】
ウィナーフィルタのフィルタパラメータｗは、自己相関行列Ｒと相互相関ベクトル（相互相関データ）ｐとを用いて（数１）のように示される。なお、自己相関行列ＲがＭ×Ｍ個（Ｍは自然数）の要素からなる行列であって、相互相関ベクトルｐがＭ×１個の要素からなるベクトルである場合、フィルタパラメータｗは、Ｍ個のフィルタ係数からなる行列として示される。また、Ｒ-1は自己相関行列Ｒの逆行列である。
【００８１】
【数１】
0005513740.tif 000002
【００８２】
ウィナーフィルタのフィルタパラメータｗは、フィルタリング対象の画像に対して畳み込み処理を行うことによってフィルタリングを行なうものであり、例えば（数２）に示すように、２次元の３×３タップフィルタであれば９つのフィルタ係数を有する。
【００８３】
【数２】
0005513740.tif 000003
【００８４】
（数２）に示すような３×３個のフィルタ係数を有するフィルタパラメータｗを算出する場合には、（数３）に示すように、自己相関行列Ｒは９×９個の要素を有する。
【００８５】
【数３】
0005513740.tif 000004
【００８６】
また、（数２）に示すような３×３個のフィルタ係数を有するフィルタパラメータｗを算出する場合には、（数４）に示すように、相互相関ベクトルｐは９×１個の要素を有する。
【００８７】
【数４】
0005513740.tif 000005
【００８８】
相互相関ベクトルｐは入力画像と局所復号画像Ｒｃとを用いて推定され、自己相関行列Ｒは局所復号画像Ｒｃのみを用いて推定される。そして、（数１）の行列演算を行なうことによって、例えば（数５）にあるような３×３個からなるフィルタパラメータｗが得られる。
【００８９】
【数５】
0005513740.tif 000006
【００９０】
例えば、画像に対して得られたフィルタパラメータｗを用いてフィルタリング処理を行う場合には、（数６）に示す行列演算が行われる。つまり、その画像においてフィルタリングの対象となる画素の画素値（２２９）と、その画素の周辺にある複数の画素の画素値（１９２，２２５，２２５など）とからなる行列が生成される。そして、その複数の画素値からなる行列と上述のフィルタパラメータｗとの積が算出される。このようなフィルタリング演算（行列演算）の結果、上述の画素の画素値（２２９）は、２２７．４７となる。
【００９１】
【数６】
0005513740.tif 000007
【００９２】
なお、フィルタリング演算の結果を示す画素値の２２７．４７は、小数点以下が切り捨てられることにより、２２７とされる。
【００９３】
上述のような符号化ストリームＳｔｒを取得する画像復号化装置は、その符号化ストリームＳｔｒから相互相関データ（相互相関ベクトル）ｐを抽出することにより、上述のウィナーフィルタを利用することができる。即ち、画像復号化装置は、符号化ストリームＳｔｒを復号化することにより復号画像を生成し、その復号画像から自己相関行列Ｒを生成する。そして、画像復号化装置は、（数１）に示すように、自己相関行列Ｒと相互相関ベクトルｐとを用いてウィナーフィルタのフィルタパラメータｗを算出することができる。
【００９４】
その結果、画像復号化装置は、（数６）に示すように、フィルタパラメータｗを用いて復号画像の各画素に対してフィルタリング演算を行うことによって、復号画像に含まれるブロック歪や量子化ノイズなどのノイズを取り除くことができ、復号画像の画質を入力画像の画質に近づけることができる。
【００９５】
つまり、入力画像が符号化されてさらに復号化されると、その符号化および復号化によってブロック歪や量子化ノイズなどが復号画像に含まれ、復号画像は入力画像よりも画質が劣る。ウィナーフィルタは、この復号画像に対してフィルタをかけて得られる画像と入力画像との差分（画素値の差分の二乗平均値）が最小となるように設計されている。したがって、復号画像に対してウィナーフィルタによるフィルタをかけることによって、その復号画像を元の入力画像に確実に近づけることができるのである。
【００９６】
なお、上述の例では、フィルタパラメータｗを構成するフィルタ係数の数（タップ数）を３×３個としたが、フィルタ係数の数は任意であって、７×７個であってもよい。また、フィルタパラメータｗを２次元の行列としたが、１次元の行列としてもよい。また、フィルタ係数の数が多ければ多いほどフィルタリングの精度を向上することができる。
【００９７】
図４は、符号化ストリームＳｔｒの構成を示す図である。
【００９８】
符号化ストリームＳｔｒは、符号化された複数のピクチャを１つのグループとするＧＯＰ（Group Of Picture）を複数含んで構成されている。また、ＧＯＰは、そのＧＯＰに含まれる全てのピクチャの復号化に利用される複数のパラメータからなるＳＰＳ（シーケンスパラメータセット）と、複数のピクチャとを含んで構成されている。
【００９９】
さらに、ピクチャは、先頭から順に、そのピクチャの復号化に利用される複数のパラメータからなるＰＰＳ（ピクチャパラメータセット）と、補助拡張情報であるＳＥＩと、そのＳＥＩを利用して復号化される１つまたは複数のスライスとを含んでいる。また、ピクチャは、上述のＳＥＩと１つまたは複数のスライスとからなる組を、１組または複数組含んでいる。
【０１００】
例えば、相互相関データ生成部１４０がスライスごとに相互相関データｐを生成している場合には、エントロピー符号化部１９０は、スライスの前にあってそのスライスの復号化に利用されるＳＥＩに、そのスライスに対して生成された相互相関データｐを挿入する。この場合、スライスに含まれる全てのブロックのフィルタリングに対して共通の相互相関データｐが利用される。
【０１０１】
また、複数のスライスに対して１つのＳＥＩが割り当てられる場合には、エントロピー符号化部１９０は、その複数のスライスに対して生成された共通の相互相関データｐをそのＳＥＩに挿入する。この場合、複数のスライスに含まれる全てのブロックのフィルタリングに対して共通の相互相関データｐが利用される。
【０１０２】
このように、相互相関データｐは、符号化されたピクチャのヘッダであるＳＥＩに挿入される。
【０１０３】
図５は、ＳＥＩのシンタックスの一例を示す図である。
【０１０４】
ＳＥＩには、ペイロードタイプに応じて必要とされる情報が挿入される。例えば、ペイロードタイプが２２のときには、相互相関データｐがＳＥＩの付加データフィールドに挿入される。つまり、相互相関データｐは、オプショナルなポストフィルタヒントとしてＳＥＩに挿入される。
【０１０５】
その結果、本実施の形態の画像復号化装置では、その符号化ストリームＳｔｒのＳＥＩに含まれる相互相関データｐを抽出することによって、ウィナーフィルタによるフィルタリングを行うことができる。また、従来の画像復号化装置が本実施の形態の符号化ストリームＳｔｒを取得しても、従来の画像復号化装置は、その符号化ストリームＳｔｒのＳＥＩに含まれる相互相関データｐを読み飛ばすことができ、従来通りの方法で復号化を行うことができる。つまり、本実施の形態における符号化ストリームＳｔｒは、従来の符号化ストリームＳｔｒとの互換性を有する。
【０１０６】
図６は、相互相関データｐにおけるシンタックスの一例を示す図である。
【０１０７】
相互相関データｐを示す情報として、その行列ｐに含まれる要素の数（number_of_elements）と、要素に対する重み（scaling_factor）と、それぞれの要素の値（filter_hint[element]）とがＳＥＩに挿入される。なお、画像復号化装置では、相互相関データｐの各要素の値は、scaling_factorの示す重みで除算されて利用される。
【０１０８】
図７は、本実施の形態における画像符号化装置１００の動作を示すフローチャートである。
【０１０９】
まず、画像符号化装置１００は、入力画像信号Ｉｎの示す入力画像を取得し（ステップＳ１００）、その入力画像を符号化することにより量子化係数Ｑｃを生成する（ステップＳ１０２）。さらに、画像符号化装置１００は、その量子化係数Ｑｃを復号化することにより局所復号画像Ｒｃを生成する（ステップＳ１０４）。
【０１１０】
そして、画像符号化装置１００は、入力画像と、その入力画像に対応する局所復号画像Ｒｃとから相互相関データｐを生成する（ステップＳ１０６）。画像符号化装置１００は、その生成した相互相関データｐと量子化係数Ｑｃとをエントロピー符号化することにより、その相互相関データｐを含む符号化ストリームＳｔｒを生成する（ステップＳ１０８）。つまり、画像符号化装置１００は、符号化された入力画像を含む符号化ストリームＳｔｒに相互相関データｐを挿入する。そして、画像符号化装置１００は、その符号化ストリームＳｔｒを出力する（ステップＳ１１０）。
【０１１１】
なお、本実施の形態における画像符号化装置１００のエントロピー符号化部１９０は、符号化されたピクチャなどの画像領域のうち何れの画像領域に対してフィルタをかけるべきかを示す識別情報を符号化ストリームＳｔｒに相互相関データｐとともに挿入してもよい。これにより、画像復号化装置は、その識別情報の示す画像領域（例Ｉピクチャ、ＰピクチャおよびＢピクチャなど）に対してのみウィナーフィルタをかけることができる。
【０１１２】
図８Ａは、本実施の形態における画像復号化装置の構成を示すブロック図である。
【０１１３】
本実施の形態における画像復号化装置２００は、画像符号化装置１００から送信された相互相関データｐを用いることにより、復号画像に対して適切にフィルタをかけて画質の低下を防ぐことができる。
【０１１４】
つまり、本実施の形態における画像復号化装置２００は、画像符号化装置１００から出力された符号化ストリームＳｔｒを取得して復号化することにより復号画像を生成するとともに、相互相関データｐを符号化ストリームＳｔｒから抽出する。そして、画像復号化装置２００は、その相互相関データｐを用いてウィナーフィルタのフィルタパラメータｗを算出し、そのフィルタパラメータｗで復号画像にフィルタをかける。
【０１１５】
具体的に、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化逆直交変換部２２０、加算器２３０、適応的フィルタ２４０、メモリ２５０、面内予測部２６０、動き補償部２６５、および切換部２７０を備えている。なお、本実施の形態では、逆量子化逆直交変換部２２０および加算器２３０が復号化手段として構成され、エントロピー復号化部２１０が抽出手段として構成されている。そして、適応的フィルタ２４０がパラメータ算出手段およびフィルタリング手段として構成され、面内予測部２６０および動き補償部２６５が予測手段として構成されている。
【０１１６】
エントロピー復号化部２１０は、符号化ストリームＳｔｒを取得し、その符号化ストリームＳｔｒに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号化部２１０は、そのエントロピー復号化された符号化ストリームＳｔｒから、量子化係数Ｑｃと相互相関データｐと動きベクトルＭＶとを抽出する。
【０１１７】
逆量子化逆直交変換部２２０は、エントロピー復号化部２１０で抽出された量子化係数Ｑｃを取得し、その量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部２２０は、その周波数成分に対して逆直交変換（例えば逆離散コサイン変換）を行うことにより、その周波数成分を予測誤差Ｄｒに変換する。
【０１１８】
加算器２３０は、逆量子化逆直交変換部２２０から出力された予測誤差Ｄｒに、面内予測部２６０または動き補償部２６５から出力された予測画像Ｐｒｅを加算することにより復号画像Ｒｃを生成する。また、加算器２３０は、その生成された復号画像Ｒｃを適応的フィルタ２４０に出力するとともに、その復号画像Ｒｃをメモリ２５０に格納する。
【０１１９】
面内予測部２６０は、符号化ストリームＳｔｒに含まれる復号化対象マクロブロックをイントラモードで復号化すべきときには、メモリ２５０から、予測誤差Ｄｒに対応する１または複数の局所復号画像Ｒｃを参照画像Ｒｅｆとして取り出し、それらの参照画像Ｒｅｆを用いて予測画像Ｐｒｅを生成する。
【０１２０】
動き補償部２６５は、符号化ストリームＳｔｒに含まれる復号化対象マクロブロックをインターモードで復号化すべきときには、メモリ２５０に格納されている参照画像Ｒｅｆから、エントロピー復号化部２１０によって抽出された動きベクトルＭＶにより示される領域の画像を取り出し、予測画像Ｐｒｅとして出力する。
【０１２１】
切換部２７０は、復号化対象マクロブロックの復号化モードがイントラモードのときには、加算器２３０での処理に、面内予測部２６０から出力された予測画像Ｐｒｅが利用されるように、加算器２３０を面内予測部２６０に接続する。また、切換部２７０は、復号化対象マクロブロックの復号化モードがインターモードのときには、加算器２３０での処理に、動き補償部２６５から出力された予測画像Ｐｒｅが利用されるように、加算器２３０を動き補償部２６５に接続する。
【０１２２】
適応的フィルタ２４０は、エントロピー復号化部２１０によって抽出された相互相関データｐと、加算器２３０から出力された復号画像Ｒｃとを取得する。そして、適応的フィルタ２４０は、その相互相関データｐからウィナーフィルタのフィルタパラメータｗを算出し、そのフィルタパラメータｗを用いて、復号画像Ｒｃに応じたフィルタをその復号画像Ｒｃにかける。その結果、適応的フィルタ２４０は、フィルタをかけられた復号画像Ｒｃを出力画像Ｄｓとして出力する。
【０１２３】
図８Ｂは、適応的フィルタ２４０の構成を示すブロック図である。
【０１２４】
適応的フィルタ２４０は、自己相関データ生成部２４１と、フィルタパラメータ算出部２４２と、フィルタ処理部２４３とを備えている。
【０１２５】
自己相関データ生成部２４１は、復号画像Ｒｃを取得して、その復号画像Ｒｃを解析することにより、自己相関行列（自己相関データ）Ｒを生成して出力する。
【０１２６】
フィルタパラメータ算出部２４２は、（数１）に示すように、自己相関データＲと相互相関データｐとを用いた演算を行うことにより、ウィナーフィルタのフィルタパラメータｗを算出する。
【０１２７】
フィルタ処理部２４３は、フィルタパラメータｗを用いて復号画像Ｒｃに対するフィルタ処理（フィルタリング）を行う。つまり、フィルタ処理部２４３は、（数６）に示すように、フィルタパラメータｗによるフィルタを復号画像Ｒｃにかける。このようなフィルタリングによって出力画像Ｄｓが生成されて出力される。
【０１２８】
その結果、復号画像Ｒｃに含まれるブロック歪や量子化ノイズなどのノイズを取り除くことができ、フィルタリングされた復号画像Ｒｃ、つまり出力画像Ｄｓの画質を入力画像の画質に近づけることができる。
【０１２９】
なお、適応的フィルタ２４０は、Ｉピクチャに対してのみフィルタをかけたり、Ｉピクチャ、ＰピクチャおよびＢピクチャの全てにフィルタをかけたりしてもよい。つまり、適応的フィルタ２４０は、エントロピー復号化部２１０によって符号化ストリームＳｔｒから抽出された上述の識別情報を取得し、その識別情報の示す画像領域に対してのみフィルタをかける。
【０１３０】
このような画像復号化装置２００では、復号化として、量子化係数Ｑｃに対する逆量子化や、逆直交変換、予測誤差Ｄｒと予測画像Ｐｒｅとの加算などをブロック単位で行う。
【０１３１】
図９は、本実施の形態における画像復号化装置２００の動作を示すフローチャートである。
【０１３２】
画像復号化装置２００は、符号化ストリームＳｔｒを取得し（ステップＳ２００）、その符号化ストリームＳｔｒをエントロピー復号化して、エントロピー復号化された符号化ストリームＳｔｒから相互相関データｐを抽出する（ステップＳ２０２）。
【０１３３】
さらに、画像復号化装置２００は、エントロピー復号化された符号化ストリームＳｔｒをさらに復号化することにより復号画像Ｒｃを生成する（ステップＳ２０４）。つまり、画像復号化装置２００は、その符号化ストリームＳｔｒに含まれる量子化係数Ｑｃに対して逆量子化および逆直交変換を行い、さらに予測画像Ｐｒｅを加算することにより復号画像Ｒｃを生成する。
【０１３４】
そして、画像復号化装置２００は、その復号画像Ｒｃに基づいて自己相関データＲを生成し（ステップＳ２０６）、ステップＳ２０２で抽出された相互相関データｐと自己相関データＲとに応じたウィナーフィルタのフィルタパラメータｗを算出する（ステップＳ２０８）。
【０１３５】
画像復号化装置２００は、算出されたフィルタパラメータｗを用いて復号画像Ｒｃに対するフィルタ処理（フィルタリング）を実行し（ステップＳ２１０）、フィルタをかけられた復号画像Ｒｃを出力画像Ｄｓとして出力する（ステップＳ２１２）。
【０１３６】
このように本実施の形態における画像復号化装置２００では、符号化ストリームＳｔｒから相互相関データｐを抽出してウィナーフィルタのフィルタパラメータｗを算出し、そのフィルタパラメータｗに従ったフィルタを復号画像Ｒｃにかける。これにより、フィルタをかけられた復号画像Ｒｃである出力画像Ｄｓの画質を、入力画像の画質に近づけることができる。また、画像復号化装置２００は、ウィナーフィルタのフィルタパラメータｗを符号化ストリームＳｔｒから抽出することなく、相互相関データｐを抽出するため、その画像復号化装置２００の状況（リソースの状況）に応じたフィルタパラメータｗを算出して利用することができる。
【０１３７】
例えば、画像復号化装置２００が携帯端末に備えられており、その携帯端末が遅いプロセッサと小さなディスプレイを備えているような場合、画像復号化装置２００は、フィルタ係数の数が少ないフィルタパラメータｗを算出する。そして、画像復号化装置２００は、そのフィルタパラメータｗを用いたフィルタリングを簡単に行う。一方、画像復号化装置２００が高機能な端末に備えられており、その端末が速いプロセッサと大きなディスプレイを備えているような場合、画像復号化装置２００は、フィルタ係数の数が多いフィルタパラメータｗを算出する。そして、画像復号化装置２００は、そのフィルタパラメータｗを用いたフィルタリングを複雑に行う。
【０１３８】
また、同一の画像復号化装置２００であっても、同一の相互相関データｐに対して異なるフィルタパラメータｗを算出してもよい。例えば、画像復号化装置２００は、パワーセーブモードの場合には、フィルタ係数の数が少ないフィルタパラメータｗを算出し、高画質モードの場合には、フィルタ係数の数が多いフィルタパラメータｗを算出する。
【０１３９】
また、画像復号化装置２００の自己相関データ生成部２４１は、相互相関データｐが適用される画像領域に関わらず、任意の画像領域ごとに、例えば、ピクチャを構成するブロックごとに、複数のブロックからなるスライスごとに、ピクチャごとに、または、複数のピクチャから構成されるシーンやＧＯＰ（Group Of Picture）ごとに、１つの自己相関データＲを生成してもよい。この場合、フィルタパラメータ算出部２４２は各画像領域ごとに適切なフィルタパラメータｗを算出することができ、そのフィルタパラメータｗを用いて、フィルタをかけられた復号画像Ｒｃである出力画像Ｄｓの画質を、入力画像の画質に確実に近づけることができる。
【０１４０】
つまり、画像復号化装置２００では、フィルタパラメータｗの自由度を高めることができる。
【０１４１】
（変形例１）
ここで上記実施の形態における画像符号化装置および画像復号化装置の第１の変形例について説明する。
【０１４２】
本変形例に係る画像符号化装置は、局所復号画像Ｒｃに応じたフィルタをその局所復号画像Ｒｃにかけて、フィルタをかけられた局所復号画像Ｒｃを参照画像Ｒｅｆとしてメモリ１５０に格納しておく点に特徴がある。
【０１４３】
図１０は、本変形例に係る画像符号化装置の構成を示すブロック図である。
【０１４４】
本変形例に係る画像符号化装置３００は、上記実施の形態の画像符号化装置１００が有する相互相関データ生成部１４０の代わりに、適応的フィルタ３４０を備えている。
【０１４５】
適応的フィルタ３４０は、局所復号画像Ｒｃと入力画像とに基づいて、相互相関データｐおよび自己相関データＲを生成する。さらに、適応的フィルタ３４０は、その生成された相互相関データｐおよび自己相関データＲからウィナーフィルタのフィルタパラメータｗを算出する。そして、適応的フィルタ３４０は、その相互相関データｐをエントロピー符号化部１９０に出力するとともに、算出されたフィルタパラメータｗを用いて局所復号画像Ｒｃにフィルタをかける。その結果、適応的フィルタ３４０は、フィルタをかけられた局所復号画像Ｒｃをフィルタリング復号画像Ｒｃｆとしてメモリ１５０に格納する。
【０１４６】
つまり、本変形例では、適応的フィルタ３４０がパラメータ算出手段およびフィルタリング手段として構成されている。
【０１４７】
これにより、面内予測部１６０、動き補償部１６５および動き検出部１７０に利用される参照画像Ｒｅｆや予測画像Ｐｒｅの画質を向上して入力画像に近づけることができる。さらに、予測画像Ｐｒｅが入力画像に近づくため、予測誤差Ｒｅｓのデータ量を小さくすることができ、その結果、符号化ストリームＳｔｒのデータ量を抑えることができる。
【０１４８】
図１１は、本変形例に係る適応的フィルタ３４０の構成を示すブロック図である。
【０１４９】
適応的フィルタ３４０は、相互相関データ生成部３４１と、自己相関データ生成部３４２と、フィルタパラメータ算出部３４３と、フィルタ処理部３４４とを備えている。
【０１５０】
相互相関データ生成部３４１は、入力画像信号Ｉｎの示す入力画像と、その入力画像に対応する局所復号画像Ｒｃとに基づいて、相互相関データ（相互相関ベクトル）ｐを生成する。例えば、相互相関データ生成部３４１は、ピクチャごとに、または、ピクチャを構成するブロックやマクロブロック、スライスごとに、相互相関データｐを生成する。
【０１５１】
自己相関データ生成部３４２は、局所復号画像Ｒｃを取得して、その局所復号画像Ｒｃを解析することにより、自己相関行列である自己相関データＲを生成して出力する。
【０１５２】
フィルタパラメータ算出部３４３は、自己相関データＲと相互相関データｐとを用いた演算を行うことにより、ウィナーフィルタのフィルタパラメータｗを算出する。
【０１５３】
フィルタ処理部３４４は、フィルタパラメータｗを用いて局所復号画像Ｒｃに対するフィルタリングを行うことにより、フィルタリング復号画像Ｒｃｆを生成してメモリ１５０に格納する。
【０１５４】
図１２は、本変形例に係る画像復号化装置の構成を示すブロック図である。
【０１５５】
本変形例に係る画像復号化装置４００は、本変形例に係る画像符号化装置３００によって生成された符号化ストリームＳｔｒを復号化する装置である。
【０１５６】
即ち、本変形例に係る画像復号化装置４００は、上記実施の形態の画像復号化装置２００のように復号画像Ｒｃをメモリ２５０に格納することなく、適応的フィルタ２４０から出力された出力画像Ｄｓを参照画像Ｒｅｆとしてメモリ２５０に格納する。つまり、適応的フィルタ２４０は、出力画像Ｄｓを出力するとともに、参照画像Ｒｅｆとして用いられる出力画像Ｄｓをメモリ２５０に格納する。
【０１５７】
これにより、本変形例に係る画像復号化装置４００では、画像符号化装置３００で生成される予測画像Ｐｒｅと同一の予測画像Ｐｒｅを生成することができ、画像符号化装置３００によって生成された符号化ストリームＳｔｒを適切に復号化することができる。
【０１５８】
（変形例２）
ここで上記実施の形態における画像符号化装置および画像復号化装置の第２の変形例について説明する。
【０１５９】
本変形例に係る画像符号化装置は、上記変形例１の画像符号化装置３００の各構成要素を備えるとともに、デブロッキングフィルタを備えている点に特徴がある。
【０１６０】
図１３は、本変形例に係る画像符号化装置の構成を示すブロック図である。
【０１６１】
本変形例に係る画像符号化装置５００は、上記変形例１の画像符号化装置３００の各構成要素を備えるとともに、デブロッキングフィルタ５１０を備えている。
【０１６２】
デブロッキングフィルタ５１０は、加算器１３５から出力された局所復号画像Ｒｃからブロック歪を取り除くように、その局所復号画像Ｒｃに対してフィルタをかける。そして、デブロッキングフィルタ５１０は、フィルタリングされた局所復号画像Ｒｃを局所復号画像Ｒｃｄとして適応的フィルタ３４０に出力する。このようなデブロッキングフィルタ５１０の処理は、従来のデブロッキングフィルタの処理と同様である。
【０１６３】
適応的フィルタ３４０は、上述の変形例１の場合と同様、局所復号画像Ｒｃｄと入力画像とに基づいて、相互相関データｐおよび自己相関データＲを生成する。さらに、適応的フィルタ３４０は、その生成された相互相関データｐおよび自己相関データＲからウィナーフィルタのフィルタパラメータｗを算出する。そして、適応的フィルタ３４０は、その相互相関データｐをエントロピー符号化部１９０に出力するとともに、算出されたフィルタパラメータｗを用いて、局所復号画像Ｒｃｄにフィルタをかける。その結果、適応的フィルタ３４０は、フィルタリングされた局所復号画像Ｒｃｄをフィルタリング復号画像Ｒｃｆとしてメモリ１５０に格納する。
【０１６４】
図１４は、本変形例に係る画像復号化装置の構成を示すブロック図である。
【０１６５】
本変形例に係る画像復号化装置６００は、本変形例に係る画像符号化装置５００によって生成された符号化ストリームＳｔｒを復号化する装置であって、復号画像Ｒｃに対してデブロッキングフィルタをかける点に特徴がある。
【０１６６】
画像復号化装置６００は、上記変形例１の画像復号化装置４００の各構成要素を有するとともに、デブロッキングフィルタ６１０を備えている。
【０１６７】
デブロッキングフィルタ６１０は、加算器２３０から出力された復号画像Ｒｃからブロック歪を取り除くように、その復号画像Ｒｃにフィルタをかける。そして、デブロッキングフィルタ６１０は、フィルタリングされた復号画像Ｒｃを復号画像Ｒｃｄとして適応的フィルタ２４０に出力する。このようなデブロッキングフィルタ６１０の処理は、従来のデブロッキングフィルタの処理と同様である。
【０１６８】
適応的フィルタ２４０は、エントロピー復号化部２１０によって抽出された相互相関データｐと、デブロッキングフィルタ６１０から出力された復号画像Ｒｃｄとを取得する。そして、適応的フィルタ２４０は、その相互相関データｐからウィナーフィルタのフィルタパラメータｗを算出し、そのフィルタパラメータｗを用いて、復号画像Ｒｃｄに応じたフィルタをその復号画像Ｒｃｄにかける。その結果、適応的フィルタ２４０は、フィルタリングされた復号画像Ｒｃｄを出力画像Ｄｓとして出力する。さらに、適応的フィルタ２４０は、参照画像Ｒｅｆとして用いられる出力画像Ｄｓをメモリ２５０に格納する。
【０１６９】
このように本変形例では、デブロッキングフィルタ５１０，５１６と適応的フィルタ３４０，２４０を備えているため、復号画像（出力画像）の画質のさらなる向上を図ることができる。さらに、従来の画像符号化装置および画像復号化装置に対して、適応的フィルタ３４０，２４０を備えることによって、簡単に本変形例を実現することができる。
【０１７０】
（変形例３）
ここで上記実施の形態における画像符号化装置および画像復号化装置の第３の変形例について説明する。
【０１７１】
本変形例に係る画像符号化装置は、上記変形例１の画像符号化装置３００と同様に適応的フィルタ３４０を備えるが、予測画像Ｐｒｅに基づいて相互相関データｐを生成するとともに、予測画像Ｐｒｅに対してフィルタをかける点に特徴がある。
【０１７２】
図１５は、本変形例に係る画像符号化装置の構成を示すブロック図である。
【０１７３】
本変形例に係る画像符号化装置７００の適応的フィルタ３４０は、予測画像Ｐｒｅと入力画像とに基づいて、相互相関データｐおよび自己相関データＲを生成する。さらに、適応的フィルタ３４０は、その生成された相互相関データｐおよび自己相関データＲからウィナーフィルタのフィルタパラメータｗを算出する。そして、適応的フィルタ３４０は、その相互相関データｐをエントロピー符号化部１９０に出力するとともに、算出されたフィルタパラメータｗを用いて、予測画像Ｐｒｅに対してフィルタをかける。その結果、適応的フィルタ３４０は、フィルタをかけられた予測画像Ｐｒｅをフィルタリング予測画像Ｐｒｆとして減算器１１０および加算器１３５に対して出力する。
【０１７４】
減算器１１０および加算器１３５は、適応的フィルタ３４０から出力されたフィルタリング予測画像Ｐｒｆを予測画像Ｐｒｅと同様に扱い、上記実施の形態と同様の処理を行う。
【０１７５】
図１６は、本変形例に係る画像復号化装置の構成を示すブロック図である。
【０１７６】
本変形例に係る画像復号化装置８００の適応的フィルタ２４０は、エントロピー復号化部２１０によって抽出された相互相関データｐと、面内予測部２６０または動き補償部２６５から出力された予測画像Ｐｒｅとを取得する。そして、適応的フィルタ２４０は、その相互相関データｐからウィナーフィルタのフィルタパラメータｗを算出し、そのフィルタパラメータｗを用いて、予測画像Ｐｒｅに応じたフィルタをその予測画像Ｐｒｅにかける。その結果、適応的フィルタ２４０は、フィルタをかけられた予測画像Ｐｒｅをフィルタリング予測画像Ｐｒｆとして出力する。
【０１７７】
加算器２３０は、適応的フィルタ２４０から出力されたフィルタリング予測画像Ｐｒｆを予測画像Ｐｒｅと同様に扱い、上記実施の形態と同様の処理を行う。
【０１７８】
これにより、本変形例では、予測画像Ｐｒｅ（フィルタリング予測画像Ｐｒｆ）の画質を向上して入力画像に近づけることができ、その結果、予測誤差Ｒｅｓのデータ量を小さくすることができる。したがって、符号化ストリームＳｔｒのデータ量を抑えることができる。
【０１７９】
（変形例４）
ここで上記実施の形態における画像符号化装置および画像復号化装置の第４の変形例について説明する。
【０１８０】
本変形例に係る画像符号化装置は、予測誤差Ｒｅｓを算出することなく、入力画像信号Ｉｎの示す入力画像に対して直交変換および量子化を行う点に特徴がある。
【０１８１】
図１７は、本変形例に係る画像符号化装置の構成を示すブロック図である。
【０１８２】
本変形例に係る画像符号化装置９００は、直交変換量子化部１２０、逆量子化逆直交変換部１３０、相互相関データ生成部１４０、およびエントロピー符号化部１９０を備えている。
【０１８３】
直交変換量子化部１２０は、入力画像信号Ｉｎの示す入力画像を周波数成分に変換し、その周波数成分に対して量子化を行うことにより、その周波数成分を量子化係数Ｑｃに圧縮符号化する。
【０１８４】
逆量子化逆直交変換部１３０は、直交変換量子化部１２０から出力される量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部１３０は、その周波数成分に対して逆直交変換を行うことにより、その周波数成分を局所復号画像Ｄｅｃに変換する。
【０１８５】
相互相関データ生成部１４０は、入力画像信号Ｉｎの示す入力画像と、その入力画像に対応する局所復号画像Ｄｅｃとに基づいて、相互相関データ（相互相関ベクトル）ｐを生成する。例えば、相互相関データ生成部１４０は、ピクチャ、ピクチャを構成するブロック、またはスライスごとに、相互相関データｐを生成する。
【０１８６】
エントロピー符号化部１９０は、直交変換量子化部１２０によって生成された量子化係数Ｑｃと相互相関データｐとをエントロピー符号化（可変長符号化）することにより、符号化ストリームＳｔｒを生成する。
【０１８７】
図１８は、本変形例に係る画像復号化装置の構成を示すブロック図である。
【０１８８】
本変形例に係る画像復号化装置９１０は、本変形例に係る画像符号化装置９００によって生成された符号化ストリームＳｔｒを復号化する装置であって、エントロピー復号化部２１０、逆量子化逆直交変換部２２０と、適応的フィルタ２４０とを備えている。
【０１８９】
エントロピー復号化部２１０は、符号化ストリームＳｔｒを取得し、その符号化ストリームＳｔｒに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号化部２１０は、そのエントロピー復号化された符号化ストリームＳｔｒから、量子化係数Ｑｃと相互相関データｐとを抽出する。
【０１９０】
逆量子化逆直交変換部２２０は、エントロピー復号化部２１０で抽出された量子化係数Ｑｃを取得し、その量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部２２０は、その周波数成分に対して逆直交変換を行うことにより、その周波数成分を復号画像Ｄｅｃに変換する。
【０１９１】
適応的フィルタ２４０は、エントロピー復号化部２１０によって抽出された相互相関データｐと、逆量子化逆直交変換部２２０から出力された復号画像Ｄｅｃとを取得する。そして、適応的フィルタ２４０は、その相互相関データｐからウィナーフィルタのフィルタパラメータｗを算出し、そのフィルタパラメータｗを用いて、復号画像Ｄｅｃに応じたフィルタをその復号画像Ｄｅｃにかける。その結果、適応的フィルタ２４０は、フィルタをかけられた復号画像Ｄｅｃを出力画像Ｄｓとして出力する。
【０１９２】
（変形例５）
ここで上記実施の形態における画像符号化装置および画像復号化装置の第５の変形例について説明する。
【０１９３】
上記実施の形態における画像符号化装置１００は、ウィナーフィルタのフィルタパラメータｗを算出するために必要な相互相関データｐを生成して符号化ストリームＳｔｒに挿入した。しかし、このような相互相関データｐを符号化ストリームＳｔｒに含めなくてもよい。つまり、画像復号化装置において、生成された復号画像が入力画像に近づくような適切なフィルタパラメータが算出されるのであれば、上述の相互相関データｐに限らず他のデータを符号化ストリームＳｔｒに挿入してもよい。
【０１９４】
したがって、本変形例に係る画像符号化装置は、入力画像に基づいてフィルタパラメータを算出するために必要な元データを生成して、その元データを符号化ストリームＳｔｒに挿入する。
【０１９５】
図１９は、本変形例に係る画像符号化装置の構成を示すブロック図である。
【０１９６】
本変形例に係る画像符号化装置９２０は、直交変換量子化部１２０、元データ生成部９２１およびエントロピー符号化部１９０を備えている。
【０１９７】
直交変換量子化部１２０は、入力画像信号Ｉｎの示す入力画像を周波数成分に変換し、その周波数成分に対して量子化を行うことにより、その周波数成分を量子化係数Ｑｃに圧縮符号化する。
【０１９８】
元データ生成部９２１は、入力画像信号Ｉｎの示す入力画像に基づいて上述の元データＫｃを生成して出力する。
【０１９９】
元データＫｃは、例えば、入力画像のコントラスト、輝度、カラー特性、または入力画像の高周波成分と低周波成分との比を示してもよい。また、元データＫｃは、画素値の標準偏差などの統計的な特性や、入力画像が精細な画像か否かを示してもよい。また、元データＫｃは、入力画像の周波数の変化や程度、シーンチェンジが発生する位置を示してもよい。また、元データＫｃは、入力画像の特性を直接的に示してもよく、パラメータを使って間接的に示してもよい。さらに、元データＫｃは、入力画像のジャンル、例えば、スポーツや、ニュース、ドキュメンタリー、音楽などを示してもよい。
【０２００】
エントロピー符号化部１９０は、直交変換量子化部１２０から出力された量子化係数Ｑｃと、元データ生成部９２１から出力された元データＫｃとをエントロピー符号化することにより、符号化ストリームＳｔｒを生成する。
【０２０１】
図２０は、本変形例に係る画像復号化装置の構成を示すブロック図である。
【０２０２】
本変形例に係る画像復号化装置９３０は、エントロピー復号化部２１０、逆量子化逆直交変換部２２０、フィルタパラメータ特定部９３１、およびフィルタ処理部９３２を備えている。
【０２０３】
エントロピー復号化部２１０は、符号化ストリームＳｔｒを取得し、その符号化ストリームＳｔｒに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号化部２１０は、そのエントロピー復号化された符号化ストリームＳｔｒから、量子化係数Ｑｃと元データＫｃとを抽出する。
【０２０４】
逆量子化逆直交変換部２２０は、エントロピー復号化部２１０で抽出された量子化係数Ｑｃを取得し、その量子化係数Ｑｃに対して逆量子化を行うことにより、その量子化係数Ｑｃを周波数成分に変換する。さらに、逆量子化逆直交変換部２２０は、その周波数成分に対して逆直交変換を行うことにより、その周波数成分を復号画像Ｄｅｃに変換する。
【０２０５】
フィルタパラメータ特定部９３１は、エントロピー復号化部２１０で抽出された元データＫｃに基づいて、フィルタパラメータｗを特定する。
【０２０６】
例えば、フィルタパラメータ特定部９３１は、予め複数のフィルタパラメータを保持しており、抽出された元データＫｃの示す内容に適合するフィルタパラメータを選択する。具体的に、フィルタパラメータ特定部９３１は、元データＫｃがフラットな画像を示す場合には、平滑化を行うようなフィルタパラメータを選択し、元データＫｃが精細な画像を示す場合には、輪郭などを際立たせるようなフィルタパラメータを選択する。
【０２０７】
また、フィルタパラメータ特定部９３１は、元データＫｃの示す数値、例えば、コントラスト、輝度、カラー特性、高周波成分と低周波成分との比などに基づいて、フィルタパラメータを算出してもよい。
【０２０８】
フィルタ処理部９３２は、復号画像Ｄｅｃに対して、上述のように特定されたフィルタパラメータに従ったフィルタリング演算を行うことにより出力画像Ｄｓを生成する。
【０２０９】
（変形例６）
上記実施の形態では、画像符号化装置１００が相互相関データｐを符号化ストリームＳｔｒに挿入したが、相互相関データｐの代わりにフィルタパラメータｗを挿入してもよい。
【０２１０】
図２１は、ＳＥＩのフィルタパラメータｗにおけるシンタックスの一例を示す図である。
【０２１１】
フィルタパラメータｗを示す情報として、フィルタパラメータｗ（行列）の次元（filter_dimension）と、フィルタパラメータｗの各次元におけるフィルタ係数の数（filter_length）と、フィルタ係数に対する重み（scaling_factor）と、フィルタ係数（filter_coeffs[color_component][cy]またはfilter_coeffs[color_component][cy][cx]）とがＳＥＩに挿入される。
【０２１２】
filter_dimensionが０のときには、そのfilter_dimensionは１次元を示し、filter_dimensionが１のときには、そのfilter_dimensionは２次元を示す。filter_lengthは、フィルタの長さ、つまりフィルタタップ数を示す。scaling_factorは、フィルタ係数の重みを示し、各フィルタ係数はその重みで除算される。つまりscaling_factorは、フィルタ係数の精度を規定している。filter_coeffs[color_component][cy]またはfilter_coeffs[color_component][cy][cx]は１つのフィルタ係数を示し、color_componentはフィルタリングされる色成分を示す。cyは、行列に含まれるフィルタ係数の垂直方向の位置（カウンター）を表し、２次元の行列の場合には、cxは、その行列に含まれるフィルタ係数の水平方向の位置を表す。filter_dimensionが２次元を示す場合、フィルタパラメータｗの複数のフィルタ係数は、２次元ＦＩＲ（Finite Impulse Response）フィルタとして適用され、filter_dimensionが１次元を示す場合、フィルタパラメータｗの複数のフィルタ係数は、最初に水平方向に対する１次元ＦＩＲフィルタとして適用され、次に垂直方向に対する１次元ＦＩＲフィルタとして適用される。
【０２１３】
以上、本発明に係る画像符号化装置および画像復号化装置について、実施の形態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。
【０２１４】
例えば、実施の形態およびその変形例では、相互相関データｐを符号化ストリームＳｔｒに挿入したが、符号化ストリームＳｔｒとは別に相互相関データｐを送信してもよい。
【０２１５】
また、ブロック図（図１〜図３、図８Ａ、図８Ｂ、図１０〜図２０）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。
【０２１６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２１７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０２１８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２１９】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【０２２０】
本発明の画像符号化装置および画像復号化装置は、符号化されて復号化された画像の画質の低下を確実に防ぐことができるという効果を奏し、例えばデジタルビデオカメラや、動画像を扱う携帯電話、パーソナルコンピュータなどに適用することができる。
【図面の簡単な説明】
【０２２１】
【図１】図１は、従来の画像符号化装置の構成を示すブロック図である。
【図２】図２は、従来の画像復号化装置の構成を示すブロック図である。
【図３】図３は、本発明の実施の形態における画像符号化装置の構成を示すブロック図である。
【図４】図４は、同上の符号化ストリームの構成を示す図である。
【図５】図５は、同上のＳＥＩのシンタックスの一例を示す図である。
【図６】図６は、同上の相互相関データにおけるシンタックスの一例を示す図である。
【図７】図７は、同上の画像符号化装置の動作を示すフローチャートである。
【図８Ａ】図８Ａは、同上の画像復号化装置の構成を示すブロック図である。
【図８Ｂ】図８Ｂは、同上の適応的フィルタの構成を示すブロック図である。
【図９】図９は、同上の画像復号化装置の動作を示すフローチャートである。
【図１０】図１０は、同上の変形例１に係る画像符号化装置の構成を示すブロック図である。
【図１１】図１１は、同上の変形例１に係る適応的フィルタの構成を示すブロック図である。
【図１２】図１２は、同上の変形例１に係る画像復号化装置の構成を示す構成図である。
【図１３】図１３は、同上の変形例２に係る画像符号化装置の構成を示すブロック図である。
【図１４】図１４は、同上の変形例２に係る画像復号化装置の構成を示すブロック図である。
【図１５】図１５は、同上の変形例３に係る画像符号化装置の構成を示すブロック図である。
【図１６】図１６は、同上の変形例３に係る画像復号化装置の構成を示すブロック図である。
【図１７】図１７は、同上の変形例４に係る画像符号化装置の構成を示すブロック図である。
【図１８】図１８は、同上の変形例４に係る画像復号化装置の構成を示すブロック図である。
【図１９】図１９は、同上の変形例５に係る画像符号化装置の構成を示すブロック図である。
【図２０】図２０は、同上の変形例５に係る画像復号化装置の構成を示すブロック図である。
【図２１】図２１は、同上の変形例６に係るＳＥＩのフィルタパラメータにおけるシンタックスの一例を示す図である。
【符号の説明】
【０２２２】
１００    画像符号化装置
１１０    減算器
１２０    直交変換量子化部
１３０    逆量子化逆直交変換部
１３５    加算器
１４０    相互相関データ生成部
１５０    メモリ
１６０    面内予測部
１６５    動き補償部
１７０    動き検出部
１８０    切換部
１９０    エントロピー符号化部
２００    画像復号化装置
２１０    エントロピー復号化部
２２０    逆量子化逆直交変換部
２３０    加算器
２４０    適応的フィルタ
２５０    メモリ
２６０    面内予測部
２６５    動き補償部
２７０    切換部
Ｄｒ    予測誤差
Ｄｓ    出力画像
Ｉｎ    入力画像信号
ＭＶ    動きベクトル
ｐ    相互相関データ
Ｐｒｅ    予測画像
Ｑｃ    量子化係数
Ｒ    自己相関データ
Ｒｃ    局所復号画像，復号画像
Ｒｅｆ    参照画像
Ｒｅｓ    予測誤差
Ｓｔｒ    符号化ストリーム
ｗ    フィルタパラメータ
【図１】
0005513740.tif 000008
【図２】
0005513740.tif 000009
【図３】
0005513740.tif 000010
【図４】
0005513740.tif 000011
【図５】
0005513740.tif 000012
【図６】
0005513740.tif 000013
【図７】
0005513740.tif 000014
【図８Ａ】
0005513740.tif 000015
【図８Ｂ】
0005513740.tif 000016
【図９】
0005513740.tif 000017
【図１０】
0005513740.tif 000018
【図１１】
0005513740.tif 000019
【図１２】
0005513740.tif 000020
【図１３】
0005513740.tif 000021
【図１４】
0005513740.tif 000022
【図１５】
0005513740.tif 000023
【図１６】
0005513740.tif 000024
【図１７】
0005513740.tif 000025
【図１８】
0005513740.tif 000026
【図１９】
0005513740.tif 000027
【図２０】
0005513740.tif 000028
【図２１】
0005513740.tif 000029