(57)【要約】  本発明は、復号画像データの画質を向上させることが可能な画像符号化装置および画像復号化装置を提供する。  本発明に係る画像符号化方法は、入力画像を符号化する画像符号化方法であって、前記入力画像を符号化して符号化画像を生成する符号化ステップと、前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップとを含む。
2008084745.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化する画像符号化方法であって、
前記入力画像を符号化して符号化画像を生成する符号化ステップと、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、
前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップと
を含むことを特徴とする画像符号化方法。
【請求項２】
前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、
前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像とに基づいて前記フィルタデータを生成する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、
前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像との間の相関を示す相互相関データを前記フィルタデータとして生成する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項４】
前記フィルタデータ生成ステップでは、符号化単位とは異なる単位でフィルタリングが施されるように、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項５】
前記フィルタデータ生成ステップでは、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群を同じグループに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項６】
前記フィルタデータ生成ステップでは、符号化単位であるブロック内の画素位置に応じてグループを割り当てる
ことを特徴とする請求項５に記載の画像符号化方法。
【請求項７】
前記フィルタデータ生成ステップでは、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるようにグループを割り当てる
ことを特徴とする請求項６に記載の画像符号化方法。
【請求項８】
前記フィルタデータ生成ステップでは、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群を同じグループに割り当てる
ことを特徴とする請求項５に記載の画像符号化方法。
【請求項９】
前記フィルタデータ生成ステップでは、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるようにグループを割り当てる
ことを特徴とする請求項８に記載の画像符号化方法。
【請求項１０】
前記フィルタデータ生成ステップでは、予め定められた所定の割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１１】
前記フィルタデータ生成ステップでは、適応的な割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１２】
前記出力ステップでは、割り当てルールを示す情報を前記符号化ストリームに含めて出力する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１３】
前記出力ステップでは、前記符号化ストリームに含まれる補助拡張情報領域に前記フィルタデータを挿入する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１４】
符号化画像を復号化する画像復号化装置であって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化手段と、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出手段と、
前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施すフィルタリング手段と
を備えることを特徴とする画像復号化装置。
【請求項１５】
前記画像復号化装置は、さらに、前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいてフィルタ係数を決定するフィルタ係数決定手段を備え、
前記フィルタリング手段は、前記フィルタ係数決定手段によって決定されたフィルタ係数に基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項１６】
前記フィルタデータ抽出手段は、前記復号画像とその復号画像に対応する符号化されていない画像との間の相関を示す相互相関データを前記フィルタデータとして抽出し、
前記フィルタ係数決定手段は、前記復号画像内の相関を示す自己相関データを算出し、前記自己相関データと前記相互相関データとを用いて前記フィルタ係数を決定する
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項１７】
前記フィルタリング手段は、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群については同じフィルタデータに基づいてフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項１８】
前記フィルタリング手段は、符号化単位であるブロック内の画素位置に応じてフィルタリングを施す
ことを特徴とする請求項１７に記載の画像復号化装置。
【請求項１９】
前記フィルタリング手段は、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングを施す
ことを特徴とする請求項１８に記載の画像復号化装置。
【請求項２０】
前記フィルタリング手段は、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群については同じフィルタデータに基づいてフィルタリングを施す
ことを特徴とする請求項１７に記載の画像復号化装置。
【請求項２１】
前記フィルタリング手段は、精細な絵柄のマクロブロック群ほど強くフィルタリングを施す
ことを特徴とする請求項２０に記載の画像復号化装置。
【請求項２２】
前記フィルタリング手段は、予め定められた所定の割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２３】
前記フィルタリング手段は、適応的な割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２４】
前記フィルタデータ抽出手段は、割り当てのルールを示す情報を前記符号化ストリームから抽出する
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２５】
前記フィルタデータ抽出手段は、前記符号化ストリームに含まれる補助拡張情報領域から前記フィルタデータを抽出する
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２６】
入力画像を符号化する画像符号化装置であって、
前記入力画像を符号化して符号化画像を生成する符号化手段と、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成手段と、
前記符号化手段によって生成された符号化画像と、前記フィルタデータ生成手段によって生成されたフィルタデータとを含む符号化ストリームを出力する出力手段と
を備えることを特徴とする画像符号化装置。
【請求項２７】
符号化画像を復号化する画像復号化方法であって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化ステップと、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出ステップと、
前記フィルタデータ抽出ステップで抽出されたフィルタデータに基づいて、前記復号化ステップで生成された復号画像にフィルタリングを施すフィルタリングステップと
を含むことを特徴とする画像復号化方法。
【請求項２８】
入力画像を符号化するための画像符号化プログラムであって、
前記入力画像を符号化して符号化画像を生成する符号化ステップと、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、
前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップと
をコンピュータに実行させるための画像符号化プログラム。
【請求項２９】
符号化画像を復号化するためのプログラムであって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化ステップと、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出ステップと、
前記フィルタデータ抽出ステップで抽出されたフィルタデータに基づいて、前記復号化ステップで生成された復号画像にフィルタリングを施すフィルタリングステップと
をコンピュータに実行させるための画像復号化プログラム。
【請求項３０】
入力画像を符号化する集積回路であって、
前記入力画像を符号化して符号化画像を生成する符号化手段と、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成手段と、
前記符号化手段によって生成された符号化画像と、前記フィルタデータ生成手段によって生成されたフィルタデータとを含む符号化ストリームを出力する出力手段と
を備えることを特徴とする集積回路。
【請求項３１】
符号化画像を復号化する集積回路であって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化手段と、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出手段と、
前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施すフィルタリング手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化する画像符号化装置および画像データを復号化する画像復号化装置に関し、特に、画像データに対して適応的にフィルタをかける技術に関する。
【背景技術】
【０００２】
動画像は、テレビ電話やテレビ会議からデジタルテレビやＤＶＤ（Digital Versatile Disc）に至るまで多くのアプリケーションに採用されている。動画像をデジタルデータとして送信するときや記録するときには、限られた周波数帯域の伝送チャンネルを通して大量のデータを送信しなければならず、限られた容量の記憶媒体に大量のデータを格納しなければならない。したがって、動画像を示すデジタルデータを送信するときや記録するときには、そのデジタルデータを圧縮してデータ量を抑える必要がある。【０００３】
そこで、動画像符号化に関して多くの規格が開発された。動画像符号化の規格としては、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔの規格と、ＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣの規格とがある。最新の動画像符号化の規格は、Ｈ．２６４／ＡＶＣまたはＭＰＥＧ−４／ＡＶＣとして示される規格である。【０００４】
この規格では、まず、ブロックレベルでデータを圧縮するために動画像の１枚のフレーム（ピクチャ）をブロック（マクロブロック）に分割する。そして、分割したブロックの空間領域を周波数領域に変換することによって変換係数を生成し、フレームの空間的冗長性を低減する。さらに、その変換係数を量子化する。このような動画像の符号化によって、動画像のデータ量が低減される。量子化された変換係数はエントロピー符号化される。【０００５】
ここで、上述の量子化によってデータが失われるため、量子化された変換係数から元の変換係数を復元することはできない。つまり、動画像を符号化すると、量子化ノイズによって画質が低下することになる。【０００６】
また、上述の規格では、符号化された動画像のデータ量をさらに抑えるために、フレーム間のブロックの時間的な依存性を利用して、フレーム間の差分のみを送信することができる。このことは、動き検出および動き補償の技術によって具現化される。【０００７】
上述のような動画像圧縮技術（画像符号化方法）はハイブリッド符号化技術と呼ばれ、さまざまな動画像圧縮技術の中でも最も効果的である。ハイブリッド符号化技術は、時間的および空間的圧縮技術と統計的符号化技術とを結合したものであり、動き補償ＤＰＣＭ（Differential Pulse Code Modulation）と、２次元ＤＣＴ（Discrete Cosine Transform）と、ＤＣＴ係数の量子化と、ＶＬＣ（Variable Length Coding）とを有する。動き補償ＤＰＣＭは、処理対象フレームと処理後のフレームとの間の画像の動きを検出し、その検出された動きに従って処理対象フレームを予測し、処理対象フレームと予測結果との差分を生成する。【０００８】
このように画像を符号化してさらに復号化すると、画像に乱れが生じる。例えば、ＤＣＴ係数を量子化することによって量子化ノイズが発生する。また、画像をブロックごとに符号化することによってブロック歪が発生する。そこで、復号画像データの画質を改善するために、復号画像データに対してフィルタリングが施される。例えば、各ブロックの境界にある画素を平滑化すればブロック歪が低減される。ブロック境界にある関連画素にリニアフィルタリングを施すことによって、対象画像の画質を改善してもよい。【０００９】
しかしながら、このようなフィルタは、ブロックの境界にある画素のみに対して適用される。すなわち、ブロックの内側の画素に対してはフィルタリングを施すことができない。例えば、所定のフィルタ係数を有するリニアフィルタを採用すればフィルタリングを施すことができるが、このフィルタは、対象画像の内容（特に、画像が鋭いエッジを含むのか、それとも滑らかな領域であるのか）を考慮したものではない。【００１０】
画質をさらに改善するために、画像内容を分析することによって適応的にフィルタリングを施してもよい。例えば、現在および/または過去に符号化された符号化画像データの内容を分析し、分析した画像データの内容に応じてフィルタパラメータ（フィルタ係数）を決定すれば、対象画像の画質をさらに改善することができる。【００１１】
従来、適応的フィルタのフィルタパラメータは、現在および/または過去に復号化された、劣化した画像データに応じて決定される。ユーザは、主観的に、フィルタリング済みの対象画像データを “よりよい”画像とみなすかもしれないが、フィルタリング済みの画像と劣化していない“本物の”画像との間には知られざる差異がある。【００１２】
特許文献１では、動画像に対する適応的フィルタについて記載されている。この特許文献１の適応的フィルタでは、復号画像の動きやノイズを検出して、その検出結果に応じたフィルタパラメータを算出し、そのフィルタパラメータに従ったフィルタをその復号画像にかける。フィルタパラメータは、上述の検出によって、反復的に算出される。
【特許文献１】米国特許出願公開番号第２００５／０１０５６２７号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、適応的フィルタリングによる画質の向上には限界がある。【００１４】
符号化ストリームのビットレートを上げれば、さらに画質を向上させることができるが、この場合は、符号化ストリームを格納するために多くの容量を有する記録媒体が必要になり、符号化ストリームを送信するために広いバンド幅の通信媒体が必要になる。【００１５】
本発明は、かかる問題に鑑みてなされたものであって、復号画像データの画質を向上させることが可能な画像符号化装置および画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
前記目的を達成するために、本発明に係る画像符号化方法は、入力画像を符号化する画像符号化方法であって、前記入力画像を符号化して符号化画像を生成する符号化ステップと、前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップとを含む。これによって、ピクチャ内の各領域が複数のグループのいずれか１つに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。【００１７】
ここで、前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像とに基づいて前記フィルタデータを生成してもよい。これによって、劣化していない入力画像を用いてフィルタデータが決定されるので、適切にフィルタリングを施すことが可能となる。【００１８】
また、前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像との間の相関を示す相互相関データを前記フィルタデータとして生成してもよい。これによって、劣化していない入力画像を用いて相互相関データが決定されるので、適切にフィルタリングを施すことが可能となる。【００１９】
また、前記フィルタデータ生成ステップでは、符号化単位とは異なる単位でフィルタリングが施されるように、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当ててもよい。これによって、符号化単位とは異なる適切な単位でフィルタリングを施すことが可能となる。【００２０】
また、前記フィルタデータ生成ステップでは、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群を同じグループに割り当ててもよい。これによって、同じ特性を有する画素群が同じグループに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、同じ特性を有する画素群について同じフィルタデータに基づいてフィルタリングを施すことが可能となる。【００２１】
また、前記フィルタデータ生成ステップでは、符号化単位であるブロック内の画素位置に応じてグループを割り当ててもよい。これによって、符号化単位であるブロック内の画素位置に応じてフィルタリングを施すことが可能となる。【００２２】
また、前記フィルタデータ生成ステップでは、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるようにグループを割り当ててもよい。これによって、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるので、符号化単位であるブロックの境界からの距離に応じて適切にフィルタリングを施すことが可能となる。【００２３】
また、前記フィルタデータ生成ステップでは、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群を同じグループに割り当ててもよい。これによって、同じ特性を有するマクロブロック群が同じグループに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、同じ特性を有するマクロブロック群について同じフィルタデータに基づいてフィルタリングを施すことが可能となる。【００２４】
また、前記フィルタデータ生成ステップでは、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるようにグループを割り当ててもよい。これによって、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるので、絵柄の精細さに応じて適切にフィルタリングを施すことが可能となる。【００２５】
また、前記フィルタデータ生成ステップでは、予め定められた所定の割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当ててもよい。これによって、画像符号化装置と画像復号化装置との間で割り当てルールを示す情報をやりとりしなくてよいので迅速に処理することが可能となる。【００２６】
また、前記フィルタデータ生成ステップでは、適応的な割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当ててもよい。これによって、その状況に応じて最適な割り当てルールを選択することが可能となる。【００２７】
また、前記出力ステップでは、割り当てルールを示す情報を前記符号化ストリームに含めて出力してもよい。これによって、画像符号化装置側で決めた割り当てルールを画像復号化装置側で採用することが可能となる。【００２８】
また、前記出力ステップでは、前記符号化ストリームに含まれる補助拡張情報領域に前記フィルタデータを挿入してもよい。これによって、符号化ストリームにフィルタデータを簡便に挿入することが可能となる。【００２９】
前記目的を達成するために、本発明に係る画像復号化装置は、符号化画像を復号化する画像復号化装置であって、符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化手段と、前記符号化ストリームから、ピクチャ内の各領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出手段と、前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施すフィルタリング手段とを備える。これによって、ピクチャ内の各領域に割り当てられた複数のグループごとにフィルタデータが抽出されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。【００３０】
また、前記画像復号化装置は、さらに、前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいてフィルタ係数を決定するフィルタ係数決定手段を備え、前記フィルタリング手段は、前記フィルタ係数決定手段によって決定されたフィルタ係数に基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施してもよい。これによって、フィルタデータに基づいてフィルタ係数が決定されるので、より適切にフィルタリングを施すことが可能となる。【００３１】
また、前記フィルタデータ抽出手段は、前記復号画像とその復号画像に対応する符号化されていない画像との間の相関を示す相互相関データを前記フィルタデータとして抽出し、前記フィルタ係数決定手段は、前記復号画像内の相関を示す自己相関データを算出し、前記自己相関データと前記相互相関データとを用いて前記フィルタ係数を決定してもよい。これによって、自己相関データと相互相関データとを用いてフィルタ係数が決定されるので、より適切にフィルタリングを施すことが可能となる。【００３２】
また、前記フィルタリング手段は、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群については同じフィルタデータに基づいてフィルタリングを施してもよい。これによって、同じ特性を有する画素群については同じフィルタデータに基づいてフィルタリングを施すことが可能となる。【００３３】
また、前記フィルタリング手段は、符号化単位であるブロック内の画素位置に応じてフィルタリングを施してもよい。これによって、符号化単位であるブロック内の画素位置に応じてフィルタリングを施すことが可能となる。【００３４】
また、前記フィルタリング手段は、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングを施してもよい。これによって、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるので、符号化単位であるブロックの境界からの距離に応じて適切にフィルタリングを施すことが可能となる。【００３５】
また、前記フィルタリング手段は、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群については同じフィルタデータに基づいてフィルタリングを施してもよい。これによって、同じ特性を有するマクロブロック群については同じフィルタデータに基づいてフィルタリングを施すことが可能となる。【００３６】
また、前記フィルタリング手段は、精細な絵柄のマクロブロック群ほど強くフィルタリングを施してもよい。これによって、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるので、絵柄の精細さに応じて適切にフィルタリングを施すことが可能となる。【００３７】
また、前記フィルタリング手段は、予め定められた所定の割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施してもよい。これによって、画像符号化装置と画像復号化装置との間で割り当てルールを示す情報をやりとりしなくてよいので迅速に処理することが可能となる。【００３８】
また、前記フィルタリング手段は、適応的な割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施してもよい。これによって、その状況に応じて最適な割り当てルールを選択することが可能となる。【００３９】
また、前記フィルタデータ抽出手段は、割り当てのルールを示す情報を前記符号化ストリームから抽出してもよい。これによって、画像符号化装置側で決めた割り当てルールを画像復号化装置側で採用することが可能となる。【００４０】
また、前記フィルタデータ抽出手段は、前記符号化ストリームに含まれる補助拡張情報領域から前記フィルタデータを抽出してもよい。これによって、符号化ストリームからフィルタデータを簡便に抽出することが可能となる。【００４１】
なお、本発明は、このような画像符号化方法として実現することができるだけでなく、このような画像符号化方法が備える特徴的なステップを手段とする画像符号化装置や集積回路として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。【００４２】
なお、本発明は、このような画像復号化装置として実現することができるだけでなく、集積回路として実現したり、このような画像復号化装置が備える特徴的な手段をステップとする画像復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４３】
以上のように、本発明によれば、ピクチャ内の各領域が複数のグループのいずれか１つに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。
【図面の簡単な説明】
【００４４】
【図１】図１は、従来の画像符号化装置の概略ブロック図である。
【図２】図２は、従来の画像復号化装置の概略ブロック図である。
【図３】図３は、フィルタリングを施す方法を概略的に示す図である。
【図４】図４は、フィルタリングを施す方法を概略的に示す図である。
【図５】図５は、本発明における画像符号化装置の概略ブロック図である。
【図６】図６は、本発明における画像符号化装置の概略ブロック図である。
【図７】図７は、本発明における画像復号化装置の概略ブロック図である。
【図８】図８は、本発明における別の画像符号化装置の概略ブロック図である。
【図９】図９は、本発明における別の画像復号化装置の概略ブロック図である。
【図１０】図１０は、本発明における別の画像符号化装置の概略ブロック図である。
【図１１】図１１は、符号化ストリームの構成を示す図である。
【図１２】図１２は、ＳＥＩのシンタックスの一例を示す図である。
【図１３】図１３は、相互相関データにおけるシンタックスの一例を示す図である。
【図１４】図１４は、本発明における画像符号化装置の動作を示すフローチャートである。
【図１５】図１５は、本発明における画像復号化装置の動作を示すフローチャートである。
【符号の説明】
【００４５】
３００  画像符号化装置
３２０  変換・量子化部
３４０  フィルタデータ生成部
３９０  エントロピー符号化部
４００  画像復号化装置
４１０  エントロピー復号化部
４２０  逆量子化・逆変換部
４３０  フィルタ係数決定部
４４０  適応的フィルタ
【発明を実施するための最良の形態】
【００４６】
本発明は、劣化した画像データに対して適応的にフィルタリングを施す技術に関し、特に、符号化および後続の復号化プロセス中に劣化した画像データに対して適応的にフィルタリングを施す技術に関する。現代の画像記録／伝送システムは、画像データを圧縮することによってデータ量を削減することを目的としている。このため、画像符号化装置は、記録または伝送の前に画像データを圧縮し、画像復号化装置は、再生するために圧縮データを復元する。本発明は、ハイブリッド符号化技術を採用する画像符号化装置に適用することができるが、本発明の適用対象は、画像予測を採用する画像符号化装置に限られない。すなわち、本発明は、その他のいかなる画像符号化装置にも適用することができる。【００４７】
まず、一般的なハイブリッド符号化技術について説明する。【００４８】
図１は、従来の画像符号化装置１００の概略ブロック図である。【００４９】
この画像符号化装置１００は、ハイブリッド符号化技術を採用する装置であって、減算器１１０と、変換・量子化部１２０と、逆量子化・逆変換部１３０と、加算器１３５と、デブロッキングフィルタ１４０と、メモリ１５０と、面内予測部１６０と、動き補償部１６５と、動き予測部１７０と、スイッチ１８０と、エントロピー符号化部１９０とを備えている。減算器１１０は、対象画像（入力信号）と、当該対象画像の予測信号との差分（予測誤差）を算出する。対象画像の予測信号は、以前に符号化された画像に基づいて生成される。変換・量子化部１２０は、予測誤差を空間領域から周波数領域に変換し、得られた変換係数を量子化して量子化係数を出力する。エントロピー符号化部１９０は、量子化係数をエントロピー符号化する。【００５０】
画像符号化装置１００は、入力映像シーケンスにおける後続画像との差分の伝送のみを行う差分パルスコード変調（ＤＰＣＭ）手法を採用している。これらの差分は、符号化対象の動画像から対象画像の予測画像を差し引くために、当該符号化対象の動画像を受信する減算器１１０において算出される。【００５１】
画像符号化装置１００は、以前に符号化画像が復号化された結果（“部分的に復号化された画像”）に基づいて予測する。そのため、画像符号化装置１００に組み込まれた復号化手段は符号化ステップを逆に行う。具体的には、逆量子化・逆変換部１３０は、量子化係数を逆量子化して逆量子化係数を得、得られた逆量子化係数を逆変換する。このようにして得られた復号化差分は加算器１３５によって予測信号に付加される。【００５２】
動き補償ＤＰＣＭは画像符号化装置１００によって行われ、対応する前のフィールドまたはフレームから対象フィールドまたはフレームが予測される。この予測は、対象フィールドまたはフレームと前のフィールドまたはフレームとの間の動き予測に基づく。動き予測は、対象フレームと前のフレームとの画素の変位を表す二次元の動きベクトルとして決定される。通常、動き予測はブロック単位で行われ、対象フレームにおけるブロックは、最も合致するブロックが特定されるまで、複数の前のフレームにおけるブロックと比較される。この比較結果に基づいて、対象フレームの各ブロックの変位ベクトルが予測されるのである。この処理は、対象入力信号と部分的に復号化された画像とを受信する動き予測部１７０によって行われる。【００５３】
動き補償部１６５は、動き予測の結果に基づいて動き補償を行う。動き補償は、特定された動きベクトルを活用する予測である。対象ブロックと予測ブロックとの差分を表す予測誤差ブロックに含まれる情報は、その後、変換・量子化部１２０によって変換係数に変換される。一般的に、この変換には二次元離散コサイン変換（ＤＣＴ）が採用される。【００５４】
入力画像は、Ｈ．２６４／ＡＶＣにしたがってマクロブロックに分割される。マクロブロックは、“画面内”または“画面間”符号化モードで符号化される。画面間モードでは、上述の動き補償を採用してマクロブロックが予測される。画面内モードでは、予測信号はゼロに設定されるが、Ｈ．２６４／ＡＶＣでは、後続のマクロブロックを予測するために、同一画像内の符号化マクロブロックに基づく予測方法も採用している。【００５５】
画面内符号化画像（Ｉピクチャ）だけは、いかなる復号画像も参照することなく符号化することができる。Ｉピクチャによって符号化映像シーケンスにエラー耐性が備わる。Ｉピクチャはランダムアクセスを可能にする、すなわち、符号化動画像シーケンス内にあるＩピクチャへのアクセスを可能にする。言い換えると、Ｉピクチャは、符号化データのビットストリームへのエントリポイントとなる。面内予測部１６０による処理である画面内モードと、動き補償部１６５による処理である画面間モードとの切り替えは、画面内／画面間スイッチ１８０によって制御される。【００５６】
図２は、従来の画像復号化装置２００の概略ブロック図である。【００５７】
この画像復号化装置２００は、ハイブリッド符号化技術を採用する装置であって、エントロピー復号化部２１０と、逆量子化・逆変換部２２０と、加算器２３０と、デブロッキングフィルタ２４０と、メモリ２５０と、面内予測部２６０と、動き補償部２６５と、スイッチ２７０とを備えている。画像復号化装置２００側では、符号化画像を復元するために符号化プロセスが逆に行われる。【００５８】
まず、エントロピー復号化部２１０においてエントロピー符号化が逆に行われ、量子化係数と動きデータとが得られる。量子化係数は逆量子化・逆変換部２２０に入力され、動きデータは動き補償部２６５に入力される。逆量子化・逆変換部２２０は、量子化係数に対して逆量子化を行うことによって量子化係数を周波数成分に変換し、その周波数成分に対して逆変換を行うことによって周波数成分を予測誤差に変換する。加算器２３０は、画面内モードでは、逆量子化・逆変換部２２０から出力された予測誤差に面内予測部２６０から出力された予測画像を加算することによって復号画像を生成し、画面間モードでは、逆量子化・逆変換部２２０から出力された予測誤差に動き補償部２６５から出力された予測画像を加算することによって復号画像を生成する。生成された復号画像は、デブロッキングフィルタ２４０によってフィルタリングされてもよい。また、復号画像は、画内予測部２６０および動き補償部２６５に用いられるため、メモリ２５０に格納される。【００５９】
デブロッキングフィルタ１４０、２４０は、ブロックの境界を滑らかにしてブロック歪を取り除こうとするのみであって、その他のノイズを取り除くことも、境界以外の領域の画質を向上することも行わない。また、デブロッキングフィルタ１４０、２４０は、復号画像の内容（鮮明さや平滑さなど）に関わらず、予め定められたフィルタ係数でリニアフィルタをかけるため、その復号画像に適したフィルタリングを行うことができない。【００６０】
そこで、復号画像データの画質をさらに改善するために、画像データを復号化した後に付加的なフィルタを適用してもよい。例えば、デブロッキングフィルタを他のフィルタに代えるか、デブロッキングフィルタの後に付加的なフィルタを採用してもよい。【００６１】
しかしながら、復号画像データにフィルタリングを施すために同一のフィルタ係数を常に用いると、画質の向上度合いは画像内容に応じて異なることになる。したがって、画質をさらに向上させるためには、現在処理中の画像データに応じてフィルタ係数を決定してもよい。従来のフィルタは、画像全体に対して単一のフィルタ係数セットを用いるが、このフィルタ係数セットは、画像における空間的冗長性を考慮したものではありえない。【００６２】
従来、適応的フィルタリングを施す際には、劣化した画像データが分析され、分析された画像の特性に応じてフィルタ係数が決定される。例えば、現在処理中の画像データの内容に応じて画像のエッジを強調するか平滑化されるかが決定される。このように、従来の画像復号化装置では、劣化した画像データに基づいて、適応的フィルタ係数を決定するための分析を行っている。劣化した画像データは量子化ノイズなどのエラーを含むため、この画像データに基づいて最適なフィルタ係数セットを決定することは不可能である。【００６３】
一方、劣化していない画像データを分析すれば、画像データの符号化および後続の復号化中に失われたデータを特定することができる。そこで、本発明では、劣化していない画像データを画像符号化装置側で事前に分析しておき、その分析結果を画像復号化装置に提供する。これによって、画像復号化装置は、提供された分析結果に基づいてフィルタ係数セットを決定することができ、このように決定したフィルタ係数セットにしたがって復号画像データに適したフィルタリングを行うことが可能となる。【００６４】
一枚の画像でも、異なる空間位置では異なる特性を有している場合がある。例えば、多くの鋭いエッジを含む領域と、平滑かつ平坦な領域とが一枚の画像に同時に含まれる場合がある。このような場合、画像内のそれぞれの領域において適した結果を得るためには、それぞれの領域ごとに異なるフィルタ係数が必要である。すなわち、一枚の完全な画像に対して単一のフィルタ係数セットのみを用いる場合、この画像内の一つの領域に対しては最適化したフィルタ係数を用いることができるが、画像全体のフィルタリングのためには、平均的なフィルタ係数セットを用いなければならない。【００６５】
また、画像を符号化して首尾よく復号化するには、複数の画像領域（例えばマクロブロック）に画像を分割するのが通常である。したがって、個々の画像領域を合わせた際、個々の領域間の境界にある画素には、ブロック歪を避けるためにフィルタリングを施さなければならない。しかしながら、このようなフィルタリングは、個々の画像領域の境界でのみ必要である。対照的に、画像領域の中央については、エッジの強調と画質向上のために別の種類のフィルタリングを適用するのが好ましい。【００６６】
本発明では、ピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成する。そして、割り当てたグループごとにフィルタ係数を決定して同じフィルタリング演算を施すことを特徴とする。以下、この特徴について図面を用いて詳細に説明する。【００６７】
図３は、画素位置ごとに異なるフィルタリングを施す方法を概略的に示す図である。【００６８】
ここでは、ピクチャ内の各画素を３つのグループＧ１〜Ｇ３のいずれか１つに割り当てている。同じ特性を有する画素群を同じグループに割り当て、同じグループに割り当てられた画素に対して同じフィルタリング演算を施す。グループの数は特に限定されるものではない。以下、各画素を複数のグループのいずれか１つに割り当てることを「画素をグループに割り当てる」とか「画素をグループ分けする」という場合がある。【００６９】
画素をグループに割り当てるルールは特に限定されるものではない。例えば、予め定められた所定のルールに基づいて画素をグループに割り当てることも可能である。所定のルールは、画素とグループとの割り当てを示すマップとして予め用意しておくようにしてもよい。各画像に対して常に同じ割り当てをする場合は、画像符号化装置および画像復号化装置に同一のマップを予め格納しておくことができる。そうすれば、余計なデータを画像符号化装置から画像復号化装置に伝送することなく、各画素を素早く簡単に割り当てることが可能となる。【００７０】
画素とグループとの割り当てを示す複数のマップを画像符号化装置および画像復号化装置に予め格納しておくこともできる。この場合、画像符号化装置は、対象画像データに適したマップを選択し、選択したマップを画像復号化装置に示すだけでよい。このようにすれば、画像符号化装置から画像復号化装置に伝送しなければならないデータ量をごく少量に削減することが可能である。【００７１】
グループＧ１〜Ｇ３に対する画素の割り当ては、境界（後述する）までの空間的距離に基づいて決定してもよい。例えば、図３では境界を実線で示しているが、境界にある画素群はグループＧ１に割り当てられ、境界に対して画素ひとつ分の空間的距離を有する画素群はグループＧ２に割り当てられ、残りの画素群はグループＧ３に割り当てられる。【００７２】
ここで、境界とは、画像の符号化単位（周波数変換単位）を示す境界である。すなわち、画像がマクロブロック単位で符号化される場合は、そのマクロブロックの各境界に対する空間的距離に基づいて画素の割り当てを決定する。この結果、符号化単位とは異なる単位でフィルタリングが施されることになる。【００７３】
画素の割り当てルールが画像復号化装置側で知られていれば、画像復号化装置側で画像符号化装置側と同一の割り当てルールを適用することができる。そのため、画像符号化装置から画像復号化装置に特別な割り当てデータを伝送する必要はない。【００７４】
画像復号化装置は、画像や画素の特性に応じて、各画素を適応的に割り当てるようにしてもよい。すなわち、対象画像データを分析すれば、類似した特性を有する画素群にグループ分けすることができる。したがって、画像符号化装置は、エッジが鋭い領域と、平坦な画像内容だけを含む領域とを検出し、その検出パターンに応じて画素をグループ分けしてもよい。あるいは、画像内で検出された色、輝度値／彩度値、またはその他の特徴に応じて画素をグループ分けしてもよい。【００７５】
画素をグループに割り当てるルールは画像ごとに決定してもよい。このようにすれば、画素の割り当てルールを画像ごとに変更することができるので、非常に正確な割り当てを実現することが可能である。また、同一の割り当てルールを継続的に用いて、連続する複数の画像内の各画素を所定の単一グループへ割り当てることもできる。例えば、完全なピクチャグループ（ＧＯＰ）など所定数連続する画像のシーケンスにつき、１回だけ割り当てルールを決定する。この場合、シーンの変化が検出されるまで、または、同一のＧＯＰに属する画像が連続する期間、同一の割り当てルールを継続すればよい。【００７６】
図３では、同じ特性を有する画素群ごとにフィルタリングを施す場合について説明したが、本発明はこれに限定されるものではない。以下、同じ特性を有するマクロブロック群ごとにフィルタリングを施す場合について説明する。【００７７】
図４は、マクロブロック位置ごとに異なるフィルタリングを施す方法を概略的に示す図である。具体的には、図４（Ａ）では、丸が描かれたピクチャを示し、図４（Ｂ）では、そのピクチャ内の各マクロブロックが複数のグループＧ１〜Ｇ３のいずれかに割り当てられている様子を示している。もちろん、この図は概念的な図である。例えば、ピクチャ内のマクロブロックの数は、この図に示される数に限定されるものではない。【００７８】
ここでは、丸に対応する位置のマクロブロック群はグループＧ１に割り当て、グループＧ１に隣接するマクロブロック群はグループＧ２に割り当て、その他のマクロブロック群はＧ３に割り当てている。このようにすれば、グループＧ１、Ｇ２、Ｇ３の順に強くフィルタリングが施されるようにすることによって、絵柄に応じたフィルタリングを施すことが可能となる。【００７９】
図５は、本発明における画像符号化装置３００の概略ブロック図である。【００８０】
この画像符号化装置３００は、変換・量子化部３２０と、フィルタデータ生成部３４０と、エントロピー符号化部３９０とを備えている。変換・量子化部３２０は、対象画像データ（入力画像）を受信すると、離散コサイン変換（ＤＣＴ）およびＤＣＴ係数の量子化を行う。フィルタデータ生成部３４０は、対象画像データを分析し、画像内の各画素を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成してエントロピー符号化部３９０へ提供する。フィルタデータは、適応的フィルタ係数を決定するための付加的なデータである。エントロピー符号化部３９０は、符号化画像データと対応するフィルタデータとを単一のビットストリームにおいて結合させ、符号化ストリームとして出力する。この結果、符号化画像データとともにフィルタデータが伝送または記録されることになる。【００８１】
フィルタデータの態様は様々あり、特に限定されるものではない。【００８２】
例えば、フィルタデータは、それぞれのグループに属する画素のコントラスト、明度、または色特性に関するものでもよい。赤（Ｒ）、緑（Ｇ）および青（Ｂ）や、輝度（Ｙ）および色差（Ｃｒ，Ｃｂ）のような色成分ごとに入力画像が符号化される場合は、その色成分ごとにフィルタデータを生成してもよい。これによって、色成分ごとに適切なフィルタリングを行うことができる。【００８３】
画像データの高周波数成分と低周波数成分との特徴的な比率を演算したり、画素値の標準偏差のような統計的特性を分析したりすることもできる。この場合、フィルタデータは、対象グループの画素が鋭いエッジを含むのか、それとも平坦な画像データに関するのかを示す情報でもよい。また、対象グループにおける動きを分析することもできる。この場合、フィルタデータは、画像データにおける変化の程度や頻度を記述したものでもよいし、シーンの変化が発生した時を示すものでもよい。また、画像データを分析し、画像データのパターンや特性を特定することもできる。この場合、フィルタデータは、画像データの特性を記述する情報そのものでもよいし、画像データの特性を示すパラメータでもよい。このように、フィルタデータは、適応的フィルタの設定を可能にする情報であればいかなる情報でもよい。【００８４】
個々のグループに属する画素に対して適応的にフィルタデータを決定する際、異なる手法を用いることが可能である。すなわち、個々の画像のグループごとに新たなフィルタデータセットを決定してもよい。例えば、新たな画像が符号化される都度、その画像内の各グループに対して新たなフィルタデータを決定することができる。また、複数の画像に対して単一のフィルタデータセットを算出してもよい。例えば、各フィルタデータセットは、ピクチャグループ（ＧＯＰ）や完全なシーンのような、連続する画像のシーケンスに対して有効である場合がある。画像データを予測的に符号化する際、符号化モード（Ｉ、Ｐ、またはＢピクチャ）に応じて、別々のフィルタデータを決定することも可能な場合がある。すなわち、同一のフィルタデータを有する複数の画像を組み合わせるルールであれば、いかなるルールを採用してもかまわない。【００８５】
画像を別々の画像領域に分割してもよい。例えば、１枚のピクチャを複数のブロックやマクロブロックへ分割してもよい。この場合、各画像領域に対して別々のフィルタデータセットを決定することもできる。また、複数の画像領域をグループ化し、各グループの画像領域に対して単一のフィルタデータセットを決定してもよい。例えば、画像の同一スライスに属する全てのブロックを組み合わせて１つのグループにし、そのグループに対して単一のフィルタデータセットを決定することも可能である。【００８６】
図６は、本発明における別の画像符号化装置の概略ブロック図である。【００８７】
この画像符号化装置３０１は、劣化していない入力画像（入力信号）のみに基づいてフィルタデータを生成するだけではなく、劣化していない入力画像とその入力画像に対応する復号画像とに基づいてフィルタデータを生成することができる。すなわち、復号化手段として機能する逆量子化・逆変換部３３０を備えている。この逆量子化・逆変換部３３０は、符号化画像データに対して逆量子化および逆コサイン変換を行う。フィルタデータ生成部３４０は、劣化していない画像データとそれに対応する復号画像データとを比較し、両画像データの相関を示す相互相関データを算出する。この相互相関データは、劣化していない画像データと劣化した画像データとの差異に関する情報であれば、いかなる情報であってもよい。【００８８】
割り当てルールを示す情報（例えば、ピクチャ内の各画素とグループＧ１、Ｇ２、Ｇ３との割り当てルールを示す情報）が画像復号化装置に予め格納されていない場合、画像符号化装置は、割り当てルールを示す情報を符号化画像データに付加する等して、画像復号化装置に現状の割り当てルールを提供しなければならない。割り当てルールを示す情報の具体的態様は様々あり、特に限定されるものではない。例えば、割り当てルールを示す情報は、予め格納された割り当てマップを選択したことを示す情報であってもよいし、あるいは、特定の画素を所定のグループへ割り当てるための所定のルールが選択されたことを示す情報であってもよい。【００８９】
画像符号化装置は、グループへの割り当てを示すマップを生成してもよい。このマップは、画像内の各画素を特定のグループへ割り当てることを示してもよいし、ブロックなどの画像領域に対する割り当てのみを示してもよい。マップは、符号化画像データに付加されて画像復号化装置に伝送される。これによって、マップを受信した画像復号化装置は、画像符号化装置と同一の画素の割り当てを行うことができる。【００９０】
フィルタデータおよび／または割り当てルールを示す情報（以下、一括して「付加データ」という。）を符号化画像データとともに画像復号化装置に提供するために、単一のビットストリームが生成される。例えば、付加データは、符号化画像データシーケンスのヘッダへ挿入され、画像復号化装置に提供される。【００９１】
付加データは、符号化画像データとは別に画像復号化装置に提供されてもよい。例えば、符号化画像データをパケットに分割して伝送する場合、符号化画像データのデータパケット間に付加データを挿入してもよい。符号化画像データパケットは従来のデータフォーマットにしたがっている。そのため、画像復号化装置は、付加データを扱うことはできなくても画像データを復号化することはできる。この場合、画像復号化装置は、画像データ間に挿入された付加データを廃棄し、従来のように画像データを復号化することになる。なお、付加データは、Ｈ．２６４／ＡＶＣにおける補助拡張情報であるＳＥＩとして伝送されてもよい。この点については後に詳しく説明する。【００９２】
図７は、本発明における画像復号化装置の概略ブロック図である。【００９３】
この画像復号化装置４００は、エントロピー復号化部４１０と、逆量子化・逆変換部４２０と、フィルタ係数決定部４３０と、適応的フィルタ４４０とを備えている。エントロピー復号化部４１０は、符号化画像データからフィルタデータを抽出し、抽出したフィルタデータをフィルタ係数決定部４３０に提供する。対象画像の各画素は、複数のグループのいずれか１つに割り当てられている。この割り当てでは、既知の割り当てルールが適用されるか、符号化画像データに含まれる適応的な割り当てルールが適用される。フィルタ係数決定部４３０は、抽出されたフィルタデータに基づいてグループごとにフィルタ係数を決定し、決定したフィルタ係数を適応的フィルタ４４０に提供する。これによって、適応的フィルタ４４０は、提供されたフィルタ係数に基づいて各グループの復号画像データにフィルタリングを施す。【００９４】
全てのグループのフィルタ係数を画像符号化装置側で決定して符号化画像データに挿入するようにしてもよい。このようにすれば、フィルタ係数は画像符号化装置側で一度だけ演算すればよいので、各画像復号化装置側でフィルタ係数を別々に演算する必要がなくなり、フィルタの設定を簡略化することが可能となる。【００９５】
フィルタ係数を決定するための基本情報だけをフィルタデータとして画像データに挿入し、このフィルタデータに基づいて各画像復号化装置がフィルタ係数を別々に決定するようにしてもよい。このようにすれば、画像復号化装置の個々の演算リソースを考慮することができる。例えば、画像復号化装置が携帯端末である場合は、遅いプロセッサと小さなディスプレイしか備えていないことがあるため、少数のフィルタ係数を用いてフィルタ演算を行うことが可能となる。他方、大きなディスプレイに画像データを出力する高級な画像復号化装置は、早く力強いフィルタプロセッサを備えている場合があるので、このような場合は、より多くのフィルタ係数を決定し、より複雑なフィルタ演算を行うことが可能となる。同一の画像復号化装置でも、異なるフィルタ演算を行う場合がある。例えば、省電力モードでは、ごく少数のフィルタ係数が決定されるようにし、高品質モードでは、より多くのフィルタ係数が決定されるようにするのが好ましい。【００９６】
画像復号化装置がフィルタ係数を決定する方法は様々あり、特に限定されるものではない。例えば、画像復号化装置に複数のフィルタ係数セットを格納しておき、その中からフィルタデータに応じたフィルタ係数を選択するようにしてもよい。例えば、画像が平坦であることをフィルタデータが示している場合は、復号画像データを平滑化するためのフィルタ係数を選択する。他方、画像が精細であることをフィルタデータが示している場合は、画像のエッジを鋭くするためのフィルタ係数を選択する。【００９７】
フィルタ係数を選択する基準も様々あり、特に限定されるものではない。例えば、画像中の動き、統計的特性、高周波成分と低周波成分との比率、その他の基準に応じてフィルタ係数を選択することもできる。あるいは、現在処理中の画像シーケンスのジャンルに応じてフィルタ係数を選択することもできる。例えば、スポーツ、ニュース、ドキュメンタリー、音楽フィルムごとに異なるフィルタ係数を選択してもよい。また、高周波成分と低周波成分との比率、コントラスト、明度、画像の統計的特性ごとに異なるフィルタ係数を選択してもよい。【００９８】
既に説明した通り、画像符号化装置は、劣化していない画像データと、それに対応する復号画像データとを比較してフィルタデータを生成することができる。この場合、画像復号化装置は、劣化していない画像データと、それに対応する復号画像データとの差異を最小限にするフィルタ係数を決定することができる。すなわち、フィルタデータは、復号画像データと劣化していない画像データとの差異を最小限にするためのヒントということができる。言い換えると、劣化していない画像データと、それに対応する復号画像データとの相関を示す相互相関データが画像符号化装置側で演算された場合、その相互相関データは、画像復号化装置側でフィルタ係数を演算するための根拠として用いることができる。【００９９】
例えば、相互相関データがフィルタデータとして伝送された場合、画像復号化装置は、この相互相関データに基づいて適応的にウィナーフィルタリングを実行することができる。ここでは、相互相関データをフィルタデータとしているが、劣化した画像データと劣化していない画像データとの差異を示す情報であれば、いかなる情報をフィルタデータとしてもよい。また、ウィナーフィルタを例示しているが、復号画像データのフィルタリングのために用いられるフィルタであれば、他のフィルタを採用することも可能である。【０１００】
以下、ウィナーフィルタについて詳細に説明する。【０１０１】
ウィナーフィルタのフィルタパラメータｗは、自己相関行列Ｒと相互相関ベクトル（相互相関データ）ｐとを用いて（数１）のように示される。なお、自己相関行列ＲがＭ×Ｍ個（Ｍは自然数）の要素からなる行列であって、相互相関ベクトルｐがＭ×１個の要素からなるベクトルである場合、フィルタパラメータｗは、Ｍ個のフィルタ係数からなる行列として示される。また、Ｒ-1は自己相関行列Ｒの逆行列である。【０１０２】
【数１】
2008084745.tif 000003
【０１０３】
ウィナーフィルタのフィルタパラメータｗは、フィルタリング対象の画像に対して畳み込み処理を行うことによってフィルタリングを行なうものであり、例えば（数２）に示すように、２次元の３×３タップフィルタであれば９つのフィルタ係数を有する。【０１０４】
【数２】
2008084745.tif 000004
【０１０５】
（数２）に示すような３×３個のフィルタ係数を有するフィルタパラメータｗを算出する場合、（数３）に示すように、自己相関行列Ｒは９×９個の要素を有する。【０１０６】
【数３】
2008084745.tif 000005
【０１０７】
また、（数２）に示すような３×３個のフィルタ係数を有するフィルタパラメータｗを算出する場合、（数４）に示すように、相互相関ベクトルｐは９×１個の要素を有する。【０１０８】
【数４】
2008084745.tif 000006
【０１０９】
相互相関ベクトルｐは入力画像と局所復号画像Ｒｃとを用いて推定され、自己相関行列Ｒは局所復号画像Ｒｃのみを用いて推定される。そして、（数１）の行列演算を行なうことによって、例えば（数５）にあるような３×３個からなるフィルタパラメータｗが得られる。【０１１０】
【数５】
2008084745.tif 000007
【０１１１】
例えば、画像に対して得られたフィルタパラメータｗを用いてフィルタリング処理を行う場合は、（数６）に示す行列演算が行われる。つまり、その画像においてフィルタリングの対象となる画素の画素値（２２９）と、その画素の周辺にある複数の画素の画素値（１９２，２２５，２２５など）とからなる行列が生成される。そして、その複数の画素値からなる行列と上述のフィルタパラメータｗとの積が算出される。このようなフィルタリング演算（行列演算）の結果、上述の画素の画素値（２２９）は、２２７．４７となる。【０１１２】
【数６】
2008084745.tif 000008
【０１１３】
なお、フィルタイリング演算の結果を示す画素値の２２７．４７は、小数点以下が切り捨てられることによって、２２７とされる。【０１１４】
符号化ストリームを取得した画像復号化装置は、その符号化ストリームから相互相関データ（相互相関ベクトル）ｐを抽出し、抽出した相互相関データｐに基づいて上述のウィナーフィルタを利用することができる。すなわち、画像復号化装置は、符号化ストリームを復号化することによって復号画像を生成し、その復号画像から自己相関行列Ｒを生成する。このようにすれば、（数１）に示すように、自己相関行列Ｒと相互相関ベクトルｐとを用いてウィナーフィルタのフィルタパラメータｗを算出することができる。【０１１５】
その結果、画像復号化装置は、（数６）に示すように、フィルタパラメータｗを用いて復号画像の各画素に対してフィルタリング演算を施す。これによって、復号画像に含まれるブロック歪や量子化ノイズなどのノイズを取り除くことができ、復号画像の画質を入力画像の画質に近づけることが可能となる。【０１１６】
つまり、入力画像が符号化されてさらに復号化されると、その符号化および復号化によってブロック歪や量子化ノイズなどが復号画像に含まれるので、復号画像の画質は入力画像の画質に比べて劣化する。ウィナーフィルタは、この復号画像に対してフィルタをかけて得られる画像と入力画像との差分（画素値の差分の二乗平均値）が最小となるように設計されている。したがって、復号画像に対してウィナーフィルタによるフィルタをかけることによって、その復号画像を元の入力画像に確実に近づけることができるのである。【０１１７】
なお、上述の例では、フィルタパラメータｗを構成するフィルタ係数の数（タップ数）を３×３個としたが、フィルタ係数の数は任意であって、７×７個であってもよい。また、フィルタパラメータｗを２次元の行列としたが、１次元の行列としてもよい。また、フィルタ係数の数が多ければ多いほどフィルタリングの精度を向上することができる。【０１１８】
上述の例では、適応的フィルタは、追加的な事後処理フィルタとして用いられる。適応的フィルタリングは、すべての復号画像データに適用することもできるし、特定の画像だけに適用することもできる。例えば、フィルタデータには、適応的フィルタリングが対象画像データに適用されるべきかどうかを示す情報が含まれてもよい。複数の符号化モードを提供するシステムでは、対象符号化モードに応じて異なるフィルタリングを適用することも可能である。【０１１９】
例えば、予測画像の符号化／復号化システムに本発明を適用してもよい。この場合は、画面内符号化画像にのみフィルタリングを施してもよい。また、画面内符号化データと画面間符号化データとで異なるフィルタデータを生成するようにしてもよい。以下、予測画像の符号化／復号化システムに本発明を適用する場合について詳しく説明する。【０１２０】
図８は、本発明における別の画像符号化装置３０２の概略ブロック図である。【０１２１】
この画像符号化装置３０２は、後続画像との差分のみを伝送するための差分パルスコード変調（ＤＰＣＭ）手法を採用する装置であり、復号化手段として機能する逆量子化・逆変換部３３０を備えている。この場合、原画データと復号化データとの比較に基づいてフィルタデータを決定するために逆量子化・逆変換部３３０の出力を用いてもよい。【０１２２】
図９は、本発明における別の画像復号化装置４０２の概略ブロック図である。【０１２３】
この画像復号化装置４０２は、図８の画像符号化装置に対応する画像復号化装置である。復号画像データは、以前に復号化された画像データと予測画像復号化手法とを用いることによって得ることができる。ここで、エントロピー復号化部４１０は、符号化画像データからフィルタデータを抽出してフィルタ係数決定部４３０に提供する。フィルタ係数決定部４３０は、提供されたフィルタデータに基づいてフィルタ係数を決定して適応的フィルタ４４０に提供する。適応的フィルタ４４０は、提供されたフィルタ係数を用いて復号画像データにフィルタリングを施し、フィルタリング済みの画像データを出力する。【０１２４】
以上説明したように、本発明では、ピクチャ内の各領域が複数のグループのいずれか１つに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。具体的には、画像符号化装置は、各画素の空間的位置に基づいて各画素を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成する。これによって、画像復号化装置は、フィルタデータに基づいてグループごとに別々にフィルタリングを施すことが可能となる。【０１２５】
従来、画像復号化装置では原画データを利用することができなかったため、適応的フィルタ係数を決定するために符号化画像データのみを利用していた。しかしながら、この復号画像データには量子化ノイズのような雑音が含まれているという問題がある。それに対して、本発明では、劣化していない画像データに基づいてフィルタデータを生成することができる。しかも、このフィルタデータは、各画素の空間的位置に応じて生成されるので、各画素の空間的位置に応じて適応的にフィルタリングを施すことが可能となる。【０１２６】
以下、図面を用いて、本発明の実施の形態を更に詳しく説明する。【０１２７】
（画像符号化装置の変形例）
図１０は、本発明における別の画像符号化装置３００の概略ブロック図である。【０１２８】
前記の説明では、本発明における画像符号化装置３００の概略ブロック図として図５を例示したが、この図１０に示されるように、入力された原画像から特徴量を抽出し、その特徴量に応じたフィルタデータを生成する構成を採用することも可能である。減算器３１０と、変換量子化部３２０と、逆量子化・逆変換部３３０と、加算器３３５と、メモリ３５０と、面内予測部３６０と、動き補償部３６５と、動き予測部３７０と、スイッチ３８０と、エントロピー符号化部３９０の機能については、図１における各部の機能と同様であるため、ここでは詳しい説明を省略する。【０１２９】
（符号化ストリーム）
既に説明した通り、相互相関データｐは、符号化されたピクチャのヘッダであるＳＥＩに挿入される。以下、この点について、図１１〜図１３を用いて詳しく説明する。【０１３０】
図１１は、符号化ストリームＳｔｒの構成を示す図である。【０１３１】
符号化ストリームＳｔｒは、符号化された複数のピクチャを１つのグループとするＧＯＰを複数含んでいる。ＧＯＰは、そのＧＯＰに含まれる全てのピクチャの復号化に利用される複数のパラメータからなるＳＰＳ（シーケンスパラメータセット）と、複数のピクチャとを含んでいる。ピクチャは、先頭から順に、そのピクチャの復号化に利用される複数のパラメータからなるＰＰＳ（ピクチャパラメータセット）と、補助拡張情報であるＳＥＩと、そのＳＥＩを利用して復号化される１つまたは複数のスライスとを含んでいる。また、ピクチャは、上述のＳＥＩと１つまたは複数のスライスとからなる組を１組または複数組含んでいる。ここで、例えば１つのピクチャに対して１つのＳＥＩが割り当てられる場合、エントロピー符号化部３９０は、その１つのピクチャ内の各領域に割り当てられたグループごとに相互相関データｐを対応付けてＳＥＩに挿入する。この場合、グループごとに別々の相互相関データｐを利用することができる。【０１３２】
図１２は、ＳＥＩのシンタックスの一例を示す図である。【０１３３】
ＳＥＩには、ペイロードタイプに応じて必要とされる情報が挿入される。例えば、ペイロードタイプが２２のときは、相互相関データｐがＳＥＩの付加データフィールドに挿入される。すなわち、相互相関データｐは、オプショナルなポストフィルタヒントとしてＳＥＩに挿入される。その結果、本発明における画像復号化装置は、その符号化ストリームＳｔｒのＳＥＩに含まれる相互相関データｐを抽出することによって、ウィナーフィルタによるフィルタリングを行うことができる。また、従来の画像復号化装置が本発明における符号化ストリームＳｔｒを取得しても、その符号化ストリームＳｔｒのＳＥＩに含まれる相互相関データｐを読み飛ばすことができ、従来通りの方法で復号化を行うことができる。すなわち、本発明における符号化ストリームＳｔｒは、従来の符号化ストリームＳｔｒと互換性を有する。【０１３４】
図１３は、相互相関データｐにおけるシンタックスの一例を示す図である。【０１３５】
相互相関データｐを示す情報として、その行列ｐに含まれる要素の数（number_of_elements）と、要素に対する重み（scaling_factor）と、それぞれの要素の値（filter_hint[element]）とがＳＥＩに挿入される。なお、画像復号化装置では、相互相関データｐの各要素の値は、scaling_factorの示す重みで除算されて利用される。【０１３６】
（画像符号化装置の動作）
図１４は、本発明における画像符号化装置３０２（図８参照）の動作を示すフローチャートである。以下、図１４を用いて本画像符号化装置３０２の動作について説明する。【０１３７】
まず、画像符号化装置３０２は、入力画像を取得し（ステップＳ１００）、その入力画像を符号化することによって量子化係数を生成する（ステップＳ１０２）。次いで、その量子化係数を復号化することによって局所復号画像を生成する（ステップＳ１０４）。【０１３８】
ここで、画像符号化装置３０２は、入力画像と、その入力画像に対応する局所復号画像とから相互相関データｐを生成する（ステップＳ１０６）。この相互相関データｐは、ピクチャ内の各領域に割り当てられたグループごとに生成される。【０１３９】
その後、画像符号化装置３０２は、相互相関データｐと量子化係数とをエントロピー符号化することによって、その相互相関データｐを含む符号化ストリームＳｔｒを生成する（ステップＳ１０８）。すなわち、符号化された入力画像を含む符号化ストリームＳｔｒに相互相関データｐが挿入されることになる。【０１４０】
最後に、符号化ストリームＳｔｒを出力する（ステップＳ１１０）。【０１４１】
なお、画像符号化装置３０２のエントロピー符号化部３９０は、符号化されたピクチャなどの画像領域のうち何れの画像領域に対してフィルタをかけるべきかを示す識別情報を符号化ストリームＳｔｒに相互相関データｐとともに挿入してもよい。これによって、画像復号化装置は、その識別情報の示す画像領域（Ｉピクチャ、Ｐピクチャ、およびＢピクチャなど）に対してのみウィナーフィルタをかけることができる。【０１４２】
（画像復号化装置の動作）
図１５は、本発明における画像復号化装置４０２（図９参照）の動作を示すフローチャートである。以下、図１５を用いて本画像復号化装置４０２の動作について説明する。【０１４３】
まず、画像復号化装置４０２は、符号化ストリームＳｔｒを取得し（ステップＳ２００）、その符号化ストリームＳｔｒをエントロピー復号化して、エントロピー復号化された符号化ストリームＳｔｒから相互相関データｐを抽出する（ステップＳ２０２）。【０１４４】
次いで、画像復号化装置４０２は、エントロピー復号化された符号化ストリームＳｔｒを復号化することによって復号画像を生成する（ステップＳ２０４）。具体的には、符号化ストリームＳｔｒに含まれる量子化係数に対して逆量子化および逆直交変換を行い、さらに予測画像を加算することによって復号画像を生成する。【０１４５】
次いで、画像復号化装置４０２は、復号画像に基づいて自己相関データＲを生成し（ステップＳ２０６）、ステップＳ２０２で抽出した相互相関データｐと自己相関データＲとに応じたウィナーフィルタのフィルタパラメータｗを算出する（ステップＳ２０８）。そして、算出したフィルタパラメータｗを用いて復号画像にフィルタリングを施し（ステップＳ２１０）、フィルタリングが施された復号画像を出力する（ステップＳ２１２）。
【産業上の利用可能性】
【０１４６】
本発明の画像符号化装置および画像復号化装置は、復号画像データの画質を向上させることができるという効果を奏し、例えばデジタルビデオカメラや、動画像を扱う携帯電話、パーソナルコンピュータなどに適用することができる。
【図１】
2008084745.tif 000009
【図２】
2008084745.tif 000010
【図３】
2008084745.tif 000011
【図４】
2008084745.tif 000012
【図５】
2008084745.tif 000013
【図６】
2008084745.tif 000014
【図７】
2008084745.tif 000015
【図８】
2008084745.tif 000016
【図９】
2008084745.tif 000017
【図１０】
2008084745.tif 000018
【図１１】
2008084745.tif 000019
【図１２】
2008084745.tif 000020
【図１３】
2008084745.tif 000021
【図１４】
2008084745.tif 000022
【図１５】
2008084745.tif 000023
【手続補正書】
【提出日】平成21年6月22日(2009.6.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化する画像符号化装置および画像データを復号化する画像復号化装置に関し、特に、画像データに対して適応的にフィルタをかける技術に関する。
【背景技術】
【０００２】
動画像は、テレビ電話やテレビ会議からデジタルテレビやＤＶＤ（Digital Versatile Disc）に至るまで多くのアプリケーションに採用されている。動画像をデジタルデータとして送信するときや記録するときには、限られた周波数帯域の伝送チャンネルを通して大量のデータを送信しなければならず、限られた容量の記憶媒体に大量のデータを格納しなければならない。したがって、動画像を示すデジタルデータを送信するときや記録するときには、そのデジタルデータを圧縮してデータ量を抑える必要がある。
【０００３】
そこで、動画像符号化に関して多くの規格が開発された。動画像符号化の規格としては、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔの規格と、ＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣの規格とがある。最新の動画像符号化の規格は、Ｈ．２６４／ＡＶＣまたはＭＰＥＧ−４／ＡＶＣとして示される規格である。
【０００４】
この規格では、まず、ブロックレベルでデータを圧縮するために動画像の１枚のフレーム（ピクチャ）をブロック（マクロブロック）に分割する。そして、分割したブロックの空間領域を周波数領域に変換することによって変換係数を生成し、フレームの空間的冗長性を低減する。さらに、その変換係数を量子化する。このような動画像の符号化によって、動画像のデータ量が低減される。量子化された変換係数はエントロピー符号化される。
【０００５】
ここで、上述の量子化によってデータが失われるため、量子化された変換係数から元の変換係数を復元することはできない。つまり、動画像を符号化すると、量子化ノイズによって画質が低下することになる。
【０００６】
また、上述の規格では、符号化された動画像のデータ量をさらに抑えるために、フレーム間のブロックの時間的な依存性を利用して、フレーム間の差分のみを送信することができる。このことは、動き検出および動き補償の技術によって具現化される。
【０００７】
上述のような動画像圧縮技術（画像符号化方法）はハイブリッド符号化技術と呼ばれ、さまざまな動画像圧縮技術の中でも最も効果的である。ハイブリッド符号化技術は、時間的および空間的圧縮技術と統計的符号化技術とを結合したものであり、動き補償ＤＰＣＭ（Differential Pulse Code Modulation）と、２次元ＤＣＴ（Discrete Cosine Transform）と、ＤＣＴ係数の量子化と、ＶＬＣ（Variable Length Coding）とを有する。動き補償ＤＰＣＭは、処理対象フレームと処理後のフレームとの間の画像の動きを検出し、その検出された動きに従って処理対象フレームを予測し、処理対象フレームと予測結果との差分を生成する。
【０００８】
このように画像を符号化してさらに復号化すると、画像に乱れが生じる。例えば、ＤＣＴ係数を量子化することによって量子化ノイズが発生する。また、画像をブロックごとに符号化することによってブロック歪が発生する。そこで、復号画像データの画質を改善するために、復号画像データに対してフィルタリングが施される。例えば、各ブロックの境界にある画素を平滑化すればブロック歪が低減される。ブロック境界にある関連画素にリニアフィルタリングを施すことによって、対象画像の画質を改善してもよい。
【０００９】
しかしながら、このようなフィルタは、ブロックの境界にある画素のみに対して適用される。すなわち、ブロックの内側の画素に対してはフィルタリングを施すことができない。例えば、所定のフィルタ係数を有するリニアフィルタを採用すればフィルタリングを施すことができるが、このフィルタは、対象画像の内容（特に、画像が鋭いエッジを含むのか、それとも滑らかな領域であるのか）を考慮したものではない。
【００１０】
画質をさらに改善するために、画像内容を分析することによって適応的にフィルタリングを施してもよい。例えば、現在および/または過去に符号化された符号化画像データの内容を分析し、分析した画像データの内容に応じてフィルタパラメータ（フィルタ係数）を決定すれば、対象画像の画質をさらに改善することができる。
【００１１】
従来、適応的フィルタのフィルタパラメータは、現在および/または過去に復号化された、劣化した画像データに応じて決定される。ユーザは、主観的に、フィルタリング済みの対象画像データを “よりよい”画像とみなすかもしれないが、フィルタリング済みの画像と劣化していない“本物の”画像との間には知られざる差異がある。
【００１２】
特許文献１では、動画像に対する適応的フィルタについて記載されている。この特許文献１の適応的フィルタでは、復号画像の動きやノイズを検出して、その検出結果に応じたフィルタパラメータを算出し、そのフィルタパラメータに従ったフィルタをその復号画像にかける。フィルタパラメータは、上述の検出によって、反復的に算出される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願公開番号第２００５／０１０５６２７号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、適応的フィルタリングによる画質の向上には限界がある。
【００１５】
符号化ストリームのビットレートを上げれば、さらに画質を向上させることができるが、この場合は、符号化ストリームを格納するために多くの容量を有する記録媒体が必要になり、符号化ストリームを送信するために広いバンド幅の通信媒体が必要になる。
【００１６】
本発明は、かかる問題に鑑みてなされたものであって、復号画像データの画質を向上させることが可能な画像符号化装置および画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記目的を達成するために、本発明に係る画像符号化方法は、入力画像を符号化する画像符号化方法であって、前記入力画像を符号化して符号化画像を生成する符号化ステップと、前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップとを含む。これによって、ピクチャ内の各領域が複数のグループのいずれか１つに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。
【００１８】
ここで、前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像とに基づいて前記フィルタデータを生成してもよい。これによって、劣化していない入力画像を用いてフィルタデータが決定されるので、適切にフィルタリングを施すことが可能となる。
【００１９】
また、前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像との間の相関を示す相互相関データを前記フィルタデータとして生成してもよい。これによって、劣化していない入力画像を用いて相互相関データが決定されるので、適切にフィルタリングを施すことが可能となる。
【００２０】
また、前記フィルタデータ生成ステップでは、符号化単位とは異なる単位でフィルタリングが施されるように、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当ててもよい。これによって、符号化単位とは異なる適切な単位でフィルタリングを施すことが可能となる。
【００２１】
また、前記フィルタデータ生成ステップでは、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群を同じグループに割り当ててもよい。これによって、同じ特性を有する画素群が同じグループに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、同じ特性を有する画素群について同じフィルタデータに基づいてフィルタリングを施すことが可能となる。
【００２２】
また、前記フィルタデータ生成ステップでは、符号化単位であるブロック内の画素位置に応じてグループを割り当ててもよい。これによって、符号化単位であるブロック内の画素位置に応じてフィルタリングを施すことが可能となる。
【００２３】
また、前記フィルタデータ生成ステップでは、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるようにグループを割り当ててもよい。これによって、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるので、符号化単位であるブロックの境界からの距離に応じて適切にフィルタリングを施すことが可能となる。
【００２４】
また、前記フィルタデータ生成ステップでは、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群を同じグループに割り当ててもよい。これによって、同じ特性を有するマクロブロック群が同じグループに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、同じ特性を有するマクロブロック群について同じフィルタデータに基づいてフィルタリングを施すことが可能となる。
【００２５】
また、前記フィルタデータ生成ステップでは、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるようにグループを割り当ててもよい。これによって、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるので、絵柄の精細さに応じて適切にフィルタリングを施すことが可能となる。
【００２６】
また、前記フィルタデータ生成ステップでは、予め定められた所定の割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当ててもよい。これによって、画像符号化装置と画像復号化装置との間で割り当てルールを示す情報をやりとりしなくてよいので迅速に処理することが可能となる。
【００２７】
また、前記フィルタデータ生成ステップでは、適応的な割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当ててもよい。これによって、その状況に応じて最適な割り当てルールを選択することが可能となる。
【００２８】
また、前記出力ステップでは、割り当てルールを示す情報を前記符号化ストリームに含めて出力してもよい。これによって、画像符号化装置側で決めた割り当てルールを画像復号化装置側で採用することが可能となる。
【００２９】
また、前記出力ステップでは、前記符号化ストリームに含まれる補助拡張情報領域に前記フィルタデータを挿入してもよい。これによって、符号化ストリームにフィルタデータを簡便に挿入することが可能となる。
【００３０】
前記目的を達成するために、本発明に係る画像復号化装置は、符号化画像を復号化する画像復号化装置であって、符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化手段と、前記符号化ストリームから、ピクチャ内の各領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出手段と、前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施すフィルタリング手段とを備える。これによって、ピクチャ内の各領域に割り当てられた複数のグループごとにフィルタデータが抽出されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。
【００３１】
また、前記画像復号化装置は、さらに、前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいてフィルタ係数を決定するフィルタ係数決定手段を備え、前記フィルタリング手段は、前記フィルタ係数決定手段によって決定されたフィルタ係数に基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施してもよい。これによって、フィルタデータに基づいてフィルタ係数が決定されるので、より適切にフィルタリングを施すことが可能となる。
【００３２】
また、前記フィルタデータ抽出手段は、前記復号画像とその復号画像に対応する符号化されていない画像との間の相関を示す相互相関データを前記フィルタデータとして抽出し、前記フィルタ係数決定手段は、前記復号画像内の相関を示す自己相関データを算出し、前記自己相関データと前記相互相関データとを用いて前記フィルタ係数を決定してもよい。これによって、自己相関データと相互相関データとを用いてフィルタ係数が決定されるので、より適切にフィルタリングを施すことが可能となる。
【００３３】
また、前記フィルタリング手段は、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群については同じフィルタデータに基づいてフィルタリングを施してもよい。これによって、同じ特性を有する画素群については同じフィルタデータに基づいてフィルタリングを施すことが可能となる。
【００３４】
また、前記フィルタリング手段は、符号化単位であるブロック内の画素位置に応じてフィルタリングを施してもよい。これによって、符号化単位であるブロック内の画素位置に応じてフィルタリングを施すことが可能となる。
【００３５】
また、前記フィルタリング手段は、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングを施してもよい。これによって、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるので、符号化単位であるブロックの境界からの距離に応じて適切にフィルタリングを施すことが可能となる。
【００３６】
また、前記フィルタリング手段は、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群については同じフィルタデータに基づいてフィルタリングを施してもよい。これによって、同じ特性を有するマクロブロック群については同じフィルタデータに基づいてフィルタリングを施すことが可能となる。
【００３７】
また、前記フィルタリング手段は、精細な絵柄のマクロブロック群ほど強くフィルタリングを施してもよい。これによって、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるので、絵柄の精細さに応じて適切にフィルタリングを施すことが可能となる。
【００３８】
また、前記フィルタリング手段は、予め定められた所定の割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施してもよい。これによって、画像符号化装置と画像復号化装置との間で割り当てルールを示す情報をやりとりしなくてよいので迅速に処理することが可能となる。
【００３９】
また、前記フィルタリング手段は、適応的な割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施してもよい。これによって、その状況に応じて最適な割り当てルールを選択することが可能となる。
【００４０】
また、前記フィルタデータ抽出手段は、割り当てのルールを示す情報を前記符号化ストリームから抽出してもよい。これによって、画像符号化装置側で決めた割り当てルールを画像復号化装置側で採用することが可能となる。
【００４１】
また、前記フィルタデータ抽出手段は、前記符号化ストリームに含まれる補助拡張情報領域から前記フィルタデータを抽出してもよい。これによって、符号化ストリームからフィルタデータを簡便に抽出することが可能となる。
【００４２】
なお、本発明は、このような画像符号化方法として実現することができるだけでなく、このような画像符号化方法が備える特徴的なステップを手段とする画像符号化装置や集積回路として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００４３】
なお、本発明は、このような画像復号化装置として実現することができるだけでなく、集積回路として実現したり、このような画像復号化装置が備える特徴的な手段をステップとする画像復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４４】
以上のように、本発明によれば、ピクチャ内の各領域が複数のグループのいずれか１つに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。
【図面の簡単な説明】
【００４５】
【図１】図１は、従来の画像符号化装置の概略ブロック図である。
【図２】図２は、従来の画像復号化装置の概略ブロック図である。
【図３】図３は、フィルタリングを施す方法を概略的に示す図である。
【図４】図４は、フィルタリングを施す方法を概略的に示す図である。
【図５】図５は、本発明における画像符号化装置の概略ブロック図である。
【図６】図６は、本発明における画像符号化装置の概略ブロック図である。
【図７】図７は、本発明における画像復号化装置の概略ブロック図である。
【図８】図８は、本発明における別の画像符号化装置の概略ブロック図である。
【図９】図９は、本発明における別の画像復号化装置の概略ブロック図である。
【図１０】図１０は、本発明における別の画像符号化装置の概略ブロック図である。
【図１１】図１１は、符号化ストリームの構成を示す図である。
【図１２】図１２は、ＳＥＩのシンタックスの一例を示す図である。
【図１３】図１３は、相互相関データにおけるシンタックスの一例を示す図である。
【図１４】図１４は、本発明における画像符号化装置の動作を示すフローチャートである。
【図１５】図１５は、本発明における画像復号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００４６】
本発明は、劣化した画像データに対して適応的にフィルタリングを施す技術に関し、特に、符号化および後続の復号化プロセス中に劣化した画像データに対して適応的にフィルタリングを施す技術に関する。現代の画像記録／伝送システムは、画像データを圧縮することによってデータ量を削減することを目的としている。このため、画像符号化装置は、記録または伝送の前に画像データを圧縮し、画像復号化装置は、再生するために圧縮データを復元する。本発明は、ハイブリッド符号化技術を採用する画像符号化装置に適用することができるが、本発明の適用対象は、画像予測を採用する画像符号化装置に限られない。すなわち、本発明は、その他のいかなる画像符号化装置にも適用することができる。
【００４７】
まず、一般的なハイブリッド符号化技術について説明する。
【００４８】
図１は、従来の画像符号化装置１００の概略ブロック図である。
【００４９】
この画像符号化装置１００は、ハイブリッド符号化技術を採用する装置であって、減算器１１０と、変換・量子化部１２０と、逆量子化・逆変換部１３０と、加算器１３５と、デブロッキングフィルタ１４０と、メモリ１５０と、面内予測部１６０と、動き補償部１６５と、動き予測部１７０と、スイッチ１８０と、エントロピー符号化部１９０とを備えている。減算器１１０は、対象画像（入力信号）と、当該対象画像の予測信号との差分（予測誤差）を算出する。対象画像の予測信号は、以前に符号化された画像に基づいて生成される。変換・量子化部１２０は、予測誤差を空間領域から周波数領域に変換し、得られた変換係数を量子化して量子化係数を出力する。エントロピー符号化部１９０は、量子化係数をエントロピー符号化する。
【００５０】
画像符号化装置１００は、入力映像シーケンスにおける後続画像との差分の伝送のみを行う差分パルスコード変調（ＤＰＣＭ）手法を採用している。これらの差分は、符号化対象の動画像から対象画像の予測画像を差し引くために、当該符号化対象の動画像を受信する減算器１１０において算出される。
【００５１】
画像符号化装置１００は、以前に符号化画像が復号化された結果（“部分的に復号化された画像”）に基づいて予測する。そのため、画像符号化装置１００に組み込まれた復号化手段は符号化ステップを逆に行う。具体的には、逆量子化・逆変換部１３０は、量子化係数を逆量子化して逆量子化係数を得、得られた逆量子化係数を逆変換する。このようにして得られた復号化差分は加算器１３５によって予測信号に付加される。
【００５２】
動き補償ＤＰＣＭは画像符号化装置１００によって行われ、対応する前のフィールドまたはフレームから対象フィールドまたはフレームが予測される。この予測は、対象フィールドまたはフレームと前のフィールドまたはフレームとの間の動き予測に基づく。動き予測は、対象フレームと前のフレームとの画素の変位を表す二次元の動きベクトルとして決定される。通常、動き予測はブロック単位で行われ、対象フレームにおけるブロックは、最も合致するブロックが特定されるまで、複数の前のフレームにおけるブロックと比較される。この比較結果に基づいて、対象フレームの各ブロックの変位ベクトルが予測されるのである。この処理は、対象入力信号と部分的に復号化された画像とを受信する動き予測部１７０によって行われる。
【００５３】
動き補償部１６５は、動き予測の結果に基づいて動き補償を行う。動き補償は、特定された動きベクトルを活用する予測である。対象ブロックと予測ブロックとの差分を表す予測誤差ブロックに含まれる情報は、その後、変換・量子化部１２０によって変換係数に変換される。一般的に、この変換には二次元離散コサイン変換（ＤＣＴ）が採用される。
【００５４】
入力画像は、Ｈ．２６４／ＡＶＣにしたがってマクロブロックに分割される。マクロブロックは、“画面内”または“画面間”符号化モードで符号化される。画面間モードでは、上述の動き補償を採用してマクロブロックが予測される。画面内モードでは、予測信号はゼロに設定されるが、Ｈ．２６４／ＡＶＣでは、後続のマクロブロックを予測するために、同一画像内の符号化マクロブロックに基づく予測方法も採用している。
【００５５】
画面内符号化画像（Ｉピクチャ）だけは、いかなる復号画像も参照することなく符号化することができる。Ｉピクチャによって符号化映像シーケンスにエラー耐性が備わる。Ｉピクチャはランダムアクセスを可能にする、すなわち、符号化動画像シーケンス内にあるＩピクチャへのアクセスを可能にする。言い換えると、Ｉピクチャは、符号化データのビットストリームへのエントリポイントとなる。面内予測部１６０による処理である画面内モードと、動き補償部１６５による処理である画面間モードとの切り替えは、画面内／画面間スイッチ１８０によって制御される。
【００５６】
図２は、従来の画像復号化装置２００の概略ブロック図である。
【００５７】
この画像復号化装置２００は、ハイブリッド符号化技術を採用する装置であって、エントロピー復号化部２１０と、逆量子化・逆変換部２２０と、加算器２３０と、デブロッキングフィルタ２４０と、メモリ２５０と、面内予測部２６０と、動き補償部２６５と、スイッチ２７０とを備えている。画像復号化装置２００側では、符号化画像を復元するために符号化プロセスが逆に行われる。
【００５８】
まず、エントロピー復号化部２１０においてエントロピー符号化が逆に行われ、量子化係数と動きデータとが得られる。量子化係数は逆量子化・逆変換部２２０に入力され、動きデータは動き補償部２６５に入力される。逆量子化・逆変換部２２０は、量子化係数に対して逆量子化を行うことによって量子化係数を周波数成分に変換し、その周波数成分に対して逆変換を行うことによって周波数成分を予測誤差に変換する。加算器２３０は、画面内モードでは、逆量子化・逆変換部２２０から出力された予測誤差に面内予測部２６０から出力された予測画像を加算することによって復号画像を生成し、画面間モードでは、逆量子化・逆変換部２２０から出力された予測誤差に動き補償部２６５から出力された予測画像を加算することによって復号画像を生成する。生成された復号画像は、デブロッキングフィルタ２４０によってフィルタリングされてもよい。また、復号画像は、面内予測部２６０および動き補償部２６５に用いられるため、メモリ２５０に格納される。
【００５９】
デブロッキングフィルタ１４０、２４０は、ブロックの境界を滑らかにしてブロック歪を取り除こうとするのみであって、その他のノイズを取り除くことも、境界以外の領域の画質を向上することも行わない。また、デブロッキングフィルタ１４０、２４０は、復号画像の内容（鮮明さや平滑さなど）に関わらず、予め定められたフィルタ係数でリニアフィルタをかけるため、その復号画像に適したフィルタリングを行うことができない。
【００６０】
そこで、復号画像データの画質をさらに改善するために、画像データを復号化した後に付加的なフィルタを適用してもよい。例えば、デブロッキングフィルタを他のフィルタに代えるか、デブロッキングフィルタの後に付加的なフィルタを採用してもよい。
【００６１】
しかしながら、復号画像データにフィルタリングを施すために同一のフィルタ係数を常に用いると、画質の向上度合いは画像内容に応じて異なることになる。したがって、画質をさらに向上させるためには、現在処理中の画像データに応じてフィルタ係数を決定してもよい。従来のフィルタは、画像全体に対して単一のフィルタ係数セットを用いるが、このフィルタ係数セットは、画像における空間的冗長性を考慮したものではありえない。
【００６２】
従来、適応的フィルタリングを施す際には、劣化した画像データが分析され、分析された画像の特性に応じてフィルタ係数が決定される。例えば、現在処理中の画像データの内容に応じて画像のエッジを強調するか平滑化されるかが決定される。このように、従来の画像復号化装置では、劣化した画像データに基づいて、適応的フィルタ係数を決定するための分析を行っている。劣化した画像データは量子化ノイズなどのエラーを含むため、この画像データに基づいて最適なフィルタ係数セットを決定することは不可能である。
【００６３】
一方、劣化していない画像データを分析すれば、画像データの符号化および後続の復号化中に失われたデータを特定することができる。そこで、本発明では、劣化していない画像データを画像符号化装置側で事前に分析しておき、その分析結果を画像復号化装置に提供する。これによって、画像復号化装置は、提供された分析結果に基づいてフィルタ係数セットを決定することができ、このように決定したフィルタ係数セットにしたがって復号画像データに適したフィルタリングを行うことが可能となる。
【００６４】
一枚の画像でも、異なる空間位置では異なる特性を有している場合がある。例えば、多くの鋭いエッジを含む領域と、平滑かつ平坦な領域とが一枚の画像に同時に含まれる場合がある。このような場合、画像内のそれぞれの領域において適した結果を得るためには、それぞれの領域ごとに異なるフィルタ係数が必要である。すなわち、一枚の完全な画像に対して単一のフィルタ係数セットのみを用いる場合、この画像内の一つの領域に対しては最適化したフィルタ係数を用いることができるが、画像全体のフィルタリングのためには、平均的なフィルタ係数セットを用いなければならない。
【００６５】
また、画像を符号化して首尾よく復号化するには、複数の画像領域（例えばマクロブロック）に画像を分割するのが通常である。したがって、個々の画像領域を合わせた際、個々の領域間の境界にある画素には、ブロック歪を避けるためにフィルタリングを施さなければならない。しかしながら、このようなフィルタリングは、個々の画像領域の境界でのみ必要である。対照的に、画像領域の中央については、エッジの強調と画質向上のために別の種類のフィルタリングを適用するのが好ましい。
【００６６】
本発明では、ピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成する。そして、割り当てたグループごとにフィルタ係数を決定して同じフィルタリング演算を施すことを特徴とする。以下、この特徴について図面を用いて詳細に説明する。
【００６７】
図３は、画素位置ごとに異なるフィルタリングを施す方法を概略的に示す図である。
【００６８】
ここでは、ピクチャ内の各画素を３つのグループＧ１〜Ｇ３のいずれか１つに割り当てている。同じ特性を有する画素群を同じグループに割り当て、同じグループに割り当てられた画素に対して同じフィルタリング演算を施す。グループの数は特に限定されるものではない。以下、各画素を複数のグループのいずれか１つに割り当てることを「画素をグループに割り当てる」とか「画素をグループ分けする」という場合がある。
【００６９】
画素をグループに割り当てるルールは特に限定されるものではない。例えば、予め定められた所定のルールに基づいて画素をグループに割り当てることも可能である。所定のルールは、画素とグループとの割り当てを示すマップとして予め用意しておくようにしてもよい。各画像に対して常に同じ割り当てをする場合は、画像符号化装置および画像復号化装置に同一のマップを予め格納しておくことができる。そうすれば、余計なデータを画像符号化装置から画像復号化装置に伝送することなく、各画素を素早く簡単に割り当てることが可能となる。
【００７０】
画素とグループとの割り当てを示す複数のマップを画像符号化装置および画像復号化装置に予め格納しておくこともできる。この場合、画像符号化装置は、対象画像データに適したマップを選択し、選択したマップを画像復号化装置に示すだけでよい。このようにすれば、画像符号化装置から画像復号化装置に伝送しなければならないデータ量をごく少量に削減することが可能である。
【００７１】
グループＧ１〜Ｇ３に対する画素の割り当ては、境界（後述する）までの空間的距離に基づいて決定してもよい。例えば、図３では境界を実線で示しているが、境界にある画素群はグループＧ１に割り当てられ、境界に対して画素ひとつ分の空間的距離を有する画素群はグループＧ２に割り当てられ、残りの画素群はグループＧ３に割り当てられる。
【００７２】
ここで、境界とは、画像の符号化単位（周波数変換単位）を示す境界である。すなわち、画像がマクロブロック単位で符号化される場合は、そのマクロブロックの各境界に対する空間的距離に基づいて画素の割り当てを決定する。この結果、符号化単位とは異なる単位でフィルタリングが施されることになる。
【００７３】
画素の割り当てルールが画像復号化装置側で知られていれば、画像復号化装置側で画像符号化装置側と同一の割り当てルールを適用することができる。そのため、画像符号化装置から画像復号化装置に特別な割り当てデータを伝送する必要はない。
【００７４】
画像復号化装置は、画像や画素の特性に応じて、各画素を適応的に割り当てるようにしてもよい。すなわち、対象画像データを分析すれば、類似した特性を有する画素群にグループ分けすることができる。したがって、画像符号化装置は、エッジが鋭い領域と、平坦な画像内容だけを含む領域とを検出し、その検出パターンに応じて画素をグループ分けしてもよい。あるいは、画像内で検出された色、輝度値／彩度値、またはその他の特徴に応じて画素をグループ分けしてもよい。
【００７５】
画素をグループに割り当てるルールは画像ごとに決定してもよい。このようにすれば、画素の割り当てルールを画像ごとに変更することができるので、非常に正確な割り当てを実現することが可能である。また、同一の割り当てルールを継続的に用いて、連続する複数の画像内の各画素を所定の単一グループへ割り当てることもできる。例えば、完全なピクチャグループ（ＧＯＰ）など所定数連続する画像のシーケンスにつき、１回だけ割り当てルールを決定する。この場合、シーンの変化が検出されるまで、または、同一のＧＯＰに属する画像が連続する期間、同一の割り当てルールを継続すればよい。
【００７６】
図３では、同じ特性を有する画素群ごとにフィルタリングを施す場合について説明したが、本発明はこれに限定されるものではない。以下、同じ特性を有するマクロブロック群ごとにフィルタリングを施す場合について説明する。
【００７７】
図４は、マクロブロック位置ごとに異なるフィルタリングを施す方法を概略的に示す図である。具体的には、図４（Ａ）では、丸が描かれたピクチャを示し、図４（Ｂ）では、そのピクチャ内の各マクロブロックが複数のグループＧ１〜Ｇ３のいずれかに割り当てられている様子を示している。もちろん、この図は概念的な図である。例えば、ピクチャ内のマクロブロックの数は、この図に示される数に限定されるものではない。
【００７８】
ここでは、丸に対応する位置のマクロブロック群はグループＧ１に割り当て、グループＧ１に隣接するマクロブロック群はグループＧ２に割り当て、その他のマクロブロック群はＧ３に割り当てている。このようにすれば、グループＧ１、Ｇ２、Ｇ３の順に強くフィルタリングが施されるようにすることによって、絵柄に応じたフィルタリングを施すことが可能となる。
【００７９】
図５は、本発明における画像符号化装置３００の概略ブロック図である。
【００８０】
この画像符号化装置３００は、変換・量子化部３２０と、フィルタデータ生成部３４０と、エントロピー符号化部３９０とを備えている。変換・量子化部３２０は、対象画像データ（入力画像）を受信すると、離散コサイン変換（ＤＣＴ）およびＤＣＴ係数の量子化を行う。フィルタデータ生成部３４０は、対象画像データを分析し、画像内の各画素を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成してエントロピー符号化部３９０へ提供する。フィルタデータは、適応的フィルタ係数を決定するための付加的なデータである。エントロピー符号化部３９０は、符号化画像データと対応するフィルタデータとを単一のビットストリームにおいて結合させ、符号化ストリームとして出力する。この結果、符号化画像データとともにフィルタデータが伝送または記録されることになる。
【００８１】
フィルタデータの態様は様々あり、特に限定されるものではない。
【００８２】
例えば、フィルタデータは、それぞれのグループに属する画素のコントラスト、明度、または色特性に関するものでもよい。赤（Ｒ）、緑（Ｇ）および青（Ｂ）や、輝度（Ｙ）および色差（Ｃｒ，Ｃｂ）のような色成分ごとに入力画像が符号化される場合は、その色成分ごとにフィルタデータを生成してもよい。これによって、色成分ごとに適切なフィルタリングを行うことができる。
【００８３】
画像データの高周波数成分と低周波数成分との特徴的な比率を演算したり、画素値の標準偏差のような統計的特性を分析したりすることもできる。この場合、フィルタデータは、対象グループの画素が鋭いエッジを含むのか、それとも平坦な画像データに関するのかを示す情報でもよい。また、対象グループにおける動きを分析することもできる。この場合、フィルタデータは、画像データにおける変化の程度や頻度を記述したものでもよいし、シーンの変化が発生した時を示すものでもよい。また、画像データを分析し、画像データのパターンや特性を特定することもできる。この場合、フィルタデータは、画像データの特性を記述する情報そのものでもよいし、画像データの特性を示すパラメータでもよい。このように、フィルタデータは、適応的フィルタの設定を可能にする情報であればいかなる情報でもよい。
【００８４】
個々のグループに属する画素に対して適応的にフィルタデータを決定する際、異なる手法を用いることが可能である。すなわち、個々の画像のグループごとに新たなフィルタデータセットを決定してもよい。例えば、新たな画像が符号化される都度、その画像内の各グループに対して新たなフィルタデータを決定することができる。また、複数の画像に対して単一のフィルタデータセットを算出してもよい。例えば、各フィルタデータセットは、ピクチャグループ（ＧＯＰ）や完全なシーンのような、連続する画像のシーケンスに対して有効である場合がある。画像データを予測的に符号化する際、符号化モード（Ｉ、Ｐ、またはＢピクチャ）に応じて、別々のフィルタデータを決定することも可能な場合がある。すなわち、同一のフィルタデータを有する複数の画像を組み合わせるルールであれば、いかなるルールを採用してもかまわない。
【００８５】
画像を別々の画像領域に分割してもよい。例えば、１枚のピクチャを複数のブロックやマクロブロックへ分割してもよい。この場合、各画像領域に対して別々のフィルタデータセットを決定することもできる。また、複数の画像領域をグループ化し、各グループの画像領域に対して単一のフィルタデータセットを決定してもよい。例えば、画像の同一スライスに属する全てのブロックを組み合わせて１つのグループにし、そのグループに対して単一のフィルタデータセットを決定することも可能である。
【００８６】
図６は、本発明における別の画像符号化装置の概略ブロック図である。
【００８７】
この画像符号化装置３０１は、劣化していない入力画像（入力信号）のみに基づいてフィルタデータを生成するだけではなく、劣化していない入力画像とその入力画像に対応する復号画像とに基づいてフィルタデータを生成することができる。すなわち、復号化手段として機能する逆量子化・逆変換部３３０を備えている。この逆量子化・逆変換部３３０は、符号化画像データに対して逆量子化および逆コサイン変換を行う。フィルタデータ生成部３４０は、劣化していない画像データとそれに対応する復号画像データとを比較し、両画像データの相関を示す相互相関データを算出する。この相互相関データは、劣化していない画像データと劣化した画像データとの差異に関する情報であれば、いかなる情報であってもよい。
【００８８】
割り当てルールを示す情報（例えば、ピクチャ内の各画素とグループＧ１、Ｇ２、Ｇ３との割り当てルールを示す情報）が画像復号化装置に予め格納されていない場合、画像符号化装置は、割り当てルールを示す情報を符号化画像データに付加する等して、画像復号化装置に現状の割り当てルールを提供しなければならない。割り当てルールを示す情報の具体的態様は様々あり、特に限定されるものではない。例えば、割り当てルールを示す情報は、予め格納された割り当てマップを選択したことを示す情報であってもよいし、あるいは、特定の画素を所定のグループへ割り当てるための所定のルールが選択されたことを示す情報であってもよい。
【００８９】
画像符号化装置は、グループへの割り当てを示すマップを生成してもよい。このマップは、画像内の各画素を特定のグループへ割り当てることを示してもよいし、ブロックなどの画像領域に対する割り当てのみを示してもよい。マップは、符号化画像データに付加されて画像復号化装置に伝送される。これによって、マップを受信した画像復号化装置は、画像符号化装置と同一の画素の割り当てを行うことができる。
【００９０】
フィルタデータおよび／または割り当てルールを示す情報（以下、一括して「付加データ」という。）を符号化画像データとともに画像復号化装置に提供するために、単一のビットストリームが生成される。例えば、付加データは、符号化画像データシーケンスのヘッダへ挿入され、画像復号化装置に提供される。
【００９１】
付加データは、符号化画像データとは別に画像復号化装置に提供されてもよい。例えば、符号化画像データをパケットに分割して伝送する場合、符号化画像データのデータパケット間に付加データを挿入してもよい。符号化画像データパケットは従来のデータフォーマットにしたがっている。そのため、画像復号化装置は、付加データを扱うことはできなくても画像データを復号化することはできる。この場合、画像復号化装置は、画像データ間に挿入された付加データを廃棄し、従来のように画像データを復号化することになる。なお、付加データは、Ｈ．２６４／ＡＶＣにおける補助拡張情報であるＳＥＩとして伝送されてもよい。この点については後に詳しく説明する。
【００９２】
図７は、本発明における画像復号化装置の概略ブロック図である。
【００９３】
この画像復号化装置４００は、エントロピー復号化部４１０と、逆量子化・逆変換部４２０と、フィルタ係数決定部４３０と、適応的フィルタ４４０とを備えている。エントロピー復号化部４１０は、符号化画像データからフィルタデータを抽出し、抽出したフィルタデータをフィルタ係数決定部４３０に提供する。対象画像の各画素は、複数のグループのいずれか１つに割り当てられている。この割り当てでは、既知の割り当てルールが適用されるか、符号化画像データに含まれる適応的な割り当てルールが適用される。フィルタ係数決定部４３０は、抽出されたフィルタデータに基づいてグループごとにフィルタ係数を決定し、決定したフィルタ係数を適応的フィルタ４４０に提供する。これによって、適応的フィルタ４４０は、提供されたフィルタ係数に基づいて各グループの復号画像データにフィルタリングを施す。
【００９４】
全てのグループのフィルタ係数を画像符号化装置側で決定して符号化画像データに挿入するようにしてもよい。このようにすれば、フィルタ係数は画像符号化装置側で一度だけ演算すればよいので、各画像復号化装置側でフィルタ係数を別々に演算する必要がなくなり、フィルタの設定を簡略化することが可能となる。
【００９５】
フィルタ係数を決定するための基本情報だけをフィルタデータとして画像データに挿入し、このフィルタデータに基づいて各画像復号化装置がフィルタ係数を別々に決定するようにしてもよい。このようにすれば、画像復号化装置の個々の演算リソースを考慮することができる。例えば、画像復号化装置が携帯端末である場合は、遅いプロセッサと小さなディスプレイしか備えていないことがあるため、少数のフィルタ係数を用いてフィルタ演算を行うことが可能となる。他方、大きなディスプレイに画像データを出力する高級な画像復号化装置は、早く力強いフィルタプロセッサを備えている場合があるので、このような場合は、より多くのフィルタ係数を決定し、より複雑なフィルタ演算を行うことが可能となる。同一の画像復号化装置でも、異なるフィルタ演算を行う場合がある。例えば、省電力モードでは、ごく少数のフィルタ係数が決定されるようにし、高品質モードでは、より多くのフィルタ係数が決定されるようにするのが好ましい。
【００９６】
画像復号化装置がフィルタ係数を決定する方法は様々あり、特に限定されるものではない。例えば、画像復号化装置に複数のフィルタ係数セットを格納しておき、その中からフィルタデータに応じたフィルタ係数を選択するようにしてもよい。例えば、画像が平坦であることをフィルタデータが示している場合は、復号画像データを平滑化するためのフィルタ係数を選択する。他方、画像が精細であることをフィルタデータが示している場合は、画像のエッジを鋭くするためのフィルタ係数を選択する。
【００９７】
フィルタ係数を選択する基準も様々あり、特に限定されるものではない。例えば、画像中の動き、統計的特性、高周波成分と低周波成分との比率、その他の基準に応じてフィルタ係数を選択することもできる。あるいは、現在処理中の画像シーケンスのジャンルに応じてフィルタ係数を選択することもできる。例えば、スポーツ、ニュース、ドキュメンタリー、音楽フィルムごとに異なるフィルタ係数を選択してもよい。また、高周波成分と低周波成分との比率、コントラスト、明度、画像の統計的特性ごとに異なるフィルタ係数を選択してもよい。
【００９８】
既に説明した通り、画像符号化装置は、劣化していない画像データと、それに対応する復号画像データとを比較してフィルタデータを生成することができる。この場合、画像復号化装置は、劣化していない画像データと、それに対応する復号画像データとの差異を最小限にするフィルタ係数を決定することができる。すなわち、フィルタデータは、復号画像データと劣化していない画像データとの差異を最小限にするためのヒントということができる。言い換えると、劣化していない画像データと、それに対応する復号画像データとの相関を示す相互相関データが画像符号化装置側で演算された場合、その相互相関データは、画像復号化装置側でフィルタ係数を演算するための根拠として用いることができる。
【００９９】
例えば、相互相関データがフィルタデータとして伝送された場合、画像復号化装置は、この相互相関データに基づいて適応的にウィナーフィルタリングを実行することができる。ここでは、相互相関データをフィルタデータとしているが、劣化した画像データと劣化していない画像データとの差異を示す情報であれば、いかなる情報をフィルタデータとしてもよい。また、ウィナーフィルタを例示しているが、復号画像データのフィルタリングのために用いられるフィルタであれば、他のフィルタを採用することも可能である。
【０１００】
以下、ウィナーフィルタについて詳細に説明する。
【０１０１】
ウィナーフィルタのフィルタパラメータｗは、自己相関行列Ｒと相互相関ベクトル（相互相関データ）ｐとを用いて（数１）のように示される。なお、自己相関行列ＲがＭ×Ｍ個（Ｍは自然数）の要素からなる行列であって、相互相関ベクトルｐがＭ×１個の要素からなるベクトルである場合、フィルタパラメータｗは、Ｍ個のフィルタ係数からなる行列として示される。また、Ｒ-1は自己相関行列Ｒの逆行列である。
【０１０２】
【数１】
2008084745.tif 000024
【０１０３】
ウィナーフィルタのフィルタパラメータｗは、フィルタリング対象の画像に対して畳み込み処理を行うことによってフィルタリングを行なうものであり、例えば（数２）に示すように、２次元の３×３タップフィルタであれば９つのフィルタ係数を有する。
【０１０４】
【数２】
2008084745.tif 000025
【０１０５】
（数２）に示すような３×３個のフィルタ係数を有するフィルタパラメータｗを算出する場合、（数３）に示すように、自己相関行列Ｒは９×９個の要素を有する。
【０１０６】
【数３】
2008084745.tif 000026
【０１０７】
また、（数２）に示すような３×３個のフィルタ係数を有するフィルタパラメータｗを算出する場合、（数４）に示すように、相互相関ベクトルｐは９×１個の要素を有する。
【０１０８】
【数４】
2008084745.tif 000027
【０１０９】
相互相関ベクトルｐは入力画像と局所復号画像Ｒｃとを用いて推定され、自己相関行列Ｒは局所復号画像Ｒｃのみを用いて推定される。そして、（数１）の行列演算を行なうことによって、例えば（数５）にあるような３×３個からなるフィルタパラメータｗが得られる。
【０１１０】
【数５】
2008084745.tif 000028
【０１１１】
例えば、画像に対して得られたフィルタパラメータｗを用いてフィルタリング処理を行う場合は、（数６）に示す行列演算が行われる。つまり、その画像においてフィルタリングの対象となる画素の画素値（２２９）と、その画素の周辺にある複数の画素の画素値（１９２，２２５，２２５など）とからなる行列が生成される。そして、その複数の画素値からなる行列と上述のフィルタパラメータｗとの積が算出される。このようなフィルタリング演算（行列演算）の結果、上述の画素の画素値（２２９）は、２２７．４７となる。
【０１１２】
【数６】
2008084745.tif 000029
【０１１３】
なお、フィルタリング演算の結果を示す画素値の２２７．４７は、小数点以下が切り捨てられることによって、２２７とされる。
【０１１４】
符号化ストリームを取得した画像復号化装置は、その符号化ストリームから相互相関データ（相互相関ベクトル）ｐを抽出し、抽出した相互相関データｐに基づいて上述のウィナーフィルタを利用することができる。すなわち、画像復号化装置は、符号化ストリームを復号化することによって復号画像を生成し、その復号画像から自己相関行列Ｒを生成する。このようにすれば、（数１）に示すように、自己相関行列Ｒと相互相関ベクトルｐとを用いてウィナーフィルタのフィルタパラメータｗを算出することができる。
【０１１５】
その結果、画像復号化装置は、（数６）に示すように、フィルタパラメータｗを用いて復号画像の各画素に対してフィルタリング演算を施す。これによって、復号画像に含まれるブロック歪や量子化ノイズなどのノイズを取り除くことができ、復号画像の画質を入力画像の画質に近づけることが可能となる。
【０１１６】
つまり、入力画像が符号化されてさらに復号化されると、その符号化および復号化によってブロック歪や量子化ノイズなどが復号画像に含まれるので、復号画像の画質は入力画像の画質に比べて劣化する。ウィナーフィルタは、この復号画像に対してフィルタをかけて得られる画像と入力画像との差分（画素値の差分の二乗平均値）が最小となるように設計されている。したがって、復号画像に対してウィナーフィルタによるフィルタをかけることによって、その復号画像を元の入力画像に確実に近づけることができるのである。
【０１１７】
なお、上述の例では、フィルタパラメータｗを構成するフィルタ係数の数（タップ数）を３×３個としたが、フィルタ係数の数は任意であって、７×７個であってもよい。また、フィルタパラメータｗを２次元の行列としたが、１次元の行列としてもよい。また、フィルタ係数の数が多ければ多いほどフィルタリングの精度を向上することができる。
【０１１８】
上述の例では、適応的フィルタは、追加的な事後処理フィルタとして用いられる。適応的フィルタリングは、すべての復号画像データに適用することもできるし、特定の画像だけに適用することもできる。例えば、フィルタデータには、適応的フィルタリングが対象画像データに適用されるべきかどうかを示す情報が含まれてもよい。複数の符号化モードを提供するシステムでは、対象符号化モードに応じて異なるフィルタリングを適用することも可能である。
【０１１９】
例えば、予測画像の符号化／復号化システムに本発明を適用してもよい。この場合は、画面内符号化画像にのみフィルタリングを施してもよい。また、画面内符号化データと画面間符号化データとで異なるフィルタデータを生成するようにしてもよい。以下、予測画像の符号化／復号化システムに本発明を適用する場合について詳しく説明する。
【０１２０】
図８は、本発明における別の画像符号化装置３０２の概略ブロック図である。
【０１２１】
この画像符号化装置３０２は、後続画像との差分のみを伝送するための差分パルスコード変調（ＤＰＣＭ）手法を採用する装置であり、復号化手段として機能する逆量子化・逆変換部３３０を備えている。この場合、原画データと復号化データとの比較に基づいてフィルタデータを決定するために逆量子化・逆変換部３３０の出力を用いてもよい。
【０１２２】
図９は、本発明における別の画像復号化装置４０２の概略ブロック図である。
【０１２３】
この画像復号化装置４０２は、図８の画像符号化装置に対応する画像復号化装置である。復号画像データは、以前に復号化された画像データと予測画像復号化手法とを用いることによって得ることができる。ここで、エントロピー復号化部４１０は、符号化画像データからフィルタデータを抽出してフィルタ係数決定部４３０に提供する。フィルタ係数決定部４３０は、提供されたフィルタデータに基づいてフィルタ係数を決定して適応的フィルタ４４０に提供する。適応的フィルタ４４０は、提供されたフィルタ係数を用いて復号画像データにフィルタリングを施し、フィルタリング済みの画像データを出力する。
【０１２４】
以上説明したように、本発明では、ピクチャ内の各領域が複数のグループのいずれか１つに割り当てられ、割り当てられたグループごとにフィルタデータが生成されるので、領域ごとに特性が異なるピクチャについても適切にフィルタリングを施すことが可能となる。具体的には、画像符号化装置は、各画素の空間的位置に基づいて各画素を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成する。これによって、画像復号化装置は、フィルタデータに基づいてグループごとに別々にフィルタリングを施すことが可能となる。
【０１２５】
従来、画像復号化装置では原画データを利用することができなかったため、適応的フィルタ係数を決定するために符号化画像データのみを利用していた。しかしながら、この復号画像データには量子化ノイズのような雑音が含まれているという問題がある。それに対して、本発明では、劣化していない画像データに基づいてフィルタデータを生成することができる。しかも、このフィルタデータは、各画素の空間的位置に応じて生成されるので、各画素の空間的位置に応じて適応的にフィルタリングを施すことが可能となる。
【０１２６】
以下、図面を用いて、本発明の実施の形態を更に詳しく説明する。
【０１２７】
（画像符号化装置の変形例）
図１０は、本発明における別の画像符号化装置３００の概略ブロック図である。
【０１２８】
前記の説明では、本発明における画像符号化装置３００の概略ブロック図として図５を例示したが、この図１０に示されるように、入力された原画像から特徴量を抽出し、その特徴量に応じたフィルタデータを生成する構成を採用することも可能である。減算器３１０と、変換・量子化部３２０と、逆量子化・逆変換部３３０と、加算器３３５と、メモリ３５０と、面内予測部３６０と、動き補償部３６５と、動き予測部３７０と、スイッチ３８０と、エントロピー符号化部３９０の機能については、図１における各部の機能と同様であるため、ここでは詳しい説明を省略する。
【０１２９】
（符号化ストリーム）
既に説明した通り、相互相関データｐは、符号化されたピクチャのヘッダであるＳＥＩに挿入される。以下、この点について、図１１〜図１３を用いて詳しく説明する。
【０１３０】
図１１は、符号化ストリームＳｔｒの構成を示す図である。
【０１３１】
符号化ストリームＳｔｒは、符号化された複数のピクチャを１つのグループとするＧＯＰを複数含んでいる。ＧＯＰは、そのＧＯＰに含まれる全てのピクチャの復号化に利用される複数のパラメータからなるＳＰＳ（シーケンスパラメータセット）と、複数のピクチャとを含んでいる。ピクチャは、先頭から順に、そのピクチャの復号化に利用される複数のパラメータからなるＰＰＳ（ピクチャパラメータセット）と、補助拡張情報であるＳＥＩと、そのＳＥＩを利用して復号化される１つまたは複数のスライスとを含んでいる。また、ピクチャは、上述のＳＥＩと１つまたは複数のスライスとからなる組を１組または複数組含んでいる。ここで、例えば１つのピクチャに対して１つのＳＥＩが割り当てられる場合、エントロピー符号化部３９０は、その１つのピクチャ内の各領域に割り当てられたグループごとに相互相関データｐを対応付けてＳＥＩに挿入する。この場合、グループごとに別々の相互相関データｐを利用することができる。
【０１３２】
図１２は、ＳＥＩのシンタックスの一例を示す図である。
【０１３３】
ＳＥＩには、ペイロードタイプに応じて必要とされる情報が挿入される。例えば、ペイロードタイプが２２のときは、相互相関データｐがＳＥＩの付加データフィールドに挿入される。すなわち、相互相関データｐは、オプショナルなポストフィルタヒントとしてＳＥＩに挿入される。その結果、本発明における画像復号化装置は、その符号化ストリームＳｔｒのＳＥＩに含まれる相互相関データｐを抽出することによって、ウィナーフィルタによるフィルタリングを行うことができる。また、従来の画像復号化装置が本発明における符号化ストリームＳｔｒを取得しても、その符号化ストリームＳｔｒのＳＥＩに含まれる相互相関データｐを読み飛ばすことができ、従来通りの方法で復号化を行うことができる。すなわち、本発明における符号化ストリームＳｔｒは、従来の符号化ストリームＳｔｒと互換性を有する。
【０１３４】
図１３は、相互相関データｐにおけるシンタックスの一例を示す図である。
【０１３５】
相互相関データｐを示す情報として、その行列ｐに含まれる要素の数（number_of_elements）と、要素に対する重み（scaling_factor）と、それぞれの要素の値（filter_hint[element]）とがＳＥＩに挿入される。なお、画像復号化装置では、相互相関データｐの各要素の値は、scaling_factorの示す重みで除算されて利用される。
【０１３６】
（画像符号化装置の動作）
図１４は、本発明における画像符号化装置３０２（図８参照）の動作を示すフローチャートである。以下、図１４を用いて本画像符号化装置３０２の動作について説明する。
【０１３７】
まず、画像符号化装置３０２は、入力画像を取得し（ステップＳ１００）、その入力画像を符号化することによって量子化係数を生成する（ステップＳ１０２）。次いで、その量子化係数を復号化することによって局所復号画像を生成する（ステップＳ１０４）。
【０１３８】
ここで、画像符号化装置３０２は、入力画像と、その入力画像に対応する局所復号画像とから相互相関データｐを生成する（ステップＳ１０６）。この相互相関データｐは、ピクチャ内の各領域に割り当てられたグループごとに生成される。
【０１３９】
その後、画像符号化装置３０２は、相互相関データｐと量子化係数とをエントロピー符号化することによって、その相互相関データｐを含む符号化ストリームＳｔｒを生成する（ステップＳ１０８）。すなわち、符号化された入力画像を含む符号化ストリームＳｔｒに相互相関データｐが挿入されることになる。
【０１４０】
最後に、符号化ストリームＳｔｒを出力する（ステップＳ１１０）。
【０１４１】
なお、画像符号化装置３０２のエントロピー符号化部３９０は、符号化されたピクチャなどの画像領域のうち何れの画像領域に対してフィルタをかけるべきかを示す識別情報を符号化ストリームＳｔｒに相互相関データｐとともに挿入してもよい。これによって、画像復号化装置は、その識別情報の示す画像領域（Ｉピクチャ、Ｐピクチャ、およびＢピクチャなど）に対してのみウィナーフィルタをかけることができる。
【０１４２】
（画像復号化装置の動作）
図１５は、本発明における画像復号化装置４０２（図９参照）の動作を示すフローチャートである。以下、図１５を用いて本画像復号化装置４０２の動作について説明する。
【０１４３】
まず、画像復号化装置４０２は、符号化ストリームＳｔｒを取得し（ステップＳ２００）、その符号化ストリームＳｔｒをエントロピー復号化して、エントロピー復号化された符号化ストリームＳｔｒから相互相関データｐを抽出する（ステップＳ２０２）。
【０１４４】
次いで、画像復号化装置４０２は、エントロピー復号化された符号化ストリームＳｔｒを復号化することによって復号画像を生成する（ステップＳ２０４）。具体的には、符号化ストリームＳｔｒに含まれる量子化係数に対して逆量子化および逆直交変換を行い、さらに予測画像を加算することによって復号画像を生成する。
【０１４５】
次いで、画像復号化装置４０２は、復号画像に基づいて自己相関データＲを生成し（ステップＳ２０６）、ステップＳ２０２で抽出した相互相関データｐと自己相関データＲとに応じたウィナーフィルタのフィルタパラメータｗを算出する（ステップＳ２０８）。そして、算出したフィルタパラメータｗを用いて復号画像にフィルタリングを施し（ステップＳ２１０）、フィルタリングが施された復号画像を出力する（ステップＳ２１２）。
【産業上の利用可能性】
【０１４６】
本発明の画像符号化装置および画像復号化装置は、復号画像データの画質を向上させることができるという効果を奏し、例えばデジタルビデオカメラや、動画像を扱う携帯電話、パーソナルコンピュータなどに適用することができる。
【符号の説明】
【０１４７】
３００  画像符号化装置
３２０  変換・量子化部
３４０  フィルタデータ生成部
３９０  エントロピー符号化部
４００  画像復号化装置
４１０  エントロピー復号化部
４２０  逆量子化・逆変換部
４３０  フィルタ係数決定部
４４０  適応的フィルタ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を符号化する画像符号化方法であって、
前記入力画像を符号化して符号化画像を生成する符号化ステップと、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、
前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップと
を含むことを特徴とする画像符号化方法。
【請求項２】
前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、
前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像とに基づいて前記フィルタデータを生成する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記画像符号化方法は、さらに、前記符号化ステップで生成された符号化画像を復号化して復号画像を生成する復号化ステップを含み、
前記フィルタデータ生成ステップでは、前記入力画像とその入力画像に対応する復号画像との間の相関を示す相互相関データを前記フィルタデータとして生成する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項４】
前記フィルタデータ生成ステップでは、符号化単位とは異なる単位でフィルタリングが施されるように、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項５】
前記フィルタデータ生成ステップでは、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群を同じグループに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項６】
前記フィルタデータ生成ステップでは、符号化単位であるブロック内の画素位置に応じてグループを割り当てる
ことを特徴とする請求項５に記載の画像符号化方法。
【請求項７】
前記フィルタデータ生成ステップでは、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングが施されるようにグループを割り当てる
ことを特徴とする請求項６に記載の画像符号化方法。
【請求項８】
前記フィルタデータ生成ステップでは、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群を同じグループに割り当てる
ことを特徴とする請求項５に記載の画像符号化方法。
【請求項９】
前記フィルタデータ生成ステップでは、精細な絵柄のマクロブロック群ほど強くフィルタリングが施されるようにグループを割り当てる
ことを特徴とする請求項８に記載の画像符号化方法。
【請求項１０】
前記フィルタデータ生成ステップでは、予め定められた所定の割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１１】
前記フィルタデータ生成ステップでは、適応的な割り当てルールに基づいて、前記ピクチャ内の各領域を複数のグループのいずれか１つに割り当てる
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１２】
前記出力ステップでは、割り当てルールを示す情報を前記符号化ストリームに含めて出力する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１３】
前記出力ステップでは、前記符号化ストリームに含まれる補助拡張情報領域に前記フィルタデータを挿入する
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項１４】
符号化画像を復号化する画像復号化装置であって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化手段と、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出手段と、
前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施すフィルタリング手段と
を備えることを特徴とする画像復号化装置。
【請求項１５】
前記画像復号化装置は、さらに、前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいてフィルタ係数を決定するフィルタ係数決定手段を備え、
前記フィルタリング手段は、前記フィルタ係数決定手段によって決定されたフィルタ係数に基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項１６】
前記フィルタデータ抽出手段は、前記復号画像とその復号画像に対応する符号化されていない画像との間の相関を示す相互相関データを前記フィルタデータとして抽出し、
前記フィルタ係数決定手段は、前記復号画像内の相関を示す自己相関データを算出し、前記自己相関データと前記相互相関データとを用いて前記フィルタ係数を決定する
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項１７】
前記フィルタリング手段は、前記ピクチャ内の各画素の位置に基づいて、同じ特性を有する画素群については同じフィルタデータに基づいてフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項１８】
前記フィルタリング手段は、符号化単位であるブロック内の画素位置に応じてフィルタリングを施す
ことを特徴とする請求項１７に記載の画像復号化装置。
【請求項１９】
前記フィルタリング手段は、符号化単位であるブロックの境界に近い画素群ほど強くフィルタリングを施す
ことを特徴とする請求項１８に記載の画像復号化装置。
【請求項２０】
前記フィルタリング手段は、前記ピクチャ内の各マクロブロックの位置に基づいて、同じ特性を有するマクロブロック群については同じフィルタデータに基づいてフィルタリングを施す
ことを特徴とする請求項１７に記載の画像復号化装置。
【請求項２１】
前記フィルタリング手段は、精細な絵柄のマクロブロック群ほど強くフィルタリングを施す
ことを特徴とする請求項２０に記載の画像復号化装置。
【請求項２２】
前記フィルタリング手段は、予め定められた所定の割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２３】
前記フィルタリング手段は、適応的な割り当てルールに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施す
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２４】
前記フィルタデータ抽出手段は、割り当てのルールを示す情報を前記符号化ストリームから抽出する
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２５】
前記フィルタデータ抽出手段は、前記符号化ストリームに含まれる補助拡張情報領域から前記フィルタデータを抽出する
ことを特徴とする請求項１４に記載の画像復号化装置。
【請求項２６】
入力画像を符号化する画像符号化装置であって、
前記入力画像を符号化して符号化画像を生成する符号化手段と、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成手段と、
前記符号化手段によって生成された符号化画像と、前記フィルタデータ生成手段によって生成されたフィルタデータとを含む符号化ストリームを出力する出力手段と
を備えることを特徴とする画像符号化装置。
【請求項２７】
符号化画像を復号化する画像復号化方法であって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化ステップと、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出ステップと、
前記フィルタデータ抽出ステップで抽出されたフィルタデータに基づいて、前記復号化ステップで生成された復号画像にフィルタリングを施すフィルタリングステップと
を含むことを特徴とする画像復号化方法。
【請求項２８】
入力画像を符号化するための画像符号化プログラムであって、
前記入力画像を符号化して符号化画像を生成する符号化ステップと、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成ステップと、
前記符号化ステップで生成された符号化画像と、前記フィルタデータ生成ステップで生成されたフィルタデータとを含む符号化ストリームを出力する出力ステップと
をコンピュータに実行させるための画像符号化プログラム。
【請求項２９】
符号化画像を復号化するためのプログラムであって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化ステップと、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出ステップと、
前記フィルタデータ抽出ステップで抽出されたフィルタデータに基づいて、前記復号化ステップで生成された復号画像にフィルタリングを施すフィルタリングステップと
をコンピュータに実行させるための画像復号化プログラム。
【請求項３０】
入力画像を符号化する集積回路であって、
前記入力画像を符号化して符号化画像を生成する符号化手段と、
前記入力画像に含まれるピクチャ内の各領域を複数のグループのいずれか１つに割り当て、割り当てたグループごとにフィルタデータを生成するフィルタデータ生成手段と、
前記符号化手段によって生成された符号化画像と、前記フィルタデータ生成手段によって生成されたフィルタデータとを含む符号化ストリームを出力する出力手段と
を備えることを特徴とする集積回路。
【請求項３１】
符号化画像を復号化する集積回路であって、
符号化ストリームに含まれる符号化画像を復号化して復号画像を生成する復号化手段と、
前記符号化ストリームから、ピクチャ内の領域に割り当てられた複数のグループごとにフィルタデータを抽出するフィルタデータ抽出手段と、
前記フィルタデータ抽出手段によって抽出されたフィルタデータに基づいて、前記復号化手段によって生成された復号画像にフィルタリングを施すフィルタリング手段と
を備えることを特徴とする集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008084745.tif 000030
【図２】
2008084745.tif 000031
【図３】
2008084745.tif 000032
【図４】
2008084745.tif 000033
【図５】
2008084745.tif 000034
【図６】
2008084745.tif 000035
【図７】
2008084745.tif 000036
【図８】
2008084745.tif 000037
【図９】
2008084745.tif 000038
【図１０】
2008084745.tif 000039
【図１１】
2008084745.tif 000040
【図１２】
2008084745.tif 000041
【図１３】
2008084745.tif 000042
【図１４】
2008084745.tif 000043
【図１５】
2008084745.tif 000044
【国際調査報告】
2008084745.tif 000045
2008084745.tif 000046
2008084745.tif 000047
2008084745.tif 000048