(57)【要約】  多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置を提供する。この装置は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタ（６００）を含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
2011510561.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを備え、前記ピクチャデータは前記ピクチャの様々な副格子サンプリングを含み、前記フィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられることを特徴とする装置。
【請求項２】
前記スパーシティベースフィルタリング閾値は、空間的に変えられることを特徴とする請求項１に記載の装置。
【請求項３】
前記スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも１つに応じて変えられることを特徴とする請求項２に記載の装置。
【請求項４】
複数のクラスに対応するクラスマップが作成され、前記複数のクラスのそれぞれに関して個々の閾値が選択され、前記複数のクラスのそれぞれは１組の特定の符号化条件に対応することを特徴とする請求項１に記載の装置。
【請求項５】
前記スパーシティベースフィルタリング閾値は、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも１つを使用して符号化され、前記平均閾値の値は、少なくとも１つの符号化設定、少なくとも１つの符号化プロファイル、および少なくとも１つの量子化パラメータのうちの少なくとも１つに依存し、前記均一符号化値および前記差分値のうちの少なくとも１つは、均一符号、可変長符号、および算術符号のうちの少なくとも１つを使用して符号化されることを特徴とする請求項１に記載の装置。
【請求項６】
少なくとも１つの高レベル構文要素を使用して、フィルタリング閾値情報が符号化映像ビットストリーム内で伝送されることを特徴とする請求項１に記載の装置。
【請求項７】
前記スパーシティベースフィルタは、前記ピクチャデータのループ内処理およびループ外処理のうちの少なくとも１つに備えて構成されることを特徴とする請求項１に記載の装置。
【請求項８】
前記スパーシティベースフィルタは、映像符号器および映像復号器のうちの少なくとも１つに含まれることを特徴とする請求項１に記載の装置。
【請求項９】
前記スパーシティベースフィルタリング閾値は、前記ピクチャデータまたは前記ピクチャデータの一部分に対応しているピクチャ全体に選択的に適用されることを特徴とする請求項１に記載の装置。
【請求項１０】
前記スパーシティベースフィルタリング閾値は、独立にまたは一緒に適応されることを特徴とする請求項９に記載の装置。
【請求項１１】
前記スパーシティベースフィルタが行うスパーシティベースフィルタリング操作は、結合、適応化、有効化、無効化のうちの少なくとも１つが可能であることを特徴とする請求項１に記載の装置。
【請求項１２】
前記スパーシティベースフィルタは、映像符号器に含まれ、前記アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかが、少なくとも１つの高レベル構文要素を使用して、対応する復号器に信号で伝えられることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記スパーシティベースフィルタは、映像復号器に含まれ、前記アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかが、少なくとも１つの高レベル構文要素から明らかにされることを特徴とする請求項１１に記載の装置。
【請求項１４】
ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含み、前記ピクチャデータは前記ピクチャの様々な副格子サンプリングを含み、前記フィルタリングのためのスパーシティベースフィルタリング閾値は時間的に変えられることを特徴とする方法。
【請求項１５】
前記スパーシティベースフィルタリング閾値は、空間的に変えられることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも１つに応じて変えられることを特徴とする請求項１５に記載の方法。
【請求項１７】
複数のクラスに対応するクラスマップを作成するステップと、
前記複数のクラスのそれぞれに関して個々の閾値を選択するステップであって、前記複数のクラスのそれぞれは１組の特定の符号化条件に対応している個々の閾値を選択するステップと
をさらに含むことを特徴とする請求項１４に記載の方法。
【請求項１８】
前記スパーシティベースフィルタリング閾値を、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも１つを使用して符号化するステップをさらに含み、前記平均閾値の値は、少なくとも１つの符号化設定、少なくとも１つの符号化プロファイル、および少なくとも１つの量子化パラメータのうちの少なくとも１つに依存し、前記均一符号化値および前記差分値のうちの少なくとも１つは、均一符号、可変長符号、および算術符号のうちの少なくとも１つを使用して符号化されることを特徴とする請求項１４に記載の方法。
【請求項１９】
少なくとも１つの高レベル構文要素を使用して、フィルタリング閾値情報を符号化映像ビットストリーム内で伝送するステップをさらに含むことを特徴とする請求項１４に記載の方法。
【請求項２０】
前記スパーシティベースフィルタリングを、前記ピクチャデータのループ内処理およびループ外処理のうちの少なくとも１つに備えて構成するステップをさらに含むことを特徴とする請求項１４に記載の方法。
【請求項２１】
前記スパーシティベースフィルタリングは、映像符号器および映像復号器のうちの少なくとも１つにおいて行われることを特徴とする請求項１４に記載の方法。
【請求項２２】
前記スパーシティベースフィルタリング閾値は、前記ピクチャデータまたは前記ピクチャデータの一部分に対応しているピクチャ全体に選択的に適用されることを特徴とする請求項１４に記載の方法。
【請求項２３】
前記スパーシティベースフィルタリング閾値は、独立にまたは一緒に適応されることを特徴とする請求項２２に記載の方法。
【請求項２４】
前記スパーシティベースフィルタリングのステップは、前記ピクチャデータに少なくとも１つのスパーシティベースフィルタリング操作を適用するステップを含み、前記少なくとも１つのスパーシティベースフィルタリング操作は、結合、適応化、有効化、無効化のうちの少なくとも１つが可能であることを特徴とする請求項１４に記載の方法。
【請求項２５】
前記スパーシティベースフィルタリングは映像符号器において行われ、前記方法は、前記アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかを、少なくとも１つの高レベル構文要素を使用して、対応する復号器に信号で伝えるステップをさらに含むことを特徴とする請求項２４に記載の方法。
【請求項２６】
前記スパーシティベースフィルタリングは映像復号器において行われ、前記方法は、前記アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかを、少なくとも１つの高レベル構文要素から明らかにするステップをさらに含むことを特徴とする請求項２４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、一般に映像の符号化および復号に関し、より詳細には、多格子スパーシティベースフィルタリング（ｍｕｌｔｉ−ｌａｔｔｉｃｅ  ｓｐａｒｓｉｔｙ−ｂａｓｅｄ  ｆｉｌｔｅｒｉｎｇ）を使用する、アーチファクト除去（ｄｅ−ａｒｔｉｆａｃｔ）フィルタリングのための方法および装置に関する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、参照により本明細書にその全体が組み込まれている、２００８年１月１４日に出願された米国特許仮出願第６１／０２０，９４０号明細書（整理番号ＰＵ０８０００５）の利益を主張するものである。
【０００３】
映像符号化標準は、概して（例えばＤＣＴとも呼ばれる離散コサイン変換などだが、これだけに限定されない）ブロックベース変換、および動き補償を使用して圧縮効率を得る。変換係数を粗く量子化すること、および動き補償予測において近隣ブロックが様々な参照位置または様々な参照ピクチャを使用することは、エッジ、テクスチャ周りの歪みやブロックの不連続性など、視覚的に邪魔なアーチファクト(アーティファクトともいう)を引き起こす可能性がある。
【０００４】
圧縮アーチファクトを減少させ、復号映像信号の質を高めるために、映像の符号化においてフィルタリング方策が一般に適用される。ＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）ＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４）Ｐａｒｔ１０  ＡＶＣ（高度映像符号化：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）標準／ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）Ｈ．２６４勧告（本明細書では以下「ＭＰＥＧ−４  ＡＶＣ標準」とする）では、適応デブロッキングフィルタを導入して、第１の従来技術の手法に関して説明した、ブロック境界に沿って生じるアーチファクトを抑制する。より具体的には、第２の従来技術の手法および第３の従来技術の手法に関して説明したような、ブロックの不連続性についてのアーチファクトだけでなく、画像特異点（ｓｉｎｇｕｌａｒｉｔｉｅｓ）（例えばエッジおよび／またはテクスチャ）周りのアーチファクトも、これらのアーチファクトが現れ得る場合はいつでも抑制するために、アーチファクト除去手法が提案されている。しかし、性能を最大限にするために、そして第２の従来技術の手法によれば、アーチファクト除去フィルタは、映像符号化手順によって課せられる局所符号化条件を考慮しなければならない。例えば、単一フレーム内で、ＭＰＥＧ−４  ＡＶＣ標準は、互いに異なる量子化雑音統計および対応するフィルタリング要求をそれぞれが前提とする、様々な予測モード（イントラ、インター、スキップ等）を提供する。さらに、時間的な信号変動および時系列でみた場合のピクチャコンテンツの変化は、そのピクチャ内に存在する量子化雑音の統計に影響を与える場合がある。
【０００５】
したがって、映像の符号化において一般的に適用される、圧縮アーチファクトを減らし、復号映像信号の質を高めるためのこのフィルタリング方策に関して、適用されるフィルタは後処理段階に導入することができ、またはハイブリッド映像符号器／復号器のループ内に統合することができる。後処理段階のとき、このフィルタは符号化ループの外側（ループ外）で機能し、参照フレームに影響を及ぼさない。したがって、復号器は、必要とみなされるときに自由に後処理段階を使用することができる。その一方で、符号化ループの中（ループ内）に適用される場合、このフィルタはピクチャを改善することができ、そのピクチャは後に参照フレームとして使用される。改善された参照フレームは、動き補償に関してより高い質の予測を提供し、より優れた圧縮性能を可能にすることができる。
【０００６】
ＭＰＥＧ−４  ＡＶＣ標準内では、第１の従来技術の手法に関して説明したものとしてのループ内デブロッキングフィルタが採用されている。このフィルタは、ブロック境界に沿って生じるアーチファクトを減らすように機能する。そのようなアーチファクトは、変換（例えばＤＣＴ）係数を粗く量子化すること、ならびに動き補償予測によって引き起こされる。ブロックエッジに低域フィルタを適応的に適用することにより、このデブロッキングフィルタは主観的映像品質および客観的映像品質の両方を改善することができる。このフィルタは、ブロックエッジの周りのサンプルの解析を行うことによって動作し、フィルタリングの強度を適応させて、実際の画像コンテンツに関係する、概してより大きい強度差を保ちながら、ブロッキングアーチファクトに起因する小さな強度差を減少させる。いくつかのブロック符号化様式およびブロック符号化条件も、このフィルタを適用する強度を指示する役目を果たす。これらには、インター／イントラ予測の決定、符号化残留の存在、および隣接するブロック間の動きの差分が含まれる。ブロックレベルでの適応性に加え、このデブロッキングフィルタは、スライスレベルおよびサンプルレベルにおいても適応的である。スライスレベルでは、映像シーケンスの個々の特性に応じてフィルタリングの強度を調節することができる。サンプルレベルでは、サンプル値および量子化器ベースの閾値に応じて、フィルタリングを個々のサンプルでオフにすることができる。
【０００７】
ＭＰＥＧ−４  ＡＶＣ標準のデブロッキングフィルタによって除去されるブロッキングアーチファクトだけが、圧縮映像内に存在するアーチファクトではない。粗い量子化は、リンギング、エッジの歪み、および／またはテクスチャの破損などの他のアーチファクトにも関与する。このデブロッキングフィルタは、ブロックの内側に現れる、量子化誤差に起因するアーチファクトは低減することができない。さらに、デブロッキングで使用する低域フィルタリング技法は、平滑な画像モデルを想定しており、エッジやテクスチャなどの画像特異点を処理するのに適していない。
【０００８】
ＭＰＥＧ−４  ＡＶＣ標準のデブロッキングフィルタの制約を克服するために、例えば第２の従来技術の手法に関して説明したような雑音除去型非線形ループ内フィルタが最近提案されている。この非線形雑音除去フィルタは、１組の過完備線形変換および閾値処理操作を使用して、スパース画像モデルを利用する非定常画像統計に適応する。この非線形雑音除去フィルタは、自らが動作する領域に応じて高域フィルタ、低域フィルタ、または帯域フィルタ等に自動的になる。この非線形雑音除去フィルタは広範囲に適用可能であり、画像特異点を含む領域にロバストな解決策を提供する。
【０００９】
第２の従来技術の手法に関して説明した雑音除去ループ内フィルタは、１組の過完備変換によってもたらされる１組の雑音除去推定値（ｄｅｎｏｉｓｅｄ  ｅｓｔｉｍａｔｅｓ）を使用する。この実装形態は、ウェーブレットやＤＣＴなど、所与の２次元（２Ｄ）正規直交変換Ｈのすべての可能な移動（ｔｒａｎｓｌａｔｉｏｎ）Ｈiを使用することにより、１組の過完備変換を生成する。したがって、画像Ｉを所与として、この様々な変換Ｈiを適用することにより、画像Ｉの一連の様々な変換バージョンＹiが作成される。次いで、各変換バージョンＹiは、典型的には閾値処理操作を含む雑音除去手順にかけられ、一連のＹ’iがもたらされる。次いで、この変換され閾値処理された係数Ｙ’iは、空間領域に再び逆変換され、雑音除去推定値Ｉ’iを生じさせる。過完備の設定では、雑音除去推定値の一部は他の雑音除去推定値より優れた性能を提供し、最終フィルタ済みバージョンＩ’は、そのような雑音除去推定値を平均化することによる組合せから利益を受けることが予想される。第２の従来技術の手法に関して説明した雑音除去フィルタは、雑音除去推定値Ｉ’iを重み付け平均化することを提案し、その重みは、最良の雑音除去推定値に重点を置くように最適化される。重み付けの手法は様々なものとすることができ、フィルタしようとするデータ、使用される変換、および雑音に関する統計的仮定に依拠することができる。ブロック変換を使用する場合、第２の従来技術の手法は、そのような変換がもたらす分解（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）のスパースネス測定に基づく実用的な計量手法を提供する。さらに、第２の従来技術の手法に関して説明した方式は、選択したピクセルをフィルタリングにかける対象外とするマスク機能を適用し、符号化条件およびコーデックの量子化パラメータ（ＱＰ）に従ってフィルタリング閾値を局所的に決定することにより、時間的に符号化されるフレームに対応する。
【００１０】
第２の従来技術の手法の雑音除去フィルタは、その広範な適用可能性にもかかわらず、３つの主要な制約を示す。第１に、所与の正規直交変換の移動バージョンＨiを使用することは、１組の過完備変換の解析方向を垂直成分および水平成分のみに制約する。構造解析の方向についてのこの制約は、垂直または水平以外の向きを有する信号構造を適切にフィルタリングすることを妨げる可能性がある。第２に、一部の変換Ｈiは、映像符号化プロセスにおいて残留信号を符号化するために使用する変換と同様であり、または等しい。符号化において使用する変換は、多くの場合、復元に使用可能な係数の数を減らすことに関与する。この減らすことは、第２の従来技術の手法において、雑音除去推定値の組合せのための最適な重みを計算するために使用する、スパースネス測定を変える可能性があり、フィルタリングの後にアーチファクトがあることを許す。第３に、時間的に符号化されるフレームに対応するための機構（マスク機能および空間的に局在する閾値）にもかかわらず、閾値の選択が、信号構造、符号化モデル、および／または量子化雑音統計に時間的に適応できるわけではない。
【００１１】
第３の従来技術の手法の方向適応型アーチファクト除去フィルタは、ブロッキングアーチファクト、ならびにブロック内にまたは画像特異点の周りに生じるアーチファクトを含む様々な種類のアーチファクトの低減を行う、高性能の非線形ループ内フィルタである。このフィルタは、１組の過完備変換によってもたらされる雑音除去推定値の重み付き組合せに基づく。ただし、第２の従来技術の手法の雑音除去フィルタとは異なり、この第３の従来技術の手法の方向適応型アーチファクト除去フィルタは、解析の方向を垂直成分および水平成分を超えて拡張するために、フィルタしようとするピクチャの様々な副格子（ｓｕｂ−ｌａｔｔｉｃｅ）サンプリングを活用する。さらに、この方向適応型アーチファクト除去フィルタは、残留の符号化で使用する変換と同様の変換から生じ、または近接して並んだ変換から生じる雑音除去推定値を重み付き組合せから除去する。
【００１２】
このフィルタの方向適応性は、所与の変換Ｈの移動Ｈiを、画像の様々なサブサンプリングにわたって適用することによって実現される。向きをつけられたサブサンプリングパターンは、変換の分解の方向に適応することができる。例えば図１を見ると、直交グリッドを２つの相補的な五点形格子に分解することが、参照番号１００によって全体として示されている。この２つの相補的な五点形格子を、１組の黒い点および１組の白い点によってそれぞれ示す。直交グリッドに適した任意の変換を、格子のサブサンプルされた信号に適用し、解析の方向を垂直および水平を超えて拡張することができる。雑音除去推定値Ｉ’iは、変換、閾値処理、逆変換の手法に従い、相補的なサブサンプリングからの結果を元の格子に再び再配列することによって得ることができる。第３の従来技術の手法に関して説明したように、２つの五点形サブサンプリング格子とともに元のサンプリンググリッドを使用する、多格子処理が提案されている。この複数の格子のそれぞれから生じる雑音除去推定値は、重み付け組合せによって組み合わせられる。スパースネスがより大きい変換分解に関する雑音除去推定値の重みは、より高い値を有するとみなされる。この考えは、よりスパースな分解は最低量の雑音を含むという想定から来る。
【００１３】
図２を見ると、方向適応型アーチファクト除去フィルタが、参照番号２００によって全体として示されている。このフィルタ２００は、第３の従来の手法に対応する。係数雑音除去モジュール２１２、２１４、および２１６は、フィルタリング閾値の知識を必要とすることに留意すべきである。
【００１４】
ダウンサンプルおよびサンプル再配列モジュール２０２の出力は、（１組の冗長な変換Ｂを用いる）順変換モジュール２０８の入力に信号通信で接続される。ダウンサンプルおよびサンプル再配列モジュール２０４の出力は、（１組の冗長な変換Ｂを用いる）順変換モジュール２１０の入力に信号通信で接続される。
【００１５】
（１組の冗長な変換Ａを用いる）順変換モジュール２０６の出力は、係数雑音除去モジュール２１２に信号通信で接続される。（１組の冗長な変換Ｂを用いる）順変換モジュール２０８の出力は、係数雑音除去モジュール２１４に信号通信で接続される。（１組の冗長な変換Ｂを用いる）順変換モジュール２１０の出力は、係数雑音除去モジュール２１６に信号通信で接続される。
【００１６】
係数雑音除去モジュール２１２の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール２２６の入力、および（１組の冗長な変換Ａを用いる）逆変換モジュール２１８の入力に信号通信で接続される。係数雑音除去モジュール２１４の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール２３０の入力、および（１組の冗長な変換Ｂを用いる）逆変換モジュール２２０の入力に信号通信で接続される。係数雑音除去モジュール２１６の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール２３２の入力、および（１組の冗長な変換Ｂを用いる）逆変換モジュール２２２の入力に信号通信で接続される。
【００１７】
（１組の冗長な変換Ａを用いる）逆変換モジュール２１８の出力は、結合モジュール２３６の第１の入力に信号通信で接続される。（１組の冗長な変換Ｂを用いる）逆変換モジュール２２０の出力は、アップサンプル、サンプル再配列、および剰余類（ｃｏｓｅｔｓ）マージモジュール２２４の第１の入力に信号通信で接続される。（１組の冗長な変換Ｂを用いる）逆変換モジュール２２２の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール２２４の第２の入力に信号通信で接続される。
【００１８】
変換ごとの各ピクセルに影響する非ゼロ係数の数の計算モジュール２３０の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール２２８の第１の入力に信号通信で接続される。変換ごとの各ピクセルに影響する非ゼロ係数の数の計算モジュール２３２の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール２２８の第２の入力に信号通信で接続される。
【００１９】
アップサンプル、サンプル再配列、および剰余類マージモジュール２２８の出力は、一般組合せ重み計算モジュール２３４の第１の入力に信号通信で接続される。各ピクセルに影響する非ゼロ係数の数の計算２２６の出力は、一般組合せ重み計算モジュール２３４の第２の入力に信号通信で接続される。一般組合せ重み計算モジュール２３４の出力は、結合モジュール２３６の第２の入力に信号通信で接続される。
【００２０】
アップサンプル、サンプル再配列、および剰余類マージモジュール２２４の出力は、結合モジュール２３６の第３の入力に信号通信で接続される。
【００２１】
（１組の冗長な変換Ａを用いる）順変換モジュール２０６の入力、ダウンサンプルおよびサンプル再配列モジュール２０２の入力、ならびにダウンサンプルおよびサンプル再配列モジュール２０４の入力は、入力画像を受け取るための、フィルタ２００の入力としてそれぞれ利用可能である。結合モジュール２３６の出力は、出力画像を提供するための、このフィルタの出力として利用可能である。
【００２２】
図３を見ると、方向適応型アーチファクト除去フィルタリングに関する方法が、参照番号３００によって全体として示されている。この方法３００は、第３の従来の手法に対応する。方法３００は、機能ブロック３１０に制御を渡す、開始ブロック３０５を含む。機能ブロック３１０は、副格子画像分解の可能な集合の形および数を設定し、ループ端ブロック３１５に制御を渡す。ループ端ブロック３１５は、すべての（副）格子の集合にわたりループｊを開始し、機能ブロック３２０に制御を渡す。機能ブロック３２０は、画像をダウンサンプルし、副格子ｊの集合に基づいてＮ個の副格子に分割し（副格子の総数はすべての集合ｊによって決まる）、ループ端ブロック３２５に制御を渡す。ループ端ブロック３２５は、（総数は集合ｊによって決まる）副格子ごとにループｉを開始し、機能ブロック３３０に制御を渡す。機能ブロック３３０は、サンプルを（例えば配列Ａ（ｊ，Ｋ）からＢに）再配列し、機能ブロック３３５に制御を渡す。機能ブロック３３５は、所与の副格子ｊの集合に関してどの変換を使えるようにするのかを選択し、ループ端ブロック３４０に制御を渡す。ループ端ブロック３４０は、許可されたすべての変換（副格子集合ｊに応じて選択され、例えば一部の変換は所与のｊに関して許可されない場合がある）にわたりループｉを開始し、機能ブロック３４５に制御を渡す。機能ブロック３４５は、変換行列ｉを用いて変換を行い、機能ブロック３５０に制御を渡す。機能ブロック３５０は、係数を雑音除去し、機能ブロック３５５に制御を渡す。機能ブロック３５５は、逆変換行列ｉを用いて逆変換を行い、ループ端ブロック３６０に制御を渡す。ループ端ブロック３６０は、ループｉを終了し、機能ブロック３６５に制御を渡す。機能ブロック３６５は、サンプルを（例えば配列ＢからＡ（ｊ，ｋ）に）再配列し、ループ端ブロック３７０に制御を渡す。ループ端ブロック３７０は、ループｋを終了し、機能ブロック３７５に制御を渡す。機能ブロック３７５は、副格子をアップサンプルし、副格子ｊの集合に基づいてマージし、ループ端ブロック３８０に制御を渡す。ループ端ブロック３８０は、ループｊを終了し、機能ブロック３８５に制御を渡す。機能ブロック３８５は、雑音除去済み係数の画像の様々な逆変換されたバージョン（の例えば局所的に適応する加重和）を結合し、終了ブロック３９０に制御を渡す。
【００２３】
この方向適応型アーチファクト除去フィルタは、これらの変換の合計１６個の可能な移動を生じさせる、４×４ＤＣＴまたは整数ＭＰＥＧ−４  ＡＶＣ標準変換を使用することを考慮する。元のサンプリンググリッドにわたって適用するとき、移動された変換のうちのいくつかは、残留の符号化で使用する変換と重複しまたはほぼ重複する可能性がある。この場合、量子化雑音／アーチファクトおよび信号の両方が、基底関数の同じ部分空間に含まれ、不自然に大きいスパースネス測定をもたらすことが起こり得る。これらの不測の事態を避けるために、第３の従来技術の手法は、残留の符号化で使用する変換に並んだまたはほぼ並んだ変換（例えば水平方向または垂直方向のうちの１つ以下におけるずれが１ピクセルの変換）から、雑音除去推定値を除去することを提案する。この第３の従来技術の手法の原理は、８×８ＤＣＴやＭＰＥＧ−４  ＡＶＣ標準の整数８×８変換などの他の変換にも当てはまる。
【００２４】
第２の従来技術の手法および第３の従来技術の手法で開示したような、雑音除去推定値の重み付き組合せに基づくフィルタリング手法では、フィルタリング閾値の選択が極めて重要である。適用される閾値は、フィルタの雑音除去能力を制御することにおいてだけでなく、より優れた雑音除去推定値に重点を置くために使用する平均化重みを計算することにおいて重要な役割を担う。不適当な閾値を選択することは、過度に平滑化された復元ピクチャをもたらす可能性があり、またはアーチファクトが残る原因となることがある。第３の従来技術の手法のアーチファクト除去構想では、すべての変換係数の雑音除去および重み計算に関連するスパースネス測定に、共通の閾値が適用される。図２のブロック図の中で、これらのフィルタリング閾値は、係数雑音除去モジュール２１２、２１４、および２１６、ならびに各ピクセルに影響する非ゼロ係数の数の計算モジュール２２６、２３０、および２３２に直接関与する。
【００２５】
この第３の従来技術の手法に関する方向適応型アーチファクト除去フィルタの結果は、多格子解析の有効性を示すが、固有のかつ均一な閾値の値を使用することはフィルタリングの潜在力を限定する可能性がある。例えば、この閾値の値は信号特性に依存し、その信号特性は空間および時間とともに変化し得る。閾値の適応性に関する方法を考慮すれば、イントラ符号化様式でさえ、複数の映像フレームを処理することはこの問題を引き起こすはずである。さらに、この第３の従来技術の手法は、時間的に符号化されたコンテンツについての閾値の選択を扱わない。単一フレーム内に様々な予測モード（イントラ、インター、スキップ等）が共存できるものとして、このシナリオは非常に重要であり、新たな課題を提起する。これらのモードのそれぞれは、固有の量子化雑音統計を示し、専用のフィルタリング方策を必要とする。要約すれば、第２の従来技術の手法も第３の従来技術の手法も、フィルタリングプロセスにおける量子化雑音統計の時空双方の変動を償うことができない。
【００２６】
図４を見ると、ＭＰＥＧ−４  ＡＶＣ標準に従って映像符号化を実行できる映像符号器が、参照番号４００によって全体として示されている。
【００２７】
この映像符号器４００は、結合器４８５の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ４１０を含む。結合器４８５の出力は、変換器（ｔｒａｎｓｆｏｒｍｅｒ）および量子化器４２５の第１の入力に信号通信で接続される。変換器および量子化器４２５の出力は、エントロピ符号器４４５の第１の入力、ならびに逆変換器および逆量子化器４５０の第１の入力に信号通信で接続される。エントロピ符号器４４５の出力は、結合器４９０の第１の非反転入力に信号通信で接続される。結合器４９０の出力は、出力バッファ４３５の第１の入力に信号通信で接続される。
【００２８】
符号器コントローラ４０５の第１の出力は、フレーム順序付けバッファ４１０の第２の入力、逆変換器および逆量子化器４５０の第２の入力、ピクチャタイプ決定モジュール４１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール４２０の第１の入力、イントラ予測モジュール４６０の第２の入力、デブロッキングフィルタ４６５の第２の入力、動き補償器４７０の第１の入力、動き推定器４７５の第１の入力、ならびに参照ピクチャバッファ４８０の第２の入力に信号通信で接続される。
【００２９】
符号器コントローラ４０５の第２の出力は、ＳＥＩ（付加拡張情報：Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）インサータ４３０の第１の入力、変換器および量子化器４２５の第２の入力、エントロピ符号器４４５の第２の入力、出力バッファ４３５の第２の入力、ならびにＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ４４０の入力に信号通信で接続される。
【００３０】
ＳＥＩインサータ４３０の出力は、結合器４９０の第２の非反転入力に信号通信で接続される。
【００３１】
ピクチャタイプ決定モジュール４１５の第１の出力は、フレーム順序付けバッファ４１０の第３の入力に信号通信で接続される。ピクチャタイプ決定モジュール４１５の第２の出力は、マクロブロックタイプ決定モジュール４２０の第２の入力に信号通信で接続される。
【００３２】
シーケンスパラメータセットおよびピクチャパラメータセットインサータ４４０の出力は、結合器４９０の第３の非反転入力に信号通信で接続される。
【００３３】
逆量子化器および逆変換器４５０の出力は、結合器４１９の第１の非反転入力に信号通信で接続される。結合器４１９の出力は、イントラ予測モジュール４６０の第１の入力、およびデブロッキングフィルタ４６５の第１の入力に信号通信で接続される。デブロッキングフィルタ４６５の出力は、参照ピクチャバッファ４８０の第１の入力に信号通信で接続される。参照ピクチャバッファ４８０の出力は、動き推定器４７５の第２の入力、および動き補償器４７０の第３の入力に信号通信で接続される。動き推定器４７５の第１の出力は、動き補償器４７０の第２の入力に信号通信で接続される。動き推定器４７５の第２の出力は、エントロピ符号器４４５の第３の入力に信号通信で接続される。
【００３４】
動き補償器４７０の出力は、スイッチ４９７の第１の入力に信号通信で接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に信号通信で接続される。マクロブロックタイプ決定モジュール４２０の出力は、スイッチ４９７の第３の入力に信号通信で接続される。スイッチ４９７のこの第３の入力は、このスイッチの「データ」入力が、（制御入力、すなわち第３の入力に照らして）動き補償器４７０またはイントラ予測モジュール４６０によって提供されるべきかどうかを決定する。スイッチ４９７の出力は、結合器４１９の第２の非反転入力、および結合器４８５の反転入力に信号通信で接続される。
【００３５】
フレーム順序付けバッファ４１０の第１の入力、および符号器コントローラ４０５の入力は、入力ピクチャを受け取るための、符号器４００の入力として利用可能である。さらに、ＳＥＩ（付加拡張情報）インサータ４３０の第２の入力は、メタデータを受け取るための、符号器４００の入力として利用可能である。出力バッファ４３５の出力は、ビットストリームを出力するための、符号器４００の出力として利用可能である。
【００３６】
図５を見ると、ＭＰＥＧ−４  ＡＶＣ標準に従って映像復号を実行できる映像復号器が、参照番号５００によって全体として示されている。
【００３７】
この映像復号器５００は、エントロピ復号器５４５の第１の入力に信号通信で接続される出力を有する、入力バッファ５１０を含む。エントロピ復号器５４５の第１の出力は、逆変換器および逆量子化器５５０の第１の入力に信号通信で接続される。逆変換器および逆量子化器５５０の出力は、結合器５２５の第２の非反転入力に信号通信で接続される。結合器５２５の出力は、デブロッキングフィルタ５６５の第２の入力、およびイントラ予測モジュール５６０の第１の入力に信号通信で接続される。デブロッキングフィルタ５６５の第２の出力は、参照ピクチャバッファ５８０の第１の入力に信号通信で接続される。参照ピクチャバッファ５８０の出力は、動き補償器５７０の第２の入力に信号通信で接続される。
【００３８】
エントロピ復号器５４５の第２の出力は、動き補償器５７０の第３の入力、およびデブロッキングフィルタ５６５の第１の入力に信号通信で接続される。エントロピ復号器５４５の第３の出力は、復号器コントローラ５０５の入力に信号通信で接続される。復号器コントローラ５０５の第１の出力は、エントロピ復号器５４５の第２の入力に信号通信で接続される。復号器コントローラ５０５の第２の出力は、逆変換器および逆量子化器５５０の第２の入力に信号通信で接続される。復号器コントローラ５０５の第３の出力は、デブロッキングフィルタ５６５の第３の入力に信号通信で接続される。復号器コントローラ５０５の第４の出力は、イントラ予測モジュール５６０の第２の入力、動き補償器５７０の第１の入力、および参照ピクチャバッファ５８０の第２の入力に信号通信で接続される。
【００３９】
動き補償器５７０の出力は、スイッチ５９７の第１の入力に信号通信で接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力に信号通信で接続される。スイッチ５９７の出力は、結合器５２５の第１の非反転入力に信号通信で接続される。
【００４０】
入力バッファ５１０の入力は、入力ビットストリームを受け取るための、復号器５００の入力として利用可能である。デブロッキングフィルタ５６５の第１の出力は、出力ピクチャを出力するための、復号器５００の出力として利用可能である。
【発明の概要】
【００４１】
従来技術のこれらのおよび他の欠点ならびに不利点を、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる本原理によって対処する。
【００４２】
本原理の一態様によれば、装置が提供される。この装置は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
【００４３】
本原理の別の態様によれば、方法が提供される。この方法は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタリングのためのスパーシティベースフィルタリング閾値は時間的に変えられる。
【００４４】
本原理のこれらのおよび他の態様、特徴ならびに利点は、添付図面に関連して読むべき、例示的実施形態についての以下の詳細な説明から明らかになろう。
【００４５】
本原理は、以下の例示的図面により、よりよく理解することができる。
【図面の簡単な説明】
【００４６】
【図１】従来技術による、直交グリッドを２つの相補的な五点形格子に分解することを示す図である。
【図２】従来技術による方向適応型アーチファクト除去フィルタのブロック図である。
【図３】従来技術による、方向適応型アーチファクト除去フィルタリングに関する方法の流れ図である。
【図４】映像符号化を実行できる例示的符号器のブロック図である。
【図５】映像復号を実行できる例示的復号器のブロック図である。
【図６】本原理の一実施形態による、符号器用の例示的ループ外方向適応型アーチファクト除去フィルタのブロック図である。
【図７】本原理の一実施形態による、符号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。
【図８】本原理の一実施形態による、復号器用の例示的ループ外方向適応型アーチファクト除去フィルタのブロック図である。
【図９】本原理の一実施形態による、復号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。
【図１０】本原理の一実施形態による、本原理とともに使用するために拡張された、映像符号化を実行できる例示的映像符号器のブロック図を示す図である。
【図１１】本原理の一実施形態による、本原理とともに使用するために拡張された、映像復号を実行できる例示的映像復号器のブロック図を示す図である。
【図１２】本原理の一実施形態による、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタのブロック図を示す図である。
【図１３】本原理の一実施形態による、符号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図を示す図である。
【図１４】本原理の一実施形態による、復号器用の例示的ループ内方向適応型アーチファクト除去フィルタのブロック図を示す図である。
【図１５】本原理の一実施形態による、復号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。
【図１６】本原理の一実施形態による、本原理とともに使用するために拡張された、映像符号化を実行できる別の例示的映像符号器のブロック図である。
【図１７】本原理の一実施形態による、本原理とともに使用するために拡張された、映像復号を実行できる別の例示的映像復号器のブロック図を示す図である。
【発明を実施するための形態】
【００４７】
本原理は、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる。
【００４８】
この記載は本原理について説明する。したがって、本明細書に明示的に記載されまたは示されていないが、本原理を実施し、本原理の趣旨および範囲に含まれる様々な配置を当業者は考案できることが理解されよう。
【００４９】
本明細書に記載するすべての例および条件つきの表現は、当技術分野の進歩に対して本発明者が貢献する、本原理および概念を読者が理解することを助けるための教育的な目的を意図し、具体的に記載するそれらの例および条件に限定されることなく解釈されるべきである。
【００５０】
さらに、本原理の原理、態様、および実施形態、ならびに本原理の具体例について述べる本明細書のすべての記述は、本原理の構造的等価物および機能的等価物のいずれをも含むことを意図する。さらにそのような等価物は、現在知られている等価物だけでなく将来開発される等価物、すなわち構造に関係なく同じ機能を実行する、開発される任意の要素のいずれをも含むことを意図する。
【００５１】
したがって、例えば本明細書に示すブロック図は、本原理を実施する例示的回路の概念図を表すことを当業者は理解されよう。同様に、任意の流れ作業図、流れ図、状態遷移図、擬似符号等が、コンピュータ可読媒体で実質的に表すことができる様々なプロセスを表し、そのためコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されているか否かを問わず、実行されることが理解されよう。
【００５２】
図中に示す様々な要素の機能は、専用ハードウェア、ならびに適切なソフトウェアに関連してソフトウェアを実行できるハードウェアを使用することによって提供することができる。プロセッサによって提供される場合、これらの機能は、単一の専用プロセッサにより、単一の共用プロセッサにより、またはその一部が共用され得る複数の個別のプロセッサにより、提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的使用は、ソフトウェアを実行できるハードウェアを排他的に指すものと解釈すべきでなく、「ＤＳＰ」（デジタル信号プロセッサ）ハードウェア、ソフトウェアを記憶するための「ＲＯＭ」（読出し専用メモリ）、「ＲＡＭ」（ランダムアクセスメモリ）、および不揮発性記憶機構を限定することなく暗に含むことができる。
【００５３】
他の従来のおよび／または慣例のハードウェアを含むこともできる。同様に、図中に示す任意のスイッチは概念的であるに過ぎない。それらの機能は、プログラム論理の演算、専用論理、プログラム制御と専用論理との相互作用、または手動でさえも実行することができ、文脈からより詳細に理解されるように、実装者は特定の技法を選択することができる。
【００５４】
添付の特許請求の範囲では、指定の機能を果たすための手段として表す任意の要素は、例えば、ａ）その機能を果たす回路要素の組合せ、またはｂ）その機能を果たすために、ソフトウェアを実行するための適切な回路と組み合わせられる、ファームウェア、マイクロコード等を含む任意の形態のソフトウェアを含む、その機能を果たす任意の方法を含むことを意図する。そのような特許請求の範囲によって定義されるものとしての本原理は、記載する様々な手段が提供する機能を、特許請求の範囲が要求する方法で組み合わせ、まとめることにある。したがって、それらの機能を提供することができる任意の手段は、本明細書に示す手段と等価であるとみなす。
【００５５】
本明細書における、本原理の「一実施形態」または「ある実施形態」という記載ならびにその記載の他の改変形態は、その実施形態に関して説明する特定の特徴、構造、特性等が、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたり様々な箇所で登場する慣用句「一実施形態では」、または「ある実施形態では」、ならびに他の任意の改変形態は、必ずしもすべてが同じ実施形態を指すとは限らない。
【００５６】
次の「／」、「および／または」、および「の少なくとも１つ」のうちのいずれかを、例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」について使用することは、最初に記載したオプション（Ａ）のみの選択、または２番目に記載したオプション（Ｂ）のみの選択、または両方のオプション（ＡおよびＢ）の選択を含むことを意図することを理解すべきである。さらなる例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、そのような表現は、最初に記載したオプション（Ａ）のみの選択、または２番目に記載したオプション（Ｂ）のみの選択、または３番目に記載したオプション（Ｃ）のみの選択、または最初と２番目とに記載したオプション（ＡおよびＢ）のみの選択、または最初と３番目とに記載したオプション（ＡおよびＣ）のみの選択、または２番目と３番目とに記載したオプション（ＢおよびＣ）のみの選択、または３つのオプションすべて（ＡとＢとＣと）の選択を含むことを意図する。このことは、記載する多くの項目に関して、当業者により容易に明らかなように拡張することができる。
【００５７】
本明細書で使用するとき、用語「ピクチャ」は、静止画映像および動画映像に関係する画像ならびに／またはピクチャを含む、画像および／またはピクチャを指す。
【００５８】
さらに、本明細書で使用するとき、用語「スパーシティ」は、信号が変換領域において非ゼロ係数をほとんど有さない場合を指す。一例として、５個の非ゼロ係数を伴う変換表現の信号は、同じ変換フレームワークを使用する１０個の非ゼロ係数を伴う別の信号よりもスパースな表現を有する。
【００５９】
さらに、本明細書で使用するとき、用語「格子」または「格子ベース」をピクチャのサブサンプリングに関して使用するとき、および同様の意味合いで「副格子サンプリング」は、空間的に連続的なかつ／または空間的に非連続的なサンプルの所与の構造化パターンに従って、サンプルを選択するサブサンプリングを指す。一例では、そのようなパターンは、矩形パターンなどの幾何学的パターンとすることができる。
【００６０】
また、本明細書で使用するとき、用語「局所（ｌｏｃａｌ）」は、ピクセル位置レベル、および／またはピクチャ内のあるピクセル、もしくはピクセルの局所的近隣に対応する関心項目に対する（平均振幅の測度、平均雑音エネルギ、または重みの測度の導出を含むがこれだけに限定されない）関心項目の関係を指す。
【００６１】
さらに、本明細書で使用するとき、用語「広域（ｇｌｏｂａｌ）」は、ピクチャレベル、および／またはピクチャもしくはシーケンスのピクセル全体に対応する関心項目に対する（平均振幅の測度、平均雑音エネルギ、または重みの測度の導出を含むがこれだけに限定されない）関心項目の関係を指す。
【００６２】
加えて、本明細書で使用するとき、「高レベル構文」は、マクロブロック層の上に階層的にあるビットストリーム内に存在する構文を指す。例えば本明細書で使用するとき、高レベル構文は、スライスヘッダレベル、ＳＥＩ（付加拡張情報）レベル、ＰＰＳ（ピクチャパラメータセット）レベル、ＳＰＳ（シーケンスパラメータセット）レベル、およびＮＡＬ（ネットワーク抽象化層：Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニットヘッダレベルにおける構文を指すことができるが、これだけに限定されない。
【００６３】
さらに、本明細書では本原理の１つまたは複数の実施形態をＭＰＥＧ−４  ＡＶＣ標準に関して説明するが、本原理は、この標準のみに限定されず、したがって本原理の趣旨を保ちながら他の映像符号化標準、勧告、およびＭＰＥＧ−４  ＡＶＣ標準の拡張を含むその拡張に関して利用できることを理解すべきである。
【００６４】
上述のように、本原理は、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる。
【００６５】
有利には、本原理の実施形態は、時空的に適応性があるフィルタリング用の閾値を使用する、ピクチャの様々な副格子サンプリングに対するスパーシティベースフィルタリングに基づく、高性能のアーチファクト除去フィルタリングに向けられる。例えば一実施形態では、フィルタリングは、フィルタしようとするピクチャの様々な副格子サンプリングに適用される、いくつかのスパーシティベースフィルタリングステップの重み付き組合せに基づく。このスパーシティベースフィルタリングステップのための閾値は、量子化雑音統計および／または他のパラメータに最良適合するために、空間的および時間的に適応される。例えば、本原理は、次のものに限定されないが、信号特性、符号化構成（ループ内フィルタリングおよび／またはループ外フィルタリング）、予測モード、量子化雑音統計、復号ピクチャおよび原信号の局所符号化様式、圧縮パラメータ、圧縮要件、符号化性能、ユーザ選択（例えば、より鮮明な画像またはより平滑な画像）、ならびに質の測度および／または符号化コストの測度のうちの少なくとも１つに応じてフィルタリング閾値を適応させる。当然、フィルタリング閾値が適応される元になる上記のパラメータは単に説明するためのものに過ぎず、本明細書で提供する本原理の教示を所与として、当業者は、本原理の趣旨を保ちながら、フィルタリング閾値が適応される元になるこれらのおよび他の様々なパラメータを思いつくであろう。
【００６６】
本原理は、復号映像ピクチャのアーチファクトを除去するためのスパーシティベースフィルタの適用可能性を拡張し、性能を向上させる。過完備変換を使用するスパーシティベースフィルタリング技法は、とりわけエッジ、テクスチャ、および他の特異点周りの量子化雑音を減らすためのロバストな機構を提供する。しかし、これらの技法の性能は、広範な信号特性、符号化特性、およびフィルタリング特性を熟考する必要がある、適切なフィルタリング閾値を選択することに大きく依存する。有利には、本原理は、それらの技法をループ内フィルタ構成、ならびにポストフィルタリング構成および／またはループ外フィルタ構成として実装することができるという点で柔軟性をもたらす。選択した閾値は符号化され、サイド情報として復号器に伝送することができる。本原理を使用することは、大幅なビットレートの節約および表示品位の向上をもたらす。
【００６７】
ループ外フィルタリング
復号映像信号を向上させるために、ポストフィルタリング方策が一般に適用されている。「ループの外側」または「ループ外」と呼ばれるポストフィルタは、ハイブリッド映像符号化ループの外側に置かれる。本原理は、第３の従来技術の手法の方向適応型アーチファクト除去フィルタを、復号映像のループ外フィルタリングに修正する。このために、映像シーケンスを効率的に符号化することは、フィルタリング閾値を適応的に選択することを必要とする。本原理によれば、本発明者らはフィルタリング閾値を空間的および／または時間的に適応させる。
【００６８】
ループ外フィルタは映像符号化ループに関与しないので、時間的予測で使用する参照フレームは、フィルタリングの結果によっても変わらないままである。ＭＰＥＧ−４  ＡＶＣ標準にあるようなループ内フィルタリング方策とは異なり、ループ外フィルタリングは、符号化ループの処理遅延を低減することを可能にする。事実、後に符号化されるフレームを復号するために、参照フレームに対してフィルタリング操作を行う必要はない。典型的な符号化シナリオでは、イントラモードで符号化される第１のフレームは、雑音および圧縮アーチファクトを免れない。その後のフレームの符号化では、動き補償予測のために、雑音が多くアーチファクトの傾向があるデータを使用する。したがって、イントラ符号化によってもたらされ、または破損した参照データを反復することによって継承されるアーチファクトが、符号化様式に関係なく、復号映像シーケンスの各フレームの全体にわたって蔓延する。
【００６９】
第３の従来技術の手法の方向適応型アーチファクト除去フィルタは、イントラ符号化フレームに関して効率的に動作することが実証されている。前述したように、ループ内フィルタリングが抑制される場合、イントラフレーム内の量子化雑音およびアーチファクトの存在に関する想定は、時間的に符号化されるフレームに拡張することができる。そのような状況の下では、ループ外フィルタリングに適応される場合のこの方向適応型アーチファクト除去フィルタは、復号映像シーケンスの各フレーム内の圧縮アーチファクトを成功裏に除去する潜在力を備える。
【００７０】
ループ外方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、非定常信号特性を考慮に入れる。例えば、経時的なシーンコンテンツの変化は、性能を維持するために別個のフィルタリング閾値を必要とすることがある。したがって、符号化中に閾値を生成し、フレームごとに別個に選択する。
【００７１】
図６を見ると、符号器用の例示的ループ外方向適応型アーチファクト除去フィルタが、参照番号６００によって全体として示されている。このフィルタ６００は、方向適応型アーチファクト除去フィルタ６０５の第１の入力、および閾値セレクタ６１５の第１の入力に信号通信で接続される出力を有する、閾値生成器６１０を含む。方向適応型アーチファクト除去フィルタ６０５の出力は、閾値セレクタ６１５の第２の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ６０５の第２の入力は、入力ピクチャを受け取るための、フィルタ６００の入力として利用可能である。閾値生成器６１０の入力は、制御データを受け取るための、フィルタ６００の入力として利用可能である。閾値セレクタ６１５の第３の入力は、元のピクチャを受け取るための、フィルタ６００の入力として利用可能である。閾値セレクタ６１５の出力は、最適閾値を出力するための、フィルタ６００の出力として利用可能である。
【００７２】
図７を見ると、符号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号７００によって全体として示されている。この方法７００は、機能ブロック７１０に制御を渡す、開始ブロック７０５を含む。機能ブロック７１０は、現在のフレームに関する１組のフィルタリング閾値を設定し、ループ端ブロック７１５に制御を渡す。ループ端ブロック７１５は、フィルタリング閾値ごとにループ（ｔｈ）を実行し、機能ブロック７２０に制御を渡す。機能ブロック７２０は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック７２５に制御を渡す。機能ブロック７２５は、最適閾値（例えば最大のピーク信号対雑音比（ＰＳＮＲ））を選択し、アーチファクト除去済みピクチャを更新し、ループ端ブロック７３０に制御を渡す。ループ端ブロック７３０は、フィルタリング閾値ごとのループを終了し、機能ブロック７３５に制御を渡す。機能ブロック７３５は、最適閾値をビットストリームに出力し、終了ブロック７９９に制御を渡す。
【００７３】
図６を再び参照すると、閾値生成器６１０は、制御データを使用して、例えば符号化品質の測度、符号化コスト、または符号化品質／符号化コスト双方のうちの少なくとも１つを最大限にすることにより、最適閾値がそこから選択される組を規定する。制御データは、圧縮パラメータ（例えばＱＰ）、ユーザプリファレンス、ならびに／または信号の構造および統計とみなすことができるが、これだけに限定されない場合もある。制御データに関して検討した上記の項目は単に説明するためのものに過ぎず、したがって本明細書で提供する本原理の教示を所与として、当業者は、本原理の趣旨を保ちながら、制御データに関係するこれらのおよび他の様々な項目を思いつくことを理解すべきである。閾値セレクタ６１５は、符号器側でしか入手できない情報（元の画像Ｉ）を使用するため、選択した閾値を映像符号化方式のビットストリーム内で伝送する。次いで、復号器は、適切なループ外フィルタを用いて復号信号のアーチファクトを除去するために、ビットストリームからこの情報を抽出する。
【００７４】
図８を見ると、復号器用の例示的ループ外方向適応型アーチファクト除去フィルタが、参照番号８００によって全体として示されている。このフィルタ８００は、方向適応型アーチファクト除去フィルタ８０５を含む。方向適応型アーチファクト除去フィルタ８０５の第１の入力は、入力ピクチャを受け取るための、フィルタ８００の入力として利用可能である。方向適応型アーチファクト除去フィルタ８０５の第２の入力は、最適閾値を受け取るための、フィルタ８００の入力として利用可能である。方向適応型アーチファクト除去フィルタ８０５の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ８００の出力として利用可能である。
【００７５】
図９を見ると、復号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号９００によって全体として示されている。
【００７６】
この方法９００は、機能ブロック９１０に制御を渡す、開始ブロック９０５を含む。機能ブロック９１０は、最適フィルタリング閾値を取り出し、機能ブロック９１５に制御を渡す。機能ブロック９１５は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック９２０に制御を渡す。機能ブロック９２０は、アーチファクト除去済みピクチャを出力し、終了ブロック９９９に制御を渡す。
【００７７】
フィルタリング閾値の符号化、伝送、および復号は、映像ストリームのデータ単位の様々なレベルにおいて行うことができる。閾値は、ピクチャ領域、ピクチャ、および／またはシーケンス全体に適用することができる。これを規定するための機構を、例えばこれだけに限定されないが１つまたは複数の高レベル構文要素を使用して、ビットストリーム内に取り入れることができる。
【００７８】
一実施形態では、スライス当たりの閾値を符号化することができる。この閾値は、単純な均一符号を用いて符号化することができるが、そのような方法だけに限定されない。例えばそれらの閾値は、前のスライスおよび／または映像フレームを基準にして差動的に符号化することができる。また、例えばこれだけに限定されないが符号化設定、符号化プロファイル、および／または量子化パラメータに依存する平均閾値の値を、符号器と復号器とにおいて知ることができる。適応的閾値は、この平均閾値を基準にして差動的に符号化することができる。均一符号化値および／または差分値（ｄｉｆｆｅｒｅｎｔｉａｌ  ｖａｌｕｅｓ）を、例えばこれだけに限定されないが均一符号、可変長符号（ＶＬＣ）、および／または算術符号化（例えばコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ））を使用して符号化することができる。一実施形態では、各スライス／フレーム／シーケンスについて選択した閾値に関する情報を、付加拡張情報データおよび／または他の何らかの１つもしくは複数の高レベル構文要素として、符号化映像ビットストリーム内で伝送する。
【００７９】
一実施形態では、復元データに対するポストフィルタを、ＭＰＥＧ−４  ＡＶＣ標準に適用することができる。そのような実施形態では、図４および図５に関してそれぞれ図示し説明した標準的な符号器および復号器内のＭＰＥＧ−４  ＡＶＣ標準のデブロッキングフィルタを、このループ外方向適応型アーチファクト除去フィルタが動作している間、無効にすることができる。
【００８０】
図１０を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４  ＡＶＣ標準に従って映像符号化を実行できる例示的映像符号器が、参照番号１０００によって全体として示されている。映像符号器１０００に適用される拡張は、ループ外方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【００８１】
この映像符号器１０００は、結合器１０８５の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ１０１０を含む。結合器１０８５の出力は、変換器および量子化器１０２５の第１の入力に信号通信で接続される。変換器および量子化器１０２５の出力は、エントロピ符号器１０４５の第１の入力、ならびに逆変換器および逆量子化器１０５０の第１の入力に信号通信で接続される。エントロピ符号器１０４５の出力は、結合器１０９０の第１の非反転入力に信号通信で接続される。結合器１０９０の出力は、出力バッファ１０３５の第１の入力に信号通信で接続される。
【００８２】
（ループ外方向適応型アーチファクト除去フィルタ１０４７を制御するように）拡張された符号器コントローラ１００５の第１の出力は、フレーム順序付けバッファ１０１０の第２の入力、逆変換器および逆量子化器１０５０の第２の入力、ピクチャタイプ決定モジュール１０１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール１０２０の第１の入力、イントラ予測モジュール１０６０の第２の入力、動き補償器１０７０の第１の入力、動き推定器１０７５の第１の入力、参照ピクチャバッファ１０８０の第２の入力、ならびにループ外方向適応型アーチファクト除去フィルタ１０４７の第３の入力に信号通信で接続される。
【００８３】
（ループ外方向適応型アーチファクト除去フィルタ１０４７を制御するように）拡張された符号器コントローラ１００５の第２の出力は、ＳＥＩ（付加拡張情報）インサータ１０３０の第１の入力、変換器および量子化器１０２５の第２の入力、エントロピ符号器１０４５の第２の入力、出力バッファ１０３５の第２の入力、ならびにＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ１０４０の入力に信号通信で接続される。
【００８４】
ＳＥＩインサータ１０３０の出力は、結合器１０９０の第２の非反転入力に信号通信で接続される。
【００８５】
ピクチャタイプ決定モジュール１０１５の第１の出力は、フレーム順序付けバッファ１０１０の第３の入力に信号通信で接続される。ピクチャタイプ決定モジュール１０１５の第２の出力は、マクロブロックタイプ決定モジュール１０２０の第２の入力に信号通信で接続される。
【００８６】
シーケンスパラメータセットおよびピクチャパラメータセットインサータ１０４０の出力は、結合器１０９０の第３の非反転入力に信号通信で接続される。
【００８７】
逆量子化器および逆変換器１０５０の出力は、結合器１０１９の第１の非反転入力に信号通信で接続される。結合器１０１９の出力は、イントラ予測モジュール１０６０の第１の入力、ループ外方向適応型アーチファクト除去フィルタ１０４７の第１の入力、および参照ピクチャバッファ１０８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１０８０の出力は、動き推定器１０７５の第２の入力、および動き補償器１０７０の第３の入力に信号通信で接続される。動き推定器１０７５の第１の出力は、動き補償器１０７０の第２の入力に信号通信で接続される。動き推定器１０７５の第２の出力は、エントロピ符号器１０４５の第３の入力に信号通信で接続される。ループ外方向適応型アーチファクト除去フィルタ１０４７の第２の出力は、ＳＥＩインサータ１０３０の第３の入力に信号通信で接続される。
【００８８】
動き補償器１０７０の出力は、スイッチ１０９７の第１の入力に信号通信で接続される。イントラ予測モジュール１０６０の出力は、スイッチ１０９７の第２の入力に信号通信で接続される。マクロブロックタイプ決定モジュール１０２０の出力は、スイッチ１０９７の第３の入力に信号通信で接続される。スイッチ１０９７のこの第３の入力は、このスイッチの「データ」入力が、（制御入力、すなわち第３の入力に照らして）動き補償器１０７０またはイントラ予測モジュール１０６０によって提供されるべきかどうかを決定する。スイッチ１０９７の出力は、結合器１０１９の第２の非反転入力、および結合器１０８５の反転入力に信号通信で接続される。
【００８９】
フレーム順序付けバッファ１０１０の第１の入力、（ループ外方向適応型アーチファクト除去フィルタ１０４７を制御するように）拡張された符号器コントローラ１００５の入力、およびループ外方向適応型アーチファクト除去フィルタ１０４７の第２の入力は、入力ピクチャを受け取るための、符号器１０００の入力として利用可能である。さらに、ＳＥＩ（付加拡張情報）インサータ１０３０の第２の入力は、メタデータを受け取るための、符号器１０００の入力として利用可能である。出力バッファ１０３５の出力は、ビットストリームを出力するための、符号器１０００の出力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ１０４７の第１の出力は、フィルタされたピクチャを出力するための、符号器１０００の出力として利用可能である。
【００９０】
図１１を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４  ＡＶＣ標準に従って映像復号を実行できる例示的映像復号器が、参照番号１１００によって全体として示されている。映像復号器１１００に適用される拡張は、ループ外方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【００９１】
この映像復号器１１００は、エントロピ復号器１１４５の第１の入力、およびループ外方向適応型アーチファクト除去フィルタ１１４７の第３の入力に信号通信で接続される出力を有する、入力バッファ１１１０を含む。エントロピ復号器１１４５の第１の出力は、逆変換器および逆量子化器１１５０の第１の入力に信号通信で接続される。逆変換器および逆量子化器１１５０の出力は、結合器１１２５の第２の非反転入力に信号通信で接続される。結合器１１２５の出力は、イントラ予測モジュール１１６０の第１の入力、および参照ピクチャバッファ１１８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１１８０の出力は、動き補償器１１７０の第２の入力に信号通信で接続される。
【００９２】
エントロピ復号器１１４５の第２の出力は、動き補償器１１７０の第３の入力、およびループ外方向適応型アーチファクト除去フィルタ１１４７の第１の入力に信号通信で接続される。エントロピ復号器１１４５の第３の出力は、（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第１の出力は、エントロピ復号器１１４５の第２の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第２の出力は、逆変換器および逆量子化器１１５０の第２の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第３の出力は、ループ外方向適応型アーチファクト除去フィルタ１１４７の第２の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第４の出力は、イントラ予測モジュール１１６０の第２の入力、動き補償器１１７０の第１の入力、および参照ピクチャバッファ１１８０の第２の入力に信号通信で接続される。
【００９３】
動き補償器１１７０の出力は、スイッチ１１９７の第１の入力に信号通信で接続される。イントラ予測モジュール１１６０の出力は、スイッチ１１９７の第２の入力に信号通信で接続される。スイッチ１１９７の出力は、結合器１１２５の第１の非反転入力に信号通信で接続される。
【００９４】
入力バッファ１１１０の入力は、入力ビットストリームを受け取るための、復号器１１００の入力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ１１４７の出力は、ピクチャを出力するための、復号器１１００の出力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ１１４７の第３の入力は、ＳＥＩデータからの最適閾値を受け取るための、復号器１１００の入力として利用可能である。
【００９５】
図８および図９にそれぞれ関係する符号器コントローラ８０５および復号器コントローラ９０５は、ループ外方向適応型フィルタ（すなわちフィルタ１０４７およびフィルタ１１４７それぞれ）を制御するように拡張された符号器コントローラ１００５および復号器コントローラ１１０５を得るために、どちらも修正される。この修正は、このループ外フィルタを最も効率的に動作させるために設定し、構成し、適応させるためのブロックレベル構文および／または高レベル構文の可能な要件に関して影響を及ぼす。このために、いくつかの構文フィールドを様々なレベルで定義することができる。表１は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なピクチャパラメータセット構文データを示す。表２は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なスライスヘッダデータを示す。当然、本原理の趣旨を保ちながら、このループ外フィルタを設定し、構成し、適応させるために、他の高レベル構文要素を使用することもできる。一実施形態では、復号器側でフィルタを適切に設定するために、スライスヘッダ内に符号化された閾値を埋め込むことができる。
【００９６】
【表１】
2011510561.tif 000003
【００９７】
【表２】
2011510561.tif 000004
【００９８】
次に、表１および表２に示す構文要素のいくつかを、一実施形態に従って説明する。
【００９９】
ｄｅａｒｔ＿ｆｉｌｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ：１に等しい場合、この方向適応型アーチファクト除去フィルタの特性を制御する１組の構文要素が、スライスヘッダ内に存在することを指定する。０に等しい場合、この方向適応型アーチファクト除去フィルタの特性を制御する１組の構文要素が、スライスヘッダ内に存在せず、それらの構文要素の推定値が効力をもつことを指定する。
【０１００】
ｓｅｌｅｃｔｉｏｎ＿ｆｉｌｔｅｒ＿ｔｙｐｅ：アーチファクトの除去で使用するフィルタ構成を指定する。０に等しい場合、方向適応型アーチファクト除去フィルタリングを無効にすべきであることを指定する。１に等しい場合、ループ外方向適応型アーチファクト除去フィルタリングを使用することを指定する。２に等しい場合、ループ内方向適応型アーチファクト除去フィルタリングを使用することを指定する。
【０１０１】
ｅｎａｂｌｅ＿ｔｈｒｅｓｈｏｌｄ＿ｇｅｎｅｒａｔｉｏｎ＿ｔｙｐｅ、ｅｎａｂｌｅ＿ｔｈｒｅｓｈｏｌｄ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ：検索することができる高レベル構文の値、例えばこれだけに限定されないが、シーケンスパラメータセットレベルおよび／またはピクチャパラメータセットレベルである。一実施形態では、これらの値はフィルタのタイプ、閾値生成形式、および閾値選択方法に関する省略時値を変更する実現性を可能にする。
【０１０２】
ｔｈｒｅｓｈｏｌｄ＿ｇｅｎｅｒａｔｉｏｎ＿ｔｙｐｅ：方向適応型アーチファクト除去において、どの組の閾値を使用するのか指定する。例えば一実施形態では、この組は、圧縮パラメータ、ユーザプリファレンス、および／または信号特性に依存し得る。
【０１０３】
ｔｈｒｅｓｈｏｌｄ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ：この方向適応型アーチファクト除去フィルタを用いて符号化する際、どの最適閾値選択方法を使用するのか指定する。例えば一実施形態では、符号化品質、符号化コスト、または符号化品質／符号化コスト双方を最大限にすることができる。
【０１０４】
ループ内フィルタリング
ループ内フィルタリングの１つの利点は、映像符号器が、動きを推定し補償するためにフィルタ済み参照フレームを使用できることである。ループ外フィルタリング代替策と比較した場合、このフィルタリング構成は、映像ストリームの客観的品質および主観的品質の両方を改善することができる。とは言え、無差別なフィルタリングは、前にフィルタした参照フレームから繰り返される画像領域を巻き込む。そのような領域の、起こり得るオーバーフィルタリングを回避するために、この方向適応型アーチファクト除去フィルタのループ内実装は、ブロックレベルならびにピクセルレベルでの符号化の違いについて局所的に適応的でなければならない。
【０１０５】
典型的なハイブリッド映像符号器内の、時間的に符号化されたブロックは、様々な量子化雑音統計の一因となる多様な局所符号化様式および局所符号化条件に服する。互いに異なる３つのブロック符号化様式またはブロック符号化条件を明らかにすることができ、それらはつまり、（１）イントラ符号化、（２）残留の符号化を伴うインター符号化、および（３）符号化される残留がないインター符号化である。
【０１０６】
最初の２つの場合は、様々な予測符号化様式、およびその予測符号化様式の量子化効果を使用する。さらに、そのようなブロック間の境界は、様々な強度のブロッキングアーチファクトの影響を受ける。ＭＰＥＧ−４  ＡＶＣ標準のデブロッキングフィルタのフィルタリング強度の観測に基づいて、符号化される残留がない状態でインター符号化されるブロックの、複数のピクセルのブロック動きの差または別の参照フレームからの動き補償を示す境界も、ブロッキングアーチファクトの影響を受ける。
【０１０７】
上述の条件は、専用のフィルタリング方策を必要とする画像領域を識別し、隔離するために使用することができる。輝度画像の各ピクセルは、局所符号化条件に従って個々のクラスに分けられる。例示的実施形態では、この条件は徹底的に評価され、選ばれたブロック内のピクセル、またはそのような選ばれたブロックの境界に沿ったピクセルを示す。この実施形態では、あるピクセルがあるブロックのエッジから距離ｄの範囲内にある場合、そのピクセルはそのブロックの境界に属するとみなすことを指摘しておく。
【０１０８】
この分類は、異なる量子化効果を受ける画像領域の局所的区別を提供する、フィルタリングマップを生じさせる。ループ内方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、マップ作成モジュールが、上記の分類を実行し、映像シーケンスのフレームごとのフィルタリングマップを生み出す役割を果たす。輝度マップをサブサンプリングすることにより、画像のクロマ成分に関するフィルタリングマップが得られる。
【０１０９】
図１２を見ると、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号１２００によって全体として示されている。このフィルタ１２００は、（各クラス用の）閾値セレクタ１２１５の第２の入力、およびフィルタ済み画像コンストラクタ１２２５の第３の入力と信号通信する出力を有する、方向適応型アーチファクト除去フィルタ１２０５を含む。閾値セレクタ１２１５の出力は、フィルタ済み画像コンストラクタ１２２５の第２の入力に信号通信で接続される。閾値生成器１２１０の出力は、閾値セレクタ１２１５の第１の入力、および方向適応型アーチファクト除去フィルタ１２０５の第２の入力に信号通信で接続される。マップ作成器１２２０の出力は、閾値セレクタ１２１５の第４の入力、およびフィルタ済み画像コンストラクタ１２２５の第１の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ１２０５の第１の入力は、入力ピクチャを受け取るための、フィルタ１２００の入力として利用可能である。閾値生成器１２１０の入力は、制御データを受け取るための、フィルタ１２００の入力として利用可能である。閾値セレクタ１２１５の第３の入力は、元のピクチャを受け取るための、フィルタ１２００の入力として利用可能である。マップ作成器１２２０の入力は、符号化情報を受け取るための、フィルタ１２００の入力として利用可能である。閾値セレクタ１２１５の出力はさらに、クラスごとの最適閾値を出力するための、フィルタ１２００の出力として利用可能である。フィルタ済み画像コンストラクタ１２２５の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ１２００の出力として利用可能である。
【０１１０】
図１３を見ると、符号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号１３００によって全体として示されている。この方法１３００は、機能ブロック１３１０に制御を渡す、開始ブロック１３０５を含む。機能ブロック１３１０は、現在のフレームに関する１組のフィルタリング閾値およびフィルタリングマップを設定し、ループ端ブロック１３１５に制御を渡す。ループ端ブロック１３１５は、フィルタリング閾値ごとにループ（ｔｈ）を実行し、機能ブロック１３２０に制御を渡す。機能ブロック１３２０は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、ループ端ブロック１３２５に制御を渡す。ループ端ブロック１３２５は、フィルタリングマップのクラスごとにループを実行し、機能ブロック１３３０に制御を渡す。機能ブロック１３３０は、最適閾値（例えば最大ＰＳＮＲ）を選択し、各クラス内のフィルタ済みピクセルで、アーチファクト除去済みピクチャを更新し、ループ端ブロック１３３５に制御を渡す。ループ端ブロック１３３５は、クラスごとのループを終了し、ループ端ブロック１３４０に制御を渡す。ループ端ブロック１３４０は、フィルタリング閾値ごとのループ（ｔｈ）を終了し、機能ブロック１３４５に制御を渡す。機能ブロック１３４５は、クラスごとの最適閾値をビットストリームに出力し、アーチファクト除去済みピクチャを出力し、終了ブロック１３９９に制御を渡す。
【０１１１】
フィルタリングマップを用いて、一実施形態では、指示クラスそれぞれの中のピクセルのアーチファクトを除去する際、専用のフィルタリング閾値を適用する。図１２を再び参照すると、閾値生成器１２１０は、制御データを使用して、画像を方向適応型アーチファクト除去することに関して符号化手順の間に適用する、１組の閾値を規定する。制御データは、圧縮パラメータ（例えば量子化パラメータ（ＱＰ））、ユーザプリファレンス、局所および／もしくは広域信号特性、ならびに／または局所および／もしくは広域雑音／歪み特性とみなすことができるが、これだけに限定されない。閾値は、例えばこれだけに限定されないが、映像品質測度、符号化コスト測度のうちの少なくとも１つなどに適応的に設定することができ、双方の品質が最適化される。例えば、あるクラス内のフィルタ済みピクセルと元のピクセルとの間のＰＳＮＲが最大になるように、クラスごとに最適閾値が選択される。この様々な閾値の下でのフィルタリング操作は、並列に実施できることを理解すべきである。一実施形態では、ピクチャの様々なフィルタ済みバージョンを生成するために、各クラスに適用できる可能な閾値のうちの１つをそれぞれが使用する、いくつかの独立したフィルタリング操作を使用することができる。そのような場合のフィルタは、フィルタしようとするピクチャの様々な副格子サンプリングに対する、いくつかのスパーシティベースフィルタリングステップの重み付き組合せに基づく。一実施形態では、（例えばフィルタ済み画像コンストラクタ１２２５により）クラスごとに最適にフィルタされたデータを含む合成画像を構築し、残りの符号化モジュールに提供する。閾値セレクタ１２１５は、符号器でしか入手できない情報（元の画像）を使用するため、クラスごとに選択した閾値を映像符号化方式のビットストリーム内で伝送する。
【０１１２】
一実施形態では、スライス当たりの選択閾値を符号化することができる。これらの閾値は、単純な均一符号を用いた符号化とすることができるが、それだけに限定されない。例えば、それらの閾値は、前のスライスおよび／または映像フレームを基準にして差動的に符号化することができる。また、例えば符号化設定、符号化プロファイル、および／または量子化パラメータに依存するいくつかの平均閾値の値を、符号器と復号器とにおいて知ることができる。適応的閾値は、この平均閾値を基準にして差動的に符号化することができる。均一符号化値および／または差分値を、例えばこれだけに限定されないが均一符号、可変長符号（ＶＬＣ）、および／または算術符号化（例えばコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ））を使用して符号化することができる。一実施形態では、各スライス／フレーム／シーケンスについて選択した閾値に関する情報を、ＳＥＩ（付加拡張情報）データとして、符号化映像ビットストリーム内で伝送する。当業者は、閾値を伝送するために、任意の高レベル構文パラメータセットおよび／またはヘッダなどの他のデータ単位（例えば、スライスパラメータセット、ピクチャパラメータセット、シーケンスパラメータセット等）も使用できることを理解されよう。
【０１１３】
この復号器もフィルタリングマップを構築し、ビットストリームから最適閾値情報を抽出した状態で、次に各クラス内のピクセルのアーチファクトをしかるべく除去する。方向適応型アーチファクト除去フィルタリングの結果は、フィルタ済み画像を生み出すために使用し、各クラス内のピクセルは個別のフィルタリング閾値に従う。
【０１１４】
図１４を見ると、復号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号１４００によって全体として示されている。このフィルタ１４００は、フィルタ済み画像コンストラクタ１４１５の第３の入力に信号通信で接続される出力を有する、方向適応型アーチファクト除去フィルタ１４０５を含む。マップ作成器１４１０の出力は、フィルタ済み画像コンストラクタ１４１５の第１の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ１４０５の入力は、入力ピクチャを受け取るための、フィルタ１４００の入力として利用可能である。方向適応型アーチファクト除去フィルタ１４０５の第２の入力、およびフィルタ済み画像コンストラクタ１４１５の第２の入力は、クラスごとの最適閾値を受け取るための、フィルタ１４００の入力として利用可能である。マップ作成器１４１０の入力は、符号化情報を受け取るための、フィルタ１４００の入力として利用可能である。フィルタ済み画像コンストラクタ１４１５の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ１４００の出力として利用可能である。
【０１１５】
図１５を見ると、復号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号１５００によって全体として示されている。この方法１５００は、機能ブロック１５１０に制御を渡す、開始ブロック１５０５を含む。機能ブロック１５１０は、最適フィルタリング閾値を取り出し、現在のフレームに関するフィルタリングマップを設定し、ループ端ブロック１５１５に制御を渡す。ループ端ブロック１５１５は、フィルタリング閾値ごとにループ（ｔｈ）を実行し、機能ブロック１５２０に制御を渡す。機能ブロック１５２０は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック１５２５に制御を渡す。機能ブロック１５２５は、フィルタリングマップの各クラスのフィルタ済みピクセルで、アーチファクト除去済みピクチャを更新し、ループ端ブロック１５３０に制御を渡す。ループ端ブロック１５３０は、フィルタリング閾値（ｔｈ）ごとのループを終了し、機能ブロック１５３５に制御を渡す。機能ブロック１５３５は、アーチファクト除去済みピクチャを出力し、終了ブロック１５９９に制御を渡す。
【０１１６】
時空的に適応性がある閾値を用いる、このループ内方向適応型アーチファクト除去フィルタは、ハイブリッド映像符号器／復号器のループ内に組み込まれる。その映像符号器／復号器は、例えばＭＰＥＧ−４  ＡＶＣ標準の映像符号器／復号器の拡張とすることができる。この場合、このループ内方向適応型アーチファクト除去フィルタが動作している間、ＭＰＥＧ−４  ＡＶＣ標準のデブロッキングフィルタを置換し、補完し、かつ／または無効にすることができる。フレーム内の各クラスについて選択した閾値に関する情報を、例えばこれだけに限定されないがＳＥＩ（付加拡張情報）データとして、符号化映像ビットストリーム内で伝送する。
【０１１７】
一実施形態では、復元データに対するループ内フィルタを、ＭＰＥＧ−４  ＡＶＣ標準に適用することができる。そのような場合、図８および図９に示す標準的な符号器および復号器内のＭＰＥＧ−４  ＡＶＣ標準のデブロッキングフィルタを、このループ内方向適応型アーチファクト除去フィルタが動作している間、無効にすることができる。
【０１１８】
図１６を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４  ＡＶＣ標準に従って映像符号化を実行できる別の例示的映像符号器が、参照番号１６００によって全体として示されている。映像符号器１６００に適用される拡張は、ループ内方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【０１１９】
この映像符号器１６００は、結合器１６８５の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ１６１０を含む。結合器１６８５の出力は、変換器および量子化器１６２５の第１の入力に信号通信で接続される。変換器および量子化器１６２５の出力は、エントロピ符号器１６４５の第１の入力、ならびに逆変換器および逆量子化器１６５０の第１の入力に信号通信で接続される。エントロピ符号器１６４５の出力は、結合器１６９０の第１の非反転入力に信号通信で接続される。結合器１６９０の出力は、出力バッファ１６３５の第１の入力に信号通信で接続される。
【０１２０】
（ループ内方向適応型アーチファクト除去フィルタ１６４７を制御するように）拡張された符号器コントローラ１６０５の第１の出力は、フレーム順序付けバッファ１６１０の第２の入力、逆変換器および逆量子化器１６５０の第２の入力、ピクチャタイプ決定モジュール１６１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール１６２０の第１の入力、イントラ予測モジュール１６６０の第２の入力、ループ内方向適応型アーチファクト除去フィルタ１６４７の第２の入力、動き補償器１６７０の第１の入力、動き推定器１６７５の第１の入力、ならびに参照ピクチャバッファ１６８０の第２の入力に信号通信で接続される。
【０１２１】
（ループ内方向適応型アーチファクト除去フィルタ１６４７を制御するように）拡張された符号器コントローラ１６０５の第２の出力は、ＳＥＩ（付加拡張情報）インサータ１６３０の第１の入力、変換器および量子化器１６２５の第２の入力、エントロピ符号器１６４５の第２の入力、出力バッファ１６３５の第２の入力、ならびにＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ１６４０の入力に信号通信で接続される。
【０１２２】
ＳＥＩインサータ１６３０の出力は、結合器１６９０の第２の非反転入力に信号通信で接続される。
【０１２３】
ピクチャタイプ決定モジュール１６１５の第１の出力は、フレーム順序付けバッファ１６１０の第３の入力に信号通信で接続される。ピクチャタイプ決定モジュール１６１５の第２の出力は、マクロブロックタイプ決定モジュール１６２０の第２の入力に信号通信で接続される。
【０１２４】
ＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ１６４０の出力は、結合器１６９０の第３の非反転入力に信号通信で接続される。
【０１２５】
逆量子化器および逆変換器１６５０の出力は、結合器１６１９の第１の非反転入力に信号通信で接続される。結合器１６１９の出力は、イントラ予測モジュール１６６０の第１の入力、およびループ内方向適応型アーチファクト除去フィルタ１６４７の第１の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ１６６５の第１の出力は、参照ピクチャバッファ１６８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１６８０の出力は、動き推定器１６７５の第２の入力、および動き補償器１６７０の第３の入力に信号通信で接続される。動き推定器１６７５の第１の出力は、動き補償器１６７０の第２の入力に信号通信で接続される。動き推定器１６７５の第２の出力は、エントロピ符号器１６４５の第３の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ１６４７の第２の出力は、ＳＥＩインサータ１６３０の第３の入力に信号通信で接続される。
【０１２６】
動き補償器１６７０の出力は、スイッチ１６９７の第１の入力に信号通信で接続される。イントラ予測モジュール１６６０の出力は、スイッチ１６９７の第２の入力に信号通信で接続される。マクロブロックタイプ決定モジュール１６２０の出力は、スイッチ１６９７の第３の入力に信号通信で接続される。スイッチ１６９７のこの第３の入力は、このスイッチの「データ」入力が、（制御入力、すなわち第３の入力に照らして）動き補償器１６７０またはイントラ予測モジュール１６６０によって提供されるべきかどうかを決定する。スイッチ１６９７の出力は、結合器１６１９の第２の非反転入力、および結合器１６８５の反転入力に信号通信で接続される。
【０１２７】
フレーム順序付けバッファ１６１０の第１の入力、（ループ内方向適応型アーチファクト除去フィルタ１６４７を制御するように拡張された）符号器コントローラ１６０５の入力、およびループ内方向適応型アーチファクト除去フィルタ１６４７の第３の入力は、入力ピクチャを受け取るための、符号器１６００の入力として利用可能である。さらに、ＳＥＩ（付加拡張情報）インサータ１６３０の第２の入力は、メタデータを受け取るための、符号器１６００の入力として利用可能である。出力バッファ１６３５の出力は、ビットストリームを出力するための、符号器１６００の出力として利用可能である。
【０１２８】
図１７を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４  ＡＶＣ標準に従って映像復号を実行できる別の例示的映像復号器が、参照番号１７００によって全体として示されている。映像復号器１７００に適用される拡張は、ループ内方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【０１２９】
この映像復号器１７００は、エントロピ復号器１７４５の第１の入力、およびループ内方向適応型アーチファクト除去フィルタ１７４７の第４の入力に信号通信で接続される出力を有する、入力バッファ１７１０を含む。エントロピ復号器１７４５の第１の出力は、逆変換器および逆量子化器１７５０の第１の入力に信号通信で接続される。逆変換器および逆量子化器１７５０の出力は、結合器１７２５の第２の非反転入力に信号通信で接続される。結合器１７２５の出力は、ループ内方向適応型アーチファクト除去フィルタ１７４７の第２の入力、およびイントラ予測モジュール１７６０の第１の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ１７４７の第２の出力は、参照ピクチャバッファ１７８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１７８０の出力は、動き補償器１７７０の第２の入力に信号通信で接続される。
【０１３０】
エントロピ復号器１７４５の第２の出力は、動き補償器１７７０の第３の入力、およびループ内方向適応型アーチファクト除去フィルタ１７４７の第１の入力に信号通信で接続される。エントロピ復号器１７４５の第３の出力は、復号器コントローラ１７０５の入力に信号通信で接続される。復号器コントローラ１７０５の第１の出力は、エントロピ復号器１７４５の第２の入力に信号通信で接続される。復号器コントローラ１７０５の第２の出力は、逆変換器および逆量子化器１７５０の第２の入力に信号通信で接続される。復号器コントローラ１７０５の第３の出力は、ループ内方向適応型アーチファクト除去フィルタ１７４７の第３の入力に信号通信で接続される。復号器コントローラ１７０５の第４の出力は、イントラ予測モジュール１７６０の第２の入力、動き補償器１７７０の第１の入力、および参照ピクチャバッファ１７８０の第２の入力に信号通信で接続される。
【０１３１】
動き補償器１７７０の出力は、スイッチ１７９７の第１の入力に信号通信で接続される。イントラ予測モジュール１７６０の出力は、スイッチ１７９７の第２の入力に信号通信で接続される。スイッチ１７９７の出力は、結合器１７２５の第１の非反転入力に信号通信で接続される。
【０１３２】
入力バッファ１７１０の入力は、入力ビットストリームを受け取るための、復号器１７００の入力として利用可能である。ループ内方向適応型アーチファクト除去フィルタ１７４７の第１の出力は、出力ピクチャを出力するための、復号器１７００の出力として利用可能である。
【０１３３】
図８および図９にそれぞれ関係する符号器コントローラ８０５および復号器コントローラ９０５は、ループ外方向適応型フィルタ（すなわちフィルタ１６４７およびフィルタ１７４７それぞれ）を制御するように拡張された符号器コントローラ１６０５および復号器コントローラ１７０５を得るために、どちらも修正される。この修正は、このループ内フィルタを最も効率的に動作させるために設定し、構成し、適応させるためのブロックレベル構文および／または高レベル構文の可能な要件に影響を及ぼす。このために、いくつかの構文フィールドを様々なレベルで定義することができる。表１は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なピクチャパラメータセット構文データを示す。表２は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なスライスヘッダデータを示す。当然、本原理の趣旨を保ちながら、このループ外フィルタを設定し、構成し、適応させるために、他の高レベル構文要素を使用することもできる。
【０１３４】
次に、表１および表２に示す構文要素のいくつかを、一実施形態に従って説明する。
【０１３５】
ｅｎａｂｌｅ＿ｍａｐ＿ｃｒｅａｔｉｏｎ＿ｔｙｐｅ：例えばシーケンスパラメータセットレベルおよび／またはピクチャパラメータセットレベルに位置することができる高レベル構文要素である。一実施形態では、この要素の値は、フィルタリングマップのタイプに関する省略時値を変更する実現性を可能にする。
【０１３６】
ｍａｐ＿ｃｒｅａｔｉｏｎ＿ｔｙｐｅ：ループ内方向適応型アーチファクト除去フィルタリングで使用する、フィルタリングマップのタイプを指定する。例えば一実施形態では、この構文要素は、クラスの数およびフィルタリングマップの境界サイズを設定するために使用することができる。
【０１３７】
次に、一部は上記に記載した、本発明に付随する多くの利点／特徴のいくつかについて説明する。例えば１つの利点／特徴は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを備える装置である。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
【０１３８】
別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は空間的に変えられる。
【０１３９】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも１つに応じて変えられる。
【０１４０】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、複数のクラスに対応するクラスマップが作成され、その複数のクラスのそれぞれに関して個々の閾値が選択される。その複数のクラスのそれぞれは、１組の特定の符号化条件に対応する。
【０１４１】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも１つを使用して符号化される。その平均閾値の値は、少なくとも１つの符号化設定、少なくとも１つの符号化プロファイル、および少なくとも１つの量子化パラメータのうちの少なくとも１つに依存する。均一符号化値および差分値のうちの少なくとも１つは、均一符号、可変長符号、および算術符号のうちの少なくとも１つを使用して符号化される。
【０１４２】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、少なくとも１つの高レベル構文要素を使用して、フィルタリング閾値情報が符号化映像ビットストリーム内で伝送される。
【０１４３】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは、ピクチャデータのループ内処理およびループ外処理のうちの少なくとも１つに備えて構成される。
【０１４４】
また、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは、映像符号器および映像復号器のうちの少なくとも１つに含まれる。
【０１４５】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値はピクチャデータまたはそのピクチャデータの一部分に対応しているピクチャ全体に選択的に適用される。
【０１４６】
さらに、別の利点／特徴は、スパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は上述したように選択的に適用され、独立にまたは一緒に適応される。
【０１４７】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタが行うスパーシティベースフィルタリング操作は、結合、適応化、有効化、無効化のうちの少なくとも１つが可能である。
【０１４８】
また、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは映像符号器に含まれ、アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかが、少なくとも１つの高レベル構文要素を使用して、対応する復号器に信号で伝えられる。
【０１４９】
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは映像復号器に含まれ、アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかが、少なくとも１つの高レベル構文要素から明らかにされる。
【０１５０】
本原理のこれらのおよび他の特徴／利点は、本明細書の教示に基づいて当業者は容易に確かめることができる。本原理の教示は、様々な形のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはこれらの組合せに実装できることを理解すべきである。
【０１５１】
本原理の教示をハードウェアとソフトウェアとの組合せとして実装することが最も好ましい。さらに、そのソフトウェアは、プログラム記憶ユニット上に有形に実施されるアプリケーションプログラムとして実装することができる。そのアプリケーションプログラムは、任意の適切なアーキテクチャを含む機械にアップロードし、その機械によって実行することができる。好ましくは、その機械は、１つまたは複数の「ＣＰＵ」（中央処理装置）、「ＲＡＭ」（ランダムアクセスメモリ）、「Ｉ／Ｏ」（入出力）インタフェースなどのハードウェアを備えるコンピュータプラットフォーム上に実装される。そのコンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードをさらに含むことができる。本明細書に記載した様々な処理および機能は、ＣＰＵが実行できるマイクロ命令コードの一部、またはアプリケーションプログラムの一部、またはそれらの任意の組合せとすることができる。さらに、追加データ記憶ユニットや印刷ユニットなど、他の様々な周辺装置をこのコンピュータプラットフォームに接続することができる。
【０１５２】
添付図面に示す構成システムのコンポーネントおよび方法の一部はソフトウェアに実装することが好ましいので、このシステムのコンポーネント間または処理機能ブロック間の実際の接続は、本原理をプログラムする方法によって異なる場合があることをさらに理解すべきである。本明細書の教示を所与として、当業者は本原理のこれらのおよび同様の実装形態または構成を思いつくことができるであろう。
【０１５３】
例示的実施形態を、添付図面を参照して本明細書で説明したが、本原理はそれらの厳密な実施形態に限定されず、本原理の範囲または趣旨から逸脱することなく、当業者は様々な変更および修正を加えることができることを理解すべきである。そのような変更および修正はすべて、添付の特許請求の範囲に記載する本原理の範囲に含まれるものとする。
【図１】
2011510561.tif 000005
【図２】
2011510561.tif 000006
【図３】
2011510561.tif 000007
【図４】
2011510561.tif 000008
【図５】
2011510561.tif 000009
【図６】
2011510561.tif 000010
【図７】
2011510561.tif 000011
【図８】
2011510561.tif 000012
【図９】
2011510561.tif 000013
【図１０】
2011510561.tif 000014
【図１１】
2011510561.tif 000015
【図１２】
2011510561.tif 000016
【図１３】
2011510561.tif 000017
【図１４】
2011510561.tif 000018
【図１５】
2011510561.tif 000019
【図１６】
2011510561.tif 000020
【図１７】
2011510561.tif 000021
【国際調査報告】
2011510561.tif 000022
2011510561.tif 000023
2011510561.tif 000024
2011510561.tif 000025