(57)【特許請求の範囲】
【請求項１】
逆量子化された変換係数を形成するよう画像におけるブロックの変換係数を逆量子化するステップと、
予測残差を形成するよう前記逆量子化された変換係数を逆変換するステップと、
前記予測残差を用いて、再構成された画像ブロックを形成するステップと、
処理されたピクセルを形成するよう、前記再構成された画像ブロックの複数のピクセルと、前記ブロックに隣接する再構成されたブロックの複数のピクセルとを含むピクセルの組を処理するステップであって、該処理されたピクセルは、前記再構成された画像ブロックの複数のピクセルに対応するピクセルの第１サブセットと、前記ブロックに隣接する前記再構成されたブロックの複数のピクセルに対応するピクセルの第２サブセットとを含む、ステップと、
精緻化された画像ブロックを形成するよう前記処理されたピクセルの第１サブセットにより前記再構成された画像ブロックの複数のピクセルを置き換えるステップと
を有し、
前記精緻化された画像ブロックは、前記画像の他のブロックを符号化又は復号化するために使用され、前記ブロックに隣接する前記再構成されたブロックの複数のピクセルは、前記処理されたピクセルの第２サブセットによって置き換えられない、方法。
【請求項２】
前記ブロックに隣接する前記再構成されたブロックは、前記ブロックの前に符号化又は復号化される、
請求項１に記載の方法。
【請求項３】
前記再構成された画像ブロックは、該再構成された画像ブロックに隣接する前記再構成されたブロックの部分を形成するピクセルとともに、拡大された画像ブロックを形成し、前記処理するステップは、前記拡大された画像ブロックに対して実行される、
請求項１に記載の方法。
【請求項４】
前記処理するステップは、バイラテラルフィルタによって実行される、
請求項１に記載の方法。
【請求項５】
前記バイラテラルフィルタの空間パラメータ及びレンジパラメータは、量子化パラメータによって変化する、
請求項４に記載の方法。
【請求項６】
当該方法は、符号化する方法であって、
初期変換係数のうちの１又はそれ以上をゼロに設定するステップと、
前記初期変換係数を、逆量子化されるべき前記変換係数へと量子化するステップと
を更に有する請求項１に記載の方法。
【請求項７】
前記初期変換係数のうちの１又はそれ以上がゼロに設定された後の残りの非ゼロの初期変換係数の数は、量子化パラメータ、前記ブロックの分散、前記ブロックの非ゼロの初期係数の数、及び走査順序において最後の非ゼロの初期係数のインデックスのうちの少なくとも１つによって変化する、
請求項６に記載の方法。
【請求項８】
画像におけるブロックの変換係数を逆量子化された変換係数へと逆量子化する逆量子化部と、
前記逆量子化された変換係数を予測残差へと逆変換する逆変換部と、
前記予測残差を用いて、再構成された画像ブロックを形成する加算部と、
処理されたピクセルを形成するよう、前記再構成された画像ブロックの複数のピクセルと、前記ブロックに隣接する再構成されたブロックの複数のピクセルとを含むピクセルの組を処理し、該処理されたピクセルは、前記再構成された画像ブロックの複数のピクセルに対応するピクセルの第１サブセットと、前記ブロックに隣接する前記再構成されたブロックの複数のピクセルに対応するピクセルの第２サブセットとを含み、且つ、精緻化された画像ブロックを形成するよう前記処理されたピクセルの第１サブセットにより前記再構成された画像ブロックの複数のピクセルを置き換える処理部と
を有し、
前記精緻化された画像ブロックは、前記画像の他のブロックを符号化又は復号化するために使用され、前記ブロックに隣接する前記再構成されたブロックの複数のピクセルは、前記処理されたピクセルの第２サブセットによって置き換えられない、装置。
【請求項９】
前記ブロックに隣接する前記再構成されたブロックは、前記ブロックの前に符号化又は復号化される、
請求項８に記載の装置。
【請求項１０】
前記再構成された画像ブロックは、該再構成された画像ブロックに隣接する前記再構成されたブロックの部分を形成するピクセルとともに、拡大された画像ブロックを形成し、前記処理は、前記拡大された画像ブロックに対して実行される、
請求項８に記載の装置。
【請求項１１】
前記処理部は、バイラテラルフィルタである、
請求項８に記載の装置。
【請求項１２】
前記バイラテラルフィルタは、空間パラメータ及びレンジパラメータを量子化パラメータによって変える、
請求項１１に記載の装置。
【請求項１３】
当該装置は、エンコーダであって、
初期変換係数のうちの１又はそれ以上は、前記変換係数へと量子化される前にゼロに設定され、前記変換係数は、次いで、逆量子化され、
前記初期変換係数のうちの１又はそれ以上がゼロに設定された後の残りの非ゼロの初期変換係数の数は、量子化パラメータ、前記ブロックの分散、前記ブロックの非ゼロの初期係数の数、及び走査順序において最後の非ゼロの初期係数のインデックスのうちの少なくとも１つによって変化する、
請求項８に記載の装置。
【請求項１４】
１又はそれ以上のプロセッサに集合的に
逆量子化された変換係数を形成するよう画像におけるブロックの変換係数を逆量子化するステップと、
予測残差を形成するよう前記逆量子化された変換係数を逆変換するステップと、
前記予測残差を用いて、再構成された画像ブロックを形成するステップと、
処理されたピクセルを形成するよう、前記再構成された画像ブロックの複数のピクセルと、前記ブロックに隣接する再構成されたブロックの複数のピクセルとを含むピクセルの組を処理するステップであって、該処理されたピクセルは、前記再構成された画像ブロックの複数のピクセルに対応するピクセルの第１サブセットと、前記ブロックに隣接する前記再構成されたブロックの複数のピクセルに対応するピクセルの第２サブセットとを含む、ステップと、
精緻化された画像ブロックを形成するよう前記処理されたピクセルの第１サブセットにより前記再構成された画像ブロックの複数のピクセルを置き換えるステップと
を実行させる命令を記憶し、
前記精緻化された画像ブロックは、前記画像の他のブロックを符号化又は復号化するために使用され、前記ブロックに隣接する前記再構成されたブロックの複数のピクセルは、前記処理されたピクセルの第２サブセットによって置き換えられない、プロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化及び復号化、特に、画像精緻化（image  refinement）を用いたビデオ符号化及び復号かに関する。
【背景技術】
【０００２】
高い圧縮効率を達成するよう、画像及びビデオの符号化スキームは、通常、ビデオにおける空間的及び時間的冗長性を利用するために予測及び変換を用いる。一般に、イントラ又はインター予測がフレーム間又は内相関を利用するために使用され、その場合に、しばしば予測誤差又は予測残差として表される、原画像と予測画像との間の差は、変換され、量子化され、エントロピー符号化される。映像を再構成するよう、圧縮データは、予測、変換、量子化及びエントロピー符号化に対応する逆処理によって復号化される。
【発明の概要】
【課題を解決するための手段】
【０００３】
全般的な態様に従って、符号化及び復号化の間、画像ブロックは最初に、逆量子化及び逆変換を用いて再構成される。再構成された画像ブロックは次いで、隣接する再構成されたブロックのピクセルを用いて精緻化（refined）される。
【０００４】
他の全般的な態様に従って、符号化及び復号化の間、画像ブロックは最初に、逆量子化及び逆変換を用いて再構成される。再構成された画像ブロックは次いで、隣接する再構成されたブロックのピクセルを用いてバイラテラルフィルタによって精緻化される。バイラテラルフィルタの空間パラメータ及びレンジパラメータは、量子化パラメータに適応する。
【０００５】
他の全般的な態様に従って、変換係数は、残りの非ゼロの変換係数の数が、量子化パラメータ、画像ブロックの分散、非ゼロの係数の数、及び／又は走査順序において最後の非ゼロの係数のインデックスに適応するように切り捨てられる。加えて、再構成の間、画像ブロックは最初に、逆量子化及び逆変換を用いて再構成され、次いで、再構成された画像ブロックは、隣接する再構成されたブロックのピクセルを用いて精緻化される。
【０００６】
１又はそれ以上の実施の詳細は、添付の図面及び以下の記載において説明される。たとえ１つの特定の様式において記載されるとしても、当然に、実施は様々な様式において構成され又は具現されてよい。例えば、実施は、方法として実行され、又は、例えば、動作の組を実行するよう構成された装置若しくは動作の組を実行する命令を記憶する装置のような装置として具現され、又は信号において具現されてよい。他の態様及び特徴は、添付の図面及び特許請求の範囲とともに検討される以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１Ａ】如何にして画像ブロックが隣接するブロックを用いて精緻化され得るのかを表す図である。
【図１Ｂ】本原理の実施形態に従って、如何にしてフィルタがスライディングウィンドウを用いて適用され得るのかを表す図である。
【図２】本原理の実施形態に従う、係数閾値化及び画像精緻化を用いるビデオ符号化の例を表すフロー図である。
【図３】本原理の実施形態に従う、画像精緻化を用いるビデオ復号化の例を表すフロー図である。
【図４】本原理の実施形態に従うビデオエンコーダの例を表すブロック図である。
【図５】本原理の実施形態に従うビデオデコーダの例を表すブロック図である。
【図６】１又はそれ以上の実施により使用され得る画像処理システムの例を表すブロック図である。
【図７】１又はそれ以上の実施により使用され得る画像処理システムの他の例を表すブロック図である。
【発明を実施するための形態】
【０００８】
圧縮データは、ほとんど又は全く固有の画像特性が復号化処理の間に更に利用され得ないとして、しばしばランダムデータと見なされる。すなわち、画像は、圧縮データにおいて明示的又は暗示的に符号化される情報を用いて再構成される。
【０００９】
しかし、ビデオに関する特定の予備的知識は、復号化されたビデオの品質を高めるためにデコーダで利用され得る。例えば、デブロッキングフィルタは、ほとんどの画像が滑らかなコンテンツを有すると知られているので、強いブロッキネスを除去するために適用されてよい。
【００１０】
他の例では、ビデオ信号が疎表現され得るとの予備的知識に基づき、“Video  coding  using  compressive  sensing”と題された同出願人の国際特許出願第ＰＣＴ／ＵＳ１１／００００６４号は、ビデオ圧縮において圧縮センシング（compressive  sensing）を使用することを提案している。圧縮センシングは、少数の測定により信号を表現するための技術であり、それは、ナイキストサンプリングレートを下回る多種多様な信号を有効に表現することができる。隣接ピクセル間の差は一般的に自然画像では小さく、よって階調度は疎（sparse）であるとの予備的知識によれば、圧縮センシングモードは、変換係数のサブセットによりブロックを再構成するよう構成される。
【００１１】
本実施形態は、ビデオ圧縮効率を改善するよう画像精緻化を用いる方法及び装置を提供する。平滑性（smoothness）及び特異性（singularity）のような一般的な画像特性が、画像精緻化ツールの設計において使用されてよい。特異性は、画像においてエッジ及びテクスチャが存在し得る（すなわち、隣接ピクセルのグレースケール値が有意に変化し得る）画像特性を指す。良好な画像精緻化ツールは、平滑性を考慮しながら画像の特異性を保つべきである。
【００１２】
図１Ａは、現在のブロックを精緻化するために画像特性を使用する例を表す。画像ブロック１４０は、符号化又は復号化されるべき現在のブロックであり、画像ブロック１１０、１２０及び１３０は既に符号化又は復号化されている。画像ブロック１４０は最初に、既存の方法により再構成されてよい。例えば、それは、Ｈ．２６４表現に従う逆量子化及び逆変換を通じて再構成されてよい。
【００１３】
以前に符号化された隣接するブロック（１１０、１２０、１３０）を用いると、最初の再構成されたブロック（１４０）が精緻化され得る。一実施形態において、影付きの範囲１５０，１６０及び１７０が画像１４０を精緻化するために使用されてよい。影付きの範囲は、現在のブロックに隣接しており、それらは、以前に符号化された隣接するブロックの部分である。我々は、現在のブロック（１４０）及び影付きの範囲（１５０、１６０、１７０）によって形成されるブロックを、拡大されたブロック（１８０）として表す。現在のブロック（１４０）はＢ×Ｂ個のブロックを有し、拡大されたブロック（１８０）はｍ×ｍ（ｍ＝Ｂ＋Ｗ）個のピクセルを有する。より一般的な例では、Ｂｖ×Ｂｈ個のピクセルを有する現在のブロックは、（Ｂｖ＋Ｗｖ）×（Ｂｈ＋Ｗｈ）のブロックに拡大されてよい。すなわち、現在のブロックの幅（Ｂｈ）及び高さ（Ｂｖ）は異なってよく、水平方向及び垂直方向において拡大される長さ（夫々、Ｗｈ及びＷｖ）も異なってよい。
【００１４】
図１Ａの例では、上のブロック及び左のブロックからのピクセルが、拡大されたブロックを形成するために使用されている。これは、ほとんどの既存のビデオ圧縮標準がラスタ走査順序において画像ブロックを符号化し、上のブロック及び左のブロックが現在のブロックの前に符号化又は復号化されるためである。結果として、それらのブロックは、同じようにエンコーダ及びデコーダの両方で再構成され得る。異なる符号化順序が使用される場合に、他の位置からのブロック、例えば、右のブロック及び下のブロックが、現在のブロックを精緻化するために選択されてよい。
【００１５】
ブロックサイズ（Ｂｖ×Ｂｈ）は、符号化設定（分解能、ビットレート、等）に基づき様々であってよい。それはまた、フレーム内のブロックごとに異なってよい。例えば、それは４×４、８×８、１６×１６、８×４、又は４×８であるよう選択されてよく、あるいは、それは変換又は量子化と同じサイズを有するよう選択されてよい。
【００１６】
拡大されたブロック（１８０）は、圧縮のためにノイズにより汚染された画像ブロックとして見られることがあり、よって、その品質は、画像処理技術によって精緻化されてよい。拡大された範囲によれば、現在のブロック（１４０）における境界ピクセルは、そのブロック内の他のピクセルと同じくらい長いフィルタサポートの範囲から恩恵を受けることができる。
【００１７】
ノイズ除去フィルタ又は他の画像処理方法が、拡大されたブロックを精緻化するために使用されてよく、例えば、メディアンフィルタ、バイラテラルフィルタ、又はＳＡ−ＤＣＴ（形状適応ＤＣＴ）方法が使用されてよいが、これらに限られない。フィルタ長さは計算複雑性及び性能に基づき選択されてよく、拡大される範囲のサイズは、フィルタ長さに適応するよう設計されてよく、例えば、Ｗ＝（フィルタ長さ−１）／２である。
【００１８】
図１Ｂを参照すると、スライディングウィンドウ・フィルタリングを用いる画像精緻化の例が表されている。一実施形態において、拡大されたブロック（１８０）に関し、バイラテラルフィルタが、スライディングウィンドウ（１９０）内のピクセルを処理するために用いられる。我々は、スライディングウィンドウのサイズを（２ｎ＋１）×（２ｎ＋１）として表し、その場合に、スライディングウィンドウの中心ピクセルＩ（ｘ，ｙ）のためのフィルタリング処理は、次のように進む：
ステップ１：スライディングウィンドウにおける夫々のピクセルＩ（ｉ，ｊ）に関して近似パラメータを計算する：
【数１】
0005986639.tif 000002
ここで、σｄは空間パラメータである。
【００１９】
ステップ２：スライディングウィンドウにおける夫々のピクセルＩ（ｉ，ｊ）に関して相似パラメータを計算する：
【数２】
0005986639.tif 000003
ここで、σｒはレンジパラメータであり、Ｉ（ｘ，ｙ）はピクセル値である。
【００２０】
ステップ３：スライディングウィンドウにおける夫々のピクセルＩ（ｉ，ｊ）に関してフィルタ係数を計算する：
【数３】
0005986639.tif 000004
ステップ４：ピクセルＩ（ｘ，ｙ）に関してフィルタ処理結果を計算する：
【数４】
0005986639.tif 000005
ピクセルＩ（ｘ，ｙ）がフィルタリングされた後、スライディングウィンドウは、フィルタリング処理を続けるよう次の位置へ移動する。フィルタリングが完了する場合に、フィルタ処理結果は、現在のブロック及び影付きの範囲に対応するピクセル位置に関して取得される。我々は現在のブロック内のピクセルをフィルタ処理結果により更新する一方、影付きの範囲のピクセルを不変なままとする点に留意されたい。
【００２１】
フィルタは繰り返し適用され得る。すなわち、現在のブロックがフィルタリングされた後、次の拡大されたブロックが形成されてよく、フィルタリングされたブロックは再度フィルタリングされ得る。繰り返しの回数は、性能利得及び計算複雑性のバランスをとるよう選択されてよい。
【００２２】
一実施形態において、Ｂ＝８、Ｗ＝ｎ＝２であり、バイラテラルフィルタのためのパラメータ（σｄ及びσｒ）は、量子化パラメータ（ＱＰ）に基づき適応計算される：
【数５】
0005986639.tif 000006
上記の式における計算は、特にＨ．２６４に適する。ビデオシーケンスが他の標準によって圧縮される場合に、式は然るべく調整されるべきである。
【００２３】
図１Ａ及び図１Ｂで表されるように、最初の再構成された画像ブロックは精緻化され得る。新しい符号化モード、すなわち、協調符号化モードは、現在のブロックを精緻化するために拡大されたブロックを使用するこの新しい符号化方法を指すために定義される。
【００２４】
協調符号化モードにおける画像精緻化を考えると、例えば、幾つかの非ゼロの変換係数を切り捨てる（すなわち、非ゼロの変換係数をゼロに設定する）係数切り捨て又は係数閾値化を用いて、ビデオ品質を保つよう、より少ない変換係数を送信することが可能であり得る。
【００２５】
係数切り捨てが適用される場合に、エントロピー符号化される必要がある非ゼロの変換係数はより少なくなり、ビットレートは低減される。当然、切り捨てをされた変換係数によって表される情報はデコーダでも失われ、復号化されたビデオの品質は損害を受けることがある。画像精緻化によりそのような品質損失を補償することによって、低減されたビットレートで同じ品質を得ることが可能であり、よって、ビデオ圧縮効率を改善することができる。
【００２６】
良好なビデオ圧縮効率を取得するよう、我々は、データトレーニングを通じて、幾つの非ゼロ係数がブロックにおいて保たれるべきかを決定するようストラテジーを開発する。特に、我々は、ｎｃと表される残りの非ゼロ係数の数が如何にしてブロックの画像特徴に関係しているのかを推定する。
【００２７】
一実施形態において、我々は画像特徴として量子化パラメータ（ＱＰ）及びブロックの分散（σ２）を考え、我々は、如何にしてＱＰ及びσ２がｎｃに関係しているかを記述するために関数ｆ（．）を導く。数学的に、関係は、ｎｃ＝ｆ（ＱＰ，σ２）と記述され得る。
【００２８】
関数ｆ（．）を取得するよう、新しい協調符号化モードがエンコーダに組み込まれる。各マクロブロックは、既存の方法と、係数閾値化及び画像精緻化が実施される協調モードとの両方によって符号化される。
【００２９】
トレーニングのために有意な統計データを集めるよう、様々なビデオシーケンスが異なるＱＰで符号化される。ビデオシーケンス及びＱＰの組み合わせの夫々について、我々はまた、切り捨て後の残りの非ゼロの変換係数の数を変化させる。一例において、高頻出の係数は係数切り捨てのためにゼロに設定され、非ゼロの係数の残数は８×８ブロックに関して１０から３６まで変化する。
【００３０】
符号化処理の間、既存のＨ．２６４方法のレートひずみコストはブロックごとにＲＤｃｏｓｔ０として計算され、協調モードのレートひずみコストはブロックごとにＲＤｃｏｓｔ（ｋ）として計算される。ここで、ｋは、切り捨て後の残りの非ゼロの変換係数の数である。２つのレートひずみコストの間の差は、
ΔＲＤｃｏｓｔ（ｋ）＝ＲＤｃｏｓｔ（ｋ）−ＲＤｃｏｓｔ０
と計算される。
【００３１】
夫々の符号化のためのデータセット（ＱＰ，σ２，ｋ，ΔＲＤｃｏｓｔ（ｋ））は、トレーニングデータセットにおけるエントリとして記録される。トレーニングデータセットにおけるデータエントリは、分散の対数（ｌｏｇ１０（σ２））によってクラスタ化される。夫々のＱＰ及び分散の夫々のクラスタに関して、ΔＲＤｃｏｓｔ（ｋ）の平均値が計算され、最小平均ΔＲＤｃｏｓｔ（ｋ）をもたらす最適なｋがＱＰ及びσ２とともにｎｃとして記憶される。結果として、我々は、｛ＱＰ，σ２，ｎｃ｝に関して多数のデータセットを取得する。曲線適合法を用いると、ＱＰ及びσ２に対するｎｃの関係が導出され得る。
【００３２】
当然のことながら、トレーニングデータセット、ひいては、導出された関係は、ビデオ及び符号化パラメータに極めて依存する。一例となる設定において、ビデオはＨ．２６４コーデックによって圧縮され、８×８変換のみが有効にされ、バイラテラルフィルタリングは画像精緻化のために用いられる。この例となる設定のための関数は、次のように導出される：
【数６】
0005986639.tif 000007
他の設定が使用される場合に、例えば、他のビデオ圧縮標準が使用されるか、又は４×４変換が８×８変換の代わりに使用されるか、又はバイラテラルフィルタリング以外の画像精緻化が適用される場合に、対応するトレーニングデータセットが形成されるべきであり、新しい関数又は新しい関数パラメータが取得されてよい。
【００３３】
他の実施形態においては、我々は、関数ｆ（．）を導出する場合に、画像特徴としてＱＰ、非ゼロの係数の数（ρ）、及び走査順序（例えば、ジグザグ走査順序）において最後の非ゼロの係数のインデックス（Ｉｌａｓｔ）を考えてよい。すなわち、関係は、ｎｃ＝ｆ（ＱＰ，ρ，Ｉｌａｓｔ）として記述されてよい。この実施形態は、分散を計算する必要がないので、より簡単である。
【００３４】
図２は、係数閾値化及び画像精緻化を用いるビデオ符号化方法２００の例を表す。新しい協調符号化モードが方法２００において含まれる。Ｈ．２６４エンコーダは、如何にして新しい符号化モードが組み込まれ得るのかを説明するために使用される。なお、新しいモードは、他のビデオ符号化方法に従うエンコーダに含まれ得る。
【００３５】
方法２００は、制御をループ制限ステップ２１０へ送るステップ２０５で開始する。ステップ２１５で、イントラ又はインター予測が、あるブロックについて実行される。予測残差、すなわち、原の画像ブロックと予測されたブロックとの間の差は、ステップ２２０で変換係数に変換される。変換係数が生成された後、符号化処理はＨ．２６５に従って起こるか、又は協調モードを始めてよい。例えば、より低いレートひずみコストを有して、より効率的であるモードが、そのブロックを符号化するために選択される。
【００３６】
Ｈ．２６４に従う画像ブロックの圧縮及び再構成はステップ２３２、２３６、２４０、２４４及び２４８で実行される。ステップ２３２で、変換係数は、量子化された変換係数へと量子化される。量子化された変換係数は、ステップ２３６でエントロピー符号化される。逆量子化が、逆量子化された変換係数を取得するために、量子化された変換係数に対してステップ２４０で実行される。逆量子化された変換係数は、再構成された予測残差を取得するために、ステップ２４４で逆変換される。再構成された予測残差及び（イントラ／インター予測からの）予測されたブロックを用いると、ブロックはステップ２４８で再構成される。レートひずみコスト（Ｊ２）が、次いでステップ２６５で計算され得る。
【００３７】
他方で、協調符号化モードを用いたブロックの圧縮及び再構成はステップ２２５、２３０、２３４、２３８、２４２、２４６及び２５０で実行される。量子化ステップ（２３０）の前に、一部の非ゼロ変換係数が切り捨てられる。一実施形態において、係数はジグザグ走査順序に編成されてよく、その走査順序の最後の非ゼロ係数はゼロに設定されてよい。厳密に幾つの係数が切り捨てられるべきかは、上述されたように、量子化パラメータ、ブロック分散、非ゼロの係数の数、最後の非ゼロの係数のインデックスに基づき計算されてよい。
【００３８】
切り捨てをされた係数は次いで、ステップ２３０で量子化され、ステップ２３４でエントロピー符号化される。ステップ２３８での逆量子化及びステップ２４２での逆変換の後、最初のブロック再構成がステップ２４６で取得される。協調モードにおけるステップ２３０、２３４、２３８、２４２及び２４６は夫々、ステップ２３２、２３６、２４０、２４４及び２４８に対応する点に留意されたい。最初の再構成されたブロックは、例えば、図１Ａ及び１Ｂで論じられたようにバイラテラルフィルタを用いて、ステップ２５０で精緻化される。画像精緻化は繰り返し実行することができる。例えば、フィルタリングが画像精緻化のために使用される場合に、反復フィルタリングが使用されてよい（すなわち、フィルタリングされたピクセルが再度フィルタリングされ得る。）。他の画像処理ツールが画像精緻化のために使用される場合に、処理されたピクセルは、反復精緻化のために再度処理されてよい。画像精緻化は隣接するブロックからのピクセルを使用してよく、一方、現在のブロックのピクセルのみが更新され、隣接するブロックからのピクセルは不変なままである。レートひずみコスト（Ｊ１）が次いで、ステップ２６０で計算される。
【００３９】
ステップ２７０で、協調符号化モードはより小さいレートひずみコストを有するかどうか、すなわち、それはより効率的であるかどうかが確認される。協調モードがより効率的である場合は、協調符号化モードがステップ２８０で選択される。そうでない場合は、Ｈ．２６４に従う符号化方法がステップ２８５で選択される。エンコーダは、協調モードが選択されるかどうかを明示的又は暗示的に伝える。協調モードが使用される場合は、画像精緻化に関する情報、例えば、フィルタ係数が、デコーダへ伝えられるか又はデコーダで予め決定されるべきである。
【００４０】
再構成されたブロックは、残りのブロックを符号化する場合に使用され得る。例えば、ブロック１４０が画像精緻化を用いて符号化された後、次のブロックは、画像精緻化のためにそれを使用することができる。各ブロックが符号化された後、ルーム制限はステップ２９０で終了し、処理はステップ２９９で終了する。
【００４１】
方法２００において、係数閾値化及び画像精緻化の両方が協調符号化モードにおいて考慮される。他の実施形態においては、係数閾値化及び画像精緻化は別々に適用されてよい。例えば、係数閾値化（２２５）はエンコーダにおいてスキップされてよい。他の例においては、画像精緻化（２５０）がスキップされてよい。
【００４２】
方法２００は、どの符号化モードを選択すべきかを決定するために協調符号化モード及びＨ．２６４符号化モードの両方をテストする。他の実施形態においては、エンコーダは、例えば、画像特性、符号化条件、及びエンコーダ速度要求に基づき、両方のモードをテストせずに、どの符号化モードを使用すべきかを決定してよい。
【００４３】
図３は、符号化方法２００に対応するビデオ復号化方法３００の例を表す。方法３００は、制御をループ制限ステップ３１０へ送るステップ３０５で開始する。圧縮データは、変換係数及び他の符号化情報を取得するためにステップ３２０でエントロピー復号化される。復号化された変換係数は、ステップ３００で逆量子化され、ステップ３４０で予測残差を形成するよう逆変換される。予測残差と、イントラ又はインター予測からの予測されたブロックとを用いると、ブロックはステップ３５０で再構成される。ステップ３６０で、協調モードが使用されるかどうかが確認される。エンコーダは、協調モードが使用されるかどうかを暗示的又は明示的に伝えてよく、これに対して、デコーダはこの情報を導出すべきである。協調モードが使用される場合は、再構成されたブロックはステップ３７０で精緻化される。そうでない場合は、制御はステップ３８０へ渡される。
【００４４】
各ブロックが復号化された後、ループ制限はステップ３８０で終了し、処理はステップ３９９で終了する。復号化処理は概してエンコーダ内の再構成処理と同じである点に留意されたい。例えば、ステップ３３０、３４０及び３５０は夫々、ステップ２４０、２４４及び２４８に対応し、同じ画像精緻化が符号化（２５０）及び復号化（３７０）で使用されるべきである。
【００４５】
図４は、上記の係数閾値化及び／又は画像精緻化を使用するビデオエンコーダ４００の例のブロック図を表す。装置４００の入力は、符号化されるべきビデオを含む。
【００４６】
例となるエンコーダ４００において、符号化されるべきフレームはマクロブロックの単位で処理される。各マクロブロックは、イントラ又はインターモードのいずれかを用いて符号化される。マクロブロックがイントラモードにおいて符号化される場合に、それはブロック４６０でイントラ予測を実行する。インターモードにおいては、マクロブロックは動き推定（４７５）及び補償（４７０）を実行する。エンコーダは、イントラモード又はインターモードのいずれをマクロブロックを符号化するために使用すべきかを決定し（４４０）、予測残差は、予測されたブロックを原の画像ブロックから減じることによって計算される。
【００４７】
予測残差は次いで、ブロック４２５で変換され量子化される。量子化された変換係数並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するようエントロピー符号化される（４４５）。
【００４８】
エンコーダは、更なる予測のためのリファレンスを提供するよう、符号化されたブロックを復号化する。量子化された変換係数は、ブロック４５０で予測残差を復号化するよう逆量子化され逆変換される。復号化された予測残差及び予測されたブロックを結合して（４５５）、画像ブロックは再構成される。フィルタ又は画像プロセッサは、例えば、ブロッキネス・アーティファクトを低減するためにデブロッキングフィルタリングを実行するよう、再構成されたブロック又は再構成されたピクチャに適用される（４６５）。フィルタリングされた又は処理された画像は、リファレンスピクチャバッファ（４８０）に格納される。
【００４９】
係数閾値化及び／又は画像精緻化をエンコーダ４００に組み込むよう、変換及び量子化モジュール（４２５）は、ステップ２２５で記載されたような適応係数切り捨てを実行し、フィルタ（４６５）は、ステップ２５０で記載されたような画像精緻化のためのバイラテラルフィルタリングを実行してよい。フィルタ／プロセッサ（４６５）は、画像全体が再構成された後よりむしろ、各画像ブロックが再構成された後に画像精緻化を実行してよい点に留意されたい。加えて、フィルタ／プロセッサ（４６５）は、画像全体が再構成された後に、他のフィルタリング、例えば、デブロッキングを実行してよい。
【００５０】
図５は、本原理を用いるビデオデコーダ５００の例のブロック図を表す。装置５００の入力はビデオビットストリームを含む。ビデオビットストリームは、ビデオエンコーダ４００によって生成されてよい。
【００５１】
ビットストリームは最初に、変換係数、動きベクトル、及び他の符号化された情報を取得するためにエントロピー復号化される（５４５）。変換係数は、ブロック５５０で予測残差を復号化するよう逆量子化され逆変換される。復号化された予測残差及び予測されたブロックを結合して（５２５）、画像ブロックは再構成される。予測されたブロックは、イントラ予測（５６０）又は動き補償予測（５７０）から取得されてよい。フィルタ又は一般的な画像プロセッサ（５６５）は、再構成されたブロック又は再構成された画像に適用される。フィルタリングされた又は処理された画像は、リファレンスピクチャバッファ（５８０）に格納される。
【００５２】
エンコーダと同様に、画像精緻化をデコーダ４００に組み込むよう、フィルタ／プロセッサ（５６５）は、ステップ３７０で記載されるように、画像精緻化のためにバイラテラルフィルタリング又は他の画像処理技術を実行してよい。係数切り捨てはデコーダでは実行されない点に留意されたい。
【００５３】
ここで図６を参照すると、上記の特徴及び原理が適用され得るデータ伝送システム又は装置６００が示されている。データ伝送システム又は装置６００は、例えば、衛星、ケーブル、電話線、又は地上放送のような様々な媒体のいずれかを用いて信号を送信するためのヘッドエンド又は伝送システムであってよい。データ伝送システム又は装置６００はまた、あるいは代替的に、例えば、記憶のために信号を供給するのに使用されてよい。伝送はインターネット又は何らかの他のネットワークを介して提供されてよい。データ伝送システム又は装置６００は、例えば、ビデオコンテンツ又は他のコンテンツを生成及び配信することができる。
【００５４】
データ伝送システム又は装置６００は、処理されたデータ及び他の情報をプロセッサ６０１から受け取る。一実施態様において、プロセッサ６０１は、残りの非ゼロの係数の数と画像特徴との間の関係を取得するようビデオシーケンスの組をトレーニングする。プロセッサ６０１はまた、例えば、如何にして隣接するブロックからのピクセルが画像精緻化及びバイラテラルフィルタ係数のために使用されるかを示すメタデータをデータ伝送システム又は装置６００へ供給してよい。
【００５５】
データ伝送システム又は装置６００は、エンコーダ６０２と、符号化された信号を送信することができる送信器６０４とを有する。エンコーダ６０２は、プロセッサ６０１からデータ情報を受け取る。エンコーダ６０２は、符号化された信号を生成する。エンコーダ６０２は、係数閾値化及び画像精緻化を実行してよい。
【００５６】
エンコーダ６０２は、例えば、様々な情報片を受け取って記憶又は送信のための構造化された形式にまとめるアセンブリユニットを含むサブモジュールを有してよい。様々な情報片は、例えば、符号化された又は符号化されていないビデオと、例えば、協調符号化モードが使用されるかどうかを示すフラグ、及び他のシンタックス要素のような符号化された又は符号化された要素とを含んでよい。幾つかの実施態様において、エンコーダ６０２はプロセッサ６０１を有し、従って、プロセッサ６０１の動作を実行する。
【００５７】
送信器６０４は、符号化された信号をエンコーダ６０２から受信し、その符号化された信号を１又はそれ以上の出力信号において送信する。送信器６０４は、例えば、符号化されたピクチャ及び／又はそれに関する情報を表す１又はそれ以上のビットストリームを有するプログラム信号を送信するよう適合されてよい。典型的な送信器は、例えば、エラー補正符号化を提供すること、信号においてデータをインターリーブすること、信号においてエネルギをランダマイズすること、信号を変調器６０６を用いて１又はそれ以上のキャリアに変調することのうちの１又はそれ以上のような機能を実行する。送信器６０４は、アンテナ（図示せず。）を有するか、又はそれとインターフェース接続してよい。更に、送信器６０４の実施は変調器６０６に制限されてよい。
【００５８】
データ伝送システム又は装置６００はまた、記憶ユニット６０８へ通信上結合される。一実施態様において、記憶ユニット６０８はエンコーダ６０２へ結合され、エンコーダ６０２からの符号化されたビットストリームを記憶する。他の実施態様においては、記憶ユニット６０８は送信器６０４へ結合され、送信器６０４からのビットストリームを記憶する。送信器６０４からのビットストリームは、例えば、送信器６０４によって更に処理された１又はそれ以上の符号化されたビットストリームを含んでよい。記憶ユニット６０８は、異なる実施態様において、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶装置のうちの１又はそれ以上である。
【００５９】
ここで図７を参照すると、上記の特徴及び原理が適用され得るデータ受信システム又は装置７００が示されている。データ受信システム又は装置７００は、例えば、記憶装置、衛星、ケーブル、電話線、又は地上放送のような様々な媒体を介して信号を受信するよう構成されてよい。信号はインターネット又は何らかの他のネットワークを介して受信されてよい。
【００６０】
データ受信システム又は装置７００は、例えば、携帯電話機、コンピュータ、セットトップボックス、テレビ受像機、あるいは、符号化されたビデオを受信し、例えば、表示（例えば、ユーザへの表示）のために、処理のために、又は記憶のために復号化されたビデオ信号を提供する他の装置であってよい。よって、データ受信システム又は装置７００は、その出力を、例えば、テレビ受像機のスクリーン、コンピュータのモニタ、コンピュータ（記憶、処理、又は表示のため）、又は何らかの他の記憶、処理若しくは表示装置へ供給してよい。
【００６１】
データ受信システム又は装置７００は、例えば、本願の実施態様において記載される信号のような符号化された信号を受信する受信器７０２を有する。受信器７０２は、例えば、図６のデータ伝送システム６００から出力された信号を受信してよい。
【００６２】
受信器７０２は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するよう適合されてよい。典型的な受信器は、例えば、変調及び符号化されたデータ信号を受信すること、復調器７０４を用いて１又はそれ以上のキャリアからデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリーブすること、及び信号をエラー訂正復号化することのうちの１又はそれ以上のような機能を実行する。受信器７０２は、アンテナ（図示せず。）を有するか、又はそれとインターフェース接続してよい。受信器７０２の実施は復調器７０４に制限されてよい。
【００６３】
データ受信システム又は装置７００はデコーダ７０６を有する。受信器７０２は、受信信号をデコーダ７０６へ供給する。受信器７０２によってデコーダ７０６へ供給される信号は、１又はそれ以上の符号化されたビットストリームを含んでよい。デコーダ７０６は、例えば、ビデオ情報を含む復号化されたビデオ信号のような復号化された信号を出力する。デコーダ７０６は、例えば、図５で記載されたデコーダ５００であってよい。
【００６４】
データ受信システム又は装置７００はまた、記憶ユニット７０７へ通信上結合される。一実施態様において、記憶ユニット７０７は受信器７０２へ結合され、受信器７０２は、記憶ユニット７０７からビットストリームにアクセスする。他の実施態様においては、記憶ユニット７０７はデコーダ７０６へ結合され、デコーダ７０６は、記憶ユニット７０７からビットストリームにアクセスする。記憶ユニット７０７からアクセスされるビットストリームは、異なる実施態様において、１又はそれ以上の符号化されたビットストリームを含む。記憶ユニット７０７は、異なる実施態様において、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶装置のうちの１又はそれ以上である。
【００６５】
デコーダ７０６からの出力データは、一実施態様において、プロセッサ７０８へ供給される。幾つかの実施態様において、デコーダ７０６はプロセッサ７０８を有し、従って、プロセッサ７０８の動作を実行する。他の実施態様においては、プロセッサ７０８は、例えば、セットトップボックス又はテレビ受像機のようなダウンストリーム装置の一部である。
【００６６】
我々は、このように、特定の特徴及び態様を有する１又はそれ以上の実施を提供する。特に、我々は、画像精緻化を用いたビデオ符号化及び復号化に係る幾つかの実施を提供し、これらはビデオ圧縮効率を改善するために使用されてよい。なお、それらの実施の変形及び追加的な適用が考えられ、本開示内にあり、記載される実施の特徴及び態様は、他の実施のために適合されてよい。
【００６７】
本願で記載される実施及び特徴の幾つかは、ＭＰＥＧ  ＨＥＶＣ標準及びその拡張との関連で使用されてよい。加えて、それらの実施及び特徴は、他の標準（既存又は将来）との関連で、又は標準に関係ない状況において、使用されてよい。
【００６８】
本原理の“一実施形態”若しくは“実施形態”又は“一実施態様”若しくは“実施態様”及びそれらの他の変形への言及は、その実施形態に関連して記載される特定の特徴、構造、特性等が本原理の少なくとも１つの実施形態において含まれることを意味する。よって、本明細書の全体を通じて様々な箇所で現れる“一実施形態において”若しくは“実施形態において”又は“一実施態様において”若しくは“実施態様において”との表現及びその変形表現の出現は、必ずしも全て同じ実施形態に言及するわけではない。
【００６９】
加えて、本願又はその特許請求の範囲は、様々な情報片を“決定する”と言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことのうちの１又はそれ以上を含んでよい。
【００７０】
当然のことながら、次の“／”、“及び／又は”、及び“のうちの少なくとも１つ”の何れかの使用は、例えば、“Ａ／Ｂ”、“Ａ及び／又はＢ”及び“Ａ及びＢのうちの少なくとも１つ”の場合に、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ及び／又はＣ”及び“Ａ、Ｂ及びＣのうちの少なくとも１つ”及び“Ａ、Ｂ又はＣのうちの少なくとも１つ”の場合に、そのような言い回しは、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、３番目に挙げられている選択肢（Ｃ）のみの選択、又は最初と２番目に挙げられている選択肢（Ａ及びＢ）のみの選択、又は最初と３番目に挙げられている選択肢（Ａ及びＣ）のみの選択、又は２番目と３番目に挙げられている選択肢（Ｂ及びＣ）のみの選択、又は３つの全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、当業者によって容易に認識されるように、挙げられている事項だけ拡張されてよい。
【００７１】
加えて、多くの実施態様は、エンコーダ（例えば、エンコーダ６０２）、デコーダ（例えば、デコーダ７０６）、デコーダからの出力を処理するポストプロセッサ（例えば、プロセッサ７０８）、又はエンコーダへ入力を供給するプレプロセッサ（例えば、プロセッサ６０１）のうちの１又はそれ以上において実施されてよい。更に、他の実施態様が本開示によって考えられる。
【００７２】
ここで記載される実施態様は、例えば、方法若しくは処理、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ信号の実施形態との関連でしか論じられない（例えば、方法としてしか論じられない）としても、論じられる特徴の実施は他の形態（例えば、装置又はプログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、概して、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル・ロジック・デバイスを含む処理装置を指す、例えばプロセッサのような装置において実施されてよい。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）、及びエンドユーザ間の情報の通信を助ける他の装置のような通信装置を有する。
【００７３】
ここで記載される様々な処理及び特徴の実施は、様々な異なる設備又は装置、特に、例えば、ビデオ符号化、ビデオ復号化、及びビデオデータの他の処理に関連する設備又は装置において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、パーソナルコンピュータ、携帯電話機、ＰＤＡ、ゲーム機、及び他の通信装置がある。当然に、設備は移動体であって、移動車両に設置されてよい。
【００７４】
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体、又は例えば、ハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、しばしばデジタル・バーサタイル・ディスク又はデジタル・ビデオ・ディスクと称されるＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、若しくは読み出し専用メモリ（ＲＯＭ）のような他の記憶装置のようなプロセッサ可読媒体で記憶されてよい。命令は、プロセッサ可読媒体で有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせにおいて見つけられてよい。プロセッサは、従って、例えば、処理を実行するよう構成された装置、及び処理を実行する命令を有するプロセッサ可読媒体（例えば、記憶装置）を備える装置の両方として特徴付けられてよい。更に、プロセッサ可読媒体は、命令に加えて又はそれの代わりに、実施によって生成されたデータ値を記憶してよい。
【００７５】
当業者には当然に、実施は、例えば、記憶又は送信され得る情報を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行する命令、又は記載される実施のうちの１つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む若しくは読み出すための規則をデータとして搬送するよう、又は記載される実施形態によって書き込まれる実際のシンタックス値をデータとして搬送するようフォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を用いる）、又はベースバンド信号としてフォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームにより搬送波を変調することを含んでよい。信号が搬送する情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている様々な異なる有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体で記憶されてよい。
【００７６】
多数の実施態様が記載されてきた。それにもかかわらず、様々な変形がなされ得ることが理解されるであろう。例えば、異なる実施態様の要素は、他の実施態様を生成するために組み合わされ、補足され、変更され、又は除去されてよい。加えて、当業者は、他の構造及び処理が開示されているものに取って代わってよく、結果として得られる実施態様が、開示されている実施態様と少なくとも略同じ結果を達成するよう、少なくとも略同じように少なくとも略同じ機能を実行することを理解するであろう。加えて、それら及び他の実施態様は本願によって考慮される。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
逆量子化された変換係数を形成するよう画像におけるブロックの変換係数を逆量子化するステップと、
予測残差を形成するよう前記逆量子化された変換係数を逆変換するステップと、
前記予測残差を用いて、再構成された画像ブロックを形成するステップと、
処理されたピクセルを形成するよう、前記再構成された画像ブロックのピクセルと、前記ブロックに隣接する再構成されたブロックのピクセルとを含むピクセルの組を処理するステップと、
精緻化された画像ブロックを形成するよう前記処理されたピクセルを用いて前記再構成された画像ブロックのピクセルを精緻化するステップと
を有する方法。
（付記２）
前記ブロックに隣接する前記再構成されたブロックは、前記ブロックの前に符号化又は復号化される、
付記１に記載の方法。
（付記３）
拡大された画像ブロックは、前記ピクセルの組によって形成される、
付記１に記載の方法。
（付記４）
前記精緻化するステップは、前記ブロックに隣接する前記再構成されたブロックのピクセルに対しては実行されない、
付記１に記載の方法。
（付記５）
前記処理するステップは、バイラテラルフィルタによって実行される、
付記１に記載の方法。
（付記６）
前記バイラテラルフィルタの空間パラメータ及びレンジパラメータは、量子化パラメータによって変化する、
付記５に記載の方法。
（付記７）
前記精緻化するステップは、前記再構成された画像ブロックのピクセルを前記処理されたピクセルにより置換することを含む、
付記１に記載の方法。
（付記８）
前記精緻化された画像ブロックは、前記画像の他のブロックを符号化又は復号化するために使用される、
付記１に記載の方法。
（付記９）
前記変換係数のうちの１又はそれ以上をゼロに設定するステップ
を更に有する付記１に記載の方法。
（付記１０）
前記変換係数のうちの１又はそれ以上がゼロに設定された後の残りの非ゼロの変換係数の数は、量子化パラメータ、前記ブロックの分散、前記ブロックの非ゼロの係数の数、及び走査順序において最後の非ゼロの係数のインデックスのうちの少なくとも１つによって変化する、
付記９に記載の方法。
（付記１１）
前記処理されたピクセルを処理するステップ
を更に有する付記１に記載の方法。
（付記１２）
画像におけるブロックの変換係数を逆量子化された変換係数へと逆量子化する逆量子化部と、
前記逆量子化された変換係数を予測残差へと逆変換する逆変換部と、
前記予測残差を用いて、再構成された画像ブロックを形成する加算部と、
処理されたピクセルを形成するよう、前記再構成された画像ブロックのピクセルと、前記ブロックに隣接する再構成されたブロックのピクセルとを含むピクセルの組を処理し、且つ、精緻化された画像ブロックを形成するよう前記処理されたピクセルを用いて前記再構成された画像ブロックのピクセルを精緻化する処理部と
を有する装置。
（付記１３）
前記ブロックに隣接する前記再構成されたブロックは、前記ブロックの前に符号化又は復号化される、
付記１２に記載の装置。
（付記１４）
拡大された画像ブロックは、前記ピクセルの組によって形成される、
付記１２に記載の装置。
（付記１５）
前記処理部は、バイラテラルフィルタである、
付記１２に記載の装置。
（付記１６）
前記バイラテラルフィルタは、空間パラメータ及びレンジパラメータを量子化パラメータによって変える、
付記１５に記載の装置。
（付記１７）
前記精緻化は、前記再構成された画像ブロックのピクセルを前記処理されたピクセルにより置換することを含む、
付記１２に記載の装置。
（付記１８）
前記精緻化された画像ブロックは、前記画像の他のブロックを符号化又は復号化するために使用される、
付記１２に記載の装置。
（付記１９）
前記変換係数のうちの１又はそれ以上は、ゼロに設定され、
前記変換係数のうちの１又はそれ以上がゼロに設定された後の残りの非ゼロの変換係数の数は、量子化パラメータ、前記ブロックの分散、前記ブロックの非ゼロの係数の数、及び走査順序において最後の非ゼロの係数のインデックスのうちの少なくとも１つによって変化する、
付記１２に記載の装置。
（付記２０）
１又はそれ以上のプロセッサに集合的に
逆量子化された変換係数を形成するよう画像におけるブロックの変換係数を逆量子化するステップと、
予測残差を形成するよう前記逆量子化された変換係数を逆変換するステップと、
前記予測残差を用いて、再構成された画像ブロックを形成するステップと、
処理されたピクセルを形成するよう、前記再構成された画像ブロックのピクセルと、前記ブロックに隣接する再構成されたブロックのピクセルとを含むピクセルの組を処理するステップと、
精緻化された画像ブロックを形成するよう前記処理されたピクセルを用いて前記再構成された画像ブロックのピクセルを精緻化するステップと
を実行させる命令を記憶するプロセッサ可読媒体。
【図１Ａ】
0005986639.tif 000008
【図１Ｂ】
0005986639.tif 000009
【図２】
0005986639.tif 000010
【図３】
0005986639.tif 000011
【図４】
0005986639.tif 000012
【図５】
0005986639.tif 000013
【図６】
0005986639.tif 000014
【図７】
0005986639.tif 000015