(57)【要約】  本発明はブロック式に符号化されるビデオ画像のデコーディングに関する。符号化されたクロマブロック間でデブロッキングフイルタリングを使う決定はＨ．２６４／ＡＶＣで使われる特性と比較して代替えの特性に基づくものである。
2008503177.tif 000002
【特許請求の範囲】
【請求項１】
ブロック式に符号化されたビデオ画像内の第１及び第２クロマブロック間のブロッキングアーチフアクトを減ずるためのビデオデコーディングの方法に於いて、該方法は、
もし該第１及び第２クロマブロックの少なくとも１つがイントラ符号化されていれば、
該第１及び第２クロマブロック間の境界の各側の、該境界に隣接する画素でデブロッキングフイルター操作を実行する過程を、或いは
もし該第１及び第２クロマブロックの少なくとも１つが非ゼロ変換係数を有する１つ以上のブロックを備える隣接ブロックの集まりに含まれるならば、
該第１及び第２クロマブロック間の前記境界の各側の、前記境界に隣接する画素でデブロッキングフイルター操作を実行する過程を、具備することを特徴とする該方法。
【請求項２】
該デブロッキング操作を実行する該過程が更に、
前記境界を横切る各画素ラインについて、
下記方程式
Δ＝（ｃ−４ｄ＋４ｅ−ｆ）／８
によりデルタ値（Δ）を計算する過程を備えており、
ここでｄは第１クロマブロック内で前記境界線に最も近い画素位置であり、ｃは同じく２番目に近い画素位置であり、ｅは第２クロマブロック内で前記境界線に最も近い画素位置であり、ｆは同じく２番目に近い画素位置であり、そして該実行する過程は又
前記デルタ値と、該ビデオ画像を符号化する時使われた量子化値と、を入力として、そしてマーク付きデルタ（Δ’）を出力として、有するクリッピングテーブル内のルックアップにより前記デルタ値のクリッピングを行う過程と、
前記マーク付きデルタを加算又は引き算することにより前記最も近い画素位置の値を修正する過程と、を備えることを特徴とする請求項１の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はブロック式に符号化されたビデオ画像（block wise coded video pictures）のデコーディング（decoding）に関する。
【背景技術】
【０００２】
移動画像（moving pictures）の実時間（in real-time）での伝送（transmission）は、例えば、ビデオ会議（video conferencing）、ネット会合（net meetings）、テレビ放送（TV broadcasting）そしてビデオ電話通信（video telephony）の様な幾つかの応用で使われる。
【０００３】
しかしながら、デジタルビデオが画像内の各画素を８ビット（１バイト）で典型的に表すことにより描かれるので、移動画像（moving pictures）の表現は巨大な情報を要する。この様な圧縮されないビデオデータ（uncompressed video data）は大きなビット量に帰着し、従来の通信ネットワークと伝送ライン上では限られたバンド幅のために実時間で伝送されることは不可能である。
【０００４】
かくして、実時間ビデオ伝送を可能にするには高度のデータ圧縮（data compression）を要する。データ圧縮は、しかしながら、画像品質（picture quality）と妥協することになる。従って、バンド幅を限られたデータ接続（bandwidth limited data connections）上で高品質ビデオの実時間伝送を可能にする圧縮技術を開発するために大きな努力が払われて来た。
【０００５】
ビデオ圧縮システムでは、主な目標は出来るだけ少ない容量でビデオ情報を表現することである。容量は、一定値としてか又はビット／時間単位としてか何れかのビットで規定される（Capacity is defined with bits, either as a constant value or as bits/time unit）。どちらの場合でも、該主な目標はビット数を減じることである。
【０００６】
最も普通のビデオ符号化方法（video coding method）がエムピーイージー（MPEG）＊及びエイチ２６（H.26）＊標準に述べられている。ビデオデータは送信の前に４つの主な過程、すなわち、予測（prediction）、変換（transformation）、量子化（quantization）そしてエントロピー符号化（entropy coding）を経る。
【０００７】
該予測過程は伝送されるべきビデオシーケンス内の各画像に必要なビット量を著しく減じる。それはそのシーケンスの或る部分と、該シーケンスの他の部分と、の相似性（similarity）を利用する。該予測部部分（predictor part）はエンコーダーとデコーダーの両者に既知であるので、その差（difference）のみが伝送される必要がある。この差は典型的にその表現用に遙かに少ない容量しか要しない。該予測は主に移動（movement）を表すベクトルに基づいている。該予測過程は典型的に方形のブロックサイズ（例えば、１６×１６画素）で行われる。或る場合には、先行する画像の画素より寧ろ同じ画像内の隣接画素に基づいた画素予測が使われることを注意しておく。これはインター予測（inter prediction）に対してイントラ予測（intra prediction）と呼ばれる。結果として、ブロック内の画素がイントラ予測により符号化（coded）される時、該ブロックはイントラ符号化（intra coded）されたと言われる。
【０００８】
データのブロック（block）（例えば、４×４画素）として表された残渣（residual）はなお内部相関（internal correlation）を含む。これを利用する良く知られた方法は２次元ブロック変換（two dimensional block transform）を行うことである。Ｈ．２６３では８×８離散コサイン変換（Discrete Cosine Transform）｛デーシーテー（DCT）｝が使われるが、Ｈ．２６４は４×４整数型変換（integer type transform）を使う。これは４×４画素を４×４変換係数（transform coefficients）に変換し、それらは該画素表現より少ないビットにより表され得るのが通常である。内部相関を有する画素の４×４配列の変換は恐らく、元の４×４画素ブロックより遙かに少ない非ゼロ値（non-zero values）を有する変換係数の４×４ブロックに帰着するだろう。
【０００９】
該変換係数の直接表現は多くの応用ではなお余りに高くついてしまう（costly）。該データ表現の更に進んだ削減用に量子化過程（quantization process）が行われる。従って、変換係数は量子化を経る。量子化の簡易版はパラメーター値を或る数で割ることであり、―より少ないビットで表されるより小さい数に帰着する。この量子化は結果として、再生されるビデオシーケンスが圧縮されないシーケンスと幾らか異なることを伴うことが述べられるべきである。この現象は“多損失符号化（lossy coding）”と呼ばれる。該量子化部分からの結果は被量子化変換係数（quantized transform coefficients）と呼ばれる。
【００１０】
エントロピー符号化（entropy coding）は、オーバーヘッドデータ（overhead data）又はシステム説明（system description）、予測データ（典型的には、移動ベクトル）、及び該量子化過程からの被量子化変換係数、の様な種々の種類のパラメーターの無損失表現（lossless representation）を意味する。後者は典型的に最大のビット消費（largest
bit consumption）を表す。
【００１１】
符号化はビデオ画像のブロック式部分（block wise parts）で行われる。マクロブロック（macro block）は輝度（luminance）｛ルーマ（luma）｝用のみならず色差（chrominance）｛クロマ（chroma）｝用の幾つかのサブブロック（sub blocks）から成る。水平及び垂直の両方向で輝度と比較して半分の解像度（resolution）を有する２つの色差成分（chrominance components）（Ｃｒ，Ｃｂ）があるのが典型的である。図１で、該マクロブロックは１６×１６輝度画素と、各々８×８画素を有する２つの色差成分と、から成る。更に該成分の各々は、小さい正方形で表される４×４ブロックに分解（broken down）される。符号化の目的で、ルーマとクロマの両者の４×４ブロックは８×８サブブロックに一緒にグループ化されＹ０−Ｙ３及びＣｒ，Ｃｂと呼称される。
【００１２】
現在のビデオ標準Ｈ．２６１，Ｈ．２６２、Ｈ．２６３、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４の全てはブロックベースの符号化を使う。これは、前にエンコードされデコードされた画像からのブロックベースの予測のみならず残渣信号のブロックベース符号化をも意味する。
【００１３】
ブロックベースのコーディング／デコーディングは非常に効率的であると分かっている。しかしながら、その欠点の１つは、その再生画像が予測及び残渣信号符号化用に使われたブロックに対応する視認可能なアーチフアクト（artifacts）を生じることである。この現象は通常ブロッキング（blocking）又はブロッキングアーチフアクト（blocking artifacts）と呼ばれる。
【発明の開示】
【課題を解決するための手段】
【００１４】
本発明は、ブロック式に符号化されたビデオ画像内の第１及び第２クロマブロック間のブロッキングアーチフアクトを減じるためのビデオデコーディングの方法を開示しており、そこではもし該第１及び第２クロマブロックの少なくとも１つがイントラ符号化されているならば、該方法は該第１及び第２クロマブロック間の境界の各側で該境界に隣接する画素でデブロッキングフイルター操作（de-blocking filter operation）を実行するか、又は、もし該第１及び第２クロマブロックの少なくとも１つが、非ゼロ変換係数（non-zero transform coefficients）を有する１つ以上のブロックを備える隣接ブロックの集まりに含まれるなら、該方法は該第１及び第２クロマブロック間の前記境界の各側で前記境界に隣接する画素でデブロッキングフイルター操作を実行する。
【実施例１】
【００１５】
本発明はブロッキング及び量子化ノイズの除去のための従来技術の方法の改良である。本方法はその基礎が下記で説明される仕様書すなわち国際電気通信連合−電気通信標準セクターの勧告Ｈ．２６４｜国際標準化機構／国際電気標準会議の標準第１４４９６−１０号の高度ビデオ符号化（the specification ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC）で説明される。
【００１６】
Ｈ．２６４／ＡＶＣでは、適応型デブロッキングフイルター（adaptive deblocking filter）は符号化ループ（coding loop）内で適用される。これは更に進んだ予測がフイルターされた画像上で行われることを意味する。該フイルターは該ブロッキング及び量子化ノイズを出来るだけ多く除去するが、なお該画像内容の出来るだけ多くを保持するよう設計される。量子化ノイズと画像内容とを分離することは１つの挑戦となることが多い。これが該フイルターが高度に内容適応的（highly content adaptive）で、従って計算操作に関し複雑である理由である。
【００１７】
図２で、２つの画像ブロック間のエッジが示される。文字ｄ及びｅは該エッジの各側の２つの隣接画素位置を示し、他の文字は該２つの最初に述べた画素に最も近い６つの水平画素位置を示す。Ｈ．２６４／ＡＶＣに依れば、画素ｂ、ｃ、ｄ、ｅ、ｆ、ｇは、該画素の各々の値に基づきそして該エッジ自身の特性化（characterization）に基づいて、修正されてもよい。この修正は上述のアーチフアクトをイコライズ（equalizing）するためである。該修正は従ってアーチフアクトが起こりそうな時だけ行われる。アーチフアクトは下記状況、すなわち
ａ）もし該境界の各側の該２つのブロックの何れかがイントラ符号化される、すなわち、現在の画像内の既に符号化されたブロックに基づき符号化されるならば、
ｂ）もし該境界の各側の該２つのブロックの何れかが非ゼロ変換係数を有するならば、
ｃ）もし該境界の各側の該ブロックを予測するため使われる移動ベクトルのサイズが或るしきい値（a certain threshold）を超えるならば、
の１つ以上が検出される時、２ブロック間に起こりそうだと言われる。
【００１８】
上記テストがブロッキングアーチフアクトを示す時、該境界を横切る各画素ラインについてスムーズ化操作（smoothing operation）が行われる。該操作は該境界に近い画素からデルタ値（delta value）を計算することによりスタートする。図２で規定した画素表記を用いると、該デルタ値用方程式（equation for the delta value）は下記の様になる。
Δ＝（ｃ−４ｄ＋４ｅ−ｆ）／８                          （１）
【００１９】
次いでこのデルタ値はクリッピング手順（clipping procedure）を経てデルタマーク付き値（delta marked value）に帰着する。該デルタマーク付き値は、最近の符号化で使われた量子化値（quantization value）、すなわち、量子化間隔（quantization interval）のサイズと、上記で列挙された基準と、に依る。Ｈ．２６４／ＡＶＣに依れば、該クリッピングは指定されたテーブル内のルックアップ（look up in a specified table）により見出される。図３は該Ｈ．２６４／ＡＶＣ仕様書からのこの様なテーブルの例を示す。該テーブルで、インデックスＡは量子化値に対応し、ｂＳ＝１，２，３はそれぞれ基準ｃ，ｂ，ａに対応する。結果として、基準ａ、ｂ、ｃを決めることは又該境界特性を表明する。例として、もし該量子化値が３２であり、該境界の特性が、ｂＳ＝２に対応する基準ｂに適合するなら、該テーブルは値２を示す。これはデルタマーク付き（delta marked）は区間｛−２，２｝内にクリップされるべきことを意味する。すなわち、デルタが２より大きい大きい時はデルタマーク付きは値２を割り当てられ、デルタが−２より小さい時は、デルタマーク付きは値−２を割り当てられ、そしてデルタが｛−２，２｝内にある時は、デルタマーク付きは該デルタの値を割り当てられる。
【００２０】
最終的に、デルタマーク付き値は該境界に近い画素を修正するため使われる。例として、ｄとｅの新しい値は下記に様に計算される。
ｄ’＝ｄ＋Δ’、ｅ’＝ｅ−Δ’                  （２）
【００２１】
上記基準のリストはルーマブロック上で行われるが、その結果は対応するクロマブロック用にも適用するよう決定される。上記説明と同じフイルタリング手順が使われるが、より少ない画素上に於いてである。
【００２２】
上記説明の様にデブロッキングフイルタリングを行うことはＨ．２６４の最もリソースを要求する操作（most resource demanding operations）である。例え該クロマフイルタリングが幾らか簡易であっても、該クロマフイルタリングはこの計算負荷（computational burden）の大きな部分を表す。例として、該クロマフイルタリングはルーマフイルタリング程多くのエッジ特性を考慮せねばならず、それはルーマエッジ特性がクロマ用にも使われるからである。
【００２３】
又クロマデブロッキングフイルタリングはルーマデブロッキングフイルタリングに比して可成り少ない主観的品質改良（considerably less subjective quality improvement）に帰着するのが通常の場合である。
【００２４】
最後に、対応するルーマデブロッキングフイルタリングの依存を伴うＨ．２６４でのクロマデブロッキングフイルタリングの現在の規定は次善のクロマデブロッキングフイルタリングに帰着する。
【００２５】
クロマデブロッキングフイルタリング用のニーヅがルーマデブロッキングフイルタリング用より低い事実に基づき、本発明は境界特性を決める簡易な方法を開示する。クロマデブロッキングフイルタリングは対応するルーマデブロッキングフイルタリングより少ない頻度で使われ、それは該クロマ符号化自身の特性のみに依存すべきで、現在のＨ．２６４／ＡＶＣ用がその場合である、該ルーマフイルタリングに依存すべきでない。
【００２６】
本発明に依れば、上記で列挙した決定基準（deciding criteria）は、デブロッキングフイルタリングを行うべきか否かを決めるため使われる新決定基準により置き換えられる。現在のＨ．２６４／ＡＶＣと反対に、該基準はクロマブロック特性に適用される。本発明の１実施例では、アーチフアクトは下記状況、すなわち、
ｄ）該ブロック境界の各側のブロックの少なくとも１つがイントラ符号化されねばならない、
ことが検出された時、２つのブロック間で起こりそうであると言われる。
【実施例２】
【００２７】
本発明の第２の実施例では、アーチフアクトは下記状況、すなわち、
ｅ）該ブロック境界の各側のブロックの少なくとも１つが、該クロマ画像の再生用に非ゼロ変換係数が使われるブロックの集まりの１部（part of a collection of blocks）である、ことが検出された時、２つのブロック間で起こりそうであると言われる。
【００２８】
該ｅ）基準の用語、ブロックの集まりは、各クロマ成分（Ｃｒ，Ｃｂ）又は幾つかのクロマ成分、用のブロック（マクロブロック）の集まりに対する１つの特定のクロマ成分用の１つのブロックとすることが出来る｛could be one single block for one specific chroma component to a collection of blocks（macroblock）for each chroma components（Cr, Cb）or for several chroma components｝ことを注意しておく。
【実施例３】
【００２９】
本発明の第３の実施例では、アーチフアクトはｄ）及びｅ）の組み合わせが起こる時、２つのブロック間で起こりそうであると言われる。
【００３０】
本発明の好ましい実施例では、残渣信号（residual signal）の８×８クロマブロック符号化について、ブロック境界の各側の２画素、すなわち図２のｃ，ｄ，ｅ，ｆ、の最大値が修正される。残渣信号の４×４ブロック符号化については、該ブロック境界の各側の１画素、すなわち、図２のｄ，ｅ、の最大値が修正される。
【００３１】
デルタ及びクリッピングを含むスムーズ化されるエッジ画素の計算は、例えば現在のＨ．２６４／ＡＶＣで説明された様に行われる。
【００３２】
しかしながら、本発明は好ましくは１つの特性を調べるのがよいので、図３で示されたものに比して簡易化されたテーブルが使われ得る。この目的用の簡易化されたテーブルは図３のテーブルでｂＳ＝３に対応する行とすることが出来る。
【００３３】
本発明のより容易な理解を可能にするために、付記論議は付随する図面及びテーブルを参照する。
【図面の簡単な説明】
【００３４】
【図１】符号化される時、１６×１６ルーマ画素のマクロブロックと、対応する８×８画素を有する２つのクロマ成分とが如何に分けられるかを示す。
【図２】２つのブロック間の境界と、隣接する画素位置のラインと、を図解する。
【図３】Ｈ．２６４／ＡＶＣ仕様書からのクリップ用のテーブルである。
【図１】
2008503177.tif 000003
【図２】
2008503177.tif 000004
【図３】
2008503177.tif 000005
【国際調査報告】
2008503177.tif 000006
2008503177.tif 000007
2008503177.tif 000008
2008503177.tif 000009