(57)【要約】【課題】動き補償するビデオ符号化におけるブロッキングアーティファクトを減少すること。【解決手段】境界に隣接する第１のブロックと第２のブロックの動き補償予測に際してそれぞれ用いられる第１の動ベクトルと第２の動ベクトルが互いに類似するか否かを評価すし、第１のブロックと第２のブロックの間で基準画像が互いに等しいか否かを評価する。ここでは、輝度チャンネルとクロミナンスチャンネルの各々について、基準画像内の隣接するブロックの境界毎にデブロックフィルタリングを行なうか否かを判定し、輝度チャンネルまたはクロミナンスチャンネルの１つについて、動きベクトルが互いに類似し、かつ、同じ基準画像をポイントしている場合に、輝度チャンネルの境界及びクロミナンスチャンネルの境界にデブロックフィルタリングを行なわない。【選択図】図１６
2010104025.tif 000002
【特許請求の範囲】
【請求項１】
動き補償予測のための基準画像を２以上記憶する記憶ステップと、
動きベクトルに従って前記基準画像から基準ブロックを得る動き補償予測ステップと、
前記基準ブロックと復号された差分ブロックから画像を復号する復号ステップと、
前記基準画像内のブロックが有する複数の境界にデブロックフィルタリングを行なうフィルタステップと、
前記境界に隣接する第１のブロックと第２のブロックの動き補償予測に際してそれぞれ用いられる第１の動ベクトルと第２の動ベクトルが互いに類似するか否かを評価する第１の評価ステップと、
前記第１のブロックと前記第２のブロックの間で基準画像が互いに等しいか否かを評価する第２の評価ステップ
を備え、
前記第１の評価ステップ、および前記第２の評価ステップでは、輝度チャンネルとクロミナンスチャンネルの各々について、前記基準画像内の隣接するブロックの境界毎にデブロックフィルタリングを行なうか否かを判定し、
前記輝度チャンネルまたは前記クロミナンスチャンネルの１つについて、前記動きベクトルが互いに類似し、かつ、同じ基準画像をポイントしている場合に、前記輝度チャンネルの境界及び前記クロミナンスチャンネルの境界にデブロックフィルタリングを行なわない
ことを特徴とする画像復号方法。
【請求項２】
動き補償予測のための基準画像を２以上記憶する記憶手段と、
動きベクトルに従って前記基準画像から基準ブロックを得る動き補償予測手段と、
前記基準ブロックと復号された差分ブロックから画像を復号する復号手段と、
前記基準画像内のブロックが有する複数の境界にデブロックフィルタリングを行なうフィルタ手段と、
前記境界に隣接する第１のブロックと第２のブロックの動き補償予測に際してそれぞれ用いられる第１の動ベクトルと第２の動ベクトルが互いに類似するか否かを評価する第１の評価手段と、
前記第１のブロックと前記第２のブロックの間で基準画像が互いに等しいか否かを評価する第２の評価手段
を備え、
前記第１の評価手段、および前記第２の評価手段は、輝度チャンネルとクロミナンスチャンネルの各々について、前記基準画像内の隣接するブロックの境界毎にデブロックフィルタリングを行なうか否かを判定し、
前記輝度チャンネルまたは前記クロミナンスチャンネルの１つについて、前記動きベクトルが互いに類似し、かつ、同じ基準画像をポイントしている場合に、前記輝度チャンネルの境界及び前記クロミナンスチャンネルの境界にデブロックフィルタリングを行なわない
ことを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は選択的な画像フィルタリングを行うための画像復号方法および復号装置に関し、より詳細には、動き補償を行う復号技術に関する。
【背景技術】
【０００２】
多くのビデオ圧縮規格、例えばＨ.２６１、Ｈ.２６３、Ｈ２６３＋、ＭＰＥＧ−１、ＭＰＥＧ−２およびＨ２６Ｌでは、ブロックに基づく動き補償ビデオ符号化が使用される。損失の大きい圧縮プロセスは、復号化された画像内に、画像アーティファクトと称される視覚的なアーティファクトを発生させ得る。画像内のブロック境界に沿ってブロッキングアーティファクトが発生し、これらアーティファクトは変換係数の粗い量子化によって生じる。
【０００３】
再構成された画像内のアーティファクトを減少させるのに、画像フィルタリング技術を使用できる。再構成された画像とは、逆変換され、復号化された後に生成される画像である。これら技術における経験則では、画像のエッジを保存しながら、画像の他の部分をスムーズにしなければならない。特定のピクセルまたは画像エッジを囲むピクセルの組の特性に基づき、ローパスフィルタを注意深く選択しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像ブロックの境界を横断するように延びる、相関性のない画像ピクセルは、ブロッキングアーティファクトを減少するように特別にフィルタリングされる。しかしながら、このフィルタリングは画像内にボケたアーティファクトを生じさせ得る。隣接するブロックの間にブロッキングアーティファクトがほとんどないか、または全くない場合、ローパスフィルタリングは不必要に画像内にボケを混入させると同時に、処理リソースを浪費してしまう。
【０００５】
例えば、従来のフィルタリング方法では、フィルタ処理は再構成された画像フレームを一度にひとつしか検討しない。符号化器および復号化器の双方で利用できる動きベクトル情報は使用しない。２つの隣接するブロックが同じ基準画像フレームに対して同じ動きベクトルを共用すれば、（多数の基準フレームシステムに対して）各ブロックの残りの画像の間には大きな差はないことがある。これら２つの隣接するブロックのブロック境界は基準フレーム内で既にフィルタリングできるので、現在フレームに対して再びフィルタリングしてはならない。このような動きベクトル情報を検討することなく、デブロッキングフィルタを使用する場合、従来のフィルタ処理はフレームからフレームへ同じ境界を何度も処理することがある。このような不要なフィルタリングによって不要なボケが生じるだけでなく、その結果、余分なフィルタ計算を行わなければならないことになる。
【０００６】
本発明は従来技術に関連する上述のごとくの問題およびその他の問題に焦点をあてたもので、ブロックに基づく動き補償されたビデオ符号化におけるループフィルタリング及びポストフィルタリングを制御してブロッキングアーティファクトを減少させるようにした選択的な画像フィルタリングを行う画像復号方法および画像復号装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の技術手段は、動き補償予測のための基準画像を２以上記憶する記憶ステップと、動きベクトルに従って基準画像から基準ブロックを得る動き補償予測ステップと、基準ブロックと復号された差分ブロックから画像を復号する復号ステップと、基準画像内のブロックが有する複数の境界にデブロックフィルタリングを行なうフィルタステップと、境界に隣接する第１のブロックと第２のブロックの動き補償予測に際してそれぞれ用いられる第１の動ベクトルと第２の動ベクトルが互いに類似するか否かを評価する第１の評価ステップと、第１のブロックと第２のブロックの間で基準画像が互いに等しいか否かを評価する第２の評価ステップを備え、第１の評価ステップ、および第２の評価ステップでは、輝度チャンネルとクロミナンスチャンネルの各々について、基準画像内の隣接するブロックの境界毎にデブロックフィルタリングを行なうか否かを判定し、輝度チャンネルまたはクロミナンスチャンネルの１つについて、動きベクトルが互いに類似し、かつ、同じ基準画像をポイントしている場合に、輝度チャンネルの境界及びクロミナンスチャンネルの境界にデブロックフィルタリングを行なわないことを特徴としたものである。
【０００８】
第２の技術手段は、動き補償予測のための基準画像を２以上記憶する記憶手段と、動きベクトルに従って基準画像から基準ブロックを得る動き補償予測手段と、基準ブロックと復号された差分ブロックから画像を復号する復号手段と、基準画像内のブロックが有する複数の境界にデブロックフィルタリングを行なうフィルタ手段と、境界に隣接する第１のブロックと第２のブロックの動き補償予測に際してそれぞれ用いられる第１の動ベクトルと第２の動ベクトルが互いに類似するか否かを評価する第１の評価手段と、第１のブロックと第２のブロックの間で基準画像が互いに等しいか否かを評価する第２の評価手段を備え、第１の評価手段、および第２の評価手段は、輝度チャンネルとクロミナンスチャンネルの各々について、基準画像内の隣接するブロックの境界毎にデブロックフィルタリングを行なうか否かを判定し、輝度チャンネルまたはクロミナンスチャンネルの１つについて、動きベクトルが互いに類似し、かつ、同じ基準画像をポイントしている場合に、輝度チャンネルの境界及びクロミナンスチャンネルの境界にデブロックフィルタリングを行なわないことを特徴としたものである。
【図面の簡単な説明】
【０００９】
【図１】隣接する画像ブロック間の類似性に従ってデブロックフィルタリングを選択的にスキップする図である。
【図２】類似する動きベクトルを有する２つの隣接する画像ブロックを示す図である。
【図３】画像ブロックのうちの１つに対し、変換係数を識別する処理を説明するための図である。
【図４】２つの隣接する画像ブロック間で残りの変換係数を比較する処理を説明するための図である。
【図５】ビデオ画像を符号化し、復号化する処理を説明するための図である。
【図６】コーデック内でデブロックフィルタリングを選択的にスキップする処理を説明するためのブロック図である。
【図７】選択的なデブロックフィルタスキップからの結果を含む表である。
【図８】隣接するブロック間のデブロックフィルタリングは、隣接するブロック内の符号化パラメータの類似性に依存する、本発明の一実施形態のステップを示すフローチャートである。
【図９】隣接するブロック間のデブロックフィルタリングは、類似する動きベクトルを有する隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１０】隣接するブロック間のデブロックフィルタリングは、同じ基準フレームをポイントする類似する動きベクトルを有する隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１１】隣接するブロック間のデブロックフィルタリングは、単一基準フレームにおける隣接する基準ブロックをポイントする類似する動きベクトルを有する隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１２】隣接するブロック間のデブロックフィルタリングは、類似する直流変換係数を含むパラメータを有する隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１３】隣接するブロック間のデブロックフィルタリングは、類似する交流変換係数を含むパラメータを有する隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１４】隣接するブロック間のデブロックフィルタリングは、基準フレーム内の類似する動きベクトルおよび類似する動きベクトルターゲットを含むパラメータを有する輝度画像における隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１５】隣接するブロック間のデブロックフィルタリングは、基準フレーム内の類似する動きベクトル、類似する動きベクトルターゲットおよび類似する変換係数を含むパラメータを有する輝度画像における隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１６】１つの画像が別個の輝度チャンネルとクロミナンスチャンネルとに分割され、各輝度画像またはクロミナンス画像における隣接するブロック間のデブロックフィルタリングは、類似する動きベクトルを含むパラメータを有する輝度画像内の隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【図１７】１つの画像が別個の輝度チャンネルとクロミナンスチャンネルとに分割され、各輝度画像またはクロミナンス画像における隣接するブロック間のデブロックフィルタリングは、基準フレームにおける類似する動きベクトル、類似する動きベクトルターゲットおよび類似する変換係数を含むパラメータを有する輝度画像における隣接するブロックに依存する、本発明の一実施形態のステップを示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明は、画像内の隣接ブロックを識別し、隣接ブロックに対する符号化パラメータを識別する。識別された隣接ブロックに対する符号化パラメータが類似していれば、識別された隣接ブロック間のデブロックフィルタリングをスキップし、識別された隣接ブロックに対する符号化パラメータが実質的に異なれば、デブロックフィルタリングをスキップしない。
【００１１】
図１は、画像ブロック間の類似性に従ってブロックアーティファクトを選択的にフィルタリングする画像１２を示す。この画像１２は多数の画像ブロック１４を含み、これら画像ブロック１４の各々は、記憶されたり、伝送されたりする前に、別々に符号化される。ブロック１４のうちの一部分の間の境界はブロッキングアーティファクト１８を含む。ブロッキングアーティファクトとは符号化プロセスによって生じ得るブロック１４の間の画像の不連続性のことである。隣接する画像ブロックの境界に存在するブロッキングアーティファクトを減少させるにはローパスフィルタを使用する。
【００１２】
例えば、ブロック２０と２２との間にはブロッキングアーティファクト２４が存在する。ブロッキングアーティファクト２４を除くか、または減少するために、ブロック２０と２２との間の境界２６でローパスフィルタを使用する。一実施例におけるローパスフィルタは境界２６の両側からピクセル２８の１グループを選択する。このピクセル２８のグループから平均ピクセル値を導き出す。次に、各個々のピクセルと平均ピクセル値とを比較する。さらに、平均ピクセル値の所定範囲外にあるグループ２８内のピクセルを平均ピクセル値に交換する。
【００１３】
上記のように、隣接するピクセル間にブロッキングアーティファクト２４がほとんどないか、または全くない場合、ピクセル２８のグループを不必要にフィルタリングすると、画像内にボケを生じさせ、処理リソースを浪費してしまう可能性がある。スキップモードフィルタリング方式は隣接する画像ブロックに対する動き予想値および補償情報を使用する。動き予想値および補償情報とが類似すれば、デブロックフィルタリングをスキップする。これによって不要な画像のボケを防止できるだけでなく、フィルタリング演算の必要な回数も大幅に減少できる。
【００１４】
例えば、隣接する画像ブロック３０と３２とが類似する符号化パラメータを有する、と符号化プロセス中に判断されるとする。それに応じて、隣接するブロック３０と３２との間の境界３１を横断するように延びるピクセル３４のグループに対して、デブロックフィルタリングはスキップされる。画像１２内のどの隣接するブロック間の水平または垂直境界部に対してもスキップモードフィルタリングを使用できる。
【００１５】
図２は、基準フレーム４２および４８と、現在符号化中または復号化中の現在フレーム４０を示す。２つの隣接するブロック４４と４６との間でデブロックフィルタリングをスキップしなければならないかどうかを判断するために、ブロック４４と４６に対する符号化パラメータとを比較する。比較する一つの符号化パラメータとして、ブロック４４および４６に対する動きベクトル（ＭＶ）がある。
【００１６】
動きベクトルＭＶ１は現在の画像フレーム４０内のブロック４４から基準フレーム４２内の関連するブロック４４’までをポイントし、動きベクトルＭＶ２は現在の画像フレーム４０内のブロック４６から基準フレーム４２内の関連するブロック４６’までをポイントする。スキップモードフィルタリングは動きベクトルＭＶ１およびＭＶ２が同じ基準フレーム４２内の隣接するブロックをポイントするかどうかをチェックする。これら動きベクトルが基準フレーム内の隣接するブロックをポイントしている（ＭＶ１＝ＭＶ２）場合、デブロックフィルタリングをスキップする。２つの画像ブロック４４と４６との間でデブロックフィルタリングをスキップするかどうかを判断するために、他の符号化情報と共に、この動きベクトル情報を使用することもできる。
【００１７】
符号化プロセスおよび復号化プロセス中に２つ以上の基準フレームを使用することができる。例えば、別の基準フレーム４８が存在することがあり、隣接するブロック４４と４６とが異なる基準フレームをポイントする動きベクトルを有することがある。一実施形態では、デブロックフィルタリングをスキップするかどうかの判断は、２つの隣接するブロックに対する動きベクトルが同じ基準フレームをポイントしているかどうかに応じて決まる。例えば、画像ブロック４４は基準フレーム４８をポイントする動きベクトル４９を有し、画像ブロック４６は基準フレーム４２をポイントする動きベクトルＭＶ２を有するとする。この例では動きベクトル４９とＭＶ２とは異なる基準フレームをポイントしているので、デブロックフィルタリングをスキップしない。
【００１８】
図３は、デブロックフィルタリングをスキップするかどうかを判断するのに使用できる別の符号化パラメータを示す。画像フレーム４０からの画像ブロックは先に図２に示されたように、動きベクトルＭＶ１によってポイントされた基準フレーム４２からの基準ブロック４４’と比較される。画像ブロック４４と基準ブロック４４’との間の比較から、残りのブロック４４''が出力される。この残りのブロック４４''に対し、変換５０を実施すると、変換係数の変換されたブロック４４'''が形成される。一実施例では、この変換５０は離散的コサイン変換であり、変換されたブロック４４'''は直流（Ｄ．Ｃ．）成分５２と交流（Ａ．Ｃ．）成分５３とを含む。
【００１９】
直流成分５２は、画像ブロック４４における最低周波数変換係数を示す。例えば、画像ブロック４４内の平均エネルギーを示す係数である。一方、交流成分５３は画像ブロック４４内の、より高い周波数成分を示す変換係数を示す。例えば、画像ブロック４４内のピクセル間の大きいエネルギーの差を示す変換係数である。
【００２０】
図４は、変換された残りのブロック４４'''および４６'''を示す。２つの変換されたブロック４４'''と４６'''とからの直流成分５２が、プロセッサ５４で比較される。直流成分が互いに同一または所定の範囲内にあれば、プロセッサ５４はデブロックフィルタ演算５６を通知し、２つの隣接するブロック４４と４６の境界の間のデブロックフィルタリングをスキップする。直流成分５２が類似しなければ、スキップ通知を開始せず、ブロック４４と４６との間の境界をデブロックフィルタリングする。
【００２１】
一実施形態では、国際通信連合の通信セクター（ＩＴＵ−Ｔ）が提案したＨ.２６Ｌ符号化方式にスキップモードフィルタリングが組み込まれている。このＨ.２６Ｌ方式は４×４の整数離散的コサイン変換（ＤＣＴ）ブロックしか使用しない。ここでは２つの隣接するブロックの直流成分しかチェックできない。しかしながら、画像ブロックがより大きいサイズ、例えば８×８または１６×１６ブロックである場合には、限られた低周波数の交流係数もチェックできる。例えばブロック４４'''に対する上部の直流成分５２および３つのより低い周波数の交流変換係数５３とブロック４６'''に対する上部の直流成分５２および３つの、より低い周波数の交流変換係数５３とを比較することができる。２つの隣接するブロック４４と４６との間の相対的類似性を識別するのに、直流変換係数および／または低周波数の交流変換係数の異なる組み合わせを使用できる。
【００２２】
プロセッサ５４は符号化プロセス中に発生された他の符号化パラメータ５５も受信できる。これら符号化パラメータは、上記のような隣接ブロック４４および４６に対する動きベクトルおよび基準フレーム情報を含む。プロセッサ５４は隣接する画像ブロック４４と４６との間のブロックフィルタリングをスキップするかどうかを判断するために、これら符号化パラメータのすべてを使用する。画像に関して実行される他の符号化および変換機能は同じプロセッサ５４または異なる処理回路で実施できる。符号化のすべてまたはほとんどを同じプロセッサで実行するケースでは、スキップモードはフィルタリングルーチン内にスキップパラメータを設定することによって簡単に可能になる。
【００２３】
図５は、ブロックに基づく動き補償符号化器兼復号化器（コーデック）６０において、どのようにスキップモードフィルタリングを使用するかを示す。このコーデック６０はフレーム間の符号化に使用される。ボックス６２から比較器６４へ現在フレームからの入力ビデオブロックが与えられる。フレームバッファボックス８０の出力端は予想された動きベクトル（および可能な基準フレーム数）に従って基準ブロック８１を発生する。入力ビデオブロックと基準ブロック８１の差は、ボックス６６で変換され、次にボックス６８で量子化される。この量子化された変換ブロックはボックス７０内で可変長符号化器（ＶＬＣ）によって符号化され、次に伝送されたり、記憶されたりする。
【００２４】
コーデック６０の符号化セクションは変換された画像をボックス７２内で第１逆量子化（ＩＱ）を行うことにより、変換され、量子化された画像を再構成する。次に、逆量子化された画像はボックス７４内で逆変換され、再構成された残りの画像を発生する。この再構成された残りのブロックはボックス７６内で基準ブロック８１へ加算され、再構成された画像ブロックを発生する。一般に再構成された画像は、ボックス７８内でループフィルタリングされ、量子化および変換処理によって生じたブロッキングアーティファクトを減少する。次に、フィルタリングされた画像はボックス８０内でバッファ化され、基準フレームを形成する。ボックス８０内のフレームバッファリングは動き予想および補償のためにこの再構成された基準フレームを使用する。基準ブロック８１は比較器６４内で入力ビデオブロックと比較される。ノード７１にて符号化セクションから符号化された画像が出力され、次に記憶されるか、または伝送される。
【００２５】
コーデック６０の復号化器部分では、可変長復号化器（ＶＬＤ）がボックス８２内で符号化された画像を復号化する。この復号化された画像はボックス８４内で逆量子化され、ボックス８６内で逆変換される。ボックス８６からの再構成された残りの画像は、加算ボックス８８内で基準ブロック９１へ加算され、その後、ブロッキングアーティファクトを減少するようにボックス９０内でループフィルタリングされ、ボックス９２内で基準フレームとしてバッファ化される。基準ブロック９１は受信された動きベクトル情報に従ってボックス９２から発生される。ボックス９０からフィルタリング出力されるループは、ボックス９４内で任意にポストフィルタリングされ、更に画像アーティファクトを減少し、その後、ボックス９６内でビデオ画像としてディスプレイされる。スキップモードフィルタリング方式はボックス７８、９０および９４内のフィルタリング機能の任意の組み合わせによって実行できる。
【００２６】
ビデオ符号化中に利用できる動き予想値および補償情報は、ボックス７８、９０および／または９４内で、いつデブロックフィルタリングをスキップするかを判断するのに使用する。これら符号化パラメータは既に符号化プロセスおよび復号化プロセス中に発生しているので、特にスキップモードフィルタリングに対して発生または伝送すべき別の符号化パラメータはない。
【００２７】
図６は、図５内の符号化器および復号化器内のフィルタ７８、９０および／または９４でどのようにスキップモードフィルタリングを使用するかを更に詳細に示している。任意の２つの隣接するブロッキング「ｊ」と「ｋ」との間のブロック間境界をまずボックス１００で識別する。これら２つのブロックは画像フレームにて水平方向または垂直方向に隣接していてもよい。判断ボックス１０２はブロックｊに対する動きベクトルｍｖ（ｊ）とブロックｋに対する動きベクトルｍｖ（ｋ）とを比較する。最初に２つの隣接するブロックｊとｋが同じ基準フレームをポイントする同じ動きベクトルを有するかどうかを判断する。換言すれば、隣接するブロックに対する動きベクトルは同じ基準フレーム（ｒｅｆ（ｊ）＝ｒｅｆ（ｋ））において、隣接するブロック（ｍｖ（ｊ）＝ｍｖ（ｋ））をポイントする。
【００２８】
次に、２つの隣接するブロックに対する残りの係数が類似しているかどうかを判断する。隣接するブロックの残りの画像の間に大きな差異がなければ、例えば２つのブロックｊとｋが同一または類似する直流成分（ｄｃ（ｊ）＝ｄｃ（ｋ））を有する場合、ボックス１０４のデブロックフィルタリング処理をスキップする。次に、スキップモードフィルタリングはボックス１０６内の次のブロック間境界に移動し、判断ブロック１０２内で次の比較を行う。水平方向に隣接するブロックおよび垂直方向に隣接するブロックの双方に対してスキップモードフィルタリングを実行できる。
【００２９】
一実施形態では、ブロックスキップを判断するために、隣接する画像ブロックに対する基準フレームおよび動きベクトル情報のみを使用する。別の実施形態では、ブロックスキップを判断するために残りの直流および／または交流係数のみを使用する。更に別の実施形態では、ブロックスキップを判断するために動きベクトル、基準フレームおよび残りの係数のすべてを使用する。
【００３０】
空間的にサブサンプリングされるクロミナンスチャンネルに対し、スキップモードフィルタリング方式を適用できる。例えば４：２：０のカラーフォーマットシーケンスのケースでは、ブロック境界に対するスキップモードフィルタリングは画像のうちの輝度成分に対する動きベクトルおよび直流成分の等価性にしか依存できない。動きベクトルと直流成分とが同一であれば、隣接する画像ブロックのうちの輝度成分およびクロミナンス成分の双方に対してデブロックフィルタリングをスキップする。別の実施形態では、隣接するブロックのうちの各輝度成分およびクロミナンス成分に対して動きベクトルと直流成分を別々に検討する。このケースでは、隣接ブロックに対する輝度成分またはクロミナンス成分をデブロックフィルタリングすることができるが、一方、同じ隣接ブロックに対する他の輝度成分またはクロミナンス成分はデブロックフィルタリングしない。
【００３１】
図７は、ＩＴＵ−ＴＨ.２６Ｌのテストモデル−ロングＴＭＬ５.０を使用したスキップモードフィルタリングの結果を示す表１１０を含む。この表１１０はＴＭＬフィルタリング規格の結果と上記スキップモードフィルタリングの結果とを比較したものである。表１１０の見出し項目ＳＬＡの下に、スキップモードフィルタリングを使った符号化の結果が示されている。
【００３２】
次の４つの画像をテストした。すなわち毎秒３０フレーム（ｆｐｓ）における３００フレームのＡｋｉｙｏ＿ｃｉｆ、３０ｆｐｓにおける３００フレームのＦｏｒｅｍａｎ＿ｃｉｆ、１０ｆｐｓにおける１００フレームのＦｏｒｅｍａｎ＿ｑｃｉｆ、３０ｆｐｓにおける２６０フレームのＴｅｍｐｅｔｅ＿ｃｉｆをテストした。２５および３０の量子化パラメータ（ＱＰ）を使用した。テストの結果から、スキップモードフィルタリングによって視覚的な画質に大きな劣化はないことがわかる。画質に対する画質信号対ノイズ比（ＰＳＮＲ）は、輝度ＹチャンネルおよびクロミナンスＵおよびＶチャンネルに対してほぼ同じままである。しかしながら、スキップモードフィルタリングによって時間を４０〜７０％節約できた。
【００３３】
スキップモードフィルタリングは多数の画像フレームを符号化または復号化する任意のシステムで使用できる。例えばＤＶＤプレイヤー、ビデオレコーダーまたは通信チャンネルを通して、例えばテレビチャンネルまたはインターネットを通して、画像データを伝送する任意のシステムで使用できる。
【００３４】
上記スキップモードフィルタリングは演算の一部またはすべてを実行する専用プロセッサシステム、マイクロコントローラ、プログラマブル論理デバイス、またはマイクロプロセッサによって実現できる。ソフトウェアで実現できる上記演算もあれば、ハードウェアで実現できる演算もある。
【００３５】
便宜的にこれら演算は種々の相互に接続された機能ブロックまたは別個のソフトウェアモジュールとして説明した。しかしながら、このことは必要ではなく、ケースによってはこれら機能ブロックまたはモジュールを明確でない境界の単一の論理デバイス、プログラムまたは演算に等価的に集めることもできる。いずれの場合においても、機能ブロックおよびソフトウェアモジュールまたは上記特徴は、それ自身によって、またはハードウェアもしくはソフトウェア内どちらかの他の演算と組み合わせて実現できる。
【００３６】
図８を参照し、本発明の一部の実施形態について説明できる。これらシステムおよび方法では、ビデオフレーム内の隣接するブロックを識別し（１５０）、これら隣接するブロックに対する符号化パラメータを識別する。次に、隣接するブロックに対する符号化パラメータを比較し、それらの類似性を判断する（１５４）。符号化パラメータが類似していなければ、隣接するブロック間の境界に沿ってデブロックフィルタリングを適用する（１５６）。符号化パラメータが類似していれば、デブロックフィルタリングをスキップし、次のステップ（１５８）に進む。同様に、デブロックフィルタリングを実行する場合は、フィルタリング後に次のステップ（１５８）に進む。
【００３７】
本発明の実施形態では図９に示されるように、符号化パラメータは動きベクトルである。これら実施形態ではビデオフレーム内の隣接するブロックを識別し（１６０）、動きベクトルを含む符号化パラメータを識別する（１６２）。これら動きベクトルを比較し、それらの類似性を判断する（１６４）。動きベクトルが類似していなければ、隣接するブロック間でデブロックフィルタリングを実行でき（１６６）、次のステップ（１６８）に進むことができる。動きベクトルが類似していれば、デブロックフィルタリングをスキップし、直接次のステップ（１６８）を実行する。
【００３８】
本発明の別の実施形態は、図１０に示されるようにフィルタリングをスキップするかどうかを判断するために多数の符号化パラメータを使用できる。これら実施形態では、隣接するブロックを識別し（１７０）、隣接するブロックに対する符号化パラメータを決定する（１７２）。これら符号化パラメータは動きベクトルのターゲットフレームを有する動きベクトル属性を含むことができる。隣接するブロックの動きベクトルが類似していなければ（１７４）、隣接するブロック間でデブロックフィルタリングを実行できる（１７６）。動きベクトルが類似していれば（１７４）、更にフィルタリングプロセスを実行するかどうか判断するために別のパラメータを使用できる。本例では動きベクトルが同じ基準フレームをポイントするかどうかを判断する（１７８）ために、動きベクトルを比較することができる。動きベクトルが同じ基準フレームをポイントしていなければ、ブロック間でデブロックフィルタリングを実行できる（１７６）。動きベクトルが同じ基準フレームをポイントしていれば、フィルタリングをスキップし、次のステップ（１７９）に進むことができる。
【００３９】
フィルタリングを判断するのに別の動きベクトルパラメータを使用できる。図１１に示された実施形態では、ベクトルがポイントしているブロックのロケーションはフィルタリングオプションを判断するのに使用できるパラメータである。これら実施形態では、隣接するブロックを識別し（２００）、隣接ブロックに対する符号化パラメータを識別する（２０２）。次に、動きベクトルを比較し、それらの類似性を判断する（２０４）。ベクトルが類似していなければ、デブロックフィルタリングを進めることができる（２０８）。動きベクトルが類似していれば、別の比較を行って、隣接するブロックの動きベクトルが同じ基準フレームをポイントしているかどうかを判断できる。ベクトルが同じフレームをポイントしていなければ、デブロックフィルタリングを進めることができる（２０８）。ベクトルが同一基準フレームをポイントしていれば、ベクトルがポイントするブロックを比較することができる（２１０）。動きベクトルが同一基準フレーム内の隣接するブロックをポイントしていなければ、デブロックフィルタリングを進めることができる（２０８）。ベクトルが同一基準フレーム内の隣接するブロックをポイントしていれば、デブロックフィルタリングをスキップし、次のステップ（２１２）を実行できる。このように、基準フレーム内の隣接するブロックを基準とし、ブロック間で大きなアーティファクトを有する可能性が低い、隣接するブロックは、デブロックフィルタリングを行わない。このようにデブロックフィルタリングをスキップすることにより、フィルタリングプロセスによって生じたボケおよび画像劣化を防止できる。不要なフィルタリングを回避すると、処理時間も節約できる。こうして画質が改善され、プロセスにおいて必要となる計算回数は、より少なくて済むことになる。フィルタリングをスキップするかどうかを判断するのに、これら動きベクトルパラメータの種々の組み合わせを使用できることに留意すべきである。これら無数の組み合わせについては特に詳細に説明しないが、当業者が考えつくことができる範囲内のものであるので、特許請求の範囲内にあると考えられる。
【００４０】
本発明の別の実施形態は、デブロックフィルタリングを行うべきかどうかを判断するのに変換係数を使用できる。図１２を参照すると、フレーム内の隣接するブロックを識別し（１８０）、隣接するブロックに対する符号化パラメータを識別する（１８２）。これら符号化パラメータは変換係数だけでなく動きベクトルパラメータも含むことができる。
【００４１】
次に、類似性を判断するために動きベクトルを比較する（１８４）。動きベクトルが類似していなければ、デブロックフィルタリングを実行できる（１８６）。動きベクトルが類似していれば、動きベクトルが同じ基準フレームをポイントしているかどうかを判断するために、動きベクトルデータを分析する。動きベクトルが同じ基準フレームをポイントしていなければ（１８５）、フィルタリングを進めることができる（１８６）。
【００４２】
動きベクトルが同じ基準フレームをポイントしていれば（１８５）、変換係数を比較し、更にフィルタリングプロセスを行うかどうかを判断する。本例では、離散的コサイン変換（ＤＣＴ）方法または他の方法を通して得られる直流変換係数を隣接するブロックに関して比較できる。直流変換係数が類似していなければ（１８７）、デブロックフィルタリングを実行できる（１８６）。直流変換係数が類似していれば、フィルタリングをスキップし、本方法およびシステムは次のステップ（１８８）に進むことができる。
【００４３】
本発明の更に別の実施形態は、フィルタリングオプションを判断するのに、交流変換係数を利用できる。図１３には、交流変換係数を評価する別のステップと共に、図１２を参照して説明した実施形態に類似する実施形態が示されている。これら実施形態では、ブロック（１９０）およびそれらの符号化パラメータ（１９１）を識別する。動きベクトルにおける類似性（１９２）、動きベクトルターゲットフレーム（１９３）および直流変換係数（１９４）も比較する。これらパラメータにおいて類似性がある場合、交流変換係数を比較し（１９６）、これらが類似していれば、デブロックフィルタリングをスキップし、プロセス内の次のステップを実行する（１９７）。交流係数が類似していなければ、隣接するブロック間でフィルタリングを実行し、プロセスは次のステップまで進む（１９７）。
【００４４】
交流変換係数はより大きいブロックで重要性を有しやすいが、より小さいブロック、例えば４×４ブロックを利用する方法でも使用できる。
【００４５】
本発明の一部の実施形態では、画像のフォーマットおよび利用するカラースペースに応じて１つの画像を種々の輝度チャンネルおよびクロミナンスチャンネルに分離できる。次の例では、ＹＵＶカラースペースについて説明するが、これら実施形態では多くの別のフォーマットおよびカラースペースを使用できる。ＣｉｅＬＡＢ、ＹｃｒＣｅおよびその他のスペースも使用できる。別の実施形態では、ＲＧＢのようなカラースペースを使用できる。
【００４６】
図１４を参照して、本発明の一部の実施形態について説明する。これら実施形態では、画像から輝度データを抽出し、輝度画像を形成する（２２０）。次に、輝度画像において、隣接するブロックを識別し（２２２）、隣接するブロックに対する符号化パラメータも識別する（２２４）。他の実施形態と同じように、隣接するブロックの動きベクトルを比較し、類似性を判断する（２２６）。動きベクトルが類似していなければ、デブロックフィルタリングを実行し（２３０）、ベクトルが類似していれば、ベクトルが同じ基準フレームをポイントしているかどうか判断する（２２８）ために更に分析を行う。ベクトルが異なる基準フレームをポイントしていれば、輝度画像内の隣接するブロックに対応する元の画像の隣接するブロック間でデブロックフィルタリングを実行する（２３０）。ベクトルが同じフレームをポイントしていれば、デブロックフィルタリングをスキップし、先のフィルタリングを行うことなく、次のステップを実行する（２３２）。フィルタリングを実行する場合、フィルタリングプロセスの後に次のステップを実行する（２３２）。従って、輝度チャンネル内のデータの分析を使用して、輝度データとクロミナンスデータの双方を含む元の画像内のフィルタリングプロセスを決定する。
【００４７】
図１５に示されている他の関連する実施形態では、輝度画像を形成し（２４０）、輝度および元の画像内で対応する隣接ブロックを識別する（２４２）。輝度画像ブロックに対して符号化パラメータも識別する（２４４）。その後、動きベクトルを比較し、類似性を判断する（２４６）。大きな類似性が存在していなければ、元の画像内の隣接するブロック間でフィルタリングを実行する（２５２）。動きベクトルが類似していれば、動きベクトルのターゲットフレームを比較し、ベクトルが同じ基準フレームをポイントしているかどうかを判断する。ベクトルが同じ基準フレームをポイントしていなければ、フィルタリングを実行する。ベクトルが同じ基準フレームをポイントしていれば、輝度（Ｙ）画像の変換係数を比較する。Ｙ変換係数が類似していなければ、フィルタリングを実行し、変換係数が類似していれば、フィルタリングをスキップし、次のステップ（２５４）を実行する。同様に、フィルタリング動作の後に次のステップ（２５４）を実行する。
【００４８】
画像は更に、一般に輝度チャンネルとクロミナンスチャンネルに対応する成分チャンネルに分割できる。本発明の一部の実施形態では、そのチャンネルにユニークなパラメータに従って各チャンネルをフィルタリングできる。
【００４９】
一例として、図１６を参照し、実施形態を説明できる。この実施形態では、１つの画像を別々の輝度チャンネル（Ｙ）と多数のクロミナンスチャンネル（Ｕ、Ｖ）に分割する（２６０）。これら実施形態では、各チャンネルに対応する画像内で隣接するブロックを識別する（２６２、２７２、２８２）。符号化パラメータ、例えば動きベクトルデータも各チャンネルにおけるこれらブロックに対して識別する（２６４、２７４、２８４）。次に、他の実施形態のように符号化パラメータを比較し、類似性を判断できる。これら実施形態では、チャンネル固有の動きベクトルに対する動きベクトルの類似性を使用し、各チャンネルにおけるフィルタリングオプションを判断できる。チャンネル画像に対する動きベクトルが類似していなければ（２６６、２７６、２８６）、隣接するブロック間の特定のチャンネル内でフィルタリングを実行する（２７０、２８０、２９０）。動きベクトルが類似していれば、ターゲット基準フレームを比較する（２６８、２７８、２８８）。チャンネルにおける隣接するブロックに対するベクトルが同じ基準フレームをポイントしていれば、フィルタリングをスキップする。ベクトルが異なる基準フレームをポイントしていれば、フィルタリングを実行する（２７０、２８０、２９０）。
【００５０】
他の実施形態のように、これらのチャンネル化された実施形態はフィルタリングオプションを行うかどうかの判断をするために、変換係数データを使用できる。図１７に示されるように、図１６を参照して説明した方法およびシステムは更にチャンネル変換係数を比較できる（３１０、３２２、３３４）。係数が類似していなければ、フィルタリングを実行する（３１２、３２４、３３６）。係数が類似していれば、フィルタリングをスキップする。
【００５１】
各チャンネルにおけるフィルタリング動作をするかどうかを判断するのに、パラメータの種々の組み合わせを使用できることに留意すべきである。これら実施形態に対して直流および交流変換係数を利用できる。更に、フィルタリングオプションを判断し、フィルタリングを実行するために、種々のチャンネルおよびチャンネルの組み合わせを使用できる。例えば一部の実施形態では、双方のクロミナンスチャンネルを組み合わせ、分析できる。別のチャンネルにおけるフィルタリングオプションを判断するのに、１つのチャンネルからのデータおよびパラメータを使用することもできる。例えばＵクロミナンスチャンネルから取り込まれたパラメータを比較し、Ｖクロミナンスチャンネルにおけるフィルタリングオプションを判断してもよいし、この逆に、Ｖクロミナンスチャンネルから得たパラメータを比較して、Ｕクロミナンスチャンネルにおけるフィルタリングオプションを判断してもよい。
【００５２】
以上で本発明の種々の実施形態における発明の原理について説明し、図示したが、本発明はかかる原理から逸脱することなく、配置および細部について発明を変形できることは明らかである。特許請求の範囲内にあるすべての変形例および変更例について権利を請求するものである。
【符号の説明】
【００５３】
１２…画像、１４…画像ブロック、１８…ブロッキングアーティファクト、２０，２２…ブロック、２４…ブロッキングアーティファクト、２６…境界、２８…ピクセル、３０，３２…画像ブロック、３１…境界、３４…ピクセル、４０…現在フレーム、４２，４８…基準フレーム、４４，４６…画像ブロック、ＭＶ１，ＭＶ２，４９…動きベクトル、４４’，４６’…基準フレームブロック、４４''…残りのブロック、４４'''，４６'''…変換されたブロック、５０…変換、５２…直流成分、５３…交流成分、５４…プロセッサ、５５…符号化パラメータ、５６…デブロックフィルタ、６０…ブロックに基づく動き補償符号化器兼復号化器（コーデック）、６２…入力ビデオ、６４…比較器、６６…変換、６８…量子化、７０…可変長符号化器（ＶＬＣ）、７１…ノード、７２，８４…逆量子化、７４，８６…逆変換、７６，８８…加算、７８，９０…ループフィルタ、８０，９２…フレームバッファ、８１，９１…基準ブロック、８２…可変長復号化器（ＶＬＤ）、９４…ポストフィルタ、９６…出力ビデオ、１００…ブロック間境界、１０２…判断、１０４…デブロックフィルタ、１０６…次のブロック間の境界、１１０…ＴＭＬフィルタリング規格の結果と上記スキップモードフィルタリングの結果との比較表。
【図１】
2010104025.tif 000003
【図２】
2010104025.tif 000004
【図３】
2010104025.tif 000005
【図４】
2010104025.tif 000006
【図５】
2010104025.tif 000007
【図６】
2010104025.tif 000008
【図７】
2010104025.tif 000009
【図８】
2010104025.tif 000010
【図９】
2010104025.tif 000011
【図１０】
2010104025.tif 000012
【図１１】
2010104025.tif 000013
【図１２】
2010104025.tif 000014
【図１３】
2010104025.tif 000015
【図１４】
2010104025.tif 000016
【図１５】
2010104025.tif 000017
【図１６】
2010104025.tif 000018
【図１７】
2010104025.tif 000019