(57)【要約】      （修正有）【課題】複雑性が低く、圧縮画像中に埋め込まれたいかなる復元パラメータにも頼らない、アーチファクトを低減する。【解決手段】方法は、画像中の画素を分類する。画像は、ブロックに基づく圧縮プロセスを用いて圧縮されていた復元画像とすることができる。画像中の各画素に対してフィルタを適用して、その画素の平均強度値を求める。平均を用いて、各画素の平均二乗強度を求め、次にこの平均二乗強度を用いて、各画素の強度の分散を求める。平均二乗は、画像中のＤＣ成分の平均パワーを表し、分散は、画像中のＡＣ周波数成分の平均パワーを表す。次に、画素を分散に応じて、平滑画素、エッジ画素、またはテクスチャ画素として分類する。次に、画像中のブロックを、分類された画素に応じて分類することができ、その後、ブロック内のブロッキングアーチファクトおよびリンギングアーチファクトを、ブロックの分類に応じてフィルタリングすることができる。【選択図】図２
2005166021.tif 000002
【特許請求の範囲】
【請求項１】
画像中の画素を分類する方法であって、
平均強度値を求めるために前記画像中の各画素に対してフィルタを適用することと、
フィルタリングした各画素の平均強度を求めることと、
前記平均強度から各画素の平均二乗強度を求めることと、
前記平均二乗強度から各画素の強度の分散を求めることと、
特定の画素を、前記分散が第１のしきい値未満である場合には平滑画素として、前記分散が第２のしきい値よりも大きい場合にはエッジ画素として、その他の場合にはテクスチャ画素として分類することと
を含む画像中の画素を分類する方法。
【請求項２】
前記平均二乗は、前記画像中のＤＣ成分の平均パワーを表し、前記分散は、前記画像中のＡＣ周波数成分の平均パワーを表す請求項１に記載の方法。
【請求項３】
前記フィルタは、前記フィルタの中央にある前記特定の画素に対する平滑３×３フィルタであり、
前記フィルタでラスタスキャン順に前記画像を走査すること
をさらに含む請求項１に記載の方法。
【請求項４】
前記画像は、圧縮画像から得られた復元画像であり、前記圧縮画像は、ブロックに基づく圧縮プロセスを用いて圧縮された原画像から得られたものである請求項１に記載の方法。
【請求項５】
前記画像を複数のブロックに分割することと、
前記分類された画素に応じて各ブロックを分類することと
をさらに含む請求項１に記載の方法。
【請求項６】
特定のブロックは、前記特定のブロック内の全ての画素が平滑として分類された場合には平滑ブロックとして、前記ブロック内の少なくとも１つの画素がエッジとして分類された場合にはエッジブロックとして、その他の場合にはテクスチャブロックとして分類される請求項１に記載の方法。
【請求項７】
前記分類された画素に基づいて、特定のブロックがブロッキングアーチファクトを含むかを検出することと、
前記ブロッキングアーチファクトをフィルタリングすることと
をさらに含む請求項６に記載の方法。
【請求項８】
前記特定のブロック内のエッジ画素を検出することと、
リンギングアーチファクトを除去するために、前記エッジ画素に隣接する画素を平滑フィルタによりフィルタリングし、前記エッジ画素および隣接画素以外の画素を不均一なフィルタによりフィルタリングすることと
をさらに含む請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像処理に関し、特に圧縮画像から再構成された画像中の目に見えるアーチファクトを低減することに関する。
【背景技術】
【０００２】
圧縮は、デジタルカメラ、放送ＴＶおよびＤＶＤを含む多くの画像化の用途において、メモリに記憶することのできる画像数を増やすため、または送信帯域幅を減らすために用いられている。圧縮比が高い場合、量子化および係数の打ち切りの副作用により、復元画像中に目に見えるアーチファクトが結果として生じる可能性がある。現実的な解決策は、復元画像をフィルタリングして、目に見えるアーチファクトを抑え、復元画像の主観的な品質を保証する。
【０００３】
ＩＴＵ−Ｔ  Ｈ．２６ｘおよびＭＰＥＧ−１／２／４等のほとんどのビデオ符号化規格は、ブロックに基づくプロセスを用いる。高い圧縮比では、基礎を成すブロックに基づく処理により、いくつかのアーチファクトが目に見える。最も一般的なアーチファクトは、ブロッキングおよびリンギングである。
【０００４】
ブロッキングアーチファクトは、復元画像のモノトーン領域のブロック境界に沿ってグリッドノイズとして現れる。ブロッキングアーチファクトは、隣接するブロックが別個に処理され、ブロック境界における画素強度が復元後に完全に揃わないために生じる。リンギングアーチファクトは、復元画像のエッジに沿ってより顕著である。この効果は、ギッブ（Gibb）の現象として知られ、高周波係数の打ち切り、すなわちＡＣ係数の量子化によって生じる。
【０００５】
復元された画像およびビデオ中の目に見えるアーチファクトを低減するための多くの方法が知られている。これらの方法の中には、適応的空間フィルタリング法（例えば、Wu等著「Adaptive postprocessors with DCT-based block classifications」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 13, No. 5, May 2003）、Gao等著「A de-blocking algorithm and a blockiness metric for highly compressed images」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 12, No. 5, December 2002）、Lee他に対して２００３年３月２５日付で発行された米国特許第６，５３９，０６０号「Image data post-processing method for reducing quantization effect, apparatus therefor」、Osaに対して２００２年１２月１７日付で発行された米国特許第６，４９６，６０５号「Block deformation removing filter, image processing apparatus using the same, method of filtering image signal, and storage medium for storing software therefor」、Konstantinidesに対して２００１年１１月２０日付で発行された米国特許第６，３２０，９０５号「Postprocessing system for removing blocking artifacts in block-based codecs」、Cheung他に対して２００１年１月２３日付で発行された米国特許第６，１７８，２０５号「Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering」、Sugahara他に対して２０００年１２月２６日付で発行された米国特許第６，１６７，１５７号「Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data」、Gupta他に対して１９９９年７月６日付で発行された米国特許第５，９２０，３５６号「Coding parameter adaptive transform artifact reduction process」）、ウェーブレットに基づくフィルタリング法（例えば、Xiong等著「A deblocking algorithm for JPEG compressed images using overcomplete wavelet representations」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 7, No. 2, August 1997）、Lang等著「Noise reduction using an undecimated discrete wavelet transform」（Signal Processing Newsletters, Vol. 13, January 1996））、ＤＣＴ領域法（例えば、Triantafyllidis等著「Blocking artifact detection and reduction in compressed data」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 12, October 2002）、Chen等著「Adaptive post-filtering of transform coefficients for the reduction of blocking artifacts」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, May 2001））、ＭＲＦモデルに基づく統計的方法（例えば、Meier等著「Reduction of blocking artifacts in image and video coding」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 9, April 1999）、Luo等著「Artifact reduction in low bit rate DCT-based image compression」（IEEE Transactions on Image Processing, Vol. 5, September 1996））、ならびに反復法（例えば、Paek等著「A DCT-based spatially adaptive post-processing technique to reduce the blocking artifacts in transform coded images」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 10, February 2000）、およびPaek等著「On the POCS-based post-processing technique to reduce the blocking artifacts in transform coded images」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 8, June 1998））がある。
【０００６】
図１は、典型的な従来技術による圧縮画像の処理方法を示す。この方法は、まずデコーダ１０２で、次にフィルタ１０３で動作する。圧縮画像１０１を、可変長復号化（ＶＬＤ）し（１１０）、逆量子化（Ｑ−１）して（１２０）、フィルタ１３０によって用いられるＤＣＴ係数１２１を得る。逆ＤＣＴ（ＩＤＣＴ）１４０をＤＣＴに適用して、復元画像１０４を得て、この復元画像１０４をフィルタリングプロセス１３０に供給して処理済画像１０９を生成する。基準フレーム１４２を動き補償１５０に用いる。動きベクトルをＩＤＣＴ１４０の出力に加算し（１６０）、復元画像１０４を生成する。ＶＬＤ１１０は、また、量子化パラメータ１１１をフィルタリングステップ１３０に供給する。
【０００７】
人間の視覚系は、画像のエッジにおいて生じるような高周波（ＡＣ）の視覚的変化に非常に敏感であることがよく知られている。しかし、上記の方法は、圧縮画像中の全ての画素を平等に扱う。したがって、処理済画像１０９は、ぼやける傾向にあるか、またはアーチファクトの一部が残る。方法の中には、適応的にフィルタリングするものもあるが、異なるアーチファクトを処理することはできない。
【０００８】
全ての従来技術の方法は、計算的に複雑である傾向がある。例えば、ウェーブレットに基づく方法は、ウェーブレット画像に対して８回のローパスおよびハイパスの畳み込みフィルタリング操作を適用する。次に、デブロッキング操作を行って、デブロッキングされた画像を得る。デブロッキングされた画像を再構成するために、１２回の畳み込みに基づくローパスおよびハイパスフィルタリング操作が必要となる。処理済画像を生成するためには、入力画像に対して合計２０回の畳み込みに基づくフィルタを適用しなければならない。この方法の計算コストは、リアルタイムな応用に対してこの方法を非実用的なものにしている。
【０００９】
ウェーブレットに基づく方法と同様に、ＤＣＴ領域法もまた、高い計算複雑性を有する。５×５のローパスフィルタリング操作の場合、単一の８×８ブロックを処理するために２５回のＤＣＴ変換が必要である。このような複雑性の高さは、極めて非実用的である。反復法の複雑性は、上記のウェーブレット法およびＤＣＴ法よりもさらに高い。
【００１０】
上記の方法は全て、しきい値としての圧縮画像中の量子化パラメータに頼ってアーチファクトをフィルタリングで除去するか、あるいは圧縮画像のＤＣＴ係数を用いてアーチファクトの特徴を抽出する。量子化パラメータとＤＣＴ係数は、ともに圧縮画像中に埋め込まれているため、復号化操作の出力が得られてからでないとアーチファクトをフィルタリングすることができない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記の問題に鑑みて、複雑性が低く、圧縮画像中に埋め込まれたいかなる復元パラメータにも頼らない、復元画像中のアーチファクトを低減する方法が必要とされている。
【課題を解決するための手段】
【００１２】
方法は、画像中の画素を分類する。画像は、ブロックに基づく圧縮プロセスを用いて圧縮されていた復元画像とすることができる。画像中の各画素に対して、３×３の平滑フィルタを適用して、その画素の平均強度値を求める。
【００１３】
平均を用いて、各画素の平均二乗強度を求め、次に、この平均二乗強度を用いて、各画素の強度の分散を求める。平均二乗は、画像中のＤＣ成分の平均パワーを表し、分散は、画像中のＡＣ周波数成分の平均パワーを表す。
【００１４】
次に、画素を分散に応じて、平滑画素、エッジ画素、またはテクスチャ画素として分類する。画像中のブロックを、分類された画素に応じて分類する。
【００１５】
次に、以前の圧縮によるブロック内のブロッキングアーチファクトおよびリンギングアーチファクトを、ブロックの分類に応じてフィルタリングすることができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、復元画像をフィルタリングして、ブロッキングアーチファクトおよびリンギングアーチファクトを低減するシステムおよび方法を提供する。従来技術と対照的に、本発明では、復元画像中のアーチファクトを分類し、この分類に応じて、復元画像をフィルタリングする。さらに、本発明の方法は、従来技術におけるような、圧縮画像に関連するいかなるパラメータも必要としない。
【００１７】
人間の視覚系の観点では、各画素は、画像中で異なる役割を果たす。人間の視覚系は、高周波の変化、特に画像中のエッジに非常に敏感であるため、エッジは、我々の画像の知覚に非常に重要である。したがって、本発明の方策は、フィルタリングを行う前に、圧縮画像中の画素を分類することである。エッジの位置が分かれば、エッジに関連する画素のフィルタリングを避ける一方で、依然として他の画素をフィルタリングすることができる。
【００１８】
システム構造および方法の動作
図２は、本発明によるシステムおよび方法２００を示す。本システムは、いかなる画像またはビデオデコーダとも独立している。本システムは、圧縮された画像またはビデオ中に埋め込まれたいかなる符号化パラメータにも頼らない。本発明の方法は、画像中の局所的な特徴部に重点を置いている。本発明による方法は、局所的な特徴部を抽出し、これらの特徴部を分類する。次に、画像が復元画像である場合、分類された特徴部を用いて、画素を選択的および適応的にフィルタリングすることができる。
【００１９】
入力は、復元画像２０１である。本方法は、いずれの画像形式（例えば、ＹＵＶまたはＲＧＢ）にも有効である。システムは、ビデオにおけるような画像シーケンスを処理できることを理解すべきである。例えば、画像２０１は、プログレッシブビデオまたはインタレースビデオの一部であってよい。また、入力画像は、一度も圧縮されていない原画像であってもよいことにも留意されたい。
【００２０】
しかし、入力画像が圧縮画像から得られた復元画像であり、圧縮画像が、ブロックに基づく圧縮プロセスを用いて圧縮された原画像から得られたものである場合、以前の圧縮により、復元画像２０１は、圧縮画像のＤＣＴ係数ブロックの別個の量子化によって生じたブロッキングアーチファクトを有する。したがって、復元画像２０１は、隣接するブロック間の空間値にブロック途切れがある。復元画像中のエッジに沿ってリンギングアーチファクトが生じる可能性もある。
【００２１】
元のテクスチャおよびエッジ情報を保持する一方で、これらのアーチファクトを低減するために、本発明によるフィルタリングは、復元画像中の局所的な特徴部の分類に基づく。
【００２２】
分散画像
統計的な観点から、画素の強度値の分布は、復元画像の特徴部を示す。画像の平均強度値ｍは、画像のＤＣ成分を表す。平均強度値は、次式によって測定することができる。
【００２３】
【数１】
2005166021.tif 000003
【００２４】
ここで、ＭおよびＮは、復元画像の画素数に換算した幅および高さであり、ｐｘｉ，ｊは、ｉ、ｊの位置に生じる画素の確率である。
【００２５】
復元画像の平均パワーは、次式で表される平均二乗値である。
【００２６】
【数２】
2005166021.tif 000004
【００２７】
平均の変動は、次式で表される分散である。
【００２８】
【数３】
2005166021.tif 000005
【００２９】
平均二乗は、画像中のＤＣ成分の平均パワーを表し、分散は、圧縮画像２０１中のＡＣ周波数成分の平均パワーを表す。したがって、強度値の分散は、画像中のエネルギーを表すＡＣパワーの変動の尺度として用いられる。
【００３０】
ある画素の分散が高い場合、その画素は、エッジに関連する可能性が高い。分散が低い場合、その画素は、画像の均質領域、例えば、平滑な背景の一部である。したがって、分散は、画像中の局所的な特徴部の特性を示す。
【００３１】
ブロッキングアーチファクトとリンギングアーチファクトは、ともに局所的な特徴部の特性によるものである、すなわち、アーチファクトは、ブロック境界またはエッジ付近に現れるため、局所的な特徴部は、これらのアーチファクトを示すのに十分である。したがって、本発明による分類およびフィルタリングは、上記の式（３）に記載したような画素強度値の局所分散によって測定されるエネルギー分布に基づく。特徴部の特性は、以下のように強度値２１１を抽出すること（２１０）によって求める。
【００３２】
図３に示すように、平滑３×３フィルタ３０１で復元画像２０１中の各画素３０２を走査する。走査は、ラスタスキャン順に行うことができる。フィルタの各中心画素３０２について、式（１）〜（３）に従って強度値２１１の平均および分散を求める（２２０）。分散は、分散画像４０１を形成する。幾何学的な観点から、局所分散は、各画素位置における復元画像の勾配を反映する。
【００３３】
図４に示すように、特徴部の抽出および走査は、画素が強度値２１１を有する空間領域の復元画像２０１を、画素が分散４１１を有するエネルギー領域の分散画像４０１へ変換する。
【００３４】
画素の分類
図５に示すように、第１のしきい値＿１未満の分散を有する画素２１１を、クラス＿０  ５０１として分類する。これらの画素は、画像中の均質な、すなわち「平滑な」領域に対応する。第２のしきい値＿２よりも大きい分散を有する画素を、クラス＿１  ５０２として分類する。これらの画素は、エッジに対応する可能性が最も高い。これら２つのしきい値の間の分散を有する画素を、クラス＿２  ５０３として分類する。これらの画素は、近傍画素の特性に応じてリンギングノイズまたはテクスチャとして考えることができる。本発明による適応的フィルタリングは、上記の分類に応じて実行される。
【００３５】
ブロックの分類
画素ブロックも、エッジマップ２２０中の分散値に応じて「平滑」２４１、「テクスチャ」２４２および「エッジ」２４３のブロックに分類する（２４０）。ブロックの分類２４０は、各ブロック内の総分散に基づいて、またはブロック内の各クラスの画素数を計数することによって行うことができる。例えば、ブロック内の画素が全てクラス＿０である場合、そのブロックを平滑として分類する。ブロック内の少なくとも１つの画素がクラス＿１である場合、そのブロックをエッジブロックとして分類する。その他の、ブロックがクラス＿０とクラス＿２の両方の画素を有する場合、そのブロックをテクスチャブロックとして分類する。
【００３６】
ブロッキングアーチファクトの検出
最もよく知られている画像およびビデオの圧縮規格は、画素ブロックのＤＣＴ符号化に基づいている。ブロックに基づく符号化は、画像を完全に画素ブロック（通常１ブロックにつき８×８画素）に分割する。各ブロックの画素は、別個にＤＣＴ係数に変換される。次に、ＤＣＴ係数は、所定の量子化行列に応じて量子化される。別個の符号化のために、ブロッキングアーチファクトがブロック境界で目に見える。
【００３７】
図６は、８×８のブロック６００上でブロッキングアーチファクトを検出する方法２５０を示す。外側の画素を星印６０１で示し、「内側の」画素を黒丸６０２で示す。内側の画素は、ブロック内の一番上の行および左の列に隣接して、それと平行に位置する。検出２５０は、ブロック毎に左から右へ、また上から下へ行われる。
【００３８】
ブロッキングアーチファクトが存在する場合、外側の画素６０１の分散の勾配は、内側の画素６０２とほぼ同じである。ブロッキングアーチファクトがあることを判定する基準は、次の通りである。
【００３９】
【数４】
2005166021.tif 000006
【００４０】
ｓｉｇｎは、＋１または−１のいずれかである。上記のテストは、ブロッキングアーチファクトと、ブロック境界のエッジとを区別する。
【００４１】
デブロッキングフィルタ
図７に示すように、ブロッキングアーチファクトは、復元画像中の検出されたブロック境界をフィルタリングすることによって除去される。ブロッキングアーチファクトが検出された場合、画素に対してブロック境界６０１に沿って１次元ローパス（平滑化）フィルタを適応的に適用する。フィルタ７０２、７０４、７０６のサイズ（例えば２、４、６またはそれ以上の画素数）は、ブロック境界における勾配に対応する。大きな勾配値を有する画素（すなわちエッジ画素）は、フィルタリング操作から除外し、エッジやテクスチャをぼかすことを避ける。
【００４２】
デリンギングフィルタ
図８に示すように、デリンギング２７０は、エッジブロック２４３のみに作用する。平滑（１／９）で適応的な３×３のローパスフィルタ８１０を、（黒の）エッジ画素８０２に隣接する（白の）画素８０１に適用する。中心に大きな重み（３）を有する不均一な（１／１１）フィルタ８２０を、エッジから遠く離れた（例えば４画素以上離れた）テクスチャ画素８０３に適用して、細部を保持する。デリンギング操作は、分散画像によって誘導されるため、また、エッジ画素は、フィルタリングされないため、復元画像中のエッジは変化しない。
【００４３】
本発明の精神および範囲内で様々な他の適応および修正を行うことができることが理解されるべきである。したがって、併記の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および修正を網羅することである。
【図面の簡単な説明】
【００４４】
【図１】圧縮画像を復号化し、復号化された画像をフィルタリングする従来技術の方法のブロック図である。
【図２】本発明による復元画像をフィルタリングするシステムおよび方法のブロック図である。
【図３】本発明による特徴部抽出のブロック図である。
【図４】本発明による強度画像と分散の間のマッピングのブロック図である。
【図５】本発明による画素を分類するブロック図である。
【図６】本発明によるブロッキングアーチファクトを検出するブロック図である。
【図７】本発明によるブロッキングアーチファクトをフィルタリングするブロック図である。
【図８】本発明によるリンギングアーチファクトをフィルタリングするブロック図である。
【図１】
2005166021.tif 000007
【図２】
2005166021.tif 000008
【図３】
2005166021.tif 000009
【図４】
2005166021.tif 000010
【図５】
2005166021.tif 000011
【図６】
2005166021.tif 000012
【図７】
2005166021.tif 000013
【図８】
2005166021.tif 000014
【外国語明細書】
2005166021.tif 000015
2005166021.tif 000016
2005166021.tif 000017
2005166021.tif 000018
2005166021.tif 000019
2005166021.tif 000020
2005166021.tif 000021
2005166021.tif 000022
2005166021.tif 000023
2005166021.tif 000024
2005166021.tif 000025
2005166021.tif 000026
2005166021.tif 000027
2005166021.tif 000028
2005166021.tif 000029
2005166021.tif 000030
2005166021.tif 000031
2005166021.tif 000032
2005166021.tif 000033
2005166021.tif 000034
2005166021.tif 000035
2005166021.tif 000036
2005166021.tif 000037