(57)【要約】  本発明は、ビデオ信号を処理する方法に関する。上記方法は、ビデオ信号が低周波信号及び高周波信号に分離されることを備える。低周波信号は、リンギング・アーチファクトを削減するよう処理される。高周波信号は、ブロッキング・アーチファクトを削減するよう処理される。更に、低周波信号及び高周波信号は合成される。
2007538451.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号を処理する方法であって、
低周波信号及び高周波信号に前記ビデオ信号を分離する工程と、
リンギング・アーチファクトを削減するよう前記低周波信号を処理する工程と、
ブロッキング・アーチファクトを削減するよう前記高周波信号を処理する工程と、
前記低周波信号及び前記高周波信号を合成する工程とを備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記低周波信号を処理する工程は、低域通過フィルタリングを備えることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記高周波信号を処理する工程は、メジアン・フィルタリング、低域通過フィルタリング、時間的低域通過フィルタリング及び空間的低域通過フィルタリングを有する群から選択されることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、平坦な領域を前記ビデオ信号において検出する工程を更に備えることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記検出された平坦な領域についてのみ前記低周波処理をイネーブルする工程を更に備えることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、前記検出された平坦な領域についてのみ前記高周波処理をイネーブルする工程を更に備えることを特徴とする方法。
【請求項７】
請求項４記載の方法であって、平坦な領域を検出する工程が、
参照画素と、所定数の近傍画素とを選択する工程と、
前記参照画素の値と、前記近傍画素のそれぞれの値との間の差を算出する工程と、
前記参照画素の値と、前記近傍画素のそれぞれの値との間の差を加算して画素和を生成する工程と、
前記画素和を、前記所定数の近傍画素で除算して画素平均を生成する工程と、
前記画素平均を所定数と比較する工程とを備えることを特徴とする方法。
【請求項８】
ビデオ信号を処理する装置であって、
低周波信号及び高周波信号に前記ビデオ信号を分離する手段と、
リンギング・アーチファクトを削減するよう前記低周波信号を処理する手段と、
ブロッキング・アーチファクトを削減するよう前記高周波信号を処理する手段と、
前記低周波信号及び前記高周波信号を合成する手段とを備えることを特徴とする装置。
【請求項９】
請求項８記載の装置であって、前記低周波信号を処理する手段が低域通過フィルタであることを特徴とする装置。
【請求項１０】
請求項8記載の装置であって、前記高周波信号を処理する手段は、メジアン・フィルタ、低域通過フィルタ、時間的低域通過フィルタ及び空間的低域通過フィルタを有する群から選択されることを特徴とする装置。
【請求項１１】
請求項8記載の装置であって、平坦な領域を前記ビデオ信号において検出する手段を更に備えることを特徴とする装置。
【請求項１２】
請求項11記載の装置であって、前記検出された平坦な領域についてのみ前記低周波信号の処理をイネーブルする手段を更に備えることを特徴とする装置。
【請求項１３】
請求項11記載の装置であって、前記検出された平坦な領域についてのみ前記高周波信号の処理をイネーブルする手段を更に備えることを特徴とする装置。
【請求項１４】
ビデオ信号を処理するコードを備えるメモリ媒体であって、前記コードが、
低周波信号及び高周波信号に前記ビデオ信号を分離するコードと、
リンギング・アーチファクトを削減するよう前記低周波信号を処理するコードと、
ブロッキング・アーチファクトを削減するよう前記高周波信号を処理するコードと、
前記低周波信号及び前記高周波信号を合成するコードとを備えることを特徴とするメモリ媒体。
【請求項１５】
請求項14記載のメモリ媒体であって、平坦な領域を前記ビデオ信号において検出するコードを更に備えることを特徴とするメモリ媒体。
【請求項１６】
請求項15記載のメモリ媒体であって、前記検出された平坦な領域についてのみ前記低周波信号の処理をイネーブルするコードを更に備えることを特徴とするメモリ媒体。
【請求項１７】
請求項15記載のメモリ媒体であって、前記検出された平坦な領域についてのみ前記高周波信号の処理をイネーブルするコードを更に備えることを特徴とするメモリ媒体。
【請求項１８】
請求項15記載のメモリ媒体であって、前記平坦な領域を検出するコードが、
参照画素と、所定数の近傍画素とを選択するコードと、
前記参照画素の値と、前記近傍画素のそれぞれの値との間の差を算出するコードと、
前記参照画素の値と、前記近傍画素のそれぞれの値との間の差を加算して画素和を生成するコードと、
前記画素和を、前記所定数の近傍画素で除算して画素平均を生成するコードと、
前記画素平均を所定数と比較するコードとを備えることを特徴とするメモリ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオ処理に関し、特に復号化ビデオにおけるブロック・アーチファクト及びリンギング・アーチファクトを削減するアルゴリズムに関する。
【背景技術】
【０００２】
ディジタル・ビデオ圧縮は、ビデオ信号を表すのに必要なデータ量を削減するよう画像データ内の空間的な相関又は冗長度及び時間的な相関又は冗長度を活用する。可逆圧縮では、復号化後、圧縮データは非圧縮データと同一である。その場合、品質は一定であり、圧縮情報を送信するのに必要なデータ量は変動することになる。
【０００３】
大半の消費者向アプリケーション（例えば、DVD、ディジタル放送等）では、平均ビット・レートは一定である。よって、品質は、ビデオ系列の複雑度によって変動することになる。これは、「非可逆」符号化手法の例である。そうしたものは、符号化手法の忠実度によって、変動する度合いの画像劣化又はアーチファクトを表す。前述のアーチファクトには、ブロッキング、リンギング及びモスキートノイズがある。
【０００４】
ブロッキング・アーチファクトは、符号化前に画像が8行x8画素のブロックに分割されることから生じる。ブロックは個々に符号化されるので、ビット・レートを削減するのに利用される粗い量子化は、ブロック構造の可視性につながることになる。その結果、画像のかなりの部分が失われる。
【０００５】
符号化アーチファクトの削減は、画像エンハンスメントにとって重要である。前述のアーチファクトを削減するアルゴリズムは実際に存在している。ブロッキング・アーチファクトを削減するアルゴリズムは一般に、まず、ブロックのエッジを検出し、次に、ブロック歪みの度合いを測定することができることによって変わってくる。これは、ブロックのエッジで生じる不連続性をみることによって行われる。この目的で、グリッドの寸法及び位置が分からなければならない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、既存のアルゴリズムはその制約を有する。例えば、復号化後の画像の幾何学的変換（例えば、スケーリング）は何れも、正確なブロック構造を取り出すことを困難にするものである。又、ブロッキング・アーチファクトを削減するアルゴリズムは一般に、他のアーチファクト（特にリンギング）を削減するものでない。よって、ブロッキング・アーチファクト及びリンギング・アーチファクトを削減することが可能なアルゴリズムを見つけることが効果的である。
【課題を解決するための手段】
【０００７】
前述に鑑みて、本発明は、ビデオ信号を処理する方法に関する。一例では、上記方法は、ビデオ信号が低周波信号及び高周波信号に分離されることを備える。低周波信号は、リンギング・アーチファクトを削減するよう処理される。低周波処理には、低域通過フィルタリング又は別の適切な手法があり得る。高周波信号は、ブロッキング・アーチファクトを削減するよう処理される。高周波処理には、メジアン・フィルタリング、低域通過フィルタリング、時間的低域通過フィルタリング、空間的低域通過フィルタリング、又は別の適切な手法があり得る。更に、低周波信号及び高周波信号を次いで合成して出力信号を形成する。
【０００８】
別の例では、上記方法は、平坦な領域がビデオ信号において検出されることを更に有する。この例では、高周波処理及び低周波処理は、検出される平坦な領域についてのみイネーブルされる。
【０００９】
一例では、平坦な領域は、いくつかの工程によって検出される。前述の工程には、参照画素、及び所定数の近傍画素の選択がある。参照画素の値と、近傍画素のそれぞれの値との間の差が算出される。参照画素の値と、近傍画素のそれぞれの値との間の差が加算され、画素和がもたらされる。画素和は、所定数の近傍画素によって除算され、画素平均がもたらされる。更に、画素平均が次いで所定数と比較される。
【発明を実施するための最良の形態】
【００１０】
次に、添付図面を通して、相当する部分を同じ参照符号が表す添付図面を参照する。
【実施例】
【００１１】
本発明は、復号化ビデオにおいてブロック・アーチファクト及びリンギング・アーチファクトを削減するアルゴリズムに関する。前述の通り、符号化アーチファクトを削減するアルゴリズムが実際に存在している。しかし、こうした既存のアルゴリズムは制約を有する。例えば、ブロッキング・アーチファクトを削減するアルゴリズムは一般に、他のアーチファクト（リンギングなど）を削減するものでない。
【００１２】
本発明によるアルゴリズムの一例を図１に示す。なお、本発明は、何れかのブロック・ベースの符号化手法とともに用いることが意図されている。よって、入力信号Yinは、何れかのブロック・ベースの符号化手法（JPEG、MPEG-1、MPEG-2、MPEG-4やH.264など）によって復号化されたビデオ信号である。
【００１３】
図１から分かり得るように、入力信号Yinはバンド・スプリッタ２に入力される。バンド・スプリッタ２は、低周波信号及び高周波信号を別個に処理することができるように低周波信号及び高周波信号に入力信号を分割する。本発明は、低周波信号及び高周波信号の何れかの特定の周波数範囲に限定されるものでない。しかし、5MHzの標準品位（SD）信号の場合、2MHz未満のものは低周波信号にあり、2MHzを超えるものは高周波信号にあり得る。10-20MHzの高品位信号の場合、5MHz未満のものは低周波信号にあり、5MHzを超えるものは高周波信号にあり得る。
【００１４】
バンド・スプリッタ２の出力は低周波プロセッサ４及び高周波プロセッサ６に供給される。動作上、低周波プロセッサ４は、リンギング・アーチファクトを削減するために低周波信号を処理する。更に、高周波プロセッサ６は、ブロッキング・アーチファクトを削減するよう高周波信号を処理する。低周波プロセッサ４は、低域通過フィルタ又は何れかの他の適切な手法によって実施することができる。高周波プロセッサ６は、メジアン・フィルタ、低域通過フィルタ、時間的低域通過フィルタ、空間的低域通過フィルタ、又は何れかの他の適切な手法によって実施することができる。
【００１５】
更に分かり得るように、低周波プロセッサ４の出力及び高周波プロセッサ６の出力は加算器８に供給される。加算器８は、先行して出力ビデオ信号Youtに別個に処理された低周波信号及び高周波信号を合成する。更に、加算器８は、出力信号Youtの値を制限することにもなる。入力信号Yinが8ビット値を有していた場合、出力信号Youtは0-255の値に制限されることになる。入力信号Yinが9ビット値を有していた場合、出力信号Youtは0-511の値に制限されることになる。入力信号Yinが10ビット値を有していた場合、出力信号Youtは0-1023の値に制限されることになる。
【００１６】
本発明によるアルゴリズムの別の例は、図２に示す。分かり得るように、この例では、バンド・スプリッタ２は２D低域通過フィルタ及び加算器１２によって実施される。前述のように、バンド・スプリッタ２は、低周波信号及び高周波信号を別個に処理することができるように低周波信号及び高周波信号に入力信号を分割する。
【００１７】
動作上、低域通過フィルタ１０は、入力信号Yinをフィルタリングして低周波信号を生成する。加算器１２は低周波信号の負の値を入力信号Yinに加算して高周波信号を生成する。低域通過フィルタ１０は、1/16、1/16、1/16、1/16、1/2、1/16、1/16、1/16及び1/16のフィルタ係数を備える９タップの２Dフィルタによって実施することができる。
【００１８】
別の例では、バンド・スプリッタ２は、低域通過フィルタではなく２D高域通過フィルタによって実施することができる。この例では、高域通過フィルタは高周波信号を入力信号から生成することになり、低周波信号は、高周波信号を入力信号から減算することによって生成されることになる。
【００１９】
もう一度図２を参照すれば、この例では、低周波プロセッサ４は２D低域通過フィルタによって実施される。前述の通り、低周波プロセッサ４は、リンギング・アーチファクトを削減するために低周波信号を処理する。よって、動作上、低域通過フィルタ４は、リンギング・アーチファクトを削減するために低周波信号をフィルタリングすることになる。低域通過フィルタ4は、1/16、1/8、1/16、1/8、1/4、1/8、1/16、1/8及び1/16のフィルタ係数を備える９タップの2Dフィルタによって実施することができる。しかし、入力信号におけるリンギングの度合いを判定するか、又は知ることが可能である場合、異なる度合いのリンギングに対して別々のフィルタを用いることが可能になる。例えば、リンギングの度合いが小さい場合、1/16、1/16、1/16、1/16、1/2、1/16、1/16、1/16及び1/16のフィルタ係数を備える９タップの2Dフィルタを用いることができる。
【００２０】
この例では、高周波プロセッサ６はメジアン・フィルタによって実施される。前述の通り、高周波プロセッサ６は、ブロッキング・アーチファクトを削減するよう高周波信号を処理する。よって、動作上、メジアン・フィルタ６は、ブロッキング・アーチファクトを削減するために高周波を処理することになる。
【００２１】
メジアン・フィルタ処理は、水平方向及び垂直方向に画素をみて、中間値を備えた画素を選ぶことを備える。3タップのメジアン・フィルタでは、参照画素及び２つの近傍画素が順序付けされ、参照画素は中央の値を呈する。例えば、参照画素が96の値を有し、近傍画素が122及び133の値を有する場合、参照画素の値は、中央にあるので１２２に変更されることになる。これは、水平方向及び垂直方向に行われる。
【００２２】
図２の例では、低域通過フィルタ４もメジアン・フィルタ６も入力ビデオ内の画素の全てを処理する訳でない。その代わりに、平坦な領域に関連した画素のみが処理されることになる。これは、平坦な領域においては細部が少ないからである。よって、前述のアーチファクトの生起は、より不快なものになる。したがって、この実施例では、低域通過フィルタ４及びメジアン・フィルタ６を選択的にイネーブルして平坦な領域に関連した画素のみを処理するよう平坦領域検出器１６を備える。
【００２３】
分かり得るように、入力信号Yinをフィルタリングするよう別の低域通過フィルタ１４を備える。低域通過フィルタ１４は、入力信号が平坦領域検出器１６に達する前に雑音又は妨害を除去する。低域通過フィルタ４は、1/16、1/8、1/16、1/8、1/4、1/8、1/16、1/8及び1/16のフィルタ係数を備える9タップの２Dフィルタによって実施することができる。
【００２４】
前述の通り、平坦領域検出器１６は、入力信号Yin内の平坦な領域を検出する。平坦な領域は、近傍画素間の差が低い領域に相当する。動作上、平坦な領域が検出された場合、平坦領域検出器１６は、低域通過フィルタ４及びメジアン・フィルタ６をイネーブルするためにイネーブル信号（Fad_on）を供給することになる。よって、低域通過フィルタ４及びメジアン・フィルタ６は、検出された平坦領域に関連した画素を処理することになる。平坦な領域が検出されない場合、低域通過フィルタ４及びメジアン・フィルタ６はイネーブルされないことになる。したがって、低周波信号及び高周波信号を単に、変化していない状態で通過させることになる。
【００２５】
平坦な領域を検出するために、近傍画素間の差が低い領域を入力ビデオにおいて見つける。平坦な領域を検出する方法の一例を図３に示す。分かり得るように、参照画素及び４つの近傍画素を選ぶ。各参照画素値に対する各画素値の差又は偏差を以下のように算出する。
【００２６】
Devi=|Rpix-Pixi|  (i∈[0,3])                                    (1)
全偏差の和は以下のように算出される。
【００２７】
【数１】
2007538451.tif 000003
偏差の平均は次いで、以下のように算出される。
【００２８】
AvSumDev=SumDev/4                                              (3)
偏差の平均AvSumDevは、領域が平坦な領域である確率を表す値である。AvSumDevは次いで閾値と比較される。AvSumDevが閾値未満の場合、領域は平坦な領域である。AvSumDevが閾値を超える場合、領域は平坦な領域でない。一例では、６の値が閾値として用いられた。しかし、雑音推定器が入手可能でない場合、雑音推定器の出力がこの閾値を制御する。
【００２９】
本発明による装置の一例を図４に示す。例として、装置は、テレビ、セットトップ・ボックス、パソコン、プリンタ、又は、光学式記録装置（ディジタル・ビデオ・レコーダやDVDなど）、並びに、前述及びその他の装置の一部分若しくは組み合わせを表し得る。装置は、プロセッサ１８、メモリ２０、バス２２、及び1つ又は複数の入出力装置２４を有する。装置がテレビ又はコンピュータの場合、ディスプレイ２６も有することになる。
【００３０】
入出力装置２４、プロセッサ１８及びメモリ２０はバス２２を介して通信する。メモリ２０に記憶されており、プロセッサ１８によって実行される1つ又は複数のソフトウェア・プログラムによって入力ビデオ信号を処理して出力ビデオ信号を生成する。この出力ビデオ信号は、表示装置２６上に示すことが可能である。
【００３１】
特に、メモリ１４に記憶されたソフトウェア・プログラムは、復号器を有し得る。前述の通り、何れかのブロック・ベースの符号化手法を用いることができる。したがって、メモリに記憶された復号器は、JPEG、MPEG-I、MPEG-2、MPEG-4、H.261、H.263、又はH.264の復号器であり得る。
【００３２】
更に、メモリ２０内のソフトウェア・プログラムは、前述のようなものであり、図１又は図２に示すブロック・アーチファクト及びリンギング・アーチファクトを削減するアルゴリズムも備えるものである。この実施例では、こうしたアルゴリズムは、メモリ２０に記憶されており、プロセッサ１８によって実行されるコンピュータ判読可能コードによって実施される。他の実施例では、本発明を実施するソフトウェア命令の代わりに、又はそうした命令と組み合わせてハードウェア回路を用いることができる。
【００３３】
本発明は、特定の例によって前述したが、本発明は、本明細書記載の例に制約又は制限されることを意図するものでない。したがって、本発明は、特許請求の範囲記載の趣旨及び範囲内に収まるその種々の構造及び修正を包含することを意図するものである。
【図面の簡単な説明】
【００３４】
【図１】本発明によるアルゴリズムの一例を示す図である。
【図２】本発明によるアルゴリズムの別の例を示す図である。
【図３】本発明による、平坦な領域の検出の一例を示す図である。
【図４】本発明による装置の一例を示す図である。
【図１】
2007538451.tif 000004
【図２】
2007538451.tif 000005
【図３】
2007538451.tif 000006
【図４】
2007538451.tif 000007
【国際調査報告】
2007538451.tif 000008
2007538451.tif 000009
2007538451.tif 000010