(57)【要約】入来するビデオストリームの画像を復号するための復号配置は、主観的な映像品質を改善するように、ビデオの復号化の後にランダムノイズを含むディザー信号を画像へ加えるためのノイズ発生器を有する。ノイズ発生器は、現在の画像の少なくとも一部の輝度へ関連づけられた量で、夫々の画素へノイズを加える。
2007507169.tif 000002
【特許請求の範囲】
【請求項１】
ビデオストリームにおけるアーティファクトを低減する方法であって、
前記ビデオストリームを復号するステップと、
復号後に、現在の画像の少なくとも一部の輝度情報と関連づけられた量で、前記ビデオストリームの一画像において少なくとも1つの画素へノイズを加えるステップと、
を有する方法。
【請求項２】
前記現在の画像と、前に表示又は復号をなされた画像の1つとの間の時間的相関関係に従う相関係数を用いて前記ノイズを関連づけるステップを更に有する、請求項1記載の方法。
【請求項３】
前記相関係数は、ルーマ（ｌｕｍａ）又はカラーの成分の1つに従って定められることを特徴とする、請求項２記載の方法。
【請求項４】
ルーマ成分に従って前記画像のカラー成分へノイズを加えるステップを更に有する、請求項２記載の方法。
【請求項５】
前記相関係数は、最初に、前記付加的なノイズの補間の前に、Ｎ×Ｎ（Ｎは整数）の画素画像ブロックベースで定められることを特徴とする、請求項２記載の方法。
【請求項６】
隣接画素のＮ×Ｎブロック（Ｎは整数）の輝度に基づいて前記ノイズを調整するステップを更に有する、請求項１記載の方法。
【請求項７】
前記ノイズの量は、有限インパルス応答（ＦＩＲ）フィルタの近似を用いて関連づけられることを特徴とする、請求項１記載の方法。
【請求項８】
低減されたアーティファクトをもたらすよう、符号化されたビデオストリームを復号するための復号器配置であって、
復号された画像をもたらすよう、入来する符号化されたビデオストリームを復号するためのビデオ復号器と、
後の画像を復号する際に前記復号器により使用される少なくとも１つの前に復号された画像を記憶するための基準画像記憶と、
現在の画像の少なくとも一部の輝度情報と関連づけられた量で、復号された画像の少なくとも１つの画素へ付加されるノイズを発生させるためのノイズ発生器ノイズと、
前記ノイズ発生器による次の使用のためのノイズ情報を記憶するためのノイズ画像記憶と、
前記ノイズ発生器により発生したノイズと、前記復号器からの復号された画像とを合計するための加算ブロックと、
前記合計されたノイズ及び復号されたノイズを制限する制限器（ｃｌｉｐｐｅｒ）と、
を有する復号器配置。
【請求項９】
前記ノイズ発生器は、有限インパルス応答フィルタのインスタンス化を実施することを特徴とする、請求項８記載の復号器配置。
【請求項１０】
前記ノイズ発生器は、無限インパルス応答フィルタの近似を実施することを特徴とする、請求項８記載の復号器配置。
【請求項１１】
前記ノイズ発生器は、復号器から供給された復号された画像及びビットストリーム情報に従ってノイズを発生させることを特徴とする、請求項８記載の復号器配置。
【請求項１２】
前記ビットストリーム情報は、量子化パラメータを有することを特徴とする、請求項８記載の復号器配置。
【請求項１３】
前記ノイズ発生器による使用のために、Ｎ×Ｎ（Ｎは整数）の画素ブロックの平均を記憶するための第２の画像記憶を更に有する、請求項８記載の復号器配置。
【請求項１４】
低減されたアーティファクトをもたらすよう、符号化されたビデオストリームを復号するための復号器配置であって、
復号された画像をもたらすよう、入来する符号化されたビデオストリームを復号するためのビデオ復号器と、
後の画像を復号する際に前記復号器により使用される少なくとも１つの前に復号された画像を記憶する少なくとも１つに対する基準画像記憶と、
前の画像の少なくとも１つの画素の付加的なノイズと関連づけられた量で、復号の際の少なくとも１つの画素への付加のために、復号器からの復号された画像及びビットストリーム情報に従ってノイズを発生させるためのノイズ発生器ノイズと、
前記ノイズ発生器による使用のために、Ｎ×Ｎ（Ｎは整数）の画素ブロックの平均を記憶するための画像記憶と、
前記ノイズ発生器により発生したノイズと、前記復号器からの復号された画像とを合計するための加算ブロックと、
を有する復号器配置。
【請求項１５】
前記ノイズ発生器は、有限インパルス応答フィルタのインスタンス化を実施することを特徴とする、請求項２０記載の復号器配置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたビデオストリームの復号化に関連するアーティファクトを低減するための技術に関する。
【背景技術】
【０００２】
低いビットレートで圧縮されたビデオストリームの復号化は、しばしば、見ている者が認識可能な可視的なアーティファクトを生ずる。ブロック歪み及び構造化ノイズパターンは、ブロックベースの圧縮技術の使用時に起こる共通のアーティファクトである。人間の視覚システムは、ある種類のアーティファクトに対して、より高い感度を有し、従って、このようなアーティファクトは、他よりも目立ち、好ましくないように見える。復号されたストリームへのランダムノイズの付加は、このような圧縮アーティファクトの顕著さを低減することができるが、ランダムノイズの付加によって作られる大きなフレーム間の差は、それ自体、目立ち、好ましくないように見えるアーティファクトを生ずる。
【０００３】
ディザー信号の付加は、例えば、輪郭及びブロックアーティファクトを隠すように、画像アーティファクトに対する人間の感度を下げることができる。１つの従来技術は、ブロック効果を隠すよう、画像に対して、フィルム粒子に基づくランダムノイズディザーを加えることを提案している。このようなランダムノイズを付加する原理は、ランダム誤差が構造又は相関誤差よりも許容されることである。他の従来技術は、圧縮アーティファクトを隠すようビデオストリームへディザー信号を加えることを提案している。１つの従来技術は、ＪＶＴ符号化規格として一般に知られるＩＴＵ／ＩＳＯ  Ｈ．２６４映像符号化規格のループ内非ブロック化フィルタにおいて、映像の符号化及び復号化の処理の際にランダムノイズディザーを加えることを提案している。加えられるべきディザーの量は、ブロック端に対する画素の位置に従う。他の従来技術は、コンフォートノイズとしての使用のために、映像復号化の後にそのランダムノイズを加えること（即ち、「後工程」としてのノイズ付加。）を提案している。加えられるノイズの量は、量子化パラメータと、空間的に隣接する画素に加えられるノイズの量とに従う。語「コンフォートノイズ」は、聞いている者にとって不快な総体的静寂を回避するように受信端で発生するノイズパターンを示すために、音声圧縮におけるノイズの使用に由来する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般に、ノイズを加えることによってアーティファクトを低減するための従来技術は、時間的異常性、即ち、大きなフレーム間の差を作るという危険を冒して空間的アーティファクトを低減する。従って、上述した欠点を解決する、符号化されたビデオストリームの復号化の最中にアーティファクトを低減するための技術が必要とされる。
【課題を解決するための手段】
【０００５】
簡潔に、本原理の好ましい実施例によれば、ビデオストリームの復号化においてアーティファクトを低減するための方法が提供される。当該方法は、ビデオストリームを復号することによって開始する。復号化の後、ノイズは、前に復号された画像の少なくとも一部の輝度に関連づけられた量で夫々の画素へノイズを加えることによって、ビデオストリームへ加えられる。従って、本原理に従って、輝度の相関関係は、従来のノイズ付加技術の欠点であった大きなフレーム間の差を低減するように付加的なノイズを決定する際に役立つ。
【発明を実施するための最良の形態】
【０００６】
本原理に従って、現在の画像の少なくとも一部の輝度に関連づけられた量で、既に復号された信号に対して、ディザー信号を含むランダムノイズを加えることは、主観的な映像品質を改善する。
【０００７】
従来、復号された信号へノイズを加えることは、ビデオ信号の品質を改善すると考えられてきた。単一画像ではなく、動画像列へノイズ信号を加えることの視覚的影響は、ノイズ信号の大きさの決定において考慮すべき事柄となる。ノイズ信号の大きさの決定において、単一画像ではなく、動画像列へノイズ信号を付加することの視覚的影響が、考慮されてきた。一画像内の画素に対する付加的なノイズ信号の大きさは、前に表示された画像における画素の付加的なノイズ信号の値に関連づけられ得る。例えば、ノイズ信号は、時間的に関連づけられる。代替的には、時間相関は、前に表示された画像よりもむしろ、前に復号された画像に基づくことができる。
【０００８】
上記に基づき、付加されたノイズ信号は、相関係数α（０≦α≦１）との時間相関を用いて、以下、
N(k,x,y)=(1-α)*N(k-1,x,y)+α*R(k,x,y)    （１）
として計算される。乱数R(k,x,y)は、例えば、正規化、ガウス又はラプラシアン分布のような、如何なる形式の乱数分布をも用いて発生させられうる。R(k,x,y)は、また、必要ならば、ある範囲内に制限されても良い。乱数発生器は、参照テーブル（ｌｏｏｋｕｐ  ｔａｂｌｅ）を用いて実施されても良い。R(k,x,y)は、また、例えばフィルム粒子ノイズ発生器において使用されるような空間相関を含んでも良い。
【０００９】
本原理によれば、ノイズ付加は、ブロック又はマクロブロックの明るさ（即ち、輝度）に相当に依存して現れるが、その隣接ブロックの輝度に対しても依存する。ブロック／マクロブロックが暗くなればなるほど、比較的高い分散でノイズを認めることがますます容易となる。これに基づき、付加的なノイズN(k,x,y)の量は、以下の関係
N(k,x,y)=(1-γ(k,x,y))*N(k-1,x,y)+ γ(k,x,y)*(1-φ(k,x,y))R(k,x,y)    （２）
によって与えられうる。なお、係数γ(k,x,y)は、前に表示又は復号をなされた画像と現在の画像との時間相関に依存する相関係数を表す。
【００１０】
項γ(k,x,y)は、
γ(k,x,y)=α-β*f1(D(k,x,y),D(k-1,x,y)),  ０≦β≦α≦１    （３）
として計算される。なお、f1(  )は、０から１の間の値をとり、画像kの画素(x,y)と画像k-1のその同一の場所に配置された画素との時間相関を計算する。ここで、係数α及びβは、現在の画像又はブロックを符号化するために使用される量子化器のみならず、画像形式（I、P又はB画像）にも関し、参照テーブルによって計算され得る。代替的には、画像kとk-1との間のフルレゾリューション差分画像が使用可能であり、２つの画像は、総体的な絶対差がある値を下回る場合に、相関関係にあると見なされても良い（即ち、f1=1）。
【００１１】
より簡単な評価指標を考えることもできる。例えば、記憶及び計算における多数の蓄積は、代わりにN×Nブロックの平均値を考えることによって生じ、ブロックレベルでノイズ適合を実行することができる。この場合には、項f1(D(k,x,y),D(k-1,x,y))は、以下の式に等しい。
【００１２】
【数１】
2007507169.tif 000003
なお、０≦ζ0≦２５５である。
【００１３】
項φ(k,x,y)は、使用されうるノイズの強さを調整する空間情報を反映する。具体的には、φ(k,x,y)は、
φ(k,x,y)=f2(D(k,x,y))
+ f3(D(k,x-bsx,y),D(k,x+bsx,y), D(k,x,y-bsy),D(k,x,y+bsy))  （４）
として計算される。なお、f2(  )は、現在の画素又はそれが属するN×Nブロックの輝度に関し、一方、f3(  )は、現在の画素／ブロックとbsx又はbsyの距離で水平又は垂直にそれと隣接する画素／ブロックとの間の空間的関係を計算する。例えば、
【数２】
2007507169.tif 000004
である。なお、０≦ζ1≦２５５及び−２５５≦ζ2，ζ3，ζ4，ζ5≦２５５である。
【００１４】
図１は、アーティファクトを低減するように、（２）式に対応する方法で、現在の画像の少なくとも一部の輝度に関連づけられたノイズを加えるためのビデオ復号器配置１０の第１の実施例のブロック図を表す。復号器配置１０は、入来する符号化されたビデオストリームを復号するための復号器１２を有する。復号器１２の設計は、入来するビデオストリームを符号化するために用いられる圧縮形式に依存する。好ましい実施例では、入来するビデオストリームは、従来のＩＴＵ／ＩＳＯ  Ｈ．２６４規格を用いて圧縮をなされる。このような環境下で、復号器１２は、従来技術で知られるＨ．２６４形式の復号器の形をとる。基準画像記憶１４は、後の画像を復号する際の復号器１２による使用のために、復号器１２によって復号された画像を記憶する。
【００１５】
復号器１２は、復号された画像と、復号された画像に含まれるビットストリーム情報とを、ノイズ発生器１６に供給する。復号器１２によって出力されたビットストリーム情報は、ノイズ発生器へ入力される量子化パラメータを含むことができる。圧縮アーティファクトの重大度は、高い量子化パラメータの値が使用される場合に生じるより深刻な圧縮アーティファクトにより、量子化パラメータと関連づけられる。付加されたコンフォートノイズの強さは、量子化パラメータの値が増大するにつれて、増大しうる。
【００１６】
加算ブロック１８は、復号器１２からの復号された画像と、ノイズ発生器１６からのノイズとを夫々足し合わせる。その場合、制限器（ｃｌｉｐｐｅｒ）２０は、低減されたアーティファクトを示すディスプレイに対する復号された画像をもたらすように、加算ブロック１８によって出力された合成信号を制限する。留意すべきは、基準画像は、後から入来する画像を適切に復号するために不変なままであるから、ノイズ付加は、基準画像記憶１４での復号された画像の記憶の後に起こることである。
【００１７】
ノイズ画像記憶１７は、ノイズ発生器１６による後の使用のために、ｋ番目の画像に対するノイズ信号N(k,x,y)を記憶する。ノイズ発生器１６は、基準画像記憶１４に記憶された基準画像に応答する。基準画像記憶１４は、前に復号された画像に関する情報を有する。必要ではないが、付加的な記憶装置が、復号された画像の間の時間相関に対するブロックベースの計算が使用される場合に加えられうる。
【００１８】
画像内の夫々の画素に対するノイズ発生が依然として起こり得る一方で、ある場合に（即ち、より高い解像度の物質に対して）、より大きなサイズの（粒子）ノイズの発生がより望ましいと分かる。例えば、ノイズ画像においてN×Nブロックサイズの離散コサイン変換を適用して、結果とし起こるより高い周波数を捨てることは、フィルム粒子ノイズと類似するより大きなサイズのノイズをもたらしうる。それでもなお、この処理は、比較的大きな費用を負担し、一般に、ブロック端で発生しうるブロックアーティファクトを低減するために、非ブロック化処理を必要としうる。
【００１９】
図２は、現在の画像の少なくとも一部の輝度に関連づけられた大きな粒子ノイズを加えるためのビデオ復号器配置１００の第２の実施例のブロック図を表す。復号器配置１００は、図１の復号器配置１０と同じ要素の多くを有し、同じ参照番号は同じ要素を識別する。図１の復号器配置１０と比較して、図２の復号器配置１００は、基準画像記憶１４へ結合されたＮ×Ｎ縮小画像平均記憶２２を更に有する。一般に、画像記憶２２は、Ｎ×Ｎルーマ（ｌｕｍａ）ブロック平均値を記憶する。画像記憶２２に記憶される平均ルーマ値は、論じられているように、復号器配置がより大きな粒子ノイズを発生させることを可能にする。
【００２０】
図３は、現在の画像の少なくとも一部の輝度に関連づけられた大きなノイズを加えるためのビデオ復号器配置１０００の第３の実施例のブロック図を表す。図３の復号器配置１０００は、図２の復号器配置１０と同じ要素の多くを有し、同じ参照番号は同じ要素を識別する。図２の復号器配置１００と比較して、図３の復号器配置１０００は、Ｎ×Ｎ縮小画像平均記憶２２のみならず、ノイズ画像記憶１７を有さない。
【００２１】
代替的で、相当により簡単な処理は、元の画像の解像度よりもより小さな解像度（例えば、半分の水平及び垂直解像度）でノイズを発生させて、次に、ノイズをサンプリングすることである。元の又はより小さな解像度を用いることは、また、元の画像の解像度に基づいて決定されうる（例えば、標準解像度及びより低い解像度の物質に対して同じ解像度を使用し、一方、高解像度の物質に対してより低い分解ノイズを用いる）。サイドパラメータは、また、処理が使用されうることを復号器が決定することを可能にするビットストリームにより伝送されうる。サイド情報は、また、ノイズの発生（ノイズ分散の重み付け）のために使用されうる。
【００２２】
この正確な同じ処理は、また、カラー成分にも適用され得る。それでもなお、複雑さ及び計算を減らすために、ノイズ発生は、１つの輝度成分（即ち、ルーマ）にのみ基づいて、全てのカラー成分で同じノイズを再利用する間に、必要ならば、簡単なスケーリング及び二段サンプリングを実行した後に発生しうる。例えば、４：２：０の物質に対して、ルーマノイズは、垂直及び水平に２で二段サンプリングをなされ、色度ノイズを発生させるために、２で割られることができる。
【００２３】
図１及び２の復号器配置１０及び１００は、時間無限インパルス応答（ＩＩＲ）フィルタのインスタンス化を示す。ＩＩＲフィルタは、より多くのフィルタタップを用いることによって一般化されても良い。ＩＩＲフィルタは、また、一般的に、要望通りに以下の関係
【数３】
2007507169.tif 000005
に従って、多くタップとしてｔを用いるより高次のＦＩＲフィルタを用いて近似可能である。
【００２４】
有限インパルス応答（ＦＩＲ）フィルタのアプローチは、図３の復号器配置を用いて実施可能である。復号器配置１０００は、このようなＦＩＲフィルタのアプローチにおいて、前の乱数Ｒのみを使用し、必要ならば、前のノイズＮよりもむしろ、Ｎ×Ｎルーマブロック手段を使用して、メモリの処理量を低減させる。現在及び前の画像のＮ×Ｎルーマブロック平均値のみを使用して記憶し、全てのタップに対して同じ値及びそれらの差分を再利用することも可能である。例えば、以下のシステムを使用しても良い。
【００２５】
N(k,x,y)=(1-γ(k,x,y))×(1-γ(k-1,x,y))×R(k-2,x,y)
+(1-γ(k,x,y))×γ(k-1,x,y)×(1-φ(k-1,x,y))×R(k-1,x,y)  （８）
+γ(k,x,y)×(1-φ(k,x,y))×R(k,x,y)
しかし、γ(k-1,x,y)の計算において使用される異なる画像をγ(k,x,y)の計算と同じであるように強いることによって、上記式を簡単化することも可能である。これは、異なる画像を記憶又は再計算する必要性を完全に回避し、メモリの処理量を相当に低減させうる。
【００２６】
上記は、現在の画像の少なくとも一部の輝度に関連づけられたノイズを加えることによって、符号化されたビデオストリームの復号化に関連するアーティファクトを低減するための技術を説明する。
【００２７】
本願は、２００３年９月２３日に出願された米国仮出願番号６０／５０５，２５４に対して、３５Ｕ．Ｓ．Ｃ１１９（ｅ）による優先権を主張する。先の出願の技術は、本願に援用される。
【図面の簡単な説明】
【００２８】
【図１】現在の画像の少なくとも一部の輝度に関連づけられたノイズを加えることによって、符号化されたビデオストリームの復号化に関連したアーティファクトを低減するための本原理に従うビデオ復号器配置の第１の実施例のブロック図を表す。
【図２】現在の画像の少なくとも一部の輝度に関連づけられたノイズを加えることによって、符号化されたビデオストリームの復号化に関連したアーティファクトを低減するための本原理に従うビデオ復号器配置の第２の実施例のブロック図を表す。
【図３】現在の画像の少なくとも一部の輝度に関連づけられたノイズを加えることによって、符号化されたビデオストリームの復号化に関連したアーティファクトを低減するための本原理に従うビデオ復号器配置の第３の実施例のブロック図を表す。
【図１】
2007507169.tif 000006
【図２】
2007507169.tif 000007
【図３】
2007507169.tif 000008
【手続補正書】
【提出日】平成17年3月10日(2005.3.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
ビデオストリームにおけるアーティファクトを低減する方法であって、
前記ビデオストリームを復号するステップと、
復号後に、現在の画像の少なくとも一部の輝度情報と関連づけられた量で、前記ビデオストリームの一画像において少なくとも1つの画素へランダムノイズを加えるステップと、
を有する方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
低減されたアーティファクトをもたらすよう、符号化されたビデオストリームを復号するための復号器配置であって、
復号された画像をもたらすよう、入来する符号化されたビデオストリームを復号するためのビデオ復号器と、
後の画像を復号する際に前記復号器により使用される少なくとも１つの前に復号された画像を記憶するための基準画像記憶と、
現在の画像の少なくとも一部の輝度情報と関連づけられた量で、復号された画像の少なくとも１つの画素へ付加されるランダムノイズを発生させるためのノイズ発生器ノイズと、
前記ノイズ発生器による次の使用のためのノイズ情報を記憶するためのノイズ画像記憶と、
前記ノイズ発生器により発生したノイズと、前記復号器からの復号された画像とを合計するための加算ブロックと、
前記合計されたノイズ及び復号されたノイズを制限する制限器（ｃｌｉｐｐｅｒ）と、
を有する復号器配置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
低減されたアーティファクトをもたらすよう、符号化されたビデオストリームを復号するための復号器配置であって、
復号された画像をもたらすよう、入来する符号化されたビデオストリームを復号するためのビデオ復号器と、
後の画像を復号する際に前記復号器により使用される少なくとも１つの前に復号された画像を記憶する少なくとも１つに対する基準画像記憶と、
前の画像の少なくとも１つの画素の付加的なノイズと関連づけられた量で、復号された画像の少なくとも１つの画素への付加のために、前記復号器からの復号された画像及びビットストリーム情報に従ってノイズを発生させるためのノイズ発生器ノイズと、
前記ノイズ発生器による使用のために、Ｎ×Ｎ（Ｎは整数）の画素ブロックの平均を記憶するための画像記憶と、
前記ノイズ発生器により発生したノイズと、前記復号器からの復号された画像とを合計するための加算ブロックと、
を有する復号器配置。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１５
【補正方法】変更
【補正の内容】
【請求項１５】
前記ノイズ発生器は、有限インパルス応答フィルタのインスタンス化を実施することを特徴とする、請求項１４記載の復号器配置。
【国際調査報告】
2007507169.tif 000009
2007507169.tif 000010
2007507169.tif 000011