(57)【要約】本発明は、符号化されたデジタルビデオのピクチャ品質を向上するための、解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同制御のための新しいアプローチである。本出願は、測定基準に基づく共同制御を提供する。その測定基準は、どのピクセルをどのくらいエンハンスするかを決定し、どのピクセルにどの程度のアーティファクト低減を実行するかを決定するために用いられる。
2006510272.tif 000002
【特許請求の範囲】
【請求項１】
復号されたデジタルビデオの後処理システムであって、
複数の後処理モジュールのタイプ、積極性（aggressiveness）、前記復号されたデジタルビデオへの適用順序を決定するために、前記復号されたデジタルビデオから取得したブロックベースの符号化情報に基づく測定基準Mを計算する測定基準計算部と、
前記測定基準Mに基づき前記復号されたデジタルビデオの品質を向上する、前記複数の後処理モジュールを有する後処理部と、
前記測定基準Mに基づき、前記後処理部の前記複数の後処理モジュールのうち少なくとも１つの後処理モジュールの起動を制御する制御部とを有し、
前記復号されたデジタルビデオの品質は、前記複数の後処理モジュールの少なくとも１つを順番に起動する前記制御部により向上され、前記起動された少なくとも１つの後処理モジュールは前記測定基準Mに基づき前記デジタルビデオを処理することを特徴とするシステム。
【請求項２】
請求項１に記載のシステムであって、前記複数の後処理モジュールは、アーティファクト低減、シャープネスエンハンスメント、解像度エンハンスメントよりなる一群のタイプから選択した各タイプの少なくとも１つのアルゴリズムを有することを特徴とするシステム。
【請求項３】
請求項２に記載のシステムであって、前記少なくとも１つのアーティファクト低減アルゴリズムは、前記測定基準Mに基づくルミナンス・デリンギング・アルゴリズムと前記測定基準Mに基づくクロミナンス・デリンギング・アルゴリズムとのうち少なくとも１つを有することを特徴とするシステム。
【請求項４】
請求項２に記載のシステムであって、前記制御部は、式
M<VP_THRED
により、前記少なくとも１つのアーティファクト低減アルゴリズムを起動し、前記少なくとも１つのシャープネスエンハンスメントアルゴリズムをオフし、
前記式が成り立たないとき、前記少なくとも１つのアーティファクト低減アルゴリズムをオフし、前記少なくとも１つのシャープネスエンハンスメントアルゴリズムを起動する第１のメカニズムをさらに有し、
VP_THREDは所定の閾値であり、前記アルゴリズムは、一旦起動されると、前記測定基準Mの値に基づいてどのくらい「積極的に」実行するかを決定することを特徴とするシステム。
【請求項５】
請求項２に記載のシステムであって、前記制御部は、前記起動されたアルゴリズムがうまくいったかどうかを判断し、うまくいったときには前記オフされたアルゴリズムを起動する第２のメカニズムをさらに有することを特徴とするシステム。
【請求項６】
請求項４に記載のシステムであって、前記少なくとも１つのアーティファクト低減アルゴリズムは、前記測定基準Mに基づくルミナンス・デリンギング・アルゴリズムおよび前記測定基準Mに基づくクロミナンス・デリンギング・アルゴリズムのうち少なくとも１つを有することを特徴とするシステム。
【請求項７】
請求項４に記載のシステムであって、前記計算された測定基準Mはデジタルビデオ処理のための統一測定基準（UMDVP）であり、UMDVPの値は[-1,1]の範囲にあることを特徴とするシステム。
【請求項８】
請求項７に記載のシステムであって、前記少なくとも１つのアーティファクト低減アルゴリズムは、前記測定基準UMDVPに基づく少なくとも１つのデリンギング・アルゴリズムを有することを特徴とするシステム。
【請求項９】
請求項８に記載のシステムであって、
UMDVP値が１である位置（i,j）にあるピクセルの近傍にある、孤立した０のUMDVP値は、UMDVP値が１と０が混ざっている近傍の過剰なぼやけだけでなく、孤立したピクセルにデリンギング・アルゴリズムを実行することを防止するため１に置き換えられ、前記近傍はデリンギングされるピクセルを取り囲むnxn個のピクセルであることを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムであって、
前記デリンギングアルゴリズムは少なくとも１つのフィルターを有するルミナンス・デリンギング・アルゴリズムであり、
前記少なくとも１つのフィルターは、
ａ．前記UMDVP値が、前記位置(i,j)にあるピクセルの3x3の近傍が均一であり、前記位置(i,j)にあるピクセルが負のUMDVP値を有することを示すかどうかに従って、3x3の近傍サイズを用いて位置(i,j)にあるピクセルのルミナンスフィルタを選択し、
ｂ．前記位置(i,j)のUMDVP値に基づきピクセル(i,j)のルミナンスに対するフィルター後の値を前記選択されたフィルタを用いて計算し、
ｃ．位置(i,j)のUMDVP値に少なくとも部分的に基づき位置(i,j)の元のルミナンス値から位置(i,j)のフィルター後のルミナンス値の最大変位を計算し、
ｄ．前記元の値からの前記フィルター後の値の前記計算された最大変位の関数に基づき、前記位置(i,j)の元のルミナンス値を前記フィルター後の値で置き換えるように構成されていることを特徴とするシステム。
【請求項１１】
請求項１０に記載のシステムであって、前記ピクセル(i,j)のルミナンスのフィルター値は、
Y_filt(i,j)=Y(i,j)-f(UMDVP(i,j))*hp(i,j)
であり、
Y(i,j)は前記元のルミナンス値であり、前記f(UMDVP(i,j))はUMDVP(i,j)の関数であり、hp(i,j)はハイパス信号であることを特徴とするシステム。
【請求項１２】
請求項１１に記載のシステムであって、
f(UMDVP(i,j))=(1-UMDVP(i,j))/a
「a」はnを正の整数としてシーケンス2n=2、4、8、．．．から選択されることを特徴とするシステム。
【請求項１３】
請求項１２に記載のシステムであって、「a」=4であるとき、hp(i,j)の計算は次のフィルターカーネル：
０    −１      ０
−１      ４    −１
０    −１      ０
を用いてなされ、
ローパスフィルタが強すぎないように前記フィルタカーネルの出力に0.5をかけることを特徴とするシステム。
【請求項１４】
請求項１０に記載のシステムであって、前記計算された最大変位の関数は、PAR1とPAR2を所定のパラメータとして、
a.  Max_displ=PAR1+PAR2                ピクセル(i,j)が均一エリアに属するとき
b.  Max_displ=abs(UMDVP)*PAR1+PAR2  ピクセル(i,j)が均一エリアでなく、
UMDVP(i,j)<=0であるとき
c.  Max_displ=PAR2                      上記以外のとき
d.  前記元のルミナンス値と前記フィルタ後の値の差の絶対値が前記計算されたMax_displより大きいとき、前記元の値がそのまま使用されるか、または前記Max_displだけシフトされ
Y_filt(i,j)=Y、
Y_filt=Y+Max_displ、または
Y_filt=Y-Max_displ
であることを特徴とするシステム。
【請求項１５】
請求項１５に記載のシステムであって、前記PAR1=30であり、PAR2=10であることを特徴とするシステム。
【請求項１６】
請求項９に記載のシステムであって、
前記デリンギングアルゴリズムはフィルタを有するクロミナンスデリンギングアルゴリズムであり、前記フィルタは、
a.  前記ピクセル(i,j)の7x7近傍が均一であることを前記UMDVP値が示しているとき、3x5近傍サイズを用いてピクセル(i,j)のクロミナンス値をフィルタし、
b.  ローパスフィルタリングに基づき、ピクセル(i,j)のクロミナンスをフィルター後の値を計算し、
c.  (i,j)における前記UMDVP値に少なくとも部分的に基づき位置(i,j)の前記元のクロミナンス値から位置(i,j)のフィルター後のクロミナンス値の最大変位を計算し、
d.  前記元の値から前記フィルター後の前記計算された最大変位の関数に基づき前記フィルターされたクロミナンス値により位置(i,j)の前記元のクロミナンス値を置き換えるように構成されたことを特徴とするシステム。
【請求項１７】
請求項１に記載のシステムであって、前記制御部は、前記測定基準に基づき、前記後処理部の前記複数の後処理モジュールの前記後処理モジュールを順次起動することを特徴とするシステム。
【請求項１８】
請求項１７に記載のシステムであって、前記後処理モジュールは、少なくとも１つのアーティファクト低減アルゴリズムと少なくとも1つのシャープネスおよび解像度エンハンスメント・アルゴリズムを有することを特徴とするシステム。
【請求項１９】
復号されたデジタルビデオの品質を向上するための、復号されたデジタルビデオの後処理方法であって、
複数の後処理モジュールのタイプ、積極性、前記復号されたデジタルビデオへの適用順序を決定するために、取得したブロックベースの符号化情報に基づく測定基準Mを計算するメカニズムを備えるステップと、
前記測定基準に基づき前記復号されたデジタルビデオの品質を向上するために、前記復号されたデジタルビデオを後処理する複数の後処理モジュールを有するメカニズムを備えるステップと、
前記測定基準に基づき、前記後処理部の前記複数の後処理モジュールのうち少なくとも１つの後処理モジュールの起動するための制御部を備えるステップと、
前記測定基準に基づき前記ブロックの各ピクセルの後処理を制御する測定基準Mを計算するステップと、
選択と処理が前記復号されたデジタルビデオの品質を向上するために前記計算された測定基準Mに基づくところの備えられた前記複数の後処理モジュールの少なくとも１つを起動するステップとを有することを特徴とする方法。
【請求項２０】
請求項１９に記載の方法であって、前記複数の後処理部を備えるステップは、少なくとも１つのアーティファクト低減アルゴリズムと少なくとも１つのシャープネスおよび解像度エンハンスメント・アルゴリズムを備えるステップを有することを特徴とする方法。
【請求項２１】
請求項２０に記載の方法であって、前記少なくとも１つのアーティファクト低減アルゴリズムを備えるステップは、前記測定基準Mに基づく少なくとも１つのルミナンス・デリンギング・アルゴリズムと、前記測定基準Mに基づく少なくとも１つのクロミナンス・デリンギング・アルゴリズムとを備えるステップをさらに有することを特徴とする方法。
【請求項２２】
請求項２０に記載の方法であって、前記起動するステップは、
所定の閾値VP_THREDを備えるステップと、
M<VP_THREDであるとき、
ａ．前記少なくとも1つのシャープネスエンハンスメントアルゴリズムをオフするサブステップと、
ｂ．前記少なくとも１つのアーティファクト低減アルゴリズムを起動するサブステップとを実行するステップと、
M>=VP_THREDであるとき、
ｃ．前記少なくとも１つのアーティファクト低減アルゴリズムをオフするサブステップと、
ｄ．前記少なくとも１つのシャープネスエンハンスメントアルゴリズムを起動するサブステップとを実行するステップと、
前記測定基準Mの値に基づき、どのくらい積極的に前記アルゴリズムを実行するかを前記起動されたアルゴリズムにより決定するステップとを有することを特徴とする方法。
【請求項２３】
請求項２２に記載の方法であって、前記少なくとも１つのアーティファクト低減アルゴリズムを備えるステップは、前記測定基準Mに基づく少なくとも１つのルミナンス・デリンギング・アルゴリズムと前記測定基準Mに基づく少なくとも１つのクロミナンス・デリンギング・アルゴリズムとを備えるステップを有することを特徴とする方法。
【請求項２４】
請求項２３に記載の方法であって、
前記測定基準Mを計算するステップは、デジタルビデオ処理のための統一的測定基準（UMDVP）としてMを計算するメカニズムにさらに基づき、
前記UMDVP測定基準の値は[-1,1]の範囲にあることを特徴とする方法。
【請求項２５】
復号されたデジタルビデオの後処理を実行する記録可能媒体に格納されたプログラムプロダクトであって、
計算された測定基準に基づき前記復号されたデジタルビデオを後処理する手段と、
前記復号されたデジタルビデオから得たブロックベースの符号化情報に基づき、前記後処理手段のタイプ、積極性、および前記復号されたデジタルビデオへの適用の順序を決定するために、測定基準を計算する手段と、
前記計算された測定基準を用いて前記後処理手段の起動および起動の順序を制御する手段とを有することを特徴とするプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたデジタルビデオの最適ピクチャ品質を達成するための、ビデオエンハンスメントおよびアーティファクト低減の共同化のための新しいアプローチである。ビデオエンハンスメントには、解像度エンハンスメントとシャープネスエンハンスメントが含まれる。より具体的には、本発明は、シャープネスエンハンスメントまたは解像度エンハンスメント、アーティファクト低減、および両後処理部を駆動する共同制御を含むシステムおよび方法である。最も具体的には、本発明は、測定基準に基づく共同制御を提供する。その測定基準は、本発明者の同時係属中の特許出願「デジタルビデオ処理に対する統一測定基準（A  Unified  Metric  For  Digital  Video  Processing(UMDVP)）」で提供された測定基準である。この出願は、ここにすべて記載したものとして、ここに参照により援用されている。この測定基準は、どのピクセルをどのくらいエンハンスすべきかを決定するため、およびどのピクセルにどの程度アーティファクト低減を実施するかを決定するために用いられる。
【従来技術】
【０００２】
MPEG（Moving  Picture  Expert  Group）ビデオ圧縮技術は、必要とする記憶容量と帯域幅を削減することにより、例えばDVDプレーヤ、高精細度テレビジョンデコーダ、ビデオ会議など現在市場に出回っている製品や今後市場に投入される製品を実現している。圧縮はアーティファクトが入り込むことによるピクチャ品質の低下という代償で手に入る。このようなロッシー（lossy）圧縮技術（MPEG-1、MPEG-2、MPEG-4、H.26x等）により符号化アーティファクトが入り込み、復号されたビデオのピクチャ品質を低下させる。ブロックベースの符号化技術においては、最も頻繁に発生するアーティファクトはブロック歪みとリンギングであり、これらのアーティファクトを低減するアルゴリズムが多数開発されている。これらのアルゴリズムの共通の目的は、シーンコンテント（例えば、画像シャープネスおよびファインディテール）の望ましい他の特徴（feature）を何も減じることなく、アーティファクトを低減することである。実際には、従来のシャープネスエンハンスメントアルゴリズムは、符号化されたデジタルビデオには次善最適であり、すでに存在する符号化アーティファクトをエンハンスすることが多い。本発明者の同時継続中の特許出願「符号化デジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法（System  and  Method  of  Sharpness  Enhancement  for  Coded  Digital  Video）」を参照されたい。この出願は、ここにすべて記載したものとして、ここに参照により援用されている。
【０００３】
本発明者の同時係属中の特許出願「デジタルビデオ処理に対する統一測定基準（A  Unified  Metric  For  Digital  Video  Processing(UMDVP)）」において、デジタルビデオ処理の測定基準はMPEG符号化情報および局所空間的特徴（feature）に基づき定義されている。この測定基準は、符号化アーティファクトを増大することなく、どのくらいピクセルをエンハンスできるかを決定する。実験によると、シャープネス・エンハンスメント・アルゴリズムをこの測定基準と組み合わせると、この測定基準を使用しない場合と比較してピクチャ品質がよくなる。しかし、ビデオにはまだ符号化アーティファクトが含まれているので、最適なピクチャ品質を達成するためにはこのアーティファクトを無くさなければならない。
【０００４】
通常、デブロッキングおよびデリンギング・アルゴリズムでは、最初のステップでアーティファクトを検出し、次のステップでアーティファクトを有する画像の局所化されたエリアにアーティファクト低減を適用する。アーティファクト低減ステップが正しくないとき、結果として得られるピクチャ品質は、アーティファクト低減をする前より悪くなる。それゆえ、符号化アーティファクトの信頼性の高い検出が非常に重要である。
【０００５】
解像度またはシャープネス・エンハンスメント・アルゴリズムと、アーティファクト低減アルゴリズムとが、例えばMPEG符号化ビデオ等のアプリオリに符号化されたデジタルビデオを受信、格納、処理するシステム内に共存することが非常に多いと思われる。シャープネス・エンハンスメントおよびアーティファクト低減に対する現在のアプローチでは、これらは互いに独立に実施され、一方の結果として得られる改善が他方には否定的なインパクトを与えてしまい、そのためにピクチャ品質が低下してしまう。
【発明の開示】
【課題を解決するための手段】
【０００６】
このように、符号化アーティファクトと局所ファインディテールとを特定し区別する、解像度またはシャープネス・エンハンスメント（SE）およびアーティファクト低減（AR）の共同アプローチが必要とされている。解像度エンハンスメントはスケーリング機能とシャープネス・エンハンスメント・アルゴリズムにより構成されている。本発明は、解像度エンハンスメントのシャープネス・エンハンスメントの部分のみを取り扱う。本発明は、符号化デジタルビデオにとって最適なピクチャ品質を達成する、シャープネスエンハンスメントおよびアーティファクト低減に対する統一的アプローチである。
【０００７】
どのピクセルがエンハンスメントの候補であり、どのピクセルにアーティファクト低減を適用しなければならないかを、例えばUMDVP等の測定基準が一旦特定したら、本発明はSEとARの両方を効率的かつ信頼性高く駆動するように制御する。一実施形態において、本発明はブロック歪みやリンギング等の符号化アーティファクトを含むピクセルを特徴付ける測定基準を使用する。そして、その測定基準に基づき、オリジナルピクセルの周囲のエッジやファインディテール等の関連性のある特徴（feature）を不鮮明にすることなく、隣接するどのピクセルがどのくらい多くARを適用されるべきかを決定する。また、その測定基準に基づき、一定の領域や個々のピクセルにどれほど「積極的に」ARを適用すべきかを決定する。
【０００８】
「アーティファクトの無い」エリアにおいては、統一的測定基準に基づく本発明の共同制御により、最適ピクチャ品質を達成するために、適用するエンハンスメント量を制御できるように、本発明はこれらのエリアのエッジやテクスチャがエンハンスさせるようSEを駆動する。
【発明を実施するための最良の形態】
【０００９】
図１を参照して、MPEG-2デコーダ１０は入力ビデオ信号を復号し、復号されたビデオ信号１１は後処理部１８に入力される。後処理部１８はシャープネス・エンハンスメント・モジュール１２または解像度エンハンスメント・モジュール１２ａ、およびアーティファクト低減モジュール１３を有する。
【００１０】
アーティファクト低減モジュール１３は、例えば、デブロッキング、デリンギング等を有するグループから選択された少なくとも１つのアルゴリズムを有する。
【００１１】
制御モジュール１７は、シャープネス・エンハンスメント・モジュール１２およびアーティファクト低減モジュール１３による復号されたビデオ信号１１への後処理の適用を共同制御するために、測定基準１９を用いる。制御モジュール１７は測定基準計算モジュール１６から測定基準１９を受信する。ＭＰＥＧ−２デコーダ１０は、復号されたビデオ信号１１のみでなく符号化情報１５を測定基準計算モジュール１６に送る。システムの出力は後処理されたビデオ１４である。
【００１２】
デジタルビデオ処理に対する統一測定基準
好ましい実施形態において、同じ発明の名称を付けた本発明者の同時係属中の出願で説明したように、測定基準計算モジュール１６は「デジタルビデオ処理に対する統一測定基準（UMDVP）」を計算する。UMDVPは、ブロックベースの符号化情報１５に基づき計算され、MPEG-2符号化されたビデオの局所的ピクチャ品質を反映する。UMDVPは、量子化スケール、ブロックを符号化するために費やしたビット数、ピクチャタイプ（I、P、またはB）等のブロックベースの符号化情報に基づき決定される。このような符号化情報はMPEG-2ビットストリームから得られ、計算負荷は小さい。符号化情報はデコーダにより測定基準計算モジュールに送られる。測定基準計算モジュール１６は、局所的分散等の局所空間的特徴（feature）をもちいて、UMDVPを局所シーンコンテンツに適応させる。共同後処理部１８の性能をさらに向上させるために、測定基準をピクセルベースの値に精密化するため、空間的特徴（feature）が用いられる。
【００１３】
UMDVP測定基準の値は[-1,1]の範囲にある。UMDVP値が低ければ低いほど、ピクセルには符号化アーティファクトが生じやすい。一般に、正の大きいUMDVP値は、ピクセルをシャープにすべきであり、アーティファクト低減から除外すべきであることを示す。制御モジュール１７はUMDVP測定基準１９を受け取り、後処理部１８のシャープネス・エンハンスメント・モジュール１２とアーティファクト低減モジュール１３を共同制御するためにこの測定基準１９を用いる。測定基準１９の値は、後処理モジュールのどれをどういう順序でオンするか決定する。例えば、UMDVP測定基準１９が所定の閾値であるVP_THREDより小さいとき、シャープネスエンハンスメントモジュール１２はオフされ、アーティファクト低減モジュール１３がオンされる。UMDVP測定基準１９が所定の閾値であるVP_THRED以上のとき、アーティファクト低減モジュール１３はオフされ、シャープネスエンハンスメントモジュール１２がオンされる。１つの機能を完全にオフしてしまう必要はない。例えば、ARがアーティファクトを有する領域でうまく機能したと判断したときは、その領域においてシャープネスをよくするためにSEをイネーブルすることができる。
【００１４】
UMDVPはピクセルにアーティファクト低減をかけるかどうか、またはどのくらいかけるかを示すことはできるが、この測定基準はブロッキングやリンギング等の異なる符号化アーティファクトを区別する手段を提供するものではない。このように、アーティファクト低減モジュール１３が制御モジュールにより一旦起動されれば、より高い性能を達成するためにUMDVP測定基準をどのように使用するかを決めるのは、アーティファクト低減モジュール１３しだいである。例えば、UMDVP測定基準１９の値は、アーティファクト低減やシャープネスエンハンスメントをどのくらい「積極的に」実行するかを決定する。UMDVPの値がVP_THREDの値より低ければ低いほど、制御部１７はアーティファクト低減部１３に、より大きなアーティファクト低減を命令する。UMDVPの値がVP_THREDより大きければ大きいほど、シャープネス・エンハンスメント・モジュール１２はより大きなエンハンスメントをするように制御部１７により命令される。
【００１５】
VP_THREDと併せて測定基準を使用することを図２に示した。ステップ２０において、ブロックベースの符号化情報に基づいて測定基準M=UMDVPが計算される。ステップ２１において、所定の閾値であるVP_THREDと計算された測定基準Mとの間の差を、式
AMT=M-VP_THRED
を用いて決定する。AMTの値は後処理をどのくらい積極的に適用すべきかを示す。すなわち、後処理をどのくらい積極的に適用すべきかはAMTの絶対値に比例する。AMTが正のとき、ステップ２４においてアーティファクト低減はオフされ、ステップ２５においてエンハンスメントはオンされる。ベースレベルの上に適用されるエンハンスメントの量はAMT、すなわちエンハンスメントの積極性に比例する。AMTが正でないとき、すなわちゼロか負であるとき、ステップ２２においてエンハンスメントはオフされ、ステップ２３においてアーティファクト低減がオンされる。あるブロックについてMの値が低ければ低いほど、そのブロックはアーティファクトを有していることが多いので、AMTの絶対値に比例してアーティファクト低減を実行するとき、より積極的なアーティファクト低減が実行される。
【００１６】
アーティファクト低減アルゴリズム
多数のタイプのアーティファクトがビデオ信号のロッシー（lossy）符号化により入り込む可能性があり、対応するアルゴリズムを用いて後処理部１８による後処理で低減されうる。例えばUMDVP等の測定基準を用いて、これらのアルゴリズムにより後処理がいつ、どこで、どのくらい達成するかを制御することができる。
【００１７】
符号化ビデオストリームでよく発生するアーティファクトにはブロック歪みとリンギングの２タイプがある。ブロック歪みは、隣接するブロックが独立して符号化されるので、ブロックの境界に不連続性が現れる現象である。リンギングは、一般的にはスムースなテクスチャのエリアにおけるコントラストが高いエッジに沿ってはっきり分かり、エッジから外に向かって伸びるリップルのように見える。リンギングは、エッジを表現するのに重要な役割を果たす高周波数のDCT成分の急なトランケーション（truncation）により起こる。
【００１８】
ブロック歪みとそれを修正するデブロッキングは幅広く研究されており、多数のデブロッキング・アルゴリズムが開発された。リンギングはあまり注目されていない。特に、大きな高コントラスト・高解像度ディスプレイのための満足のいくデリンギング・アルゴリズムは従来技術にはなく、既存の方法は単に空間的フィルタリングに基づきピクチャ品質については妥協するものであるか、または計算が複雑なため近い将来には実施できないものである。しかし、リンギングアーティファクトは、ビットレートが高くても見ることができ、高品位モニター等のディスプレイでは誇張され、非常に煩わしい。
【００１９】
デブロッキング・アルゴリズムもデリンギング・アルゴリズムもともに本発明のシステムおよび方法で制御することができる。
【００２０】
UMDVP制御デリンギング
限定ではなく例示のために、アーティファクト低減モジュールのデリンギングアルゴリズムは、適当な測定基準を後処理アルゴリズムを制御するためにどのように用いることができるかを示すために提示されている。このデリンギング・アルゴリズムは適応空間フィルタリングに基づいており、フィルタリング（検知）の位置、フィルタのサイズ、フィルタウィンドウにどのピクセルが含まれまたは除外されるかを決定するために、測定基準計算部１６により計算されたUMDVP等の測定基準を利用する。さらに、測定基準の値に基づき、デリンギング・アルゴリズムはフィルタされたピクセルがその元の値からどれだけ違うかを決定するので、元の圧縮の強さに応じて変位を制御する。
【００２１】
リンギング・アーティファクトはクロミナンス成分に発生し、色が周囲のエリアと異なることがあり、色のサブサンプリングによりマクロブロック全体に広がる。この問題は色のミスマッチを防止するために注意深く制御してクロミナンス・フィルタリングを適用することにより軽減される。
【００２２】
ａ．ルミナンス成分のデリンギング
限定ではなく例示のために、ルミナンス信号のＵＭＤＶＰ制御デリンギングの処理ステップのフローを図３に示した。位置(i,j)にあるピクセルを考える。位置(i,j)の近傍は図４に示したように定義する。ステップ３１において、UMDVP値が「１」の近傍に孤立したUMDVP値が「０」があるかどうか判断し、もしあるときは、ステップ３２において位置(i,j)のピクセルについてUMDVP(i,j)を１に設定する。近傍サイズが選択され、好ましい実施形態においては、3x3の近傍のピクセルがデリンギングされ、ステップ３３において、この近傍のUMDVP値がすべて「０」以下かどうか、または近傍は均一ではないが負のUMDVP値であるかどうかを判断する。ステップ３３でテストした条件は、例えばテクスチャエリアとうの過剰にぼけた点のみでなく、孤立した点にデリンギングを適用することを防止する。テクスチャエリアではUMDVP値は「１」と「０」が混ざっている。
【００２３】
ステップ３３の条件が満たされると、ステップ３５において、ピクセルのルミナンス値が第１のフィルタリングIによりフィルタされる。第１のフィルタリングIは、例えば、選択されたウィンドウ・サイズを用いるローパスフィルタであり、デリンギングされるピクセルのルミナンス値から所定量、例えば１０％より大きく異なるピクセルを排除する。このように、ルミナンス値が大幅に異なるピクセルは除外され、アーティファクトではないファインディテールはフィルターで除外されない。ローパスフィルタ以外の他のタイプのフィルタを用いてもよい。以下のフィルタリングIIの説明を参照されたい。
【００２４】
ステップ３３の条件が満足されなかったら、ステップ３４において、ピクセルのルミナンス値が第２のフィルタリングIIによりフィルタされる。これもローパスフィルタとして実施される：
Y_filt(i,j)=Y(i,j)-f(UMDVP(i,j))*hp(i,j)
ここでY(i,j)は元のルミナンス値であり、f(UMDVP(i,j))はUMDVP(i,j)の関数であり、hp(i,j)はハイパス信号である。限定としてではなく例示として、
f(UMDVP(i,j))=(1-UMDVP(i,j))/a
であり、「a」は例えば２、４、８、．．．であってもよい。「a」=4とすると、hp(i,j)の計算は次のフィルタカーネルを用いて達成することができる：
０    −１      ０
−１      ４    −１
０    −１      ０
そして、ローパスフィルタが強すぎないように、フィルターカーネルの出力は0.5倍される。
【００２５】
フィルタの後、ステップ３６において、例えば、最大変位の以下の定義に基づき元の値をフィルタ後の値に置き換える：
Max_displ=PAR1+PAR2                ピクセル(i,j)が均一エリアに属するとき
Max_displ=abs(UMDVP)*PAR1+PAR2  ピクセル(i,j)が均一エリアでなく、
UMDVP(i,j)<=0であるとき
Max_displ=PAR2                      上記以外のとき
ここで、例えば、PAR1=30、PAR2=10である。
元のルミナンス値とフィルタ後の値の差の絶対値が上で計算したMax_displより大きいとき、ステップ３６において、元の値のままとするか、またはMax_displだけシフトされる。すなわち、f(Y(i,j),Y_filt(i,j),Max_displ)に設定される。
【００２６】
ｂ．クロミナンス成分のデリンギング
限定ではなく例示として、クロミナンス信号のUMDVP制御デリンギングの処理ステップの流れを図５に示した。位置(i,j)にあるピクセルを考える。ステップ５１において、UMDVP値が「１」である近傍に孤立したUMDVP値「０」があるかどうかを判断し、ある場合、ステップ５２において位置(i,j)のピクセルについてUMDVP(i,j)を１に設定する。好ましい実施形態において、近傍サイズはデリンギングされるピクセルの7x7近傍を選択する。ステップ５３において、ピクセル(i,j)は均一なエリアにあるかどうかを判断する。大きなウィンドウ・サイズを選択する理由は、一般のデジタルビデオシステムでは、クロミナンス信号はルミナンス信号に対してサブサンプルされるからである。例えば、４２２カラーフォーマットにおいて、クロミナンス信号は水平に２だけサブサンプルされる。
【００２７】
ステップ５３において条件が満たされると、ステップ５４において、４２２サブサンプリングにマッチする3x5ウィンドウで元のクロミナンス値にローパスフィルタが適用される。フィルタリングでは、デリンギングされるピクセルのクロミナンス値から所定量（例えば10％）よりクロミナンス値が大きく異なるピクセルを排除する。このように、大幅にクロミナンス値が異なるピクセルは除外され、カラーミスマッチを防止する。
【００２８】
フィルタリング後、ステップ５５において、クロミナンス成分の最大変位の以下の定義に基づき、元の値をフィルタ後の値に置き換える：
Max_displ_chrom=(PAR1+PAR2)/4      ピクセル(i,j)が均一エリアに属するとき
Max_displ_chrom=(abs(UMDVP)*PAR1+PAR2)/4    ピクセル(i,j)が均一エリアで
なく、UMDVP(i,j)<=0であるとき
Max_displ_chrom=PAR2/4              上記以外のとき
ここで、例えば、PAR1=30、PAR2=10である。
クロミナンス成分の最大変位は、カラーミスマッチを防ぐため４だけスケールダウンされている以外は、ルミナンスに用いた最大変位と同じである。除数は経験的に決めたものである。元のクロミナンス値とフィルタ後の値の差の絶対値が上で計算したMax_displ_chromより大きいとき、ステップ５５において、元の値のままとするか、またはMax_displ_chromだけシフトされる。すなわち、f(U(i,j),Max_displ_chrom)およびf(V(i,j),V_filt(i,j),Max_displ_chrom)に設定される。
【００２９】
後処理の順次制御
他の好ましい実施形態において、測定基準を用いる後処理は順次実行される。測定基準制御デリンギング（AR）の後に測定基準制御解像度またはシャープネスエンハンスメント（SE）は、制御１７を用いて可能となる順次制御の１つである。本開示を考慮して、ここに説明した様々なユニットやモジュールは、ソフトウェア、ハードウェア、または所望の性能レベルを達成するソフトウェアとハードウェアとの組み合わせのいずれかにより実施することができる。さらに、後処理アルゴリズムとそのパラメータは、限定的な意味ではなく例示として示したものである。それゆえ、説明した実施形態は、符号化されたデジタルビデオに適用される複数の後処理アルゴリズムの共同制御への測定基準の使用についての本発明の原理を示す。本開示を考慮して、当業者は、復号されたデジタルビデオに適用する後処理アルゴリズムのタイプ、積極性、適用の順序を様々な方法で決定することにより、復号されたデジタルビデオに対して後処理部を制御するために測定基準を使用する制御部を有する装置を実施することができる。さらに、後処理アルゴリズムのタイプは例として開示したものに限定されず、後処理アルゴリズム自体が測定基準を用いて復号されたデジタルビデオの処理を決定することができる。
【図面の簡単な説明】
【００３０】
【図１】符号化ビデオの解像度またはシャープネスエンハンスメント（SE）およびアーティファクト低減を共同制御する後処理システムを示す機能図である。
【図２】本発明の後処理方法の制御レベルを示すフロー図である。
【図３】ルミナンス信号のアルゴリズムレベルのUMDVP制御デリンギングを示すフロー図である。
【図４】点(i,j)のUMDVP値の近傍を示す図である。
【図５】クロミナンス信号のアルゴリズムレベルのUMDVP制御デリンギングを示すフロー図である。
【図１】
2006510272.tif 000003
【図２】
2006510272.tif 000004
【図３】
2006510272.tif 000005
【図４】
2006510272.tif 000006
【図５】
2006510272.tif 000007
【国際調査報告】
2006510272.tif 000008
2006510272.tif 000009
2006510272.tif 000010
2006510272.tif 000011
2006510272.tif 000012
2006510272.tif 000013