(57)【要約】本出願は、ビデオ処理アルゴリズムを制御するための、デジタルビデオ処理に対する統一的測定基準（UMDVP）を展開する。UMDVPは、フレームの各ピクセルについて、MPEG符号化ビデオの符号化情報に基づき定義される。UMDVP測定基準の定義は、局所空間的特徴を含む。符号化アーティファクトを増強せずにピクセルをどのくらいエンハンスできるかを決定するために、UMDVPを使用してエンハンスメントアルゴリズムを制御することができる。どこにどのくらいの低減動作が必要かをアーティファクト低減アルゴリズムに指示するためにUMDVPを使用することもできる。
2006509437.tif 000002
【特許請求の範囲】
【請求項１】
ブロックベースデータの少なくとも１つのフレームのシーケンスとして符号化され、復号されたデジタルビデオ信号のピクチャ品質を向上するための後処理を命令するシステムであって、
デジタルビデオ処理に対する統一的測定基準（UMDVP）マップを作成するために、フレームタイプに応じて前記フレームの各ピクセルについてUMDVPを計算する測定基準計算部と、
少なくとも１つの品質向上アルゴリズムを有する後処理部とを有し、
前記計算部は、
前記フレームの局所空間的特徴を規定するモジュールと、
ピクセルのブロックの動きベクトルの１つとして、および前記フレームの少なくとも１つの動きベクトルとして、ブロックベースの動きを推定する手段と、
前記フレームにおけるシーン変化を検出するモジュールと、
前記UMDVP測定基準マップが前記復号されたビデオの解像度と一致しないとき、前記復号されたビデオの解像度に前記UMDVP測定基準マップをスケーリングする手段と、
前記動きベクトルにより示された位置にピクセルがないとき、前記UMDVP値を補間する手段とを有し、
前記計算部は、前記フレームのスケールされ補間されたUMDVP測定基準マップを作成し、
前記後処理部は、前記少なくとも１つの品質向上アルゴリズムに前記UMDVP測定基準マップに基づき前記デジタルビデオ信号の復号されたバージョンの品質を向上するよう命令し、
前記少なくとも１つの品質向上アルゴリズムは、前記UMDVP測定基準マップに基づき前記デジタルビデオの前記復号されたバージョンを向上させ、
前記少なくとも１つの品質向上アルゴリズムは、エンハンスメントアルゴリズムおよびアーティファクト低減アルゴリズムよりなるグループから選択されることを特徴とするシステム。
【請求項２】
請求項１に記載のシステムであって、
【数１】
2006509437.tif 000017
によりマクロブロックとブロックベースの符号化情報を分析するモジュールをさらに有し、
UMDVP(i,j)∈[1,-1]はピクセルデータブロックのピクセル(i,j)の測定基準であり、q_scaleは前記マクロブロックの量子化スケールであり、num_bitsはルミナンスブロックを符号化するためのビット数であり、Q_OFFSETは実験的に決められた値であることを特徴とするシステム。
【請求項３】
請求項２に記載のシステムであって、
前記計算部が前記フレームがIフレームタイプであると判断し、前記シーン変化を検出するモジュールがシーン変化が発生しなかったと判断したとき、
前記計算部は前記ブロックベースの動きを推定する手段を用いて前記カレントブロックについて動きベクトル(v’,h’)を取得し、
前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記計算部は前記動きベクトルにより示された位置のUMDVP測定基準の値を取得する補間を実行するために前記補間手段を使用し、
前記UMDVP測定基準値は
【数２】
2006509437.tif 000018
を用いて調整され、
UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であり、R1は所定の重み付け因子であることを特徴とするシステム。
【請求項４】
請求項３に記載のシステムであって、前記UMDVP値は局所空間的特徴について
【数３】
2006509437.tif 000019
により微調整され、
var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とするシステム。
【請求項５】
請求項４に記載のシステムであって、
前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
【数４】
2006509437.tif 000020
により定義され、
ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
【数５】
2006509437.tif 000021
により定義され、
ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
【数６】
2006509437.tif 000022
により定義され、
ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
【数７】
2006509437.tif 000023
により定義されることを特徴とするシステム。
【請求項６】
請求項３に記載のシステムであって、前記UMDVP値は局所空間的特徴について
【数８】
2006509437.tif 000024
によりさらに微調整され、
var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とするシステム。
【請求項７】
請求項６に記載のシステムであって、
前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
【数９】
2006509437.tif 000025
により定義され、
ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
【数１０】
2006509437.tif 000026
により定義され、
ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
【数１１】
2006509437.tif 000027
により定義され、
ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
【数１２】
2006509437.tif 000028
により定義されることを特徴とするシステム。
【請求項８】
請求項２に記載のシステムであって、
前記フレームがPフレームタイプまたはBフレームタイプのうち１つであると前記計算部が決定し、
シーン変化が派生しなかった、または条件（（Intra-block）and(num_bits≠0)）が満たされていないと前記シーン変化を検出するモジュールが決定したとき、
ａ.前記計算モジュールは前記カレントブロックの動きベクトル(v’,h’)を計算するために前記動き推定手段を利用し、
ｂ．前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記計算部は前記動きベクトルにより示された位置のUMDVP測定基準の値を取得する補間を実行するために前記補間手段を使用し、
ｃ．前記UMDVP測定基準値は
UMDVP=UMDVP_prev(v’,h’)
と設定され、
UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であるように前記計算されたUMDVP値を微調整することを特徴とするシステム。
【請求項９】
請求項８に記載のシステムであって、前記UMDVP値は局所空間的特徴について
【数１３】
2006509437.tif 000029
により微調整され、
var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムであって、
前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
【数１４】
2006509437.tif 000030
により定義され、
ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
【数１５】
2006509437.tif 000031
により定義され、
ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
【数１６】
2006509437.tif 000032
により定義され、
ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
【数１７】
2006509437.tif 000033
により定義されることを特徴とするシステム。
【請求項１１】
請求項１に記載のシステムであって、前記エンハンスメントアルゴリズムはピーキングおよびトランジェントインプルーブメントのうち１つを有するシャープネスエンハンスメントアルゴリズムであることを特徴とするシステム。
【請求項１２】
請求項１１に記載のシステムであって、前記シャープネスエンハンスメントアルゴリズムはピーキングアルゴリズムであり、
前記UMDVP測定基準は、前記ピーキングアルゴリズムに適用される前に
【数１８】
2006509437.tif 000034
により調整されることを特徴とするシステム。
【請求項１３】
請求項１２に記載のシステムであって、
前記ピーキングアルゴリズムの出力はコアリング法により制御され、
前記UMDVP測定基準は前記コアリング法の出力に適用されることを特徴とするシステム。
【請求項１４】
復号されたデジタルビデオ信号のピクチャ品質を向上するための後処理を命令する方法であって、
前記フレームの局所空間的特徴を規定するモジュールを備えるステップと、
前記フレームについてブロックベースの動きを推定する手段を備えるステップと、
前記フレームにおけるシーン変化を検出するモジュールを備えるステップと、
前記動きベクトルにより示された位置にピクセルがないとき、前記UMDVP測定基準を補間する手段を備えるステップと、
フレームタイプ、局所空間的特徴、ブロックベース動き推定、検出されたシーン変化に基づき、前記フレームの各ピクセルについてデジタルビデオ処理に対する統一測定基準（UMDVP）を計算するステップと、
各ピクセルについて計算されたUMDVP測定基準のUMDVP測定基準マップを作成するステップと、
前記UMDVP測定基準マップが前記復号された信号の解像度と一致しないとき、前記復号された信号の解像度に前記UMDVP測定基準マップを一致させるため前記測定基準マップをスケーリングするステップと、
エンハンスメントアルゴリズムとアーティファクト低減アルゴリズムよりなるグループから選択した少なくとも１つの品質向上アルゴリズムの選択と積極性を指示するために前記UMDVP測定基準マップを適用することにより、前記フレームを後処理するステップとを有することを特徴とする方法。
【請求項１５】
請求項１４に記載の方法であって、前記計算するステップは、
マクロブロックとブロックベースの符号化情報を分析するステップと、
【数１９】
2006509437.tif 000035
により前記UMDVP測定基準を計算するステップをさらに有し、
UMDVP(i,j)∈[1,-1]はピクセルデータブロックのピクセル(i,j)の測定基準であり、q_scaleは前記マクロブロックの量子化スケールであり、num_bitsはルミナンスブロックを符号化するためのビット数であり、Q_OFFSETは実験的に決められた値であることを特徴とする方法。
【請求項１６】
請求項１５に記載の方法であって、
前記フレームがIフレームタイプであると判断するステップと、
シーン変化が発生せず、前記フレームがIフレームタイプであると判断されたとき、前記推定する手段により前記カレントブロックの動きベクトル(v’,h’)を推定するステップと、
前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記補間手段により前記動きベクトル(v’,h’)により示された位置のUMDVP測定基準の値を取得するため補間を実行するステップと、
【数２０】
2006509437.tif 000036
を用いて前記UMDVP測定基準の値を調整するステップとを有し、
UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であり、R1は所定の重み付け因子であることを特徴とする方法。
【請求項１７】
請求項１６に記載の方法であって、
前記UMDVP値を局所空間的特徴によって
【数２１】
2006509437.tif 000037
により調整するステップをさらに有し、
var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とする方法。
【請求項１８】
請求項１７に記載の方法であって、
前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
【数２２】
2006509437.tif 000038
により定義され、
ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
【数２３】
2006509437.tif 000039
により定義され、
ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
【数２４】
2006509437.tif 000040
により定義され、
ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
【数２５】
2006509437.tif 000041
により定義されることを特徴とする方法。
【請求項１９】
請求項１５に記載の方法であって、
前記フレームがPフレームタイプまたはBフレームタイプのうち１つであると決定するステップと、
シーン変化が発生しなかった、または条件（（Intra-block）and(num_bits≠0)）が満たされていないとき、前記推定手段により前記カレントブロックについて動きベクトル(v’,h’)を推定するステップと、
前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記補間部により前記動きベクトルにより示された位置のUMDVP測定基準の値を取得するステップと、
【数２６】
2006509437.tif 000042
を用いて前記UMDVP測定基準の値を調整するステップとをさらに有し、
UMDVP_prev(v’,h’)は前記前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であることを特徴とする方法。
【請求項２０】
請求項１９に記載の方法であって、
前記UMDVP値を局所空間的特徴について
【数２７】
2006509437.tif 000043
により調整するステップをさらに有し、
var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とする方法。
【請求項２１】
請求項２０に記載の方法であって、
前記局所空間的特徴がエッジであるとき、
ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
【数２８】
2006509437.tif 000044
により定義され、
ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
【数２９】
2006509437.tif 000045
により定義され、
ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
【数３０】
2006509437.tif 000046
により定義され、
ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
【数３１】
2006509437.tif 000047
により定義されて、前記エッジ依存局所分散を計算することを特徴とする方法。
【請求項２２】
請求項１４に記載の方法であって、前記エンハンスメントアルゴリズムは、ピーキングおよびトランジェントインプルーブメントのうち１つを有するシャープネスエンハンスメントアルゴリズムであることを特徴とする方法。
【請求項２３】
請求項２２に記載の方法であって、
前記シャープネスエンハンスメントアルゴリズムはピーキングアルゴリズムであり、
前記UMDVP測定基準は、前記ピーキングアルゴリズムの出力に適用される前に前記UMDVP測定基準を
【数３２】
2006509437.tif 000048
により調整するステップをさらに有することを特徴とする方法。
【請求項２４】
請求項２３に記載の方法であって、
前記ピーキングアルゴリズムの出力をコアリング法により制御するステップと、
前記UMDVP測定基準を前記コアリング法の出力に適用するステップとをさらに有することを特徴とする方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明のシステムと方法は、デジタルビデオ後処理を制御するための統一的測定基準に関する。その測定基準は、MPEGエンコードビデオの局所的ピクチャ品質を反映する。特に、本発明のシステムと方法は、ピクセルをどのくらいエンハンス（enhance）するか、またはアーティファクトをどのくらい低減するかを後処理システムに命令するために用いることのできる測定基準を提供する。これにより後処理の最終結果の品質を最適化することができる。
【０００２】
デジタル地上放送、デジタルケーブル／衛星、PVR（パーソナルビデオレコーダ）、DVD等を通じて、圧縮デジタルビデオソースが現代の家庭に入り込んでいる。新しいデジタルビデオ製品は消費者に革命的な経験をもたらしつつある。同時に、それらはビデオ処理機能に新しい挑戦をつきつけている。例えば、帯域効率を達成するため低ビットレートが選択されることが多い。ビットレートが低ければ低いほど、圧縮符号化および復号処理により入り込む品質低下はより一層不快なものとなる。
【０００３】
標準画質ビデオのデジタル地上テレビジョン放送では、ピクチャ品質と送信帯域幅効率を両立するという観点から、6Mbit/s程度のビットレートがよいと考えられている（P.N.Tudorによる「MPWEG-2ビデオ圧縮」IEEE  Electronics  &  Communication  Engineeringジャーナル、1995年12月、257~264ページを参照）。しかし、放送事業者は、一多重放送あたり、より多くのプログラムを放送するため、6Mbit/sよりかなり低いビットレートを選択することがある。一方、多くの処理機能ではデジタル圧縮が考慮されていない。結果として、その処理機能は圧縮されたデジタルビデオでは最適な実行ができない。
【０００４】
MPEG-2はデジタルビデオ圧縮の標準として広く受け入れられており、新しいデジタルテレビジョンサービスの基礎である。個々のMPEG-2後処理方法に指示するための測定基準が開発されている。例えば、Y.Yang、L.Boroczkyによる「デジタルビデオアプリケーションのための新しいエンハンスメント方法」IEEE  Transactions  on  Consumer  Electronics、Vol.48、No.3、2002年8月、435~443ページにおいて、発明者たちは復号された圧縮デジタルビデオの後処理のためのシャープネスエンハンスメント・アルゴリズムの性能を向上させるため、有用性測定基準（UME：エンハンスメントのための有用性測定基準（usefulness  metric））を定義している。しかし、完全なデジタルビデオ後処理システムは、シャープネスエンハンスメントのみでなく、解像度エンハンスメントとアーティファクト低減も含まなければならない。UMEその他の測定基準はシャープネスエンハンスメントに焦点を絞っており、その有用性には限界がある。
【０００５】
ピクチャ品質はデジタルビデオ製品（例えば、DTV、DVD、DVDレコード等）の最も重要な側面の１つである。これらの製品はMPEG-2フォーマットのビデオ資源を受信および／または格納する。MPEG-2圧縮標準は、ブロックベースのDCT変換を利用し、ロッシー（lossy）圧縮である。ロッシー圧縮の結果、符号化アーティファクトが生じ、ピクチャ品質が低くなることがある。この符号化アーティファクトのうち最も一般的で目に付くものはブロック歪みとリンギングである。これらの製品で実行されるビデオ後処理機能の中でシャープネスエンハンスメントとMPEG-2アーティファクト低減は、品質向上のための２つのキーとなる機能である。これら２つの機能がお互いの効果を打ち消し合わないことが非常に重要である。例えば、MPEG-2ブロック歪みアーティファクト低減はピクチャをぼかす傾向があるが、一方、シャープネスエンハンスメントはピクチャをシャープにする。この２つの機能の間の相互関係を無視すると、ブロック歪みアーティファクト低減動作がブロック効果を低減しても、シャープネスエンハンスメントによりブロック歪み効果が再生されてしまう結果となることがある。
【０００６】
ブロック歪みは、隣接するブロックを独立に符号化するために、ブロックの境界に現れる可視的な不連続性である。リンギングは、一般にはスムースなテクスチャのエリアにおいて高いコントラストエッジに沿って最もよく現れ、そのエッジから外に向かって伸びるリップルのように見える。リンギングは高周波数のDCT成分をいきなりトランケーションすることにより生じ、エッジを表すときに重要な役割を果たす。
【０００７】
現行の測定基準は、後処理中にエンハンスメントおよびアーティファクト低減アルゴリズムの共同適用（joint  application）を指示するようには設計されていない。
【０００８】
このように、品質向上機能を効果的に組み合わせて、トータル品質を向上し負の相互作用を低減するように後処理に命令するために使用できる測定基準が必要とされている。本発明のシステムと方法は、シャープネスエンハンスメント、解像度エンハンスメント、およびアーティファクト低減等の複数の後処理機能の統合と最適化を命令する測定基準を提供する。この測定基準はデジタルビデオ処理に対する統一的測定基準（UMDVP）であり、複数の後処理方法を共同制御するために使用することができる。
【０００９】
UMDVPはMPEG-2符号化情報に基づく測定基準として設計されている。UMDVPは符号化アーティファクトを増大せずにピクセルをどのくらいエンハンスできるかを数量化する。また、UMDVPはどこにアーティファクト低減機能を実施し、どのくらいの低減をする必要があるかに関する情報を提供する。限定としてではなく一例として、好ましい実施形態において、２つの符号化パラメータがUMDVPの基礎として用いられる：量子化パラメータ（q_scale）とルミナンスブロックを符号化するために費やしたビット数（num_bit）である。より具体的に、num_bitは、DCTブロックのAC係数を符号化するために費やしたビット数として定義される。q_scaleは、各16x16マクロブロックの量子化であり、すべてのビットストリームから容易に抽出できる。さらにまた、ビットストリームを復号している間に、少しの計算負荷だけで各8x8ブロックについてnum_bitsを計算できる。このように、符号化情報を収集するオーバーヘッドコスト全体は無視できる。
【００１０】
圧縮されたデジタルビデオソースのピクチャ品質と符号化情報との間の関係は周知である。すなわち、圧縮されたデジタルビデオのピクチャ品質は、それがどのように符号化されたかによって直接影響される。本発明のUMDVP測定基準はMPEG-2符号化情報に基づき、符号化アーティファクトを増強せずにどのくらいピクセルをエンハンスできるかを数量化する。また、アーティファクト低減機能をどこに実行し、どのくらい低減する必要があるのかを示す。
【００１１】
１．  デジタルビデオ処理に対する統一的測定基準（UMDVP）
UMDVPは、量子化パラメータ（q_scale）およびルミナンスブロックを符号化するのに費やしたビット数（num_bits）等の符号化情報を使用する。q_scaleは各16x16マクロブロックの量子化スケールである。すべてのビットストリームから両方を容易に抽出することができる。
【００１２】
１．１  量子化スケール（q_scale）
MPEG（MPEG-1、MPEG-2、MPEG-4）は、圧縮ステップの１つとしてDCT係数の量子化を使用する。しかし、量子化によりエラーが入ることは避けられない。すべての8x8ブロックの表現はDCTベース画像の各々を注意深くバランスさせ足し合わせたものとして考えることができる。それゆえ、大きい量子化エラーは、高周波数のDCTベース画像によるエラーである。エッジの表現では高周波数ベース画像が重要な役割を果たすので、ブロックの再構成はリンギングアーティファクト等の高周波数不規則性を含む。図１は、4Mbit/sで符号化された「カレンダー」ビデオシーケンスからのスナップショットを示す。図１ａの丸で囲った部分１０を図１ｂに拡大図１１として示した。リンギングアーティファクト１２が数字のエッジに認められる。
【００１３】
q_scaleの値が大きければ大きいほど、量子化エラーは大きくなる。それゆえ、q_scaleが小さくなるほど、UMDVPは大きくなるように設計されている。
【００１４】
１．２  ブロックを符号化するためのビット数（num_bits）
MPEG-2は、ブロックサイズが8x8のブロックベースの符号化法を用いる。一般的に、より少ないビットをブロックの符号化に使用すると、そのブロックのより多くの情報が失われ、再構成されたブロックの品質はより低くなる。しかし、この量はシーンコンテント、ビットレート、フレームタイプ（Iフレーム、Pフレーム、Bフレーム等）動き推定、および動き補償に強く依存する。
【００１５】
スムースでないエリアでは、イントラブロックのnum_bitsがゼロになれば、DC係数のみがあり、AC係数はないということを示唆している。復号した後、ブロック化効果はこの領域の周囲に残存することがある。図２ａは、1.5Mbit/sで符号化された「卓球」シーケンスからのスナップショットである。図２ａの丸を付けたエリア２０において、ブロック化効果は非常に明らかである。図２ｂに拡大図２１を示した。
【００１６】
num_bitsが小さければ小さいほど、符号化アーティファクトが存在し得る。結果として、UMDVP値はnum_bitsが減少するほど減少するように設計されている。
【００１７】
１．３  局所空間的特徴（feature）
MPEGベースのシステムのピクチャ品質は、利用可能なビットレートと表示されるプログラムのコンテントの両方に依存する。２つの符号化パラメータq_scaleとnum_bitsはビットレートに関する情報だけを示す。本発明はピクチャコンテントを反映する他の量を定義する。本発明において、UMDVPの定義で使用するエッジ依存局所分散として、局所空間的特徴（feature）量を定義する。
【００１８】
１．３．１  エッジ検出
ピクセル(i,j)におけるこの局所分散を計算する前に、ピクセル(i,j)がエッジに属しているかどうかを決定しなければならない。属しているとき、エッジ方向を決定する。本発明では、３種類のエッジのみを考える。図３ａに示した水平エッジと、図３ｂに示した垂直エッジと、図３ｃおよび図３ｄに示した対角エッジ（45°または135°）である。図４は、エッジ検出アルゴリズムの例を示すフローチャートである。ステップ４１と４３において、h_outとv_outに基づいて２つの変数（h_absとv_abs）が計算される。h_outとv_outはステップ４０とステップ４２でそれぞれ計算される。ステップ４４において、これら２つの変数を対応する閾値HTHREDとVTHREDと比較する。h_absとv_absがそれぞれHTHREDとVTHREDより大きいとき、ステップ４７において、ピクセル(i,j)は対角エッジに属すると決定する。h_absがHTHREDより大きく、v_absがVTHREDより小さいか等しいとき、ステップ４６においてピクセル(i,j)は垂直エッジに属すると決定する。v_absがVTHREDより大きく、h_absがHTHREDより小さいか等しいとき、ステップ４９においてピクセル(i,j)は水平エッジに属すると決定する。最後に、h_absとv_absがそれぞれHTHREDとVTHREDより小さいか等しいとき、ステップ５０において、ピクセル(i,j)はエッジに属さないと決定する。限定ではなく一例として、好ましい実施形態において、２つの閾値VTHREDとHTHREDは１０に設定される。さらにまた、エッジ検出をさらにロバストにするため、孤立したエッジポイントを無くすために余分なステップを適用する：
１．ピクセル(i,j)が水平エッジピクセルであると特定され、ピクセル(i-1,j)もピクセル(i+1,j)も水平エッジに属していないとき、ピクセル(i,j)はエッジピクセルでないとされる。
【００１９】
２．ピクセル(i,j)が垂直エッジピクセルであると特定され、ピクセル(i,j-1)もピクセル(i,j+1)も垂直エッジに属していないとき、ピクセル(i,j)はエッジピクセルでないとされる。
【００２０】
３．ピクセル(i,j)が対角エッジピクセルであると特定され、ピクセル(i-1,j-1)、ピクセル(i-1,j+1)、ピクセル(i+1,j-1)もピクセル(i+1,j+1)も対角エッジに属していないとき、ピクセル(i,j)はエッジピクセルでないとされる。
【００２１】
１．３．２  エッジ依存局所分散
ピクセル(i,j)が水平エッジに属するとき、エッジ依存局所分散は
【数３３】
2006509437.tif 000003
により定義される。ピクセル(i,j)が垂直エッジに属しているとき、エッジ依存局所分散は
【数３４】
2006509437.tif 000004
により定義される。ピクセル(i,j)が対角エッジに属しているとき、エッジ依存局所分散は
【数３５】
2006509437.tif 000005
により定義される。ピクセル(i,j)が上記のエッジのいずれにも属さないとき、エッジ依存局所分散は
【数３６】
2006509437.tif 000006
により定義される。エッジ依存局所分散はピクチャの局所シーンコンテントを反映している。本発明では、この空間的特徴（feature）はUMDVP測定基準を調整して精密化するために使用する。
【００２２】
１．４  UMDVPの定義
限定としてではなく一例として、UMDVPは２つの符号化パラメータ（num_bitsとq_scale）の観測に基づいて、次の関数として定義する
【数３７】
2006509437.tif 000007
ここで、Q_OFFSETは実験的に決定される値である。限定としてではなく一例として、Q_OFFSETはビットストリームを分析することにより決定できる。本発明の好ましい一実施形態において、Q_OFFSETの値として３を使用することができる。UMDVP値は[-1,1]の範囲に限定されている。num_bitsがゼロのとき、UMDVPはゼロとなる。局所空間的特徴（feature）を考慮に入れて、UMDVP値をさらに次のように調整する。
【数３８】
2006509437.tif 000008
ここで、VAR_THREDは経験的に決められた所定の閾値である。限定としてではなく一例として、VAR_THREDは品質目的を考慮に入れながらビットストリームを分析することにより決定できる。
【００２３】
UMDVP値はエッジ依存局所分散によりさらに精密化することができる：
【数３９】
2006509437.tif 000009
ここで再び、UMDVPは-1と1の間の範囲（両端も含む）に限定されている。UMDVP値が1であるということは、あるピクセルにシャープネスエンハンスメントを絶対的に施してもよいということを意味する。UMDVP値が-1であるということは、そのピクセルをエンハンスすることはできず、アーティファクト低減動作が必要であることを意味する。
【００２４】
２．  MPEG-2ビデオについてのUMDVP計算
フレームがIフレームか、Pフレームか、Bフレームかにより、UMDVP測定基準の計算も異なる。UMDVPの時間的一貫性を保証するために動き推定を利用する。UMDVPの時間的一貫性は、エンハンスメントとアーティファクト低減の時間的一貫性を達成するために必須である。アルゴリズムの性能をさらに向上させるため、劇的シーン変化検出も利用する。MPEG-2ビデオに対するUMDVP計算のシステム図を図５に示した。
【００２５】
２．１  動き推定（５５）
限定ではなく一例として、本発明の一実施形態において、Gerard  de  Haan等による「３次元再帰的動きサーチブロックマッチングを用いた真の動き推定」、IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology、Vol.3、No.5、1993年10月、368~379ページに記載された３次元再帰的動き推定モデルを利用する。この文献のすべての内容は、あたかもここにすべてを記載したように参照により援用する。ブロックベースのフルサーチ法と比較して、この３次元モデルは計算の複雑性を劇的に削減し、動きベクトルの一貫性を向上させる。
【００２６】
２．２  シーン変化検出（５３）
シーン変化検出はUMDVP測定基準の計算において重要なステップである。異なるシーンの間で時間的一貫性を強制すると、特に劇的なシーン変化が生じたとき、ピクチャ品質が悪化するからである。シーン変化を正確に検出すれば、ビデオ処理アルゴリズムの性能を向上させることができる。例えば、ビデオエンハンスメントアルゴリズムは異なるシーンコンテントにパラメータを調節するためにシーン変化検出を使用する。シーン変化検出はビデオ圧縮アルゴリズムでも有用である。
【００２７】
シーン変化検出はさらに別のステップとしてUMDVP計算に組み込んでもよい。異なるシーンの間で時間的一貫性を強制すると、特に劇的なシーン変化が生じたとき、ピクチャ品質が悪化するからである。
【００２８】
既知のシーン変化検出方法のどれを使用してもよい。限定ではなく一例として、連続するフレーム間の差異のヒストグラムを調べて、差異値の大部分が所定値を超えているかどうか決定してもよい。
【００２９】
２．３  I、P、BフレームのUMDVP計算（５４）、（５６）
図６は、IフレームのUMDVP測定基準の計算の好ましい一実施形態を示すフローチャートである。最初のステップ６１において、UMDVPの初期値を式（９）に従って計算する。ステップ６２において、劇的なシーン変化検出を適用する。シーン変化があったときは、ステップ６４で計算は終了する。さもなくば、ステップ６３において、現行の8x8ブロックについて動きベクトル(v’,h’)を見つけるために動き推定を用いる。図６において、UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準の値である。(v’,h’)で示される位置にピクセルがない場合には、UMDVP測定基準の値を求めるために補間法を用いる必要がある。
【００３０】
図７に補間法の例を示した。「X」で示された位置のUMDVP値から「*」で示された位置のUMDVP値を補間する必要があるとする。左上のUMDVP値はUMDVP1（参照数字７０）、右上のUMDVP値はUMDVP2（参照数字７１）、左下のUMDVP値はUMDVP３（参照数字７２）、右下のUMDVP値はUMDVP４（参照数字７３）であると仮定する。
【数４０】
2006509437.tif 000010
ステップ６５において、UMDVP測定基準値は、ステップ６１で計算されたUMDVP測定基準値またはUMDVP測定基準の補間値と、前のフレームの(v’,h’)により示された位置のUMDVP値とに基づき調整される。好ましい一実施形態において、UMDVP測定基準の計算値により大きな重みを付けるため、R1は0.7に設定される。
【数４１】
2006509437.tif 000011
図８は、PまたはBフレームのUMDVP測定基準値の計算を示すフローチャートである。最初に、ステップ８１において、シーン変化があるかどうか決定する。シーン変化があれば、ステップ８２において、条件C３：（（Intra-block）and（num_bits≠0））が満たされているかどうかテストする。この条件が満たされていれば、ステップ８３において、式（９）によりUMDVP測定基準値を計算する。条件が満たされていない場合、またはステップ８１でシーン変化が検出されない場合、ステップ８４において、現行ブロックの動きベクトル(v’,h’)を見つけるために動き推定を適用する。ステップ８５において、UMDVP測定基準値は前のフレームの(v’,h’)により示されるUMDVP測定基準値に設定される。(v’,h’)により示される位置がピクセル位置でないときは、式（１２）の補間法が必要となる。
【００３１】
図５の最後のブロック「UMDVP微調整」５８では、式（１０）と（１１）を用いて、UMDVP値をエッジ依存局所分散だけ微調整する。
【００３２】
UMDVPメモリ５７は途中結果を格納するために使用される。
【００３３】
２．４  UMDVPスケーリング
ビデオ処理アルゴリズムが元の解像度ではなくそれより高い解像度で動作する場合、UMDVPマップをその新しい解像度に合わせるためのスケーリング機能が必要となる。UMDVPアラインメント（alignment）には垂直および水平スケーリング機能を要することがある。
【００３４】
２．４．１  垂直スケーリング
図９ａにおいて、斜線を施した黒丸９０は補間するＵＭＤＶＰ値の位置を表している。ステップ９４において、a>A1（好ましい一実施形態においてA1は0.5に設定される）であるとき、この条件は補間位置が(i,j)より(i,j+1)の方に近いことを意味するが、UMDVP_new９０はUMDPVP(i,j)９１よりもUMDVP(i,j+1)９２により強く関係している。それゆえ、ステップ９５において、UMDVP_newは(1-2b)*UMDVP(i,j+1)に設定される。bの値が小さければ小さいほど、新しく補間されたUMDVP_new９０はUMDVP(i,j+1)９２に近くなる。さもなくば、ステップ９４においてa≦A1のとき、この条件は補間位置が(i,j)に近いことを意味するが、UMDVP_new９０はUMDPVP(i,j+1)よりもUMDVP(i,j)により強く関係している。それゆえ、ステップ９７において、UMDVP_newは(1-2a)*UMDVP(i,j)に設定される。しかし、ステップ９３において、UMDPVP(i,j)９１およびUMDVP(i,j+1)９２がUT（好ましい一実施形態においてUTは0.3と設定される）より大きいと決定されたとき、この条件は近傍はUMDVP値が大きい均一なエリアであることを意味するが、ステップ９６において、バイリニア補間をもちいて、UMDVP_new９０をUMDVP_new=a*UMDVP(i,j)+b*UMDVP(i,j+1)とする。
【００３５】
２．４．２  水平スケーリング
図１０ａにおいて、斜線を施した黒丸１０１は補間するUMDVP値の位置を表している。ステップ１０４において、a>A1（好ましい一実施形態においてA1は0.5に設定される）であるとき、この条件は補間位置が(i,j)より(i+1,j)の方に近いことを意味するが、UMDVP_new１０１はUMDPVP(i,j)１００よりもUMDVP(i+1,j)１０２により強く関係している。それゆえ、ステップ１０５において、UMDVP_new１０１は(1-2b)*UMDVP(i+1,j)に設定される。bの値が小さければ小さいほど、新しく補間されたUMDVP_new１０１はUMDVP(i+1,j)１０２に近くなる。さもなくば、ステップ１０４においてa≦A1のとき、この条件は補間位置が(i,j)に近いことを意味するが、UMDVP_new１０１はUMDVP(i+1,j)１０２よりもUMDVP(i,j)に、より強く関係している。それゆえ、ステップ１０７において、UMDVP_newは(1-2a)*UMDVP(i,j)に設定される。しかし、UMDVP(i,j)１００およびUMDVP(i+1,j)１０２がUT（好ましい一実施形態においてUTは0.3と設定される）より大きいと決定されたとき、この条件は近傍がUMDVP値が大きい均一なエリアであることを意味するが、ステップ１０６において、バイリニア補間をもちいて、UMDVP_new=a*UMDVP(i,j)+b*UMDVP(i+1,j)とする。
【００３６】
３．  MPEG-2符号化ビデオのUMDVPを用いたシャープネスエンハンスメント
限定としてではなく一例として、シャープネスエンハンスメント・アルゴリズムはピクチャのシャープネスの主観的知覚を増強するよう試みる。しかし、MPEG-2符号化プロセスにより符号化アーティファクトが入り込んでしまうことがある。アルゴリズムが符号化情報を考慮しない場合、符号化アーティファクトが大きくなってしまう。
【００３７】
対照的に、UMDVP測定基準値を用いることにより、アーティファクトを大きくすることなくどのくらいピクチャをエンハンスするかをエンハンスメントアルゴリズムに指示することができる。
【００３８】
３．１  システム図
図１１は、UMDVP測定基準値を用いたMPEG-2のシャープネスエンハンスメント装置を示すシステム図である。ビデオビットストリームを復号する際、MPEFG-2デコーダ１１１は、q_scaleとnum_bits等の符号化情報をUMDVP計算モジュール１１４に送る。UMDVP計算モジュール１１４の詳細は図５に示されている。UMDVP測定基準値を用いてシャープネスエンハンスメントモジュール１１６にピクチャをどのくらいエンハンスするかを指示する。
【００３９】
３．２  シャープネスエンハンスメント
シャープネスエンハンスメント方法はピーキングとトランジェントインプルーブメント（transient  improvement）を含む。ピーキングは、好ましい一実施形態において、例えば周知の「マッハバンド」効果を用いてシャープネスの印象を向上する線形演算である。トランジェントインプルーブメント、例えばルミナンストランジェントインプルーブメント（LTI）は、エッジのグラディエントを修正する周知の非線形アプローチである。
【００４０】
３．２．１  UMDVP測定基準値とピーキングアルゴリズムの統一
ピーキングは、線形フィルタ方法、通常は１つまたは複数のFIRフィルタを用いて高周波数帯域および／または中周波数帯域の振幅を増強する。図１２はピーキングアルゴリズムの基本的構造を示している。制御パラメータ１２１〜１２ｎは、図示しない制御機能により生成されてもよい。この制御パラメータは各周波数帯域でピーキング量を制御する。
【００４１】
UMDVP測定基準１３０をピーキングアルゴリズムに適用する簡単な方法は、元の信号にどのくらいのエンハンスメントを加えるかを制御するためにUMDVP測定基準を用いることである。図１３に構造を示した。好ましい一実施形態において、UMDVP測定基準値をエンハンスメントアルゴリズムに適用する前にUMDVP測定基準値を調整するために式（１４）を利用する。
【数４２】
2006509437.tif 000012
UMDVP測定基準値が0.3より大きいとき、UMDVP測定基準値を0.5だけ大きくする。ここでは、UMDVP測定基準値が一定の閾値（この場合0.3）より大きいとき、ピクチャ品質は十分よいので、シャープネスエンハンスメントを過剰に押さえつけるべきではないということを仮定している。
【００４２】
UMDVP測定基準を用いたシャープネスエンハンスメントの具体例を挙げる。
【００４３】
限定としてではなく一例として、G.  de  Haanによる「マルチメディアシステムのためのビデオ処理」、ユニバーシティプレス、アイントホーヘン、オランダ、2000年に記載されたアプローチによれば、信号スペクトルの２つの部分でピーキングが可能である。この２つの部分は、一般的にはサンプリング周波数の１／２と１／４の周波数とされる。図１４は下で説明する方法を示す図である。
【数４３】
2006509437.tif 000013
をピクチャnのピクセル位置
【数４４】
2006509437.tif 000014
におけるルミナンス信号とする。z変換を用いて、ピークのルミナンス信号
【数４５】
2006509437.tif 000015
を以下のように書くことができる
【数４６】
2006509437.tif 000016
ここで、k1（参照数字１４１）とk2（参照数字１４２）は、中間および最高周波数のそれぞれのピーク量を決定する制御変数である。
【００４４】
ノイズによる品質低下を防ぐための一般的な対策は、信号成分が所定の振幅閾値を超えたとき、その信号成分だけを増強することである。この方法は「コアリング」１４０として知られており、式（１５）のk1とk2の修正と見ることができる。
【００４５】
上に説明したピーキングアルゴリズムはシャープネスの主観的知覚をエンハンスするが、同時に符号化アーティファクトもエンハンスすることができる。この問題を防ぐために、図１５に示したように、ピーキングアルゴリズムを制御するためにUMDVP測定基準１５０を使用することができる。
【００４６】
圧縮デジタルビデオについて全般的に最適な結果を達成するために、エンハンスメント機能およびアーティファクト低減機能の両方が必要である。デジタルビデオにおけるエンハンスメントとアーティファクト低減の間のバランスは、アナログビデオにおけるエンハンスメントとノイズ低減の間のバランスと類似している。システム全体の最適化は自明ではない。しかし、UMDVPはエンハンスメントアルゴリズムとアーティファクト低減機能の両方に用いることができる。
【００４７】
上で説明し図面に示した本発明の方法とシステムは、デジタル符号化ビデオ信号のエンハンスメントとアーティファクト低減を共同制御するためのUMDVP測定基準を提供する。当業者には明らかなことだが、本発明の精神と範囲から逸脱することなく、本発明の方法とシステムを様々に修正および変形することができる。よって、本発明は添付したクレームとその均等物の範囲内にある修正や変形を含むことを意図している。
【図面の簡単な説明】
【００４８】
【図１ａ】4Mbits/sで符号化された「カレンダー」ビデオシーケンスからのスナップショットを示す図である。
【図１ｂ】リンギングアーティファクトを示す、図１ａの一エリアを示す拡大図である。
【図２ａ】1.5Mbits/sで符号化された「卓球」シーケンスからのスナップショットを示す図である。
【図２ｂ】ブロック歪みアーティファクトを示す、図２ａの一エリアを示す拡大図である。
【図３ａ】本発明の一実施形態による、水平エッジを示す図である。
【図３ｂ】本発明の一実施形態による、垂直エッジを示す図である。
【図３ｃ】本発明の一実施形態による、45°の対角エッジを示す図である。
【図３ｄ】本発明の一実施形態による、135°の対角エッジを示す図である。
【図４】本発明の一実施形態による、エッジ検出アルゴリズムを示すフローチャートである。
【図５】本発明の一実施形態による、UMDVP測定基準の計算装置を示すシステム図である。
【図６】本発明の一実施形態による、IフレームのUMDVP測定基準の計算を示すフローチャートである。
【図７】本発明の一実施形態による、UMDVP測定基準の計算に使用する補間方法を示す図である。
【図８】本発明の一実施形態による、PまたはBフレームのUMDVP測定基準の計算のアルゴリズムを示すフローチャートである。
【図９】本発明の垂直補間スケーリング方法を示す図である。
【図１０】本発明の水平補間スケーリング方法を示す図である。
【図１１】本発明の一実施形態による、シャープネスエンハンスメント装置を示すシステム図である。
【図１２】従来のピーキングアルゴリズムの基本的構造を示す図である。
【図１３】原信号にどのくらいエンハンスメントを加えるかを制御するためのピーキングアルゴリズムへのUMDVP測定基準の適用を示す図である。
【図１４】具体的なピーキングアルゴリズムを示す図である。
【図１５】図１４に示した装置において符号化アーティファクトのエンハンスメントを防止するためにUMDVP測定基準の使用を示す図である。
2006509437.tif 000049
2006509437.tif 000050
2006509437.tif 000051
【図４】
2006509437.tif 000052
【図５】
2006509437.tif 000053
【図６】
2006509437.tif 000054
【図７】
2006509437.tif 000055
【図８】
2006509437.tif 000056
2006509437.tif 000057
2006509437.tif 000058
【図１１】
2006509437.tif 000059
【図１２】
2006509437.tif 000060
【図１３】
2006509437.tif 000061
【図１４】
2006509437.tif 000062
【図１５】
2006509437.tif 000063
【国際調査報告】
2006509437.tif 000064
2006509437.tif 000065