(57)【特許請求の範囲】
【請求項１】
符号化されたビデオ信号がピクチャの各ブロックに対する１つ以上の変換係数を含むように、二次元変換を用いる圧縮アルゴリズムにより符号化されたビデオ信号のために信号品質を示す値を作り出す方法であって、
符号化されたビデオ信号を入力するステップと、
前記変換係数の１つのみがゼロ以外の値を有する、前記ビデオ信号中の前記ブロックを識別するステップと、
フレームごとに前記識別されたブロックの数を決定するステップと、
決定された前記ブロックの数から導き出されるブロック歪み値を作り出すステップと、
前記ブロック歪み値から、前記信号品質を示す値を作り出すステップと、
作り出された前記信号品質を示す値を出力するステップと、
を備える方法。
【請求項２】
符号化された入力ビデオ信号が量子化器ステップサイズパラメータをさらに含むように、入力ビデオ信号が可変量子化器ステップサイズを活用してさらに符号化され、前記方法は、
ａ）前記量子化器ステップサイズパラメータによって決まる、ステップサイズ値を作り出すステップ
をさらに備え、
ｂ）前記信号品質を示す値を、前記ステップサイズ値とブロック歪み値との両者によって決めるステップを備える、請求項１に記載の方法。
【請求項３】
前記ブロック歪み値は、むらがあると判断されるブロックの数の関数として決定され、
（ｉ）ブロックが前記ピクチャの前のフレームを参照することなく符号化され、前記ブロックがただ１つのゼロ以外の変換係数を有する場合か、又は、
（ｉｉ）ブロックが前記ピクチャの前のフレームを参照することにより符号化され、前記ブロックはゼロ以外の変換係数を有さず、前記それぞれの前のフレームの前記対応するブロックもむらがあると定められた場合に、
前記ブロックはむらがあると定められる、請求項２に記載の方法。
【請求項４】
前記ステップサイズ値に対して空間マスキング調整を加えるステップを含み、前記空間マスキング調整は符号化ブロックあたりのゼロ以外の変換係数の数の関数として計算される、請求項２または３に記載の方法。
【請求項５】
前記符号化された信号が動きベクトルをさらに含むように、動き補償を用いる圧縮アルゴリズムにより符号化される信号とともに使用する方法であって、前記ステップサイズ値に対し時間マスキング調整を加えるステップを含み、前記時間マスキング調整は各符号化されたブロックの前記動きベクトルの関数である、請求項２、３または４に記載の方法。
【請求項６】
前記信号品質を示す値を、前記ステップサイズ値とブロック歪み値との両者によって決めるステップは、
ａ）前記ステップサイズ値及びブロック歪み値を１つの共通のスケールに変換するステップと、
ｂ）前記変換されたブロック歪み値が閾値より劣る画質を表す場合に、前記変換されたブロック歪み値を出力するステップと、
ｃ）それ以外の場合に、前記変換されたステップサイズ値を出力するステップと、
を備える、請求項２から５のいずれか１項に記載の方法。
【請求項７】
符号化されたビデオ信号が、量子化器ステップサイズパラメータと、ピクチャの各ブロックに対して１つ以上の変換係数とを含むように、可変量子化器ステップサイズと二次元変換とを用いる圧縮アルゴリズムにより符号化されたビデオ信号のための信号品質を示す値を作り出す装置であって、
ａ）前記符号化されたビデオ信号の前記量子化器ステップサイズパラメータを検出して、前記量子化器ステップサイズパラメータによって決まるステップサイズ値を作り出す手段と、
ｂ）前記符号化されたビデオ信号の変換係数を検出して、各ブロックが単一のそれぞれのゼロ以外の変換係数を有するブロックを識別する手段と、
ｃ）１フレーム中の前記識別されたブロックの数によって決まるブロック歪み値を作り出す手段と、
ｄ）前記ステップサイズ値と前記ブロック歪み値との両者によって決まる、前記信号品質を示す値を作り出す手段と
を含む、装置。
【請求項８】
前記ブロック歪み値は、むらがあると判断されるブロックの数の関数として決定され、
（ｉ）ブロックが前記ピクチャの前のフレームを参照することなく符号化され、前記ブロックが唯一のゼロ以外の変換係数を有する場合か、又は、
（ｉｉ）ブロックが前記ピクチャの前のフレームを参照することにより符号化され、前記ブロックがゼロ以外の変換係数を有さず、前記それぞれの前のフレームの前記対応するブロックもむらがあると定められた場合に、
前記ブロックはむらがあると定められる、請求項７に記載の装置。
【請求項９】
空間複雑度係数を符号化されたブロックあたりのゼロ以外の変換係数の数の関数として計算する手段と、前記ステップサイズ値に対して空間マスキング調整を加えるために動作可能な手段とを含み、前記空間マスキング調整は前記空間複雑度係数の関数である、請求項７または８に記載の装置。
【請求項１０】
符号化された信号が動きベクトルをさらに含むように、動き補償を用いる圧縮アルゴリズムにより符号化された信号とともに使用する装置であって、前記ステップサイズ値に対して時間マスキング調整を行うために動作可能な手段をさらに備え、前記時間マスキング調整は各符号化されたブロックの前記動きベクトルの関数である、請求項７から９のいづれか１項に記載の装置。
【請求項１１】
前記ステップサイズ値と前記ブロック歪み値との両者によって決まる、前記信号品質を示す値を作り出す手段は、前記ステップサイズ値及びブロック歪み値を１つの共通したスケールに変換する手段と、前記変換されたブロック歪み値が閾値に劣る画質を表す場合に前記変換されたブロック歪み値を出力し、それ以外の場合に前記変換されたステップサイズ値を出力するように動作可能な手段とを備える、請求項７から１０のいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ品質の測定に関し、さらに詳細には、歪みがない元のピクチャのコピーに無関係な画質の評価に関する。
本発明の目的は、受信された信号をビデオ信号に復号する必要なくビデオ品質を測定できる方法及び装置を提供することである。
【発明の開示】
【課題を解決するための手段】
【０００２】
本発明のある態様に従って、可変量子化器ステップサイズ及び二次元変換を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のために品質の基準を作り出す方法が提供され、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及び前記ピクチャのブロックの場合、変換係数を含み、前記方法は、
ａ）前記量子化器ステップサイズパラメータの関数である第１の品質基準を作り出すことと、
ｂ）単一の変換係数を有するブロックの数の関数である第２の品質基準を作り出すことと、
ｃ）前記第１の基準と前記第２の基準を結合することと、
を備える。
【０００３】
別の態様では、本発明は、可変量子化器ステップサイズ及び二次元変換を活用する圧縮アルゴリズムを使用して符号化されたビデオ信号のための品質の基準を作り出すための装置を提供し、その結果前記符号化された信号は量子化器ステップサイズパラメータ、及び前記ピクチャのブロックの場合、変換係数を含み、前記装置は、
ａ）前記量子化器ステップサイズパラメータの関数である第１の品質基準を作り出すための手段と、
ｂ）単一の変換係数を有するブロックの数の関数である第２の品質基準を作り出すための手段と、
ｃ）前記第１の基準と第２の基準を結合するための手段と、
を備える。
【０００４】
本発明の他の態様は請求項の中に定められる。
【０００５】
ここで本発明のいくつかの実施形態が、添付図面を参照して例証として説明される。
【発明を実施するための最良の形態】
【０００６】
原則的には、使用される測定プロセスは、変換符号化を使用し、可変量子化器ステップサイズを有する圧縮技法を使用して符号化されたビデオ信号に、概して適用可能である。しかしながら、記述されるバージョンはＭＰＥＧ−２規格に従って符号化された信号と使用するために設計されている。（記述される前記バージョンはＭＰＥＧ−２ビデオコーデックに基づいているが、それはＨ．２６１、Ｈ．２６３、ＭＰＥＧ−４（フレームベース）等の他のＤＣＴベースの規格のコーデックも適用する。）
前記測定方法は非侵入型または「非参照（ｎｏ−ｒｅｆｅｒｅｅｎｃｅ）」型である。つまり、それは元の信号のコピーにアクセスできる必要がない。さらに、それは前記受信された信号をビデオ信号に復号する必要なくこの測定を実行することを目的とする。むしろ、それは受信されたＭＰＥＧストリームの中に含まれるパラメータを活用する。
【０００７】
図１に図示されている装置では、入信信号は入力１で受信され、ＶＬＣデコーダ、及び可変長コードを復号し以下のパラメータを出力するデータパーサ２に移動する。
【０００８】
（ａ）ピクチャごとに：
ピクチャ型ＰＴ（＝Ｉ、ＰまたはＢ）
（ｂ）ピクチャが分割されるマクロブロック（ＭＢ）ごとに：
マクロブロック型ＭＴ（例えば、ＩＮＴＲＡ（内部）またはＩＮＴＥＲ（相互）、省略済み、符号化されていない等）
量子化器ステップサイズＱ
（ｃ）マクロブロック内のブロックごとに：
係数の数Ｎｃ
係数Ｃ
動きベクトルＭＶ
装置には、それぞれ信号のピーク信号対雑音比（ＰＳＮＲ）及び信号の「ブロック歪み（ブロック歪み）」を推定するのに役立つ、２つの分析経路がある。要素３から１４は、個々のハードウェア要素により実現できるであろうが、さらに便利なインプリメンテーションは適切にプログラミングされたプロセッサを使用して全てのそれらの段階を実行することである。
【０００９】
（ＰＳＮＲ推定）
これは量子化器ステップサイズＱを利用する。（後述される）いくつかの調整の後、以下に従って推定されたＰＳＮＲを計算するために、調整されたステップサイズＱＭが３で使用される。
【数１】
0004444840.tif 000002
【００１０】
この方程式の、及びさらに精密な代替策の導出が、以下に示される。
【００１１】
調整は、３つの段階からなる。
【００１２】
段階４：Ｂピクチャの量子化器ステップサイズは１．４での除算により調整される。
【００１３】
段階５：量子化器ステップサイズは、各ブロックのゼロ以外の係数Ｎｃの数をカウントし、Ｘの値を以下のように割り当てる（段階６）ことにより生成される、空間複雑度係数Ｘを利用して、空間マスキング効果を考慮に入れるために調整される。
【数２】
0004444840.tif 000003
【００１４】
次に、調整された値Ｑｘは（５で）、
【数３】
0004444840.tif 000004
【００１５】
のように計算される。
【００１６】
この点で、フレーム全体でこれらの値を合計するためにこの機会が利用されることにも留意されたい。
【００１７】
次に、時間マスキングを考慮に入れるための追加の調整がある。フレーム全体で平均化される（ブロックタイプについて調整される。詳細については以下を参照されたい）動き絶対値（ｍａｇｎｉｔｕｄｅ）Ｖを引き出すために、動きベクトルが使用される（段階８）。
【００１８】
調整されたＱは次に（段階９）、
【数４】
0004444840.tif 000005
【００１９】
である。
【００２０】
前記ＰＳＮＲ計算のために前記に示された式が、量子化器ステップサイズのために均一な確率分布関数を仮定することに留意されたい。これはＩＮＴＲＡブロックのＤＣ係数にとって妥当な仮定であるが、他の係数にとってはあまり正確ではない。不均等確率分布のための代替式は以下の説明（方程式（７））で引き出される。つまり、これが使用される場合には、好ましくはｐｄｆのパラメータαが、フレームの型（Ｉ、ＰまたはＢ）に従って切り替えられる。（ＩＮＴＲＡブロックの前記ＤＣ係数が少数であることに基づき）全ての係数について方程式７を使用することを好み、これが実際には優れた結果を出すことが判明することに留意されたい。両方の分布の使用を希望すると、段階５でフレーム全体で合計することを回避し、さまざまなｐｄｆとＱ値を結合することを考慮に入れるであろうＰＳＮＲのための式を使用することが必要になるであろう。
【００２１】
（ブロック歪み推定）
この最も簡略な形式は、ＩＮＴＲＡ符号化済みマクロブロック内では、ただ１つの係数を有するブロックによりピクチャ内に濃淡のむらがある外観が引き起こされるという事実を利用し、この基準を満たすフレーム内のブロックのパーセンテージを計算することである。
【００２２】
したがって、段階１０では、各ブロックはｂ＝１（むらがある）またはｂ＝０（むらがない）として記され、次に（段階１１）このようなブロックの数ＮＤＣが符号化されたブロックの総数ＮＴでのように数えられ、指数Ｂ＝ＮＤＣ／ＮＴが計算される。
【００２３】
強化されたブロック歪み基準は、全ての係数がゼロであるＩＮＴＥＲ符号化されたブロックも、（デコーダがそこからコピーする）初期ピクチャがこの位置でむらがある場合にブロック歪みを生じさせるという事実を考慮に入れる可能性がある。したがって、段階１０も（この持続時間が、例えばＰフレームごとに２つのＢフレームを備えるＭＰＥＧの場合に変化する前記初期のフレームと符号化されたフレームの間の遅延に相当し、それは３フレーム期間となるであろう）遅延を介してｂという過去の値を受け取る可能性がある。
【００２４】
このケースでは、段階１０の式は以下のようになる。
【００２５】
（ＭＴ＝ＩＮＴＲＡかつＮ＝１）または（ＭＴ＝ＩＮＴＥＲかつＮ＝０かつｂ−１＝１）の場合には、ＴＨＥＮｂ＝１である。
【００２６】
それ以外の場合ｂ＝０である。
【００２７】
（ここではｂ−１は、同じブロック位置のｂの過去のフレーム値である）
（結合）
ＰＳＮＲ基準とブロック歪み基準を結合するためには、最初にこれらの基準を同じスケールでの測定値に変換することが必要である（段階１２、１３）。これを行うための便利な方法とは、ＰＳＮＲまたはＢの考えられる範囲を等しいステップに分割する、あるいは代わりに鑑賞（ｖｉｅｗｉｎｇ）試験に基づいた経験的表を用いるかのどちらかで、複雑度基準Ｘのために使用されるような変換表を使用して、前記基準を、例えば０から９（０＝不可、及び９＝可）の任意のスケールでの基準ＭＱ及びＭＢに変換することである。
【００２８】
同じスケールで前記２つの基準ＭＱ及びＭＢを取得すると、それらは単一の基準に結合される。これが行われる根拠は、ある特定のフレームの強力なブロック歪みの場合には、段階１４からの出力基準Ｍはブロック歪み基準ＭＢにすぎないということである。他方、ブロック歪み基準が低い場合には、出力基準ＭＯはＰＳＮＲ基準ＭＱである。
【００２９】
例えば、
【数５】
0004444840.tif 000006
【００３０】
（説明）
以下の説明は、前述した方法の背後にある理論的根拠を説明し、方程式及び何らかの実験結果の導出を行い、いくつかの修正案及び改善策を説明する。
【００３１】
本研究は、参照なしに、必要とされるデータを圧縮されたビットストリームからどのようにして抽出し、ビデオ品質測定基準（ＶＱＭ）として使用できるかを明示することを目的とする。ＶＱＭの最も重要なパラメータが、マクロブロック（ＭＢ）ごとに抽出できる量子化器ステップサイズであることが示される。人間の視覚系を含むために、この値は空間−時間画像コンテンツで修正される。ここでは、前記空間コンテンツは符号化されたＭＢのＡＣ係数の数から引き出され、時間活動は動きベクトルから引き出される。コントラスト感度を考慮するためには、ピクチャ内で、ＩＮＴＲＡ符号化されたブロックのＤＣ係数も使用されてよい。最後に、激しい歪みのケースでは、主要な歪みであるピクチャブロック歪みが抽出できる。これは、符号化されたブロック全体で、ブロックの中の唯一のゼロ以外の係数として、ＤＣを有するＩＮＴＲＡ符号化ブロックのパーセンテージを取ることによって行われる。この値は、検出の信頼性を高めるために、省略されたＭＢ及び符号化されていないＭＢの数で修正される。これらは全て前記圧縮されたビットストリームから抽出される。
【００３２】
現在、ビデオ品質の客観的な測定は、以下の３つの主要なカテゴリの元で実施される。つまり完全（ｆｕｌｌ）参照モデル、削減（ｒｅｄｕｃｅｄ）参照モデル、及び非（ｎｏ）参照モデルである。非参照モデルは他の２つより簡略となる大きな可能性があり、参照データ（完全または削減のどちらか）に対するアクセスが高価である、あるいは不可能であるネットワーク全体での品質の評価または監視のために使用される可能性が高いと考えられる。したがって、この評価精度を犠牲にせずに非参照モデルの処理複雑度をどのようにして削減できるのかを確かめることはきわめて重要である。
【００３３】
非参照モデルの複雑度を簡略化する１つの方法とは、ピクチャを完全に復号することなくビットストリームから直接的にモデルパラメータを抽出することである。事実上、現在の非参照モデルの大部分は、必要とされるモデルパラメータを抽出するために、復号されたピクチャに作用する。したがって相対的な簡略さの程度、つまり非参照モデルのこれら２つの方法の処理効率は、それぞれの方式の下で必要とされる個々の処理操作量である。
【００３４】
一般的には、非参照モデルパラメータは、動き、空間詳細または文脈上の詳細、端縁、コントラスト感度等を含む。これらのそれぞれを復号されたピクチャから生成するには、大きな処理が必要になる場合がある。例えば、エンコーダでの動きベクトルの推定は、通常、エンコーダの処理能力の約６０％を要する（速度の基準としては１つのモードだけで十分であるが、エンコーダが種々の動き推定モードを試験する可能性があり、したがって前記パーセンテージは６０％未満となる場合があるが、依然として高い場合があることに留意されたい）。ビデオエンコーダがビデオデコーダより３倍から５倍多くの処理を要求していることを考えると、動きの推定だけでピクチャを復号するより２−３倍多くの処理を必要とする場合があると言うことができる。したがって、復号されたピクチャでの非参照モデルパラメータ（例えば、動き、空間または文脈上の詳細、端縁、コントラスト感度、ブロック歪み）の導出は、ピクチャの復号より数倍（例えば５倍）多くの処理を要求する場合がある。正確な比率は、これらのそれぞれのインプリメンテーションがどれほど複雑である可能性があるのかに依存する。
【００３５】
他方、ビットストリームからモデルパラメータを導出することは、必要とされている情報がすでにビットストリームの中に埋め込まれていることを考慮すると、ピクチャを復号するために必要とされる処理の一部分に過ぎない。ここで、必要とされるのは、ピクチャを復号することの非常に微小な一部分である逆ＶＬＣ（テーブルルックアップを使用して非常に高速）である。したがって復号されたピクチャから導出されるものと比較して、ビットストリームからモデルパラメータを抽出する複雑度は非常にごくわずかであり（例えば５％から１０％、あるいはさらに低い）、前記提案されている方法は限界費用でのビデオ品質のオンライン監視のために使用できる。
【００３６】
画質評価のための完全参照モデルでは、多くの場合符号化歪みまたはピーク信号対雑音比（ＰＳＮＲ）が使用される。ＰＳＮＲが画像品質（歪み）の人間の認知を正確に表していないと主張することはできるが、それにも関わらずそれは非常に強力な指標である。事実上、全ての既知の完全参照モデルは、何らかの形で、いくつかの他の知覚的に最適化されたパラメータを引き出すために元の画像と処理済みの画像の差異（歪み）を使用する。
【００３７】
ここで、ＰＳＮＲが品質の指標であると仮定する場合には、問題は、参照ピクチャを使用しない非参照モデルでは、どのようにしてそれを品質（歪み）の基準として使用できるのかという点である。ＰＳＮＲがどのように定義されるのかを見ると、これを行うことができることが明らかになる。
【００３８】
完全参照モデルでは、ＰＳＮＲは以下のように定義されている。
【数６】
0004444840.tif 000007
【００３９】
この方程式の中で、ε２は元のピクチャと処理済みのピクチャの間の二乗平均誤差である。符号化歪みが単に（ビデオ符号化のケースである）量子化歪みのためだけである場合には、二乗平均誤差、ε２、および量子化器ステップサイズＱの間に直接的な関係がある。例えば、量子化器ステップサイズＱで均一に分散される信号の場合、平均二乗量子化歪みは図２に図示されるとおりであり、ここで（ａ）は量子化歪みの分散を示し、（ｂ）は量子化された範囲内での係数の確率密度関数を示す。
【００４０】
平均歪みは以下のように計算される。
【数７】
0004444840.tif 000008
【００４１】
このようにして、量子化器ステップサイズＱで言うと、（ｄＢ単位の）ＰＳＮＲは以下のように定義できる。
【数８】
0004444840.tif 000009
【００４２】
ビデオコーデックでは、量子化は変換係数に適用されるが、測定済みの歪みは元のピクセルと復号されたピクセルの間であることに留意されたい。しかしながら、ＤＣＴ変換は線形演算子であるため、パーセバルの定理のために、変換領域及びピクセル領域におけるエネルギーは等しい（これは、順方向変換及び逆方向変換での変換係数のスケーリングに応じて、定数因子により変化する場合がある）。
【００４３】
図３は、測定済みのＰＳＮＲを、毎秒２Ｍｂｉｔで試験シーケンス「Ｎｅｗ  Ｙｏｒｋ（ニューヨーク）」について方程式（１）を使用して（つまり均一のｐｄｆを仮定して）量子化器ステップサイズから計算されるＰＳＮＲと比較する。分かるように、モデルの非常に大雑把な見積もりにも関わらず、計算されたＰＳＮＲは測定されたＰＳＮＲに非常に緊密に近似する。しかしながら、測定されたＰＳＮＲは安定し、円滑であるが、計算されたＰＳＮＲはアンカー（Ｉ、Ｐ）ピクチャとＢ−ピクチャの値の間で揺れる。この挙動を分析するために、図４は、さらに細かいスケールで前記シーケンスの２、３のフレームを示している。この図は、Ｂピクチャについて、計算されたＰＳＮＲが測定された値未満であり、Ｐピクチャ及びＩピクチャについては逆であることを示している。差異は、毎秒１．５Ｍｂｉｔでの同じシーケンスについての、図５及び図６に図示されるようなさらに大きな量子化器ステップサイズ（さらに低いビットレート）の場合、さらに大きくなる。
【００４４】
言うまでもなく、２つの方法が正確に等しい値を示さなければならないことは期待されていない。しかしながら、Ｂピクチャの計算済みのＰＳＮＲ値が、それらの測定済みの値はほぼ等しいが、Ｉピクチャ及びＰピクチャの計算済みのＰＳＮＲ値よりも少ない理由は２つの要因のためである。第１に、係数についての均一な量子化歪みの仮定は正しくない。ほぼ均一なｐｄｆを有する唯一の係数はＩＮＴＲＡ符号化されたブロックのＤＣ係数である。したがって、不均等な振幅分布を有するＩピクチャのＡＣ係数の場合でさえも、方程式（１）は有利に、１／Ｑという均一な分布よりむしろ既知の不均等な密度関数ｆ（ｘ）で修正できるであろう。
【００４５】
係数の分布は不均等であるが、不均等の程度はピクチャ型ごとに変わることに留意されたい。効率的な動き補償の結果のＢピクチャでは、分布は非常に急勾配であり、係数の大部分はゼロに近い。好ましくはこれも考慮に入れる必要がある。
【００４６】
第２に、エンコーダでは、Ｂピクチャの量子化器ステップサイズは２つの理由から慎重に増加される。第１に、分かるように、Ｂピクチャは効率的に動き補償されるため、それらは、量子化器ステップサイズの値が何であれ、通常小さい。しかしながら、それらが符号化されるには大きい場合には、それらが相対的に粗く量子化されていても変わりはない。第２の理由は、Ｂピクチャはエンコーダの予測ループによって使用されないため、たとえそれらがひずんでいようとも、この歪みは続くピクチャの中に広がらないという点である。これは、この粗い量子化によるビットの任意の節減が後に返されなければならないＩピクチャ及びＰピクチャでは当てはまらない。
【００４７】
ここで、不均等な密度関数を仮定する推定されたＰＳＮＲの計算を考える。量子化のための実際の二乗平均誤差は以下のとおりでなければならない。
【数９】
0004444840.tif 000010
【００４８】
この積分の解決済みの解を導出するために、係数が、図７に描かれる以下の型の不均等分布を有すると仮定する。
【数１０】
0004444840.tif 000011
【００４９】
αが密度関数の崩壊速度であり、βが重み係数である場合、ｐｄｆが単一性に正規化されることを確認する。すなわち、
【数１１】
0004444840.tif 000012
【００５０】
したがって、βはαという点で以下のように検出できる。
【数１２】
0004444840.tif 000013
【００５１】
その結果、
【数１３】
0004444840.tif 000014
【００５２】
となる。
【００５３】
この不均等なｐｄｆを用いると、二乗平均誤差は、
【数１４】
0004444840.tif 000015
【００５４】
である。
【００５５】
整数は、αｘ＝ｕとすることにより簡略化でき、この場合、
【数１５】
0004444840.tif 000016
【００５６】
簡略な操作及び積分後、それは、
【数１６】
0004444840.tif 000017
【００５７】
となり、積分限度及び方程式（４）からのβの値を代入すると、二乗平均歪みは、
【数１７】
0004444840.tif 000018
【００５８】
となり、この歪みのあるＰＳＮＲは、
【数１８】
0004444840.tif 000019
【００５９】
となる。
【００６０】
図８は、毎秒１．５ＭｂｉｔでのＮｅｗ  Ｙｏｒｋシーケンスについて、ＰＳＮＲを均一な密度関数と比較するだけではなく、この新しいＰＳＮＲを測定された値とも比較する。この図では、全てのピクチャ型に、理想的な選択肢ではないα＝１が仮定されるが、簡単にする目的でこれが選ばれた。現実には、αは異なるピクチャ型について別に、それぞれの型について測定されたＰＳＮＲに適合するために選ばれなければならない。また、それはさらに低いビットレートの場合大きくなくてはならない（さらに大きな予想量子化器ステップサイズ）。
【００６１】
図９はさらに細かいスケールでＰＳＮＲを示す。分かるように、優れた適合にも関わらず、依然としてある程度の振幅がある。すなわち、計算されたＢピクチャのＰＳＮＲは、Ｐピクチャ及びＩピクチャと比較してある程度の落下がある。
【００６２】
この振幅は、エンコーダが、Ｉピクチャ及びＰピクチャの量子化器ステップサイズに比べて、Ｂピクチャについてさらに大きな量子化器ステップサイズを選ぶという事実のためである。これは、１．４という係数でＢピクチャにさらに少ないビットを割り当てるために、複雑度インデックスを通してエンコーダのビットレート割り当てアルゴリズムに実現される。したがって、割り当てられたビットは１．４で削減されるため、Ｂピクチャの量子化器ステップサイズ、ＱＢはこの係数で累乗される。したがって、ＰＳＮＲ計算では、図１のステップ４についてすでに説明されたように、それらを１．４で除算する（ＱＢが１１２というこの飽和値に達した場合には、この低い画質では、Ｉピクチャ及びＰピクチャの量子化器ステップサイズも飽和した可能性があるため、除算するべきではないことに留意されたい）。
【００６３】
図１０は、測定された値と対照して、不均等分布のＰＳＮＲを、修正されたＢピクチャ量子化器ステップサイズに比較する。分かるように、ＰＳＮＲはここでははるかに円滑であり、さらに細かいスケールでのこの変動は図１１に図示されている。
【００６４】
したがって、ここまで、量子化器ステップサイズが、参照モデルにおける二乗平均誤差（ＰＳＮＲ）と類似するように作用できることを示した。さらに信頼できる品質測定基準であるためには、二乗平均歪みは人間の視覚系の応答を考慮に入れる必要があると考えられるため、非参照モデルも考慮に入れるべきである。以下では、非参照モデルのための必要とされるパラメータを、圧縮されたビットストリームからどのようにして抽出できるのかを示す。
【００６５】
視聴者は、ピクチャの詳細な領域または端縁近くでのより多くの歪みに耐える。これは人間の視覚系の空間マスキングとして知られている。したがって、これらの領域での画質に対する量子化器ステップサイズの影響は、空間的な詳細の量だけ、削減できる。
【００６６】
ピクチャ詳細、つまり空間的な複雑度もビットストリームから導出できる。これはビットストリーム内の符号化されたブロックあたりのゼロ以外の量子化済み係数の数をカウントすることにより行うことができる。これは、ピクチャ内の空間的な詳細が高いほど、画像エネルギーは係数の間でより分散されるためである。
【００６７】
水平の端縁、垂直の端縁及び対角線の端縁も、これらの方向のそれぞれでの量子化されたゼロ以外の係数の大半を検査することにより決定できる。
【００６８】
この方法はある程度まで信頼できるが、より高い量子化器ステップサイズではこれの長所を失うことが言及されなければならない。しかしながら、さらに高い量子化器ステップサイズでは、ピクチャはむらがあるようになり、ピクチャのブロック歪みは後述される主要な品質（歪み）指標となるため、ビデオ品質測定基準の場合、これは重要ではない。
【００６９】
実験では、ゼロ以外の符号化された係数の数から導出された空間複雑度係数Ｘで、マクロブロックあたりの量子化器ステップサイズＱを除算した。例えば、ジグザグ走査順序でのブロックあたりのゼロ以外の係数の数がそれぞれ３、６、１０または１５未満である場合、Ｘは１、１．２、１．４及び１．６で、それ以外の場合１．８となる場合がある（これは近似である。つまり、ＩＮＴＲＡ  ＭＢでは、ＩＮＴＥＲ  ＭＢよりブロックあたりさらに多くの係数が符号化されるため、適切な値を検出するさらに精密な手法では、ＭＢ型が考慮に入れられるであろう。）したがって、いままでのところ、ピクチャのための品質測定基準はこのピクチャ内のこの修正された量子化器ステップサイズの平均である。
【数１９】
0004444840.tif 000020
【００７０】
ピクチャの表示品位とピクチャあたりのＱｘの本発明者らの大雑把な主観的な比較は非常に強力な相関を示す。これは、ピクチャあたりＱｘのグラフに対照して、符号化されたフレームを指すポインタ（残念なことにそれはＩピクチャだけを示している）を用いて符号化されたビデオのセグメントを実行することにより行われた。
【００７１】
空間マスキングと同様に、ひずんだオブジェクトの動きは、動き量（時間マスキング）に応じてさまざまな外観を有する。ビットストリーム中の動きベクトルは、ピクチャ内での動きのための測定の基準として抽出、使用できる。マクロブロック（ＭＢ）ごとに以下のように定義される動き絶対値を使用し、
【数２０】
0004444840.tif 000021
【００７２】
次に、ピクチャあたりの動き量の表示として使用されるフレーム全体でそれらを平均した。ビットストリームから動き絶対値を導出する上で、ピクチャ型を考慮して注意を払う必要がある。例えば、Ｐピクチャの中の動きベクトルは過去のアンカーピクチャを指すため、それらの絶対値は３で除算されなければならない（Ｍ＝３、Ｎ＝１２のＧｏＰフォーマットを使用した。つまり、アンカーピクチャは３個の離れたフレームであり、Ｉピクチャの期間は１２フレームである）。Ｂピクチャでは、Ｂ１ピクチャの場合、順方向動きベクトルが直接的に使用されるが、逆方向動きベクトルの絶対値は２で除算される必要がある。逆はＢ２ピクチャに当てはまる。言うまでもなく、Ｉピクチャのための動きベクトルはないであろうが、これはＩピクチャがいかなる動きも有さないことを意味するのではない。
【００７３】
実験では、シーケンスの移動指標として、単にＰピクチャから導出された動き絶対値を使用した。動きの変化がフレームの速度よりはるかに低速であり、Ｐピクチャの動き絶対値（ｔｈａｔ）がシーケンス内の他のフレームにも使用できるため、これは適切に作用する。シーンカットでは、Ｐピクチャのためのいかなる動きベクトルもないであろうことに留意されたい。したがって、ビットストリームからシーンカットを検出する方法はきわめて望ましい。これを以下に説明する。
【００７４】
動き値を検出すると、問題は、ビデオ品質測定基準を修正するためにそれをどのように使用できるかである。それがどのように使用されるのかを確かめる最善の方法は、完全参照モデルにある。本発明者らの実験では、動きの強さに従って歪みの影響を削減する単純なモデルを使用した。ブロック歪み及び端縁での歪みのような特定の歪みは、例えば中間速度よりさらに高速でさらに可視となる可能性があるために、これは最適モデルではない。
【００７５】
本発明者らのモデルでは、量子化器ステップサイズ、空間マスキング及び時間マスキングを考慮すると、これまで品質測定基準ＱＭは以下のように定義され、
【数２１】
0004444840.tif 000022
【００７６】
ここではＱｘはフレームあたりの空間的に修正された平均量子化器ステップサイズであり、Ｖはフレームあたりの動きの絶対値である。
【００７７】
図１２に示されている毎秒１Ｍｂｉｔ、毎秒１．５Ｍｂｉｔ及び毎秒２Ｍｂｉｔで「Ｓｃｏｒｐｉｏｎ（さそり）」シーケンスの品質測定基準（ＱＭ）曲線に対してビデオのセグメントを実行すると、強力な相関が示される。
【００７８】
視聴者は、中間範囲においてよりも、ピクチャのさらに暗い領域及びさらに明るい領域において、より大きな歪みに耐えることができる。これは、人間の視覚系のコントラスト感度として知られている。したがって、フレーム内のピクセルの平均強度は、品質測定基準指標を修正し、コントラスト感度を補償するために使用できる。
【００７９】
各ＩＮＴＲＡ符号化ブロックのＤＣ係数は、ＤＣつまりこのブロックの中の量子化されたピクセルの平均値を表す。したがって、全てのブロックが内部符号化されているＩピクチャのＤＣ係数を抽出すると、Ｉピクチャの全体的な強度を示すことができる。言うまでもなく、それらが主に予測的に符号化されるため、これはＰピクチャ及びＢピクチャには適用できない。しかしながら、動きのように、ピクチャの暗さは高速で変化しないため、Ｉピクチャの暗さはピクチャのグループ（ＧｏＰ）内のピクチャ全体を表すのに十分である可能性がある。
【００８０】
Ｉピクチャ内のＤＣ値を抽出することはある程度注意深く行う必要があることに留意されたい。事実は、多くの場合、ＤＣ係数がそれらの近隣ＤＣ値から空間的に予測され、したがってそれらは適切に復号される必要がある。しかしながら、これは係数を逆変換することを意味するのではなく、それらの予測されるＤＣ係数に追加することを意味する。
【００８１】
ここで「ブロック歪み」の検出を見ると、低ビットレートでは、あるいはさらに大きな量子化器ステップサイズでは、ピクチャはむらになる。量子化器ステップサイズはピクチャブロック歪みに関与しているが、それは直接的にブロック歪み指標として使用することはできない。例えば、ピクチャの単調な領域では、いくつかの小さな量子化器ステップサイズがピクチャブロック歪みを示してよいが、詳細な領域では、たとえいくらかのピクチャ詳細が失われることがあっても、なおほどよく大きな量子化器ステップサイズはいかなるブロック歪みも示してはならない。
【００８２】
圧縮されたビットストリームが、ピクチャにむらがあるかどうかを示すためには、なぜピクチャがむらになるのかを理解しなければならない。
【００８３】
一般的には、ピクチャブロック歪みはＭＢ型に依存している。マクロブロックがＩＮＴＲＡ符号化される場合、そしてＤＣ係数がこのブロックの唯一のゼロ以外の係数である場合には、このような復号されたブロックはむらがあるように見える。これは、ブロックの８×８＝６４ピクセル全てが単一の値（ＤＣ）から再構築され、全てが等しくなるためである。他方、さらに多くの係数が符号化される場合には、ブロック内のピクセル値は互いと異なり、ブロックはむらがあるように見えない。したがって、ブロックがＤＣ係数だけを有し、全てのＡＣ係数がゼロであるならば、全てのピクチャ型のＩＮＴＲＡ符号化されたブロックがブロック歪みにつながることがある。
【００８４】
ただ１つのＤＣ係数のある（Ｐピクチャ及びＢピクチャの）ＩＮＴＥＲ符号化ブロックがブロック歪みを引き起こさないことに留意されたい。これは、予測ブロックがむらでないならば、このブロックのための再構築されたフレーム差異が、それらの予測に追加されるときに等しい値を有しているとしても、再構築されるピクセルはむらがあるように見えないためである。ブロック歪みは他のＭＢ型でも作成されてよい。言うまでもなく、これはピクチャに依存している。例えばＰピクチャでは、符号化されていないＭＢは全ての係数をゼロに設定させる（ｃｂｐ＝０）が、動きベクトルはゼロ以外である。この場合、デコーダにおいて、ＭＢの全ての１６×１６ピクセルが過去のフレームからコピーされ、動きベクトルにより変位される。動きベクトルの値及び方向はフレームごとに変化するため、この種のブロック歪みは前述されたものよりは不穏ではないが、これらのブロックのコピーは、ピクチャをむらがあるように見せるＭＢ境界の周りにいくつかの端縁を生じさせる。
【００８５】
Ｐピクチャでは、省略されたＭＢもブロック歪みにつながる可能性がある。これらのピクチャでは、ＭＢの中で量子化された係数の全てがゼロ（ｃｂｐ＝０）であり、動きベクトルもゼロである場合、（符号化されていないとして処理されるであろうスライス内の最初のＭＢ及び最後のＭＢを除き）ＭＢは省略される。デコーダはこれらのＭＢに対して処置を講じず、したがってピクチャのこれらの部分は更新されない（過去のフレームからの直接的なコピー）。したがって、この位置での過去のピクチャにむらがある場合、それは現在のピクチャに転送される。
【００８６】
Ｂピクチャでは、符号化されていないＭＢ及び省略されたＭＢはＰピクチャのそれらとは異なる。このピクチャ型では、省略されたＭＢはｃｂｐ＝０を有するだけではなく、これの隣接するＭＢの同じ動き予測も有さなければならない（動き及び予測の方向の同じ値）。したがって、この種の復号されたＭＢは、何らかの動きベクトルにより変位される過去のフレームからＭＢの１６×１６ピクセルをコピーし、したがってブロック歪みを生じさせる。Ｂピクチャ内の符号化されていないＭＢはｃｂｐ＝０のものであるが、予測の方向またはこれの動きベクトルはこのじかに隣接するＭＢと同じではない。したがって、符号化されていないＭＢもブロック歪みにつながることがある。
【００８７】
ゼロ以外の符号化されたブロックパターン（ｃｂｐ）のＭＢの符号化されていないブロック（全ての係数がゼロであるブロック）も、ブロック歪みにつながることがあることに留意されたい。これは、これらのブロックの場合、過去のフレームからのピクセルがコピーされるためであり、動きベクトルがフレームごとにさまざまな方向で指す場合、あるいは過去のブロックにそれ自体むらがあるときには、それらはむらがあるように見える場合がある。
【００８８】
要約すると、全ての型のマクロブロックがブロック歪みにつながることがある。しかしながら、省略されたＭＢ及び符号化されていないＭＢは、予測されるピクチャにむらがある場合にブロック歪みを引き起こすことがあり、それ以外の場合には、それらは何の問題も引き起こさない。必ずブロック歪みを引き起こす唯一の状況は、ＤＣのもの（ｏｎｅ）でなければならない、ブロック内にただ１つのゼロ以外の係数があるＩＮＴＲＡ符号化ＭＢである。したがって、ブロック歪み検出のためのさらに信頼できる方法は、ＩＮＴＲＡ符号化されたＭＢ型を探すことであり、このブロックのどれかがＤＣ係数だけしか有さない（全てのＡＣ係数はゼロである）場合、このＭＢはむらがあると記される。その結果、符号化されたブロックの総数（相互及び内部）でＤＣ係数だけがあるＩＮＴＲＡ符号化されたブロックのパーセンテージが、ブロック歪みの基準として定義される。省略されたＭＢ及び符号化されていないＭＢのブロック歪みに対する影響を考慮すると、フレームの中の全てのＭＢのブロック歪みステータスがフレームごとに記録され、更新される。したがって、フレームＮで、ＭＢが省略されるかあるいは符号化されていないかのどちらかである場合、それがフレームＮ−１でむらがあるならば、それは現在むらがあると宣言される。ＭＢのブロック歪みステータスはそれが符号化されると変化し、このＩＮＴＲＡ符号化ブロックのどれかがＤＣ係数だけを有する場合には、言うまでもなくむらがあるままとなる。したがって、ブロック歪みの総合的なパーセンテージを相応して計算し直す必要がある。しかしながら、ブロック歪みに対する省略されたＭＢ及び符号化されていないＭＢの影響は実現されていないため、ＤＣ係数だけのＩＮＴＥＲ符号化ブロックとＩＮＴＲＡ符号化ブロックの合計を考慮してよい。ＩＮＴＥＲ符号化ブロックを含めると、ある程度まで、省略されたＭＢ及び符号化されていないＭＢの欠如を補償してよい。
【００８９】
図１３は、毎秒１Ｍｂｉｔ、毎秒１．５Ｍｂｉｔ及び毎秒２Ｍｂｉｔで符号化される「Ｓｃｏｒｐｉｏｎ（さそり）」シーケンスのブロック歪みを描く。この図では、省略されたＭＢ及び符号化されていないＭＢの影響は考慮に入れられていないが、代わりに、ＤＣ係数だけの相互符号化ブロック及び内部符号化ブロックの合計が考慮される。主観的には、ピクチャは毎秒１Ｍｂｉｔでのシーケンスを通してむらがある。毎秒２Ｍｂｉｔでは、ピクチャ内にブロック歪みはない。毎秒１．５Ｍｂｉｔでは、ピクチャは真中でむらがあり、他の部分ではむらがない。これらの全てが、やはり図１３に示されるブロック歪み指標に一致する。
【００９０】
このグラフでは、省略されたＭＢ及び符号化されていないＭＢの影響が考慮に入れられていないことに留意されたい。Ｐピクチャ及びＢピクチャで、省略されたＭＢ及び符号化されていないＭＢが多すぎる場合（より低いビットレートで起こる）、それらは考慮されてよく、その結果それらは多すぎるＩＮＴＲＡ符号化されたＭＢを有することはできない。これによりこれらのピクチャのための検出器に対する信頼性が減じる。省略されたＭｂ及び符号化されていないＭｂの割合が大きいほど、検出器はより信頼できない。
【００９１】
シーン変更（カット）はピクチャ、したがって品質測定基準モデルの主観的な品質に影響を及ぼす。例えば、シーンカットのために、新しいシーンの平均的な輝度は、過去のシーンと非常に異なる可能性がある。動きの概念もシーンカットで変化し、何らかの他の影響がある。Ｐピクチャの場合、シーンカットでは、ＭＢは主にＩｎｔｒａ符号化であり、これにより相互符号化されたＭｂの数、したがってＰピクチャあたりの動きベクトルが削減され、それは誤った動き強度測定につながる可能性がある。
【００９２】
事実は、シーンカットもビットストリームから検出できるということである。しかしながら検出の機構はピクチャ型に依存している。ピクチャヘッダからピクチャ型が既知であることを考慮すると、多様なピクチャタイプのシーンカットは以下の方法で検索できる。
【００９３】
Ｐピクチャでは、シーンカットはＩＮＴＲＡ符号化ＭＢの割合を計算することにより確実に検出される。これは、シーンカットでは、フレーム差異信号が内部ＭＢより大きなエネルギーを有する場合があるためであり、したがってエンコーダは通常ＩＮＴＲＡモードでそれらを符号化する。
【００９４】
Ｂピクチャでは、順方向動きベクトル、逆方向動きベクトル及び補間された動きベクトルの割合を見なければならない。これは、シーンカットがＢピクチャで発生するときには、ピクチャが新しいシーンに属し、動きベクトルの大半が逆方向となる（それらが将来のアンカーピクチャを指す）ためである。さらに重要なことには、補間された動きベクトルの数は非常に少ないか、あるいはおそらく空である。したがって、シーンカットを検出する確実性の基準は、逆方向動きベクトル対順方向動きベクトルの割合となるであろう。あるいは、ピクチャ内のそれらのパーセンテージは、逆方向の場合非常に高くなくてはならないが、順方向または特に補間されたものの場合は非常に小さくなくてはならない。
【００９５】
シーンカットが第１または第２のＢピクチャで発生したかどうかを決定することもできる。これは、２つのＢピクチャの順方向動きベクトルと逆方向動きベクトルの割合を一緒に比較することにより実行できる。すなわち、両方のＢピクチャが主に逆方向動きベクトルを有する場合には、これは、両方のＢピクチャとも新しいシーンに属することを意味する。したがって、シーンカットは第１のＢピクチャで発生しなければならなかったが、発生しなかった。他方、一方が主に（第１のピクチャである）順方向を有し、他方が主に逆方向を有し、シーンカットは第２のＢピクチャで発生しなければならなかったが、発生しなかった。これは、第１のＢピクチャが旧いシーンに属し、第２のＢピクチャが新しいシーンに属するために発生する。
【００９６】
Ｉピクチャでシーンカットを検出することもできる。これを行うには、これの２つの過去のＢピクチャの順方向／逆方向動きベクトルの割合を見なければならない。シーンカットがＩピクチャで発生するとき、これの２つの過去のＢピクチャの動きベクトルの大半が順方向となるであろう。したがって、両方のＢピクチャが主に順方向の動きベクトルを有する場合、ＰピクチャまたはＩピクチャである場合がある将来のアンカーピクチャにシーンカットがある。したがって、ピクチャ型を加えたこの情報が、シーンカットがＩピクチャで発生したのか、あるいはＰピクチャで発生したのかを決定する。Ｐピクチャでシーンカット（ＩＮＴＲＡ符号化ＭＢの割合）を検出する前述された方法は、Ｐピクチャでシーンカットを検出する信頼性を改善するためにこれと結合できる。
【００９７】
圧縮されたビットストリームからのシーンカットの検出は、時間マスキングの精度にとって有効である。例えば、シーンカットで、Ｐピクチャが主にＩＮＴＲＡ符号化されることが分かっているため、時間マスキングで使用されるＰピクチャビットストリームには十分な動きベクトルがないであろう。しかしながら、これがシーンカットであることを検出すると、このピクチャのための動きベクトルの抽出を無視し、過去の値を使用する可能性がある。
【００９８】
図１４は、毎秒１Ｍｂｉｔ、毎秒１．５Ｍｂｉｔ、及び毎秒２Ｍｂｉｔでの（Ｉピクチャが有さない）Ｓｃｏｒｐｉｏｎ（さそり）シーケンスのＰピクチャの、省略されたマクロブロック及び符号化されていないマクロブロックの合計の数を示している。提示の目的のために、この数は他のピクチャ型に対して繰り返される。まず最初に、このグラフを調べると、これらの値は単独でブロック歪みを決定することはできないが、それらの数は大変重要であるため、ブロック歪み検出器の精度に影響を及ぼす（例えば、過去のフレームのどのパーセンテージにむらがあったのかに依存する）ことがあることが明らかになる。第２に、全てのビットレートで確かめるように、この数は、シーンカットである２１８の周りのフレームで大幅に削減される。したがって、Ｐピクチャでは、少数の省略されたＭＢ及び符号化されないＭＢがシーンカットの表示となることがある。
【００９９】
ビデオ品質測定基準（ＶＱＭ）は多様な形式で実現できる。１つの方法は、ブロックベースのエンコーダの主要な歪みであるブロック歪みを他の歪みから分離することである。強力なブロック歪みの場合、ビデオ品質（歪み）は唯一ブロック歪みの強さにより単に決定される。他方、より高い品質のビデオのためには、知覚モデルが使用される。
【０１００】
量子化器ステップサイズは前記知覚モデルの主要なパラメータである。それは、好ましくは、品質指標として、ピクチャ内の空間活動、時間活動、及びコントラスト感度パラメータにより修正される。
【０１０１】
ブロック歪み指標及び知覚指標の両方とも、フレームごとに引き出すことができる。結果として生じる値は、ビデオ品質の連続監視のために使用されてよい。ビデオセグメント（例えば、１０秒の長さ）の場合、フレームごとの品質指標はビデオ品質の単一の値を表すために統合される可能性がある。この値は、前記モデルの妥当性を正当化するために主観的な試験結果と比較できる。
【図面の簡単な説明】
【０１０２】
【図１】受信されたビデオ信号の品質を測定するための装置の一例のブロック図である。
【図２】量子化歪みの特性を図表を用いて描く図である。
【図３】試験結果を示すグラフである。
【図４】試験結果を示すグラフである。
【図５】試験結果を示すグラフである。
【図６】試験結果を示すグラフである。
【図７】係数振幅分布を図表を用いて描く図である。
【図８】追加の試験結果を描くグラフである。
【図９】追加の試験結果を描くグラフである。
【図１０】追加の試験結果を描くグラフである。
【図１１】追加の試験結果を描くグラフである。
【図１２】追加の試験結果を描くグラフである。
【図１３】追加の試験結果を描くグラフである。
【図１４】追加の試験結果を描くグラフである。
【図１】
0004444840.tif 000023
【図２】
0004444840.tif 000024
【図３】
0004444840.tif 000025
【図４】
0004444840.tif 000026
【図５】
0004444840.tif 000027
【図６】
0004444840.tif 000028
【図７】
0004444840.tif 000029
【図８】
0004444840.tif 000030
【図９】
0004444840.tif 000031
【図１０】
0004444840.tif 000032
【図１１】
0004444840.tif 000033
【図１２】
0004444840.tif 000034
【図１３】
0004444840.tif 000035
【図１４】
0004444840.tif 000036