(57)【要約】ビデオのコンテンツ複雑性を推定するために、予測残差のエネルギーが計算される。予測残差は通常、ビデオがより複雑ではなくより予測可能であるときにより小さい。予測残差のスケールはまた、符号化構成に依存し、例えばＩピクチャが通常、コンテンツが非常に小さく、そのためより小さく認識されたコンテンツ複雑性を有するときでさえ、Ｐ及びＢピクチャよりの大きい予測残差を有する。コンテンツ複雑性をより厳密に反映するために、整合スケーリング係数が異なる符号化構成に関して推定される。予測残差のエネルギー及び整合スケーリング係数に基づいて、ビデオに関するコンテンツ予測不能性パラメータ全体がビデオの圧縮歪み係数を計算するために推定され得る。スライシング歪み係数およびフリージング歪み係数と組み合わせられた圧縮歪み係数は、ビデオに関するビデオ品質メトリックを推定するのに用いることができる。
2015530807.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリーム内に含まれるビデオのビデオ品質を評価するための方法であって、
前記ビデオにおけるピクチャのブロックの予測残差に応じてコンテンツ予測不能性パラメータを決定するステップ（４２０）と、
前記ブロックの符号化構成に応じて前記コンテンツ予測不能性パラメータをスケーリングするステップ（４４０）と、
当該スケーリングされたコンテンツ予測不能性パラメータに応答して前記ビットストリーム内に含まれる前記ビデオのビデオ品質を表す品質メトリックを決定するステップ（４６０）と、
を含む、前記方法。
【請求項２】
前記コンテンツ予測不能性パラメータは、前記ブロックを予測する困難性の度合いを示し、前記スケーリングされたコンテンツ予測不能性パラメータの値は、前記ブロックと類似するコンテンツを有する他のブロックに関する第２のコンテンツ予測不能性パラメータと値と実質的に同じである、請求項１に記載の方法。
【請求項３】
前記符号化構成は、ピクチャタイプ及びＧＯＰ（グループオブピクチャ）構造のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項４】
前記コンテンツ予測不能性パラメータを決定するステップは、
前記予測残差のエネルギーを決定するステップと、
前記符号化構成に応じて前記予測残差の前記エネルギーをスケーリングするステップと、
を含む、請求項１に記載の方法。
【請求項５】
前記スケーリングするステップにおいて用いられるスケーリング係数は、前記予測残差がガンマ分布に従うことに基づいて決定される、請求項４に記載の方法。
【請求項６】
個々のスケーリング係数は、前記符号化構成に関する前記ガンマ分布の形状パラメータが他の符号化構成に関する他の形状パラメータと同一であることに基づいて、複数の符号化構成に関して決定される、請求項５に記載の方法。
【請求項７】
個々のコンテンツ予測不能性パラメータは、前記ビデオ内の複数のブロックのそれぞれ１つに関して決定され、前記ビデオに関するコンテンツ予測不能性パラメータ全体は、前記複数のブロックに関する前記コンテンツ予測不能性パラメータに応じて決定される、請求項１に記載の方法。
【請求項８】
前記ビットストリームの品質を監視するステップと、前記品質メトリックに応答してビットストリームを調整するステップと、前記品質メトリックに基づいて新しいビットストリームを作成するステップと、前記ビットストリームを伝送するのに用いられる分配ネットワークのパラメータを調整するステップと、前記品質メトリックに基づいて前記ビットストリームを保持するかどうかを決定するステップと、
のうちの少なくとも１つを実行するステップをさらに含む、請求項１に記載の方法。
【請求項９】
前記品質メトリックを決定するステップは、解像度及びフレームレートのうちの少なくとも１つにさらに応答する、請求項１に記載の方法。
【請求項１０】
ビットストリーム内に含まれるビデオのビデオ品質を評価する装置（５００）であって、
前記ビデオのピクチャのブロックに関する予測残差にアクセスし、前記ブロックの符号化構成を決定するように構成されたデコーダ（５２０）と、
コンテンツ予測不能性パラメータ計算器（５３４）であって、
前記ブロックの予測残差に応じてコンテンツ予測不能性パラメータを決定し、
前記ブロックの前記符号化構成に応じて前記コンテンツ予測不能性パラメータをスケーリングする、
ように構成されたコンテンツ予測不能性パラメータ計算器と、
当該スケーリングされたコンテンツ予測不能性パラメータに応答して前記ビットストリーム内に含まれる前記ビデオのビデオ品質を表す品質メトリックを決定するように構成された品質予測器（５５０）と、
を備えた、前記装置。
【請求項１１】
前記コンテンツ予測不能性パラメータは、前記ブロックを予測する困難性の度合いを示し、前記スケーリングされたコンテンツ予測不能性パラメータの値は、前記ブロックと類似するコンテンツを有する他のブロックに関する第２のコンテンツ予測不能性パラメータと値と実質的に同じである、請求項１０に記載の装置。
【請求項１２】
前記符号化構成は、ピクチャタイプ及びＧＯＰ（グループオブピクチャ）構造のうちの少なくとも１つを含む、請求項１０に記載の方法。
【請求項１３】
前記コンテンツ予測不能性パラメータ計算器は、前記予測残差のエネルギーを決定し、前記符号化構成に応じて前記予測残差の前記エネルギーをスケーリングする、請求項１０に記載の装置。
【請求項１４】
前記コンテンツ予測不能性パラメータ計算器は、前記予測残差がガンマ分布に従うことに基づいてスケーリング係数を決定する、請求項１３に記載の装置。
【請求項１５】
個々のスケーリング係数は、前記符号化構成に関する前記ガンマ分布の形状パラメータが他の符号化構成に関する他の形状パラメータと同一であることに基づいて、複数の符号化構成に関して決定される、請求項１４に記載の装置。
【請求項１６】
個々のコンテンツ予測不能性パラメータは、前記ビデオ内の複数のブロックのそれぞれ１つに関して決定され、前記ビデオに関するコンテンツ予測不能性パラメータ全体は、前記複数のブロックに関する前記コンテンツ予測不能性パラメータに応じて決定される、請求項１０に記載の装置。
【請求項１７】
前記ビットストリームの品質を監視することと、前記品質メトリックに応答してビットストリームを調整することと、前記品質メトリックに基づいて新しいビットストリームを作成することと、前記ビットストリームを伝送するのに用いられる分配ネットワークのパラメータを調整することと、前記品質メトリックに基づいて前記ビットストリームを保持するかどうかを決定することと、
のうちの少なくとも１つを実行するビデオ品質モニター（６４０、６５０、６６０）をさらに備えた、請求項１０に記載の装置。
【請求項１８】
前記コンテンツ予測不能性パラメータ計算器は、解像度及びフレームレートのうちの少なくとも１つにさらに応答して前記品質メトリックを決定する、請求項１０に記載の装置。
【請求項１９】
請求項１乃至９のいずれかに記載の方法に従って、ビットストリーム内に含まれるビデオのビデオ品質を評価するための命令を格納したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１２年８月２７日に出願されたＷＯ国際出願第ＰＣＴ／ＣＮ２０１２／０８０６３２号の利益を主張するものである。
【０００２】
本発明は、ビデオ品質測定に関し、より詳細には、ビットストリームレベルでのビデオ品質メトリックを決定する方法および装置に関する。決定されたビデオ品質メトリックはその後に、例えば、符号化パラメータを調整するために、または必要なビデオ品質を受信機側で提供するために使用されることができる。
【背景技術】
【０００３】
一般に、ビデオコンテンツがきめ細かければ細かいほど、または複雑であればあるほど、人間の眼によって許容され得るビデオコンテンツ中のアーチファクトがより多くなる。つまり、ビデオコンテンツが人間の目によって見られるとき、目に見えるアーチファクトがビデオコンテンツ自体によってマスクされ得る。人間の目のこの特性は、マスキング特性またはマスキング効果として知られている。したがって、視覚品質評価においては、コンテンツ複雑性を考慮に入れることができる。
【０００４】
本発明者らの以前の研究で、我々は、コンテンツ複雑性を表示するためにコンテンツ予測不能性（ＣＵ）パラメータを推定している。参照によりその教示が明確に本明細書に組み込まれる、本出願の権利者が所有するＰＣＴ出願、Ｆ．Ｚｈａｎｇ、Ｎ．Ｌｉａｏ、Ｋ．Ｘｉｅ、およびＺ．Ｃｈｅｎの名称「Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｖｉｄｅｏ  ｑｕａｌｉｔｙ  ｍｅａｓｕｒｅｍｅｎｔ」（特許文献１、整理番号ＰＡ１１００６１、以下では「Ｚｈａｎｇ１」）において、我々は、コンテンツ予測不能性に依存する補正関数によって調整されている量子化パラメータ（ＱＰ）を使用してビデオ品質を予測する方法を開示した。
【０００５】
参照によりその教示が明確に本明細書に組み込まれる、本出願の権利者が所有する別のＰＣＴ出願、Ｆ．Ｚｈａｎｇ、Ｎ．Ｌｉａｏ、Ｋ．Ｘｉｅ、およびＺ．Ｃｈｅｎの名称「Ｖｉｄｅｏ  ｑｕａｌｉｔｙ  ｍｅａｓｕｒｅｍｅｎｔ」（特許文献２、整理番号ＰＡ１１００５０、以下では「Ｚｈａｎｇ２」）において、我々は、ビットストリームから導出されたパラメータ（例えば、量子化パラメータ、コンテンツ予測不能性パラメータ、失われたブロックの比、伝播ブロックの比、誤り隠蔽距離、動きベクトル、フリージングの持続期間、およびフレームレート）を使用して圧縮歪み係数、スライシング歪み係数、およびフリージング歪み係数を推定する方法を開示した。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＰＣＴ／ＣＮ１１／００２０９６
【特許文献２】ＰＣＴ／ＣＮ２０１１／０８２８７０
【非特許文献】
【０００７】
【非特許文献１】Ａ．Ｂ．Ｗａｔｓｏｎ，  Ｒ．Ｂｏｒｔｈｗｉｃｋ，  ａｎｄ  Ｍ．Ｔａｙｌｏｒ，  ”Ｉｍａｇｅ  ｑｕａｌｉｔｙ  ａｎｄ  ｅｎｔｒｏｐｙ  ｍａｓｋｉｎｇ，”  ＳＰＩＥ  Ｐｒｏｃｅｅｄｉｎｇｓ，  ｖｏｌ．３０１６，  １９９７
【発明の概要】
【０００８】
本原理は、ビットストリーム内に含まれるビデオのビデオ品質を評価するための方法であって、ビデオにおけるピクチャのブロックの予測残差に応じてコンテンツ予測不能性パラメータを決定するステップと、ブロックの符号化構成に応じてコンテンツ予測不能性パラメータをスケーリングするステップと、以下で説明されるスケーリングされたコンテンツ予測不能性パラメータに応答してビットストリーム内に含まれるビデオのビデオ品質を表す品質メトリックを決定するステップと、を含む方法を提供する。
【０００９】
本原理はまた、ビットストリーム内に含まれるビデオのビデオ品質を評価する方法であって、ビデオ内のピクチャのブロックの予測残差及び符号化構成に応じてコンテンツ予測不能性パラメータを決定するステップであって、コンテンツ予測不能性パラメータは、ブロックを予測する困難性の度合いを示す、ステップと、ブロックの符号化構成に応じてコンテンツ予測不能性パラメータをスケーリングするステップであって、スケーリングされたコンテンツ予測不能性パラメータの値は、類似したコンテンツを有する他のブロックに関する第２のコンテンツ予測不能性パラメータと値と同じである、ステップと、以下で説明される決定されたコンテンツ予測不能性パラメータに応答してビットストリーム内に含まれるビデオのビデオ品質を表す品質メトリックを決定するステップと、を含む方法を提供する。本原理はまた、これらのステップを実行する装置を提供する。
【００１０】
本原理はまた、上述の方法に従って、ビットストリーム内に含まれるビデオのビデオ品質を評価するための命令を格納したコンピュータ可読記憶媒体を提供する。
【図面の簡単な説明】
【００１１】
【図１Ａ】Ｉピクチャ、ＰピクチャおよびＢピクチャとしてそれぞれ符号化されるべき３つの原ピクチャを描写するピクチャ例の図である。
【図１Ｂ】図１Ａに対応する生ＣＵパラメータを描写するピクチャ例の図である。
【図１Ｃ】本原理の実施形態により生成された、整合したＣＵパラメータを描写するピクチャ例の図である。
【図２Ａ】Ｉピクチャ、ＰピクチャおよびＢピクチャとしてそれぞれ符号化されるべき別の３つの原ピクチャを描写する別のピクチャ例の図である。
【図２Ｂ】図２Ａに対応する生ＣＵパラメータを描写するピクチャ例の図である。
【図２Ｃ】本原理の実施形態により生成された、整合したＣＵパラメータを描写するピクチャ例の図である。
【図３】Ｉピクチャ、ＰピクチャおよびＢピクチャそれぞれの生ＣＵパラメータ分布を描写する、ピクチャ例のグラフである。
【図４】本原理の実施形態に係るコンテンツ複雑性に基づいてビデオ品質を推定する例を描写する流れ図である。
【図５】本原理の１または複数の実装形態と共に使用することができるビデオ品質測定装置の例を描写するブロック図である。
【図６】本原理の１または複数の実装形態と共に使用することができるビデオ処理システムの例を描写するブロック図である。
【発明を実施するための形態】
【００１２】
分散およびエントロピーが自然画像の複雑性を測定するために使用され得ることが知られている。一般的な信号シーケンスでは、分散がコントラストまたはエネルギーを定量化し、エントロピーが偶発性または不確実性を推定する。非特許文献１に記載の研究では、コントラストおよび偶発性以外の、学習能力と呼ばれる別の複雑性に関連した特性がコンテンツ複雑性を測定するために使用され得ることを提案している。
【００１３】
学習能力は、予測可能性と類似していると考えられてよい。つまり、信号が近隣部によって表され得る可能性が高ければ高いほど、その予測可能性および学習能力がより高くなる。ビデオ符号化では、ビデオの冗長性を除去するのにイントラ予測およびインター予測が一般に使用される。詳細には、現在のブロックを以前に符号化されたブロックから予測することができ、現在のブロックそれ自体ではなく、現在のブロックと予測ブロックの間の差（すなわち、予測残差）を符号化することができる。一般に、イントラ予測またはインター予測が好適に働く場合、つまり、以前に符号化されたブロックから現在のブロックを好適に予測することができる場合、予測残差は小さくなり、かつ／または散在するようになる。したがって、ビデオ符号化の際の予測残差のエネルギーは、ビデオ信号を予測することができるのがどれだけ困難であるか（すなわち、コンテンツ予測不能性）についての良好な指標になり得る。本実施形態で、我々は、コンテンツ複雑性を表すのにコンテンツ予測不能性を使用する。
【００１４】
コンテンツ予測可能性パラメータが予測残差に基づいて定義される場合、それは、ビデオ信号を予測する困難性の度合いを測定するためのパラメータとして計算されることができる。予測残差は圧縮される領域で利用可能であるので、コンテンツ予測可能性パラメータは、復号される画像ピクセルを完全復号せずに、または復号される画像ピクセルにアクセスせずに測定することができ、したがって、ＱｏＥ（経験の品質）評価およびビデオインデクシングなどのＣＵパラメータを使用してアプリケーションの計算効率を促進することができる。
【００１５】
ほとんどの既存のビデオ圧縮規格、例えば、Ｈ．２６４およびＭＰＥＧ−２では、基本符号化単位としてマクロブロック（ＭＢ）を使用する。したがって、以下の実施形態では、基本処理単位としてマクロブロックを使用する。しかし、この原則は、異なるサイズのブロック、例えば８×８ブロック、１６×８ブロック、３２×３２ブロック、または６４×６４ブロックを使用するように適合されてよい。
【００１６】
一実施形態では、各マクロブロックについて、予測残差の分散またはエネルギーを使用して、二乗逆量子化ＤＣＴ係数の合計から逆量子化ＤＣ係数の二乗合計を引いたものと理論的に等しい、ＣＵパラメータを計算することができる。マクロブロックに対し予測が行われない場合、ＣＵパラメータは、ピクセルのエネルギーとして計算することができる。つまり、ＣＵパラメータを計算するのに逆ＤＣＴ（ＩＤＣＴ）は必要がない。ビットストリームから解析されるＱＰおよび量子化ＤＣＴ係数を考えると、逆量子化ＤＣＴ係数は、ＣＵパラメータを計算するには十分な精度で推定することができる。
【００１７】
Ｚｈａｎｇ１の例では、Ｈ．２６４／ＡＶＣが符号化に使用される場合、ｒ番目のマクロブロックのＣＵパラメータは次式の通りに計算することができる。
【００１８】
【数１】
2015530807.tif 000003
【００１９】
ここで、定数ＫMBはマクロブロック内のピクセルの総数、すなわちＨ．２６４／ＡＶＣでは２５６であり、０．６２５×２QPr/6はＨ．２６４／ＡＶＣのＱＰ値に関する量子化ステップを計算する近似された式であり、ｌはｒ番目のマクロブロック内の区画を示し、|ｌ|は、その中の区画の総数、例えば４×４ブロック区分化では１６区画、８×８ブロック区分化では４区画を表し、非負値ｋは、ｒ番目のマクロブロックのｌ番目の区画における量子化ＤＣＴ係数を示し、ＤＣＴ0,lは、ｌ番目の区画における量子化ＤＣ係数を指す。
【００２０】
上記のＣＵ計算は、ブロック内の任意のサイズおよび任意の区画のブロック（または、他の規格、例えばＨＥＶＣの符号化単位／予測単位）に適用することができる。本出願では、例えば式（１）で計算されたような、予測残差のエネルギーに基づいて計算されたコンテンツ予測不能性パラメータは、生ＣＵパラメータと表される。
【００２１】
予測技法は、符号化ピクチャタイプによって変わる。例えば、Ｉピクチャは、イントラフレーム予測だけをサポートし、ＰピクチャおよびＢピクチャよりも大きい予測残差を有することができる。インターフレーム予測により、Ｐピクチャは通常、Ｉピクチャよりも小さい予測残差を有する。Ｂピクチャは通常、双方向インターフレーム予測の故に、ＩピクチャおよびＰピクチャの両方よりも小さい予測残差を有する。つまり、異なるタイプのピクチャは、対応するピクチャが（例えば、ピクチャが同じシーンに属する、またはピクチャ間の類似尺度が閾値よりも小さい）類似したコンテンツを有する可能性がある場合でも、異なる数値スケールの予測残差を包含する。したがって、ピクチャについての予測残差エネルギーとして計算された生ＣＵパラメータは、ビデオコンテンツに依存するだけでなくピクチャタイプにも依存し、したがって、ピクチャの複雑性を正確に反映しない可能性がある。
【００２２】
図１Ａは、Ｉピクチャ、ＰピクチャおよびＢピクチャとしてそれぞれ符号化されるべき３つの例示的な原ピクチャを示す。対応する生ＣＵパラメータが図１Ｂに示されている。視覚化のためにＣＵパラメータ値は、ピクセル輝度に対し対数マッピングされている（すなわち、図１Ｂのピクセルの輝度は、図１ＡのマクロブロックにおけるＣＵパラメータの値に対応する）。ピクセルが明るければ明るいほど、ＣＵパラメータがより大きくなる。３つの原ピクチャは画像コンテンツが非常に類似しており、したがって、認識されるコンテンツ複雑性が非常に類似しているが、Ｉピクチャが最大の生ＣＵパラメータを有し、Ｂピクチャが最小の生ＣＵパラメータを有する。図２Ａおよび図２Ｂに示される別の例でも、類似した観察がされる。
【００２３】
図３は、異なるピクチャタイプについて、マクロブロックの生ＣＵパラメータ値の例示的な分布を示す。確率分布関数は、１５のビン幅（すなわち、生ＣＵパラメータ値の間隔）で正規化されたヒストグラムによって近似されている。生ＣＵパラメータは、５７６ラインビデオの連続した２５０フレーム内のＩピクチャ、ＰピクチャおよびＢピクチャそれぞれからの全マクロブロックについて計算されている。全体として生ＣＵパラメータは、Ｉピクチャで最大であり、Ｂピクチャで最小である。Ｉピクチャ、ＰピクチャからＢピクチャまで、確率分布曲線の尾部は細くなっている。図３の凡例には、各タイプのピクチャに別々に適合されているΓ分布パラメータを列記している。この例では、我々は、形状パラメータ（Ｉピクチャの０．０３３、Ｐピクチャの０．０４１、およびＢピクチャの０．０４９）は非常に類似しているが、スケールパラメータ（Ｉピクチャの４９１６、Ｐピクチャの１０８６、およびＢピクチャの３２４）は大いに異なることを観察する。
【００２４】
図１〜図３に示された例から、我々は、認識されたコンテンツ複雑性が非常に類似している場合でも、生ＣＵパラメータはピクチャタイプにより大幅に変化し得ることを観察する。より正確にコンテンツ複雑性を測定するために、本原理は、推定されるコンテンツ予測不能性パラメータを上述の認識された変化を考慮に入れて改善する方法および装置に向けられている。具体的には、生ＣＵパラメータは、別の符号化構成で得られたＣＵパラメータと整合するようにスケーリングされ、そのため、整合したＣＵパラメータは、認識されたコンテンツ複雑性をより密接に反映するようになる。ＣＵパラメータ整合の後、１つの符号化構成内の現在のブロックの整合したＣＵパラメータの値は、別の符号化構成内の別のブロックが現在のブロックと類似したコンテンツを有する場合、その別のブロックの整合したＣＵパラメータの値と実質的に同じになる。
【００２５】
提案されたＣＵパラメータ整合方法は、以下で論じられる２つの一般的仮定に基づいている。
【００２６】
仮定１  マクロブロックの生ＣＵパラメータ値は、独立ガンマ分布（Γ分布）と一致する。形状パラメータｋおよびスケールパラメータθでΓ分布している確率変数（random variable）Ｙは（Ｙ〜Γ（ｋ，θ）と表される）、以下の確率分布関数を有する。
【００２７】
【数２】
2015530807.tif 000004
【００２８】
仮定１は、マクロブロックの生ＣＵパラメータがピクセルまたは予測残差の分散、ならびに以下の補助定理として定義されるという観察に基づいている。
補助定理：ｘ1，ｘ2，．．．，ｘnが統計Ｎ（μ，σ2）確率変数である場合、それらの分散、すなわち
【００２９】
【数３】
2015530807.tif 000005
【００３０】
は、ガンマ分布の特別な場合
【００３１】
【数４】
2015530807.tif 000006
【００３２】
と一致する。
【００３３】
厳密に言えば、隣接ピクセルも残差も独立してガウス分布されておらず、したがって我々は、それらの分散が緩和形状パラメータｋによる一般化Γ分布Γ（ｋ，２σ2）と一致するという慎重な近似化をする。ただし、ｋはもはや（ｎ−１）／２と正確には等しくない。一般に、隣接ピクセルの相関およびスパース性（sparsity）は、ｋを（ｎ−１）／２よりもずっと小さくする。それでも、このような相関は、符号化構成が異なるにもかかわらず、同じ視覚コンテンツでは相対的に一貫しているはずである。したがって、我々は以下の仮定をする。
仮定２  （同じまたは類似したコンテンツの）生ＣＵパラメータ分布は、異なる構成のもとで、不変の形状パラメータｋと、場合により異なるスケールパラメータθとを有する。
【００３４】
上記の仮定に基づいて、ＣＵ整合の問題とは、異なる構成のスケールパラメータθを推定することになる。２つの構成ＸおよびＹがあると仮定すれば、推定問題は、ＣＵトレーニングセット｛ｘ｝Xおよび｛ｙ｝Yについての分布パラメータの最尤推定量によって解くことができる。
【００３５】
【数５】
2015530807.tif 000007
【００３６】
ここで、ｘおよびｙは、それぞれ構成ＸおよびＹのもとでのＭＢの生ＣＵパラメータ値を表し、ｎXおよびｎYは、それぞれセット｛ｘ｝Xおよび｛ｙ｝Yの総数である。
【００３７】
続いて、我々は、それぞれの構成でＭＢについてＣＵを整合し、整合したＭＢについてＣＵ（
【００３８】
【数６】
2015530807.tif 000008
【００３９】
と表される）を例えば次式の通りに得ることができる。
【００４０】
【数７】
2015530807.tif 000009
【００４１】
以下では、我々は、式（３）で記述した推定問題を解くための例示的な実施形態を提供する。式（２）および式（３）を参照すると、対数尤度は、
ｌ（ｋ,｛θ｝）＝（ｋ−１）（Σiｌｎｘi＋Σiｌｎｙi）−（ｎX＋ｎY）ｌｎΓ（ｋ）−（Σiｘi／θX＋Σiｙi／θY）−ｋ（ｎXｌｎθX＋ｎYｌｎθY）
となる。θXに関して対数尤度の導関数をゼロに設定すると、
【００４２】
【数８】
2015530807.tif 000010
【００４３】
が得られ、θXに対する以下の最尤推定量になる。
【００４４】
【数９】
2015530807.tif 000011
【００４５】
同様に、θYに対する最尤推定量は、次式の通りに導出されることができる。
【００４６】
【数１０】
2015530807.tif 000012
【００４７】
したがって、ｋを推定することなく、我々は、
【００４８】
【数１１】
2015530807.tif 000013
【００４９】
を得る。つまり、式（５）は、生ＣＵパラメータをスケーリングして構成ＸとＹの間でそれらを整合するための、構成ＸとＹのスケールパラメータθ間の比を提供し、この比はまた、整合スケーリング係数とも呼ばれる。
【００５０】
一例では、ＩＴＵ−Ｔ Ｐ．ＮＢＡＭＳ（ビデオメディアストリーミング品質のパラメトリック非侵入型ビットストリーム評価（Parametric Non-intrusive Bitstream Assessment of video Media Streaming quality））データベースがトレーニング（training）のために使用される場合、我々は、ビデオシーケンスの全ピクチャ内のすべての利用可能ＭＢについて、整合スケーリング係数を導出すると共に、整合したＣＵパラメータの平均値としてのビデオシーケンスのコンテンツ複雑性を推定する。この例では、コンテンツ複雑性は、ＣＵの重み付けされた組合せとして改良される。
【００５１】
【数１２】
2015530807.tif 000014
【００５２】
ここで、ｔ∈｛Ｉ｝、ｔ∈｛Ｐ｝およびｔ∈｛Ｂ｝は、それぞれＩピクチャ、ＰピクチャおよびＢピクチャを表し、ＣＵrはｒ番目のＭＢの生コンテンツ予測不能性パラメータ値であり、Ｔはピクチャの総数であり、ｃは定数であり、|ｒ|tはｒ番目のＭＢ内の区画の総数を表す。定数２０．６は、ＩピクチャとＢピクチャの間の整合スケーリング係数であり、定数３．５２は、ＰピクチャとＢピクチャの間の整合スケーリング係数である。
【００５３】
図１Ａおよび図２Ａの例では、整合したＣＵパラメータが、それぞれ図１Ｃおよび図２Ｃに示されている。図１Ｂおよび図２Ｂに示された生ＣＵパラメータと比較して、整合したＣＵパラメータは、異なるピクチャタイプ間でより類似したスケール内にある。したがって、整合したＣＵパラメータは、コンテンツ複雑性をよりよく反映することができる。
【００５４】
ピクチャタイプに加えて、他の符号化構成、例えば、使用の際の圧縮規格、最大連続Ｂピクチャ、ＧＯＰ（ピクチャ群）構造、瞬時リフレッシュ速度、およびイントラ予測の予測方向の総数は、特にＩフレームがまれに使用される（すなわち、長いＧＯＰが使用される）場合に、予測効率に影響を及ぼし、それによって、Ｂ、ＰまたはＩピクチャの平均の生ＣＵパラメータ値に影響を及ぼす可能性がある。さらに、生ＣＵパラメータ値はまた、ビデオ解像度およびフレームレートに依存もする。例えば、解像度またはフレームレートが高いことにより、生ＣＵパラメータ値が低くなることが多い。その結果、異なる構成間の整合を決定することが必要になる。一実施形態では、符号化構成によって、異なるトレーニングセットが使用されることができ、したがって、それに応じて整合スケーリング係数が推定されることができる。例えば、解像度に関する冪関数およびフレームレートに関する冪関数が整合のために使用されることができ、これらは、整合したＣＵパラメータを構成とは独立して、かつコンテンツにだけ関連して保つことができる。
【００５５】
ビデオシーケンスの推定されたコンテンツ予測不能性パラメータ、例えば、式（６）のｚcは、ビデオ品質を測定するためのＺｈａｎｇ１（特許文献１）の式（１）中のＱCに代わって、または圧縮歪み係数を計算するためのＺｈａｎｇ２（特許文献２）の式（３）中のＣＵTに代わって使用されることができる。つまり、圧縮歪み係数は、次式の通りに計算されることができる。
【００５６】
【数１３】
2015530807.tif 000015
【００５７】
ここで、ＱＰTはビデオクリップの平均ＱＰであり、ｂ1およびｂ2は定数である。
【００５８】
圧縮歪み係数と他の歪み係数（例えば、スライシング(slicing)歪み係数およびフリージング（freezing）歪み係数）を組み合わせると、ビデオシーケンスのための総合ビデオ品質メトリックを得ることができる。予測残差がビットストリームで利用可能であるので、本原理によるビデオ品質測定は、ビットストリームレベルで実現することができる。
【００５９】
ｚcおよび他のパラメータを使用して、品質メトリック（quality metric）が次式の通りに計算されることができる。
【００６０】
【数１４】
2015530807.tif 000016
【００６１】
ここで、出力変数ｑは予測された品質スコアであり、定数ＭＯＳubおよびＭＯＳlbは、ＭＯＳ（平均オピニオンスコア）の上方境界および下方境界、すなわちそれぞれ５および１であり、α、β｛ａ｝および｛ｂ｝はモデルパラメータ（常にａc＝１）であり、添え字ｃ、ｆおよびｓは、それぞれ圧縮劣化、フリージング劣化およびスライシング劣化を示し、変数｛ｘ｝および｛ｚ｝は、ビデオデータから抽出されるモデル係数であり、一般に特徴とも呼ばれ、Ｒは幅×高さ／２５６であり、Ｆはフレームレートである。詳細には、｛ｘ｝および｛ｚ｝はそれぞれ、各タイプの劣化と関連づけられた鍵係数および共変量であり、例えば、ｘcは圧縮劣化の鍵係数であり、ｚsはスライシング劣化の共変量である。
【００６２】
図４は、本原理の実施形態に係るコンテンツ複雑性に基づいてビデオ品質を測定する例示的な方法４００を示す。方法４００はステップ４１０で開始し、予測残差が例えばビットストリームからアクセスされる。ステップ４２０で、生ＣＵパラメータが例えば式（１）に示された予測残差のエネルギーとして計算される。ステップ４３０で、異なる符号化構成の整合スケーリング係数が例えば式（５）を使用して推定される。ステップ４４０で、生ＣＵパラメータおよび整合スケーリング係数に基づいて、整合したＣＵパラメータが推定されて、コンテンツ複雑性が推定される。ステップ４５０で、整合したＣＵパラメータおよび他の符号化パラメータ（例えば、量子化パラメータ）に基づいて、圧縮歪み係数を計算することができる。圧縮歪み係数をスライシング歪み係数および／またはフリージング歪み係数と組み合わせると、ステップ４６０で、例えば式（８）を使用して、総合ビデオ品質メトリックを推定することができる。
【００６３】
ビデオ品質測定に加えて、コンテンツ予測不能性パラメータはまた、テクスチャ認識、物体認識、またはシーン認識において使用されることもできる。
【００６４】
図５は、ビデオ品質メトリックを生成するのに使用することができる、例示的なビデオ品質測定装置５００のブロック図を描写する。装置５００の入力は、ビットストリームを包含するトランスポートストリームを含む。入力は、ビットストリームを包含する他の形式でもよい。受信機がシステムレベルで、受信したビットストリーム中のパケット損失を決定する。
【００６５】
デマルチプレクサ５１０が入力ストリームを解析して、エレメンタリーストリームまたはビットストリームを得る。それはまた、パケット損失についての情報をデコーダ５２０に渡す。デコーダ５２０は、ビデオの品質を推定するためのパラメータを生成するために、ＱＰ、ピクチャタイプ、変換係数、およびそれぞれのブロックまたはマクロブロックの動きベクトルを含む必要な情報を解析する。デコーダはまた、パケット損失についての情報を使用して、ビデオ中のどのマクロブロックが失われたかを決定する。デコーダ５２０は、完全復号が行われないこと、すなわちビデオが復元されないことを強調するために、部分デコーダとして表されている。
【００６６】
デコーダ５２０により解析されたＭＢレベルＱＰを使用して、ＱＰ解析器５３３が、ピクチャおよび全ビデオクリップの平均ＱＰを得る。デコーダ５２０から得られた変換係数を使用して、変換係数解析器５３２が係数を解析する。コンテンツ予測不能性パラメータ計算器５３４が、変換係数、量子化パラメータおよび符号化構成に基づいて、個々のピクチャおよび全ビデオクリップのコンテンツ予測不能性パラメータを計算する。どのマクロブロックが失われたかについての情報を使用して、損失ＭＢタガー（tagger）５３１がどのＭＢが失われたかをマークする。さらに動き情報を使用して、伝播ＭＢタガー５３５が、予測のためにどのＭＢが損失ブロックを直接または間接に使用するか（すなわち、どのブロックが誤り伝播による影響を受けるか）をマークする。ブロックの動きベクトルを使用して、ＭＶ解析器５３６がＭＢ、ピクチャおよび全ビデオクリップの動きパラメータを計算する。他のモジュール（図示せず）が、誤り隠蔽距離、フリージングの持続期間およびフレームレートを決定するために使用され得る。
【００６７】
圧縮歪み予測器５４０が圧縮歪み係数を推定し、スライシング歪み予測器５４２がスライシング歪み係数を推定し、フリージング歪み予測器５４４がフリージング歪み係数を推定する。推定された歪み係数に基づいて、品質予測器５５０が総合ビデオ品質メトリックを推定する。
【００６８】
追加の計算が可能にされる場合には、デコーダ５７０はピクチャを復号する。デコーダ５７０はフルデコーダとして表され、ピクチャを復元し、必要に応じて誤り隠蔽を行う。モザイク検出器５８０が、復元されたビデオのモザイク検出を行う。モザイク検出結果を使用して、損失ＭＢタガー５３１および伝播ＭＢタガー５３５は、関連パラメータ、例えば損失ブロックフラグおよび伝播ブロックフラグを更新する。テクスチャマスキング推定器５８５は、テクスチャマスキング重みを計算する。テクスチャマスキング重みは、歪みを重み付けするのに使用することができる。
【００６９】
ビデオ品質測定装置５００は、例えば、ＩＴＵ−Ｔ Ｐ．ＮＢＡＭＳ規格で使用することができ、それぞれＨＲ（高解像度）シナリオおよびＬＲ（低解像度）シナリオとも呼ばれる２つのアプリケーションシナリオ、つまりＩＰＴＶおよびモバイルビデオストリーミングにおけるビデオ品質評価モデルで動作する。２つのシナリオの違いは、ビデオコンテンツの時空間解像度および符号化構成から、トランスポートプロトコルおよび見る条件にまで及ぶ。
【００７０】
Ｐ．ＮＢＡＭＳ ＶＱＭ（ビデオ品質モデル）への入力は、すべての伝送パケットヘッダ（ＵＤＰ／ＩＰ／ＲＴＰまたはＵＤＰ／ＩＰ／ＲＴＰ／ＴＳ）が付いた符号化ビデオビットストリームである。その出力は、目的ＭＯＳスコアである。Ｐ．ＮＢＡＭＳ作業の主な目標アプリケーションは、セットトップボックス（ＳＴＢ）またはゲートウェイのビデオ品質をモニターすることである。Ｐ．ＮＢＡＭＳモード１モデルは、ビットストリーム情報だけを使用し、モード２モデルは、ビデオシーケンスの一部または全部を復号することができ、ピクセル情報は、予測精度を改善するためにビットストリーム情報を解析することに加えて、視覚品質予測に使用される。
【００７１】
図６を参照すると、上述の特徴および原理が適用され得るビデオ伝送システムまたは装置６００が示されている。プロセッサ６０５がビデオを処理し、符号器６１０がビデオを符号化する。符号器により生成されたビットストリームは、分配ネットワーク６２０を介してデコーダ６３０に送信される。ビデオ品質モニターまたはビデオ品質測定装置（例えば、装置５００）は、異なる段階で使用されてよい。
【００７２】
一実施形態では、ビデオ品質モニター６４０は、コンテンツクリエータによって使用することができる。例えば、推定されたビデオ品質は、モード判断またはビットレート割当てなどの符号化パラメータを判断する際に、符号器によって使用されてよい。別の例では、ビデオが符号化された後で、コンテンツクリエータは、符号化されたビデオの品質をモニターするためにビデオ品質モニターを使用する。品質メトリックが所定の品質レベルを満たさない場合、コンテンツクリエータは、ビデオ品質を改善するためにビデオを再符号化する選択をすることができる。コンテンツクリエータはまた、符号化されたビデオを品質に基づいて格付けすることができ、それに応じてコンテンツに対し課金する。
【００７３】
別の実施形態では、ビデオ品質モニター６５０は、コンテンツ配給業者によって使用することができる。ビデオ品質モニターは、分配ネットワーク内に配置されてよい。ビデオ品質モニターは、品質メトリックを計算し、それらをコンテンツ配給業者に報告する。ビデオ品質モニターからのフィードバックに基づいて、コンテンツ配給業者は、帯域幅割当ておよびアクセス制御を調整することによってそのサービスを改善することができる。
【００７４】
コンテンツ配給業者はまた、コンテンツクリエータにフィードバックを送って符号化を調整することもできる。高品質の符号化されたビデオは通常、より大きい帯域幅を必要とし、また送信保護のために残す帯域幅が小さいので、符号器で符号化品質を改善することが、必ずしもデコーダ側の品質を改善しない場合があることに留意されたい。したがって、デコーダで最適品質に到達するには、符号化ビットレートとチャネル保護のための帯域幅との間のバランスが考慮されなければならない。
【００７５】
別の実施形態では、ビデオ品質モニター６６０は、ユーザデバイスによって使用することができる。例えば、ユーザデバイスがインターネットでビデオを検索する場合、検索結果が、要求されたビデオコンテンツに対応する多くのビデオまたは多くのビデオへのリンクを返すことができる。検索結果中のビデオは、品質レベルが異なり得る。ビデオ品質モニターは、これらのビデオの品質メトリックを計算し、どのビデオを選択して格納するかを判断することができる。別の例では、デコーダは、異なる誤り隠蔽モードに関して、隠蔽されたビデオの品質を推定する。その推定に基づいて、よりよい隠蔽品質を提供する誤り隠蔽がデコーダによって選択され得る。
【００７６】
本明細書で記述した実装形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号として実現されることができる。単一の形態の実装形態の文脈で論じられただけであっても（例えば、方法として論じられただけでも）、論じられた特徴の実装形態はまた、他の形態（例えば、装置またはプログラム）で実現されることもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアとして実現されることができる。方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能論理デバイスを含む処理デバイスを一般に指す、例えばプロセッサなどの装置として例えば実現されることができる。プロセッサはまた、例えばコンピュータ、セル電話、携帯情報端末（「ＰＤＡ」）などの通信デバイス、およびエンドユーザー間の情報の伝達を容易にする他のデバイスも含む。
【００７７】
本原理の「一実施形態」もしくは「実施形態」または「一実装形態」もしくは「実装形態」、ならびにそれらとは別の変形物に言及することは、その実施形態に関連して記述された特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、明細書全体を通して様々な場所に現れる、「一実施形態で」もしくは「実施形態で」または「一実装形態で」もしくは「実装形態で」という語句、加えて他の任意の変形物が現れても、すべてが同じ実施形態に言及しているとは限らない。
【００７８】
加えて、本出願またはその特許請求の範囲は、様々ないくつかの情報を「決定すること」を指すことがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの１または複数を含み得る。
【００７９】
さらに、本出願またはその特許請求の範囲は、様々ないくつかの情報に「アクセスすること」を指すことがある。情報にアクセスすることは、例えば、情報を受け取ること、情報を取り出すこと（例えば、メモリから）、情報を格納すること、情報を処理すること、情報を送信すること、情報を動かすこと、情報を複写すること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１または複数を含み得る。
【００８０】
加えて、本出願またはその特許請求の範囲は、様々ないくつかの情報を「受け取ること」を指すことがある。受け取ることは、「アクセスすること」と同様に、広範な用語になるものである。情報を受け取ることは、例えば、情報にアクセスすること、または情報を取り出すこと（例えば、メモリから）のうちの１または複数を含み得る。さらに、「受け取ること」は典型的には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を動かす、情報を複写する、情報を消去する、情報を計算する、情報を決定する、情報を予測する、または情報を推定するなどの動作中に、何らかの形で含まれる。
【００８１】
当業者には明らかになるように、実装形態は、例えば格納または送信されてよい情報を搬送するようにフォーマットされた様々な信号を生成することができる。この情報は、例えば、方法を実施するための命令、または記述した実装形態のうちの１つによって生成されたデータを含むことができる。例えば、信号は、記述した実施形態のビットストリームを搬送するようにフォーマットされることができる。このような信号は、例えば、電磁波として（例えば、無線周波数部分のスペクトルを使用して）、またはベースバンド信号としてフォーマットされることができる。フォーマットすることは、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログまたはディジタル情報であり得る。信号は、知られているように、様々な異なる有線リンクまたは無線リンクを介して送信されることができる。信号は、プロセッサ可読媒体に格納されることができる。
【図１Ａ】
2015530807.tif 000017
【図１Ｂ】
2015530807.tif 000018
【図１Ｃ】
2015530807.tif 000019
【図２Ａ】
2015530807.tif 000020
【図２Ｂ】
2015530807.tif 000021
【図２Ｃ】
2015530807.tif 000022
【図３】
2015530807.tif 000023
【図４】
2015530807.tif 000024
【図５】
2015530807.tif 000025
【図６】
2015530807.tif 000026
【国際調査報告】
2015530807.tif 000027
2015530807.tif 000028
2015530807.tif 000029