(57)【要約】シーンが均一にまたは高速に動くとき、人間の目はフリーズ・アーチファクトに敏感になる。動き均一性の強さを測るために、たとえばカメラのパン、チルトおよび並進によって引き起こされる等方的な動きベクトルを考慮するためにパン均一性パラメータが推定され、たとえばカメラのズームによって引き起こされる放射対称な動きベクトルのためにズーム均一性５パラメータが推定され、たとえばカメラの回転によって引き起こされる回転的対称動きベクトルのために回転均一性パラメータが推定される。その後、パン、ズームおよび回転均一性パラメータに基づいて全体的な動き均一性パラメータが推定される。次いで、フリーズ歪み因子が、全体的な動き均一性パラメータを使って推定されることができる１０。フリーズ歪み因子は、圧縮およびスライシング歪み因子と組み合わされて、ビデオ品質メトリックを推定するために使われることができる。
2015530806.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームに含まれるビデオについての品質メトリックを生成する方法であって：
前記ビデオのあるピクチャーについての動きベクトルにアクセスする段階と；
前記動きベクトルに応じて動き均一性パラメータを決定する段階と；
前記動き均一性パラメータに応じて前記品質メトリックを決定する段階とを含む、
方法。
【請求項２】
前記動き均一性パラメータに応答してフリーズ歪み因子を決定する段階をさらに含み、前記品質メトリックは前記フリーズ歪み因子に応じて決定される、請求項１記載の方法。
【請求項３】
前記動き均一性パラメータが、等方的な動きベクトル、放射対称な動きベクトルおよび回転的対称動きベクトルのうち少なくとも一つについての均一性の強さを示す、請求項１または２記載の方法。
【請求項４】
前記動き均一性パラメータが、パン、回転、チルト、並進、ズームインおよびズームアウトのうちの少なくとも一つを含むカメラ動作によって引き起こされる動きについての均一性の強さを示す、請求項１または２記載の方法。
【請求項５】
前記動き均一性パラメータを決定する段階がさらに：
前記動きベクトルに応答してパン均一性パラメータ、ズーム均一性パラメータおよび回転均一性パラメータのうちの少なくとも一つを決定する段階を含む、
請求項１または２記載の方法。
【請求項６】
前記ズーム均一性パラメータが、前記動きベクトルの放射方向投影に応じて決定される、請求項５記載の方法。
【請求項７】
前記ズーム均一性パラメータを決定する段階が：
左半分のピクチャーと右半分のピクチャーにおける動きベクトルの水平成分の和の間の第一の差ならびに上半分のピクチャーと下半分のピクチャーにおける動きベクトルの垂直成分の和の間の第二の差を決定する段階を含み、前記ズーム均一性パラメータは前記第一および第二の差に応答して決定される、
請求項５記載の方法。
【請求項８】
前記回転均一性パラメータが前記動きベクトルの角方向投影に応じて決定される、請求項５記載の方法。
【請求項９】
前記回転均一性パラメータを決定する段階が：
左半分のピクチャーと右半分のピクチャーにおける動きベクトルの垂直成分の和の間の第一の差ならびに上半分のピクチャーと下半分のピクチャーにおける動きベクトルの水平成分の和の間の第二の差を決定する段階を含み、前記回転均一性パラメータは前記第一および第二の差に応答して決定される、
請求項５記載の方法。
【請求項１０】
前記動き均一性パラメータは、前記パン均一性パラメータ、前記ズーム均一性パラメータおよび前記回転均一性パラメータのうちの前記少なくとも一つに応じた最大値関数および平均関数の少なくとも一方であるよう決定される、請求項５記載の方法。
【請求項１１】
前記ビットストリームの品質をモニタリングすること、前記品質メトリックに応答して前記ビットストリームを調整すること、前記品質メトリックに基づいて新たなビットストリームを生成すること、前記ビットストリームを送信するために使われる分配ネットワークのパラメータを調整すること、前記品質メトリックに基づいて前記ビットストリームを保持するかどうかを決定することおよびデコーダにおいて誤り隠蔽モードを選ぶことのうちの少なくとも一つを実行する段階をさらに含む、
請求項１または２記載の方法。
【請求項１２】
ビットストリームに含まれるビデオについての品質メトリックを生成する装置であって：
前記ビデオのあるピクチャーについての動きベクトルにアクセスするデコーダと；
前記動きベクトルに応じて動き均一性パラメータを決定する動きベクトル・パーサーと；
前記動き均一性パラメータに応じて品質メトリックを決定する品質予測器とを有する、
装置。
【請求項１３】
前記動き均一性パラメータに応答してフリーズ歪み因子を決定するスライシング歪み予測器をさらに有しており、前記品質メトリックは前記フリーズ歪み因子に応じて決定される、請求項１２記載の装置。
【請求項１４】
前記動き均一性パラメータが、等方的な動きベクトル、放射対称な動きベクトルおよび回転的対称動きベクトルのうち少なくとも一つについての均一性の強さを示す、請求項１２または１３記載の装置。
【請求項１５】
前記動き均一性パラメータが、パン、回転、チルト、並進、ズームインおよびズームアウトのうちの少なくとも一つを含むカメラ動作によって引き起こされる動きについての均一性の強さを示す、請求項１２または１３記載の装置。
【請求項１６】
前記動きベクトル・パーサーが、前記動きベクトルに応答してパン均一性パラメータ、ズーム均一性パラメータおよび回転均一性パラメータのうちの少なくとも一つを決定する、請求項１２または１３記載の装置。
【請求項１７】
前記動きベクトル・パーサーが、前記ズーム均一性パラメータを、前記動きベクトルの放射方向投影に応じて決定する、請求項１５記載の装置。
【請求項１８】
前記動きベクトル・パーサーが、左半分のピクチャーと右半分のピクチャーにおける動きベクトルの水平成分の和の間の第一の差ならびに上半分のピクチャーと下半分のピクチャーにおける動きベクトルの垂直成分の和の間の第二の差を決定し、前記ズーム均一性パラメータは前記第一および第二の差に応答して決定される、
請求項１５記載の装置。
【請求項１９】
前記回転均一性パラメータが前記動きベクトルの角方向投影に応じて決定される、請求項１５記載の装置。
【請求項２０】
前記動きベクトル・パーサーが、左半分のピクチャーと右半分のピクチャーにおける動きベクトルの垂直成分の和の間の第一の差ならびに上半分のピクチャーと下半分のピクチャーにおける動きベクトルの水平成分の和の間の第二の差を決定し、前記回転均一性パラメータは前記第一および第二の差に応答して決定される、
請求項１５記載の装置。
【請求項２１】
前記動きベクトル・パーサーが、前記動き均一性パラメータを、前記パン均一性パラメータ、前記ズーム均一性パラメータおよび前記回転均一性パラメータのうちの前記少なくとも一つに応じた最大値関数および平均関数の少なくとも一方であるよう決定する、請求項１５記載の装置。
【請求項２２】
前記ビットストリームの品質をモニタリングすること、前記品質メトリックに応答して前記ビットストリームを調整すること、前記品質メトリックに基づいて新たなビットストリームを生成すること、前記ビットストリームを送信するために使われる分配ネットワークのパラメータを調整すること、前記品質メトリックに基づいて前記ビットストリームを保持するかどうかを決定することおよびデコーダにおいて誤り隠蔽モードを選ぶことのうちの少なくとも一つを実行するビデオ品質モニタ（６４０、６５０、６６０）をさらに有する、
請求項１２または１３記載の装置。
【請求項２３】
請求項１ないし１１のうちいずれか一項記載の方法に従って、ビットストリームに含まれるビデオについての品質メトリックを生成するための命令を記憶しているコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2012年8月27日に出願された国際出願第PCT/CN2012/080627号の恩恵を主張する。
【０００２】
技術分野
本発明は、ビデオ品質測定に、より詳細には動き情報に応答してビデオ品質メトリックを決定する方法および装置に関する。決定されたビデオ品質メトリックは、その後、たとえばエンコード・パラメータを調整するため、あるいは必要とされるビデオ品質を受信器側で提供するために使用されることができる。
【背景技術】
【０００３】
フリーズ・アーチファクト（すなわち、視覚的な一時停止）の人間による知覚は、シーンの動きに密接に関係している。シーンが均一にまたは高速に動くとき、人間の目はフリーズ・アーチファクトに敏感になる。
【０００４】
F.Zhang,  N.Liao,  K.Xie,  and  Z.Chenによる「Video  Quality  Measurement」と題された、その教示がここに参照によって明示的に組み込まれる、本願と同一の所有者のPCT出願（PCT/CN2011/082870、代理人整理番号PA110050、以下「Zhang」）では、我々は、ビットストリームから導出されるパラメータ（たとえば、量子化パラメータ、コンテンツ予測不能性パラメータ、失われたブロックの比、伝搬されたブロックの比、誤り隠蔽距離、動きベクトル、フリーズの継続時間およびフレーム・レート）を使って圧縮歪み因子、スライシング歪み因子およびフリーズ歪み因子を推定する方法を開示した。
【発明の概要】
【課題を解決するための手段】
【０００５】
本願の原理は、ビットストリームに含まれるビデオについての品質メトリックを生成する方法であって：後述するように、ビデオのあるピクチャーについての動きベクトルにアクセスする段階と；前記動きベクトルに応じて動き均一性パラメータを決定する段階と；前記動き均一性パラメータに応じて品質メトリックを決定する段階とを含む方法を提供する。本願の原理はこれらの段階を実行する装置をも提供する。
【０００６】
本願の原理はまた、ビットストリームに含まれるビデオについての品質メトリックを生成する方法であって：後述するように、ビデオのあるピクチャーについての動きベクトルにアクセスする段階と；前記動きベクトルに応じて動き均一性パラメータを決定する段階であって、前記動き均一性パラメータは等方的（isotropic）動きベクトル、放射対称（radial  symmetric）動きベクトルおよび回転的対称（rotational  symmetric）動きベクトルのうちの少なくとも一つについての均一性の強さを示す、段階と；前記動き均一性パラメータに応じてフリーズ歪み因子を決定する段階と；前記フリーズ歪み因子に応じて品質メトリックを決定する段階とを含む方法をも提供する。本願の原理はこれらの段階を実行する装置をも提供する。
【０００７】
本願の原理はまた、上記の方法に従ってビットストリームに含まれるビデオについての品質メトリックを生成するための命令を記憶しているコンピュータ可読記憶媒体をも提供する。
【図面の簡単な説明】
【０００８】
【図１】本願の原理のある実施形態に基づく、種々のカメラ動き、対応する動き場ならびにパン、ズームおよび回転均一性パラメータ（IH、RHおよびAH）の規模を描く絵的な例である。
【図２】ＡおよびＢは、それぞれ放射方向への投影（radial  projection）および角方向への投影（angular  projection）を描く絵的な例である。
【図３】本願の原理のある実施形態に基づく、動き均一性に基づいてビデオ品質を推定するための例を描く流れ図である。
【図４】本願の原理の一つまたは複数の実装とともに使用されうるビデオ品質測定装置の例を描くブロック図である。
【図５】本願の原理の一つまたは複数の実装とともに使用されうるビデオ処理システムの例を描くブロック図である。
【発明を実施するための形態】
【０００９】
均一な動きはたとえゆっくりであっても、人間の目の注意を引きつけることがある。ビデオ・デコーダが、たとえばピクチャー・データまたは参照ピクチャーが失われるときにデコードをフリーズさせ、視覚的な一時停止を引き起こすとき、フリーズ・アーチファクトまたは視覚的な一時停止の人間による知覚はシーンの動きに密接に関係している。シーンが均一にまたは高速に動くとき、人間の目はフリーズ・アーチファクトに敏感になる。
【００１０】
カメラ動きはしばしばシーンにおける均一な動きを引き起こす。諸基本カメラ操作の典型的なセットは、パン、チルト、回転／スイング、並進／トラック／ブームおよびドリー／ズームを含む。ここで、パン、チルトおよびスイングはそれぞれY、XおよびZ軸のまわりの回転であり、一方、ブームおよびドリーはそれぞれYおよびZ軸に沿った並進である。コンテンツを捕捉するとき、カメラ動きは通例、あまり大きくなく、複数の型のカメラ操作が同時に実行されることはめったにない。したがって、カメラ操作はしばしば、単一の型の動き、たとえばパン、ブームまたは並進のみからなると見なされることができる。
【００１１】
図１は、さまざまなカメラ操作および例示的な、結果として得られる動き場を絵で示している。一般に、三つの型の動き場が生じる：Ａ）パン、チルトおよび並進／トラック／ブームによる等方的な（isotropic）動き場；Ｂ）ドリー／ズームによる放射対称な（radial  symmetric）動き場；およびＣ）回転／スイングによる回転的対称（rotational  symmetric）動き場。上記の動き場はみな、ピクチャー中の現在領域の動きベクトルが近隣領域の動きベクトルと大きく異ならない均一な（homogenous）動きを示す。一例では、カメラがパンするとき、捕捉されたビデオは均一な動きを示し、動きベクトルは実質的に同様の大きさで実質的に同様の方向を向く。もう一つの例では、カメラが回転するとき、捕捉されたビデオはやはり均一な動きを示し、動きベクトルは実質的に同様の角速度で同じ向き（すなわち、時計回りまたは反時計回り）に回転する。人間の目にとって、均一な動きは、動きベクトルがピクチャーを通じて実質的に一様である（uniform）または一貫している（consistent）ので、明らかな動きの傾向を呈しうる。これが、均一な動きをもつシーンがフリーズするときに、人間の目が動き傾向が継続することを期待するためにフリーズ・アーチファクトが人間の目に明らかになる理由でありうる。
【００１２】
さらに、前景および背景オブジェクトも均一な動きを引き起こしうる。たとえば、通り過ぎるバスまたは回転する風車のあるビデオにおいて、我々は均一な動きを見ることがある。
【００１３】
本願では、我々は、動きベクトル（MV）からビデオ・セグメントのための動き均一性パラメータを決定し、該動き均一性パラメータを、ビデオ・シーケンスについてのフリーズ歪み因子を推定するために使う。特に、動き均一性パラメータは、動きベクトルがビデオにおいてどのくらい均一であるかを測るために使われ、フリーズ歪み因子はフリーズ歪みを測るために使われる。
【００１４】
たいていの既存のビデオ圧縮規格、たとえばH.264およびMPEG-2は、基本的なエンコード単位としてマクロブロック（MB）を使う。よって、以下の実施形態は基本的な処理単位としてマクロブロックを使う。しかしながら、本原理は、異なるサイズのブロック、たとえば8×8ブロック、16×8ブロック、32×32ブロックまたは64×64ブロックを使うよう適応されてもよい。
【００１５】
動き均一性パラメータを決定するために、動きベクトルが前処理される。たとえば、MVは、予測されるピクチャーと対応する参照ピクチャーとの間の間隔によって規格化され、MVが後ろ向き参照である（backward-referencing）場合にはその符号が反転される。マクロブロックがイントラ予測され、よってMVをもたない場合には、そのMBについてのMVを、表示順において最も近い前のピクチャーにおける同位置のMB（すなわち、最も近い前のピクチャーにおいて現在のMBと同じ位置にあるMB）のMVとして設定する。Bピクチャーにおける双方向予測されるMBについては、そのMBについてのMVを、二つのMVの平均として設定する。該二つのMBは、予測されるピクチャーと参照ピクチャーとの間の間隔によって規格化される。
【００１６】
下記で、我々は、種々の型の動き場を考慮に入れるよう、いくつかの均一性パラメータを定義する。以下では、等方的な動き、放射対称な動きおよび回転的対称動きについての均一性パラメータが詳細に論じられる。
【００１７】
Ａ）等方的
IHと記されるパン均一性パラメータは、等方的な動きベクトルに関連する動き均一性の強さを定量化するために使われる。H.264を例として使うと、個別のピクチャーについて、ピクチャー内の全MVのベクトル平均は、次のように定義できる。
【００１８】
【数１】
2015530806.tif 000003
ここで、rはτ番目の一時停止の前の最も近い無傷のピクチャーにおけるMBをインデックス付けするものであり、lはr番目のMBにおけるパーティションをインデックス付けする。MVh,l,rおよびMVv,l,rはそれぞれ、r番目のMBにおけるl番目のパーティションのMVの水平方向成分および垂直方向成分を表わす。Al,rはr番目のMBにおけるl番目のパーティションの面積（たとえばピクセル数）を表わす。定数HおよびWはピクチャーの高さおよび幅である。
【００１９】
すると、IHは、当該ピクチャー内の全MVのベクトル平均の絶対値として、次のように定義されることができる。
【００２０】
【数２】
2015530806.tif 000004
すなわち、パン均一性パラメータは、等方的な動きをもつピクチャー内の領域のサイズ、動きが人間の目が見る動き傾向にどのくらいよく一致するかおよび動きベクトルの大きさに関係する。たとえば、IHは、カメラがより速くパン、チルト、ブーム、並進またはトラックするときに、より大きくなる。IHはまた、シーン内の大きな前景または背景オブジェクトが並進するときに、より大きくなる。
【００２１】
Ｂ）放射対称
RHと記されるズーム／ドリー均一性パラメータは、放射対称な動きベクトルに関連する動き均一性の強さを定量化するために使われる。放射対称なMV場では、ピクチャー中心を極とすると、すべてのMVは一貫した動径方向速度を呈する。ある実施形態では、RHは、全MVの放射投影の平均として、次のように定義できる。
【００２２】
【数３】
2015530806.tif 000005
ここで、(x,y)はMBのデカルト座標を用いてMBをインデックス付けするものであり、lはMB(x,y)におけるパーティションをインデックス付けする。MVh,l,x,yおよびMVv,l,x,yはそれぞれ、MB(x,y)におけるl番目のパーティションのMVの水平方向成分および垂直方向成分を表わす。Al,x,yはMB(x,y)におけるl番目のパーティションの面積（たとえばピクセル数）を表わす。図２のＡにおいて、放射方向投影（radial  projection）の例が示されている。ここで、MVは実線矢印で表現され、MVの放射方向投影は破線矢印で表現されている。
【００２３】
RHは、異なる仕方で計算されることもできる。第一に、左半分のピクチャーにおけるMVの水平成分の和と右半分のピクチャーにおけるものとの間の差ならびに上半分のピクチャーにおけるMVの垂直成分の和と下半分のピクチャーにおけるものとの間の差の両方が計算される。第二に、これら二つの差の値は両方とも、ピクチャー内のMBの総数によって規格化されて2Dベクトルを形成する。第三に、RHは形成された2Dベクトルの大きさとして設定される。
【００２４】
【数４】
2015530806.tif 000006
ここで、τL、τR、τTおよびτBはそれぞれτ番目のピクチャーの左半分、右半分、上半分および下半分の平面を表わす。
【００２５】
すなわち、パン均一性パラメータは、放射対称な動きをもつピクチャー内の領域のサイズ、動きが人間の目が見る動き傾向にどのくらいよく一致するかおよび動きベクトルの大きさに関係する。たとえば、RHは、カメラがより速くドリーまたはズームする場合に、より大きくなる。RHはまた、大きな前景または背景オブジェクトが放射対称な動きに従うときに、より大きくなる。
【００２６】
Ｃ）回転的対称的
回転的対称MV場では、全MVは一貫した角速度を呈する。図２のＢでは、角方向投影の例が示されている。ここで、MVは実線矢印で表現され、MVの角方向投影は破線矢印で表現されている。
【００２７】
AHと記される回転均一性パラメータは、回転的対称動きベクトルに関連する動き均一性の強さを定量化するために使われる。AHは、全MVの角方向投影の平均として、次のように定義できる。
【００２８】
【数５】
2015530806.tif 000007
AHは、異なる仕方で計算されることもできる。第一に、左半分のピクチャーにおけるMVの垂直成分の和と右半分のピクチャーにおけるものとの間の差ならびに上半分のピクチャーにおけるMVの水平成分の和と下半分のピクチャーにおけるものとの間の差の両方が計算される。第二に、これら二つの差の値は両方とも、ピクチャー内のMBの総数によって規格化されて2Dベクトルを形成する。第三に、AHは形成された2Dベクトルの大きさとして設定される。
【００２９】
【数６】
2015530806.tif 000008
すなわち、パン均一性パラメータは、回転的対称動きをもつピクチャー内の領域のサイズ、動きが人間の目が見る動き傾向にどのくらいよく一致するかおよび動きベクトルの大きさに関係する。たとえば、AHは、カメラがより速く回転／スイングするときに、より大きくなる。AHはまた、大きな前景または背景オブジェクトがより速く回転するときに、より大きくなる。
【００３０】
図１では、種々のカメラ動きによって引き起こされる動き場についてIH、RHおよびAHの規模をも示している。ここで、
【００３１】
【数７】
2015530806.tif 000009
は対応する値が小さいことを意味し、≫0は対応する値がより大きいことを意味する。パン、チルトおよび並進／トラック／ブームについては、RHおよびAHは小さく、IHはより大きい。回転／スイングについては、IHおよびRHは小さく、AHはより大きい。ドリー／ズームインおよびドリー／ズームアウトについては、IHおよびAHは小さく、RHはより大きい。すなわち、パン、ズームおよび回転均一性パラメータは効果的に、対応する動き場についての均一性の強さを捕捉する。
【００３２】
上記では、それぞれ等方的動きベクトル、放射対称動きベクトルおよび回転的対称動きベクトルのような均一な動きをもつピクチャーについての動き均一性パラメータを論じている。これらのパラメータは、均一な動きをもつ領域のサイズ、動きが人間の目が見る動き傾向にどのくらいよく一致するかおよび動きベクトルの大きさに関係する。別の変形では、動き均一性パラメータが主として均一な動きをもつピクチャー内の領域のサイズおよび動きが人間の目が見る動き傾向にどのくらいよく一致するかを反映するよう、動きベクトルを規格化してもよい。すなわち、動き均一性パラメータは動きの大きさからは独立になる。
【００３３】
上記において、動き均一性パラメータを計算するために、τ番目の一時停止の前の無傷のピクチャーにおける動きベクトルが使われている。他の変形では、該一時停止の間または該一時停止の後のピクチャーからの動きベクトルを使うことができる。
【００３４】
種々の型の動き場についての均一性パラメータが得られたのち、τ番目のピクチャーの全体的な動き均一性が、たとえばパン、ズームおよび回転均一性パラメータの間の最大として、定義されることができる。
【００３５】
MHτ＝max{IHτ，α1・RHτ，α2・AHτ}        (7)
ここで、パラメータα1およびα2は、三つの異なる型の均一な動きの間の均一性パラメータをバランスさせるものである。我々は経験的に、簡略化された公式(3)および(5)については、それらをいずれも1と置く。式(7)では、IH、RHおよびAHがすべて考えられる。他の変形では、全体的な動き均一性パラメータを導出するためにこれら三つのパラメータの内の一つまたは二つのみを使ってもよい。
【００３６】
他の実施形態では、IH、AHおよびRHに基づいて全体的な動き均一性パラメータを導出するために他の関数が使用されてもよい。たとえば、和または算術平均関数（MHτ＝IHτ＋α1・RHτ＋α2・AHτ）、調和平均関数（MHτ＝1／（(1/IHτ)＋(1/α1・RHτ)＋(1/α2・AHτ)））、積または幾何平均関数（MHτ＝IHτ・RHτ・AHτ）または差分絶対値和関数（MHτ＝|IHτ−α1・RHτ|＋|IHτ−α2・AHτ|＋|α1・RHτ−α2・AHτ|）である。
【００３７】
ビデオ・クリップの動き均一性パラメータは、該クリップ内のすべての視覚的一時停止の平均MHτとして計算されることができる。たとえば、
【００３８】
【数８】
2015530806.tif 000010
として計算されてもよい。ここで、Tは視覚的一時停止の総数、τは視覚的一時停止をインデックス付けするものである。
【００３９】
動き均一性パラメータは、ビデオ・シーケンスについてフリーズ歪み因子を予測するために使われることができる。たとえば、フリーズ歪み因子を計算するために、zf（すなわちMHT）がZhang（PCT/CN2011/082870）の式(5)におけるMVTを置き換えてもよい。すなわち、
【００４０】
【数９】
2015530806.tif 000011
となる。ここで、FRはフレーム・レート、FDTはフリーズ継続時間、b6、b7およびb8は定数である。
【００４１】
フリーズ歪み因子および他の歪み因子（たとえば圧縮歪み因子およびスライシング歪み因子）を組み合わせて、全体的なビデオ品質メトリックがビデオ・シーケンスについて得られることができる。動きベクトルはビットストリーム内で入手可能なので、本願の原理に基づくビデオ品質測定はビットストリーム・レベルで実装されてもよい。
【００４２】
さらに、最終の視覚的一時停止によって引き起こされるフリーズ歪み（ビデオ・クリップの終わりまで続く一時停止）は、短ければ、通例人間の目にとってわずらわしくないことがわかる。ある実施形態では、2秒より短い最終の一時停止は、フリーズ歪み因子を計算するときに考慮に入れられない。
【００４３】
zfおよび他のパラメータを使うと、品質メトリックは次のように計算されてもよい。
【００４４】
【数１０】
2015530806.tif 000012
ここで、出力変数qは予測される品質スコア；定数MOSubおよびMOSlbはそれぞれMOS（Mean  Opinion  Score［平均見解スコア］）の上界（upper  bound）および下界（lower  bound）、すなわち5および1；α、β、{a}および{b}はモデル・パラメータ（常にac＝1）である。添え字c、fおよびsはそれぞれ圧縮、フリーズおよびスライシングによる損傷を示す。変数{x}および{z}はモデル因子であり、一般に特徴とも称され、ビデオ・データから抽出されるものである。具体的には、{x}および{z}はそれぞれ、各型の損傷に関連するキー因子および共変量である。たとえば、xcは圧縮損傷についてのキー因子であり、zsはスライシング損傷についての共変量である。
【００４５】
動き均一性パラメータは、他のアプリケーションでも使用されることができる。他のアプリケーションはたとえば、ショット・セグメンテーション、ビデオ・フィンガープリントおよびビデオ検索であるが、これに限定されるものではない。
【００４６】
図３は、ビデオ品質測定のための動き均一性パラメータを測定するための例示的な方法３００を示している。方法３００は初期化段階３１０で始まる。段階３２０では、ピクチャーについての動きベクトルが、たとえばビットストリームからアクセスされる。段階３３０では、パン均一性パラメータが、たとえば式(2)を使って推定される。段階３４０では、ズーム均一性パラメータが、たとえば式(3)または(4)を使って推定される。段階３５０では、回転均一性パラメータが、たとえば式(5)または(6)を使って推定される。段階３６０では、動き均一性パラメータが個々のピクチャーについておよび当該ビデオ・シーケンスについて、たとえばそれぞれ式(7)および(8)を使って推定される。当該ビデオ・シーケンスについての動き均一性パラメータに基づいて、段階３７０において、たとえば式(9)を使ってフリーズ歪み因子が推定される。フリーズ歪み因子を圧縮および／またはスライシング歪み因子と組み合わせて、全体的なビデオ品質メトリックが、段階３８０で、たとえば式(10)を使って推定されることができる。
【００４７】
方法３００は、必要とされるパラメータが決定される限り、パン、ズームおよび回転均一性パラメータの組み合わせの数または推定段階が実行される順序の点で、図３に示したものから変えられてもよい。
【００４８】
図４は、ビデオ・シーケンスについてのビデオ品質メトリックを生成するために使われることのできる例示的なビデオ品質測定装置５００のブロック図を描いている。装置５００の入力は、ビットストリームを含むトランスポート・ストリームを含む。この入力は、該ビットストリームを含む他のフォーマットであってもよい。システム・レベルの受信器が、受信されたビットストリームにおけるパケット損失を決定する。
【００４９】
デマルチプレクサ５１０は、入力ストリームをパースして、エレメンタリー・ストリームまたはビットストリームを得る。デマルチプレクサ５１０はまた、パケット損失についての情報をデコーダ５２０に渡す。デコーダ５２０は、ビデオの品質を推定するためのパラメータを生成するために、各ブロックまたはマクロブロックについてのQP、変換係数および動きベクトルを含む必要な情報をパースする。該デコーダはまた、当該ビデオ内のどのマクロブロックが失われているかを判別するために、パケット損失についての前記情報を使う。デコーダ５２０は、完全なデコードが実行されるのではない、すなわちビデオが再構成されないことを強調するために、部分的デコーダと記される。
【００５０】
デコーダ５２０からパースされたMBレベルのQPを使って、QPパーサー５３３は、諸ピクチャーについてのおよびビデオ・クリップ全体についての平均QPを得る。デコーダ５２０から得られた変換係数を使って、変換係数パーサー５３２は前記係数をパースし、コンテンツ予測不能性パラメータ計算器５３４は、個々のピクチャーについてのおよびビデオ・クリップ全体についてのコンテンツ予測不能性（content  unpredictability）パラメータを計算する。どのマクロブロックが失われているかについての前記情報を使って、損失MBタグ付け器５３１はどのMBが失われたかをマークする。さらに動き情報を使って、伝搬MBタグ付け器５３５はどのMBが直接または間接に失われたブロックを予測のために使うか（すなわち、どのブロックが誤り伝搬によって影響されるか）をマークする。ブロックについての動きベクトルを使って、MVパーサー５３６は個々のピクチャーについてのおよびビデオ・クリップ全体についての動き均一性パラメータを、たとえば方法３００を使って計算する。他のモジュール（図示せず）が、誤り隠蔽距離、フリーズの継続時間およびフレーム・レートを決定するために使われてもよい。
【００５１】
圧縮歪み予測器５４０は圧縮歪み因子を推定し、スライシング歪み予測器５４２はスライシング歪み因子を推定し、フリーズ歪み予測器５４４はフリーズ歪み因子を推定する。推定されたこれらの歪み因子に基づいて、品質予測器５５０が全体的なビデオ品質メトリックを推定する。
【００５２】
追加的な計算が許容されるときは、デコーダ５７０がピクチャーをデコードする。デコーダ５７０はフル・デコーダと称され、ピクチャーを再構成し、必要なら誤り隠蔽を実行する。モザイク検出器５８０は、再構成されたビデオにおけるモザイク検出を実行する。モザイク検出結果を使って、損失MBタグ付け器５３１および伝搬MBタグ付け器５３５は関連するパラメータ、たとえば損失ブロック・フラグおよび伝搬ブロック・フラグを更新する。テクスチャー・マスキング推定器５８５はテクスチャー・マスキング重みを計算する。テクスチャー・マスキング重みは、上記の諸歪みを重み付けするために使用されることができる。
【００５３】
ビデオ品質測定装置５００は、たとえばITU-T  P.NBAMS（parametric  non-intrusive  bitstream  assessment  of  video  media  streaming  quality［ビデオ・メディア・ストリーミング品質のパラメトリックな邪魔にならないビットストリーム評価］）規格において使用されてもよい。同規格は、二つの応用シナリオ、つまりそれぞれHR（High  Resolution［高分解能］）シナリオおよびLR（Low  Resolution［低分解能］）シナリオとも呼ばれるIPTVおよびモバイル・ビデオ・ストリーミングにおけるビデオ品質評価モデルに対して機能する。二つのシナリオの間の相違は、ビデオ・コンテンツの空間時間的分解能および符号化構成から転送プロトコルおよび閲覧条件にまでわたる。
【００５４】
P.NBAMS  VQM（Video  Quality  Model［ビデオ品質モデル］）への入力は、すべての伝送パケット・ヘッダをもつ符号化されたビットストリームである（UDP/IP/RTPまたはUDP/IP/RTP/TS）。出力は、客観的なMOSスコアである。P.NBAMS機能の主要な目標用途は、セットトップボックス（STB）またはゲートウェイにおいてビデオ品質をモニタリングすることである。P.NBAMSモード１モデルは、ビットストリーム情報を使うのみであり、モード２モデルはビデオ・シーケンスの一部または全部をデコードしてもよく、そのピクセル情報が、予測精度を改善するためにビットストリーム情報をパースすることに加えて、視覚的品質予測のために使われる。
【００５５】
図５を参照するに、上記の特徴および原理が適用されうるビデオ伝送システムまたは装置６００が示されている。プロセッサ６０５はビデオを処理し、エンコーダ６１０はビデオをエンコードする。エンコーダから生成されたビットストリームは、分配ネットワーク６２０を通じてデコーダ６３０に伝送される。ビデオ品質モニタまたはビデオ品質測定装置、たとえば装置５００が種々の段階で使われてもよい。
【００５６】
ある実施形態では、ビデオ品質モニタ６４０がコンテンツ・クリエーターによって使用されてもよい。たとえば、推定されたビデオ品質が、エンコーダによって、モード決定またはビット・レート割り当てなど、エンコード・パラメータを決定することにおいて使用されてもよい。もう一つの例では、ビデオがエンコードされたのち、コンテンツ・クリエーターはビデオ品質モニタを使ってエンコードされたビデオの品質をモニタリングする。品質メトリックがあらかじめ定義された品質レベルを満たさない場合には、コンテンツ・クリエーターはビデオ品質を改善するためにビデオをエンコードし直すことを選んでもよい。コンテンツ・クリエーターは、品質に基づいてエンコードされたビデオをランク付けしてもよく、該コンテンツにしかるべく課金する。
【００５７】
もう一つの実施形態では、ビデオ品質モニタ６５０は、コンテンツ分配者によって使用されてもよい。ビデオ品質モニタは、分配ネットワークに配置されてもよい。ビデオ品質モニタは、品質メトリックを計算し、それをコンテンツ分配者に報告する。ビデオ品質モニタからのフィードバックに基づいて、コンテンツ分配者は、帯域幅割り当ておよびアクセス制御を調整することによって、そのサービスを改善してもよい。
【００５８】
コンテンツ分配者は、エンコードを調整するために前記フィードバックをコンテンツ・クリエーターにも送ってもよい。エンコーダにおけるエンコード品質の改善は、必ずしもデコーダ側での品質を改善しないことがあることを注意しておく。高品質のエンコードされたビデオは通例、より多くの帯域幅を必要とし、伝送保護のために残される帯域幅がより少なくなるからである。よって、デコーダにおける最適な品質に到達するために、エンコード・ビットレートとチャネル保護のための帯域幅との間のバランスが考慮されるべきである。
【００５９】
もう一つの実施形態では、ビデオ品質モニタ６６０は、ユーザー装置によって使用されてもよい。たとえば、ユーザー装置がインターネットにおいてビデオを検索するとき、検索結果は、要求されたビデオ・コンテンツに対応する多くのビデオまたはビデオへの多くのリンクを返すことがある。検索結果中のビデオは種々の品質レベルをもちうる。ビデオ品質モニタは、これらのビデオについて品質メトリックを計算し、どのビデオを保存するよう選択するかを決定することができる。もう一つの例では、デコーダは、種々の誤り隠蔽モードに関して隠蔽済みビデオの品質を推定する。該推定に基づいて、よりよい隠蔽品質を提供する誤り隠蔽がデコーダによって選択されてもよい。
【００６０】
本稿に記載される実装は、たとえば方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリームまたは信号において実装されうる。たとえ単一の形の実装のコンテキストで論じられるだけであったとしても（たとえば方法としてのみ論じられるとしても）、論じられる特徴の実装は、他の形（たとえば装置またはプログラム）でも実装されてもよい。装置は、たとえば、適切なハードウェア、ソフトウェアおよびファームウェアで実装されてもよい。方法は、たとえば、装置において実装されてもよい。装置はたとえば、コンピュータ、マイクロプロセッサ、集積回路またはプログラム可能型論理デバイスなどを含む、処理装置一般を指すプロセッサなどである。プロセッサは、たとえばコンピュータ、携帯電話、ポータブル／パーソナル・デジタル・アシスタント（「PDA」）およびエンドユーザー間の情報の通信を容易にする他の装置のような通信装置をも含む。
【００６１】
本願の原理の「一つの実施形態」または「ある実施形態」または「一つの実装」または「ある実装」への言及およびそれらのその他の変形は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、「一つの実施形態において」または「ある実施形態において」または「一つの実装において」または「ある実装において」という句および他の任意の変形が本明細書を通じた随所に現われることは、必ずしもみなが同じ実施形態を指しているのではない。
【００６２】
さらに、本願またはその請求項がさまざまな情報を「決定／判別」することに言及することがある。該情報を決定／判別するとは、たとえば該情報を推定すること、該情報を計算すること、該情報を予測することまたは該情報をメモリから取り出すことの一つまたは複数を含みうる。
【００６３】
さらに、本願またはその請求項がさまざまな情報に「アクセスする」ことに言及することがある。該情報にアクセスするとは、たとえば、該情報を受領すること、該情報を（たとえばメモリから）取得すること、該情報を記憶すること、該情報を処理すること、該情報を送信すること、該情報を移すこと、該情報をコピーすること、該情報を消去すること、該情報を計算すること、該情報を決定すること、該情報を予測することまたは該情報を推定することの一つまたは複数を含みうる。
【００６４】
さらに、本願またはその請求項がさまざまな情報を「受信／受領する」ことに言及することがある。受信／受領は、「アクセス」と同様に、広義の用語であることが意図されている。該情報を受信／受領するとは、たとえば、該情報にアクセスすることまたは該情報を（たとえばメモリから）取得することを含みうる。さらに、「受信／受領」は典型的には、たとえば該情報を記憶すること、該情報を処理すること、該情報を送信すること、該情報を移すこと、該情報をコピーすること、該情報を消去すること、該情報を計算すること、該情報を決定すること、該情報を予測することまたは該情報を推定することのような動作の間に何らかの仕方で関わる。
【００６５】
当業者には明白であろうが、実装は、たとえば記憶または伝送されうる情報を担持するようフォーマットされた多様な信号を生成することがある。該情報はたとえば、方法を実行するための命令または記載される実装の一つによって生成されるデータを含みうる。たとえば、信号が、記載される実施形態のビットストリームを担持するようフォーマットされてもよい。そのような信号は、たとえば、電磁波（たとえばスペクトルの電波周波数部分を使う）としてまたはベースバンド信号としてフォーマットされてもよい。フォーマットすることはたとえば、データ・ストリームをエンコードすることおよびエンコードされたデータ・ストリームで搬送波を変調することを含みうる。信号が担持する情報は、たとえば、アナログまたはデジタル情報であってもよい。信号は、知られているように、多様な異なる有線または無線リンクを通じて伝送されてもよい。信号は、プロセッサ読み取り可能な媒体上に記憶されてもよい。
【図１】
2015530806.tif 000013
【図２Ａ】
2015530806.tif 000014
【図２Ｂ】
2015530806.tif 000015
【図３】
2015530806.tif 000016
【図４】
2015530806.tif 000017
【図５】
2015530806.tif 000018
【国際調査報告】
2015530806.tif 000019
2015530806.tif 000020