(57)【要約】近隣のフレームは、どのように現在のフレームが知覚されるかに影響し得るので、本発明者らは、異なる近傍を検査し、現在のフレームの知覚される時間歪み（すなわち、フレームが連続して見られるとき）に最も大きく影響する近傍を選択する。選択された近傍内のフレームの空間歪み（すなわち、ビデオシーケンス内の他のピクチャと独立してピクチャが見られるとき）に基づいて、本発明者らは、初期空間歪みを推定する。初期時間歪みを改善するために、本発明者らはさらに、選択された近傍における歪みの分布、例えば、現在のフレームと大きな歪みを有する最も近いフレームとの距離を検討し、または、連続するフレーム内で歪みが発生するか否か、を検討する。
2016510568.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスの視覚品質を推定するための方法であって、
現在のフレームを含む複数の近傍から前記ビデオシーケンスの前記現在のフレームの近傍を決定するステップ（６４０、６５０）と、
前記決定された近傍におけるフレームについての空間歪みに応じて、前記現在のフレームについての初期時間歪みを決定するステップ（６６０）と、
前記決定された近傍における前記フレームについての空間歪みの分布を決定するステップと、
前記初期時間歪みおよび前記分布に応じて、前記現在のフレームについての時間歪みを決定するステップ（６６０）と、
前記現在のフレームについての前記時間歪みに応じて、前記ビデオシーケンスの前記視覚品質を決定するステップと、
を含む、前記方法。
【請求項２】
前記決定された近傍は、前記複数の近傍の中で前記現在のフレームの前記時間歪みに対して最も影響を与える、請求項１に記載の方法。
【請求項３】
前記現在のフレームの前記近傍は、スライディングウィンドウの手法に基づいて決定される、請求項１に記載の方法。
【請求項４】
前記分布を決定するステップは、
前記現在のフレームと、前記決定された近傍において大きな歪みを有する最も近いフレームとの間の距離を決定するステップを含み、前記時間歪みは、前記初期時間歪みおよび前記距離に応じて決定される、請求項１に記載の方法。
【請求項５】
前記現在のフレームについての前記時間歪みｄｔ（ｎ）は、
dt(n)=dt,0(n)/dist(n)
として決定され、ｄt,0（ｎ）は前記現在のフレームについての前記初期時間歪みであり、ｄｉｓｔ（ｎ）は前記決定された距離である、請求項４に記載の方法。
【請求項６】
前記分布を決定するステップは、
前記決定された近傍において連続する大きな歪みを有するフレームの間における距離の平均、最小値または最大値であり、前記時間歪みは、前記決定された距離の平均、最小値または最大値に応じて決定される、請求項１に記載の方法。
【請求項７】
前記分布を決定するステップは、
前記決定された近傍において連続する歪みバーストの間の距離の平均、最小値または最大値を決定するステップであって、前記時間歪みは、前記決定された距離の平均、最小値または最大値に応じて決定される、請求項１に記載の方法。
【請求項８】
ビットストリームの品質を監視するステップ、前記決定された視覚品質に応じて前記ビットストリームを調整するステップ、前記決定された視覚品質に基づいて新しいビットストリームを作成するステップ、前記ビットストリームを送信するために用いられる配信ネットワークのパラメータを調整するステップ、前記決定された視覚品質に基づいて、前記ビットストリームを保持するか否かを判定するステップ、及び復号器において誤り隠蔽を選択するステップ、のうちの少なくとも１つを実行するステップをさらに含む、請求項１に記載の方法。
【請求項９】
ビデオシーケンスの視覚品質を推定するための装置（７００、８００）であって、
現在のフレームを含む複数の近傍から前記ビデオシーケンスの現在のフレームの近傍を決定し、
前記決定された近傍におけるフレームについての空間歪みに応じて、前記現在のフレームについての初期時間歪みを決定し、
前記決定された近傍における前記フレームについての前記空間歪みの分布を決定し、
前記初期時間歪みおよび前記分布に応じて、前記現在のフレームについての時間歪みを決定する、時間歪み推定器（７４０）と、
前記現在のフレームについての前記時間歪みに応じて、前記ビデオシーケンスの前記視覚品質を決定する品質予測器（７５０）と、
を含む、前記装置。
【請求項１０】
前記決定された近傍は、前記複数の近傍の中で前記現在のフレームの前記時間歪みに対して最も影響を与える、請求項９に記載の装置。
【請求項１１】
前記時間歪み推定器（７４０）は、スライディングウィンドウの手法に基づいて前記現在のフレームの前記近傍を決定する、請求項９に記載の装置。
【請求項１２】
前記時間歪み推定器（７４０）は、前記現在のフレームと、前記決定された近傍において大きな歪みを有する最も近いフレームとの間の距離を決定し、前記時間歪み推定器（７４０）は、前記初期時間歪みおよび前記距離に応じて前記時間歪みを決定する、請求項９に記載の装置。
【請求項１３】
前記時間歪み推定器（７４０）は、前記現在のフレームについての前記時間歪みｄｔ（ｎ）を、
dt(n)=dt,0(n)/dist(n)
として決定し、ｄt,0（ｎ）は前記現在のフレームについての前記初期時間歪みであり、ｄｉｓｔ（ｎ）は前記決定された距離である、請求項１１に記載の装置。
【請求項１４】
前記時間歪み推定器（７４０）は、前記決定された近傍において連続する大きな歪みを有するフレームの間における距離の平均、最小値または最大値を決定し、前記決定された距離の平均、最小値または最大値に応じて前記時間歪みを決定する、請求項９に記載の装置。
【請求項１５】
前記時間歪み推定器（７４０）は、前記決定された近傍において連続する歪みバーストの間の距離の平均、最小値または最大値を決定し、前記決定された距離の平均、最小値または最大値に応じて前記時間歪みを決定する、請求項９に記載の装置。
【請求項１６】
ビットストリームの品質を監視すること、前記決定された視覚品質に応じて前記ビットストリームを調整すること、前記決定された視覚品質に基づいて新しいビットストリームを作成すること、前記ビットストリームを送信するために用いられる配信ネットワークのパラメータを調整すること、前記決定された視覚品質に基づいて、前記ビットストリームを保持するか否かを判定すること、及び復号器において誤り隠蔽を選択すること、のうちの少なくとも１つを実行するビデオ品質モニタ（８４０、８５０、８６０）をさらに備える、請求項９に記載の装置。
【請求項１７】
請求項１ないし８のいずれかに記載の方法に従ってビデオシーケンスの視覚品質を推定するための命令を記憶した、コンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ品質測定に関し、より詳細には、客観的ビデオ品質メトリックを決定するための方法および装置に関する。
【背景技術】
【０００２】
ビデオシーケンス内の個々のフレームの品質レベルを推定するために種々の方法が開発されている。ビデオシーケンス内の個々のフレームの推定された品質レベルが与えられたとき、ビデオシーケンスの知覚される品質とよく合致する客観的な全体的ビデオ品質メトリックを得る方法が、時間プーリング戦略（temporal pooling strategies）の保護下で研究されている。
【発明の概要】
【０００３】
本原理は、ビデオシーケンスの視覚品質を推定するための方法であって、現在のフレームを含む複数の近傍から上記ビデオシーケンスの現在のフレームの近傍を決定するステップと、上記決定された近傍におけるフレームについての空間歪みに応じて、上記現在のフレームについての初期時間歪みを決定するステップと、上記決定された近傍におけるフレームについての空間歪みの分布を決定するステップと、上記初期時間歪みおよび上記分布に応じて、上記現在のフレームについての時間歪みを決定するステップと、上記現在のフレームについての時間歪みに応じて、上記ビデオシーケンスの視覚品質を決定するステップと、を含む方法を後述されるように提供する。本原理はまた、これらのステップを行うための装置を提供する。
【０００４】
本原理はまた、ビデオシーケンスの視覚品質を推定するための方法であって、現在のフレームを含む複数の近傍のうちで、上記現在のフレームの時間歪みに対して最も影響を与える上記ビデオシーケンスの現在のフレームの近傍を決定するステップと、上記決定された近傍におけるフレームについての空間歪みに応じて、上記現在のフレームについての初期時間歪みを決定するステップと、上記現在のフレームと、上記決定された近傍における大きな歪みを有する最も近いフレームとの間の距離を決定するステップと、上記初期時間歪みおよび上記距離に応じて、上記現在のフレームについての時間歪みを決定するステップと、上記現在のフレームについての時間歪みに応じて、上記ビデオシーケンスの視覚品質を決定するステップと、を含む方法を後述されるように提供する。本原理はまた、これらのステップを行うための装置を提供する。
【０００５】
本原理はまた、上述された方法によってビデオシーケンスの視覚品質を推定するための命令を記憶したコンピュータ読取可能な記憶媒体を提供する。
【図面の簡単な説明】
【０００６】
【図１Ａ】例示的ビデオシーケンス内の個々のフレームについての空間アーチファクトレベルを示す例示的図である。
【図１Ｂ】例示的ビデオシーケンス内の個々のフレームについての知覚される時間品質を示す例示的図である。
【図２Ａ】本原理の実施形態による、ビデオ品質モデリングで使用されるスライディングウィンドウを示す例示的図である。
【図２Ｂ】本原理の実施形態による、ビデオ品質モデリングで使用されるスライディングウィンドウを示す例示的図である。
【図２Ｃ】本原理の実施形態による、ビデオ品質モデリングで使用されるスライディングウィンドウを示す例示的図である。
【図３Ａ】別の例示的ビデオシーケンス内の個々のフレームについての空間アーチファクトレベルを示す例示的図である。
【図３Ｂ】本原理の実施形態による、フレームの近傍における主要な歪みおよび推定された時間歪みを示す例示的図である。
【図３Ｃ】本原理の実施形態による、フレームの近傍における主要な歪みおよび推定された時間歪みを示す例示的図である。
【図４Ａ】別の例示的ビデオシーケンス内の個々のフレームについての空間アーチファクトレベルを示す例示的図である。
【図４Ｂ】本原理の実施形態による、フレームの近傍における最も高い大きな歪み密度および推定された時間歪みを示す例示的図である。
【図４Ｃ】本原理の実施形態による、フレームの近傍における最も高い大きな歪み密度および推定された時間歪みを示す例示的図である。
【図５Ａ】別の例示的ビデオシーケンス内の個々のフレームについての空間アーチファクトレベルを示す例示的図である。
【図５Ｂ】本原理の実施形態による、フレームの近傍における最も高い大きな歪み密度および推定された時間歪みを示す例示的図である。
【図５Ｃ】本原理の実施形態による、フレームの近傍における最も高い大きな歪み密度および推定された時間歪みを示す例示的図である。
【図６】本原理の実施形態による、フレームｎにおける時間歪みをモデリングするための例示的方法を示すフロー図である。
【図７】本原理の実施形態による、例示的ビデオ品質モニターを示すブロック図である。
【図８】１または複数の実装形態で使用され得る例示的ビデオ処理システムを示すブロック図である。
【発明を実施するための形態】
【０００７】
本出願では、本発明者らは、ビデオシーケンス内の他のピクチャと独立してピクチャが見られる場合に、ビデオシーケンス内のそのピクチャにおいて知覚されるアーチファクトを示すために、「空間アーチファクト」を使用し、ビデオシーケンス内のピクチャが連続的に表示される場合に、ビデオシーケンスのピクチャにおいて知覚されるアーチファクトを示すために、「時間アーチファクト」を使用する。同様に、本発明者らは、ビデオシーケンス内の他のピクチャと独立してピクチャが見られる場合に、そのピクチャにおいて知覚される歪みまたは品質を示すために、「空間歪み」または「空間品質」を使用し、ビデオシーケンス内のピクチャが連続的に表示される場合に、ビデオシーケンスのピクチャにおいて知覚される歪みまたは品質を示すために、「時間歪み」または「時間品質」を使用する。
【０００８】
空間歪みを評価するとき、ピクチャは、視聴者が画像コンテンツおよび歪みを認識するのに十分な長さの時間の期間にわたり、ビデオシーケンス内の他のピクチャと独立して見られる。これは、ピクチャが連続して表示される時間歪みの評価とは異なる。
【０００９】
本出願では、用語「フレーム」は、用語「ピクチャ」と交換可能に使用される。用語「歪み」および「アーチファクト」は共にフレームにおける品質低下を指し、しばしば交換可能に使用される。
【００１０】
ｄｓ（ｎ）として示される、フレームｎの空間歪みは、種々の画像品質評価方法、たとえば、以下に限定されないが、ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅまたはｎｏ−ｒｅｆｅｒｅｎｃｅ法、およびピクセル領域内またはビットストリームレベルの方法によって取得され得る。一実施形態では、空間歪みは、初期のおよび／または伝播された可視アーチファクトによって発生する全体的可視アーチファクトレベルとして推定することができ、これは、Ｎ．  Ｌｉａｏ，  Ｚ．  Ｃｈｅｎ、およびＫ．  Ｘｉｅらによる「Ｖｉｄｅｏ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ａｔ  ａ  ｂｉｔｓｔｒｅａｍ  ｌｅｖｅｌ」という名称の、同一人に所有されるＰＣＴ出願（ＰＣＴ／ＣＮ２０１２／０７８７６６、代理人整理番号ＰＡ１２００２７）に開示されており、その教示が参照により本明細書に明確に組み込まれる。
【００１１】
ピクチャにおける空間アーチファクトは、眼がそれに着目してアーチファクトとして認識するように、時間の期間にわたり持続する必要がある。ピクチャがビデオシーケンスの部分であり、それぞれが非常に短い時間の期間（たとえば、ビデオが実時間に再生される場合の１／ｆｒａｍｅ＿ｒａｔｅの期間）だけ表示される場合、フレームｎの時点の知覚されるビデオ歪み、すなわち、フレームｎにおける時間歪みｄｔ（ｎ）は、フレームｎにおける空間歪みｄｓ（ｎ）とはかなり異なる可能性がある。これは、時間歪みｄｔ（ｎ）が、それの近隣のフレームのコンテンツおよび歪みによって影響されるためであり得る。
【００１２】
例示的ビデオシーケンスに関して、図１Ａは、ビデオシーケンス内の個々のフレームの空間アーチファクトレベルを示し、図１Ｂは、ビデオシーケンス内の個々のフレームの時間品質を示す。より具体的には、図１Ａは、例示的ビデオシーケンスがパケット損失にさらされた場合のフレームの空間アーチファクトレベルを示す。空間アーチファクトは、ビデオシーケンス内で散発的な可能性があり、たとえば、空間アーチファクトは、フレーム７４、７７、２１５、２６１、および２６２で見られる。空間アーチファクトは、バーストとなって発生することもあり、たとえば、フレーム１０６〜１１１のあたりで見られる。
【００１３】
図１Ｂは、ビデオシーケンスのフレームが連続的に表示される場合の時間品質を示し、スコア１００は最高の品質に相当する。品質スコアは、品質測定方法によって異なるスケールであり得る。時間品質の正確な曲線は、主観テスト方法、たとえば、これだけに限定されないが、ＩＴＵ−Ｒ  ＢＴ  ５００で定義されたＳｉｎｇｌｅ  Ｓｔｉｍｕｌｕｓ  Ｃｏｎｔｉｎｕｏｕｓ  Ｑｕａｌｉｔｙ  Ｅｖａｌｕａｔｉｏｎ（単一刺激連続品質評価：ＳＳＣＱＥ）を使用して取得され得る。
【００１４】
図１Ａから分かるように、フレーム７４および７７は、これら２つのフレームが独立して見られるとき、強い空間アーチファクトを有する。しかしながら、ビデオが連続して表示されるとき、これら２つのフレームでのアーチファクトが不可視になり、したがって、フレーム７４および７７は、図１Ｂに示されるように連続して見られるとき、最高品質レベルにある。したがって、強い空間アーチファクトが、大きな時間歪みに常に対応するわけでない。他方で、ビデオシーケンスの１フレームは、他のフレームと独立して見られるとき、良品質を有するように見えることがあるが、ビデオシーケンスが連続して表示されるとき、非常に強い時間歪み（たとえば動きジッター）を呈することがある。すなわち、小さな空間歪みが、知覚される小さな時間歪み（すなわち、より高い時間品質）に常に対応するわけでない。
【００１５】
したがって、空間歪み（すなわち、ビデオシーケンス内の他のピクチャと独立してピクチャが見られるとき）は、時間歪み（すなわち、ピクチャが連続して見られるとき）とかなり異なることがある。本原理は、個々のフレームについての空間歪みから時間品質を精密にモデリングするための方法および装置を提供する。詳細には、本原理は、視聴者が時間歪みをどのように識別するかに影響するコンテキストを考慮し、ここで、コンテキストは、たとえば、以下に限定されないが、歪みの持続期間およびパターン、ならびに視聴者により、近隣のフレームを監視することによって認識されるテクスチャおよびオブジェクトの動きを含む。
【００１６】
一実施形態では、空間歪みが与えられると、スライディングウィンドウ法を使用して、知覚される時間歪みがモデリングされ得る。図２Ａ〜図２Ｃに示すように、（Ｓi,nとして示される）フレームｎを含むＬ0個のスライディングウィンドウが、フレーム（ｎ−ｉ）で開始し、フレーム（ｎ−ｉ＋Ｌ0−１）で終了する。ただし、０≦ｉ＜Ｌ0である。本発明者らは、視聴者の眼が歪みを認識するために必要とされる時間の期間を近似するウィンドウ長を選択することができる。したがって、スライディングウィンドウは、Ｌ0＝ｒｏｕｎｄ（Ｔ0×ｆｒａｍｅ＿ｒａｔｅ）個のフレームを含み、式中、Ｔ0は、視聴者が歪みを認識するために必要とされる時間の期間であり、ｆｒａｍｅ＿ｒａｔｅは、ビデオシーケンスのフレームレートである。スライディングウィンドウの外部に存在するアーチファクトは、現在のフレームの時間アーチファクトの可視性にほとんど寄与しないとみなされる。
【００１７】
本発明者らは、現在のフレームの知覚される時間歪みが、主に、近くにある大きな歪み（すなわち、歪みレベルが一定の閾値を超える）を有するフレームによって影響されることを認める。本原理において、本発明者らは、フレームの近傍におけるそのようなクラスタ化された大きな空間歪みの影響を推定するための種々の実施形態を提供する。
【００１８】
一実施形態では、本発明者らは、スライディングウィンドウにおけるメジアン歪み値（ｍｅｄｉａｎ  ｄｉｓｔｏｒｔｉｏｎ  ｖａｌｕｄｅｓ）の最大値を使用して、時間歪みを推定することができる。数学的には、各スライディングウィンドウＳi,nについて、本発明者らは、以下のように、Ｓi,nにおけるフレームのメジアン歪みを計算することができる。
ＭＤi,n＝ｍｅｄｉａｎ｛ｄｓ（ｊ），フレームｊ∈Ｓi,n｝    （１）
【００１９】
メジアン関数は、近隣のフレームを検査して、現在のフレームの空間歪みがそれの周囲を代表するかどうかを決定し、極値歪みレベル（外れ値）を棄却する。すなわち、本発明者らは、ＭＤi,nを、スライディングウィンドウＳi,nの代表的歪みレベルとみなすことができる。他の実施形態では、本発明者らは、ＭＤi,nを得るために平均化方法または他のフィルタリング方法を使用することができる。
【００２０】
フレームｎを含むすべてのスライディングウィンドウにおいて、より大きな歪みを有するスライディングウィンドウは、通常、より大きく視覚品質に影響する。したがって、スライディングウィンドウ｛Ｓi,n，０≦ｉ＜Ｌ0｝のうちでメジアン歪み値の最大値として主要な歪みを識別するために、以下のように、maximum関数が使用され得る。
ｍn＝ｍａｘ｛ＭＤi,n，０≦ｉ＜Ｌ0｝    （２）
【００２１】
現在のフレームについての知覚される時間歪みは、現在のフレームの空間歪み強度によってではなく、主にそれの近傍における主要な歪みによって決定されることが認められる。たとえば、フレームｎが、認識されるのに十分には長く持続しない厳しい空間歪みｄｓ（ｎ）を有するとき、知覚される時間歪みは、主にそれの近傍における歪みによって影響される。したがって、minimum関数は、現在のフレームについての時間歪みをセットするために使用され得る。すなわち、本発明者らは、以下のように、時間歪みｄｔ（ｎ）を、フレームｎについての空間歪み値とメジアン歪み値の最大値ｍnとのうちの小さな方にセットすることができる。
ｄｔ（ｎ）＝ｍｉｎ｛ｍn，ｄｓ（ｎ）｝    （３）
【００２２】
図３Ａは、例示的ビデオシーケンス内のフレームについての空間アーチファクトレベルを示し、図３Ｂおよび図３Ｃはそれぞれ、式（２）および式（３）を適用した後の結果を示す。メジアン関数を使用することによって、メジアン歪み値の最大値により、図３Ｂに示されるように極値を回避する。結果として、図３Ｃから分かるように、近隣のものより非常に大きな空間アーチファクトレベル、たとえば、フレーム８６、１２５、および１６６は、推定された時間歪みに存在しない。加えて、推定された時間歪みレベルは、フレーム間の変動が空間歪みレベルより小さい。
【００２３】
別の実施形態では、時間歪みを推定するために、本発明者らは、すべてのスライディングウィンドウ｛Ｓi,n，０≦ｉ＜Ｌ0｝における大きな歪み（すなわち、歪みレベルが一定の閾値を超える）を有するフレームの比の最大値を使用することができる。ビデオシーケンスが連続して再生されるとき、より小さな歪みは通常は不可視になるので、本発明者らは、大きな歪みを有するフレームだけを考慮する。数学的には、各スライディングウィンドウＳi,nについて、本発明者らは、以下のように、Ｓi,n内の大きな歪みを有するフレームの数とＳi,n内のフレームの総数との比を計算することができる。
【００２４】
【数１】
2016510568.tif 000003
【００２５】
式中、
【００２６】
【数２】
2016510568.tif 000004
【００２７】
であり、Ｕは、空間歪み閾値である。表記を容易にするために、本発明者らは、スライディングウィンドウ内の大きな歪みを有するフレームの数とスライディングウィンドウ内のフレームの総数との比を、スライディングウィンドウについての大きな歪み密度として示す。
【００２８】
より高密度のより大きな歪みを有するスライディングウィンドウは、通常、より大きく視覚品質に影響することが分かる。したがって、本発明者らは、以下のように、すべてのスライディングウィンドウのうちの最も高い比を計算する。
ｗn＝ｍａｘ｛Ｒi,n，０≦ｉ＜Ｌ0｝    （５）
【００２９】
次いで、本発明者らは、以下のように、重み付けされた歪みとしてフレームｎにおける知覚される時間歪みを推定することができる。
ｄｔ（ｎ）＝ｗn×ｄｓ（ｎ）    （６）
【００３０】
加えて、大きな歪みを有する２つの最も近いフレームの間の距離も、知覚される時間歪みに影響することが分かる。すなわち、大きな歪みを有する２つのフレームがより近いと、人間の眼に歪みがより見える。したがって、フレームｎと大きな歪みを有する最も近いフレームとの間の距離も考慮することにより、時間歪み推定が改善され得る。一実施形態では、式（６）は、以下になるように修正され得る。
ｄｔ（ｎ）＝ｗn×ｄｓ（ｎ）／ｆ（ｄｉｓｔ（ｎ））    （７）
【００３１】
式中、ｄｉｓｔ（ｎ）は、最も高い大きな歪み密度に対応するスライディングウィンドウにおけるフレームｎと大きな歪みを有する最も近いフレームとの間の距離である。対応するスライディングウィンドウにおいて大きな歪みを有する他のフレームがない場合、本発明者らは、ｄｉｓｔ（ｎ）を非常に大きい値、たとえば、１０００にセットする。すなわち、大きな歪みを有するスライディングウィンドウ内に１つのみのフレームがある場合、本発明者らは、歪みはより見えにくいとみなし、ｄｔ（ｎ）を非常に小さな値にセットする。ｆ（ｄｉｓｔ（ｎ））を定義するために異なる関数、たとえば、ｆ（ｄｉｓｔ（ｎ））＝ｄｉｓｔ（ｎ）、またはｆ（ｄｉｓｔ（ｎ））＝（ｄｉｓｔ（ｎ））αが使用されてもよく、式中、αは定数である。
【００３２】
より一般的な実施形態では、本発明者らは、空間歪みに基づいて推定された時間歪み、たとえば、式（３）または（６）から得られた時間歪みを初期時間歪みとみなす。前述されたように、近隣のフレームは、どのように現在のフレームが知覚されるかに影響し得るので、本発明者らは、異なる近傍を検査し、現在のフレームの知覚される空間歪みに最も大きく影響する近傍を選択する。選択された近傍内で、本発明者らは、初期空間歪みを推定するために使用され得る空間歪み値のメジアンまたは大きな歪みの比を取得することができる。空間歪みに加えて、選択された近傍の他のファクタ、たとえば、式（７）に示されるような距離が、推定された時間歪みを精緻化するために使用され得る。
【００３３】
より一般的には、選択された近傍内のアーチファクトの分布、たとえば、連続したフレームにおいてアーチファクトが出現するかどうかが、知覚される時間歪みに影響するものと考えられ、したがって、時間歪み推定を改善するために使用され得る。表記を容易にするために、本発明者らは、大きな歪みを有する連接するフレームのグループを歪みバーストとして示す。一例では、本発明者らは、選択された近傍内の連接する大きな歪みを有するフレームの間の平均距離、または選択された近傍内の連接する歪みバーストの間の平均距離を測定することができる。選択された近傍内の散発的な空間歪みは視聴者の注目を集める可能性が低いので、平均距離がより長いと、時間歪みはより見えにくい。歪みの分布を特徴付けるために使用され得る他のパラメータは、歪みバースト間または大きな歪みを有するフレーム間の最小距離または最大距離であり得る。
【００３４】
さらに、近傍における動き情報が、動きジッターまたは動きジャーキネス（motion jerkiness）によって引き起こされる品質低下の原因となるとも考えられ得る。
【００３５】
図４Ａは、例示的ビデオシーケンス内のフレームについての空間アーチファクトレベルを示し、図４Ｂおよび図４Ｃはそれぞれ、式（５）および式（７）を適用した後の結果を示し、Ｌ0＝１秒、Ｕ＝（フレーム当たりのマクロブロックの数）／１００である。Ｌ0およびＵの値は、構成によって、たとえば、ＧＯＰ長、ビデオ解像度、およびフレームレートによって変化し得る。図５Ａは、別の例示的ビデオシーケンス内のフレームについての空間アーチファクトレベルを示し、図５Ｂおよび図５Ｃはそれぞれ、式（５）および式（７）を適用した後の結果を示す。
【００３６】
図４Ｂおよび図５Ｂから、本発明者らは、大きな歪みがよりクラスタ化されると、比がより大きくなることを認める。すなわち、比は、近隣のフレームが現在のフレームの知覚される品質に影響するかどうか、および影響する程度を実質的に反映する。結果として、図４Ｃおよび図５Ｃから分かるように、クラスタ化された大きな歪みを有するフレームの持続期間（たとえば、図４Ａのフレーム１０６あたり、図５Ａのフレーム１０５およびフレーム２００あたり）が、推定された時間歪みレベルに影響する。すなわち、図４Ａに示されるような歪みのより短い持続期間が、空間歪みより非常に短い推定された時間歪みをもたらし、それに対し、図５Ａに示されるような歪みのより長い持続期間が、空間歪みと同じオーダーの推定された時間歪みをもたらす。これは、人間の知覚と適合し、長く続く歪みは、知覚される品質に対しより負の影響を有する。
【００３７】
前述されたように、本発明者らは、近隣のフレームにおいて提供されたコンテキストを考慮して、フレームｎについての時間歪みを推定する。一実施形態では、式（１）〜式（３）に示すように、本発明者らは、メジアン歪み値を使用する。別の実施形態では、式（４）〜式（７）に示すように、本発明者らは、大きな歪み密度を使用する。さらに別の実施形態では、メジアン歪み値方法と大きな歪み密度方法が、フレームｎについての時間歪みを推定するために以下のように組み合わされ得る。
ｄｔ（ｎ）＝ｗn×ｍｉｎ｛ｍn，ｄｓ（ｎ）｝    （８）
【００３８】
上記では、本発明者らは、眼がアーチファクトを認識するのに十分な長さの時間の期間を必要とする人間視覚特性に基づいて、時間歪みを推定する。時間歪みはまた、他のファクタ、たとえば、これだけに限定されないが動きジャーキネスによって影響され得る。結果として、上記のように推定された時間歪みは、他のファクタを考慮するために調整される必要があり得る。１つの例示的組み合わせは、ｄｔ’（ｎ）＝ｄｔ（ｎ）＋ｃ×ｄｔ2（ｎ）としてよく、式中、ｄｔ2（ｎ）は動きジャーキネスによって引き起こされる歪みである。
【００３９】
ビデオシーケンス内の個々のフレームについての時間歪み｛ｄｔ（ｎ）｝に基づいて、ビデオシーケンスの全体的な知覚される歪みが、時間プーリング戦略を使用して導出され得る。たとえば、単純平均動作、すなわち、全体的歪み＝
【００４０】
【数３】
2016510568.tif 000005
【００４１】
が使用され得る。別の例では、分布パラメータ、たとえば、ビデオシーケンス内の歪みバーストの間の平均距離および最小／最大距離が時間プーリングで使用され得る。
【００４２】
図６は、本原理による、フレームｎにおける時間歪みをモデリングするための例示的方法６００を示す。方法６００は、ステップ６０５で開始する。スライディングウィンドウＳi,nについて、それは、ステップ６１０で、たとえば式（１）を使用して、メジアン歪み値を計算し、ステップ６２０で、たとえば式（４）を使用して、大きな歪み密度を計算する。それは、ステップ６３０で、さらなるスライディングウィンドウが処理される必要があるかどうかを確認する。はいの場合、それは、ステップ６１０へ制御を返す。そうでない場合、ステップ６４０で、それは、たとえば式（２）を使用して、フレームｎについてのすべてのスライディングウィンドウにおけるメジアン歪み値の最大値を計算する。ステップ６５０で、それは、たとえば式（５）を使用して、フレームｎについてのすべてのスライディングウィンドウにおける最も高い大きな歪み密度を計算する。ステップ６６０で、それは、たとえば式（３）、（６）、または（８）を使用して、フレームｎについての時間歪みを推定する。ステップ６６０では、たとえば式（７）を使用して、フレームｎと大きな歪みを有する最も近いフレームとの間の距離が考慮され得る。方法６００は、ステップ６９９で終了する。
【００４３】
方法６００では、メジアン歪み値の最大値と、最も高い大きな歪み密度との両方が、時間歪みを推定するために使用される。別の実施形態では、メジアン歪み値の最大値のみが、時間歪みを推定するために使用される。すなわち、ステップ６２０および６５０は必要とされず、ステップ６６０は、たとえば式（３）を使用して、メジアン歪み値の最大値に基づいて時間歪みを推定する。別の実施形態では、最も高い大きな歪み密度のみが、時間歪みを推定するために使用される。すなわち、ステップ６１０および６４０は必要とされず、ステップ６６０は、たとえば式（６）または（７）を使用して、最も高い大きな歪み密度に基づいて時間歪みを推定する。
【００４４】
方法６００またはその変形形態は、異なる順序のステップで進んでもよく、たとえば、ステップ６２０がステップ６１０の前に実行されてもよく、ステップ６５０がステップ６４０の前に実行されてもよい。
【００４５】
本原理によるビデオ品質モデリングの方法は、ビデオシーケンスが圧縮アーチファクトおよび／またはパケット損失にさらされたとき、ビデオ品質を測定するために適用され得る。本方法は、ビットストリームレベルまたはピクセルレベルで得られた空間アーチファクトと関連して使用され得る。すなわち、本方法は、ビットストリームレベルとピクセルレベルの両方で適用され得る。
【００４６】
本原理は、ビデオ品質を測定するためにビデオ品質モニターで使用され得る。図７は、例示的ビデオ品質モニター７００のブロック図を示す。装置７００の入力は、ビットストリームを含むトランスポートストリームを含むことができる。入力は、ビットストリームを含む他のフォーマットであってもよい。
【００４７】
デマルチプレクサ７１０は、ビットストリームからパケット層情報を得る。復号器７２０は、入力ストリームを解析してより多くの情報を得る。復号器７２０は、ピクチャを再構築することもしないこともある。他の実施形態では、復号器がデマルチプレクサの機能を実行することができる。
【００４８】
復号された情報を使用して、空間アーチファクトレベル推定器７３０で空間アーチファクトレベルが推定される。推定されたパラメータに基づいて、時間歪みレベルが、たとえば方法６００を使用して、時間歪み推定器７４０で推定される。次いで、品質予測器７５０が、ビデオシーケンスに対する品質スコア内に個々のフレームについての時間歪みレベルをプールする。品質予測器７５０は、他のタイプのアーチファクトおよび人間視覚特性を考慮してもよい。
【００４９】
ビデオ品質モニター７００は、たとえば、規格（ＩＴＵ−Ｔ  Ｐ．ＮＢＡＭＳ（ｐａｒａｍｅｔｒｉｃ  ｎｏｎ−ｉｎｔｒｕｓｉｖｅ  ｂｉｔｓｔｒｅａｍ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ｖｉｄｅｏ  ｍｅｄｉａ  ｓｔｒｅａｍｉｎｇ  ｑｕａｌｉｔｙ））で使用されてよく、これは、２つのアプリケーションシナリオ、すなわち、ＨＲ（高解像度）シナリオおよびＬＲ（低解像度）シナリオともそれぞれ呼ばれるＩＰＴＶおよびモバイルビデオストリーミングにおける、ビデオ品質評価モデルを対象とする。２つのシナリオの違いは、ビデオコンテンツおよび符号化構成の空間−時間解像度からトランスポートプロトコルおよびビュー条件にわたる。
【００５０】
Ｐ．ＮＢＡＭＳ  ＶＱＭ（ビデオ品質モデル）に対する入力は、すべての伝送パケットヘッダ（ＵＤＰ／ＩＰ／ＲＴＰまたはＵＤＰ／ＩＰ／ＲＴＰ／ＴＳ）を有する符号化動画ビットストリームである。出力は、客観的ＭＯＳスコア（平均オピニオン評点）である。Ｐ．ＮＢＡＭＳ動作の主要な対象用途は、セットトップボックス（ＳＴＢ）またはゲートウェイにおいてビデオ品質をモニターすることである。Ｐ．ＮＢＡＭＳモード１モデルは、ビットストリーム情報のみを使用し、モード２モデルは、ビデオシーケンスの一部または全部を復号することができ、ピクセル情報は、予測精度を改善するために、ビットストリーム情報を解析することに加えて、視覚品質予測のために使用される。
【００５１】
図８を参照すると、上述された機能および原理が適用され得るビデオ送信システムまたは装置８００が示されている。プロセッサ８０５はビデオを処理し、符号化器８１０はビデオを符号化する。符号化器から生成されたビットストリームは、配信ネットワーク８２０を介して復号器８３０に送信される。ビデオ品質モニターは、異なる段階で使用されてもよい。
【００５２】
一実施形態では、ビデオ品質モニター８４０はコンテンツ作成者によって使用されてよい。たとえば、モード判断またはビットレート割当てなど符号化パラメータを判断する際に、推定されたビデオ品質が符号化器によって使用され得る。別の例では、ビデオが符号化された後、コンテンツ作成者は、ビデオ品質モニターを使用して、符号化されたビデオの品質をモニターする。品質メトリックが予め定義された品質レベルを満たさない場合、コンテンツ作成者は、ビデオ品質を改善するために、ビデオを再符号化することを選択することができる。また、コンテンツ作成者は、品質に基づいて符号化されたビデオをランク付けしてもよく、それに応じてコンテンツに課金する。
【００５３】
別の実施形態では、ビデオ品質モニター８５０がコンテンツ配信者によって使用されてよい。ビデオ品質モニターは、配信ネットワーク内に配置され得る。ビデオ品質モニターは、品質メトリックを計算し、それらをコンテンツ配信者に報告する。コンテンツ配信者は、ビデオ品質モニターからのフィードバックに基づいて、帯域幅割当ておよびアクセス制御を調整することによって、そのサービスを改善することができる。
【００５４】
また、コンテンツ配信者が、符号化を調整するために、コンテンツ作成者にフィードバックを送ることもできる。高品質符号化ビデオは、通常、より広い帯域幅を必要とし、伝送保護のための帯域幅が狭くなるので、符号化器での符号化品質を改善することが、必ずしも復号器側での品質を改善しないことに留意されたい。したがって、復号器において最適な品質に達するために、符号化ビットレートとチャネル保護のための帯域幅との間のバランスが考慮されるべきである。
【００５５】
別の実施形態では、ビデオ品質モニター８６０がユーザデバイスによって使用され得る。たとえば、ユーザデバイスがインターネットにおいてビデオを検索した場合、検索結果が、要求されたビデオコンテンツに対応する多くのビデオまたは多くのビデオに対するリンクを返すことができる。検索結果におけるビデオは、異なる品質レベルを有することがある。ビデオ品質モニターは、これらのビデオについて品質メトリックを計算し、記憶すべきビデオを選択する判断をすることができる。別の例では、ユーザデバイスは、いくつかの誤り隠蔽技法にアクセスすることができる。ビデオ品質モニターは、異なる誤り隠蔽技法について品質メトリックを計算し、計算された品質メトリックに基づいて、使用すべき隠蔽技法を自動的に選択することができる。
【００５６】
本明細書に説明された実装形態は、たとえば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実現され得る。単一形態の実装形態のコンテキストでのみ論じられた（たとえば、方法としてのみ論じられた）場合であっても、論じられた特徴の実装形態は、他の形態（たとえば、装置またはプログラム）で実現されてもよい。装置は、たとえば、適切なハードウェア、ソフトウェア、およびファームウェアで実現され得る。方法は、たとえばプロセッサなどのたとえば装置で実現されてよく、プロセッサは、たとえば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含めて、一般的に処理デバイスを指す。また、プロセッサは、たとえば、コンピュータ、セルフォン、ポータブル／パーソナルディジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間での情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
【００５７】
本原理の「一実施形態」もしくは「実施形態」または「一実装形態」もしくは「実装形態」、ならびにそれらの他の変形形態は、実施形態に関連して説明される特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という表現の出現、ならびに、本明細書にわたって種々の箇所で出現する任意の他の変形形態は、必ずしもすべてが同じ実施形態を指していない。
【００５８】
加えて、この出願またはその特許請求の範囲は、種々の情報を「決定する」ことに言及し得る。情報を決定することは、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、または情報をメモリから取り出すことのうちの１つまたは複数を含み得る。
【００５９】
さらに、この出願またはその特許請求の範囲は、種々の情報に「アクセスすること」に言及し得る。情報にアクセスすることは、たとえば、情報を受け取ること、情報を（たとえばメモリから）取り出すこと、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を削除すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１または複数を含み得る。
【００６０】
加えて、この出願またはその特許請求の範囲は、種々の情報を「受け取ること」に言及し得る。受け取ることは、「アクセスすること」と同様に、広い用語であることが意図される。情報を受け取ることは、たとえば、情報にアクセスすること、または情報を（たとえばメモリから）取り出すことのうちの１または複数を含み得る。さらに、「受け取ること」は、通常、何らかの方法で、動作、たとえば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を削除すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの際に伴われる。
【００６１】
当業者には明らかなように、実装形態は、たとえば記憶または送信され得る情報を搬送するようにフォーマットされた種々の信号を生成することができる。情報は、たとえば、方法を実施するための命令、または説明された実装形態の１つによって生成されるデータを含むことができる。たとえば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。そのような信号は、たとえば、（たとえばスペクトルの無線周波数部分を使用して）電磁波として、またはベースバンド信号としてフォーマットされ得る。フォーマットすることは、たとえば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、たとえば、アナログ情報またはディジタル情報とすることができる。信号は、知られているように、種々の異なる有線または無線リンクを介して送信され得る。信号は、プロセッサ読取可能な媒体上に記憶され得る。
【図１Ａ】
2016510568.tif 000006
【図１Ｂ】
2016510568.tif 000007
【図２Ａ】
2016510568.tif 000008
【図２Ｂ】
2016510568.tif 000009
【図２Ｃ】
2016510568.tif 000010
【図３Ａ】
2016510568.tif 000011
【図３Ｂ】
2016510568.tif 000012
【図３Ｃ】
2016510568.tif 000013
【図４Ａ】
2016510568.tif 000014
【図４Ｂ】
2016510568.tif 000015
【図４Ｃ】
2016510568.tif 000016
【図５Ａ】
2016510568.tif 000017
【図５Ｂ】
2016510568.tif 000018
【図５Ｃ】
2016510568.tif 000019
【図６】
2016510568.tif 000020
【図７】
2016510568.tif 000021
【図８】
2016510568.tif 000022
【国際調査報告】
2016510568.tif 000023
2016510568.tif 000024