(57)【特許請求の範囲】
【請求項１】
ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを示す情報にアクセスするステップと、
前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを示す情報にアクセスするステップであって、前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される、ステップと、
第１のインジケータを決定するステップであって、前記第１のインジケータは、ピクチャの前記第１のセットのための表示時間中に表示される同一の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる複数のタイプの歪み効果からの、所定のタイプの歪み効果に関連する歪みの量を表す、ステップと、
第２のインジケータを決定するステップであって、前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される同一の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる複数のタイプの歪み効果からの、前記所定のタイプの歪み効果に関連する歪みの量を表す、ステップと、
前記所定のタイプの歪み効果についての歪みの組み合わされたインジケータを生成するために、前記第１のインジケータと前記第２のインジケータを組み合わせるステップと、
を含む、方法。
【請求項２】
前記所定のタイプの歪み効果についての歪みの前記組み合わされたインジケータに基づいて、前記複数のタイプの歪み効果全部に対する合計歪みのインジケータを決定するステップをさらに含む、請求項１に記載の方法。
【請求項３】
第３のインジケータを決定するステップであって、前記第３のインジケータは、ピクチャの前記第１のセットのための前記表示時間中に表示される前記同一の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる前記複数のタイプの歪み効果からの、さらなるタイプの歪み効果に関連する歪みの量を表す、ステップと、
第４のインジケータを決定するステップであって、前記第４のインジケータは、ピクチャの前記第２のセットのための前記表示時間中に表示される前記同一の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる前記複数のタイプの歪み効果からの、前記さらなるタイプの歪み効果に関連する歪みの量を表す、ステップと、
前記さらなるタイプの歪み効果についての歪みを表す歪みのさらなる組み合わされたインジケータを生成するために、前記第３のインジケータと前記第４のインジケータを組み合わせるステップと、
を含む、請求項１に記載の方法。
【請求項４】
前記所定のタイプの歪み効果についての歪みの前記組み合わされたインジケータと、前記さらなるタイプの歪み効果についての歪みの前記さらなる組み合わされたインジケータとに基づいて、前記複数のタイプの歪み効果全部に対する合計歪みのインジケータを決定するステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記所定のタイプの歪み効果は、ジャーク効果、ポーズ効果、またはジャンプ効果のうちの２つ以上を含む、請求項１に記載の方法。
【請求項６】
歪みの前記組み合わされたインジケータは、ピクチャの前記第１のセットのための前記表示時間中に表示される前記同一の第１のピクチャを用いて、およびピクチャの前記第２のセットのための前記表示時間中に表示される前記同一の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果についての合計歪みを表す、請求項１に記載の方法。
【請求項７】
前記第１のインジケータと前記第２のインジケータを組み合わせるステップは、前記第１のインジケータと前記第２のインジケータを非線形方法で組み合わせるステップを含む、請求項１に記載の方法。
【請求項８】
第３のインジケータを決定するステップであって、前記第３のインジケータは、表示されない前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第３のセットのための表示時間中に表示される同じ第３のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果に関連する歪みの量を表し、前記第３のセットは、前記ビデオシーケンス内で、前記第１のセットと前記第２のセットの両方から分離される、ステップをさらに含み、
前記組み合わせるステップは、前記第３のインジケータを前記第１のインジケータおよび前記第２のインジケータと組み合わせるステップを含み、前記組み合わせるステップは、前記第１のセット、前記第２のセット、および前記第３のセットの隣接セットの位置の間の逸脱度で変化する、歪みの組み合わされたインジケータを生成する前記組み合わせのための関数を使用する、
請求項１に記載の方法。
【請求項９】
前記関数は、指数関数であって、前記指数関数の指数は前記位置の間の逸脱度に基づく、請求項８に記載の方法。
【請求項１０】
前記指数はまた、組み合わされるインジケータの数に基づく、請求項９に記載の方法。
【請求項１１】
ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを示す情報にアクセスし、
前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを示す情報にアクセスし、前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される、
よう構成されたビットストリーム解析モジュールと、
第１のインジケータを決定し、前記第１のインジケータは、ピクチャの前記第１のセットのための表示時間中に表示される同一の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる複数のタイプの歪み効果からの、所定のタイプの歪み効果に関連する歪みの量を表し、
第２のインジケータを決定し、前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される同一の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる複数のタイプの歪み効果からの、前記所定のタイプの歪み効果に関連する歪みの量を表す、
よう構成された効果推定モジュールと、
前記所定のタイプの歪み効果についての歪みの組み合わされたインジケータを生成するために、前記第１のインジケータと前記第２のインジケータを組み合わせる
よう構成された効果プールモジュールと、
を備えた、装置。
【請求項１２】
前記所定のタイプの歪み効果についての歪みの前記組み合わされたインジケータに基づいて、前記複数のタイプの歪み効果全部に対する合計歪みのインジケータを決定するよう構成された全体プールモジュールをさらに備えた、請求項１１に記載の装置。
【請求項１３】
第３のインジケータを決定し、前記第３のインジケータは、ピクチャの前記第１のセットのための前記表示時間中に表示される同一の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる前記複数のタイプの歪み効果からの、さらなるタイプの歪み効果に関連する歪みの量を表し、
第４のインジケータを決定し、前記第４のインジケータは、ピクチャの前記第２のセットのための前記表示時間中に表示される同一の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる前記複数のタイプの歪み効果からの、前記さらなるタイプの歪み効果に関連する歪みの量を表す、
よう構成された第２の効果推定モジュールと、
前記さらなるタイプの歪み効果についての歪みを表す歪みのさらなる組み合わされたインジケータを生成するために、前記第３のインジケータと前記第４のインジケータを組み合わせる、
よう構成された第２の効果プールモジュールと、
をさらに備えた、請求項１１に記載の装置。
【請求項１４】
前記所定のタイプの歪み効果についての歪みの前記組み合わされたインジケータと、前記さらなるタイプの歪み効果についての歪みの前記さらなる組み合わされたインジケータとに基づいて、前記複数のタイプの歪み効果全部に対する合計歪みのインジケータを決定するよう構成された全体プールモジュールをさらに備えた、請求項１３に記載の装置。
【請求項１５】
前記所定のタイプの歪み効果は、ジャーク効果、ポーズ効果、またはジャンプ効果のうちの２つ以上を含む、請求項１１に記載の装置。
【請求項１６】
歪みの前記組み合わされたインジケータは、ピクチャの前記第１のセットのための前記表示時間中に表示される前記同一の第１のピクチャを用いて、およびピクチャの前記第２のセットのための前記表示時間中に表示される前記同一の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果についての合計歪みを表す、請求項１１に記載の装置。
【請求項１７】
前記第１のインジケータと前記第２のインジケータは、非線形方法で組み合わされる、請求項１１に記載の装置。
【請求項１８】
第３のインジケータを決定し、前記第３のインジケータは、表示されない前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第３のセットのための表示時間中に表示される同一の第３のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果に関連する歪みの量を表し、前記第３のセットは、前記ビデオシーケンス内で、前記第１のセットと前記第２のセットの両方から分離される、
よう構成された第２の効果推定モジュールをさらに備え、
前記効果プールモジュールは、前記第３のインジケータを前記第１のインジケータおよび前記第２のインジケータとさらに組み合わせ、前記第１のセット、前記第２のセット、および前記第３のセットの隣接セットの位置の間の逸脱度で変化する、歪みの組み合わされたインジケータを生成する関数を使用する、
請求項１１に記載の装置。
【請求項１９】
前記関数は、指数関数であって、前記指数関数の指数は前記位置の間の逸脱度に基づく、請求項１８に記載の装置。
【請求項２０】
前記指数はまた、組み合わされるインジケータの数に基づく、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
ビデオに関する実施態様が説明される。様々な特定の実施態様は、ビデオについての歪みおよび／または品質を決定することに関する。
【背景技術】
【０００２】
ビデオ品質は、様々な歪みによって影響を受ける。歪みには、例えば、（ｉ）圧縮アーチファクト、（ｉｉ）チャネルアーチファクト、（ｉｉｉ）ピクチャのフリーズ、および（ｉｖ）ピクチャの飛越しなどがある。知覚されるビデオ品質に歪みが与える影響は、歪みのタイプに応じて様々であり得る。
【発明の概要】
【課題を解決するための手段】
【０００３】
一般的な特徴によると、ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報がアクセスされる。前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報がアクセスされる。前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される。第１のインジケータが決定される。前記第１のインジケータは、複数のタイプの歪み効果のうち、ピクチャの前記第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、所定のタイプの歪み効果に関連する歪みの量を表す。第２のインジケータが決定される。前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャとともに前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果に関連する歪みの量を表す。前記第１のインジケータと前記第２のインジケータは、前記所定のタイプの歪み効果についての歪みの組み合わされたインジケータを生成するために、組み合わされる。
【０００４】
別の一般的な特徴によると、ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報がアクセスされる。前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報がアクセスされる。前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される。第１のインジケータが決定される。前記第１のインジケータは、ピクチャの前記第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、１または複数のタイプの歪み効果全部に対する歪みの量を表す。第２のインジケータが決定される。前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記１または複数のタイプの歪み効果全部に対する歪みの量を表す。前記第１のインジケータと前記第２のインジケータは、歪みの組み合わされたインジケータを生成するために、非線形方法で組み合わされる。
【０００５】
１または複数の実施態様の詳細が、添付の図面および以下の説明において説明される。１つの特定の方法で説明されはするが、実施態様が様々な方法で構成または具体化され得ることは明らかである。例えば、実施態様は、方法として実行することができ、または例えば、一組の動作を実行するように構成された装置、もしくは一組の動作を実行するための命令を記憶する装置など、装置として具体化することができ、または信号内に具体化することができる。他の特徴および特色は、以下の詳細な説明を添付の図面および特許請求の範囲と併せて検討することから明らかになる。
【図面の簡単な説明】
【０００６】
【図１】一連のピクチャの第１の例の絵表現である。
【図２】一連のピクチャの第２の例の絵表現である。
【図３】飛越しを伴うフリーズの一例のグラフ表現である。
【図４】飛越しを伴わないフリーズの一例のグラフ表現である。
【図５】歪み推定フレームワークの実施態様を示すブロック／フロー図である。
【図６】フリーズを経験するビデオシーケンスの一例の絵表現である。
【図７】プール関数（ｐｏｏｌｉｎｇ  ｆｕｎｃｔｉｏｎ）の一例のグラフ表現である。
【図８】送信システムおよびプロセスの実施態様を示すブロック／フロー図である。
【図９】受信システムおよびプロセスの一例を示すブロック／フロー図である。
【図１０】歪みおよび／または品質を決定するための装置および方法の第１の実施態様を示すブロック／フロー図である。
【図１１】歪みおよび／または品質を決定するための装置および方法の第２の実施態様を示すブロック／フロー図である。
【発明を実施するための形態】
【０００７】
本出願で提示される特色のいくつかについて予備的に説明すると、少なくとも１つの実施態様が、フリーズによって引き起こされたビデオシーケンスの欠損を検出する。そのような欠損は、しばしば、時間的欠損と呼ばれる。加えて、これらの実施態様の少なくとも１つは、ピクセルレイヤ情報ではなく、ビットストリームレイヤ情報を使用して欠損を評価する。さらに、評価は、欠損によって引き起こされる歪みおよびその結果の品質についての推定を提供する。いくつかのタイプの歪み効果は一般に特定のフリーズイベント内に存在するものの、１つの特定の実施態様は、各タイプの歪み効果を別々にプールする。別の実施態様は、別々のフリーズイベントの間で共通の歪み効果についての歪みを、非線形方法でプールする。これらおよび他の実施態様が以下で説明される。
【０００８】
ビデオ品質は、様々な歪みによって影響され得る。そのような歪みは、例えば、以下のうちの１または複数を含むことができる。
【０００９】
●例えば、非可逆符号化器−復号器（「コーデック」）によって引き起こされる、圧縮アーチファクト。
【００１０】
●パケットロスによって引き起こされる、チャネルアーチファクト。パケットロスは、トランスポートレイヤにおいて検出され、復号器の誤り隠蔽（ｅｒｒｏｒ  ｃｏｎｃｅａｌｍｅｎｔ）ポストプロセッサーは、失われたパケットの影響を軽減しようと試みる。そのような誤り隠蔽は、例えば、ブロックレベルで実行される。（例えば、ポストプロセッサーの）誤り隠蔽で発生する歪み、および現在のピクチャから現在のピクチャの後に復号されるピクチャへの誤り隠蔽歪みの伝搬は、チャネルアーチファクトと呼ばれる。
【００１１】
●やはりパケットロスによって引き起こされる、飛越しを伴うフリーズ。「フリーズ」とは、現在のピクチャが単一のピクチャ表示時間よりも長く表示される、ビデオシーケンスの表示におけるポーズのことである。「飛越しを伴うフリーズ」と呼ばれる歪みと「チャネルアーチファクト」と呼ばれる歪みの相違は、ある実施態様では、ピクチャのパケットが失われた場合は、ピクチャ全体が削除されることである。様々な実施態様におけるさらなる相違は、ピクチャ全体が削除され、したがって、それが飛越された場合、予測参照として削除ピクチャに依存するピクチャも削除されることである。１または複数のピクチャが削除された場合、現在のピクチャの表示時間と削除ピクチャの表示時間とに対応する持続時間の間、現在のピクチャが表示において「フリーズされる」。一般に、「フリーズされた」表示を見る視聴者は、これを歪みとして知覚する。加えて、削除ピクチャは全く表示されないので、これらの削除ピクチャは、「飛越された」と言われる。一般に、「飛越し」は、視聴者が「フリーズ」とは別の歪みとして知覚する、知覚可能なジャンプまたは遷移を導入するが、２つの歪みは関連している。
【００１２】
●バッファアンダーフローによって引き起こされる、飛越しを伴わないフリーズ。例えば、ネットワーク遅延などの理由で、表示するためにディスプレイがピクチャを求めたときに、バッファ内に復号されたピクチャが存在しないことがある。その場合、次の復号されたピクチャがバッファに到着するまで、表示が一時停止する。この種の歪みは、ピクチャが飛越されないので、「飛越しを伴わないフリーズ」と呼ばれる。
【００１３】
これらおよび他の歪みの影響は、ビットストリームレイヤとピクセルレイヤの両方において評価され得る。様々なビットストリームレイヤ方法では、評価方式は、ビットストリームの解析器に基づいており、ピクセル値は、復号されない。様々なピクセルレイヤ方法では、ビットストリームの完全復号が好ましい。明らかに、ピクセルレイヤでは、歪みを評価するための追加情報が利用可能である。しかしながら、一般に、ピクセルレイヤ情報を取得するためには、追加の計算および時間が必要とされる。
【００１４】
したがって、本出願の少なくとも１つの実施態様は、ビデオが（飛越しを伴うまたは伴わない）１または複数の「フリーズ」歪みによって歪ませられた場合に、ビットストリームレイヤによって品質を評価するための技法を提供する。さらに、１または複数の実施態様は、１または複数の「フリーズ」歪みの発生を検出し、ビデオの結果の歪みおよび品質の尺度を提供する。
【００１５】
「フリーズ」歪みは、加えて、または代わりに、一般に、２つ以上の歪みであると見なされ得ることに留意されたい。歪みの第１の発生は、一般に、「フリーズ」が開始したときの動きにおけるジャーク（または停止）である。歪みの第２の発生は、一般に、「フリーズ」によって生じるポーズである。「飛越しを伴うフリーズ」の場合における、歪みの第３の発生は、一般に、「フリーズ」が終了し、「飛越し」が発生した後に発生する、動きにおける（「飛越し」とも呼ばれる）「ジャンプ」である。
【００１６】
様々な実施態様は、例えば、所定の「フリーズ」イベント（もしくは「フリーズ」もしくは「飛越し」など、イベントの構成要素）、または複数の「フリーズ」イベント（もしくは複数のイベントに属する構成要素）が視聴者に与える影響を決定する。影響は、しばしば、数値として記述され、一般に、「歪み」（または「品質」）と呼ばれる。
【００１７】
しかしながら、様々な実施態様では、決定された歪みは、完全ではない。すなわち、様々な実施態様では、決定された歪みは、構成要素またはイベントを無視しており、最も良くて近似または推定であると見なされるにすぎない。
【００１８】
１．歪みについての説明
パケットロスがトランスポートレイヤにおいて検出された場合、一般に、実用的な復号システムは、２つの選択肢を有する。第１の選択肢は、例えば、誤り隠蔽ポストプロセッサーにおいて実行される誤り隠蔽を用いて、１または複数の失われたパケットの影響を軽減しようと試みることである。誤り隠蔽プロセスは、例えば、対応するブロックを別のピクチャからコピーすることを含む、当技術分野で知られている、様々な誤り隠蔽技法のいずれかを実行することができる。第２の選択肢は、ピクチャ全体を削除することである。チャネルアーチファクトは、しばしば、誤り隠蔽が選択されたときに発生する。「飛越しを伴うフリーズ」効果は、しばしば、ピクチャが削除されたときに発生する。
【００１９】
少なくとも部分的に「飛越しを伴うフリーズ」効果に焦点を当てた１または複数の実施態様が、本出願において説明される。少なくとも１つの実施態様では、パケットロスが発生した場合、ピクチャ全体が削除され、その結果、「飛越しを伴うフリーズ」歪みが生じる。削除ピクチャがＩピクチャまたはＰピクチャである場合、削除ピクチャは、まだ復号されていない１または複数のさらなるピクチャのための予測参照ピクチャとして使用される。これらのさらなるピクチャは、削除ピクチャに依存すると言われることがあり、依存ピクチャと呼ばれることがある。少なくとも１つの実施態様では、これらの依存ピクチャも削除される。より具体的には、これらの実施態様に関して、
●Ｉピクチャにおけるパケットが失われた場合、グループオブピクチャ（「ＧＯＰ」）内のすべてのピクチャが削除される。その理由は、典型的なＧＯＰは、失われたパケットのせいで削除されるＩピクチャを含み、ＧＯＰ内の残りのすべてのピクチャは、Ｉピクチャに直接的または間接的に依存するからである。
【００２０】
●Ｐピクチャにおけるパケットが失われた場合、Ｐピクチャが削除される。加えて、削除されたＰピクチャに依存するＧＯＰ内のすべてのピクチャが削除される。多くの場合、これは、Ｐピクチャと、ＧＯＰの末尾までの残りのすべてのピクチャとに対応する。
【００２１】
●通常のＢピクチャにおけるパケットが失われた場合、次いで、（失われたパケットを含む）Ｂピクチャのみが削除される。通常のＢピクチャは、他のどのピクチャのための参照としても使用されないことに留意されたい。
【００２２】
上述のシナリオでは、パケットロスが発生した場合、連続するピクチャからなる少なくとも１つのグループが削除される。グループは、１または複数のピクチャを含む。これは、失われたパケットを含むピクチャがＩピクチャであるか、Ｐピクチャであるか、それともＢピクチャであるかに係らず成り立つ。
【００２３】
図１および図２は、例を提供している。図１を参照すると、ビデオピクチャのシーケンス１００が、左から右への表示順で示されている。シーケンス１００は、ＧＯＰ１１０と、ＧＯＰ１２０と、ＧＯＰ１３０とを含む、複数の順次的なＧＯＰを含む。ＧＯＰ１１０の場合、最後のピクチャだけが示されており、それはピクチャ１１８である。同様に、ＧＯＰ１３０の場合、最初のピクチャだけが示されており、それはピクチャ１３２である。しかしながら、ＧＯＰ１２０の場合、ＧＯＰ１２０内のピクチャのすべてが示されている。
【００２４】
ＧＯＰ１２０は、Ｉピクチャ１２２と、Ｂピクチャ１２４と、Ｐピクチャ１２６と、第２のＢピクチャ１２７と、第２のＰピクチャ１２８とを含む。Ｉピクチャ１２２は、参照ピクチャを有さない。Ｂピクチャ１２４は、Ｉピクチャ１２２およびＰピクチャ１２６からＢピクチャ１２４に向かう矢印によって示されるように、Ｉピクチャ１２２およびＰピクチャ１２６に依存する。Ｐピクチャ１２６は、Ｉピクチャ１２２からＰピクチャ１２６に向かう矢印によって示されるように、Ｉピクチャ１２２に依存する。Ｂピクチャ１２７は、Ｐピクチャ１２６およびＰピクチャ１２８からＢピクチャ１２７に向かう矢印によって示されるように、Ｐピクチャ１２６およびＰピクチャ１２８に依存する。Ｐピクチャ１２８は、Ｐピクチャ１２６からＰピクチャ１２８に向かう矢印によって示されるように、Ｐピクチャ１２６に依存する。
【００２５】
ＧＯＰ１２０内のピクチャの１または複数が削除された場合、以下のように、１または複数の連続グループ削除が存在することが分かる。連続グループ削除は、一組の削除された１または複数の連続するピクチャである。
−Ｉピクチャ１２２が削除された場合、次いで、Ｉピクチャ１２２にはＧＯＰ１２０内の残りのすべてのピクチャが依存するので、ＧＯＰ１２０内のピクチャのすべが削除される。これは、５つのピクチャを含む１つの連続グループ削除である。
−Ｂピクチャ１２４が削除された場合、次いで、Ｂピクチャ１２４に他のピクチャは依存しないので、Ｂピクチャ１２４のみが削除される。これは、ただ１つのピクチャを含む１つの連続グループ削除である。
−Ｐピクチャ１２６が削除された場合、次いで、Ｐピクチャ１２６にはＩピクチャ１２２を除くすべてのピクチャが依存するので、それらのピクチャのすべてが削除される。これは、４つのピクチャを含む１つの連続グループ削除である。
−Ｂピクチャ１２７が削除された場合、Ｂピクチャ１２７に他のピクチャは依存しないので、Ｂピクチャ１２７のみが削除される。これは、ただ１つのピクチャを含む１つの連続グループ削除である。
−Ｐピクチャ１２８が削除された場合、次いで、Ｐピクチャ１２８にはＢピクチャ１２７が依存するので、Ｂピクチャ１２７も削除される。これは、２つのピクチャを含む１つの連続グループ削除である。
【００２６】
図２を参照すると、別の例が提供されている。図２は、Ｉピクチャ２１０と、第１のＰピクチャ２２０と、第２のＰピクチャ２３０と、Ｂピクチャ２４０とを含むＧＯＰ２００を示している。Ｉピクチャ２１０は、参照ピクチャを有さない。Ｐピクチャ２２０は、Ｉピクチャ２１０からＰピクチャ２２０に向かう矢印によって示されるように、Ｉピクチャ２１０に依存する。Ｐピクチャ２３０も、Ｉピクチャ２１０からＰピクチャ２３０に向かう矢印によって示されるように、Ｉピクチャ２１０に依存する。Ｂピクチャ２４０は、Ｐピクチャ２２０およびＰピクチャ２３０からＢピクチャ２４０に向かう矢印によって示されるように、Ｐピクチャ２２０およびＰピクチャ２３０に依存する。
【００２７】
ＧＯＰ２００内のピクチャの１または複数が削除された場合、以下のように、１または複数の連続グループ削除が存在することが分かる。
−Ｉピクチャ２１０が削除された場合、次いで、Ｉピクチャ２１０にはＧＯＰ２００内の残りのすべてのピクチャが依存するので、ＧＯＰ２００内のピクチャのすべてが削除される。これは、４つのピクチャを含む１つの連続グループ削除である。
−Ｐピクチャ２２０が削除された場合、次いで、Ｐピクチャ２２０にはＢピクチャ２４０が依存するので、Ｂピクチャ２４０も削除される。しかしながら、Ｐピクチャ２２０とＢピクチャ２４０は隣接していない。したがって、これは、２つの連続グループ削除をもたらし、その各々は、ただ１つのピクチャを含む。第１のグループ削除は、Ｐピクチャ２２０を含む。第２のグループ削除は、Ｂピクチャ２４０を含む。
−Ｐピクチャ２３０が削除された場合、次いで、Ｐピクチャ２３０にはＢピクチャ２４０が依存するので、Ｂピクチャ２４０も削除される。これは、２つのピクチャを含む１つの連続グループ削除である。
−Ｂピクチャ２４０が削除された場合、次いで、Ｂピクチャ２４０に他のピクチャは依存しないので、Ｂピクチャ２４０のみが削除される。これは、ただ１つのピクチャを含む１つの連続グループ削除である。
【００２８】
したがって、「飛越しを伴うフリーズ」のシナリオでは、歪ませられたビデオシーケンスは、少なくとも１つのグループ削除を含むと結論することができる。少なくとも１つの典型的な「飛越しを伴うフリーズ」実施態様では、どのグループ削除も、１または複数の連続する（隣接する）ピクチャを含み、それらは、削除され、表示シーケンス内の最後に正しく受信されたピクチャによって置き換えられる。結果として、視聴者は、一般に、ビデオがしばらくの間フリーズし、その間は、最後に正しく受信されたピクチャが、グループ削除に対応するピクチャ間隔（複数可）の間、表示内に留まり、その後、ビデオが回復することを認識する。歪ませられたビデオシーケンスのための合計表示時間は、元の（歪ませられていない）ビデオシーケンスのための合計表示時間と比較して、変更されない。
【００２９】
以下でさらに説明されるアルゴリズムは、（飛越しを伴うまたは伴わない）「フリーズ」歪みの影響を評価するための少なくとも１つの実施態様および解決策を提供する。１つの特定の実施態様では、以下のアルゴリズムは、「飛越しを伴うフリーズ」によって引き起こされる全体的な悪化、および歪ませられたビデオの全体的な品質を評価する。
【００３０】
図３は、「飛越しを伴うフリーズ」が発生した場合の、物体の運動軌跡の一実施態様の一例を示している。図３では、物体の位置は、ｙ軸によって与えられ、時間は、ｘ軸によって与えられる。観察される物体は、点Ａにおいて、「飛越しを伴うフリーズ」が発生するまで滑らかに動き、そこで、物体は、動きを突然停止する。図３では、突然の停止は、点Ａから点Ｃまで延びる時間期間Ｂの間、物体の位置が一定であり続けることによって示されている。期間Ｂすべての間、物体は静止し続ける（すなわち、物体の位置は動かない）。その後、点Ｃにおいて、物体は動きを再開する。
【００３１】
図４は、「飛越しを伴わないフリーズ」が発生した場合の、物体の運動軌跡の一実施態様の一例を示している。観察される物体は、図３の「飛越しを伴うフリーズ」の場合と同様の初期軌跡を経験する。物体は、点Ａにおいて、「飛越しを伴わないフリーズ」が発生するまで滑らかに動き、そこで、物体は、動きを突然停止する。図３の軌跡と同様に、図４でも、突然の停止は、点Ａから点Ｃまで延びる時間期間Ｂの間、物体の位置が一定であり続けることによって示されている。期間Ｂすべての間、物体は静止し続ける（すなわち、物体の位置は動かない）。その後、点Ｃにおいて、物体は動きを再開する。
【００３２】
図３の「飛越しを伴うフリーズ」の場合、期間Ｂの後、物体は、位置Ｃから新しい位置Ｃ’に直ちにジャンプする。対照的に、図４の「飛越しを伴わないフリーズ」の場合、物体は、位置Ｃからその動きの軌跡を再開する。したがって、位置Ｃに関連する時刻において、図３と図４の軌跡の間に相違が生じる。
【００３３】
図３と図４の間のこの相違を概念化するための別の方法が提供される。この概念化では、期間Ｂにおいて、図３の「飛越しを伴うフリーズ」シナリオと図４の「飛越しを伴わないフリーズ」シナリオの間に相違が存在する。図３の「飛越しを伴うフリーズ」の場合、何らかの問題（例えば、削除ピクチャ）のせいで、期間Ｂすべての間、観察される物体は、その活動が視聴者によって観察され得ないが、実際には動き続けていると見なされ得る。その後、点Ｃにおいて、（例えば、削除ピクチャの時間期間が終了したために）問題が解決したとき、視聴者は、物体が位置Ｃから新しい位置Ｃ’に直ちにジャンプするのを観察する。この概念化では、物体は、新しい位置Ｃ’にジャンプし、したがって、期間Ｂの間、その新しい位置Ｃ’に向かって移動していたと仮定される。対照的に、図４の「飛越しを伴わないフリーズ」の場合、観察される物体は、期間Ｂの間、（視聴者によって観察されているように）実際に静止し続けており、したがって、視聴者が観察することは真実である。
【００３４】
先に簡潔に説明されたように、「飛越しを伴うフリーズ」が発生した場合、一般に、３つの異なるタイプの歪みが、視聴者によって観察される。これらの各々について以下で説明する。
【００３５】
第１に、点Ａにおいて、人間の脳は、点Ａ以前に存在していた運動軌跡を依然として追いかけようと試み、人間の目は、点Ａにおいて、および点Ａ以降、物体が静止したことに気付く。したがって、人間の脳は、自ら行った運動軌跡の延長からと、運動の停止の発生を伝える目のシグナリングからとでは、矛盾した入力を受け取っている。矛盾を解決するために、人間の脳は、より多くのエネルギーを費やして、人間の脳と人間の目とを同期させる。この効果は、人間の視覚系（「ＨＶＳ」）によって引き起こされ、一般に、「ジャーキ」（または「ジャーク」）効果と呼ばれる。一般に、ジャーキ効果は、組み合わされた場合は、非常に不快であるが、単発で発生する場合は、さほど不快でも、または露骨でもない。
【００３６】
上述の説明から明らかなように、「ジャーキ」効果は、ピクチャが最初に繰り返されたときに（すなわち、フリーズが最初に発生したときに）行われている動きにおけるジャーク、または停止に関連する。ジャークは、フリーズとともに発生し、そのため、「飛越しを伴うフリーズ」および「飛越しを伴わないフリーズ」のどちらにおいても見られる。ジャーキ効果は、人間の脳が一連のピクチャの運動軌跡を追いかけようと試みるために生じる。しかしながら、一連のピクチャがフリーズすると、軌跡は、人為的に、予期せず停止させられる。この予期せぬ停止は、動きにおけるジャークと呼ばれ、人間の脳は、エネルギーを費やして、動きにおけるジャークに気付き、それを処理する。エネルギーの消費と、関連する処理は、一般に、一連のピクチャを見るときの望ましくない特徴として意識される。したがって、動きにおけるジャークは、歪みであり、一連のピクチャの品質を低下させるものと見なされる。
【００３７】
第２に、期間Ｂの間、視聴者は、物体が動きを停止させていることを観察する。この効果は、一般に、「ポーズ」（または「ポージング」）効果と呼ばれる。
【００３８】
第３に、点Ｃにおいて、視聴者は、物体が異なる位置まで直ちにジャンプすることを観察する。この効果は、一般に、「ジャンピング」（または「ジャンプ」）効果と呼ばれる。上述の説明から明らかなように、「ジャンピング」効果は、ピクチャのコンテンツが直後のピクチャ内の異なる位置までジャンプしたときに行われている動きにおけるジャンプに関連する。これは、例えば、フリーズ後にピクチャが表示されたときの、「飛越し」の間に発生する。一般に、削除ピクチャは、それ以前に表示されたピクチャ（フリーズされるピクチャ以前のピクチャ）に関連し、また互いに関連する動きを提示する。したがって、ピクチャが削除されなければ、削除ピクチャの間に、削除ピクチャの後に発生するピクチャに到る動きの軌跡が存在する。しかしながら、フリーズが発生する場合、削除ピクチャの直後のピクチャは、削除ピクチャのすべての動きを累積して提示する。この累積された動きは、一般に、動きにおけるジャンプとして経験される。
【００３９】
「飛越しを伴わないフリーズ」が発生した場合、一般に、上述の歪み効果のうちの２つのみが、視聴者によって観察される。これらは、「ジャーキ」効果と、「ポーズ」効果である。図３の「飛越しを伴うフリーズ」の場合と対照的に、図４では、点Ｃにおいて、「ジャンピング」効果は観察されない。
【００４０】
発明者らは、「飛越しを伴うフリーズ」イベントおよび「飛越しを伴わないフリーズ」イベントは、ビデオ劣化およびその結果の視聴者によって知覚される歪みの「原因」であると決定した。さらに、発明者らは、ジャーク、ポーズ、およびジャンプが、視聴者が実際に歪みとして知覚する（「飛越しを伴うフリーズ」および「飛越しを伴わないフリーズ」イベントの）効果であると決定した。
【００４１】
共通の解決策は、一般に、「原因」ベースのフレームワークを使用する。原因ベースのフレームワークでは、一般に、「飛越しを伴うフリーズ」または「飛越しを伴わないフリーズ」が発生するたびに、歪みが評価される。
【００４２】
しかしながら、発明者らは、少なくとも様々な異なるアプリケーションおよび環境に関しては、「効果」ベースのフレームワークが、より合理的な解決策であり、より良い結果をもたらすことが期待されると決定した。したがって、本出願の少なくとも１つの実施態様では、品質および／または歪みを決定するための効果ベースのフレームワークが提供される。この決定についてのさらにいくつかのコメントが、以下で提供される。
【００４３】
第１に、視聴者は、「原因」よりも、むしろ「効果」を認識するように思われる。通常の視聴者は、視聴者が観察する現象の「原因」を理解するようには思われない。視聴者は、通常、ビデオが、例えば、「頻繁すぎるジャーク」、「長すぎるポーズ」、または「多すぎるジャンプ」によって影響を受けていることを見出す。人間の脳は、特定のタイプの効果に関連する情報を自然と集める。したがって、視聴者は、一般に、品質知覚を識別する際に、特定のタイプの効果ごとに別々に情報を収集する。したがって、例えば、情報を収集した後、視聴者は、１または複数のタイプの効果についての累積的な評価に関して、品質知覚を表現することができる。これは、例えば、「頻繁すぎるジャーク」、「長すぎるポーズ」、および「多すぎるジャンプ」というフレーズによって理解される。これらのフレーズの各々は、特定のタイプの効果の複数の発生についての情報を組み合わせる（また広く言えば累算する）ことに基づいた知覚を反映している。
【００４４】
第２に、異なる「原因」が、しばしば、同じ種類の「効果」を導入する。例えば、原因である「飛越しを伴うフリーズ」と「飛越しを伴わないフリーズ」はともに、「ポーズ」効果を導入する。これらの「原因」が同じビデオシーケンス内に現れる場合、異なる「原因」によって導入された「効果」は、一緒に混ぜ合わされて、視聴者によって識別され得ない。したがって、例えば、視聴者は、一般に、（例えば）「飛越しを伴わないフリーズ」から生じた「ポーズ」と、「飛越しを伴うフリーズ」から生じた「ポーズ」とを、その心の中で区別しない。したがって、そのような状況では、より一般的に、「原因」よりも「効果」に焦点を当てる方がより有益である。
【００４５】
第３に、典型的な「効果」は、１回よりも多く発生する。効果の複数の発生は、一般に、「効果」の発生のすべてを考慮する視聴者の知覚を推定するために、「プール戦略」を使用して組み合わされる。しかしながら、発明者らは、異なる「効果」は異なるプール戦略を求めると決定した。この目的を達成するために、「効果」ベースのフレームワークが使用される。
【００４６】
２．歪み／品質の評価
本出願では、ある窓サイズにおいて、例えば、飛越しを伴うまたは伴わない「フリーズ」のためのビデオ品質評価モデルを提供する、様々な実施態様を提案する。窓サイズの一例として、Ｐ．ＮＢＡＭＳは、（特に、研究グループ１２課題１４（ＳＧ１２／Ｑ１４）関する）「ビデオストリームの性能を評価するための非侵入型のビットストリームモデル」に取り組んでいる標準化機構であり、関連する標準は、１０秒の窓サイズを必要とする。様々な実施態様では、様々な異なる窓にモデルが供給される。例えば、特定の実施態様では、モデルは、対象とするありとあらゆる窓を指定する際に完全な粒度を可能にするために、対象とする孤立し分離された窓、ビデオ全体にわたって連続する窓、または重なり合う窓に供給される。
【００４７】
典型的なアプリケーションでは、しばらく経つと物事を忘れるという人間の脳で観察される傾向をモデル化した、人間の記憶のモデルの一部として、窓サイズが選択される。したがって、多くの実施態様は、プール戦略を、より大きな窓の間中、または複数の窓にわたって使用することはしない。それにも係らず、あるアプリケーションでは、窓サイズよりも長いビデオに対して、最終結果を得るために、プール戦略が供給される。いくつかの実施態様は、以下で説明されるプール解決策の１または複数を拡張し、それは、窓、複数の窓、または拡大された窓サイズに関連して説明される。しかしながら、別の実施態様は、より遠い歪みイベントの寄与を弱めさせる。
【００４８】
以下の説明に入る前に、以下で説明される少なくとも１つの実施態様の背景についてのいくつかの特徴を要約する。以下の説明では、短いビデオ（例えば、１０秒）は、例えば、「飛越しを伴うフリーズ」または「飛越しを伴わないフリーズ」の１または複数の発生によって劣化させられる。「飛越しを伴うフリーズ」の実施態様の場合、ビデオ内に１または複数のグループ削除が存在する。グループ削除ごとに、１または複数の連続するピクチャが削除され、最後に正しく受信されたピクチャで置き換えられる。「飛越しを伴わないフリーズ」の実施態様の場合、「飛越しを伴わないフリーズ」の発生は、例えば、バッファアンダーフローに起因する、例えば、１または複数のグループ遅延から生じる。以下で説明される評価モデルは、ある実施態様では、例えば、失われたパケット、削除ピクチャ、またはバッファアンダーフローについての利用可能な情報を有する、受信機または復号器において供給される。しかしながら、様々な他の実施態様は、本出願において後で説明されるような、典型的な通信システム内の他のポイントでは、モデルまたはモデルの変形を使用する。
【００４９】
３．効果ベースのフレームワーク
図５を参照すると、効果ベースの品質評価フレームワークの一実施態様に関するフレームワーク５００が提供されている。フレームワーク５００は、少なくとも、ビットストリームレイヤの時間品質評価に供給可能である。フレームワーク５００は、様々な実施態様では、ピクチャの特定の窓のピクチャ、複数の窓を含むビデオシーケンスのピクチャ、または複数のビデオシーケンスを含むビデオ全体に供給される。図５のブロックが、歪みおよび／または品質を決定するためのシステムまたは装置のブロック図を提供するのに加えて、歪みおよび／または品質を決定するためのプロセスのフロー図を提供することも明らかである。
【００５０】
最初に、入力ビットストリームは、ビットストリーム解析モジュール５０５を通過し、そこで、ビットストリームが解析され、歪みを導入する可能性がある（「飛越しを伴うフリーズ」または「飛越しを伴わないフリーズ」の発生など）すべての「原因」が選出される。ビットストリーム解析モジュール５０５は、例えば、入力ビットストリームを、ビットストリーム解析モジュール５０５に記憶されたテンプレートまたはパラメータと比較することによって、原因を識別することができる。
【００５１】
一実施態様では、ビットストリーム解析モジュール５０５は、パケットが失われていないか、ビットストリームを検査する。様々な実施態様では、パケットは、（ｉ）パケットのヘッダ内のパケット計数フィールドが特定の計数を飛越したこと、もしくは順番に増加しないことに気付くことによって、（ｉｉ）パケットが順序を違えて受信された、および／もしくは再送要求に応答があった後の時間であっても、今述べたパケット計数問題に気付くことによって、または（ｉｉｉ）パケットが破損していないかどうかを判定するために、単純に巡回冗長検査もしくは他の誤り制御手段を検査することによって、失われていると識別される。他の実施態様は、パケットが失われたことを、ビットストリーム解析モジュール５０５よりも前のモジュールにおいて識別し、そのような決定をビットストリーム解析モジュール５０５に提供する。
【００５２】
より一般的には、様々な実施態様において、ビットストリーム解析モジュール５０５への入力は、受信されたビットストリームであり、出力は、原因の識別情報（例えば、「原因１」または「飛越しを伴うフリーズ」）と、「原因」のパラメータである。例えば、「原因」が「飛越しを伴うフリーズ」である場合、一実施態様のパラメータは、歪みおよび／または品質を決定する際に使用される、フリーズの開始ポイント、フリーズの長さ、および動きベクトル（または動きベクトル情報）である。
【００５３】
別の実施態様では、前処理モジュールが、バッファアンダーフローと、アンダーフローの長さを識別し、ビットストリーム解析モジュール５０５への入力において、この情報を渡す。その後、ビットストリーム解析モジュール５０５は、入力情報を「飛越しを伴わないフリーズ」のテンプレートと比較することによって、「飛越しを伴わないフリーズ」が発生したことを識別する。そのような識別の後、ビットストリーム解析モジュール５０５は、「飛越しを伴わないフリーズ」が発生したことを示す識別情報を、歪みおよび／または品質を決定する際に使用される、フリーズの開始ポイント、フリーズの長さ、および動きベクトル（または動きベクトル情報）とともに含む出力を提供する。
【００５４】
ビットストリーム解析モジュール５０５によって識別された各「原因」は、その特定の原因のための原因解析モジュールに送られる。図５は、第１の原因のための原因１解析モジュール５１２と、第２の原因のための原因２解析モジュール５１４と、何らかの所定のアプリケーションまたは実施態様に関する数々の他の原因が存在し得ることを示すプレースホルダ原因解析モジュール５１６と、何らかの所定のアプリケーションまたは実施態様に関する最後の原因（第Ｍの原因）のための原因Ｍ解析モジュール５１８とを含む、４つの原因解析モジュールを示している。
【００５５】
ビットストリーム解析モジュール５０５は、様々な異なる情報を原因解析モジュールに送ることができる。１つの特定の実施態様では、原因１は、「飛越しを伴うフリーズ」であり、原因１解析モジュール５１２は、原因１解析モジュールが飛越されるピクチャを識別することを可能にする情報を受け取る。そのような様々な実施態様では、受信された情報は、例えば、（ｉ）飛越されるピクチャのリスト、（ｉｉ）最初の飛越されるピクチャとフリーズの長さとを示す表示、または（ｉｉｉ）最初の飛越されるピクチャと最後の飛越されるピクチャとを示す表示を含む。
【００５６】
特定の実施態様では、原因２は、「飛越しを伴わないフリーズ」である。したがって、原因２解析モジュール５１４は、原因２解析モジュールがフリーズの長さを識別することを可能にする情報を受け取る。そのような様々な実施態様では、受信された情報は、例えば、フリーズさせるべきピクチャを示す表示、およびピクチャがフリーズさせられるべき時間の長さを示す表示を含む。他の実施態様では、フリーズさせられるピクチャは、最後に正しく受信されたピクチャとして暗黙的に決定され、受け取られる情報は、例えば、ピクチャがフリーズさせられるべき時間の長さを示す表示のみを含む。
【００５７】
図５の実施態様では、原因解析モジュール５１２〜５１８は、それぞれの原因によって導入されるすべての可能な「効果」を提供する。これらの「効果」は、効果交換（ｅｆｆｅｃｔ  ｓｗｉｔｃｈｉｎｇ）モジュール５２０に提供される。典型的な実施態様では、これは、原因解析モジュール５１２〜５１８が、少なくとも２つの機能を実行することを必要とする。第１の機能は、原因によって導入される効果を決定することである。第２の機能は、効果の歪みおよび／または品質が決定され得るように、これらの効果を記述する情報を提供することである。
【００５８】
第１の機能は、少なくともいくつかの実施態様では、与えられた原因に関連付けられた効果のリストを参照することによって実行される。多くの原因解析モジュールについては、リストは、一般に、変化せずにあり続ける。例えば、原因１が「飛越しを伴うフリーズ」である上述の特定の実施態様では、原因１解析モジュール５１２は、「飛越しを伴うフリーズ」から一般にもたらされる３つの効果からなるリストを維持する。これら３つの効果は、ジャーキ効果、ポーズ効果、およびジャンピング効果である。加えて、原因２が「飛越しを伴わないフリーズ」である上述の特定の実施態様では、原因２解析モジュール５１４は、「飛越しを伴わないフリーズ」から一般にもたらされる２つの効果からなるリストを維持する。これら２つの効果は、ジャーキ効果、およびポーズ効果である。
【００５９】
第２の機能は、少なくともいくつかの実施態様では、効果を記述する一組のパラメータを提供することによって実行される。例えば、原因１が「飛越しを伴うフリーズ」である上述の特定の実施態様では、原因１解析モジュール５１２は、出力として、ジャーキ効果、ポーズ効果、およびジャンピング効果の歪みおよび／または品質が決定されることを可能にする情報を提供する。加えて、原因２が「飛越しを伴わないフリーズ」である上述の特定の実施態様では、原因２解析モジュール５１４は、出力として、ジャーキ効果、およびジャンピング効果の歪みおよび／または品質が決定されることを可能にする情報を提供する。
【００６０】
効果交換モジュール５２０は、様々な原因解析モジュール５１２〜５１８から効果情報を受け取る。効果交換モジュール５２０は、その後、効果情報を、その効果の歪みおよび／または品質を決定する対応する効果推定モジュールに送る。図５は、第１の効果のための効果１推定モジュール５３２と、第２の効果のための効果２推定モジュール５３４と、何らかの所定のアプリケーションまたは実施態様に関する数々の他の効果が存在し得ることを示すプレースホルダ効果推定モジュール５３６と、最後の効果のための効果Ｍ推定モジュール５３８とを示している。この最後の効果は、一般に、第Ｍの効果と呼ばれるが、原因の数は、一般に、効果の数と同じではないので、モジュール５３８の「Ｍ」は、一般に、モジュール５１８の「Ｍ」とは異なる数である。
【００６１】
原因１が「飛越しを伴うフリーズ」であり、原因２が「飛越しを伴わないフリーズ」である、上で説明された特定の実施態様について再び検討する。この特定の実施態様では、効果１は、ジャーキ効果であり、効果２は、ポーズ効果であり、効果３は、ジャンピング効果である。
【００６２】
したがって、効果交換モジュール５２０は、ジャーキ効果情報を、原因１解析モジュール５１２および原因２解析モジュール５１４から（ならびに他のすべての原因解析モジュールから）、効果１推定モジュール５３２に送る。その後、効果１推定モジュールは、例えば、「飛越しを伴うフリーズ」に起因するのか、それとも「飛越しを伴わないフリーズ」に起因するのかに係らず、ジャーキ効果の各発生についての歪みおよび／または品質を（例えば、推定することによって）決定する。
【００６３】
同様に、効果交換モジュール５２０は、ポーズ効果情報を、原因１解析モジュール５１２および原因２解析モジュール５１４から（ならびに他のすべての原因解析モジュールから）、効果２推定モジュール５３４に送る。その後、効果２推定モジュール５３４は、例えば、「飛越しを伴うフリーズ」に起因するのか、それとも「飛越しを伴わないフリーズ」に起因するのかに係らず、ポーズ効果の各発生についての歪みおよび／または品質を（例えば、推定することによって）決定する。
【００６４】
同様に、効果交換モジュール５２０は、ジャンピング効果情報を、原因１解析モジュール５１２および原因２解析モジュール５１４から（ならびに他のすべての原因解析モジュールから）、（ジャンピング効果推定モジュールであると仮定された）効果Ｍ推定モジュール５３８に送る。その後、効果Ｍ推定モジュール５３８は、例えば、「飛越しを伴うフリーズ」に起因するのか、それとも「飛越しを伴わないフリーズ」に起因するのかに係らず、ジャンピング効果の各発生についての歪みおよび／または品質を（例えば、推定することによって）決定する。
【００６５】
少なくとも１つの実施態様では、効果推定モジュール５３２〜５３８は、［０，１］の範囲内に収まるように、あらゆるタイプの「効果」の歪みレベルを正規化し、それによって、歪みが、端点を含む０と１の間の値を有することを可能にする。この範囲内では、０が最低の歪みレベル（最高の品質レベル）であり、１が最高の歪みレベル（最低の品質レベル）である。
【００６６】
様々な効果推定モジュール５３２〜５３８は、対応する効果プールモジュールに歪み情報を提供する。図５は、効果１推定モジュール５３２から歪み情報を受け取る、効果１プールモジュール５４２を含む。図５は、効果２推定モジュール５３４から歪み情報を受け取る、効果２プールモジュール５４４を含む。図５は、何らかの所定のアプリケーションまたは実施態様に関する数々の他の効果が存在し得ることを示すプレースホルダ効果推定モジュール５３６から歪み情報を受け取る、プレースホルダ効果プールモジュール５４６を含む。図５は、効果Ｍ推定モジュール５３８から歪み情報を受け取る、効果Ｍプールモジュール５４８を含む。効果プールモジュール５４２〜５４８に提供される歪み情報は、様々な実施態様では、歪み値および／または品質値を含む。
【００６７】
効果プールモジュール５４２〜５４８は、全体的な歪み（または品質）レベルを提供するために、同じタイプの「効果」のすべての発生を一緒に集める。一般に、所定のタイプの「効果」のすべての発生を視聴者が観察した後の、視聴者の知覚（歪みの知覚または品質の知覚）を推定することが、効果プールモジュール５４２〜５４８の目的である。したがって、効果プールモジュール５４２〜５４８に属する所定の効果プールモジュールは、入力として、所定のタイプの「効果」のすべての発生の歪みレベルを受け取る。少なくとも１つの実施態様では、あるタイプの「効果」の全体的な歪みレベルも、［０，１］の範囲に正規化される。
【００６８】
各タイプの効果の全体的な歪みレベルは、効果プールモジュール５４２〜５４８によって、全体プールモジュール５５０に提供される。全体プールモジュール５５０は、異なるタイプの「効果」のすべてを組み合わせて、ビデオの全体的な歪みレベルを得るために、プール戦略を使用する。全体プールモジュール５５０によって使用されるプール戦略は、効果プールモジュール５４２〜５４８の１または複数によって使用されるプール戦略と異なることも、または同じであることも可能である。少なくとも１つの実施態様では、全体プールモジュール５５０は、ビデオの全体的な歪みレベルを［０，１］の範囲に正規化する。
【００６９】
フレームワーク５００は、先に言及されたように、１または複数の実施態様において、窓ごとに供給される。そのような一実施態様では、効果プールモジュール５４２〜５４８は、窓を区別するためのゲートキーパーとしての役割を果たす。効果プールモジュール５４２〜５４８は、窓サイズを示す情報を使用して、様々な効果の歪みをプールすべき時間期間を決定する。その後、効果プールモジュール５４２〜５４８は、ビデオ内の連続する窓ごとに、プールされた歪み値を、全体プールモジュール５５０に提供する。したがって、全体プールモジュール５５０は、それぞれの効果の窓ベースの歪み値をプールし、ビデオ内の連続する窓ごとに、全体的なプールされた歪み値を提供する。
【００７０】
上述の窓ごとの実施態様では、窓サイズを表す情報は、様々な実施態様ごとに異なるメカニズムによって、効果プールモジュール５４２〜５４８に提供される。例えば、様々な実施態様では、情報は、（ｉ）非可変の定数として効果プールモジュール５４２〜５４８に組み込まれ、（ｉｉ）システム構成中にユーザインターフェースを使用して効果プールモジュールに供給され、または（ｉｉｉ）ビットストリームで供給される。
【００７１】
したがって、図５は、一般に、歪みの任意の「原因」と、歪みを生じさせる対応する任意の「効果」とに当てはまる。ここで、より具体的に、２つの「原因」と、対応する効果について検討する。
【００７２】
４．フレームワークの実施態様
少なくとも１つの実施態様では、フレームワーク５００は、「飛越しを伴うフリーズ」および「飛越しを伴わないフリーズ」という一時的な異常を経験するシステムに供給される。先に提供された解析によると、「飛越しを伴うフリーズ」および「飛越しを伴わないフリーズ」は、２つの「原因」である。「飛越しを伴うフリーズ」は、「ジャーキ」、「ポーズ」、および「ジャンピング」の３つのタイプの「効果」を導入する。「飛越しを伴わないフリーズ」は、「ジャーキ」、および「ポーズ」の２つのタイプの「効果」を導入する。
【００７３】
フレームワーク５００を供給した場合、ビットストリーム解析モジュール５０５は、「飛越しを伴うフリーズ」および「飛越しを伴わないフリーズ」の各発生を識別し、適切な情報を対応する原因解析モジュールに提供する。「飛越しを伴うフリーズ」のための原因解析モジュール（例えば、原因１解析モジュール５１２）は、各「飛越しを伴うフリーズ」原因が、１つの「ジャーキ」効果、１つの「ポーズ」効果、および１つの「ジャンピング」効果を導入すると決定する。「飛越しを伴わないフリーズ」のための原因解析モジュール（例えば、原因２解析モジュール５１４）は、各「飛越しを伴わないフリーズ」原因が、１つの「ジャーキ」効果、および１つの「ポーズ」効果を導入すると決定する。原因解析モジュールは、「効果」情報を効果交換モジュール５２０に提供し、効果交換モジュール５２０は、効果情報を対応する効果推定モジュールに提供する。
【００７４】
フレームワーク５００のさらなる供給は、いくつかのアルゴリズム、または場合によってはアルゴリズムのセットを供給する。アルゴリズムの第１のセットは、与えられた効果の与えられた発生についての歪みまたは品質を決定するために、歪み推定モジュール５３２〜５３８によって供給される。各効果は、少なくとも１つの実施態様では、異なる歪み決定アルゴリズムを有し、別の実施態様では、同じ歪み決定アルゴリズムを有する。
【００７５】
アルゴリズムの第２のセットは、与えられた効果ごとの個々の歪みを累算するために、効果プールモジュール５４２〜５４８によって供給される。各効果は、少なくとも１つの実施態様では、異なる歪みプールアルゴリズムを有し、別の実施態様では、同じ歪みプールアルゴリズムを有する。
【００７６】
第３のアルゴリズムは、異なる効果プールモジュール５４２〜５４８によって供給された、様々な効果のプールされた歪み値を累算するために、全体プールモジュール５５０によって供給される。少なくとも１つの実施態様では、単一のアルゴリズムが使用され、別の実施態様では、複数のアルゴリズムが使用される。
【００７７】
これらの３つの領域について以下でさらに説明する。（ｉ）「ジャーキ」効果、「ポーズ」効果、および「ジャンピング」効果の歪みレベル推定についての説明、（ｉｉ）「ジャーキ」効果、「ポーズ」効果、および「ジャンピング」効果の各々に関する歪みプール戦略についての説明、ならびに（ｉｉｉ）これら３つの効果のプールされた歪みを組み合わせるための全体的なプール戦略を提供する。
【００７８】
４．１  効果推定
図６を参照すると、ビデオシーケンスｄ＝｛ｆ１，ｆ２，．．．，ｆｎ｝が示されており、ここで、ｎは、ビデオシーケンス内のピクチャの番号であり、ｆｎは、ピクチャ番号がｎのビデオピクチャである。図６では、「フリーズ」も示されている。「フリーズ」は、例えば、「飛越しを伴うフリーズ」または「飛越しを伴わないフリーズ」から発生する。フリーズは、点で覆われたパターンを用いて印付けられた６つのピクチャからなるグループの間に発生するものとして示されている。フリーズの長さは、用語ｌｅｎによって示されている。
【００７９】
用語ｌｅｎは、この実施態様では、秒または他の何らかの時間単位によるグループ削除の時間期間として表される、フリーズの長さ（例えば、グループ削除の長さ）であり、時間期間は、表示されないピクチャが本来であれば表示された時間の長さである。別の実施態様では、用語ｌｅｎは、ピクチャを単位として表される。
【００８０】
図６には、ピクチャｆｂが示されており、これは、フリーズ以前に、最後に正しく表示されたピクチャである（下付きの添字「ｂ」は「ｂｅｆｏｒｅ（以前）」を表す）。すなわち、フリーズされるピクチャは、ピクチャｆｂである。図６には、ピクチャｆａも示されており、これは、フリーズ以降に、最初に正しく表示されたピクチャである（下付きの添字「ａ」は「ａｆｔｅｒ（以降）」を表す）。フリーズされるピクチャはｆｂであるが、「フリーズ」と呼ばれる期間が（斜線で覆われたパターンを用いて示された）ピクチャｆｂの最初の表示を含まないことは明らかである。むしろ、「フリーズ」は、ピクチャｆｂの適切な表示の後に発生する、後続のピクチャを表示すべき表示時間中にピクチャｆｂが表示内に留まる期間を指している。
【００８１】
ジャーキ効果、ポーズ効果、およびジャンピング効果の歪みは、図６の命名法に基づいて評価され得る。少なくとも１つの実施態様の式は以下の通りである。
【００８２】
ジャーキ効果の歪みレベルは、ｄｊｅｒｋｙで表される。一実施態様では、ジャーキ効果歪みは、主にピクチャｆｂにおける運動レベルによって定義される。したがって、この実施態様に関して、単一のフリーズのジャーキ効果歪みを
ｄｊｅｒｋｙ＝ｍｖ（ｆｂ）／Ｍ
と定義する。上述の式において、ｍｖ（ｆｂ）は、非ゼロ動きベクトルを有するピクチャｆｂのすべてのマクロブロックにわたる平均動きベクトルである。Ｍは、動きベクトルの最大値として定義される定数である。定数Ｍは、ｄｊｅｒｋｙの値を正規化して範囲［０，１］内に収めるために使用される。
【００８３】
一実施態様では、正規化は、ｍｖが通常３２よりも大きくないという事実に基づいている。したがって、その実施態様では、正規化は、ｍｖを６４で除算することによって達成され、結果が１よりも大きい場合、正規化されたｍｖは１に設定される。
【００８４】
フレームワーク５００を再び参照すると、一実施態様では、ジャーキ効果のための効果推定モジュール（例えば、効果１推定モジュール５３２）が、ｄｊｅｒｋｙのための上述の式を供給する。この実施態様の変形では、ジャーキ効果推定モジュールは、以下のように、動きベクトル情報へのアクセスを提供される。
−一変形では、ピクチャｆｂの復号された動きベクトル情報と、最大値Ｍが、ジャーキ効果推定モジュールに提供される。このデータは、例えば、テーブルまたはテーブルを指すポインタを使用して提供される。テーブルまたはポインタは、例えば、原因解析モジュール５１２〜５１８および効果交換モジュール５２０を介して、効果推定モジュール５３２〜５３８に提供される。
−別の変形では、ピクチャデータの復号が必要とされないように、平均動きベクトル値が、メタデータとして提供される。さらに、最大値Ｍは、システムセットアップ手順中に設定され、またはやはりメタデータとして提供される。メタデータは、例えば、原因解析モジュール５１２〜５１８および効果交換モジュール５２０を介して、効果推定モジュール５３２〜５３８に提供される。
【００８５】
ポーズ効果の歪みレベルは、ｄｐａｕｓｅで表される。一実施態様では、ポーズ効果歪みは、用語ｎによって識別される、主に「ポーズ」の長さに依存する。ｄｊｅｒｋｙについての上述の説明と同様に、用語ｌｅｎは、ピクチャ表示がピクチャｆｂで一時停止（すなわち、フリーズ）される期間を識別する。いくつかの実施態様では、「ポーズ」効果の歪みレベルは、ｌｅｎ＝０のときに最小値０を、ｌｅｎ＝＋∞のときに最大値１を有する。したがって、これらの実施態様に関して、単一のフリーズのポーズ効果歪みを
【００８６】
【数１】
0006010625.tif 000002
【００８７】
と定義する。
【００８８】
上述の式において、ｃ１は、定数である。歪みは、「ｌｅｎ」が大きい場合、１により近くなり、「ｌｅｎ」が小さい場合、０により近くなる。定数ｃ１は、「ｌｅｎ」の影響を調整して、ｃ１が小さい場合、１により近くなり、ｃ１が大きい場合、０により近くなる歪み値を提供する。一実施態様では、ｃ１の値は、１に設定される。定数ｃ１は、様々な実施態様では、例えば、すべての視聴者または単一の視聴者に当てはまるように設定される。例えば、一実施態様では、短い「ポーズ」効果しか我慢できない、忍耐強くない視聴者（または忍耐強くないことが予想されるターゲットの視聴観客）は、より長い「ポーズ」効果を我慢できる、より忍耐強い視聴者（またはより忍耐強いことが予想されるターゲットの観客）とは異なるｃ１の値を提供される。
【００８９】
フレームワーク５００を再び参照すると、一実施態様では、ポーズ効果のための効果推定モジュール（例えば、効果２推定モジュール５３４）が、ｄｐａｕｓｅのための上述の式を供給する。この実施態様の変形では、ポーズ効果推定モジュールは、以下のように、ｌｅｎおよびｃ１へのアクセスが提供される。
−一変形では、ポーズの長さが、ビットストリーム解析モジュール５０５によって決定され、例えば、テーブルまたはテーブルを指すポインタを使用して提供される。テーブルまたはポインタは、例えば、原因解析モジュール５１２〜５１８および効果交換モジュール５２０を介して、効果推定モジュール５３２〜５３８に提供される。ビットストリーム解析モジュール５０５は、ポーズの長さを決定し、またはこの情報を復号器もしくは解析器によって供給する。
−様々な実施態様では、ｃ１の値は、（ｉ）あらかじめ固定されており、受信機に伝達される必要がなく、（ｉｉ）受信機においてユーザによってシステム構成中に設定され、または（ｉｉｉ）送信側において決定され、メタデータとして送信され、受信機においてメタデータの復号を必要とする。メタデータは、例えば、ビットストリーム解析モジュール５０５によって復号され、例えば、原因解析モジュール５１２〜５１８および効果交換モジュール５２０を介して、効果推定モジュール５３２〜５３８に提供される。
【００９０】
ジャンピング効果の歪みレベルは、ｄｊｕｍｐｉｎｇで表される。ジャンピング効果歪みは、ピクチャｆｂとピクチャｆａとの間の差に関連するものとしてモデル化され得る。したがって、様々な実施態様では、「ジャンピング」効果の歪みレベルは、ピクチャｆｂとピクチャｆａとの間の差によって直接的に定義される。そのような差は、様々な実施態様では、例えば、ピクセル関連の輝度差、または平均ピクセル変位距離として決定される。
【００９１】
一実施態様では、ピクセル関連の輝度差は、２つのピクチャにおけるすべてのピクセル位置に対するピクセル関連の輝度差の絶対値の平均として計算される。少なくとも１つの実施態様では、これは以下のように表現され、
【００９２】
【数２】
0006010625.tif 000003
【００９３】
ここで、
Ｗ−ピクチャの幅、
Ｈ−ピクチャの高さ、
ｆ（ｘ，ｙ）−ピクチャｆの位置（ｘ，ｙ）におけるピクセルの輝度、
ｆａ−ポーズの後のピクチャ、
ｆａ−１−フリーズされたピクチャｆｂであり、最後に正しく受信されたピクチャでもある、ピクチャｆａの直前のピクチャ
である。
【００９４】
一実施態様では、平均ピクセル変位距離は、ピクチャｆａ内のピクセルのピクチャｆｂに対する平均移動として計算され得る。少なくとも１つの実施態様では、これは以下のように表現される。
【００９５】
【数３】
0006010625.tif 000004
【００９６】
ここで、
ＭＶ（ｘ，ｙ）−ピクチャｆａの位置（ｘ，ｙ）における移動。
【００９７】
ＭＶは、例えば、ｆｂに対する動きベクトルによって、またはｆｂに対するオプティカルフロー計算によって表され得ることに留意されたい。
【００９８】
ＭＶ（ｘ，ｙ）は、大きさと角度とを有するベクトルであることにも留意されたい。
【００９９】
Ｍａｇ（ＭＶ（ｘ，ｙ））−ベクトルＭＶ（ｘ，ｙ）の大きさ。
【０１００】
ｃｏｈ（ＭＶ（ｆａ））−ピクチャｆａにおけるＭＶ値のコヒーレンスのレベルを示すための正規化された値。ジャンピングが発生した場合、コヒーレントな運動はノイズ様の運動よりも印象的であるので、この正規化された値は重要である。すなわち、コヒーレントな運動の場合、ジャンプは、より大きなものとして知覚される。例えば、ノイズ様の運動の結果として、すべてのピクセルが大きな大きさの動きベクトルを有することがある。しかしながら、一般に、すべての動きベクトルが同じ方向を有するピクチャは、一般に、コヒーレンス項を通して、ノイズ様の運動を有するピクチャよりも高い平均変位距離を有するピクチャをもたらす。
【０１０１】
一般的に言うと、ｃｏｈ（ＭＶ（ｆａ））は、２つの因数、すなわち、方向コヒーレンスと大きさコヒーレンスとを乗算することによって決定される。各サブコヒーレンス（方向コヒーレンスおよび大きさコヒーレンス）は、さらに以下に説明されるｓｔｄなどの方法によって、または当技術分野で知られているヒストグラムビンのエントロピによって推定され得る。一般的に言うと、ピクチャ上での動きが、同じ方向、同じ速度である場合、動きは、より高いコヒーレンスを有する。
【０１０２】
しかしながら、完全な復号を行わずに、ビットストリームレイヤにおいて動作する実施態様についても検討する。そのような実施態様は、一般に、ピクセル関連の輝度または平均ピクセル変位距離を推定することができない。したがって、様々なビットストリームレイヤ実施態様は、単一のフリーズに関して、
ｄｊｕｍｐｉｎｇ＝ｍｖ（ｆａ）／Ｍ
のようにジャンピング効果歪みを定義する。
【０１０３】
上述の式において、ｍｖ（ｆａ）およびＭは、先に定義されたものと同様である。加えて、動き情報およびＭの値は、情報が先に説明されたジャーキ効果推定モジュール（複数可）に供給されるのと同様に、効果推定モジュール（複数可）（例えば、効果Ｍ推定モジュール５３８）に提供され得る。
【０１０４】
４．２  効果プール
先に説明されたように、各タイプの「効果」は、例えば、窓またはビデオシーケンス内で１回よりも多く発生し得る。例えば、対象とする窓内におけるあるタイプの「効果」のすべての発生を収集し、対象とする窓内におけるその「効果」の全体的な歪みレベル推定を生成するために、プール戦略が使用される。
【０１０５】
発明者らは、多くのアプリケーションにおいて、「ジャーキ」効果が発生レートに強く影響されると決定した。例えば、ジャーキ効果が１回発生するだけでは、または数回発生しても、一般に、視聴者がジャーキ効果に気付くことはめったにない。しかしながら、ジャーキ効果が頻繁に発生する場合、特に、ジャーキ効果が周期的に発生する場合、一般に、視聴者は、ジャーキ効果を直ちに認識し、ジャーキ効果から疲労を感じる。したがって、１または複数の実施態様では、ジャーキ効果の歪みを累算するためのプール戦略が、
【０１０６】
【数４】
0006010625.tif 000005
【０１０７】
のように定義される。ここで、
【０１０８】
【数５】
0006010625.tif 000006
【０１０９】
は、例えば、対象とする窓内における「ジャーキ」効果のすべての発生についての
【０１１０】
【数６】
0006010625.tif 000007
【０１１１】
の平均である。
【０１１２】
【数７】
0006010625.tif 000008
【０１１３】
は、少なくとも１つの実施態様では、以下のように表現される。
【０１１４】
【数８】
0006010625.tif 000009
【０１１５】
ｐは、例えば、対象とする窓内における「ジャーキ」効果のすべての発生の周期特性を示す変数である。
【０１１６】
今言及されたように、ｐは、「ジャーキ」効果の発生の周期特性を示す。より具体的には、一般的に、ジャーキ効果がより周期的であるほど、プールされた歪み推定値が大きくなるようにしたい。個々の歪み推定値は範囲［０，１］内にあるので、したがって、プールされた歪み推定値が大きくなるように、ｐが小さくなるようにしたい。これは、様々な実施態様で使用されるｐについての以下の定式化を用いて達成される。
【０１１７】
【数９】
0006010625.tif 000010
【０１１８】
ここで、
ｋは、（例えば、１０秒の長さのビデオシーケンスである、例えば、観察される窓内における）「ジャーキ」効果の発生の総数である。そのため、例えば、窓内に（「飛越しを伴うフリーズ」と「飛越しを伴わないフリーズ」の両方を含む）７つの「フリーズ」原因が存在する場合、「ｋ」＝７である。
【０１１９】
【数１０】
0006010625.tif 000011
【０１２０】
ｄｅｖは、２つの隣接する「ジャーキ」発生の間の距離のすべての値についての逸脱度（ｄｅｖｉａｎｃｅ）である。逸脱度は、当技術分野でよく知られており、以下でさらに説明される。
【０１２１】
Ｎ０は、定数である。少なくとも１つの実施態様では、Ｎ０は、
【０１２２】
【数１１】
0006010625.tif 000012
【０１２３】
が［０，１］の範囲内に確実に収まるように、十分に大きい定数となるように選択される。
【０１２４】
上述のことを少なくとも１つの実施態様に供給して、すべての隣接する一組のジャーキ効果の間の距離を決定する。距離は、フリーズの先頭間の距離として定義され、その距離は、例えば、時間を単位として、またはピクチャの数を単位として表現される。
【０１２５】
ｄｅｖおよびｓｔｄはどちらも、データ列の安定性の尺度である。我々のケースに関して、データ列の要素は、隣接する「ジャーキ」効果の間の距離である。データ列（ｘ１，ｘ２，．．．，ｘｎ）に関して、
−平均値は、
【０１２６】
【数１２】
0006010625.tif 000013
【０１２７】
であり、
−（分散としても知られる）逸脱度は、
【０１２８】
【数１３】
0006010625.tif 000014
【０１２９】
であり、
−（標準偏差としても知られる）標準逸脱度は、
【０１３０】
【数１４】
0006010625.tif 000015
【０１３１】
である。
【０１３２】
少なくとも１つの実施態様では、Ｎ０は、時間を単位として表現される窓サイズになるように設定される（他の実施態様は、ピクチャの数を単位としてＮ０を表現する）。１つの例外は、ｋ＝０の場合であり、その場合、歪みはゼロに設定される。それ以外の場合は、ｋの最小値は、１であり、ｓｔｄの最大値は、窓サイズよりも大きくなることはない。したがって、窓サイズになるように設定されたＮ０を用いれば、ｐが範囲［０，１］内に収まることが保証される。
【０１３３】
フリーズは、窓境界を越えて延びることがあり、実施態様は、様々な方法でこれに対処する。例えば、一実施態様では、フリーズが窓境界を越えて、または指定された閾値を超えて延びる場合、その「ポーズ」効果の歪みは、所定の値になるように設定される。
【０１３４】
図７を参照すると、ｐが０と１の間にある、０．１ｐ（０．１のｐ乗）の関数をプロットしたグラフが示されている。［０，１］の範囲内にある
【０１３５】
【数１５】
0006010625.tif 000016
【０１３６】
の値が与えられ、ジャーキ効果がより多く発生し、隣接する「ジャーキ」効果の間の距離の逸脱度がより低くなると、ｐの値はより低くなり、したがって、Ｄｊｅｒｋｙの値がより高くなることが分かる。
【０１３７】
上で説明されたように、ジャーキ効果が周期的である場合、ジャーキ効果のプールは、一般に、歪みに対する増強された知覚をもたらす。ポーズ効果の複数の発生の累算、またはジャンピング効果の複数の発生の累算も、歪みに対する増強された知覚をもたらす。すなわち、より多く発生するほど、はるかに高い歪みレベルをもたらす。
【０１３８】
しかしながら、一般に、相違が存在する。これらの相違は、少なくとも部分的に、異なる種類の効果に対して異なる種類のプール戦略を使用することを正当化する。
【０１３９】
相違に関して、ポーズ効果およびジャンピング効果の場合、さらなる発生は、人間の脳がその特定のタイプの歪み効果に慣れたかのように、増加分の歪みに対する減弱された知覚をもたらす。言い換えると、「ポーズ」効果または「ジャンピング」効果がより多く発生すると、歪みの増加レートは鈍化する。その場合、少なくとも１つの実施態様に関して、プール戦略は、
【０１４０】
【数１６】
0006010625.tif 000017
【０１４１】
のように定義される。
【０１４２】
上述の式において、Ｎは、ＤｐａｕｓｅおよびＤｊｕｍｐｉｎｇの値が範囲［０，１］内に留まることを保証する、十分に大きい定数である（他の実施態様は、例えば、［０，４］または［１，５］など、異なる範囲を使用する）。１または複数の実施態様では、Ｎは、対象とする窓内のピクチャの数になるように設定され、それは、少なくとも１つの実施態様では、３００である。
【０１４３】
平方根関数は、一般に観察されるデータに適した数々の特性を有する。なかでも、２つを挙げると、単調性（ｍｏｎｏｔｏｎｅ）および抑制性（ｓｕｐｐｒｅｓｓｉｏｎ）がある。プールされた歪みをｐｏｏｌｉｎｇ（・）と呼び、少なくとも１つの実施態様に関して、以下のように単調性および抑制性を定義する。以下の説明は、削除ピクチャに関して述べられるが、遅延ピクチャおよび「飛越しを伴わないフリーズ」にも同様に当てはまり、ピクチャが表示されない他の原因にも当てはまる。
【０１４４】
１．単調性−
２つのグループ削除（グループ削除セットとも呼ばれる）をＧ１およびＧ２で表し、Ｇ１およびＧ２の各々は、削除ピクチャからなる連続セットを含む。
【０１４５】
Ｇ２がＧ１のサブセットである場合、Ｇ１はＧ２の削除ピクチャのすべてを含み、ｐｏｏｌｉｎｇ（Ｇ１）＞ｐｏｏｌｉｎｇ（Ｇ２）である。
【０１４６】
２．抑制性−
我々は、人間の視聴者が一般に直前の経験によって判断ルールを速やかに調整することに注目した。したがって、視聴者が同様の歪みを１回よりも多く見た場合、視聴者の「嫌悪」感は、一般に僅かに低下する。すなわち、視聴者が歪みを見た後、同一または類似の歪みの別の発生を見た場合、視聴者は、さらなる発生を最初の発生ほど大きな歪みとして知覚しない。
【０１４７】
したがって、２つのグループ削除が完全に分離されている、Ｇ１∩Ｇ２＝φである場合、ｐｏｏｌｉｎｇ（Ｇ１∪Ｇ２）＜ｐｏｏｌｉｎｇ（Ｇ１）＋ｐｏｏｌｉｎｇ（Ｇ２）である。
【０１４８】
プールされた歪みの値は、一般に、プールされない歪みの値と比較できる値ではないことに留意されたい。これは、ある実施態様では、プールされた値が、プールされない値と同じ範囲（例えば、［０，１］）内にあるように正規化されるという事実に由来する。しかしながら、そのような状況では、例えば、異なる窓に関する歪みのプールされた値は、比較され得る。
【０１４９】
式（４）の供給の単純な例として、以下を検討する。
−Ｇ１とＧ２は互いに素（すなわち、Ｇ１∩Ｇ２＝φ）
−Ｇ１，２＝Ｇ１∪Ｇ２
−Ｄ（Ｇ１）＝２、Ｄ（Ｇ２）＝３
を仮定する。プール式をポーズ効果またはジャンピング効果に供給すると、
−ｐｏｏｌｉｎｇ（Ｇ１）＝ｓｑｒｔ（２／Ｎ）
−ｐｏｏｌｉｎｇ（Ｇ２）＝ｓｑｒｔ（３／Ｎ）
−ｐｏｏｌｉｎｇ（Ｇ１，２）＝ｓｑｒｔ（（２＋３）／Ｎ）
が得られる。
−ｓｑｒｔ（５／Ｎ）＞ｓｑｒｔ（２／Ｎ）、ｓｑｒｔ（５／Ｎ）＞ｓｑｒｔ（３／Ｎ）、したがって、ｐｏｏｌｉｎｇ（Ｇ１，２）＞ｐｏｏｌｉｎｇ（Ｇ１）、ｐｏｏｌｉｎｇ（Ｇ１，２）＞ｐｏｏｌｉｎｇ（Ｇ２）であり、単調性必要条件が満たされ、
−ｓｑｒｔ（５／Ｎ）＜ｓｑｒｔ（２／Ｎ）＋ｓｑｒｔ（３／Ｎ）、したがって、ｐｏｏｌｉｎｇ（Ｇ１∪Ｇ２）＜ｐｏｏｌｉｎｇ（Ｇ１）＋ｐｏｏｌｉｎｇ（Ｇ２）であり、抑制性必要条件が満たされる
ことが分かる。
【０１５０】
４．３  全体プール
フレームワーク５００を再び参照すると、全体プールモジュール５５０は、異なる「効果」についてプールされた歪み値を累算する。発明者らは、少なくとも多くのアプリケーションにおいて、異なる種類の「効果」が並列的に視聴者に影響すると決定した。したがって、発明者らは、多くのアプリケーションでは、異なる効果の線形結合が有益な全体プール戦略を提供すると決定した。これは、様々な実施態様に関して、以下のように表現される。
「飛越しを伴うフリーズ」
Ｄ＝α１×Ｄｊｅｒｋｙ＋α２×Ｄｐａｕｓｅ＋α３×Ｄｊｕｍｐｉｎｇ
ここで、α１＋α２＋α３＝１
「飛越しを伴わないフリーズ」
Ｄ＝α１×Ｄｊｅｒｋｙ＋α２×Ｄｐａｕｓｅ
ここで、α１＋α２＝１
定数α１、α２、およびα３は、様々な実施態様では、実際のデータ上でトレーニングを行うことによって決定される。トレーニングについての実施態様が以下で提供される。
【０１５１】
トレーニングでは、４つのＰ．ＮＢＡＭＳトレーニングデータベースが使用される。４つのデータベースは、併せて約２００個のビデオシーケンスを含み、各々は、約１０秒の長さである。データベースは、各ビデオシーケンスの主観的スコア（ｓｕｂｊｅｃｔｉｖｅ  ｓｃｏｒｅ）も含む。「平均意見スコア（ｍｅａｎ  ｏｐｉｎｉｏｎ  ｓｃｏｒｅ）」（ＭＯＳ）を形成するために、約２０人分の主観的スコアを平均することによって、題材スコア（ｓｕｂｊｅｃｔ  ｓｃｏｒｅ）が形成される。ＭＯＳは、計算された歪みの範囲と一致する［０，１］の範囲を有するように正規化される。フレームワーク５００、ならびに上で説明された歪み推定および歪みプールアルゴリズムが、３００ピクチャの窓サイズを使用して、２００個のビデオシーケンスに供給される。
【０１５２】
以下の記法を使用する。
−データベース内のビデオを、データセット＝｛Ｖ１，Ｖ２，．．．，Ｖｎ｝によって表し、ｎは、最大２００である。
−ビデオＶｋの主観的スコアＭＯＳを、ＭＯＳ（Ｖｋ）によって表し、ｋ＝１から２００である。
−ビデオの推定される３種類の歪みを、Ｄｊｅｒｋｙ（Ｖｋ）、Ｄｐａｕｓｅ（Ｖｋ）、およびＤｊｕｍｐｉｎｇ（Ｖｋ）によって表す。
【０１５３】
α１、α２、およびα３の値は、以下の最適化問題によって決定される。
【０１５４】
【数１７】
0006010625.tif 000018
【０１５５】
上記の差の平方の和を最小化するα１、α２、およびα３の値が、トレーニングされた結果である。上記の最適化問題を解くことは、微分積分学における標準的プロセスであり、一般に、標準的ツールが、結果を直接的に提供することができる。
【０１５６】
一実施態様では、上記のトレーニングプロセスが、以下のように丸められた最適化値を生成する。
【０１５７】
【数１８】
0006010625.tif 000019
【０１５８】
これらの値は、様々なアプリケーションに適している。
【０１５９】
例えば、ジャーキ効果に関して説明されたように、人間の脳は、異なる種類の効果に対して異なる反応をし得ることを思い出されたい。異なる反応は、異なる種類の効果に応答する人間の視覚系（ＨＶＳ）の動作に関連する。したがって、係数は、心理学および生理学に強く依存し得る。したがって、今説明されたトレーニング方法は、心理学および生理学をモデル化するのが難しい多くのアプリケーションにおいて有益である。
【０１６０】
係数は、多くの実施態様では、ビデオシーケンスのセットにも依存する。このため、様々な実施態様は、ビデオシーケンスのセットが変わった場合、係数を再トレーニングする。
【０１６１】
係数は、多くの実施態様では、基礎をなすビデオコンテンツから比較的独立している。ビデオコンテンツの相違による要因は、一般に、Ｄｊｅｒｋｙ（Ｖｋ）、Ｄｐａｕｓｅ（Ｖｋ）、およびＤｊｕｍｐｉｎｇ（Ｖｋ）の推定において捉えられる。例えば、一実施態様では、コンテンツは、多くの動きを有し、そのため、ジャーキ効果およびジャンピング効果に関する歪みが大きい。しかしながら、多くの動きを有するという事実は、この特定の実施態様では、係数に影響しない。
【０１６２】
我々は、いくつかの実施態様では、ジャーキ効果の発生はあまり頻繁でなく、または周期的でないので、トレーニングデータベースのビデオシーケンスにおけるジャーキ効果は、視聴者にあまり明瞭でないことに注目した。そのような一実施態様では、ジャーキ効果のプールは、低い（ゼロに近い）。プールされた歪み値が低いので、実施態様は、ジャーキ効果の影響を無視し、対応する係数をゼロ値に設定する。
【０１６３】
様々な実施態様が提示された。しかしながら、パラメータの１または複数を変更した、さらなる実施態様が可能であり、想定されている。例えば、１または複数の実施態様では、
−ｌｅｎは、例えば、グループ削除における連続するピクチャの数、またはピクチャレート（例えば、フレームレート）によって除算されたピクチャの数など、時間以外の単位で表現される。
−ｌｅｎは、ジャンピング効果に関する歪みを推定するために使用される。
−ポーズ効果およびジャンピング効果に関する平方根プール関数の代わりに、やはり単調性および抑制性必要条件を満たす、例えば、指数値、立方根、他の累乗根、および／または対数を含む、異なる関数が使用される。
−正規化された値は、［０，１］とは異なる範囲に正規化される。
−ｍｖは、平均の代わりにモードもしくはメディアンとして計算され、または平均は加重平均であり、または前景の物体の動きベクトルのみが考慮され、および／または最大の動きベクトルが、より大きな重みを与えられる（加重平均）。より一般的に、異なる実施態様では、様々な異なるフィルタリングアルゴリズムが使用される。
−ｍｖは、複数のピクチャに属する１または複数の動きベクトルの組み合わせとして計算される。一実施態様では、（先に説明されたような）ｆａおよびｆｂが使用される。
−より具体的には、ｍｖは、様々な実施態様では、削除ピクチャ以前のピクチャの１または複数の動きベクトルから、または削除ピクチャ以降のピクチャの１または複数の動きベクトルから、または削除ピクチャ以前および以降のピクチャの動きベクトルの組み合わせから決定される。ある実施態様では、ジャンピング効果の歪みは、削除ピクチャ以前のピクチャの動きベクトルに基づいたｍｖを使用して推定される。
【０１６４】
図８および図９は、少なくとも１つの実施態様に供給可能なさらなる背景を提供する。図８を参照すると、本出願で説明された特色および原理が供給され得る、ビデオ送信システムまたは装置８００が示されている。ビデオ送信システムまたは装置８００は、例えば、衛星、ケーブル、電話線または地上放送など、様々な媒体のいずれかを使用して信号を送信するための、例えば、ヘッドエンドまたは送信システムとすることができる。ビデオ送信システムまたは装置８００は、加えて、または代わりに、例えば、記憶装置に信号を提供するために使用され得る。送信は、インターネットまたは他の何らかのネットワークを介して提供され得る。ビデオ送信システムまたは装置８００は、例えば、ビデオコンテンツ、ならびに例えば、デプスおよび／またはディスパリティ値を含む、例えば、デプスのインジケータなどの他のコンテンツを、生成および配送することが可能である。図８のブロックが、ビデオ送信システムまたは装置のブロック図を提供するのに加えて、ビデオ送信プロセスのフロー図を提供することも明らかである。
【０１６５】
ビデオ送信システムまたは装置８００は、プロセッサー８０１から入力ビデオを受け取る。一実施態様では、プロセッサー８０１は、図１のビデオシーケンス１００のピクチャなど、ビデオピクチャを、ビデオ送信システムまたは装置８００に単に提供する。しかしながら、別の実施態様では、プロセッサー８０１は、代わりに、または加えて、デプスピクチャまたは他のコンテンツを、ビデオ送信システムまたは装置８００に提供する。プロセッサー８０１は、メタデータも、ビデオ送信システムまたは装置８００に提供することができ、メタデータは、入力ピクチャの１または複数に関連する。
【０１６６】
ビデオ送信システムまたは装置８００は、符号化器８０２と、符号化された信号を送信することが可能な送信機８０４とを含む。符号化器８０２は、プロセッサー８０１からビデオ情報を受け取る。ビデオ情報は、例えば、ビデオピクチャ、および／またはディスパリティ（またはデプス）ピクチャを含むことができる。符号化器８０２は、ビデオおよび／またはディスパリティ情報に基づいて、符号化された信号（複数可）を生成する。
【０１６７】
様々な実施態様では、符号化器８０２は、例えば、ＡＶＣ符号化器である。ＡＶＣ符号化器は、ビデオとディスパリティ情報の両方に供給され得る。ＡＶＣとは、既存の国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ムービングピクチャエキスパートグループ−４（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）規格／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降本明細書では、「Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ規格」、またはそのバリエーションである、「ＡＶＣ規格」もしくは「Ｈ．２６４規格」、もしくは単に「ＡＶＣ」もしくは「Ｈ．２６４」など）のことを指す。
【０１６８】
符号化器８０２は、様々な情報を受け取り、記憶または送信用の構造化フォーマットに組み立てるための、例えば、組み立てユニットを含む、サブモジュールを含むことができる。様々な情報は、例えば、符号化されたまたは符号化されないビデオ、符号化されたまたは符号化されないディスパリティ（またはデプス）値、ならびに例えば、動きベクトル、符号化モードインジケータ、およびシンタックス要素など、符号化されたまたは符号化されない要素を含むことができる。いくつかの実施態様では、符号化器８０２は、プロセッサー８０１を含み、したがって、プロセッサー８０１の動作を実行する。
【０１６９】
送信機８０４は、符号化器８０２から符号化された信号（複数可）を受け取り、１または複数の出力信号で符号化された信号（複数可）を送信する。送信機８０４は、例えば、符号化されたピクチャおよび／またはそれに関する情報を表す、１または複数のビットストリームを有する、プログラム信号を送信するように適合され得る。典型的な送信機は、誤り訂正符号化の提供、信号内のデータのインターリーブ、信号内のエネルギーのランダム化、および変調器８０６を使用する１または複数の搬送波への信号の変調のうちの１または複数などの機能を実行する。送信機８０４は、アンテナ（図示されず）を含むことができ、またはアンテナとインターフェースを取ることができる。さらに、送信機８０４の実施態様は、変調器８０６に制限され得る。
【０１７０】
ビデオ送信システムまたは装置８００は、記憶ユニット８０８にも通信可能に結合される。一実施態様では、記憶ユニット８０８は、符号化器８０２に結合され、記憶ユニット８０８は、符号化器８０２からの符号化されたビットストリームを記憶し、任意選択的に、記憶されたビットストリームを送信機８０４に提供する。別の実施態様では、記憶ユニット８０８は、送信機８０４に結合され、送信機８０４からのビットストリームを記憶する。送信機８０４からのビットストリームは、例えば、送信機８０４によってさらに処理された１または複数の符号化されたビットストリームを含むことができる。記憶ユニット８０８は、異なる実施態様では、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、または他の何らかの記憶デバイスのうちの１または複数である。
【０１７１】
ここで図９を参照すると、上で説明された特色および原理が供給され得る、ビデオ受信システムまたは装置９００が示されている。ビデオ受信システムまたは装置９００は、例えば、衛星、ケーブル、電話線または地上放送など、様々な媒体を使用して信号を受信するように構成され得る。信号は、インターネットまたは他の何らかのネットワークを介して受信され得る。図９のブロックが、ビデオ受信システムまたは装置のブロック図を提供するのに加えて、ビデオ受信プロセスのフロー図を提供することも明らかである。
【０１７２】
ビデオ受信システムまたは装置９００は、符号化されたビデオを受信し、例えば、表示（例えば、ユーザへの表示）、処理、または記憶用の復号されたビデオ信号を提供する、例えば、セルフォン、コンピュータ、タブレット、セットトップボックス、テレビ、ゲートウェイ、ルータ、または他のデバイスとすることができる。したがって、ビデオ受信システムまたは装置９００は、その出力を、例えば、テレビのスクリーン、コンピュータモニター、（記憶、処理、もしくは表示用の）コンピュータ、タブレット、または他の何らかの記憶、処理、もしくは表示デバイスに提供することができる。
【０１７３】
ビデオ受信システムまたは装置９００は、ビデオ情報を受信し、処理することが可能であり、ビデオ情報は、例えば、ビデオピクチャ、および／またはディスパリティ（またはデプス）ピクチャを含むことができる。ビデオ受信システムまたは装置９００は、例えば、本出願の実施態様で説明された信号など、符号化された信号を受信するための受信機９０２を含む。受信機９０２は、例えば、図１のビデオシーケンス１００のピクチャの１つもしくは複数を提供する信号、または図８のビデオ送信システムもしくは装置８００から（例えば、記憶ユニット８０８もしくは送信機８０４から）出力された信号を受信することができる。
【０１７４】
受信機９０２は、例えば、符号化されたピクチャ（例えば、ビデオピクチャまたはデプスピクチャ）を表す複数のビットストリームを有するプログラム信号を受信するように適合され得る。典型的な受信機は、変調された信号および符号化されたデータ信号の受信、復調器９０４を使用する１または複数の搬送波からのデータ信号の復調、信号内のエネルギーの逆ランダム化、信号内のデータのデインターリーブ、ならびに信号の誤り訂正復号のうちの１または複数などの機能を実行する。受信機９０２は、アンテナ（図示されず）を含むことができ、またはアンテナとインターフェースを取ることができる。受信機９０２の実施態様は、復調器９０４に制限され得る。
【０１７５】
ビデオ受信システムまたは装置９００は、復号器９０６を含む。受信機９０２は、受信された信号を復号器９０６に提供する。受信機９０２によって復号器９０６に提供された信号は、１または複数の符号化されたビットストリームを含むことができる。復号器９０６は、例えば、ビデオ情報を含む復号されたビデオ信号、またはデプス情報を含む復号されたデプス信号など、復号された信号を出力する。復号器９０６は、例えば、ＡＶＣ復号器とすることができる。
【０１７６】
ビデオ受信システムまたは装置９００は、記憶ユニット９０７にも通信可能に結合される。一実施態様では、記憶ユニット９０７は、受信機９０２に結合され、受信機９０２は、記憶ユニット９０７からのビットストリームにアクセスし、および／または受信されたビットストリームを記憶ユニット９０７に記憶する。別の実施態様では、記憶ユニット９０７は、復号器９０６に結合され、復号器９０６は、記憶ユニット９０７からのビットストリームにアクセスし、および／または復号されたビットストリームを記憶ユニット９０７に記憶する。記憶ユニット９０７からアクセスされたビットストリームは、異なる実施態様では、１または複数の符号化されたビットストリームを含む。記憶ユニット９０７は、異なる実施態様では、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、または他の何らかの記憶デバイスのうちの１または複数である。
【０１７７】
復号器９０６からの出力ビデオは、一実施態様では、プロセッサー９０８に提供される。プロセッサー９０８は、一実施態様では、新しい表示をレンダリングするように構成されたプロセッサーである。いくつかの実施態様では、復号器９０６は、プロセッサー９０８を含み、したがって、プロセッサー９０８の動作を実行する。他の実施態様では、プロセッサー９０８は、例えば、セットトップボックス、タブレット、またはテレビなど、ダウンストリームデバイスの一部である。より一般的には、プロセッサー９０８および／またはビデオ受信システムもしくは装置９００は、様々な実施態様では、ゲートウェイ、ルータ、セットトップボックス、タブレット、テレビ、またはコンピュータの一部である。
【０１７８】
ビデオ受信システムまたは装置９００および／またはプロセッサー９０８の様々な実施態様は、「飛越しを伴うフリーズ」によって引き起こされた１または複数のグループ削除（すなわち、削除ピクチャのグループ）を含むビデオシーケンスの歪みおよび／または品質を評価する。グループ削除の歪みおよび／または品質は、（例えば、図１０または図１１で説明される方法を使用して）本出願で説明されるように決定され得る。以下図１０および図１１で説明される方法を含む、様々なそのような実施態様は、例えば、受信機９０２、復調器９０４、復号器９０６、および／またはプロセッサー９０８で実行される。
【０１７９】
図１０を参照すると、歪みおよび／または品質を決定するためのプロセス１０００が示されている。図１０のブロックが、歪みおよび／または品質を決定するためのプロセスのフロー図を提供するのに加えて、歪みおよび／または品質を決定するためのシステムまたは装置のブロック図を提供することは明らかである。プロセス１０００は、第１の表示されないピクチャ（複数可）のインジケータにアクセスすること（１０１０）を含む。動作１０１０は、少なくとも１つの実施態様では、ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報にアクセスすることを含む。動作１０１０は、様々な実施態様では、例えば、（ｉ）パケットが失われたこと、およびピクチャのシーケンスが削除されることを知らせる情報にアクセスするビットストリーム解析モジュール５０５、（ｉｉ）特定の位置において、特定の持続時間にわたって、飛越しを伴うフリーズが発生することを知らせる情報にアクセスする原因解析モジュール５１２〜５１８、ならびに（ｉｉｉ）指定された長さを有する特定のポーズ効果が発生したことを知らせる情報にアクセスする効果推定モジュール５３２〜５３８によって実行される。
【０１８０】
プロセス１０００は、第２の表示されないピクチャ（複数可）のインジケータにアクセスすること（１０２０）を含む。動作１０２０は、少なくとも１つの実施態様では、ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報にアクセスすることを含む。第２のセットは、ビデオシーケンス内で、第１のセットから分離される。２つのセットは、互いに素である、すなわち、重なり合わないことによって、分離される。２つのセットは、互いに隣接している場合であっても、分離され得る。したがって、２つの連続するＧＯＰは、２つの連続するＧＯＰの間にピクチャが存在しない場合であっても、互いから分離される。動作１０２０は、様々な実施態様では、例えば、動作１０１０に関して上で列挙されたのと同じ例によって実行される。
【０１８１】
プロセス１０００は、第１の表示されないピクチャ（複数可）の、複数の歪み効果の１つについての、歪みインジケータを決定すること（１０３０）を含む。動作１０３０は、少なくとも１つの実施態様では、第１のインジケータを決定することを含む。第１のインジケータは、複数のタイプの歪み効果のうち、ピクチャの第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いてビデオシーケンスを表示することからもたらされる、所定のタイプの歪み効果に関連する歪みの量を表す。表示時間中に実質的に共通の第１のピクチャを表示することは、全表示時間中に実質的に同じ（すなわち、共通の）ピクチャを表示することを含む。したがって、これは、最後に復号されたピクチャをフリーズ中に表示することを含む。しかしながら、これは、僅かに変化するが、依然として実質的に同じであるピクチャを、フリーズ中に表示することも含む。１つのそのような変化は、例えば、フリーズ中、ピクチャ表示時間ごとに増加するカウントを、最後に復号されたピクチャに追加することである。動作１０３０は、様々な実施態様では、例えば、「飛越しを伴うフリーズ」または「飛越しを伴わないフリーズ」原因から生じるジャーキ効果によって引き起こされる歪みを推定する、例えば、効果推定モジュール５３２〜５３８によって実行される。
【０１８２】
プロセス１０００は、第２の表示されないピクチャ（複数可）の、１つの歪み効果についての、歪みインジケータを決定すること（１０４０）を含む。動作１０４０は、少なくとも１つの実施態様では、第２のインジケータを決定することを含む。第２のインジケータは、ピクチャの第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いてビデオシーケンスを表示することからもたらされる、所定のタイプの歪み効果に関連する歪みの量を表す。表示時間中に実質的に共通の第２のピクチャを表示することは、共通の第１のピクチャの場合と同じ意味を有する。しかしながら、第１のピクチャは、第２のピクチャとは異なるピクチャである。動作１０４０は、様々な実施態様では、例えば、動作１０３０に関して上で列挙されたのと同じ例によって実行される。
【０１８３】
プロセス１０００は、１つの歪み効果についての歪みインジケータを累算すること（１０５０）を含む。動作１０５０は、少なくとも１つの実施態様では、所定のタイプの歪み効果についての歪みの組み合わされたインジケータを生成するために、第１のインジケータと第２のインジケータを累算することを含む。動作１０５０は、様々な実施態様では、例えば、ジャーキ効果、ポーズ効果、またはジャンピング効果など、所定のタイプの効果の歪み推定値をプールする、例えば、効果プールモジュール５４２〜５４８によって実行される。
【０１８４】
図１１を参照すると、歪みおよび／または品質を決定するためのプロセス１１００が示されている。図１１のブロックが、歪みおよび／または品質を決定するためのプロセスのフロー図を提供するのに加えて、歪みおよび／または品質を決定するためのシステムまたは装置のブロック図を提供することは明らかである。プロセス１１００は、第１の表示されないピクチャ（複数可）のインジケータにアクセスすること（１１１０）を含む。動作１１１０は、少なくとも１つの実施態様では、ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報にアクセスすることを含む。動作１１１０は、様々な実施態様では、例えば、動作１０１０および動作１０２０に関して上で列挙されたのと同じ例によって実行される。
【０１８５】
プロセス１１００は、第２の表示されないピクチャ（複数可）のインジケータにアクセスすること（１１２０）を含む。動作１１２０は、少なくとも１つの実施態様では、ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報にアクセスすることを含む。第２のセットは、ビデオシーケンス内で、第１のセットから分離される。動作１１２０は、様々な実施態様では、例えば、動作１０１０、動作１０２０、および動作１１１０に関して上で列挙されたのと同じ例によって実行される。
【０１８６】
プロセス１１００は、第１の表示されないピクチャ（複数可）の歪みインジケータを決定すること（１１３０）を含む。動作１１３０は、少なくとも１つの実施態様では、第１のインジケータを決定することを含む。第１のインジケータは、第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いてビデオシーケンスを表示することからもたらされる、１または複数のタイプの歪み効果全部に対する歪みの量を表す。動作１１２０は、様々な実施態様では、例えば、動作１０１０、動作１０２０、および動作１１１０に関して上で列挙されたのと同じ例によって実行される。ピクチャ。動作１１３０は、様々な実施態様では、例えば、動作１０３０および動作１０４０に関して上で列挙されたのと同じ例によって実行される。
【０１８７】
プロセス１１００は、第２の表示されないピクチャ（複数可）の歪みインジケータを決定すること（１１４０）を含む。動作１１４０は、少なくとも１つの実施態様では、第２のインジケータを決定することを含む。第２のインジケータは、ピクチャの第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いてビデオシーケンスを表示することからもたらされる、１または複数のタイプの歪み効果全部に対する歪みの量を表す。動作１１４０は、様々な実施態様では、例えば、動作１０３０、動作１０４０、および動作１１３０に関して上で列挙されたのと同じ例によって実行される。
【０１８８】
プロセス１１００は、第１の表示されないピクチャ（複数可）の歪みインジケータと、第２の表示されないピクチャ（複数可）の歪みインジケータとを、非線形方法で累算すること（１１５０）を含む。動作１１５０は、少なくとも１つの実施態様では、歪みの組み合わされたインジケータを生成するために、第１のインジケータと第２のインジケータを非線形方法で累算することを含む。動作１１５０は、様々な実施態様では、先に説明された、指数、平方根、または他の非線形プールアルゴリズムを使用して、例えば、ジャーキ効果、ポーズ効果、またはジャンピング効果など、所定のタイプの効果の歪み推定値をプールする、例えば、効果プールモジュール５４２〜５４８によって実行される。
【０１８９】
プロセス１０００および１１００、ならびに本出願で説明される他の実施態様は、通信システムの様々なポイントにおいて実行され得る。図８〜図９に関して上で説明されたように、歪みおよび／または品質の決定は、様々な実施態様では、通信システムの復号／受信／表示側において実行される。そのような決定は、様々な実施態様では、経験の質（「ＱｏＥ」）評価の一部である。ＱｏＥ評価は、様々な実施態様では、標準化されたアルゴリズムによって実行されることが想定されている。標準化されたアルゴリズムは、歪みおよび／または品質を評価するための説明された実施態様の１または複数（または１または複数の変形）とすることができる。
【０１９０】
本出願は、図５および図８〜図１１のブロック／フロー図を含む、複数のブロック／フロー図を提供する。本出願のブロック／フロー図が、例えば、プロセスを説明するフロー図、および装置の機能ブロックを説明するブロック図を含む、様々な情報を提示することは明らかである。加えて、本出願は、図１〜図２および図６の絵表現を含む、複数の絵表現を提供する。本出願の絵表現が、例えば、結果または出力の説明、およびプロセスを説明するフロー図を含む、様々な情報を提示することは明らかである。加えて、本出願は、図３、図４、および図７のグラフ表現を含む、複数のグラフ表現を提供する。本出願のグラフ表現が、例えば、様々な入力値における関数の結果または出力の説明、および変数間の関係の表示を含む、様々な情報を提示することは明らかである。
【０１９１】
「飛越しを伴うフリーズ」をもたらすグループ削除の歪みおよび／または品質を決定する様々な実施態様が説明された。これらの実施態様は、様々な他の実施態様では、「飛越しを伴うフリーズ」をもたらすグループ削除以外の歪みに当てはまるように拡張される。特に、本出願の技法および実施態様は、様々な実施態様では、フリーズのみに起因する歪み、飛越しのみに起因する歪み、または他の歪みに当てはまる。実際に、例えば、効果プールモジュール５４２〜５４８または全体プールモジュール５５０によって供給されるアルゴリズムなど、説明されたプール技法は、様々な他の実施態様では、任意の歪み値のプールに当てはまり、フリーズおよび／または飛越しに制限されない。
【０１９２】
ビデオシーケンスに当てはまる様々な実施態様が説明された。これらの実施態様は、様々な他の実施態様では、他のコンテンツに当てはまるように拡張される。そのような他のコンテンツは、例えば、標準的な２次元ビデオコンテンツ以外のコンテンツを含む。非ビデオコンテンツは、例えば、デプスマップ、エッジマップ、透明マップ、紫外線もしくは赤外線周波数画像、暗視ゴーグルからの熱シグネチャ、ディスプレイ上で分析されることが意図された科学データ、または繰り返しパターンを有する、もしくは順次的に見られることが意図された任意のデータを含む。
【０１９３】
１または複数の削除ピクチャを含むグループ削除の歪みおよび／または品質を決定する様々な実施態様が説明された。これらの実施態様は、ピクチャがいつ削除されるかを決定するためのいずれか特定の技法に依存しない。ピクチャが削除される（またはされない）ことを示す表示は、これらの実施態様への入力であるので、実施態様は、ピクチャが削除されるかどうかの決定を含む必要すらない。結果として、ピクチャを削除する決定は、当技術分野で知られた、様々な方法で行うことができ、例えば、ピクチャの単一のパケットが失われた場合にピクチャを削除すること、またはピクチャのすべてのパケットが失われ、適切な隠蔽技法が利用可能でない場合に限ってピクチャを削除することを含むことができる。
【０１９４】
「飛越しを伴うフリーズ」をもたらす１または複数の削除ピクチャを含むグループ削除の歪みおよび／または品質を決定する様々な実施態様が説明された。これらの実施態様は、様々な他の実施態様では、「フリーズ」が各削除ピクチャの表示時間中に正確に同じピクチャの繰り返しを含まない状況に当てはまるように拡張される。例えば、一実施態様では、ピクチャが繰り返された回数を示す小さいカウンタが、表示されたピクチャの右下に含まれる。したがって、４つのピクチャが削除された場合、（１つの期待通りの表示時間と４つの「フリーズされた」表示時間とを含む）５つの表示時間にわたって表示される「フリーズされた」ピクチャは、削除ピクチャの４つの表示時間中に小さいカウンタが右下に現れることを除いて、同一である。この小さいカウンタは、これら４つの表示時間中に、１から、２、３、４へとインクリメントする。
【０１９５】
単一のパケットが失われた場合にピクチャを削除する実施態様を説明した。ある実施態様では、単一のパケットロスが原因で、ピクチャが削除されるが、その理由は、例えば、（ｉ）低解像度ビデオでは、ピクチャ全体がしばしば単一のパケット内にあるため、または（ｉｉ）あるアプリケーションは隠蔽アーチファクトが存在しないという必要条件を有し、したがって、誤り隠蔽が使用されないためである。ピクチャをいつ削除するかについての決定において、実施態様は様々である（例えば、ただ１つのパケットが失われた場合に削除する、またはより多くのパケットが失われることが必要であるなど）。しかしながら、ピクチャが削除された場合、飛越し歪みを伴うフリーズが発生する。他のアプリケーションは、単一のパケットが失われた場合、誤り隠蔽を実際に試みる。さらなるピクチャのうちの１つの単一のマクロブロックしか削除ピクチャを参照として使用しない場合であっても、ある実施態様は、削除ピクチャに依存するさらなるピクチャもすべて削除する。そのような実施態様は、これらの依存ピクチャを削除するが、その理由は、例えば、（ｉ）隠蔽アーチファクトがないという必要条件があるため、（ｉｉ）さらなるピクチャ全体が単一のパケット内にあり、パケットの復号を回避したほうが効率的であるため、または（ｉｉｉ）依存ピクチャ内の単一の失われたマクロブロックが視聴者満足のために必須のコンテンツ（例えば、物体）を有することがあるので、このようにした方が、品質がより保証されるためである。加えて、削除ピクチャに依存する後続ピクチャをいつ削除するかについての決定において、他の実施態様は様々であり、例えば、後続ピクチャの閾値数のマクロブロックが影響されること、または誤り隠蔽アーチファクトが閾値を上回ることを必要とする。様々な実施態様では、ピクチャの削除も誤り隠蔽の一形態であると見なされることに留意されたい。
【０１９６】
様々な異なるプール関数を使用する実施態様を上で説明した。他のプール関数も可能である。様々な他の実施態様は、以下のように、プールのためのラップ関数（ｗｒａｐ  ｆｕｎｃｔｉｏｎ）を使用する。
【０１９７】
【数１９】
0006010625.tif 000020
【０１９８】
上述の式において、Ｄ（Ｇ）は、一組の個々の歪みＤ（ｇ）のプールされた歪みであり、ここで、ｇは、各個別の原因または効果を指す。上述のラップ関数は、２つの定数を使用し、それらは、Ｃ１とＣ２である。様々な実施態様では、Ｃ１とＣ２はともに、実験によって決定される。
【０１９９】
様々な実施態様は、様々な利点のうちの１または複数を有することができる。これらの利点の部分的なリストは、（ｉ）低い複雑さ、（ｉｉ）歪みモデルにおける「フリーズ」歪みと「飛越し」歪みの区別、（ｉｉｉ）例えば、フリーズ、飛越し、もしくは飛越しを伴うフリーズから生じる歪みの正確な決定を可能にすること、（ｉｖ）所望の品質レベルを提供するために、符号化、変調、および送信パラメータが決定されることを可能にすること、ならびに／または（ｖ）歪みの複数の発生についての歪み値／品質値を正確にプールすることを含む。
【０２００】
したがって、特定の特色および特徴を有する１または複数の実施態様を提供する。特に、歪みおよび／または品質の決定に関するいくつかの実施態様を提供する。しかしながら、これらの実施態様の変形およびさらなるアプリケーションが、本開示内で企図されており、説明された実施態様の特色および特徴は、他の実施態様にも適合され得る。
【０２０１】
本出願で説明された実施態様および特色のいくつかは、ＡＶＣ規格、および／またはＭＶＣ拡張を伴うＡＶＣ（付録Ｈ）、および／またはＳＶＣ拡張を伴うＡＶＣ（付録Ｇ）との関連で使用され得る。加えて、これらの実施態様および特色は、（既存もしくは将来の）別の規格との関連で、または規格を含まない状況で使用され得る。
【０２０２】
歪みという用語または品質という用語が、一般に歪みと品質の両方を表すことは明らかである。したがって、例えば、Ｄ（ｇ）に対する言及は、歪みと品質の両方に対するものである。
【０２０３】
本発明の原理の「一実施形態（「ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ」もしくは「ａｎ  ｅｍｂｏｄｉｍｅｎｔ」）」または「一実施態様（「ｏｎｅ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」もしくは「ａｎ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」）」、およびそれらの他の変形に対する言及は、実施形態に関連して説明される特定の特色、構造、および特性などが、本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な場所に見られる「一実施形態では（「ｉｎ  ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ」もしくは「ｉｎ  ａｎ  ｅｍｂｏｄｉｍｅｎｔ」）」または「一実施態様では（「ｉｎ  ｏｎｅ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」もしくは「ｉｎ  ａｎ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」）」という句、および他の任意の変形の出現は、必ずしもすべてが、同じ実施形態に対する言及ではない。
【０２０４】
加えて、本出願またはその特許請求の範囲は、様々な情報の「決定」に言及することがある。情報の決定は、例えば、情報の推定、情報の計算、情報の評価、情報の予測、またはメモリからの情報の取り出しのうちの１または複数を含むことができる。
【０２０５】
さらに、本出願またはその特許請求の範囲は、様々な情報への「アクセス」に言及することがある。情報へのアクセスは、例えば、情報の受信、情報（例えば、記憶）の取り出し、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、情報の評価、または情報の推定のうちの１または複数を含むことができる。
【０２０６】
様々な実施態様は、「画像」および／または「ピクチャ」に言及する。「画像」および「ピクチャ」という用語は、本文書のどこでも交換可能に使用され、広義の用語であることが意図されている。「画像」または「ピクチャ」は、例えば、フレームまたはフィールドの全部または一部とすることができる。「ビデオ」という用語は、一連の画像（またはピクチャ）を指す。画像またはピクチャは、例えば、様々なビデオ成分のいずれか、またはそれらの組み合わせを含むことができる。そのような成分、またはそれらの組み合わせは、例えば、輝度、色度、（ＹＵＶまたはＹＣｂＣｒまたはＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤、（ＲＧＢの）緑、（ＲＧＢの）青、Ｓビデオ、およびこれらの成分のいずれかの負または正を含む。「画像」または「ピクチャ」は、加えて、または代わりに、例えば、典型的な２次元ビデオ、２Ｄビデオピクチャのためのディスパリティマップ、２Ｄビデオピクチャに対応するデプスマップ、またはエッジマップを含む、様々な異なるタイプのコンテンツを指す。
【０２０７】
「デプスマップ」または「ディスパリティマップ」または「エッジマップ」または類似の用語も、広義の用語であることが意図されている。マップは、一般に、例えば、特定のタイプの情報を含むピクチャを指す。しかしながら、マップは、その名前によって示唆されない他のタイプの情報も含むことができる。例えば、デプスマップは、一般に、デプス情報を含むが、例えば、ビデオまたはエッジ情報などの、他の情報も含むことができる。
【０２０８】
例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも一方」の場合における、以下の「／」、「および／または」、および「の少なくとも一方」のいずれかの使用は、第１の列挙選択肢（Ａ）のみの選択、または第２の列挙選択肢（Ｂ）のみの選択、または両方の選択肢（ＡとＢ）の選択を包含することが意図されていることを理解されたい。さらなる一例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、および「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の場合、そのような句は、第１の列挙選択肢（Ａ）のみの選択、または第２の列挙選択肢（Ｂ）のみの選択、または第３の列挙選択肢（Ｃ）のみの選択、または第１および第２の列挙選択肢（ＡとＢ）のみの選択、または第１および第３の列挙選択肢（ＡとＣ）のみの選択、または第２および第３の列挙選択肢（ＢとＣ）のみの選択、または３つすべての選択肢（ＡとＢとＣ）の選択を包含することが意図されている。これは、当技術分野および関連技術分野の当業者には容易に明らかなように、多くの項目が列挙される場合に拡張され得る。
【０２０９】
様々な実施態様は、例えば、歪みもしくは品質の組み合わせ、または歪みもしくは品質のインジケータの組み合わせなどにおいて、「組み合わせ」に言及する。「組み合わせ」は、累算とも、または様々な実施態様では、プールとも呼ばれる。「組み合わせ」は、様々な実施態様では、例えば、加法演算、乗法演算、指数演算、最小値を選択する演算、または最大値を選択する演算のうちの１または複数を使用して実行される。
【０２１０】
加えて、多くの実施態様は、符号化器（例えば、符号化器８０２）、復号器（例えば、復号器９０６）、復号器からの出力を処理するポストプロセッサー（例えば、プロセッサー９０８）、または符号化器に入力を提供するプリプロセッサー（例えば、プロセッサー８０１）の１または複数において実現され得る。本出願で説明されるプロセッサーは、様々な実施態様では、集団で、例えば、プロセス、機能、または動作を実行するように構成された複数のプロセッサー（サブプロセッサー）を含む。例えば、プロセッサー８０１およびプロセッサー９０８は各々、様々な実施態様では、集団でそれぞれのプロセッサー８０１およびプロセッサー９０８の動作を実行するように構成された、複数のサブプロセッサーから構成される。さらに、他の実施態様が、本開示によって企図されている。
【０２１１】
本明細書で説明される実施態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実現され得る。もっぱら実施態様の単一の形態に関連して説明されたが（例えば、もっぱら方法として説明されたが）、説明された特色の実施態様は、他の形態（例えば、装置またはプログラム）でも実現され得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実現され得る。方法は、例えば、コンピュータ、セットトップボックス、ゲートウェイ、ルータ、マイクロプロセッサ、集積回路、またはプログラム可能論理デバイスを含む、例えば、一般に処理デバイスを指すプロセッサーなど、例えば、装置で実現され得る。プロセッサーは、例えば、コンピュータ、セルフォン、ポータブル／携帯情報端末（「ＰＤＡ」）、タブレット、ラップトップ、およびエンドユーザ間での情報の伝達を円滑化する他のデバイスなど、通信デバイスも含む。プロセッサーは、集団で、例えば、プロセス、機能、または動作を実行するように構成された複数のプロセッサーも含むことができる。集団的な構成および性能は、例えば、特定のタスク用の専用サブプロセッサーの使用、または並列処理の使用など、当技術分野で知られた様々な技法のいずれかを使用して達成され得る。
【０２１２】
本明細書で説明された様々なプロセスおよび特色の実施態様は、様々な異なる機器またはアプリケーションで、特に、例えば、データ符号化、データ復号、表示生成、デプスまたはディスパリティ処理、ならびにピクチャおよび関連するデプスおよび／またはディスパリティマップの処理に関連する機器またはアプリケーションで具体化され得る。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器に入力を提供するプリプロセッサー、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、タブレット、セルフォン、ＰＤＡ、および他の通信デバイスを含む。明らかなように、機器は、移動可能とすることができ、移動可能車両に設置することさえできる。
【０２１３】
加えて、方法は、プロセッサーによって（または集団でそのような命令を実行するように構成された複数のプロセッサーによって）実行される命令によって実現することができ、そのような命令（および／または実施態様によって生成されるデータ値）は、例えば、集積回路、例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、（例えば、ディジタル多用途ディスクもしくはディジタルビデオディスクとしばしば呼ばれる「ＤＶＤ」などの）光ディスク、ランダムアクセスメモリ（「ＲＡＭ」）、またはリードオンリーメモリ（「ＲＯＭ」）などのソフトウェア搬送または他の記憶デバイスなど、プロセッサー可読媒体上に記憶され得る。命令は、プロセッサー可読媒体上に有形に具体化されるアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせの中に存在することができる。命令は、例えば、オペレーティングシステム、別個のアプリケーション、または２つの組み合わせの中に見出され得る。したがって、プロセッサーは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する（記憶デバイスなどの）プロセッサー可読媒体を含むデバイスの両方として特徴づけられ得る。さらに、プロセッサー可読媒体は、命令に加えて、または命令の代わりに、実施態様によって生成されたデータ値を記憶することができる。
【０２１４】
当業者には明らかなように、実施態様は、例えば、記憶または送信され得る情報を搬送するためにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実施態様の１つによって生成されたデータを含むことができる。例えば、信号は、規格のシンタックスを書き込むもしくは読み取るためのルールをデータとして搬送するために、または規格のために書き込まれた実際のシンタックス値をデータとして搬送するためにフォーマットされ得る。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号としてフォーマットされ得る。フォーマットは、例えば、データストリームの符号化、および符号化データストリームを用いた搬送波の変調を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはディジタル情報とすることができる。信号は、知られているように、様々な異なる有線または無線リンクを介して送信され得る。信号は、プロセッサー可読媒体上に記憶され得る。
【０２１５】
数々の実施態様が説明された。それにも係らず、様々な変更が行われ得ることが理解されよう。例えば、異なる実施態様の要素は、他の実施態様を生み出すために、組み合わされ、補完され、変更され、または除去され得る。加えて、当業者は、他の構造およびプロセスが開示されたそれらの代わりに使われ得ること、その結果の実施態様が、開示された実施態様と少なくとも実質的に同じ結果（複数可）を達成するために、少なくとも実質的に同じ方法（複数可）で、少なくとも実質的に同じ機能（複数可）を実行することを理解する。したがって、本出願によって、これらおよび他の実施態様が企図されている。
［付記１］
ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報にアクセスするステップと、
前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報にアクセスするステップであって、前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される、ステップと、
第１のインジケータを決定するステップであって、前記第１のインジケータは、複数のタイプの歪み効果のうち、ピクチャの前記第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、所定のタイプの歪み効果に関連する歪みの量を表す、ステップと、
第２のインジケータを決定するステップであって、前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果に関連する歪みの量を表す、ステップと、
前記所定のタイプの歪み効果についての歪みの組み合わされたインジケータを生成するために、前記第１のインジケータと前記第２のインジケータを組み合わせるステップと、
を含む、方法。
［付記２］
前記所定のタイプの歪み効果についての歪みの前記組み合わされたインジケータに基づいて、複数のタイプの歪み効果全部に対する合計歪みのインジケータを決定するステップをさらに含む、付記１に記載の方法。
［付記３］
第３のインジケータを決定するステップであって、前記第３のインジケータは、複数のタイプの歪み効果のうち、ピクチャの前記第１のセットのための前記表示時間中に表示される前記実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、さらなるタイプの歪み効果に関連する歪みの量を表す、ステップと、
第４のインジケータを決定するステップであって、前記第４のインジケータは、ピクチャの前記第２のセットのための前記表示時間中に表示される前記実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記さらなるタイプの歪み効果に関連する歪みの量を表す、ステップと、
前記さらなるタイプの歪み効果についての歪みを表す歪みのさらなる組み合わされたインジケータを生成するために、前記第３のインジケータと前記第４のインジケータを組み合わせるステップと、
を含む、付記１に記載の方法。
［付記４］
前記所定のタイプの歪み効果についての歪みの前記組み合わされたインジケータと、前記さらなるタイプの歪み効果についての歪みの前記さらなる組み合わされたインジケータとに基づいて、複数のタイプの歪み効果全部に対する合計歪みのインジケータを決定するステップをさらに含む、付記３に記載の方法。
［付記５］
前記所定のタイプの歪み効果は、ジャーク効果、ポーズ効果、またはジャンプ効果のうちの１または複数を含む、付記１に記載の方法。
［付記６］
歪みの前記組み合わされたインジケータは、ピクチャの前記第１のセットのための前記表示時間中に表示される前記実質的に共通の第１のピクチャを用いて、およびピクチャの前記第２のセットのための前記表示時間中に表示される前記実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果についての合計歪みを表す、付記１に記載の方法。
［付記７］
前記第１のインジケータと前記第２のインジケータを組み合わせるステップは、前記第１のインジケータと前記第２のインジケータを非線形方法で組み合わせるステップを含む、付記１に記載の方法。
［付記８］
第３のインジケータを決定するステップであって、前記第３のインジケータは、表示されない前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第３のセットのための表示時間中に表示される実質的に同じ第３のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果に関連する歪みの量を表し、前記第３のセットは、前記ビデオシーケンス内で、前記第１のセットと前記第２のセットの両方から分離される、ステップをさらに含み、
組み合わせるステップは、前記第３のインジケータを前記第１のインジケータおよび前記第２のインジケータと組み合わせるステップを含み、前記組み合わせるステップは、前記第１のセット、前記第２のセット、および前記第３のセットの隣接セットの位置の間の逸脱度とは逆に変化する、歪みの組み合わされたインジケータを生成する前記組み合わせのための関数を使用する、
付記１または付記７のいずれかに記載の方法。
［付記９］
前記関数は、前記逸脱度を反映する指数を含む、付記８に記載の方法。
［付記１０］
前記指数も、組み合わされるインジケータの数を反映する、付記９に記載の方法。
［付記１１］
前記所定のタイプの歪み効果は、ジャーク効果である、付記８に記載の方法。
［付記１２］
ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報にアクセスするステップと、
前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報にアクセスするステップであって、前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される、ステップと、
第１のインジケータを決定するステップであって、前記第１のインジケータは、ピクチャの前記第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、１または複数のタイプの歪み効果全部に対する歪みの量を表す、ステップと、
第２のインジケータを決定するステップであって、前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記１または複数のタイプの歪み効果全部に対する歪みの量を表す、ステップと、
歪みの組み合わされたインジケータを生成するために、前記第１のインジケータと前記第２のインジケータを非線形方法で組み合わせるステップと、
を含む、方法。
［付記１３］
歪みの前記組み合わされたインジケータは、ピクチャの前記第１のセットのための前記表示時間中に表示される前記実質的に共通の第１のピクチャを用いて、およびピクチャの前記第２のセットのための前記表示時間中に表示される前記実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、所定のタイプの歪み効果についての合計歪みを表す、付記１２に記載の方法。
［付記１４］
前記１または複数のタイプの歪み効果は、単一のタイプの歪み効果のみを含む、付記１２に記載の方法。
［付記１５］
前記単一のタイプの歪み効果は、ジャーク効果である、付記１４に記載の方法。
［付記１６］
第３のインジケータを決定するステップであって、前記第３のインジケータは、表示されない前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第３のセットのための表示時間中に表示される実質的に同じ第３のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記１または複数のタイプの歪み効果全部に対する歪みの量を表し、前記第３のセットは、前記ビデオシーケンス内で、前記第１のセットと前記第２のセットの両方から分離される、ステップをさらに含み、
組み合わせるステップは、前記第３のインジケータを前記第１のインジケータおよび前記第２のインジケータと組み合わせるステップをさらに含み、前記組み合わせるステップは、前記第１のセット、前記第２のセット、および前記第３のセットの隣接セットの位置の間の逸脱度とは逆に変化する、歪みの組み合わされたインジケータを生成する前記組み合わせのための関数を使用する、
付記１２に記載の方法。
［付記１７］
前記関数は、前記逸脱度を反映する指数を含む、付記１６に記載の方法。
［付記１８］
前記指数も、組み合わされるインジケータの数を反映する、付記１７に記載の方法。
［付記１９］
付記１〜１８に記載の方法のうちの１または複数を実行するように構成された、装置。
［付記２０］
前記装置は、復号器、復調器、受信機、セットトップボックス、ゲートウェイ、ルータ、タブレット、またはプロセッサーのうちの１または複数を備える、付記１９に記載の装置。
［付記２１］
前記装置は、付記１〜１８に記載の方法のうちの１または複数を実行するように構成されたプロセッサーを備える、付記１９に記載の装置。
［付記２２］
前記装置は、
ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報にアクセスするための手段と、
前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報にアクセスするための手段であって、前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される、手段と、
第１のインジケータを決定するための手段であって、前記第１のインジケータは、複数のタイプの歪み効果のうち、ピクチャの前記第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、所定のタイプの歪み効果に関連する歪みの量を表す、手段と、
第２のインジケータを決定するための手段であって、前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記所定のタイプの歪み効果に関連する歪みの量を表す、手段と、
前記所定のタイプの歪み効果についての歪みの組み合わされたインジケータを生成するために、前記第１のインジケータと前記第２のインジケータを組み合わせるための手段と、
を備える、付記１９に記載の装置。
［付記２３］
前記装置は、
ビデオシーケンスに属する１または複数の連続するピクチャからなる第１のセットが表示されないことを知らせる情報にアクセスするための手段と、
前記ビデオシーケンスに属する１または複数の連続するピクチャからなる第２のセットが表示されないことを知らせる情報にアクセスするための手段であって、前記第２のセットは、前記ビデオシーケンス内で、前記第１のセットから分離される、手段と、
第１のインジケータを決定するための手段であって、前記第１のインジケータは、ピクチャの前記第１のセットのための表示時間中に表示される実質的に共通の第１のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、１または複数のタイプの歪み効果全部に対する歪みの量を表す、手段と、
第２のインジケータを決定するための手段であって、前記第２のインジケータは、ピクチャの前記第２のセットのための表示時間中に表示される実質的に共通の第２のピクチャを用いて前記ビデオシーケンスを表示することからもたらされる、前記１または複数のタイプの歪み効果全部に対する歪みの量を表す、手段と、
歪みの組み合わされたインジケータを生成するために、前記第１のインジケータと前記第２のインジケータを非線形方法で組み合わせるための手段と、
を備える、付記１９に記載の装置。
［付記２４］
付記１〜１８に記載の方法のうちの１または複数を１または複数のプロセッサーに集団で実行させるための命令を記憶した、プロセッサー可読媒体。
［付記２５］
前記プロセッサー可読媒体は、コンパクトディスク、ディジタルビデオディスク、プロセッサーのメモリ要素、または送信された命令を受信する受信機のメモリ要素のうちの１または複数を含む、付記２４に記載のプロセッサー可読媒体。
【図１】
0006010625.tif 000021
【図２】
0006010625.tif 000022
【図３】
0006010625.tif 000023
【図４】
0006010625.tif 000024
【図５】
0006010625.tif 000025
【図６】
0006010625.tif 000026
【図７】
0006010625.tif 000027
【図８】
0006010625.tif 000028
【図９】
0006010625.tif 000029
【図１０】
0006010625.tif 000030
【図１１】
0006010625.tif 000031