(57)【要約】様々な実施がひずみ及び品質の測定に対処する。特定の実施は、スキップを伴うフリーズ及び／又はスキップを伴わないフリーズをもたらすひずみに関連する。一実施において、ポーズタームは、表示されるべきでない１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみを示す。モーションタームは、関連する動きの変化に関連するひずみを示す。複合インジケータは、ポーズターム及びモーションタームの加算に基づく。他の特定の実施において、第１のインジケータは、第１のピクチャの組を表示しないことで生じる１以上のタイプのひずみ効果にわたるひずみを示す。第２のインジケータは、第２のピクチャの組に対する対応するひずみを示す。第１のインジケータ及び第２のインジケータは非線形な態様で結合される。
2014533914.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスからの１以上の連続したピクチャが表示されるべきでないことを示す情報にアクセスするステップと、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみの量を示すポーズタームを決定するステップと、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じる動きの変化に関連するひずみの量を示すモーションタームを決定するステップと、
前記ポーズターム及び前記モーションタームの加算に基づきひずみの量の複合インジケータを決定するステップと
を有する方法。
【請求項２】
前記ポーズタームによって示されるひずみの量は、表示されるべきでない前記１以上の連続したピクチャのための表示時間の間に実質的に共通のピクチャを表示する存続期間に関連し、
前記モーションタームによって示されるひずみの量は、表示されるべきでない前記１以上の連続したピクチャのための前記表示時間の間に実質的に前記共通のピクチャを表示することで生じる動きの変化に関連する、
請求項１に記載の方法。
【請求項３】
前記動きの変化は動きのジャンプであり、前記モーションタームは、前記実質的に共通のピクチャを表示した後に表示される次のピクチャとして前記ビデオシーケンスからの他のピクチャを表示することによって起こる動きのジャンプから生じるひずみの量を示す、
請求項２に記載の方法。
【請求項４】
前記動きの変化は動きの停止であり、前記モーションタームは、表示されるべきでない前記１以上の連続したピクチャを表示するのではなく前記表示時間の間に前記実質的に共通のピクチャを表示することによって起こる動きの停止から生じるひずみの量を示す、
請求項２に記載の方法。
【請求項５】
前記アクセスされる情報は、（ｉ）ビットストリームからのパケット損失のインジケータ、又は（ｉｉ）前記ビデオシーケンスから欠落したピクチャのインジケータ、のうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項６】
前記アクセスされる情報は更に、スキップを伴うフリーズが前記ビデオシーケンスの表示において起こることを示す、
請求項１に記載の方法。
【請求項７】
前記アクセスされる情報は更に、スキップを伴わないフリーズが前記ビデオシーケンスの表示において起こることを示す、
請求項１に記載の方法。
【請求項８】
前記ポーズタームは、表示されるべきでない連続したピクチャの数とともに単調増加する、
請求項１に記載の方法。
【請求項９】
前記ポーズタームにおける漸進的な増大は、連続した欠落ピクチャの数が増大するにつれて小さくなる、
請求項８に記載の方法。
【請求項１０】
前記モーションタームを決定するステップは、前記１以上の連続したピクチャについての動きを示すモーション値に基づき前記モーションタームを計算するステップを含む、
請求項１に記載の方法。
【請求項１１】
前記モーションタームは、示される動きの増大とともに単調増加する、
請求項１０に記載の方法。
【請求項１２】
前記モーションタームは、示される動きの増大とともに線形増加する、
請求項１１に記載の方法。
【請求項１３】
前記モーション値は、前記ビデオシーケンスにおいて前記１以上の連続したピクチャの前に現れるピクチャについての１以上の動きベクトルから導出される、
請求項１０又は２５に記載の方法。
【請求項１４】
前記モーション値は、前記ビデオシーケンスにおいて前記１以上の連続したピクチャの後に現れるピクチャについての１以上の動きベクトルから導出される、
請求項１０又は２５に記載の方法。
【請求項１５】
前記モーション値は、（ｉ）前記ビデオシーケンスにおいて前記１以上の連続したピクチャの前に現れるピクチャについての１以上の動きベクトル、及び（ｉｉ）前記ビデオシーケンスにおいて前記１以上の連続したピクチャの後に現れるピクチャについての１以上の動きベクトル、の両方から導出される、
請求項１０又は２５に記載の方法。
【請求項１６】
前記モーションタームは、表示されるべきでない前記１以上の連続したピクチャを表示するのでなく、表示されるべきでない前記１以上の連続したピクチャのための表示時間の間に実質的に共通のピクチャを表示することによって起こる動きの停止から生じるひずみの量を示す、
請求項１３又は１５に記載の方法。
【請求項１７】
前記モーションタームは、実質的に共通のピクチャを表示した後に表示される次のピクチャとして前記ビデオシーケンスからの他のピクチャを表示することによって起こる動きのジャンプから生じるひずみの量を示し、前記実質的に共通のピクチャは、表示されるべきでない前記１以上の連続したピクチャを表示するのではなく、表示されるべきでない前記１以上の連続したピクチャのための表示時間の間に表示される、
請求項１３又は１５に記載の方法。
【請求項１８】
ビデオシーケンスからの１以上の連続したピクチャの第１の組が表示されるべきでないことを示す情報にアクセスするステップと、
前記ビデオシーケンスにおいて前記第１の組から分離されている、前記ビデオシーケンスからの１以上の連続したピクチャの第２の組が表示されるべきでないことを示す情報にアクセスするステップと、
前記ピクチャの第１の組を表示せずに前記ビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す第１のインジケータを決定するステップと、
前記ピクチャの第２の組を表示せずに前記ビデオシーケンスを表示することで生じる前記１以上のタイプのひずみ効果にわたるひずみの量を示す第２のインジケータを決定するステップと、
ひずみの複合インジケータを生成するよう前記第１のインジケータ及び前記第２のインジケータを非線形な態様で結合するステップと
を有する方法。
【請求項１９】
前記第１のインジケータによって示されるひずみの量は、前記ピクチャの第１の組のための表示時間の間に表示される実質的に共通の第１ピクチャを有して前記ビデオシーケンスを表示することで生じ、
前記第２のインジケータによって示されるひずみの量は、前記ピクチャの第２の組のための表示時間の間に表示される実質的に共通の第２ピクチャを有して前記ビデオシーケンスを表示することで生じる、
請求項１８に記載の方法。
【請求項２０】
前記ひずみの複合インジケータは、前記ピクチャの第１の組のための表示時間の間に表示される前記実質的に共通の第１ピクチャを有して且つ前記ピクチャの第２の組のための表示時間の間に表示される前記実質的に共通の第２ピクチャを有して前記ビデオシーケンスを表示することで生じる全体のひずみを示す、
請求項１９に記載の方法。
【請求項２１】
前記１以上のタイプのひずみ効果は、複数のタイプのひずみ効果を含む、
請求項１８に記載の方法。
【請求項２２】
前記複数のタイプのひずみ効果は、ジャーキー効果、ポーズ効果、又はジャンピング効果のいずれかである第１の効果を含み、更に、該第１の効果とは異なり、ジャーキー効果、ポーズ効果、又はジャンピング効果のいずれかである第２の効果を含む、
請求項２１に記載の方法。
【請求項２３】
前記１以上の連続したピクチャの第１の組が表示されるべきでないことを示す情報は、（ｉ）ビットストリームからのパケット損失のインジケータ、又は（ｉｉ）前記ビデオシーケンスから欠落したピクチャのインジケータ、のうちの少なくとも１つを含む、
請求項１８に記載の方法。
【請求項２４】
前記ピクチャの第１の組のための表示時間の間に表示される前記実質的に共通の第１ピクチャを有して前記ビデオシーケンスを表示することは、ピクチャフリーズ、ピクチャスキップ、又はピクチャフリーズ及びピクチャスキップをもたらす、
請求項１９に記載の方法。
【請求項２５】
前記第１のインジケータを決定するステップは、（ｉ）第１のひずみの発生における１以上の連続した欠落ピクチャの存続期間、又は（ｉｉ）前記１以上の連続した欠落ピクチャについての動きを示すモーション値に基づき前記第１のインジケータを計算するステップを含む、
請求項１８に記載の方法。
【請求項２６】
前記第１のインジケータは、連続した欠落ピクチャの数とともに単調増加する、
請求項２５に記載の方法。
【請求項２７】
前記第１のインジケータにおける漸進的な増大は、連続した欠落ピクチャの数が増大するにつれて小さくなる、
請求項２６に記載の方法。
【請求項２８】
前記第１のインジケータは、示される動きの増大とともに単調増加する、
請求項２５に記載の方法。
【請求項２９】
前記第１のインジケータは、示される動きの増大とともに線形増加する、
請求項２８に記載の方法。
【請求項３０】
前記第１のインジケータ及び前記第２のインジケータを結合するステップは、ひずみの複合インジケータの数が増大するにつれて単調増加する当該結合のための関数を用いるステップを含む、
請求項１８に記載の方法。
【請求項３１】
前記第１のインジケータ及び前記第２のインジケータを結合するステップは、（ｉ）ひずみの前記第１のインジケータに適用される関数及び（ｉｉ）ひずみの前記第２のインジケータに適用される関数の和よりも小さいひずみの複合インジケータを生成する当該結合のための関数を用いるステップを含む、
請求項１８に記載の方法。
【請求項３２】
平方根関数が前記結合のために使用される、
請求項１８に記載の方法。
【請求項３３】
請求項１乃至３２のうちいずれか一項に記載の方法を実行するよう構成される装置。
【請求項３４】
デコーダ、復調器、受信器、セットトップボックス、ゲートウェイ、ルータ、タブレット、又はプロセッサのうちの１以上を有する請求項３３に記載の装置。
【請求項３５】
請求項１乃至３２のうちいずれか一項に記載の方法を実行するよう構成されるプロセッサを有する請求項３３に記載の装置。
【請求項３６】
ビデオシーケンスからの１以上の連続したピクチャが表示されるべきでないことを示す情報にアクセスする手段と、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみの量を示すポーズタームを決定する手段と、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じる動きの変化に関連するひずみの量を示すモーションタームを決定する手段と、
前記ポーズターム及び前記モーションタームの加算に基づきひずみの量の複合インジケータを決定する手段と
を有する請求項３３に記載の装置。
【請求項３７】
複数のピクチャを含むビデオシーケンスにおいて第１のひずみの発生及び第２のひずみの発生を記述する情報にアクセスする手段と、
前記第１のひずみの発生についてのひずみの第１のインジケータを決定する手段と、
前記第２のひずみの発生についてのひずみの第２のインジケータを決定する手段と、
ひずみの複合インジケータを生成するよう前記第１のインジケータ及び前記第２のインジケータを非線形な態様において結合する手段と
を有する請求項３３に記載の装置。
【請求項３８】
１以上のプロセッサに請求項１乃至３２のうちいずれか一項に記載の方法を集合的に実行させる命令を記憶するプロセッサ可読媒体。
【請求項３９】
コンパクトディスク、デジタル・ビデオ・ディスク、プロセッサのメモリ要素、又は送信された命令を受信する受信器のメモリ要素のうちの１以上を有する請求項３８に記載のプロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
ビデオに関する実施が記載される。様々な特定の実施は、ビデオについてひずみ及び／又は品質を決定することに関する。
【背景技術】
【０００２】
ビデオ品質は様々なひずみによって影響を及ぼされる。特定のひずみは、例えば、（ｉ）圧縮アーティファクト、（ｉｉ）チャネルアーティファクト、（ｉｉ）ピクチャのフリーズ、及び（ｉｖ）ピクチャのスキップを含む。認知されるビデオ品質におけるひずみの影響は、ひずみのタイプに依存して様々であり得る。
【発明の概要】
【課題を解決するための手段】
【０００３】
全体的な態様に従って、ビデオシーケンスからの１以上の連続したピクチャが表示されるべきでないことを示す情報がアクセスされる。ポーズターム及びモーションタームが決定される。前記ポーズタームは、表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみの量を示す。前記モーションタームは、表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じる動きの変化に関連するひずみの量を示す。ひずみの量の複合インジケータは、前記ポーズターム及び前記モーションタームの加算に基づき決定される。
【０００４】
他の全体的な態様に従って、ビデオシーケンスからの１以上の連続したピクチャの第１の組が表示されるべきでないことを示す情報がアクセスされる。また、前記ビデオシーケンスからの１以上の連続したピクチャの第２の組が表示されるべきでないことを示す情報がアクセスされる。前記第２の組は、前記ビデオシーケンスにおいて前記第１の組から分離されている。第１のインジケータ及び第２のインジケータが決定される。前記第１のインジケータは、前記ピクチャの第１の組を表示せずに前記ビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す。前記第２のインジケータは、前記ピクチャの第２の組を表示せずに前記ビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す。前記第１のインジケータ及び前記第２のインジケータは、ひずみの複合インジケータを生成する非線形な態様において結合される。
【０００５】
１以上の実施の詳細は、添付の図面及び以下の記載において説明される。たとえ１つの特定の態様において記載されるとしても、当然に、実施は様々な態様において構成又は具現されてよい。例えば、実施は、方法として実行されても、あるいは、例えば、動作の組を実行するよう構成される装置又は動作の組を実行するための命令を記憶する装置のような装置として具現されても、あるいは、信号において具現されてもよい。他の態様及び特徴は、添付の図面及び特許請求の範囲とともに検討される以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】ピクチャのシーケンスの第１の例を表す図である。
【図２】ピクチャのシーケンスの第２の例を表す図である。
【図３】グループ欠落の品質を示す第１の関数の様々な例を表す図である。
【図４】グループ欠落の品質を示す第２の関数の様々な例を表す図である。
【図５】グループ欠落の品質を示す第２の関数の他の例を表す図である。
【図６】１以上の実施により使用され得る送信システム及び処理の実施を表すブロック／フロー図である。
【図７】１以上の実施により使用され得る受信システム及び処理の例を表すブロック／フロー図である。
【図８】ひずみを結合するための装置及び方法の第１の実施を表すブロック／フロー図である。
【図９】ひずみを結合するための装置及び方法の第２の実施を表すブロック／フロー図である。
【発明を実施するための形態】
【０００７】
本願で提示される特徴の幾つかのプレビューとして、少なくとも１つの実施は、フリーズによって引き起こされるビデオシーケンスにおける欠陥を検出する。そのような欠陥はしばしば、時間的欠陥と呼ばれる。加えて、そのような実施のうちの少なくとも１つは、ピクチャレイヤ情報よりむしろビットストリームレイヤ情報を用いて欠陥を評価する。更に、評価は、欠陥によって引き起こされるひずみ及び結果として得られる品質の推定を提供する。１つの特定の実施は、加法的な態様において、所与のフリーズ発生において存在する異なるタイプのひずみ効果から生じる歪みを結合する。他の実施は、非線形な態様において別々のフリーズ発生からのひずみをプールする。そのような及び他の実施が以下で記載される。
【０００８】
ビデオ品質は、様々なひずみによって影響を及ぼされ得る。かかるひずみは、例えば、次のうちの１又はそれ以上を含んでよい：
・例えば、不可逆のコーダ−デコーダ（“コーデック”）によって引き起こされる圧縮アーティファクト；
・パケット損失によって引き起こされるチャネルアーティファクト。パケット損失は、トランスポートレイヤで検出され、デコーダエラー隠ぺいポストプロセッサは、失われたパケットの影響を軽減しようと試みる。かかるエラー隠ぺいは、例えば、ブロックレベルで実行される。エラー隠ぺいにおいて（例えば、ポストプロセッサにおいて）発生したひずみと、現在のピクチャから現在のピクチャの後にデコードされるピクチャへのエラー隠ぺいひずみの伝播とが、チャネルアーティファクトと呼ばれる；
・やはりパケット損失によって引き起こされるスキップを伴うフリーズ（freeze-with-skip）。“フリーズ”は、ビデオシーケンスの表示におけるポーズを指し、その間に、現在のピクチャは、単一ピクチャ表示時間よりも長く表示される。“スキップを伴うフリーズ”と呼ばれるひずみと、“チャネルアーティファクト”と呼ばれるひずみとの間の違いは、特定の実施において、ピクチャのパケットが失われる場合にピクチャ全体が欠落する点である。様々な実施における更なる違いは、ピクチャ全体が欠落し、従ってスキップされる場合に、予測リファレンスとして欠落ピクチャに依存するピクチャも欠落する点である。１以上のピクチャが欠落する場合に、現在のピクチャは、現在のピクチャの表示時間及び欠落したピクチャの表示時間に対応する時間存続期間の間、表示において“フリーズ”する。“フリーズ”した表示を見る者は、通常はこれをひずみとして認識する。加えて、欠落したピクチャは全く表示されないので、それらの欠落ピクチャは“スキップされる”と考えられる。“スキップ”は、通常は、見る者が“フリーズ”とは別のひずみとして認識する知覚可能なジャンプ又は遷移を導入するが、それら２つのひずみは関係がある；
・バッファアンダーフローによって引き起こされるスキップを伴わないフリーズ（freeze-without-skip）。例えば、ネットワーク遅延のような理由のために、ディスプレイが示すべきピクチャを求める場合に、バッファ内にデコードされたピクチャが存在しないことがある。その場合に、表示は、次のデコードされたピクチャがバッファに届くまで休止する。このようなひずみは、ピクチャがスキップされないので、“スキップを伴わないフリーズ”と呼ばれる。
【０００９】
そのような及び他のひずみの影響は、ビットストリームレイヤ及びピクセルレイヤの両方で評価され得る。様々なビットストリームレイヤ方法において、評価スキームはビットストリームのパーサーに基づき、ピクセル値はデコードされない。様々なピクセルレイヤ方法において、ビットストリームの全デコーディングが受け入れられる。明らかに、ピクセルレイヤでは、付加的な情報がひずみを評価するために利用可能である。しかし、追加の計算及び時間が、通常は、ピクセルレイヤ情報を得るために必要とされる。
【００１０】
然るに、本願における少なくとも１つの実施は、ビデオが１以上の“（スキップを伴う又は伴わない）フリーズ”ひずみによってひずむ場合にビットストリームレイヤで品質を評価する技術を提供する。更に、１以上の実施は、１以上の“フリーズ”ひずみの発生を検出し、ビデオの結果として得られるひずみ及び品質の測定を提供する。“フリーズ”ひずみはまた、又は代替的に、通常は２又はそれ以上のひずみであると考えられてよい点に留意されたい。第１のひずみの発生は、通常は、“フリーズ”が開始する場合に、動きにおけるジャーク（jerk）（すなわち、停止）である。第２のひずみの発生は、通常は、“フリーズ”
によって生じるポーズである。第３のひずみの発生は、“スキップを伴うフリーズ”に関し、通常は“スキップ”、すなわち、“フリーズ”が終了した後に起こる動きのジャンプである。
【００１１】
様々な実施は、例えば、所与の“フリーズ”発生の（又は“フリーズ”若しくは“スキップ”のような事象の成分の）、あるいは、複数の“フリーズ”発生（又は複数の事象からの成分）の見る者に対する影響を決定する。影響はしばしば、数値として記述され、通常は“ひずみ（distortion）”と（又は“品質（quality）”と）呼ばれる。決定されたひずみは、なお、様々な実施において完全ではない。すなわち、様々な実施において、決定されたひずみは、ある成分又はある事象を無視し、近似又は推定であると最も良く考えられる。
【００１２】
１．ひずみの議論
パケット損失がトランスポートレイヤで検出される場合に、実際的なデコーディングシステムは、通常は２つの選択を有する。第１の選択は、例えば、エラー隠ぺいポストプロセッサで実行されるエラー隠ぺいにより１以上の欠損したパケットの影響を軽減しようと試みることである。エラー隠ぺい処理は、当該技術で知られている様々なエラー隠ぺい技術の何れかを実行してよい。エラー隠ぺい技術は、例えば、他のピクチャから対応するブロックをコピーすることを含む。第２の選択は、ピクチャ全体を失うことである。チャネルアーティファクトはしばしば、エラー隠ぺいが選択される場合に生成される。“スキップを伴うフリーズ”効果はしばしば、ピクチャが欠落する場合に生成される。
【００１３】
少なくとも部分的に“スキップを伴うフリーズ”効果に焦点を合わせる１以上の実施が本願では議論される。少なくとも１つの実施において、パケット損失が起こる場合にピクチャ全体が失われ、それにより“スキップを伴うフリーズ”効果が現れる。欠落したピクチャがＩピクチャ又はＰピクチャである場合は、欠落したピクチャは、まだデコードされていない１以上の更なるピクチャのために予測リファレンスピクチャとして使用される。かかる更なるピクチャは、欠落したピクチャに依存していると考えられ、従属ピクチャと呼ばれることがある。そのような従属ピクチャも、少なくとも１つの実施において欠落する。より具体的に、この実施に関し：
・Ｉピクチャにおけるパケットが失われる場合は、グループ・オブ・ピクチャ（“ＧＯＰ”）に含まれる全てのピクチャが欠落する。これは、典型的なＧＯＰが、パケット損失により欠落するＩピクチャを含み、ＧＯＰにおける残りのピクチャが直接的又は間接的にそのＩピクチャに従属するためである。
・Ｐピクチャにおけるパケットが失われる場合は、そのＰピクチャが欠落する。加えて、欠落したＰピクチャに従属するＧＯＰにおける全てのピクチャが欠落する。多くの場合に、これは、Ｐピクチャと、ＧＯＰの終わりまでの全ての残りのピクチャとに対応する。
・通常のＢピクチャにおけるパケットが失われる場合は、そのＢピクチャ（失われたパケットを含む。）のみが欠落する。通常のＢピクチャは、いずれかの他のピクチャのためのリファレンスとして使用されない点に留意されたい。
【００１４】
上記のシナリオにおいて、連続したピクチャの少なくとも１グループは、パケット損失が起こる場合に欠落する。グループは１以上のピクチャを含む。これは、失われたパケットを含むピクチャがＩピクチャ、Ｐピクチャ、又はＢピクチャのいずれであるかにかかわらず起こる。
【００１５】
図１及び図２は例を与える。図１を参照すると、ビデオピクチャのシーケンス１００が、左から右への表示順序において示されている。シーケンス１００は、ＧＯＰ１１０、ＧＯＰ１２０及びＧＯＰ１３０を含む複数の順次的なＧＯＰを含む。ＧＯＰ１１０に関し、最後のピクチャが示されており、これはピクチャ１１８である。同様に、ＧＯＰ１３０に関し、最初のピクチャのみが示されており、これはピクチャ１３２である。なお、ＧＯＰ１２０に関しては、ＧＯＰ１２０２含まれるピクチャの全てが示されている。
【００１６】
ＧＯＰ１２０は、Ｉピクチャ１２２、Ｂピクチャ１２４、Ｐピクチャ１２６、第２のＢピクチャ１２７及び第２のＰピクチャ１２８を含む。Ｉピクチャ１２２はリファレンスピクチャを有さない。Ｂピクチャ１２４は、Ｉピクチャ１２２及びＰピクチャ１２６からＢピクチャ１２４へ到る矢印によって示されるように、Ｉピクチャ１２２及びＰピクチャ１２６に従属する。Ｐピクチャ１２６は、Ｉピクチャ１２２からＰピクチャ１２６へ到る矢印によって示されるように、Ｉピクチャ１２２に従属する。Ｂピクチャ１２７は、Ｐピクチャ１２６及びＰピクチャ１２８からＢピクチャ１２７へ到る矢印によって示されるように、Ｐピクチャ１２６及びＰピクチャ１２８に従属する。Ｐピクチャ１２８は、Ｐピクチャ１２６からＰピクチャ１２８へ到る矢印によって示されるように、Ｐピクチャ１２６に従属する。
【００１７】
ＧＯＰ１２０に含まれるピクチャのうちの１以上が欠落する場合に、以下のように、１以上の逐次グループ欠落が起こることは明らかである。逐次グループ欠落は、欠落する１以上の連続したピクチャの組である。
【００１８】
−Ｉピクチャ１２２が欠落する場合は、ＧＯＰ１２０に含まれるピクチャの全てが欠落する。これは、ＧＯＰ１２０に含まれる全ての残りのピクチャがＩピクチャ１２２に従属するためである。これは、５つのピクチャを含む１の逐次グループ欠落である。
【００１９】
−Ｂピクチャ１２４が欠落する場合は、Ｂピクチャ１２４のみが欠落する。これは、他のピクチャがＢピクチャ１２４に従属しないためである。これは、ただ１つのピクチャを含む１の逐次グループ欠落である。
【００２０】
−Ｐピクチャ１２６が欠落する場合は、Ｉピクチャ１２２を除く全てのピクチャが欠落する。これは、それらのピクチャの全てがＰピクチャ１２６に従属するためである。これは、４つのピクチャを含む１の逐次グループ欠落である。
【００２１】
−Ｂピクチャ１２７が欠落する場合は、Ｂピクチャ１２７のみが欠落する。これは、他のピクチャがＢピクチャ１２７に従属しないためである。これは、ただ１つのピクチャを含む１の逐次グループ欠落である。
【００２２】
−Ｐピクチャ１２８が欠落する場合は、Ｂピクチャ１２７も欠落する。これは、Ｂピクチャ１２７がＰピクチャ１２８に従属するためである。これは、２つのピクチャを含む１の逐次グループ欠落である。
【００２３】
図２を参照すると、他の例が与えられている。図２は、Ｉピクチャ２１０、第１のＰピクチャ２２０、第２のＰピクチャ２３０、及びＢピクチャ２４０を含むＧＯＰ２００を示す。Ｉピクチャ２１０はリファレンスピクチャを有さない。Ｐピクチャ２２０は、Ｉピクチャ２１０からＰピクチャ２２０へ到る矢印によって示されるように、Ｉピクチャ２１０に従属する。Ｐピクチャ２３０も、Ｉピクチャ２１０からＰピクチャ２３０へ到る矢印によって示されるように、Ｉピクチャ２１０に従属する。Ｂピクチャ２４０は、Ｐピクチャ２２０及びＰピクチャ２３０からＢピクチャ２４０へ到る矢印によって示されるように、Ｐピクチャ２２０及びＰピクチャ２３０に従属する。
【００２４】
ＧＯＰ２００に含まれるピクチャのうちの１以上が欠落する場合に、以下のように、１以上の逐次グループ欠落が起こることは明らかである。
【００２５】
−Ｉピクチャ２１０が欠落する場合は、ＧＯＰ２００に含まれるピクチャの全てが欠落する。これは、ＧＯＰ２００に含まれる全ての残りのピクチャがＩピクチャ２１０に従属するためである。これは、４つのピクチャを含む１の逐次グループ欠落である。
【００２６】
−Ｐピクチャ２２０が欠落する場合に、Ｂピクチャ２４０も欠落する。これは、Ｂピクチャ２４０がＰピクチャ２２０に従属するためである。しかし、Ｐピクチャ２２０及びＢピクチャ２４０は隣接しない。よって、これは２つの逐次グループ欠落であり、夫々の逐次グループ欠落はただ１つのピクチャを含む。第１のグループ欠落はＰピクチャ２２０を含む。第２のグループ欠落はＢピクチャ２４０を含む。
【００２７】
−Ｐピクチャ２３０が欠落する場合は、Ｂピクチャ２４０も欠落する。これは、Ｂピクチャ２４０がＰピクチャ２３０に従属するためである。これは、２つのピクチャを含む１の逐次グループ欠落である。
【００２８】
−Ｂピクチャ２４０が欠落する場合は、Ｂピクチャ２４０のみが欠落する。これは、他のピクチャがＢピクチャ２４０に従属しないためである。これは、ただ１つのピクチャを含む１の逐次グループ欠落である。
【００２９】
我々は、従って、“スキップを伴うフリーズ”のシナリオにおいて、ひずみを有するビデオシーケンスが少なくとも１つのグループ欠落を含むという結論に達することができる。少なくとも１つの典型的な“スキップを伴うフリーズ”実施において、あらゆるグループ欠落は、欠落して、表示シーケンスにおける最後に正確に受信されたピクチャによって置換される１以上の連続した（隣接）ピクチャを含む。結果として、見る者は、通常、最後に正確に受信されたピクチャがグループ欠落に対応するピクチャ時間の間表示にとどまる間しばらくビデオがフリーズし、その後にビデオが正常な状態に戻ると認識する。
【００３０】
ひずみを有するビデオシーケンスのための総表示時間は、原の（ひずみがない）ビデオシーケンスのための総表示時間と比較して不変である。
【００３１】
以下のアルゴリズムは、“（スキップを伴う又は伴わない）フリーズ”ひずみの影響を評価するための少なくとも１つの実施及び解決法を提供する。１つの特定の実施において、以下のアルゴリズムは、“スキップを伴うフリーズ”によって引き起こされる全体的な劣化と、ひずみを有するビデオの全体的な品質とを評価する。
【００３２】
２．ひずみ／品質を評価するための実施
この項では、我々は、例えば、特定のウィンドウサイズにおいて、スキップを伴う又は伴わない“フリーズ”のためのビデオ品質評価モデルを提供する実施を提案する。ウィンドウサイズの例として、Ｐ．ＮＢＡＭＳは“ビデオストリーミングの性能の評価のための非侵襲的ビットストリームモデル（Non-intrusive  bitstream  model  for  the  assessment  of  performance  of  video  streaming）”を扱っている標準機構（特に、Ｓｔａｄｙ  Ｇｒｏｕｐ  １２  Ｑｕｅｓｔｉｏｎ  １４（ＳＧ１２／Ｑ１４）に関して）であり、関連する標準は数十秒のウィンドウサイズを必要とする。モデルは、様々な実施において、多種多様なウィンドウに適用される。例えば、モデルは、特定の実施において、関心のある孤立した互いに素なウィンドウに、ビデオの全体にわたる連続したウィンドウに、又は関心のあるありとあらゆるウィンドウを特定することにおいて完全な粒度を可能にする重なり合うウィンドウに適用される。
【００３３】
典型的な適用において、ウィンドウサイズは、人間メモリのモデルの部分として選択される。これは、一定の時間期間後に物事を忘れる人間の脳の観測される傾向をモデリングする。然るに、多くの実施は、より大きいウィンドウにわたって又は複数のウィンドウにわたってプーリング・ストラテジを使用しない。それにもかかわらず、特定の適用において、ウィンドウサイズよりも長いビデオに関し、プーリング・ストラテジは最終結果を得るために適用される。幾つかの実施は、ウィンドウに関して記載される下記のプーリング解決法のうちの１又はそれ以上を、複数のウィンドウ又は拡大されたウィンドウサイズへ拡張する。なお、他の実施は、より遠いひずみ事象からの寄与を軽減する。
【００３４】
以下の議論に入る前に、我々は、下記の少なくとも１つの実施についての背景の幾つかの態様を簡単に述べる。以下の議論で、短いビデオ（例えば、１０秒）は、例えば、“スキップを伴うフリーズ”の１回以上の発生によって劣化される。“スキップを伴うフリーズ”実施に関し、ビデオには１以上のグループ欠落が存在する。夫々のグループ欠落に関し、１以上の連続したピクチャが欠落し、最後に正確に受信されたピクチャにより置換される。下記の評価モデルは、特定の実施において、失われたパケット及び欠落したピクチャに関して利用可能な情報を有する受信機又はデコーダで、適用される。なお、様々な他の実施は、本願で後述されるように、典型的な通信システムにおいて他の時点で、そのようなモデル又はその変形を使用する。
【００３５】
２．１  グループ欠落のひずみ／品質評価
グループ欠落によって生じるひずみは、通常は、少なくとも２つの特徴によって左右される。特徴は、（ｉ）グループ欠落の長さ、及び（ｉｉ）欠落した場所での動きである。欠落の長さが長ければ長いほど、又は欠落した場所での動きが大きければ大きいほど、典型的な適用に関してひずみはますます強くなる。
【００３６】
本発明者は、しかしながら、少なくとも特定の実施に関し、それら２つの特徴が本質的にお互いから独立に作用することを割り出した。発明者は更に、少なくとも特定の実施に関し、２つの特徴が本質的に加法的な態様において作用することを割り出した。確実に、それらの特徴を、例えば、相乗的な態様において、又は指数的な態様において結合する実施が記載され得る。なお、加法結合は少なくとも１つの実施において追従されている。
【００３７】
加法結合はまた、“フリーズ”及び“スキップ”ひずみが、見る者の観点から、異なる時点に起こるとの観測との有意な対応を提供する。本発明者は、少なくとも特定の実施に関し、それらの特徴が時間において分離可能であり、別個の特徴としてひずみ評価においてモデリングされ得ることを割り出した。加法結合はこの分離を提供する。加法結合はまた、それらの特徴の他の結合においてさもなければ存在し得るそれらの特徴の間の相互効果をひずみ評価から取り除く。
【００３８】
上記の推論及び議論に従って、我々は、グループ欠落によって発生するひずみを次のように定義する：
Ｑ（ｇ）＝ｆ（ｌｅｎ，ｃ＋１，５）−ｍｖ×ｃ              （１）
Ｄ（ｇ）＝５−Ｑ（ｇ）
上記の式で：
−ｇは、グループ欠落を表す。
−Ｄ（ｇ）は、ｇによって発生するひずみを表す。
−Ｑ（ｇ）は、グループ欠落によってひずみが現れる場合のビデオの品質レベルを表す。すなわち、グループ欠落が考慮される場合のビデオの品質レベルである。なお、Ｑ（ｇ）は、如何なる他のグループ欠落も要因の１つとして含めない。
−ｌｅｎは、秒又は何らかの他の時間単位における、この実施ではグループ欠落の時間期間として表されるグループ欠落の長さである。このとき、時間期間は、欠落したピクチャが表示されていたであろう時間の長さである。
【００３９】
−ｍｖは、この実施では［０，１］の範囲に正規化される、グループ欠落位置での動き（動きベクトル）である。グループ欠落位置での動きｍｖは、この実施では、グループ欠落の前の最後に正確に受信されたピクチャの正規化された平均動きベクトルとして定義される。正規化は、［０，１］の範囲にあるｍｖ値をもたらす。１つの実施において、正規化は、ｍｖが通常は３２よりも長くないとの事実に基づく。然るに、そのような実施では、正規化はｍｖを６４で割ることで達成され、その結果が１よりも大きい場合は、正規化されたｍｖは１に設定される。
−ｃは、欠落長さの影響と欠落位置での動きの影響との間の重みを表す［０，４］の間の定数である。ｃ＝０である場合は、欠落位置での動きの影響は無視される。対照的に、ｃ＝４である場合は、欠落長さの影響が無視される。
−ｆ（ｘ，ｍｉｎ，ｍａｘ）は、以下を満足するモノトーンマッピングである：
ｆ（０，ｍｉｎ，ｍａｘ）＝ｍａｘ
ｆ（＋∞，ｍｉｎ，ｍａｘ）＝ｍｉｎ
少なくとも１つの実施において、我々は：
ｆ（ｘ，ｍｉｎ，ｍａｘ）
＝（１／（ｘ＋１））×ｍａｘ＋（ｘ／（ｘ＋１））×ｍｉｎ      （２）
を選択する。
【００４０】
式（１）において、グループ欠落によってひずみが現れる場合のビデオの品質レベルは、（ｉ）欠落の長さｌｅｎ、及び（ｉｉ）欠落時の動きｍｖの２つの上記要因によって影響を及ぼされる。ｌｅｎ及びｍｖの両方が最低レベル（ｌｅｎ＝０、ｍｖ＝０）にある場合に、品質Ｑは最高レベルであり、Ｑ＝５である。ｌｅｎ及びｍｖの両方が最高レベル（ｌｅｎ＝＋∞、ｍｖ＝１）にある場合に、品質Ｑは最低レベルである（Ｑ＝１）。
【００４１】
図３を参照すると、ｍａｘ、ｍｉｎ、及びｘの異なる値について式（２）の値を示す曲線の組が与えられている。ｘ軸は変数ｘを示し、ｙ軸はｆの値を示す。図３には４つの曲線が示されている。一番上の曲線はｍａｘ＝５及びｍｉｎ＝４に関する。その下にある次の曲線はｍａｘ＝５及びｍｉｎ＝３に関する。その下にある次の曲線はｍａｘ＝５及びｍｉｎ＝３に関する。一番下の曲線はｍａｘ＝５及びｍｉｎ＝１に関する。全ての４つの曲線はｍａｘの品質で始まり、漸近的にｍｉｎの品質に近づく。
【００４２】
図３の全ての４つの曲線の形状は、グループ欠落の品質が欠落の長さが増大にするにつれて低下することを示す。この特性は、より長いフリーズが一般的により短いフリーズよりも一層多くのひずみとして認知されるとの観測を反映する。全ての４つ曲線の形状はまた、長さが増大するにつれて品質の漸進的な劣化が小さくなることを示す。この後者の特性は、見る者が一般的にある程度（及び異なる見る者について及び異なる内容について様々な程度で）“フリーズ”に慣れ、見る者の認知される品質に対する最大の劣化が表示の最初のフリーズによって生じるという観測を反映する。
【００４３】
式（１）及び式（２）を結合すると、我々は、グループ欠落の最終的なひずみ／品質評価を得る。これは、次のとおりである：
Ｑ（ｇ）
＝（１／（ｌｅｎ＋１））×５＋（ｌｅｎ／（ｌｅｎ＋１））×（ｃ−１）−ｍｖ×ｃ
Ｄ（ｇ）＝５−Ｑ（ｇ）                                      （３）
図４乃至６は、式（３）について更なる情報及び詳細を与える。
【００４４】
図４を参照すると、ｃの異なる値について式（３）におけるＱ（ｇ）の値を示す曲線の組が与えられている。ｘ軸は変数ｌｅｎを示し、ｙ軸はＱ（ｇ）の値を示す。図４には４つの曲線が示されている。ｍｖの値は全ての４つの曲線について０．５で一定である。一番上の曲線はｃ＝４に関する。その下にある次の曲線はｃ＝２．５に関する。その下にある次の曲線はｃ＝０．５に関する。一番下の曲線はｃ＝０に関する。
【００４５】
図４の全ての４つの曲線の形状は、ｃ＝４の場合を除いて、欠落の長さが増大するにつれてグループ欠落の品質が低下することを示す。ｃ＝４の場合には、欠落の長さに与えられる重みはない。この特性は、より長いフリーズが一般的により短いフリーズよりも一層多くのひずみとして認知されるとの観測を反映する。４つの曲線の並置は、所与の長さを有する欠落の品質が、ｃがより低い場合により低いことを示す。これは、ｃが小さくなるにつれて、より大きい重みが欠落の長さに与えられているという事実から得られる。
【００４６】
図５を参照すると、ｍｖが変化する場合のグループ欠落の品質の変化を示す単一の曲線が与えられている。ｘ軸は変数ｍｖを示す。ｙ軸はＱ（ｇ）の値を示す。ｌｅｎの値は４であり、ｃの値は２．５である。図５の曲線は、グループ欠落の品質が動きの増大に伴って線形に低下するという事実を反映する。
【００４７】
２．２  プーリング・ストラテジ
式（３）は、グループ欠落のひずみ及び品質評価を与える。典型的なビデオシーケンスにおいては、しかしながら、しばしば１よりも多いグループ欠落が存在する。以下で、我々は、グループ欠落の全てが如何にして互いに影響を及ぼすのかを決定し、全体のひずみ及び／又は品質レベルを提供するためのストラテジ及び実施を与える。我々は、これを、グループ欠落の影響のプーリングと呼ぶ。以下のアプローチは、例えば、様々な実施において、ウィンドウ内のグループ欠落に、シーケンス内のグループ欠落に、及び／又はビデオ全体におけるグループ欠落に適用される。
【００４８】
我々は、式（３）のひずみ部分を扱い、プールされるひずみをｐｏｏｌｉｎｇ（・）と呼ぶ。少なくとも１つの実施のプーリング・ストラテジｐｏｏｌｉｎｇ（・）は、次の２つの制約を満足する：
１．モノトーン（Monotone）−
Ｇ１及びＧ２が夫々、欠落したピクチャの連続した組を含むように、Ｇ１及びＧ２を２つのグループ欠落（グループ欠落の組とも呼ばれる。）と称する。  
Ｇ１がＧ２の欠落したピクチャの全てを含むように、Ｇ２がＧ１のサブセットである場合は、ｐｏｏｌｉｎｇ（Ｇ１）＞ｐｏｏｌｉｎｇ（Ｇ２）。
２．抑制（Suppression）−
我々は、見る人間が一般的に自身の判断基準を以前の時点からの自身の経験によって直ぐに適応させることに留意する。従って、見る者の“嫌悪”の気持ちは、通常は、見る者が１回よりも多く同様のひずみを見る場合に、わずかだが小さくなる。すなわち、見る者がひずみを見た後、見る者が同じか又は類似するひずみの他の発生を見る場合に、見る者はその更なる発生を、最初の発生と同じくらい大きいひずみであるとは認知しない。  
然るに、２つのグループ欠落が完全に互いに素であるようにＧ１∩Ｇ２＝φである場合は、ｐｏｏｌｉｎｇ（Ｇ１∪Ｇ２）＜ｐｏｏｌｉｎｇ（Ｇ１）＋ｐｏｏｌｉｎｇ（Ｇ２）である。
【００４９】
上記の２つの要件又は制約を満足する１つの関数は平方根関数である。然るに、少なくとも１つの実施において、平方根関数はプーリング関数として使用される。１つのそのような実施は、次のプーリング関数を用いる：
Ｄ（Ｇ）＝√（Σｇ∈ＧＤ（ｇ）／Ｎ）            （４）
Ｑ（ｇ）＝５−Ｄ（Ｇ）
−Ｇは、ひずみを有するビデオにおいて発生したグループ欠落の組である。
−Ｎは、一般的にＤ（Ｇ）の値を適切な範囲に正規化するよう大きい定数として選択される定数である。例えば、様々な実施において、Ｎは、Ｄ（Ｇ）の値がＤ（ｇ）と同じ範囲である［０，４］の範囲内にあるように選択される。少なくとも１つの実施において、Ｎは、ビデオウィンドウサイズにおけるピクチャの数であるよう設定される。
【００５０】
プールされたひずみ値は、概して、個々のグループ欠落について、プールされていないひずみ値と比較され得る値でない点に留意されたい。これは、特定の実施において、プールされた値がプールされていない値と同じ範囲（例えば、［０，４］）内にあるよう正規化されるという事実に起因する。そのような状況において、しかしながら、異なるウィンドウごとのひずみのプールされた値は、例えば、比較され得る。
【００５１】
式（４）の適用の簡単な例として、以下を考える。次を仮定する：
−Ｇ１及びＧ２は互いに素である（すなわち、Ｇ１∩Ｇ２＝φ）。
−Ｇ１，２＝Ｇ１∪Ｇ２。
−Ｄ（Ｇ１）＝２及びＤ（Ｇ２）＝３。
【００５２】
式（４）の適用により、次が得られる：
−ｐｏｏｌｉｎｇ（Ｇ１）＝ｓｑｒｔ（２／Ｎ）
−ｐｏｏｌｉｎｇ（Ｇ２）＝ｓｑｒｔ（３／Ｎ）
−ｐｏｏｌｉｎｇ（Ｇ１，２）＝ｓｑｒｔ（（２＋３）／Ｎ）。
【００５３】
そして、次のことが分かる：
−ｓｑｒｔ（５／Ｎ）＞ｓｑｒｔ（２／Ｎ）及びｓｑｒｔ（５／Ｎ）＞ｓｑｒｔ（３／Ｎ）、よって、ｐｏｏｌｉｎｇ（Ｇ１，２）＞ｐｏｏｌｉｎｇ（Ｇ１）及びｐｏｏｌｉｎｇ（Ｇ１，２）＞ｐｏｏｌｉｎｇ（Ｇ２）、そしてモノトーン要件が満足される。
−ｓｑｒｔ（５／Ｎ）＜ｓｑｒｔ（２／Ｎ）＋ｓｑｒｔ（３／Ｎ）、よって、ｐｏｏｌｉｎｇ（Ｇ１∪Ｇ２）＜ｐｏｏｌｉｎｇ（Ｇ１）＋ｐｏｏｌｉｎｇ（Ｇ２）、そして抑制要件が満足される。
【００５４】
再び式（１）乃至（４）を参照して、様々な実施がそれらの式のパラメータのうちの１以上を変更する。例えば、１以上の実施において：
−ｌｅｎは、例えば、グループ欠落における連続したピクチャの数のような、時間以外の単位で表される。
−ｍｖは、先行する欠落していないピクチャの平均動きベクトルよりむしろ、他のアプローチによって計算される。例えば、１以上の実施においては、モード又はメジアンが平均よりむしろ使用され、平均は加重平均であり、前景オブジェクトの動きベクトルのみが考慮され、及び／又は最大の動きベクトルが更なる重みを与えられる（加重平均）。より一般的に、多種多様なフィルタリングアルゴリズムが異なる実施において使用される。
−ｃは、様々な実施において、例えば、ｌｅｎ及び／又はｍｖの値に基づき変化する、より複雑な変数である。更に、幾つかの実施において、ｃは、異なる人間の特性（例えば、特定のひずみに対する特定の感度）に基づき、又は解析されるビデオのデータベースの異なる特性（例えば、コンテンツのタイプ又は解像度）に基づき、変化する。
−ｆは、例えば、指数値及び／又は対数を伴う異なる関数として選択される。
−Ｎは１の値、及び／又は［０，４］とは異なる範囲に式（４）のプーリング結果を到らせるよう設計された値である。
−式（４）からのＤ（Ｇ）は、例えば、立方根若しくは他の指数関数、及び／又は対数関数のような、平方根関数とは異なる関数を使用する。
−様々な変数の範囲は、他の実施では変更される。
【００５５】
２．３  実験結果
式（３）は、グループ欠落によって生じるひずみ及び／又は品質レベルを推定し、式（４）は、グループ欠落の組を含むひずみを有するビデオの全て又は部分の全体的なひずみ及び／又は品質レベルを推定する。様々な実験が、少なくとも１つの実施の正確さを評価するために実行された。
【００５６】
実験において、定数ｃは２．５の値に設定され、定数Ｎは、ビデオウィンドウサイズにおけるピクチャの数に等しい値に設定され、これは３００であった。ｃの値は｛０，０．５，１，１．５，２，２．５，３，３．５及び４｝の組により繰り返され、２．５の値が良好な性能を有するよう決定された。
【００５７】
式（１）乃至（４）の提案される方法は、結果として得られるひずみ値を生成するよう、夫々およそ１０秒の長さであるおよそ２００のビデオシーケンスを集合的に含む４つのＰ．ＮＢＡＭＳトレーニングデータベースに適用された。トレーニング用ビデオシーケンスへの実施の適用により得られる予測精度は、主観的スコア（subjective  score）と比較された。およそ２０人の主観的スコアは、“平均オピニオン評点（mean  opinion  score）”（ＭＯＳ）を形成するよう平均される。主観的スコア及びＭＯＳは１（最悪の品質）から５（最良の品質）の間の値を有する。Ｐ．ＮＢＡＭＳデータベースは、夫々のビデオシーケンスについてＭＯＳを提供する。
【００５８】
使用された比較は相関であった。相関は、夫々のビデオシーケンスについて、実施によるひずみ結果とＭＯＳとの間で実行された。相関は、夫々のＰ．ＮＢＡＭＳデータベースにおいて実行され、データベースについての相関結果は、実施がトレーニングデータベースについて０．７５から０．７８の間の予測精度を有することを示した。
【００５９】
他の実施において、Ｎの値は、例えば、ウィンドウサイズの２倍（例えば、６００）まで増やされる。これは、プールされたひずみ値を変更する。しかし、これは、通常は、結果として得られるプールされたひずみ値の全体的な精度に影響を及ぼさない。なぜなら、全ての結果として得られるひずみ値は、Ｎの同じ値により生成されるからである。加えて、推定されたひずみ値をＭＯＳ値と比較することにおいて、通常は、Ｎの値の増大の影響を取り除くフィッティング処理が存在する。フィッティング処理は、予め定義された関数ｆｆｉｔを適用する。関数ｆｆｉｔは、推定値である“客観的スコア（objective  score）”の作成者によって予め定義される。フィッティング処理は、ｆｆｉｔを“客観的スコア”に適用して、値をｆｆｉｔ（客観的スコア）に変更する。変更された値は、次いで、ＭＯＳ値（“主観的スコア”）との相関を計算するために使用される。このように、フィッティング関数は、通常は、増減されたＮの影響を取り除くよう予め定義され得る。
【００６０】
式（１）に関連する実施、又はその変形は、様々な状況及び用途に適用され得る。様々なそのような実施は、“スキップを伴うフリーズ”のひずみ原因、若しくは“スキップを伴わないフリーズ”のひずみ原因、又はその両方を示すビデオシーケンスに適用される。１以上のそのような実施は、“ジャーキー（jerky）（又は“ジャーク”）”効果及び／又は“ジャンピング（又は“ジャンプ”）”効果に関連するひずみ又は品質を捕捉するために式（１）の“ｍｖ×ｃ”の項を使用する。
【００６１】
“ジャーキー”効果は、ピクチャが最初に繰り返される場合（すなわち、フリーズが最初に起こる場合）に発生する動きのジャーク又は停止に関連する。ジャークはフリーズに伴って発生し、故に、“スキップを伴うフリーズ”及び“スキップを伴わないフリーズ”の両方により見られる。ジャーキー効果は、人間の脳がピクチャのシーケンスの移動軌跡に追随しようと試みるために生じる。しかし、ピクチャのシーケンスはフリーズし、軌跡は見かけ上及び突然に停止される。この突然の停止は、動きのジャークと呼ばれ、人間の脳は、動きのジャークに気づきこれを処理するエネルギを費やす。エネルギの消費及び関連する処理は、通常、ピクチャのシーケンスを見ることの望ましくない態様として印象に残る。然るに、動きのジャークはひずみであって、ピクチャのシーケンスの品質を低下させると見なされる。
【００６２】
“ジャンピング”効果は、ピクチャの内容が直ぐ後のピクチャにおける異なる位置へジャンプする場合に起こる動きのジャンプに関連する。これは、例えば、フリーズ後にピクチャが表示される“スキップ”の間に起こる。通常、欠落したピクチャは、以前に表示されたピクチャ（フリーズしたピクチャの前のピクチャ）に対する、及びお互いに対する動きを示す。よって、ピクチャが欠落しなかった場合は、欠落したピクチャの後に起こるピクチャへの欠落したピクチャにわたる動作軌跡が存在する。しかし、フリーズが起こる場合に、欠落したピクチャの直ぐ後に続くピクチャは、欠落したピクチャの全てからの累積的動作を示す。この累積的動作は、通常、動きのジャンプとして経験される。
【００６３】
式（１）のｍｖ項は、様々な実施において、欠落したピクチャの前のピクチャの１以上の動きベクトルから、又は欠落したピクチャの後のピクチャの１以上の動きベクトルから、又は欠落したピクチャの前後のピクチャの動きベクトルの組み合わせから、決定される。特定の実施において、以下のことが言える：
−ｍｖは、欠落したピクチャの前のピクチャの動きベクトルに基づき、ｍｖ×ｃの項は、ジャーキー効果のひずみをモデルリングする；
−ｍｖは、欠落したピクチャの前のピクチャの動きベクトルに基づき、ｍｖ×ｃの項は、ジャンピング効果のひずみをモデリングする；
−ｍｖは、欠落したピクチャの前のピクチャの動きベクトルに基づき、ｍｖ×ｃの項は、ジャーキー効果及びジャンピング効果の複合ひずみをモデリングする；
−ｍｖは、欠落したピクチャの後のピクチャの動きベクトルに基づき、ｍｖ×ｃの項は、ジャンピング効果のひずみをモデリングする。
【００６４】
式（１）の項ｍｖ×ｃにおける変数ｃは、様々な実施において、ｍｖ×ｃの項がジャーキー効果、ジャンピング効果、又はジャーキー効果及びジャンピング効果の組み合わせのいずれをモデリングしているのかに基づき選択される。例えば、ジャーキー効果及びジャンピング効果の両方が単一のｍｖ×ｃの項によってモデリングされている場合は、ｃは、特定の実施において、単一のひずみがモデリングされている場合よりも大きい。加えて、特定の実施は、複数のひずみをモデリングするために、足し合わされた２つのｍｖ×ｃの項を使用する。
【００６５】
特定の実施は、１以上のひずみ効果に焦点を合わせることによって、及び１以上の他のひずみ効果を無視することによって、ひずみ又は品質を計算するよう選択する。例えば、式（１）の様々な実施は、ジャンピング効果のみをモデリングし、ジャーキー効果により生じる如何なるひずみも無視するよう、ｍｖ×ｃの項を使用する。他の例として、式（１）の様々な実施は、ジャーキー効果のみをモデリングし、ジャンピング効果により生じる如何なるひずみも無視するよう、ｍｖ×ｃの項を使用する。
【００６６】
図６及び７は、少なくとも１つの実施に適用可能な追加的な背景を与える。図６を参照すると、ビデオ送信システム又は装置６００が示されており、これに対し本願で記載されている特徴及び原理が適用されてよい。ビデオ送信システム又は装置６００は、例えば、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体の何れかにより信号を送信するヘッドエンド又は送信システムであってよい。ビデオ送信システム又は装置６００はまた、又は代替的に、例えば、記憶のために信号を供給するために使用されてよい。送信は、インターネット又は何らかの他のネットワークを介して提供されてよい。ビデオ送信システム又は装置６００は、例えば、ビデオコンテンツ及び、例えば、デプス及び／又は視差の値を含むデプスのインジケータのような他のコンテンツを生成及び配信することができる。また当然に、図６のブロックは、ビデオ送信システム又は装置のブロック図を与えることに加えて、ビデオ送信処理のフロー図を与える。
【００６７】
ビデオ送信システム又は装置６００は、プロセッサ６０１から入力ビデオを受け取る。一実施において、プロセッサ６０１は単に、図１のビデオシーケンス１００のピクチャのようなビデオピクチャをビデオ送信システム又は装置６００へ供給する。なお、他の実施においては、プロセッサ６０１は代替的に、又は追加的に、デプスピクチャ又は他のコンテンツをビデオ送信システム又は装置６００へ供給する。プロセッサ６０１はまた、メタデータをビデオ送信システム又は装置６００へ供給してよく、このとき、メタデータは入力ピクチャのうちの１以上に関連する。
【００６８】
ビデオ送信システム又は装置６００は、エンコーダ６０２と、エンコードされた信号を送信することができる送信器６０４とを有する。エンコーダ６０２は、プロセッサ６０１からビデオ情報を受け取る。ビデオ情報は、例えば、ビデオピクチャ、及び／又は視差（又はデプス）ピクチャを含んでよい。エンコーダ６０２は、ビデオ及び／又は視差情報に基づき、エンコードされた信号を生成する。
【００６９】
様々な実施において、エンコーダ６０２は、例えば、ＡＶＣエンコーダである。ＡＶＣエンコーダは、ビデオ及び視差情報の両方に適用されてよい。ＡＶＣは、既存のＩＳＯ／ＩＥＣ（International  Organization  for  Standardization/International  Electrotechnical  Commission）ＭＰＥＧ−４（Moving  Picture  Experts  Group-4）Ｐａｒｔ１０ＡＶＣ（Advanced  Video  Coding）標準／ＩＴＵ−Ｔ（International  Telecommunication  Union,  Telecommunication  Sector）Ｈ．２６４提言（以降、“Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ標準”、あるいは、“ＡＶＣ標準”、“Ｈ．２６４標準”、又は単に“ＡＶＣ”若しくは“Ｈ．２６４”のような、その変形）を指す。
【００７０】
エンコーダ６０２は、例えば、様々な情報片を受け取って記憶又は送信のための構造化された形式にまとめるアセンブリユニットを含むサブモジュールを有してよい。様々な情報片は、例えば、エンコードされた又はエンコードされていないビデオと、エンコードされた又はエンコードされていない視差（又はデプス）値と、エンコード又はエンコードされていない、例えば、動きベクトル、符号化モードインジケータ、及びシンタックス要素のような要素とを含んでよい。幾つかの実施態様において、エンコーダ６０２はプロセッサ６０１を有し、従って、プロセッサ６０１の動作を実行する。
【００７１】
送信器６０４は、エンコードされた信号をエンコーダ６０２から受信し、そのエンコードされた信号を１以上の出力信号において送信する。送信器６０４は、例えば、エンコードされたピクチャ及び／又はそれに関する情報を表す１以上のビットストリームを有するプログラム信号を送信するよう適合されてよい。典型的な送信器は、例えば、エラー訂正符号化を提供すること、信号においてデータをインターリーブすること、信号においてエネルギをランダマイズすること、信号を変調器６０６により１以上のキャリアに変調することのうちの１又はそれ以上のような機能を実行する。送信器６０４は、アンテナ（図示せず。）を有するか、又はそれとインターフェース接続してよい。更に、送信器６０４の実施は変調器６０６に制限されてよい。
【００７２】
ビデオ送信システム又は装置６００はまた、記憶ユニット６０８へ通信上結合される。一実施において、記憶ユニット６０８はエンコーダ６０２へ結合されており、記憶ユニット６０８は、エンコーダ６０２からのエンコードされたビットストリームを記憶し、任意に、記憶されたビットストリームを送信器６０４へ供給する。他の実施においては、記憶ユニット６０８は送信器６０４へ結合され、送信器６０４からのビットストリームを記憶する。送信器６０４からのビットストリームは、例えば、送信器６０４によって更に処理された１以上のエンコードされたビットストリームを含んでよい。記憶ユニット６０８は、異なる実施において、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶装置のうちの１以上である。
【００７３】
ここで図７を参照すると、上記の特徴及び原理が適用され得るビデオ受信システム又は装置７００が示されている。ビデオ受信システム又は装置７００は、例えば、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体を介して信号を受信するよう構成されてよい。信号はインターネット又は何らかの他のネットワークを介して受信されてよい。また当然に、図７のブロックは、ビデオ受信システム又は装置のブロック図を与えることに加えて、ビデオ受信処理のフロー図を与える。
【００７４】
ビデオ受信システム又は装置７００は、例えば、携帯電話機、コンピュータ、タブレット、セットトップボックス、テレビ受像機、ゲートウェイ、ルータ、あるいは、エンコードされたビデオを受信し、例えば、表示（例えば、ユーザへの表示）のために、処理のために、又は記憶のためにデコードされたビデオ信号を提供する他の装置であってよい。よって、ビデオ受信システム又は装置７００は、その出力を、例えば、テレビ受像機のスクリーン、コンピュータのモニタ、コンピュータ（記憶、処理、又は表示のため）、又は何らかの他の記憶、処理若しくは表示装置へ供給してよい。
【００７５】
ビデオ受信システム又は装置７００は、ビデオ情報を受け取って処理することができ、ビデオ情報は、例えば、ビデオピクチャ、及び／又は視差（又はデプス）ピクチャを含んでよい。ビデオ受信システム又は装置７００は、例えば、本願の実施において記載される信号のようなエンコードされた信号を受信する受信器７０２を有する。受信器７０２は、例えば、図１のビデオシーケンス１００のピクチャのうちの１以上を与える信号、又は図６のビデオ送信システム又は装置６００から（例えば、記憶ユニット６０８又は送信器６０４から）出力された信号を受信してよい。
【００７６】
受信器７０２は、例えば、エンコードされたピクチャ（例えば、ビデオピクチャ又はデプスピクチャ）を表す複数のビットストリームを有するプログラム信号を受信するよう適合されてよい。典型的な受信器は、例えば、変調及びエンコードされたデータ信号を受信すること、復調器７０４を用いて１以上のキャリアからデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリーブすること、及び信号をエラー訂正復号化することのうちの１又はそれ以上のような機能を実行する。受信器７０２は、アンテナ（図示せず。）を有するか、又はそれとインターフェース接続してよい。受信器７０２の実施は復調器７０４に制限されてよい。
【００７７】
ビデオ受信システム又は装置７００はデコーダ７０６を有する。受信器７０２は、受信信号をデコーダ７０６へ供給する。受信器７０２によってデコーダ７０６へ供給される信号は、１又はそれ以上のエンコードされたビットストリームを含んでよい。デコーダ７０６は、例えば、ビデオ情報を含むデコードされたビデオ信号、又はデプス情報を含むデコードされたデプス信号のような、デコードされた信号を出力する。デコーダ７０６は、例えば、ＡＶＣデコードであってよい。
【００７８】
ビデオ受信システム又は装置７００はまた、記憶ユニット７０７へ通信上結合される。一実施において、記憶ユニット７０７は受信器７０２へ結合され、受信器７０２は、記憶ユニット７０７からのビットストリームにアクセスし、及び／又は受信したビットストリームを記憶ユニット７０７へ記憶する。他の実施においては、記憶ユニット７０７はデコーダ７０６へ結合され、デコーダ７０６は、記憶ユニット７０７からのビットストリームにアクセスし、及び／又はデコードしたビットストリームを記憶ユニット７０７へ記憶する。記憶ユニット７０７からアクセスされるビットストリームは、異なる実施においては、１以上のエンコードされたビットストリームを含む。記憶ユニット７０７は、異なる実施において、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶装置のうちの１又はそれ以上である。
【００７９】
デコーダ７０６からの出力データは、一実施において、プロセッサ７０８へ供給される。プロセッサ７０８は、一実施において、新しいビューをレンダリングするよう構成されるプロセッサである。幾つかの実施において、デコーダ７０６はプロセッサ７０８を有し、従って、プロセッサ７０８の動作を実行する。他の実施においては、プロセッサ７０８は、例えば、セットトップボックス、タブレット、又はテレビ受像機のようなダウンストリーム装置の一部である。より一般的に、プロセッサ７０８及び／又はビデオ受信システム又は装置７００は、様々な実施において、ゲートウェイ、ルータ、セットトップボックス、タブレット、テレビ受像機、又はコンピュータの一部であってよい。
【００８０】
ビデオ受信システム又は装置７００及び／又はプロセッサ７０８の様々な実施は、“スキップを伴うフリーズ”によって引き起こされる１以上のグループ欠落を含むビデオシーケンスのひずみ及び／又は品質を評価する。グループ欠落のひずみ及び／又は品質は、本願で記載されるように（例えば、式（１）乃至（４）及び／又は図８若しくは９で記載される方法を用いて）決定され得る。かかる実施は、例えば、受信器７０２、復調器７０４、デコーダ７０６、及び／又はプロセッサ７０８で実行される。
【００８１】
図８を参照すると、ひずみの累積インジケータを決定するための方法８００が示されている。ひずみの累積インジケータは、例えば、様々な実施において、１以上のグループ欠落のひずみについての値、又は１以上のグループ欠落の品質についての値である。
【００８２】
方法８００は、非表示情報にアクセスするステップ（８１０）を含む。非表示情報は、少なくとも１つの実施において、ビデオシーケンスからの１以上の連続したピクチャが表示されるべきでないことを示す情報である。特定の実施において、アクセスされる情報は、例えば、ビデオシーケンスに含まれるピクチャからのパケット損失のインジケータ、又はビデオシーケンスに含まれるピクチャからの欠落ピクチャのインジケータを含む。他の実施においては、アクセスされる情報は、例えば、ビデオシーケンスに含まれるピクチャにおける訂正不能のエラーのインジケータである。
【００８３】
方法８００は、ポーズタームを決定するステップ（８２０）を含む。少なくとも１つの実施において、動作８２０の実行は、表示されるべきでない１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみの量を示すポーズタームを決定することを含む。
【００８４】
他の実施においては、動作８２０の実行は、表示されるべきでない１以上の連続したピクチャのための表示時間の間に実質的に共通のピクチャを表示する存続期間に関連するひずみを示すポーズタームを決定することを含む。表示時間の間に実質的に共通のピクチャを表示することは、その表示時間の間中実質的に同じ（すなわち、共通の）ピクチャを表示することを含む。よって、これは、最後にデコードされたピクチャをフリーズの間表示することを含む。なお、これはまた、わずかに変化するが依然として実質的に同じであるピクチャをフリーズの間表示することを含む。１つのそのような変化は、例えば、フリーズの間夫々のピクチャ表示時間によりインクリメントするカウントを最後にデコードされたピクチャに加えることである。存続期間は、様々な実施において、１以上の連続したピクチャを表示するための時間の長さによって、又は欠落したピクチャの数を示す数によって、測定される。
【００８５】
方法８００は、モーションタームを決定するステップ（８３０）を含む。少なくとも１つの実施において、動作８３０の実行は、表示されるべきでない１以上の連続したピクチャを表示しないことで生じる動きの変化に関連するひずみの量を示すモーションタームを決定することを含む。
【００８６】
他の実施において、動作８３０の実行は、表示されるべきでない１以上の連続したピクチャのための表示時間の間に実質的に共通のピクチャを表示することで生じる動きの変化に関連するひずみを示すモーションタームを決定することを含む。一実施において、動きの変化は動きのジャンプであり、モーションタームは、ビデオシーケンスからの他のピクチャを実質的に共通のピクチャを表示した後に表示される次のピクチャとして表示することで起こる動きのジャンプにより生じる歪みを示す。他の実施においては、動きの変化は、動きの停止であり、モーションタームは、表示されるべきでない１以上の連続したピクチャを表示するのではなく表示時間の間に実質的に共通のピクチャを表示することで起こる動きの停止により生じる歪みを示す。
【００８７】
方法８００は、ポーズターム及びモーションタームの加算に基づき累積ひずみインジケータを決定するステップ（８４０）を含む。一実施において、ポーズタームはｆ（ｌｅｎ，ｃ＋１，５）であり、モーションタームは−ｍｖ×ｃであり、累積ひずみインジケータは式（１）で示される和である。
【００８８】
図９を参照すると、ひずみの累積インジケータを決定するための方法９００が示されている。ひずみの累積インジケータは、例えば、様々な実施において、１以上のグループ欠落のひずみについての値、又は１以上のグループ欠落の品質についての値である。
【００８９】
方法９００は、２つのひずみを記述する情報にアクセスするステップ（９１０）を含む。アクセスされる情報は、少なくとも１つの実施において、複数のピクチャを含むビデオシーケンスにおける第１のひずみ発生及び第２のひずみの発生を記述する。
【００９０】
方法９００は、第１のひずみのインジケータを決定するステップ（９２０）を含む。少なくとも１つの実施において、インジケータは、第１のひずみの発生の第１のインジケータである。
【００９１】
少なくとも１つの実施において、第１のひずみのインジケータを決定することは、ピクチャの第１の組を表示せずにビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す第１のインジケータを決定することを含む。他の実施においては、第１のひずみのインジケータを決定することは、ピクチャの第１の組のための表示時間の間に表示される第１の実質的に共通のピクチャを有してビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す第１のインジケータを決定することを含む。
【００９２】
方法９００は、第２のひずみのインジケータを決定するステップ（９３０）を含む。少なくとも１つの実施において、インジケータは、第２のひずみの発生の第２のインジケータである。
【００９３】
少なくとも１つの実施において、第２のひずみのインジケータを決定することは、ピクチャの第２の組を表示せずにビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す第２のインジケータを決定することを含む。他の実施においては、第２のひずみのインジケータを決定することは、ピクチャの第２の組のための表示時間の間に表示される第２の実質的に共通のピクチャを有してビデオシーケンスを表示することで生じる１以上のタイプのひずみ効果にわたるひずみの量を示す第２のインジケータを決定することを含む。
【００９４】
方法９００は、２つのひずみインジケータを非線形な態様において累積するステップ（９４０）を含む。少なくとも１つの実施において、動作９４０の実行は、ひずみの複合インジケータを生成するよう第１のインジケータ及び第２のインジケータを非線形な態様において累積することを含む。
【００９５】
方法８００及び９００並びに本願で記載される他の実施は、通信システムにおいて様々な時点で実行され得る。図６乃至７に関して上述されたように、ひずみ及び／又は品質の決定は、様々な実施において、通信システムのデコーディング／受信／表示の終わりに実行される。かかる決定は、様々な実施において、“ＱｏＥ”（Quality  of  Experience）評価の部分である。ＱｏＥ評価は、様々な実施において、標準化されたアルゴリズムに従って実行されると考えられる。標準化されたアルゴリズムは，ひずみ及び／又は品質を評価するための記載された実施のうちの１又はそれ以上（あるいは、１又はそれ以上の変形）であってよい。
【００９６】
本願は、図６乃至９のブロック／フロー図を含む複数のブロック／フロー図を提供する。当然に、本願のブロック／フロー図は、例えば、処理を記述するフロー図、及び装置の機能ブロックを記述するブロック図を含む様々な情報を提供する。加えて、本願は、図１乃至２の図示を含む複数の図示を提供する。当然に、本願の図示は、例えば、結果又は出力の例示、及び処理を記述するフロー図を含む様々な情報を提供する。加えて、本願は、図３乃至５のグラフ表示を含む複数のグラフ表示を提供する。当然、本願のグラフ表示は、例えば、様々な入力値での関数の結果又は出力の例示、及び変数間の関係の示唆を含む様々な情報を提供する。
【００９７】
“スキップを伴うフリーズ”をもたらすグループ欠落のひずみ及び／又は品質を決定する様々な実施が記載されてきた。かかる実施は、様々な他の実施において、“スキップを伴うフリーズ”を引き起こすグループ欠落以外の他のひずみに適用されるよう拡張される。特に、本願の教示及び実施は、様々な実施において、フリーズにのみ起因するひずみに、スキップにのみ起因するひずみに、又は他のひずみに適用される。実際に、例えば、式（４）のようなプーリング技術は、様々な実施において、如何なるひずみ値もプールすることに適用され、フリーズ及び／又はスキップに制限されない。
【００９８】
ビデオシーケンスに適用される様々な実施が記載されてきた。かかる実施は、様々な他の実施において、他のコンテンツに適用されるよう拡張される。そのような他のコンテンツは、例えば、標準的な２次元ビデオコンテンツ以外のコンテンツを含む。非ビデオコンテンツは、例えば、デプスマップ、エッジマップ、トランスペアレンシマップ、紫外線若しくは赤外線周波数画像、暗視ゴーグルからの熱形跡、表示において解析されるよう意図される科学的データ、又は繰り返しパターンを有する若しくは順次的な態様において見られるよう意図されるあらゆるデータを含む。
【００９９】
１以上の欠落したピクチャを含むグループ欠落のひずみ及び／又は品質を決定する様々な実施が記載されてきた。かかる実施は、ピクチャが欠落すべき場合を決定する如何なる特定の技術にも依存しない。実施は、ピクチャが欠落するか否かの決定を含む必要さえない。なぜなら、ピクチャが欠落する（又は欠落しない）との示唆は、かかる実施への入力であるためである。結果として、ピクチャを落とすとの決定は、当該技術で知られている様々な方法において行われてよく、例えば、ピクチャの単一のパケットが失われる場合にピクチャを落とすこと、又はピクチャの全てのパケットが失われる場合且つ適切な隠ぺい技術が利用可能でない場合にのみピクチャを落とすことを含んでよい。
【０１００】
“スキップを伴うフリーズ”をもたらす１以上の欠落したピクチャを含むグループ欠落のひずみ及び／又は品質を決定する様々な実施が記載されてきた。かかる実施は、様々な他の実施において、“フリーズ”が夫々の欠落したピクチャのための表示時間の間に同じ正確なピクチャを繰り返すことを伴わない状況に適用されるよう拡張される。例えば、一実施において、ピクチャが繰り返されている回数を示す小さいカウンタが、表示されるピクチャの右下に含まれる。よって、４つのピクチャが欠落した場合は、５つの表示時間（１つの期待される表示時間と、４つの“フリーズ”した表示時間とを含む。）の間に表示される“フリーズ”したピクチャは、欠落したピクチャのための４つの表示時間の間に小さいカウンタが右下に現れる点を除いて、同一である。この小さいカウンタは、それら４つの表示時間において、１から２へ、３へ、４へインクリメントする。
【０１０１】
我々は、単一のパケットが失われる場合にピクチャを落とす実施について記載してきた。ピクチャは、特定の実施形態において、例えば、（ｉ）低解像度のビデオにおいて、ピクチャ全体はしばしば単一パケットにあるか、又は特定の用途は、隠ぺいアーティファクトが存在せず、よってエラー隠ぺいが使用されないとの要件を有するために、単一のパケット損失に起因して欠落される。実施は、いつピクチャを落とすべきかの決定において様々である（例えば、単一のパケットのみが失われる場合に落とすこと、より多くのパケットが失われる必要があること、等）。なお、ピクチャが欠落する場合に、スキップを伴うフリーズのひずみが起こる。他の適用は、単一のパケットが失われる場合にエラー隠ぺいを試みる。特定の実施はまた、たとえ更なるピクチャのうちの１つの単一のマクロブロックしか欠落したピクチャをリファレンスとして使用しないとしても、欠落したピクチャに依存する全ての更なるピクチャを落とす。かかる実施は、それらの従属ピクチャを落とす。なぜなら、例えば、（ｉ）隠ぺいアーティファクトに対する要求がないか、（ｉｉ）更なるピクチャ全体が単一のパケットにあり、そのパケットのデコーディングを回避することが有効であるか、又は（ｉｉｉ）従属ピクチャにおける単一の喪失マクロブロックさえ重要な内容（例えば、オブジェクト）を有しうるために品質がこのようにしてより確保されるためである。加えて、他の実施は、欠落したピクチャに従属する後続ピクチャをいつ落とすべきかの決定において様々であり、例えば、影響を及ぼされる後続ピクチャのマクロブロックの閾数、又は閾値を上回るエラー隠ぺいアーティファクトを必要とする。ピクチャの欠落はまた、様々な実施において、エラー隠ぺいの形式であると考えられる。
【０１０２】
我々は、プーリング関数について式（４）を使用する少なくとも１つの実施を先に記載した。他のプーリング関数が可能である。様々な他の実施は、次のように、プーリングのためのラップ（wrap）関数を使用する：
Ｄ（Ｇ）≦Ｃ２の場合、Ｄ（Ｇ）＝√Σｇ∈ＧＤ（ｇ）／Ｃ１    （５）
その他の場合、Ｄ（Ｇ）＝Ｃ２
上記のラップ関数は、Ｃ１及びＣ２である２つの定数を使用する。Ｃ１及びＣ２は両方とも、様々な実施において経験によって決定される。
【０１０３】
様々な実施は、様々な利点のうちの１又はそれ以上を有してよい。そのような利点の部分的なリストは、（ｉ）低い複雑性、（ｉｉ）ひずみモデルにおける“フリーズ”及び“スキップ”ひずみの分離、（ｉｉｉ）例えば、フリーズ、スキップ、又はスキップを伴うフリーズにより生じる歪みの正確な決定を可能にすること、（ｉｖ）エンコーディング、変調、及び決定される送信パラメータが所望の品質レベルを提供することを可能にすること、及び／又は（ｖ）正確な態様において複数のひずみの発生についてひずみ／品質値をプールすることを含む。
【０１０４】
我々は、このように、特定の特徴及び態様を有する１の実施を提供する。特に、我々は、ひずみ及び／又は品質を決定することに係る幾つかの実施を提供する。なお、それらの実施の変形及び追加的な適用が考えられ、本開示内にあり、記載される実施の特徴及び態様は、他の実施のために適合されてよい。
【０１０５】
本願で記載される実施及び特徴の幾つかは、ＡＶＣ標準、及び／又はＭＶＣ拡張（Ａｎｎｅｘ  Ｈ）を伴うＡＶＣ、及び／又はＳＶＣ拡張（Ａｎｎｅｘ  Ｇ）を伴うＡＶＣとの関連で使用されてよい。加えて、それらの実施及び特徴は、他の標準（既存又は将来）との関連で、又は標準に関係ない状況において、使用されてよい。
【０１０６】
当然に、ひずみ項又は品質項は、通常は、ひずみ及び品質の両方を示す。よって、例えば、式（１）を参照すると、Ｑ（ｇ）、Ｄ（ｇ）、ｆ（ｌｅｎ，ｃ＋１，５）、及び“ｍｖ×ｃ”の夫々は、ひずみ及び品質の両方を示す。
【０１０７】
本原理の“一実施形態”若しくは“実施形態”又は“一実施”若しくは“実施”及びそれらの他の変形への言及は、その実施形態に関連して記載される特定の特徴、構造、特性等が本原理の少なくとも１つの実施形態において含まれることを意味する。よって、本明細書の全体を通じて様々な箇所で現れる“一実施形態において”若しくは“実施形態において”又は“一実施において”若しくは“実施において”との表現及びその変形表現の出現は、必ずしも全て同じ実施形態に言及するわけではない。
【０１０８】
加えて、本願又はその特許請求の範囲は、様々な情報片を“決定する”と言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことのうちの１又はそれ以上を含んでよい。
【０１０９】
更に、本願又はその特許請求の範囲は、様々な情報片に“アクセスする”と言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を取り出すこと（例えば、メモリ）、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、情報を評価すること、又は情報を推定することのうちの１又はそれ以上を含んでよい。
【０１１０】
様々な実施は、“画像”及び／又は“ピクチャ”に言及する。語“画像”及び“ピクチャ”は、本明細書を通じて同義的に使用され、幅広い語であるよう意図される。“画像”又は“ピクチャ”は、例えば、フレーム又はフィールドの全て又は部分であってよい。語“ビデオ”は画像（又はピクチャ）のシーケンスを指す。画像、又はピクチャは、例えば、様々なビデオ成分又はそれらの組み合わせのいずれを含んでもよい。そのような成分又はそれらの組み合わせは、例えば、輝度、クロミナンス、（ＹＵＶ又はＹＣｂＣｒ又はＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤（Ｒｅｄ）、（ＲＧＢの）緑（Ｇｒｅｅｎ）、（ＲＧＢの）青（Ｂｌｕｅ）、Ｓ−Ｖｉｄｅｏ、及びそれらの成分の何れかのネガ又はポジを含む。“画像”又は“ピクチャ”はまた、又は代替的に、例えば、典型的な２次元ビデオ、２Ｄビデオピクチャのための視差マップ、２Ｄビデオピクチャに対応するデプスマップ、又はエッジマップを含む多種態様な内容を指してよい。
【０１１１】
“デプスマップ”又は“視差マップ”又は“エッジマップ”、あるいは同様の語はまた、幅広い語であるよう意図される。マップは概して、例えば、特定のタイプのタイプを含むピクチャを指す。なお、マップは、その名称によって示されない他のタイプの情報を含んでよい。例えば、デプスマップは、通常はデプス情報を含んでよいが、例えば、ビデ又はエッジ情報のような他の情報を更に含んでよい。
【０１１２】
当然のことながら、次の“／”、“及び／又は”、及び“のうちの少なくとも１つ”の何れかの使用は、例えば、“Ａ／Ｂ”、“Ａ及び／又はＢ”及び“Ａ及びＢのうちの少なくとも１つ”の場合に、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ及び／又はＣ”及び“Ａ、Ｂ及びＣのうちの少なくとも１つ”及び“Ａ、Ｂ又はＣのうちの少なくとも１つ”の場合に、そのような言い回しは、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、３番目に挙げられている選択肢（Ｃ）のみの選択、又は最初と２番目に挙げられている選択肢（Ａ及びＢ）のみの選択、又は最初と３番目に挙げられている選択肢（Ａ及びＣ）のみの選択、又は２番目と３番目に挙げられている選択肢（Ｂ及びＣ）のみの選択、又は３つの全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、当業者によって容易に認識されるように、挙げられている事項だけ拡張されてよい。
【０１１３】
様々な実施は、例えば、ひずみ若しくは品質を結合する、又はひずみ若しくは品質のインジケータを結合するといったように、“結合”に言及する。“結合”はまた、累積する、又は、様々な実施において、プールすると言われる。“結合”は、様々な実施において、例えば、加算演算、乗算演算、指数演算、最小値を選択する演算、又は最大値を選択する演算のうちの１又はそれ以上により実行される。加えて、多くの実施態様は、エンコーダ（例えば、エンコーダ６０２）、デコーダ（例えば、デコーダ７０６）、デコーダからの出力を処理するポストプロセッサ（例えば、プロセッサ７０８）、又はエンコーダへ入力を供給するプレプロセッサ（例えば、プロセッサ６０１）のうちの１又はそれ以上において実施されてよい。本願で論じられるプロセッサは、様々な実施において、例えば、集合的に処理、関数、又は演算を実行するよう構成される複数のプロセッサ（サブプロセッサ）を含む。例えば、プロセッサ６０１及びプロセッサ７０８は夫々、様々な実施において、集合的に夫々のプロセッサ６０１及び７０８の動作を実行するよう構成される複数のサブプロセッサから構成される。更に、他の実施が本開示によって考えられる。
【０１１４】
ここで記載される実施は、例えば、方法若しくは処理、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ信号の実施形態との関連でしか論じられない（例えば、方法としてしか論じられない）としても、論じられる特徴の実施は他の形態（例えば、装置又はプログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、概して、例えば、コンピュータ、セットトップボックス、ゲートウェイ、ルータ、マイクロプロセッサ、集積回路、又はプログラマブル・ロジック・デバイスを含む処理装置を指す、例えばプロセッサのような装置において実施されてよい。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）、タブレット、ラップトップ、及びエンドユーザ間の情報の通信を助ける他の装置のような通信装置を有する。プロセッサはまた、例えば、集合的に処理、機能、又は演算を実行するよう構成される複数のプロセッサを有してよい。集合的な構成及び実行は、例えば、特定のタスクのための専用のサブプロセッサの使用、又は並列処理の使用のような、当該技術で知られている様々な技術の何れかにより達成されてよい。
【０１１５】
ここで記載される様々な処理及び特徴の実施は、様々な異なる設備又は装置、特に、例えば、データエンコーディングと、データデコーディングと、ビュー生成と、デプス若しくは視差処理と、ピクチャ並びに関連するデプス及び／又は視差マップの他の処理とに関連する設備又は装置において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、タブレット、携帯電話機、ＰＤＡ、及び他の通信装置がある。当然に、設備は移動体であって、移動車両に設置されてよい。
【０１１６】
加えて、方法は、命令がプロセッサによって（又はそのような命令を実行するよう集合的に構成される複数のプロセッサによって）実行されることによって実施されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体、又は例えば、ハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、しばしばデジタル・バーサタイル・ディスク又はデジタル・ビデオ・ディスクと称されるＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、若しくは読み出し専用メモリ（ＲＯＭ）のような他の記憶装置のようなプロセッサ可読媒体で記憶されてよい。命令は、プロセッサ可読媒体で有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせにおいて見つけられてよい。プロセッサは、従って、例えば、処理を実行するよう構成された装置、及び処理を実行する命令を有するプロセッサ可読媒体（例えば、記憶装置）を備える装置の両方として特徴付けられてよい。更に、プロセッサ可読媒体は、命令に加えて又はそれの代わりに、実施によって生成されたデータ値を記憶してよい。
【０１１７】
当業者には当然に、実施は、例えば、記憶又は送信され得る情報を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行する命令、又は記載される実施のうちの１つによって生成されたデータを含んでよい。例えば、信号は、標準のシンタックスを書き込むか若しくは読み出すための規則をデータとして搬送するよう、又は標準のために書き込まれる実際のシンタックス値をデータとして搬送するようフォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を用いる。）、又はベースバンド信号としてフォーマットされてよい。フォーマッティングは、例えば、データストリームをエンコードし、エンコードされたデータストリームにより搬送波を変調することを含んでよい。信号が搬送する情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている様々な異なる有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体で記憶されてよい。
【０１１８】
多数の実施が記載されてきた。それにもかかわらず、様々な変形がなされ得ることが理解されるであろう。例えば、異なる実施の要素は、他の実施を生成するために組み合わされ、補足され、変更され、又は除去されてよい。加えて、当業者は、他の構造及び処理が、開示されているものに取って代わってよく、結果として得られる実施が、開示されている実施と少なくとも略同じ結果を達成するよう、少なくとも略同じように少なくとも略同じ機能を実行することを理解するであろう。然るに、それら及び他の実施は本願によって考慮される。
【図１】
2014533914.tif 000003
【図２】
2014533914.tif 000004
【図３】
2014533914.tif 000005
【図４】
2014533914.tif 000006
【図５】
2014533914.tif 000007
【図６】
2014533914.tif 000008
【図７】
2014533914.tif 000009
【図８】
2014533914.tif 000010
【図９】
2014533914.tif 000011
【手続補正書】
【提出日】平成26年6月2日(2014.6.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオシーケンスからの１以上の連続したピクチャが表示されるべきでないことを示す情報にアクセスするステップと、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみの量を示すポーズタームを決定するステップと、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じる動きの変化に関連するひずみの量を示すモーションタームを決定するステップと、
前記ポーズターム及び前記モーションタームの加算に基づきひずみの量の複合インジケータを決定するステップと
を有し、
前記動きの変化は、動きのジャンプ及び動きの停止のうちの１つであり、前記モーションタームは、前記動きの変化が前記動きのジャンプである場合に、実質的に共通のピクチャを表示した後に表示される次のピクチャとして前記ビデオシーケンスからの他のピクチャを表示することによって起こる動きのジャンプから生じるひずみの量を示し、前記モーションタームは、前記動きの変化が前記動きの停止である場合に、表示されるべきでない前記１以上の連続したピクチャを表示するのではなく表示時間の間に前記実質的に共通のピクチャを表示することによって起こる動きの停止から生じるひずみの量を示す、
方法。
【請求項２】
前記ポーズタームによって示されるひずみの量は、表示されるべきでない前記１以上の連続したピクチャのための表示時間の間に実質的に共通のピクチャを表示する存続期間に関連し、
前記モーションタームによって示されるひずみの量は、表示されるべきでない前記１以上の連続したピクチャのための前記表示時間の間に実質的に前記共通のピクチャを表示することで生じる動きの変化に関連する、
請求項１に記載の方法。
【請求項３】
前記ポーズタームは、表示されるべきでない連続したピクチャの数とともに単調増加する、
請求項１に記載の方法。
【請求項４】
前記ポーズタームにおける漸進的な増大は、連続した欠落ピクチャの数が増大するにつれて小さくなる、
請求項３に記載の方法。
【請求項５】
前記モーションタームを決定するステップは、前記１以上の連続したピクチャについての動きを示すモーション値に基づき前記モーションタームを計算するステップを含む、
請求項１に記載の方法。
【請求項６】
前記モーションタームは、示される動きの増大とともに単調増加する、
請求項５に記載の方法。
【請求項７】
前記モーションタームは、示される動きの増大とともに線形増加する、
請求項６に記載の方法。
【請求項８】
前記モーション値は、前記ビデオシーケンスにおいて前記１以上の連続したピクチャの前に現れるピクチャについての１以上の動きベクトルから導出される、
請求項５に記載の方法。
【請求項９】
前記モーション値は、前記ビデオシーケンスにおいて前記１以上の連続したピクチャの後に現れるピクチャについての１以上の動きベクトルから導出される、
請求項５に記載の方法。
【請求項１０】
前記モーション値は、（ｉ）前記ビデオシーケンスにおいて前記１以上の連続したピクチャの前に現れるピクチャについての１以上の動きベクトル、及び（ｉｉ）前記ビデオシーケンスにおいて前記１以上の連続したピクチャの後に現れるピクチャについての１以上の動きベクトル、の両方から導出される、
請求項５に記載の方法。
【請求項１１】
ビデオシーケンスからの１以上の連続したピクチャが表示されるべきでないことを示す情報にアクセスするよう構成されるデコーダと、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じるポーズに関連するひずみの量を示すポーズタームを決定し、
表示されるべきでない前記１以上の連続したピクチャを表示しないことで生じる動きの変化に関連するひずみの量を示すモーションタームを決定し、
前記ポーズターム及び前記モーションタームの加算に基づきひずみの量の複合インジケータを決定する
よう構成されるプロセッサと
を有し、
前記動きの変化は、動きのジャンプ及び動きの停止のうちの１つであり、前記モーションタームは、前記動きの変化が前記動きのジャンプである場合に、実質的に共通のピクチャを表示した後に表示される次のピクチャとして前記ビデオシーケンスからの他のピクチャを表示することによって起こる動きのジャンプから生じるひずみの量を示し、前記モーションタームは、前記動きの変化が前記動きの停止である場合に、表示されるべきでない前記１以上の連続したピクチャを表示するのではなく表示時間の間に前記実質的に共通のピクチャを表示することによって起こる動きの停止から生じるひずみの量を示す、
装置。
【請求項１２】
前記ポーズタームによって示されるひずみの量は、表示されるべきでない前記１以上の連続したピクチャのための表示時間の間に実質的に共通のピクチャを表示する存続期間に関連し、
前記モーションタームによって示されるひずみの量は、表示されるべきでない前記１以上の連続したピクチャのための前記表示時間の間に実質的に前記共通のピクチャを表示することで生じる動きの変化に関連する、
請求項１１に記載の装置。
【請求項１３】
前記ポーズタームは、表示されるべきでない連続したピクチャの数とともに単調増加する、
請求項１１に記載の装置。
【請求項１４】
前記ポーズタームにおける漸進的な増大は、連続した欠落ピクチャの数が増大するにつれて小さくなる、
請求項１３に記載の装置。
【請求項１５】
前記プロセッサは、前記１以上の連続したピクチャについての動きを示すモーション値に応じて前記モーションタームを決定する、
請求項１１に記載の装置。
【請求項１６】
前記モーションタームは、示される動きの増大とともに単調増加する、
請求項１５に記載の装置。
【請求項１７】
前記モーションタームは、示される動きの増大とともに線形増加する、
請求項１６に記載の装置。
【請求項１８】
前記モーション値は、前記ビデオシーケンスにおいて前記１以上の連続したピクチャの前に現れるピクチャについての１以上の動きベクトルから導出される、
請求項１５に記載の装置。
【請求項１９】
前記モーション値は、前記ビデオシーケンスにおいて前記１以上の連続したピクチャの後に現れるピクチャについての１以上の動きベクトルから導出される、
請求項１５に記載の装置。
【請求項２０】
前記モーション値は、（ｉ）前記ビデオシーケンスにおいて前記１以上の連続したピクチャの前に現れるピクチャについての１以上の動きベクトル、及び（ｉｉ）前記ビデオシーケンスにおいて前記１以上の連続したピクチャの後に現れるピクチャについての１以上の動きベクトル、の両方から導出される、
請求項１５に記載の装置。
【国際調査報告】
2014533914.tif 000012
2014533914.tif 000013