(57)【要約】  オーディオ／ビデオ・クオリティ・オブ・エクスペリエンス（ＱｏＥ）を推定する、メディアレイヤ又はパケットレイヤにおける客観的なビデオ品質アセスメントモデルが知られている。既存モデルは安定的な性能を提供できない。ビデオデータのフレームのストリームの品質評価を可能にする方法は、一連のパケットを受け取るステップ（３１）と、一組のパラメータを生成するステップ（３２）と、生成された一組のパラメータをサイド情報としてフレームのストリームに挿入するステップ（３３）とを有し、少なくとも１つのパラメータはビデオスライスレベルを参照する。ビデオデータのフレームのストリームの品質を評価する方法は、一連のパケットを受け取るステップ（４１）と、一連のパケットから一組のパラメータを抽出するステップ（４２）と、推定された平均オピニオン評点（４５）を生成するステップとを有し、ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータはビデオのスライスレベルを参照する少なくとも１つのパラメータを有する。
2013527688.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータのフレームのストリームの品質評価を可能にする方法であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、前記方法は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、
前記一連のパケットから一組のパラメータを生成するステップであって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適であるステップと、
前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップとを有し、
前記ビデオデータは少なくとも１つのスライスレベルを有し、前記生成された一組のパラメータは前記ビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有する、方法。
【請求項２】
ビデオデータのフレームのストリームの品質を評価する方法であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、前記方法は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、
前記一連のパケットから一組のパラメータを抽出するステップと、
前記一組のパラメータに基づき推定平均オピニオン評点を生成するステップとを有し、
前記ビデオデータは少なくとも１つのスライスレベルを有し、前記抽出された一組のパラメータは前記ビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有する、方法。
【請求項３】
前記一組のパラメータは、さらに、ビデオのＧＯＰレベルまたはシーングループを個別に参照する少なくとも１つのパラメータを有する、
請求項１または２に記載の方法。
【請求項４】
第１のパラメータはスライスのエラー隠蔽レベルを示す、
請求項１ないし３いずれか一項に記載の方法。
【請求項５】
前記第１のパラメータは前記スライスの動き及び／又はテクスチャの複雑性を反映し、
請求項４が少なくとも請求項１を参照する場合、前記生成された一組のパラメータのうちの第１のパラメータを生成するステップは、
前記スライスがイントラ予測されたものか、インター予測されたものか判断するステップと、
前記スライスがイントラ予測されたものであるとき、前記第１のパラメータの生成に第１の計算方法を用いるステップと、
前記スライスがインター予測されたものであるとき、前記第１のパラメータの生成に異なる第２の計算方法を用いるステップと、を有する、
請求項４に記載の方法。
【請求項６】
第２のパラメータであるパラメータはスライスが関心領域を含むか示す、
請求項１ないし５いずれか一項に記載の方法。
【請求項７】
第３のパラメータはスライスのエラー伝搬減衰レベルを示す、
請求項１ないし６いずれか一項に記載の方法。
【請求項８】
少なくとも請求項１を参照するとき、前記生成された一組パラメータのうちの前記第３のパラメータを生成するステップは、インター符号化されたスライスの場合、前記スライス中のイントラ符号化されたマクロブロックとマクロブロックの総数との比を計算するステップを有し、イントラ符号化されたスライスの場合、前記第３のパラメータはゼロに設定される、
請求項７に記載の方法。
【請求項９】
第４のパラメータはスライス中のマクロブロック数を示す、
請求項１ないし８いずれか一項に記載の方法。
【請求項１０】
第５のパラメータはＧＯＰまたはシーングループの時間的複雑性レベルを示す、
請求項３ないし５いずれか一項に記載の方法。
【請求項１１】
請求項３ないし９いずれか一項が少なくとも請求項１を参照するとき、前記生成された一組のパラメータのうちの前記第５のパラメータを生成するステップは、
前記ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定するステップと、
前記ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類するステップであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有するステップと、
前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成するステップとを有する、
請求項１０に記載の方法。
【請求項１２】
第６のパラメータがＧＯＰまたはシーングループの空間的複雑性を示し、前記ＧＯＰまたはシーングループの各スライスまたはフレームにおいてエッジ検出が使われ、エッジ量に応じて前記ＧＯＰまたはシーングループが少なくとも２つの空間的複雑性レベルのうちの１つに分類され、前記レベルは滑らかなテクスチャとリッチなテクスチャとに対応する、
請求項３ないし１１いずれか一項に記載の方法。
【請求項１３】
第７のパラメータがＧＯＰまたはシーングループにおけるスライスグループのグループＲＯＩレベルを示し、前記ＧＯＰまたはシーングループ中の対応するスライスが関心領域（ＲＯＩ）を含むか否かを示す、
請求項３ないし１２いずれか一項に記載の方法。
【請求項１４】
ビデオデータのフレームのストリームの品質評価を可能にする装置であって、前記ビデオデータはパケットネットワークを介して伝送され、前記ビデオデータの各フレームは可変数のパケットにより表され、上記装置は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段と、
前記一連のパケットから一組のパラメータを生成する計算手段５２であって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適である計算手段と、
前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入する手段とを有し、
前記ビデオデータは少なくとも１つのスライスレベルを有し、前記生成された一組のパラメータは前記ビデオのスライスレベルを参照する少なくとも１つのパラメータを有する、装置。
【請求項１５】
ビデオデータのフレームのストリームの品質を評価する装置であって、前記ビデオデータはパケットネットワークを介して伝送され、前記ビデオデータの各フレームは可変数のパケットにより表され、上記装置は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段と、
前記一連のパケットから一組のパラメータを抽出する手段と、
前記一組のパラメータに基づき推定平均オピニオン評点を生成する計算手段とを有し、
前記ビデオデータは少なくとも１つのスライスレベルを有し、前記抽出された一組のパラメータは前記ビデオのスライスレベルを参照する少なくとも１つのパラメータを有する、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームの品質を評価する方法と装置に関する。また、本発明は、ビデオストリームの品質評価を可能にする方法と装置に関する。
【背景技術】
【０００２】
インターネットプロトコル（ＩＰ）ネットワークの発展にともない、有線または無線のＩＰネットワークを介したビデオ通信（例えば、ＩＰＴＶサービス）がよく使われるようになった。従来のケーブルネットワークを介したビデオ伝送とは異なり、ＩＰネットワークを介したビデオ配信は信頼性が高くない。この状況は、無線ネットワーク環境ではより悪くなる。それに応じて、ビデオ品質モデリング（ＶＱＭ）に対し、ＩＰ伝送におけるパケットロスや遅延ジッタなどの機能障害（ビデオ圧縮により生じるものを除く）により生じる品質劣化を測ることが最近要求されている。最近の研究では、オーディオ／ビデオ・クオリティ・オブ・エクスペリエンス（ＱｏＥ）（非特許文献１参照）を推定する、メディアレイヤ又はパケットレイヤにおける客観的なビデオ品質アセスメントモデルが取り上げられている。通常、品質は、平均オピニオン評点（ＭＯＳ）値として表される。メディアレイヤモデルは、スピーチ波形やビデオピクセルデータなどのメディア信号を用いる。パケットレイヤモデルは、パケットヘッダ情報のみを用い、ユーザエクスペリエンスを保証する自動ネットワーク診断に役立つ。パケットレイヤモデルは、メディアレイヤモデルと比較して軽量モデルであり、リアルタイムのモニタリングに適しており、（ＳＴＢなどの）顧客装置での展開が容易である。現在知られている客観的パケットレイヤモデルは、パケット情報を、パケット喪失率、ＲＴＰヘッダのタイムスタンプ、及びパケットサイズなどの入力パラメータとして用いる。これらの入力パラメータはビデオコンテンツには依存しない。しかし、ビデオコンテンツの異なる部分が喪失すると、異なる知覚的劣化を喚起する。これは、既存のパケットレイヤＶＱＭの欠点であり、推定精度とロバストネス（robustness）の観点からその性能に影響を及ぼす。
【０００３】
既存モデルの別の問題は、エラー隠蔽（ＥＣ）の効果が完全には考慮されていないことである。表示品位に対する喪失したパケットのインパクトは、エンコーダ構成とともに、デコーダで用いられるエラー隠蔽方法に大きく依存する。既知のＶＱＭモデル（非特許文献２参照）は、用いるパケット喪失隠蔽スキームに応じて、２つのモデル係数を用いるが、２つのモデル係数ｂ０とｂ１は、スキームごとに固定されている。同様のモデルが、デコーダで用いられるＥＣスキームに対して固定されたＥＣ重みを用いる。ＥＣ重みの値は経験的に設定される。しかし、各デコーダに対して固定のＥＣ重みを設定することは、ＥＣの実際の効果を近似することとはまったく異なることだということが分かっている。
【０００４】
さらに、パケット基盤のネットワークでは、ビデオフレームの符号化ビットは、基盤ネットワークの最大転送単位（ＭＴＵ）サイズに応じて、ＲＴＰパケットなどの複数のパケットにカプセル化される。Ｈ．２６４エンコーダの場合、ビデオフレームは複数のスライスにエンコードされる。ＭＴＵサイズに応じて、転送のため、スライスのデータが複数のＲＴＰパケットにカプセル化され、または複数のスライスがＲＴＰパケットにカプセル化され、または１つのスライスがパケットごとに用いられる。このように、パケット喪失とＭＯＳの統計的特徴間の関係は安定していない。それゆえ、既存モデルは、パケット喪失とＭＯＳの統計的特徴のみを考慮するとの限界のため、安定的な性能を発揮できない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Akira Takahashi: Framework and Standardization of Quality ofExperience (QoE) Design and Management for Audiovisual Communication Services,NTT Technical Review ４/２００９,www.ntt-review. jp/archive/２００９/２００９０４. html
【非特許文献２】A. Raake, M.-N. Garcia, S. Moller J. Berger, F. Kling, P. List, J.Johann, C. Heidemann, T-V-MODEL: PARAMETER-BASED PREDICTION OF IPTV QUALITY,ICASSP ２００８
【非特許文献３】Nitin Suresh, Mean Time Between Visible Artefacts in VisualCommunications, PHD thesis, Georgia Inst, of Tech., August ２００７
【非特許文献４】W.Lin et al., "Visual Distortion Gauge Based on Discriminationof Noticeable Contrast Changes", IEEE Transactions On Circuit and Systemfor Video Tech., Vol.１５, No.７,Jul.２００５
【発明の概要】
【０００６】
デコーダにおいてスライスが異なれば違うＥＣ法が適用されるので、各デコーダに対して固定ＥＣ重みを設定するだけでは十分ではないことが分かった。それに加え、現実のアプリケーションでは、Ｈ．２６４符号化されたビデオフレームは複数のスライスにエンコードされ、喪失したスライスが異なれば、デコーダにおいてＥＣ後に程度がまったく異なる可視アーティファクトが生じる。よって、デコーダレベルで違うＥＣ重みを適用するアプローチがさらに改良されている。
【０００７】
本発明は、少なくとも上記の問題に対するソリューションを改良するものである。
【０００８】
ビデオデータのフレームのストリームの品質評価を可能にする方法を開示する。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。本方法は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、前記一連のパケットから一組のパラメータを生成するステップであって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適であるステップと、前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップとを有する。ビデオデータは少なくとも１つのスライスレベルを有し、生成された一組のパラメータはビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有する。
【０００９】
さらに、ビデオデータのフレームのストリームの品質を評価をする方法を開示する。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。本方法は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、前記一連のパケットから一組のパラメータを抽出するステップと、前記一組のパラメータに基づき推定平均オピニオン評点を生成するステップとをする。ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータはビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有する。
【００１０】
品質評価を可能にする方法を実施するのに適した装置が請求項１４に開示され、評価方法を実施するのに適した装置が請求項１５に開示されている。
【００１１】
さらに、本発明の一実施形態は、ビデオ品質推定装置のためのコンピュータ実行可能プログラムであって、前記装置のコンピュータに、前記品質評価を可能にする方法、及び／又は前記ストリームの品質を評価する方法を実行させるプログラムである。他の一実施形態は、前記コンピュータ実行可能プログラムに記録されたコンピュータ読み取り可能記録媒体である。
【００１２】
本発明の有利な実施形態は、従属項、以下の詳細な説明、及び図面に開示した。
【図面の簡単な説明】
【００１３】
添付した図面を参照して、本発明の実施形態例を説明する。
【図１】従来のパケットレイヤモデルの構成を示す図である。
【図２】本発明を示すブロック図である。
【図３】ビデオ品質評価を可能にする方法を示すフローチャートである。
【図４】ビデオ品質を評価する方法を示すフローチャートである。
【図５】ビデオ品質評価を可能にする装置を示すブロック図である。
【図６】ビデオ品質を評価する装置を示すブロック図である。
【発明を実施するための形態】
【００１４】
従来、図１に示したように、ビデオ品質評価モデルの入力は、パケットストリーム１４のパケットヘッダ情報と、エンコーダ構成情報１３とである。パケット情報分析１１の後、パケット喪失率ＰＬＲとバースト喪失頻度ＢＬＦなどの分析データは、マッピング１２に送られ、客観的ビデオ品質値１５になる。これは推定ビデオ品質評点（すなわち、平均オピニオン評点ＭＯＳ）である。エンコーダ構成情報１３は、仮定に、すなわちコーデックタイプ、グループ・オブ・ピクチャ構造、ビデオフォーマット（これらは転送パケットヘッダから得られる）、及び画素データなどのビデオ・コンテンツ・フィーチャに基づく。
【００１５】
上記の、既存のパケットレイヤＶＱＭモデルの問題に関して、本発明は、パケットレイヤＶＱＭモデルの正確性とロバストネスを改善でき、同時に低い計算の複雑性を維持できる。これはリアルタイムのビデオ品質モニタリングにとって有利である。
【００１６】
本発明を以下の実施形態に基づき例示して説明する。まず、各ビデオスライス、及び各グループ・オブ・ピクチャ（ＧＯＰ）または各シーングループもしくはスライスグループに対して、サイド情報シンタックスを定義する。「シーングループ」と「スライスグループ」との用語を以下に解釈する。第２に、図２に示したように、定義したサイド情報を、新規なパケットレイヤビデオ品質評価モデルの入力として用いる。結果として、定義されたサイド情報は、推定の正確性とロバストネスの観点でモデル性能の改善に寄与する。例えば、サイド情報を用いて、パケットレイヤＶＱＭにおけるＥＣ重み値とエラー伝搬（ＥＰ）重み値の設定をガイドする。これにより、上記の欠点が解消される。他方、サイド情報のオーバーヘッドはできるだけ小さくする。説明されるサイド情報を用いることにより、２・３レベルを伝送するだけでも、品質推定の正確性の重要な改善ができる。
【００１７】
上記の通り、入力に応じて、客観的ビデオ品質モデリングには大きく３つのカテゴリー、すなわちパケットレイヤモデル、ビットストリームレベルモデル、及びメディアレイヤモデルがある。メディアレイヤモデルは画素領域で機能する。パラメトリックパケットレイヤモデルは、パケットヘッダ情報、（帯域幅、パケット喪失率、遅延などの）ネットワークパラメータ、及びエンコーダ構成情報に基づく。ビットストリームレベルモデルは、半復号（half-decoded）ビデオビットストリーム情報とパケットヘッダ情報に基づくハイブリッドモデルである。例えばＩＴＵ標準ＩＴＵ−Ｔ  Ｒｅｃ．Ｊ．２４６に対して、リデュースト・リファレンス（reduced-reference）メディアレイヤモデルが提案されている。しかし、パケットレイヤモデルに対しては、まだリデュースト・リファレンスモデルは存在しない。
【００１８】
本発明のスキームでは、コード化ビットストリーム中の各スライスに対して設定されたサイド情報、または各グループに対して設定されたサイド情報も入力として用いられる。モデルの出力はＭＯＳの値である。
【００１９】
本発明の（１パケットにカプセル化された）各ビデオスライスに対するサイド情報シンタックスと、各ビデオパケットの優先レベルとの違いについて触れておく。後者は、輻輳したネットワークが、エンドユーザにできるだけよいビデオ品質を提供するため、パケットをより合理的に（more smartly）破棄できるように、符号化フレームタイプ（例えば、ＩＤＲ／Ｉ／Ｐ／Ｂフレーム）の違いに応じてパケットの重要性を差別化する従来の方法である。提案されたサイド情報のタイプはフレームタイプとは異なり、情報はデコーダのＥＣ効果、ビジュアルな重要性（すなわち、関心領域ＲＯＩ）、ビデオスライスのエラー伝搬（ＥＰ）減衰率を反映する。この情報は、パケットレイヤＶＱＭの性能を大幅に改善でき、生じる伝送オーバーヘッドが非常に小さいので、パケットレイヤモデルの軽量性も維持できる。
【００２０】
図２は、本発明を示す機能ブロック図である。パケット情報分析ブロック２１は、ＲＴＰ／ＵＤＰヘッダ情報２５を用いて、各フレームのパラメータセットを求める。例えば、Ｈ．２６４／ＡＶＣエンコーダの場合、フレーム（例えば、インデックスｉを有するフレーム）ごとのパラメータセット２８は、全スライス数Ｎｉ，ｔｏｔａｌ、喪失スライス数Ｎｉ，ｌｏｓｔ、及びビデオフレーム中の喪失スライスのインデックスを含む。「パケット」情報ではなく、「スライス」情報の統計を用いることが重要である。フレームは、エンコーダ構成に応じて、１つ又は複数のスライスにエンコードされる。例えば、フレーム中の１つのマクロブロック（ＭＢ）行がスライスであってもよい。スライスは、サイズがＭＴＵサイズより大きくならないように設定される。スライスは独立復号単位である。現実の世界のビデオ伝送では、基盤ネットワークのＭＴＵサイズに応じて、スライスのデータは１つ又は複数のＲＴＰパケットにカプセル化される。他方、（ＲＦＣ３９８４に詳細に説明されているように）フレームの複数のスライスをアセンブルして、１つのＲＴＰパケットにすることも可能である。スライスのパケットが喪失すると、そのスライスが正しく復号できず、失われたものとみなされる。また、パケット喪失が検出される場合もあり、これはフレームの複数のスライスの喪失に対応する。ＲＦＣ３９８４に基づきＮＡＬＵヘッダを分析することにより、フレームごとのスライスが正しく受信されたか調べることができる。最後に、異なるフレームを識別するため、ＲＴＰパケットヘッダ中のタイムスタンプを用いる。
【００２１】
可視アーティファクト検出ブロック２２において、説明したスライスごとのサイド情報セット２７と、計算されたフレームごとのパラメータセット２８と、エンコーダ構成情報２９とを用いて、各フレームに対して「可視アーティファクトレベル」（ＬｏＶＡ）を計算する。ｉ番目のフレームに対して、ＬｏＶＡは式（１）により推定される。
【００２２】
【数１】
2013527688.tif 000003
提案されたサイド情報のトリプレット（triplet）は、｛ＥＣ重みレベル、ＲＯＩ重みレベル、及びＥＰ減衰レベル｝である。以下に説明するように、これらを用いて、式（１）中の３つの重み計数の設定をガイドする。
【００２３】
平均ＬｏＶＡ（ＭＬｏＶＡ）計算ブロック２３において、所与の時間、例えばｔ秒のシーケンスに対して、平均ＬｏＶＡ（すなわち、アベレージＬｏＶＡ）を計算する。以前の研究（非特許文献３参照）で知られているように、可視アーティファクト間の平均時間の単純なメトリック（metric）は、MOSと０．９４の平均的相関を有する。それゆえ、ここでは、時間的プーリング法として、単純な平均法を用いる。すなわち、
【数２】
2013527688.tif 000004
ここで、Mはｔ秒中のフレームの総数であり、ｆｒはビデオシーケンスの１秒あたりのフレームレートである。
【００２４】
マッピングブロック２４において、ＭＬｏＶＡは、例えば、最小二乗曲線当てはめ法などの曲線当てはめ法にを用いてトレーニングされた関数により、客観的ＭＯＳ値にマッピングされる。
【００２５】
式（１）において、失われたスライスに、そのフレーム内でのロケーションに応じて、異なる重み
＜外１＞
2013527688.tif 000005
を割り当てる。重みはＲＯＩレベルのサイド情報を考慮して設定できる。スライスには２つのＲＯＩレベルがあり、「１」（スライスがＲＯＩを含む）または「０」（スライスがＲＯＩを含まない）のタグが付されている。それに応じて、視覚的な影響を差別化するために、スライスがＲＯＩを含んでいれば、重み
＜外２＞
2013527688.tif 000006
を大きい値に設定し、含んでいなければ小さい値に設定する。実験では、ROI_levelが「１」の時、例えば
＜外３＞
2013527688.tif 000007
を２倍にすると都合がよいことが分かっている。
【００２６】
式（１）において、
＜外４＞
2013527688.tif 000008
は、失われたスライスの違いによるＥＣ効果の違いを反映するＥＣ重みである。失われたスライスのＥＣ効果が、デコーダにおいて利用されるＥＣ法とエンコーダにおいて利用されるスライス化モードだけでなく、空間的複雑性尺度ＳＩｉ，ｊと時間的複雑性尺度ＴＩｉ，ｊなどのスライスのビデオコンテンツフィーチャにも依存する。値
＜外５＞
2013527688.tif 000009
はＥＣレベルのサイド情報を考慮して設定される。すなわち、この値は、スライスの違いによるＥＣ効果の違いと、利用されるＥＣ法を反映して、小さな又は大きな値に設定される。我々の実験では、中間予測スライスの場合、例えば、EC_levelが０、１および２の場合、それに対応して
＜外６＞
2013527688.tif 000010
をそれぞれ０．０１、０．３および０．６に設定する。中間コード化スライスの場合、EC_levelが０または１のとき、それに対応して
＜外７＞
2013527688.tif 000011
を０．０１または２に設定する。
【００２７】
式（１）において、
＜外８＞
2013527688.tif 000012
は、伝搬エラーの減衰の程度を反映する。これは、フレーム中のイントラ符号化されたＭＢの割合と、予測残差情報の両に関する。
【００２８】
＜外９＞
2013527688.tif 000013
の値は、フレーム中のスライスのEP_levelを考慮して設定できる。スライス中のＭＢ総数に対するイントラＭＢの割合（ＩＲＲｉ，ｊで示す）は、EP_level値から求められる。我々の実施形態では、
＜外１０＞
2013527688.tif 000014
である。すなわち、
＜外１１＞
2013527688.tif 000015
は、エラーを伝搬しないようにするイントラＭＢの役割を反映して設定できる。
【００２９】
式（１）において、
＜外１２＞
2013527688.tif 000016
は、基準フレームから伝搬する可視アーティファクトの量を示す。この値は、エンコーダ構成情報に、すなわち基準フレーム数に大きく依存する。実験では、基準フレーム数は２であり、予測（Ｐ−）及び双方向予測（Ｂ−）フレームタイプが使われる。
【００３０】
＜外１３＞
2013527688.tif 000017
は
【数３】
2013527688.tif 000018
として計算できる。ここで、Ｅ１，ｊとＥ２，ｊは、２つの先行基準スライスのアーティファクト値を記憶したものである。ａとｂは異なる基準フレームから伝搬されたエラーの重みであり、ａ＋ｂ＝１であり、ａ，ｂ∈（０，１）である。実験では、ａとｂは、Ｐ−プレーンに対してａ＝０．９，ｂ＝０．１と設定し、Ｂ−プレーンに対してａ＝ｂ＝０．５と設定した。
【００３１】
以下、サイド情報伝送のためのシンタックス例を説明する。
【００３２】
表１に示すように、サイド情報シンタックスのセットを、エンコーディングスライスレベルで定義する。フレームはＨ．２６４／ＡＶＣの１つ又は複数のスライスにエンコードされる。エンコーディングスライスは、フレームのその他のスライスとは独立の復号単位である。フレームがエンコードされ複数のスライスになったとき、１つのスライスは例えばＭＢの１行を含む。
【００３３】
本発明では、サイド情報セットは、各ビデオスライスに対して、｛EC_level，ＲＯＩレベル，ＥＰ減衰レベル｝を示す。提案のサイド情報セットは、例えば、フレームのスライスに可変数のＭＢが含まれている場合、さらにパラメータsize_in_MBを含む。これは、例えば、Ｈ．２６４／ＡＶＣエンコーダが「スライスごとのバイト数が固定されている」スライスモードに設定されているときに生じる。
【００３４】
【表１】
2013527688.tif 000019
表１：スライスレベルのパラメータ例
EC_levelは「エラー隠蔽レベル」の値である。このパラメータは、スライスの動き及び／又はテクスチャの複雑さと、用いるＥＣ法とを反映する。カレントスライスが喪失した時にＥＣ効果を測定する役に立つ。通常、レベルは（２ビットに対応する）２つ又は３つで十分である。ROI_levelは「関心領域レベル」の値である。カレントスライスのコンテンツが、例えば目と口などの知覚的な関心領域であるかを反映する。これは１ビットで符号化できる。
【００３５】
EP_attenuation_levelは「エラー伝搬減衰レベル」の値である。このパラメータは、カレントスライス又はカレントフレームへ伝搬したエラーの減衰速度を反映している。エンコーダ構成（例えば、H.２６４におけるイントラリフレッシュレート）とビデオコンテンツ自体（例えば、予測符号化後の残差情報量）に関係している。このパラメータは、エンコーディングスライスごと、又はフレームごとに計算できる。通常は（１６レベルに対応する）４ビットで十分である。
【００３６】
size_in_Bは、カレントスライス中のMBの数である。このパラメータは、可変数のMBがフレームのスライスに含まれる場合には有用である。そのサイズはフレームサイズに依存し、通常は８ビットで十分である。
【００３７】
予備帯域幅が限定されている場合、スライスレベルパラメータは選択的に送信される。実験によって、EC_levelが最も大幅な性能の改善に資することが分かった。第２の重要な情報はROI_levelであり、第３はEP_level情報である。最後はsize_in_MBである。これは可変数のMBがフレームの複数のスライスに含まれる場合にのみ有用である。一実施形態では、スライスレベルのEC_levelパラメータのみが使われる。さらに、以下に示すように、このパラメータは、（必ずしもその必要はないが、）例えば、スライスの予測タイプ（イントラ又はインター）や用いる隠蔽タイプなどの基準に従って、スライスに応じて、異なる式により計算してもよい。
【００３８】
概して、隠蔽方法には、画素補間基盤法と動き推定基盤法の２つのタイプまたはカテゴリーがある。この２タイプの可視アーティファクトは異なる。したがって、２つの隠蔽タイプのEC効果を区別すると都合がよい。利用される隠蔽タイプは、例えば、JVT  JMデコーダにおける予測タイプにも依存してもよい。
【００３９】
JVT  JM非リアルタイムデコーダを除き、広く使われているリアルタイムデコーダはｆｆｍｐｅｇデコーダである。現在のバージョンでは、ｆｆｍｐｅｇデコーダは、失われたスライスをＪＶＴデコーダより非常によく回復できることが分かった。一実施形態では、このデコーダは、スライス失われたフレームがintra-more-likelyか否か、最初に判断する。そのフレームがintra-more-likelyであれば、次に、画素補間基盤方法が用いられる。そうでなければ、動き推定基盤方法が用いられる。intra-more-likelyフレームを判断する基準として考えられるものは、以下の通りである：
（１）基準としての先行フレームが無い場合、カレントフレームがintra-more-likelyフレームである；
（２）フレームがＩフレームであれば、カレントフレームの正しく受信されたＭＢに基づき、カレントフレームと直前のフレームとの間の絶対差分を計算する。絶対差分が大きければ、フレームは先行フレームと異なる可能性が高いので、イントラ画素補間基盤方法を用いる可能性が高くなる。一実施例では、フレームに対して変数is_intra_likeを定義し、それを絶対差分の値だけ増加させる。そうでなければ、すなわち、絶対差分が小さい場合、先行フレーム中の垂直に隣接したＭＢ間の絶対差分を計算する。差分が大きければ、先行フレームはリッチなテクスチャ（rich texture）を有する可能性がより高い。このカレントフレームの特徴は、カレントフレームと先行フレームとで同様であると仮定できるので、カレントフレームはリッチなテクスチャを有する可能性がより高い。この場合、カレントフレームを画素補間基盤方法で隠蔽すべきではない。画素補間基盤方法は滑らかな領域に適しているからである。この場合、変数is_intra_likeを絶対差分の値だけ減少させる。この手順はフレームのすべてのＭＢに対して繰り返される。最後に、is_intra_likeがゼロより大きい場合、フレームはintra-more-likelyであると判断され、画素補間基盤方法が用いられる。そうでなければ、動き推定基盤方法が用いられる。
（３）フレームがインター予測されたもの（すなわち、Ｐフレーム又はＢフレーム）である場合、正しく受信されたカレントフレームのＭＢに基づき、変数is_intra_likeを計算する。ＭＢがイントラ符号化されたものである場合、is_intra_likeをインクリメントし、ＭＢがインター符号化されたものである場合、is_intra_likeをデクリメントする。最終的にis_intra_likeがゼロより大きければ、フレームはintra-more-likelyであり、画素補間基盤方法が用いられる。言い換えると、イントラ符号化ＭＢの数がインター符号化ＭＢの数よりも大きければ、そのフレームはintra-more-likelyであると判断され、画素補間基盤方法を用いる。そうでなければ、動き推定基盤方法が用いられる。
【００４０】
他の一実施形態では、スライスレベルのROI_levelパラメータのみが使われる。
【００４１】
また、エンコーディングＧＯＰ又はシーングループレベルにおいて、第２のサイド情報シンタックスのセットを定義できる。シーングループは、隣接する２つのシーン変化間のグループ・オブ・ピクチャである。エンコーディングＧＯＰ構造は、シーングループとアライメント（aligned）されてもされなくてもよい。一般的に、シーングループ中のビデオコンテンツは、隣接するシーングループのビデオコンテンツとは非常に異なる特徴を有するが、グループ内では似た特徴を有する。フレームが複数のスライスにエンコードされている場合、例えば、１スライスがＭＢの１行を含む場合、グループ中のフレームの同じロケーションにあるスライスを、以後、スライスグループと呼ぶ。
【００４２】
一実施形態では、サイド情報セットも、各エンコーディングＧＯＰ又はシーングループの｛時間的複雑性レベル、空間的複雑性レベル｝を含む。提案のサイド情報セットは、フレームに複数のスライスがある場合、例えば、スライスごとに１ＭＢ行の場合、追加的に、ＲＯＩレベルパラメータgroup_ROI_Levelを含んでも良い。group_ROI_levelは各スライスグループに対して計算される。
【００４３】
【表２】
2013527688.tif 000020
表２：ＧＯＰレベル又はシーングループレベルのパラメータセット
temporal_complexity_levelは、ＧＯＰ／シーングループ又はスライスグループのコンテンツの全体的な動きのレベルを反映する。通常は４レベルで十分である。
【００４４】
spatial_complexity_levelは、ＧＯＰ／シーングループ又はスライスグループのコンテンツの全体的なテクスチャの複雑性のレベルを反映する。通常は４レベルで十分である。
【００４５】
group_ROI_levelは、スライスグループの「ＲＯＩレベル」の値である。このパラメータは、フレーム中に複数のスライスがある場合、例えばスライスごとに１つのＭＢ行の場合のみに計算される。group_ROI_levelはＧＯＰ又はシーングループの各スライスグループに対して計算される。
【００４６】
上記のサイド情報パラメータの計算は以下に説明する。
【００４７】
EC_level計算
エンコーディングスライスに対して、異なるＥＣ法により「EC_level」を計算できる。例えば、Ｈ．２６４基準デコーダ（ＪＶＴデコーダ又はＪＶＴ  ＪＭモデルとも呼ばれる）では、インター予測したスライスとイントラ予測したスライスに対して、異なるＥＣ法を適用する。そのため、一実施形態では、２つのスライスタイプに対して、異なる計算方法を用いる。ＪＶＴデコーダでは、イントラ画素補間法を用いて、失われた「イントラ予測された」スライスのＭＢを隠蔽する；失われた「インター予測」スライスのＭＢには、時間領域動きベクトル推定基盤エラー隠蔽法を用いる。もう少し高度なデコーダでは、スライスタイプによってではなく、スライスのその他の特徴によって、２カテゴリーのＥＣ法が選択される。以下に例を挙げる。その他の、同様の計算方法を用いることもできる。
【００４８】
例えば、ＪＶＴデコーダにおいて、各インター予測スライスに対して、スライスを復号して、４×４サブブロックのＭＶを平均することにより、各ＭＢの平均動きベクトル（ＭＶ）を計算する。ＭＢがイントラ予測モードでエンコードされている場合、そのＭＶを最大動きサーチレンジのあたいｎい設定する。サブピクセルの精度ではなく、画素単位のＭＶを求める。これは、ＭＢのＭＶを求める方法としては複雑性が低い。代替的に、各ＭＢのＭＶは、既存の他の動きサーチ方法を用いて計算できる。第ｉ番目のＭＢをＭＶｉと記す。スライス中のＭＶｉを降順にソートすると：
＜外１４＞
2013527688.tif 000021
となる。ここで、Ｎはスライス中のＭＢの総数である。スライスの時間的複雑性は、
【数４】
2013527688.tif 000022
として、トップＭ個のＭＶを平均することにより計算する。
【００４９】
我々の実験では、Ｍ＝３またはＭ＝Ｎ／３である。スライスのEC_levelは
【数５】
2013527688.tif 000023
として計算する。
【００５０】
インター予測スライスのEC_level計算の論理的根拠は、ＥＣ効果は壊れたスライスの時間的複雑性により大きく異なるということである。静的なスライスの場合、感知できるアーティファクト無しで回復できる。しかし、動きが大きいスライスの場合、エラー隠蔽をするのは困難であり、通常は大きなエッジ歪みがあり、知覚的に非常に見にくくなる。
【００５１】
各イントラ予測スライスについて、それが失われ、隣接スライスが正しく受信されたものと仮定する。ＪＶＴデコーダにおいて使われる画素領域補間ＥＣ法を用いて、スライスコンテンツを再構成する。知覚的歪みは
【数６】
2013527688.tif 000024
【数７】
2013527688.tif 000025
として計算する。
【００５２】
ここで、
＜外１５＞
2013527688.tif 000026
＜外１６＞
2013527688.tif 000027
は（ｊ，ｋ）としてインデックスされたエラー隠蔽されたＭＢの輝度成分であり、Ｍはスライス中のＭＢの総数であり、ＮはＭＢ中の画素の総数であり、
＜外１７＞
2013527688.tif 000028
はＭＢの可視性閾値（「丁度可知差異」）である。これは既知の方法を用いて計算できる（非特許文献４参照）。可視閾値は空間的コントラスト感度と輝度アダプテーションなどの効果により影響される。
【００５３】
ある実験において、我々は、輝度マスキング効果のみを考慮し、経験的式（非特許文献４参照）を少し修正して計算した：
【数８】
2013527688.tif 000029
ここで、Ｌｊ，ｋは（ｊ，ｋ）としてインデックスされたＭＢの背景輝度である。これは、復号したＭＢの画素の輝度値を平均することにより計算する。パラメータｆ、ｇ、ｈはｆ＝２２、ｇ＝２０、ｈ＝１０とした。スライスのＥＣレベルは
【数９】
2013527688.tif 000030
として計算できる。ここで、Ｔｈｒｄは定数であり、ゼロに近い小さい値、例えば０．０５に設定される。
【００５４】
イントラ符号化スライスのＥＣレベル計算の理論的根拠は、画素補間法でエラー隠蔽されたスライスの品質劣化は、特定の状況（例えば、非常に暗い又は明るい領域、又は一様なテクスチャ、又はテクスチャがリッチな領域）では知覚されないことである。インター符号化スライスのＥＣレベルは同様に計算できる。しかし、上記の方法は計算的に効率的かつ効果的である。
【００５５】
ROI_level計算
パラメータROI_levelは２つの値を取れる。「０」はスライスがＲＯＩでないことを示し、「１」はスライスがＲＯＩであることを示す。ＲＯＩを画定する方法は既知である。例えば、スライスが目及び／又は口などのattention-sensitive関心領域を含む場合、スライスのROI_levelは「１」である。そうでなければ、スライスのROI_levelは「０」である。ここでは既存の任意の（顕著性マッピングとしても知られている）ＲＯＩセグメンテーション方法を用いることができる。他の一実施形態では、エンコーダが「前景と背景」のＦＭＯスライスモードを用いるように構成され、前景がＲＯＩであり背景がそうでない場合、前景スライスはROI_levelが「１」であり、背景スライスはROI_levelが「０」である。
【００５６】
EP_level計算
例示として、エラー伝搬減衰（ＥＰ）レベルを次のように計算する。イントラ符号化スライスの場合、各スライスのＥＰレベルは「０」に設定される。すべてのＭＢはイントラ符号化されており、先行フレームから伝搬したエラーは無いからである。インター符号化スライスの場合、それを復号してイントラ符号化ＭＢの数を求め、スライスの全ＭＢに対するイントラＭＢの割合を計算し、これをＩＲＲと記す。各スライスのＥＰレベルはＩＲＲの値に応じて設定される。例えば、ＩＲＲを表すのに４ビット使われる場合、
＜外１８＞
2013527688.tif 000031
の１６レベルがある。スライスのＩＲＲレベルは、そのＩＲＲ値対応するＩＲＲレベルに丸めることにより決定される。フレームのＥＰレベルは同様の方法で決定できる。以下、グループレベルの上記サイド情報パラメータの計算を説明する。
【００５７】
グループTemporal_Complexity_Level計算
ＧＯＰ又はシーングループ又はスライスグループ（以下、集合的にグループと呼ぶ）について、時間的複雑性レベルは、グループの「ゼロＭＶ」比、グループの「平均（average mean）ＭＶサイズ」、及び／又はグループ中の「動きの一様性」から計算される。各ＭＢのＭＶは、スライスレベルに関して上で説明したのと同じ方法で求める。平均ゼロＭＶ比は、Ｚで示すが、グループ中の全ＭＶに対するゼロＭＶの数の比として計算される：
【数１０】
2013527688.tif 000032
平均（average mean）ＭＶサイズは、Ｖで示すが、グループの１スライス／フレーム内の非ゼロＭＶの平均サイズの平均として計算される。閾値法を用いて、時間的複雑性を、例えば３つのレベル、すなわち静的（レベル０）、非常に大きな動き（レベル２）、その他／中くらい（レベル１）に分類する。
【００５８】
グループSpatial_Complexity_Level計算
ＧＯＰ又はシーングループの場合、空間的複雑性レベルは、最初に、グループの各フレーム／スライスにエッジ検出演算子（例えば、Ｓｏｂｅｌ演算子）を作用させることにより計算される。次に、エッジの強さを処理して、例えば、テクスチャが滑らかな領域（レベル０）又はテクスチャがリッチな領域（レベル２）などの、２ないし３レベルに分類する。さらに、第３のレベルはその他／中くらい（レベル１）であってもよい。
【００５９】
Group_ROI_level
Group_ROI_levelパラメータは、（上で定義した）スライスグループにのみ用いる。カレントスライスグループが目や口などのattention-sensitive領域を含む場合、ROI_levelは「１」であり、そうでなければ「０」である。
【００６０】
留意点として、上で説明した各パラメータは、別々に使っても、任意に組み合わせて使ってもよい。一般的にスライスレベルパラメータはグループ／ＧＯＰレベルパラメータより強い効果を有することが分かっているが、これは実施形態のアプリケーションに関連する状況に依存する。
【００６１】
説明した例によると、多くの有利な実施形態を作ることができる。以下の実施形態は組み合わせてもよい。特に、方法関係の実施形態は装置関係の実施形態にも展開できる。
【００６２】
図３は、ビデオ品質評価を可能にする方法３０を示すフローチャートである。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。この方法は、ビデオデータのフレームのストリームに関連する一連のパケット３４を受け取るステップ３１と、前記一連のパケットから一組のパラメータを生成するステップ３２と、前記生成した一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップ３３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、生成された一組のパラメータは前記ビデオのスライスレベルを個別に参照する（すなわち、他のスライスを参照するのではない）少なくとも１つのパラメータを有する。前記一組のパラメータは、ビデオデータのフレームのストリームの推定平均オピニオン評点（ＭＯＳ）を生成するのに適している。
【００６３】
図４は、ビデオ品質を評価する方法４０を示すフローチャートである。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。このビデオデータのフレームのストリームの品質を評価する方法は、ビデオデータのフレームのストリームに関連する一連のパケット４４を受け取るステップ４１と、前記一連のパケットから一組のパラメータを抽出するステップ４２と、前記一組のパラメータに基づき推定平均オピニオン評点４５を生成するステップ４３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータは前記ビデオのスライスレベルを個別に参照する（すなわち、他のスライスを参照するのではない）少なくとも１つのパラメータを有する。
【００６４】
すべての実施形態において、フレームが２つ以上のスライス（スライスレベルとして示す）を有する場合、前記一組のパラメータはビデオのあるスライス又はスライスレベルを個別に参照する（他のスライス／スライスレベルを参照するのではない）少なくとも１つのパラメータを有する。
【００６５】
一実施形態では、前記一組のパラメータは、さらに、ビデオのＧＯＰレベルまたはシーングループを個別に参照する少なくとも１つのパラメータを有する。
【００６６】
一実施形態では、第１のパラメータ（EC_level）は、スライスのエラー隠蔽レベルを示す。一実施形態では、第１のパラメータはスライスの動き及び／又はテクスチャの複雑性を反映し、パラメータが生成される場合には、第１のパラメータを生成するステップは、スライスがイントラ予測されたものである場合、第１のパラメータを生成する第１の計算方法３７ａ（図３参照）を用い、スライスがインター予測されたものである場合、第１のパラメータを生成する（第１の計算方法とは異なる）第２の計算方法３７ｂを用いる。さらに、ＥＣタイプを選択するために、区別又は選択するステップ３６が実行される。例えば、ＪＶＴ  ＪＭデコーダのためにインター予測されたスライスからイントラ予測されたスライスを区別するステップが実行される。もっと高度なデコーダでは、スライスタイプによってではなく、スライスのその他の特徴によって、２カテゴリーのＥＣ法が選択される（３６）。EC_levelの計算は、失われたスライスのコンテンツにより生じるＥＣ効果と、失われたスライスを隠蔽するのに適用された異なるＥＣ法とを区別することを目的としている。上記の通り、第１の実施形態では、スライスがインターＭＢより多くのイントラＭＢを有する場合は第１の計算方法３７ａを用い、そうでなければ第２の計算方法３７ｂを用いる。
【００６７】
一実施形態では、第２のパラメータ（ROI_level）はスライスが関心領域（ＲＯＩ）を含むか示す。
【００６８】
一実施形態では、第３のパラメータ（EP_attenuation_level）は、スライスのエラー伝搬減衰レベルを示す。パラメータを生成する一実施形態では、前記生成された一組のパラメータのうちの前記第３のパラメータを生成するステップは、インター符号化されたスライスの場合、前記スライス中のイントラ符号化されたマクロブロックとマクロブロックの総数との比を計算するステップを有し、イントラ符号化されたスライスの場合、前記第３のパラメータはゼロに設定される。
【００６９】
一実施形態では、第４のパラメータ（size_in_MBs）は、スライス中のマクロブロック数を示す。
【００７０】
一実施形態では、第５のパラメータ（temporal_complexity_level）は、ＧＯＰまたはシーングループの時間的複雑性レベルを示す。図３に示した一実施形態では、パラメータを生成する場合、生成された一組のパラメータのうちの第５のパラメータを生成するステップは、ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定するサブステップ３８ａと、ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類するサブステップ３８ｂであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有するサブステップ３８ｂと、前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成するサブステップ３８ｃとを有する。
【００７１】
一実施形態において、第６のパラメータ（spatial_complexity_level）がＧＯＰまたはシーングループの空間的複雑性を示し、前記ＧＯＰまたはシーングループの各スライスまたはフレームにおいてエッジ検出が使われ、エッジ量に応じて前記ＧＯＰまたはシーングループが少なくとも２つの空間的複雑性レベルのうちの１つに分類され、前記レベルは滑らかなテクスチャとリッチなテクスチャとに対応する。
【００７２】
一実施形態において、第７のパラメータ（group_ROI_level）がＧＯＰまたはシーングループにおけるスライスグループのグループＲＯＩレベルを示し、前記ＧＯＰまたはシーングループ中の対応するスライスが関心領域（ＲＯＩ）を含むか否かを示す。
【００７３】
一実施形態において、図５に示すように、ビデオデータのフレームのストリームの品質評価を可能にする装置５０であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、上記装置５０は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段５１と、前記一連のパケットから一組のパラメータを生成する計算手段５２であって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適である計算手段５２と、前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入する手段５３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、生成された一組のパラメータはビデオのスライスレベルを参照する少なくとも１つのパラメータを有する。受け取る手段５１は入力段、レシーバ、コネクタなどである。計算手段５２は（マイクロ）プロセッサ、ソフトウェア実行ユニット、計算ユニットなどである。挿入する手段５３はマルチプレクサ、アービタなどである。
【００７４】
図５は一実施形態を示し、該実施形態はさらに、インター符号化されたスライスとイントラ符号化されたスライスとを区別するユニット５６と、前記スライスがイントラ予測されたものであるとき、前記第１のパラメータの生成をする第１の計算ユニット５７ａと、前記スライスがインター予測されたものであるとき、前記第１のパラメータの生成をする第２の計算ユニット５７ｂとを有する。
【００７５】
さらに、図５に示した実施形態は、生成される一組のパラメータのうちの第５のパラメータを生成するために、ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定する第１の決定手段５８ａと、ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類する手段５８ｂであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有する、分類する手段５８ｂと、前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成する手段５８ｃとを有する。
【００７６】
一実施形態において、図６に示すように、ビデオデータのフレームのストリームの品質を評価する装置６０を開示する。ビデオデータ４４は、パケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。ビデオデータのフレームのストリームの品質を評価する装置６０は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段６１と、前記一連のパケットから一組のパラメータを抽出する手段６２と、前記一組のパラメータに基づき推定平均オピニオン評点を生成する計算手段６３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータはビデオのスライスレベルを参照する少なくとも１つのパラメータを有する。
【００７７】
一実施形態において、装置のコンピュータに、請求項１ないし１３いずれか一項に記載の方法を実行させる、ビデオ品質推定装置のためのコンピュータ実行可能プログラムが提供される。一実施形態は、コンピュータ読み取り可能記録媒体に、前記コンピュータ実行可能プログラムが記録されている。
【００７８】
本発明は、パケット化されたビデオ信号の送信前または受信後に、パケットレイヤＶＱＭモデルで用いられ得る。サイド情報（すなわち、挿入されたパラメータ）のその他の使用は、ネットワークの輻輳時に、ルータなどのネットワーク要素が、エンドユーザの知覚するビデオ品質を最適化しつつ、これらのパラメータを用いて、エンドユーザ品質を推定し、どのパケットを破棄するか判断できる。
【００７９】
本発明の基本的かつ新規な特徴を好ましい実施形態に適用して図示し、説明し、指摘したが、言うまでもなく、本発明の精神から離れることなく、当業者は、説明した装置と方法における、開示した装置の形体や詳細事項、及びその動作の様々な省略、代替、変更を行うことができる。同じ結果を達成する実質的に同じ方法で実質的に同じ機能を実行するこれらの要素のすべての組み合わせは、本発明の範囲内にある。説明した一実施形態から他の実施形態への要素の置き換えも、完全に想定の範囲内である。
【００８０】
いうまでもなく、本発明を例示によって説明した。本発明の範囲から逸脱することなく細かい点で修正を加えることは可能である。
【００８１】
明細書、特許請求の範囲、及び図面に開示した各特徴は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで本発明の特徴を実現することができる。特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。
【図１】
2013527688.tif 000033
【図２】
2013527688.tif 000034
【図３】
2013527688.tif 000035
【図４】
2013527688.tif 000036
【図５】
2013527688.tif 000037
【図６】
2013527688.tif 000038
【手続補正書】
【提出日】平成24年10月31日(2012.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータのフレームのストリームの品質評価を可能にする方法であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、前記方法は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、
前記一連のパケットから一組のパラメータを生成するステップであって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適であるステップと、
前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップとを有し、
前記ビデオデータは少なくとも１つのスライスレベルを有し、前記生成された一組のパラメータは前記ビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方である、方法。
【請求項２】
ビデオデータのフレームのストリームの品質を評価する方法であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、前記方法は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、
前記一連のパケットから一組のパラメータを抽出するステップと、
前記一組のパラメータに基づき推定平均オピニオン評点を生成するステップとを有し、
前記ビデオデータはスライスレベルを有し、前記抽出される一組のパラメータは前記ビデオデータを前記パケットネットワークを介して送信する前に生成され、前記一連のパケットに挿入され、前記ビデオのスライスレベルを個別的に参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方である、方法。
【請求項３】
前記一組のパラメータは、さらに、ビデオのＧＯＰレベルまたはシーングループの画像コンテンツを個別に参照する少なくとも１つのパラメータを有する、
請求項１または２に記載の方法。
【請求項４】
第１のパラメータはスライスのエラー隠蔽レベルを示す、
請求項１ないし３いずれか一項に記載の方法。
【請求項５】
前記第１のパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性を反映し、
請求項４が少なくとも請求項１を参照する場合、前記生成された一組のパラメータのうちの第１のパラメータを生成するステップは、
前記スライスがイントラ予測されたものか、インター予測されたものか判断するステップと、
前記スライスがイントラ予測されたものであるとき、前記第１のパラメータの生成に第１の計算方法を用いるステップと、
前記スライスがインター予測されたものであるとき、前記第１のパラメータの生成に異なる第２の計算方法を用いるステップと、を有する、
請求項４に記載の方法。
【請求項６】
第２のパラメータであるパラメータはスライスが関心領域を含むか示す、
請求項１ないし５いずれか一項に記載の方法。
【請求項７】
第３のパラメータはスライスのエラー伝搬減衰レベルを示す、
請求項１ないし６いずれか一項に記載の方法。
【請求項８】
少なくとも請求項１を参照するとき、前記生成された一組パラメータのうちの前記第３のパラメータを生成するステップは、インター符号化されたスライスの場合、前記スライス中のイントラ符号化されたマクロブロックとマクロブロックの総数との比を計算するステップを有し、イントラ符号化されたスライスの場合、前記第３のパラメータはゼロに設定される、
請求項７に記載の方法。
【請求項９】
第４のパラメータはスライス中のマクロブロック数を示す、
請求項１ないし８いずれか一項に記載の方法。
【請求項１０】
第５のパラメータはＧＯＰまたはシーングループの時間的複雑性レベルを示す、
請求項３ないし５いずれか一項に記載の方法。
【請求項１１】
請求項３ないし９いずれか一項が少なくとも請求項１を参照するとき、前記生成された一組のパラメータのうちの前記第５のパラメータを生成するステップは、
前記ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定するステップと、
前記ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類するステップであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有するステップと、
前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成するステップとを有する、
請求項１０に記載の方法。
【請求項１２】
第６のパラメータがＧＯＰまたはシーングループの空間的複雑性を示し、前記ＧＯＰまたはシーングループの各スライスまたはフレームにおいてエッジ検出が使われ、エッジ量に応じて前記ＧＯＰまたはシーングループが少なくとも２つの空間的複雑性レベルのうちの１つに分類され、前記レベルは滑らかなテクスチャとリッチなテクスチャとに対応する、
請求項３ないし１１いずれか一項に記載の方法。
【請求項１３】
第７のパラメータがＧＯＰまたはシーングループにおけるスライスグループのグループＲＯＩレベルを示し、前記ＧＯＰまたはシーングループ中の対応するスライスが関心領域（ＲＯＩ）を含むか否かを示す、
請求項３ないし１２いずれか一項に記載の方法。
【請求項１４】
ビデオデータのフレームのストリームの品質評価を可能にする装置であって、前記ビデオデータはパケットネットワークを介して伝送され、前記ビデオデータの各フレームは可変数のパケットにより表され、上記装置は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段と、
前記一連のパケットから一組のパラメータを生成する計算手段５２であって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適である計算手段と、
前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入する手段とを有し、
前記ビデオデータは少なくとも１つのスライスレベルを有し、前記生成された一組のパラメータは前記ビデオのスライスレベルを参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方である、装置。
【請求項１５】
ビデオデータのフレームのストリームの品質を評価する装置であって、前記ビデオデータはパケットネットワークを介して伝送され、前記ビデオデータの各フレームは可変数のパケットにより表され、上記装置は、
前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段と、
前記一連のパケットから一組のパラメータを抽出する手段と、
前記一組のパラメータに基づき推定平均オピニオン評点を生成する計算手段とを有し、
前記ビデオデータはスライスレベルを有し、前記抽出される一組のパラメータは前記ビデオデータを前記パケットネットワークを介して送信する前に生成され、前記一連のパケットに挿入され、前記ビデオのスライスレベルを個別的に参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方である、装置。
【国際調査報告】
2013527688.tif 000039
2013527688.tif 000040
2013527688.tif 000041