(57)【特許請求の範囲】
【請求項１】
映像信号の符号化または圧縮の間の、前記映像信号の品質を評価するための、装置が行う方法であって、
a)1つまたは複数のパラメータを使用して、前記符号化または圧縮された映像信号の前記品質、Qcod、を推定するステップと、
b)前記推定された映像信号品質を調整するために、少なくとも1つの追加的なパラメータとして、ピクチャグループ、GOP、の長さに関係するパラメータとして、前記映像信号のキーフレームレート、kfr、を、以下の式に従って、使用するステップであって、
Qcod=(a1*kfr+a2)*exp(b*br)+c
a1、a2、b、cが係数であり、
brが前記映像信号のビットレートであるステップと
を含むことを特徴とする装置が行う方法。
【請求項２】
ステップa)で使用される前記1つまたは複数のパラメータが、ビットレート、フレームレート、映像解像度、コーデックタイプ、コンテンツタイプを含む集合から選択される、請求項1に記載の装置が行う方法。
【請求項３】
ステップa)で使用される前記パラメータの値が、前記映像信号のビットストリームから抽出されるパケットヘッダ情報から計算される、および/または、副次的な情報から導出される、請求項1または2に記載の装置が行う方法。
【請求項４】
ステップb)で使用されるさらなる追加的なパラメータが、Iフレーム内のビットの数、ピクチャグループ内のビットの数を含む集合から選択される、請求項1から3のいずれかに記載の装置が行う方法。
【請求項５】
係数a1およびa2が、目標値として知覚試験の評定を用いて最小二乗誤差曲線フィッティング処理を適用することにより取得される、請求項1から4のいずれかに記載の装置が行う方法。
【請求項６】
前記係数a1およびa2が、ビットストリームまたはパケットヘッダから抽出される追加的な情報に依存する、請求項1から4のいずれかに記載の装置が行う方法。
【請求項７】
前記係数a1およびa2が、Iフレーム内のビットの数I、およびピクチャグループ内のビットの数Gを使用して、以下の式、
a1=I/G*a1’
a2=I/G*a2’
によって、前記推定された映像信号品質が以下の式に従うように、算出され、
【数１】
0005882320.tif 000003
a1’およびa2’は、所与のエンコーダ設定を表し、a1’およびa2’は、目標値として知覚試験の評定を用いて最小二乗誤差曲線フィッティング処理を適用することにより取得される、請求項6に記載の装置が行う方法。
【請求項８】
fr=n/tが映像シーケンスの前記フレームレートであり、nが時間窓tでのフレームの数である、請求項2から7のいずれかに記載の装置が行う方法。
【請求項９】
kfr=fr/dが映像シーケンスの前記キーフレームレートであり、dが前記映像シーケンスの2つのIフレーム間のフレームの数である、請求項4から8のいずれかに記載の装置が行う方法。
【請求項１０】
前記映像信号が、非インタラクティブストリーミング映像またはインタラクティブストリーミング映像である、請求項1から9のいずれかに記載の装置が行う方法。
【請求項１１】
前記方法が、前記映像信号の符号化および圧縮以外の劣化の前記品質の影響を推定するための他の方法と組み合わされ、
a)前記映像信号の伝送の間のパケット損失による前記品質を推定するステップ、
b)前記映像信号のベース品質を推定するステップ、
c)a)およびb)の組み合わせのステップ
を含む、請求項1から10のいずれかに記載の装置が行う方法。
【請求項１２】
前記組み合わせが、
a)前記方法の線形関数、または、
b)前記方法の乗法的関数
である、請求項11に記載の装置が行う方法。
【請求項１３】
映像信号の符号化または圧縮の間の、前記映像信号の品質を評価するための装置であって、
1つまたは複数のパラメータを使用して、前記符号化または圧縮された映像信号の前記品質、Qcod、を推定する推定器と、
前記推定された映像信号品質を調整するために、少なくとも1つの追加的なパラメータとして、ピクチャグループ、GOP、の長さに関係するパラメータとして、前記映像信号のキーフレームレート、kfr、を、以下の式に従って、使用する調整器であって、
Qcod=(a1*kfr+a2)*exp(b*br)+c
a1、a2、b、cが係数であり、
brが前記映像信号のビットレートである調整器と
を備えることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の符号化または圧縮の間の、映像信号の品質を評価するための方法および装置に関する。映像信号は、非インタラクティブストリーミング映像またはインタラクティブストリーミング映像であり得る。
【背景技術】
【０００２】
数多くのTV配信サービスの中で、IPTV(インターネットプロトコルTV)は、ますます重要になりつつあり、アナログまたは非パケットベースの伝送方法をますます置換しつつある。コンテンツプロバイダおよび顧客の両方に対するブロードキャストプロバイダの主要な責務は、そのサービスの品質を維持することである。大きなIPTVネットワークでは、完全に自動化された品質監視プローブのみが、この要件を充足し得る。
【０００３】
非インタラクティブストリーミング映像(IPTV、VoD)または固定的な映像(DVD)などの映像サービスのユーザの高度の満足度を実現するために、それらのサービスの知覚される映像品質が推定される必要がある。
【０００４】
この目的で、ユーザにより知覚されるような映像品質の推定物を提供する映像品質モデルが開発されている。それらのモデルは、例えば、ユーザ側で受信される映像と元の悪化されていない映像との間の類似の程度を出力することができる。加えて、およびより精巧には、人間視覚システム(HVS)がモデル化され得る。最後に、モデルは、広範囲の主観品質試験の結果をマッピングすることができる。
【０００５】
映像品質モデル、したがって測定システムは、一般に以下のように分類される。
品質モデルタイプ
・フルリファレンス(FR):参照信号が必要とされる。
・低減リファレンス(Reduced-Reference)(RR):ソース信号から抽出される部分的な情報が必要とされる。
・ノーリファレンス(NR):参照信号は必要とされない。
入力パラメータタイプ
・信号/媒体ベース:復号化された画像(画素情報)が必要とされる。
・パラメータベース:ビットストリームレベルの情報が必要とされる。情報は、パケットヘッダのパーシングを必要とするが、ビットストリームの(完全または部分的な)復号化は必要としないパケットヘッダ情報から、ビットストリームの完全な復号化まで及ぶ場合がある。
用途のタイプ
・ネットワーク計画立案:モデルまたは測定システムは、最良の可能な実装を計画立案するために、計画立案の実装の前に使用される。
・サービス監視:モデルはサービス運用の間使用される。
【０００６】
映像品質モデルのタイプの関係する情報は、参考文献[1]、[2]、または[3]に見出され得る。
【０００７】
MPEGベースの映像サービスの背景では、映像の知覚される品質に影響力があるパラメータの1つは、GOP構造(GOP=ピクチャグループ)であり、これは、GOPの長さ、すなわち、復号化されるために前の、またはさらなるフレームを必要としないフレーム、いわゆる「キーフレーム」または「Iフレーム」の間の距離を含む。1つのピクチャグループは、1つのIフレーム、および、映像シーケンスの次のIフレームまでのすべてのフレームを網羅する。
【０００８】
GOP構造、したがってGOPの長さは、一般に、符号化効率とエラー伝播との間のトレードオフとして選定される(例えば、参考文献[4]、[5]、[6]を参照)。これらの参考文献で、著者は、MPEGに対して最も適切なGOP構造を選択するための指針を提供する。
【０００９】
一部のモデルは、参考文献[2]、[7]、[8]、[9]、または[10]でのように、GOPに関係するパラメータを、ただしパケット損失の条件でのみ、入力パラメータとして受け取る。しかしながら、それらは、固定のGOPの長さのみを考慮し、パケット損失が発生するフレームの、次のキーフレームまでの時間的な距離に基づいて、品質への影響を検査する。符号化へのGOPの長さの品質の影響は、考慮されない。
【００１０】
品質推定方法は、通常、映像信号の符号化に関係する品質(圧縮、Qcod)、および伝送の間のパケット損失による品質(Qtrans)の鑑別された推定をサポートする。品質推定方法は、通常、圧縮の品質および伝送品質に関する推定を組み合わせるために、2つの手法の1つを使用する。式(1)および(2)は、2つの異なる手法を例示する。
Q=Q0-Qcod-Qtrans、Q0、Qx 0…100 (1)
Q=Q0*Qcod*Qtrans、Q0、Qx 0…1 (2)
ただし、Q0は、ベース品質またはベース品質の関数を表す。
【発明の概要】
【課題を解決するための手段】
【００１１】
第1の態様によれば、本発明は、映像信号の符号化または圧縮の間の、映像信号の品質を評価するための方法であって、
a)1つまたは複数のパラメータを使用して、符号化または圧縮された映像信号の品質を推定するステップ、ならびに、
b)推定された映像信号品質を調整するために、追加的なパラメータとして、ピクチャグループ、GOP、の長さ、および/または、GOPの長さに関係するパラメータを使用するステップ
を含む方法を提供する。
【００１２】
このように、本発明の方法は、圧縮効率を特徴付ける項Qcodの品質推定を重点的に取り扱う。本発明の方法は、映像ストリームでのパケット損失の品質推定のための異なる方法と組み合わされ得る。
【００１３】
本発明の方法は、軽量のパラメータを用いるパラメータベースの映像品質モデルであり、したがって、ネットワーク計画立案およびサービス監視の両方に適した映像品質モデルを提供する。ネットワーク計画立案の場合では、パラメータの値は、前に開発された類似のネットワークの知識に基づいて、ネットワーク計画立案者により推測される。サービス監視の場合では、モデルは、ビットストリームから抽出されるパラメータを入力として受け取る。原則として、本発明の方法が組み込まれる測定システムは、ネットワーク内の異なる場所に配置され得る。しかしながら、パケット損失を考慮する場合、プローブがユーザのデバイスに近いほど、予測される品質は、ユーザ側での実際の品質をより表す。サービス監視の場合では、パラメータは、ペイロードに対するアクセスを必要とせず、したがって、ビットストリームの部分的な復号化、または完全な復号化のいずれも必要としない。パケットヘッダの軽いパーシングは、モデル、すなわち方法に送出されるべきパラメータにアクセスするのに十分である。暗号化されないデータを用いる際に、より深いパーシングが許されるならば、パラメータは、部分的または完全な復号化によりビットストリームから抽出される追加的なパラメータとともに使用される場合もあることに留意されたい。
【００１４】
本発明の方法は、符号化処理のパラメータを詳細に考慮する。知られているパラメトリックな品質推定方法は、圧縮された映像ストリームの品質を推定するために、ビットレート、フレームレート、映像解像度、コーデックタイプおよびコンテンツタイプを使用する。本発明は、推定された映像品質を調整するために、追加的なパラメータとして、GOPの長さ、または、GOPの長さに関係するパラメータを使用することにより、これらの従来の方法より優れている。このパラメータは、1フレームあたりのビットの数に、したがって知覚される映像品質に直接影響を及ぼす。その結果、本発明は、上記のパラメータに加えて、モデルの入力としてこのパラメータを考慮する。本発明の方法を用いて、関係する知覚される品質のはるかに精密な推定が実現され得る。
【００１５】
やはり、本発明の方法は、映像解像度、コーデックタイプ、コンテンツタイプ、ビットレート、フレームレートおよびキーフレームレートなどのパラメータを入力として受け取り、それらのパラメータに基づいて、推定された映像品質(Qcod)を出力する。これは、式(3)でのように記述され得る。
Qcod=f(br,fr,cod,cont,res,kfr,I,G) (3)
ただし、
br…ビットレート、1秒あたりのビットの数
fr…フレームレート、1秒あたりの映像フレームの数
cod…用いられるコーデック(例えばH.264メインプロファイル)
cont…コンテンツタイプ(例えばTVニュース、スポーツ、映画等)
res…映像解像度(例えば高精細度、1920×1080画素プログレッシブ)
kfr…キーフレームレート、1秒あたりのキーフレームの数
I…Iフレーム内のビットの数
G…GOP内のビットの数
【００１６】
パラメータの一部に関しては、それらの値は、関数と関わって直接ではなく、関数の適切な係数値を選択するためのスイッチとして使用され得ることに留意されたい。
【００１７】
例えば、フレームレートが一定とみなされるIPTVに対する、式(1)でのQcodに対する可能なモデルは、式(4)で示される。
Qcod=a*exp(b*br)+c (4)
【００１８】
式(4)では、a、bおよびcの係数の値は、用いられる映像コーデックに、映像解像度に、およびコンテンツタイプに依存する。それらの係数は、好ましくは、目標値として知覚試験の評定を用いて最小二乗誤差曲線フィッティング処理で取得される。
【００１９】
本発明にしたがって、および知覚試験の評定をさらに使用して、キーフレームレートが、追加的なパラメータとして式(4)と関わって使用され、式(5)をもたらす。
Qcod=(a1*kfr+a2)*exp(b*br)+c (5)
【００２０】
係数a1、a2およびbは、目標値として知覚試験の評定を用いて最小二乗誤差曲線フィッティング処理で取得され得る。a1およびa2は、所与のエンコーダ設定およびコンテンツタイプに依存する。
【００２１】
キーフレームレートは、GOPの長さに対するフレームレートの比を計算することにより取得され得る(図2を参照)。
【００２２】
本発明の代替実施形態では、係数a1およびa2は、ビットストリームまたはパケットヘッダから抽出される追加的な情報に明示的に依存し得る。例えば、a1=I/G*a1'およびa2=I/G*a2'であり、ただしa1'およびa2'は、所与のエンコーダ設定を表すが、I/Gを使用して直接測定され得る変動性の部分を排除する、曲線フィッティングのパラメータである。したがって、GOPの長さ、および、GOPの長さに関係するパラメータの影響は、GOP内のビットの数により正規化されたビット単位のキーフレームサイズにより変調される。この代替実施形態にしたがって、式(6)を取得する。
【００２３】
【数１】
0005882320.tif 000002
【００２４】
実際、キーフレームレートの影響力は、情報ビットがGOPにわたってどのように散布されているかにも依存する。情報ビットがGOPのフレームにわたって均等に散布され、パケット損失のない考慮された場合であるならば、キーフレームレートは品質への影響力はない。すべての情報ビットがGOPのIフレームにあるならば、キーフレームレートの影響力は最大である。GOPにわたるビット分布のこの影響は、比I/Gにより捕捉され、ただし、GはGOP内のビットの数であり、IはIフレーム内のビットの数である。
【００２５】
上記で解説されたように、本発明によれば、方法のステップa)で使用される1つまたは複数のパラメータは、ビットレート、フレームレート、映像解像度、コーデックタイプ、コンテンツタイプを含む集合から選択されることが好ましい。
【００２６】
ステップa)で使用されるパラメータの値は、映像信号のビットストリームから抽出されるパケットヘッダ情報から計算され得る、および/または、副次的な情報から導出され得る。
【００２７】
他の態様、特徴、および利点は、上記の要約から、ならびに、図面および特許請求の範囲を含めて、以下の説明から明らかとなろう。
【図面の簡単な説明】
【００２８】
【図１】圧縮に関係する品質の推定の全体的な枠組のブロック図である。
【図２】キーフレームレートの計算の詳細図である。
【発明を実施するための形態】
【００２９】
図1は、ネットワーク計画立案の場合での、またはサービス監視の場合でのいずれかで、圧縮の悪化のみ(Qcod)の場合での、知覚される映像品質を推定するための全体的な枠組を示す。
【００３０】
ネットワーク計画立案(ブロック100a)の場合では、映像品質モデル(ブロック300)に送出されるべきパラメータ(ブロック200)の値は、ネットワーク計画立案者により推定される。サービス監視(ブロック100b)の場合では、映像品質モデルに送出されるべきパラメータは、ビットストリームから抽出されるパケットヘッダ情報から計算される。
【００３１】
図2は、キーフレームレートの計算の詳細図を示す。図2に示されるように、1つのGOPは、1つのIフレーム、および、次のIフレームまでのすべてのフレームを網羅する。nがt秒以上の時間窓でのフレームの数であるならば、fr=n/tが映像シーケンスのフレームレートである。dが2つのIフレーム間のフレームの数であるならば、kfr=fr/dが映像シーケンスのキーフレームレートである。
【００３２】
本発明は、図面および前述の説明において詳細に例示かつ説明されたが、そのような例示および説明は、例示的または一例としてのものであり、限定的ではないとみなされるべきである。変更および修正が、以下の特許請求の範囲の範囲内で、当業者により行われ得ることが理解されよう。具体的には、本発明は、上記および下記で説明される異なる実施形態からの特徴の任意の組み合わせを用いた、さらなる実施形態を網羅する。
【００３３】
さらに、特許請求の範囲では、単語「備える、含む」は、他の要素またはステップを排除せず、不定冠詞「a」または「an」は、複数を排除しない。単一のユニットが、特許請求の範囲に記載されるいくつかの特徴の機能を充足する場合がある。具体的には属性または値に関連する用語「本質的に」、「約」、「近似的に」などが、それぞれ、属性を正確に、または値を正確に、さらに定義する。特許請求の範囲でのいかなる参照符号も、範囲を限定すると解釈されるべきではない。
(参考文献)
[1] A. Takahashi, D. Hands, and V. Baniac, “Standardization Activities in the ITU for a QoE Assessment of IPTV,” in IEEE Communication Magazine, 2008.
[2] S. Winkler and P. Mohandas, “The Evolution ofVideo Quality Measurement: From PSNR to Hybrid Metrics,” in IEEE Trans. Broadcasting, 2008.
[3] A. Raake, M.N. Garcia, S. Moeller, J. Berger, F. Kling, P. List, J. Johami, and C. Heidemann, “T-V-MODEL: Parameter-based prediction of IPTV quality,” in Proc. of ICASSP, 2008.
[4] Huahui Wu, Mark Claypool, and Robert Kinicki, GUIDELINES FOR SELECTING PRACTICAL MPEG GROUP OF PICTURES”, In Proceedings of IASTED International Conference on Internet and Multimedia Systems and Applications (EuroIMSA), II1I1SbI'LlCI(, Austria, February 2006 http://web.cs.wpi.edu/~claypool/papers/practical-gop/vGOP.pdf
[5] Arpad Huszak and Sandor Imre, “ANALYSIS GOP STRUCTURE AND PACKET LOSS EFFECTS ON ERROR PROPAGATION IN MPEG-4 VIDEO STREAMS”, in Proceedings of the 4th International Symposium on Communications, Control and Signal Processing 2010 (ISCCP 2010), Limassol, Cyprus, 3-5 March 2010
[6] Tektronix, “An Analysis of MPEG Encoding Techniques on Picture Quality, June 1998.
[7] A. R. Reibman and D. Poole. Characterizing packet loss impairments in compressed video. IEEE ICIP, Sept 2007.
[8] A. R. Reibman et al. Predicting packet-loss visibility using scene characteristics. Packet Video, pages 308-317, Sept 2007.
[9] JP002006033722AA, NTT, “Image quality control method and image quality control system”
[10] http://wwwtelcliemy.com/appnotes/Understanding%20IP%20Video%200uality%20Metrics.pdf
【符号の説明】
【００３４】
100a、100b、200、300  ブロック
【図１】
0005882320.tif 000004
【図２】
0005882320.tif 000005