(57)【要約】【課題】映像の主観品質評価実験を実施する際に、主観品質評価実験で利用予定の評価映像の品質範囲を推定し、推定された品質範囲と、評価実験の目的と、評価者数とに基づいて最適な主観品質評価法を選定する。【解決手段】主観品質評価実験の主観品質評価法を選定する主観品質評価法選定装置は、主観品質評価実験で利用予定の評価映像の品質範囲を推定する品質範囲推定部と、前記推定された品質範囲と、主観品質評価実験の目的と、評価者数とに基づいて、主観品質評価法を選定する評価法選定部とを有する。【選択図】図３
2017204789.tif 000002
【特許請求の範囲】
【請求項１】
主観品質評価実験の主観品質評価法を選定する主観品質評価法選定装置であって、
主観品質評価実験で利用予定の評価映像の品質範囲を推定する品質範囲推定部と、
前記品質範囲推定部において推定された品質範囲と、主観品質評価実験の目的と、評価者数とに基づいて、主観品質評価法を選定する評価法選定部と、
を有する主観品質評価法選定装置。
【請求項２】
前記品質範囲推定部は、主観品質評価実験において最も品質の悪い条件として設定した劣化映像信号に基づいて、最低品質を導出し、当該導出された最低品質に基づいて、品質範囲を推定する、請求項１に記載の主観品質評価法選定装置。
【請求項３】
前記品質範囲推定部は、前記導出された最低品質と、品質範囲を分類するための閾値との比較に基づいて、品質範囲を推定する、請求項２に記載の主観品質評価法選定装置。
【請求項４】
前記評価法選定部は、主観品質評価実験の目的に応じて評価法選定式の関数を選択し、前記品質範囲推定部において推定された品質範囲と評価者数とに応じてパラメータを設定した評価法選定式を用いて、主観品質評価法を選定する、請求項１乃至３のうちいずれか１項に記載の主観品質評価法選定装置。
【請求項５】
主観品質評価実験の主観品質評価法を選定する主観品質評価法選定装置における主観品質評価法選定方法であって、
主観品質評価実験で利用予定の評価映像の品質範囲を推定するステップと、
前記推定された品質範囲と、主観品質評価実験の目的と、評価者数とに基づいて、主観品質評価法を選定するステップと、
を有する主観品質評価法選定方法。
【請求項６】
コンピュータを、請求項１乃至４のうちいずれか１項に記載の主観品質評価法選定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主観品質評価法選定装置、主観品質評価法選定方法、及びプログラムに関し、例えば、映像配信サービス、ＴＶ電話サービスなどの映像通信サービスの主観品質評価法選定装置、主観品質評価法選定方法、及びプログラムに関する。
【背景技術】
【０００２】
良好な品質で映像サービスを提供するためには、ユーザが体感する映像の品質に基づいてサービス設計値を導出することが必要である。国際標準化団体においては、ユーザが体感する映像の品質を適切に定量化するため、様々な主観品質評価法が規定されている（例えば、非特許文献１、２参照）。これらの主観品質評価法にはそれぞれ異なる特徴があるため、各主観品質評価法の性能を比較する検討がなされている。たとえば、非特許文献３、４においては、安定性や弁別性の観点で主観品質評価法の比較がなされている。また、非特許文献５、６においては、主観品質評価実験に用いる映像の品質範囲が各主観品質評価法に及ぼす影響に関して検討されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ITU-T勧告P.910 "Subjective video quality assessment methods for multimedia applications," Apr. 2008
【非特許文献２】ITU-R勧告BT.500 "Methodology for the Subjective Assessment of the Quality of Television Pictures," Jan. 2012
【非特許文献３】T. Tominaga, M. Masuda, J. Okamoto, A. Takahashi, and T. Hayashi, "Performance Comparisons of Subjective Quality Assessment Methods for Video," IEICE Trans. Commun., vol. E97-B, no.1, pp. 66-75, Jan. 2014.
【非特許文献４】T. Kawano, K. Yamagishi, and T. Hayashi, "Performance Comparison of Subjective Assessment Methods for Stereoscopic 3D Video Quality," IEICE Trans. Commun., vol. E97-B, no. 4, pp. 738-745, Apr. 2014.
【非特許文献５】N. Narita, "Effect of Impairment Ranges on Reliability of the Modified EBU Method," IEICE Trans. Fundamentals, vol. E78-A, no. 11, pp. 1553-1555, Nov. 1995.
【非特許文献６】F. Speranza, T. Martin, and R. Renaud, "Subjective quality assessment and the effect of context in expert and non-expert viewers," Proc. SPIE Image Quality Syst. Perform., pp. 201-210, Jan. 2004.
【非特許文献７】ITU-T勧告J.247 "Objective perceptual multimedia video quality measurement in the presence of a full reference," Aug. 2008
【発明の概要】
【発明が解決しようとする課題】
【０００４】
主観品質評価法はそれぞれに異なる特徴を持っているため、主観品質評価実験を行う際には、主観品質評価実験の目的に応じて適切に主観品質評価法を選定することが重要である。たとえば、サービス設計に向けて品質要求条件を導出することが目的の場合には、安定性良く評価を実施することが重要である。一方、エンコーダ等の性能改善を実施し、サービス設計値を変更することが目的の場合には、わずかな品質変化も捉えられるようにするため、弁別性良く評価を実施することが重要である。たとえば、通信サービスの品質評価においてよく用いられるACR（Absolute Category Rating）法（非特許文献１）と、放送サービスの品質評価においてよく用いられるDSCQS（Double Stimulus Continuous Quality Scale）法（非特許文献２）のどちらを用いるかを検討する場合、図１及び図２に示すように、評価実験の目的、評価映像の品質範囲、評価者数に応じて最適な主観品質評価法は異なる。ここでは、品質範囲は、(a)低品質〜高品質まで幅広い品質範囲の評価映像を用いる場合、(b)中品質〜高品質までの評価映像を用いる場合、(c)高品質のみの評価映像を用いる場合、の３つとして説明する。(a)低品質〜高品質まで幅広い品質範囲の評価映像を用いる場合で、かつ、安定性を重視して評価法を選定する場合には、図１(a)より、評価者数が少ない場合(n1)にはDSCQS法を選定することが望ましく、評価者数が多い場合(n2)にはどちらでも大差ないことがわかる。一方、弁別性を重視して評価法を選定する場合には、図２(a)より、評価者数が少ない場合(n1)にはDSCQS法を選定することが望ましく、評価者数が多い場合(n2)にはACR法を選定することが望ましいことがわかる。さらに、(c)高品質のみの評価映像を用いる場合で、かつ、安定性を重視して評価法を選定する場合には、図１(c)より、評価者数に関わらず、DSCQS法を選定することが望ましいことがわかる。一方、弁別性を重視して評価法を選定する場合には、図２(c)より、評価者数が少ない場合(n1)にはDSCQS法を選定することが望ましく、評価者数が多い場合(n2)にはどちらでも大差ないことがわかる。なお、(c)高品質のみの評価映像を用いる場合において、安定性に関しては、図１(c)より、評価者数に関わらずDSCQS法が優れているのに対し、弁別性に関しては、図２(c)より、評価者数が少ない場合以外においては両手法間で大差がない理由は、ACR法の方がDSCQS法よりも評価映像の品質範囲の影響を受けやすいためである。このように、評価実験の目的、評価映像の品質範囲、評価者数によって最適な評価法は異なるため、主観品質評価実験を実施する際には、これらを考慮した上で主観品質評価法を選定することが重要である。
【０００５】
しかし、評価実験の目的や評価者数は、評価実験実施前に決定することができるが、評価映像の品質範囲は実験を実施しないとどの程度の品質範囲になるかはわからない。そのため、事前に、評価映像の品質範囲を推定することも課題である。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、映像の主観品質評価実験を実施する際に、主観品質評価実験で利用予定の評価映像の品質範囲を推定し、推定された品質範囲と、評価実験の目的と、評価者数とに基づいて最適な主観品質評価法を選定する手法を提案することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一形態に係る主観品質評価法選定装置は、
主観品質評価実験の主観品質評価法を選定する主観品質評価法選定装置であって、
主観品質評価実験で利用予定の評価映像の品質範囲を推定する品質範囲推定部と、
前記推定された品質範囲と、主観品質評価実験の目的と、評価者数とに基づいて、主観品質評価法を選定する評価法選定部と、
を有することを特徴とする。
【０００８】
また、本発明の一形態に係る主観品質評価法選定方法は、
主観品質評価実験の主観品質評価法を選定する主観品質評価法選定装置における主観品質評価法選定方法であって、
主観品質評価実験で利用予定の評価映像の品質範囲を推定するステップと、
前記推定された品質範囲と、主観品質評価実験の目的と、評価者数とに基づいて、主観品質評価法を選定するステップと、
を有することを特徴とする。
【０００９】
また、本発明の一形態に係るプログラムは、
コンピュータを、前記の主観品質評価法選定装置の各部として機能させるためのプログラムであることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、映像の主観品質評価実験を実施する際に、主観品質評価実験で利用予定の評価映像の品質範囲と、評価実験の目的と、評価者数とに基づいて最適な主観品質評価法を選定することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】評価映像の品質範囲と、評価者数と、安定性との関係例を示す図
【図２】評価映像の品質範囲と、評価者数と、弁別性との関係例を示す図
【図３】本発明の実施の形態における主観品質評価法選定装置の構成例を示す図
【図４】本発明の実施の形態における品質範囲推定部の構成例を示す図
【図５】本発明の実施の形態における品質範囲分類部による品質範囲の分類例を示す図
【図６】本発明の実施の形態における選定パラメータＤＢに格納された評価法選定式のパラメータの例を示す図
【図７】本発明の実施の形態における主観品質評価法選定装置のハードウェア構成例を示す図
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。
【００１３】
本発明の実施の形態では、主観品質評価実験の主観品質評価法を選定する主観品質評価法選定装置について説明する。
【００１４】
図３に示すように、本発明の実施の形態にかかる主観品質評価法選定装置１は、品質範囲推定部２と、評価法選定部３とを含む。図４に示すように、品質範囲推定部２は、品質推定部２１と、最低品質導出部２２と、品質範囲分類部２３を内包する。評価法選定部３は、選定パラメータＤＢ３１を内包する。
【００１５】
主観品質評価法選定装置１への入力は、基準映像信号R1〜Rx、劣化映像信号P1〜Px、評価目的A1、評価者数n0である。xは映像シーンの数である。基準映像信号R1〜Rxは、主観品質評価実験で利用予定の評価映像から適切な基準によって選択された映像信号であり、評価映像の中で符号化をしても劣化の分かりにくい映像シーン及び劣化の分かりやすい映像シーンが適宜含まれる映像信号が望ましい。劣化映像信号P1〜Pxは、基準映像信号R1〜Rxが符号化やネットワーク伝送等を経ることにより、その品質が劣化した映像信号のことである。劣化映像信号P1〜Pxの中で、実施予定の主観品質評価実験において最も品質の悪い条件として設定した映像信号Piの品質（最低品質）が用いられる。主観品質評価法選定装置１からの出力は、主観品質評価法Mである。
【００１６】
品質範囲推定部２は、主観品質評価実験で利用予定の評価映像の品質範囲を推定する。品質範囲推定部２では、実施予定の主観品質評価実験において最も品質の悪い条件として設定した映像信号である劣化映像信号Piを用い、評価映像の品質範囲を導出する。
【００１７】
ここで、品質範囲推定部２における品質範囲の推定方法を示す。評価映像の品質範囲推定には客観品質評価法を用いる。客観品質評価法は品質を推定する際に一定の推定誤差を持つため、主観品質評価法を代替できるものではない。しかしながら、客観品質評価法の品質推定誤差は大きなものではないため、(a)低品質〜高品質まで幅広い品質範囲の評価映像、(b)中品質〜高品質までの評価映像、(c)高品質のみの評価映像のように、３つに品質範囲を分類するために利用することは可能である。そこで、本発明の実施の形態では、基準映像信号R1〜Rxと劣化映像信号P1〜Pxを用いて、ITU-T勧告J.247（非特許文献７）等の既存の品質推定手法を用いて品質を推定することとする。ここで、実験で用いる映像シーンx個のすべての基準映像信号R1〜Rxと劣化映像信号P1〜Px（符号化やネットワーク伝送等を経ることによりその品質が劣化した映像信号）を用い、実施予定の主観品質評価実験において最も品質の悪い条件（最低品質値）の劣化映像信号Piの品質を推定する。この最低品質値を基に評価映像の品質範囲を分類する。
【００１８】
例えば、図４に示すように、まず、品質推定部２１において、基準映像信号R1〜Rxと劣化映像信号P1〜Pxを入力とし、ITU-T勧告J.247等の品質推定ソフトウェアを用いて品質値（DMOS1〜DMOSx）を推定する。なお、DMOS（Difference Mean Opinion Score）値は、5段階品質尺度による平均オピニオン評点から、基準映像の影響を取り除いて導出した評価値である。次に、最低品質導出部２２において、DMOS1〜DMOSxのうち、最低品質となるDMOS値（mDMOS）を出力する。DMOS値は、値が小さいほど品質が悪いため、mDMOSは、DMOS1〜DMOSxの最小値とする。次に、品質範囲分類部２３において、mDMOSの値を基に品質範囲を３つに分類する。なお、品質範囲は２つに分類されてもよく、４つ以上のいずれかの値に分類されてもよい。
【００１９】
例えば、図５に示すように、品質範囲の分類は、劣化映像信号Piの品質（最低品質）と、品質範囲を分類するための閾値Y1及びY2との比較に基づいて行われる。mDMOS≦Y1の場合には品質範囲(a)に、Y1＜mDMOS＜Y2の場合には品質範囲(b)に、mDMOS≧Y2の場合には品質範囲(c)に分類する。なお、Y1とY2は、品質範囲を分類するための閾値であり、選定パラメータＤＢ３１に格納しておく。ここで、品質範囲(a)は、低品質〜高品質までの幅広い品質範囲、品質範囲(b)は、中品質〜高品質までの中程度の品質範囲、品質範囲(c)は、高品質領域に限定された品質範囲とする。
【００２０】
評価法選定部３は、品質範囲推定部２において推定された品質範囲と、主観品質評価実験の目的と、評価者数とに基づいて、主観品質評価法を選定する。主観品質評価実験の目的には、例えば、安定性と弁別性が含まれる。安定性は、評価者による評価のばらつきがどの程度安定しているかを示す指標である。弁別性は、映像の品質をどの程度まで区別できるかを示す指標である。評価法選定部３では、主観品質評価実験の目的に応じて評価法選定式の関数を選択し、品質範囲推定部２において導出した評価映像の品質範囲の分類と評価者数とに応じてパラメータを設定した評価法選定式を用いて主観品質評価法を選定する。
【００２１】
次に、評価法選定部３における評価法選定方法を示す。図１及び図２のように、評価映像の品質範囲、評価実験の目的、評価者数に基づき最適な評価法を選定するため、評価実験の目的に応じて評価法選定式の関数を選択し、評価映像の品質範囲や評価者数に応じてパラメータが変化する評価法選定式を構築する。例えば、評価法選定式は、評価目的が「安定性」の場合には、平均95%信頼区間と評価者数の関係を基に定式化する。このときの定式化された評価法選定式は、図１に示す関係になる。例えば、評価法選定式は、評価目的が「弁別性」の場合には、平均弁別率と評価者数の関係を基に定式化する。このときの定式化された評価法選定式は、図２に示す関係になる。そして、評価法選定式の符号を基に、最適な評価法を出力する。
【００２２】
このように、評価実験の目的に応じて評価法選定式の関数を選択し、評価映像の品質範囲を推定して導出した品質範囲や評価者数に応じてパラメータを設定した評価法選定式を用いて主観品質評価法を選定することで、評価実験の目的、評価映像の品質範囲、評価者数を考慮した上での主観品質評価法選定が実現できる。
【００２３】
例えば、評価法選定部３では、品質範囲推定部２の出力である品質範囲(a)〜(c)のいずれかと、評価目的A1、評価者数n0を入力とし、以下の評価法選定式(1)、(2)を用いて評価法選定値mを導出する。評価法選定式(1)、(2)は、例えば、図１及び図２に示す各品質範囲におけるACR法、DSCQS法の関係を、α(安定性、Range、DSCQS)、β(安定性、Range、DSCQS)、α(安定性、Range、ACR)、β(安定性、Range、ACR)、α(弁別性、Range、DSCQS)、β(弁別性、Range、DSCQS)、α(弁別性、Range、ACR)、及びβ(弁別性、Range、ACR)のパラメータを用いて表現した関数である。評価目的A1は、安定性か弁別性のどちらかの値をとるが、評価目的に応じて、評価法選定式の関数を選択し、評価目的A1が「安定性」の場合には評価法選定式(1)を、「弁別性」の場合には評価法選定式(2)を用いる。
【００２４】
m=α(安定性、Range、DSCQS)×exp（-β(安定性、Range、DSCQS)×n0）
−α(安定性、Range、ACR)×exp（-β(安定性、Range、ACR)×n0）・・・(1)
m =α(弁別性、Range、DSCQS)×ln(n0)+β(弁別性、Range、DSCQS)
−α(弁別性、Range、ACR)×ln(n0)+β(弁別性、Range、ACR)・・・(2)
なお、Rangeは、品質範囲推定部２の出力である品質範囲(a)〜(c)のいずれかの値をとる。そして、図６に示すように、α(安定性、Range、DSCQS)、β(安定性、Range、DSCQS)、α(安定性、Range、ACR)、β(安定性、Range、ACR)、α(弁別性、Range、DSCQS)、β(弁別性、Range、DSCQS)、α(弁別性、Range、ACR)、β(弁別性、Range、ACR)は、選定パラメータＤＢ３１に格納されていることとする。
【００２５】
ここで、評価目的A1が「安定性」の場合で、かつ、評価法選定値m＞0の場合にはM=ACR法と出力し、評価法選定値m＜0の場合にはM=DSCQS法と出力し、評価法選定値m=0の場合にはどちらでもよいと出力する。評価目的A1が「弁別性」の場合で、かつ、評価法選定値m＞0の場合にはM=DSCQS法と出力し、評価法選定値m＜0の場合にはM=ACR法と出力し、評価法選定値m=0の場合にはどちらでもよいと出力する。
【００２６】
このように、安定性や弁別性という評価実験の目的に応じた評価法選定式を用いることで最適な主観品質評価法を選定することで、評価実験の目的、評価映像の品質範囲、評価者数を考慮した上での主観品質評価法選定が実現できる。
【００２７】
図７は、本発明の実施の形態にかかる主観品質評価法選定装置１のハードウェア構成の例を示す図である。主観品質評価法選定装置１は、ＣＰＵ（Central Processing Unit）１５１等のプロセッサ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリ装置１５２、ハードディスク等の記憶装置１５３等から構成されたコンピュータでもよい。例えば、主観品質評価法選定装置１の機能及び処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをＣＰＵ１５１が実行することによって実現される。また、主観品質評価法選定装置１に必要な情報は、入出力インタフェース装置１５４から入力され、主観品質評価法選定装置１において求められた結果は、入出力インタフェース装置１５４から出力されてもよい。
【００２８】
＜本発明の実施の形態の効果＞
上述したように、本発明の実施の形態によれば、実施予定の主観品質評価実験の品質範囲を推定して品質範囲を分類した上で、評価実験の目的や評価者数も加味して主観品質評価法を選定することが可能となる。
【００２９】
＜補足＞
説明の便宜上、本発明の実施の形態にかかる主観品質評価法選定装置は機能的なブロック図を用いて説明しているが、本発明の実施の形態にかかる主観品質評価法選定装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施の形態は、コンピュータに対して本発明の実施の形態にかかる主観品質評価法選定装置の各機能を実現させるプログラム、コンピュータに対して本発明の実施の形態にかかる方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施の形態にかかる方法は、実施の形態に示す順序と異なる順序で実施されてもよい。
【００３０】
以上、映像の主観品質評価実験を実施する際に、主観品質評価実験で利用予定の評価映像の品質範囲と、評価実験の目的と、評価者数とに基づいて最適な主観品質評価法を選定するための手法について説明したが、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【００３１】
１  主観品質評価法選定装置
２  品質範囲推定部
３  評価法選定部
２１  品質推定部
２２  最低品質導出部
２３  品質範囲分類部
３１  選定パラメータＤＢ
【図１】
2017204789.tif 000003
【図２】
2017204789.tif 000004
【図３】
2017204789.tif 000005
【図４】
2017204789.tif 000006
【図５】
2017204789.tif 000007
【図６】
2017204789.tif 000008
【図７】
2017204789.tif 000009