(57)【要約】【課題】タイルベースVR映像を視聴した際にユーザが体感する品質を推定する。【解決手段】映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定するための映像品質推定装置は、受信したタイルベース映像から、第１のタイルの品質を表す第１のパラメータと、１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出する映像品質パラメータ抽出部と、前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定する映像品質推定部とを有する。【選択図】図１
2020141374.tif 000002
【特許請求の範囲】
【請求項１】
映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定するための映像品質推定装置であって、
受信したタイルベース映像から、第１のタイルの品質を表す第１のパラメータと、１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出する映像品質パラメータ抽出部と、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定する映像品質推定部と、
を有する映像品質推定装置。
【請求項２】
前記第１のタイルは高画質タイルであり、前記１つ又は複数の第２のタイルは１つ又は複数の低画質タイルであり、
前記映像品質推定部は、前記高画質タイルの品質を表す第１のパラメータを使用して、前記高画質タイルの品質を推定し、前記１つ又は複数の低画質タイルの品質を表す第２のパラメータを使用して、前記１つ又は複数の低画質タイルの品質を推定し、前記高画質タイルの品質と前記１つ又は複数の低画質タイルの品質から前記タイルベース映像の品質を推定する、請求項１に記載の映像品質推定装置。
【請求項３】
前記第１のタイルは高画質タイルであり、前記１つ又は複数の第２のタイルは１つ又は複数の低画質タイルであり、
前記映像品質推定部は、前記高画質タイルの品質を表す第１のパラメータを使用して、前記高画質タイルの品質を推定し、前記高画質タイルの品質を表す第１のパラメータと、前記１つ又は複数の低画質タイルの品質を表す第２のパラメータとを使用して、前記高画質タイルと前記１つ又は複数の低画質タイルとの画質差を推定し、前記高画質タイルの品質と前記画質差から前記タイルベース映像の品質を推定する、請求項１に記載の映像品質推定装置。
【請求項４】
前記第１のパラメータ及び前記第２のパラメータは、解像度、フレームレート、ビットレート、及び量子化パラメータのうち少なくとも１つである、請求項１乃至３のうちいずれか１項に記載の映像品質推定装置。
【請求項５】
映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
受信したタイルベース映像から、第１のタイルの品質を表す第１のパラメータと、１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出するステップと、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定するステップと、
を有する映像品質推定方法。
【請求項６】
請求項１乃至４のうちいずれか１項に記載の装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像品質推定装置、映像品質推定方法及びプログラムに関するものである。特に、本発明は、映像をタイルに分割して配信するタイルベース映像配信サービスおいてユーザが体感する映像の品質値（映像品質値）を推定するための映像品質推定装置、映像品質推定方法及びプログラムに関する。
【背景技術】
【０００２】
近年、仮想現実（VR）技術の発展により、ユーザが360°見渡すことのできるVR映像を視聴する機会が増加している。それに伴い、VR映像配信サービスも増加し、ユーザがヘッドマウントディスプレイ（HMD）や従来の据え置き型ディスプレイ等を用いてVR映像を視聴する機会も増加している。ユーザがVR映像を視聴するとき、例えば、HMDを装着して、ユーザが首を振る、体を動かすなどの行動によって視線方向を変えることができ、また、従来の据え置き型のディスプレイをマウス等で操作することによって映像の視聴方向を変えることができる。
【０００３】
一般的に、映像配信サービスにおいて、ユーザが映像に対して感じる品質は、映像品質に関連するパラメータ（ビットレート、解像度、フレームレート等）に強く影響を受ける。2次元の映像の品質評価については、従来から検討が進められており、例えば、非特許文献１〜４において、評価者が2次元の映像を視聴した際に、映像信号、映像のビットストリーム、パケットヘッダやメタデータなどから映像品質を推定する客観品質評価技術が記載されている。
【０００４】
VR映像は2D映像と異なる配信方法が提案されており、配信前の品質を推定する上で、VR特有の配信手法を考慮する必要がある。VR映像配信においては、360°全体の映像に対して、ディスプレイに表示される映像はその一部の領域だけとなる。そこで、従来の映像配信サービスのように映像全体を一様な画質で配信する方法ではなく、ディスプレイに表示されるユーザの視聴方向の映像を高画質で配信し、その他のディスプレイに表示されない映像を低画質で配信、もしくは配信しないことによって配信コストを抑えるというタイルベース配信と呼ばれる手法が提案されている。タイルベース配信の一例として、非特許文献５で示されたMPEG-DASHと呼ばれる配信方式を用いて、非特許文献６で示されるようにVR映像のタイル分割を行い、タイルごとの画質を変えて符号化し、配信する手法が挙げられている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference, Recommendation ITU-T J.341, 2016
【非特許文献２】Parametric non-intrusive bitstream assessment of video media streaming quality, Recommendation ITU-T P.1202, 2012
【非特許文献３】Parametric non-intrusive assessment of audiovisual media streaming quality, Recommendation ITU-T P.1201, 2012
【非特許文献４】Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport, Recommendation ITU-T P.1203, 2017
【非特許文献５】I. Sodagar, "The MPEG-DASH Standard for Multimedia Streaming Over the Internet," in IEEE MultiMedia, vol. 18, pp. 62-67, 2011.
【非特許文献６】Jean Le Feuvre, Cyril Concolato, "Tiled-based Adaptive Streaming using MPEG-DASH," MMSys '16 Proceedings of the 7th International Conference on Multimedia Systems, Article No. 41
【発明の概要】
【発明が解決しようとする課題】
【０００６】
VR映像を適切な品質で提供するためには、映像配信前の品質を適切に設計することが求められ、VR映像の品質を推定する手法が必要である。しかしながら、VR映像に対する客観品質評価技術は存在しない。
【０００７】
VR映像のタイルベース配信では、タイルごとに映像の品質を表すパラメータを変えることができるため、従来の2次元映像の品質推定と異なり複数のタイルごとの映像の品質を表すパラメータを利用した品質推定が必要となると考えられる。
【０００８】
例えば、タイルベース配信では、ユーザが向きを変えず、同じ方向のみを視聴している場合においては高画質の映像が表示される。一方で、 タイルベースVR映像を視聴する方向を変化させた場合では、新しい視聴方向のタイルを低画質のタイルから高画質のタイルに切り替えるまでの間に、低画質の映像を視聴するため、ユーザが画質の劣化を知覚する可能性がある。このように、視線移動が起きない場合に表示される高画質のタイルの品質と、視線移動の際に視聴する低画質タイルの品質は、それぞれユーザが実際に体感する品質に対する寄与率も異なると考えられる。
【０００９】
従来の2次元映像の品質評価ではこれらの視線移動による品質劣化を考慮する必要がなかったが、タイルベースVR映像の品質評価では高画質タイル、低画質タイルそれぞれの品質を考慮した評価を行う必要がある。
【００１０】
本発明は、上記の点を鑑みて、タイルベースVR映像を視聴した際にユーザが体感する品質を推定することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一形態に係る映像品質推定装置は、
映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定するための映像品質推定装置であって、
受信したタイルベース映像から、第１のタイルの品質を表す第１のパラメータと、１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出する映像品質パラメータ抽出部と、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定する映像品質推定部と、
を有する。
【００１２】
また、本発明の一形態に係る映像品質推定方法は、
映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
受信したタイルベース映像から、第１のタイルの品質を表す第１のパラメータと、１つ又は複数の第２のタイルの品質を表す第２のパラメータとを抽出するステップと、
前記第１のパラメータと前記第２のパラメータとを使用して、タイルベース映像の品質を推定するステップと、
を有する。
【００１３】
また、本発明の一形態に係るプログラムは、上記の装置の各部としてコンピュータを機能させる。
【発明の効果】
【００１４】
本発明によれば、タイルベースVR映像を視聴した際にユーザが体感する品質を推定することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態におけるVR映像品質推定装置の構成図である。
【図２】量子化パラメータ（QP）と映像品質値の関係例を表す図である。
【図３】本発明の一実施形態における映像品質推定方法のフローチャートである。
【図４】本発明の一実施形態におけるVR映像品質推定装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面とともに本発明の実施形態について詳細に説明する。
【００１７】
本発明の実施形態では、映像をタイルに分割して配信するタイルベース映像配信サービスにおいてユーザが体感する品質を推定する手法について説明する。
【００１８】
図１に本発明の一実施形態におけるVR映像品質推定装置１の構成を示す。VR映像品質推定装置１は、任意のタイルベースVR映像の品質を推定することを目的として、高画質タイルの映像の品質を表すパラメータPH、低画質タイルの映像の品質を表すパラメータPLを利用して、主観評価特性を定式化したモデル式を基に、パラメータPH及びパラメータPLを入力としてVR映像の品質を推定する装置である。
【００１９】
同図に示すVR映像品質推定装置１は、映像品質パラメータ抽出部１１及び映像品質推定部１２から構成される。
【００２０】
映像品質パラメータ抽出部１１は、受信したタイルベースVR映像を入力とし、品質評価のために設定した高画質タイル・低画質タイルのそれぞれの映像の品質を表すパラメータPH,PLをタイルベースVR映像から抽出し、高画質タイル・低画質タイルのそれぞれのパラメータPH,PLを映像品質推定部１２に出力する。
【００２１】
映像の品質を表すパラメータは、タイルベースVR映像を符号化するときに用いられるパラメータであり、タイルベースVR映像の高画質タイル・低画質タイルそれぞれに対する解像度、フレームレート、ビットレート、量子化パラメータ（QP）のうち少なくとも一つを意味する。すなわち、映像の品質を表すパラメータは上記の情報すべてでもよく、一部の情報でもよい。
【００２２】
また、ここで低画質タイルについては、VR映像全体をカバーする1枚のタイルとしても良いし、低画質タイルも高画質タイルと同様の複数のタイルに分割されたものとしてもよい。分割された低画質タイルを複数受信し、その低画質タイル群で一部の領域を表示する場合は、その領域を1枚として扱うことができる。以下は、簡単に説明するため、低画質タイルが1枚の場合について述べる。
【００２３】
映像品質推定部１２は、高画質タイル・低画質タイルそれぞれのパラメータPH,PLを入力とし、タイルベースVR映像の品質（映像品質値）を推定して出力する。映像品質推定部１２は、高画質タイル・低画質タイルそれぞれのパラメータPH,PLと映像品質値の関係を表したモデル式を有する。映像品質推定部１２は、当該モデル式に高画質タイル・低画質タイルそれぞれのパラメータPH,PLを入力して、タイルベースVR映像品質値を推定する。
【００２４】
映像品質推定部１２が用いるモデル式に関して、映像の品質を表すパラメータの例としてQPを用いて説明する。QPは映像の符号化に関するパラメータであり、QPの値が小さいほど映像がより映像が精細に表現できることを示す。
【００２５】
図２を用いてQPが異なる映像間での品質値の関係について説明する。図２は、タイルベースVR映像における高画質タイル・低画質タイルのQPと映像品質値の関係を示したものである。図中の横軸は高画質タイルのQP、縦軸は映像品質値を表しており、低画質タイルのQPが異なった複数の場合の線を図示している。低画質タイルのQPが一定の場合、高画質タイルのQPの増加に伴い、タイルベースVR映像の品質が劣化する。具体的には、視線移動が起こらない場合では、ユーザは一般的に高画質タイルを視聴するため、高画質タイルのQPの増加に伴って発生するVR映像のノイズやボケをユーザが知覚し、映像品質値が低下する。ここで、映像品質値とは、主観品質評価法から得られるタイルベースVR映像の品質値を表す。
【００２６】
一方で、高画質タイルのQPが同一であっても、低画質タイルのQPによって映像品質値は異なり、低画質タイルのQPが大きいほど映像品質値は小さくなる。具体的には、ユーザが視線移動をした際に、高画質タイルではなく低画質タイルをユーザは視聴する。その際に低画質タイルを見ることによってユーザは映像の品質劣化を知覚し、映像品質値が低下する。
【００２７】
映像品質推定部１２は、上記のように、高画質タイルのQPの増加に伴って映像品質値が低下し、低画質タイルのQPの増加に伴って映像品質値が低下するという特性を表したモデル式を有する。当該モデル式を基にタイルベースVR映像を視聴した際に体感する映像品質値VQを求める手法として、（１）低画質タイルの品質を利用して求める手法と、（２）高画質タイルと低画質タイルの画質差を利用して求める手法がある。
【００２８】
それぞれの手法について、VR映像品質推定装置１が実行する処理手順について説明する。図３は、VR映像品質推定装置が実行する映像品質推定方法の一例を説明するためのフローチャートである。
【００２９】
ステップＳ１において、タイルベースVR映像が映像品質パラメータ抽出部１１に入力される。
【００３０】
タイルベースVR映像は全体のVR映像がタイルに分割されており、タイルごとに画質が異なる。ここでは、ユーザの視聴方向のタイルは高画質タイルであり、その他のタイルは低画質タイルであると仮定する。
【００３１】
ステップＳ２において、映像品質パラメータ抽出部１１は、入力されたタイルベースVR映像の品質を表すパラメータを抽出する。
【００３２】
タイルベースVR映像が高画質タイルと低画質タイルで構成される場合、映像品質パラメータ抽出部１１は、高画質タイル・低画質タイルのそれぞれの映像の品質を表すパラメータPH,PLを抽出する。
【００３３】
ステップＳ３において、映像品質推定部１２は品質評価のモデル式に基づき、映像品質値を算出する。
【００３４】
映像の品質を表すパラメータをQPとすると、図２を参照して説明したように、低画質タイルのQPが一定の場合、高画質タイルのQPの増加に伴い、タイルベースVR映像の品質が劣化する。したがって、高画質タイルによる品質値VQHは、高画質タイルのQPであるQPHの増加に伴い品質が減少する特性（例：指数関数、逆数のロジスティック関数など）に基づいて推定する。例えば、以下の数式に基づき品質推定が実施される。
【００３５】
【数１】
2020141374.tif 000003
なお、上記の式(1)は以下のいずれかのモデル式で置き換えてもよいし、他の式を用いてよい。
【００３６】
【数２】
2020141374.tif 000004
【００３７】
【数３】
2020141374.tif 000005
【００３８】
【数４】
2020141374.tif 000006
上記の式(1)〜(4)では、a〜cの係数は予め定めたものとしているが、係数は解像度・フレームレート、ビットレート等に対応して定まる数としてもよい。
【００３９】
例えば、式(4)のa,bは解像度・フレームレートを用いて以下のように計算できる。
【００４０】
【数５】
2020141374.tif 000007
ここで、v1〜v6は係数であり、rsはVR映像の解像度を、frはVR映像のフレームレートを示す。
【００４１】
また、図２を参照して説明したように、高画質タイルのQPが一定の場合、低画質タイルのQPの増加に伴い、タイルベースVR映像の品質が劣化する。したがって、低画質タイルの品質値VQLは、高画質タイルの場合と同様に、低画質タイルのQPであるQPLの増加に伴い品質が減少する特性（例：指数関数、逆数のロジスティック関数など）に基づいて推定する。例えば、以下の数式に基づき品質推定が実施される。
【００４２】
【数６】
2020141374.tif 000008
なお、上記の式(6)は高画質タイルの品質推定と同様に他の式に置き換えることができる。
【００４３】
（１）低画質タイルの品質を利用して求める手法の場合、映像品質推定部１２は、高画質タイルの品質値VQHと、低画質タイルの品質値VQLを利用して、以下の数式に基づいて映像品質値VQを推定する。
【００４４】
【数７】
2020141374.tif 000009
（２）高画質タイルと低画質タイルの画質差を利用して求める手法の場合、映像品質推定部１２は、高画質タイルの品質値VQHと、低画質タイルによる品質劣化値VQDを利用して、以下の数式に基づいて映像品質値VQを推定する。
【００４５】
【数８】
2020141374.tif 000010
上記の式(8)において、VQHは式(1)〜(4)のいずれか又は他の式によって推定される。VQDは高画質タイルのQP（QPH）と低画質タイルのQP（QPL）を用いて、以下の式に基づいて推定される。
【００４６】
【数９】
2020141374.tif 000011
ただし、a〜cは予め定めた係数とする。
【００４７】
なお、式(9)は以下のモデル式で置き換えてもよいし、他の式を用いてよい。
【００４８】
【数１０】
2020141374.tif 000012
ただし、a〜fは予め定めた係数とする。
【００４９】
上記の数式では、係数は予め定めたものとしているが、係数は解像度・フレームレート・ビットレート等に対応して定まる数としてもよい。
【００５０】
ステップＳ４において、映像品質推定部１２は算出された映像品質値VQを出力する。
【００５１】
以上の実施形態では、VQの推定をQPを用いて行った。VQの推定はQPを用いた推定に限定されず、映像の品質を表すパラメータである解像度・フレームレート・ビットレートの品質要因を利用して推定を行うことも可能である。
【００５２】
例えば、QPに加えて解像度及びフレームレートを利用して、映像品質に対して単調増加の関係を表す関数（例：線形関数、指数関数、ロジスティック関数など）を利用してVQを推定する。例えば、解像度及びフレームレートのいずれかを単独で用いて、VQHは以下の式で表される。
【００５３】
【数１１】
2020141374.tif 000013
【００５４】
【数１２】
2020141374.tif 000014
また、例えばQPと解像度、フレームレートを同時に用いた場合、VQHは以下の式で表される。
【００５５】
【数１３】
2020141374.tif 000015
VQLについてもRSL,FRLを用いて同様に表すことができる。
【００５６】
ただし、a〜iは予め定めた係数、RSH,RSLはそれぞれ高画質タイル・低画質タイルの解像度、FRH,FRLはそれぞれ高画質タイル・低画質タイルのフレームレートを示している。
【００５７】
また、QPの代わりにビットレートを用いて、映像品質に対して単調増加の関係を表す関数（例：線形関数、指数関数、ロジスティック関数など）を利用してVQHを推定することもできる。例えば、以下の式で表される。
【００５８】
【数１４】
2020141374.tif 000016
VQLについてもBRLを用いて同様に表すことができる。
【００５９】
ただし、a〜cは予め定めた係数、BRH,BRLはそれぞれ高画質タイル・低画質タイルのビットレートを示している。
【００６０】
同様にして、（２）高画質タイルと低画質タイルの画質差を利用して求める手法のときのVQDも解像度・フレームレート・ビットレートを利用して表すことが可能である。
【００６１】
なお、品質推定に用いた数式はあくまで一例であり、他の数式も本発明の範囲内に入るものとする。
【００６２】
図４に、本発明の一実施形態におけるVR映像品質推定装置１のハードウェア構成例を示す。VR映像品質推定装置１は、CPU（Central Processing Unit）１５１等のプロセッサ、RAM（Random Access Memory）やROM（Read Only Memory）等のメモリ装置１５２、ハードディスク等の記憶装置１５３等から構成されたコンピュータでもよい。例えば、VR映像品質推定装置１の機能及び処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをCPU１５１が実行することによって実現される。また、VR映像品質推定装置１に必要な情報は、入出力インタフェース装置１５４から入力され、VR映像品質推定装置１において求められた結果は、入出力インタフェース装置１５４から出力されてもよい。
【００６３】
説明の便宜上、本発明の実施形態に係るVR映像品質推定装置１は機能的なブロック図を用いて説明しているが、本発明の実施形態に係るVR映像品質推定装置１は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施形態は、コンピュータに対して本発明の実施形態に係るVR映像品質推定装置１の機能を実現させるプログラム、コンピュータに対して本発明の実施形態に係る方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施形態に係る方法は、実施形態に示す順序と異なる順序で実施されてもよい。
【００６４】
上記のように、タイルベースVR映像において、高画質タイル・低画質タイルそれぞれの映像の品質を表すパラメータを利用して、高画質タイルと低画質タイルの品質、又は高画質タイルと低画質タイルの画質差を捉え、視線移動における品質劣化を考慮したモデルを利用することで、タイルベースVR映像のユーザが視聴した際に体感する品質を推定することが可能になる。
【００６５】
以上、タイルベースVR映像の符号化のパラメータから、品質を推定することを可能にする手法について説明したが、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【００６６】
１    VR映像品質推定装置
１１  映像品質パラメータ抽出部
１２  映像品質推定部
【図１】
2020141374.tif 000017
【図２】
2020141374.tif 000018
【図３】
2020141374.tif 000019
【図４】
2020141374.tif 000020