(57)【要約】【課題】受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させる。【解決手段】画質制御装置１００は、複数の画像フレームから構成される映像データを受信する受信部１０と、複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び第１画像データの後に再生される第２画像データの第２画質を推定する推定部４１と、第１画質と第２画質との画質差に基づいて、第１画像データ又は第２画像データの画質を変更する画質変更部４４と、画質変更部４４が変更した後の画像データを出力する出力部４５と、を有する。【選択図】図２
2017028622.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像フレームから構成される映像データを受信する受信部と、
前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定する推定部と、
前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更する画質変更部と、
前記画質変更部が変更した後の画像データを出力する出力部と、
を有する画質制御装置。
【請求項２】
前記画質変更部は、前記第１画質が前記第２画質よりも良い場合に、前記第１画像データの画質を、前記第１画質と前記第２画質との間の画質に変更する、
請求項１に記載の画質制御装置。
【請求項３】
前記画質変更部は、前記第１画像データの前記第１画質を、前記第２画像データが再生されるまでの時間に基づいて定められる画質に変更する、
請求項２に記載の画質制御装置。
【請求項４】
前記画質変更部は、前記第１画像データより前に受信された前記第１画質の複数の画像データの画質を、前記第１画質から前記第２画質に段階的に近づくように変更する、
請求項２又は３に記載の画質制御装置。
【請求項５】
前記画質変更部は、前記第２画質が前記第１画質よりも良い場合に、前記第２画像データの画質を、前記第１画質と前記第２画質との間の画質に変更する、
請求項１に記載の画質制御装置。
【請求項６】
前記画質変更部は、前記第２画像データより後に受信された前記第２画質の複数の画像データの画質を、前記第２画質から前記第１画質に段階的に近づくように変更する、
請求項５に記載の画質制御装置。
【請求項７】
前記画質変更部は、前記画質差が所定の値よりも大きい場合に、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から６のいずれか１項に記載の画質制御装置。
【請求項８】
前記画質変更部は、前記第１画像データにおける直交変換係数の存在割合と、前記第２画像データにおける直交変換係数の存在割合との差に基づく画質に、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から７のいずれか１項に記載の画質制御装置。
【請求項９】
前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく強度のフィルタを用いて前記第１画像データ又は前記第２画像データをフィルタリングすることにより、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から８のいずれか１項に記載の画質制御装置。
【請求項１０】
前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく割合の交流成分を除去することにより、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から８のいずれか１項に記載の画質制御装置。
【請求項１１】
複数の画像フレームから構成される映像データを受信するステップと、
前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定するステップと、
前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更するステップと、
変更した後の画像データを出力するステップと、
を有する画質制御方法。
【請求項１２】
映像データを配信する映像配信装置と、
前記映像配信装置から受信した映像データに含まれる画像データの画質を制御する請求項１から１０のいずれか１項に記載の画質制御装置と、
を備える画質制御システム。
【請求項１３】
コンピュータを、請求項１から１０のいずれか１項に記載の画質制御装置の各部として機能させる、前記コンピュータが実行可能な画質制御用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの画質を制御する画質制御装置、画質制御方法、画質制御システム及び画質制御用プログラムに関する。
【背景技術】
【０００２】
近年、ネットワーク技術の進歩に伴って、固定通信網及び携帯通信網を介して映像コンテンツが伝送されるようになってきている。例えば、通信網を経由して映像コンテンツが端末に配信されるＶＯＤ（Video On Demand）サービスが普及している。通信網では、さまざまな種類のデータが伝送されており、伝送帯域が変動する。伝送帯域が変動しても、映像コンテンツが途切れることなく伝送されるように、通信品質に応じてビットレートが異なるストリームを適応的に切り替えるアダプティブストリーミングと呼ばれる技術が知られている（例えば、非特許文献１を参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ISO/IEC 23009-1,“Dynamic Adaptive Streaming over HTTP(DASH) Part 1: Media presentation description and segment formats”April. 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、アダプティブストリーミング技術等の方法が用いられることにより、映像コンテンツの配信中に画像のビットレート又は解像度等の画質に影響するパラメータが切り替えると、画質が急激に変化するので、ユーザが違和感を抱いてしまうという問題があった。特に、パラメータの切り替えが頻繁に発生すると、ユーザは映像コンテンツに没入できず、体感品質が低下するという問題があった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させることができる画質制御装置、画質制御方法及び画質制御用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様においては、複数の画像フレームから構成される映像データを受信する受信部と、前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定する推定部と、前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更する画質変更部と、前記画質変更部が変更した後の画像データを出力する出力部と、を有する画質制御装置を提供する。
【０００７】
前記画質変更部は、前記第１画質が前記第２画質よりも良い場合に、前記第１画像データの画質を、前記第１画質と前記第２画質との間の画質に変更してもよい。この場合、前記画質変更部は、前記第１画像データの前記第１画質を、前記第２画像データが再生されるまでの時間に基づいて定められる画質に変更してもよい。
【０００８】
また、前記画質変更部は、前記第１画像データより前に受信された前記第１画質の複数の画像データの画質を、前記第１画質から前記第２画質に段階的に近づくように変更してもよい。
【０００９】
前記画質変更部は、前記第２画質が前記第１画質よりも良い場合に、前記第２画像データの画質を、前記第１画質と前記第２画質との間の画質に変更してもよい。この場合、前記画質変更部は、前記第２画像データより後に受信された前記第２画質の複数の画像データの画質を、前記第２画質から前記第１画質に段階的に近づくように変更してもよい。
【００１０】
前記画質変更部は、前記画質差が所定の値よりも大きい場合に、前記第１画像データ又は前記第２画像データの画質を変更してもよい。
【００１１】
また、前記画質変更部は、前記第１画像データにおける直交変換係数の存在割合と、前記第２画像データにおける直交変換係数の存在割合との差に基づく画質に、前記第１画像データ又は前記第２画像データの画質を変更してもよい。
【００１２】
前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく強度のフィルタを用いて前記第１画像データ又は前記第２画像データをフィルタリングすることにより、前記第１画像データ又は前記第２画像データの画質を変更してもよい。
【００１３】
前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく割合の交流成分を除去することにより、前記第１画像データ又は前記第２画像データの画質を変更してもよい。
【００１４】
本発明の第２の態様においては、複数の画像フレームから構成される映像データを受信するステップと、前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定するステップと、前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更するステップと、変更した後の画像データを出力するステップと、を有する画質制御方法を提供する。
【００１５】
本発明の第３の態様においては、映像データを配信する映像配信装置と、前記映像配信装置から受信した映像データに含まれる画像データの画質を制御する上記の画質制御装置とを備える画質制御システムを提供する。
【００１６】
本発明の第４の態様においては、コンピュータを、上記の画質制御装置の各部として機能させる、前記コンピュータが実行可能な画質制御用プログラムを提供する。
【発明の効果】
【００１７】
本発明によれば、受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る映像再生システムの構成を示す図である。
【図２】画質制御装置の構成を示す図である。
【図３】画像データが劣化した場合の画質変更部の動作について説明するための図である。
【図４】画質変更データベースが格納している画質変更テーブルの一例を示す図である。
【図５】画像データが劣化した場合の画質変更部の動作について説明するための図である。
【図６】画像データが改善した場合の画質変更部の動作について説明するための図である。
【図７】画質制御装置における画質変更処理のフローチャートである。
【図８】第２の実施形態に係る画質制御装置の構成を示す図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
［本実施形態の概要］
図１は、第１の実施形態に係る映像再生システムＳの構成を示す図である。映像再生システムＳは、画質制御装置１００と、映像再生装置２００と、映像配信装置３００とを備える。画質制御装置１００は、例えばゲートウェイ又はルーターであり、ネットワークＮに接続されている。ネットワークＮは、インターネット、有線通信回線又は無線通信回線等により構成されている。
【００２０】
画質制御装置１００は、映像配信装置３００から配信される映像を受信する。画質制御装置１００は、受信した映像の画質が大きく変化したことを検出すると、画質が変化したことをユーザが気付きにくいように画質を変更し、画質を変更した後の映像を映像再生装置２００に出力する。
【００２１】
映像再生装置２００は、スマートフォン等の通信端末又はコンピュータである。映像再生装置２００は、画質制御装置１００から入力された映像データに基づいて、映像を再生してディスプレイに表示する。なお、図１においては、画質制御装置１００と映像再生装置２００とを異なる装置として示しているが、映像再生装置２００が画質制御装置１００を含んでいてもよい。
【００２２】
映像配信装置３００は、例えばＶＯＤ用サーバである。映像配信装置３００は、映像再生装置２００からの要求に応じて、映像のビットストリームを配信する。映像のビットストリームは、例えばＨ．２６５／ＨＥＶＣ等のように、ＭＣ（Motion Compensation）＋ＤＣＴ（Discrete Cosine Transform）形式の圧縮符号化形式で符号化されたビットストリームである。
【００２３】
画質制御装置１００は、映像配信装置３００から受信する映像のビットストリームの伝送速度が、３０Ｍｂｐｓから１５Ｍｂｐｓに変化する場合、例えば、３０Ｍｂｐｓの画質→２７Ｍｂｐｓ相当の画質→２４Ｍｂｐｓ相当の画質→２１Ｍｂｐｓ相当の画質→１８Ｍｂｐｓ相当の画質→１５Ｍｂｐｓ相当の画質と段階的に劣化するように、画質を制御する。また、画質制御装置１００は、映像配信装置３００から受信する映像のビットストリームの伝送速度が、１５Ｍｂｐｓから３０Ｍｂｐｓに変化する場合、例えば、１５Ｍｂｐｓの画質→１８Ｍｂｐｓ相当の画質→２１Ｍｂｐｓ相当の画質→２４Ｍｂｐｓ相当の画質→２７Ｍｂｐｓ相当の画質→３０Ｍｂｐｓ相当の画質と段階的に改善するように、画質を制御する。このようにすることで、ユーザが画質の変化に気付きにくくなるので、ユーザの体感品質を向上させることができる。
【００２４】
［画質制御装置１００の構成及び動作］
以下、画質制御装置１００の構成及び動作について詳細に説明する。
図２は、画質制御装置１００の構成を示す図である。画質制御装置１００は、受信部１０と、記憶部２０と、画質変更データベース３０と、制御部４０とを有する。受信部１０は、映像配信装置３００から配信される映像データを受信する。映像データは、画像データを含む複数の画像フレームから構成されている。映像データは、例えば、Ｉフレーム、Ｂフレーム及びＰフレームから構成されている。
【００２５】
記憶部２０は、ＲＯＭ、ＲＡＭ又はハードディスク等の記憶媒体である。記憶部２０は、制御部４０が実行するプログラムを記憶している。また、記憶部２０は、制御部４０の動作中に発生したデータを一時的に記憶する。
【００２６】
画質変更データベース３０は、制御部４０が画質の制御に用いるデータを保持している。具体的には、画質変更データベース３０は、受信部１０が受信した映像データにおいて、画質が変化する前の画質及び画質が変化した後の画質に関連付けて、制御部４０がどのように画質を変更する必要があるかを示すデータを保持している。画質変更データベース３０の詳細については後述する。
【００２７】
制御部４０は、例えばＣＰＵである。制御部４０は、デジタル信号処理機能を有してもよい。制御部４０は、記憶部２０に記憶されたプログラムを実行することにより、推定部４１、デコード部４２、バッファ部４３、画質変更部４４及び出力部４５として機能する。
【００２８】
推定部４１は、受信部１０が受信したビットストリームに含まれる複数の画像フレームそれぞれに対応する画像データの主観画質を推定し、主観画質推定値を算出する。主観画質とは、画像又は映像を視認する人が感じる画像又は映像の品質である。
【００２９】
本明細書においては、複数の画像フレームをデコードして得られる複数の画像データのうち、主観画質が変化する直前の画像データを第１画像データと称し、第１画像データの後に再生される画像データを第２画像データと称する。また、第１画像データの主観画質を第１主観画質と称し、第２画像データの主観画質を第２主観画質と称する。推定部４１は、画像データの識別情報（例えば、画像データＩＤ）に関連付けて、主観画質の推定値をデコード部４２に通知する。推定部４１は、主観画質の推定値をデコード部４２に通知する代わりに、画像データＩＤに関連付けてバッファ部４３に格納してもよい。
【００３０】
ここで、推定部４１が主観画質を推定する方法について説明する。推定部４１は、ＱＰ特徴量算出部４１１と、複雑度特徴量算出部４１２と、重み係数算出部４１３とを有しており、映像フレームをデコードする前に主観画質を推定できる。
【００３１】
（ＱＰ特徴量算出部４１１）
ＱＰ特徴量算出部４１１は、量子化雑音と画像データを構成するブロックごとの量子化パラメータとの間の相関性を利用して、ＱＰ（Quantized Parameter：量子化パラメータ）と呼ばれる量子化の粗さを調節するパラメータを利用して、量子化雑音の強度をＱＰ特徴量として算出する。ＱＰ特徴量算出部４１１は、ＱＰ特徴量を算出する際に、まず、ＣＵ（Coding Unit）単位で、量子化パラメータを量子化ステップ幅に戻し、指定された時間幅（例えば、チャンクの時間幅）の積分値をＱＰ特徴量Ｑｎとする。ＱＰ特徴量Ｑｎは、以下の式により算出することができる。
【数１】
2017028622.tif 000003
【００３２】
ここで、pow(x,y)は、ｘのｙ乗、ＱＰｎ（ｆ、Ｂｎ）は、ｆ番目のフレーム内のdepthがｎ（ｎ＝０〜３）におけるＣＵのＱＰ値、ＮＢｎは、フレーム内のdepthがｎの総ブロック数である。ここで、depthは、ＨＥＶＣ（High Efficiency Video Coding）におけるＣＵの大きさに対応しており、６４×６４がdepth＝０に対応し、３２×３２がdepth＝１に対応し、１６×１６がdepth＝２に対応し、８×８がdepth＝３に対応する。
ＱＰ特徴量算出部４１１は、ブロックサイズに応じて画質劣化の知覚のしやすさが異なるという点に基づいて、各depthに応じた面積比でＱＰ特徴量Ｑｎを加重平均することにより、ＱＰ特徴量Ｑを算出する。
【００３３】
（複雑度特徴量算出部４１２）
上記のようにして算出したＱＰ特徴量Ｑの値が同一であっても、画像のテクスチャの複雑さによって、画像劣化の度合いが異なる。人間は、高周波成分を多く含む複雑なテクスチャであればあるほど、画質の劣化を知覚しにくいという特性を有している。また、階層ブロック構造の符号化方式では、複雑なテクスチャの領域はブロック分割サイズが小さく、平坦なテクスチャの領域は、ブロック分割サイズが大きい傾向にある。
【００３４】
そこで、複雑度特徴量算出部４１２は、テクスチャの複雑さとブロック分割サイズとの間の相関性に基づいて、フレーム内のＣＵのdepthの分布に基づいて複雑度特徴量Ｃを算出する。なお、Ｐフレーム及びＢフレームにおける画面内のブロック分割サイズは、Ｉフレームの内容と動き予測の性能に依存するので、複雑度特徴量算出部４１２は、複雑度特徴量Ｃの算出にＩフレームを使用する。
【００３５】
複雑度特徴量算出部４１２は、以下の手順により複雑度特徴量Ｃを算出する。まず、複雑度特徴量算出部４１２は、フレームごとにＣＵのdepthを加算し、指定された時間幅（例えば、チャンクの時間幅）における加算値の中央値を求める。中央値を用いることにより、シーンチェンジによって映像が切り替わることにより画面の複雑度が変動することによる影響を抑制することができる。複雑度特徴量Ｃは、以下の式により算出することができる。
【数２】
2017028622.tif 000004
ここで、med( )は、中央値を求めるための関数である。また、ｄｆ，Ｂは、あるフレームのＢ番目のブロックのdepthの値である。
【００３６】
（重み係数算出部４１３）
重み係数算出部４１３は、主観画質の推定値を算出するために、ＱＰ特徴量Ｑと複雑度特徴量Ｃとを用いて、以下の式により重み付け加算する。
【数３】
2017028622.tif 000005
ここで、Ｓｏｂｊは、主観画質推定値、ωｎ（ｎ＝１、２）は、主観画質の推定値を算出するための重み係数である。主観画質は、画像の解像度の影響も受けるので、重み係数ωｎは、解像度に対応して定められている。
なお、複雑度特徴量Ｃの算出にはＩフレームが用いられるので、Ｉフレーム以外のＰ／Ｂフレームに対応するＱＰ特徴量Ｑに対する複雑度特徴量Ｃとしては、Ｐ／Ｂフレームに対応するＩフレームの複雑度特徴量Ｃが用いられる。
【００３７】
重み係数算出部４１３が重み係数を導出するにあたっては、予め主観画質の推定値が既知である複数のシーケンスを学習セットとして、主観画質推定値Ｓｏｂｊとの二乗誤差平均が最小になるように回帰分析を行う。なお、主観画質推定値は、通常は負の値とならないので、次の式のように値域を設定してもよい。
【数４】
2017028622.tif 000006
ここで、Ｓ’ｏｂｊは、値域を設定した主観画質推定値、clip(x, 0, 100)は、ｘを［０、１００］の範囲でクリップする関数である。
【００３８】
続いて、図２を参照して、制御部４０の他の構成について説明をする。
デコード部４２は、受信部１０が受信した画像フレームをデコードして、画像データを生成する。デコード部４２は、デコードして生成した画像データを順次バッファ部４３に格納する。
【００３９】
バッファ部４３は、映像再生装置２００に表示する画像データを格納する。バッファ部４３は、所定の数の画像データを格納することが可能であり、画質変更部４４での処理が終了した画面データはバッファ部４３から削除され、デコード部４２から新たな画像データが格納される。
【００４０】
画質変更部４４は、バッファ部４３に格納された複数の画像データの主観画質推定値に基づいて、画質を変更する。具体的には、画質変更部４４は、第１画像データの第１主観画質と第２画像データの第２主観画質との画質差に基づいて、第１画像データ又は第２画像データの画質を変更する。画質変更部４４は、例えば、画質差が所定値よりも大きい場合に、第１画像データ又は第２画像データの画質を変更する。画質変更部４４は、例えば、第１主観画質が第２主観画質よりも良い場合に、第１画像データの画質を、第１主観画質と第２主観画質との間の画質に変更する。このようにすることで、画質変更部４４は、画質が急激に変化した場合に、ユーザが画質の変化に気付きにくいように画質を変更することができる。
【００４１】
出力部４５は、画質変更部４４が画質を変更した後の画像データを映像再生装置２００へと出力する。出力部４５は、例えば、映像再生装置２００に画像データを送信するための無線通信インターフェイスを有している。
【００４２】
［画質の変更方法］
以下、画質変更部４４により実行される画質の変更方法の詳細について説明する。
図３は、画像データが劣化した場合の画質変更部４４の動作について説明するための図である。図３（ａ）は、画像データ１から画像データ１１までがバッファ部４３に格納されていることを示している。画像データ１が最初にバッファ部４３に格納され、画像データ１１が最後にバッファ部４３に格納されており、画像データ１は出力部４５が出力する直前の状態になっている。
【００４３】
推定部４１により算出された画像データ１〜画像データ１０の主観画質推定値は１００であり、画像データ１１の主観画質推定値は５０である。図３においては、主観画質推定値が大きいほど画質が良く、図３（ｂ）に示すように、画像データ１０と画像データ１１との間で、画質が急激に変化している。ユーザが、主観画質推定値が１００の画像データ１０と、主観画質推定値が５０の画像データ１１とを連続して視認すると、画質が急激に劣化したことを知覚してしまう。そこで、画質変更部４４は、画像データの画質が所定の画質差よりも大きく劣化した場合、図３（ｃ）に示すように、画像データ１から画像データ１１までの間に緩やかに画質が劣化するように、映像再生装置２００において再生される画像データの画質を制御する。
【００４４】
具体的には、画質変更部４４は、以下の手順により画質を制御する。
まず、画質変更部４４は、画像データ１０の主観画質推定値と画像データ１１の主観画質推定値との差が所定値（例えば２０）よりも大きい５０であることを検出すると、画質が変化する直前の第１画像データとして画像データ１０を特定し、画質が変化した直後の第２画像データとして画像データ１１を特定する。そして、画質変更部４４は、画像データ１１が再生されるまでの時間に基づいて定められる画質に、バッファ部４３に格納されている画像データの画質を変更する。画質変更部４４は、画像データ１１が再生されるまでの時間が長ければ長いほど、緩やかに画質が変化するように画像データの画質を変更する。なお、画質変更部４４は、画像データ１１が再生されるまでの時間を用いる代わりに、バッファ部４３に格納されている画像データの数に基づいて画像データの画質を変更してもよい。
【００４５】
画質変更部４４は、画質変更データベース３０を参照することにより、バッファ部４３に格納されている各画像データの変更後の画質を決定する。
図４は、画質変更データベース３０が格納している画質変更テーブルの一例を示す図である。画質変更データベース３０においては、第１画像データの主観画質推定値と、第２画像データの主観画質推定値と、第２画像データが再生されるまでの時間と、変更後の主観画質推定値とが関連付けられている。第２画像データが再生されるまでの時間は、本例においては、第２画像データがバッファ部４３に格納された時点でバッファ部４３に格納されている画像データの数により表している。
【００４６】
画質変更部４４は、画質変更データベース３０を参照し、第１画像データ（画像データ１０）の主観画質推定値と、第２画像データ（画像データ１１）の主観画質推定値と、第２画像データが再生されるまでの時間と、に基づいて、第２画像データよりも前にバッファ部４３に格納された画像データの変更後の主観画質推定値を特定する。画質変更部４４は、各画像データの主観画質が、特定した主観画質推定値になるように画質を変更する。
【００４７】
図３に示す例の場合、画質変更部４４は、第１画像データの第１主観画質推定値が１００、第２画像データの第２主観画質推定値が５０、再生までの時間が１０であるので、画質変更データベース３０を参照することにより、画像データ１から画像データ１０までの主観画質推定値を、それぞれ１００、９５、９０、８５、８０、７５、７０、６５、６０、５５にすればよいことを特定する。画質変更部４４は、画像データ１から画像データ１０までの主観画質推定値を、１００、９５、９０、８５、８０、７５、７０、６５、６０、５５にした後に、それぞれの画像データを順次出力部４５へと出力する。このように、画質変更部４４が、第１画像データより前に取得された第１主観画質の複数の画像データの画質を、第１主観画質から第２主観画質に段階的に近づくように変更することで、映像再生装置２００は、図３（ｃ）に示されるように緩やかに画質が変化する映像を再生することができる。
【００４８】
上記の説明においては、画質変更部４４が、隣接する画像データ間の画質の差が一定値になるように画質を変更する例について説明したが、これに限らない。図５に示すように、画質変更部４４は、図３に示した例よりも緩やかに画質が変化するように、画質の変化が開始してから所定の期間、及び画質の変化が終了する前の所定の期間における画質の変化量を、その他の期間における画質の変化量よりも小さくしてもよい。
【００４９】
図６は、画像データが改善した場合の画質変更部４４の動作について説明するための図である。画質変更部４４は、画質が変化した後の第２画像データの第２主観画質が、画質が変化する前の第１画像データの第１主観画質よりも良い場合に、第２画像データの画質を、第１主観画質と第２主観画質との間の画質に変更する。画質変更部４４は、例えば、第２画像データより後に受信された第２主観画質の複数の画像データの画質を、第２主観画質から第１主観画質に段階的に近づくように変更する。
【００５０】
図６に示す例においては、第１画像データに対応する画像データ１の主観画質推定値が５０であり、第２画像データに対応する画像データ２の主観画質推定値が１００である。画質変更部４４は、このように、画像データの画質が所定の画質差よりも大きく改善した場合、画像データ１から画像データ１１までの間に緩やかに画質が改善するように、映像再生装置２００において再生される画像データの画質を制御する。
【００５１】
図６に示す例の場合、画質変更部４４は、画像データ２から所定の数の画像データの画質を、主観画質推定値が直前の画像データの画質よりも５ずつ良くなるように劣化させている。画質変更部４４は、例えば、第１主観画質と第２主観画質との画質差に基づいて定められた変化量だけ、隣接する画像データ間の画質が変化するように、各画像データの画質を変更する。この場合、画質変更部４４は、画質差が大きければ大きいほど、長い時間にわたって、画像データの画質を変更する。画質変更部４４は、画質を変更する期間を予め定めておき、画質差を当該期間で除算することにより、隣接する画像データ間の画質の変化量を決定してもよい。
【００５２】
画質変更部４４が画質を変更する方法は任意であるが、例えば、主観画質推定値が高い画像データをフィルタリングすることにより、画質を劣化させることができる。この場合、画質変更部４４は、画質変更データベース３０を参照して特定した主観画質推定値に対応する強度のフィルタを用いて画像データをフィルタリングする。なお、画質変更データベース３０が、主観画質推定値を記憶する代わりに、画質変更部４４が使用するフィルタの強度を記憶しておき、画質変更部４４は、画質変更データベース３０から読み出した強度にフィルタの強度を設定してもよい。
【００５３】
画質変更部４４は、画質を劣化させるフィルタとして、例えば、フィルタサイズ及び標準偏差を用いてフィルタの強度を調整可能なガウシアンフィルタを使用する。ガウシアンフィルタは、以下の式により表される。
【数５】
2017028622.tif 000007
ここで、hg( )は、処理対象の画像データに対して畳み込む関数、σは、フィルタの特性を定める標準偏差である。ただし、標準偏差を調整するだけでは、畳み込みフィルタ内の総和が１未満となり、画質を変更する前の画像よりも彩度が低下する場合があるので、画質変更部４４は、ガウス分布の総和が１になるようにしてもよい。
【００５４】
画質変更部４４がガウシアンフィルタを用いる場合、画質変更データベース３０は、第１主観画質推定値、第２主観画質推定値、及び再生までの時間に関連付けて、フィルタサイズ及び標準偏差を記憶していてもよい。画質変更部４４は、画質変更データベース３０から読み出したフィルタサイズ及び標準偏差に対応するガウシアンフィルタを用いて画質を変更することができる。
【００５５】
ガウシアンフィルタは、フィルタリングを複数回繰り返して平滑化の度合いを調整する方法に比べて処理時間を短縮することができる。ただし、画質変更部４４は、フィルタとして移動平均フィルタを用いてもよい。この場合、画質変更データベース３０が、第１主観画質推定値、第２主観画質推定値、及び再生までの時間に関連付けて、フィルタリング回数を保持していてもよい。
【００５６】
なお、上記の説明において、画質変更部４４は、バッファ部４３に格納されている画像データの画質を変更するものとして説明したが、画質を変更する対象となる画像データが再生されるまでの時間が短い場合には、そのような画像データの画質を変更しなくてもよい。例えば、画質変更部４４は、画質が変化した直後の第２画像データが再生されるまでの時間が所定の時間よりも短い場合に、画質の変更をしないでもよい。また、画質変更部４４は、バッファ部４３に格納されている複数の画像データのうち、再生されるまでの時間が所定の時間よりも短い画像データの画質の変更をせず、再生されるまでの時間が所定の時間以上の画像データに限定して画質の変更をしてもよい。
【００５７】
また、上記の説明において、画質変更部４４は、画質変更データベース３０を参照して画質を変更するものとしたが、画質変更部４４は、画質変更データベース３０を参照することなく画質を変更してもよい。例えば、画質変更部４４は、第１主観画質推定値と第２主観画質推定値との差分値を、再生されるまでの時間で除算して、隣接する画像データ間で劣化させる度合いを決定することもできる。図３に示した例の場合、差分値が５０であり、再生するまでの時間が１０であるので、画質変更部４４は、隣接する画像データ間の主観画質推定値の差が５になるように決定することができる。
【００５８】
なお、図１におけるネットワークＮの帯域に十分な余裕がある場合、推定部４１は、第２画像データを取得するビットレートの種類を選択するタイミングより前に、異なるビットレートそれぞれの第２画像データの第２主観画質推定値を求めておいてもよい。そして、画質変更部４４は、急激な通信品質の変動が発生した際には、予め求めていた第２主観画質推定値を利用して速やかに画質を変更してもよい。
【００５９】
［画質変更処理のフローチャート］
図７は、画質制御装置１００における画質変更処理のフローチャートである。
まず、受信部１０が画像フレームを取得すると（Ｓ１１）、推定部４１は、画像フレームに基づく画像データの主観画質を推定して、推定した結果を記憶部２０に格納する（Ｓ１２）。Ｓ１２の処理と並行して、デコード部４２は、画像データをデコードして、デコード後の画像データをバッファ部４３に格納する（Ｓ１３）。
【００６０】
続いて、画質変更部４４は、隣接する画像データ間の画質差を算出し（Ｓ１４）、画質差を所定の閾値と比較する（Ｓ１５）。画質変更部４４は、画質差が閾値よりも大きい場合（Ｓ１５においてＹＥＳ）、Ｓ１６に進んで画質の変更処理を行い、画質差が所定の閾値以下である場合に、画質の変更処理をすることなくＳ１９に進む。
【００６１】
画質変更部４４は、画質差が所定の閾値よりも大きい場合（Ｓ１５においてＮＯ）、画質差が所定の閾値よりも大きいことを検出した画像データが再生されるまでの時間を特定する（Ｓ１６）。画質変更部４４は、例えばバッファ部４３に格納されている画像データの数を参照することにより、画像データが再生されるまでの時間を特定できるが、予め記憶部２０に記憶された固定の時間を、画像データが再生されるまでの時間として特定してもよい。
【００６２】
続いて、画質変更部４４は、画質変更データベース３０を参照して、バッファ部４３に格納されている画像データの画質をどのように変更するかを特定する（Ｓ１７）。そして、バッファ部４３に格納されている画質データの画質が、特定した画質になるように画像処理を施して、画質を変更する（Ｓ１８）。その後、出力部４５は、画質変更部４４が画質を変更した画像データ、又は画質変更部４４が画質を変更する前の画像データを出力することにより、映像が再生される（Ｓ１９）。
【００６３】
以上説明したように、第１の実施形態に係る画質制御装置１００においては、推定部４１が、画質が劣化する直前の第１画像データの第１主観画質、及び画質が劣化した直後の第２画像データの第２主観画質を推定し、画質変更部４４が、第１主観画質と第２主観画質との画質差に基づいて、第１画像データを含む、画質が劣化する直前の画像データの画質を、第１主観画質と第２主観画質との間の画質になるように劣化させる。このようにすることで、画質制御装置１００は、画質を緩やかに劣化させることができるので、ユーザが、画質が劣化したことに気付きにくくすることができる。
【００６４】
また、本実施形態のように、受信した映像データがデコードされた後に画質変更部４４が画質を変更する場合、既存のデコーダを用いつつ、画質を緩やかに変化させることができるので、実装を容易にするという点で好適である。
【００６５】
＜第２の実施形態＞
図８は、第２の実施形態に係る画質制御装置１００の構成を示す図である。本実施形態に係る画質制御装置１００は、デコード部４２が画質変更部４４を含んでいる点で、第１の実施形態に係る画質制御装置１００と異なる。
【００６６】
本実施形態における画質変更部４４は、第１の実施形態における画質変更部４４と同様に、推定部４１が算出した主観画質推定値に基づいて、画質を変更する対象となる画像フレームを特定する。そして、画質変更部４４は、画像フレームに含まれる画像データの交流成分（ＡＣ成分）を除去することにより、画質を変更する。具体的には、画質変更部４４は、受信部１０が受信した映像データに含まれる画像フレームにおける直交変換係数の交流成分を、高周波成分から順に、画質を劣化させる度合いに対応する量だけ除去することにより、画質を変更する。画質変更部４４は、画質変更データベース３０を参照して変更後の主観画質推定値を特定し、特定した主観画質推定値に対応する割合の高周波成分を除去する。画質変更データベース３０が、第１主観画質推定値及び第２主観画質推定値に関連付けて、高周波成分を除去する割合を示す値を保持していてもよい。
【００６７】
なお、画質変更部４４は、画質を変更する対象となる画像フレームのうち、Ｉフレームに限定して画質を変更してもよい。また、画質変更部４４は、画質を変更したＩフレームの後続のＰフレーム及びＢフレームに対して、画質を変更したＩフレームにおいて除去した高周波成分と同じ高周波成分の直交変換係数を除去してもよい。
【００６８】
また、画質変更部４４は、画質変更データベース３０を用いることなく、高画質側の画像フレームにおける全直交変換係数の数に対する０以外の直交変換係数の数（以下、「直交変換係数の第１存在割合」という）から、低画質側の画像フレームにおける全直交変換係数の数に対する０以外の直交変換係数の数（以下、「直交変換係数の第２存在割合」という）との差分に基づいて、直交変換係数を除去する数を決定してもよい。
【００６９】
例えば、画質変更部４４は、第１存在割合と第２存在割合との差分値を算出し、画質が劣化した後の画像フレームが再生されるまでの時間において、直交変換係数の存在割合が第１存在割合から第２存在割合に変化するように、画質が劣化する前の画像データの高周波成分を除去する。また、画質変更部４４は、画像が改善した場合、画像が改善してから所定の期間にわたって、画像フレームごとに所定の数ずつ直交変換係数の存在割合が増加するように、高周波成分を除去する割合を決定する。
【００７０】
以上説明したように、第２の実施形態に係る画質制御装置１００においては、デコード部４２が画質変更部４４を含んでおり、デコード処理と同じタイミングで逐次的に画質を制御する。このようにすることで、デコードが終了した後に画質を変更する場合に比べて、処理速度が向上する。
【００７１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【００７２】
例えば、上記の説明においては、画質変更データベース３０が、画質が変化した後の画像データが再生されるまでの時間に関連付けて、変更後の主観画質推定値を保持し、画質変更部４４が、画質が変化した後の画像データが再生されるまでの時間に基づいて、画質を変更したが、これに限らない。画質変更部４４は、画質が変化した後の画像データが再生されるまでの時間によらず、同じ条件で画質を変更してもよい。
【００７３】
また、上記の説明においては、本発明が適用されるケースとしてＶＯＤで配信される映像のビットレートが変化する場合を例示したが、本発明の適用範囲はＶＯＤの場合に限定されない。例えば、ハイブリッドキャストのサービスにおいて、放送用のストリームから通信用のストリームに切り替わる場合、高解像度のストリームが低解像度のストリームに切り替わる場合、残差係数が大きいストリームが残差係数の小さいストリームに切り替わる場合等、さまざまな場合に適用可能である。
【符号の説明】
【００７４】
１０  受信部
２０  記憶部
３０  画質変更データベース
４０  制御部
４１  推定部
４２  デコード部
４３  バッファ部
４４  画質変更部
４５  出力部
１００  画質制御装置
２００  映像再生装置
３００  映像配信装置
【図１】
2017028622.tif 000008
【図２】
2017028622.tif 000009
【図３】
2017028622.tif 000010
【図４】
2017028622.tif 000011
【図５】
2017028622.tif 000012
【図６】
2017028622.tif 000013
【図７】
2017028622.tif 000014
【図８】
2017028622.tif 000015