(57)【要約】      （修正有）【課題】動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定する。【解決手段】トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、差分画素情報の特徴量を算出するフレーム特徴量算出部と、映像コンテンツの各フレームに関して算出された特徴量に基づいて、１つの特徴量を算出する動き補償特徴量算出部１と、映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部４と、１つの特徴量と、指標とに基づいて、トランスコード前後の品質差の推定値を算出する品質差推定部５と、を有する。【選択図】図２
2017005344.tif 000002
【特許請求の範囲】
【請求項１】
トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、
前記差分画素情報の特徴量を算出するフレーム特徴量算出部と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する動き補償特徴量算出部と、
前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部と、
前記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定部と、
を有することを特徴とする映像品質差推定装置。
【請求項２】
前記差分生成部は、前記フレームを一定区画ごとに分割することで形成されるブロックごとに、前後のフレーム間の動きベクトルを探索する動きベクトル探索部を有し、前記ブロックごとに、前後のフレームについて当該ブロックに係る動きベクトル分だけ画素をずらした状態における当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成し、
前記フレーム特徴量算出部は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項１記載の映像品質差推定装置。
【請求項３】
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、空間的な特徴量を算出する空間的特徴量算出部と、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、時間的な特徴量を算出する時間的特徴量算出部とを有し、
前記品質差推定部は、記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標と、前記空間的な特徴量と、前記時間的な特徴量とに基づいて、前記トランスコード前後の品質差の推定値を算出する、
ことを特徴とする請求項1又は２記載の映像品質差推定装置。
【請求項４】
前記指標算出部は、トランスコード前後のフレーム画素情報に基づき品質差を示す指標を算出する、
ことを特徴とする請求項1乃至３いずれか一項記載の映像品質差推定装置。
【請求項５】
コンピュータが、
トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成手順と、
前記差分画素情報の特徴量を算出するフレーム特徴量算出手順と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する動き補償特徴量算出手順と、
前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出手順と、
前記動き補償特徴量算出手順において算出された特徴量と、前記指標算出手順において算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定手順と、
を実行することを特徴とする映像品質差推定方法。
【請求項６】
前記差分生成手順は、前記フレームを一定区画ごとに分割することで形成されるブロックごとに、前後のフレーム間の動きベクトルを探索する動きベクトル探索部を有し、前記ブロックごとに、前後のフレームについて当該ブロックに係る動きベクトル分だけ画素をずらした状態における当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成し、
前記フレーム特徴量算出手順は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項５記載の映像品質差推定方法。
【請求項７】
前記コンピュータが、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、空間的な特徴量を算出する空間的特徴量算出手順と、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、時間的な特徴量を算出する時間的特徴量算出手順とを実行し、
前記品質差推定手順は、記動き補償特徴量算出手順において算出された特徴量と、前記指標算出手順において算出された指標と、前記空間的な特徴量と、前記時間的な特徴量とに基づいて、前記トランスコード前後の品質差の推定値を算出する、
ことを特徴とする請求項５又は６記載の映像品質差推定方法。
【請求項８】
コンピュータを、請求項１乃至４いずれか一項記載の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像品質差推定装置、映像品質差推定方法、及びプログラムに関する。
【背景技術】
【０００２】
光回線、３Ｇ回線、ＬＴＥ（Long Term Evolution）、無線ＬＡＮ（Local Area Network）などのネットワーク環境を用いた映像配信サービスが近年急速に普及しており、特に無線通信における映像通信のトラヒック量は、急増すると予測されている。ネットワーク環境では、一度に通信処理できるデータ量に上限があるため、多くのトラヒックが発生すると、ネットワーク回線の輻輳が起きる。輻輳が起きると、通信が中断されたり、速度が十分に確保できずにユーザが通信サービスの利用にストレスを感じたりするため、ユーザの満足度が低下する。輻輳を回避するための対策の一つとして映像データを再圧縮するトランスコード技術が研究開発されている。しかし、トランスコードにより映像データ量を削減すると、画質が低下し、ユーザ体感品質（ＱｏＥ：Quality of Experience）が低下する。
【０００３】
快適なＱｏＥでサービスを提供するためには、ＱｏＥを定量化（評価）して品質の変動を監視し、ネットワーク設備への投資に反映させたり、トラヒックを制御したりする必要がある。特にユーザが映像コンテンツを作成し共有するサービスでは、トランスコード前の映像でも品質が低い場合があり、この場合にはトランスコードによる圧縮率を下げ、ほとんど映像データを削減しなくても、もともとの映像品質が低いため、トランスコード後の映像品質も低くなってしまう。このため、トランスコード後の映像品質のみでは、トランスコード映像に対する品質監視・管理を適切に行えない。従って、トランスコードに対する品質監視・管理では、トランスコード前後の映像品質の差を把握することが重要である。トランスコード映像に対する品質監視・管理の具体例としては、トランスコード前後の映像の品質差がある一定量を超えていないかを監視したり、映像品質差がある一定量より小さくなるようにトランスコーダの圧縮率を設定して、運用したりすることが考えられる。
【０００４】
ＱｏＥは、ユーザが映像視聴時に体感する品質を主観的に評価した値が基本となる。しかし、主観品質評価では、評価者が映像を視聴して体感品質を評価しなければならないため、時間的、金銭的なコストの制約から評価できる映像コンテンツの数が限られる。そのため、サービス運用時の品質管理には、映像信号やパケットのヘッダ等の測定可能な物理的なパラメータからＱｏＥを推定する客観品質評価が用いられる。特にトランスコード映像に対する品質監視・管理のためには、トランスコード前の映像に対するＱｏＥと、トランスコード後の映像に対するＱｏＥとの差を推定する客観評価技術が求められる。
【０００５】
品質の劣化が生じる前後の映像信号を比較して客観品質評価する代表的なものとして、ＰＳＮＲ（Peak signal-to-noise ratio）やＳＳＩＭ（Structural SIMilarity）がある（非特許文献１）。しかし、ＰＳＮＲやＳＳＩＭとＱｏＥの差との関係（回帰直線の係数）は、映像コンテンツに依存するため、ＰＳＮＲやＳＳＩＭ等を用いて高精度にＱｏＥの差の推定を実現するためには、映像コンテンツの特徴を考慮する必要がある。映像コンテンツの特徴を表す指標である映像特徴量として、非特許文献２で定義されている、映像の空間的な特徴量ＳＩと時間的な特徴量ＴＩがよく知られている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Trans. Image Process, vol. 13, no. 4, pp. 600-612, Apr. 2004.
【非特許文献２】ITU-T Rec. P.910, "Subjective video quality assessment methods for multimedia applications," Apr. 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＳＳＩＭ等の品質差指標の変化に対するＱｏＥの差の変動は、映像コンテンツ毎の符号化の困難性（符号化による品質劣化の生じやすさ）に依存するため、映像の符号化によって生じる品質劣化を高精度に推定するためには、映像コンテンツ毎の符号化の困難性を考慮する必要がある。
【０００８】
非特許文献２に記載されている映像特徴量は、空間的な複雑さと時間的な複雑さを表すことができ、それらの組み合わせによって映像の複雑さ（符号化の困難性）をある程度推定可能であるが、現在普及している映像符号化方式（例えば、Ｈ．２６４／ＡＶＣ）では、動き補償と呼ばれる技術によってデータの圧縮を行っており、ＳＩ、ＴＩは、この動き補償を用いる方式の符号化困難性を捉えられていない。
【０００９】
例えば、道路を定点カメラで撮影した映像を考えると、道路等の背景はほとんど変化せず、車や人等の動きが各フレームの違いとなる。動き補償では、背景部分に対しては、前後のフレームのその箇所の画素を参照して差分画像を生成し、それを圧縮する。車や人等のオブジェクトに対しては、その動きの方向・速さ（動きベクトル）を探索し、移動元（又は移動先）の画素を参照して差分画像を生成し、それを圧縮する。ＳＩは、背景が複雑かどうか（多数の葉を持つ木々が映っているか等）を表すが、動き補償による圧縮では前後のフレームを参照するため、背景の複雑さは大きな影響を与えない。ＴＩは、オブジェクトの大きさ、数、移動速度等を表すが、この値が大きくても動きベクトルが正しく発見可能な場合には、動き補償による圧縮によって効率的に圧縮できる。このように、既存の映像特徴量では、現在の符号化方式の符号化困難性を十分に捉えられていない。
【００１０】
本発明は、上記の点に鑑みてなされたものであって、動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定することを目的とする。
【課題を解決するための手段】
【００１１】
そこで上記課題を解決するため、映像品質差推定装置は、トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、前記差分画素情報の特徴量を算出するフレーム特徴量算出部と、前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する動き補償特徴量算出部と、前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部と、前記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定部と、を有する。
【発明の効果】
【００１２】
動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態における映像品質差推定装置のハードウェア構成例を示す図である。
【図２】本発明の実施の形態における映像品質差推定装置の機能構成例を示す図である。
【図３】動き補償特徴量算出部の構成例を示す図である。
【図４】映像品質差推定処理の処理手順の一例を説明するためのフローチャートである。
【図５】動き補償特徴量算出処理の処理手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における映像品質差推定装置のハードウェア構成例を示す図である。図１の映像品質差推定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００１５】
映像品質差推定装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１６】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って映像品質差推定装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００１７】
図２は、本発明の実施の形態における映像品質差推定装置の機能構成例を示す図である。図２において、映像品質差推定装置１０は、動き補償特徴量算出部１、空間的特徴量算出部２、時間的特徴量算出部３、品質差指標算出部４、及び映像品質差推定部５を有する。
【００１８】
動き補償特徴量算出部１には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。当該映像コンテンツのデータ形式は、所定の形式に限定されない。動き補償特徴量算出部１は、当該映像コンテンツについて、符号化の困難性を表す指標として用いられる動き補償特徴量σを算出する。
【００１９】
図３は、動き補償特徴量算出部の構成例を示す図である。図３において、動き補償特徴量算出部１は、ブロック分割部１２、差分画像生成部１３、ブロック統合部１５、フレーム特徴量算出部１６、及び特徴量算出部１７等を有する。動き補償特徴量算出部１は、また、画素情報記憶部１１及びフレーム特徴量記憶部１８を有する。画素情報記憶部１１及びフレーム特徴量記憶部１８は、例えば、メモリ装置１０３又は補助記憶装置１０２等を用いて実現可能である。
【００２０】
画素情報記憶部１１は、入力されるトランスコード前のフレームの画素情報（以下、「トランスコード前フレーム画素情報Ｆｎ」という。）を記憶し、一つ前のトランスコード前フレーム画素情報（過去画素情報）Ｆｎ−１を、差分画像生成部１３へ入力する。フレームの画素情報とは、例えば、当該フレームの画素ごとの輝度信号Ｙ、色差信号Ｕ、Ｖ等である。人間は、色差信号の変化よりも輝度信号の変化に敏感であるため、映像品質の分野では主に輝度信号が用いられる。
【００２１】
ブロック分割部１２は、入力されるトランスコード前フレーム画素情報Ｆｎをブロックに分割し、ブロック画素情報Ｂｎ，ｉとして差分画像生成部１３へ入力する。ブロックとは、フレームを一定区画ごとに分割することで形成される単位をいう。ブロックのサイズは、通常１６×１６であるが、８×８、４×４、３２×３２、又は６４×６４が用いられることもある。以下、ブロックのサイズは１６×１６を想定して記載するが、他のサイズが用いられてもよい。なお、フレームの縦及び横の少なくともいずれか一方の画素数が、１６の倍数でない場合、一部のブロックのサイズは、１６×１６でなくてもよい。
【００２２】
差分画像生成部１３は、映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す情報を生成する。ここで、フレーム内の映像の動きは、１方向に限られない。フレーム内において複数の部分に動きがある場合、それぞれの部分の移動方向が同じであるとは限らないからである。そこで、差分画像生成部１３は、入力される過去画素情報Ｆｎ−１とブロック画素情報Ｂｎ，ｉとに基づいて、ブロックごとにブロック差分画素情報ＤＢｎ，ｉを算出し、各ブロック差分画素情報ＤＢｎ，ｉをブロック統合部１５へ入力する。具体的には、フレーム内の位置ｘ、ｙの画素値をＦｎ−１（ｘ，ｙ）とし、ブロック内の位置ｘ、ｙの画素値をＢｎ，ｉ（ｘ，ｙ）で表すとすると、差分画像生成部１３に含まれる動きベクトル探索部１４は、以下の式（１）が最小となるｘ、ｙを、ブロックごとに求める。
【００２３】
【数１】
2017005344.tif 000003
式（１）が最小となるようなｘ、ｙを探すことを、動きベクトル探索という。この例では、動きベクトルの精度は１ｐｉｘｅｌであるが、フィルタを用いることで１／２ｐｉｘｅｌや１／４ｐｉｘｅｌ単位で動きベクトルを探索することもできる。
【００２４】
差分画像生成部１３は、動きベクトル探索部１４によって探索されたｘ、ｙを用いて、以下の代入演算を実行して、ブロックごとにブロック差分画素情報ＤＢｎ，ｉを生成する。
ＤＢｎ，ｉ（ｊ，ｋ）＝Ｆｎ−１（ｘ＋ｊ，ｙ＋ｋ）−Ｂｎ，ｉ（ｊ，ｋ）
ここで、ｊ＝１、２、…、１６、ｋ＝１、２、…、１６
すなわち、ここでの「＝」は、代入を意味する。つまり、Ｆｎ−１（ｘ＋ｊ，ｙ＋ｋ）−Ｂｎ，ｉ（ｊ，ｋ）の算出結果が、ＤＢｎ，ｉ（ｊ，ｋ）に代入されることで、ブロック差分画素情報ＤＢｎ，ｉが生成される。また、ｘ、ｙの値は、当該ブロックに関して探索された値が用いられる。生成された各ブロック差分画素情報ＤＢｎ，ｉは、ブロック統合部１５に入力される。
【００２５】
なお、（ｘ＋ｊ，ｙ＋ｋ）が、フレームの領域外とならないようにするために、０≦ｘ≦フレームの横幅（画素数）−１６、０≦ｙ≦フレームの横幅（画素数）−１６という制限が設けられてもよい。または、ｘ、ｙの範囲をもう少し大きな値（−１６しないなど）にしたり、（フレームサイズが１６の倍数でなく）端数などで、フレームの領域外にアクセスする必要が有る場合には、例えば、領域外の画素値が０にされてもよいし、領域内においてアクセス先に最も近い画素（例えば、隣など）の画素値が参照されて、Ｆｎ−１（ｘ＋ｊ，ｙ＋ｋ）の値が決定されてもよい。
【００２６】
ブロック統合部１５は、入力された各ブロック差分画素情報ＤＢｎ，ｉを統合し、フレーム差分画素情報ＤＦｎを生成する。各ブロック差分画素情報ＤＢｎ，ｉの統合とは、各ブロック差分画素情報ＤＢｎ，ｉに係る各ブロックの相対的な位置関係が維持されるように各ブロック差分画素情報ＤＢｎ，ｉを配列して、１つのフレーム差分画素情報ＤＦｎを生成することをいう。生成されたフレーム差分画素情報ＤＦｎは、フレーム特徴量算出部１６に入力される。
【００２７】
フレーム特徴量算出部１６は、入力されたフレーム差分画素情報ＤＦｎからフレーム特徴量（ＤＦｎの各画素値の標準偏差）σｎを算出する。フレーム特徴量としては、フレーム差分画素情報ＤＦｎの標準偏差の他に、各画素値の分散や各画素値の二乗平均などが用いられてもよい。算出されたフレーム特徴量σｎは、特徴量算出部１７に入力される。
【００２８】
特徴量算出部１７は、入力されたフレーム特徴量σｎをフレーム特徴量記憶部１８に記憶する。特徴量算出部１７は、トランスコード前後の品質差の推定対象とされた映像コンテンツの全てのフレームのフレーム特徴量σｎがフレーム特徴量記憶部１８に記憶されると、全てのフレーム特徴量σｎに基づいて、１つの動き補償特徴量σを算出する。例えば、全てのフレーム特徴量σｎの平均値が、動き補償特徴量σとして算出される。
【００２９】
なお、動き補償特徴量σの算出に用いる画素情報としては、通常、輝度の情報が用いられるが、色差の信号やＲＧＢのいずれかの信号が用いられてもよく、また、それぞれｎお画素情報に基づいて計算された各動き補償特徴量を重みづけして合計した結果が、動き補償特徴量σとして算出されてもよい。
【００３０】
図２に戻る。空間的特徴量算出部２には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。空間的特徴量算出部２は、入力される各フレームのトランスコード前フレーム画素情報Ｆｎに基づいて、空間的な特徴量を算出する。例えば、非特許文献２に記載のＳＩが、空間的特徴量ＳＩとして算出されてもよい。非特許文献２では、フレーム毎の特徴量の最大値をＳＩとしているが、フレーム毎の特徴量の平均値が、空間的特徴量ＳＩとされてもよい。
【００３１】
時間的特徴量算出部３には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。時間的特徴量算出部３は、入力される各フレームのトランスコード前フレーム画素情報Ｆｎに基づいて、時間的な特徴量を算出する。例えば、非特許文献２に記載のＴＩが、時間的特徴量ＴＩとして算出されてもよい。非特許文献２では、フレーム毎の特徴量の最大値をＴＩとしているが、フレーム毎の特徴量の平均値が、時間的特徴量ＴＩとされてもよい。
【００３２】
品質差指標算出部４には、トランスコード前の映像コンテンツの各フレームと、トランスコード後の映像コンテンツの各フレームとが、その順番にしたがって連続的に入力される。品質差指標算出部４は、入力される各フレームのトランスコード前フレーム画素情報Ｆｎと、入力される各フレームのトランスコード後フレーム画素情報Ｆ'ｎとに基づいて、品質差指標を算出する。例えばＳＳＩＭが品質差指標として算出されてもよい。又は、ＰＳＮＲが、品質差指標とされてもよく、ＳＳＩＭとＰＳＮＲとの組み合わせが、品質差指標として算出されてもよい。
【００３３】
映像品質差推定部５は、入力された動き補償特徴量σと、空間的特徴量ＳＩと、時間的特徴量ＴＩと、品質差指標ＳＳＩＭとに基づいて、映像コンテンツのトランスコード前後の品質差の推定値である映像品質差ＤＭＯＳｐを算出する。例えば、以下の式（２）によって、映像品質差ＤＭＯＳｐが算出されてもよい。
ＤＭＯＳｐ＝（ｃ１・σ＋ｃ２・ＳＩ＋ｃ３・ＴＩ＋ｃ４）・（１−ＳＳＩＭ）  ・・・（２）
ここで、ｃ１〜ｃ４は定数であり、映像品質差推定装置１０の設計者が、主観品質評価実験により得られたデータ等に基づいて自由に決めることができる。
【００３４】
以下、映像品質差推定装置１０が実行する処理手順について説明する。図４は、映像品質差推定処理の処理手順の一例を説明するためのフローチャートである。
【００３５】
ステップＳ１−１において、動き補償特徴量算出部１は、映像品質差の推定対象の映像コンテンツ（以下、「対象コンテンツ」という。）について、動き補償特徴量σを算出する。
【００３６】
また、空間的特徴量算出部２は、トランスコード前フレーム画素情報Ｆｎの入力に応じて空間的特量ＳＩの算出のための処理手順を開始し、算出された空間的特徴量ＳＩを出力する（ステップＳ１−２）。
【００３７】
また、時間的特徴量算出部３は、トランスコード前フレーム画素情報Ｆｎの入力に応じて時間的特徴量ＴＩの算出のための処理手順を開始し、算出された時間的特徴量ＴＩを出力する（ステップＳ１−３）。
【００３８】
また、品質差指標算出部４は、トランスコード前フレーム画素情報Ｆｎとトランスコード後フレーム画素情報Ｆ'ｎとの入力に応じて、映像品質差指標ＳＳＩＭを出力する（ステップＳ１−４）。
【００３９】
続いて、映像品質差推定部５は、動き補償特徴量算出部１によって算出された動き補償特徴量σと、空間的特徴量算出部２によって算出された空間的特徴量ＳＩと、時間的特徴量算出部３によって算出された時間的特徴量ＴＩと、品質差指標算出部４によって算出された映像品質差指標ＳＳＩＭとに基づいて、映像品質差ＤＭＯＳｐを推定する（ステップＳ２）。
【００４０】
なお、空間的特徴量ＳＩ及び時間的特徴量ＴＩを用いずに、映像品質差ＤＭＯＳｐが推定されてもよい。
【００４１】
続いて、ステップＳ１−１の詳細について説明する。図５は、動き補償特徴量算出処理の処理手順の一例を説明するためのフローチャートである。動き補償特徴量算出部１は、対象コンテンツの最初のトランスコード前フレーム画素情報の入力に応じて、図５の処理手順を開始する。
【００４２】
最初のトランスコード前フレーム画素情報Ｆ１が入力されると、動き補償特徴量算出部１は、フレーム数をカウントするための変数ｎを初期化する（ステップＳ１０）。具体的には、変数ｎに０が代入される。続いて、動き補償特徴量算出部１は、変数ｎをインクリメント（変数ｎに１を加算）し、フレーム数をカウントする（ステップＳ１１）。また、画素情報記憶部１１は、入力されたトランスコード前フレーム画素情報Ｆ１を記憶する（ステップＳ１２）。
【００４３】
続いて、ブロック分割部１２は、変数ｎの値が１であるか否かを判定する（ステップＳ１３）。変数ｎが１であれば（ステップＳ１３でＹｅｓ）、Ｓ１１に戻る。この場合、次のトランスコード前フレーム画素情報Ｆ２が入力されると、ステップＳ１１以降が実行される。
【００４４】
変数ｎが１でない場合（ステップＳ１３でＮｏ）、ブロック分割部１２は、トランスコード前フレーム画素情報Ｆｎをブロックに分割し、ブロック画素情報Ｂｎ，ｉを生成する（ステップＳ１４）。
【００４５】
続いて、動きベクトル探索部１４は、トランスコード前フレーム画素情報Ｆｎを参照して、ブロック画素情報Ｂｎ，ｉの動きベクトルをブロックごとに探索する。差分画像生成部１３は、動きベクトルの探索結果に基づいて、ブロック差分画像情報ＤＢｎ，ｉをブロックごとに生成する（ステップＳ１５）。
【００４６】
続いて、ブロック統合部１５は、ブロックごとのブロック差分画素情報ＤＢｎ，ｉを統合し、フレーム差分画素情報ＤＦｎを生成する（ステップＳ１６）。
【００４７】
続いて、フレーム特徴量算出部１６は、フレーム差分画素情報ＤＦｎからフレーム特徴量σｎを算出する（ステップＳ１７）。算出されたフレーム特徴量σｎは、フレーム特徴量記憶部１８に記憶される（ステップＳ１８）。
【００４８】
対象コンテンツの全てのフレームが処理された場合にはステップＳ２０に進み、そうでない場合にはステップＳ１１以降が繰り返される（ステップＳ１９）。
【００４９】
ステップＳ２０において、特徴量算出部１７は、フレーム特徴量記憶部１８に記憶された各フレームのフレーム特徴量σｎに基づいて動き補償特徴量σを算出する（ステップＳ２０）。
【００５０】
次に、本実施の形態の効果を説明する。トランスコード前後の或る映像群に対して主観品質評価試験によって得られたＱｏＥの差（ＤＭＯＳ）と、本実施の形態による推定結果（ＤＭＯＳｐ）との相関係数（ＰＣＣ）は、０．８６であり、最小二乗平均誤差平方根（ＲＭＳＥ）は、０．１９であった。本実施の形態の特徴の一部である動き補償特徴量σを用いない場合（式（２）において、ｃ１が０の場合）のＰＣＣは、０．７９、ＲＭＳＥは、０．２６であり、動き補償特徴量σを用いた場合の方が精度よく品質差を推定できることを確認できた。
【００５１】
上述したように、本実施の形態によれば、映像符号化で利用されている動き補償を考慮することにより、ＱｏＥの観点に基づく映像符号化の困難性を表す特徴量を算出することができ、トランスコード前後の映像品質の差を高精度に推定可能となる。
【００５２】
なお、本実施の形態において、差分画像生成部１３は、差分生成部の一例である。品質差指標算出部４は、指標算出部の一例である。映像品質差推定部５は、品質差推定部の一例である。
【００５３】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５４】
１      動き補償特徴量算出部
２      空間的特徴量算出部
３      時間的特徴量算出部
４      品質差指標算出部
５      映像品質差推定部
１０      映像品質差推定装置
１１      画素情報記憶部
１２      ブロック分割部
１３      差分画像生成部
１４      動きベクトル探索部
１５      ブロック統合部
１６      フレーム特徴量算出部
１７      特徴量算出部
１８      フレーム特徴量記憶部
１００    ドライブ装置
１０１    記録媒体
１０２    補助記憶装置
１０３    メモリ装置
１０４    ＣＰＵ
１０５    インタフェース装置
Ｂ        バス
【図１】
2017005344.tif 000004
【図２】
2017005344.tif 000005
【図３】
2017005344.tif 000006
【図４】
2017005344.tif 000007
【図５】
2017005344.tif 000008