(57)【要約】【課題】映像について動き補償を考慮した特徴量を算出すること。【解決手段】映像特徴量算出装置は、映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、前記差分画素情報の特徴量を算出する第１の特徴量算出部と、前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する第２の特徴量算出部と、を有する。【選択図】図２
2017005342.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、
前記差分画素情報の特徴量を算出する第１の特徴量算出部と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する第２の特徴量算出部と、
を有することを特徴とする映像特徴量算出装置。
【請求項２】
前記画素情報は、輝度情報及び色差情報であり、
前記差分生成部は、前記フレームの各画素の輝度情報に関する第１の差分画素情報と、前記フレームの各画素の色差情報に関する第２の差分画素情報とを生成し、
前記第１の特徴量算出部は、前記第１の差分画素情報の特徴量である第１の特徴量と、前記第２の差分画素情報の特徴量である第２の特徴量とを算出し、
前記第２の特徴量算出部は、前記第１の特徴量及び前記第２の特徴量のそれぞれに関して、１つずつ特徴量を算出し、
前記第１の特徴量及び前記第２の特徴量のそれぞれに関して１つずつ算出された特徴量に基づいて、１つの特徴量を算出する第３の特徴量算出部を有する、
ことを特徴とする請求項１記載の映像特徴量算出装置。
【請求項３】
前記差分生成部は、前記フレームを一定区画ごとに分割することで形成されるブロックごとに、前後のフレーム間の動きベクトルを探索する動きベクトル探索部を有し、前記ブロックごとに、前後のフレームについて当該ブロックに係る動きベクトル分だけ画素をずらした状態における当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成し、
前記第１の特徴量算出部は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項１又は２記載の映像特徴量算出装置。
【請求項４】
コンピュータが、
映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成手順と、
前記差分画素情報の特徴量を算出する第１の特徴量算出手順と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する第２の特徴量算出手順と、
を実行することを特徴とする映像特徴量算出方法。
【請求項５】
前記画素情報は、輝度情報及び色差情報であり、
前記差分生成手順は、前記フレームの各画素の輝度情報に関する第１の差分画素情報と、前記フレームの各画素の色差情報に関する第２の差分画素情報とを生成し、
前記第１の特徴量算出手順は、前記第１の差分画素情報の特徴量である第１の特徴量と、前記第２の差分画素情報の特徴量である第２の特徴量とを算出し、
前記第２の特徴量算出手順は、前記第１の特徴量及び前記第２の特徴量のそれぞれに関して、１つずつ特徴量を算出し、
前記第１の特徴量及び前記第２の特徴量のそれぞれに関して１つずつ算出された特徴量に基づいて、１つの特徴量を算出する第３の特徴量算出手順を前記コンピュータが実行する、
ことを特徴とする請求項４記載の映像特徴量算出方法。
【請求項６】
前記フレームを一定区画ごとに分割することで形成されるブロックごとに、前後のフレーム間の動きベクトルを探索する動きベクトル探索手順を前記コンピュータが実行し、
前記差分生成手順は、前記ブロックごとに、前後のフレームについて当該ブロックに係る動きベクトル分だけ画素をずらした状態における当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成し、
前記第１の特徴量算出手順は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項４又は５記載の映像特徴量算出方法。
【請求項７】
請求項４乃至６いずれか一項記載の映像特徴量算出方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像特徴量算出装置、映像特徴量算出方法、及びプログラムに関する。
【背景技術】
【０００２】
光回線、３Ｇ回線、ＬＴＥ（Long Term Evolution）、無線ＬＡＮ（Local Area Network）などのネットワーク環境を用いた映像配信サービスが近年急速に普及しており、特に無線通信における映像通信のトラヒック量は、急増すると予測されている。これらのネットワーク環境では、一度に通信処理できるデータ量に上限があるため、多くのトラヒックが発生すると、ネットワーク回線の輻輳が起きる。輻輳が起きると、通信が中断されたり、通信速度が十分に確保できずにユーザが通信サービスの利用にストレスを感じたりするため、ユーザ体感品質（ＱｏＥ：Quality of Experience）が低下する。
【０００３】
快適なＱｏＥでサービスを提供するためには、ＱｏＥを定量化（評価）して映像品質の動向を監視し、ネットワーク設備への投資に反映させたり、トラヒックを制御したりする必要がある。ＱｏＥの評価には、ユーザが映像を視聴し体感した品質を評価する主観品質評価が基本となる。
【０００４】
主観品質評価では、評価者が映像を視聴してＱｏＥを評価しなければならないため、時間的、金銭的なコストの制約から評価できる映像コンテンツの数が限られる。そのため、評価対象の映像コンテンツを適切に選定することが重要である。例えば、符号化劣化を対象とした主観品質評価試験では、符号化が容易な（符号化劣化が生じにくい）映像コンテンツと符号化が困難な（符号化劣化が生じやすい）映像コンテンツとをバランスよく選定することが求められる。そのため、符号化の困難性を表す指標が必要とされる。
【０００５】
非特許文献１では、映像の空間的な特徴量ＳＩと時間的な特徴量ＴＩを定義しており、非特許文献２では、主観品質評価試験に用いる映像コンテンツが満たすべき条件としてＳＩ、ＴＩの範囲が記述されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ITU-T Rec. P.910, "Subjective video quality assessment methods for multimedia applications," Apr. 2008.
【非特許文献２】M. H. Pinson, K. S. Boyd, J. Hooker, and K. Muntean, "How to choose video sequences for video quality assessment," VPQM2013, Jun. 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１に記載されている映像特徴量は、空間的な複雑さと時間的な複雑さを表すことができ、それらの組み合わせによって映像の複雑さ（符号化の困難性）をある程度推定可能である。しかしながら、現在普及している映像符号化方式（例えばＨ．２６４／ＡＶＣ）では、動き補償と呼ばれる技術によってデータの圧縮を行っており、ＳＩ、ＴＩは、この動き補償を用いる方式の符号化困難性を捉えられていない。
【０００８】
例えば、道路を定点カメラで撮影した映像を考えると、道路等の背景はほとんど変化せず、車や人等の動きが各フレームの違いとなる。動き補償では、背景部分に対しては、前後のフレームのその箇所の画素を参照して差分画像を生成し、それを圧縮する。車や人等のオブジェクトに対しては、その動きの方向・速さ（動きベクトル）を探索し、移動元（又は移動先）の画素を参照して差分画像を生成し、それを圧縮する。ＳＩは、背景が複雑かどうか（多数の葉を持つ木々が映っているか等）を表すが、動き補償による圧縮では前後のフレームを参照するため、背景の複雑さは大きな影響を与えない。ＴＩは、オブジェクトの大きさ、数、移動速度等を表すが、この値が大きくても動きベクトルが正しく発見可能な場合には、動き補償による圧縮によって効率的に圧縮できる。このように、既存の映像特徴量では、現在の符号化方式の符号化困難性を十分に捉えられていない。
【０００９】
本発明は、上記の点に鑑みてなされたものであって、映像について動き補償を考慮した特徴量を算出することを目的とする。
【課題を解決するための手段】
【００１０】
そこで上記課題を解決するため、映像特徴量算出装置は、映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、前記差分画素情報の特徴量を算出する第１の特徴量算出部と、前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、１つの特徴量を算出する第２の特徴量算出部と、を有する。
【発明の効果】
【００１１】
映像について動き補償を考慮した特徴量を算出することができる。また、主観品質評価に用いる映像コンテンツの選定に役立てることができる．
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態における映像特徴量算出装置のハードウェア構成例を示す図である。
【図２】第１の実施の形態における映像特徴量算出装置の機能構成例を示す図である。
【図３】第１の実施の形態における映像特徴量算出装置が実行する処理手順の一例を説明するためのフローチャートである。
【図４】２つの映像コンテンツに対するビットレートとＭＯＳ（Mean Opinion Score）値の散布図である。
【図５】第１の実施の形態の効果を説明するための図である。
【図６】第２の実施の形態における映像特徴量算出装置の機能構成例を示す図である。
【図７】第２の実施の形態における映像特徴量算出装置が実行する処理手順の一例を説明するためのフローチャートである。
【図８】第２の実施の形態の効果を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における映像特徴量算出装置のハードウェア構成例を示す図である。図１の映像特徴量算出装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００１４】
映像特徴量算出装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１５】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って映像特徴量算出装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００１６】
図２は、第１の実施の形態における映像特徴量算出装置の機能構成例を示す図である。図２において、映像特徴量算出装置１０は、ブロック分割部１２、差分画像生成部１３、ブロック統合部１５、フレーム特徴量算出部１６、及び映像特徴量算出部１７等を有する。これら各部は、映像特徴量算出装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。映像特徴量算出装置１０は、また、画素情報記憶部１１及びフレーム特徴量記憶部１８を有する。画素情報記憶部１１及びフレーム特徴量記憶部１８は、例えば、メモリ装置１０３又は補助記憶装置１０２等を用いて実現可能である。
【００１７】
映像特徴量算出装置１０には、本実施の形態において符号化の困難性を表す指標として用いられる映像特徴量の算出対象とされる映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。当該映像コンテンツのデータ形式は、所定の形式に限定されない。
【００１８】
画素情報記憶部１１は、入力されるフレームの画素情報（以下、「フレーム画素情報Ｆｎ」という。）を記憶し、一つ前のフレーム画素情報（過去画素情報）Ｆｎ−１を、差分画像生成部１３へ入力する。フレームの画素情報とは、例えば、当該フレームの画素ごとの輝度信号Ｙ、色差信号Ｕ、Ｖ等である。人間は、色差信号の変化よりも輝度信号の変化に敏感であるため、映像品質の分野では主に輝度信号が用いられる。
【００１９】
ブロック分割部１２は、入力されるフレーム画素情報Ｆｎをブロックに分割し、ブロック画素情報Ｂｎ，ｉとして差分画像生成部１３へ入力する。ブロックとは、フレームを一定区画ごとに分割することで形成される単位をいう。ブロックのサイズは、通常１６×１６であるが、８×８、４×４、３２×３２、又は６４×６４が用いられることもある。以下、ブロックのサイズは１６×１６を想定して記載するが、他のサイズが用いられてもよい。なお、フレームの縦及び横の少なくともいずれか一方の画素数が、１６の倍数でない場合、一部のブロックのサイズは、１６×１６でなくてもよい。
【００２０】
差分画像生成部１３は、映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す情報を生成する。ここで、フレーム内の映像の動きは、１方向に限られない。フレーム内において複数の部分に動きがある場合、それぞれの部分の移動方向が同じであるとは限らないからである。そこで、差分画像生成部１３は、入力される過去画素情報Ｆｎ−１とブロック画素情報Ｂｎ，ｉとに基づいて、ブロックごとにブロック差分画素情報ＤＢｎ，ｉを算出し、各ブロック差分画素情報ＤＢｎ，ｉをブロック統合部１５へ入力する。具体的には、フレーム内の位置ｘ、ｙの画素値をＦｎ−１（ｘ，ｙ）とし、ブロック内の位置ｘ、ｙの画素値をＢｎ，ｉ（ｘ，ｙ）で表すとすると、差分画像生成部１３に含まれる動きベクトル探索部１４は、以下の式（１）が最小となるｘ、ｙを、ブロックごとに求める。
【００２１】
【数１】
2017005342.tif 000003
式（１）が最小となるようなｘ、ｙを探すことを、動きベクトル探索という。この例では、動きベクトルの精度は１ｐｉｘｅｌであるが、フィルタを用いることで１／２ｐｉｘｅｌや１／４ｐｉｘｅｌ単位で動きベクトルを探索することもできる。
【００２２】
差分画像生成部１３は、動きベクトル探索部１４によって探索されたｘ、ｙを用いて、以下の代入演算を実行して、ブロックごとにＤＢｎ，ｉを生成する。
ＤＢｎ，ｉ（ｊ，ｋ）＝Ｆｎ−１（ｘ＋ｊ，ｙ＋ｋ）−Ｂｎ，ｉ（ｊ，ｋ）
ここで、ｊ＝１、２、…、１６、ｋ＝１、２、…、１６
すなわち、ここでの「＝」は、代入を意味する。つまり、Ｆｎ−１（ｘ＋ｊ，ｙ＋ｋ）−Ｂｎ，ｉ（ｊ，ｋ）の算出結果が、ＤＢｎ，ｉ（ｊ，ｋ）に代入されることで、ブロック差分画素情報ＤＢｎ，ｉが生成される。また、ｘ、ｙの値は、当該ブロックに関して探索された値が用いられる。生成された各ブロック差分画素情報ＤＢｎ，ｉは、ブロック統合部１５に入力される。
【００２３】
なお、（ｘ＋ｊ，ｙ＋ｋ）が、フレームの領域外とならないようにするために、０≦ｘ≦フレームの横幅（画素数）−１６、０≦ｙ≦フレームの横幅（画素数）−１６という制限が設けられてもよい。または、ｘ、ｙの範囲をもう少し大きな値（−１６しないなど）にしたり、（フレームサイズが１６の倍数でなく）端数などで、フレームの領域外にアクセスする必要が有る場合には、例えば、領域外の画素値が０にされてもよいし、領域内においてアクセス先に最も近い画素（例えば、隣など）の画素値が参照されて、Ｆｎ−１（ｘ＋ｊ，ｙ＋ｋ）の値が決定されてもよい。
【００２４】
ブロック統合部１５は、入力された各ブロック差分画素情報ＤＢｎ，ｉを統合し、フレーム差分画素情報ＤＦｎを生成する。各ブロック差分画素情報ＤＢｎ，ｉの統合とは、各ブロック差分画素情報ＤＢｎ，ｉに係る各ブロックの相対的な位置関係が維持されるように各ブロック差分画素情報ＤＢｎ，ｉを配列して、１つのフレーム差分画素情報ＤＦｎを生成することをいう。生成されたフレーム差分画素情報ＤＦｎは、フレーム特徴量算出部１６に入力される。
【００２５】
フレーム特徴量算出部１６は、入力されたフレーム差分画素情報ＤＦｎからフレーム特徴量（フレーム差分画素情報ＤＦｎの各画素値の標準偏差）σｎを算出する。フレーム特徴量としては、フレーム差分画素情報ＤＦｎの標準偏差の他に、各画素値の分散や各画素値の二乗平均などが用いられてもよい。算出されたフレーム特徴量σｎは、映像特徴量算出部１７に入力される。
【００２６】
映像特徴量算出部１７は、入力されたフレーム特徴量σｎをフレーム特徴量記憶部１８に記憶する。映像特徴量算出部１７は、映像特徴量σの算出対象とされた映像コンテンツの全てのフレームのフレーム特徴量σｎがフレーム特徴量記憶部１８に記憶されると、全てのフレーム特徴量σｎに基づいて、１つの映像特徴量σを算出する。例えば、全てのフレーム特徴量σｎの平均値が、映像特徴量σとして算出される。
【００２７】
以下、映像特徴量算出装置１０が実行する処理手順について説明する。図３は、第１の実施の形態における映像特徴量算出装置が実行する処理手順の一例を説明するためのフローチャートである。映像特徴量算出装置１０は、処理対象の映像コンテンツ（以下、「対象コンテンツ」という。）の最初のフレーム画素情報の入力に応じて、図３の処理手順を開始する。
【００２８】
最初のフレーム画素情報Ｆ１が入力されると、映像特徴量算出装置１０は、フレーム数をカウントするための変数ｎを初期化する（ステップＳ１０）。具体的には、変数ｎに０が代入される。続いて、映像特徴量算出装置１０は、変数ｎをインクリメント（変数ｎに１を加算）し、フレーム数をカウントする（ステップＳ１１）。また、画素情報記憶部１１は、入力されたフレーム画素情報Ｆ１を記憶する（ステップＳ１２）。
【００２９】
続いて、ブロック分割部１２は、変数ｎの値が１であるか否かを判定する（ステップＳ１３）。変数ｎが１であれば（ステップＳ１３でＹｅｓ）、Ｓ１１に戻る。この場合、次のフレーム画素情報Ｆ２が入力されると、ステップＳ１１以降が実行される。
【００３０】
変数ｎが１でない場合（ステップＳ１３でＮｏ）、ブロック分割部１２は、フレーム画素情報Ｆｎをブロックに分割し、ブロック画素情報Ｂｎ，ｉを生成する（ステップＳ１４）。
【００３１】
続いて、動きベクトル探索部１４は、フレーム画素情報Ｆｎを参照して、ブロック画素情報Ｂｎ，ｉの動きベクトルをブロックごとに探索する。差分画像生成部１３は、動きベクトルの探索結果に基づいて、ブロック差分画像ＤＢｎ，ｉをブロックごとに生成する（ステップＳ１５）。
【００３２】
続いて、ブロック統合部１５は、ブロックごとのブロック差分画素情報ＤＢｎ，ｉを統合し、フレーム差分画素情報ＤＦｎを生成する（ステップＳ１６）。
【００３３】
続いて、フレーム特徴量算出部１６は、フレーム差分画素情報ＤＦｎからフレーム特徴量σｎを算出する（ステップＳ１７）。算出されたフレーム特徴量σｎは、フレーム特徴量記憶部１８に記憶される（ステップＳ１８）。
【００３４】
対象コンテンツの全てのフレームが処理された場合にはステップＳ２０に進み、そうでない場合にはステップＳ１１以降が繰り返される（ステップＳ１９）。
【００３５】
ステップＳ２０において、映像特徴量算出部１７は、フレーム特徴量記憶部１８に記憶された各フレームのフレーム特徴量σｎに基づいて映像特徴量σを算出し、算出結果を対象コンテンツの映像特徴量として出力する（ステップＳ２０）。出力方法は、表示装置への表示、ネットワークを介した送信、プリンタへの出力等、所定のものに限定されない。
【００３６】
次に、図４及び図５を用いて第１の実施の形態の効果を説明する。図４は、２つの映像コンテンツに対するビットレートとＭＯＳ（Mean Opinion Score）値の散布図である。
【００３７】
当該散布図における近似直線の傾き（ｘの係数ａ）は、映像コンテンツによって異なり、符号化が難しい映像コンテンツほど、傾き（係数ａ）が大きくなる。このため、符号化の困難性を表す指標として係数ａが適していることが分かるが、係数ａを導出するためには、主観品質評価試験によりＭＯＳ値を得なければならない。主観品質評価試験は人的・金銭的コストがかかるため、係数ａに近い映像特徴量を画素情報等の物理的な情報から算出できることが求められる。
【００３８】
図５は、第１の実施の形態の効果を説明するための図である。図５の左図は、係数ａをＳＩ、ＴＩで重回帰分析した結果であり、ＱｏＥに基づく映像コンテンツ毎の映像特徴量（係数ａ）を縦軸とし、ＳＩ、ＴＩの重回帰分析による推定結果を横軸にした散布図である。図５の右図は、ＱｏＥに基づく映像コンテンツ毎の映像特徴量（係数ａ）を縦軸とし、第１の実施の形態における映像特徴量σを横軸にした散布図である。なお、当該映像特徴量σは、各フレーム特徴量の標準偏差の平均である。
【００３９】
図５において、Ｒ２は、決定係数（寄与率）と呼ばれるもので、横軸の値と縦軸の値との線形的な関係の強さを表すものであり、１に近いほど、関係が強い（横軸の値で縦軸の値を推定できる）。図５に示されるように、第１の実施の形態により算出される映像特徴量σは、決定係数Ｒ２が、ＳＩ、ＴＩの重回帰分析のものより１に近い。したがって、当該映像特徴量σは、主観品質評価による符号化困難性の指標（係数ａ）に近いものであることがわかる。
【００４０】
上述したように、第１の実施の形態によれば、映像符号化で利用されている動き補償を考慮することにより、ＱｏＥの観点に基づく映像符号化の困難性を表す特徴量を算出することができる。その結果、例えば、主観品質評価に用いる映像コンテンツの選定に役立てることができる。
【００４１】
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
【００４２】
図６は、第２の実施の形態における映像特徴量算出装置の機能構成例を示す図である。図６において、映像特徴量算出装置２０は、特徴量算出部２１−１、２１−２、及び２１−３の３つの特徴量算出部２１と、映像特徴量統合部２２とを有する。これら各部は、映像特徴量算出装置２０にインストールされた１以上のプログラムが、映像特徴量算出装置２０のＣＰＵに実行させる処理により実現される。
【００４３】
各特徴量算出部２１は、第１の実施の形態における映像特徴量算出装置１０が有する機能構成を含む。したがって、各特徴量算出部２１には、映像コンテンツのフレーム画素情報が連続的に入力される。但し、各特徴量算出部２１に入力される画素情報は、相互に異なる。具体的には、特徴量算出部２１−１に入力されるフレーム画素情報は、輝度情報Ｙｎである。特徴量算出部２１−２に入力されるフレーム画素情報は、色差情報Ｕｎである。特徴量算出部２１−３に入力されるフレーム画素情報は、色差情報Ｖｎである。特徴量算出部２１−１、２１−２、及び２１−３のそれぞれは、図３において説明した処理を実行して、映像特徴量σＹ、σＵ、σＶを出力する。なお、映像特徴量算出装置２０は、必ずしも、３つの特徴量算出部２１を有していなくてもよい。例えば、１つの特徴量算出部２１が、３種類の画素情報に関して、映像特徴量σＹ、σＵ、σＶを出力してもよい。
【００４４】
映像特徴量統合部２２は、入力される映像特徴量σＹ、σＵ、及びσＶに基づいて、１つの統合映像特徴量σＹＵＶを算出し、統合映像特徴量σＹＵＶを第２の実施の形態における映像特徴量として出力する。統合映像特徴量σＹＵＶは、例えば、次のように算出される。
σＹＵＶ＝ｃ１・σＹ＋ｃ２・σＵ＋ｃ３・σＶ
ここで、ｃ１、ｃ２、ｃ３は、定数であり、設計者が自由に決めることができる。つまり、ｃ１、ｃ２、ｃ３は、設計者がいずれに重きを置くかに応じて、任意に決定されてよい。
【００４５】
図７は、第２の実施の形態における映像特徴量算出装置２０が実行する処理手順の一例を説明するためのフローチャートである。映像特徴量算出装置２０は、フレーム画素情報（輝度Ｙ、色差Ｕ、色差Ｖ）の入力に応じて、図７の手順を開始する。
【００４６】
ステップＳ２１−１、Ｓ２１−２、又はＳ２１−３において、特徴量算出部２１−１、２１−２、又は２１−３は、図３に示した手順で、映像特徴量σＹ、σＵ、σＶを算出する。
【００４７】
続いて、映像特徴量統合部２２は、映像特徴量σＹ、σＵ、σＶに基づいて、統合映像特徴量σＹＵＶを算出し、算出結果を対象コンテンツの映像特徴量として出力する（ステップＳ２２）。
【００４８】
図８は、第２の実施の形態の効果を説明するための図である。図８には、ＱｏＥに基づく映像コンテンツ毎の映像特徴量（符号化の困難性を表す係数ａ）を縦軸として、第２の実施の形態における映像特徴量（統合映像特徴量σＹＵＶ）を横軸にした散布図が示されている。図８において、決定係数Ｒ２は、０．８５５８であり、第１の実施の形態の映像特徴量の決定係数（０．７３４５）より大きい。したがって、統合映像特徴量σＹＵＶは、ユーザの知覚特性をより正確に捉えた映像特徴量であることがわかる。
【００４９】
上述したように、第２の実施の形態によれば、映像符号化で利用されている動き補償を輝度情報と色差信号の両方を考慮することにより、ＱｏＥの観点に基づく映像符号化の困難性を表す特徴量を算出することができる。
【００５０】
なお、上記各実施の形態において、差分画像生成部１３は、差分生成部の一例である。フレーム特徴量算出部１６は、第１の特徴量算出部の一例である。映像特徴量算出部１７は、第２の特徴量算出部の一例である。映像特徴量統合部２２は、第３の特徴量算出部の一例である。
【００５１】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５２】
１０、２０    映像特徴量算出装置
１１          画素情報記憶部
１２          ブロック分割部
１３          差分画像生成部
１４          動きベクトル探索部
１５          ブロック統合部
１６          フレーム特徴量算出部
１７          映像特徴量算出部
１８          フレーム特徴量記憶部
２１−１、２１−２、２１−３  特徴量算出部
２２          映像特徴量統合部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
Ｂ            バス
【図１】
2017005342.tif 000004
【図２】
2017005342.tif 000005
【図３】
2017005342.tif 000006
【図４】
2017005342.tif 000007
【図５】
2017005342.tif 000008
【図６】
2017005342.tif 000009
【図７】
2017005342.tif 000010
【図８】
2017005342.tif 000011