(57)【要約】【課題】所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、符号化を行わずに、動画像の主観画質を精度よく推定することができる主観画質推定装置を提供する。【解決手段】入力された動画像を所定の画素数及びフレームレートを有する動画像に変換する動画像変換部と、入力された動画像の符号化の複雑度を表す第１の画像特徴と、変換後の動画像の画像特徴である第２の画像特徴を算出する画像特徴算出部と、第１の画像特徴から１画素あたりの平均符号量を用いて量子化パラメータを予測する予測式を記述するために用いる画像パラメータを生成する画像パラメータ導出部と、第２の画像特徴、画素数、フレームレート及び１画素あたりの平均符号量を入力として画像パラメータを用いた予測式を用いて主観画質推定値を推定する主観画質推定部とを備える。【選択図】図１
2015211424.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像を所定の画素数及びフレームレートを有する動画像に変換する動画像変換部と、
入力された前記動画像の符号化の複雑度を表す第１の画像特徴と、変換後の前記動画像の画像特徴である第２の画像特徴を算出する画像特徴算出部と、
前記第１の画像特徴から１画素あたりの平均符号量を用いて量子化パラメータを予測する予測式を記述するために用いる画像パラメータを生成する画像パラメータ導出部と、
前記第２の画像特徴、前記画素数、前記フレームレート及び１画素あたりの平均符号量を入力として前記画像パラメータを用いた前記予測式を用いて主観画質推定値を推定する主観画質推定部と
を備えることを特徴とする主観画質推定装置。
【請求項２】
前記画像パラメータ導出部は、
複数の前記画像パラメータと前記第１の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、
前記画像パラメータデータベースに記憶された前記第１の画像特徴と前記画像特徴算出部が算出した前記第１の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第１の画像特徴に対応する画像パラメータを画像パラメータデータベースから導出し、前記誤差を重みとして導出した前記画像パラメータの加重平均をとった重みづけ和を前記画像パラメータとして生成することを特徴とする請求項１に記載の主観画質推定装置。
【請求項３】
前記画像パラメータ導出部は、
複数の前記画像パラメータと前記第１の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、
前記画像パラメータデータベースに記憶された前記第１の画像特徴と前記画像特徴算出部が算出した前記第１の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第１の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの中央値を前記画像パラメータとして生成することを特徴とする請求項１に記載の主観画質推定装置。
【請求項４】
前記画像パラメータ導出部は、
複数の前記画像パラメータと前記第１の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、
前記画像パラメータデータベースに記憶された前記第１の画像特徴と前記画像特徴算出部が算出した前記第１の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第１の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの平均値を画像パラメータとして生成することを特徴とする請求項１に記載の主観画質推定装置。
【請求項５】
コンピュータを、請求項１から請求項４のいずれか一項に記載の主観画質推定装置として機能させるための主観画質推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の主観画質を推定する主観画質推定装置及び主観画質推定プログラムに関する。
【背景技術】
【０００２】
３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）といった移動回線や、スマートフォン、タブレットといった携帯端末が普及したことによって、不安定なネットワークの下でも、複数の異なる端末に動画像を配信できることが重要となっている。
【０００３】
端末毎のドット密度（dots per inch：ｄｐｉ）の違い及びネットワークによる利用可能な帯域の違いに応じて動画像を配信するための方式にＨＡＳ（Http Adaptive Streaming）がある。近年では、ＨＡＳは、ＭＰＥＧ−ＤＡＳＨ（Moving Picture Experts Group-Dynamic adaptive streaming over HTTP）として規格化されている（例えば、非特許文献１参照）。
【０００４】
ＭＰＥＧ−ＤＡＳＨでは、視聴者のネットワーク状況等に合わせて、ビットレートを動的に切り替えて配信を行う。想定する配信ビットレートで画素数及びフレームレートが変化したときの配信品質を向上させるため、画質は、定量的に評価される必要がある。ここで、画素数とは、動画像のピクチャ（フレーム）における総画素数であり、縦の画素数×横の画素数の値である。具体的には、２０００［ｋｂｐｓ］で動画像を配信するときに、画素数を２０７３６００（＝１９２０×１０８０）、または、９２１６００（＝１２８０×７２０）のいずれにするのかを決定する画質評価と、フレームレートを３０［ｆｐｓ］または１５［ｆｐｓ］のいずれにするのかを決定する画質評価とがある。
【０００５】
従来の画質評価では、ＩＴＵ−Ｒ勧告ＢＴ．５００−１１、ＩＴＵ−Ｔ勧告Ｐ．９１０などに規定されている方法を用いて、主観評価実験が行われてきた（例えば、非特許文献２、３参照）。従来の画質評価では、２０名程度の被験者に動画像が提示され、それら被験者の主観により、動画像に評点が付けられる。被験者による評点の平均は、平均オピニオン評点（Mean Opinion Score：ＭＯＳ）と呼ばれ、評価した動画像の品質とされる。
【０００６】
これらの主観評価実験では、評価環境を規定に沿って用意し、被験者が集められなければならない。さらに、これらの主観評価実験では、評価する動画像を被験者に何度も見てもらい、評点をつけてもらわなければならない。そのため、個別の動画像に対して主観評価を行うには、コストがかかるという問題がある。
【０００７】
そこで、動画像の特徴（画像特徴量のこと。画像特徴ベクトルのときもある）を算出し、その算出した特徴から動画像の品質を導出する客観画質評価が検討されている。ＩＴＵ−Ｔ  Ｊ．１４３（例えば、非特許文献４参照）には、客観画質評価法のフレームワークが規定されている。客観画質評価法のフレームワークは、以下の三つに分類される。
（ｉ）Ｆｕｌｌ  Ｒｅｆｅｒｅｎｃｅ（ＦＲ）型
圧縮前（符号化前）の原画像及び復号画像、または送信画像及び受信画像を用いて評価する方法である。
（ｉｉ）Ｎｏ  Ｒｅｆｅｒｅｎｃｅ（ＮＲ）型
復号画像または受信画像のみを用いて評価する方法である。
（ｉｉｉ）Ｒｅｄｕｃｅｄ  Ｒｅｆｅｒｅｎｃｅ（ＲＲ）型
情報量が制限された原画像または送信画像の画像特徴及び復号画像または受信画像を用いて評価する方法である。
【０００８】
多くの主観画質推定方法は、上記の三つの分類のいずれかに属している（例えば、非特許文献５〜７参照）。ここで、ＦＲ型の主観画質推定式構築までの動作手順を説明する。図１２は、従来技術による主観画質推定式の構築までの動作手順を示すフローチャートである。
【０００９】
まず、動画像の符号化前データ（原画像）Ｉｉ（０＜ｉ≦Ｎ、Ｎは１以上の整数）、テスト画像Ｄｉを用意し、主観評価実験が行われることで、主観画質推定式は、主観評価値ｓｉを取得する（ステップＳ８１）。
【００１０】
次に、動画像の符号化前データ（原画像）Ｉｉ、テスト画像Ｄｉから特徴ｆ１，…，ｆＭが取り出され、主観画質推定式ｓ（ｆ１，…，ｆＭ｜Ｄｉ，Ｉｉ）は、Ｎ個の組み合わせに対して構築する（ステップＳ８２）。
【００１１】
次に、主観評価値Ｓｉと、主観画質推定式ｓ（ｆ１，…，ｆＭ｜Ｄｉ，Ｉｉ）との組み合わせにより、主観画質推定式ｓ（ｆ１，…，ｆＭ｜Ｄｉ，Ｉｉ）のパラメータを最適化し、任意の動画像に対する主観画質推定式ｓ（ｆ１，…，ｆＭ）を得る（ステップＳ８３）。
【００１２】
そして、任意の動画像の符号化前データ（原画像）Ｉ及び復号画像Ｄから取り出した特徴ｆ１，…，ｆＭと、主観画質推定式ｓ（ｆ１，…，ｆＭ）と、に基づいて、主観画質を推定する（ステップＳ８４）。ここで、特徴ｆ１，…，ｆＭは、画素信号を特徴とした場合も包含するものとする。
【００１３】
なお、ＲＲ型では、画素信号は包含されない。また、ＮＲ型では、主観画質推定式ｓ（ｆ１，…，ｆＭ｜Ｄｉ，Ｉｉ）ではなく、主観画質推定式ｓ（ｆ１，…，ｆＭ｜Ｄｉ）に基づいて、パラメータが最適化される。
【００１４】
しかしながら、これらのフレームワークを用いた従来の主観画質推定方法は、特定の表示環境を想定しており、画素数及びフレームレートの変化に対応した手法とはなっていない。画素数及びフレームレートの変化に対応した主観画質推定方法としては、スケーラブル・ビデオ・コーディング（Scalable Video Coding）における主観画質推定方法が挙げられる（例えば、非特許文献８、９参照）。非特許文献８では、（１）式に基づいて、主観画質が推定される。
【数１】
2015211424.tif 000003
【００１５】
ここで、ＳＶは、ＭＰＥＧ−７規格に定められた「Ｓｐａｔｉａｌ  Ａｃｔｉｖｉｔｙ」である。また、ＴＶは、ＭＰＥＧ−７規格に定められた「Ｔｅｍｐｏｒａｌ  Ａｃｔｉｖｉｔｙ」である。また、（１）式に示すＦＲは、フレームレートである。また、ｘは、動画像の横幅の画素数を示す。（１）式の主観画質推定式は、ＰＳＮＲ（ピーク信号対雑音比）といった従来の客観画質評価値に加え、画素数及びフレームレートの変化の影響を、ＳＶ及びＴＶにより表現している。そのため、この主観画質推定式は、ＰＳＮＲのみでは比較ができなかった異なる画素数及びフレームレートについても、主観画質を比較することができる。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】ISO/IEC 23009-1:2012 TECHNICAL CORRIGENDUM 1， "Information technology‐Dynamic adaptive streaming over HTTP (DASH) ‐Part 1: Media presentation description and segment formats", 2013-06-01.
【非特許文献２】Recommendation ITU-R BT.500-13, “Methodology for the subjective assessment of the quality of television pictures”, January 2012.
【非特許文献３】ITU-T Recommendation P.910, “Subjective video quality assessment methods for multimedia applications”
【非特許文献４】ITU-T Recommendation J.143, “User requirements for objective perceptual video quality measurements in digital cable television”, May 2000.
【非特許文献５】ITU-T Recommendation J.144, “Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference ”, March 2004.
【非特許文献６】ITU-T Recommendation J.247, “Objective perceptual multimedia video quality measurement in the presence of a full reference”, August 2008.
【非特許文献７】ITU-T Recommendation J.246, “Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference”, August 2008.
【非特許文献８】C.S.Kim S.H.Jin, D.J.Seo and Y.M.Ro., "Measuring Video Quality on Full Scalability of H.264 / AVC Scalable Video Coding," IEICE Transaction on Communication, vol.E91-B, no. 5, May 2008 pp.1269-78．
【非特許文献９】H.Sohn, H.Yoo, W.D.Neve, C.S.Kim, and Y.M.Ro., "Full-Reference Video Quality Metric for Fully Scalable and Mobile SVC Content ," IEEE Transactions on Broadcasting, vol.56, no.3, Sept 2010, pp.269-280.
【発明の概要】
【発明が解決しようとする課題】
【００１７】
複数のビットレートに対して動画像を符号化する状況で、画素数及びフレームレートを動画像毎に主観画質が最大となるように決定したい場合、動画像毎の主観画質が推定される必要がある。ＨＡＳによる主観画質推定に対して、従来の客観画質評価法のフレームワークを適用することを考えると、上記の三つのフレームワーク（ＦＲ型、ＲＲ型、ＮＲ型）では、主観画質は、動画像の符号化前には評価することができず、動画像が何度も符号化されてから評価されることになる。
【００１８】
図１３は、従来のフレームワークで主観画質を推定し、画素数及びフレームレートを決定する動作手順を示すフローチャートである。ＨＡＳでは、まず、候補の画素数、フレームレート、または、ビットレートもしくは量子化パラメータにより、動画像を符号化する（ステップＳ９１）。続いて、得られた符号化データを復号し、主観画質推定値を算出する（ステップＳ９２）。そして、画素数、フレームレート及びビットレートの全ての候補について、主観画質を推定したか否かを判定する（ステップＳ９３）。
【００１９】
主観画質が推定されていない画素数、フレームレート及びビットレートの候補が残っている場合、まだ符号化していない画素数、フレームレート及びビットレートの候補について符号化を行い、処理を戻す。一方、画素数、フレームレート及びビットレートの全ての候補について、主観画質が推定された場合、処理が進められる。最後に、主観画質推定値が最大となる画素数及びフレームレートを候補の組み合わせから決定して出力する（ステップＳ９４）。
【００２０】
しかしながら、主観画質推定式を構築して主観画質を推定する上記の方法では、動画像の符号化及び復号が何度も実行されなければならず、計算コストが高くなってしまう。すなわち、従来の主観画質推定装置は、所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、符号化を繰り返さなければ、この動画像の主観画質を精度よく推定することができないという問題がある。
【００２１】
本発明は、このような事情に鑑みてなされたもので、所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、計算コストを低減させつつ、動画像の主観画質を精度よく推定することができる主観画質推定装置及び主観画質推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明は、入力された動画像を所定の画素数及びフレームレートを有する動画像に変換する動画像変換部と、入力された前記動画像の符号化の複雑度を表す第１の画像特徴と、変換後の前記動画像の画像特徴である第２の画像特徴を算出する画像特徴算出部と、前記第１の画像特徴から１画素あたりの平均符号量を用いて量子化パラメータを予測する予測式を記述するために用いる画像パラメータを生成する画像パラメータ導出部と、前記第２の画像特徴、前記画素数、前記フレームレート及び１画素あたりの平均符号量を入力として前記画像パラメータを用いた前記予測式を用いて主観画質推定値を推定する主観画質推定部とを備えることを特徴とする。
【００２３】
本発明は、前記画像パラメータ導出部は、複数の前記画像パラメータと前記第１の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、前記画像パラメータデータベースに記憶された前記第１の画像特徴と前記画像特徴算出部が算出した前記第１の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第１の画像特徴に対応する画像パラメータを画像パラメータデータベースから導出し、前記誤差を重みとして導出した前記画像パラメータの加重平均をとった重みづけ和を前記画像パラメータとして生成することを特徴とする。
【００２４】
本発明は、前記画像パラメータ導出部は、複数の前記画像パラメータと前記第１の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、前記画像パラメータデータベースに記憶された前記第１の画像特徴と前記画像特徴算出部が算出した前記第１の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第１の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの中央値を前記画像パラメータとして生成することを特徴とする。
【００２５】
本発明は、前記画像パラメータ導出部は、複数の前記画像パラメータと前記第１の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、前記画像パラメータデータベースに記憶された前記第１の画像特徴と前記画像特徴算出部が算出した前記第１の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第１の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの平均値を画像パラメータとして生成することを特徴とする。
【００２６】
本発明は、コンピュータを、前記主観画質推定装置として機能させるための主観画質推定プログラムである。
【発明の効果】
【００２７】
本発明によれば、計算コストを低減させつつ、動画像の主観画質を精度よく推定することができるという効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す主観画質推定装置が主観画質推定値を算出する処理動作を示すフローチャートである。
【図３】図１に示す動画像変換部２の処理動作を示すフローチャートである。
【図４】図１に示す画像特徴算出部３における１つ目の機能の動作を示すフローチャートである。
【図５】図１に示す画像特徴算出部３における２つ目の機能の動作を示すフローチャートである。
【図６】図１に示す画像パラメータ導出部４の処理動作を示すフローチャートである。
【図７】画像パラメータデータベースのテーブル構造を示す説明図である。
【図８】図１に示す主観画質推定部５の処理動作を示すフローチャートである。
【図９】本発明の実施形態における「１２８０×７２０」、３０［ｆｐｓ］のＱＰ−ＭＯＳグラフを、動画像毎に示す図である。
【図１０】本発明の実施形態における「９６０×５４０」、３０［ｆｐｓ］のＱＰ−ＭＯＳグラフを、動画像毎に示す図である。
【図１１】本発明の実施形態における「９６０×５４０」、１５［ｆｐｓ］のＱＰ−ＭＯＳグラフを、動画像毎に示す図である。
【図１２】従来技術による主観画質推定式の構築までの動作手順を示すフローチャートである。
【図１３】従来のフレームワークで主観画質を推定し、画素数及びフレームレートを決定する動作手順を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本発明の一実施形態による主観画質推定装置を説明する。図１は同実施形態の構成を示すブロック図である。主観画質推定装置１は、動画像変換部２と、画像特徴算出部３と、画像パラメータ導出部４と、主観画質推定部５とを備える。
【００３０】
動画像変換部２は、符号化前の動画像（原画像）Ｉと、主観画質を推定したい画素数ｐとフレームレートｆとを外部から入力する。動画像変換部２は動画像の符号化前の動画像を画素数ｐとフレームレートｆに変換した動画像Ｉｐ，ｆを出力する。
【００３１】
画像特徴算出部３は２つの機能がある。１つの機能は、符号化前の動画像Ｉから動画像の符号化の複雑さ（詳細は後述）を現すための画像特徴Ａｃを算出して出力する。もう１つの機能は、画素数ｐとフレームレートｆの動画像Ｉｐ，ｆを受け取り、その変換された動画像Ｉｐ，ｆでの画像特徴Ｂｖを算出する。
【００３２】
画像パラメータ導出部４は主観画質の推定に必要な画像パラメータε，δ（詳細は後述）を算出する。画像パラメータ導出部はあらかじめ複数の動画像それぞれについて画像パラメータをデータベース（画像パラメータデータベース）で保持しており、その画像パラメータには、あらかじめ計算した複数の符号化前の動画像の画像特徴が紐づけられている。画像パラメータ導出部４は主観画質を推定する符号化前の動画像の画像特徴Ａと画像パラメータデータベースで保持されている画像特徴との誤差を算出し、誤差の少ない複数の画像パラメータを誤差に基づいて重み付け和し、主観画質を推定する動画像の画像パラメータε，δとして出力する。
【００３３】
主観画質推定部５は、画素数ｐと、フレームレートｆと、１画素あたりの平均符号量ｂと画像特徴Ｂｖと、画像パラメータε，δとを受け取り、それらを主観画質推定式ｓ（ｐ，ｆ，ｂ，ｖ，ε，δ）に、パラメータとして代入することにより、主観画質推定値ｓを、推定結果として出力する。
【００３４】
次に、図２を参照して、図１に示す主観画質推定装置が主観画質推定値を算出する処理動作を説明する。図２は、図１に示す主観画質推定装置が主観画質推定値を算出する処理動作を示すフローチャートである。ここで、符号化前の動画像Ｉを複数の画素数、フレームレート、１画素あたりの平均符号量の組み合わせ（Ｍ個の組み合わせ）に符号化するとして、その主観画質推定値を求めるものとする。各組み合わせでの画素数をｐｊ、フレームレートをｆｊ、１画素あたりの平均符号量をｂｊとする（０＜ｊ≦Ｍ）。
【００３５】
まず、画像特徴算出部３は、符号化前の動画像データＩを入力し（ステップＳ１）、画像特徴Ａｃを画像パラメータ導出部４に送る。画像パラメータ導出部４は画像特徴Ａｃと画像パラメータデータベースのもつ画像特徴と誤差（詳細は後述）を算出する。誤差の低い上位Ｋ個の画像パラメータεｋ，δｋ（０＜ｋ≦Ｋ）を誤差に基づいて重み付け和を行い、それをε，δとする（ステップＳ２）。そして、画像パラメータ導出部４は、画像パラメータε，δを主観画質推定部５へ出力する。
【００３６】
次に、動画像変換部２は、動画像データＩを入力し、符号化する候補の組み合わせ（ｐｊ，ｆｊ）に変換した動画像Ｉｐｊ，ｆｊを画像特徴算出部３に出力する。画像特徴算出部３は変換された動画像を入力として受け取り、画像特徴Ｂｖｊを求め（ステップＳ３）、この画像特徴Ｂｖｊを主観画質推定部５に出力する。
【００３７】
次に、主観画質推定部５は画像パラメータε，δと、画像特徴Ｂｖｊと、１画素あたりの平均符号量ｂｊ、画素数ｐｊ、フレームレートｆｊを入力として受け取り、主観画質推定式ｓ（ｐ，ｆ，ｂ，ｖ，ε，δ）を求め（ステップＳ４）、主観画質推定式ｓ（ｐ，ｆ，ｂ，ｖ，ε，δ）により、主観画質推定値を算出し、出力する（ステップＳ５）。
【００３８】
なお、ｂｊは（２）式により、計算する。
【数２】
2015211424.tif 000004
ここで、ｂｊはビットレート、画素数、フレームレートにより算出するので、固定ビットレートの符号化であれば、符号化前にｂｊを取得できる。その場合、ｂｊは不図示の外部機能により算出されるとする。上記の処理を全ての組み合わせ（ｐｊ，ｆｊ，ｂｊ）に対して主観画質推定値を出力するまで繰り返す（ステップＳ６）。
【００３９】
次に、図１に示す各部の詳細について図面を参照して説明する。始めに、図１に示す動画像変換部２について説明する。図３は、図１に示す動画像変換部２の処理動作を示すフローチャートである。動画像変換部２は、まず、原画像Ｉを入力し（ステップＳ１１）、入力された符号化前の動画像（原画像）Ｉを所望の画素数ｐ、フレームレートｆにアップサンプリング、もしくはダウンサンプリングする。
【００４０】
ダウンサンプリングフィルタ、アップサンプリングフィルタは状況に応じて使い分けてよい。例えば、画素数のダウンサンプリングには間引き、アップサンプリングにはバイラテラルフィルタ、ＤＣＴ補間フィルタなどを用いてよい。フレームレートのダウンサンプリングは間引き、アップサンプリングはフレームコピーなどによって行ってもよい。そして、動画像変換部２は、変換後の動画像Ｉｐ，ｆを出力する（ステップＳ１２）。
【００４１】
次に、図１に示す画像特徴算出部３について説明する。画像特徴算出部３は、２つの機能があり、それぞれについて説明する。図４は、図１に示す画像特徴算出部３における１つ目の機能の動作を示すフローチャートである。まず、画像特徴算出部３は、符号化前の動画像Ｉを入力し（ステップＳ２１）、符号化の複雑さを表現する画像特徴Ａｃを算出する（ステップＳ２２）。
【００４２】
ここで符号化の複雑さとは、例えば、動画像の各フレーム内でのテクスチャの違いと、フレーム間のテクスチャの違いとに応じて定まる。Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣでは、フレーム内予測、フレーム間予測が動画像内での相関を除去するために用いられており、各フレーム内でのテクスチャの違いと、フレーム間のテクスチャの違いが大きいと符号量が大きくなる性質を持っている。すなわち、符号化が複雑であるとは、符号化効率が低い動画像のことである。そして、符号化の複雑さは、動画像の各フレーム内でのテクスチャの違いと、フレーム間のテクスチャの違いの大きさによって決まる。
【００４３】
上記の性質を鑑みて、画像特徴ＡｃはＩＴＵ−Ｔ勧告Ｐ．９１０（例えば、非特許文献３）で定義されているＳｐａｔｉａｌ  Ｉｎｆｏｒｍａｔｉｏｎ（ＳＩ）、Ｔｅｍｐｏｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ（ＴＩ）の積のような特徴量、（３）式のような特徴量を要素とする特徴ベクトルを用いる例があげられる。
【数３】
2015211424.tif 000005
（３）式の各要素は空間特徴量と時間特徴量に基づいて決定される。ここで、空間特徴量とはＩＴＵ−Ｔ勧告Ｐ．９１０のＳＩ算出時に各フレームで算出されるｓｔｄｓｐａｃｅ［Ｓｏｂｅｌ（Ｆｎ）］である。ＩＴＵ−Ｔ勧告Ｐ．９１０では時間特徴量も定義されており、ｓｔｄｓｐａｃｅ［Ｍｎ（ｉ，ｊ）］となる。
【００４４】
ＩＴＵ−Ｔ勧告Ｐ．９１０で定義されているＳＩでは、動画像の各フレームで空間特徴量を算出し、その最大値がＳＩとなるが、ＳＩｍｉｎは、最小値を選択した場合である。ＴＩｍｉｎも同様である。ＳＩａｖｅは、各フレームで算出された空間特徴量を平均した値である。ＴＩａｖｅもＳＩａｖｅと同様で、各時刻での時間特徴量の平均である。ＳＩｖａｒは各フレームで算出する空間特徴量の分散である。ＴＩｖａｒは各時刻での時間特徴量の分散である。Ｉｎｔｅｎｓｉｔｙａｖｅは動画像の全画素の輝度平均値である。主観画質を推定したい動画像のフレーム数をＮ、ある時点でのフレーム番号ｎ（０＜ｎ＜＝Ｎ）とすると、それぞれ（４）式〜（１２）式で現せる。
【００４５】
【数４】
2015211424.tif 000006
【数５】
2015211424.tif 000007
【数６】
2015211424.tif 000008
【数７】
2015211424.tif 000009
【数８】
2015211424.tif 000010
【００４６】
【数９】
2015211424.tif 000011
【数１０】
2015211424.tif 000012
【数１１】
2015211424.tif 000013
【数１２】
2015211424.tif 000014
Ｉｎは動画像のフレーム番号ｎでの平均輝度である。Ｓｏｂｅｌ（Ｆｎ），Ｍｎ（ｉ，ｊ）の定義はＩＴＵ−Ｔ勧告Ｐ．９１０と同等である。
【００４７】
図５は、図１に示す画像特徴算出部３における２つ目の機能の動作を示すフローチャートである。動画像変換部２により画素数とフレームレートが変換された動画像Ｉｐ，ｆを入力として受け取り（ステップＳ３１）、その動画像Ｉｐ，ｆに対応する画像特徴Ｂｖを算出する（ステップＳ３２）。ここで、ｖは動画像の空間方向、時間方向の特徴を内包した画像特徴であり、例として、ＳＩとＴＩの積を用いることがあげられる。
【００４８】
次に、図１に示す画像パラメータ導出部４について説明する。図６は、図１に示す画像パラメータ導出部４の処理動作を示すフローチャートである。まず、画像パラメータ導出部４は、画像特徴算出部３で算出した画像特徴Ａｃを入力として受け取る（ステップＳ４１）。画像パラメータ導出部４は、図７に示す画像パラメータデータベースを備える。画像パラメータデータベースは画像パラメータεｉ、δｉとそれに対応する画像特徴ｃｌ（０＜ｌ≦Ｌ）を保持している。
【００４９】
画像特徴ｃｉは上述の画像特徴Ａｃと同様の構成をとっており、動画像の符号化の複雑さを表現する特徴量、もしくは特徴ベクトルである。特徴量の場合はｃとｃｉの絶対値差分、特徴ベクトルの場合はｃとｃｉの各次元の絶対値差分の総和を画像パラメータデータベースに存在する全てのεｉ、δｉに紐づいた画像特徴で計算し、絶対値差分、もしくは絶対値差分の総和（誤差）Ｄｉを算出する（ステップＳ４２）。ＤｉはｃがＣ次元ベクトルの場合（１３）式で現せる。
【数１３】
2015211424.tif 000015
ｃ（ｉ）、Ｃｉ（ｉ）は特徴ベクトルのｉ番目の値である。
【００５０】
誤差が最小となるときのｃｉに紐づいた画像パラメータεｉ、δｉを主観画質推定部５へと出力する方法もあるが、これは画像特徴とε、δの対応付けに失敗している映像が選択された場合に大きく異なるε、δが選ばれ、不適切な画像パラメータが主観画質推定部５に出力される問題がある。そこで、不適切な画像パラメータが選択されることを防ぐため、以下の処理を行う。
【００５１】
まず、画像特徴Ａｃと誤差の少ない上位Ｋ個の画像特徴Ｃ１，…，ＣＫ、誤差Ｄ１，…，ＤＫを画像パラメータデータベースから選択する（ステップＳ４３）。ここで、添え字の順序は誤差の順序と一致することとし、添え字１の誤差が最小とする。全ての誤差Ｄ１，…，ＤＫに対して２つの閾値処理を行う。
【００５２】
次に、ｉ＝Ｋであるかを判定し（ステップＳ４４）、ｉ＝Ｋでなく、誤差Ｄｉ（０＜ｉ≦Ｋ）が閾値Ｔｈｌｏｗを下回ったら（ステップＳ４５）、インデックスｉを優先重み付和リストＬｉｓｔ１に格納する（ステップＳ４６）。Ｄｉが閾値Ｔｈｌｏｗを上回っており、閾値Ｔｈｈｉｇｈより下回っていたら（ステップＳ４７）、重み付和リストＬｉｓｔ２にインデックスｉへと格納する（ステップＳ４８）。これを全てのｉに対して（ｉがＫになるまで）行う。ここで、優先重み付和リストＬｉｓｔ１、重み付和リストＬｉｓｔ２にどのインデックスも格納されなかったら画像パラメータデータベースの全画像パラメータの平均が出力される。
【００５３】
優先重み付和リストＬｉｓｔ１にインデックスが格納されており（ステップＳ４９）、その格納数が１個であった場合は（ステップＳ５０）、その格納されているインデックスｉに対応するεｉ、δｉを出力する（ステップＳ５１）。そして、格納数が３個以上であれば（ステップＳ５２）、後述する外れ値処理が行われ、Ｌｉｓｔ１を更新する（ステップＳ５３）。格納数が２個の場合はＬｉｓｔ１は更新されない。
【００５４】
次に更新された、もしくは更新されていないＬｉｓｔ１を用いて誤差量に応じた重みを算出する（ステップＳ５４）。そして、重みｗ１，…，ｗｋをｃ１，…，ｃｋに紐づいたε１，…，εｋ，δ１，…δｋにそれぞれ掛け合わせて重み付和を取り、ε，δを算出する（ステップＳ５５）。
【００５５】
一方、優先重み付和リストＬｉｓｔ１にインデックスが格納されておらず（ステップＳ４９）、重み付和リストＬｉｓｔ２のインデックスが格納されている場合（ステップＳ５６）で、さらに格納数が１個であった場合（ステップＳ５７）は、その格納されているインデックスｉに対応するεｉ、δｉを出力する（ステップＳ５８）。そして、画像パラメータデータベースが保持しているε、δの平均を出力する（ステップＳ５９）。
【００５６】
そして、格納数が３個以上であれば（ステップＳ６０）、後述する外れ値処理が行われ、Ｌｉｓｔ２を更新する（ステップＳ６１）。格納数が２個の場合はＬｉｓｔ２は更新されない。次に更新された、もしくは更新されていないＬｉｓｔ２を用いて誤差量に応じた重みを算出する（ステップＳ６２）。そして、重みｗ１，…，ｗｋをｃ１，…，ｃｋに紐づいたε１，…，εｋ，δ１，…δｋにそれぞれ掛け合わせて重み付和を取り、ε，δを算出する（ステップＳ６３）。
【００５７】
なお、いずれの外れ値処理も一般に３以上の整数であるＫを採用して実行することとしてもよい。
【００５８】
次に、重み付和の方法について説明する。誤差の低い上位Ｋ個の画像特徴と紐づけられたεｋ、δｋ（０＜ｋ＜＝Ｋ）に対して、誤差に基づいた重みｗｋを算出する。その重みを用いて各εｋ、δｋに対して重み付け和を取ったε、δを出力する。これにより、特徴量、特徴ベクトルがε、δと対応が取れてない場合が最小となった場合でも、大きく外れたε、δが出力されることを防ぐことができる。Ｗｋ、ε、δは（１４）式〜（１６）式で現せる。
【数１４】
2015211424.tif 000016
【数１５】
2015211424.tif 000017
【数１６】
2015211424.tif 000018
【００５９】
次に、外れ値処理について説明する。ここで、優先重み付和リスト、もしくは重み付和リストに１，…Ｋのインデックスが格納されているとする。誤差Ｄ１，…ＤＫまでの誤差の差分が閾値Ｔｈｄｉｆｆ以内、つまり｜Ｄ１−Ｄｋ｜＜Ｔｈｄｉｆｆの場合であれば、εｋ，δｋのうち、大きく外れている画像パラメータを除外する。具体的には、（１７）式、（１８）式に示す画像パラメータである。
【数１７】
2015211424.tif 000019
【数１８】
2015211424.tif 000020
【００６０】
εａｖｅ、δａｖｅは（１９）式、（２０）式のように算出する。
【数１９】
2015211424.tif 000021
【数２０】
2015211424.tif 000022
【００６１】
これらの処理により誤差が同等でも画像パラメータが大きく異なる動画像を除外することができる。外れ値処理では、この処理を全インデックスに対して一度行う。また、外れ値処理を行うのではなく、優先重み付和リスト、もしくは重み付和リストにある画像パラメータの平均値、もしくは中央値をεｉ、δｉとして出力するといった方法でもよい。
【００６２】
画像パラメータ導出部４は、主観画質推定の際に必要な画像パラメータε、δを出力するが、そのε、δについて説明する。ここで、ε、δとは、（２１）式のパラメータである。
【数２１】
2015211424.tif 000023
ｑは量子化パラメータ（ＱＰ）であり、ｂは１画素あたりの平均符号量である。（２１）式は１画素あたりの符号量の対数とＱＰが線形関係にあることを現しており、（２１）式のパラメータはエンコーダ、動画像の特徴に依存する。ε、δを求めるためには、少なくとも２回、異なる（画素数、フレームレート、ビットレート）の組み合わせで符号化を行い、実際にＱＰｑと１画素あたりの符号量ｂを２点以上取得することで求める。しかし、符号化を行うと計算量が増大するため、前述した画像パラメータ導出部により、主観画質を推定したい動画像に対しては符号化を行わずにε、δを算出する。
【００６３】
次に、図１に示す主観画質推定部５の主観画質推定式について説明する。図８は、図１に示す主観画質推定部５の処理動作を示すフローチャートである。まず、主観画質推定部５は、外部より、画素数ｐ、フレームレートｆ、１画素あたりの平均符号量ｂを受け取る。また、画像特徴算出部３より、画像特徴Ｂｖを受け取る。また、画像パラメータ導出部４より、ε、δを受け取る（ステップＳ７１）。主観画質推定部５は、これらの入力をもとにＳ（ｐ，ｆ，ｂ，ｖ，ε，δ）により、主観画質評価値ｓを出力する。例えば、Ｓ（ｐ，ｆ，ｂ，ｖ，ε，δ）は（２２）式〜（２５）式がある。
【００６４】
【数２２】
2015211424.tif 000024
【数２３】
2015211424.tif 000025
【数２４】
2015211424.tif 000026
【数２５】
2015211424.tif 000027
パラメータｄ１，ｄ２，ｄ３，ｅ１，ｅ２，ｅ３，ｇ１，ｇ２，ｇ３，ｈ１，ｈ２，ｈ３は、推定した主観画質の推定値（推定ＭＯＳ）と主観評価実験で得たＭＯＳとの誤差が最小になるように最適化される。例えば、ガウスーニュートン法などの最適化アルゴリズムにより最適化される。
【００６５】
主観画質推定部５の主観画質推定式である（２２）式は、ＱＰとＭＯＳの関係に基づいている。図９〜図１１は、横軸がＱＰ、縦軸がＭＯＳを示す図である。これらの図の通り、ＱＰとＭＯＳは、画素数、フレームレートごとに一定の関係がある。しかし、固定ビットレートでの符号化ではＱＰをあらかじめ知ることができないため、符号化をしないとＱＰがわからないといった課題がある。そこで、（２１）式によって１画素あたりの平均符号量からＱＰを予測している。１画素あたりの平均符号量とＱＰの関係を現す（２１）式の関係式のパラメータはε、δはエンコーダ、動画像ごとに異なっており、これを求めるためには最低２回の符号化が必要となる。しかし、符号化を行うと計算量は増加するため、画像パラメータ導出部４により、ε、δを求めることで符号化前に主観画質が推定可能となる。
【００６６】
また、各画素数、フレームレートにおいて、動画像間の関係は大きく変わらない。言い換えると、それぞれ示されたＱＰ−ＭＯＳグラフ（図９〜図１１）では、動画像毎のグラフの相対的な位置関係が変化していない。例えば、動画像“川”は“子供”と比較すると、ＱＰが高い時でも高いＭＯＳを得ており、それは各画素数、フレームレートにおいても同様の傾向である。画像特徴に依存しており、その補正のためのパラメータが画像特徴Ｂｖであり、これにより高精度に主観画質を推定できる。
【００６７】
以上のように、図１に示す主観画質推定装置１は、動画像を所望の画素数、フレームレートに変換するための動画像変換部２と、符号化前の動画像から符号化の複雑さを現す画像特徴Ａと変換された動画像から主観画質推定式のパラメータである画像特徴Ｂを算出する画像特徴算出部３と、画像特徴Ａに基づいて主観画質推定式に必要な画像パラメータを導出する画像パラメータ導出部４と、画像特徴Ｂと、画像パラメータと、画素数と、フレームレートと、１画素あたりの平均符号量と、所定の主観画質推定式と、に基づいて動画像の主観画質の推定値を算出する主観画質推定部５を備える。
【００６８】
画像特徴算出部は、符号化前の動画像（原画像）に基づいて、符号化の複雑さを現す画像特徴Ａを算出する。画像パラメータ導出部は画像特徴Ａに基づき画像パラメータを導出する。動画像変換部は動画像を所望の画素数とフレームレートに変換する。また、画像特徴算出部は所定の主観画質推定式に必要な動画像の画像特徴Ｂを動画像変換部により変換された動画像より算出する。この構成により、画像特徴Ｂと、画素数と、フレームレートと、１画素当たりの平均符号量と、画像パラメータとを用いて、主観画質推定装置及び主観画質推定プログラムは、所望のビットレート、画素数、及びフレームレートとなるよう動画像を符号化する際、符号化する前に、当該動画像の主観画質を精度よく推定できる。
【００６９】
前述した実施形態における主観画質推定装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００７０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００７１】
所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、符号化を行わずに、動画像の主観画質を精度よく推定することが不可欠な用途に適用できる。
【符号の説明】
【００７２】
１・・・主観画質推定装置、２・・・動画像変換部、３・・・画像特徴算出部、４・・・画像パラメータ導出部、５・・・主観画質推定部
【図１】
2015211424.tif 000028
【図２】
2015211424.tif 000029
【図３】
2015211424.tif 000030
【図４】
2015211424.tif 000031
【図５】
2015211424.tif 000032
【図６】
2015211424.tif 000033
【図７】
2015211424.tif 000034
【図８】
2015211424.tif 000035
【図９】
2015211424.tif 000036
【図１０】
2015211424.tif 000037
【図１１】
2015211424.tif 000038
【図１２】
2015211424.tif 000039
【図１３】
2015211424.tif 000040