(57)【要約】【課題】映像配信サービスの配信映像に対して符号化パラメータの算出が可能な映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムを提供することを目的とする。【解決手段】映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置は、前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出部を有する。【選択図】図１
2015065517.tif 000002
【特許請求の範囲】
【請求項１】
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置であって、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出部を有する映像符号化パラメータ算出装置。
【請求項２】
前記符号化パラメータ算出部は、前記下位ビットレートで符号化したときの映像品質が最大となる解像度及びフレームレートを、前記符号化パラメータとして算出する、請求項１に記載の映像符号化パラメータ算出装置。
【請求項３】
前記符号化パラメータ算出部は、前記映像品質目標値より高い映像品質となる符号化パラメータのうち、ビットレートが最小となる符号化パラメータを、前記符号化パラメータとして算出する、請求項１に記載の映像符号化パラメータ算出装置。
【請求項４】
前記符号化パラメータ算出部は、映像品質を推定する映像品質推定部を有し、当該映像品質推定部の推定結果に基づいて、符号化パラメータを算出する、請求項１乃至３のうちいずれか１項に記載の映像符号化パラメータ算出装置。
【請求項５】
前記最大ビットレートで符号化された映像データから映像特徴量を算出する特徴量算出部を更に有し、
前記符号化パラメータ算出部は、前記映像特徴量に更に基づいて、符号化パラメータを算出する、請求項１乃至４のうちいずれか１項に記載の映像符号化パラメータ算出装置。
【請求項６】
前記映像特徴量は、Ｉフレームに関する特徴量、動きベクトルに関する動的特徴量、マクロブロックに関するマクロブロック特徴量及び量子化パラメータに関する量子化特徴量のうち少なくとも１つである、請求項５に記載の映像符号化パラメータ算出装置。
【請求項７】
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置における映像符号化パラメータ算出方法であって、
前記映像符号化パラメータ算出装置における符号化パラメータ算出部が、前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出するステップを有する映像符号化パラメータ算出方法。
【請求項８】
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムに係り、例えば、放送波、ケーブルや、IP（Internet Protocol）ネットワークなどを経由した映像配信サービスの配信映像符号化時のパラメータを算出するための映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムに関する。
【背景技術】
【０００２】
近年、インターネットアクセス回線が高速化・広域化しており、光回線、第３世代（3G）携帯電話回線、無線LAN（Wireless Local Area Network）など、多くのネットワーク環境で通信サービスを利用できるようになっている。また、スマートフォンやタブレットをはじめとする多様な端末が普及しており、ユーザは状況に応じて端末を使い分けて、通信サービスを利用できる。このような背景から、映像配信サービスが急速に普及しており、その利用環境は様々である。ユーザが求める映像配信品質は利用環境により異なることから、ユーザの満足度を高めるためには、ユーザの利用環境に適した映像品質でサービスを提供することが重要である。
【０００３】
一部のプログレッシブダウンロード型の映像配信サービスでは、ネットワーク環境に応じて映像品質を動的に切り替える品質制御を行っている。そのような品質制御はHTTP Adaptive Streaming（HAS）と呼ばれている。HASでは、予め、一つの映像コンテンツに対して複数のビットレートで符号化したファイルを用意しておき、端末がネットワーク環境等に応じて最適なビットレートのファイルに切り替えることで品質制御を実現している。このため、ユーザにとって最適な品質制御を実現するためには、予め用意する配信品質の最適化が必要である。配信品質は、映像コンテンツを符号化する際に与える符号化パラメータによって大きく変化するため、映像コンテンツに適した符号化パラメータを算出する技術の開発が重要である。符号化パラメータには、ビットレート、解像度（空間解像度）、フレームレート（時間解像度）、量子化パラメータ（SNR解像度）などがある。配信品質の切り替えが可能なプログレッシブダウンロード型の映像配信サービスにおいて、複数のビットレートのファイルの内、最もビットレートの高い（最上位ビットレート）ものでは、符号化パラメータとして、解像度はHD（High Definition、1920x1080もしくは1280x720）、フレームレートは30fpsを用いることが多い。しかし、それ以外のビットレートで符号化した配信映像の品質は、サービス提供者によって異なっており、最上位ビットレート以外のビットレート（下位ビットレート）において、配信品質を最適にする符号化パラメータの導出が重要である。
【０００４】
従来、最適なフレームレートを算出する技術については、国際標準化機関ITU-T（International Telecommunication Union Telecommunication Standardization）勧告G.1070（非特許文献１）において記載されている。また、非特許文献２では、解像度（空間解像度）、フレームレート（時間解像度）、量子化スケール（または量子化パラメータ、SNR解像度）をパラメータとして、必要な帯域との関係を明らかにしている。非特許文献３及び非特許文献４では、映像の特徴を考慮し、与えられたビットレートにおける最適なフレームレートの算出方法を提案している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ITU-T勧告G.1070，07/2012
【非特許文献２】福田，若宮，村田，宮原，「帯域予約型ネットワークに適したMPEG-2動画像における品質と帯域の関係」，社団法人電子情報通信学会，電子情報通信学会論文誌 B，1999/3，Vol. J82-B，No.3，pp.358-367
【非特許文献３】稲積，吉田，酒井，堀田，「ビットレート制限下における動画像通信のための最適フレームレートの推定」，社団法人電子情報通信学会，電子情報通信学会論文誌B，2002/7，Vol. J85-B，No.7，pp.1130-1142
【非特許文献４】稲積，吉田，酒井，堀田，「最適フレームレート推定に基づく動画像符号化法の有効性について」，社団法人電子情報通信学会，電子情報通信学会論文誌B，2004/2，Vol. J87-B，No.2，pp.292-304
【非特許文献５】ITU-T勧告P.1201.1，10/2012
【非特許文献６】ITU-T勧告P.910，04/2008
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の通り、プログレッシブダウンロード型映像配信サービスのように品質制御を行う映像配信サービスでは、配信品質の最適化を実現するため、解像度、フレームレート、量子化スケール等の符号化パラメータの最適化が重要である。
【０００７】
しかしながら、非特許文献１は、決められた解像度に対して、最適なフレームレートを求めるものであり、解像度を自由に設定できるシステムにおいて、最適な解像度を算出することができない問題がある。非特許文献２では、解像度（空間解像度）、フレームレート（時間解像度）、量子化スケール（SNR解像度）が与えられたときの必要な帯域を算出する方法が記載されており、帯域が決められたときに、ユーザが体感する品質を維持するためには、どの符号化パラメータを変化させれば効果的か考察している。しかしながら、例えば、スポーツなど映像の動きが重要なコンテンツではフレームレートを高く、滑らかな動きを表現し、風景映像など精細度が高く動きが少ないコンテンツでは、空間解像度を高くした方がよいというように、コンテンツごとの動きの多さ・大きさや精細度の高さなどのコンテンツの特徴によって、コンテンツごとに最適な符号化パラメータが異なることが知られている。これに対し、従来技術では与えられた映像に対して最適なフレームレートを求める研究などが行われ、そのための技術が開示されているが、コンテンツの特徴を用いて、コンテンツごとに解像度も含む最適な符号化パラメータを算出する方法を提供できていない点が問題である。これに対し、非特許文献３及び非特許文献４では、コンテンツの特徴を用いて、与えられたビットレートにおける最適なフレームレートを推定する方法を提案している。これにより、コンテンツに適したフレームレート及び１フレームあたりの情報量を算出することができる。しかしながら、非特許文献３及び非特許文献４においては、コンテンツの特徴に基づく最適な解像度の推定にかかる技術に対しては言及されておらず、また、平均２乗誤差の計算などにおいて、復号後の情報（画素信号）を用いているため、演算量が大きいという問題がある。
【０００８】
本発明は、上記の点に鑑みなされたもので、映像配信サービスの配信映像に対して符号化パラメータの算出が可能な映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一形態に係る映像符号化パラメータ算出装置は、
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置であって、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出部を有することを特徴とする。
【００１０】
また、本発明の一形態に係る映像符号化パラメータ算出方法は、
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置における映像符号化パラメータ算出方法であって、
前記映像符号化パラメータ算出装置における符号化パラメータ算出部が、前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出するステップを有することを特徴とする。
【００１１】
また、本発明の一形態に係るプログラムは、
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、映像が複数のビットレートで符号化されて配信される映像配信サービスの配信映像に対して、符号化パラメータの算出が可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る映像符号化パラメータ算出装置の構成を示す図
【図２】本発明の第１実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図３】本発明の第２実施形態に係る映像符号化パラメータ算出装置の構成を示す図
【図４】本発明の第２実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図５】本発明の第３実施形態に係る映像符号化パラメータ算出装置の構成を示す図
【図６】本発明の第３実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図７】本発明の第４実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図８】本発明の第５実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図９】本発明の第６実施形態に係る映像符号化パラメータ算出装置の構成を示す図
【図１０】本発明の第６実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図１１】本発明の第７実施形態に係る映像符号化パラメータ算出装置の構成を示す図
【図１２】本発明の第７実施形態に係る映像符号化パラメータ算出方法のフローチャート
【図１３】本発明の第８実施形態に係る映像符号化パラメータ算出装置の構成を示す図
【図１４】本発明の第８実施形態に係る映像符号化パラメータ算出方法のフローチャート
【発明を実施するための形態】
【００１４】
本発明の実施形態では、映像が複数のビットレートで符号化されて配信される映像配信サービスの配信映像に対し、最大ビットレートよりも低いビットレート（下位ビットレート）で符号化する際のパラメータを算出する映像符号化パラメータ算出装置について説明する。
【００１５】
以下に詳細に説明するように、映像符号化パラメータ算出装置は、下位ビットレートまたは下位ビットレートで符号化された映像が満たすべき品質（下位映像品質）に基づいて符号化パラメータを算出する。
【００１６】
以下、図面を参照して、本発明の実施形態について詳細に説明する。
【００１７】
＜第１実施形態＞
図１は本発明の第１実施形態に係る映像符号化パラメータ算出装置１０の構成を示す図である。図１に示すように、映像符号化パラメータ算出装置１０は、符号化パラメータ算出部１１と符号化パラメータ算出部１１が備える映像品質推定部１２から構成されている。
【００１８】
符号化パラメータ算出部１１は、映像符号化パラメータ算出装置１０への入力である下位ビットレート（または下位映像品質）を入力として、符号化パラメータを出力する。ここで、下位映像とは本装置１０で算出される前記符号化パラメータを用いて符号化された映像であり、下位ビットレートとは下位映像を符号化する際の平均ビットレートである。また、下位映像品質とは本装置１０で算出される前記符号化パラメータを用いて符号化された映像が満たすべき映像品質の目標値である。前記下位ビットレート（または下位映像品質）は予め設定している値でもよく、本装置１０の利用者が入力してもよい。ここで、下位ビットレート（または下位映像品質）の値は予め設定される場合でも本装置１０の利用者が入力する場合でも一つに固定されるものであり、本装置１０では、入力された１の下位ビットレート（または下位映像品質）に対して１の符号化パラメータが出力されることになる。また、符号化パラメータとは、映像の解像度とフレームレート（とビットレート）の組である。
【００１９】
第１実施形態における符号化パラメータ算出部１１は、予め定められているN1種類の解像度及びN2種類のフレームレートのそれぞれの組み合わせを用いて、与えられた下位ビットレートで符号化したときの映像品質を推定し、推定した映像品質が最大となる解像度及びフレームレートを出力する。なお、下位ビットレートの代わりに下位映像品質を与えられた場合には、予め定められているN1種類の解像度とN2種類のフレームレートとN3種類のビットレートのそれぞれの組を用いて符号化したときの映像品質を推定し、推定した映像品質が与えられた下位映像品質より高い組（解像度、フレームレート、ビットレート）のうち、ビットレートが最小となる組を符号化パラメータとして出力する。以後の実施形態においては、下位ビットレートが入力されるものとして記述するが、それらについても下位映像品質が入力される実施形態も考えられ、その場合は第１実施形態と同様にN3種類のビットレートに対して映像品質を推定し、推定した映像品質が与えられた下位映像品質より高い組（解像度、フレームレート、ビットレート）のうち、ビットレートが最小となる組を符号化パラメータとして出力する。
【００２０】
符号化パラメータ算出部１１で行う映像品質推定は、符号化パラメータ算出部１１が備える映像品質推定部１２が行う。映像品質推定部１２は、前述の通り、解像度Rs、フレームレートFr、ビットレートBrに基づいて、映像品質MOSを出力する。ここで、映像品質とは符号化映像に対する符号化による劣化を考慮した映像品質であり、ビットレートとは符号化映像データの１秒あたりのビット量、フレームレートとは符号化映像の１秒あたりのフレーム数、解像度とは符号化映像の１フレームあたりの画素数である。映像品質推定部１２では、１画素あたりのビット量に関するパラメータNBrを
【００２１】
【数１】
2015065517.tif 000003
として算出する。ただし、NBrは上記の式に限らず、主観品質評価特性に合った式を用いればよく、例えば定数v11、v12を用いて
【００２２】
【数２】
2015065517.tif 000004
として算出してもよく、その他の式で算出してもよい。次に、映像品質MOSを
【００２３】
【数３】
2015065517.tif 000005
と算出し、映像品質MOSを出力する。ここで、V1、v13、v14、v15は予め定められた定数であり、サービス事業者が決めてよい。ただし、MOSの計算は前記の式に限らず、主観品質評価特性に合った式を用いればよく、例えば、
【００２４】
【数４】
2015065517.tif 000006
で算出してもよい。ここで、A1、v21〜v29は予め定められた定数であり、サービス事業者が決めてよい。
【００２５】
次に、図２を参照して本発明の第１実施形態における映像符号化パラメータ算出方法の動作の例について説明する。図２は本発明の第１実施形態に係る映像符号化パラメータ算出方法のフローチャートである。
【００２６】
符号化パラメータ算出装置１０は、上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。
【００２７】
まず、符号化パラメータ算出部１１は、入力された下位ビットレートに基づいて前述の手順に従い解像度、フレームレート、ビットレートの組に対する映像品質を算出する（Ｓ１１）。
【００２８】
次に、符号化パラメータ算出部１０は、最大となる映像品質に対応する前記解像度及び前記フレームレートの組を符号化パラメータとして出力する。このとき、映像符号化パラメータ算出装置１０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい（入力が下位映像品質であった場合、下位映像品質より高い映像品質となる解像度、フレームレート、ビットレートの組のうち、ビットレートが最小なる組の解像度、フレームレート、ビットレートを前記符号化パラメータとして出力する）（Ｓ１２）。
【００２９】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【００３０】
このように第１実施形態においては、下位ビットレートの符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、所望のビットレートにおいて最適な符号化パラメータを算出することができる（または所望の映像品質を満たす最小のビットレートおよびそれに対応する解像度およびフレームレートを算出することができる。）
また、例えばITU-T勧告P.1201.1（非特許文献５）の映像品質推定モデルは、解像度毎に係数が定められており、異なる解像度の映像に対する品質推定結果を比較できない（例えば、低解像度・高品質の映像と高解像度・低品質の映像はどちらがよいか判断できない）が、第１実施形態における映像品質推定では、１画素あたりのビット量を用いることで、任意の解像度に対して同一の映像品質推定モデル（同一の係数）で映像品質を推定が可能であるため、異なる解像度の映像に対しても品質を比較することが可能となる。これにより最適な解像度を算出することができる。
【００３１】
＜第２実施形態＞
図３は本発明の第２実施形態に係る映像符号化パラメータ算出装置２０の構成を示す図である。図３に示すように映像符号化パラメータ算出装置２０は、特徴量算出部２１と符号化パラメータ算出部２３より構成されている。
【００３２】
特徴量算出部２１は、複数のビットレートを用意する際、最大ビットレートの映像データ（最上位符号化データ）を入力とし、映像特徴量を出力して符号化パラメータ算出部２３への入力とする。特徴量算出部２１に入力される最上位符号化データは、ファイル形式（例えば、MP4、TSファイル等）でもよく、ストリーム形式（例えば、IPパケット等）で逐次入力してもよい。最上位符号化データの最大ビットレートを最上位ビットレートと記す。第２実施形態における映像特徴量は、具体的にはＩフレームの平均ビット量ABIFであり、特徴量算出部２１が備えるIフレーム特徴量算出部２２が算出する。Ｉフレームが占めるビット量は、Iフレーム特徴量算出部２２に入力される最上位符号化データのうち、Ｉフレームのデータを数えていくことで求めることができる。
【００３３】
符号化パラメータ算出部２３は、前記特徴量算出部２１の出力である映像特徴量及び映像符号化パラメータ算出装置２０への入力である下位ビットレートを入力として、符号化パラメータを出力する。ここで、下位ビットレートとは、下位映像を符号化する際の平均ビットレートであって、下位映像とは本装置２０で算出された前記符号化パラメータを用いて符号化された映像である。以下、単にビットレートと言ったとき、前記下位映像を符号化する下位ビットレートである下位映像符号化ビットレートを指す。前記下位映像符号化ビットレートは予め設定してある値でもよく、本装置２０の利用者が入力してもよい。ここで、下位映像符号化ビットレートの値は予め設定される場合でも本装置２０の利用者が入力する場合でも一つに固定されるものであり、本装置２０では、入力された１の下位映像符号化ビットレートに対して、1の符号化パラメータが出力されることになる。
【００３４】
第２実施形態における符号化パラメータ算出部２３は、予め定められているN1種類の解像度及びN2種類のフレームレートのそれぞれの組み合わせを用いて、与えられた下位ビットレートで符号化したときの映像品質を推定し、推定した映像品質が最大となる解像度及びフレームレートを出力する。
【００３５】
符号化パラメータ算出部２３で行う映像品質推定は、符号化パラメータ算出部２３が備える映像品質推定部２４が行う。映像品質推定部２４は、前述の通り、解像度Rs、フレームレートFr、ビットレートBrおよびＩフレームの平均ビット量ABIFに基づいて、映像品質MOSを出力する。ここで、映像品質とは符号化映像に対する符号化による劣化を考慮した映像品質であり、ビットレートとは符号化映像データの１秒あたりのビット量、フレームレートとは符号化映像の１秒あたりのフレーム数、解像度とは符号化映像の１フレームあたりの画素数である。映像品質推定部２４では、１画素あたりのビット量に関するパラメータNBrを
【００３６】
【数５】
2015065517.tif 000007
として算出する。ただし、NBrは上記の式に限らず、主観品質評価特性に合った式を用いればよく、例えば定数v11、v12を用いて
【００３７】
【数６】
2015065517.tif 000008
として算出してもよく、その他の式で算出してもよい。
【００３８】
次に、符号化映像の符号化の難しさを表す特徴量CCFとして、ビットレートBr及びＩフレームの平均ビット量ABIFを用いて、
【００３９】
【数７】
2015065517.tif 000009
を算出する。ここで、Minは与えられた値のうち小さい方の値を返す関数であり、例えばMin(1,2)=1である。次にビットレートBr、フレームレートFr、解像度Rs、特徴量CCFに基づいて符号化劣化量DCを算出する。例えば、NBr及びCCFを用いて、
【００４０】
【数８】
2015065517.tif 000010
でDCを算出してもよい。ここで、A2、A3、v31、v32、v33、v34は予め定められる係数であり、サービス事業者が決めてよい。映像品質MOSは、符号化劣化量DC及び閾値Th1、Th2を用いて、
【００４１】
【数９】
2015065517.tif 000011
と算出してもよい。ここで、閾値Th1、Th2及び係数v35、v36、v37、v38、v39は定数であり、サービス事業者が決めてよい。だたし、上記の映像品質MOSの算出において、閾値Th1、Th2を用いずに、常に、MOS=A2-DCまたはMOS=(A2-DC)・DSのどちらかで算出してもよい。また、DSの算出方法は、上記の式に限らなくてよく、例えば、ABIFおよびCCFは用いずに、
【００４２】
【数１０】
2015065517.tif 000012
で算出してもよい。
【００４３】
次に、図４を参照して本発明の第２実施形態における映像符号化パラメータ算出方法の動作の例について説明する。図４は本発明の第２実施形態に係る映像符号化パラメータ算出方法のフローチャートである。
【００４４】
符号化パラメータ算出装置２０は、上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。
【００４５】
まず、特徴量算出部２１は、入力された最上位符号化データに基づいて前述の映像特徴量を算出する（Ｓ２１）。
【００４６】
次に、符号化パラメータ算出部２３は、入力された下位ビットレート及び映像特徴量に基づいて前述の手順に従い解像度、フレームレート、ビットレートの組に対する映像品質を算出する（Ｓ２２）。
【００４７】
その後、符号化パラメータ算出部２３は、最大となる映像品質に対応する前記解像度及び前記フレームレートを組として符号化パラメータとして出力する。このとき、映像符号化パラメータ算出装置２０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい（Ｓ２３）。
【００４８】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【００４９】
このように第２実施形態においては、下位ビットレートから符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、所望のビットレートにおいて最適な符号化パラメータを算出することができる（または所望の映像品質を満たす最小のビットレートおよびそれに対応する解像度およびフレームレートを算出することができる。）
また、例えばITU-T勧告P.1201.1（非特許文献５）の映像品質推定モデルは、解像度毎に係数が定められており、異なる解像度の映像に対する品質推定結果を比較できない（例えば、低解像度・高品質の映像と高解像度・低品質の映像はどちらがよいか判断できない）が、第２実施形態における映像品質推定では、１画素あたりのビット量を用いることで、任意の解像度に対して同一の映像品質推定モデル（同一の係数）で映像品質を推定が可能であるため、異なる解像度の映像に対しても品質を比較することが可能となる。これにより最適な解像度を算出することができる。
【００５０】
また、第２実施形態においては、コンテンツの特徴量を用いて、下位ビットレートの符号化パラメータを算出できるため、コンテンツに適した下位の符号化パラメータを算出することができる。
【００５１】
＜第３実施形態＞
図５は本発明の第３実施形態に係る映像符号化パラメータ算出装置３０の構成を示す図である。図５に示すように映像符号化パラメータ算出装置３０は、特徴量算出部３１と符号化パラメータ算出部３３より構成されている。
【００５２】
特徴量算出部３１は、複数のビットレートを用意する際、最大ビットレートの映像データ（最上位符号化データ）を入力とし、映像特徴量を出力して符号化パラメータ算出部３３への入力とする。特徴量算出部３１に入力される最上位符号化データは、ファイル形式（例えば、MP4、TSファイル等）でもよく、ストリーム形式（例えば、IPパケット等）で逐次入力してもよい。最上位符号化データの最大ビットレートを最上位ビットレートと記す。第３実施形態においては、映像特徴量は最上位符号化データのうちＩフレームが占める割合とし、Ｉフレームが占める割合は、特徴量算出部３１が備えるＩフレーム特徴量算出部３２において、Ｉフレームが占める情報量を符号化映像の全情報量で割ることで計算できる。すなわち、Ｉフレームが占める情報量をＩｓ（例えば1MB）、符号化映像の全情報量をＡｓ（例えば4MB）としたとき、Ｉフレームが占める割合Ｉｒは、Ｉｒ＝Ｉｓ／Ａｓで計算できる（上記の例ではＩｒ＝0.25）。ここで、符号化映像の全情報量とは、最上位符号化データがファイル形式の場合には1ファイル全体の情報量であり、ストリーム形式の場合には単位時間あたりに入力された全最上位符号化映像データの情報量でもよく、1つ以上のGoP（複数フレームの1まとまり）をまとめて、全最上位符号化映像データとして扱ってもよい。
【００５３】
Ｉフレームが占める情報量は、特徴量算出部３１に入力される最上位符号化データのうち、Ｉフレームのデータを数えていくことで求めることができる。符号化映像の全情報量は、入力される最上位符号化データの全データを数えていくことで求めることができる。
【００５４】
符号化パラメータ算出部３３は、前記特徴量算出部３１の出力である映像特徴量及び映像符号化パラメータ算出装置３０への入力である下位ビットレートを入力として、符号化パラメータを出力する。ここで、下位ビットレートとは、下位映像を符号化する際の平均ビットレートであって、下位映像とは本装置３０で算出された前記符号化パラメータを用いて符号化された映像である。以下、単にビットレートと言ったとき、前記下位映像を符号化する下位ビットレートである下位映像符号化ビットレートを指す。前記下位映像符号化ビットレートは予め設定してある値でもよく、本装置３０の利用者が入力してもよい。ここで、下位映像符号化ビットレートの値は予め設定される場合でも本装置３０の利用者が入力する場合でも一つに固定されるものであり、本装置では、入力された１の下位映像符号化ビットレートに対して、1の符号化パラメータが出力されることになる。符号化パラメータは、解像度及びフレームレートである。解像度は符号化パラメータ算出部３３が備える解像度算出部３４において算出され、フレームレートは符号化パラメータ算出部３３が備えるフレームレート算出部３５において算出される。以下に符号化パラメータ算出方法の具体例を示す。
【００５５】
予め、入力可能な下位映像符号化ビットレートの範囲をｎ段階に分類し（例えば、ｎ＝2のとき、1200kbps未満と1200kbos以上など）、各クラスに対応する符号化パラメータとして2つの解像度（例えば、1280x720と640x360など）及び2つのフレームレート（例えば、30fpsと15fpsなど）をそれぞれ決めておく。ここでは説明を分かりやすくするためn=2としているが、これに限定されるものではない。前記下位映像符号化ビットレートの範囲を分類する方法及びｎの値は、サービス提供者が決めてよい。また、下位映像符号化ビットレートをn段階に分類する手段として、前述のとおり映像符号化のビットレートをｎ段階に分類して利用者にキーボード等から入力させる代わりに、入力可能なビットレートの選択肢を予めｎ種類に制限して設定し、プルダウンメニューなどの選択肢の中から利用者に選択させる手段を用いてもよい。このように、前記符号化パラメータ算出部３３に入力されたＩフレームの占める割合が予め定めた閾値ａ（例えば0.5）以上であるとき、入力された下位ビットレートの属するクラスに対応する解像度のうち高い解像度の方（上記の例では1280x720）が高品質になると判断し符号化パラメータとして出力する。前記Ｉフレームの占める割合が閾値ａ（例えば0.5）未満のとき、前記下位ビットレートの属するクラスに対応する解像度のうち低い解像度の方（上記の例では640x360）が高品質になると判断し符号化パラメータとして出力する。また、入力されたＩフレームの占める割合が予め定めた閾値ｂ（例えば0.3）以上のとき、入力された下位ビットレートの属するクラスに対応するフレームレートのうち低い方（上記の例では15fps）が高品質になると判断し符号化パラメータとして出力する。前記Ｉフレームの占める割合が閾値ｂ（例えば0.3）未満のとき、前記下位ビットレートの属するクラスに対応するフレームレートのうち高い方（上記の例では30fps）が高品質になると判断し符号化パラメータとして出力する。ここで、閾値ａ、ｂはサービス提供者が決めてよい。符号化パラメータ算出部３３が出力する符号化パラメータには、前記解像度及び前記フレームレートに加え、下位ビットレートも含めてよい。
【００５６】
上記の例において、Ｉフレームの占める割合Ｉｒが0.6であった場合、0.6は閾値ａ（0.5）以上であり、かつ閾値ｂ（0.3）以上であるから、符号化パラメータとして、1280x720と15fpsが出力される。Ｉｒが0.4であった場合、閾値ａ（0.5）未満であり、かつ閾値ｂ（0.3）以上であるから、符号化パラメータとして640x360と15fpsが出力される。Ｉｒが0.2であった場合、0.2は閾値ａ（0,5）未満であり、かつ閾値ｂ（0.3）未満であるから、符号化パラメータとして、640x360と30fpsが出力される。
【００５７】
上記映像符号化パラメータの算出ステップにおいて、映像符号化ビットレートの各クラスに対応する解像度及びフレームレートは、1つ以上であれば2つずつでなくてもよく、映像符号化ビットレートの各クラスに対応する解像度の個数とフレームレートの個数は一致していなくてもよい。また、映像符号化ビットレートの各クラスに対しても一定でなくてもよい。すなわち、高いビットレートのクラスには多数の解像度及びフレームレートを対応させ、低いビットレートのクラスには少数の解像度及びフレームレートを対応させるなどとしてもよい。映像符号化ビットレートの各クラスに対する解像度及びフレームレートがそれぞれｘ、ｙ個であるとき、Ｉフレームの占める割合の閾値をそれぞれｘ−１、ｙ−１個決めておけば、その閾値を用いて、入力されたＩフレームが占める割合に適した解像度及びフレームレートを算出することができる。
【００５８】
次に、図６は本発明の第３実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図６を参照して第３実施形態における映像符号化パラメータ算出方法の動作の例について説明する。
【００５９】
符号化パラメータ算出装置３０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。
【００６０】
まず、特徴量算出部３１は、入力された最上位符号化データから映像特徴量としてＩフレームが占める割合を抽出、出力し、符号化パラメータ算出部３３に入力する（Ｓ３１）。
符号化パラメータ算出部３３は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置に入力された下位ビットレートに基づいて、前述の符号化パラメータ算出の手順に従い解像度を算出する（Ｓ３２）。
【００６１】
また、符号化パラメータ算出部３３は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置３０に入力された下位ビットレートに基づいて、前述の符号化パラメータ算出の手順でフレームレートの算出も行う（Ｓ３３）。
【００６２】
最後に、符号化パラメータ算出部３３は、算出した前記解像度及び前記フレームレートを符号化パラメータとして出力する（Ｓ３４）。このとき、映像符号化パラメータ算出装置３０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい。
【００６３】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【００６４】
このように第３実施形態では、最上位ビットレートの符号化データを入力として、映像コンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。
【００６５】
第３実施形態においてコンテンツ特徴量として用いているのはＩフレームが占める情報量の割合であり、符号化パラメータ算出の方法も複雑な処理を行わないため、符号化パラメータを高速に算出することができる。
【００６６】
なお、コンテンツ特徴量には、例えば、ITU-T勧告P.910（非特許文献６）で規定されている空間的な複雑さを表す特徴量（SI）や時間的な複雑さを表す特徴量（TI）などがあるが、これらは計算量が大きいため、第３実施形態においては、Iフレームが占める割合をコンテンツ特徴量としている。
【００６７】
＜第４実施形態＞
本発明の第４実施形態に係る映像符号化パラメータ算出装置の構成は、第３実施形態と同様であるので、説明を省略する。
【００６８】
図７は、本発明の第４実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図７を参照して第４実施形態における映像符号化パラメータ算出方法の動作の例について説明する。
【００６９】
まず、特徴量算出部３１は、第３実施形態と同様に、入力された最上位符号化データから映像特徴量としてＩフレームが占める割合を抽出し、符号化パラメータ算出部３３に入力する（Ｓ４１）。
【００７０】
符号化パラメータ算出部３３のフレームレート算出部３５は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置３０に入力された下位ビットレートに基づいて、フレームレートを算出する（Ｓ４２）。当該フレームレートを算出する手順の具体例を示す。映像特徴量であるＩフレームが占める割合をＩｒ、入力された前記下位ビットレートをＢ、算出するフレームレートをＦとするとき、Ｆ＝ｃ１Ｉｒ＋ｃ２Ｂ＋ｃ３の式に基づきフレームレートを算出する。ここで、ｃ１、ｃ２、ｃ３は定数であり、サービス提供者が予め決めてよい。ただし、上記の式で、Ｆが予め決めてあるフレームレートの最大値ＦＭＡＸより大きくなってしまったとき、Ｆ＝ＦＭＡＸとする。この処理も数式にして表すと、Ｆ＝ＭＩＮ（ｃ１Ｉｒ＋ｃ２Ｂ＋ｃ３、ＦＭＡＸ）となる。ここで、ＭＩＮ（Ａ、Ｂ）は、Ａ、Ｂのうち小さい方を選択することを表すものである。
【００７１】
次に、符号化パラメータ算出部３３の解像度算出部３４は、入力された前記下位ビットレート及び算出した前記フレームレートに基づいて、解像度を算出する（Ｓ４３）。当該解像度を算出する手順の具体例を示す。予め、解像度は、出力可能なものを複数個定義し、記憶装置（図示せず）に保持しておく。前記下位ビットレートをＢ、算出した前記フレームレートをＦ、算出する最適な解像度をＶｆとするとき、Ｖｆ＝ｃ４Ｂ/Ｆ＋ｃ５Ｂ＋ｃ６Ｆ＋ｃ7の式に基づき最適な解像度を推定する。ここで、ｃ４、ｃ５、ｃ６、ｃ７は定数であり、サービス提供者が予め決めてよい。予め定めてある出力可能な解像度のうち、前記推定した最適な解像度に最も近いものを解像度として選択し、算出した値とする。ここで、２つの解像度（例えば、1920x1080と1280x720）の間の距離は、縦方向の画素数の差の絶対値（上記の例では、1080-720=360）に基づいて定めてもよく、画素数の差の絶対値（上記の例では1920*1080-1280*720=1152000）に基づいて定めてもよい。例えば、出力可能な解像度として、Ａ(1920x1080)とＢ(1280x720)があり、前記推定した最適な解像度Ｖｆが1600x900であるとき、解像度間の距離を縦方向の画素数の差の絶対値で測ると、ＶｆとＡの距離とＶｆとＢの距離はともに180となる。このように最も近いものが複数あるときには、最も近いもののうちどれを選んでもよい。
【００７２】
最後に、第３実施形態と同様に、符号化パラメータ算出部３３は、前記解像度及び前記フレームレートを符号化パラメータとして出力する（Ｓ４４）。このとき、映像符号化パラメータ算出装置３０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい。
【００７３】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【００７４】
このように第４実施形態においても、第３実施形態と同様に、最上位ビットレートの符号化データを入力として、映像コンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、上位の符号化映像の情報を用いて、コンテンツに適した下位の符号化パラメータを算出することができる。
【００７５】
第３実施形態と異なる点は、符号化パラメータ算出部３３における符号化パラメータ算出の手順である。第３実施形態では、解像度及びフレームレートは、独立に下位ビットレート及び映像コンテンツの特徴量であるＩフレームが占める割合に基づいて、予め定めた閾値を用いて算出する。それに対して、第４実施形態では、下位ビットレート及び映像コンテンツの特徴量であるＩフレームが占める割合に基づいて符号化パラメータにおけるフレームレートを算出した後、入力された前記下位ビットレート及び算出した前記フレームレートに基づいて解像度を算出する。このため、算出されたフレームレートに適した解像度を算出することができる。
【００７６】
＜第５実施形態＞
本発明の第５実施形態に係る符号化パラメータ算出装置の構成は、第３実施形態と同様であるので、説明を省略する。
【００７７】
図８は、本発明の第５実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図８を参照して第５実施形態における映像符号化パラメータ算出方法の動作の例について説明する。
【００７８】
まず、特徴量算出部３１は、第３実施形態と同様に、入力された最上位ビットレートの符号化データから映像特徴量としてＩフレームが占める割合を抽出、出力し、符号化パラメータ算出部３３に入力する（Ｓ５１）。
【００７９】
符号化パラメータ算出部３３の解像度算出部３４は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置３０に入力された下位ビットレートに基づいて、解像度を算出する（Ｓ５２）。算出された前記解像度を算出する手順の具体例を示す。予め、解像度は、出力可能なものを複数個定義しておく。映像特徴量であるＩフレームが占める割合をＩｒ、前記下位ビットレートをＢ、最適な解像度をＶｆとするとき、Ｖｆ＝ｃ８ＩｒＢ＋ｃ９Ｉｒ＋ｃ１０Ｂ＋ｃ１１の式に基づき最適な解像度を算出する。ここで、ｃ８、ｃ９、ｃ１０、ｃ１１は定数であり、サービス提供者が予め決めてよい。予め定めてある出力可能な解像度のうち、前記算出した最適な解像度に最も近いものを解像度として算出する。２つの解像度間の距離は、第４実施形態と同様に測り、最も近いものが複数あるときには、どれを選んでもよい。
【００８０】
次に、符号化パラメータ算出部３３のフレームレート算出部３５は、入力された前記下位ビットレート及び算出された前記解像度に基づいて、フレームレートを算出する（Ｓ５３）。前記算出されたフレームレートは、勧告G.1070（非特許文献１）に記載されているような方法で算出することができる。その方法について説明する。入力された前記下位ビットレートをＢ、算出された前記解像度をＶｆ、算出するフレームレートをＦとするとき、Ｆ＝ｃＶｆ１Ｂ＋ｃＶｆ２の式に基づきフレームレートを算出する。ここで、ｃＶｆ１、ｃＶｆ２は解像度ごとに決められた定数であり、その値はサービス提供者が予め決めてよい。
【００８１】
最後に、第３実施形態と同様に、符号化パラメータ算出部３３は、算出された前記解像度及び前記フレームレートを符号化パラメータとして出力する（Ｓ５４）。このとき、入力された前記下位ビットレートも前記符号化パラメータとして出力してもよい。
【００８２】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【００８３】
このように第５実施形態においても、第３実施形態と同様に、最上位ビットレートの符号化データを入力として、コンテンツの特徴量を抽出し、下位ビットレートの符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、上位の符号化映像の情報を用いて、コンテンツに適した下位の符号化パラメータを算出することができる。
【００８４】
第３実施形態及び第４実施形態と異なる点は、符号化パラメータ算出部３３における符号化パラメータ算出の手順である。第３実施形態では、算出される符号化パラメータである解像度及びフレームレートは、独立に下位ビットレート及びＩフレームが占める割合に基づいて、閾値を用いて算出する。第４実施形態では、入力された前記下位ビットレート及びコンテンツ特徴量であるＩフレームが占める割合に基づいてフレームレートを算出した後、前記下位ビットレート及び算出された前記フレームレートに基づいて解像度を算出する。それらに対して、第５実施形態では、入力された前記下位ビットレート及びコンテンツ特徴量である前記Ｉフレームが占める割合に基づいて解像度を算出した後、前記下位ビットレート及び算出した前記解像度に基づいてフレームレートを算出する。このため、算出された解像度に適したフレームレートを算出することができる。
【００８５】
＜第６実施形態＞
図９は本発明の第６実施形態に係る映像符号化パラメータ算出装置６０の構成を示す図である。図９に示すように映像符号化パラメータ算出装置６０は、動的特徴量算出部６２を備える特徴量算出部６１と、映像品質推定部６４を備える符号化パラメータ算出部６３より構成されている。
【００８６】
特徴量算出部６１は、複数のビットレートを用意する際、最大ビットレートの映像データ（最上位符号化データ）を入力とし、映像の特徴量を算出する。最上位符号化データの最大ビットレートを最上位ビットレートという。第６実施形態において、特徴量算出部６１が備える動的特徴量算出部６２は符号化映像の動きベクトルを抽出する。抽出した動きベクトルは、映像特徴量として、符号化パラメータ算出部６３に入力される。一般的な映像では、カメラがパンを行ったり、フレーム内のオブジェクトが動くなど、フレーム間に動きがある。このため、映像符号化の圧縮性能を高めるために、現在のフレームは、前後のフレームのどの位置のブロックが移動したと考えられるかを動きベクトルを用いて表現される。例えば、複数のオブジェクトが無秩序に動く映像では方向や大きさが異なる動きベクトルが複数存在し、時間的な変化の少ない映像では動きベクトルは小さくなる。従って、動きベクトルは映像の時間的な変化を表すデータであると考えられ、第６実施形態においては動きベクトルに基づいて動的特徴量を算出する。
【００８７】
特徴量算出部６１は、最上位符号化データに基づいて、映像の特徴量を算出し、符号化パラメータ算出部６３に映像特徴量を入力する。第６実施形態においては、特徴量算出部６１は動的特徴量算出部６２を備え、動的特徴量算出部６２は動きベクトルに基づいて動的特徴量を算出する。動的特徴量は、映像特徴量として符号化パラメータ算出部６３に入力される。
【００８８】
動的特徴量は、例えば、動きベクトルの絶対値の平均F1である。具体的には、最上位符号化映像のkフレーム目におけるマクロブロック(i,j)の動きベクトルをV(i,j)とすると、
【００８９】
【数１１】
2015065517.tif 000013
でF1,kを計算できる。ただし、
【００９０】
【数１２】
2015065517.tif 000014
である。この閾値Thは、動きを正確に表さない動きベクトルを除外する目的で、動きベクトルの平均のx倍（例えば、x=1.5）として、フレームごとに
【００９１】
【数１３】
2015065517.tif 000015
で定める。動的特徴量F1はF1,kの平均である。ただし、F1,kの平均を計算する際には、動きベクトルが含まれないIフレームを除いて計算する。また、閾値Thを用いなくてもよく、その場合、
【００９２】
【数１４】
2015065517.tif 000016
でF1,kを計算できる。
【００９３】
符号化パラメータ算出部６３は、前記特徴量算出部６１の出力である映像特徴量及び映像符号化パラメータ算出装置６０への入力である下位ビットレートに基づいて、符号化パラメータを算出する。ここで、本装置６０により算出を行う符号化パラメータを用いて符号化された映像を下位映像といい、下位映像を符号化する際の平均ビットレートを下位ビットレートという。以下、単にビットレートと言ったとき、前記下位映像を符号化する下位ビットレートである下位映像符号化ビットレートを指す。前記下位映像符号化ビットレートは、予め設定してある値でもよく、本装置６０の利用者が入力してもよい。ここで、下位映像符号化ビットレートの値は予め設定される場合でも本装置６０の利用者が入力する場合でも一つに固定されるものであり、本装置では、入力された１の下位映像符号化ビットレートに対して、1の符号化パラメータが出力されることになる。
【００９４】
符号化パラメータには、解像度及びフレームレートが含まれる。以下に符号化パラメータ算出の具体例を示す。
【００９５】
符号化パラメータのうち、フレームレートの算出は、第６実施形態では非特許文献４に開示されている最適フレームレート推定の方法と同様に符号化パラメータによる相対的なユーザ体感品質を推定し、推定したユーザ体感品質が最大となるフレームレートを求めることとする。符号化パラメータ算出部６３が備える映像品質推定部６４において、相対的なユーザ体感品質は、
【００９６】
【数１５】
2015065517.tif 000017
で推定する。ここで、sは下位映像の1フレームあたりのビット数、tは1秒あたりのフレーム数を表し、s・tは1秒あたりのビット数（ビットレート）を意味する。βt、γtは、映像特徴量である動的特徴量F1を用いて、
【００９７】
【数１６】
2015065517.tif 000018
で計算する。上記βs、γs及びc1、c2、c3、c4は、定数であり、サービス提供者が決めてよい。予め、出力可能なフレームレート（例えば、1から30までの整数など）を決めておくことで、f(s,t)が最大となるs、tを選ぶことができる。つまり、入力される下位ビットレートをbとすると、s=b/tであるから、f(b/t,t)が最大となるs、tを選べばよい（上記の例では、f(b,1), f(b/2,2),..., f(b/30,30)を計算し、最大となるフレームレートを選ぶ）。解像度も予め出力可能なものを決めておく（例えば、960x540、1280x720、1920x1080など）。最適な解像度vは、v=c5・s+c6で求め、出力可能な解像度のうち、最も近いものを選択する。c5、c6はサービス提供者が決めてよい。上記の手順で、選択したフレームレート及び解像度を符号化パラメータとして、出力する。
【００９８】
次に、図１０は本発明の第６実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図１０を参照して第６実施形態における映像符号化パラメータ算出装置６０の動作の例について説明する。
【００９９】
符号化パラメータ算出装置６０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。
【０１００】
まず、特徴量算出部６１が備える動的特徴量算出部６２は、入力された最上位符号化データから動きベクトルを抽出する（Ｓ６１）。
【０１０１】
特徴量算出部６１が備える動的特徴量算出部６２は、抽出した動きベクトルに基づいて動的特徴量を算出し、映像特徴量として動的特徴量を符号化パラメータ算出部６３に入力する（Ｓ６２）。
【０１０２】
符号化パラメータ算出部６３は、入力された映像特徴量及び下位ビットレートに基づいて、前述の手順でフレームレートt及び1フレームあたりのビット数sを算出する（Ｓ６３）。
【０１０３】
次に、符号化パラメータ算出部６３は、1フレームあたりのビット数sに基づいて、前述の手順に示すv=c5・s+c6により解像度vの算出を行う（Ｓ６４）。
【０１０４】
最後に、符号化パラメータ算出部６３は、前記フレームレート及び前記解像度を符号化パラメータとして出力する（Ｓ６５）。
【０１０５】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【０１０６】
このように第６実施形態では、最上位ビットレートの符号化データを入力として、動きベクトルに基づく動的特徴量であるコンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、プログレッシブダウンロード型の映像配信サービスのような動的に映像品質の切り替えを行う映像配信サービスにおいて、配信映像を符号化する際、コンテンツの特徴を考慮して、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。
【０１０７】
第６実施形態によれば、特徴量として用いているのは動きベクトルであり、画素信号を扱わなくてもよく、符号化パラメータ算出の方法も複雑な処理を行わないため、符号化パラメータを高速に算出することができる。
【０１０８】
＜第７実施形態＞
図１１は、本発明の第７実施形態に係る映像符号化パラメータ算出装置７０の構成を示す図である。図１１に示すように映像符号化パラメータ算出装置７０は、動的特徴量算出部７２及びマクロブロック特徴量算出部７４を備える特徴量算出部７１と、符号化パラメータ算出部７３から構成されている。図１１の構成は、図９の構成に、マクロブロック特徴量算出部７４及びその出力が付加されている。
【０１０９】
特徴量算出部７１は、最上位符号化データを入力とし、映像特徴量を出力する。
【０１１０】
動的特徴量算出部７２は、前述の第６実施形態と同様の処理を行うため、その説明を省略する。
【０１１１】
マクロブロック特徴量算出部７４は、最上位符号化データから、イントラマクロブロックの個数及び全マクロブロックの個数を抽出する。一般的には、イントラマクロブロックはインターマクロブロックに比べて符号化効率が悪いため、符号化が容易（高圧縮可能）な映像は、イントラマクロブロックが少ない傾向にある。また、イントラマクロブロックは、前後のフレームから予測が困難である場合や、空間的に変化が少ない場合に用いられることが多いため、コンテンツの特徴を表す値であると考えられる。これらの理由から、第７実施形態においては、マクロブロックの情報を用いている。
【０１１２】
マクロブロック特徴量算出部７４は、抽出したマクロブロック情報に基づいて、マクロブロック特徴量を算出し、映像特徴量として、符号化パラメータ算出装置７３に入力する。前述の通り、マクロブロック情報は、イントラマクロブロックの個数及び全マクロブロックの個数である。マクロブロック特徴量F2は、イントラマクロブロックが全体に占める割合であり、イントラマクロブロックの個数をMBI、全マクロブロックの個数をMBAとすると、
【０１１３】
【数１７】
2015065517.tif 000019
で算出できる。
【０１１４】
符号化パラメータ算出部７３は、動的特徴量及びマクロブロック特徴量に基づいて、符号化パラメータを算出する。第７実施形態においても、第６実施形態と同様に、相対的なユーザ体感品質を
【０１１５】
【数１８】
2015065517.tif 000020
で推定する。第７実施形態が第６実施形態と異なる点は係数βs、γsの求め方であり、係数βt、γtは第６実施形態と同様に算出する。第６実施形態においてはβs、γsは定数であったが、第７実施形態においては静的特徴量F2を用いて、
【０１１６】
【数１９】
2015065517.tif 000021
で計算する。ここで、c7、c8、c9、c10は定数であり、サービス提供者が決めてよい。算出する符号化パラメータの内、1フレームあたりのビット数s及び最適なフレームレートtは、第６実施形態と同様に、予め決めてある出力可能なフレームレートを用いて算出する。次に、最適な解像度は
【０１１７】
【数２０】
2015065517.tif 000022
の式を用いて計算し、予め決めてある出力可能な解像度に最も近いものを選択する。上記の手順で算出したフレームレート及び解像度を符号化パラメータとして出力する。
【０１１８】
次に、図１２は、本発明の第７実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図１２を参照して第７実施形態における映像符号化パラメータ算出方法の動作の例について説明する。
【０１１９】
符号化パラメータ算出装置７０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。
【０１２０】
まず、特徴量算出部７１が備える動的特徴量算出部７２は、第６実施形態と同様に、入力された最上位符号化データから動きベクトルを抽出する（Ｓ７１）。
【０１２１】
特徴量算出部７１が備えるマクロブロック特徴量算出部７４は、入力された最上位符号化データからマクロブロック情報を抽出する（Ｓ７２）。
【０１２２】
特徴量算出部７１が備える動的特徴量算出部７２は、第６実施形態と同様、抽出した前記動きベクトルに基づいて、動的特徴量を算出し、映像特徴量として符号化パラメータ算出部７３に入力する（Ｓ７３）。
【０１２３】
特徴量算出部７１が備えるマクロブロック特徴量算出部７４は、抽出した前記マクロブロック情報に基づいて、マクロブロック特徴量を算出し、映像特徴量として符号化パラメータ算出部７３に入力する（Ｓ７４）。
【０１２４】
符号化パラメータ算出部７３は、入力された前記動的特徴量及び前記マクロブロック特徴量を含む映像特徴量と下位ビットレートに基づき、前述の手順により、フレームレート及び1フレームあたりのビット数を算出する（Ｓ７５）。
【０１２５】
次に、符号化パラメータ算出部７３は、前記映像特徴量及び前記1フレームあたりのビット数に基づいて、解像度を算出する（Ｓ７６）。
【０１２６】
最後に、符号化パラメータ算出部７３は、前記フレームレート及び前記解像度を符号化パラメータとして出力する（Ｓ７７）。
【０１２７】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【０１２８】
このように第７実施形態では、第６実施形態と同様に、最上位ビットレートの符号化データを入力として、動きベクトルに基づく動的特徴量及びマクロブロック情報に基づくマクロブロック特徴量を用いてコンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、プログレッシブダウンロード型の映像配信サービスなどのような動的に映像品質の切り替えを行う映像配信サービスにおいて、配信映像を符号化する際、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。
【０１２９】
第６実施形態と異なる点は、マクロブロック特徴量算出部７４が付加され、符号化パラメータ算出部７３の処理においてマクロブロック特徴量に基づいて符号化パラメータを算出している点である。第６実施形態では、動的特徴量に基づいて、フレームレートを算出する。それに対して、第７実施形態では、動的特徴量及びマクロブロック特徴量に基づいてフレームレートを算出する。このため、よりコンテンツの特徴を捉えることができ、コンテンツに適したフレームレートを算出することができる。
【０１３０】
＜第８実施形態＞
図１３は、本発明の第８実施形態に係る映像符号化パラメータ算出装置８０の構成を示す図である。図１３に示すように映像符号化パラメータ算出装置８０は、動的特徴量算出部８２、マクロブロック特徴量算出部８４及び量子化特徴量算出部８５を備える特徴量算出部８１と、符号化パラメータ算出部８３から構成されている。図１３の構成は、図１１の構成に、量子化特徴量算出部８５及びその出力が付加されている。
【０１３１】
特徴量算出部８１は、最上位符号化データを入力とし、映像特徴量を出力する。
【０１３２】
動的特徴量算出部８２及びマクロブロック特徴量算出部８４は、前述の第７実施形態と同様の処理を行うため、その説明を省略する。
【０１３３】
量子化特徴量算出部８５は、最上位符号化データから、量子化パラメータを抽出する。量子化パラメータ（または量子化ステップ）は各画素値の表現の正確性に関わる値であり、量子化パラメータを大きくすると、映像の圧縮率を高めることができるが、量子化誤差が大きくなりブロック歪等の品質劣化の原因となる。このため、量子化パラメータは、圧縮性能や品質に関わる重要な値であるので、第８実施形態においては、量子化パラメータに基づいて量子化特徴量を算出する。
【０１３４】
量子化特徴量算出部８５は、入力される量子化パラメータに基づいて、量子化特徴量を算出し、映像特徴量として、符号化パラメータ算出部８３へ入力する。第８実施形態においては、量子化特徴量は、量子化パラメータの標準偏差とする。量子化パラメータをQPi（i=1,2,...,N）とし、その平均値を
【０１３５】
【数２１】
2015065517.tif 000023
とすると、量子化特徴量σは、
【０１３６】
【数２２】
2015065517.tif 000024
に基づいて算出できる。なお、量子化特徴量は、量子化パラメータの標準偏差に限定されるものではなく、例えば、平均値、中央値、分散、歪度、尖度などその他の統計値を用いてもよい。
【０１３７】
符号化パラメータ算出部８３は、動的特徴量とマクロブロック特徴量と量子化特徴量とを含む映像特徴量に基づいて、符号化パラメータを算出する。第８実施形態においても、第６実施形態または第７実施形態と同様に、相対的なユーザ体感品質を
【０１３８】
【数２３】
2015065517.tif 000025
に基づいて推定する。また、係数βs、γs、βt、γtも第６実施形態または第７実施形態と同様に算出し、第６実施形態または第７実施形態と同様に、予め決めてある出力可能なフレームレートを用いて、算出する符号化パラメータの内、1フレームあたりのビット数s及び最適なフレームレートtを算出する。
【０１３９】
次に、算出する符号化パラメータの内、最適な解像度の算出方法について示す。
【０１４０】
第６実施形態または第７実施形態と異なる点は、最適な解像度の算出方法である。最適な解像度は
【０１４１】
【数２４】
2015065517.tif 000026
の式で計算し、算出された最適な解像度vと予め決めてある出力可能な解像度を比較し、算出された（推定された）最適な解像度vに最も近い、予め定められた解像度の値を選択する。ここで、δは静的特徴量F2と閾値aを用いて、
【０１４２】
【数２５】
2015065517.tif 000027
に基づいて算出する。または、動的特徴量F1と閾値a'を用いて、
【０１４３】
【数２６】
2015065517.tif 000028
に基づいて算出してもよい。上記c11、c12、c13、c14、a、a'は定数であり、サービス提供者が決めてよい。量子化特徴量として、標準偏差以外の値を用いている場合には、その特徴量に応じた式に基づいて最適な解像度vを算出する。
【０１４４】
上記の手順で算出したフレームレート及び解像度を符号化パラメータとして出力する。
【０１４５】
次に、図１４は、本発明の第８実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図１４を参照して第８実施形態における映像符号化パラメータ算出方法の動作の例について説明する。
【０１４６】
符号化パラメータ算出装置８０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。
【０１４７】
まず、特徴量算出部８１が備える動的特徴量算出部８２は、第６実施形態と同様に、入力された最上位符号化データから動きベクトルを抽出する（Ｓ８１）。
【０１４８】
特徴量算出部８１が備えるマクロブロック特徴量算出部８４は、第７実施形態と同様に、入力された最上位符号化データからマクロブロック情報を抽出する（Ｓ８２）。
【０１４９】
特徴量算出部８１が備える量子化特徴量算出部８５は、入力された最上位符号化データから量子化パラメータを抽出する（Ｓ８３）。
【０１５０】
特徴量算出部８１が備える動的特徴量算出部８２は、第６実施形態と同様、抽出した前記動きベクトルに基づいて、動的特徴量を算出し、映像特徴量として符号化パラメータ算出部８３へ入力する（Ｓ８４）。
【０１５１】
特徴量算出部８１が備えるマクロブロック特徴量算出部８４は、第７実施形態と同様、抽出した前記マクロブロック情報に基づいて、マクロブロック特徴量を算出し、映像特徴量として符号化パラメータ算出部８３へ入力する（Ｓ８５）。
【０１５２】
特徴量算出部８１が備える量子化特徴量算出部８５は、抽出した前記量子化パラメータに基づいて、量子化特徴量を算出し、映像特徴量として符号化パラメータ算出部８３へ入力する（Ｓ８６）。
【０１５３】
符号化パラメータ算出部８３は、入力された前記動的特徴量と前記マクロブロック特徴量と前記量子化特徴量とを含む映像特徴量及び下位ビットレートに基づき、前述の手順により、フレームレート及び1フレームあたりのビット数を算出する（Ｓ８７）。
【０１５４】
次に、符号化パラメータ算出部８３は、前記量子化特徴量及び前記1フレームあたりのビット数に基づいて、解像度を算出する（Ｓ８８）。
【０１５５】
最後に、符号化パラメータ算出部８３は、前記フレームレート及び前記解像度を符号化パラメータとして出力する（Ｓ８９）。
【０１５６】
これにより、一連の映像符号化パラメータ算出処理を終了する。
【０１５７】
このように第８実施形態では、第６実施形態及び第７実施形態と同様に、最上位ビットレートの符号化データを入力として、動きベクトルに基づく動的特徴量及びマクロブロック情報に基づくマクロブロック特徴量、並びに量子化パラメータに基づく量子化特徴量を用いてコンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、第８実施形態においても、プログレッシブダウンロード型の映像配信サービスなどのような動的に映像品質の切り替えを行う映像配信サービスにおいて、配信映像を符号化する際、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。
【０１５８】
第７実施形態と異なる点は、量子化特徴量算出部８５が付加され、符号化パラメータ算出部８３の処理において量子化特徴量に基づいて解像度を算出している点である。このため、よりコンテンツの特徴を捉えることができ、コンテンツの特徴に応じた解像度を算出することができる。
【０１５９】
上記の実施形態では、プログレッシブダウンロード型映像配信サービスにおける符号化パラメータの算出について説明したが、本発明の実施形態は、映像が複数のビットレートで符号化されて配信される他の映像配信サービスにも適用可能である。例えば、リアルタイムストリーミング型映像配信サービスにおいて、端末種別やネットワーク種別によって映像品質を切り替えることも考えられる。本発明の実施形態は、このときの下位の配信品質の符号化パラメータの算出に適用可能である。
【０１６０】
＜実施形態の効果＞
本発明の実施形態に係る映像符号化パラメータ算出装置は、映像品質の推定結果またはコンテンツの特徴を用いて符号化パラメータを算出するため、コンテンツに適した符号化を行うことができ、配信品質を最適にすることが可能となる。これにより、配信品質の切り替えを行うプログレッシブダウンロード型映像配信サービスなどにおいて、各ビットレートのファイルに対して適切な配信品質でサービスを提供することが可能になる。
【０１６１】
説明の便宜上、本発明の実施形態に係る映像符号化パラメータ算出装置は機能的なブロック図を用いて説明しているが、本発明の実施形態に係る映像符号化パラメータ算出装置は、ハードウェア、ソフトウェアまたはそれらの組み合わせで実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施形態に係る方法は処理の流れを示すフローチャートを用いて説明しているが、本発明の実施形態に係る方法は、実施形態に示す順序と異なる順序で実施されてもよい。
【０１６２】
以上、映像が複数のビットレートで符号化されて配信される映像配信サービスの配信映像に対して、符号化パラメータの算出を可能とするための手法について説明したが、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【０１６３】
１０、２０、３０  映像符号化パラメータ算出装置
２１、３１  特徴量算出部
２２、３２  Ｉフレーム特徴量算出部
１１、２３、３３  符号化パラメータ算出部
１２、２４        映像品質推定部
３４  解像度算出部
３５  フレームレート算出部
６０、７０、８０  映像符号化パラメータ算出装置
６１、７１、８１  特徴量算出部
６２、７２、８２  動的特徴量算出部
６３、７３、８３  符号化パラメータ算出部
６４              映像品質推定部
７４、８４  マクロブロック特徴量算出部
８５  量子化特徴量算出部
【図１】
2015065517.tif 000029
【図２】
2015065517.tif 000030
【図３】
2015065517.tif 000031
【図４】
2015065517.tif 000032
【図５】
2015065517.tif 000033
【図６】
2015065517.tif 000034
【図７】
2015065517.tif 000035
【図８】
2015065517.tif 000036
【図９】
2015065517.tif 000037
【図１０】
2015065517.tif 000038
【図１１】
2015065517.tif 000039
【図１２】
2015065517.tif 000040
【図１３】
2015065517.tif 000041
【図１４】
2015065517.tif 000042