(57)【特許請求の範囲】
【請求項１】
複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置であって、
前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶部と、
推定条件として前記映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得部と、
前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得部と、
前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出し前記推定値として出力する最良映像品質推定部と、
前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定部と
を備えることを特徴とする映像品質推定装置。
【請求項２】
請求項１に記載の映像品質推定装置において、
前記最良映像品質推定部は、前記符号化ビットレートの増加に応じて前記最良映像品質が単調増加した後に所定の最大主観映像品質値に収束する符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出することを特徴とする映像品質推定装置。
【請求項３】
請求項１に記載の映像品質推定装置において、
前記最適フレームレート推定部は、前記符号化ビットレートの増加に応じて前記最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出することを特徴とする映像品質推定装置。
【請求項４】
複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置で用いられる映像品質推定方法であって、
記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶ステップと、
パラメータ取得部により、推定条件として前記映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得ステップと、
係数取得部より、前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得ステップと、
最良映像品質推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出し前記推定値として出力する最良映像品質推定ステップと、
最適フレームレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定ステップと
を備えることを特徴とする映像品質推定方法。
【請求項５】
複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置のコンピュータに、
記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶ステップと、
パラメータ取得部により、推定条件として前記映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得ステップと、
係数取得部より、前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得ステップと、
最良映像品質推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出し前記推定値として出力する最良映像品質推定ステップと、
最適フレームレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信技術に関し、特に複数のフレームに符号化した映像メディアを端末で受信再生した際に視聴者が実感する主観映像品質に関する映像品質を推定する映像品質推定技術に関する。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ−端末間で転送する映像通信サービスの普及が期待されている。
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、映像メディアを複数のフレームに符号化して転送するという符号化通信方式が用いられる。
【０００３】
一方、映像通信サービスに利用されるインターネットなどのベスト・エフォート型ネットワークでは、必ずしも通信品質が保証されているわけではない。このため、インターネットを介して映像メディアなどの時間的連続性を有するストリーミング系コンテンツを転送する際、通信回線の帯域が狭い場合や通信回線が輻輳した場合には、通信回線を介して受信再生した映像メディアに対して視聴者が実感する品質、すなわち主観映像品質の劣化として知覚されやすい。具体的には、映像メディアに品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。
【０００４】
このように、映像メディアを転送する映像通信サービスでは、品質劣化が知覚されやすく、映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。
【０００５】
従来、このようなストリーミング系コンテンツの１つである音声メディアの品質を推定する技術として、ＩＴＵ−Ｔ勧告Ｐ．８６２（International Telecommunication Union-Telecommunication Standardization Sector）において、音声信号を入力とする音声品質客観評価法ＰＥＳＱ（Perceptual Evaluation of Speech Quality）が規定されている。また、ＩＴＵ−Ｔ勧告Ｇ．１０７において、音声品質パラメータを入力とする音声品質推定法が記載されており、ＶｏＩＰ（Voice over IP）での品質設計に利用されている。
【０００６】
一方、映像メディアの品質を推定する技術としては、映像信号を入力とする映像品質客観評価法が勧告として提案されている（例えば、非特許文献１参照）。また、映像品質パラメータを入力とする映像品質推定を行うものも提案されている（例えば、非特許文献２参照）。これによれば、映像品質と各映像品質パラメータの関係から映像品質を定式化し、これら積の線形和により映像品質を定式化している。また、符号化パラメータとパケット損失を考慮した品質推定モデルも提案されている（例えば、非特許文献３参照）。
【０００７】
【非特許文献１】ＩＴＵ−Ｔ勧告Ｊ．１４４
【非特許文献２】山岸,林、「映像コミュニケーションサービスに対する表示サイズ・解像度を考慮した映像品質推定モデル」、社団法人電子情報通信学会、信学技法CQ2005-60、2005/09、pp.61-64
【非特許文献３】荒山,北脇,山田、「符号化パラメータとパケット損失を考慮したAV通信品質の推定モデル」、社団法人電子情報通信学会、信学技法CQ2005-77、2005/11、pp.57-60
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ネットワークの品質設計や品質管理では、映像通信サービスに関する各種条件に対応する、具体的で有用な品質設計・管理指針が必要となる。特に、映像通信サービスの映像品質を左右する多くの要因すなわち映像品質パラメータが存在するため、これら映像品質パラメータが、映像品質にどのような影響を与えるか、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるかという品質設計・管理指針を得ることが重要となる。
【０００９】
映像品質に大きな影響を与える要因として、映像メディアに対する符号化処理の内容を示す符号化ビットレートとフレームレートがある。符号化ビットレートは、映像メディアに関する単位時間当たりの符号化ビット数を示す値であり、フレームレートは、映像メディアに関する単位時間当たりのフレーム数を示す値である。
【００１０】
ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。
【００１１】
したがって、これら単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、符号化ビットレートをどの程度に設定するとどの程度の最良映像品質が得られるか、という具体的で有用な品質設計・管理指針が、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理において重要となる。
【００１２】
しかしながら、前述の非特許文献１に記載されている、映像信号を入力とする客観品質評価法では、映像の特徴量すなわち空間的および時間的歪みから算出される特徴量を考慮して映像品質を推定している。このため、映像通信サービスの映像品質を左右する多くの要因すなわち各映像品質パラメータが、映像品質に対してどのような影響を与えているか不明確であるため、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるか、という品質設計・管理指針を得ることができない。
【００１３】
また、前述の非特許文献２および非特許文献３には、映像品質パラメータを入力とする映像品質推定法が記載されているが、単位フレーム当たりの符号量とフレームレートの映像品質に対するトレードオフが考慮されておらず、ネットワークの品質設計や品質管理において具体的で有用な品質設計・管理指針を得ることができない、という問題点がある。
【００１４】
また、非特許文献２は、映像品質と各映像品質パラメータの関係から映像品質を定式化しているが、各符号化ビットレートに対する最適フレームレートを適切に算出することができず、映像品質を適切に推定できないという問題点がある。
また、非特許文献３は、符号化ビットレートとパケット損失の関係から映像品質を定式化した映像品質推定法であり、時間的劣化の一要因であるフレームレートが考慮されていないといった問題点がある。さらに、映像品質は符号化ビットレートの増加に伴い、任意の最大値に収束する特性を有しているのに対して、非特許文献３では、映像品質を二次関数で推定しているため、ある符号化ビットレート以上になると映像品質の低下を招く推定モデルとなり、上記特性と反する結果を示している。
【００１５】
本発明はこのような課題を解決するためのものであり、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフが考慮された、具体的で有用な品質設計・管理指針を得ることができる映像品質推定装置、方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１６】
このような目的を達成するために、本発明にかかる映像品質推定装置は、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置であって、映像通信の種別を示す通信種別パラメータ、端末における映像メディアの再生性能を示す再生性能パラメータ、または端末で映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、推定モデルの特定に用いる特性係数との対応関係を記憶する記憶部と、推定条件として映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと映像通信または端末に関する副パラメータを取得するパラメータ取得部と、パラメータ取得部で取得された副パラメータに対応する特性係数を記憶部から取得する係数取得部と、係数取得部で取得された特性係数により特定される、映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、入力符号化ビットレートに対応する最良映像品質を算出し推定値として出力する最良映像品質推定部と、係数取得部で取得された特性係数により特定される、映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定部とを備えている。
【００１８】
また、最良映像品質推定部で、符号化ビットレートの増加に応じて最良映像品質が単調増加した後に所定の最大主観映像品質値に収束する符号化ビットレート−最良映像品質特性に基づいて、入力符号化ビットレートに対応する最良映像品質を算出するようにしてもよい。
【００１９】
また、最適フレームレート推定部で、符号化ビットレートの増加に応じて最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、入力符号化ビットレートに対応する最適フレームレートを算出するようにしてもよい。
【００２０】
また、本発明にかかる映像品質推定方法は、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置で用いられる映像品質推定方法であって、前述した映像品質推定装置で実現される各処理動作に対応するステップをそれぞれ備えている。
【００２１】
また、本発明にかかるプログラムは、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置のコンピュータに、前述した映像品質推定装置で実現される各処理動作に対応するステップを実行させるものである。
【発明の効果】
【００２２】
本発明によれば、パラメータ取得部で取得された、通信種別パラメータ、再生性能パラメータ、および再生環境パラメータのうちの１つ以上からなる副パラメータに対応する特性係数が、記憶部から係数取得部により取得され、最良映像品質推定部により、これら特性係数により特定される符号化ビットレート−最良映像品質特性に基づいて、入力符号化ビットレートに対応する最良映像品質推定値が算出されるとともに、これら特性係数により特定される符号化ビットレート−最適フレームレート特性に基づいて、入力符号化ビットレートに対応する最適フレームレート推定値が算出される。
【００２３】
これにより、副パラメータで指定された、評価対象となる映像通信サービスや端末の具体的かつ詳細な性質に基づいて、推定条件で指定された所望の符号化ビットレートにおける最良映像品質推定値と最適フレームレートを得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、符号化ビットレートをどの程度に設定するとどの程度の最良映像品質が得られるか、そしてそのときどの程度の最適フレームレートが必要となるか、という具体的で有用な品質設計・管理指針を得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の実施の形態について図面を参照して説明する。
［映像品質推定装置］
まず、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置１は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、その映像メディアに関する推定条件を入力として、端末で再生された当該映像メディアから視聴者が実感する最良の主観映像品質すなわち最良映像品質の推定値を、所定の推定モデルに基づいて算出する。
【００２５】
本実施の形態は、映像通信の種別を示す通信種別パラメータ、端末における映像メディアの再生性能を示す再生性能パラメータ、または端末で映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、推定モデル特定パラメータの導出に用いる特性係数との対応関係を記憶しておき、所望の符号化ビットレートを示す入力符号化ビットレートと映像通信または端末に関する副パラメータを推定条件として、入力符号化ビットレートに対する最良映像品質を推定する際、上記対応関係を参照して副パラメータに対応する特性係数を取得し、この特性係数により特定される、符号化ビットレートと最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、入力符号化ビットレートに対応する最良映像品質を算出し推定値として出力するようにしたものである。
【００２６】
次に、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
映像品質推定装置１には、主な機能部として、パラメータ取得部１１、係数取得部１２、最良映像品質推定部１３Ａ、および最適フレームレート推定部１３Ｂが設けられている。
【００２７】
これら機能部は、専用の演算処理回路部で実現してもよいが、ＣＰＵなどのマイクロプロセッサとその周辺回路を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実現してもよい。また、これら機能部間でやり取りされる処理情報は、メモリやハードディスクなどの記憶装置からなる記憶部（図示せず）を介してやり取りされる。また、上記プログラムを記憶部に格納しておいてもよい。この他、映像品質推定装置１には、一般的な情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置などの各種基本的構成が設けられている。
【００２８】
パラメータ取得部１１は、評価対象となる映像通信サービスに関する各種の推定条件１０を取得する機能と、推定条件１０から映像メディアの符号化処理に関する符号化ビットレートｂｒ（２１Ａ）を抽出し主パラメータ２１として出力する機能と、推定条件１０から通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを抽出し、これらを副パラメータ２２として出力する機能とを有している。
【００２９】
推定条件１０については、キーボードなどの操作入力装置を用いてオペレータ操作により入力してもよく、データ入出力を行うデータ入出力装置を用いて外部装置、記録媒体、あるいは通信網から取得してもよく、さらには実際の映像通信サービスから計測してもよい。
【００３０】
副パラメータ２２には、映像通信サービスの通信種別を示す通信種別パラメータ２２Ａ、映像メディアを再生する端末の再生性能を示す再生性能パラメータ２２Ｂ、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメータ２２Ｃがある。
【００３１】
通信種別パラメータ２２Ａの具体例としては、評価対象となる映像通信サービスで行われる通信種別を示す「タスク」がある。
再生性能パラメータ２２Ｂの具体例としては、映像メディアの符号化に関する「符号化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ２２Ｃの具体例としては、端末でのメディア再生の際の「室内照度」などがある。
【００３２】
副パラメータ２２は、これらパラメータ例に限定されるものではなく、評価対象となる映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよく、少なくともこれら通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃのうちの１つ以上から構成されていればよい。
【００３３】
係数取得部１２は、記憶部（図示せず）の係数ＤＢ２３を参照して、パラメータ取得部１１により推定条件１０から取得された副パラメータ２２に対応する特性係数２４を取得する機能を有している。
図２は、係数ＤＢの構成例を示す説明図である。係数ＤＢ２３は、各種副パラメータ２２とこれに対応する各特性係数ａ，ｂ，…，ｅ（２４）との組を示すデータベースである。
特性係数２４は、最良映像品質推定値２６Ａさらには最適フレームレート推定値２６Ｂからなる最良パラメータ２６の推定に用いる推定モデル２５の関数形状を特定するための係数である。
【００３４】
最良映像品質推定部１３Ａは、係数取得部１２で取得された特性係数２４（ａ，ｂ，ｃ）により特定される推定モデル２５の符号化ビットレート−最良映像品質特性２５Ａを参照して、パラメータ取得部１１から出力された主パラメータ２１の入力符号化ビットレート２１Ａで送信された映像メディアの最良映像品質を算出し最良映像品質推定値２６Ａとして出力する機能を有している。
【００３５】
最適フレームレート推定部１３Ｂは、係数取得部１２で取得された特性係数２４（ｄ，ｅ）により特定される推定モデル２５の符号化ビットレート−最適フレームレート特性２５Ｂを参照して、パラメータ取得部１１から出力された主パラメータ２１の入力符号化ビットレート２１Ａに対応する最適フレームレートを算出し最適フレームレート推定値２６Ｂとして出力する機能とを有している。
【００３６】
［主観映像品質特性］
次に、図３を参照して、映像通信サービスにおける映像メディアの主観映像品質特性について説明する。図３は、映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。図３において、横軸はフレームレートｆｒ（ｆｐｓ）、縦軸は主観映像品質値ＭＯＳ（ｆｒ，ｂｒ）（ＭＯＳ値）を示し、符号化ビットレートｂｒごとの特性が示されている。
【００３７】
映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレートはトレードオフの関係にある。
具体的には、ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。
【００３８】
したがって、図３に示すように、各符号化ビットレートに対して、映像品質が最大すなわち最良映像品質となる最適なフレームレートすなわち最適フレームレートが存在し、最適フレームレートを超えてフレームレートを増加させても映像品質が改善されない特性を持つことがわかる。例えば、符号化ビットレートｂｒ＝２５６［ｋｂｂｓ］の場合、主観映像品質特性は、フレームレートｆｒ＝１０［ｆｐｓ］のときの最良映像品質＝３［ＭＯＳ］を頂点として凸型をなす特性となる。
【００３９】
ここで、主観映像品質特性は、符号化ビットレートが異なっても同様の凸型の形状となり、その頂点が最良パラメータ、すなわち最良映像品質と最適フレームレートに相当していることがわかる。この際、副パラメータ２２で特定される、映像通信サービスの通信種別、映像メディアを再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境が異なれば、ある程度、関数の形状も異なる。
【００４０】
本実施の形態では、このような主観映像品質特性の性質に着目して、副パラメータ２２ごとに、符号化ビットレートと最良映像品質との関係を得ることにより、推定モデル２５として符号化ビットレート−最良映像品質特性２５Ａを導出し、この符号化ビットレート−最良映像品質特性２５Ａに基づき所望の最良パラメータ２６として最良映像品質推定値２６Ａを算出している。
また、副パラメータ２２ごとに、符号化ビットレートと最適フレームレートとの関係を得ることにより、推定モデル２５として符号化ビットレート−最適フレームレート特性２５Ｂを導出し、この符号化ビットレート−最適フレームレート特性２５Ｂに基づき所望の最良パラメータ２６として最適フレームレート推定値２６Ｂを算出している。
【００４１】
［推定モデル］
次に、最良映像品質推定値２６Ａや最適フレームレート推定値２６Ｂの推定に用いる推定モデル２５について詳細に説明する。
図３に示された各特性のうち、符号化ビットレートと最良映像品質の関係は、符号化ビットレートの増加とともに映像品質が増加し、ある最大値（最大主観映像品質値）に収束するとともに、符号化ビットレートの低下とともに映像品質も低下し、ある最小値に収束する、という傾向が見られる。
【００４２】
図４は、このような符号化ビットレート−最良映像品質特性を示すグラフである。図４において、横軸は符号化ビットレートｂｒ（ｋｂｐｓ）、縦軸は最良映像品質β（ｂｒ）を示している。
【００４３】
この符号化ビットレート−最良映像品質特性によれば、高い符号化ビットレートを設定しても、ある符号化ビットレートにおいて映像品質が飽和しており、符号化ビットレートを必要以上に高くしても視聴者が視覚的に映像品質の向上を検知することができない、という人間の視覚特性と一致する。
また、符号化ビットレートを下げすぎると映像品質の劣化が顕著となり、結果として最低映像品質に収束している。これは、例えば人物の顔が画面内で移動しているような映像では、目や鼻の輪郭がぼけて平坦になり、顔自体を認識できなくなる、という実際の現象と一致している。
【００４４】
このような、符号化ビットレート−最良映像品質特性は、例えば一般的なロジスティック（Ｌｏｇｉｓｔｉｃ）関数でモデル化することができる。
図５は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数ｐ＞１のとき変数ｘの増加に応じて関数ｙの値が単調増加する関数であり、変数ｘの減少に応じて関数値ｙが最小値へ収束し、変数ｘの増大に応じて関数値ｙが最大値へ収束する。最小値をＡ1、最大値をＡ2、係数をｐ，ｘ0とした場合、任意の変数ｘに対する関数ｙの値は、最大値Ａ2の項と最大値Ａ2からの減少分を示す分数項からなる、次の式（１）で求められる。
【００４５】
【数１】
0004451856.tif 000002
【００４６】
したがって、変数ｘを符号化ビットレートｂｒとし、これに対応する関数値ｙを最良映像品質β（ｂｒ）とし、最大値Ａ2を特性係数ａ、最小値Ａ1を「０ゼロ」、係数ｘ0を特性係数ｂ、係数ｐを特性係数ｃとした場合、符号化ビットレート−最良映像品質特性２５Ａは、次の式（２）で表すことができる。なお、式（１）のロジスティック関数の基準値であるＡ1を「０ゼロ」としたが、映像品質（ＭＯＳ値）の基準値は「１」であることから、式（２）は式（１）に「１」を加えた関数で表される。図６は、ロジスティック関数でモデル化された符号化ビットレート−最良映像品質特性を示す説明図である。
【００４７】
【数２】
0004451856.tif 000003
【００４８】
また、図３に示された各特性のうち、映像メディアが最良映像品質で再生されている場合の符号化ビットレートとそのときのフレームレートすなわち最適フレームレートの関係は、符号化ビットレートの増加とともに最適フレームレートが単調増加し、その後ある最大フレームレートに収束する。
図７は、このような符号化ビットレート−最適フレームレート特性を示すグラフである。図７において、横軸は符号化ビットレートｂｒ（ｋｂｐｓ）、縦軸は最適フレームレートｏｆｒ（ｂｒ）（ｆｐｓ）を示している。
【００４９】
このような、推定モデル２５の符号化ビットレート−最適フレームレート特性２５Ｂは、例えば一般的な線形関数でモデル化することができる。したがって、符号化ビットレートをｂｒとし、これに対応する最適フレームレートをｏｆｒ（ｂｒ）とし、特性係数をｄ，ｅとした場合、符号化ビットレート−最適フレームレート特性２５Ｂは、次の式（３）で表すことができる。
【００５０】
【数３】
0004451856.tif 000004
【００５１】
［映像品質推定装置の動作］
次に、図８を参照して、本発明の一実施の形態にかかる映像品質推定装置の動作について説明する。図８は、本発明の一実施の形態にかかる映像品質推定装置の最良映像品質推定処理を示すフローチャートである。
【００５２】
映像品質推定装置１は、オペレータからの指示操作や推定条件１０の入力に応じて、図８の最良映像品質推定処理を開始する。なお、ここでは、副パラメータ２２として通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを用いるものとし、係数ＤＢ２３には、副パラメータ２２と特性係数２４との組が予め格納されているものとする。
【００５３】
まず、パラメータ取得部１１は、評価対象となる映像通信サービスに関する各種の推定条件１０を取得し、推定条件１０から映像メディアの符号化処理に関する入力符号化ビットレートｂｒ（２１Ａ）を主パラメータ２１として出力する（ステップ１００）。また、パラメータ取得部１１は、推定条件１０から通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを抽出し、これらを副パラメータ２２として出力する（ステップ１０１）。
【００５４】
次に、係数取得部１２は、係数ＤＢ２３を参照して、副パラメータ２２の値に対応する特性係数ａ，ｂ，…，ｅ（２４）を取得して出力する（ステップ１０２）。
これに応じて最良映像品質推定部１３Ａは、特性係数２４のうち係数ａ，ｂ，ｃにより特定される符号化ビットレート−最良映像品質特性２５Ａを参照して、前述した式（２）に入力符号化ビットレートｂｒ（２１Ａ）を代入することにより、入力符号化ビットレートｂｒ（２１Ａ）に対応する最良映像品質推定値β（ｂｒ）（２６Ａ）を算出して出力する（ステップ１０３）。
【００５５】
また、最適フレームレート推定部１３Ｂは、特性係数２４のうち係数ｄ，ｅにより特定される符号化ビットレート−最適フレームレート特性２５Ｂを参照して、前述した式（３）に入力符号化ビットレートｂｒ（２１Ａ）を代入することにより、入力符号化ビットレートｂｒ（２１Ａ）に対応する最適フレームレート推定値ｏｆｒ（ｂｒ）（２６Ｂ）を算出して出力する（ステップ１０４）。これにより、一連の最良映像品質推定処理を終了する。
【００５６】
このように、本実施の形態は、パラメータ取得部１１で取得された、通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃのうちの１つ以上からなる副パラメータ２２に対応する特性係数２４を、係数ＤＢ２３から係数取得部１２により取得し、最良映像品質推定部１３Ａにより、これら特性係数２４により特定される符号化ビットレート−最良映像品質特性２５Ａに基づいて、入力符号化ビットレート２１Ａに対応する最良映像品質推定値２６Ａを算出するようにしたので、副パラメータ２２で指定された、評価対象となる映像通信サービスや端末の具体的かつ詳細な性質に基づいて、推定条件１０で指定された入力符号化ビットレート２１Ａで映像メディアを送信した際に端末で得られる最良の主観映像品質すなわち最良映像品質推定値２６Ａを得ることができる。
【００５７】
したがって、符号化ビットレートをどの程度に設定するとどの程度の最良映像品質が得られるか、という具体的で有用な品質設計・管理指針を、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
【００５８】
例えば、所望の映像品質で映像メディアを配信したい場合、本実施の形態にかかる映像品質推定装置１を用いれば、カメラで撮影した映像をどの程度の符号化ビットレートで符号化して送信すれば所望の映像品質を満足するかを具体的に把握することができる。特に、ネットワークの制約条件により、符号化ビットレートが制限される場合が多く、このような場合には、当該符号化ビットレートで得られる最良の映像品質を容易かつ具体的に把握できる。
【００５９】
また、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービスで用いる符号化方式や端末ごとに、推定モデルを用意しなければならなかった。しかしながら、本実施の形態によれば、係数取得部１２を設け、副パラメータ２２に対応する特性係数２４を係数ＤＢ２３から取得するようにしたので、推定モデルが符号化方式や端末に依存せず、推定モデルに用いる係数を符号化方式や端末に応じて参照するだけで、同じ推定モデルを利用できる。したがって、異なる環境の映像通信サービスに対して柔軟に対応することができる。
【００６０】
また、本実施の形態では、さらに最適フレームレート推定部１３Ｂを設け、特性係数２４により特定される符号化ビットレート−最適フレームレート特性２５Ｂに基づいて、入力符号化ビットレート２１Ａに対応する最適フレームレート推定値２６Ｂを算出するようにしたので、副パラメータ２２で指定された、評価対象となる映像通信サービスや端末の具体的な性質に基づいて、推定条件１０で指定された所望の入力符号化ビットレート２１Ａで送信した映像メディアから得られる具体的な最良パラメータ２６として、最良映像品質推定値２６Ａと最適フレームレート推定値２６Ｂを得ることができる。
【００６１】
したがって、符号化ビットレートをどの程度に設定するとどの程度の最良映像品質が得られ、そのときどの程度の最適フレームレートが必要となるか、という具体的で有用な品質設計・管理指針を、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
【００６２】
例えば、所望の映像品質で映像メディアを配信したい場合、本実施の形態にかかる映像品質推定装置１を用いれば、カメラで撮影した映像をどの程度の符号化ビットレートとフレームレートで符号化して送信すれば所望の映像品質を満足するかを具体的に把握することができる。特に、ネットワークの制約条件により、符号化ビットレートが制限される場合が多く、このような場合には、当該符号化ビットレートで得られる最良の映像品質を容易かつ具体的に把握できる。
【００６３】
［各実施の形態の拡張］
以上の実施の形態では、ロジステック関数を用いて推定モデル２５の符号化ビットレート−最良映像品質特性２５Ａをモデル化した場合を例として説明したが、これに限定されるものではなく、他の関数を用いてもよい。例えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは推定条件１０の内容によっては、ある程度限定された範囲の入力符号化ビットレートでの最良映像品質推定処理で十分なため、このような局所的な見方が可能な場合には、前述したように、符号化ビットレート−最良映像品質特性２５Ａを線形関数等の単純な関数でモデル化することができる。
【００６４】
一方、入力符号化ビットレートに対して最良映像品質や最適フレームレートの変化が大きい場合には、例えば二次関数や高次関数などの他の関数を用いて推定モデル２５をモデル化してもよい。
また、以上の実施の形態では、推定モデル２５が関数でモデル化されている場合を例として説明したが、関数以外の他のモデル、例えばニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルであってもよい。
【００６５】
また、以上の実施の形態で用いた係数ＤＢ２３の副パラメータ２２と特性係数２４の対応関係については、各種副パラメータ２２の組合せごとに、それぞれ最良映像品質、符号化ビットレート、および最適フレームレートをそれぞれ実測し、得られた計測データに対して最小二乗による収束演算を行うことにより、各特性係数２４を算出してもよく、このような特性係数算出のための構成を映像品質推定装置１に実装してもよい。
【００６６】
また、以上の実施の形態では、係数取得部１２と係数ＤＢ２３を設け、推定条件１０として入力された副パラメータ２２に対応する特性係数２４を、係数ＤＢ２３から係数取得部１２により取得し、この特性係数２４により推定モデル２５を特定する場合について説明したが、この構成に限定されるものではない。
【００６７】
例えば、評価対象となる映像通信サービスや端末が限定される場合、副パラメータ２２で、通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを指定して、推定モデル２５を特定する必要はない。
このような場合には、評価対象に対応する推定モデル２５、すなわち符号化ビットレート−最良映像品質特性２５Ａや符号化ビットレート−最適フレームレート特性２５Ｂを予め用意して記憶部に保存しておけばよい。これにより、係数取得部１２および係数ＤＢ２３を省くことができる。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【図２】係数ＤＢの構成例を示す説明図である。
【図３】映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。
【図４】符号化ビットレート−最良映像品質特性を示すグラフである。
【図５】ロジスティック関数を示す説明図である。
【図６】ロジスティック関数でモデル化された符号化ビットレート−最良映像品質特性を示す説明図である。
【図７】符号化ビットレート−最適フレームレート特性を示すグラフである。
【図８】本発明の一実施の形態にかかる映像品質推定装置の最良映像品質推定処理を示すフローチャートである。
【符号の説明】
【００６９】
１…映像品質推定装置、１０…推定条件、１１…パラメータ取得部、１２…係数取得部、１３Ａ…最良映像品質推定部、１３Ｂ…最適フレームレート推定部、２１…主パラメータ、２１Ａ…入力符号化ビットレート（ｂｒ）、２２…副パラメータ、２２Ａ…通信種別パラメータ、２２Ｂ…再生性能パラメータ、２２Ｃ…再生環境パラメータ、２３…係数ＤＢ、２４…特性係数、２５…推定モデル、２５Ａ…符号化ビットレート−最良映像品質特性、２５Ｂ…符号化ビットレート−最適フレームレート特性、２６…最良パラメータ、２６Ａ…最良映像品質推定値（β（ｂｒ））、２６Ｂ…最適フレームレート（ｏｆｒ（ｂｒ））。
【図１】
0004451856.tif 000005
【図２】
0004451856.tif 000006
【図３】
0004451856.tif 000007
【図４】
0004451856.tif 000008
【図５】
0004451856.tif 000009
【図６】
0004451856.tif 000010
【図７】
0004451856.tif 000011
【図８】
0004451856.tif 000012