(57)【要約】【課題】ＩＰパケットのペイロード部の内容を参照することなく、ＩＰパケットのヘッダ情報と受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定する。【解決手段】キャプチャした対象映像信号から求めた映像時間情報量ＴＩFと、キャプチャしたＩＰパケットから求めた対象映像の符号化情報量に対応する平均時間情報量ＴＩaveとの差分を、差分時間情報量ΔＴＩとして算出し、この差分時間情報量ΔＴＩと、対象映像の符号化情報量に対応する最大差分映像品質値および最小差分映像品質値とから、対象映像の符号化情報量に対応する差分映像品質値ΔＶを算出し、この差分映像品質値ΔＶにより、対象映像の符号化情報量に対応する平均映像品質値Ｖqe_aveを補正して、対象映像に関する主観映像品質の推定値を個別映像品質値Ｖqsとして算出する。【選択図】  図１
2010081157.tif 000002
【特許請求の範囲】
【請求項１】
対象映像を複数のフレームに符号化してＩＰパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置であって、
前記対象映像通信に関する前記ＩＰパケットと、前記映像視聴端末で再生される映像信号とをキャプチャする通信インターフェース部と、
キャプチャした前記ＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析部と、
キャプチャした前記映像信号から、前記品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析部と、
ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する平均映像品質値を算出する平均映像品質算出部と、
前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最大値と前記平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出部と、
前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最小値と前記平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出部と、
前記各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出部と、
前記映像信号分析部で算出した映像時間情報量から前記平均時間情報量算出部で算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出部と、
映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出部と、
前記平均映像品質値に前記差分映像品質値を加えることにより前記個別映像品質値を算出する個別映像品質算出部と
を備えることを特徴とする映像品質推定装置。
【請求項２】
請求項１に記載の映像品質推定装置において、
前記符号化情報量は、前記品質推定区間内の対象映像を符号化して得られた符号化データに関する単位時間当たりのビット数またはパケット数からなることを特徴とする映像品質推定装置。
【請求項３】
請求項１に記載の映像品質推定装置において、
前記最大差分映像品質値算出部は、符号化情報量が増加するに連れて、最大差分映像品質値が一旦単調増加した後に単調減少する凸型の最大差分映像品質特性を示す関数式に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する最大差分映像品質値を算出することを特徴とする映像品質推定装置。
【請求項４】
請求項１に記載の映像品質推定装置において、
前記最小差分映像品質値算出部は、符号化情報量が増加するに連れて、最小差分映像品質値が一旦単調減少した後に単調増加する凹型の最小差分映像品質特性を示す関数式に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する最小差分映像品質値を算出することを特徴とする映像品質推定装置。
【請求項５】
請求項１に記載の映像品質推定装置において、
前記平均時間情報量算出部は、符号化情報量が増加するに連れて、平均時間情報量が単調増加し、その後ある平均時間情報量に収束する平均時間情報量特性を示す関数式に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する平均時間情報量を算出することを特徴とする映像品質推定装置。
【請求項６】
請求項１に記載の映像品質推定装置において、
前記差分映像品質算出部は、差分時間情報量と最大差分映像品質値の積、あるいは差分時間情報量と最小差分映像品質値の積が増加するに連れて、差分映像品質が単調増加する差分映像品質特性を示す関数式に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出することを特徴とする映像品質推定装置。
【請求項７】
対象映像を複数のフレームに符号化してＩＰパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置で用いられる映像品質推定方法であって、
通信インターフェース部が、前記対象映像通信に関する前記ＩＰパケットと、前記映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、
パケット分析部が、キャプチャした前記ＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、
映像信号分析部が、キャプチャした前記映像信号から、前記品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、
平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、
最大差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最大値と前記平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、
最小差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最小値と前記平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、
平均時間情報量算出部が、前記各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、
差分時間情報量算出部が、前記映像信号分析ステップで算出した映像時間情報量から前記平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、
差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、
個別映像品質算出部が、前記平均映像品質値に前記差分映像品質値を加えることにより前記個別映像品質値を算出する個別映像品質算出ステップと
を備えることを特徴とする映像品質推定方法。
【請求項８】
対象映像を複数のフレームに符号化してＩＰパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置のコンピュータに、
通信インターフェース部が、前記対象映像通信に関する前記ＩＰパケットと、前記映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、
パケット分析部が、キャプチャした前記ＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、
映像信号分析部が、キャプチャした前記映像信号から、前記品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、
平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、
最大差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最大値と前記平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、
最小差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最小値と前記平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、
平均時間情報量算出部が、前記各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、
差分時間情報量算出部が、前記映像信号分析ステップで算出した映像時間情報量から前記平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、
差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、
個別映像品質算出部が、前記平均映像品質値に前記差分映像品質値を加えることにより前記個別映像品質値を算出する個別映像品質算出ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にインターネットなどのＩＰネットワークを経由して行う、ＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信に関する品質を推定する技術に関する。
【背景技術】
【０００２】
現在、インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ端末間で転送する映像通信サービスの普及が期待されている。インターネットは必ずしも通信品質の保証されていないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアなどに対してユーザが知覚する品質、すなわちユーザ体感品質（ＱｏＥ：Quality of Experience）が劣化してしまう。
【０００３】
具体的には、映像を符号化すると、フレーム内の映像信号にブロック的な劣化が生じたり、映像信号の高周波成分が失われることにより映像全体の精細感が低くなり結果として、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。
上記映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。  
【０００４】
従来、映像や音声の品質を評価する手法として、主観品質評価法(ＩＴＵ−Ｔ勧告Ｐ．９１０など参照)や客観品質評価法がある。主観品質評価法は、複数のユーザが実際に映像や音声を視聴し感じた品質を５段階品質尺度(非常に良い、良い、ふつう、悪い、非常に悪い)により評価し、全ユーザ数で各条件(例えば、パケット損失率０％で符号化レートが２０Ｍｂｐｓ)の映像もしくは音声品質評価値を平均し、その値をＭＯＳ値として品質値を定義している。
しかしながら、主観品質評価は、特別な機材やユーザが実際に品質を評価する時間がかかり、品質をリアルタイムに評価する場合には向かない。そこで、映像の品質に影響を与える特徴量(例えば、符号化レートなど)を利用し、映像品質値を出力する客観品質評価法の開発が望まれている。
【０００５】
従来、符号化による品質劣化を捉え、その個別映像品質値もしくは平均映像品質値を推定する客観品質推定法がある。ここで、個別映像品質値とは推定対象の映像コンテンツごとの品質評価値を示し、１〜５で定義される値である(例えば、非特許文献１，２，３など参照)。また、平均映像品質値とは、例えば、パケット損失率０％で符号化レートが２０Ｍｂｐｓなど、同じ条件下で送信された映像数種類（ここで、送信された映像を映像部分集合と呼ぶ)の個別映像品質値を映像数で割った値を平均映像品質値とし、１〜５で定義される値である(例えば、非特許文献４など参照)。
【０００６】
【非特許文献１】O.Verscheurei and X.Garcia,"User-Oriented QoS in Packet Video Delivery," IEEE Network, pp.12-21, Nov.1998.
【非特許文献２】ＩＴＵ−Ｔ勧告Ｊ．１４４
【非特許文献３】ＩＴＵ−Ｔ勧告Ｊ．２４７
【非特許文献４】K.Yamagishi and T.Hayashi,"Parametric Packet-Layer Model for Monitoring Video Quality of ＩＰTV Services," IEEE ICC 2008, CQ04-3, May 2008.
【非特許文献５】ＩＴＵ−Ｔ勧告Ｐ．９２０
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述したように、ＩＰパケットのヘッダ情報のみから平均映像品質値を推定する技術としては非特許文献４が挙げられ、ＩＰパケット内のメディア情報から個別映像品質値を推定する技術としては非特許文献１が挙げられる。また、映像信号、つまり画素値から個別映像品質値を推定する技術としては、非特許文献２，３が挙げられる。
【０００８】
しかしながら、非特許文献４は、符号化レートのみから低演算量に平均映像品質値を推定する技術であり、品質推定対象となる映像コンテンツごとの映像品質値(個別映像品質値)を推定することができず、精度が高い映像品質値を求めることができない。
また、非特許文献１は、ＩＰパケット内のメディアに関する情報(例えば、動きベクトル、量子化情報など)から映像品質値を推定でき、個別映像品質値を推定することが可能である。しかし、メディア情報は、しばしば、著作権保護の観点から暗号化されるため、映像品質推定に利用することができない場合がある。
【０００９】
さらに、非特許文献２，３は、原映像および受信映像信号の両者を用い映像品質にかかわる特徴量(例えば、ＳＩやＴＩ値(ＳＩおよびＴＩの定義は非特許文献５など参照)を、数個(モデルにより異なるが、概ね３−１０個程度）の特徴量を算出し、映像コンテンツが個別映像品質値にもたらす影響を加味し個別映像品質値を推定する。
しかしながら、非特許文献２，３は、放送局側にある原映像の使用を前提とするため、放送中の受信した映像信号を用いてユーザ宅内でリアルタイムに個別映像品質値を推定するのは困難で、業者の工事作業シーンへの適用を考えても、運用性に難点がある。
【００１０】
本発明はこのような課題を解決するためのものであり、ＩＰパケットのペイロード部の内容を参照することなく、ＩＰパケットのヘッダ情報と受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定できる映像品質推定装置、方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
このような目的を達成するために、本発明にかかる映像品質推定装置は、対象映像を複数のフレームに符号化してＩＰパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置であって、対象映像通信に関するＩＰパケットと、映像視聴端末で再生される映像信号とをキャプチャする通信インターフェース部と、キャプチャしたＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析部と、キャプチャした映像信号から、品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析部と、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、パケット分析部で算出した符号化情報量に対応する平均映像品質値を算出する平均映像品質算出部と、符号化情報量に対応する各要素映像の映像品質値のうちの最大値と平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出部と、符号化情報量に対応する各要素映像の映像品質値のうちの最小値と平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出部と、各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、パケット分析部で算出した符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出部と、映像信号分析部で算出した映像時間情報量から平均時間情報量算出部で算出した平均時間情報量を減算して減算した差分時間情報量を算出する差分時間情報量算出部と、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出部と、平均映像品質値に差分映像品質値を加えることにより個別映像品質値を算出する個別映像品質算出部とを備えている。
【００１２】
この際、符号化情報量として、品質推定区間内の対象映像を符号化して得られた符号化データに関する単位時間当たりのビット数またはパケット数を用いてもよい。
【００１３】
また、最大差分映像品質値算出部で、符号化情報量が増加するに連れて、最大差分映像品質値が一旦単調増加した後に単調減少する凸型の最大差分映像品質特性を示す関数式に基づいて、パケット分析部で算出した符号化情報量に対応する最大差分映像品質値を算出するようにしてもよい。
【００１４】
また、最小差分映像品質値算出部で、符号化情報量が増加するに連れて、最小差分映像品質値が一旦単調減少した後に単調増加する凹型の最小差分映像品質特性を示す関数式に基づいて、パケット分析部で算出した符号化情報量に対応する最小差分映像品質値を算出するようにしてもよい。
【００１５】
また、平均時間情報量算出部で、符号化情報量が増加するに連れて、平均時間情報量が単調増加し、その後ある平均時間情報量に収束する平均時間情報量特性を示す関数式に基づいて、パケット分析部で算出した符号化情報量に対応する平均時間情報量を算出するようにしてもよい。
【００１６】
また、差分映像品質算出部で、差分時間情報量と最大差分映像品質値の積、あるいは差分時間情報量と最小差分映像品質値の積が増加するに連れて、差分映像品質が単調増加する差分映像品質特性を示す関数式に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出するようにしてもよい。
【００１７】
また、本発明にかかる映像品質推定方法は、対象映像を複数のフレームに符号化してＩＰパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置で用いられる映像品質推定方法であって、通信インターフェース部が、対象映像通信に関するＩＰパケットと、映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、パケット分析部が、キャプチャしたＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、映像信号分析部が、キャプチャした映像信号から、品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、最大差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最大値と平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、最小差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最小値と平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、平均時間情報量算出部が、各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、差分時間情報量算出部が、映像信号分析ステップで算出した映像時間情報量から平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、個別映像品質算出部が、平均映像品質値に差分映像品質値を加えることにより個別映像品質値を算出する個別映像品質算出ステップとを備えている。
【００１８】
また、本発明にかかるプログラムは、対象映像を複数のフレームに符号化してＩＰパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置のコンピュータに、通信インターフェース部が、対象映像通信に関するＩＰパケットと、映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、パケット分析部が、キャプチャしたＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、映像信号分析部が、キャプチャした映像信号から、品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、最大差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最大値と平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、最小差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最小値と平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、平均時間情報量算出部が、各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、差分時間情報量算出部が、映像信号分析ステップで算出した映像時間情報量から平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、個別映像品質算出部が、平均映像品質値に差分映像品質値を加えることにより個別映像品質値を算出する個別映像品質算出ステップとを実行させる。
【発明の効果】
【００１９】
本発明によれば、ＩＰパケットのペイロード部の内容を参照することなく、ＩＰパケットのヘッダ情報と受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定できる。このため、対象映像通信のメディア情報が著作権保護の観点から暗号化されている場合についても、主観映像品質を推定することが可能となる。
また、放送局側にある原映像を使用する必要がなく、放送中の受信したＩＰパケットのヘッダ情報と映像信号を用いてユーザ宅内でリアルタイムに個別映像品質値を推定することが可能となる。このため、業者の工事作業シーンへの適用も可能となり、極めて高い運用性が得られる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【００２１】
この映像品質推定装置１は、入力された信号から得た情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像信号をフレーム内およびフレーム間予測符号化方式に基づき圧縮符号化した後、通信端末２Ａから通信端末２Ｂ端末へ、インターネットなどのＩＰネットワーク３を介してＩＰパケットで送信する映像通信について、その映像通信のＩＰパケットを入力として、通信端末２Ｂで復号されて再生された当該映像から視聴者が実感する主観映像品質の推定値を映像個別品質として算出する装置である。
【００２２】
この映像品質推定装置１には、主な機能部として、演算処理部１０、記憶部２０、通信インターフェース部（以下、通信Ｉ／Ｆ部という）３１、操作入力部３２、画面表示部３３が設けられている。
また、演算処理部１０には、主な処理部として、パケット分析部１１、平均映像品質算出部１２、最大差分映像品質算出部１３、最小差分映像品質算出部１４、平均時間情報量算出部１５、映像信号分析部１６、差分時間情報量算出部１７、差分映像品質算出部１８、および個別映像品質算出部１９が設けられている。
【００２３】
［本発明の原理］
まず、本発明の原理について説明する。
対象映像通信に関する主観映像品質値Ｖqsは、次の式（１）に示すように、すべての映像通信の主観映像品質値の平均値である主観平均映像品質値Ｖqs_aveに対して、当該対象映像通信に固有の差分映像品質値ΔＶを持つものと見なすことができる。
【００２４】
【数１】
2010081157.tif 000003
【００２５】
ここで、主観平均映像品質値Ｖqs_aveは、存在し得る無数の映像が対象となることから、実際には算出不可能である。このため、本発明では、予め用意した映像集合（映像部分集合）に含まれる各要素映像に関する主観映像品質値の平均値、すなわち主観平均映像品質値Ｖqs_aveが、各要素映像に関する映像品質値（推定値）の平均値、すなわち平均映像品質値Ｖqe_aveとほぼ等しいと見なしている。
したがって、対象映像通信に関する主観映像品質値Ｖqsの推定値、すなわち個別映像通信品質値Ｖqeは、差分映像品質値ΔＶを用いて、次の式（２）で求められる。
【００２６】
【数２】
2010081157.tif 000004
【００２７】
平均映像品質値Ｖqe_aveは、前述した非特許文献４の手法で求められる。したがって、平均映像品質値Ｖqe_aveから個別映像品質値Ｖqeを精度良く推定するためには、差分映像品質値ΔＶを算出する必要がある。
【００２８】
この際、差分映像品質値ΔＶは、対象映像の符号化情報量に対応する各要素映像の映像品質値のうちの最大値（最小値）と平均映像品質値との差分を示す最大差分映像品質値Δｍａｘ（最小差分映像品質値Δｍｉｎ）と、差分時間情報量ΔＴＩとの積ΔＴＩ・Δｍａｘ（ΔＴＩ・Δｍｉｎ）に対して、線形近似の関係を持つ。
このため、この関係性を利用して、最大差分映像品質値Δｍａｘ（最小差分映像品質値Δｍｉｎ）と差分時間情報量ΔＴＩとから、差分映像品質値ΔＶを求めることができる。
【００２９】
一方、最大差分映像品質値Δｍａｘ（最小差分映像品質値Δｍｉｎ）は、入力したＩＰパケットの符号化レートから、予め用意しておいた関数式から求めることができる。
また、差分時間情報量は、対象映像に関する映像時間情報量と平均時間情報量の差分で求められる。
なお、映像時間情報量は、映像信号のフレーム間差分値の標準偏差のフレーム数平均値から求めることができる。
【００３０】
［第１の実施の形態の構成］
次に、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
図１の映像品質推定装置１において、通信Ｉ／Ｆ部３１は、専用の通信回路部からなり、ＩＰネットワーク３を介してＩＰパケットを送受信することにより任意の通信端末とデータ通信を行う機能と、ＩＰネットワーク３を介して通信端末２Ａ，２Ｂ間でやり取りされる対象映像通信のＩＰパケットを受信する機能と、対象映像通信の受信側においてユーザが対象映像を視聴する際に用いる映像視聴端末で再生される映像信号を受信する機能とを有している。
【００３１】
操作入力部３２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１０へ出力する機能を有している。
画面表示部３３は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１０からの指示に応じて操作メニューや映像品質推定値などを画面表示する機能を有している。
【００３２】
記憶部２０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１０での映像品質推定処理に用いる各種処理情報やプログラム２９を記憶する機能を有している。
プログラム２９は、演算処理部１０により読み出されて実行されることにより、映像品質推定処理に必要な各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部３１などの入出力インターフェース部を介して外部装置（図示せず）や記録媒体から読み込まれて記憶部２０に予め保存されている。
【００３３】
記憶部２０で記憶する主な処理情報としては、映像通信特定パラメータ２１と品質特性係数情報２２がある。
映像通信特定パラメータ２１は、映像品質の推定対象となる映像通信に関する各種パラメータのうち、映像品質に関するパラメータからなる。映像通信特定パラメータ２１としては、Ｈ．２６４，ＭＰＥＧなどのコーデック（ＣＯＤＥＣ）種別情報、Ｆｕｌｌ  ＨＤ，ＨＤ，ＳＤなどの映像フォーマット、３０ｆｐｓ，１５ｆｐｓなどのフレームレート、およびＭ＝３やＮ＝１５などのＧＯＰ（Group of Picture）の符号化情報、ＩＰＴＶ，ＶｏＤ，ＴＶ電話などのサービス種別情報を用いる。映像通信特定パラメータ２１は、予め操作入力部３２などを用いて外部から入力され記憶部２０に保存される。これら映像通信特定パラメータ２１は、ＩＰパケットのペイロード部に映像情報として記されているため、ペイロード部が暗号化されている場合には入手不可能である。しかし、サービス提供者は、どのように符号化したかを知っているため、これら値を予め入力することができる。
【００３４】
品質特性係数情報２２は、映像通信の映像通信特定パラメータ２１の組み合わせと、平均映像品質値Ｖqe_ave、最大差分映像品質値Δｍａｘ、最小差分映像品質値Δｍｉｎ、平均時間情報量ＴＩaveの算出に用いる各種特性関数の特性係数との対応関係を示す情報である。図２は、品質特性係数情報の構成例である。ここでは、各種特性関数の特性係数が、映像通信特定パラメータ２１のＣＯＤＥＣ、符号化情報、映像通信種別の組み合わせごとに登録されている。
【００３５】
品質特性係数情報２２における、映像通信特定パラメータ２１と各種特性関数の特性係数との対応関係は、各種映像通信から予め算出しておけばよい。また、特性係数については、予め各種映像通信について主観品質評価もしくは客観品質評価を実施し、得られた特性値と当該特性関数による算出値との最小二乗誤差が最小になるように特性係数を決定すればよい。
【００３６】
演算処理部１０は、ＣＰＵなどのマイクロプロセッサとその周辺回路とを有し、記憶部２０のプログラム２９を読み込んで実行することにより、上記ハードウェアとプログラム２９とを協働させることにより、映像品質推定処理に必要な各種処理部を実現する機能を有している。
演算処理部１０で実現される主な処理部として、パケット分析部１１、平均映像品質算出部１２、最大差分映像品質算出部１３、最小差分映像品質算出部１４、平均時間情報量算出部１５、映像信号分析部１６、差分時間情報量算出部１７、差分映像品質算出部１８、および個別映像品質算出部１９がある。
【００３７】
パケット分析部１１は、通信Ｉ／Ｆ部３１でキャプチャした対象映像通信に関するＩＰパケットから、品質推定区間内の対象映像を符号化する際に必要となる、符号化レート（ビットレート）ＢＲ、つまり、単位時間当たりの符号化情報量を算出する機能を有している。
【００３８】
平均映像品質算出部１２は、予め求めておいた平均映像品質特性に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する平均映像品質値Ｖqe_aveを算出する機能を有している。平均映像品質特性は、後述の図５に示すように、符号化レートＢＲ（符号化情報量）と、予め用意した映像集合（映像部分集合）に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値Ｖqe_aveとの対応関係を示す特性である。
【００３９】
最大差分映像品質算出部１３は、予め求めておいた最大差分映像品質特性に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する最大差分映像品質値Δｍａｘを算出する機能を有している。
最大差分映像品質値Δｍａｘは、予め用意した映像集合（映像部分集合）に含まれる各要素映像の、任意の符号化レートＢＲ（符号化情報量）に対応する映像品質値のうちの最大値と、当該符号化レートＢＲに対応する各要素映像の平均映像品質値Ｖqe_aveとの差分を示す値である。最大差分映像品質特性は、後述の図６に示すように、このような符号化レートＢＲ（符号化情報量）と最大差分映像品質値Δｍａｘとの対応関係を示す特性（関数式）である。
【００４０】
最小差分映像品質算出部１４は、予め求めておいた最小差分映像品質特性に基づいて、同じくパケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する最小差分映像品質値Δｍｉｎを算出する機能を有している。
最小差分映像品質値Δｍｉｎは、予め用意した映像集合（映像部分集合）に含まれる各要素映像の、任意の符号化レートＢＲ（符号化情報量）に対応する映像品質値のうちの最小値と、当該符号化レートＢＲに対応する各要素映像の平均映像品質値Ｖqe_aveとの差分を示す値である。最小差分映像品質特性は、後述の図６に示すように、このような符号化レートＢＲ（符号化情報量）と最小差分映像品質値Δｍｉｎとの対応関係を示す特性（関数式）である。
【００４１】
平均時間情報量算出部１５は、予め求めておいた平均時間情報量特性に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する平均時間情報量ＴＩaveを算出する機能を有している。平均時間情報量ＴＩaveは、予め用意した映像集合（映像部分集合）に含まれる各要素映像の、任意の符号化レートＢＲ（符号化情報量）に対応する映像時間情報量の平均値である。平均時間情報量特性は、後述の図７に示すように、このような符号化レートＢＲ（符号化情報量）と平均時間情報量ＴＩaveとの対応関係を示す特性（関数式）である。
【００４２】
映像信号分析部１６は、通信Ｉ／Ｆ部３１でキャプチャした対象映像通信に関する映像信号から、品質推定区間内の個々のフレームｎ−１，ｎ間の差分フレーム（ｎ）を構成する個々の差分画素成分Ｍ（ｎ，ｉ，ｊ）を求める機能と、これら差分画素成分Ｍ（ｎ，ｉ，ｊ）の標準偏差ＴＩSTD（ｎ）に関する当該品質推定区間でのフレーム平均を映像時間情報量ＴＩFとして算出する機能とを有している。
差分時間情報量算出部１７は、映像信号分析部１６で算出した映像時間情報量ＴＩFから平均時間情報量算出部１５で算出した平均時間情報量ＴＩaveを減算した差分時間情報量ΔＴＩを算出する機能を有している。
【００４３】
差分映像品質算出部１８は、予め求めておいた差分映像品質特性に基づいて、対象映像から算出した差分時間情報量ΔＴＩ、最大差分映像品質値Δｍａｘ、および最小差分映像品質値Δｍｉｎに対応する差分映像品質値ΔＶを算出する機能を有している。差分映像品質特性は、後述の図８に示すように、各映像に関する、差分時間情報量ΔＴＩと最大差分映像品質値Δｍａｘの積、または差分時間情報量ΔＴＩと最小差分映像品質値Δｍｉｎの積と、当該映像の個別映像品質値Ｖqsと平均映像品質値Ｖqe_aveの差分を示す差分映像品質値ΔＶとの対応関係を示す特性（関数式）である。
【００４４】
個別映像品質算出部１９は、平均映像品質算出部１２で算出した平均映像品質値Ｖqe_aveに、差分映像品質算出部１８で算出した差分映像品質値ΔＶを加えることにより、映像視聴端末である通信端末２Ｂで復号再生された対象映像から視聴者が実感する主観映像品質の推定値を個別映像品質値Ｖqsとして算出する機能と、この個別映像品質値Ｖqsを記憶部２０や画面表示部３３へ出力する機能とを有している。
【００４５】
［第１の実施の形態の動作］
次に、図３および図４を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の動作について説明する。図３は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。図４は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置１の演算処理部１０は、操作入力部３２により映像品質推定処理の開始を示すオペレータ操作が検出された場合、図４の映像品質推定処理を開始する。
【００４６】
演算処理部１０は、まず、映像品質の推定対象となる対象映像通信のＩＰパケットを通信Ｉ／Ｆ部３１でキャプチャするとともに、映像視聴端末である通信端末２Ｂで再生される映像信号をキャプチャする（ステップ１００）。この際、映像通信については、通信端末２Ｂのディスプレイに出力される出力受信映像信号や、通信端末２Ｂを構成するセットトップボックス（Set-Top Box）からテレビジョンなどのディスプレイに出力される出力受信映像信号を通信Ｉ／Ｆ部３１でキャプチャすればよい。
【００４７】
本実施の形態において、通信Ｉ／Ｆ部３１でキャプチャするＩＰパケットは、映像信号と同期していることを前提としている。双方の同期がとれていない場合は、ＩＰパケットに存在するフレームの開始を示すフラグと、映像信号に含まれる映像フレームの開始とを揃えて映像品質推定を実施する必要がある。
【００４８】
ＩＰパケットと映像信号とを同期させる構成例について具体的に説明する。
映像通信で用いるＩＰパケット内には、ＩＰヘッダ、ＵＤＰ(User Datagram Protocol)ヘッダ  、ＲＴＰ（Real-time Transport Protocol）ヘッダ、ＴＳ（Transport stream）、ＥＳ（Elementally stream）などの情報が、階層構造で格納されている。
【００４９】
まず、ＲＴＰ／ＵＤＰ／ＩＰ構成でＩＰパケットのヘッダが構成されている場合は、ＩＰヘッダ内に存在するマーカービットが映像フレームの開始を示している。つまり、このマーカービットから次のマーカービットまでの符号量が１フレームを構成する符号量になる。この１フレームを構成する符号量によりディスプレイに表示される映像フレームを表現していることになる。また、フレームの先頭の情報が記述されているＩＰパケットが欠落していると、そのフレームをディスプレイに表現できない。
【００５０】
したがって、通信Ｉ／Ｆ部３１で初めてキャプチャしたＩＰパケットのうちマーカービットを含むＩＰバケットを監視し、通信Ｉ／Ｆ部３１で初めてキャプチャした映像信号のうちディスプレイで初めて表示された映像フレームの位置を把握することで、ＩＰパケットと映像信号の同期がとれる。
【００５１】
次に、ＴＳ／ＲＴＰ／ＵＤＰ／ＩＰ構成でＩＰパケットのヘッダが構成されている場合、ＴＳヘッダ内にあるpayload_unit_start_indicator（以下、ＰＵＳＩという）がＰＥＳ(packetized Elementary Stream) ヘッダの有無を示している。ＴＶ放送内で利用されている映像符号化では、１つのＰＥＳに１枚の映像フレームを格納することが多い。したがって、前述のマーカービットと同様に、ＰＵＳＩによりＩＰパケットと映像信号の同期がとれる。
【００５２】
次に、演算処理部１０は、パケット分析部１１により、通信Ｉ／Ｆ部３１でキャプチャしたＩＰパケットから、映像品質に関する各種品質パラメータを抽出し、品質推定区間内の対象映像を符号化する際に必要となる、符号化レート（ビットレート）ＢＲ、つまり、単位時間当たりの符号化情報量を算出する（ステップ１０１）。
【００５３】
符号化レート（ビットレート）ＢＲについては、品質推定区間内に含まれる対象映像の符号化に必要とした符号量（ビット数）を計数し、その符号量から算出した単位時間当たりの符号量を符号化レートＢＲとすればよい。なお、本実施の形態では、符号化情報量として品質推定区間内の符号化レートＢＲを用いたが、品質推定区間内のＩＰパケット数など、符号量を示す他の統計情報を用いてもよい。また、対象映像通信のサービス種別が決まっている場合には、固定の符号化レートで送出されることが多いため、ＩＰパケットから算出するのではなく、対象映像通信に対応する符号化レートＢＲを、映像通信特定パラメータ２１として外部入力するようにしてもよい。
【００５４】
より具体的には、ＲＴＰ／ＵＤＰ／ＩＰ構成でＩＰパケットのヘッダが構成されている場合、映像のＩＰパケットのＲＴＰペイロードのビット数もしくはバイト数を品質推定区間内でカウントし、単位時間当たりのビット量、すなわち符号化レートとして計算すればよい。また、ＴＳ／ＲＴＰ／ＵＤＰ／ＩＰ構成でＩＰパケットのヘッダが構成されている場合、映像ＴＳパケットのＴＳペイロードのビット数もしくはバイト数を、品質推定区間内でカウントし、単位時間当たりのビット量、すなわち符号化レートとして計算すればよい。
【００５５】
これら以外のＩＰパケット構成についても、上記と同様に、利用可能なヘッダに付随するペイロード情報をカウントし符号化レートを計算することができる。サービスが決まっている場合、固定の符号化レートで送出されていることが多いため、ＩＰパケットから計算するのではなく、外部入力として符号化レートを与えてもよい。
【００５６】
次に、演算処理部１０は、平均映像品質算出部１２により、予め求めておいた平均映像品質特性に基づいて、パケット分析部１１で算出された符号化レートＢＲ（符号化情報量）に対応する平均映像品質値Ｖqe_aveを算出する（ステップ１０２）。
【００５７】
平均映像品質特性は、符号化レートＢＲ（符号化情報量）と、予め用意した映像集合（映像部分集合）に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値Ｖqe_aveとの対応関係を示す特性である。
図５は、平均映像品質特性を示すグラフである。この図５に示すように、平均映像品質値Ｖqe_aveは、符号化レートＢＲの増加（減少）とともに単調増加（単調減少）し、ある平均映像品質値に収束する、という平均映像品質特性を有している。
【００５８】
したがって、平均映像品質値Ｖqe_aveから１を引いた値をＩcとし、符号化レートをＢＲとした場合、平均映像品質値Ｖqe_aveは、次の式（３）で表される。ｖ1，ｖ2，ｖ3は記憶部２０の品質特性係数情報２２に設定されている平均映像品質特性係数値である。
【００５９】
【数３】
2010081157.tif 000005
【００６０】
上記式（３）で求めた平均映像品質値Ｖqe_aveは、実測値の相関が０．９以上と非常に高く近似式として妥当である。
したがって、平均映像品質算出部１２は、予め求めておいた平均映像品質特性を示す式（３）の関数式に、記憶部２０の品質特性係数情報２２の平均映像品質特性係数値ｖ1，ｖ2，ｖ3を代入することにより、対象映像の符号化レートＢＲに対応する平均映像品質値Ｖqe_aveを算出する。
【００６１】
次に、演算処理部１０は、最大差分映像品質算出部１３により、予め求めておいた最大差分映像品質特性に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する最大差分映像品質値Δｍａｘを算出する（ステップ１０３）。
【００６２】
前述した図５に示すように、最大差分映像品質値Δｍａｘは、予め用意した映像集合（映像部分集合）に含まれる各要素映像の、任意の符号化レートＢＲ（符号化情報量）に対応する映像品質値のうちの最大値と、当該符号化レートＢＲに対応する各要素映像の平均映像品質値Ｖqe_aveとの差分を示す値である。
最大差分映像品質特性は、このような符号化レートＢＲ（符号化情報量）と最大差分映像品質値Δｍａｘとの対応関係を示す特性（関数式）である。
【００６３】
図６は、最大／最小差分映像品質特性を示すグラフである。この図６に示すように、最大差分映像品質値Δｍａｘは、符号化レートの増加とともに単調増加し、符号化レートのさらなる増加に応じて最大差分映像品質値Δｍａｘが単調減少する凸型の最大差分映像品質特性を有している。
ここで、符号化レートをＢＲとした場合、最大差分映像品質値Δｍａｘは、次の式（４）で表される。ｖ4，ｖ5，ｖ6は記憶部２０の品質特性係数情報２２に設定されている最大差分映像品質特性係数値である。
【００６４】
【数４】
2010081157.tif 000006
【００６５】
上記式（４）で求めた最大差分映像品質値Δｍａｘは、実測値の相関が０．９以上と非常に高く近似式として妥当である。
したがって、最大差分映像品質算出部１３は、予め求めておいた最大差分映像品質特性を示す式（４）の関数式に、記憶部２０の品質特性係数情報２２の最大差分映像特性係数値ｖ4，ｖ5，ｖ6を代入することにより、対象映像の符号化レートＢＲに対応する最大差分映像品質値Δｍａｘを算出する。
【００６６】
次に、演算処理部１０は、最小差分映像品質算出部１４により、予め求めておいた最小差分映像品質特性に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する最小差分映像品質値Δｍｉｎを算出する（ステップ１０４）。
【００６７】
前述した図５に示すように、最小差分映像品質値Δｍｉｎは、予め用意した映像集合（映像部分集合）に含まれる各要素映像の、任意の符号化レートＢＲ（符号化情報量）に対応する映像品質値のうちの最小値と、当該符号化レートＢＲに対応する各要素映像の平均映像品質値Ｖqe_aveとの差分を示す値である。
最小差分映像品質特性は、このような符号化レートＢＲ（符号化情報量）と最小差分映像品質値Δｍｉｎとの対応関係を示す特性（関数式）である。
【００６８】
前述の図６に示すように、最小差分映像品質値Δｍｉｎは、符号化レートの増加とともに単調減少し、符号化レートのさらなる増加に応じて最小差分映像品質値Δｍｉｎが単調増加する凹型の最小差分映像品質特性を有している。
ここで、符号化レートをＢＲとした場合、最小差分映像品質値Δｍｉｎは、次の式（５）で表される。ｖ7，ｖ8，ｖ9は記憶部２０の品質特性係数情報２２に設定されている最小差分映像品質特性係数値である。
【００６９】
【数５】
2010081157.tif 000007
【００７０】
上記式（５）で求めた最小差分映像品質値Δｍｉｎは、実測値の相関が０．９以上と非常に高く近似式として妥当である。
したがって、最小差分映像品質算出部１４は、予め求めておいた最小差分映像品質特性を示す式（５）の関数式に、記憶部２０の品質特性係数情報２２の最小差分映像特性係数値ｖ7，ｖ8，ｖ9を代入することにより、対象映像の符号化レートＢＲに対応する最小差分映像品質値Δｍｉｎを算出する。
【００７１】
次に、演算処理部１０は、平均時間情報量算出部１５により、予め求めておいた平均時間情報量特性に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する平均時間情報量ＴＩaveを算出する（ステップ１０５）。
【００７２】
平均時間情報量ＴＩaveは、予め用意した映像集合（映像部分集合）に含まれる各要素映像の、任意の符号化レートＢＲ（符号化情報量）に対応する映像時間情報量の平均値である。平均時間情報量特性は、このような符号化レートＢＲ（符号化情報量）と平均時間情報量ＴＩaveとの対応関係を示す特性（関数式）である。
図７は、平均時間情報量特性を示すグラフである。この図７に示すように、平均時間情報量ＴＩaveは、符号化レートＢＲの増加とともに単調増加し、ある平均時間情報量に収束する、という平均時間情報量特性を有している。
【００７３】
ここで、符号化レートをＢＲとした場合、平均時間情報量ＴＩaveは、次の式（６）で表される。ｔ1，ｔ2，ｔ3は記憶部２０の品質特性係数情報２２に設定されている平均時間情報量特性係数値である。
【００７４】
【数６】
2010081157.tif 000008
【００７５】
上記式（６）で求めた平均時間情報量ＴＩaveは、実測値の相関が０．９以上と非常に高く近似式として妥当である。
したがって、平均時間情報量算出部１５により、予め求めておいた平均時間情報量特性を示す式（６）の関数式に、記憶部２０の品質特性係数情報２２の平均時間情報量特性係数値ｔ1，ｔ2，ｔ3を代入することにより、対象映像の符号化レートＢＲに対応する平均時間情報量ＴＩaveを算出する。
【００７６】
また、演算処理部１０は、前述したステップ１０１でのパケット分析部１１による符号化情報量の算出処理と前後して、映像信号分析部１６により、通信Ｉ／Ｆ部３１でキャプチャした対象映像通信に関する映像信号から、映像時間情報量ＴＩFとして算出する（ステップ１０６）。
【００７７】
具体的には、まず、品質推定区間内の個々のフレームｎ−１，ｎ間における映像信号の差分を示す差分フレームＭ（ｎ）について、差分フレームの各画素位置における差分画素成分Ｍ（ｎ，ｉ，ｊ）を求める。映像信号としては、輝度信号のみを用いればよいが、色差信号を用いてもよい。
ここで、フレームｎ−１を構成する各画素のうち、垂直方向画素位置がｉで水平方向画素位置がｊの画素値をＦ（ｎ−１，ｉ，ｊ）とし、フレームｎを構成する各画素のうち、垂直方向画素位置がｉで水平方向画素位置がｊの画素値をＦ（ｎ，ｉ，ｊ）とした場合、差分フレームＭ（ｎ）における垂直方向画素位置がｉで水平方向画素位置がｊの差分画素成分Ｍ（ｎ，ｉ，ｊ）は、次の式（７）で求められる。
【００７８】
【数７】
2010081157.tif 000009
【００７９】
また、垂直方向画素数をＩとし、水平方向画素数をＪとした場合、フレームｎ−１，ｎ間における差分フレームＭ（ｎ）における各差分画素成分Ｍ（ｎ，ｉ，ｊ）の平均値Ｍave（ｎ）は、次の式（８）で求められ、さらにその分散ＴＩVAR（ｎ）および標準偏差ＴＩSTD（ｎ）は、それぞれ次の式（９）および式（１０）で求められる（例えば、非特許文献５など参照）。
【００８０】
【数８】
2010081157.tif 000010
【数９】
2010081157.tif 000011
【数１０】
2010081157.tif 000012
【００８１】
映像信号分析部１６は、このようにして算出した、品質推定区間内の各差分フレーム（ｎ）に関する差分画素成分Ｍ（ｎ，ｉ，ｊ）の標準偏差ＴＩSTD（ｎ）について、当該品質推定区間での平均値を求めることにより、映像時間情報量ＴＩFとして算出する。すなわち、品質推定区間内におけるフレーム数をＮとした場合、映像時間情報量ＴＩFは、次の式（１１）で求められる
【００８２】
【数１１】
2010081157.tif 000013
【００８３】
その後、演算処理部１０は、差分時間情報量算出部１７により、次の式（１２）に示すように、映像信号分析部１６で算出した映像時間情報量ＴＩFから平均時間情報量算出部１５で算出した平均時間情報量ＴＩaveを減算することにより、差分時間情報量ΔＴＩを算出する（ステップ１０７）。
【００８４】
【数１２】
2010081157.tif 000014
【００８５】
続いて、演算処理部１０は、差分映像品質算出部１８により、予め求めておいた差分映像品質特性に基づいて、対象映像から算出した差分時間情報量ΔＴＩ、最大差分映像品質値Δｍａｘ、および最小差分映像品質値Δｍｉｎに対応する差分映像品質値ΔＶを算出する（ステップ１０８）。
【００８６】
差分映像品質特性は、各映像に関する、差分時間情報量ΔＴＩと最大差分映像品質値Δｍａｘの積、または差分時間情報量ΔＴＩと最小差分映像品質値Δｍｉｎの積と、当該映像の個別映像品質値Ｖqsと平均映像品質値Ｖqe_aveの差分を示す差分映像品質値ΔＶとの対応関係を示す特性（関数式）である。
図８は、差分映像品質特性を示すグラフである。この図８に示すように、差分映像品質値ΔＶは、差分時間情報量ΔＴＩと最大差分映像品質値Δｍａｘの積、または差分時間情報量ΔＴＩと最小差分映像品質値Δｍｉｎの積の増加に応じて単調増加する差分映像品質特性を有している。
【００８７】
ここで、この差分映像品質特性を線形近似した場合、差分映像品質値ΔＶは、次の式（１３）および式（１４）で表される。この際、差分時間情報量ΔＴＩが負の時は、式（１３）が用いられ、差分時間情報量ΔＴＩが正またはゼロの時は、式（１４）が用いられる。ｄ1，ｄ2は記憶部２０の品質特性係数情報２２に設定されている差分映像品質特性係数値である。
【００８８】
【数１３】
2010081157.tif 000015
【数１４】
2010081157.tif 000016
【００８９】
上記式（１３）および式（１４）で求めた差分映像品質値ΔＶは、実測値の相関が０．９以上と非常に高く近似式として妥当である。
差分映像品質算出部１８は、予め求めておいた差分映像品質特性を示す式（１３）および式（１４）の関数式に、記憶部２０の品質特性係数情報２２の差分映像品質特性係数値ｄ1，ｄ2を代入することにより、対象映像の符号化レートＢＲに対応する差分映像品質値ΔＶを算出する。
【００９０】
この後、演算処理部１０は、個別映像品質算出部１９により、次の式（１５）に示すように、平均映像品質算出部１２で算出した平均映像品質値Ｖqe_aveに、差分映像品質算出部１８で算出した差分映像品質値ΔＶを加算することにより、映像視聴端末である通信端末２Ｂで復号再生された対象映像から視聴者が実感する主観映像品質の推定値を個別映像品質値Ｖqeとして算出（ステップ１０９）。
【００９１】
【数１５】
2010081157.tif 000017
【００９２】
個別映像品質算出部１９は、このようにして算出した個別映像品質値Ｖqeを、記憶部２０や画面表示部３３へ出力し、一連の映像品質推定処理を終了する。
【００９３】
［第１の実施の形態の効果］
このように、本実施の形態では、キャプチャした対象映像信号から求めた映像時間情報量ＴＩFと、キャプチャしたＩＰパケットから求めた対象映像の符号化情報量に対応する平均時間情報量ＴＩaveとの差分を、差分時間情報量ΔＴＩとして算出し、この差分時間情報量ΔＴＩと、対象映像の符号化情報量に対応する最大差分映像品質値および最小差分映像品質値とから、対象映像の符号化情報量に対応する差分映像品質値ΔＶを算出し、この差分映像品質値ΔＶにより、対象映像の符号化情報量に対応する平均映像品質値Ｖqe_aveを補正して、対象映像に関する主観映像品質の推定値を個別映像品質値Ｖqeとして算出している。
【００９４】
これにより、ＩＰパケットのペイロード部の内容を参照することなく、受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定できる。このため、対象映像通信のメディア情報が著作権保護の観点から暗号化されている場合についても、主観映像品質を推定することが可能となる。
また、放送局側にある原映像を使用する必要がなく、放送中の受信したＩＰパケットのヘッダ情報と映像信号を用いてユーザ宅内でリアルタイムに、対象映像に関する個別映像品質値を推定することが可能となる。このため、業者の工事作業シーンへの適用も可能となり、極めて高い運用性が得られる。
【００９５】
［第２の実施の形態］
次に、本発明の第２の実施の形態にかかる映像品質推定装置について説明する。
第１の実施の形態では、演算処理部１０の平均映像品質算出部１２において、予め求めておいた平均映像品質特性（関数式）に基づいて、パケット分析部１１で算出した符号化レートＢＲ（符号化情報量）に対応する平均映像品質値Ｖqe_aveを算出する場合を例として説明した。
【００９６】
本実施の形態では、平均映像品質特性（関数式）を用いず、符号化レートＢＲ（符号化情報量）と平均映像品質値Ｖqe_aveとの対応関係を示す平均映像品質情報を用いて平均映像品質値Ｖqe_aveを算出する場合について説明する。
なお、本実施の形態にかかる映像品質推定装置１の構成としては、演算処理部１０の平均映像品質算出部１２の処理内容が変更されるとともに、記憶部２０に平均映像品質情報を記憶しておくことになるが、その他の構成については第１の実施の形態と同様であり、ここでの詳細な説明は省略する。
【００９７】
平均映像品質情報は、映像通信の映像通信特定パラメータ２１の組み合わせと、予め用意した映像集合（映像部分集合）に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値Ｖqe_aveとの対応関係を示す情報である。
図９は、平均映像品質情報の構成例である。ここでは、符号化レートＢＲに対応する、符号化直後の状態における平均映像品質値Ｖqe_aveが、映像通信特定パラメータ２１のＣＯＤＥＣ、符号化情報、映像通信種別の組み合わせごとに登録されている。
平均映像品質情報における、映像通信特定パラメータ２１と符号化レートＢＲの組み合わせと、平均映像品質値Ｖqe_aveとの対応関係は、それぞれの映像通信から予め算出しておけばよい。
【００９８】
平均映像品質算出部１２は、前述した図２のステップ１０２において、記憶部２０の平均映像品質情報に含まれている平均映像品質特性に基づいて、パケット分析部１１で算出された対象映像の符号化レートＢＲ（符号化情報量）に対応する平均映像品質値Ｖqe_aveを算出する。
この際、平均映像品質算出部１２は、対象映像通信に関する映像通信特定パラメータ２１を記憶部２０から取得し、平均映像品質情報のうち当該映像通信特定パラメータ２１に対応する平均映像品質特性から、対象映像の符号化レートＢＲに対応する、符号化直後の状態における平均映像品質値Ｖqe_aveを取得する。
【００９９】
［第２の実施の形態の効果］
このように、本実施の形態では、記憶部２０の平均映像品質情報に含まれている平均映像品質特性に基づいて、パケット分析部１１で算出された対象映像の符号化レートＢＲ（符号化情報量）に対応する平均映像品質値Ｖqe_aveを算出するようにしたので、各種映像通信について精度良く平均映像品質値Ｖqe_aveを算出することが可能となる。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【図２】品質特性係数情報の構成例である。
【図３】本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。
【図４】本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
【図５】平均映像品質特性を示すグラフである。
【図６】最大／最小差分映像品質特性を示すグラフである。
【図７】平均時間情報量特性を示すグラフである。
【図８】差分映像品質特性を示すグラフである。
【図９】平均映像品質情報の構成例である。
【符号の説明】
【０１０１】
１…映像品質推定装置、１０…演算処理部、１１…パケット分析部、１２…平均映像品質算出部、１３…最大差分映像品質算出部、１４…最小差分映像品質算出部、１５…平均時間情報量算出部、１６…映像信号分析部、１７…差分時間情報量算出部、１８…差分映像品質算出部、１９…個別映像品質算出部、２０…記憶部、２１…映像通信特定パラメータ、２２…品質特性係数情報、２Ａ…通信端末（送信側）、２Ｂ…通信端末（受信側）、３…ＩＰネットワーク、Ｖqs…主観映像品質値、Ｖqs_ave…主観平均映像品質値、ΔＶ…差分映像品質値、Ｖqe…個別映像品質値、Ｖqe_ave…平均映像品質値、Δｍａｘ…最大差分映像品質値、Δｍｉｎ…最小差分映像品質値、ＴＩave…平均時間情報量、ＴＩF…映像時間情報量、ΔＴＩ…差分時間情報量。
【図１】
2010081157.tif 000018
【図２】
2010081157.tif 000019
【図３】
2010081157.tif 000020
【図４】
2010081157.tif 000021
【図５】
2010081157.tif 000022
【図６】
2010081157.tif 000023
【図７】
2010081157.tif 000024
【図８】
2010081157.tif 000025
【図９】
2010081157.tif 000026