(57)【要約】【課題】音声及び映像メディアを用いた通信サービスの総合的な品質評価尺度を求める音声・映像通信サービス品質推定方法を提供する。【解決手段】音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答遅れに対して通信者が体感する応答品質評価値を入力するステップと、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の２つあるいは３つの積を重み付けた値を加算し、加算した値から、音声・映像通信サービスに対する総合的な品質を推定するステップとを備え、音声品質、映像品質の相互作用を評価して音声・映像通信サービスの総合的な品質を推定する。【選択図】図１
2005244321.tif 000002
【特許請求の範囲】
【請求項１】
音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおける音声・映像通信サービス品質推定方法において、
音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力するステップと、
前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の２つあるいは３つの積を重み付けた値を加算し、加算した値から、音声・映像通信サービスに対する総合的な品質を推定するステップと、
を備えることを特徴とする音声・映像通信サービス品質推定方法。
【請求項２】
請求項１に記載の音声・映像通信サービス品質推定方法において、
音声に対して通信者が体感する音声品質評価値を推定するステップと、
映像に対して通信者が体感する映像品質評価値を推定するステップと、
音声及び映像の応答遅れに対して通信者が体感する応答品質評価値を推定するステップと、
を備えることを特徴とする音声・映像通信サービス品質推定方法。
【請求項３】
音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおける音声・映像通信サービス品質推定装置において、
音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力する手段と、
前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の２つあるいは３つの積を重み付けた値を加算し、加算した値から、音声・映像通信サービスに対する総合的な品質を推定する手段と、
を備えることを特徴とする音声・映像通信サービス品質推定装置。
【請求項４】
請求項３に記載の音声・映像通信サービス品質推定装置において、
音声に対して通信者が体感する音声品質評価値を推定する手段と、
映像に対して通信者が体感する映像品質評価値を推定する手段と、
音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を推定する手段と、
を備えることを特徴とする音声・映像通信サービス品質推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおける音声・映像通信サービス品質推定方法及び装置に関するものである。
【背景技術】
【０００２】
インターネットのアクセス回線の高速・広帯域化に伴い、音声・映像メディアを用いた双方向リアルタイム通信サービス（例として、テレビ電話／会議サービス、コラボレーションサービス等）が期待されている。インターネットは必ずしも通信品質の保証されないネットワークであるため、音声及び映像メディアを用いて通信を行う場合、通信者（ユーザ）間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアに対してユーザが体感する品質（主観品質）が劣化してしまう。具体的には、音声に品質劣化が加わると、途切れ・雑音・応答の遅れ等として知覚され、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感・応答の遅れ等として知覚される。また、音声・映像メディア信号送信時の処理時間（音声・映像の符号化処理時間、送信バッファ時間等）、ネットワークにおける遅延時間（ネットワーク構成、通信者間の物理的距離等）、音声・映像メディア信号受信時の処理時間（受信バッファ時間、音声・映像の復号時間）に起因する遅延時間等によって、音声や映像の応答の遅れが知覚される場合がある。上記サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術の開発が必要となる。
【０００３】
従来、音声品質を推定する技術については、例えば、国際標準化機関ＩＴＵ−Ｔ(International Telecommunication Union Telecommunication Standardization Sector)勧告  Ｐ．８６２において音声品質客観評価尺度ＰＥＳＱ(Perceptual Evaluation of Speech Quality)が規定されている。また、映像品質を推定する技術についても、ＩＴＵ−Ｔ勧告Ｊ．１４４等において映像品質客観評価尺度が記載されており、専門家機関であるＶＱＥＧ(Video Quality Expert Group, URL:http://www.vqeg.org/)等においても継続して議論が行われている。これらの客観品質評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能にしている。
【０００４】
従来の技術１の音声映像総合品質推定方法（特許文献１  参照）は、原音声に雑音を付加した雑音付加音声と原画像に雑音を付加した雑音付加映像により評価用標準信号を構成し、原音声への雑音付加量により決まる音声品質を表すパラメータＱaと原画像への雑音付加量により決まる映像品質を表すパラメータＱvにより、上記評価用標準信号の総合品質を変化させた場合に総合品質を一元的に表すパラメータＱavを規定し、このＱavをＱaとＱvにより推定する関係式を主観評価により導出する。
従来の技術２の通信・放送ネットワークを介した信号伝送の品質評価システム（特許文献２  参照）は、評価対象たる通信・放送ネットワークに対してテスト用の入力信号を入力し、入力信号は通信・放送ネットワーク内で劣化が生じ、その伝送結果が出力され、客観品質評価部に入力される。客観品質評価部では入力信号と出力信号とを比較して通信・放送ネットワーク内での品質の劣化を推定して、品質の評価を行う。
【特許文献１】特開平８−２８９３３３号公報（要約、構成）
【特許文献２】特開２００１−２９８４２８（要約、構成）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の客観品質評価尺度は、音声メディアあるいは映像メディア等の個別メディアの品質を取り扱っているのがほとんどであり、音声及び映像メディアを用いた通信サービスの総合的な品質評価尺度として利用することができないという問題がある。また、テレビ電話／会議サービスやコラボレーションサービス等のような双方向通信サービスの場合には、各メディアの伝送遅延時間やメディア間の遅延時間のずれもサービスの品質を劣化させる原因となり得るが、上記と同様に品質評価尺度として考慮されていないという問題がある。
【０００６】
従来の技術１においては、テレビ放送のような片方向の音声・映像サービスを前提としており、双方向性すなわち本発明における応答品質を考慮していない。また、従来の技術２においては、音声や映像信号の品質評価システムを実現しているが、ユーザが享受する音声や映像の品質をどのように取り扱って総合品質を導出するのかについては全く言及していない。
本発明は、上記に鑑みてなされたもので、その目的とするところは、音声・映像メディアを用いた双方向リアルタイム通信サービスの総合的な品質を求めることを可能とする音声・映像通信サービス品質推定方法及びその装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、請求項１記載の本発明は、音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおいて、音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力するステップと、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の２つあるいは３つの積を重み付けた値の加算から、音声・映像通信サービスに対する総合的な品質を推定するステップとを備えることを要旨とする。また、請求項２記載の本発明は、請求項１の発明に対して、音声に対して通信者が体感する音声品質評価値を推定するステップと、映像に対して通信者が体感する映像品質評価値を推定するステップと、音声及び映像の応答遅れに対して通信者が体感する応答品質評価値を推定するステップとを備えることを要旨とする。
【０００８】
請求項３記載の本発明は、音声および映像メディアを用いてネットワーク経由で通信相定と会話可能なシステムにおいて、音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力する手段と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の２つあるいは３つの積を重み付けた値の加算から、音声・映像通信サービスに対する総合的な品質を推定する手段とを備えることを要旨とする。また、請求項４記載の本発明は、請求項３の発明に対して、音声に対して通信者が体感する音声品質評価値を推定する手段と、映像に対して通信者が体感する映像品質評価値を推定する手段と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を推定する手段とを備えることを要旨とする。
【０００９】
以上のような音声・映像通信サービス品質推定方法及びその装置では、音声品質、映像品質、応答品質の相互作用を評価して、音声・映像通信サービスの総合的な品質を推定することが可能となるため、ユーザに対してある一定以上の品質を保つための音声品質、映像品質、応答品質への要求条件を明確にすることができる。これにより、上記サービスで用いるアプリケーションパラメータ（例えば、符号化速度、映像フレームレート等の値）やネットワーク品質パラメータ（例えば、パケット損失率、遅延時間等の許容値）の設計、提供中のサービスの品質実態を把握・管理することが可能となる。
【発明の効果】
【００１０】
本発明によれば、音声品質、映像品質、応答品質の相互作用を評価して、音声・映像通信サービスの総合的な品質を推定することが可能となるため、サービスを利用するユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができる。また、品質をより改善するための指針として、音声品質、映像品質、応答品質の何を改善すればよいかを把握することもできる。これらにより、上記サービスで用いるアプリケーションパラメータ（例えば、符号化速度、映像フレームレート等の値）やネットワーク品質パラメータ（例えば、パケット損失率、遅延時間等の許容値）の設計や、提供中のサービスの品質実施を把握・管理することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を用いて本発明の実施形態を説明する。
（実施形態１）
図１は本発明の実施形態１に関わる音声・映像通信サービス品質推定システムの構成を示す図である。図１に示すように音声・映像通信サービス品質推定システム１００は、音声品質推定部１１０、映像品質推定部１２０、応答品質推定部１３０、音声・映像通信サービス品質推定部１４０より構成されている。
【００１２】
次に、本発明の音声・映像通信サービス品質推定システムを介した総合品質の推定の流れを説明する。
音声品質推定部１１０は、送信音声（符号化・伝送装置への入力音声信号）及び受信音声（符号化・伝送・復号された出力音声信号）を入力とし、音声品質推定部１１０内の品質推定は、前述のＩＴＵ−Ｔ勧告Ｐ．８６２等のアルゴリズムを適用することで実現することが可能となる。
映像品質推定部１２０は、送信映像（符号化・伝送装置への入力映像信号）及び受信映像（符号化・伝送・復号された出力映像信号）を入力とし、映像品質評価値を出力する。
映像品質推定部１２０内の品質推定は、前述のＩＴＵ−Ｔ勧告Ｊ．１４４等のアルゴリズムを適用することで実現することが可能となる。ここで、音声品質あるいは映像品質を推定する際には、送受信信号の同期をとることが必要となるが、同期がとれた送受信信号は相関が高くなることを利用してずれた時間（符号化・伝送・復号の処理時間）すなわち遅延時間を求めることが可能である。
音声信号の遅延時間と映像信号の遅延時間を求めて応答品質推定部１３０への入力とし、応答品質評価値を出力する。
応答品質推定部１３０内の品質推定は、予め求めておいた遅延時間と応答品質の関係から導出する。その後、音声品質評価値、映像品質評価値、応答品質評価値を入力とした音声・映像通信サービス品質推定部１４０において、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の２つあるいは３つの積を重み付けた値の加算から、音声・映像通信サービスに対する総合的な品質を推定し、相互品質評価値を出力する。
【００１３】
上記の流れの具体例として、実際にユーザの主観品質評価実験によって遅延時間と応答品質の関係を求めた結果を図２に示す。図２は、１対１のテレビ電話サービスにおいて１分間自由に会話した場合の片道遅延時間と５段階品質尺度により求めた平均オピニオン評点ＭＯＳ（Mean opinion Score:「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」の５段階の評価尺度に対してそれぞれ５〜１点を付け、評価者が投票した得点の平均値を平均オピニオン評点と呼ぶ）の関係を示している。図２では、応答品質のＭＯＳ値であることがわかるようにｄを添字として付している。また、音声信号と映像信号は同じ時間だけ遅れている（同期している）場合に結果である。ここで、評価者はインターネットを利用する２０〜３９歳までの男女計３２名である。図２より、片道遅延時間と応答品質の関係を定式化して対応関係を求めておくことは容易である。
【００１４】
次に、音声・映像通信サービスに対する総合的な品質の推定方法の具体例を示す。
上記と同じ主観品質評価実験により、音声品質評価値ＭＯＳa、映像品質評価値ＭＯＳv、応答品質評価値ＭＯＳdと総合品質ＭＯＳtの関係を定式化した結果、ＭＯＳt＝α・ＭＯＳa＋β・ＭＯＳv＋γ・ＭＯＳd＋δ・ＭＯＳa・ＭＯＳv＋ε・ＭＯＳa・ＭＯＳd＋ψ・ＭＯＳv・ＭＯＳd＋φ・ＭＯＳa・ＭＯＳv・ＭＯＳd＋μという関数で推定可能であることがわかった。ここで、α、β、γ、δ、ε、ψ、φ、μは定数で、音声・映像通信サービス（ここではテレビ電話サービス）をどのようなシーンで利用するのか、どのような会話を行うか等により変化する値である。想定するサービス利用シーンを決定し、一度主観品質評価実験を行うことでこれらの定数は求めることが可能である。
【００１５】
各定数を求める方法について説明する。
まず、音声品質、映像品質、応答品質が異なる複数の実験条件を設定し、これらに対してＩＴＵ−Ｔ勧告Ｐ．９１１に準拠した主観評価実験を行う。各品質は、音声・映像通信サービスの通信環境（パケット損失率、パケット遅延時間／ゆらぎ時間等のネットワーク品質パラメータ）が制御できる実験系（例えば、ネットワークエミュレータ装置を介して、音声・映像コミュニケーションサービスで用いる端末／アプリケーションを接続する）を用いることで制御可能である。主観評価実験では、被験者に想定するサービス利用シーンを模擬する会話を実施してもらい、音声品質、映像品質、応答品質の他に、音声・映像通信サービスに対する総合的な品質を評価し、前述のＭＯＳa，ＭＯＳv，ＭＯＳd，ＭＯＳtの値を求める。これらのデータから、ＭＯＳtを目的変数、ＭＯＳa，ＭＯＳv，ＭＯＳdを説明変数とし、それぞれの交互作用を考慮した関数、ＭＯＳt＝α・ＭＯＳa＋β・ＭＯＳv＋γ・ＭＯＳd＋δ・ＭＯＳa・ＭＯＳv＋ε・ＭＯＳa・ＭＯＳd＋ψ・ＭＯＳv・ＭＯＳd＋φ・ＭＯＳa・ＭＯＳv・ＭＯＳd＋μにより重回帰分析を行うことにより、定数α、β、γ、δ、ε、ψ、φ、μの値を求めることができる。
【００１６】
上記と同様に、自由に会話をする場合を想定した評価結果に本推定関数を適用した結果を図３に示す。横軸は実測により求めた総合品質ＭＯＳt、縦軸はＭＯＳa，ＭＯＳv，ＭＯＳdの関数である上記推定式より求めた総合品質ＭＯＳt estを示している。殆どのデータが４５度の線上に位置することから、上記推定式は非常に精度良く総合品質を推定していることがわかる。
以上の実施形態により、本発明が対象として課題を解決し、送受信した音声信号と映像信号から、音声・映像メディアを用いた双方向リアルタイム通信サービスの総合的な品質を求めることが可能となる。
【００１７】
（実施形態２）
実施形態１において、音声品質、映像品質、応答品質のそれぞれを推定するステップ／手段を備えていない実施形態、すなわち音声品質推定部１１０、映像品質推定部１２０、応答品質推定部１３０を除いた形態も本発明の範囲に含まれる。
【００１８】
（実施形態３）
図４は、本発明の実施形態３に関わる音声・映像通信サービス品質推定システム構成を示す図である。
実施形態１で示した図１と同様に、図４の音声・映像通信サービス品質推定システム２００は、音声品質推定部２１０、映像品質推定部２２０、応答品質推定部２３０、音声・映像通信サービス品質推定部２４０より構成されている。実施形態１とは、音声品質推定部２１０、映像品質推定部２２０、応答品質推定部２３０への入力信号が異なる。音声品質推定部２１０、映像品質推定部２２０では、送信音声あるいは送信映像がない場合の品質推定アルゴリズムを用いることで音声品質あるいは映像品質を推定することが可能となる。ただし、受信音声あるいは受信映像のみから音声と映像の遅延時間を求めることはできないため、別方法で遅延時間を求めて応答品質推定部２３０の入力とする必要がある。ネットワークの遅延時間を推定する方法については数多くの提案がされているため、ここでは省略する。図４の実施の形態では、音声と映像の両者を受信信号のみを入力としたが、音声あるいは映像のどちらか一方を受信信号のみとする実施形態についても本発明の範囲に含まれる。
【図面の簡単な説明】
【００１９】
【図１】本発明の音声・映像通信サービス品質推定システム（実施形態１）の構成を示す図。
【図２】片道遅延時間と主観品質の関係を示す図。
【図３】本発明の実施形態１で用いた音声・映像通信サービス品質推定方法の評価精度を示す図。
【図４】本発明の音声・映像通信サービス品質推定システム（実施形態３）の構成を示す図。
【符号の説明】
【００２０】
１００，２００・・・音声・映像通信サービス品質推定システム
１１０，２１０・・・音声品質推定部
１２０，２２０・・・映像品質推定部
１３０，２３０・・・応答品質推定部
１４０，２４０・・・音声・映像通信サービス推定部
【図１】
2005244321.tif 000003
【図２】
2005244321.tif 000004
【図３】
2005244321.tif 000005
【図４】
2005244321.tif 000006