(57)【特許請求の範囲】
【請求項１】
ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質推定装置であって、
前記通信端末で出力された音声メディアに対する品質評価値である音声メディア品質評価値と、前記通信端末で出力された映像メディアに対する品質評価値である映像メディア品質評価値とに基づいて、前記音声メディアと前記映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダル品質推定部と、
前記音声メディアが前記通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間および前記映像メディアが前記通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、前記音声メディアと前記映像メディアの遅延により生ずる遅延品質劣化量を推定する遅延品質劣化量推定部と、
前記マルチモーダル品質推定部で推定されたマルチモーダル品質値と前記遅延品質劣化量推定部で推定された前記遅延品質劣化量とに基づいて、前記映像コミュニケーションの品質を推定する映像コミュニケーション品質推定部と
を備えることを特徴とする映像コミュニケーション品質推定装置。
【請求項２】
請求項１に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定部は、
音声遅延時間および映像遅延時間と遅延品質劣化量との関係を示す遅延品質劣化量推定モデルを予め記憶する記憶部と、
前記遅延品質劣化量推定モデルに基づいて、前記音声遅延時間および前記映像遅延時間に対応する遅延品質劣化量を算出する遅延品質劣化量算出部と
を有することを特徴とする映像コミュニケーション品質推定装置。
【請求項３】
請求項２に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定モデルは、前記音声遅延時間が一定の場合、前記映像遅延時間の増加に応じて前記遅延品質劣化量が単調増加して所定の最大値に達し、前記映像遅延時間のさらなる増加に応じて前記遅延品質劣化量が単調減少する凸型の特性を有し、前記映像遅延時間が一定の場合、前記音声遅延時間の増加に応じて前記遅延品質劣化量が単調増加して所定の最大値に達し、前記音声遅延時間のさらなる増加に応じて前記遅延品質劣化量が単調減少する凸型の特性を有することを特徴とする映像コミュニケーション品質推定装置。
【請求項４】
請求項１に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定部は、
前記音声遅延時間および前記映像遅延時間に基づいて前記音声メディアと前記映像メディアの絶対的な遅延に起因して生ずる絶対遅延品質劣化量を算出する絶対遅延品質劣化量算出部と、
前記音声遅延時間および前記映像遅延時間に基づいて前記音声メディアと前記映像メディアの間の相対的な遅延に起因して生ずる相対遅延品質劣化量を算出する相対遅延品質劣化量算出部と、
前記絶対遅延品質劣化量と前記相対遅延品質劣化量に基づいて前記遅延品質劣化量を算出する遅延品質劣化量算出部と
を有することを特徴とする映像コミュニケーション品質推定装置。
【請求項５】
請求項４に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定部は、音声遅延時間と映像遅延時間の遅延時間和の増加に伴って絶対遅延品質劣化量が単調増加する特性を示す絶対遅延品質劣化量推定モデルを予め記憶する記憶部を有し、
前記絶対遅延品質劣化量推定部は、前記絶対遅延品質劣化量推定モデルに基づいて、前記音声遅延時間と前記映像遅延時間の遅延時間和に対応する絶対遅延品質劣化量を算出することを特徴とする映像コミュニケーション品質推定装置。
【請求項６】
請求項４に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定部は、音声遅延時間と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化量が単調増加する特性を示す相対遅延品質劣化量推定モデルを予め記憶する記憶部を有し、
前記相対遅延品質劣化量推定部は、前記相対遅延品質劣化量推定モデルに基づいて、前記音声遅延時間と前記映像遅延時間の遅延時間差に対応する相対遅延品質劣化量を導出し、前記相対遅延品質劣化量として出力することを特徴とする映像コミュニケーション品質推定装置。
【請求項７】
請求項６に記載の映像コミュニケーション品質推定装置において、
前記記憶部は、音声遅延時間と映像遅延時間の大小関係に応じた相対遅延品質劣化量推定モデルを複数記憶し、
前記相対遅延品質劣化量推定部は、前記音声遅延時間と前記映像遅延時間の大小関係に応じた相対遅延品質劣化量推定モデルを前記記憶部から選択し、選択した相対遅延品質劣化量推定モデルに基づいて前記音声遅延時間と前記映像遅延時間の遅延時間差に対応する相対遅延品質劣化量を算出する
ことを特徴とする映像コミュニケーション品質推定装置。
【請求項８】
請求項１に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定部は、
前記音声遅延時間および前記映像遅延時間に基づいて前記音声メディアと前記映像メディアの絶対的な遅延に起因して生ずる絶対遅延品質劣化量を推定する絶対遅延品質劣化量推定部と、
前記音声遅延時間、前記映像遅延時間、および前記映像メディアのフレームレートに基づいて前記音声メディアと前記映像メディアの間の相対的な遅延に起因して生ずる相対遅延品質劣化量を推定する相対遅延品質劣化量推定部と
を有することを特徴とする映像コミュニケーション品質推定装置。
【請求項９】
請求項８に記載の映像コミュニケーション品質推定装置において、
前記遅延品質劣化量推定部は、
音声遅延時間と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化量が単調増加する遅延時間差−相対遅延品質劣化量特性を示す線形関数からなる相対遅延品質劣化量推定モデルとフレームレートの増加に伴って前記線形関数の傾き係数が対数関数的に大きくなる傾き係数特性を示す傾き係数推定モデルとを予め記憶する記憶部と、
前記傾き係数推定モデルに基づいて、前記映像メディアのフレームレートに対応する前記線形関数の傾き係数を算出する傾き係数算出部と
を有し、
前記相対遅延品質劣化量推定部は、前記傾き係数により傾きを特定した前記相対遅延品質劣化量推定モデルに基づいて、前記音声遅延時間および前記映像遅延時間の遅延時間差に対応する相対遅延品質劣化量を算出することを特徴とする映像コミュニケーション品質推定装置。
【請求項１０】
請求項９に記載の映像コミュニケーション品質推定装置において、
前記記憶部は、音声遅延時間と映像遅延時間の大小関係に応じた相対遅延品質劣化量推定モデルおよび係数推定モデルをそれぞれ複数記憶し、
前記傾き係数算出部は、前記音声遅延時間と前記映像遅延時間の大小関係に応じた傾き係数推定モデルを前記記憶部から選択し、選択した傾き係数推定モデルに基づいて前記傾き係数を算出し、
前記相対遅延品質劣化量推定部は、前記音声遅延時間と前記映像遅延時間の大小関係に応じた相対遅延品質劣化量推定モデルを前記記憶部から選択して前記傾き係数により傾きを特定し、得られた相対遅延品質劣化量推定モデルに基づいて、前記音声遅延時間および前記映像遅延時間の遅延時間差に対応する相対遅延品質劣化量を算出する
ことを特徴とする映像コミュニケーション品質推定装置。
【請求項１１】
請求項１に記載の映像コミュニケーション品質推定装置において、
前記映像コミュニケーション品質算出部は、
マルチモーダル品質値および遅延品質劣化量と映像コミュニケーション品質値との関係を示す映像コミュニケーション品質推定モデルを予め記憶する記憶部と、
前記映像コミュニケーション品質推定モデルに基づいて、マルチモーダル品質値および遅延品質劣化量に対応する映像コミュニケーション品質値を算出する映像コミュニケーション品質算出部と
を有することを特徴とする映像コミュニケーション品質推定装置。
【請求項１２】
ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質推定装置で用いられる映像コミュニケーション品質推定方法であって、
マルチモーダル品質推定部により、前記通信端末で出力された音声メディアに対する品質評価値である音声メディア品質評価値と、前記通信端末で出力された映像メディアに対する品質評価値である映像メディア品質評価値とに基づいて、前記音声メディアと前記映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダル品質推定ステップと、
遅延品質劣化量推定部により、前記音声メディアが前記通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間および前記映像メディアが前記通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、前記音声メディアと前記映像メディアの遅延により生ずる遅延品質劣化量を推定する絶対遅延品質劣化量推定ステップと、
映像コミュニケーション品質推定部により、前記マルチモーダル品質推定部で推定されたマルチモーダル品質値と前記遅延品質劣化量推定部で推定された前記遅延品質劣化量とに基づいて、前記映像コミュニケーションの品質を推定する映像コミュニケーション品質推定ステップと
を備えることを特徴とする映像コミュニケーション品質推定方法。
【請求項１３】
ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質推定装置のコンピュータに、
マルチモーダル品質推定部により、前記通信端末で出力された音声メディアに対する品質評価値である音声メディア品質評価値と、前記通信端末で出力された映像メディアに対する品質評価値である映像メディア品質評価値とに基づいて、前記音声メディアと前記映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダル品質推定ステップと、
遅延品質劣化量推定部により、前記音声メディアが前記通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間および前記映像メディアが前記通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、前記音声メディアと前記映像メディアの遅延により生ずる遅延品質劣化量を推定する絶対遅延品質劣化量推定ステップと、
映像コミュニケーション品質推定部により、前記マルチモーダル品質推定部で推定されたマルチモーダル品質値と前記遅延品質劣化量推定部で推定された前記遅延品質劣化量とに基づいて、前記映像コミュニケーションの品質を推定する映像コミュニケーション品質推定ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特に音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する技術に関する。
【背景技術】
【０００２】
従来、インターネットへのアクセス回線の高速・広帯域化に伴い、例えばテレビ電話／会議などの映像コミュニケーションサービス、コラボレーションサービスなど、音声メディアおよび映像メディアを複合した双方向マルチモーダルサービスが注目を集めている。【０００３】
このようなサービスで利用されるインターネットは、必ずしも通信品質の保証されないネットワークであるため、音声メディアおよび映像メディアを複合した通信を行う場合、ユーザ端末間を結ぶ通信路の使用可能帯域が狭かったり、ネットワークが輻輳したりすると、音声や映像に対して、受信側端末でユーザが実感するユーザ体感品質が劣化してしまう。
具体的には、音声に品質劣化が加わると、途切れ・雑音・応答の遅れ等として知覚され、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感・応答の遅れなどの現象として知覚される。【０００４】
また、音声メディアおよび映像メディア信号送信時の処理時間、ネットワークにおける遅延時間、さらには音声メディアおよび映像メディア信号受信時の処理時間に起因する遅延時間のそれぞれによって、音声メディアと映像メディアとの同期による応答の遅れ、つまり映像コミュニケーションサービス応答の遅れが知覚されたり、応答時間の遅れのズレによって音声メディアと映像メディアとの同期外れが知覚されたりする場合がある。この際、音声メディアおよび映像メディア信号送信時の処理時間としては、音声メディアおよび映像メディアの符号化処理時間や送信バッファ時間などがある。また、ネットワークにおける遅延時間としては、ネットワークを構成するルータ等の処理時間、通信者間のネットワークの物理的距離などがある。また、音声メディアおよび映像メディア信号受信時の処理時間としては、受信バッファ時間、音声メディアおよび映像メディアの復号時間などがある。【０００５】
このようなサービスを品質よく提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術の開発が必要となる。
音声品質を推定する技術については、例えば、国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｐ．８６２において、音声品質客観評価尺度ＰＥＳＱ（Perceptual Evaluation of Speech Quality）が規定されている。一方、映像品質を推定する技術についても、ＩＴＵ−Ｔ勧告Ｊ．１４４などにおいて映像品質客観評価尺度が記載されており、この後もＶＱＥＧ（Video Quality Experts Group）などで継続して議論が行われている（例えば、www.its.bldrdoc.gov/vqeg/など参照）。【０００６】
これらの客観品質評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能にしている。このような背景のもと、発明者らは、テレビ電話／会議等の双方向マルチモーダルサービスを対象として、上記の客観品質評価尺度あるいは主観品質評価実験により求めた、音声メディアあるいは映像メディア等の個別メディアの品質と、各メディアの伝送遅延時間による影響を考慮したマルチモーダルサービスの総合的な品質評価尺度を求める手法を提案した（例えば、特開２００５−２４４３２１号公報など参照）。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
テレビ電話／会議等の双方向マルチモーダルサービスの場合には、各メディアの入力から出力までの絶対的な遅延時間や、メディア間の相対的な遅延時間のズレによる同期外れも、サービスの品質を劣化させる原因となり得る。しかしながら、前述した従来技術では、これらの品質要因を総合的に考慮した品質評価尺度として考慮されていないという問題点があった。特に、メディア間の同期外れによる品質劣化の度合いは、映像メディアを符号化して得た各フレームのフレームレートに左右されるものの、従来技術ではフレームレートが標準値３０[フレーム/sec]で一定と想定しているため、フレームレートがこのような標準値とは異なる場合には総合品質の推定精度が低下するという問題点があった。【０００８】
例えば、フレームレートが低い場合、音声メディアと映像メディアに相対的なズレが生じていても大きな品質劣化とは知覚されないが、フレームレートが高くなるに伴ってその品質劣化は顕著となる。近年の携帯電話を用いたテレビ電話サービス等に見られるように、フレームレートが３０[フレーム/sec]を実現できないシステムは多く存在しており、フレームレートの変化も考慮して総合的なマルチモーダル品質を求めることは非常に重要な課題である。【０００９】
この他，関連が高い技術として、例えば音声品質と映像品質から総合品質を求める方法が提案されているが（例えば、特開平８−２８９３３３号公報、特表２００４−５２３９７８号公報など参照）、テレビ放送のような片方向の音声メディアおよび映像メディアの放送あるいは配信サービスを前提としており、双方向性すなわち遅延時間やメディア間の同期外れを考慮していないため上記の問題を解決できない。また、音声メディアと映像メディアの品質と両メディア間の同期外れを考慮して総合品質を推定する手法が提案されているが（例えば、特表２００２−５１９９６０号公報など参照）、こちらも双方向性すなわち遅延時間を考慮していないため上記の問題を解決できない。【００１０】
さらに、音声メディアと映像メディアの品質と遅延時間および同期外れを考慮して総合品質を求めるためのフレームワークも提案されているが（例えば、特開２００６−１２８９７２号公報など参照）、前述したように、例えばメディア間同期外れの影響とフレームレート低下の相互作用を考慮できない等の問題が残されている。一方、音声や映像信号の品質評価システムが提案されているが（例えば、特開２００１−２９８４２８号公報など参照）、ユーザが享受する音声や映像の品質をどのように取り扱って総合品質を導出するのかについては全く言及していない。【００１１】
本発明はこのような課題を解決するためのものであり、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を十分な精度で推定することができる映像コミュニケーション品質推定装置、方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
このような目的を達成するために、本発明にかかる映像コミュニケーション品質推定装置は、ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質推定装置であって、通信端末で出力された音声メディアに対する品質評価値である音声メディア品質評価値と、通信端末で出力された映像メディアに対する品質評価値である映像メディア品質評価値とに基づいて、音声メディアと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダル品質推定部と、音声メディアが通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間および映像メディアが通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量を推定する遅延品質劣化量推定部と、マルチモーダル品質推定部で推定されたマルチモーダル品質値と遅延品質劣化量推定部で推定された遅延品質劣化量とに基づいて、映像コミュニケーションの品質を推定する映像コミュニケーション品質推定部とを備えている。【００１３】
また、本発明にかかる映像コミュニケーション品質推定方法は、ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質推定装置で用いられる映像コミュニケーション品質推定方法であって、マルチモーダル品質推定部により、通信端末で出力された音声メディアに対する品質評価値である音声メディア品質評価値と、通信端末で出力された映像メディアに対する品質評価値である映像メディア品質評価値とに基づいて、音声メディアと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダル品質推定ステップと、遅延品質劣化量推定部により、音声メディアが通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間および映像メディアが通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量を推定する絶対遅延品質劣化量推定ステップと、映像コミュニケーション品質推定部により、マルチモーダル品質推定部で推定されたマルチモーダル品質値と遅延品質劣化量推定部で推定された遅延品質劣化量とに基づいて、映像コミュニケーションの品質を推定する映像コミュニケーション品質推定ステップとを備えている。【００１４】
また、本発明にかかるプログラムは、ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質推定装置のコンピュータに、マルチモーダル品質推定部により、通信端末で出力された音声メディアに対する品質評価値である音声メディア品質評価値と、通信端末で出力された映像メディアに対する品質評価値である映像メディア品質評価値とに基づいて、音声メディアと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダル品質推定ステップと、遅延品質劣化量推定部により、音声メディアが通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間および映像メディアが通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量を推定する絶対遅延品質劣化量推定ステップと、映像コミュニケーション品質推定部により、マルチモーダル品質推定部で推定されたマルチモーダル品質値と遅延品質劣化量推定部で推定された遅延品質劣化量とに基づいて、映像コミュニケーションの品質を推定する映像コミュニケーション品質推定ステップとを実行させる。
【発明の効果】
【００１５】
本発明によれば、マルチモーダル品質推定部により、音声品質評価値と映像品質評価値に基づいてマルチモーダル品質値が推定されるとともに、遅延品質劣化量推定部により、音声遅延時間と映像遅延時間に基づいて遅延品質劣化量が推定され、映像コミュニケーション品質推定部により、マルチモーダル品質値と遅延品質劣化量とに基づいて映像コミュニケーション品質値が推定される。このため、音声メディアや映像メディアの遅延による品質劣化を考慮した映像コミュニケーション品質値を推定することができ、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を十分な精度で推定することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の構成を示すブロック図である。
【図２】図２は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の全体処理動作を示すフローチャートである。
【図３】図３は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置のマルチモーダル品質推定処理を示すフローチャートである。
【図４】図４は、マルチモーダル品質推定モデルの特性例である。
【図５】図５は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。
【図６】図６は、遅延品質劣化量推定モデルの特性例である。
【図７】図７は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の映像コミュニケーション品質推定処理を示すフローチャートである。
【図８】図８は、映像コミュニケーション品質推定モデルの特性例である。
【図９】図９は、本実施の形態で得られた映像コミュニケーション品質推定値の推定結果を示すグラフである。
【図１０】図１０は、本発明の第２の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図である。
【図１１】図１１は、本発明の第２の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。
【図１２】図１２は、絶対遅延品質劣化量推定の特性例である。
【図１３】図１３は、相対遅延品質劣化量推定の特性例である。
【図１４】図１４は、遅延品質劣化量推定の特性例である。
【図１５】図１５は、本発明の第３の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図である。
【図１６】図１６は、本発明の第３の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。
【図１７】図１７は、相対遅延品質劣化量推定の特性例である。
【図１８】図１８は、本発明の第４の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図である。
【図１９】図１９は、本発明の第４の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。
【図２０】図２０は、相対遅延品質劣化量推定の特性例である。
【図２１】図２１は、傾き係数推定の特性例である。
【図２２】図２２は、本発明の第５の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図である。
【図２３】図２３は、本発明の第５の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。
【図２４】図２４は、相対遅延品質劣化量推定の特性例である。
【図２５】図２５は、傾き係数推定の特性例である。
【図２６】図２６は、本発明の第６の実施の形態にかかる映像コミュニケーション品質推定装置で用いる絶対遅延品質劣化量推定モデルの特性例である。
【図２７】図２７は、本発明の第７の実施の形態にかかる映像コミュニケーション品質推定装置で用いる相対遅延品質劣化量推定モデルの特性例である。
【図２８】図２８は、本発明の第７の実施の形態にかかる映像コミュニケーション品質推定装置で用いる相対遅延品質劣化量推定モデルの他の特性例である。
【図２９】図２９は、本発明の第７の実施の形態にかかる映像コミュニケーション品質推定装置で用いる相対遅延品質劣化量推定モデルの他の特性例である。
【発明を実施するための最良の形態】
【００１７】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の構成を示すブロック図である。【００１８】
映像コミュニケーション品質推定装置１は、入力された情報を演算処理して出力する情報処理装置からなり、ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する。
この映像コミュニケーション品質推定装置１には、主な機能部として、マルチモーダル品質推定部１１、遅延品質劣化量推定部１２、および映像コミュニケーション品質推定部１３が設けられている。【００１９】
本実施の形態は、マルチモーダル品質推定部１１により、通信端末で出力された音声メディアに対する品質評価値である音声品質評価値２１Ａと、通信端末で出力された映像メディアに対する品質評価値である映像品質評価値２１Ｂとに基づいて、音声メディアと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値２３Ａを推定するようにしたものである。【００２０】
また、遅延品質劣化量推定部１２により、音声メディアが通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間２２Ａおよび映像メディアが通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間２２Ｂに基づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量２３Ｂを推定するようにしたものである。
そして、映像コミュニケーション品質推定部１３により、マルチモーダル品質推定部１１で推定されたマルチモーダル品質値２３Ａと遅延品質劣化量推定部１２で推定された遅延品質劣化量２３Ｂとに基づいて、映像コミュニケーション品質値２４を推定するようにしたものである。【００２１】
次に、図１を参照して、映像コミュニケーション品質推定装置１の各機能部について詳細に説明する。
［マルチモーダル品質推定部］
マルチモーダル品質推定部１１は、通信端末で出力された音声メディアに対する品質評価値である音声品質評価値２１Ａと、通信端末で出力された映像メディアに対する品質評価値である映像品質評価値２１Ｂとに基づいて、音声メディアと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値２３Ａを推定する機能を有している。【００２２】
マルチモーダル品質推定部１１には、主な機能手段として、記憶部１１Ａとマルチモーダル品質算出部１１Ｂが設けられている。
記憶部１１Ａは、音声品質評価値２１Ａおよび映像品質評価値２１Ｂとマルチモーダル品質値２３Ａとの関係を示すマルチモーダル品質推定モデル３１を予め記憶する機能を有している。
マルチモーダル品質算出部１１Ｂは  記憶部１１Ａのマルチモーダル品質推定モデル３１に基づいて、音声品質評価値２１Ａおよび映像品質評価値２１Ｂに対応するマルチモーダル品質値２３Ａを算出する機能を有している。【００２３】
音声品質評価値２１Ａは、一方の通信端末から送信された音声メディアを他方の通信端末で受信して再生した際に、再生された音声メディアに対してユーザが実感するユーザ体感品質である。また、映像品質評価値２１Ｂは、一方の通信端末から送信された映像メディアを他方の通信端末で受信して再生した際に、再生された映像メディアに対してユーザが実感するユーザ体感品質である。これら品質評価値については、実際に行われた映像コミュニケーションを評価あるいは推定して得ることができる。【００２４】
［遅延品質劣化量推定部］
遅延品質劣化量推定部１２は、音声メディアが通信端末間で入力されてから出力されるまでの遅延時間である音声遅延時間２２Ａおよび映像メディアが通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間２２Ｂに基づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量２３Ｂを推定する機能を有している。【００２５】
遅延品質劣化量推定部１２には、主な機能手段として、記憶部１２Ａと遅延品質劣化量算出部１２Ｂが設けられている。
記憶部１２Ａは、音声遅延時間２２Ａおよび映像遅延時間２２Ｂと遅延品質劣化量２３Ｂとの関係を示す遅延品質劣化量推定モデル３２を予め記憶する機能を有している。
遅延品質劣化量算出部１２Ｂは、記憶部１２Ａの遅延品質劣化量推定モデル３２に基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する機能を有している。【００２６】
音声遅延時間２２Ａは、音声メディアが一方の通信端末で入力されてから他方の通信端末で出力されるまでの遅延時間である。また、映像遅延時間２２Ｂは、映像メディアが一方の通信端末で入力されてから他方の通信端末で出力されるまでの遅延時間である。【００２７】
音声遅延時間２２Ａ、映像遅延時間２２Ｂを構成する具体的な遅延時間としては、音声メディアおよび映像メディア信号送信時の処理時間、ネットワークにおける遅延時間、さらには音声メディアおよび映像メディア信号受信時の処理時間がある。この際、音声メディアおよび映像メディア信号送信時の処理時間としては、音声メディアおよび映像メディアの符号化処理時間や送信バッファ時間などがある。また、ネットワークにおける遅延時間としては、ネットワークを構成するルータ等の処理時間、通信者間のネットワークの物理的距離などがある。また、音声メディアおよび映像メディア信号受信時の処理時間としては、受信バッファ時間、音声メディアおよび映像メディアの復号時間などがある。【００２８】
本実施の形態では、これら音声遅延時間２２Ａおよび映像遅延時間２２Ｂと遅延品質劣化量２３Ｂとの関係を示す遅延品質劣化量推定モデル３２を試験により予め導出して記憶部１２Ａに格納しておき、遅延品質劣化量推定部１２により、記憶部１２Ａの遅延品質劣化量推定モデル３２に基づいて、新たに計測された音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出している。【００２９】
［映像コミュニケーション品質推定部］
映像コミュニケーション品質推定部１３は、マルチモーダル品質推定部１１で推定されたマルチモーダル品質値２３Ａと遅延品質劣化量推定部１２で推定された遅延品質劣化量２３Ｂの交互作用を考慮して、双方向マルチモーダルサービスで実現される映像コミュニケーションの品質値２４を推定する機能を有している。【００３０】
映像コミュニケーション品質推定部１３には、主な機能手段として、記憶部１３Ａと映像コミュニケーション品質算出部１３Ｂが設けられている。
記憶部１３Ａは、マルチモーダル品質値２３Ａおよび遅延品質劣化量２３Ｂと映像コミュニケーション品質値２４との関係を示す映像コミュニケーション品質推定モデル３３を予め記憶する機能を有している。
映像コミュニケーション品質算出部１３Ｂは、記憶部１３Ａの映像コミュニケーション品質推定モデル３３に基づいて、マルチモーダル品質値２３Ａおよび遅延品質劣化量２３Ｂに対応する映像コミュニケーション品質値２４を算出する機能を有している。【００３１】
これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハードディスクなどの記憶装置から構成されている。また、各種演算処理を行う演算処理部（コンピュータ）は、ＣＰＵとその周辺回路から構成されており、上記記憶部のプログラム（図示せず）を読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機能部ごとにそれぞれ個別に設けてもよく、各機能部で共用してもよい。【００３２】
［第１の実施の形態の動作］
次に、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の動作について、詳細に説明する。【００３３】
［全体処理動作］
まず、図２を参照して、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の映像コミュニケーション品質推定動作について説明する。図２は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の全体処理動作を示すフローチャートである。【００３４】
ここでは、通信端末間で行われた任意の映像コミュニケーションに関する品質情報として、音声品質評価値２１Ａ、映像品質評価値２１Ｂ、音声遅延時間２２Ａ、および映像遅延時間２２Ｂが、外部装置、記録媒体、通信ネットワーク、あるいはキーボード（図示せず）から入力されたものとし、これら品質情報に基づいて当該映像コミュニケーションに関する品質値を推定する場合について説明する。【００３５】
映像コミュニケーション品質推定装置１は、品質情報の入力や実行開始を示すオペレータ操作を契機として、図２の全体処理を開始する。【００３６】
まず、映像コミュニケーション品質推定装置１は、マルチモーダル品質推定部１１により、マルチモーダル品質推定ステップを実行することにより、音声品質評価値２１Ａおよび映像品質評価値２１Ｂに対応するマルチモーダル品質値２３Ａを推定する（ステップ１００）。
これと並行して、映像コミュニケーション品質推定装置１は、遅延品質劣化量推定部１２により、遅延品質劣化量推定ステップを実行することにより、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを推定する（ステップ１１０）。【００３７】
この後、映像コミュニケーション品質推定装置１は、映像コミュニケーション品質推定部１３により、映像コミュニケーション品質推定ステップを実行することにより、マルチモーダル品質値２３Ａおよび遅延品質劣化量２３Ｂに対応する映像コミュニケーション品質値２４を推定し（ステップ１２０）、一連の全体処理動作を終了する。
なお、マルチモーダル品質推定ステップと遅延品質劣化量推定ステップは、前述のように並行して実行してもよく、これらステップを順に実行してもよい。【００３８】
［マルチモーダル品質推定動作］
次に、図３を参照して、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置のマルチモーダル品質推定動作について説明する。図３は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置のマルチモーダル品質推定処理を示すフローチャートである。
映像コミュニケーション品質推定装置１のマルチモーダル品質推定部１１は、図２のステップ１００におけるマルチモーダル品質推定ステップにおいて、図３のマルチモーダル品質推定処理を実行する。【００３９】
まず、マルチモーダル品質推定部１１は、マルチモーダル品質算出部１１Ｂにより、外部から入力された音声品質評価値２１Ａと映像品質評価値２１Ｂを取得する（ステップ１０１）。次に、マルチモーダル品質算出部１１Ｂは、記憶部１１Ａからマルチモーダル品質推定モデル３１を示すモデル係数を読み出し（ステップ１０２）、このマルチモーダル品質推定モデル３１に基づき、音声品質評価値２１Ａと映像品質評価値２１Ｂに対応するマルチモーダル品質値２３Ａを算出する（ステップ１０３）。【００４０】
図４は、マルチモーダル品質推定モデルの特性例である。本発明において、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質のうち、映像メディアや音声メディアの遅延による品質劣化を考慮しない場合の品質をマルチモーダル品質値２３Ａという。
図４に示すように、マルチモーダル品質値２３Ａは、音声品質評価値ＭＯＳａを一定とした場合は映像品質評価値ＭＯＳｖの増加に応じて単調増加し、映像品質評価値ＭＯＳｖを一定とした場合は音声品質評価値ＭＯＳａの増加に応じて単調増加する傾向がある。【００４１】
したがって、マルチモーダル品質値２３Ａは、音声品質評価値２１Ａと映像品質評価値２１Ｂの交互作用を示す数式で表すことができる。音声品質評価値２１ＡをＭＯＳａとし、映像品質評価値２１ＢをＭＯＳｖとし、α１，β１，γ１，δ１をそれぞれ定数とし、マルチモーダル品質値２３ＡをＭＯＳｍｍとした場合、ＭＯＳｍｍは次の式（１）により推定できる。【００４２】
【数１】
0004486130.tif 000002
【００４３】
この際、マルチモーダル品質値２３Ａについて、１〜５の数値をとる標準的なＭＯＳ値（Mean Opinion Score：平均オピニオン評点）で示すために正規化処理を行う。ａ，ｂのうちいずれか小さい値を選択する関数をｍｉｎ（ａ，ｂ）とし、ａ，ｂのうちいずれか大きい値を選択する関数をｍａｘ（ａ，ｂ）とした場合、ＭＯＳｍｍは次の式（２）により正規化できる。【００４４】
【数２】
0004486130.tif 000003
【００４５】
この後、マルチモーダル品質算出部１１Ｂは、算出したマルチモーダル品質値２３Ａを映像コミュニケーション品質推定部１３へ出力し（ステップ１０４）、一連のマルチモーダル品質推定処理を終了する。【００４６】
［遅延品質劣化量推定動作］
次に、図５を参照して、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定動作について説明する。図５は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。
映像コミュニケーション品質推定装置１の遅延品質劣化量推定部１２は、図２のステップ１１０における遅延品質劣化量推定ステップにおいて、図５の遅延品質劣化量推定処理を実行する。【００４７】
まず、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、外部から入力された音声遅延時間２２Ａと映像遅延時間２２Ｂを取得する（ステップ１１１）。次に、遅延品質劣化量算出部１２Ｂは、記憶部１２Ａから遅延品質劣化量推定モデル３２を示すモデル係数を読み出し（ステップ１１２）、この遅延品質劣化量推定モデル３２に基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する（ステップ１１３）。【００４８】
図６は、遅延品質劣化量推定モデルの特性例である。本発明において、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質のうち、映像メディアや音声メディアの遅延による品質劣化量を遅延品質劣化量２３Ｂという。
図６に示すように、音声遅延時間Ｄａを一定とした場合、遅延品質劣化量Ｄａｖは、映像遅延時間Ｄｖの増加に応じて単調増加して所定の最大値に達し、映像遅延時間Ｄｖのさらなる増加に応じて単調減少する凸型の特性を有している。
また、映像遅延時間Ｄｖが一定の場合、遅延品質劣化量Ｄａｖは、音声遅延時間Ｄａの増加に応じて単調増加して所定の最大値に達し、音声遅延時間Ｄａのさらなる増加に応じて単調減少する凸型の特性を有している。【００４９】
したがって、遅延品質劣化量２３Ｂは、音声遅延時間２２Ａと映像遅延時間２２Ｂを変数とする関数式で表すことができる。音声遅延時間２２ＡをＤａとし、映像遅延時間２２ＢをＤｖとし、音声遅延時間２２Ａおよび映像遅延時間２２Ｂと遅延品質劣化量２３Ｂの対応関係を示す関数式をｆ（Ｄａ，Ｄｖ）とし、ａ，ｂのうちいずれか小さい値を選択する関数をｍｉｎ（ａ，ｂ）とし、ａ，ｂのうちいずれか大きい値を選択する関数をｍａｘ（ａ，ｂ）とし、遅延品質劣化量２３ＢをＤａｖとした場合、ＭＯＳ値の範囲１〜５に正規化したＤａｖは次の式（３）により推定できる。【００５０】
【数３】
0004486130.tif 000004
【００５１】
この後、遅延品質劣化量算出部１２Ｂは、算出した遅延品質劣化量２３Ｂを映像コミュニケーション品質推定部１３へ出力し（ステップ１１４）、一連の遅延品質劣化量推定処理を終了する。【００５２】
［映像コミュニケーション品質推定］
次に、図７を参照して、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置のマルチモーダル品質推定動作について説明する。図７は、本発明の第１の実施の形態にかかる映像コミュニケーション品質推定装置の映像コミュニケーション品質推定処理を示すフローチャートである。
映像コミュニケーション品質推定装置１の映像コミュニケーション品質推定部１３は、図２のステップ１２０における映像コミュニケーション品質推定ステップにおいて、図７の映像コミュニケーション品質推定処理を実行する。【００５３】
まず、映像コミュニケーション品質推定部１３は、映像コミュニケーション品質算出部１３Ｂにより、マルチモーダル品質推定部１１で推定されたマルチモーダル品質値２３Ａと遅延品質劣化量推定部１２で推定された遅延品質劣化量２３Ｂを取得する（ステップ１２１）。次に、映像コミュニケーション品質算出部１３Ｂは、記憶部１３Ａから映像コミュニケーション品質推定モデル３３を示すモデル係数を読み出し（ステップ１２２）、この映像コミュニケーション品質推定モデル３３に基づき、マルチモーダル品質値２３Ａと遅延品質劣化量２３Ｂに対応する映像コミュニケーション品質値２４を算出する（ステップ１２３）。【００５４】
図８は、映像コミュニケーション品質推定モデルの特性例である。本発明において、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質のうち、映像メディアや音声メディアの遅延による品質劣化量を考慮した品質を映像コミュニケーション品質値２４という。
図８に示すように、映像コミュニケーション品質値ＭＯＳａｌｌは、マルチモーダル品質値ＭＯＳｍｍを一定とした場合は遅延品質劣化量Ｄａｖの増加に応じて単調減少し、遅延品質劣化量Ｄａｖを一定とした場合はマルチモーダル品質値ＭＯＳｍｍの増加に応じて単調増加する傾向がある。【００５５】
したがって、映像コミュニケーション品質値２４は、マルチモーダル品質値２３Ａと遅延品質劣化量２３Ｂの交互作用を示す数式で表すことができる。マルチモーダル品質値２３ＡをＭＯＳｍｍとし、遅延品質劣化量２３ＢをＤａｖとし、α２，β２，γ２，δ２をそれぞれ定数とし、映像コミュニケーション品質値２４をＭＯＳａｌｌとした場合、ＭＯＳａｌｌは次の式（４）により推定できる。【００５６】
【数４】
0004486130.tif 000005
【００５７】
この際、映像コミュニケーション品質値２４について、１〜５の数値をとる標準的なＭＯＳ値で示すために正規化処理を行う。ａ，ｂのうちいずれか小さい値を選択する関数をｍｉｎ（ａ，ｂ）とし、ａ，ｂのうちいずれか大きい値を選択する関数をｍａｘ（ａ，ｂ）とした場合、ＭＯＳａｌｌは次の式（５）により正規化できる。【００５８】
【数５】
0004486130.tif 000006
【００５９】
この後、映像コミュニケーション品質算出部１３Ｂは、算出した映像コミュニケーション品質値２４を、装置外部、記録媒体、通信ネットワーク、記憶部、あるいは表示画面（図示せず）へ出力し（ステップ１２４）、一連の映像コミュニケーション品質推定処理を終了する。【００６０】
このように、本実施の形態は、マルチモーダル品質推定部１１により、音声品質評価値２１Ａと映像品質評価値２１Ｂに基づいてマルチモーダル品質値２３Ａを推定するとともに、遅延品質劣化量推定部１２により、音声遅延時間２２Ａと映像遅延時間２２Ｂに基づいて遅延品質劣化量２３Ｂを推定し、映像コミュニケーション品質推定部１３により、マルチモーダル品質値２３Ａと遅延品質劣化量２３Ｂとに基づいて映像コミュニケーション品質値２４を推定するようにしたので、音声メディアや映像メディアの個別メディアの品質評価値と、音声メディアや映像メディアの遅延による品質劣化を考慮した映像コミュニケーション品質値２４を推定でき、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質を十分な精度で推定することができる。【００６１】
また、遅延品質劣化量推定部１２において、音声遅延時間および映像遅延時間と遅延品質劣化量との関係を示す遅延品質劣化量推定モデル３２に基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを推定するようにしたので、正確かつ容易に遅延品質劣化量２３Ｂを推定できる。【００６２】
図９は、本実施の形態で得られた映像コミュニケーション品質推定値の推定結果を示すグラフである。図９において、横軸は、本実施の形態で得られた映像コミュニケーション品質推定値（ＭＯＳ値）を示し、縦軸は、推定対象とした各映像コミュニケーションについて実際にオピニオン評価した結果である映像コミュニケーション品質実測値（ＭＯＳ値）を示している。
本実施の形態で得られた映像コミュニケーション品質推定値と実測値とが、グラフの対角線上にプロットされている。この場合、決定係数は０．９１となり、高い相関が得られていることがわかる。また、実測値の９５％信頼区間の平均値が０．３１であるのに対して、推定値の平均二乗誤差平方根(RMSE:Root Mean Square Error)は０．１６であり、実用上十分な推定精度を有していることがわかる。【００６３】
また、遅延品質劣化量推定モデル３２として、音声遅延時間Ｄａを一定とした場合、遅延品質劣化量Ｄａｖが映像遅延時間Ｄｖの増加に応じて単調増加して所定の最大値に達し、映像遅延時間Ｄｖのさらなる増加に応じて単調減少する凸型の特性を有し、映像遅延時間Ｄｖが一定の場合、遅延品質劣化量Ｄａｖが音声遅延時間Ｄａの増加に応じて単調増加して所定の最大値に達し、音声遅延時間Ｄａのさらなる増加に応じて単調減少する凸型の特性を用いるようにしたので、音声メディアや映像メディアの遅延による品質劣化に関する人間の視覚特性および聴覚特性に応じた品質劣化量を、正確かつ容易に推定できる。【００６４】
［第２の実施の形態］
次に、図１０を参照して、本発明の第２の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図１０は、本発明の第２の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図１と同じまたは同等部分には同一符号を付してある。【００６５】
第１の実施の形態では、遅延品質劣化量推定部１２において、音声遅延時間２２Ａと映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを推定する際、音声遅延時間および映像遅延時間と遅延品質劣化量との関係を示す遅延品質劣化量推定モデル３２に基づいて、遅延品質劣化量２３Ｂを直接的に推定する場合を例として説明した。【００６６】
本実施の形態では、音声遅延時間２２Ａと映像遅延時間２２Ｂから、音声メディアと映像メディアの絶対的な遅延による品質劣化を示す絶対遅延品質劣化量と、音声メディアと映像メディアの相対的な遅延による品質劣化を示す相対遅延品質劣化量とを求め、これら絶対遅延品質劣化量と相対遅延品質劣化量から遅延品質劣化量２３Ｂを間接的に推定する場合を例として説明する。【００６７】
なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の構成は、第１の実施の形態（図１参照）と比較して、遅延品質劣化量推定部１２のみが異なる。他の構成については、第１の実施の形態と同様であり、ここでの詳細な説明は省略する。【００６８】
［遅延品質劣化量推定部］
図１０に示すように、遅延品質劣化量推定部１２には、主な機能手段として、記憶部１２Ａ、遅延品質劣化量算出部１２Ｂ、絶対遅延品質劣化量算出部１２Ｃ、および相対遅延品質劣化量算出部１２Ｄが設けられている。【００６９】
記憶部１２Ａは、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和と絶対遅延品質劣化量２６との関係を示す絶対遅延品質劣化量推定モデル３２Ａと、音声遅延時間２２Ａと映像遅延時間２２Ｂとの遅延時間差と相対遅延品質劣化量２７との関係を示す相対遅延品質劣化量推定モデル３２Ｂと、を予め記憶する機能を有している。
絶対遅延品質劣化量算出部１２Ｃは、記憶部１２Ａの絶対遅延品質劣化量推定モデル３２Ａに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する機能を有している。【００７０】
相対遅延品質劣化量算出部１２Ｄは、記憶部１２Ａの相対遅延品質劣化量推定モデル３２Ｂに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する機能を有している。
遅延品質劣化量算出部１２Ｂは、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する機能を有している。【００７１】
絶対遅延品質劣化量は、音声メディアと映像メディアの絶対的な遅延に起因して生ずる品質劣化量である。また、相対遅延品質劣化量は、音声メディアと映像メディアの間の相対的な遅延差に起因して生ずる品質劣化量である。【００７２】
音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端末間で生ずる絶対的な遅延に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。本実施の形態では、このような品質劣化量を絶対遅延品質劣化量２６として定義し、音声遅延時間と映像遅延時間の遅延時間和の増加に伴って絶対遅延品質劣化量が単調増加する特性を示す絶対遅延品質劣化量推定モデル３２Ａに基づいて、絶対遅延品質劣化量算出部１２Ｃにより絶対遅延品質劣化量２６を推定している。【００７３】
また、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端末間で生ずる相対的な遅延すなわちメディア間の同期外れ（再生タイミングのズレ）に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。本実施の形態では、このような品質劣化量を相対遅延品質劣化量２７として定義し、音声遅延時間と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化量が単調増加する特性を示す相対遅延品質劣化量推定モデル３２Ｂに基づいて、相対遅延品質劣化量算出部１２Ｄにより相対遅延品質劣化量２７を推定している。【００７４】
これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハードディスクなどの記憶装置から構成されている。また、各種演算処理を行う演算処理部（コンピュータ）は、ＣＰＵとその周辺回路から構成されており、上記記憶部のプログラム（図示せず）を読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機能部ごとにそれぞれ個別に設けてもよく、各機能部で共用してもよい。【００７５】
［第２の実施の形態の動作］
次に、図１１を参照して、本発明の第２の実施の形態にかかる映像コミュニケーション品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。図１１は、本発明の第２の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の動作は、第１の実施の形態と比較して、遅延品質劣化量推定動作のみが異なる。他の処理動作については、第１の実施の形態と同様であり、ここでの詳細な説明は省略する。【００７６】
映像コミュニケーション品質推定装置１の遅延品質劣化量推定部１２は、図２のステップ１１０における遅延品質劣化量推定ステップにおいて、図１１の遅延品質劣化量推定処理を実行する。【００７７】
まず、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、外部から入力された音声遅延時間２２Ａと映像遅延時間２２Ｂを取得する（ステップ２１１）。次に、遅延品質劣化量推定部１２は、絶対遅延品質劣化量算出部１２Ｃにより、記憶部１２Ａから絶対遅延品質劣化量推定モデル３２Ａを示すモデル係数を読み出し（ステップ２１２）、この絶対遅延品質劣化量推定モデル３２Ａに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する（ステップ２１３）。【００７８】
図１２は、絶対遅延品質劣化量推定の特性例である。本発明において、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質のうち、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に応じて変化する品質劣化成分を絶対遅延品質劣化量２６という。
図１２に示すように、絶対遅延品質劣化量２６は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間和Ｄｒの増加に伴って単調増加する傾向がある。【００７９】
したがって、絶対遅延品質劣化量２６は、例えば音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和を変数とする線形関数式で表すことができる。音声遅延時間２２ＡをＤａとし、映像遅延時間２２ＢをＤｖとし、遅延時間和をＤｒとした場合、Ｄｒは次の式（６）で求められる。【００８０】
【数６】
0004486130.tif 000007
【００８１】
また、α３，β３をそれぞれ定数とし、絶対遅延品質劣化量２６をＲ（Ｄｒ）とした場合、Ｒ（Ｄｒ）は、次の式（７）で推定できる。【００８２】
【数７】
0004486130.tif 000008
【００８３】
また、遅延品質劣化量推定部１２は、相対遅延品質劣化量算出部１２Ｄにより、記憶部１２Ａから相対遅延品質劣化量推定モデル３２Ｂを示すモデル係数を読み出し（ステップ２１４）、この相対遅延品質劣化量推定モデル３２Ｂに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する（ステップ２１５）。【００８４】
図１３は、相対遅延品質劣化量推定の特性例である。本発明において、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する品質のうち、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に応じて変化する品質劣化成分を相対遅延品質劣化量２７という。
図１３に示すように、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロを示し、遅延時間差Ｄｓのさらなる増加に伴って単調減少する傾向がある。【００８５】
したがって、相対遅延品質劣化量２７は、例えば音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差を変数とする線形関数式で表すことができる。音声遅延時間２２ＡをＤａとし、映像遅延時間２２ＢをＤｖとし、遅延時間差をＤｓとした場合、Ｄｓは次の式（８）で求められる。【００８６】
【数８】
0004486130.tif 000009
【００８７】
また、α４，β４をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（９）で推定できる。【００８８】
【数９】
0004486130.tif 000010
【００８９】
続いて、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する（ステップ２１６）。【００９０】
図１４は、遅延品質劣化量推定の特性例である。図１４に示すように、遅延品質劣化量２３Ｂは、絶対遅延品質劣化量Ｒ（Ｄｒ）と相対遅延品質劣化量Ｓ（Ｄｓ）の和の増加に伴って単調増加する傾向がある。
したがって、遅延品質劣化量２３Ｂは、例えば絶対遅延品質劣化量Ｒ（Ｄｒ）と相対遅延品質劣化量Ｓ（Ｄｓ）の和で表すことができる。絶対遅延品質劣化量２６をＲ（Ｄｒ）とし、遅延品質劣化量２３ＢをＤａｖとし、ａ，ｂのうちいずれか小さい値を選択する関数をｍｉｎ（ａ，ｂ）とし、ａ，ｂのうちいずれか大きい値を選択する関数をｍａｘ（ａ，ｂ）とした場合、ＭＯＳ値の範囲１〜５に正規化したＤａｖは次の式（１０）で求められる。【００９１】
【数１０】
0004486130.tif 000011
【００９２】
この後、遅延品質劣化量算出部１２Ｂは、算出した遅延品質劣化量２３Ｂを映像コミュニケーション品質推定部１３へ出力し（ステップ２１７）、一連の遅延品質劣化量推定処理を終了する。【００９３】
このように、本実施の形態は、音声遅延時間２２Ａと映像遅延時間２２Ｂから、音声メディアと映像メディアの絶対的な遅延による品質劣化を示す絶対遅延品質劣化量と、音声メディアと映像メディアの相対的な遅延による品質劣化を示す相対遅延品質劣化量とを求め、これら絶対遅延品質劣化量と相対遅延品質劣化量から遅延品質劣化量２３Ｂを間接的に推定するようにしたので、極めて簡素な推定モデルで音声遅延時間２２Ａと映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを推定することができ、映像コミュニケーション品質の推定に要する処理負荷や処理時間を削減することができる。【００９４】
また、本実施の形態では、絶対遅延品質劣化量算出部１２Ｃにより、音声遅延時間と映像遅延時間の遅延時間和の増加に伴って絶対遅延品質劣化量が単調増加する絶対遅延品質劣化特性に基づいて、音声遅延時間と映像遅延時間の遅延時間和に対応する絶対遅延品質劣化量を推定するようにしたので、各メディアの入力から出力までの絶対的な遅延に起因して映像コミュニケーション品質の劣化を感じるという、人間の知覚特性を考慮した絶対遅延品質劣化量を、簡素な処理で精度よく推定できる。【００９５】
また、本実施の形態では、相対遅延品質劣化量算出部１２Ｄにより、音声遅延時間と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化量が単調減少する相対遅延品質劣化特性に基づいて、音声遅延時間と映像遅延時間の遅延時間差に対応する絶対遅延品質劣化量を推定するようにしたので、メディア間の相対的な遅延時間のズレすなわち同期外れに起因して映像コミュニケーション品質の劣化を感じるという、人間の知覚特性を考慮した相対遅延品質劣化量を、簡素な処理で精度よく推定できる。【００９６】
［第３の実施の形態］
次に、図１５を参照して、本発明の第３の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図１５は、本発明の第３の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図１０と同じまたは同等部分には同一符号を付してある。【００９７】
第２の実施の形態では、１つの相対遅延品質劣化量推定モデル３２Ｂに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を求める場合を例として説明した。
本実施の形態は、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に基づいて、相対遅延品質劣化量２７の推定に用いる相対遅延品質劣化量推定モデルを選択する場合について説明する。【００９８】
なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の構成は、第２の実施の形態（図１０参照）と比較して、遅延品質劣化量推定部１２の記憶部１２Ａと相対遅延品質劣化量算出部１２Ｄのみが異なる。他の構成については、第２の実施の形態と同様であり、ここでの詳細な説明は省略する。【００９９】
［遅延品質劣化量推定部］
図１５に示すように、遅延品質劣化量推定部１２には、主な機能手段として、記憶部１２Ａ、遅延品質劣化量算出部１２Ｂ、絶対遅延品質劣化量算出部１２Ｃ、および相対遅延品質劣化量算出部１２Ｄが設けられている。
記憶部１２Ａは、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和と絶対遅延品質劣化量２６との関係を示す絶対遅延品質劣化量推定モデル３２Ａと、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた複数の異なる相対遅延品質劣化量推定モデル３２Ｂ，３２Ｃを予め記憶する機能を有している。【０１００】
絶対遅延品質劣化量算出部１２Ｃは、記憶部１２Ａの絶対遅延品質劣化量推定モデル３２Ａに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する機能を有している。
相対遅延品質劣化量算出部１２Ｄは、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた相対遅延品質劣化量推定モデルを記憶部１２Ａから選択する機能と、選択した相対遅延品質劣化量推定モデルに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する機能を有している。【０１０１】
遅延品質劣化量算出部１２Ｂは、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する機能を有している。【０１０２】
音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端末間で生ずる相対的な遅延すなわちメディア間の同期外れ（再生タイミングのズレ）に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。この際、ユーザは、音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合いが変化するという知覚特性を有している。
本実施の形態では、音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化量推定モデルを選択し、選択した相対遅延品質劣化量推定モデルに基づいて、相対遅延品質劣化量算出部１２Ｄにより相対遅延品質劣化量２７を推定している。【０１０３】
これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハードディスクなどの記憶装置から構成されている。また、各種演算処理を行う演算処理部（コンピュータ）は、ＣＰＵとその周辺回路から構成されており、上記記憶部のプログラム（図示せず）を読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機能部ごとにそれぞれ個別に設けてもよく、各機能部で共用してもよい。【０１０４】
［第３の実施の形態の動作］
次に、図１６を参照して、本発明の第３の実施の形態にかかる映像コミュニケーション品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。図１６は、本発明の第３の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の動作は、第２の実施の形態と比較して、遅延品質劣化量推定動作のみが異なる。他の処理動作については、第２の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１０５】
映像コミュニケーション品質推定装置１の遅延品質劣化量推定部１２は、図２のステップ１１０における遅延品質劣化量推定ステップにおいて、図１６の遅延品質劣化量推定処理を実行する。【０１０６】
まず、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、外部から入力された音声遅延時間２２Ａと映像遅延時間２２Ｂを取得する（ステップ３１１）。次に、遅延品質劣化量推定部１２は、絶対遅延品質劣化量算出部１２Ｃにより、記憶部１２Ａから絶対遅延品質劣化量推定モデル３２Ａを示すモデル係数を読み出し（ステップ３１２）、この絶対遅延品質劣化量推定モデル３２Ａに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する（ステップ３１３）。これらステップ３１１〜３１３は前述した図１１のステップ２１１〜２１３と同じであり、ここでの詳細な説明は省略する。【０１０７】
また、遅延品質劣化量推定部１２は、相対遅延品質劣化量算出部１２Ｄにより、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた相対遅延品質劣化量推定モデルを選択する（ステップ３１４）。そして、選択した相対遅延品質劣化量推定モデルを示すモデル係数を記憶部１２Ａから読み出し（ステップ３１５）、この相対遅延品質劣化量推定モデルに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する（ステップ３１６）。【０１０８】
図１７は、相対遅延品質劣化量推定の特性例である。本実施の形態では、ユーザが知覚する相対遅延品質劣化特性を、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係、ここでは、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか小さいか、すなわち遅延時間差Ｄｓの正負に応じて２つの相対遅延品質劣化量推定モデル３２Ｂ，３２Ｃを予め記憶部１２Ａに格納してある。このうち、相対遅延品質劣化量推定モデル３２Ｂは、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合に適用され、相対遅延品質劣化量推定モデル３２Ｃは、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合に適用される。【０１０９】
図１７に示すように、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロを示し、遅延時間差Ｄｓのさらなる増加に伴って単調減少する傾向がある。また、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロを示し、遅延時間差Ｄｓのさらなる減少に伴って単調減少する傾向がある。【０１１０】
したがって、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合、相対遅延品質劣化量２７は、例えば音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差を変数とする線形関数式で表すことができる。音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差をＤｓ（＝Ｄａ−Ｄｖ）とし、α５，β５をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（１１）で推定できる。【０１１１】
【数１１】
0004486130.tif 000012
【０１１２】
同様にして、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合、相対遅延品質劣化量２７は、例えば音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差を変数とする線形関数式で表すことができる。音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差をＤｓ（＝Ｄａ−Ｄｖ）とし、α６，β６をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（１２）で推定できる。【０１１３】
【数１２】
0004486130.tif 000013
【０１１４】
続いて、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する（ステップ３１７）。このステップ３１７は前述した図１１のステップ２１６と同じであり、ここでの詳細な説明は省略する。
この後、遅延品質劣化量算出部１２Ｂは、算出した遅延品質劣化量２３Ｂを映像コミュニケーション品質推定部１３へ出力し（ステップ３１８）、一連の遅延品質劣化量推定処理を終了する。【０１１５】
このように、本実施の形態は、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた相対遅延品質劣化量推定モデル３２Ｂ，３２Ｃを記憶部１２Ａで複数記憶しておき、相対遅延品質劣化量算出部１２Ｄにより、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた相対遅延品質劣化量推定モデルを選択し、選択した相対遅延品質劣化量推定モデルに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出するようにしたので、音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合いが変化するという、人間の知覚特性を考慮した相対遅延品質劣化量を、簡素な処理で精度よく推定できる。【０１１６】
一般に、人間の知覚特性には、音声メディアが映像メディアより先に再生される場合と比較して、逆に音声メディアが映像メディアより遅れて再生される場合のほうが、映像コミュニケーション品質の劣化が大きいと感じる特性がある。したがって、本実施の形態を適用することにより、このような知覚特性を考慮した相対遅延品質劣化量を推定することができ、高い精度で映像コミュニケーション品質を推定できる。【０１１７】
［第４の実施の形態］
次に、図１８を参照して、本発明の第４の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図１８は、本発明の第４の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図１０と同じまたは同等部分には同一符号を付してある。【０１１８】
第２の実施の形態では、相対遅延品質劣化量推定モデル３２Ｂに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂに対応する相対遅延品質劣化量２７を求める場合を例として説明した。
本実施の形態では、音声遅延時間２２Ａと映像遅延時間２２Ｂに加えて映像メディアのフレームレート２２Ｃを用い、これら音声遅延時間２２Ａ、映像遅延時間２２Ｂ、およびフレームレート２２Ｃに対応する相対遅延品質劣化量２７を求める場合について説明する。なお、フレームレートとは、映像メディアを構成するフレームの転送速度であり、単位時間当たりに送信されるフレーム数で表される。【０１１９】
なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の構成は、第２の実施の形態（図１０参照）と比較して、遅延品質劣化量推定部１２の記憶部１２Ａと相対遅延品質劣化量算出部１２Ｄのみが異なり、傾き係数算出部１２Ｅが新たに追加されている。他の構成については、第２の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１２０】
［遅延品質劣化量推定部］
図１８に示すように、遅延品質劣化量推定部１２には、主な機能手段として、記憶部１２Ａ、遅延品質劣化量算出部１２Ｂ、絶対遅延品質劣化量算出部１２Ｃ、相対遅延品質劣化量算出部１２Ｄ、および傾き係数算出部１２Ｅが設けられている。【０１２１】
記憶部１２Ａは、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和と絶対遅延品質劣化量２６との関係を示す絶対遅延品質劣化量推定モデル３２Ａと、音声遅延時間２２Ａと映像遅延時間２２Ｂとの遅延時間差と相対遅延品質劣化量２７との関係を示す相対遅延品質劣化量推定モデル３２Ｂと、フレームレート２２Ｃと相対遅延品質劣化量推定モデル３２Ｂの傾きを示す傾き係数との関係を示す傾き係数推定モデル３２Ｄと、を予め記憶する機能を有している。【０１２２】
絶対遅延品質劣化量算出部１２Ｃは、記憶部１２Ａの絶対遅延品質劣化量推定モデル３２Ａに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する機能を有している。
傾き係数算出部１２Ｅは、記憶部１２Ａの傾き係数推定モデル３２Ｄに基づいて、相対遅延品質劣化量推定モデル３２Ｂの傾きを示す傾き係数を算出する機能を有している。【０１２３】
相対遅延品質劣化量算出部１２Ｄは、傾き係数算出部１２Ｅで算出された傾き係数に基づいて記憶部１２Ａの相対遅延品質劣化量推定モデル３２Ｂの傾きを特定する機能と、傾きを特定した相対遅延品質劣化量推定モデル３２Ｂに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する機能を有している。
遅延品質劣化量算出部１２Ｂは、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する機能を有している。【０１２４】
相対遅延品質劣化量の度合いは、映像メディアのフレームレートに左右される。例えば、フレームレートが低い場合、音声メディアと映像メディアに相対的なズレが生じていても大きな品質劣化とは知覚されないが、フレームレートが高くなるに伴ってその品質劣化は顕著となる。また、近年の携帯電話を用いたテレビ電話サービス等に見られるように、フレームレートが３０[フレーム/sec]を実現できないシステムは多く存在しており、フレームレートの変化も考慮して総合的なマルチモーダル品質を求めることは非常に重要な課題である。【０１２５】
本実施の形態では、相対遅延品質劣化量算出部１２Ｄにより、相対遅延品質劣化量推定モデル３２Ｂとして線形関数を用い、この線形関数の傾き係数がフレームレートの増加に伴って対数関数的に大きくなるという特性、すなわち傾き係数推定モデル３２Ｄに基づいて、傾き係数算出部１２Ｅによりフレームレートに対応する線形関数の傾き係数を算出している。これにより、フレームレートの変化も考慮して当該映像コミュニケーションの相対遅延品質劣化量を推定することができる。【０１２６】
これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハードディスクなどの記憶装置から構成されている。また、各種演算処理を行う演算処理部（コンピュータ）は、ＣＰＵとその周辺回路から構成されており、上記記憶部のプログラム（図示せず）を読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機能部ごとにそれぞれ個別に設けてもよく、各機能部で共用してもよい。【０１２７】
［第４の実施の形態の動作］
次に、図１９を参照して、本発明の第４の実施の形態にかかる映像コミュニケーション品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。図１９は、本発明の第４の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の動作は、第２の実施の形態と比較して、遅延品質劣化量推定動作のみが異なる。他の処理動作については、第２の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１２８】
映像コミュニケーション品質推定装置１の遅延品質劣化量推定部１２は、図２のステップ１１０における遅延品質劣化量推定ステップにおいて、図１９の遅延品質劣化量推定処理を実行する。【０１２９】
まず、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、外部から入力された音声遅延時間２２Ａ、映像遅延時間２２Ｂ、およびフレームレート２２Ｃを取得する（ステップ４１１）。次に、遅延品質劣化量推定部１２は、絶対遅延品質劣化量算出部１２Ｃにより、記憶部１２Ａから絶対遅延品質劣化量推定モデル３２Ａを示すモデル係数を読み出し（ステップ４１２）、この絶対遅延品質劣化量推定モデル３２Ａに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する（ステップ４１３）。これらステップ４１１〜４１３は前述した図１１のステップ２１１〜２１３と同じであり、ここでの詳細な説明は省略する。【０１３０】
また、遅延品質劣化量推定部１２は、傾き係数算出部１２Ｅにより、記憶部１２Ａから傾き係数推定モデル３２Ｄを示すモデル係数を読み出し（ステップ４１４）、この傾き係数推定モデル３２Ｄに基づいて、相対遅延品質劣化量推定モデル３２Ｂの傾きを示す傾き係数を算出する（ステップ４１５）。
図２０は、相対遅延品質劣化量推定の特性例である。図２０に示すように、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロを示し、遅延時間差Ｄｓのさらなる増加に伴って単調減少する傾向がある。【０１３１】
また、相対遅延品質劣化量推定モデル３２Ｂの傾きα４は、フレームレート２２Ｃの低下に応じて緩やかになる傾向がある。
図２１は、傾き係数推定の特性例である。図２１に示すように、相対遅延品質劣化量推定モデル３２Ｂの傾きα４は、フレームレート２２Ｃの対数値の増加に応じて単調減少する傾向がある。【０１３２】
したがって、傾き係数α４は、例えばフレームレート２２Ｃの対数値を変数とする線形関数式で表すことができる。フレームレート２２ＣをＦとし、その対数値をｌｏｇ（Ｆ）とし、α４１，β４１をそれぞれ定数とし、相対遅延品質劣化量推定モデル３２Ｂの傾き係数をα４とした場合、α４は次の式（１３）で求められる。【０１３３】
【数１３】
0004486130.tif 000014
【０１３４】
続いて、遅延品質劣化量推定部１２は、相対遅延品質劣化量算出部１２Ｄにより、記憶部１２Ａから相対遅延品質劣化量推定モデル３２Ｂを示すモデル係数を読み出し（ステップ４１６）、このモデル係数に傾き係数算出部１２Ｅにより算出された傾き係数α４を含めることにより相対遅延品質劣化量推定モデル３２Ｂの傾きを特定する（ステップ４１７）。
そして、得られた相対遅延品質劣化量推定モデル３２Ｂに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する（ステップ４１８）。【０１３５】
続いて、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する（ステップ４１９）。これらステップ４１８，４１９は前述した図１１のステップ２１５，２１６と同じであり、ここでの詳細な説明は省略する。
この後、遅延品質劣化量算出部１２Ｂは、算出した遅延品質劣化量２３Ｂを映像コミュニケーション品質推定部１３へ出力し（ステップ４２０）、一連の遅延品質劣化量推定処理を終了する。【０１３６】
このように、本実施の形態は、相対遅延品質劣化量推定モデル３２Ｂとして線形関数を用い、傾き係数算出部１２Ｅにより、フレームレートの増加に伴って線形関数の傾き係数が対数関数的に大きくなる傾き係数推定モデルに基づいて、フレームレートに対応する線形関数の傾き係数を推定し、この傾き係数により特定された相対遅延品質劣化量推定モデル３２Ｂに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出するようにしたので、映像メディアのフレームレートに応じて相対遅延品質劣化を感じる度合いが変化するという、人間の知覚特性を考慮した相対遅延品質劣化量を、簡素な処理で精度よく推定できる。【０１３７】
［第５の実施の形態］
次に、図２２を参照して、本発明の第５の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図２２は、本発明の第５の実施の形態にかかる映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図１８と同じまたは同等部分には同一符号を付してある。【０１３８】
第４の実施の形態では、線形関数からなる１つの相対遅延品質劣化量推定モデル３２Ｂの傾きを、映像メディアのフレームレート２２Ｃから算出した傾き係数により特定し、その特定した相対遅延品質劣化量推定モデル３２Ｂに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を求める場合を例として説明した。
本実施の形態では、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に基づいて、相対遅延品質劣化量２７の推定に用いる相対遅延品質劣化量推定モデルを選択する場合について説明する。【０１３９】
なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の構成は、第２の実施の形態（図１０参照）と比較して、遅延品質劣化量推定部１２の記憶部１２Ａと相対遅延品質劣化量算出部１２Ｄのみが異なる。他の構成については、第４の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１４０】
［遅延品質劣化量推定部］
図２２に示すように、遅延品質劣化量推定部１２には、主な機能手段として、記憶部１２Ａ、遅延品質劣化量算出部１２Ｂ、絶対遅延品質劣化量算出部１２Ｃ、相対遅延品質劣化量算出部１２Ｄ、および傾き係数算出部１２Ｅが設けられている。【０１４１】
記憶部１２Ａは、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和と絶対遅延品質劣化量２６との関係を示す絶対遅延品質劣化量推定モデル３２Ａと、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた複数の異なる相対遅延品質劣化量推定モデル３２Ｂ，３２Ｃと、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた複数の異なる傾き係数推定モデル３２Ｄ，３２Ｅと、を予め記憶する機能を有している。【０１４２】
絶対遅延品質劣化量算出部１２Ｃは、記憶部１２Ａの絶対遅延品質劣化量推定モデル３２Ａに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する機能を有している。
傾き係数算出部１２Ｅは、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた傾き係数推定モデルを記憶部１２Ａから選択する機能と、選択した傾き係数推定モデル３２Ｄに基づいて、相対遅延品質劣化量推定モデル３２Ｂの傾きを示す傾き係数を算出する機能を有している。【０１４３】
相対遅延品質劣化量算出部１２Ｄは、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた相対遅延品質劣化量推定モデルを記憶部１２Ａから選択する機能と、選択した相対遅延品質劣化量推定モデルに基づいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する機能を有している。
遅延品質劣化量算出部１２Ｂは、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する機能を有している。【０１４４】
音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端末間で生ずる相対的な遅延すなわちメディア間の同期外れ（再生タイミングのズレ）に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。この際、ユーザは、音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合いが変化するという知覚特性を有している。【０１４５】
本実施の形態では、音声遅延時間と映像遅延時間の大小関係に応じて傾き係数推定モデルと相対遅延品質劣化量推定モデルをそれぞれ選択し、選択した傾き係数推定モデルに基づいて、映像メディアのフレームレートに対応する傾き係数を傾き係数算出部１２Ｅにより算出し、その傾き係数により同じく選択した相対遅延品質劣化量推定モデルの傾きを特定し、この相対遅延品質劣化量推定モデルに基づいて、相対遅延品質劣化量算出部１２Ｄにより相対遅延品質劣化量２７を推定している。【０１４６】
これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハードディスクなどの記憶装置から構成されている。また、各種演算処理を行う演算処理部（コンピュータ）は、ＣＰＵとその周辺回路から構成されており、上記記憶部のプログラム（図示せず）を読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機能部ごとにそれぞれ個別に設けてもよく、各機能部で共用してもよい。【０１４７】
［第５の実施の形態の動作］
次に、図２３を参照して、本発明の第５の実施の形態にかかる映像コミュニケーション品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。図２３は、本発明の第５の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にかかる映像コミュニケーション品質推定装置１の動作は、第４の実施の形態と比較して、遅延品質劣化量推定動作のみが異なる。他の処理動作については、第４の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１４８】
映像コミュニケーション品質推定装置１の遅延品質劣化量推定部１２は、図２のステップ１１０における遅延品質劣化量推定ステップにおいて、図２３の遅延品質劣化量推定処理を実行する。【０１４９】
まず、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、外部から入力された音声遅延時間２２Ａ、映像遅延時間２２Ｂ、およびフレームレート２２Ｃを取得する（ステップ５１１）。次に、遅延品質劣化量推定部１２は、絶対遅延品質劣化量算出部１２Ｃにより、記憶部１２Ａから絶対遅延品質劣化量推定モデル３２Ａを示すモデル係数を読み出し（ステップ５１２）、この絶対遅延品質劣化量推定モデル３２Ａに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する（ステップ５１３）。これらステップ５１１〜５１３は前述した図１１のステップ２１１〜２１３と同じであり、ここでの詳細な説明は省略する。【０１５０】
また、遅延品質劣化量推定部１２は、傾き係数算出部１２Ｅにより、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた傾き係数推定モデルを選択する（ステップ５１４）。そして、選択した傾き係数推定モデル３２Ｄを示すモデル係数を記憶部１２Ａから読み出し（ステップ５１５）、この傾き係数推定モデル３２Ｄに基づいて、相対遅延品質劣化量推定モデル３２Ｂの傾きを示す傾き係数を算出する（ステップ５１６）。【０１５１】
図２４は、相対遅延品質劣化量推定の特性例である。本実施の形態では、ユーザが知覚する相対遅延品質劣化特性を、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係、こでは、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか小さいか、すなわち遅延時間差Ｄｓの正負に応じて２つの相対遅延品質劣化量推定モデル３２Ｂ，３２Ｃを予め記憶部１２Ａに格納してある。このうち、相対遅延品質劣化量推定モデル３２Ｂは、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合に適用され、相対遅延品質劣化量推定モデル３２Ｃは、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合に適用される。【０１５２】
図２４に示すように、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロを示し、遅延時間差Ｄｓのさらなる増加に伴って単調減少する傾向がある。また、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロを示し、遅延時間差Ｄｓのさらなる減少に伴って単調減少する傾向がある。【０１５３】
また、相対遅延品質劣化量推定モデル３２Ｂ，３２Ｃの傾きα５，α６は、フレームレート２２Ｃの低下に応じて緩やかになる傾向がある。
図２５は、傾き係数推定の特性例である。図２５に示すように、相対遅延品質劣化量推定モデル３２Ｂの傾きα５は、フレームレート２２Ｃの対数値の増加に応じて単調減少する傾向がある。また、相対遅延品質劣化量推定モデル３２Ｃの傾きα６は、フレームレート２２Ｃの対数値の増加に応じて単調増加する傾向がある。【０１５４】
したがって、傾き係数α５，α６は、例えばフレームレート２２Ｃの対数値を変数とする線形関数式で表すことができる。フレームレート２２ＣをＦとし、その対数値をｌｏｇ（Ｆ）とし、α５１，β５１をそれぞれ定数とし、相対遅延品質劣化量推定モデル３２Ｂの傾き係数をα５とした場合、α５は次の式（１４）で求められる。【０１５５】
【数１４】
0004486130.tif 000015
【０１５６】
また、フレームレート２２ＣをＦとし、その対数値をｌｏｇ（Ｆ）とし、α６１，β６１をそれぞれ定数とし、相対遅延品質劣化量推定モデル３２Ｃの傾き係数をα６とした場合、α６は次の式（１５）で求められる。【０１５７】
【数１５】
0004486130.tif 000016
【０１５８】
また、遅延品質劣化量推定部１２は、相対遅延品質劣化量算出部１２Ｄにより、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた相対遅延品質劣化量推定モデルを選択する（ステップ５１７）。そして、選択した相対遅延品質劣化量推定モデルを示すモデル係数を記憶部１２Ａから読み出し（ステップ５１８）、このモデル係数に傾き係数算出部１２Ｅにより算出された傾き係数α５またはα６を含めることにより、選択した相対遅延品質劣化量推定モデルの傾きを特定する（ステップ５１９）。
そして、得られた相対遅延品質劣化量推定モデルに基づき、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する（ステップ５２０）。【０１５９】
続いて、遅延品質劣化量推定部１２は、遅延品質劣化量算出部１２Ｂにより、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量２６と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量２７とに基づいて、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量２３Ｂを算出する（ステップ５２１）。これらステップ５１７，５１８は前述した図１６のステップ３１４，３１５と同等であり、ステップ５１９は前述した図１９のステップ４１７と同等であり、ステップ５２０，５２１は、前述した図１１のステップ２１５，２１６と同等であり、ここでの詳細な説明は省略する。
この後、遅延品質劣化量算出部１２Ｂは、算出した遅延品質劣化量２３Ｂを映像コミュニケーション品質推定部１３へ出力し（ステップ５２２）、一連の遅延品質劣化量推定処理を終了する。【０１６０】
このように、本実施の形態は、音声遅延時間と映像遅延時間の大小関係に応じて傾き係数推定モデルと相対遅延品質劣化量推定モデルをそれぞれ選択し、選択した傾き係数推定モデルに基づいて、映像メディアのフレームレートに対応する傾き係数を傾き係数算出部１２Ｅにより算出し、その傾き係数により同じく選択した相対遅延品質劣化量推定モデルの傾きを特定し、この相対遅延品質劣化量推定モデルに基づいて、相対遅延品質劣化量算出部１２Ｄにより相対遅延品質劣化量２７を推定するようにしたので、映像メディアのフレームレートに応じて相対遅延品質劣化を感じる度合いが変化するという人間の知覚特性と、音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合いが変化するという人間の知覚特性の両方を考慮した相対遅延品質劣化量を、簡素な処理で精度よく推定できる。【０１６１】
［第６の実施の形態］
次に、図２６を参照して、本発明の第６の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図２６は、本発明の第６の実施の形態にかかる映像コミュニケーション品質推定装置で用いる絶対遅延品質劣化量推定モデルの特性例である。【０１６２】
第２の実施の形態では、遅延品質劣化量推定部１２の絶対遅延品質劣化量算出部１２Ｃにおいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間和に対応する絶対遅延品質劣化量２６を算出する際、絶対遅延品質劣化量推定モデル３２Ａを線形関数でモデル化した場合を例として説明した。
本実施の形態では、絶対遅延品質劣化量推定モデル３２Ａを非線形関数でモデル化する場合について説明する。なお、他の構成や動作については、第２の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１６３】
図２６に示すように、絶対遅延品質劣化量推定モデル３２Ａは、評価対象となる映像コミュニケーションを行う環境によってある程度変動する。したがって、絶対遅延品質劣化量推定モデル３２Ａを線形関数でモデル化するより、非線形関数でモデル化したほうが推定精度の向上に繋がる場合がある。
非線形関数には各種の関数型が存在する。例えば、指数関数を用いた場合は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間和をＤｒとし、α７，β７，Ｄｒ７をそれぞれ定数とし、絶対遅延品質劣化量２６をＲ（Ｄｒ）とした場合、Ｒ（Ｄｒ）は、次の式（１６）で推定できる。【０１６４】
【数１６】
0004486130.tif 000017
【０１６５】
このように、本実施の形態は、絶対遅延品質劣化量推定モデル３２Ａを非線形関数でモデル化するようにしたので、推定精度の向上を図ることができる。さらに、指数関数を用いた場合には、簡素な関数式で絶対遅延品質劣化量推定モデル３２Ａをモデル化することが可能となる。なお、本実施の形態は、第２の実施の形態だけでなく、第３〜第５の実施の形態にも適用でき、同様の作用効果が得られる。特に、第３および第５の実施の形態では、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に基づいて、相対遅延品質劣化量２７の推定に用いる相対遅延品質劣化量推定モデルを複数用いており、これら相対遅延品質劣化量推定モデルをそれぞれ非線形関数でモデル化することもできる。【０１６６】
［第７の実施の形態］
次に、図２７を参照して、本発明の第７の実施の形態にかかる映像コミュニケーション品質推定装置について説明する。図２７は、本発明の第７の実施の形態にかかる映像コミュニケーション品質推定装置で用いる相対遅延品質劣化量推定モデルの特性例である。【０１６７】
第２の実施の形態では、遅延品質劣化量推定部１２の相対遅延品質劣化量算出部１２Ｄにおいて、音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差に対応する相対遅延品質劣化量２７を算出する際、相対遅延品質劣化量推定モデル３２Ｂを線形関数でモデル化した場合を例として説明した。
本実施の形態では、相対遅延品質劣化量推定モデル３２Ｂを非線形関数でモデル化する場合について説明する。なお、他の構成や動作については、第２の実施の形態と同様であり、ここでの詳細な説明は省略する。【０１６８】
図２７に示すように、相対遅延品質劣化量推定モデル３２Ｂは、評価対象となる映像コミュニケーションを行う環境によってある程度変動する。したがって、絶対遅延品質劣化量推定モデル３２Ａを線形関数でモデル化するより、非線形関数でモデル化したほうが推定精度の向上に繋がる場合がある。
非線形関数には各種の関数型が存在する。例えば、ロジスティック関数を用いた場合は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差をＤｓとし、α８，β８，Ｄｓ８をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（１７）で推定できる。【０１６９】
【数１７】
0004486130.tif 000018
【０１７０】
このように、本実施の形態は、相対遅延品質劣化量推定モデル３２Ｂを非線形関数でモデル化するようにしたので、推定精度の向上を図ることができる。さらに、ロジスティック関数を用いた場合には、簡素な関数式で相対遅延品質劣化量推定モデル３２Ｂをモデル化することが可能となる。なお、本実施の形態は、第２の実施の形態だけでなく、第３〜第５の実施の形態にも適用でき、同様の作用効果が得られる。【０１７１】
また、相対遅延品質劣化量推定モデル３２Ｂを非線形関数でモデル化する場合、第３の実施の形態で説明した式（１１），式（１２）と同様に、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に応じた２つの相対遅延品質劣化量推定モデル３２Ｂを記憶部１２Ａに格納しておき、音声遅延時間２２Ａと映像遅延時間２２Ｂの大小関係に基づいて、相対遅延品質劣化量２７の推定に用いる相対遅延品質劣化量推定モデル３２Ｂを選択するようにしてもよい。【０１７２】
図２８は、相対遅延品質劣化量推定の他の特性例である。この特性例では、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロから少しずつ減少し、遅延時間差Ｄｓのさらなる増加に伴って単調減少する傾向がある。また、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合、相対遅延品質劣化量２７は、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差Ｄｓが所定の値に達するまでゼロから少しずつ減少し、遅延時間差Ｄｓのさらなる減少に伴って単調減少する傾向がある。【０１７３】
したがって、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合、相対遅延品質劣化量２７は、例えば音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差を変数とするロジスティック関数式で表すことができる。音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差をＤｓ（＝Ｄａ−Ｄｖ）とし、α９，β９，Ｄｓ９をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（１８）で推定できる。【０１７４】
【数１８】
0004486130.tif 000019
【０１７５】
同様にして、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合、相対遅延品質劣化量２７は、例えば音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差を変数とするロジスティック関数式で表すことができる。音声遅延時間２２Ａと映像遅延時間２２Ｂの遅延時間差をＤｓ（＝Ｄａ−Ｄｖ）とし、α１０，β１０，Ｄｓ１０をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（１９）で推定できる。【０１７６】
【数１９】
0004486130.tif 000020
【０１７７】
なお、図２７および図２８では、特性例の端部において、相対遅延品質劣化量２７が係数α８〜α１０へ収束する傾向が示されているが、前述した式（１０）に示したように、遅延品質劣化量２３ＢはＭＯＳ値の範囲１〜５に正規化されるため、実際の相対遅延品質劣化量２７の推定に際し、特性例の端部における上記傾向部分は利用されない。【０１７８】
また、相対遅延品質劣化量推定モデル３２Ｂを非線形関数でモデル化する場合、ロジスティック関数を用いた式（１７）〜式（１９）以外の関数を用いてもよい。図２９は、相対遅延品質劣化量推定の他の特性例である。このような特性例については、前述した式（１７）〜式（１９）を指数関数で表現できる。【０１７９】
例えば、式（１７）については、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差をＤｓとし、α１１，β１１，Ｄｓ１１をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（２０）で推定できる。【０１８０】
【数２０】
0004486130.tif 000021
【０１８１】
また、音声遅延時間２２Ａが映像遅延時間２２Ｂより大きいか等しい場合の式（１８）については、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差をＤｓとし、α１２，β１２，Ｄｓ１２をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（２１）で推定できる。【０１８２】
【数２１】
0004486130.tif 000022
【０１８３】
同様にして、音声遅延時間２２Ａが映像遅延時間２２Ｂより小さい場合の式（１９）については、音声遅延時間Ｄａと映像遅延時間Ｄｖの遅延時間差をＤｓとし、α１３，β１３，Ｄｓ１３をそれぞれ定数とし、相対遅延品質劣化量２７をＳ（Ｄｓ）とした場合、Ｓ（Ｄｓ）は、次の式（２２）で推定できる。【０１８４】
【数２２】
0004486130.tif 000023
【０１８５】
［第８の実施の形態］
次に、以上の各実施の形態で用いた各数式の定数値を導出する方法について説明する。
まず、映像コミュニケーションを利用する、例えば使用する通信端末や符号化方式などの通信環境と、ビジネス会議や自由会話などの想定する利用シーンを定め、音声品質、映像フレームレートを含む映像品質、音声・映像の遅延時間が制御できる評価実験系を構築する。これら品質は、パケット損失率、パケット遅延時間／ゆらぎ時間等のネットワーク品質パラメータが制御できるネットワークエミュレータ装置で変化させることができる。また、映像フレームレートは映像コミュニケーションアプリケーションの設定パラメータにより変化させることができる。【０１８６】
次に、音声品質、映像フレームレートを含む映像品質、音声・映像の遅延時間を様々な状態で変化させて上記想定シーンにしたがって、通信端末間で映像コミュニケーションを行い、全ての品質要因を総合的に考慮した映像コミュニケーション品質を５段階品質尺度によって評価する。【０１８７】
品質は平均オピニオン評点ＭＯＳ値（Mean Opinion Score）で表現する。ＭＯＳ値は「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」の５段階の品質評価尺度に対してそれぞれ５〜１点を付け、評価者が投票した得点の平均値で求められる。主観品質評価実験では、映像コミュニケーション品質の他に、音声品質評価値、映像品質評価値も同様に求める。なお、主観評価実験方法の詳細はＩＴＵ−Ｔ勧告Ｐ．９１１に記載されている。また、音声品質評価値と映像品質評価値は、前述のＩＴＵ−Ｔ勧告Ｐ．８６２やＩＴＵ−Ｔ勧告Ｊ．１４４などの客観品質推定技術を適用して導出した値を用いても良い。【０１８８】
このようにして、各種品質評価値を取得した後、各種数式の係数を導出するための処理を行う。ここでは、第５の実施の形態を例として説明する。
まず、遅延時間の影響がない条件の評価結果から、音声品質評価値ＭＯＳａおよび映像品質評価値ＭＯＳｖとマルチモーダル品質値ＭＯＳｍｍの関係を前述した式（１）の関数形で近似し、各定数α１，β１，γ１，δ１を導出する。
次に、音声品質と映像品質が最高レベルの条件において、音声・映像の遅延時間を変化させた場合の品質劣化量を前述した式（６）〜式（８），式（１１），式（１２），式（１４），式（１５）の関数形でそれぞれ近似し、各定数α３，β３，β５，α５１，α５２，β６，α６１，α６２を導出する。【０１８９】
この後、全ての評価結果を用いて、マルチモーダル品質値ＭＯＳｍｍおよび遅延品質劣化量Ｄａｖと映像コミュニケーション品質値ＭＯＳａｌｌの関係を、前述した式（４）の関数形で近似し、各定数α２，β２，γ２，δ２を導出する。【０１９０】
これらの定数は、映像コミュニケーションをどのような通信環境で利用するのか、どのようなシーンに適用して利用するのか、どのような会話を行うか等により変化する値であるが、想定するサービス利用シーンを決定して、一度主観品質評価実験を行うことにより一意に定めることが可能である。なお、本実施の形態は、第５の実施の形態を例として説明したが、他の実施の形態にも同様にして適用できる。【０１９１】
［実施の形態の拡張］
以上の各実施の形態では、マルチモーダルサービスを利用して映像コミュニケーションを行う各通信端末において、音声品質評価値と映像品質評価値に対称性を有し、両通信端末において、等しい音声品質評価値と映像品質評価値が得られる場合を前提として説明している。これら通信端末において、音声品質評価値と映像品質評価値に対称性がなく、両通信端末において、等しい音声品質評価値と映像品質評価値が得られない場合には、例えばマルチモーダル品質推定部１１において、両通信端末のマルチモーダル品質を合成したマルチモーダル品質値２３Ａを算出してもよい。【０１９２】
あるいは、マルチモーダル品質推定部１１において、通信端末ごとに個別のマルチモーダル品質値２３Ａを推定し、映像コミュニケーション品質推定部１３により、これらマルチモーダル品質値２３Ａと遅延品質劣化量２３Ｂに基づいて、映像コミュニケーション品質値２４を推定してもよい。【０１９３】
また、第２〜第５の実施の形態では、遅延品質劣化量算出部１２Ｂにより、音声遅延時間２２Ａおよび映像遅延時間２２Ｂに対応する遅延品質劣化量Ｄａｖを算出する際、前述した式（１０）に示したように、絶対遅延品質劣化量算出部１２Ｃで算出された絶対遅延品質劣化量Ｒ（Ｄｒ）と相対遅延品質劣化量算出部１２Ｄで算出された相対遅延品質劣化量Ｓ（Ｄｓ）と和からＤａｖを算出する場合を例として説明したが、これに限定されるものではない。例えば、α１４，β１４，γ１４，δ１４をそれぞれ定数とした場合、Ｄａｖは次の式（２３）により推定でき、Ｒ（Ｄｒ）とＳ（Ｄｓ）の相互作用を考慮してＤａｖを推定できる。【０１９４】
【数２３】
0004486130.tif 000024
【０１９５】
また、各実施の形態では、各種品質値や傾き係数を算出するための推定モデルとして、それぞれ１つの推定モデル、または２つの推定モデルのいずれかを用いる場合を例に説明したが、これに限定されるものではない。
これら推定モデルは、評価対象となる映像コミュニケーションを行う環境によってある程度変動する。映像コミュニケーション環境を左右するパラメータとしては、例えば、映像通信サービスの通信種別を示す通信種別パラメータ、映像メディアを再生する端末の再生性能を示す再生性能パラメータ、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメータがある。【０１９６】
通信種別パラメータの具体例としては、評価対象となる映像通信サービスで行われる通信種別を示す「タスク」がある。
再生性能パラメータの具体例としては、映像メディアの符号化に関する「符号化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータの具体例としては、端末でのメディア再生の際の「室内照度」などがある。【０１９７】
したがって、このようなパラメータの組合せごとに推定モデルの関数形やその係数を記憶部に格納しておき、推定の際、外部から入力されたこれらパラメータに基づいて推定モデルの関数形やその係数を選択してもよい。これにより、映像コミュニケーション環境が異なる場合でも柔軟に対応することができ、高い精度で映像コミュニケーション品質値を推定することが可能となる。【０１９８】
また、各実施の形態では、ＭＯＳ値で表す品質値については、ＭＯＳ値がとりうる１〜５の範囲となるよう、算出した品質値を正規化する場合について説明したが、元々、算出される品質値が１〜５の範囲に治まるのであれば、正規化処理を省いてもよい。
また、各実施の形態では、正規化の具体例として、ｍｉｎ（）やｍａｘ（）などの関数を用いた場合を例として説明したが、他の関数を用いて正規化を行ってもよい。【０１９９】
また、各実施の形態では、推定モデルを線形関数や非線形関数によりモデル化した場合を例として説明したが、これら推定モデルは関数に限定されるものではなく、関数以外のモデルを用いてもよい。例えば、推定モデルの入出力の関係が規定された表形式のデータベースでもよい。また、ニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルであってもよい。
【図１】
0004486130.tif 000025
【図２】
0004486130.tif 000026
【図３】
0004486130.tif 000027
【図４】
0004486130.tif 000028
【図５】
0004486130.tif 000029
【図６】
0004486130.tif 000030
【図７】
0004486130.tif 000031
【図８】
0004486130.tif 000032
【図９】
0004486130.tif 000033
【図１０】
0004486130.tif 000034
【図１１】
0004486130.tif 000035
【図１２】
0004486130.tif 000036
【図１３】
0004486130.tif 000037
【図１４】
0004486130.tif 000038
【図１５】
0004486130.tif 000039
【図１６】
0004486130.tif 000040
【図１７】
0004486130.tif 000041
【図１８】
0004486130.tif 000042
【図１９】
0004486130.tif 000043
【図２０】
0004486130.tif 000044
【図２１】
0004486130.tif 000045
【図２２】
0004486130.tif 000046
【図２３】
0004486130.tif 000047
【図２４】
0004486130.tif 000048
【図２５】
0004486130.tif 000049
【図２６】
0004486130.tif 000050
【図２７】
0004486130.tif 000051
【図２８】
0004486130.tif 000052
【図２９】
0004486130.tif 000053