(57)【特許請求の範囲】
【請求項１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置であって、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、
前記送信品質情報および前記受信品質情報に基づいて前記メディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、
等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
を備えることを特徴とするユーザ体感品質推定装置。
【請求項２】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定手段と、
前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、
前記メディアの符号化に用いたフレーム構成と前記対象フレームとに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定手段と、
１つ以上連続する前記無効フレームのうち前記重みフレーム数を超える無効フレームを等価無効フレームとして選択する等価無効フレーム選択手段と、
前記メディア用パケットで送信された全フレーム数に対する前記等価無効フレーム数の割合を前記等価無効フレーム率として算出する等価無効フレーム率算出手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項３】
請求項２に記載のユーザ体感品質推定装置において、
前記無効パケット判定手段は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないメディア用パケット、および前記受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えるメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項４】
請求項２に記載のユーザ体感品質推定装置において、
前記無効パケット判定手段は、前記受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項５】
請求項２に記載のユーザ体感品質推定装置において、
前記フレーム識別手段は、前記送信品質情報に含まれる前記無効パケットのヘッダ情報から、前記対象フレームのフレーム番号およびフレーム種別を取得し、
前記無効フレーム判定手段は、前記各フレームのうち前記対象フレームを無効フレームと判定するとともに、前記フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する
ことを特徴とするユーザ体感品質推定装置。
【請求項６】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの送信品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた受信品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項７】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの受信品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた送信品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項８】
請求項１に記載のユーザ体感品質推定装置において、
前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項９】
請求項１に記載のユーザ体感品質推定装置において、
前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項１０】
パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
前記送信品質情報および前記受信品質情報に基づいて前記メディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析ステップで算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を備えることを特徴とするユーザ体感品質推定方法。
【請求項１１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータで、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
前記送信品質情報および前記受信品質情報に基づいて前記メディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析ステップで算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
近年、パケット通信技術の飛躍的な発展に伴い、インターネットに代表されるパケット網が、音声や映像等のメディアを１対１あるいは多地点間で通信するリアルタイム系アプリケーションにより利用されつつある。したがって、パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質を示すユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１−３等参照）
【０００３】
従来、発明者らは、リアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。
【０００４】
【特許文献１】特開２０００−２４７４２１号公報
【非特許文献１】ITU-T Recommendation G.107,"The E-Model, a computational model for use in transmission planning", May.2000
【非特許文献２】A.Clark,「Modeling the Effects of Burst Packet Loss and Recency on Subjective Voice Quality」,IP Telephony Workshop 2001,Apr. 2001
【非特許文献３】R.Caceres and A.Clark,"RTP Control Protocol Extended Reports(RTCP XR)",IETF RFC3611,May.2003
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来技術では、メディアデータの通信に用いるメディア用パケットに着目した無効パケット率に基づき主観品質を推定しているため、ある程度の推定精度は保証できるが、高い推定精度が求められる場合には十分ではないという問題点があった。
【０００６】
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。
【０００７】
したがって、パケット網でパケット損失が発生した場合、１パケットの損失によるメディア信号の品質劣化が当該フレームにとどまらず、複数のフレームに及ぶことがある。例えば、パケット損失が発生した次のフレームでパケット損失が生じていない場合、直前フレームの欠損により次のフレームの復号に影響がおよび、復号されたメディア信号では品質劣化が発生するが、パケットレベルでは品質劣化がないと判断されるため、実際のリアルタイム系アプリケーションでの品質劣化状況とは異なる推定結果となる。
【０００８】
また、人間の知覚特性は、映像や音声などのメディアの劣化に対して敏感ではなく、劣化を認識するまである程度の期間を要する面もある。このため、再生されたメディアのうち、パケット損失の影響を受けたすべてのフレームを品質劣化としてユーザが認識するわけではない。したがって、メディアに対するユーザの主観的な品質評価と、実際のリアルタイム系アプリケーションでの品質劣化状況から推定した推定結果とに、誤差が生じることもある。
【０００９】
本発明はこのような課題を解決するためのものであり、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。
【００１１】
この際、品質解析部に、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定手段と、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定手段と、１つ以上連続する無効フレームのうち重みフレーム数を超える無効フレームを等価無効フレームとして選択する等価無効フレーム選択手段と、メディア用パケットで送信された全フレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する等価無効フレーム率算出手段とを設けてもよい。
【００１２】
また、無効パケット判定手段で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしてもよい。
【００１３】
また、無効パケット判定手段で、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしてもよい。
【００１４】
また、フレーム識別手段で、送信品質情報に含まれる無効パケットのヘッダ情報から、対象フレームのフレーム番号およびフレーム種別を取得し、無効フレーム判定手段で、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。
【００１５】
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの送信品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた受信品質情報を受信品質情報として取得するようにしてもよい。
【００１６】
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの受信品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた送信品質情報を送信品質情報として取得するようにしてもよい。
【００１７】
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１８】
受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１９】
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析ステップで算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。
【００２０】
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータで、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率を判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析ステップで算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させるプログラムである。
【発明の効果】
【００２１】
本発明によれば、品質解析部により、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合が無効フレーム率として算出され、ユーザ体感品質推定部により、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効フレーム率に対応するユーザ体感品質値が導出されて、アプリケーションのユーザ体感品質の推定値として出力される。
【００２２】
したがって、ユーザ体感品質を推定する場合、客観的な品質情報として得られるパケット損失率や無効パケット率からユーザ体感品質値を推定する場合と比較して、各メディア用パケットが構成するフレームを考慮してユーザ体感品質値を推定することができ、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【００２４】
ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、品質解析部１２、ユーザ体感品質推定部１３、推定結果通知部１６、および品質情報通知部１７が設けられている。
【００２５】
本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１３により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部１２で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
【００２６】
［ユーザ体感品質推定装置］
次に、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について詳細に説明する。
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
【００２７】
品質情報取得部１１は、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。
【００２８】
品質解析部１２は、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する機能を有している。
品質解析部１２を構成する機能手段としては、無効パケット判定手段１２Ａ、対象フレーム識別手段１２Ｂ、無効フレーム判定手段１２Ｃ、等価無効フレーム選択手段１２Ｄ、および等価無効フレーム率算出手段１２Ｅがある。
【００２９】
無効パケット判定手段１２Ａは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する機能を有している。
対象フレーム識別手段１２Ｂは、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別する機能を有している。
無効フレーム判定手段１２Ｃは、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する機能を有している。
【００３０】
等価無効フレーム選択手段１２Ｄは、無効フレーム判定手段１２Ｃで判定された無効フレームについて、１つ以上連続する無効フレームのうち所定の重みフレーム数１８を超える無効フレームを等価無効フレームとして選択する機能を有している。重みフレーム数１８は、人間の知覚特性を示す値であり、連続する無効フレーム数で規定され、予め記憶部に登録されている。
等価無効フレーム率算出手段１２Ｅは、メディア用パケットで送信された全フレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する機能を有している。
【００３１】
ユーザ体感品質推定部１３は、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１５として出力する機能を有している。
【００３２】
推定結果通知部１６は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１５さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１７は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を受信側アプリケーション端末へ通知する機能を有している。
【００３３】
［ユーザ体感品質推定処理］
次に、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。
まず、図２を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定動作について説明する。図２は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
【００３４】
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００３５】
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ  ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１００）。この送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、および送信フレーム数がある。
【００３６】
また、品質情報取得部１１は、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１０１）。この受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号および直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間がある。
【００３７】
次に、品質解析部１２は、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されている各メディア用パケットについて、無効パケットの判定を行う（ステップ１０２）。無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
【００３８】
次に、品質解析部１２は、対象フレーム識別手段１２Ｂにより、送信品質情報を参照して、無効パケット判定手段１２Ａで無効パケットと判定されたメディア用パケットのフレーム種別とフレーム番号を取得し、無効パケットを含む対象フレームを識別する（ステップ１０３）。
【００３９】
続いて、品質解析部１２は、無効フレーム判定手段１２Ｃにより、送信品質情報および受信品質情報を参照して、対象フレーム識別手段１２Ｂで識別された対象フレームのフレーム種別およびフレーム番号と評価対象となるリアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成とに基づき、各フレームのうちメディア用パケットの損失すなわち無効パケットによる影響を受けた復号できない無効フレームを判定する（ステップ１０４）。
【００４０】
例えば、映像メディアでは、基準フレームとの差分データで後続フレームを転送するＭＰＥＧ(Moving Picture Experts Group)などの圧縮符号化方式があり、このようなフレーム構成がＧＯＤ(Group of Picture)構成情報で予め規定されている。このような圧縮符号化方式を用いる場合、差分データが正常に受信されていても基準フレームが無効フレームとなれば後続フレームも復号できず、結果として後続フレームも無効フレームとなる。
【００４１】
この後、品質解析部１２は、等価無効フレーム選択手段１２Ｄにより、各無効フレームに対して重みフレーム数１８で重み付けを行って等価無効フレームを選択する。図３は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の等価フレーム選択処理および等価無効フレーム率算出処理を示す説明図である。
等価無効フレーム選択手段１２Ｄは、まず、各フレームにおける無効フレームのフレーム番号に基づき無効フレームの位置を確認し、１つ以上連続する無効フレームを１つのユニットとして識別する（ステップ１０５）。図３の例では、ユニットＡが１つの無効フレームから構成され、ユニットＢが３つの連続する無効フレームから構成され、ユニットＣが２つの連続する無効フレームから構成されている。
【００４２】
次に、等価無効フレーム選択手段１２Ｄは、各ユニットに含まれる無効フレーム数から重みフレーム数を減算することにより等価無効フレーム数を算出し（ステップ１０６）、得られた等価無効フレーム数が負の場合は（ステップ１０７：ＹＥＳ）、等価無効フレーム数を「０」とする（ステップ１０８）。
【００４３】
この際、重みフレーム数１８は、人間の知覚特性のうちメディアの劣化に対する敏感性を示す値であり、連続する無効フレーム数で規定されている。したがって、上記減算を行うことにより、各ユニットのうちユーザが劣化と認識しうる無効フレーム、すなわち１つ以上連続する無効フレームのうち重みフレーム数１８を超える無効フレームを、等価無効フレームとして選択することができる。
図３において、重みフレーム数１８が「１」の場合、ユニットＡの無効フレーム数が「１」であることからユニットＡの等価無効フレーム数は「０」となる。同様にして、ユニットＢ，Ｃの等価無効フレーム数はそれぞれ「２」，「１」となる。
【００４４】
このようにして、無効等価フレームを選択して各ユニットの等価無効フレーム数を算出した後、品質解析部１２は、等価無効フレーム率算出手段１２Ｅにより、各ユニットの等価無効フレーム数を合計して等価無効フレーム総数を求め（ステップ１０９）、これを送信品質情報で示される全フレームで除算する。これにより、全フレームのうち等価無効フレーム選択手段１２Ｄにより判定された等価無効フレームの割合を等価無効フレーム率として算出する（ステップ１１０）。図３の例では、等価無効フレーム総数が「３」であり、全フレーム数が「１２」であることから、その等価無効フレーム率は「０．２５」となる。
【００４５】
次に、ユーザ体感品質推定部１３は、予め用意して記憶部（図示せず）に格納しておいた無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効フレーム率に対応するユーザ体感品質値を導出し（ステップ１１１）、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１５として記憶部へ出力する。
【００４６】
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。従来、中間パラメータとしてパケット網５上で損失した損失パケットの無効パケット率を用い、この無効パケット率とＭＯＳ値との関係を示す図４のような推定モデルを用いて、無効パケット率からＭＯＳ値を推定していた（特許文献１など参照）。このような推定モデルでは、ある程度の推定精度は保証できるが、メディア用パケットとフレームとが１対１に対応していないことから、高い推定精度が求められる場合には十分ではない。
【００４７】
また、図５は、無効フレーム率とＭＯＳ値との関係を示す推定モデルであり、図４と比較してばらつきが少ないが、人間の知覚特性が考慮されておらず、実際のリアルタイム系アプリケーションでの品質劣化状況から図５により推定した推定結果には、メディアに対するユーザの主観的な品質評価との誤差を含んでいる。
【００４８】
本実施の形態では、人間の知覚特性のうちメディアの劣化に対する敏感性を考慮した等価無効フレーム率を求め、これを中間パラメータとして用いている。図６は、等価無効フレーム率とＭＯＳ値との関係を示す品質推定モデルである。この等価無効フレーム率は、図４の無効パケット率や図５の無効フレーム率を求めた際と同じメディア用パケットの品質情報から導出したものであり、図５の場合と比較して、さらにばらつきが少ないことがわかる。
実際にユーザ体感品質推定部１３で用いる品質推定モデル１４としては、図５の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
【００４９】
具体的には、図６において、例えば入力パラメータの入力最小単位（具体的には、無効フレーム率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、図６の縦軸と平行して最小刻を引き、その範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに無効フレーム率とＭＯＳの関係をテーブルを作成する。ただし、図６のように評価サンプル数が少ない場合、最小刻の中でデータがない区間が存在しうる。その際には、前後にデータが存在する区間を利用して補完を行えばよい。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。
【００５０】
この後、推定結果通知部１６は、ユーザ体感品質推定部１３で推定された品質推定値１５を記憶部から読み込んで、ＲＴＣＰ  ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対して送信し（ステップ１１２）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１５の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１６で通知してもよい。
【００５１】
このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１３により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部１２で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力している。
【００５２】
したがって、ユーザ体感品質を推定する場合、客観的な品質情報として得られるパケット損失率や無効パケット率からユーザ体感品質値を推定する場合と比較して、各メディア用パケットが構成するフレームを考慮してユーザ体感品質値を推定できるとともに、人間の知覚特性のうちメディアの劣化に対する敏感性を考慮したユーザ体感品質値を推定でき、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができる。
【００５３】
［第２の実施の形態］
次に、図７を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図７は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【００５４】
本実施の形態では、前述した第１の実施の形態の無効パケット判定手段１２Ａにおける無効パケット判定処理の具体例について説明する。
無効パケット判定手段１２Ａは、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１２０）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１２１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１２１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する（ステップ１２５）。
【００５５】
一方、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１２１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１２２）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１２２：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する（ステップ１２５）。
【００５６】
一方、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１２２：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１２３：ＹＥＳ）、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１２４：ＹＥＳ）、無効パケットであると判定する（ステップ１２５）。
【００５７】
なお、到着順序が逆転していない場合（ステップ１２４：ＮＯ）や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１２３：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１２６）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１２７：ＹＥＳ）、前述したステップ１２０へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１２７：ＮＯ）、一連の無効パケット判定処理を終了する。
【００５８】
このように、本実施の形態では、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
【００５９】
また、無効パケット判定手段により、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。
【００６０】
［第３の実施の形態］
次に、図８を参照して、本発明の第３の実施の形態にかかるユーザ体感品質推定装置について説明する。図８は、本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【００６１】
本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１２Ｃにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１２Ｃは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１３０）。
【００６２】
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１３１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１３２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。
【００６３】
ここで、無効フレームが含まれている場合（ステップ１３２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１３３）。一方、無効フレームが含まれていない場合（ステップ１３２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１３４）。
【００６４】
図９は、無効フレームの判定処理例である。ここでは、映像メディアが「ＩＢＢ」のＧＯＤ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。
【００６５】
図９に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＤ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
【００６６】
具体的には、フレーム「５，６」の復号にフレーム「４」を用いるがフレーム「４」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１」を用いるがフレーム「１」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。
【００６７】
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１３５：ＹＥＳ）、前述したステップ１３１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１３５：ＮＯ）、一連の無効フレーム判定処理を終了する。
【００６８】
このように、本実施の形態では、無効フレーム判定手段１２Ｃにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
【００６９】
［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
【００７０】
この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの受信品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１７でアプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
【００７１】
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。
【００７２】
また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
【図３】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の等価フレーム選択処理および等価無効フレーム率算出処理を示す説明図である。
【図４】無効パケット率とＭＯＳ値との関係を示す品質推定モデルである。
【図５】無効フレーム率とＭＯＳ値との関係を示す品質推定モデルである。
【図６】等価無効フレーム率とＭＯＳ値との関係を示す品質推定モデルである。
【図７】本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【図８】本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【図９】無効フレームの判定処理例である。
【符号の説明】
【００７４】
１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…品質解析部、１２Ａ…無効パケット判定手段、１２Ｂ…対象フレーム識別手段、１２Ｃ…無効フレーム判定手段、１２Ｄ…等価無効フレーム選択手段、１２Ｅ…等価無効フレーム率算出手段、１３…ユーザ体感品質推定部、１４…品質推定モデル、１５…品質推定値、１６…推定結果通知部、１７…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。
【図１】
0004460523.tif 000002
【図２】
0004460523.tif 000003
【図３】
0004460523.tif 000004
【図４】
0004460523.tif 000005
【図５】
0004460523.tif 000006
【図６】
0004460523.tif 000007
【図７】
0004460523.tif 000008
【図８】
0004460523.tif 000009
【図９】
0004460523.tif 000010