(57)【特許請求の範囲】
【請求項１】
評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定方法において、
擬似ネットワークのネットワークパラメータを調整して、そのネットワーク環境を実ネットワークのネットワーク環境に適合させる手順と、
前記擬似ネットワーク上でアプリケーション品質およびネットワーク品質を求める手順と、
前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手順と、
前記生成された推定モデルと前記実ネットワークのネットワーク品質とに基づいて、前記実ネットワーク上でのアプリケーション品質を推定する手順とを含むことを特徴とするアプリケーション品質の推定方法。
【請求項２】
評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定方法において、
擬似ネットワークのネットワークパラメータを調整して複数種のネットワーク環境を再現する手順と、
前記ネットワーク環境ごとに、前記アプリケーション品質およびネットワーク品質を求める手順と、
前記ネットワーク環境ごとに、前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手順と、
実ネットワークのネットワーク環境に基づいて前記推定モデルのいずれかを選択する手順と、
前記選択された推定モデルと前記実ネットワークのネットワーク品質とに基づいて、前記実ネットワーク上でのアプリケーション品質を推定する手順とを含むことを特徴とするアプリケーション品質の推定方法。
【請求項３】
前記ネットワーク品質を、パケットのジッタ平均、ジッタ標準偏差、パケットロス率、パケット間隔標準偏差およびボトルネック回線利用率のいずれかで代表させることを特徴とする請求項１または２に記載のアプリケーション品質の推定方法。
【請求項４】
前記ネットワーク品質を、前記ネットワーク環境に応じて、パケットのジッタ平均、ジッタ標準偏差、パケットロス率、パケット間隔標準偏差およびボトルネック回線利用率のいずれかで代表させることを特徴とする請求項１または２に記載のアプリケーション品質の推定方法。
【請求項５】
評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定方法において、
擬似ネットワーク上でアプリケーション品質およびネットワーク品質を求める手順と、
前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手順と、
前記生成された推定モデルと前記実ネットワークのネットワーク品質とに基づいて、前記実ネットワーク上でのアプリケーション品質を推定する手順とを含み、
前記ネットワーク品質を、パケットのジッタ標準偏差およびパケット間隔標準偏差のいずれかで代表させることを特徴とするアプリケーション品質の推定方法。
【請求項６】
前記ネットワーク品質に基づいて、前記アプリケーション品質が所定の閾値以上であるか否かを判定するとを特徴とする請求項５に記載のアプリケーション品質の推定方法。
【請求項７】
前記ジッタ標準偏差を、評価対象のアプリケーションが送出するパケットの間隔よりも長い間隔で送出されるテストパケットのジッタに基づいて求めることを特徴とする請求項３ないし６のいずれかに記載のアプリケーション品質の推定方法。
【請求項８】
前記評価対象のアプリケーションが送出するパケットの間隔が２０msecの時に、テストパケットを１sec間隔で送信して、そのジッタ標準偏差を求めることを特徴とする請求項７に記載のアプリケーション品質の推定方法。
【請求項９】
評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定システムにおいて、
擬似ネットワークのネットワークパラメータを調整して、そのネットワーク環境を実ネットワークのネットワーク環境に適合させる手段と、
評価対象のアプリケーションを前記擬似ネットワーク上で実行させてアプリケーション品質およびネットワーク品質を求める手段と、
前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手段と、
前記生成された推定モデルを記憶する手段とを含むことを特徴とするアプリケーション品質の推定システム。
【請求項１０】
実ネットワークのネットワーク品質を求める手段と、
前記推定モデルと前記ネットワーク品質とに基づいてアプリケーション品質を推定する手段とを含むことを特徴とする請求項９に記載のアプリケーション品質の推定システム。
【請求項１１】
評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定システムにおいて、
擬似ネットワークのネットワークパラメータを調整して複数種のネットワーク環境を再現する手段と、
評価対象のアプリケーションを前記擬似ネットワーク上で実行させ、ネットワーク環境ごとにアプリケーション品質およびネットワーク品質を求める手段と、
前記ネットワーク環境ごとに、前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手段と、
前記複数の推定モデルを記憶する手段とを含むことを特徴とするアプリケーション品質の推定システム。
【請求項１２】
前記複数の推定モデルのいずれかを選択する手段と、
実ネットワークのネットワーク品質を求める手段と、
前記選択された推定モデルと前記ネットワーク品質とに基づいてアプリケーション品質を推定する手段とを含むことを特徴とする請求項１１に記載のアプリケーション品質の推定システム。
【請求項１３】
前記ネットワーク品質を、パケットのジッタ平均、ジッタ標準偏差、パケットロス率、パケット間隔標準偏差およびボトルネック回線利用率のいずれかで代表させることを特徴とする請求項９ないし１２のいずれかに記載のアプリケーション品質の推定システム。
【請求項１４】
前記ネットワーク品質を、前記ネットワーク環境に応じて、パケットのジッタ平均、ジッタ標準偏差、パケットロス率、パケット間隔標準偏差およびボトルネック回線利用率のいずれかで代表させることを特徴とする請求項９ないし１２のいずれかに記載のアプリケーション品質の推定システム。
【請求項１５】
評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定システムにおいて、
評価対象のアプリケーションを擬似ネットワーク上で実行させてアプリケーション品質およびネットワーク品質を求める手段と、
前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手段と、
前記生成された推定モデルを記憶する手段とを含み、
前記ネットワーク品質を、パケットのジッタ標準偏差およびパケット間隔標準偏差のいずれかで代表させることを特徴とするアプリケーション品質の推定システム。
【請求項１６】
実ネットワークのネットワーク品質を求める手段と、
前記推定モデルと前記ネットワーク品質とに基づいてアプリケーション品質を推定する手段とを含むことを特徴とする請求項１５に記載のアプリケーション品質の推定システム。
【請求項１７】
前記アプリケーション品質を推定する手段は、前記アプリケーション品質が所定の閾値以上であるか否かを判定するとを特徴とする請求項１５または１６に記載のアプリケーション品質の推定システム。
【請求項１８】
前記ジッタ標準偏差を、評価対象のアプリケーションが送出するパケットの間隔よりも長い間隔で送出されるテストパケットのジッタに基づいて求めることを特徴とする請求項１３ないし１５のいずれかに記載のアプリケーション品質の推定システム。
【請求項１９】
前記評価対象のアプリケーションが送出するパケットの間隔が２０msecの時に、テストパケットを１sec間隔で送信して、そのジッタ標準偏差を求めることを特徴とする請求項１８に記載のアプリケーション品質の推定システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、アプリケーション品質の推定方法およびシステムに係り、特に、リアルタイム系アプリケーションの品質をIPネットワークのネットワーク品質に基づいて推定・評価するのに好適なアプリケーション品質の推定方法およびシステムに関する。
【０００２】
【従来の技術】
IPネットワーク上で提供されるリアルタイム音声サービス（Voice over Internet Protocol: VoIP）の一つとして、IPネットワーク上に音声を重畳することにより、電話サービスを低廉な価格で提供するIP電話サービスが本格的に開始されようとしている。しかしながら、IPネットワークは本質的にベストエフォートであることから、ネットワークに高負荷がかかった場合、音声パケットが許容時間内に到着せずに「ゆらぎ」が生じたり、音声パケットが「欠落」してパケットロスが生じたりする場合がある。音声パケットの「ゆらぎ」や「欠落」は、受信側での音声の途切れや音質劣化の要因となる。このようなことが起きないよう、通信事業者は音声品質を適切に維持監視する必要がある。
【０００３】
音声品質を監視する方法の一つとして、通話中の音声を直接モニタして評価する方法（以下、直接監視法）がある。この直接監視法には、実際に被験者に音声を聞かせてそれを評価する方法（主観評価）と、音声信号を計算機的に処理することにより主観品質を推定する方法（客観評価）とがある。主観評価は実際に人による評価であるために正確な評価が期待できる反面、甚大な手間とコストを必要とする。一方、客観評価はでは人的なコストは削減できるものの、音声信号を実際に評価することに変わりはなく，やはり多くの手間（時間）を要する。それゆえ、通信事業者クラスのサービス提供における音声品質評価監視手法として採用することは難しい。
【０００４】
上記した直接監視法に対して、音声品質の劣化がIPネットワークでのパケット揺らぎやロスに起因することを利用して、IPネットワークの品質から音声品質を推定することによって、間接的に音声品質の監視を実現する手法（以下、間接監視法）が考えられる。IPネットワーク品質の維持監視は、自動的に行えること、通信事業者クラスのネットワークにおいても可能であること（スケーラビリティを有すること）が望まれることから、間接監視法が実現できれば通信事業者にとって非常に有益となる。
【０００５】
間接監視法を採用した技術として、特開２００２−６４５３９号公報には、ネットワーク品質を代表するネットワーク諸量の一つであるパケットロスに着目し、擬似ネットワーク上でパケットロスと音声の品質との関係を調査、推定モデルを得て、これを実ネットワークに適用することにより、パケットロスから音声品質を推定する技術が開示されている。
【０００６】
【発明が解決しようとする課題】
上記した従来技術では、擬似ネットワーク上で求めたパケットロスと音声品質との対応関係に基づいて推定モデルを生成し、これを全ての実ネットワークに適用して音声品質が推定される。しかしながら、本発明者等が行った実験によれば、パケットロスと音声品質との相関に限らず、一般的にネットワーク品質とアプリケーション品質との相関はネットワーク環境に強く依存する場合がある。したがって、ネットワーク環境が変化すると相関の形態が変化し、ネットワーク品質を「ｘ」、アプリケーション品質を「ｙ」で表したとき、ネットワーク環境Ａではｙ＝ｘ＋２で一次回帰できた相関形態が、ネットワーク環境Ｂではｙ＝２ｘ＋４に変わる場合がある。
【０００７】
したがって、試験環境でパケットロス（ネットワーク品質）と音声品質（アプリケーション品質）との相関を求め、これに基づいて推定モデルを生成しても、これが試験環境とは異なる環境の実ネットワークに適用されてしまうと、アプリケーション品質を正確に評価できない。
【０００８】
にもかかわらず、上記した従来技術では、試験環境で求めた相関形態（例えば、ｙ＝ｘ＋２）が、異なる相関形態（例えば、ｙ＝２ｘ＋４）を示す実ネットワークに適用されてしまうので、ネットワーク品質に基づいてアプリケーション品質を正確に評価することができない。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、ネットワーク環境にかかわらずアプリケーションの品質をネットワーク品質に基づいて正確に評価できるアプリケーション品質の推定方法およびシステムを提供することにある。
【００１０】
【課題を解決するための手段】
上記した目的を達成するために、本発明は、評価対象のアプリケーションを擬似ネットワーク上で実行してアプリケーション品質とネットワーク品質との対応関係を求め、その後、実ネットワークのネットワーク品質と前記対応関係とに基づいて、当該アプリケーションの実ネットワーク上での品質を推定するアプリケーション品質の推定方法（およびシステム）において、以下のような手段を講じた点に特徴がある。
【００１１】
(1)擬似ネットワークのネットワークパラメータを調整して、そのネットワーク環境を実ネットワークのネットワーク環境に適合させる手順と、前記擬似ネットワーク上でアプリケーション品質およびネットワーク品質を求める手順と、前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手順と、前記生成された推定モデルと前記実ネットワークのネットワーク品質とに基づいて、前記実ネットワーク上でのアプリケーション品質を推定する手順とを含むことを特徴とする。
【００１２】
(2)擬似ネットワークのネットワークパラメータを調整して複数種のネットワーク環境を再現する手順と、前記ネットワーク環境ごとに、前記アプリケーション品質およびネットワーク品質を求める手順と、前記ネットワーク環境ごとに、前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手順と、実ネットワークのネットワーク環境に基づいて前記推定モデルのいずれかを選択する手順と、前記選択された推定モデルと前記実ネットワークのネットワーク品質とに基づいて、前記実ネットワーク上でのアプリケーション品質を推定する手順とを含むことを特徴とする。
【００１３】
(3)擬似ネットワーク上でアプリケーション品質およびネットワーク品質を求める手順と、前記アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルを生成する手順と、前記生成された推定モデルと前記実ネットワークのネットワーク品質とに基づいて、前記実ネットワーク上でのアプリケーション品質を推定する手順とを含み、前記ネットワーク品質を、パケットのジッタ標準偏差およびパケット間隔標準偏差のいずれかで代表させることを特徴とする。
【００１４】
ここで、実ネットワーク上で評価対象のアプリケーションを実行した際のアプリケーション品質とネットワーク品質との対応関係は、実ネットワークのネットワーク環境に強く依存する。したがって、擬似ネットワーク上で評価対象のアプリケーションを実行して得られた推定モデルを用いて実ネットワーク上でアプリケーション品質を推定しようとしても、実ネットワークのネットワーク環境が擬似ネットワークのネットワーク環境と異なれば、アプリケーション品質とネットワーク品質との相関形態が変化するので、ネットワーク品質を正確に推定することは難しい。
【００１５】
これに対して、上記した特徴(1)によれば、アプリケーション品質とネットワーク品質との対応関係が、実ネットワークに合わせてネットワークパラメータが調整された擬似ネットワーク上で求められ、この対応関係に基づいて推定モデルが生成される。実ネットワークを模した擬似ネットワークを用いて生成された推定モデルは、実ネットワーク上でもアプリケーション品質とネットワーク品質との対応関係を正確に代表できるので、この推定モデルを用いれば、実ネットワーク上でのアプリケーション品質を、実ネットワークで求められたネットワーク品質に基づいて正確に推定することが可能になる。
【００１６】
また、上記した特徴(2)によれば、アプリケーション品質とネットワーク品質との対応関係が、擬似ネットワーク上でネットワーク環境を変化させながら複数組求められ、アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルがネットワーク環境ごとに生成される。したがって、実ネットワークのネットワーク環境に即した推定モデルを選択的に用いることにより、実ネットワークのネットワーク環境にかかわらず、アプリケーション品質を、実ネットワークで求められたネットワーク品質に基づいて正確に推定することが可能になる。
【００１７】
さらに、上記した特徴(3)によれば、パケットのジッタ標準偏差あるいはパケット間隔標準偏差でネットワーク品質を代表させれば、これが高い値（高品質）を示したときには、ネットワーク環境にかかわらずアプリケーション品質も高い値を示すので、アプリケーションが高品質であるか否かを、ネットワーク品質に基づいて、多数の推定モデルを用意することなく求められるようになる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の好ましい実施の形態について詳細に説明する。本発明の発明者等は、図４に示した擬似ネットワークシステム（テストベッド）上で、そのネットワークパラメータを調整して実ネットワークのネットワーク環境を再現し、ネットワーク環境ごとにネットワーク品質とアプリケーション品質との相関を調べた。
【００１９】
そして、擬似ネットワーク上で評価対象のアプリケーションを実行した際のネットワーク品質とアプリケーション品質との相関がネットワーク環境に強く依存すること、そして、実ネットワークのネットワーク環境が擬似ネットワークのネットワーク環境と異なれば、ネットワーク品質とアプリケーション品質との対応関係も変化するので、擬似ネットワーク上で評価対象のアプリケーションを実行して得られた推定モデルを実ネットワークに適用しても、アプリケーション品質をネットワーク品質に基づいて正確に推定することが難しいこと、とを新たに知見した。
【００２０】
図４において、送信側端末１１および受信側端末２１は、例えばパーソナルコンピュータであり、ハブ１５、ルータ１６、ボトルネック模擬装置３１、ルータ２６およびハブ２５を含む擬似ネットワークを介して相互に接続されている。前記各端末１１，２１は、評価対象のアプリケーションとして、例えばVoIPに代表されるリアルタイム系アプリケーションを実行して音声信号パケットを送受する。本実施形態では、６４分間に１０．５６秒間の音声信号が１６秒周期で２４０回だけ送出される。
【００２１】
送信側および受信側の各背景負荷発生装置１２，２２は、前記擬似ネットワーク上に仮想的なネットワーク負荷を発生させる。送信側および受信側の各パケット監視装置１３，２３は、送信側端末１１から送信されるパケット、および受信側端末２１で受信されるパケットを監視する。送信側および受信側の各音声監視装置１４，２４は、送信側端末１１から送信される音声信号パケット、および受信側端末１２で受信される音声信号パケットをデコードして音声信号に変換する。ボトルネック模擬装置３１は、擬似ネットワーク上に仮想的なボトルネックを発生させる。
【００２２】
本実施形態では、上記した擬似ネットワーク上で、ボトルネック模擬装置３１，背景負荷発生装置１２，２２、ルータ１６，２６および各端末１１，２１を適宜に制御することにより６つのネットワーク環境を再現した。
【００２３】
図５は、６つのネットワーク環境（ケース１〜６）における各ネットワークパラメータの設定値を一覧表示した図であり、本実施形態では、ボトルネックによる伝送遅延Ｄ[msec]、ボトルネック両端のバッファサイズＢ[msec]および背景負荷発生間隔Δ[sec]を異ならせて６つのネットワーク環境を再現し、ネットワーク環境ごとに、４種類のボトルネック帯域速度Ｃ[０．５Mpbs，１．５Mpbs，４．５Mpbs，７．０Mpbs]に関してネットワーク品質とアプリケーション品質との関係を調べた。
【００２４】
なお、前記背景負荷発生間隔Δは、背景負荷発生モジュール１台あたりの値であり、本実施形態では、各背景負荷発生装置１２，２２が５つのモジュールを集約して構成されるので、擬似ネットワーク上での実際の背景負荷発生間隔は、図５に示した値（５，２０）の５分の１（１，４）となる。
【００２５】
図７〜図３６は、上記した各ネットワーク環境（ケース１〜６）ごとに、ネットワーク品質とアプリケーション品質との対応関係を前記ボトルネック帯域速度Ｃごとにプロットし、その回帰曲線を求めた図である。
【００２６】
本実施形態では、ネットワーク品質を代表するネットワーク諸量としてジッタ平均（Ｊav）、ジッタ標準偏差（Ｊsd）、パケットロス率（Ｒloss）、パケット間隔標準偏差（Ｉsd）およびボトルネック回線利用率（Ｕ）に着目し、これらで代表されるネットワーク品質とアプリケーション品質との関係に基づいて推定モデルを生成した。なお、本実施形態ではアプリケーション品質として、その音声品質のうちの客観品質を代表するPESQ（Perceptual Evaluation of Speech Quality）を採用した。
【００２７】
さらに具体的に言えば、図７〜１２図はそれぞれ、ケース１〜６のネットワーク環境において、アプリケーション品質（PESQ）とジッタ平均（Ｊav）との対応関係を帯域速度別にプロットし、その回帰曲線（一次回帰）を示した図である。図１３〜図１８はそれぞれ、ケース１〜６のネットワーク環境において、アプリケーション品質（PESQ）とジッタ標準偏差（Ｊsd）との対応関係を帯域速度別にプロットし、その回帰曲線を示した図である。
【００２８】
図１９〜図２４はそれぞれ、ケース１〜６のネットワーク環境において、アプリケーション品質（PESQ）とパケットロス率（Ｒloss）との対応関係を帯域速度別にプロットし、その回帰曲線を示した図である。図２５〜図３０はそれぞれ、ケース１〜６のネットワーク環境において、アプリケーション品質（PESQ）とパケット間隔標準偏差（Ｉsd）との対応関係を帯域速度別にプロットし、その回帰曲線を示した図である。図３１〜図３６はそれぞれ、ケース１〜６のネットワーク環境において、アプリケーション品質（PESQ）とボトルネック回線利用率（Ｕ）との対応関係を帯域速度別にプロットし、その回帰曲線を示した図である。
【００２９】
なお、ジッタの標準偏差（Ｊsd）を正確に求めるためには、評価対象のアプリケーションが所定の間隔で送信するパケットを全て検知して、そのジッタを計測することが望ましい。したがって、評価対象のアプリケーションがVoIPであれば、２０msec間隔で送信される全てのパケットを取り込む必要がある。
【００３０】
しかしながら、本発明等の実験結果によれば、テストパケットを、その５０倍の１sec間隔で送信し、これを検知してジッタの標準偏差を求めても、本来の２０msec間隔で送信し、これを検知して求めたジッタ標準偏差と高い相関を示すことが確認されている。
【００３１】
図３７は、パケットを１００msec間隔［同図(a) ］、１sec間隔［同図(b) ］、２sec間隔［同図(c) ］および４sec間隔［同図(d) ］で送信し、これを検知して求めたジッタ標準偏差（Ｊsd）と、本来の２０msec間隔で送信し、これを検知して求めたジッタ標準偏差との関係を示した図であり、１sec間隔であっても相関計数値が高い値（＝０．９３６）を示すことが確認された。
【００３２】
そこで、本実施形態ではテストパケットを１sec間隔で送信し、これを検知して求めたジッタ標準偏差（Ｊsd）でネットワーク品質を代表させることにより、実ネットワークに大量のパケットを流すことなくジッタ標準偏差（Ｊsd）を正確に求められるようにしている。
【００３３】
図６は、前記６つのネットワーク環境（ケース１〜６）において、ボトルネック伝搬速度Ｃごとに求めた、アプリケーション品質と５つのネットワーク品質（Ｊav、Ｊsd、Ｒloss、Ｉsd、Ｕ）との相関係数およびその平均値を一覧表示した図である。
【００３４】
図７〜図３６を参照すれば、アプリケーション品質とネットワーク品質との相関関係（プロットの分布）がネットワーク環境に依存し、両者の相関形態（一次回帰）がネットワーク環境に大きく変化することが判る。したがって、ネットワーク品質に基づいてアプリケーション品質を推定するならば、その推定モデルはネットワーク環境ごとに用意することが望ましい。
【００３５】
また、図６の一覧表を参照すれば、あるネットワーク環境においてアプリケーション品質と強い相関を示したネットワーク品質（ネットワーク諸量）が、他のネットワーク環境でも常に強い相関を示すとは限らず、アプリケーション品質と強い相関を示すネットワーク諸量が、ネットワーク環境に応じて入れ替わっていることが判る。したがって、推定モデルをネットワーク環境ごとに用意する場合でも、常に同じネットワーク諸量とアプリケーション品質との関係を求めるのではなく、例えばネットワーク環境Ａではネットワーク諸量としてジッタ標準偏差（Ｊsd）を採用してアプリケーション品質とネットワーク品質との関係を求め、ネットワーク環境Ｂではネットワーク諸量としてパケット間隔標準偏差（Ｉsd）を採用してアプリケーション品質とネットワーク品質との関係を求めるといったように、ネットワーク環境に応じて、ネットワーク品質を代表するネットワーク諸量を適宜に選択することが望ましい。
【００３６】
さらに、図６の一覧表を参照すれば、従来技術においてネットワーク品質を代表するパケットロスＲlossとアプリケーション品質との相関係数が平均で「０．４４３」に過ぎず、その他のネットワーク品質とアプリケーション品質との相関係数の平均値「０．７３３（ジッタ平均）」、「０．５２６（ジッタ標準偏差）」、「０．７７１（パケット間隔標準偏差）」、「０．７５１（ボトルネック回線利用率）」に較べて有意に劣っていることが判る。したがって、ネットワーク品質を代表させるネットワーク諸量としては、パケットロスＲlossよりもジッタ平均、ジッタ標準偏差、パケット間隔標準偏差あるいはボトルネック回線利用率を採用することが望ましい。
【００３７】
このような実験結果から、本発明ではネットワーク品質とアプリケーション品質との対応関係をネットワーク環境ごとに求め、実ネットワークのネットワーク環境に近い擬似ネットワーク環境で得られた推定モデルを利用して、実ネットワーク上でアプリケーションの品質を推定するようにしている。
【００３８】
図１は、本発明に係るアプリケーション品質の推定システムの主要部の構成を示したブロック図である。
【００３９】
本実施形態のアプリケーション品質の推定システムは、「擬似ネットワーク部」と「アプリケーション評価部」とを主要な構成とする。
【００４０】
前記擬似ネットワーク部は、実ネットワークのネットワーク環境を模した擬似ネットワーク（テストベッド）上で評価対象のアプリケーションを実行して、ネットワーク品質とアプリケーション品質との対応関係を求めると共に、この対応関係に基づいて、ネットワーク品質からアプリケーション品質を推定するための推定モデルを生成する。前記アプリケーション評価部は、前記擬似ネットワークを用いて生成された推定モデルを利用して、実ネットワーク上で、そのネットワーク品質に基づいてアプリケーション品質を評価する。
【００４１】
図１の擬似ネットワーク部において、送信側端末１１および受信側端末２１は、例えばパーソナルコンピュータであり、ハブ１５，ルータ１６、ボトルネック模擬装置３１、ルータ２６およびハブ２５を含む擬似ネットワークを介して相互に接続されている。前記各端末１１，１２は、評価対象のアプリケーションとして、例えばVoIPに代表されるリアルタイム系アプリケーションを実行して音声信号パケットを送受する。
【００４２】
送信側および受信側の各背景負荷発生装置１２，２２は、前記擬似ネットワーク上に仮想的なネットワーク負荷を発生させる。送信側および受信側の各パケット監視装置１３，２３は、送信側端末１１から送信されるパケット、受信側端末２１で受信されるパケットを監視する。送信側および受信側の各音声監視装置１４，２４は、送信側端末１１から送信される音声信号パケット、受信側端末１２で受信される音声信号パケットをデコードして音声信号に変換する。
【００４３】
ボトルネック模擬装置３１は、擬似ネットワーク上に仮想的なボトルネックを発生させる。ネットワーク環境制御装置３２は、前記送信側および受信側の各背景負荷発生装置１２，２２から発生させるネットワーク負荷、ルータ１６，１７のバッファ容量および前記ボトルネック模擬装置３１に発生させるボトルネック帯域等のネットワークパラメータを、実ネットワークのネットワーク環境に合わせて制御することにより、擬似ネットワーク上で実ネットワークのネットワーク環境を再現する。
【００４４】
ネットワーク評価装置３３は、前記送信側および受信側の各パケット監視装置１３，２３による監視結果に基づいてネットワーク諸量を計算する。評価対象のアプリケーションがVoIPであれば、以下のネットワーク諸量の少なくとも一つがネットワーク品質として求められる。
・パケット間隔標準偏差
・パケット間隔９５%値
・パケット間隔最大値
・ジッタ平均
・ジッタ標準偏差
・ジッタ９５%値
・ジッタ最大値
・パケットロス率
・パケット連続ロス数
・ボトルネック回線利用率
【００４５】
アプリケーション評価装置３４は、前記送信側および受信側の各音声監視装置１４，２４で監視された音声信号を比較して、アプリケーションに関する客観品質を求める。この客観品質（アプリケーション品質）は、被験者による主観評価により求めたり、あるいはPESQとして求めることができる。推定モデル生成部３５は、前記ネットワーク品質とアプリケーション品質との対応関係に基づいてマッピングテーブルを作成し、このマッピングテーブルから回帰曲線を求め、これを推定モデルとして推定モデル記憶部４１へ記憶する。
【００４６】
次いで、図１のアプリケーション評価部において、送信側のパケット監視装置５２は、ハブ５３およびルータ５４を介してインターネットやイントラネットなどの実ネットワーク７１に接続される。同様に、受信側のパケット監視装置６２も、ハブ６３およびルータ６４を介して実ネットワーク７１に接続される。ネットワーク評価装置４４は、前記送信側および受信側の各パケット監視装置５２，６２で監視されたパケットのパケット間隔やジッタ等を比較して、実ネットワーク７１のネットワーク品質を求める。アプリケーション評価装置４３は、前記生成された推定モデルに前記ネットワーク評価装置４４で求められたネットワーク品質を適用して、実ネットワーク７１上での前記アプリケーションの品質を推定する。
【００４７】
このように、本実施形態によれば、アプリケーション品質とネットワーク品質との対応関係が、実ネットワークに合わせてネットワークパラメータが調整された擬似ネットワーク上で求められ、この対応関係に基づいて推定モデルが生成される。そして、実ネットワークを模した擬似ネットワークを用いて生成された推定モデルは、実ネットワーク上でもアプリケーション品質とネットワーク品質との対応関係を正確に代表できるので、この推定モデルを用いることにより、実ネットワーク上でのアプリケーション品質を、実ネットワークで求められたネットワーク品質に基づいて正確に推定することが可能になる。
【００４８】
次いで、VoIPを利用したIP電話サービスの主観的評価に本発明を適用した場合の動作を説明する。IP電話サービスを提供するネットワークは、図３に示したように、通常はコアネットワークと、これにユーザを引き込むためのアクセスネットワークとで構成される。前記アクセスネットワークはさらに、各ユーザに接続されるアクセス回線と、複数のアクセス回線を集約する集線回線とで構成される。
【００４９】
ネットワークが適切に運用されていれば、データトラヒックを転送するトランスポート層のプロトコルであるTCPの特性と、ユーザはデータを主にダウンロードするという使用形態とから、ネットワーク環境は以下のように想定される。
【００５０】
・コアネットワークにはボトルネックが存在しない。
・ボトルネックは下り回線に存在する。
・ボトルネックは集線回線部分またはアクセス回線部分に発生する。
【００５１】
以上により、ネットワーク内のユーザ（IP）／ユーザ（IP）間、又はユーザ（IP）／固定（PSTN）間の経路には、概ね単一（アクセス回線又は集線回線）ないしは２つ（アクセス回線と集線回線）のボトルネックが存在することになる。但し、ボトルネックが二つ存在する場合であっても、当該経路にとってより厳しいボトルネック部分の特性が支配的となるので、結論として、擬似ネットワークにおいて下記のようにネットワークパラメータを選定することにより、実ネットワークに近いネットワーク環境を再現できる．
【００５２】
・ボトルネック回線の遅延Ｄを、典型的なユーザ間の遅延時間を想定して定める。
・ボトルネック回線の速度Ｃを典型的なアクセス回線／集線回線の速度として定める。
・ボトルネック回線を挟むルータのバッファサイズＢをアクセス回線／集線回線の両端のルータのバッファサイズを参照して設定する。
・パケット間隔を、ユーザのネットワーク利用形態を踏まえて設定する。
【００５３】
以上のようにして、実ネットワークと擬似ネットワークとの対応関係が明らかになったならば、前記ネットワーク環境制御装置３２により各ネットワークパラメータを調整して、実ネットワークの環境に近い擬似ネットワーク環境を再現する。そして、この擬似ネットワーク上の送信側端末１１／受信側端末２１間でアプリケーションを実行しながら、前記ネットワーク評価装置３３およびアプリケーション評価装置３４で、それぞれネットワーク品質およびアプリケーション品質を求め、前記推定モデル生成部３５において推定モデルを生成する。
【００５４】
その後、実ネットワークのネットワーク品質を前記ネットワーク評価装置４４で求め、アプリケーション評価装置４３が、前記推定モデルと前記ネットワーク品質とに基づいてアプリケーション品質を推定する。
【００５５】
なお、上記した第１実施形態では、実ネットワークの既知のネットワーク環境を擬似ネットワーク上で再現し、当該擬似ネットワークを利用して生成された推定モデルを実ネットワークに適用するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、次に説明する第２実施形態のように、上記とは逆に、複数の典型的なネットワーク環境を擬似ネットワーク上で再現して各ネットワーク環境ごとに推定モデルＡ，Ｂ，Ｃ…を予め生成しておき、その後、実ネットワークのネットワーク環境に近い擬似ネットワーク環境で生成された推定モデルを選択するようにしても良い。
【００５６】
図２は、本発明に係るアプリケーション品質の推定システムの第２実施形態の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００５７】
推定モデル生成部３５は、ネットワーク環境Ａ，Ｂ，Ｃ…ごとに求められたネットワーク品質とアプリケーション品質との対応関係に基づいてマッピングテーブルを作成し、このマッピングテーブルから回帰曲線（一次回帰）をネットワーク環境Ａ，Ｂ，Ｃ…ごとに求める。この回帰曲線は、ネットワーク品質に基づいてアプリケーション品質を求める推定モデルとして、推定モデル記憶部４１に記憶される。
【００５８】
推定モデル選択部４２は、実ネットワーク７１のネットワーク環境に基づいて、前記推定モデル記憶部４１から所定の推定モデルを選択する。この実ネットワーク環境は、実ネットワーク環境を実測して求めても良いし、実測が難しいようで有れば、他のパラメータから推定するようにしても良い。アプリケーション評価装置４３は、前記選択された推定モデルに前記ネットワーク評価装置４４で求められたネットワーク品質を適用して、実ネットワーク７１上での前記アプリケーションの品質を推定する。
【００５９】
なお、厳密には実ネットワーク７１のあらゆるネットワーク環境に応じて多数の推定モデルを用意することは困難なので、実ネットワーク環境と擬似ネットワーク環境とが一致しない場合には、実ネットワーク環境に近い複数の擬似ネットワーク環境で生成された複数の推定モデルから、補間処理等の適宜の処理によって実ネットワーク環境に対応した推定モデルを新たに生成しても良い。
【００６０】
このように、本実施形態ではアプリケーション品質とネットワーク品質との対応関係が、擬似ネットワーク上でネットワーク環境を変化させながら予め複数組求められ、アプリケーション品質とネットワーク品質との対応関係を代表する推定モデルがネットワーク環境ごとに生成される。したがって、実ネットワークのネットワーク環境に即した推定モデルを選択的に用いることにより、ネットワーク上でのアプリケーション品質を、そのネットワーク環境にかかわらずネットワーク品質に基づいて正確に推定することが可能になる。
【００６１】
ところで、通信事業者が音声サービスを提供する際の音声品質管理に着目した場合、必ずしも音声品質を定量的に把握する必要はなく、音声品質がある閾値を基準にして、これよりも高いことを確認できれば十分な場合もある。そして、このような観点からアプリケーション品質とネットワーク品質との関係を見直すと、アプリケーション品質を所定の閾値に対する高低として評価するのであれば、ネットワーク品質を代表させるネットワーク諸量の選択のいかんよっては、ネットワーク環境にかかわらず共通の推定モデルを用いてアプリケーション品質をネットワーク品質に基づいて正確に評価できることが判った。
【００６２】
図３８は、前記図７〜図３６のアプリケーション品質を、ネットワーク環境を無視して、ネットワーク諸量ごとにプロットした分布図であり、前記と同一の符号は同一または同等部分を表している。
【００６３】
ここで、各ネットワーク諸量が０またはその近傍の極めて低い値を示す高品質領域に着目すると、ジッタ平均（Ｊav）［同図(a) ］、パケットロス率（Ｒloss）［同図(c) ］およびボトルネック回線利用率（Ｕ）［同図(e) ］に関しては、アプリケーション品質が広範囲に分布してしまう。
【００６４】
これに対して、ジッタ標準偏差（Ｊsd）［同図(b) ］およびパケット間隔標準偏差（Ｉsd）［同図(d) ］に関しては、ネットワーク品質の高品質領域がアプリケーション品質の高い領域に集中しており、アプリケーション品質とジッタ標準偏差（Ｊsd）、あるいはアプリケーション品質とパケット間隔標準偏差（Ｉsd）とが、ネットワーク環境に関わらず高い相関を示すことが判る。
【００６５】
このような実験結果から、アプリケーション品質が閾値以上であるか否かを確認する目的であれば、ネットワーク品質を代表するネットワーク諸量としてジッタ標準偏差（Ｊsd）またはパケット間隔標準偏差（Ｉsd）を採用すれば、ネットワーク環境を無視して推定モデルを生成しても、ネットワーク品質に基づいてアプリケーション品質を高い確度で推定できることが判る。
【図面の簡単な説明】
【図１】  本発明に係るアプリケーション品質の推定システムの第１実施形態の主要部の構成を示したブロック図である。
【図２】  本発明に係るアプリケーション品質の推定システムの第２実施形態の主要部の構成を示したブロック図である。
【図３】  IP電話サービスのネットワーク構成を模式的に示したブロック図である。
【図４】  擬似ネットワークの主要部のブロック図である。
【図５】  擬似的に異ならせた６つのネットワーク環境（ケース１〜６）における各ネットワークパラメータの設定値を一覧表示した図である。
【図６】  ６つのネットワーク環境（ケース１〜６）において、ボトルネック帯域速度ごとに求めたアプリケーション品質と５つのネットワーク品質（Ｊav、Ｊsd、Ｒloss、Ｉsd、Ｕ）との相関係数を一覧表示した図である。
【図７】  ケース１のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊav：ジッタ平均）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図８】  ケース２のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊav）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図９】  ケース３のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊav）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１０】  ケース４のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊav）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１１】  ケース５のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊav）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１２】  ケース６のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊav）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１３】  ケース１のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊsd：ジッタ標準偏差）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１４】  ケース２のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１５】  ケース３のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１６】  ケース４のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１７】  ケース５のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１８】  ケース６のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｊsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図１９】  ケース１のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｒloss：パケットロス率）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２０】  ケース２のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｒloss）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２１】  ケース３のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｒloss）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２２】  ケース４のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｒloss）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２３】  ケース５のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｒloss）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２４】  ケース６のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｒloss）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２５】  ケース１のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｉsd：パケット間隔標準偏差）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２６】  ケース２のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｉsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２７】  ケース３のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｉsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２８】  ケース４のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｉsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図２９】  ケース５のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｉsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３０】  ケース６のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｉsd）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３１】  ケース１のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｕ）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３２】  ケース２のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｕ）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３３】  ケース３のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｕ）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３４】  ケース４のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｕ）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３５】  ケース５のネットワーク環境において、アプリケーション品質（PESQ）とネットワーク品質（Ｕ）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３６】  ケース６のネットワーク環境において、アプリケーション品質とネットワーク品質（Ｕ）との対応関係をボトルネック帯域速度ごとにプロットした図である。
【図３７】  パケットの送信間隔とジッタ標準偏差との関係を示した図である。
【図３８】  アプリケーション品質とネットワーク品質との対応関係を、ネットワーク品質としての各種のネットワーク諸量ごとにプロットした図（その１）である。
【符号の説明】
１１…送信側端末，１２，２２…背景負荷発生装置，１３，２３…パケット監視装置，１４，２４…音声監視装置，１５、２５…ハブ，１６、２６…ルータ，２１…受信側端末，３１…ボトルネック模擬装置，３２…ネットワーク環境制御装置，３３…客観的評価装置，３４…主観的評価装置，３５…推定モデル生成部，５１…送信側ユーザ端末，６１…受信側ユーザ端末，７１…実ネットワーク
【図１】
0003644598.tif 000002
【図２】
0003644598.tif 000003
【図３】
0003644598.tif 000004
【図４】
0003644598.tif 000005
【図５】
0003644598.tif 000006
【図６】
0003644598.tif 000007
【図７】
0003644598.tif 000008
【図８】
0003644598.tif 000009
【図９】
0003644598.tif 000010
【図１０】
0003644598.tif 000011
【図１１】
0003644598.tif 000012
【図１２】
0003644598.tif 000013
【図１３】
0003644598.tif 000014
【図１４】
0003644598.tif 000015
【図１５】
0003644598.tif 000016
【図１６】
0003644598.tif 000017
【図１７】
0003644598.tif 000018
【図１８】
0003644598.tif 000019
【図１９】
0003644598.tif 000020
【図２０】
0003644598.tif 000021
【図２１】
0003644598.tif 000022
【図２２】
0003644598.tif 000023
【図２３】
0003644598.tif 000024
【図２４】
0003644598.tif 000025
【図２５】
0003644598.tif 000026
【図２６】
0003644598.tif 000027
【図２７】
0003644598.tif 000028
【図２８】
0003644598.tif 000029
【図２９】
0003644598.tif 000030
【図３０】
0003644598.tif 000031
【図３１】
0003644598.tif 000032
【図３２】
0003644598.tif 000033
【図３３】
0003644598.tif 000034
【図３４】
0003644598.tif 000035
【図３５】
0003644598.tif 000036
【図３６】
0003644598.tif 000037
【図３７】
0003644598.tif 000038
【図３８】
0003644598.tif 000039