(57)【要約】【課題】ネットワーク品質指標値を用いたＱｏＥの推定精度を評価すること。【解決手段】過去の所定の時間の間の複数のネットワーク品質指標値を取得する取得手順と、前記取得手順により取得された複数のネットワーク品質指標値を用いて、前記複数のネットワーク品質指標値の時間的な変化を表す評価値を算出する評価値算出手順と、前記評価値算出手順により算出された評価値と、所定の閾値との大小関係を比較判定する判定手順と、前記判定手順による判定結果に応じて、前記ネットワーク品質指標値から所定のＱｏＥを推定する場合における推定精度の良否を示す情報を出力する出力手順と、をコンピュータが実行することを特徴とする。【選択図】図１
2020028082.tif 000002
【特許請求の範囲】
【請求項１】
過去の所定の時間の間の複数のネットワーク品質指標値を取得する取得手順と、
前記取得手順により取得された複数のネットワーク品質指標値を用いて、前記複数のネットワーク品質指標値の時間的な変化を表す評価値を算出する評価値算出手順と、
前記評価値算出手順により算出された評価値と、所定の閾値との大小関係を比較判定する判定手順と、
前記判定手順による判定結果に応じて、前記ネットワーク品質指標値から所定のＱｏＥを推定する場合における推定精度の良否を示す情報を出力する出力手順と、
をコンピュータが実行することを特徴とする評価方法。
【請求項２】
前記評価値算出手順は、
前記複数のネットワーク品質指標値と、予め設定された時間的な遅れを表すパラメータとを用いて、前記複数のネットワーク品質指標値の自己相関、共分散又は相関係数のいずれかを計算し、該計算結果を前記評価値として算出する、ことを特徴とする請求項１に記載の評価方法。
【請求項３】
前記評価値算出手順は、
前記複数のネットワーク品質指標値の各々を標準化し、該標準化後の複数のネットワーク品質指標値と、前記パラメータとを用いて、前記標準化後の複数のネットワーク品質指標値の自己相関、共分散又は相関係数のいずれかを計算し、該計算結果を前記評価値として算出する、ことを特徴とする請求項２に記載の評価方法。
【請求項４】
前記判定手順は、
前記評価値と、所定の複数の閾値の各々との大小関係を比較判定し、
前記出力手順は、
前記複数の閾値のうち、前記評価値未満の最大の閾値に対応する情報を、前記推定精度の良否を示す情報として出力する、ことを特徴とする請求項１乃至３の何れか一項に記載の評価方法。
【請求項５】
過去の所定の時間の間の複数のネットワーク品質指標値を取得する取得手段と、
前記取得手段により取得された複数のネットワーク品質指標値を用いて、前記複数のネットワーク品質指標値の時間的な変化を表す評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された評価値と、所定の閾値との大小関係を比較判定する判定手段と、
前記判定手段による判定結果に応じて、前記ネットワーク品質指標値から所定のＱｏＥを推定する場合における推定精度の良否を示す情報を出力する出力手段と、
を有することを特徴とする評価装置。
【請求項６】
コンピュータに、請求項１乃至４の何れか一項に記載の評価方法における各手順を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価方法、評価装置及びプログラムに関する。
【背景技術】
【０００２】
通信サービスに対する評価指標の１つとして、ＱｏＥ（Quality of Experience）と呼ばれる評価指標が知られている（例えば、非特許文献１）。ＱｏＥとは、ユーザが体感したサービス品質に対する評価指標のことであり、ユーザ体感品質とも称される。一般に、通信サービスの品質管理上、通信サービスの提供者等は、ＱｏＥを評価及び把握することが求められる。
【０００３】
また、ＱｏＥを簡易に評価及び把握する手法として、例えばスループットやＲＴＴ（Round Trip Time）等のネットワーク品質を表す指標値（以降、「ネットワーク品質指標値」と表す。）からＱｏＥを推定する手法が知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】岡本 淳, 久保 亮吾, 津川 翔, 平栗 健史, 松田 崇弘, "ネットワーク品質評価・設計・制御技術", 電子情報通信学会誌, p.831-836, 2017年8月.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ネットワーク品質指標値からＱｏＥを推定する手法では、その推定精度が大きく異なる場合がある。このため、ネットワーク品質指標値から適切なＱｏＥを推定することができない場合がある。
【０００６】
例えば、ＱｏＥとして「ＷｅｂブラウザにおけるＷｅｂページの表示待ち時間」、ネットワーク品質指標値として「スループット」を用いた場合、通常、スループットが低くなるとＷｅｂページの表示待ち時間が増加し、スループットが高くなるとＷｅｂページの表示待ち時間が減少する。これに対して、推定精度が低い場合、例えば、スループットが高いにも関わらず、Ｗｅｂページの表示待ち時間も長いといった事態も生じ得る。
【０００７】
本発明の実施の形態は、ネットワーク品質指標値を用いたＱｏＥの推定精度を評価することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の実施の形態は、過去の所定の時間の間の複数のネットワーク品質指標値を取得する取得手順と、前記取得手順により取得された複数のネットワーク品質指標値を用いて、前記複数のネットワーク品質指標値の時間的な変化を表す評価値を算出する評価値算出手順と、前記評価値算出手順により算出された評価値と、所定の閾値との大小関係を比較判定する判定手順と、前記判定手順による判定結果に応じて、前記ネットワーク品質指標値から所定のＱｏＥを推定する場合における推定精度の良否を示す情報を出力する出力手順と、をコンピュータが実行することを特徴とする。
【発明の効果】
【０００９】
ネットワーク品質指標値を用いたＱｏＥの推定精度を評価することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態における評価装置の機能構成の一例を示す図である。
【図２】本発明の実施の形態における評価処理の一例を示すフローチャートである。
【図３】本発明の実施の形態における評価装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について詳細に説明する。本発明の実施の形態では、ネットワーク品質指標値を用いてＱｏＥを推定する場合において、その推定精度を評価することができる評価装置１０について説明する。なお、ネットワーク品質指標値としては、例えば、スループットやＲＴＴ等が挙げられる。また、ＱｏＥとしては、例えば、ＷｅｂブラウザにおけるＷｅｂページの表示待ち時間、ＩＰ（Internet Protocol）電話におけるＭＯＳ（Mean Opinion Score）値、映像における滑らかさを表す値等が挙げられる。
【００１２】
ここで、ネットワーク品質指標値からＱｏＥを推定する場合において、推定精度が低下する主たる要因の１つに、「ネットワーク品質が不安定」であることが挙げられる。ネットワーク品質が不安定であるとは、例えばスループットやＲＴＴ等のネットワーク品質指標値が短時間で大きく変化する場合のことである。そこで、本発明の実施の形態における評価装置１０は、ネットワーク品質指標値の時間変化を用いて、推定精度の良否を判定する。
【００１３】
＜評価装置１０の機能構成＞
まず、本発明の実施の形態における評価装置１０の機能構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における評価装置１０の機能構成の一例を示す図である。
【００１４】
図１に示すように、本発明の実施の形態における評価装置１０は、入力部１０１と、評価値算出部１０２と、判定部１０３と、出力部１０４とを有する。これら各機能部は、評価装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。
【００１５】
また、本発明の実施の形態における評価装置１０は、記憶部１１０を有する。当該記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）や補助記憶装置等の記憶装置を用いて実現可能である。なお、当該記憶部１１０は、評価装置１０と通信ネットワークを介して接続される記憶装置等を用いて実現されていても良い。
【００１６】
記憶部１１０には、ネットワーク品質指標値の時系列データが記憶されている。以降では、ネットワーク品質指標値の時系列データをＱ＝｛Ｑｉ｝として、インデックスｉにおけるネットワーク品質指標値を「ネットワーク品質指標値Ｑｉ」と表す。ここで、記憶部１１０には、ネットワーク品質指標値からＱｏＥを推定する範囲（以降、「推定範囲」と表す。）毎に、時系列データＱが記憶されている。
【００１７】
推定範囲とは、ネットワーク品質の変化や劣化が共通であると期待される範囲であり、例えば、或る所定の装置の配下に位置する装置群が含まれるエリア、或る所定のネットワーク等により表される。このとき、時系列データＱに含まれる各ネットワーク品質指標値Ｑｉは、当該時系列データＱに対応する推定範囲を代表する指標値となっている。例えば、推定範囲をＤ１及びＤ２、推定範囲Ｄ１に対応する時系列データをＱ´、推定範囲Ｄ２に対応する時系列データをＱ´´とした場合、時系列データＱ´に含まれる各ネットワーク品質指標値Ｑｉ´は推定範囲Ｄ１を代表する指標値となっており、時系列データＱ´´に含まれる各ネットワーク品質指標値Ｑｉ´´は推定範囲Ｄ２を代表する指標値となっている。
【００１８】
また、各ネットワーク品質指標値Ｑｉの時間間隔をＧとする。すなわち、インデックスｉが表す時刻をｔｉ、インデックスｉ＋１が表す時刻をｔｉ＋１とした場合、Ｇ＝ｔｉ＋１−ｔｉである。
【００１９】
このように、記憶部１１０には、推定範囲毎に、時間間隔Ｇ毎のネットワーク品質指標値Ｑｉの時系列データＱが記憶されているものとする。なお、これらのネットワーク品質指標値Ｑｉは、例えば、時間間隔Ｇ毎に、所定の推定範囲のネットワーク品質を計測する計測装置等により算出され、記憶部１１０に記憶される。
【００２０】
入力部１０１は、推定範囲毎に、直近の過去Ｗ時間の間のネットワーク品質指標値Ｑｉを記憶部１１０から取得する。ここで、Ｗは予め設定されたパラメータである。例えば、Ｗ＝３０［分］＝１８００［秒］、Ｇ＝６０［秒］である場合、入力部１０１は、当該推定範囲における現在時刻から過去３０分前までの間の３０個のネットワーク品質指標値Ｑ１，Ｑ２，・・・，Ｑ３０を取得する。
【００２１】
評価値算出部１０２は、予め設定されたパラメータτを用いて、入力部１０１により取得されたネットワーク品質指標値Ｑｉから評価値Ｘを算出する。ここで、τには整数値が設定され、時間的な「ラグ」（すなわち、時間的な遅れ）を表す。すなわち、Ｇ×τがネットワーク品質指標値Ｑｉから評価値Ｘを算出する際の時間差となる。なお、評価値Ｘの算出方法の詳細については後述する。
【００２２】
判定部１０３は、評価値算出部１０２により算出された評価値Ｘと、所定の閾値Ｐとの大小関係を比較判定する。例えば、判定部１０３は、評価値Ｘが所定の閾値Ｐ以下である場合に推定精度が高い（すなわち、ネットワーク品質が安定している）と判定し、評価値Ｘが所定の閾値Ｐより大きい場合に推定精度が低い（すなわち、ネットワーク品質が不安定である）と判定する。
【００２３】
出力部１０４は、判定部１０３による判定結果を出力する。出力部１０４による出力先は限定されない。出力部１０４による出力先は、記憶部１１０であっても良いし、ディスプレイ等の表示装置であっても良いし、通信ネットワークを介して接続される所定の装置等であっても良い。
【００２４】
＜評価処理＞
次に、本発明の実施の形態における評価装置１０がＱｏＥの推定精度を評価する処理（評価処理）について、図２を参照しながら説明する。図２は、本発明の実施の形態における評価処理の一例を示すフローチャートである。図２に示す評価処理は、例えば、推定範囲毎に繰り返し実行される。以降では、或る１つの推定範囲に関する評価処理について説明する。
【００２５】
ステップＳ１０１：入力部１０１は、当該推定範囲における直近の過去Ｗ時間の間のネットワーク品質指標値Ｑｉを記憶部１１０から取得（読み込み）する。以降では、ネットワーク品質評価値Ｑ１，Ｑ２，・・・，ＱＮが取得されたものとする。ここで、Ｎ＝ｆｌｏｏｒ（Ｗ／Ｇ）である。また、ｆｌｏｏｒ（）は、引数の小数点以下を切り捨てた整数値を出力する関数である。この場合、ネットワーク品質評価値Ｑ１，Ｑ２，・・・，ＱＮは、Ｎ個の要素で構成されるベクトルで表される。
【００２６】
なお、過去Ｗ時間の間のネットワーク品質指標値Ｑｉを記憶部１１０から取得する場合に限られず、入力部１０１は、例えば、通信ネットワークを介して、所定の装置（例えば、ネットワーク品質指標値Ｑｉを蓄積している蓄積装置等）から当該ネットワーク品質指標値Ｑｉを取得しても良い。
【００２７】
ステップＳ１０２：評価値算出部１０２は、入力部１０１により取得されたネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮから評価値Ｘを算出する。ここで、評価値算出部１０２は、例えば、以下の（方法１）〜（方法４）のうちのいずれか１つの方法により評価値Ｘを算出すれば良い。
【００２８】
（方法１）
方法１は自己相関関数による方法である。自己相関関数は、一般に、「時間ずれ」を変数とする関数であるが、本発明の実施の形態では、時間ずれにラグτを設定する。
【００２９】
方法１では、評価値算出部１０２は、以下の式（１）により、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮから評価値Ｘを算出する。
【００３０】
【数１】
2020028082.tif 000003
ここで、ＱａｖはＱ１，Ｑ２，・・・，ＱＮの平均値、ＱｖａｒはＱ１，Ｑ２，・・・，ＱＮの分散である。
【００３１】
なお、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮの自己相関は、既存の各種ライブラリを用いて計算することもできる。例えば、ｐｙｔｈｏｎでは、ｐａｎｄａｓライブラリのｐａｎｄａｓ．Ｓｅｒｉｅｓ．ａｕｔｏｃｏｒｒにより自己相関を計算することができる。
【００３２】
（方法２）
方法２は共分散による方法である。方法２では、評価値算出部１０２は、以下の式（２）により、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮから評価値Ｘを算出する。
【００３３】
【数２】
2020028082.tif 000004
ここで、Ｑａｖ１はＱ１，Ｑ２，・・・，ＱＮ−τの平均値、Ｑａｖ２はＱτ，Ｑ２，・・・，ＱＷの平均値である。
【００３４】
なお、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮの共分散は、既存の各種ライブラリを用いて計算することもできる。例えば、ｐｙｔｈｏｎでは、ｎｕｍｐｙライブラリのｎｕｍｐｙ．ｃｏｖ関数により共分散を計算することができる。
【００３５】
（方法３）
方法３は相関係数による方法である。方法３では、評価値算出部１０２は、以下の式（３）により、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮから評価値Ｘを算出する。
【００３６】
【数３】
2020028082.tif 000005
ここで、Ｑａｖ１はＱ１，Ｑ２，・・・，ＱＮ−τの平均値、Ｑａｖ２はＱτ，Ｑ２，・・・，ＱＷの平均値である。
【００３７】
なお、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮの相関係数は、既存の各種ライブラリを用いて計算することもできる。例えば、ｐｙｔｈｏｎでは、ｎｕｍｐｙライブラリのｎｕｍｐｙ．ｃｏｒｒｃｏｅｆ関数により相関係数を計算することができる。
【００３８】
（方法４）
方法４は、ネットワーク品質指標値Ｑ１，Ｑ２，・・・，ＱＮを標準化した上で、上記の方法１〜方法３のいずれかの方法により評価値Ｘを算出する。すなわち、評価値算出部１０２は、各Ｑｉ（ｉ＝１，・・・，Ｎ）を以下の式（４）により標準化する。
【００３９】
【数４】
2020028082.tif 000006
ここで、「←」は右辺の計算結果で左辺を更新することを表す。すなわち、上記の式（４）は、各ｉに対して、（Ｑｉ−μ）／σでＱｉを更新することを表す。また、μ及びσは、それぞれ標準化オフセット及び標準化偏差であり、任意の値を用いることができるが、典型的には、μとしてＱ１，Ｑ２，・・・，ＱＮの平均値、σとしてはＱ１，Ｑ２，・・・，ＱＮの標準偏差が用いられる。
【００４０】
そして、評価値算出部１０２は、標準化後のＱ１，Ｑ２，・・・，ＱＮを用いて、上記の方法１〜方法３のいずれかの方法により評価値Ｘを算出する。
【００４１】
ステップＳ１０３：判定部１０３は、評価値算出部１０２により算出された評価値Ｘと、所定の閾値Ｐとの大小関係を比較判定する。このとき、判定部１０３は、例えば、評価値Ｘが所定の閾値Ｐ以下である場合に推定精度が高いと判定し、評価値Ｘが所定の閾値Ｐより大きい場合に推定精度が低いと判定する。
【００４２】
なお、判定部１０３は、例えば、Ｐ１＞Ｐ２＞・・・＞ＰＭとなる所定の複数の閾値Ｐｍ（ｍ＝１，・・・，Ｍ）と、評価値Ｘとを比較判定しても良い。この場合、判定部１０３は、例えば、評価値Ｘと閾値Ｐ１とを比較判定し、評価値Ｘが閾値Ｐ１より大きい場合に推定精度が「レベル１」であると判定し、評価値Ｘが閾値Ｐ１以下かつ閾値Ｐ２より大きい場合に推定精度が「レベル２」であると判定する。同様に、判定部１０３は、評価値Ｘが閾値Ｐｍ以下かつ閾値Ｐｍ＋１より大きい場合に推定精度が「レベルｍ＋１」であると判定する。すなわち、判定部１０３は、例えば、複数の閾値Ｐｍ（ｍ＝１，・・・，Ｍ）のうち、評価値Ｘ未満の最大の閾値Ｐｍ´を特定することで、推定精度が、特定した閾値Ｐｍ´に対応するレベルｍ´であると判定する。
【００４３】
これにより、判定部１０３は、推定精度のレベルを判定することができる。なお、評価値Ｘが閾値ＰＭ以下である場合、判定部１０３は、推定精度が「レベルＭ＋１」であるとすれば良い。また、ここではレベルが高い程、推定精度が高いものとした。
【００４４】
ステップＳ１０４：出力部１０４は、判定部１０３による判定結果を出力する。なお、判定結果としては、上述したように、「推定精度が高い」又は「推定精度が低い」であっても良いし、推定精度のレベルであっても良い。また、出力部１０４は、判定結果と共に、当該推定範囲を示す情報を出力しても良い。
【００４５】
＜評価装置１０のハードウェア構成＞
次に、本発明の実施の形態における評価装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本発明の実施の形態における評価装置１０のハードウェア構成の一例を示す図である。
【００４６】
図３に示すように、本発明の実施の形態における評価装置１０は、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、ＲＡＭ２０４と、ＲＯＭ（Read Only Memory）２０５と、プロセッサ２０６と、通信Ｉ／Ｆ２０７と、補助記憶装置２０８とを有する。これら各ハードウェアは、それぞれがバス２０９を介して通信可能に接続されている。
【００４７】
入力装置２０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置２０２は、例えばディスプレイ等であり、評価装置１０の処理結果を表示する。なお、評価装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくても良い。
【００４８】
外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。評価装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａ等の読み取りや書き込みを行うことができる。記録媒体２０３ａには、評価装置１０が有する各機能部（例えば、入力部１０１、評価値算出部１０２、判定部１０３及び出力部１０４）を実現する１以上のプログラム等が記憶されていても良い。
【００４９】
記録媒体２０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
【００５０】
ＲＡＭ２０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ２０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。
【００５１】
プロセッサ２０６は、例えばＣＰＵ等であり、ＲＯＭ２０５や補助記憶装置２０８等からプログラムやデータをＲＡＭ２０４上に読み出して処理を実行する演算装置である。評価装置１０が有する各機能部は、例えば補助記憶装置２０８に格納されている１以上のプログラムがプロセッサ２０６に実行させる処理により実現される。
【００５２】
通信Ｉ／Ｆ２０７は、評価装置１０を通信ネットワークに接続するためのインタフェースである。評価装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０７を介して、所定のサーバ等から取得（ダウンロード）されても良い。
【００５３】
補助記憶装置２０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置２０８に格納されているプログラムやデータには、例えば、ＯＳ、アプリケーションプログラム、評価装置１０が有する各機能部を実現する１以上のプログラム等が挙げられる。
【００５４】
本発明の実施の形態における評価装置１０は、図３に示すハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図３では、評価装置１０が１台のコンピュータで実現される場合のハードウェア構成例を示したが、これに限られず、評価装置１０は複数台のコンピュータで実現されていても良い。
【００５５】
＜まとめ＞
以上のように、本発明の実施の形態における評価装置１０は、ネットワーク品質指標値の時間変化を用いて、ＱｏＥの推定精度の良否を判定することができる。これにより、ネットワーク品質指標値からＱｏＥが推定された場合に、当該ＱｏＥの信頼性（又は妥当性）を判断することができるようになる。
【００５６】
例えば、ＱｏＥの品質監視を行っているような場合、ＱｏＥの推定精度が低下すると「品質劣化」の監視結果が検出されたとしても、当該監視結果に対する対応要否を判断することができない。したがって、この場合、品質監視の有効性が低下してしまう。これに対して、本発明の実施の形態における評価装置１０を用いることでＱｏＥの推定精度の良否が得られるため、「品質劣化」の監視結果が検出された場合に、ＱｏＥの推定精度の良否に応じて、当該監視結果に対する対応要否を判断することができるようになる。
【００５７】
なお、上述したように、本発明の実施の形態における評価装置１０では、ネットワーク品質指標値の時間変化を用いて、ＱｏＥの推定精度の良否を判定するため、ネットワーク品質指標値からＱｏＥを推定するための推定手法は限定されず、任意の推定手法の推定精度の良否を判定することができる。
【００５８】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【００５９】
１０        評価装置
１０１      入力部
１０２      評価値算出部
１０３      判定部
１０４      出力部
１１０      記憶部
【図１】
2020028082.tif 000007
【図２】
2020028082.tif 000008
【図３】
2020028082.tif 000009