(57)【要約】      （修正有）【課題】ユーザ体感に基づき品質劣化を検知し、劣化要因を切り分けることが可能な品質評価装置を提供する。【解決手段】ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出する。前記体感待ち時間と前記算出された状態指標との組をマップ上に品質マップとして表示し、アプリケーションの実行時の品質を評価する。【選択図】図１
2014203371.tif 000002
【特許請求の範囲】
【請求項１】
アプリケーションの実行時の品質を評価する品質評価装置であって、
ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出する状態指標算出手段と、
前記体感待ち時間と前記算出された状態指標との組をマップ上に表示する品質マップ表示手段と、
を有する品質評価装置。
【請求項２】
前記体感待ち時間と前記算出された状態指標とを組にして保存する保存手段と、
前記保存手段から、前記ユーザの操作と類似する操作に対応する体感待ち時間と状態指標との組を抽出する類似操作抽出手段と、
を更に有し、
前記品質マップ表示手段は、前記体感待ち時間と前記算出された状態指標との組を、前記抽出された類似する操作に対応する体感待ち時間と状態指標との組と共にマップ上に表示する、請求項１に記載の品質評価装置。
【請求項３】
前記保存手段は、前記体感待ち時間と前記算出された状態指標との組と共に、操作を行ったときの利用環境に関する情報を保存し、
前記品質マップ表示手段は、体感待ち時間と状態指標との組に関連付けて利用環境を表示し、
前記品質評価装置は、前記品質マップ表示手段において表示された体感待ち時間と状態指標との組に対して、所定の条件を満たす組をマップ上に表示させるフィルタリング手段を更に有する、請求項２に記載の品質評価装置。
【請求項４】
前記抽出された体感待ち時間と状態指標との組の中から、体感待ち時間が短い方から１つ以上の体感待ち時間と状態指標との組を抽出し、前記抽出された体感待ち時間と状態指標との組との比較に基づいて、前記ユーザの操作に対する品質劣化要因を切り分ける劣化要因切り分け手段を更に有する、請求項２又は３に記載の品質評価装置。
【請求項５】
前記切り分けられた品質劣化要因に応じて、前記保存手段に保存された利用環境を用いて品質改善方法を提案する品質改善方法提案手段を更に有する、請求項４に記載の品質評価装置。
【請求項６】
前記状態指標算出手段は、前記切り出されたログを一定時間のタイムスロットで区切り、タイムスロット内で実行された通信に関する処理の個数を算出して足し合わせる、請求項１乃至５のうちいずれか１項に記載の品質評価装置。
【請求項７】
アプリケーションの実行時の品質を評価する品質評価装置における品質評価方法であって、
前記品質評価装置の状態指標算出手段が、ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出するステップと、
前記体感待ち時間と前記算出された状態指標との組をマップ上に表示するステップと、
を有する品質評価方法。
【請求項８】
アプリケーションの実行時の品質を評価する品質評価装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを
ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出する状態指標算出手段、及び
前記体感待ち時間と前記算出された状態指標との組をマップ上に表示する品質マップ表示手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、品質評価装置、品質評価方法及びプログラムに関する。より具体的には、本発明は、ネットワークを介して利用するアプリケーションにおいて、アプリケーション操作時の品質劣化検知や劣化要因切り分けを行う技術に関する。
【背景技術】
【０００２】
近年、ｗｅｂアプリケーション等、ネットワークを介して利用するアプリケーションが普及している。このようなアプリケーションでは、処理の一部をｗｅｂサーバ上で行うため、サーバやネットワークの遅延によってユーザの体感品質が左右されやすく、一定の体感品質を保証することが難しい。そこで、Ｅｎｄ−ｔｏ−ｅｎｄの品質を常時監視し、品質劣化が検知された場合には、その劣化要因を切り分けることが必要である。例えば、非特許文献１や非特許文献２では、サーバやネットワークの品質（レスポンスタイムや遅延、ロス率）を常時監視し、それらが閾値を超えた箇所を劣化要因として特定する手法が提案されている。
【０００３】
また最近では、動的コンテンツを含むｗｅｂアプリケーションも増えてきている。このようなアプリケーションでは、ユーザ端末での処理量が多くなるため、サーバやネットワークに加え、ユーザ端末も体感品質の大きな要因となっている。そのため、ユーザ端末まで含めた品質を監視する必要があり、例えば、非特許文献３や非特許文献４では、端末品質（ＣＰＵ使用率、メモリ使用率など）を監視し、それらが閾値を超えた場合に端末が高負荷状態にあると判定する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】吉田友哉, "インターネットプロバイダの運用管理技術", 情報処理学会研究報告, 2007-7
【非特許文献２】Atsuo Tachibana, Shigehiro Ano, Masato Tsuru, "Selecting Measurement Paths for Efficient Network Monitoring and Diagnosis under Operational Constraints", INCoS, 2011
【非特許文献３】Zomut, "Watchdog Task Manager" https://sites.google.com/a/zomut.com/www/watchdog
【非特許文献４】立花篤男，阿野茂浩，鶴正人，"ユーザPCを利用したネットワーク品質計測システム"，信学技報，2010-11
【非特許文献５】中村天真，山本浩司，本多泰理，高橋玲，"クラウド型アプリケーションの操作特徴抽出法の検討"，第10回QoSワークショップ，2012-11
【非特許文献６】Fujitsu, "CA APM 9"  http://systemwalker.fujitsu.com/jp/caapm/
【非特許文献７】石田梢，北川博之，"時系列データに対する効果的な外れ値検出方法"，電子情報通信学会第19回データ工学ワークショップ(DEWS2008), 2008-03
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来用いられてきた品質指標（レスポンスタイム又はＣＰＵ使用率など）の値は、利用するアプリケーションや操作内容によって異なるため、アプリケーションや操作の種類が多様化するに伴い、実際のユーザ体感との乖離が大きくなっている。そのため、従来の閾値監視法により、品質劣化の検知や劣化要因の切り分けを行うことは、必ずしも適切ではない場合がある。ユーザサポートの充実の観点では、よりユーザ体感に即した品質劣化の把握と対応が必要である。
【０００６】
本発明は、上記のような従来の手法における課題に鑑み、ユーザ体感に基づき品質劣化を検知し、劣化要因を切り分けることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一形態に係る品質評価装置は、
アプリケーションの実行時の品質を評価する品質評価装置であって、
ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出する状態指標算出手段と、
前記体感待ち時間と前記算出された状態指標との組をマップ上に表示する品質マップ表示手段と、
を有することを特徴とする。
【０００８】
また、本発明の一形態に係る品質評価方法は、
アプリケーションの実行時の品質を評価する品質評価装置における品質評価方法であって、
前記品質評価装置の状態指標算出手段が、ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出するステップと、
前記推定された体感待ち時間と前記算出された状態指標との組をマップ上に表示するステップと、
を有することを特徴とする。
【０００９】
また、本発明の一形態に係るプログラムは、
アプリケーションの実行時の品質を評価する品質評価装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを
ユーザの体感待ち時間の開始時刻から終了時刻までの期間に対応してアプリケーションにより出力されたアプリケーションログから切り出されたログに基づいて、アプリケーション実行時のネットワーク状態及び端末状態のうち少なくとも１つを示す状態指標を算出する状態指標算出手段、及び
前記推定された体感待ち時間と前記算出された状態指標との組をマップ上に表示する品質マップ表示手段、
として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザ体感に基づき品質劣化を検知し、劣化要因を切り分けることが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施例に係る品質評価装置を含むシステムの構成図
【図２】本発明の第１実施例に係る品質評価装置を含む別のシステムの構成図
【図３】本発明の第１実施例に係る品質評価装置における品質表示方法のフローチャート
【図４】本発明の第１実施例に係る品質評価装置が端末から取得したアプリケーションログ及び体感待ち時間に対応して切り出したアプリケーションログの例
【図５】本発明の第１実施例に係る品質評価装置が端末から取得したネットワークログ及び体感待ち時間に対応して切り出したネットワークログの例
【図６】本発明の第１実施例に係る品質評価装置において推定された体感待ち時間の例
【図７】本発明の第１実施例に係る品質評価装置で算出された通信処理の処理多重度の例（タイムスロット＝0.1秒の場合）
【図８】本発明の第１実施例に係る品質評価装置において抽出された、対象ユーザと類似する操作に対応する体感待ち時間と状態指標との組を示す例
【図９】本発明の第１実施例に係る品質評価装置において表示される品質マップの例
【図１０】本発明の第２実施例に係る品質評価装置を含むシステムの構成図
【図１１】本発明の第２実施例に係る品質評価装置における品質表示方法のフローチャート
【図１２】本発明の第２実施例で用いられる対象ユーザの利用環境の例
【図１３】本発明の第２実施例に係る品質評価装置において抽出された、対象ユーザと類似する操作に対応する体感待ち時間と状態指標との組及び利用環境を示す例
【図１４】本発明の第２実施例に係る品質評価装置において表示される品質マップの例
【図１５】本発明の第２実施例に係る品質評価装置において表示されるフィルタリング後の品質マップの例
【図１６】本発明の第３実施例に係る品質評価装置を含むシステムの構成図
【図１７】本発明の第３実施例に係る品質評価装置における品質表示方法のフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について詳細に説明する。
【００１３】
本発明の実施例では、ネットワークを介して利用するアプリケーションの実行時の品質を評価する品質評価装置が用いられる。品質評価装置は、品質劣化検知及び劣化要因切り分けの対象となるユーザ（以下、対象ユーザと呼ぶ）の操作時ログから、ユーザの体感待ち時間を推定し、体感待ち時間の間のネットワーク状態や端末状態を示す状態指標を算出する。なお、ここでのログとは、アプリケーション実行時の処理が記録されたアプリケーションログを示す。更に、送受信データ量が記録されたネットワークログが用いられてもよい。品質評価装置は、この体感待ち時間と状態指標とをマップ上に表示することにより、品質を可視化する。例えば、対象ユーザと類似する操作に対応する他ユーザ等の体感待ち時間及び状態指標とマップ上で比較することにより、品質劣化の検知と劣化要因の切り分けを行う。
【００１４】
以下に、品質評価装置の詳細について説明する。
【００１５】
＜第１実施例＞
図１に、本発明の第１実施例に係る品質評価装置を含むシステムの構成図を示す。本発明の第１実施例に係るシステムは、品質評価装置１０と、ユーザ端末２０と、アプリケーション（ＡＰ）サーバ３０とを有する。なお、図２に示すように、品質評価装置１０の各手段がユーザ端末２０に含まれてもよい。
【００１６】
ＡＰサーバ３０は、例えば、ユーザ端末２０にコンテンツ３０３を提供するＨＴＴＰサーバ３０１である。
【００１７】
ユーザ端末２０は、ＡＰサーバ３０に対してコンテンツを要求し、ＡＰサーバ３０から受信したコンテンツを表示するｗｅｂブラウザ２０５と、ユーザ端末で実行されたアプリケーションログ及びネットワークログを取得するログ取得手段２０３と、品質評価装置１０にアプリケーションログ及びネットワークログを送信する送信手段２０１とを有する。アプリケーションログは、ユーザ端末２０上で実行された処理の種別、開始時刻及び処理時間（又は終了時刻）が出力されるログである。ネットワークログは、ユーザ端末２０でデータを送受信した時刻及び送受信データ量が出力されるログである。
【００１８】
品質評価装置１０は、体感待ち時間推定手段１０１と、ログ切り出し手段１０３と、状態指標算出手段１０５と、類似操作抽出手段１０７と、品質マップ表示手段１０９と、保存手段１１１とを有する。
【００１９】
体感待ち時間推定手段１０１は、対象ユーザのユーザ端末２０からのログを取得し、対象ユーザの体感待ち時間の開始時刻及び終了時刻を推定し、保存手段１１１に格納する。
【００２０】
ログ切り出し手段１０３は、対象ユーザについて推定された体感待ち時間の開始時刻以降に始まり、終了時刻以前に終了しているログを切り出し、保存手段１１１に格納する。
【００２１】
状態指標算出手段１０５は、切り出されたアプリケーションログから、アプリケーション実行時のネットワーク状態や端末状態を示す状態指標を算出する。例えば、切り出されたアプリケーションログを一定時間のタイムスロットで区切り、タイムスロット内で実行された通信に関する処理の個数を算出し、全て足し合わせる。
【００２２】
なお、体感待ち時間推定手段１０１、ログ切り出し手段１０３及び状態指標算出手段１０５は、対象ユーザのユーザ端末２０からのログからだけでなく、他ユーザの端末からのログも取得し、他ユーザの端末における体感待ち時間と状態指標とを保存手段１１１に保存する。
【００２３】
類似操作抽出手段１０７は、対象ユーザの操作と類似する操作に対応する体感待ち時間と状態指標との組を保存手段１１１から抽出する。なお、類似する操作を判定するために、操作に関する特徴を表す操作特徴量が用いられる。
【００２４】
品質マップ表示手段１０９は、対象ユーザの体感待ち時間と状態指標との組を、対象ユーザの操作と類似する操作に対応する体感待ち時間と状態指標との組と共に、マップ上に表示する。
【００２５】
保存手段１１１は、体感待ち時間と状態指標との組及び操作特徴量を保存する記憶装置である。
【００２６】
次に、図３〜図９を参照して、第１実施例の品質評価装置１０の動作について詳細に説明する。図３は、本発明の第１実施例に係る品質評価装置１０における品質表示方法のフローチャートである。
【００２７】
ステップＳ１０１において、体感待ち時間推定手段１０１は、対象ユーザのユーザ端末２０からアプリケーションログを取得する。具体的には、ユーザ端末２０の送信手段２０１は、対象ユーザがアプリケーション実行時に操作を行った時間帯に相当するログを取得し、品質評価装置１０に送信する。なお、対象ユーザがアプリケーション実行時に操作を行っている場合、アプリケーションログが出力されるため、アプリケーションログを確認することにより、対象ユーザが操作を行った時間帯を認識できる。このユーザ端末２０から受信したログを、品質評価装置１０内の体感待ち時間推定手段１０１の入力とする。
【００２８】
図４（Ａ）に、ユーザ端末２０から取得したアプリケーションログの例を示す。アプリケーションログには、ユーザ端末２０上で実行された処理の種別、開始時刻及び処理時間（又は終了時刻）が含まれる。また、図５（Ａ）に、ユーザ端末２０から取得したネットワークログの例を示す。ネットワークログには、ユーザ端末２０でデータを送受信した時刻及び送受信データ量が含まれる。
【００２９】
ステップＳ１０３において、体感待ち時間推定手段１０１は、操作の体感待ち時間の開始時刻及び終了時刻を推定し、保存手段１１１に格納する。具体的には、ｗｅｂブラウザ２０５等のアプリケーションで実行された処理の個数（以下、処理多重度と呼ぶ）が、閾値を超える同期処理実行区間を体感待ち時間として推定する。また、体感待ち時間推定手段１０１は、ユーザ端末２０において実際の体感待ち時間を別途測定し、それを受信することで体感待ち時間を推定してもよい。
【００３０】
図６に、体感待ち時間の例を示す。ここでは、体感待ち時間の開始時刻が2012年10月1日16時33分58.4秒であり、終了時刻が2012年10月1日16時34分34.7秒であると推定されたものとする。
【００３１】
ステップＳ１０５において、ログ切り出し手段１０３は、対象ユーザの操作による体感待ち時間の開始時刻から終了時刻までのログを切り出す。具体的には、ログ切り出し手段１０３は、対象ユーザのユーザ端末２０から受信したログの中から、推定した体感待ち時間の開始時刻以降に始まり、推定した終了時刻以前に終了しているログを切り出す。
【００３２】
例えば、図４（Ｂ）及び図５（Ｂ）に示すように、体感待ち時間に対応して、開始時刻が2012年10月1日16時33分58.4秒以降であり、終了時刻が2012年10月1日16時34分34.7秒以前のアプリケーションログ及びネットワークログが切り出される。
【００３３】
なお、ユーザ端末２０でログを取得するログ取得手段２０３は、一般的なアプリケーション分析ツールやネットワーク分析ツール等で代替可能である。また、ユーザ端末２０から品質評価装置へ取得したログを送信する送信手段２０１は、一般的な装置やプログラム等で代替可能である。
【００３４】
ここで、「操作」とはユーザが行った操作のことで、ｗｅｂサイトへのログイン、リンクのクリックなどを指す。「処理」とは、ユーザ操作に伴って、ユーザ端末２０で実行される処理のことを指す。通常、1回のユーザ操作に対し、複数の処理が並行して実行される。
【００３５】
ステップＳ１０７において、状態指標算出手段１０５は、対象ユーザの操作による体感待ち時間の開始時刻から終了時刻までのログである切り出されたログから、ネットワーク状態を示す指標若しくは端末状態を示す指標又はその両方を算出する。ネットワーク状態を示す指標の場合、通信処理時間の合計値若しくは平均値、通信処理多重度の積分値又はそれらの組合せなど、端末状態の影響を受けない指標を用いる。端末状態を示す指標の場合も同様で、スクリプト処理若しくは描画処理又はその両方の、処理時間の合計値若しくは平均値、処理多重度の積分値又はそれらの組合せなど、ネットワーク状態の影響を受けない指標を用いる。算出された状態指標は、保存手段１１１に保存される。
【００３６】
ネットワーク状態を示す状態指標として、通信処理多重度の積分値を用いる場合を例にあげて、算出手順を説明する。
【００３７】
（１）アプリケーションログに含まれる通信処理のログを、一定時間間隔で量子化する。量子化の方法は、ログを一定時間のタイムスロットで区切り、このタイムスロット内で行われた通信処理の個数を処理多重度として算出する。
【００３８】
（２）（１）で求めた、各タイムスロットにおける処理多重度を全て足し合わせる。
【００３９】
例えば、図４（Ｂ）に示すアプリケーションログが状態指標算出手段１０５に入力された場合、タイムスロット0.1秒で量子化した結果は図７のようになり、通信処理多重度の積分値は5481と与えられる。なお、状態指標として通信処理多重度の積分値を用いた場合は、値が大きいほどネットワーク状態が悪いことを示している。これは、ネットワーク状態の悪化により通信処理時間がのびた結果、図７のグラフで囲まれる面積が横にのびて大きくなるためである。このように、通信処理多重度の積分値が大きいことは、ネットワーク状態が悪いことに相当する。また、状態の良し悪しの尺度は予め定義されているものとする。
【００４０】
ステップＳ１０１〜Ｓ１０７では、対象ユーザについて説明したが、対象ユーザの比較対象となる他ユーザのログについても同様に、送信手段２０１及びログ取得手段２０３を具備した各ユーザの端末のログから、体感待ち時間が推定され、状態指標が算出され、保存手段１１１に保存されているものとする。
【００４１】
ステップＳ１０９において、類似操作抽出手段１０７は、切り出されたログから算出した操作内容を表す特徴量（以下、操作特徴量と呼ぶ）を用いて、保存手段１１１に保存されている過去の体感待ち時間と状態指標の中から、対象ユーザの操作と類似した操作が実行されたときの体感待ち時間と状態指標との組を抽出する。保存手段１１１から抽出される体感待ち時間と状態指標との組は複数存在してもよい。
【００４２】
操作特徴量は、類似操作抽出手段１０７で予め定義された操作特徴量及び算出方法に基づいて算出される。例えば、操作特徴量としては、非特許文献５のように、受信データ量や、処理種別ごとの処理多重度のピークの数・高さ・幅・位置又はそれらの組合せなどを用いてもよいし、非特許文献６のようにメソッド名やURLなどを用いてもよい。
【００４３】
また、操作特徴量として非特許文献５の受信データ量を用いる場合は、受信データ量はネットワークログを用い、体感待ち時間内に受信したデータ量を合計して算出する。処理多重度のピークの数・高さ・幅・位置については、アプリケーションログを量子化したグラフの形状から判断する。
【００４４】
例えば、処理多重度のピークの数、高さ、幅、位置を求める具体的な手順は以下の通りである。
【００４５】
（１）アプリケーションログを、一定時間間隔で量子化する。量子化はアプリケーションログを時系列に一定時間のタイムスロットで区切り、このタイムスロット内で行われた通信処理、スクリプト処理、描画処理の各処理について、各処理の実施総数（処理多重度）を量子化の値として算出する方法を用いる。なお、タイムスロットは例えば、「体感待ち時間の長さ÷50」等の相対時間で定めてもよいし、「0.1秒」等の絶対時間で定めてもよい。また、複数のタイムスロットを定め、それぞれについてタイムスロット毎に、通信処理、スクリプト処理、描画処理の各処理の多重度を値として量子化してもよい。
【００４６】
（２）上記の（１）で量子化した結果から、タイムスロット毎に、通信処理、スクリプト処理、描画処理の各処理の多重度のピークを求める。但し、ピーク終了時刻から次のピーク開始時刻までの間隔がSinter以下の場合、後者のピークはピーク数に含めない。
【００４７】
なお、ピーク未開始の状態で、初めて処理多重度がPmin1以上になった時刻をピーク開始時刻、ピーク開始後に始めて処理多重度がPmin2以下になった時刻をピーク終了時刻と定めることにする。また、ピーク高がPmax以下のものについても、ピークとして数えないことにする。ここで、ピーク高とは、ピーク開始時刻からピーク終了時刻までの間における、処理の最大多重度のこととする。なお、ピークの開始、終了時刻の考え方はこの他にもいくつか存在する。例えば、量子化グラフの傾きが、ある角度以上になった場合にピーク開始、ある角度以下になった場合にピーク終了とする方法や、グラフが減少から増加に転じた点をピーク開始及び終了と考える方法などある。
【００４８】
なお、上記のPmin1、Pmin2、Pmax、Sinterの値は予め保存手段１１１に登録しており、必要に応じて適宜修正可能とする。
【００４９】
（３）上記の（２）で求めた通信処理、スクリプト処理、描画処理の各処理の多重度のピークの発生回数であるピーク数、高さ、幅、位置を、下記の通りとする。
【００５０】
（３−１）数：ピークの数を算出する。
【００５１】
（３−２）高さ：ピーク高を（1つ目のピーク高，2つ目のピーク高，…）の形で算出する。
【００５２】
（３−３）幅：ピーク幅を（1つ目のピーク幅，2つ目のピーク幅，…）の形で算出する。なお、ピーク幅は、各ピークにおける（ピークの終了時刻）−（ピークの開始時刻）で定める。
【００５３】
（３−４）位置：ピークの位置を、（1つ目のピーク位置，2つ目のピーク位置，…）の形で算出する。
【００５４】
操作特徴量についても、体感待ち時間と状態指標との組と同様に、対象ユーザの比較対象となる他ユーザの操作特徴量が保存手段１１１に保存されているものとする。
【００５５】
類似操作抽出手段１０７における類似の判定に関して、非特許文献５のように受信データ量や処理多重度のピークの数・高さなどの組合せを操作特徴量として用いる場合は、類似操作抽出手段１０７は、あらかじめ定めた類似度関数によって操作特徴量間の類似度を評価し、類似度が閾値以上のもの、もしくは予め設定した閾値に基づき上位から閾値が示す値の割合以上のものを抽出する。類似度関数は、非特許文献５に示すように、各操作特徴量間の類似度の重みづけ和によって定められる。
【００５６】
一方、非特許文献６のようにURIやメソッド名を操作特徴量として用いる場合は、類似操作抽出手段１０７は、操作特徴量が完全に一致したものを抽出する。
【００５７】
例えば、このような操作特徴量間の類似度の評価により、図８に示すような、対象ユーザと類似する操作に対応する体感待ち時間と状態指標との組が抽出されたものとする。
【００５８】
ステップＳ１１１において、品質マップ表示手段１０９は、ステップＳ１０３で推定された体感待ち時間と、ステップＳ１０７で算出された状態指標と、ステップＳ１０９で抽出された類似すると想定される過去の操作における体感待ち時間と状態指標との組を用いて、対象ユーザと類似した操作を行ったユーザの品質マップを表示する。これにより、他のユーザと対象ユーザの体感待ち時間を比較することができるため、対象ユーザの体感品質の良し悪しを相対的に判断することができる。また、対象ユーザとより体感品質の高いユーザの状態指標を比較することで、品質劣化要因を切り分けることもできる。
【００５９】
具体的には、品質マップ表示手段１０９は、ｘｙ平面上のｘ軸に状態指標、ｙ軸に体感待ち時間を取り、状態指標と体感待ち時間との組を当該平面上にプロットする。状態指標としてネットワーク状態を示す指標と端末状態を示す指標との両方を用いた場合は、ｘ軸にネットワーク状態指標、ｙ軸に端末状態指標を取り、２つの状態指標の組を当該平面上にプロットし、体感待ち時間が等しいプロット同士を線でつないで等高線を引いてもよいし、ｘｙｚ空間上のｘ軸にネットワーク状態指標、ｙ軸に端末状態指標、ｚ軸に体感待ち時間を取り、２種類の状態指標と体感待ち時間との組を当該空間上にプロットしてもよい。なお、いずれの場合もマップの表現方法はこれに限らない。
【００６０】
例えば、例えば、図６の体感待ち時間（2012年10月1日16時34分34.7秒-2012年10月1日16時33分58.4秒=36.3秒）と、ステップＳ１０７で求めた状態指標（例えば、5481）と、ステップＳ１０９において図８に示すような体感待ち時間と状態指標との組が与えられたものとする。このとき、対象ユーザと類似した操作を行ったユーザの品質マップは図９のようにプロットされる。
【００６１】
図９の品質マップから、対象ユーザの体感待ち時間が他ユーザに比べて長くなっており、品質が劣化していることがわかる。さらに、対象ユーザのネットワーク状態指標の値が大きいことから、劣化要因はネットワークにあることがわかる。
【００６２】
一方、例えばユーザＡの場合は、体感待ち時間が長くなっているが、同程度のネットワーク状態指標の値でも体感待ち時間が１／３以下のユーザがいることから、劣化要因はネットワークだけでなく端末にもあることがわかる。このように、品質マップにおいて、品質劣化の検知と劣化要因の切り分けが可能になる。
【００６３】
＜第２実施例＞
第２実施例では、第１実施例に加えて、ユーザの利用環境のような関連情報を品質マップ上に表示することで品質劣化の検知と劣化要因の切り分けを行う。
【００６４】
図１０に、本発明の第２実施例に係る品質評価装置を含むシステムの構成図を示す。本発明の第２実施例に係るシステムは、第１実施例と同様に、品質評価装置１０と、ユーザ端末２０と、アプリケーション（ＡＰ）サーバ３０とを有する。ユーザ端末２０及びＡＰサーバ３０は、第１実施例と同じである。ただし、ユーザ端末２０のログ取得手段２０３は、ユーザが操作を行ったときの利用環境に関する情報を取得するものとする。
【００６５】
第２実施例に係る品質評価装置１０は、第１実施例に係る品質評価装置１０に加えて、フィルタリング手段１１３を更に有する。体感待ち時間推定手段１０１、ログ切り出し手段１０３、状態指標算出手段１０５、類似操作抽出手段１０７、品質マップ表示手段１０９及び保存手段１１１は以下に説明する点を除き、第１実施例と同様に構成される。
【００６６】
また、保存手段１１１は、体感待ち時間と状態指標との組と共に、ユーザが操作を行ったときの利用環境に関する情報を保存する。利用環境のような関連情報は、体感待ち時間推定手段１０１により体感待ち時間の開始時刻及び終了時刻と共に保存手段１１１に格納されてもよい。利用環境には、例えば、操作を行ったときの利用回線、端末機種名、場所、時間等の情報が含まれる。
【００６７】
品質マップ表示手段１０９は、対象ユーザの体感待ち時間と状態指標との組をマップ上に表示する際に、それぞれの体感待ち時間と状態指標との組に利用環境のような関連情報をタグ付けする。
【００６８】
フィルタリング手段１１３は、所定の条件によりフィルタリングを行い、所定の条件を満たす体感待ち時間と状態指標との組をマップ上に表示させる。所定の条件は、フィルタリング手段１１３においてユーザ等により設定され、柔軟に変更可能である。
【００６９】
次に、図１１〜図１５を参照して、第２実施例に係る品質評価装置１０の動作について詳細に説明する。図１１は、本発明の第２実施例に係る品質評価装置１０における品質表示方法のフローチャートである。
【００７０】
ステップＳ１０１〜ステップＳ１０９は、第１実施例と同様に行われる。ただし、ステップＳ１０１において、体感待ち時間推定手段１０１は、ログ取得手段２０３により取得されたユーザの利用環境を取得し、ステップＳ１０３において、体感待ち時間が推定されたときの対象ユーザの利用環境を保存手段１１１に保存する。
【００７１】
例えば、対象ユーザがスマートフォンXを利用して渋谷駅前の公衆無線LANからＡＰサーバ３０にアクセスした場合、図１２に示すように利用環境が保存手段１１１に保存される。
【００７２】
また、他ユーザの利用環境も同様に、図１３に示すように体感待ち時間と状態指標との組と共に保存手段１１１に保存される。
【００７３】
ステップＳ１１１において、品質マップ表示手段１０９は、ステップＳ１０３で推定された体感待ち時間と、ステップＳ１０７で算出された状態指標と、ステップＳ１０９で抽出された類似すると想定される過去の操作における体感待ち時間と状態指標との組を用いて、対象ユーザと類似した操作を行ったユーザの品質マップを表示する。このときに、品質マップ表示手段１０９は、体感待ち時間と状態指標との組をプロットするだけでなく、各プロットに利用環境のような関連情報をタグ付けする。
【００７４】
例えば、対象ユーザの体感待ち時間（36.3秒）及び状態指標（5481）と、図１２に示す利用環境が与えられ、また、図１３に示す類似操作抽出手段１０７で抽出した体感待ち時間と状態指標との組及び利用環境が与えられたとする。このとき、品質マップ表示手段１０９は、図１４に示すように、利用環境がタグ付けされた品質マップを表示する。
【００７５】
ステップＳ１１３において、フィルタリング手段１１３は、ステップＳ１１１で表示された品質マップに対して、指定した条件によりフィルタリングを行い、当該条件を満たすプロットのみを表示する。例えば、フィルタリング条件としては、品質マップ表示手段１０９でタグ付けした利用環境、体感待ち時間、状態指標の値などを指定する。これにより、品質劣化要因だけでなく、具体的な品質改善方法まで把握することができる。なお、フィルタリング条件はフィルタリング手段１１３において設定され、当該条件は柔軟に変更可能である。
【００７６】
例えば、対象ユーザと同じ端末機種名、同じ場所である「端末機種名＝スマートフォンX、場所＝渋谷駅前」という条件でフィルタリングしたときの結果を図１５に示す。図１５のフィルタリング結果から、対象ユーザが渋谷駅前でアプリケーションを利用しつづける場合には、利用回線を公衆無線LANからLTEに切り替えることで、体感品質を改善できることがわかる。
【００７７】
＜第３実施例＞
上記の第１及び第２実施例では、品質マップを目視することにより、品質劣化要因の切り分けや品質改善方法の特定を行ったが、第３実施例ではこれを自動的に行う。
【００７８】
図１６に、本発明の第３実施例に係る品質評価装置を含むシステムの構成図を示す。本発明の第３実施例に係るシステムは、第１実施例と同様に、品質評価装置１０と、ユーザ端末２０と、アプリケーション（ＡＰ）サーバ３０とを有する。ユーザ端末２０及びＡＰサーバ３０は、第１実施例と同じである。また第２実施例と同様に、ユーザ端末２０のログ取得手段２０３は、ユーザが操作を行ったときの利用環境に関する情報を取得してもよい。
【００７９】
第３実施例に係る品質評価装置１０は、第１実施例に係る品質評価装置１０に加えて、劣化要因切り分け手段１１５と、改善方法提案手段１１７とを更に有する。体感待ち時間推定手段１０１、ログ切り出し手段１０３、状態指標算出手段１０５、類似操作抽出手段１０７、品質マップ表示手段１０９及び保存手段１１１は、第１実施例又は第２実施例と同様に構成される。
【００８０】
劣化要因切り分け手段１１５は、対象ユーザの体感待ち時間と状態指標との組と、類似操作抽出手段１０７で抽出した体感待ち時間と状態指標との組とを用いて、対象ユーザの品質劣化要因を切り分ける。
【００８１】
改善方法提案手段１１７は、劣化要因切り分け手段１１５の結果に応じ、対象ユーザの品質改善方法を提案する。
【００８２】
次に、図１７を参照して、第３実施例に係る品質評価装置１０の動作について詳細に説明する。図１７は、本発明の第３実施例に係る品質評価装置１０における品質表示方法のフローチャートである。
【００８３】
ステップＳ１０１〜ステップＳ１１１は、第１実施例又は第２実施例と同様に行われる。第２実施例と同様に、ステップＳ１０１において、体感待ち時間推定手段１０１は、ログ取得手段２０３により取得されたユーザの利用環境を取得し、ステップＳ１０３において、体感待ち時間が推定されたときの対象ユーザの利用環境を保存手段１１１に保存してもよい。
【００８４】
ステップＳ１１５において、劣化要因切り分け手段１１５は、対象ユーザの劣化要因を以下の手順で切り分ける。
【００８５】
（１）類似操作抽出手段１０７で抽出した類似すると推定される過去の体感待ち時間と状態指標との組の中から、体感待ち時間が最も短い組（以下、最良プロットと呼ぶ）を抽出する。
【００８６】
（２）対象ユーザの体感待ち時間と最良プロットの体感待ち時間とを比較し、対象ユーザの方が閾値α以上長い場合は品質劣化あり、それ以外の場合は品質劣化なしと判定する。
【００８７】
（３）（２）で品質劣化ありと判定された場合は、対象ユーザの状態指標と最良プロットの状態指標とを比較し、最良プロットの方が閾値β以上長い場合はネットワーク要因、それ以外の場合は端末要因として切り分ける。
【００８８】
なお、最良プロットとして複数の組を抽出してもよい（例えば、体感待ち時間が短い上位n個や上位x%）。閾値αは、「対象ユーザの状態指標の130%以上」等の相対値で定めてもよいし、「100」等の絶対値で定めてもよい。閾値βも同様に、「対象ユーザの体感待ち時間の125%以上」等の相対時間で定めてもよいし、「0.5秒」等の絶対時間で定めてもよい。最良プロットとして複数の組が抽出され、それぞれの組について対象ユーザの状態指標とを比較した結果、ネットワーク要因と端末要因が混在することになった場合、劣化要因としては、ネットワーク要因と端末要因の多数決で決定する方法や、体感待ち時間の差分（最良プロットの体感待ち時間−対象ユーザの体感待ち時間）の和が大きい方に決定する方法などが考えられる。
【００８９】
また前処理として、非特許文献７のように統計に基づく外れ値検出方法（Distribution-Based approach）や距離に基づく外れ値検出方法（Distance-Based approach）等により、外れ値となる体感待ち時間と状態指標の組をあらかじめ除外しておいてもよいし、利用環境の情報を用いたフィルタリングにより、所定の条件を満たさない組をあらかじめ除外しておいてもよい。なお、Distribution-Based approachとは、対象プロットが確率分布モデルに従うことと仮定し、設定された確率分布モデルから逸脱したプロットを外れ値として検出する手法である。また、Distance-Based approachとは、各対象プロットOiと残りのプロットとの距離をそれぞれ計算し、D近傍内にM個以上のプロットが見つかれば、その時点でOiはDB 外れ値ではないと判断して棄却し、次のプロットへの処理を開始する手法である。Distance-Based approachでは、もしS中のすべてのプロットを走査してもD近傍のプロット数がM以下であれば、プロットOiは外れ値であると判定する。
【００９０】
例えば、対象ユーザの体感待ち時間（36.3秒）及び状態指標（5481）と、図１２に示す利用環境が与えられ、また、図１３に示す類似操作抽出手段１０７で抽出した体感待ち時間と状態指標との組及び利用環境が与えられたとする。
【００９１】
このとき、最も短い体感待ち時間は3.6秒で、これと組になっている状態指標は585であるため、劣化要因切り分け手段１１５は、この組を最良プロットとして抽出する。対象ユーザと最良プロットの体感待ち時間を比較すると、閾値αを「対象ユーザの体感待ち時間の125%以上」と定めた場合、36.3>3.6*1.25より、対象ユーザは品質劣化ありと判定される。そして、対象ユーザと最良プロットの状態指標を比較すると、閾値を「対象ユーザの状態指標の130%以上」と定めた場合、5481>585*1.3より、対象ユーザの品質劣化要因はネットワークにあると切り分けられる。
【００９２】
ステップＳ１１７において、改善方法提案手段１１７は、例えば保存手段１１１に保存されたユーザの利用環境のような関連情報を用いて、劣化要因切り分け手段１１５の結果に応じ、対象ユーザの品質改善方法を提案する。
【００９３】
具体的には、劣化要因切り分け手段１１５において端末要因と切り分けられた場合は、最良プロットと対象ユーザの端末機種名等を比較し、異なる機種の場合は最良プロットと同機種への変更等、同機種である場合はバックグラウンドアプリケーションの終了や不要なアプリケーションのアンインストール等を提案する。また、劣化要因切り分け手段１１５においてネットワーク要因と切り分けられた場合は、最良プロットと対象ユーザの利用回線や場所、時間等を比較し、最良プロットと同じ利用環境への変更を提案する。
【００９４】
例えば、改善方法提案手段１１７は、上記の例における劣化要因切り分け手段１１５の結果に応じ、対象ユーザと最良プロットの利用回線や場所、時間等を比較し、利用回線をLTEに切り替え及び、代々木公園付近への移動を、品質改善方法として提案する。改善方法提案手段１１７は、ユーザ端末２０の画面上に品質改善方法を表示させてもよく、ユーザ端末２０に対して品質改善方法を示すメッセージを送信してもよい。
【００９５】
なお、本発明の第１〜第３実施例では、品質評価装置１０において、体感待ち時間推定手段１０１が体感待ち時間を推定し、ログ切り出し手段１０３がログを体感待ち時間の開始時刻から終了時刻までのログを切り出し、状態指標算出手段１０５が切り出されたログに基づいて状態指標を算出する例について説明した。しかし、本発明は、上記の第１〜第３実施例に限定されず、例えば、状態指標算出手段１０５は、他の装置により切り出されたログ又は状態指標算出手段１０５自体により切り出したログに基づいて状態指標を算出してもよい。
【００９６】
＜実施例の効果＞
本発明の実施例によれば、ユーザ体感に基づき品質劣化を検知し、劣化要因を切り分けることが可能になる。従来の閾値監視を行うことなく、ユーザ端末におけるログを分析することにより、品質劣化検知と劣化要因の切り分けを行うことが可能になる。また本発明の実施例では、類似した操作を行っている他ユーザの体感待ち時間やネットワーク状態、利用回線や端末機種名、場所等を把握することができるため、体感待ち時間が短いユーザやネットワーク状態の良いユーザの利用回線や端末機種名、場所等を参照することで、具体的な品質改善方法を把握することも可能となる。
【００９７】
このように、本発明の実施例では、ユーザ端末で取得した操作時ログから算出した指標や体感待ち時間を、類似した操作を行っているユーザ同士で比較することで、監視閾値をあらかじめ設定することなく、品質劣化検知や劣化要因の切り分けを行うことが可能になる。
【００９８】
説明の便宜上、本発明の実施例に係る品質評価装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係る品質評価装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は処理の流れを示すフローチャートを用いて説明しているが、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。
【００９９】
以上、ユーザ体感に基づき品質劣化を検知し、劣化要因を切り分けるための手法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【０１００】
１０１  体感待ち時間推定手段
１０３  ログ切り出し手段
１０５  状態指標算出手段
１０７  類似操作抽出手段
１０９  品質マップ表示手段
１１１  保存手段
１１３  フィルタリング手段
１１５  劣化要因切り分け手段
１１７  改善方法提案手段
【図１】
2014203371.tif 000003
【図２】
2014203371.tif 000004
【図３】
2014203371.tif 000005
【図４】
2014203371.tif 000006
【図５】
2014203371.tif 000007
【図６】
2014203371.tif 000008
【図７】
2014203371.tif 000009
【図８】
2014203371.tif 000010
【図９】
2014203371.tif 000011
【図１０】
2014203371.tif 000012
【図１１】
2014203371.tif 000013
【図１２】
2014203371.tif 000014
【図１３】
2014203371.tif 000015
【図１４】
2014203371.tif 000016
【図１５】
2014203371.tif 000017
【図１６】
2014203371.tif 000018
【図１７】
2014203371.tif 000019