(57)【特許請求の範囲】
【請求項１】
モバイル通信サービスにおける品質劣化エリアを特定する品質劣化エリア特定システムであって、
端末におけるウェブサイトの表示待ち時間データを、当該端末が接続していたエリアの情報とともに収集する表示待ち時間データ収集部と、
端末の通信に関するネットワーク品質を示すネットワークデータを、当該端末が接続していたエリアの情報とともに収集するネットワークデータ収集部と、
前記表示待ち時間データ収集部により収集された表示待ち時間データの統計量と、前記ネットワークデータ収集部で収集したネットワークデータの統計量とに基づいて、ネットワークデータを入力値として、推定表示待ち時間を出力するためのモデルを生成する表示待ち時間推定モデル生成部と、
ネットワークデータを、前記モデルに入力し、推定表示待ち時間を出力する表示待ち時間推定部と、
前記推定表示待ち時間と、予め設定された閾値とを比較し、当該閾値を超える推定表示待ち時間に対応するネットワークデータが計測されたエリアの情報を出力する品質劣化エリア特定部と
を備えることを特徴とする品質劣化エリア特定システム。
【請求項２】
前記品質劣化エリア特定部は、前記表示待ち時間データ収集部で収集された表示待ち時間と、前記閾値とを比較し、当該閾値を超える表示待ち時間が計測されたエリアの情報を出力する
ことを特徴とする請求項１に記載の品質劣化エリア特定システム。
【請求項３】
前記表示待ち時間推定モデル生成部は、前記表示待ち時間データと前記ネットワークデータについて、同じエリア及び所定単位の時刻で計測されたデータを１グループとして、グループ毎に前記表示待ち時間データの統計量と前記ネットワークデータの統計量を計算し、グループ毎の統計量の組み合わせによって前記モデルを生成する
ことを特徴とする請求項１又は２に記載の品質劣化エリア特定システム。
【請求項４】
前記表示待ち時間推定モデル生成部は、前記モデルの生成に使用する前記ネットワークデータの統計量として、スループットの所定パーセンタイル値を中央値で除算した値を使用する
ことを特徴とする請求項３に記載の品質劣化エリア特定システム。
【請求項５】
モバイル通信サービスにおける品質劣化エリアを特定する品質劣化エリア特定システムが実行する品質劣化エリア特定方法であって、
端末におけるウェブサイトの表示待ち時間データを、当該端末が接続していたエリアの情報とともに収集する表示待ち時間データ収集ステップと、
端末の通信に関するネットワーク品質を示すネットワークデータを、当該端末が接続していたエリアの情報とともに収集するネットワークデータ収集ステップと、
前記表示待ち時間データ収集ステップにおいて収集された表示待ち時間データの統計量と、前記ネットワークデータ収集ステップにおいて収集されたネットワークデータの統計量とに基づいて、ネットワークデータを入力値として、推定表示待ち時間を出力するためのモデルを生成する表示待ち時間推定モデル生成ステップと、
ネットワークデータを、前記モデルに入力し、推定表示待ち時間を出力する表示待ち時間推定ステップと、
前記推定表示待ち時間と、予め設定された閾値とを比較し、当該閾値を超える推定表示待ち時間に対応するネットワークデータが計測されたエリアの情報を出力する品質劣化エリア特定ステップと
を備えることを特徴とする品質劣化エリア特定方法。
【請求項６】
前記品質劣化エリア特定ステップにおいて、前記品質劣化エリア特定システムは、前記表示待ち時間データ収集ステップにおいて収集された表示待ち時間と、前記閾値とを比較し、当該閾値を超える表示待ち時間が計測されたエリアの情報を出力する
ことを特徴とする請求項５に記載の品質劣化エリア特定方法。
【請求項７】
前記表示待ち時間推定モデル生成ステップにおいて、前記品質劣化エリア特定システムは、前記表示待ち時間データと前記ネットワークデータについて、同じエリア及び所定単位の時刻で計測されたデータを１グループとして、グループ毎に前記表示待ち時間データの統計量と前記ネットワークデータの統計量を計算し、グループ毎の統計量の組み合わせによって前記モデルを生成する
ことを特徴とする請求項５又は６に記載の品質劣化エリア特定方法。
【請求項８】
コンピュータを、請求項１ないし４のうちいずれか１項に記載の品質劣化エリア特定システムにおける各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル通信サービスのアプリケーション品質推定技術に関連するものである。
【背景技術】
【０００２】
快適なモバイル通信サービスを提供するためには、ネットワーク品質の劣化を検知して改善する取り組みが重要である。そのため、従来、電波強度や電波干渉等の無線品質（非特許文献１）や、スループット（非特許文献２）の調査が行われてきた。
【０００３】
しかし、無線品質が良好であっても、一時的なネットワークの輻輳等によって、ウェブ表示待ち時間等のアプリケーション品質が損なわれる場合が存在する。また、これまでのスループット計測は、ファイルの転送時間をファイル容量で除算しただけの単純な手法が多く、ブラウジングのような少量のパケットを連続で転送する場合のネットワーク品質とは対応しない。ゆえに、スループット計測結果が良好であっても、一時的なネットワークの輻輳等のネットワーク品質劣化により、ウェブ表示が遅延する場合等が存在する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】東山潤司，垂澤芳明，"モバイル基地局環境における電波強度評価法，"NTT DOCOMOテクニカル・ジャーナル Vol.22 No.3 PP.25-31, Oct. 2014.
【非特許文献２】株式会社 野村総合研究所，"諸外国におけるモバイルインターネット回線速度計測の状況，" インターネットのサービス品質計測等の在り方に関する研究会（第1回），Nov. 2013.
【非特許文献３】"Navigation Timing," W3C, Dec. 2012. http://www.w3.org/TR/2012/REC-navigation-timing-20121217/
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、ウェブ・ブラウジングはモバイル通信サービスにおいて重要な位置を占めている。そこで、ブラウザAPIを用いてウェブ表示待ち時間を記録する技術等が提案されている（非特許文献３）。これによって、実際の表示待ち時間そのものを計測することが可能となっている。ただし、表示待ち時間が遅延した場合に、サーバ、ネットワーク、端末等のいずれが遅延要因となっているかが分からない。そのため、本技術による計測結果を用いただけでは、ネットワーク品質が劣化しているエリア等を特定することが困難であり、特定のエリアの改修等によるネットワーク品質向上を実施することができない。
【０００６】
本発明は上記の点に鑑みてなされたものであり、モバイル通信サービスにおいて、ウェブ表示待ち時間等のアプリケーション品質に影響を与えるネットワーク品質劣化が生じているエリアを特定することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施の形態によれば、モバイル通信サービスにおける品質劣化エリアを特定する品質劣化エリア特定システムであって、
端末におけるウェブサイトの表示待ち時間データを、当該端末が接続していたエリアの情報とともに収集する表示待ち時間データ収集部と、
端末の通信に関するネットワーク品質を示すネットワークデータを、当該端末が接続していたエリアの情報とともに収集するネットワークデータ収集部と、
前記表示待ち時間データ収集部により収集された表示待ち時間データの統計量と、前記ネットワークデータ収集部で収集したネットワークデータの統計量とに基づいて、ネットワークデータを入力値として、推定表示待ち時間を出力するためのモデルを生成する表示待ち時間推定モデル生成部と、
ネットワークデータを、前記モデルに入力し、推定表示待ち時間を出力する表示待ち時間推定部と、
前記推定表示待ち時間と、予め設定された閾値とを比較し、当該閾値を超える推定表示待ち時間に対応するネットワークデータが計測されたエリアの情報を出力する品質劣化エリア特定部と
を備えることを特徴とする品質劣化エリア特定システムが提供される。
【０００８】
また、本発明の実施の形態によれば、モバイル通信サービスにおける品質劣化エリアを特定する品質劣化エリア特定システムが実行する品質劣化エリア特定方法であって、
端末におけるウェブサイトの表示待ち時間データを、当該端末が接続していたエリアの情報とともに収集する表示待ち時間データ収集ステップと、
端末の通信に関するネットワーク品質を示すネットワークデータを、当該端末が接続していたエリアの情報とともに収集するネットワークデータ収集ステップと、
前記表示待ち時間データ収集ステップにおいて収集された表示待ち時間データの統計量と、前記ネットワークデータ収集ステップにおいて収集されたネットワークデータの統計量とに基づいて、ネットワークデータを入力値として、推定表示待ち時間を出力するためのモデルを生成する表示待ち時間推定モデル生成ステップと、
ネットワークデータを、前記モデルに入力し、推定表示待ち時間を出力する表示待ち時間推定ステップと、
前記推定表示待ち時間と、予め設定された閾値とを比較し、当該閾値を超える推定表示待ち時間に対応するネットワークデータが計測されたエリアの情報を出力する品質劣化エリア特定ステップと
を備えることを特徴とする品質劣化エリア特定方法が提供される。
【発明の効果】
【０００９】
本発明の実施の形態によれば、モバイル通信サービスにおいて、ウェブ表示待ち時間等のアプリケーション品質に影響を与えるネットワーク品質劣化が生じているエリアを特定することを可能とする技術が提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る品質劣化エリア特定システムの構成図である。
【図２】品質劣化エリア特定システムの処理手順を示すフローチャートである。
【図３】表示待ち時間データの一例を示す図である。
【図４】ネットワークデータの一例を示す図である。
【図５】表示待ち時間推定モデル生成に利用する統計量の一例を示す図である。
【図６】品質劣化エリア提示方法の一例を説明するための図である。
【図７】スループット計測結果の一例（パターンＡ）を示す図である。
【図８】スループット計測結果の一例（パターンＢ）を示す図である。
【図９】スループットの10%-tile値と表示待ち時間の関係の一例を示す図である。
【図１０】スループットと表示待ち時間との間の統計量の関係の一例を示す図である。
【図１１】表示待ち時間推定結果の一例を説明するための図である。
【図１２】表示待ち時間推定の他の例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【００１２】
（システム構成）
図１に、本発明の実施の形態に係る品質劣化エリア特定システム１０の構成図を示す。図１に示すように、本実施の形態に係る品質劣化エリア特定システム１０は、表示待ち時間データ収集部１１、ネットワークデータ収集部１２、表示待ち時間推定モデル生成部１３、表示待ち時間推定部１４、品質劣化エリア特定部１５、データ記憶部１６を有する。各機能部の詳細動作については後述する。概要は以下のとおりである。
【００１３】
表示待ち時間データ収集部１１は、ユーザ端末におけるウェブサイトの表示待ち時間、ユーザ端末が接続していたセクタ（エリア）の情報、表示待ち時間測定を行った時刻、ウェブサイトのURL等を収集する。ネットワークデータ収集部１２は、データがユーザ端末に間欠的に転送される場合における、転送の開始時刻、転送の終了時刻、転送量、切断開始時刻、切断終了時刻、転送失敗メッセージ等を収集する。
【００１４】
表示待ち時間推定モデル生成部１３は、表示待ち時間データ収集部１１で収集したデータの統計量及びネットワークデータ収集部１２で収集したデータの統計量を計算し、これらの統計量に基づいて、ネットワークデータ収集部１２で収集できるデータを入力値として、推定表示待ち時間を出力するためのモデルを生成する。なお、ここで、モデルへの入力値とするデータは、ネットワークデータ収集部１２以外の装置等で収集されるデータでもよい。
【００１５】
表示待ち時間推定部１４は、ネットワークデータ収集部１２で収集されたデータを、推定表示待ち時間を出力するモデルに入力し、推定表示待ち時間を出力する。品質劣化エリア特定部１５は、推定された表示待ち時間、又は表示待ち時間データ収集部１１で収集された実測の表示待ち時間が、予め設定された閾値を超えるセクタ及び時間帯を特定し、出力する。
【００１６】
データ記憶部１６は、上記の各機能部から出力されるデータ、各機能部による計算の過程で生成・使用されるデータ、閾値等を格納する。なお、上記各機能部による処理結果はデータ記憶部１６に格納され、各機能部は、データ記憶部１６からデータを読み出すことで他の機能部による処理結果を利用する。図１の実線はこのような処理内容に係る接続を示している。また、図１の点線は、ある機能部による処理結果が、他のどの機能部で利用されるかを分かり易く示したものである。
【００１７】
品質劣化エリア特定システム１０は、ウェブ表示を行うユーザ端末とネットワークを介して通信可能な装置であることを想定しているが、これは一例であり、品質劣化エリア特定システム１０はスタンドアローンの装置であってもよいし、品質劣化エリア特定システム１０の機能が、ウェブ表示を行うユーザ端末内に備えられていてもよい。
【００１８】
本実施の形態に係る品質劣化エリア特定システム１０は、例えば、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、品質劣化エリア特定システム１０が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、品質劣化エリア特定システム１０で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
【００１９】
（品質劣化エリア特定システム１０により実行される処理の詳細）
図２は、品質劣化エリア特定システム１０の処理手順を示すフローチャートである。図２に示す手順に沿って、品質劣化エリア特定システム１０における各機能部が実行する処理の例を詳細に説明する。
【００２０】
＜ステップＳ１０１：表示待ち時間データの収集＞
ステップＳ１０１において、表示待ち時間データ収集部１１が、ユーザ端末（スマートフォン等）等から、ウェブ表示待ち時間の実測値と、セルID（セクタ情報）、時刻（年月日・時分秒等）、URL等を収集し、データ記憶部１６に格納する。なお、ウェブ表示待ち時間とは、ユーザ端末上で、対象のウェブページへのリンクをクリックしてから、当該ウェブページが表示されるまでの時間である。ただし、よりネットワーク品質と対応する、ウェブページへのリンクをクリックしてから、当該ウェブページの転送が完了するまでの時間などと定義してもよい。
【００２１】
図３に、表示待ち時間データ収集部１１により収集されたデータの一例を示す。図３に示すように、この例では、インデックス（idx）毎（表示待ち時間の計測毎）に、表示待ち時間（LoadTime_sec）、セルID（CID）、時刻（DataHour）、URLが収集される。データ収集には、非特許文献１等に記載された既存技術を利用することを想定するが、これに限定されるわけではない。
【００２２】
また、ユーザ端末からデータを収集するのではなく、通信事業者・ウェブサイト管理者等がアクセス可能なデータで代替してもよい。更に、URLを収集する代わりに、特定のURLにアクセスさせ、そのデータを収集してもよいし、特定のURLにアクセスした場合にのみデータを収集してもよい。こうすることによって、各ユーザがどのサイトを閲覧したのかというプライバシーに関わる情報を極力排除できる。図３は、特定のURLへのアクセスに対して収集されたデータの例を示している。１つの特定のURLを対象とする場合、対象のURLはわかっているので、URLのデータを記録しなくてもよい。
【００２３】
＜ステップＳ１０２：ネットワークデータの収集＞
ステップＳ１０２において、ネットワークデータ収集部１２が、ユーザ端末（スマートフォン等）等から、ネットワークデータと、セルID（セクタ情報）、計測を行った時刻（年月日・時分秒等）、URL等を収集し、データ記憶部１６に格納する。ここで収集するデータは、ネットワーク品質の調査を目的とするものであり、ネットワークデータは、対象URLのコンテンツを提供するサーバとユーザ端末との間のネットワークにおけるネットワーク品質に相当するデータである。
【００２４】
図４に、ネットワークデータ収集部１２により収集されたデータの一例を示す。ここでは、間欠転送で得られるデータの例を示している。より具体的には、ユーザ端末が、対象URLのサイトから2MBのファイルを20秒おきに10回ダウンロードし、そのスループットと損失率をネットワークデータとして収集している。１回のダウンロードにおけるスループットは、ファイル転送の開始時刻、ファイル転送の終了時刻、及び転送量から、（転送量／（終了時刻−開始時刻））から得られる。なお、転送の途中で切断があった場合は、スループットは計算せず、転送失敗としてカウントする。転送失敗の回数を、転送回数で除算した値を、損失率として求める。例えば、１０回のダウンロードのうち、４回成功し、６回失敗した場合には、損失率は0.6となる。
【００２５】
図４の例では、インデックス（idx）毎（１回の計測毎）に収集されたスループット（throughput_MB）が、セルIDと時刻（slot(CID_DataHour)）とともに示されている。なお、URLは図３に示したURLと同じであるが、図４には図示していない。また、損失率（connection_error_rate）は図４に示されていないが、上記の算出方法で算出された損失率が収集されている。
【００２６】
上記のようにしてネットワークデータを収集することは一例に過ぎない。例えば、ユーザ端末に、対象URLに対応するサーバに対してPINGを発出させ、その応答速度（RTT: Round trip time）や損失率等を収集してもよいし、RSSI, RSRP, RSRQ等の無線品質を合わせて収集してもよい。
【００２７】
＜ステップＳ１０３：表示待ち時間推定のためのモデルを生成＞
ステップＳ１０３では、表示待ち時間推定モデル生成部１３が、表示待ち時間データ収集部１１で収集したデータと、ネットワークデータ収集部１２で収集したデータのそれぞれに対して、セルID、時刻（1時間単位等）、URLの単位で統計量（例：最大、最小、平均、中央・percentile値等）を計算する。
【００２８】
図５に、表示待ち時間推定モデル生成部１３が計算した統計量の一例を示す。これらの統計量は、表示待ち時間推定モデル生成に利用できると想定される統計量の一例である。
【００２９】
図５に示す例では、表示待ち時間データとネットワークデータに、セルID、時刻（1時間単位のタイムスタンプ）、URLから生成される識別IDを付与し、識別ID毎の統計量を計算している。なお、特定のURLを用いる場合等では、識別IDにURLを含めなくてもよい。
【００３０】
上記のように、図５に示す例では、セルID、時刻、及びURLの単位で統計量を計算するため、CIDとタイムスタンプ、URLの一部によって構成されるslot列（A_20150901_18_blog.example、B_20150901_18_blog.example）を生成しているが、他の単位に基づいて統計量を計算してもよい。
【００３１】
また、図５に示す例では、統計量として、表示待ち時間の80%-tile値（LoadTime_80%-tile_sec）、スループットの最大値（Throughput_MAX_MB）、スループットの中央値（Throughput_MEDIAN_MB）等を例示しているが、これらは例に過ぎない。表示待ち時間推定モデル生成部１３は、統計量の組み合わせによってネットワークデータから表示待ち時間を推定する推定モデルを生成するが、その組み合わせに使用する統計量については、様々な組み合わせを用いてモデル生成を試行し、ネットワークデータによる表示待ち時間の推定に最も適した組み合わせに係る統計量をそれぞれ採択することとしている。より具体的な例については後述する。生成されたモデル（例：関数、テーブル等）は、データ記憶部１６に格納され、表示待ち時間の推定に利用される。
【００３２】
上記のように、本実施の形態では、統計量を利用することでモデルを生成している。その理由は以下のとおり、モバイルネットワーク品質の変動への対応のためである。
【００３３】
すなわち、表示待ち時間データ収集部１１で収集されるデータが計測された（例：ウェブ・ブラウジングが実行された）タイミング及び端末は、ネットワークデータ収集部１２で収集されるデータが計測された（例：2MBのファイルを20秒おきにダウンロードした）タイミング及び端末とは異なる。そして、モバイルネットワークの品質は、タイミングや端末によって大きく変動すると予想される。そのため、例えば表示待ち時間データ収集部１１で収集したデータのタイムスタンプと、ネットワークデータ収集部１２で収集したデータのタイムスタンプを比較し、最も近い時刻のデータを突合して、ネットワークデータからウェブ表示待ち時間を推定するモデルを作成しようとすると、推定精度が高まらないと予想される。一方、本実施の形態のように、統計量を利用することにより、わずかな時間差でのネットワーク品質変動の推定精度への影響を緩和できるため、推定精度が高まると期待される。
【００３４】
＜ステップＳ１０４：表示待ち時間の推定値を算出＞
ステップＳ１０４において、表示待ち時間推定部１４は、ネットワークデータ収集部１２で収集したデータを、表示待ち時間推定モデル生成部１３で生成された表示待ち時間推定モデルに入力し、セルID、時刻（例：1時間単位）、及びURLの単位で表示待ち時間の推定値を算出する。算出される表示待ち時間は、各セルID、時刻、URLにおける複数回の表示待ち時間計測結果の統計量（80%-tile値等）で示されることを想定するが、これに限定しない。
【００３５】
なお、本ステップにおいてネットワークデータ収集部１２で収集したデータは、モデル生成のために収集したデータとは異なるデータであることを想定するが、これに限られず、モデル生成のため収集したデータを本ステップで用いてもよい。
【００３６】
＜ステップＳ１０５：品質劣化エリアを提示＞
ステップＳ１０５では、品質劣化エリア特定部１５が、表示待ち時間データ収集部１１で収集された実測表示待ち時間、及び、表示待ち時間推定部１４で推定された表示待ち時間のそれぞれについて、予め指定した閾値との比較を行い、閾値を超える（もしくは、"閾値以上"でもよい）表示待ち時間に対応付られているセルID・時刻を、品質劣化エリアとして提示（出力）する。すなわち、閾値を超える実測表示待ち時間については、当該実測が行われたセルID・時刻（又は時間帯）を出力する。閾値を超える推測表示待ち時間については、推測表示待ち時間が得られたネットワークデータの計測が行われたセルID・時刻を出力する。
【００３７】
図６に、閾値を7秒（80%-tile値）と設定した場合に提示される情報の一例を示す。この例では、実測表示待ち時間データが存在する場合は実測表示待ち時間データが閾値を超えているかどうかを判定し、実測表示待ち時間が存在せず、推定表示待ち時間が存在する場合は推定表示待ち時間が閾値を超えているかどうかを判定することとしている。
【００３８】
図６に示す例は、推定モデル作成のために収集した実測表示待ち時間データが存在するのであれば、それを有効活用するという考え方に基づく。ただし、これは一例であり、これに限定せず、実測表示待ち時間を使用しない等でも構わない。
【００３９】
（表示時間推定モデルの詳細例）
以下では、上記のステップＳ１０３において説明した表示時間推定モデルについて、より詳細に説明する。
【００４０】
前述したステップＳ１０２のネットワークデータ収集において、例えば、20秒おきに10回スループットを2セット計測したとき、計測結果が図７と図８のようになったとする。図７に示す計測結果をパターンAと呼び、図８に示す計測結果をパターンBと呼ぶことにする。図７、図８は説明を分かり良くするために単純な例を示しており、いずれもスループットが1と10からなる。
【００４１】
図７、図８に示すとおり、パターンA、Bのいずれもスループットの10%-tile値は1である。そして、図９に示すように、スループットの10%-tile値とウェブ表示待ち時間の90%-tile値の関係を示したとする。
【００４２】
図９における1つの点は、1つのセルID、時刻（1時間単位）、URLの組み合わせ（以下、グループ）において測定された複数データから得られた統計量の組（スループットの10%-tile値とウェブ表示待ち時間の90%-tile値）を示す。図７のパターンAに対応するデータは破線の丸枠、図８のパターンBに対応するデータは実線の丸枠で示されている。
【００４３】
このとき、前述したステップＳ１０４、Ｓ１０５の処理に関連して、例えばウェブ表示待ち時間の90%-tile値が10秒以上となるグループを検出することを考える。そのために、例えば、表示待ち時間推定モデル生成部１３は、図１０に示すように、パターンA、及びパターンBに対する10%-tile値、中央値、10%-tile値／中央値、表示待ち時間（90%-tile値）のデータからなる表を作成する。
【００４４】
図１０に示すように、パターンA、Bはいずれも10%-tile値は同じだが、表示待ち時間がパターンAは20.0秒、パターンBは8.5秒である。また、中央値に示されるように、パターンAはスループットが低い場合が多く、パターンBはスループットが高い場合が多い。これがウェブ表示待ち時間に影響していると考えられる。
【００４５】
そこで、本例では、このような10回のスループットデータの分布を加味するため、単純な分散／標準偏差ではなく、スループットの10%-tile値を中央値で除算した値を求める。この値は、パターンAは1、パターンBは0.1となる。この値とウェブ表示待ち時間との関係を分析することにより、表示待ち時間を推定するモデルを作成することができる。
【００４６】
つまり、一例として、表示待ち時間推定モデル生成部１３は、ステップＳ１０１、Ｓ１０２で得られたデータを用いて、複数のグループ（セルID、時刻（1時間単位）、URLの組み合わせ）のそれぞれについて、スループット（10%-tile値／中央値）と表示待ち時間（90%-tile値）との組み合わせを算出し、スループット（10%-tile値／中央値）を横軸とし、表示待ち時間（90%-tile値）を縦軸とするグラフにプロットし、プロット点に近似される曲線を、例えば、スループット（10%-tile値／中央値）を変数とした、表示待ち時間（90%-tile値）を出力する関数に当てはめることで、当該関数をモデルとして使用することができる。
【００４７】
例えば、表示待ち時間推定部１４は、新たに測定されたネットワークデータから（10%-tile値／中央値）を求め、当該（10%-tile値／中央値）を上記関数に入力することで、当該新たに測定されたネットワークデータのグループ（セルID、時刻等）に対応する表示待ち時間（90%-tile値）を推定できる。
【００４８】
そして、品質劣化エリア推定部１５が、例えば、表示待ち時間（90%-tile値）が１０秒以上であれば、「遅延あり」（劣化であり）と判定することで、該当するネットワークデータのグループのセルID、時刻（時間帯）等を劣化エリアとして出力できる。図１１は、推定結果の一例を示す。なお、図１１は、計測されたスループット（10%-tile値）と、推定された表示待ち時間（90%-tile値）とに該当する点に各グループをマッピングした図であると解釈してよい。
【００４９】
（表示待ち時間推定方法の他の例）
次に、表示待ち時間推定方法の他の例について説明する。まず、例えば、所定のURLについて、同じ場所（セクタ等）で1時間に30回、2MBのファイルをダウンロードし、そのスループットを計測する。計測結果はネットワークデータ収集部１２により収集され、記録される。また、上記の計測において、ダウンロードに失敗した（Timed out, 切断など）場合は、計測失敗とカウントし、計測失敗回数を計測回数で除算した値を損失率として求め、記録する。
【００５０】
また、上記のネットワークデータ収集と同時に、上記と同じ場所で、上記ダウンロードを行う端末とは別の端末で上記URLのウェブページを繰り返し読み込み、ウェブ表示待ち時間（以下、表示待ち時間）を計測する。計測結果は表示待ち時間データ収集部１１により収集され、記録される。
【００５１】
本例では、上記の1時間を1スロットと呼ぶことにする。つまり、1スロットには、スループット（３０回のうち、測定できた回数のスループットデータ）と、損失率と、複数回の表示待ち時間のデータとが含まれる。
【００５２】
上記のような測定を、例えば、複数の場所、複数の時間で行うことで、複数のスロットが得られる。
【００５３】
ここで、例えば、あるスロットは表示待ち時間が5秒以上かかる（おそらくユーザが不満を覚える）データが多数含まれ、あるスロットは5秒以上かかるデータが存在しない。前者のように、表示待ち時間が長いことが多いスロット（つまり、場所と時間）を、スループットと損失率から判定することを考える。
【００５４】
本例では、まず、「表示待ち時間が長いことが多いスロット(bad)」＝「表示待ち時間が5秒以上のデータが7%以上含まれるスロット」と定義する。また、「表示待ち時間が長いことがないスロット(good)」＝「表示待ち時間が5秒以上のデータが0%のスロット」、「表示待ち時間が長いことが少ないスロット(normal)」＝「badとgood以外のスロット」とする。
【００５５】
そして、表示待ち時間推定モデル生成部１３が、good/bad/normalスロットと、「スロット内のスループット2Mbps未満率」・「損失率」との関係を求める。ここでは、例えば、図１２に示すような関係が得られたとする。
【００５６】
図１２に示すように、「スループット2Mbps未満率が35%以上のスロット」かつ「損失率9%以上のスロット」を表示待ち時間が長いことが多いスロットと判定することができる。このときのbad検出率は80%(4/5), normal誤検出率は5%(1/20), good誤検出率は0%である。
【００５７】
一例として、表示待ち時間推定部１４あるいは品質劣化エリア特定部１５は、ネットワークデータ収集部１２で得られた新たなネットワークデータから、「スループット2Mbps未満率が35%以上のスロット」かつ「損失率9%以上のスロット」を検出することで、当該スロットに該当する場所・時間は、表示待ち時間が長いことが多い、と推定する。
【００５８】
（実施の形態のまとめ）
以上、説明したように、本実施の形態によれば、モバイル通信サービスにおける品質劣化エリアを特定する品質劣化エリア特定システムであって、端末におけるウェブサイトの表示待ち時間データを、当該端末が接続していたエリアの情報とともに収集する表示待ち時間データ収集部と、端末の通信に関するネットワーク品質を示すネットワークデータを、当該端末が接続していたエリアの情報とともに収集するネットワークデータ収集部と、前記表示待ち時間データ収集部により収集された表示待ち時間データの統計量と、前記ネットワークデータ収集部で収集したネットワークデータの統計量とに基づいて、ネットワークデータを入力値として、推定表示待ち時間を出力するためのモデルを生成する表示待ち時間推定モデル生成部と、ネットワークデータを、前記モデルに入力し、推定表示待ち時間を出力する表示待ち時間推定部と、前記推定表示待ち時間と、予め設定された閾値とを比較し、当該閾値を超える推定表示待ち時間に対応するネットワークデータが計測されたエリアの情報を出力する品質劣化エリア特定部とを備える品質劣化エリア特定システムが提供される。
【００５９】
前記品質劣化エリア特定部は、前記表示待ち時間データ収集部で収集された表示待ち時間と、前記閾値とを比較し、当該閾値を超える表示待ち時間が計測されたエリアの情報を出力することとしてもよい。
【００６０】
前記表示待ち時間推定モデル生成部は、前記表示待ち時間データと前記ネットワークデータについて、同じエリア及び所定単位の時刻で計測されたデータを１グループとして、グループ毎に前記表示待ち時間データの統計量と前記ネットワークデータの統計量を計算し、グループ毎の統計量の組み合わせによって前記モデルを生成することとしてもよい。
【００６１】
前記表示待ち時間推定モデル生成部は、前記モデルの生成に使用する前記ネットワークデータの統計量として、スループットの所定パーセンタイル値を中央値で除算した値を使用することとしてもよい。
【００６２】
本実施の形態における品質劣化エリア特定システムにより、ネットワーク品質が劣化しているセクタ等のエリア及び時間帯を特定できる。更に、品質劣化エリア特定システムで検知された品質劣化セクタに接続されたユーザは、ウェブ表示が遅延していると予測されるため、該当するセクタを優先的に改修することでユーザ満足度の低下を抑えられる。
【００６３】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００６４】
１０  品質劣化エリア特定システム
１１  表示待ち時間データ収集部
１２  ネットワークデータ収集部
１３  表示待ち時間推定モデル生成部
１４  表示待ち時間推定部
１５  品質劣化エリア特定部
１６  データ記憶部
【図１】
0006276240.tif 000002
【図２】
0006276240.tif 000003
【図３】
0006276240.tif 000004
【図４】
0006276240.tif 000005
【図５】
0006276240.tif 000006
【図６】
0006276240.tif 000007
【図７】
0006276240.tif 000008
【図８】
0006276240.tif 000009
【図９】
0006276240.tif 000010
【図１０】
0006276240.tif 000011
【図１１】
0006276240.tif 000012
【図１２】
0006276240.tif 000013