(57)【特許請求の範囲】
【請求項１】
情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理について測定又は評価されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を取得する測定情報取得部と、
前記取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、前記各個別処理について前記パケット転送遅延時間と前記QoE評価値との間の相関を示す推定モデルを作成する推定モデル作成部と、
前記個別処理に対するQoE推定要求の受付に応答して、前記測定情報取得部に前記個別処理のパケット転送遅延時間の測定値を取得させ、前記作成された推定モデルに基づき、前記取得したパケット転送遅延時間の測定値に対応するQoE推定値を決定するQoE推定部と、
を有するQoE推定装置。
【請求項２】
前記推定モデル作成部は、
前記取得したパケット転送遅延時間とレスポンスタイムとを統計処理することによって、前記各個別処理について前記パケット転送遅延時間と前記レスポンスタイムとの間の相関を示すレスポンスタイム推定モデルを作成するレスポンスタイム推定モデル作成部と、
前記取得したレスポンスタイムとQoE評価値とを統計処理することによって、前記各個別処理について前記レスポンスタイムと前記QoE評価値との間の相関を示すQoE推定モデルを作成するQoE推定モデル作成部と、
を有する、請求項１記載のQoE推定装置。
【請求項３】
前記レスポンスタイム推定モデル作成部は、前記各個別処理のパケット転送遅延時間とレスポンスタイムとの測定値の複数のペアについて回帰分析を実行し、前記回帰分析から導出された回帰式を前記レスポンスタイム推定モデルとして決定する、請求項２記載のQoE推定装置。
【請求項４】
前記レスポンスタイム推定モデル作成部は、前記パケット転送遅延時間について複数のレスポンスタイムの測定値を取得し、前記取得したレスポンスタイムの測定値の平均値と前記パケット転送遅延時間との間の相関を示す第１回帰式と、前記平均値に所定の信頼度の信頼幅を加えた統計値と前記パケット転送遅延時間との間の相関を示す第２回帰式とを導出し、
前記QoE推定部は、前記レスポンスタイムが前記パケット転送遅延時間以外の影響を受ける可能性に応じて、前記第１回帰式と前記第２回帰式とを選択的に利用する、請求項３記載のQoE推定装置。
【請求項５】
前記QoE推定部は、前記レスポンスタイムの変動に対する前記QoE評価値の変動の程度にさらに応じて、前記第１回帰式と前記第２回帰式とを選択的に利用する、請求項４記載のQoE推定装置。
【請求項６】
前記QoE推定モデル作成部は、前記各個別処理のレスポンスタイムの測定値とQoE評価値との複数のペアについて回帰分析を実行し、前記回帰分析から導出された回帰式を前記QoE推定モデルとして決定する、請求項２乃至５何れか一項記載のQoE推定装置。
【請求項７】
QoE推定装置により実行されるQoE推定方法であって、
情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理について測定又は評価されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を取得するステップと、
前記取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、前記各個別処理について前記パケット転送遅延時間と前記QoE評価値との間の相関を示す推定モデルを作成するステップと、
前記個別処理に対するQoE推定要求の受付に応答して、前記個別処理のパケット転送遅延時間の測定値を取得するステップと、
前記作成された推定モデルに基づき、前記取得したパケット転送遅延時間の測定値に対応するQoE推定値を決定するステップと、
を有するQoE推定方法。
【請求項８】
情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理について測定又は評価されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を取得するステップと、
前記取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、前記各個別処理について前記パケット転送遅延時間と前記QoE評価値との間の相関を示す推定モデルを作成するステップと、
前記個別処理に対するQoE推定要求の受付に応答して、前記個別処理のパケット転送遅延時間の測定値を取得するステップと、
前記作成された推定モデルに基づき、前記取得したパケット転送遅延時間の測定値に対応するQoE推定値を決定するステップと、
をプロセッサに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報通信サービスのユーザ体感品質（QoE: Quality of Experience）を評価及び管理するための技術に関する。
【背景技術】
【０００２】
モバイルネットワークやクラウドコンビューティングを利用して、データや映像、音響等をIP技術を用いて通信する情報通信サービスが提供されている。ユーザに快適な情報通信サービスを提供するためには、ユーザが体感する品質(QoE: Quality of Experience)を適切に監視・管理することが重要視されている。情報通信サービスの品質を評価する指標の１つとして、ユーザがサービス開始要求をしてから応答結果を知覚するまでの応答時間（レスポンスタイム）が利用される。
【０００３】
ITU-T勧告G.1030（非特許文献１）では、データアプリケーション（具体的には、Web閲覧)のレスポンスタイムに対するQoE（5段階（5:非常に良い、4:良い、3:普通、2:悪い、1:非常に悪い）の平均評点）の推定手法が勧告されている。本勧告では、Web閲覧での「検索サイト表示要求」、「検索サイト表示」、「検索開始要求」及び「検索結果表示」の単純化された作業フローに対して、レスポンスタイムが、ユーザ要求からサーバ応答（データ）がユーザ端末に戻るまでの処理時間と、ユーザ端末での表示時間との２つに分類される。そして、各処理のレスポンスタイム（「検索サイト表示要求」からサーバ応答がユーザ端末に戻るまでの時間、サーバ応答が戻ってから検索サイトがユーザ端末に表示されるまでの時間、検索開始要求からサーバ応答がユーザ端末に戻るまでの時間、サーバ応答が戻ってから検索結果が表示されるまでの時間）に対して重みづけを行い、重みづけされたレスポンスタイムを入力としてQoEを推定する手法が勧告されている。
【０００４】
また、非特許文献２に記載されるように、同じレスポンスタイムであってもWebアクセス、電話、電子メール、ファイルダウンロードといったサービス(アプリケーション)の種類によりQoEが異なることが報告されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ITU-T Recommendation G.1030 "Estimating end-to-end performance in IP networks for data applications" Nov. 2005
【非特許文献２】「待ち時間に対する満足度を考慮したアプリケーション分類に関する一検討」信学技報IEICE Technical Report CQ2010-15(2010-4)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、情報通信サービスに対するQoEは、サービス(アプリケーション)の種類の違いのみではなく、同一サービス内で発生する様々な個別処理に応じて異なると考えられる。例えば、メールアプリケーション（Webメールやクラウドコンビューティングを利用したメールアプリケーション等）では、「アプリケーションの起動」、「ログイン」、「メール受信」、「メール送信」、「アドレス検索」等の異なる処理が実行されるが、各処理のレスポンスタイムに対するユーザの許容度やQoEは、同じレスポンスタイムであっても異なると考えられる。例えば、「アプリケーションの起動」に多少時間がかかってもユーザは許容する傾向にあるが、「アドレス検索」に時間がかかった場合、ユーザはこの遅延を許容しない傾向があると想定される。また、各個別処理のレスポンスタイムのうち、アプリケーションのタイプや実行のタイミングによって変動する可能性のあるユーザ端末での表示時間やサーバにおける処理時間は、容易に測定できないケースが多い。
【０００７】
従来技術では、ユーザ端末での表示時間やサーバでの処理時間を含めたレスポンスタイムが測定できる場合においてのみ、情報通信サービスの一連の処理シーケンス全体のレスポンスタイムに対して１つのQoEを推定できるが、同一サービスを構成する異なる個別処理ごとのレスポンスタイムに対するQoEを推定することはできなかった。また、ユーザ端末での表示時間やサーバでの処理時間を含めたレスポンスタイムを測定できない場合、QoEを推定することはできなかった。一般に、パケット転送遅延時間は、測定装置を利用することによって容易に測定可能である一方、個別処理のレスポンスタイムは、上述した理由により取得することが相対的に困難である。また、各個別処理のレスポンスタイムに対するQoE評価値は、ユーザや評価者から収集する必要があるため、さらに取得が困難であると想定される。
【０００８】
上記問題点に鑑み、本発明の１つの課題は、情報通信サービスの一連の処理過程における各個別処理に対するQoEをパケット転送遅延時間から推定するための技術を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様は、情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理について測定又は評価されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を取得する測定情報取得部と、前記取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、前記各個別処理について前記パケット転送遅延時間と前記QoE評価値との間の相関を示す推定モデルを作成する推定モデル作成部と、前記個別処理に対するQoE推定要求の受付に応答して、前記測定情報取得部に前記個別処理のパケット転送遅延時間の測定値を取得させ、前記作成された推定モデルに基づき、前記取得したパケット転送遅延時間の測定値に対応するQoE推定値を決定するQoE推定部とを有するQoE推定装置に関する。
【発明の効果】
【００１０】
本発明によると、情報通信サービスの一連の処理過程における各個別処理に対するQoEをパケット転送遅延時間から推定するための技術を提供することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の一実施例による情報通信システムを示す概略図である。
【図２】図２は、パケット転送遅延測定装置から出力される一例となる測定情報を示す図である。
【図３】図３は、本発明の一実施例によるQoE推定装置の構成を示すブロック図である。
【図４】図４は、メールサービスに対する測定情報を格納する一例となるデータ構造を示す図である。
【図５】図５は、メールサービスに対する測定情報を格納する他の例となるデータ構造を示す図である。
【図６】図６は、レスポンスタイムの平均値推定モデルの一例を示す図である。
【図７】図７は、レスポンスタイムの95%値推定モデルの一例を示す図である。
【図８】図８は、レスポンスタイム推定モデルの一例を示す図である。
【図９】図９は、レスポンスタイムとQoE評価値との間の相関を示す図である。
【図１０】図１０は、QoE推定モデルの一例を示す図である。
【図１１】図１１は、レスポンスタイムの変動に対するQoE評価値の変動の程度を示す図である。
【図１２】図１２は、レスポンスタイムの平均値推定モデルを利用したQoE推定を示す図である。
【図１３】図１３は、レスポンスタイムの95%値推定モデルを利用したQoE推定を示す図である。
【図１４】図１４は、本発明の一実施例によるQoE推定処理を示すフロー図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１３】
後述される本発明の実施例を概略すると、QoE推定装置は、ユーザ端末に情報通信サービスを提供するため実行される処理シーケンスの各個別処理について、予め取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、各個別処理のパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを予め作成する。作成した推定モデルを利用して、QoE推定装置は、その後のQoE推定要求に対して、入手及び測定困難なレスポンスタイム及びQoE評価値を取得する必要なく相対的に容易に取得可能なパケット転送遅延時間のみから各個別処理のレスポンスタイムに対するQoE推定値を取得することが可能になる。
【００１４】
まず、図１を参照して、本発明の一実施例による情報通信システムを説明する。図１は、本発明の一実施例による情報通信システムを示す概略図である。
【００１５】
図１に示されるように、情報通信システム１０は、ユーザ端末５０、QoE推定装置１００、レスポンスタイム測定装置２００、パケット転送遅延測定装置２５０、情報通信サービス提供サーバ３００、ネットワーク３５０、網品質制御装置４００及び情報通信サービス品質監視サーバ４５０を有する。
【００１６】
ユーザ端末５０は、例えば、デスクトップPC (Personal Computer)、ノートPC、タブレット、スマートフォンなどであり、ネットワーク３５０を介し情報通信サービス提供サーバ３００や他のネットワーク装置と通信し、ユーザに対して各種情報通信サービスを提供する。図示された実施例では、１つのユーザ端末５０しか示されていないが、典型的には、複数のユーザ端末５０があってもよい。
【００１７】
ユーザ端末５０は、典型的には、補助記憶装置、メモリ装置、CPU（Central Processing Unit）、通信装置、表示装置、入力装置などの各種ハードウェアリソースから構成される。補助記憶装置は、ハードディスクやフラッシュメモリなどから構成され、ユーザ端末５０における各種処理を実現するためのプログラムやデータを格納する。これらのプログラム及びデータは、例えば、ネットワーク３５０上の各種サーバからダウンロードされてもよく、又はユーザ端末５０のインタフェースに接続された記憶媒体から提供されてもよい。メモリ装置は、RAM（Random Access Memory）などから構成され、プログラムの起動指示があった場合に、補助記憶装置からプログラムを読み出して格納する。CPUは、情報を処理するプロセッサとして機能し、メモリ装置に格納されたプログラムを実行することによって、ユーザ端末５０における各種機能を実現する。通信装置は、QoE推定装置１００や情報通信サービス提供サーバ３００などの他の装置に接続するための各種通信回路から構成される。表示装置は、ディスプレイなどから構成され、ネットワーク３５０を介し受信したコンテンツやプログラムによるGUI（Graphical User Interface）等を表示する。入力装置は、典型的には、操作ボタン、タッチパネル、キーボード、マウス等で構成され、ユーザ端末５０のユーザが様々な操作命令を入力するのに用いられる。なお、ユーザ端末５０は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成を有してもよい。
【００１８】
QoE推定装置１００は、情報通信サービス提供サーバ３００によってユーザ端末５０に提供される情報通信サービスのレスポンスタイムに対するユーザ体感品質(QoE)を推定する。ここで、情報通信サービスのレスポンスタイムとは、情報通信システム１０において、当該情報通信サービスに対するユーザのサービス開始要求から、応答結果がユーザに知覚されるまでの時間として定義される。典型的には、情報通信サービスのレスポンスタイムは、要求された情報通信サービスを提供するための情報通信サービス提供サーバ３００の処理時間、ユーザ端末５０と情報通信サービス提供サーバ３００との間のパケット転送遅延時間、及びユーザ端末５０における表示に係る処理時間から構成される。
【００１９】
例えば、メールサービスが評価対象の情報通信サービスである場合、メールサービスを提供するため実行される処理シーケンスは、「メーラ起動」、「ログイン」、「メール受信」、...、「メール作成」、「メール送信」及び「ログアウト」の複数の個別処理から構成される。QoE推定装置１００は、レスポンスタイム測定装置２００、パケット転送遅延測定装置２５０及びユーザ端末５０の１以上から各個別処理i (i=1, 2, ..., n)についてレスポンスタイムＴiの測定値、パケット転送遅延時間の測定値及びQoE評価値dQoEiを予め取得し、これらの測定情報を統計処理することによって、各個別処理についてパケット転送遅延時間とQoE評価値dQoEiとの間の相関を示す推定モデルを予め作成する。その後、個別処理に対するQoE推定要求を受け付けると、QoE推定装置１００は、作成した推定モデルを利用して、レスポンスタイムを取得することなく、相対的に測定が容易なパケット転送遅延時間からQoE推定値を迅速に導出することが可能になる。
【００２０】
図示された実施例では、QoE推定装置１００は、ユーザ端末５０に通信接続された独立した装置として示され、後述されるQoE推定処理を実現するためのCPU、補助記憶装置、メモリ装置、通信装置などのハードウェアリソースから構成される。しかしながら、本発明のQoE推定装置１００は、これに限定されるものでなく、例えば、ユーザ端末５０に組み込まれてもよい。この場合、QoE推定装置１００は、例えば、ユーザ端末５０上で実行されるコンピュータプログラムにより実現されてもよい。
【００２１】
レスポンスタイム測定装置２００は、情報通信サービス提供サーバ３００によってユーザ端末５０に提供される情報通信サービスのレスポンスタイムを測定する。より詳細には、レスポンスタイム測定装置２００は、評価対象の情報通信サービスを提供するために実行される処理シーケンスの各個別処理の処理時間として定義された処理別レスポンスタイムを測定すると共に、当該処理シーケンス全体の全体レスポンスタイムを測定する。
【００２２】
例えば、レスポンスタイム測定装置２００は、以下の手順により情報通信サービスを提供するため実行される処理シーケンスの各個別処理のレスポンスタイムを測定する。すなわち、レスポンスタイム測定装置２００は、（ａ）情報通信サービスの各個別処理に対するレスポンスタイムを測定するため、ユーザ端末５０の操作ログを受信する。ここで、操作ログとは、例えば、ブラウザのログ等でマウスクリックなどにより測定開始した時刻、情報通信サービス配信サーバ３００からの応答がユーザ端末５０の画面上に表示された時刻等である。次に、レスポンスタイム測定装置２００は、（ｂ）受信したユーザ端末５０の操作ログを用いて、各個別処理ごとに分割してレスポンスタイムを算出する。さらに、レスポンスタイム測定装置２００は、算出したレスポンスタイムの情報を測定開始及び測定終了の時刻情報を付与して保存する。図示された実施例では、レスポンスタイム測定装置２００は、ユーザ端末５０に通信接続された独立した装置として示されているが、本発明はこれに限定されるものでなく、レスポンスタイム測定装置２００は、例えば、ユーザ端末５０に組み込まれてもよい。
【００２３】
パケット転送遅延測定装置２５０は、ユーザ端末５０とネットワーク側との間でやりとりされる各種パケットの転送時間を測定する。例えば、パケット転送遅延測定装置２５０は、以下の手順により情報通信サービスのパケットの転送時間を測定する。すなわち、パケット転送遅延測定装置２５０は、（ａ）情報通信サービスのデータストリームを受信し、測定対象ストリーム（パケット）を特定する。測定対象ストリームの特定は、予めパケット転送遅延測定装置２５０に設定された識別情報（例えば、IPアドレスやポート番号等）と、受信したデータストリームの各パケットのヘッダ情報とを比較することで実現される。（ｂ）次に、パケット転送遅延測定装置２５０は、一定時間測定したデータストリームに含まれる複数パケットのヘッダ情報からパケット転送遅延時間を収集し、収集したパケット転送遅延時間の平均値を算出する。例えば、通信プロトコルにTCPを利用している場合、パケット転送遅延測定装置２５０は、情報通信サービスに実行処理に係るデータを含むパケットとACKパケットとを用いて、往復転送遅延時間(RTT)を測定してもよい。（ｃ）次に、パケット転送遅延測定装置２５０は、例えば、図２に示されるように、算出したパケット転送遅延時間の平均値に測定した区間の開始・終了に関する時刻の情報と測定対象ストリームの特定に用いた識別情報（例えば、IPアドレスやポート番号等）とを付与して、QoE推定装置１００に提供してもよい。これにより、パケットに対するレスポンスタイムとパケット転送遅延時間との対応付けが可能になる。
【００２４】
情報通信サービス提供サーバ３００は、ネットワーク３５０を介しユーザ端末５０からサービス開始要求を受信すると、受信したサービス開始要求に係る情報通信サービスをネットワーク３５０を介しユーザ端末５０に提供する。情報通信サービス提供サーバ３００は、例えば、Webサービスを提供するWebサーバ、メールサービスを提供するメールサーバなどである。サービス開始要求を受信すると、情報通信サービス提供サーバ３００は、要求された情報通信サービスを提供するために各種処理を実行する。当該処理が完了すると、情報通信サービス提供サーバ３００は、要求された情報通信サービスを提供するための情報をユーザ端末５０に送信する。当該情報を受信すると、ユーザ端末５０は、受信した情報に対して表示処理などの各種処理を実行し、応答結果をユーザに表示する。当該応答結果の表示開始時点がレスポンスタイムの終了時点となる。
【００２５】
ネットワーク３５０は、インターネットや情報通信システム１０のオペレータにより運営されるネットワークなどである。ユーザ端末５０がネットワーク３５０と無線接続する場合、ネットワーク３５０は、例えば、基地局（図示せず）やアクセスポイント（図示せず）を介しユーザ端末５０と通信する。
【００２６】
網品質制御装置４００は、ユーザ端末５０においてユーザに提供される各種サービスの品質監視や品質制御等の品質管理を実行する。例えば、網品質制御装置４００は、指定されたパケット転送遅延時間に従ってネットワーク側とユーザ端末５０との間のパケット転送遅延時間を制御する。QoE推定装置１００は、様々な網品質条件下で取得したデータに基づき、後述するパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを作成することが好ましい。このため、網品質制御装置４００は、様々なパケット転送遅延時間の条件下で情報通信サービスの処理シーケンスを実行し、レスポンスタイム測定装置２００が様々なパケット転送遅延時間の下で実行された各個別処理についてレスポンスタイムを測定することを可能にする。また、このような様々な条件下で実行された各個別処理の異なるレスポンスタイムに対して、様々なQoE評価値が評価者又はユーザから取得可能となり、網品質制御装置４００は、QoE推定装置１００が多様な測定情報に基づき推定モデルを作成することを可能にする。
【００２７】
情報通信サービス品質監視サーバ４５０は、情報通信サービス提供サーバ３００により提供される情報通信サービスの品質を監視する。例えば、情報通信サービス品質監視サーバ４５０は、QoE推定装置１００から各情報通信サービスのQoE推定値を受信し、情報通信サービスの品質を示す情報として保存する。
【００２８】
次に、図３を参照して、本発明の一実施例によるQoE推定装置の構成を説明する。本実施例によるQoE推定装置１００は、レスポンスタイム測定装置２００、パケット転送遅延測定装置２５０及びユーザ端末５０から、情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理のパケット転送遅延時間の測定値、レスポンスタイムの測定値及びQoE評価値を予め取得し、取得したこれらの測定情報に基づき、各個別処理のパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを予め作成する。その後、QoE推定装置１００は、各個別処理のレスポンスタイムを取得する必要なく、作成した推定モデルを利用して取得したパケット転送遅延時間からQoE推定値を決定する。
【００２９】
図３は、本発明の一実施例によるQoE推定装置の構成を示すブロック図である。図３に示されるように、QoE推定装置１００は、測定情報取得部１１０、推定モデル作成部１２０及びQoE推定部１３０を有する。
【００３０】
測定情報取得部１１０は、情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理について測定又は評価されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を取得する。具体的には、測定情報取得部１１０は、レスポンスタイム測定装置２００、パケット転送遅延測定装置２５０及びユーザ装置５０から、パケット転送遅延時間の測定値と、当該測定と同時刻に情報通信サービスの処理シーケンスの各個別処理のレスポンスタイムと、当該レスポンスタイムに対するQoE評価値と、当該時刻の時刻情報とを取得する。典型的には、測定情報取得部１１０は、１つのパケット転送遅延時間の測定（例えば、網品質制御装置４００に設定された各網品質制御条件）に対して、複数のレスポンスタイムの測定値とQoE評価値とを取得する。これは、レスポンスタイムは、ユーザ端末の違い等を考慮して複数の利用環境で測定され、また、QoE評価値は複数の評価者によって評価されるためである。測定情報取得部１１０は、例えば、取得した測定情報を図４及び図５に示されるようなデータ形式により管理し、これらの測定情報を推定モデル作成部１２０に提供する。
【００３１】
推定モデル作成部１２０は、測定情報取得部１１０から提供されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、各個別処理についてパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを作成する。一実施例では、推定モデル作成部１２０は、レスポンスタイム推定モデル作成部１２１と、QoE推定モデル作成部１２２とを有する。
【００３２】
レスポンスタイム推定モデル作成部１２１は、取得したパケット転送遅延時間とレスポンスタイムとを統計処理することによって、各個別処理についてパケット転送遅延時間とレスポンスタイムとの間の相関を示すレスポンスタイム推定モデルを作成する。一実施例では、レスポンスタイム推定モデル作成部１２１は、各個別処理のパケット転送遅延時間とレスポンスタイムとの測定値の複数のペアについて回帰分析を実行し、回帰分析から導出された回帰式をレスポンスタイム推定モデルとして決定してもよい。
【００３３】
具体的には、レスポンスタイム推定モデル作成部１２１は、以下の手順によりパケット転送遅延時間を入力として、情報通信サービスの処理シーケンスの各個別処理のレスポンスタイムを推定するレスポンスタイム推定モデルを作成する。まず、レスポンスタイム推定モデル作成部１２１は、測定情報取得部１１０から、各個別処理について測定されたパケット転送遅延時間と、当該パケット転送遅延時間に対する複数のレスポンスタイムとを取得する。当該パケット転送遅延時間は、情報通信サービスの処理シーケンスに対して複数回測定されたパケット転送時間の平均値であるため、複数回の測定に関連して複数のレスポンスタイムが取得されるためである。
【００３４】
次に、レスポンスタイム推定モデル作成部１２１は、各パケット転送遅延時間について、対応する複数のレスポンスタイムの平均値と信頼度95%の信頼幅（95%信頼幅）とを算出し、算出したレスポンスタイムの平均値に算出した95%信頼幅を加算した値を95%値として導出する。なお、本発明は、上述した95%信頼幅に限定されるものでなく、99%信頼度などの他の何れか所定の信頼度の信頼幅が利用されてもよい。
【００３５】
次に、レスポンスタイム推定モデル作成部１２１は、各個別処理について算出したレスポンスタイムの平均値及び95%値のデータから、平均値の回帰式と95%値の回帰式とを導出し、導出した回帰式をそれぞれ各個別処理のレスポンスタイムの平均値と95%値との推定モデルとする。回帰式の具体的な導出方法としては、最小二乗法などの何れか既知の方法が利用されてもよい。
【００３６】
メールサービスを具体例として、図６にレスポンスタイムの平均値とパケット転送遅延時間との関係を示す平均値推定モデル（回帰式）が示され、図７にレスポンスタイムの95%値とパケット転送遅延時間との関係を示す95%値推定モデル（回帰式）が示される。図示された実施例では、平均値推定モデルgi(x)と95%値推定モデルhi(x)とは何れも、a×Exp(-x/b)+cの指数関数型により表される。ここで、xはパケット転送遅延時間であり、a, b, cは個別処理(i=1, 2, ..., n)ごとに回帰分析により推定される定数値である。図５及び６の具体例では、起動（i=1）、ログイン（i=2）、メール受信（i=3）、アドレス検索（i=4）、メール送信（i=5）及びログアウト（i=6）となる。なお、本発明の平均値推定モデルgi(x)と95%値推定モデルhi(x)とは、上述した指数関数型に限定されず、レスポンスタイムとパケット転送遅延時間との相関を表すのに適した他の何れかの関数型が利用されてもよい。例えば、ax+bの線形の回帰式が利用されてもよい。また、他の実施例では、異なる関数型を適用して回帰分析を行い、導出した各回帰式を適用して算出した相関係数を比較し、相関係数が最も高い関数型が採用されてもよい。また、上述した実施例では、hi(x)として95%値推定モデルが利用されたが、本発明はこれに限定されるものでなく、99%値推定モデルなどの他の何れか所定の信頼度の推定モデルが利用されてもよい。
【００３７】
次に、レスポンスタイム推定モデル作成部１２１は、レスポンスタイムがパケット転送遅延時間以外に影響を受ける可能性が高い個別処理を特定する。レスポンスタイムがパケット転送遅延時間以外に影響を受ける可能性が高いと判定された個別処理について、平均値推定モデルgi(x)と95%値推定モデルhi(x)との２つの推定モデルのうち、95%値推定モデルhi(x)をレスポンスタイム推定モデルとして利用してもよい。これにより、QoE低下の未検出の可能性を低減することが可能になる。具体的には、レスポンスタイム推定モデル作成部１２１は、各個別処理について、パケット転送遅延時間のデータに対して算出された95%信頼幅の平均値を算出し、算出した平均値が予め設定した閾値よりも大きい処理を特定する。すなわち、回帰予測の結果が閾値より大きい個別処理が、パケット転送遅延時間以外に影響をレスポンスタイムが受ける可能性が高い個別処理として判定される。図７の具体例では、閾値が１秒に設定された場合、起動（i=1）及びログアウト(i=6)が閾値を超えており、レスポンスタイムがパケット転送遅延時間以外に影響を受ける可能性が高い個別処理として判定される。
【００３８】
上述した実施例では、レスポンスタイム推定モデル作成部１２１は、パケット転送遅延時間とレスポンスタイムとの間の相関を決定するため、パケット転送遅延時間とレスポンスタイムとの測定値について回帰分析を実行したが、本発明によるパケット転送遅延時間とレスポンスタイムとの間の相関の決定は、これに限定されず、他の何れか適切な統計処理が利用されてもよい。
【００３９】
レスポンスタイム推定モデル作成部１２１は、このように作成した平均値推定モデルgi(x)と95%値推定モデルhi(x)と、上述した95%信頼幅の平均値を用いた閾値判定結果（以下、レスポンスタイム変動判定情報RJi）とを保存する。例えば、レスポンスタイム推定モデル作成部１２１は、図８に示されるようなデータ形式により保持されてもよい。すなわち、レスポンスタイム変動判定情報（RJi）は、閾値を超えた場合は"1"に、閾値を超えていない場合は"0"として設定されてもよい。
【００４０】
QoE推定モデル作成部１２２は、取得したレスポンスタイムとQoE評価値とを統計処理することによって、各個別処理についてレスポンスタイムとQoE評価値との間の相関を示すQoE推定モデルを作成する。一実施例では、QoE推定モデル作成部１２２は、各個別処理のレスポンスタイムの測定値とQoE評価値との複数のペアについて回帰分析を実行し、回帰分析から導出された回帰式をQoE推定モデルとして決定してもよい。
【００４１】
具体的には、QoE推定モデル作成部１２２は、以下の手順によりレスポンスタイム推定モデル作成部１２１によって作成されたレスポンスタイム推定モデルを用いて推定されたレスポンスタイムを入力として、各個別処理のQoE評価値を推定するQoE推定モデルを作成する。まず、QoE推定モデル作成部１２２は、測定情報取得部１１０から各個別処理について測定されたパケット転送遅延時間に対する複数のレスポンスタイムと、当該レスポンスタイムに対するQoE評価値dQoEiとを取得する。ここで、QoE評価値は、例えば、５段階尺度(5:非常に良い、4:良い、3:普通、2:悪い、1:非常に悪い)、(5:遅延が全くわからない、4:遅延がわかるが気にならない、3:遅延がわずかに気になる、2:遅延が気になる、1:遅延が非常に気になる)により表現されてもよい。
【００４２】
次に、QoE推定モデル作成部１２２は、各パケット転送遅延時間について、対応する複数のレスポンスタイムの平均値を算出すると共に、当該レスポンスタイムの平均値に対するQoE評価値dQoEiの平均値を算出する。次に、QoE推定モデル作成部１２２は、算出したレスポンスタイムの平均値と、QoE評価値dQoEiの平均値とのデータから回帰式を導出する。回帰式の具体的な導出方法としては、最小二乗法などの何れか既知の方法が利用されてもよい。このように導出された回帰式が、各個別処理のQoE評価値dQoEiのQoE推定モデルとして決定される。メールサービスを具体例として、図９にレスポンスタイムの平均値とdQoEiの平均値との間の関係を示すdQoEi推定モデル（回帰式）が示される。図示された実施例では、dQoEi推定モデルfi(x)は、a×Exp(-x/b)+1の指数関数型により表される。ここで、xはレスポンスタイムであり、a, bは個別処理(i=1, 2, ..., n)ごとに回帰分析により推定される定数値である。QoE推定モデル作成部１２２は、導出したdQoEi推定モデルfi(x)を図１０に示されるようなデータ形式により保持してもよい。
【００４３】
なお、本発明のdQoEi推定モデルfi(x)は、上述した指数関数型に限定されず、レスポンスタイムとQoE評価値との相関を表すのに適した他の何れかの関数型が利用されてもよい。例えば、ax+bの線形の回帰式が利用されてもよい。また、他の実施例では、異なる関数型を適用して回帰分析を行い、導出した各回帰式を適用して算出した相関係数を比較し、相関係数が最も高い関数型が採用されてもよい。
【００４４】
QoE推定部１３０は、個別処理に対するQoE推定要求の受付に応答して、測定情報取得部１１０に当該個別処理のパケット転送遅延時間の測定値を取得させ、推定モデル作成部１２０により作成された推定モデルに基づき、取得したパケット転送遅延時間の測定値に対応するQoE推定値を決定する。具体的には、QoE推定部１３０は、以下の手順により情報通信サービスの処理シーケンスの各個別処理についてdQoEiを推定し、情報通信サービスのレスポンスタイムに対するQoEを監視する。すなわち、QoE推定部１３０は、測定情報取得部１１０からパケット転送遅延時間、測定対象ストリームの識別情報及び測定時刻情報を取得する。次に、QoE推定部１３０は、測定対象ストリームの識別情報に基づき、測定対象の個別処理に応じた推定モデルを推定モデル作成部１２０から取得し、取得した推定モデルにパケット転送遅延時間の平均値を入力し、dQoEiの推定値を決定する。
【００４５】
上述したように、推定モデル作成部１２０において平均値推定モデルgi(x)と95%値推定モデルhi(x)との２つの推定モデルが作成されている場合、QoE推定部１３０は、これら２つの推定モデルのうち、何れの推定モデルを利用してQoE推定値を導出するか決定する。一実施例では、QoE推定部１３０は、レスポンスタイムがパケット転送遅延時間以外の影響を受ける可能性に応じて、平均値推定モデルgi(x)と95%値推定モデルhi(x)とを選択的に利用してもよい。具体的には、QoE推定部１３０は、図８に示されるようなレスポンスタイム推定モデルを示すデータ形式の変動判定情報RJiを参照して、上述した変動判定の閾値を超えていない個別処理、すなわち、RJi=0の個別処理については、平均値推定モデルgi(x)を利用してパケット転送遅延時間に対応するレスポンスタイムの平均値を特定し、dQoEi推定モデルfi(x)において当該レスポンスタイムの平均値に対応するdQoEiを当該個別処理のQoE推定値として導出する。他方、変動判定の閾値を超えている個別処理、すなわち、RJi=1の個別処理については、95%値推定モデルhi(x)を利用してパケット転送遅延時間に対応するレスポンスタイムの平均値を特定し、導出したdQoEi推定モデルfi(x)において当該レスポンスタイムの平均値に対応するdQoEiを当該個別処理のQoE推定値として導出する。
【００４６】
一実施例では、QoE推定部１３０は、レスポンスタイムの変動に対するQoE評価値の変動の程度にさらに応じて、平均値推定モデルgi(x)と95%値推定モデルhi(x)とを選択的に利用してもよい。例えば、95%値推定モデルhi(x)を利用する場合、QoE推定部１３０はさらに、dQoEiが最大値（図９の具体例では、dQoEi=5）となるレスポンスタイムと、dQoEiが予め設定される管理目標値（例えば、dQoEi=3.5）となるレスポンスタイムとを決定し、これら２つのレスポンスタイムの差を算出する。さらに、QoE推定部１３０は、算出したレスポンスタイムの差によってdQoEiの最大値から管理目標値を減じた値（本例では、1.5(=5-3.5)）を除算した値が予め設定された判定閾値（例えば、0.5）よりも大きい場合（95%値推定モデル適用判定QJi=1）にのみ95%値推定モデルhi(x)を適用し、それ以外の場合（95%値推定モデル適用判定QJi=0）には平均値推定モデルgi(x)を適用してもよい。すなわち、QoE推定部１３０は、RJi=1かつQJi=1の場合に、95%値推定モデルhi(x)とdQoEi推定モデルfi(x)とを利用し（dQoEi=fi(hi(x))、RJi=0又はQJi=0の場合に、平均値推定モデルgi(x)とdQoEi推定モデルfi(x)とを利用する（dQoEi=fi(gi(x))。当該実施例によると、レスポンスタイムの変動に対してdQoEiが敏感に変動する個別処理に対して、レスポンスタイムを多めに見積もる推定モデルを適用することが可能になる。
【００４７】
本実施例に関連して、図１１に、上述されたメールサービスの具体例でRJi=1となった個別処理である起動（i=1）とログアウト（i=6）とに対して本実施例を適用した適用例が示される。起動(n=1)の場合はb1/a1が所定の判定閾値と比較され、ログアウト（n=6）の場合はb2/a2が所定の判定閾値と比較される。判定閾値よりも大きい場合に、当該個別処理iの95%値推定モデル適用条件がQJi=1となり、他方、小さい場合に、QJi=0となる。図１０の例では、いずれの個別処理もQJi=1となり、QoE推定部１３０は、95%値推定モデルhi(x)を適用する。図１２に、平均値推定モデルgi(x)を用いてdQoEiを推定した値と推定モデル作成に用いたdQoEiとの関係が示され、図１３に、95%値推定モデルhi(x)を用いてdQoEiを推定した値と推定モデル作成に用いたdQoEiとの関係が示される。このように、95%値推定モデルhi(x)でdQoEiを推定した場合、大きな違いが発生してしまう。このため、レスポンスタイムの変動が大きい個別処理のみに95%値推定モデルhi(x)を用いてdQoEiを推定することが好ましい。
【００４８】
次に、図１４を参照して、本発明の一実施例によるQoE推定装置におけるQoE推定処理を説明する。図１４は、本発明の一実施例によるQoE推定処理を示すフロー図である。QoE推定処理は、予め取得したパケット転送遅延時間の測定値、レスポンスタイムの測定値及びQoE評価値から、パケット転送遅延時間とQoE推定値との間の相関を示す推定モデルを作成する処理（ステップＳ１０１〜Ｓ１０２）と、作成した推定モデルに基づきパケット転送遅延時間の測定値に対してQoE推定値を決定する処理（ステップＳ１０３〜Ｓ１０４）とに大別される。
【００４９】
図１４に示されるように、ステップＳ１０１において、QoE推定装置１００は、情報通信サービスを提供するのに実行される処理シーケンスを構成する各個別処理について測定又は評価されたパケット転送遅延時間、レスポンスタイム及びQoE評価値を取得する。一実施例では、QoE推定装置１００は、レスポンスタイム測定装置２００、パケット転送遅延測定装置２５０及びユーザ端末５０からパケット転送遅延時間の測定値、レスポンスタイムの測定値及びQoE評価値を取得する。一実施例では、網品質制御装置４００は、各パケット転送遅延時間について当該情報処理サービスの処理シーケンスを複数回実行し、レスポンスタイム測定装置２００は、各個別処理が複数回実行されたことによって、各パケット転送遅延時間について複数のレスポンスタイムとQoE評価値とを測定することになり、これら複数のレスポンスタイムとQoE評価値とをQoE推定装置１００に提供するようにしてもよい。この場合、QoE推定装置１００は、複数のレスポンスタイムとQoE評価値とのそれぞれの平均値を以降の処理に利用してもよい。
【００５０】
ステップＳ１０２において、QoE推定装置１００は、取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値を統計処理することによって、各個別処理についてパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを作成する。一実施例では、QoE推定装置１００は、パケット転送遅延時間とレスポンスタイムとの間の相関を示すレスポンスタイム推定モデルと、レスポンスタイムとQoE評価値との間の相関を示すQoE推定モデルとをそれぞれ導出し、導出した２つの推定モデルを合成することによってパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを作成してもよい。当該統計処理として回帰分析が利用可能であり、回帰分析により導出された回帰式が各推定モデルとして利用されてもよい。
【００５１】
ステップＳ１０３において、QoE推定装置１００は、個別処理に対するQoE推定要求の受付に応答して、パケット転送遅延測定装置２５０から個別処理のパケット転送遅延時間の測定値を取得する。当該QoE推定要求は、例えば、QoE推定装置１００のオペレータ、情報通信サービス監視サーバ４５０などから受信してもよい。
【００５２】
ステップＳ１０４において、QoE推定装置１００は、作成された推定モデルに基づき、取得したパケット転送遅延時間の測定値に対応するQoE推定値を決定する。QoE推定装置１００は、決定したQoE推定値をQoE推定要求の要求元に返す。
【００５３】
QoE推定装置１００は、このような推定モデルに基づくQoE監視をリアルタイムに、すなわち、パケット転送遅延測定装置２５０からパケット転送遅延時間の測定値を受信するごとに行ってもよい。あるいは、QoE推定装置１００は、このような推定モデルに基づくQoE監視をオフラインに、すなわち、パケット転送遅延測定装置２５０から受信したパケット転送遅延時間の測定値を一時的に保持し、保持したパケット転送遅延時間の測定値についてあるタイミングでQoE監視を行うようにしてもよい。
【００５４】
このように、予め取得したパケット転送遅延時間、レスポンスタイム及びQoE評価値から、各個別処理のパケット転送遅延時間とQoE評価値との間の相関を示す推定モデルを作成することによって、QoE推定装置１００は、相対的に入手及び測定困難なレスポンスタイム及びQoE評価値を必要とすることなく、パケット転送遅延時間からQoE推定値を取得することが可能になる。
【００５５】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５６】
１０  情報通信システム
５０  ユーザ端末
１００  QoE推定装置
１１０  測定情報取得部
１２０  推定モデル作成部
１２１  レスポンスタイム推定モデル作成部
１２２  QoE推定モデル作成部
１３０  QoE推定部
２００  レスポンスタイム測定装置
２５０  パケット転送遅延測定装置
３００  情報通信サービス提供サーバ
３５０  ネットワーク
４００  網品質制御装置
４５０  情報通信サービス品質監視サーバ
【図１】
0005957419.tif 000002
【図２】
0005957419.tif 000003
【図３】
0005957419.tif 000004
【図４】
0005957419.tif 000005
【図５】
0005957419.tif 000006
【図６】
0005957419.tif 000007
【図７】
0005957419.tif 000008
【図８】
0005957419.tif 000009
【図９】
0005957419.tif 000010
【図１０】
0005957419.tif 000011
【図１１】
0005957419.tif 000012
【図１２】
0005957419.tif 000013
【図１３】
0005957419.tif 000014
【図１４】
0005957419.tif 000015