(57)【特許請求の範囲】
【請求項１】
パケット収集部において、通信者端末とＷＷＷサーバ間の通信リンクを通過するＩＰパケットを時刻と共に収集するパケット収集ステップと、
前記パケット収集ステップにより取得されたＩＰパケットが入力される不満要因解析部において、ネットワーク内で観測・分析することにより得られる各ユーザ不満要因Ｘｉの抽出を行う不満要因解析ステップと、
前記不満要因解析ステップにより得られる各ユーザ不満要因Ｘｉが入力されたユーザ満足度計算部において、ユーザ不満要因Ｘｉを変数とする関数
Ｓ＝ｆ（Ｘ１，Ｘ２，…，Ｘｉ，…，Ｘｎ）
により算出されるユーザ満足度Ｓは、値０から１までの間の数値とし、値０を満足状態、値１を不満状態、その間をその値に応じた中間状態として表わすユーザ満足度計算ステップとを有するユーザ満足度解析方法において、
ユーザがページを要求してから実際に表示が完了するまでの時間、ユーザが不満を感じて行うリロード等の直接動作、ｗｅｂページ内コンテンツの平均転送速度、もしくはｗｅｂページの転送要求後、転送開始までの待ち時間をＷＷＷ利用時のユーザ不満要因とすることを特徴とするユーザ満足度解析方法。
【請求項２】
パケット収集部において、通信者端末とＷＷＷサーバ間の通信リンクを通過するＩＰパケットを時刻と共に収集するパケット収集手順、
前記パケット収集手順により取得されたＩＰパケットが入力される不満要因解析部において、ネットワーク内で観測・分析することにより得られる各ユーザ不満要因Ｘｉの抽出を行う不満要因解析手順、
前記不満要因解析手順により得られる各ユーザ不満要因Ｘｉが入力されたユーザ満足度計算部において、ユーザ不満要因Ｘｉを変数とする関数
Ｓ＝ｆ（Ｘ１，Ｘ２，…，Ｘｉ，…，Ｘｎ）
により算出されるユーザ満足度Ｓは、値０から１までの間の数値とし、値０を満足状態、値１を不満状態、その間をその値に応じた中間状態として表わすユーザ満足度計算手順をコンピュータに実行させるための解析プログラムにおいて、
ユーザがページを要求してから実際に表示が完了するまでの時間、ユーザが不満を感じて行うリロード等の直接動作、ｗｅｂページ内コンテンツの平均転送速度、もしくはｗｅｂページの転送要求後、転送開始までの待ち時間をＷＷＷ利用時のユーザ不満要因とすることを特徴とする解析プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＩＰ（インターネット・プロトコル）網において、ネットワークサービス品質に関し、特にネットワーク内を観測して得られる情報に基づくユーザ満足度解析方法および解析プログラムに関するものである。
【０００２】
【従来の技術】
従来ＩＰネットワークでは、ネットワークの品質を表す値としてパケットレベルの損失率、遅延等のパラメータが提案されている。（Ｖ．Ｐａｘｓｏｎ，Ｇ．Ａｌｍｅｓ，  Ｊ．Ｍａｈｄａｖｉ，Ｍ．Ｍａｔｈｉｓ，“Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ＩＰ  Ｐｅｒｆｏｒｍａｎｃｅ  Ｍｅｔｒｉｃｓ（ＲＦＣ２３３０）”，Ｍａｙ  １９９８．）
またＡＴＭでは、品質を表すパラメータとして、ＣＬＲ（Ｃｅｌｌ  Ｌｏｓｓ  Ｒａｔｉｏ），ＣＥＲ（Ｃｅｌｌ  Ｅｒｒｏｒ  Ｒａｔｅ），ＣＴＤ（Ｃｅｌｌ  Ｔｒａｎｓｆｅｒ  Ｄｅｌａｙ），ＣＤＶ（Ｃｅｌｌ  Ｄｅｌａｙ  Ｖａｒｉａｔｏｎ）等の値がある。（ＡＴＭ  Ｆｏｒｕｍ，“Ｔｒａｆｆｉｃ  Ｍａｎａｇｅｍｅｎｔ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｖｅｒｓｉｏｎ  ４．１”，Ｍａｒｃｈ  １９９９．）
これらのＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）パラメータに基づくネットワークの品質評価は、適切な値をあらかじめ決定しておき、その基準値を満足していればネットワークの品質は正常であると判断するという方法で評価されている。
【０００３】
また従来の技術は、ユーザのサービス品質に対する要求を、ネットワークにおける遅延やパケット損失率などの上記ＱｏＳパラメータで指定するものであった。このため、ユーザが想定する所望の品質でサービスを受けるには、ユーザまたはアプリケーションが要求するサービス品質をネットワークのＱｏＳパラメータに適切にマッピングする必要があった。
【０００４】
【発明が解決しようとする課題】
このような従来の品質算出方法では、次のような問題が存在する。
【０００５】
まず第１にＩＰネットワークにおいて通常測定されるパケットレベルの損失率、遅延等のＱｏＳパラメータは、実際にユーザが通信サービスを通じて享受する品質、つまりユーザ満足度との関係が明らかではない。よって所望するサービス品質に対して適切なパケットレベルのＱｏＳパラメータを正確にマッピングすることは不可能である。
【０００６】
また第２に、これらのＱｏＳパラメータはサービス品質に対してある基準値が決定され、この基準が満たされた場合はネットワークは満足状態にあり、満たされない場合は不満足状態であるといった判断がされる。このため品質の表現方法が２値的で離散的なものとなる。
【０００７】
本発明は上記の事情に鑑みてなされたもので、ネットワーク内を測定して得られる情報から、連続的なユーザ満足度を直接算出するユーザ満足度解析方法および解析プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明のユーザ満足度解析方法は、パケット収集部において、通信者端末とＷＷＷサーバ間の通信リンクを通過するＩＰパケットを時刻と共に収集するパケット収集ステップと、前記パケット収集ステップにより取得されたＩＰパケットが入力される不満要因解析部において、ネットワーク内で観測・分析することにより得られる各ユーザ不満要因Ｘｉの抽出を行う不満要因解析ステップと、前記不満要因解析ステップにより得られる各ユーザ不満要因Ｘｉが入力されたユーザ満足度計算部において、ユーザ不満要因Ｘｉを変数とする関数Ｓ＝ｆ（Ｘ１，Ｘ２，…，Ｘｉ，…，Ｘｎ）により算出されるユーザ満足度Ｓは、値０から１までの間の数値とし、値０を満足状態、値１を不満状態、その間をその値に応じた中間状態として表わすユーザ満足度計算ステップとを有するユーザ満足度解析方法において、ユーザがページを要求してから実際に表示が完了するまでの時間、ユーザが不満を感じて行うリロード等の直接動作、ｗｅｂページ内コンテンツの平均転送速度、もしくはｗｅｂページの転送要求後、転送開始までの待ち時間をＷＷＷ利用時のユーザ不満要因とすることを特徴とする。
【００１３】
また本発明は、パケット収集部において、通信者端末とＷＷＷサーバ間の通信リンクを通過するＩＰパケットを時刻と共に収集するパケット収集手順、前記パケット収集手順により取得されたＩＰパケットが入力される不満要因解析部において、ネットワーク内で観測・分析することにより得られる各ユーザ不満要因Ｘｉの抽出を行う不満要因解析手順、前記不満要因解析手順により得られる各ユーザ不満要因Ｘｉが入力されたユーザ満足度計算部において、ユーザ不満要因Ｘｉを変数とする関数Ｓ＝ｆ（Ｘ１，Ｘ２，…，Ｘｉ，…，Ｘｎ）により算出されるユーザ満足度Ｓは、値０から１までの間の数値とし、値０を満足状態、値１を不満状態、その間をその値に応じた中間状態として表わすユーザ満足度計算手順をコンピュータに実行させるための解析プログラムにおいて、ユーザがページを要求してから実際に表示が完了するまでの時間、ユーザが不満を感じて行うリロード等の直接動作、ｗｅｂページ内コンテンツの平均転送速度、もしくはｗｅｂページの転送要求後、転送開始までの待ち時間をＷＷＷ利用時のユーザ不満要因とすることを特徴とするものである。
【００１４】
本発明では、ＷＷＷサーバと通信者間を流れるトラヒックを観測し、そのパケットに含まれる情報を基に、実際にユーザがＷＷＷ利用時に享受する満足度を直接算出することが可能である。
【００１５】
また、取得する情報としては、ユーザが不満と感じる要因を含む情報を抽出する。
【００１６】
さらに、閲覧ページの転送時間は、ＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）解析において、ユーザが送出するＨＴＴＰ  ＧＥＴ（転送要求）及びコンテンツサイズの検出、及びＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）解析による転送速度、ページ転送完了等の検出によりネットワーク内で測定可能である。
【００１７】
また、ユーザの不満に感じて行う動作は、ＴＣＰ解析において、ＴＣＰコネクションの切断により判断することが可能なため、ＴＣＰコードビットのＲＳＴ（リセット）フラグ検出により観測できる。
【００１８】
また、ｗｅｂページ内コンテンツの平均転送速度はシーケンスナンバより求まる総転送バイト数を、総転送時間で除算することにより測定可能である。
【００１９】
また、ページ転送要求から開始までの待ち時間は、ＨＴＴＰ解析において、ユーザが送出するＨＴＴＰ  ＧＥＴ（転送要求）及びサーバが送出する２００  ＯＫレスポンスの検出によりネットワーク内で可能である。
【００２０】
また、ユーザ満足度を考えた時の各要因、つまりページ転送時間（Ｘ１）、ユーザ動作（Ｘ２）、平均転送速度（Ｘ３）、転送開始までの待ち時間（Ｘ４）を考えたとき、上記各要素を変数として用いた関数Ｓ＝ｆ（Ｘ１，Ｘ２，Ｘ３，Ｘ４）により決定する。これによりユーザの満足度Ｓを算出することが可能となる。
【００２１】
【発明の実施の形態】
以下図面を参照して本発明の実施形態例を詳細に説明する。
【００２２】
図１は本発明の実施形態例を示す構成説明図である。すなわち、通信者端末１１とＷＷＷサーバ１２の間に通信リンク１３，１４を介してユーザ満足度解析部１５が設けられる。前記ユーザ満足度解析部１５は、前記通信リンク１３，１４に接続されたパケット収集部１６、前記パケット収集部１６に接続された不満要因解析部１７、前記不満要因解析部１７に接続されたユーザ満足度計算部１８、及びフロー管理部１９より構成される。
【００２３】
前記パケット収集部１６では、通信者端末１１とＷＷＷサーバ１２間の通信リンク１３，１４を通過するＩＰパケットを、ＩＰパケットを収集した時刻と共に収集する。
【００２４】
前記パケット収集部１６により取得されたＩＰパケットは、不満要因解析部１７に渡され、ネットワーク内で観測・分析することにより得られる各ユーザ不満要因Ｘｉの抽出を行う。
【００２５】
前記不満要因解析部１７により得られる各ユーザ不満要因Ｘｉが入力されたユーザ満足度計算部１８において、ユーザ不満要因Ｘｉを変数とする関数
Ｓ＝ｆ（Ｘ１，Ｘ２，…，Ｘｉ，…，Ｘｎ）
により算出されるユーザ満足度Ｓは、値０から１までの間の数値とし、値０を満足状態、値１を不満状態、その間をその値に応じた中間状態として表わす。
【００２６】
図２は図１の不満要因解析部１７の動作を示すフローチャートである。
【００２７】
すなわち、パケット収集部１６により受信された到着パケットの宛先ＩＰアドレス及びポート番号、送信先ＩＰアドレス及びポート番号を取得し、そのフローにおいて現在までにＨＴＴＰの転送要求コマンドであるＧＥＴもしくはＰＯＳＴがされているかフロー管理部１９に問い合わせる。もしこれまでに転送要求されていなければ、そのパケットが転送要求かどうか確認をし、ＨＴＴＰヘッダに転送要求（ＧＥＴもしくはＰＯＳＴ）が含まれていれば新規にフロー管理部１９に転送要求済みであると記録する。
【００２８】
前記フロー管理部１９に問い合わせて、これまでに転送要求済みであれば、次にこのフローがＷＷＷサーバ１２からＨＴＴＰレスポンス（２００  ＯＫ）を既に受け取っているかフロー管理部１９に問い合わせる。もし既に取得済み（取得したパケットのＩＰアドレスの組はフロー管理部１９でコンテンツ転送中）ではなく、このパケットにこのレスポンスが含まれている（ＨＴＴＰヘッダに転送開始通知（２００  ＯＫ）が含まれている）場合は新たにフロー管理部１９にコンテンツ転送中と登録する。このとき転送要求から転送開始までの時間（レスポンスに要した時間）がｍ秒例えば４秒以上であった場合、ユーザ不満要因Ｘ４が検出される。
【００２９】
前記フロー管理部１９でコンテンツ転送中であれば、このパケットのＴＣＰコードビットのＲＳＴ（リセット）フラグが立っているか確認し、立っていればユーザ不満要因Ｘ２が検出される。
【００３０】
このパケットでこのフローにおけるコンテンツの転送（ファイル転送）が終了しなければ、このパケットについての処理は終了し、次の受信パケットについて処理を行う。
【００３１】
この処理中のパケットでこのフローの処理が終了（ファイル転送終了）した時、ファイルの転送（コンテンツ転送）が正常に終了していれば、転送の開始（転送要求）から終了までの時間を計算し、転送時間が８秒以上であった場合はユーザ不満要因Ｘ１として検出される。また転送したコンテンツサイズを算出した転送時間で割ることにより求まる平均転送速度がｎ例えば６４（ｋｂｐｓ）以下であった場合、ユーザ不満要因Ｘ３が検出される。
【００３２】
最終的にコンテンツ転送が終了したフローについての情報はフロー管理部１９から削除する。
【００３３】
以上の手法を用いて各ユーザ不満要因を検出することが可能となる。
【００３４】
各ユーザ不満要因のユーザ満足度に対する依存度を検証するために、以下に示す被験者による主観品質測定実験と、それに合わせて各要因を各々観測した。ここではユーザレベルＱｏＳ指標Ｓは、ある利用状態においてそれをユーザが不満に感じる確率とした。
【００３５】
［実験概要］
図３は本発明に係る主観品質測定実験系を示す構成図である。被験者は各計算機２０１，…，２０ｎからルータ２２を介して実験用ＷＷＷサーバ（ａｐａｃｈｅ）２１に対して同時にアクセスを行った。また各被験者の計算機２０１，…，２０ｎとサーバ２１間のデータは中継のパケット収集用計算機２３において各フローの情報を観測した。
【００３６】
実験ではリンク帯域とｗｅｂページのコンテンツサイズをパラメータとして変更した。表示されるページは、同一ページに同サイズの４画像を並べたものを作成した。リンク帯域を、１２８ｋｂｐｓから３２Ｍｂｐｓまで、画像サイズを４ＫＢ（キロバイト）から２ＭＢ（メガバイト）の範囲で変化させて試験を行った。また被験者の先入観を除くため、帯域とコンテンツサイズの組み合わせをランダムに発生させた。
【００３７】
被験者は同時にアクセスを行い、内容がブラウザに表示されるのを待つ。途中表示速度の遅れなどの理由で品質に不満を感じたときは、別途用意した不満申告アプリケーションを操作することにより不満状態を申告した。この結果を用いてユーザ満足度の主観値とした。また実験中、被験者には閲覧の中止、リロードを試みることを許可した。
【００３８】
［実験結果］
図４は本発明に係る主観評価による満足度の結果を示す設定帯域、コンテンツサイズと、不満と判断した被験者の確率との関係の特性図である。ｚ軸は不満とした被験者の割合を示している。
【００３９】
図４においてＳ値で０．２間隔で描かれている等高線のｘ−ｙ平面への射影された線を見ると、その間隔が非常に密集しており、さらにほぼ直線となっている。このことから帯域とコンテンツサイズには適したバランスが存在し、その関係が崩れると被験者は急激に不満状態となることがわかる。
【００４０】
図５は本発明に係るユーザ不満要因Ｘ１の解析結果例を示す特性図である。ｚ軸は転送が正常に終了したコンテンツ（ファイル）の内、転送に８秒以上要したコンテンツ数の割合を示している。この結果は図４の形状に類似しておりコンテンツの転送時間とユーザ満足度Ｓの間には強い相関関係があり、ユーザ満足度推定に有効であることがわかる。
【００４１】
図６は本発明に係るユーザ不満要因Ｘ３の観測結果を示す特性図である。ここでは転送要求されたコンテンツのうち転送が終了し、かつその平均転送速度が６４ｋｂｐｓ以下であったコンテンツ（ファイル）の割合を示している。
【００４２】
このグラフから図４でみられる急激な立ち上がり傾向は類似しており、閾値とする通信速度の値によっては満足度と関係があることが期待できる。しかし一方では要因Ｘ１と比較してばらつきが多く見られる。
【００４３】
図７は本発明に係るユーザ不満要因Ｘ４の観測結果を示す特性図である。この結果からレスポンス時間と満足度の相関はあまり大きいとはいえない。特にコンテンツサイズが比較的大きい場合、レスポンス時間は小さくとも主観評価では不満である領域が大きい。
【００４４】
図８は本発明に係るユーザ不満要因Ｘ２の観測結果を示す特性図である。ｚ軸は転送を中止した被験者の割合とした。この結果から満足／不満の境界値はずれているものの、ステップ状の特性など図４と類似していることがわかる。この境界値のずれから、不満度が高くなっている状態でも必ずしも転送を中止しているわけではないこともわかる。つまり被験者は不満に感じていても、我慢ができる限界までは転送を中止することなく転送の終了を待つ傾向が観測された。したがって中止の情報のみを観測するだけでは、ユーザが不満状態にありながら転送終了を我慢している状態が検出できないため問題となる。
【００４５】
以上の手法により抽出した各ユーザ不満要因について、単位時間あたりの各ユーザ不満要因発生数をそれぞれＸ１，Ｘ２，Ｘ３，Ｘ４としたとき、ユーザ満足度計算部１８において、関数Ｓ＝ｆ（Ｘ１，Ｘ２，Ｘ３，Ｘ４）によりユーザ満足度Ｓが決定される。
【００４６】
関数ｆは不満とした被験者の割合（図４）と各不満要因Ｘ１，Ｘ２，Ｘ３，Ｘ４（図５〜図８）の相関度をそれぞれｗ１，ｗ２，ｗ３，ｗ４としたとき、
Ｓ＝ｗ１×Ｘ１＋ｗ２×Ｘ２＋ｗ３×Ｘ３＋ｗ４×Ｘ４
という形となる。
【００４７】
これにより通信サービス提供者は複数の通信者が任意の時刻に参加・離脱することにより時々刻々と変化する通信者のＷＷＷ利用時の満足度という主観値を定量的に測定することが可能となった。
【００４８】
尚、前記各実施形態例におけるユーザ満足度解析方法は、具体的にはパソコン等のコンピュータにより、予め所定の解析プログラムに基づいて実行される。前記解析プログラムは所定のコンピュータ読み取り可能な記録媒体に記録することができる。
【００４９】
すなわち、本発明の解析プログラムは、パケット収集部において、通信者端末とＷＷＷサーバ間の通信リンクを通過するＩＰパケットを時刻と共に収集するパケット収集手順、前記パケット収集ステップにより取得されたＩＰパケットが入力される不満要因解析部において、ネットワーク内で観測・分析することにより得られる各ユーザ不満要因Ｘｉの抽出を行う不満要因解析手順、前記不満要因解析ステップにより得られる各ユーザ不満要因Ｘｉが入力されたユーザ満足度計算部において、ユーザ不満要因Ｘｉを変数とする関数Ｓ＝ｆ（Ｘ１，Ｘ２，…，Ｘｉ，…，Ｘｎ）により算出されるユーザ満足度Ｓは、値０から１までの間の数値とし、値０を満足状態、値１を不満状態、その間をその値に応じた中間状態として表わすユーザ満足度計算手順をコンピュータに実行させるためのものである。
【００５０】
また本発明は、前記解析プログラムにおいて、ユーザ不満要因はネットワーク内で、ネットワーク層より高位のレイヤプロトコルを観測・分析することにより得られることを特徴とするものである。
【００５１】
また本発明は、前記解析プログラムにおいて、ユーザがページを要求してから実際に表示が完了するまでの時間、ユーザが不満を感じて行うリロード等の直接動作、ｗｅｂページ内コンテンツの平均転送速度、もしくはｗｅｂページの転送要求後、転送開始までの待ち時間をＷＷＷ利用時のユーザ不満要因とすることを特徴とするものである。
【００５２】
【発明の効果】
以上で説明したように、本発明によれば、ＩＰレイヤからアプリケーションレイヤまでの高位レイヤプロトコルをネットワーク内で観測・分析することによりネットワークを利用するユーザの主観的な品質を正確に求めることが可能となり、ユーザの主観的品質要求に基づくサービスを提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態例を示す構成説明図である。
【図２】図１の不満要因解析部の動作を示すフローチャートである。
【図３】本発明に係る主観品質測定実験系を示す構成図である。
【図４】本発明に係る主観評価による満足度の結果を示す設定帯域、コンテンツサイズと、不満と判断した被験者の確率との関係の特性図である。
【図５】本発明に係るユーザ不満要因Ｘ１の観測結果例を示す特性図である。
【図６】本発明に係るユーザ不満要因Ｘ３の観測結果例を示す特性図である。
【図７】本発明に係るユーザ不満要因Ｘ４の観測結果例を示す特性図である。
【図８】本発明に係るユーザ不満要因Ｘ２の観測結果例を示す特性図である。
【符号の説明】
１１  通信者端末
１２  ＷＷＷサーバ
１３  通信リンク
１４  通信リンク
１５  ユーザ満足度解析部
１６  パケット収集部
１７  不満要因解析部
１８  ユーザ満足度計算部
１９  フロー管理部
【図１】
0003618672.tif 000002
【図２】
0003618672.tif 000003
【図３】
0003618672.tif 000004
【図４】
0003618672.tif 000005
【図５】
0003618672.tif 000006
【図６】
0003618672.tif 000007
【図７】
0003618672.tif 000008
【図８】
0003618672.tif 000009