(57)【特許請求の範囲】
【請求項１】
ネットワークに接続されたクライアント装置とサーバ装置から構成され、前記クライアント装置からの要求に応じて前記サーバ装置が情報を提供する情報サービスシステムの性能を評価するための評価装置であって、
前記クライアント装置に提供する情報を記憶する記憶手段と、
要求メッセージを入力する手段と、
前記要求メッセージにより要求された前記情報を前記記憶手段から読み出す手段と、
前記記憶手段から読み出された前記情報を、前記情報サービスシステムの性能を評価するための評価モデルを基に算出された、前記ネットワークの通信プロトコルや物理的な制約、混雑状況に応じて変化する、前記サーバ装置から前記ネットワークを介して前記クライアント装置へ送信される前記情報を運ぶ第１のパケットの平均サイズの大きさに分割して、疑似パケット群を作成する手段と、
前記要求メッセージにより要求された前記情報を表示するための表示装置へ、当該情報を表示させるために前記疑似パケットを出力する出力手段と、
を有し、
前記出力手段は、
前記評価モデルを基に算出された前記ネットワークの混み具合に応じた情報欠損率に基づき、前記疑似パケット群のうちの少なくとも１つの疑似パケットを削除する手段と、
前記疑似パケット群のうちの最初に出力すべき疑似パケットを、前記要求メッセージが入力した時点から、前記評価モデルを基に算出された、前記クライアント装置が前記情報を要求してから前記第１のパケットが当該クライアント装置に到着するまでの遅延時間経過した後に、前記表示装置へ出力する第１の出力手段と、
前記複数の第２のパケットのうち２番目以降に送信すべき疑似パケットは、前記評価モデルを基に算出された前記第１のパケットの到着レートに従う時間間隔で前記表示装置へ順次出力する第２の出力手段と、
を具備したことを特徴とする評価装置。
【請求項２】
前記評価モデルとして作成された、サーバ装置の動作と性能を記述したサーバモデルと、前記ネットワークの動作と性能を記述したネットワークモデルと、前記サーバ装置から提供される情報に関する情報配置モデルと、前記クライアント装置のユーザがいつどの情報をアクセスするかを記述したユーザ動作モデルを基に、前記平均サイズ、前記情報欠損率、前記遅延時間および前記到着レートを算出する手段と、
前記要求メッセージが入力される度に、当該要求メッセージにより要求された情報と要求した時刻とを履歴情報として記憶する記憶手段と、
複数のユーザのそれぞれの前記履歴情報を基に、前記ユーザ動作モデルを更新する手段と、
をさらに具備したことを特徴とする請求項１記載の評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザからの要求に応じて情報を提供する情報提供サービスシステムの性能を評価してシステム設計を支援する評価装置に関する。
【０００２】
【従来の技術】
近年、インターネットなどの普及と共にネットワークを介してアクセスしたユーザに対して様々なサービスが提供されるようになった。これらはテキスト情報を提供するものから、動画、音声などのマルチメディア情報、さらにはデータベースの検索などの知的な処理や、商品の売買を行なうなどの高度の機能も含まれる。
【０００３】
提供されるサービスの質は提供される情報自体の出来もさることながら、情報を提供するシステムの性能、たとえば情報を蓄積し要求に応じてネットワークに送り出すサーバ、情報を転送するネットワークの遅延や容量、また情報を圧縮したり再生したりする加工技術などが大きく影響すると考えられる。例えば、ある情報を得るのになかなかサーバに継らなかったり、応答に長い時間がかかるのでは質の高いサービスとはいえない。特にマルチメディアの場合、性能が画質、音質に直接影響すると考えられる。
【０００４】
サービスの設計者はシステムの性能を考慮してサービスの設計を行なう必要があるし、情報自身も性能に見合うように適切に加工する必要がある。したがって、サービスの設計にはシステムの性能評価が不可欠になる。
【０００５】
【発明が解決しようとする課題】
事前にシステムの性能を予想するためには、システムのモデルを作成し、解析的な手段、あるいはシミュレーションにより性能を予測する方法がある。しかしながら、こうした予測手段から求められる応答性能指標は通常、スループットや応答時間という数値として与えられるので、それを実際にユーザが体験するサービスの質としてとらえ設計に反映させることは難しい。
【０００６】
そこで、本発明は、情報提供サービスシステムの性能を測定するとともに、その測定結果に基づく情報提供サービスを実際に体験して情報提供サービスシステムの設計支援が行える情報サービス評価装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の情報サービス評価装置は、ユーザからの要求に応じて情報を提供する情報サービスシステムの性能を評価するために構築した評価モデルを用いた情報サービス評価装置において、
前記情報サービスシステムの評価モデルを構築するモデル構築手段と、
前記評価モデルに基づき前記情報サービスシステムの性能を測定する測定手段と、
ユーザに提供する情報を記憶する情報記憶手段と、
ユーザからの要求に応じて、前記情報記憶手段に記憶された情報を前記測定手段で測定された前記情報サービスシステムの性能の測定値に基づきユーザに提供する情報提供手段と、
を具備したことにより、情報提供サービスシステムの性能を測定するとともに、その測定結果に基づく情報提供サービスを実際に体験して情報提供サービスシステムの設計支援が行える。
【０００８】
また、ユーザに提供する情報を所定の通信回線を介して接続されたサーバからロードする手段を具備したことにより、前記情報記憶手段への情報のローディングする際に、ある決められたプロトコルにしたがって要求メッセージをサーバマシンに送れば、それにしたがって情報を要求元のクライアントマシンに送り出すような既存のサーバプログラムが利用可能であり、特別の機構を設ける必要がない。また、場合によっては情報のサイズは大きく、予め前記情報記憶手段に取り込んでおくのが難しい場合にも所定の通信回線を介して容易に所望の情報を入手することができる。
【０００９】
また、ユーザの操作履歴に基づき前記情報サービスシステムの評価モデルを構築する手段を具備したことにより、前記情報サービスシステムの評価モデルをより現実のものに作り上げていくことができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報サービス評価装置の構成例を概略的に示したものである。
【００１１】
図１の情報サービス評価装置は、再生部（情報提供手段）１、表示装置２、性能評価部（測定手段）３、モデル構築手段１０から構成され、再生部１は、メッセージ送出部１ａ、バッファ（情報記憶手段）１ｂ、要求解析部１ｃから構成されている。性能評価部３は、評価対象の情報提供サービスシステムの性能モデルを記憶している。
【００１２】
性能モデル３ａは、設計の対象となるシステムの構成、ユーザのシステムの利用形態、情報の物理的配置、情報をユーザが取得するためにシステム上で行なわれる処理などを記述したもので、例えばシステム設計者が所定のパラメータを入力することにより設定されている。
【００１３】
性能評価部３は、この性能モデル３ａにて特定される状況でユーザが情報を取得するときの応答性を記述した応答性能指標を求める。これには、解析的手法またはシミュレーションを用いる。
【００１４】
再生部１では、まず、ユーザに提供する情報を予めバッファ１ｂの内部に取り込んでおく。再生部１は物理的に表示装置２に近い位置、つまり同一のクライアントマシン内か、あるいはクライアントマシンと比較的高速のネットワークで継ったマシンに配置する。さらに、再生部１は性能評価部３が計算した応答性能指標を取り込んでおく。
【００１５】
表示装置２は、ディスプレイ装置、マウス、キードード等の入力装置、その他、ユーザ（ここでは、例えば、評価対象である情報提供サービスシステムの試用者）に対し、所定のユーザインターフェイスを介して対話的に操作可能な環境を提供するものである。すなわち、実際にユーザに表示装置１を操作してもらい、目的とする情報提供サービスが実現したかのように利用してもらうようになっている。
【００１６】
表示装置２を用いてユーザが所定の操作を行い、所望の情報を要求すると、その旨のメッセージ（要求メッセージ）が再生部１の要求解析部１ｃに送られる。
再生部１の要求解析部１ｃはその要求メッセージから、いずれの情報が要求されたかを解析し、要求された情報の識別子をメッセージ送出部１ａに伝える。
【００１７】
メッセージ送出部１ａは、受け取った情報識別子に対応する情報をバッファ１ｂからとり出すと同時に、その情報に対応する応答性能指標を性能評価部３から取り出し、そこに記述された特性を再現するように制御を行って、表示装置２に対して情報を含んだ応答メッセージを送り出す。
【００１８】
このように再生部１で、表示装置１が受け取る情報と受け取るタイミングを制御することにより、表示装置１のユーザは、現在のシステムの設計で得られる情報提供サービスを実際に体験できるようになっている。
【００１９】
次に、図１の情報サービス評価装置の動作について、図２に示すフローチャートを参照して説明する。
本発明の情報サービス評価装置の動作は、大き分けて評価フェーズと再生フェーズに分かれるので、まず評価フェーズから説明する。
【００２０】
性能評価部３として待ち行列ベースのシミュレーションを用いる。
性能モデル３ａは次のような要素から構成されている。
・  サーバのモデル
情報提供サービスを実現するため、情報を格納し、ユーザからの要求に応じて送り出す計算機の動作、性能を記述したモデル。サーバを構成するＣＰＵの台数とその性能、情報を格納した記憶装置の台数と性能（例えばそれがディスクであれば平均シーク時間や回転待ち時間）、主記憶上にデータをキャッシュしておくためのバッファの大きさと、それを管理するソフトウェアのアルゴリズムなどを含んでいる。
【００２１】
・  ネットワークのモデル
サーバとクライアントを結ぶネットワークの動作と性能を記述したモデル。ネットワークのトポロジー、物理的性能（遅延、転送レート）、負荷状況、およびネットワークを管理するソフトウェアのアルゴリズムを含んでいる。
【００２２】
・  情報配置モデル
情報提供サービスにおいて提供される情報を記述したモデル。情報の種類、そのサイズ（データ量）、情報間の相互関係（例えばＷＷＷのＨＴＭＬ文書のリンク関係など）の記述を含む。また、各リソースがサーバのモデルのどの記憶装置に配置されているかも記述される。
【００２３】
・  ユーザー動作モデル
ユーザの振舞いを記述したモデル。ユーザが何時、どの情報をアクセスするかを記述してある。このような記述はモデル構築手段１０を用いて設計者により、例えば、テキストとして、あるいは、グラフィカルなインターフェイスを用いて作り出される。
【００２４】
このような記述を基に、ネットワークの各種資源やサーバを構成するＣＰＵや記憶装置を待ち行列網における窓口、ユーザが情報を要求してから、それが最終的にユーザの元に届けられるまでの一連の処理の流れを呼と見なしてシステム全体を待ち行列網として表現できる（ステップＳ１）。
【００２５】
この待ち行列網をシミュレートすることにより所望の応答性能指標を得ることができる（ステップＳ２）。
応答性能指標は設定した状況において個々の情報に対してシミュレーションの結果得られた以下の情報を含む。
【００２６】
・  遅延
ユーザがある情報を要求したときにデータの先頭がユーザのクライアントに届くまでの時間。
【００２７】
・  パケット到着レート
情報を運ぶ先頭のパケットがクライアントに届いてから、全データが届けられるまでの間、データが転送されてくるパケットの一秒間当たりの平均の到着数。
【００２８】
・  平均パケットサイズ
情報がネットワークを介して送られる時、サーバでの情報の送り出しのタイミングや中継ノードでの混雑状況などの事情、通信プロトコルの使用やネットワークの物理的な制約、などの様々な理由により、情報は複数のパケットに分割される。そのパケットの平均的なサイズ。
【００２９】
・  欠損率
データの転送プロトコルがパケットの損失を許す場合、中継するノードの混み具合などによりデータの一部が失われることがあり得る。その場合、次式（１）で欠損率を定義する。
【００３０】
欠損率＝失われたデータの量／情報の全データ量        …  （１）
プロトコルがパケットの損失を許さない場合は欠損率は「０」になる。
性能評価部３はこうして求められた応答性能指標を内部に具備された記憶装置に格納しておき、再生フェーズにおいて、再現部１からの要求に応じていつでも取り出せるようにしておく（ステップＳ３）。
【００３１】
次に、再生フェーズの説明を行なう。
まず、再生フェーズ開始の準備として再生部１はユーザがアクセス可能な情報を予めバッファ１ｂに格納する（ステップＳ４）。
【００３２】
これには様々な方法が考えられるが、第１の実施形態では、予めバッファ１ｂに必要な情報が格納されているものとして説明を続ける。
次に再生部１は性能評価部３と交信し、バッファ１ｂに格納された情報に対応する応答性能指標を読み込み、情報テーブルに格納する（ステップＳ５）。
【００３３】
情報テーブルは、図３に示すように、例えばハッシュ法などを用いて、情報の識別子から特定のエントリーを引き出せるように作る。また、情報テーブルには識別子に対応する情報のバッファにおける位置を指し示すポインタも記録されている。
【００３４】
このような準備が整った後、実際に再生をおこなう。再生ではユーザに表示装置２を操作してもらい、さながら実際の情報提供サービスを受けているかのように情報にアクセスを行なうものである（ステップＳ６）。
【００３５】
このとき表示装置２からは所定のプロトコルに従った要求メッセージがだされるが、表示装置２の機能を調節することにより、この要求メッセージが直接サーバにではなく再生部１に向けられるようにする。例えばＷＷＷの場合、表示装置２からの要求メッセージは通常Ｐｒｏｘｙと呼ばれる、中間的なデータのキャッシングを行なうサーバに向けられる。このＰｒｏｘｙサーバの代わりに再生部１に要求メッセージを送るように表示装置１を調整すれば良い。
【００３６】
再生部１が要求メッセージを受けとると、再生部１の要求解析部１ｃが要求メッセージの内容を解析してアクセスされた情報の識別子を抽出する。再生部１は情報テーブルを引いて応答性能指標を取り出すとともに、対応する情報をバッファ１ｂからとり出し、メッセージ送出部１ａに送る。
【００３７】
メッセージ送出部１ａは、図４に示すように、バッファ１ｂから取り出された情報が表示装置２へ届くまでの過程で発生するパケットへの分割やパケットの損失を再現する加工部１０２と、パケットが表示装置２に送られるタイミングを再現するタイミング制御部１０１を具備している。
【００３８】
加工部１０２は、性能評価部３で求められた応答性能指標のうち、例えば、平均パケットサイズ、パケットの欠損率をもとに、パケット自体を加工するようになっている。
【００３９】
タイミング制御部１０１は、性能評価部３で求められた応答性能指標のうち、例えば、遅延、パケット到着レートを基に、パケットの送出タイミングを制御するようになっている。
【００４０】
加工部１０２は、まず所定のプロトコルに合うように情報に適切なヘッダ等を加えて表示装置２からの要求メッセージに対する応答メッセージを作成する。次に加工部１０２はメッセージを応答性能指標として与えられた、平均パケットサイズの大きさに分割する。この１つ１つをここでは疑似パケットと呼ぶことにする。もしプロトコルが情報の欠損を許す場合、つまり応答性能指標として与えられた欠損率ｄが「０」でない場合、各疑似パケットについて加工部１０２は「０」から「１」の間の一様な乱数ｐを発生させ、もしｐ＜ｄの場合はその疑似パケットを削除する。
【００４１】
タイミング制御部１０１は、まず表示装置２からの要求を受けとってから応答性能指標として与えられた遅延だけ待った後、加工部１０２から応答メッセージの最初の疑似パケットを受けとり、表示装置２へ送信する。その後、タイミング制御部１０１は応答性能指標として与えられたパケット到着レートに従って、（１／パケット到着レート）秒ごとに加工部１０２から次の疑似パケットを受けとり表示装置２へ送信する。
【００４２】
このようにして表示装置２はあたかも、設計中のシステムから情報が送られてきたのと同じタイミング、同じ情報量を受けとるのでユーザは情報提供サービスの質を実際に体験することができる。
【００４３】
なお、ここでは遅延、パケット到着レート、平均パケットサイズを一定として扱ったが、性能評価部３がシミュレーションを行なう時に、これらの数値の統計的な変動を例えば標準偏差として記録しておけば、メッセージ送出部１ａは乱数を用いてその変動を再現し、より現実的な再生が可能になる。
【００４４】
以上、説明したように、上記第１の実施形態によれば、情報提供サービスシステムの性能を測定するとともに、その測定結果に基づく情報提供サービスを実際に体験して情報提供サービスシステムの設計支援が行える。
【００４５】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る情報サービス評価装置の構成例を概略的に示したもので、図１と同一部分には同一符号を付し、異なる部分について説明する。第２の実施形態では、再生部１のバッファ１ｂに情報を格納する方法が第１の実施形態の場合と異なる。すなわち、ユーザがアクセス可能な情報は、再生部１に具備されたローダ１ｄにて所定のネットワークに接続されたサーバマシン４から入手するようになっている。
【００４６】
一般に情報提供サービスでは、情報はサーバプログラムによって管理されており、このサーバプログラムは予め決められたプロトコル（ＷＷＷならばＨＴＴＰ）にしたがって送られてきた要求メッセージに対して、情報をクライアントに送り出す機能を持っている。ローダ１ｄはこの機能を流用し、情報を読み込むものである。
【００４７】
サーバマシン４には、ユーザに提供する情報が格納された記憶装置５が接続され、サーバプログラム４ａを稼働させて、所定のネットワークを介して再生部１のローダ１ｄに情報を送出するようになっている。
【００４８】
ローダ１ｄは、情報の識別子を含む情報送信要求メッセージを所定のプロトコルにしたがってサーバマシン４に送り、それにたいする応答メッセージを受けとるとその中に含まれている要求した情報をとり出し、バッファ１ｂに格納する。
【００４９】
このように情報提供サービスに用いられる既存のソフトウェアの体系を用いることにより、特別な仕組みを作ることなく再生部１をネットワーク上の任意の位置に配置することができる。
【００５０】
図５の情報サービス評価装置の動作について図２に示すフローチャートを参照して説明する。なお、第１の実施形態と異なる部分についてのみ説明する。すなわち、ステップＳ６において、再生部１が表示装置２から受けとった要求メッセージにより要求された情報がバッファ１ｂの中に見つけられなかった場合、再生部１は要求メッセージをサーバマシン４に直ちに転送する。再生部１はサーバマシン４から情報を受けとる作業と、応答性能指標にしたがって表示装置２に情報を送る作業を並行しておこなうことになる。
【００５１】
サーバマシン４からの情報のデータの供給速度が、評価の際に想定した仮想的なシステムの供給速度よりも十分早ければ、ステップＳ４において事前に情報をバッファ１ｂに蓄えておく必要はない。
【００５２】
このようにして、表示装置２はあたかも、設計中のシステムから情報が送られてきたのと同じタイミング、同じ情報量を受けとるのでユーザは情報提供サービスの質を実際に体験することができる。
【００５３】
以上、説明したように、上記第２の実施形態によれば、再生フェーズにおいて、情報提供サービスを実現する場合、ある決められたプロトコルにしたがって要求メッセージをサーバマシンに送れば、それにしたがって情報を要求元のクライアントマシンに送り出すような既存のサーバプログラムが利用可能である。そこで、そのようなサーバプログラムと情報を備えたサーバマシンを用意しておき、再生部１と接続しておく。再生フェーズにおいて、再生部１は既存のプロトコルにしたがって、サーバマシン４に対して情報を要求する。サーバマシン４は表示装置２が情報を要求した場合と全く同様に、この要求を処理し、再生部１に対して情報を送り出す。このように、既存のサーバプログラムを利用できるので、情報のローディングのために特別の機構を設ける必要がなく、再生部１をネットワークの任意の位置に配置することが可能である。また、場合によっては情報のサイズは大きく、予め再生部１のバッファに取り込んでおくのが難しい場合がある。このとき本実施形態の構成にすれば、バッファ１ｂには情報を読み込んでおかずに表示装置２から要求があった時にサーバマシン４からとり込むことができる。
【００５４】
（第３の実施形態）
図６は、本発明の第３の実施形態に係る情報サービス評価装置の構成例を概略的に示したもので、図１と同一部分には同一符号を付し、異なる部分について説明する。第３の実施形態では、再生部１において、一人のユーザが表示装置２を操作をして、アクセスされた情報の識別子と、その情報がアクセスされるまでの時間等を履歴情報として記録し、その履歴を評価対象の情報提供システムの性能モデルにフィードバックするものである。
【００５５】
１人のユーザの操作が終了する度に（すなわち、再生フェーズが終了する度に）、履歴情報は、履歴収集部１ｅに渡され、ここで蓄積される。
情報アクセスパターン作成部６は、個々の履歴情報から、ユーザの情報アクセスパターンをつくり出す。
【００５６】
情報アクセスパターン作成部６に、ある履歴情報に記録された操作パターンと同様の操作パターンを示すと思われるユーザの数、およびそのユーザがアクセスを行なう時間帯を与えると、評価対象の情報提供サービスの性能を左右する１つの要因であるユーザの情報アクセスパターンを作成し、それを性能評価部３に渡す。情報アクセスパターンに基づきユーザ動作モデルが構築され、応答性能指標の１つとして、再生フェーズにおいて再生部１に渡されるようになっている。
【００５７】
通常、性能モデルには情報提供サービスを利用するユーザがどの情報をいつアクセスするか記述した情報アクセスパターンが含まれる必要がある。しかしながら、これはユーザの興味や性格に関わるだけでなく、情報提供サービスの性能にも依存することであり、事前にモデルとして書き下すのは難しい。
【００５８】
上記第３の実施形態では、まず設計者が作成した情報アクセスパターンに基づいて、評価をおこない、適当な試用者に対して再生をおこなう。再生部１内の履歴収集部１ｅは再生フェーズの間に表示装置２が要求した情報とそれが要求された時間（再生の開始時刻を起点として）を記録する。情報アクセスパターン作成部６はこの履歴を再生フェーズのたびに収集して、情報アクセスパターンをより実際のユーザの動作に近いものにする。このようにして得られた情報アクセスパターンを用いて評価を行ない、その結果を再生フェーズの際にフィードバックする。このような過程を経て、情報アクセスパターンをより現実のものに作り上げていくことができる。
【００５９】
【発明の効果】
以上説明したように本発明によれば、情報提供サービスシステムの性能を測定するとともに、その測定結果に基づく情報提供サービスを実際に体験して情報提供サービスシステムの設計支援が行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報サービス評価装置の構成例を概略的に示した図。
【図２】情報サービス評価装置の動作を説明するためのフローチャート。
【図３】情報テーブルの構成を説明するための図。
【図４】メッセージ送出部の構成例を概略的に示した図。
【図５】本発明の第２の実施形態に係る情報サービス評価装置の構成例を概略的に示した図。
【図６】本発明の第３の実施形態に係る情報サービス評価装置の構成例を概略的に示した図。
【符号の説明】
１…再生部
１ａ…メッセージ送出部
１ｂ…バッファ
１ｃ…要求解析部
２…表示装置
３…性能評価部
３ａ…性能モデル
４…サーバマシン
４ａ…サーバプログラム
６…情報アクセスパターン作成部
１０１…タイミング制御部
１０２…加工部
【図１】
0003590232.tif 000002
【図２】
0003590232.tif 000003
【図３】
0003590232.tif 000004
【図４】
0003590232.tif 000005
【図５】
0003590232.tif 000006
【図６】
0003590232.tif 000007