(57)【要約】【課題】擬似ツール間の同期のズレを防止し、擬似ツールで投入した業務トランザクションの結果についても擬似ツールの種類ごとにバラバラにログ等で保持するのではなく、一括した応答結果の処理により時間軸、業務多重度を系統的に整理することを可能とするネットワークサービスシステムの試験装置を実現する。【解決手段】サービスユーザ、サービス保守者、ネットワーク保守者、及びノードを擬似した擬似ツール群11〜16と業務の負荷量の状態に関するサービスユーザ擬似スクリプト、サービス保守者擬似スクリプト、及びネットワーク保守者擬似スクリプトで構成される業務負荷(複合/競合)制御スプリクト6〜18に基づき該擬似ツール群11〜16を介してネットワークサービスシステムを制御するコマンドを生成する擬似コントローラ5とを備え、擬似コントローラ5が、該制御スプリクト6〜8の元になっている負荷テーブルから所望のパターンを選んで対応する業務負荷量を求め、該業務負荷量に応じて擬似ツール群11〜16の中から少なくとも1つの擬似ツールを選択して該コマンドを生成する。【選択図】図１    
2005227868.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークユーザ及びノードを擬似した擬似ツール群と、
業務の負荷量の状態に関する制御スプリクトに基づき該擬似ツール群を介してネットワークサービスシステムを制御するコマンドを生成する擬似コントローラとを備え、
該擬似コントローラが、該制御スプリクトの元になっている負荷テーブルから所望のパターンを選んで対応する業務負荷量を求め、該業務負荷量に応じて該擬似ツール群の中から少なくとも1つの擬似ツールを選択して該コマンドを生成することを特徴としたネットワークサービスシステムの試験装置。
【請求項２】
請求項１において、
該ネットワークユーザが、サービスユーザ、サービス保守者、及びネットワーク保守者を含み、これに対応して該制御スプリクトが、サービスユーザ擬似スプリクトとサービス保守者擬似スプリクトとネットワーク保守者擬似スプリクトで構成され、該擬似コントローラが、これらのスプリクトと、各種モデルを元に定義されたオブジェクトモデル定義とに基づいて該制御スプリクトに対応した該コマンドを生成することを特徴としたネットワークサービスシステムの試験装置。
【請求項３】
請求項1において、
商用のネットワークサービス構成モデルからログ情報を収集するログ収集部と、該ログ情報を解析するログ解析部とをさらに備え、該擬似コントローラが、該テーブルに対して該ログ解析部での解析結果を書き込んで更新することを特徴としたネットワークサービスシステムの試験装置。
【請求項４】
請求項1おいて、
該擬似コントローラが、業務投入テーブルを有し、該業務投入テーブルに基づいて、既に決定した業務負荷量に対応したユーザ端末を決定し、該端末に対する該コマンドを生成して配信することにより、該端末の応答時間を得ることを特徴としたネットワークサービスシステムの試験装置。
【請求項５】
請求項1おいて、
該擬似コントローラは、該コマンドを該ネットワークサービスシステムに与え、該ネットワークサービスシステムから得られた結果を商用ネットワークサービスシステムの該ネットワークユーザに与えることを特徴としたネットワークサービスシステムの試験装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はネットワークサービスシステムの試験装置に関し、特に大規模なネットワークを使ってサービスを提供するネットワークサービスシステムの試験装置に関するものである。
【０００２】
通信事業者によるADSLやFTTH等のサービス拡大に伴い、一般家庭や中小企業からのISP/CSP提供のネットワークサービス利用が着実に進んでいる。例えば、チケット販売、ネットオークション、電子行政サービス等インターネットやIP-VPNサービスを利用した大規模なネットワークサービスが増えて来ており、このようなネットワークサービスシステムの信頼性を短期間に低コストで試験(評価)できる装置が社会的な要請となっている。
【０００３】
特に高度な信頼性が要求されるサービスにおいては、ユーザとネットワーク事業者間でのSLA (Service Level Agreement) に代表される契約条件に基づいたペナルティ条項が適用されるケースも増えており、サービス品質をどのように試験(評価)するかがユーザ−事業者間での契約において非常に重要になって来ている。
【背景技術】
【０００４】
図21には、上記のようなネットワークサービスシステムのモデル図が示されている。このモデル図に示すようにネットワークサービスシステムは、エレメント管理層とネットワーク管理層とサービス管理層とから構成され、最下位層のエレメント管理層はノード(NE)を管理する層であり、このエレメント管理層の上位層となるネットワーク管理層はネットワークの計画と開発やネットワークプロビジョニング等の管理を司っている。またこれらの管理層の上位層であるサービス管理層は、セールスやオーダー処理を行うサービス実行処理と、サービス問題解決やサービス品質管理を行うサービス保証処理と、請求書の発行及び管理を行う課金処理等を管理するものである。
【０００５】
このようなネットワークサービスシステムは、図22（1）の構成モデルに示すように、ネットワークユーザとしてのサービスユーザ1、サービス保守者2、及びネットワーク保守者3と、ノード41〜43から成るノード群4との間でデータの送受信を行うものであり、このネットワークサービスシステム10は周期起動処理PSに従って動作するものである。
【０００６】
このようなネットワークサービスシステムの試験や信頼性評価については、従来より、様々な擬似ツールや測定ツールを用いて実施されて来ている。例えば、同図（2）に示すように、サービスユーザ1を擬似するためのサービスユーザ擬似ツール11と、サービス保守者2を擬似するためのサービス保守者擬似ツール12と、ネットワーク保守者3を擬似するためのネットワーク保守者擬似ツール13と、ノード41〜43をそれぞれ擬似するためのノード擬似ツール14〜16とによって擬似的にネットワークサービスシステム10とのデータ転送を行うものが知られている。
【０００７】
この場合、また、擬似ツール11〜13には、一般的に、クライアント・サーバー型かインターネットを前提としたクライアント端末アプリケーション上での業務投入が前提となり、それをHTTP/IIOP/XML等の各種のプロトコルに対応したライブラリを備えた汎用の擬似ソフトウェアパッケージを用いた擬似ツールが使用される。また、ノード擬似ツール14〜16には、telnet/ftp/CORBA/TL-1/Q3等の各種のプロトコルを前提として該当するノードのコマンドレスポンスやトラップ・自律メッセージ等を擬似するツールが使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
これらの擬似ツールは、それぞれ試験目的に応じて単独又は組合わせて使用されるが、擬似ツールに対する操作者はあくまでもユーザ(保守者)であり、擬似ツール11〜13間での競合や多重度の制御は複数のユーザ(保守者)が手作業で同期を取りながら行ったり、予め時刻制御用のスクリプト（電文言語）をそれぞれ個別に定義して組み込む形で行われていた。
【０００９】
すなわち、ネットワークサービスシステムにおける業務の繰返し・競合・多重等の負荷系の試験においては、擬似ツール別に業務の種類、対象リソース、順序性、多重度、繰返し数等を擬似ツールのスクリプトとして定義し、それらの同期をユーザ(保守者)が取ることになり、この結果、大規模ネットワークサービスシステムの試験においては次のような問題があった。
（1）擬似ツール間の同期のズレが生ずる場合がある。
（2）擬似ツールで投入した業務トランザクション（タスク）の結果についても擬似ツールの種類毎にバラバラにログ等で保持されるため、負荷系の業務において、それらの解析を時間軸に沿って系統的に整理することは、擬似ツールの精通者においても多大な労力を必要とした。
（3）業務追加や機能追加に伴う競合の組合せや多重度の追加において、それらの差分試験・評価において従来の資産の利用が困難である。
【００１０】
一方、トラヒック測定用の専用プロセッサ及び専用外部回路を具備し、トラヒック測定処理を本体交換機から制御プロセッサに独立、集中させることにより、本体交換機においてトラヒック測定を意識した処理を不要とし、また接続遅延時間等のシステムの総合的なトラヒックを外部的に測定できるようにし、以って複数交換機のうち1台のプロセッサをトラヒック測定専用とし、実マシーン上でトラヒックデータの集計・解析を行うトラヒック測定方式がある（例えば、特許文献1参照。）。
【００１１】
また、監視システムにおける監視ネットワークと監視装置の性能解析システムにおける性能評価作業をシュミレーションに時間がかかる部分は近似値計算を使用し、それ以外の部分は待ち行列シュミレーションを使用して性能評価を待ち行列解析と近似値計算を使い分けるようにし、以てトラヒックパターンの情報収集からパケットの発生パターンモデルをスケジューリングし、性能解析を行う大規模ネットワーク監視系の性能解析方法及びそのシステムがある（例えば、特許文献2参照。）。
【特許文献１】特開昭56-123164号公報
【特許文献２】特開2001-326641号公報
【００１２】
従って本発明は、ネットワークサービスシステムを用いた業務の繰返し・競合・多重等の負荷系試験において、擬似ツール別に業務の種類、対象リソース、順序性、多重度、繰返し数等を擬似ツールを使って行う場合において、以下のような課題を解決することを目的とする。
（1）擬似ツール間の同期のズレを防止し、試験精度を高める。
（2）擬似ツールで投入した業務トランザクションの結果についても擬似ツールの種類ごとにバラバラにログ等で保持するのではなく、一括した応答結果の処理により時間軸、業務多重度を系統的に整理することを可能とし、ツールの精通者の労力を軽減する。
（3）業務追加や機能追加に伴う競合の組合せや多重度の追加に際しての差分試験・差分評価において、過去に実施した試験・評価資産の再利用により効果的な差分試験を可能とする。
（4）季節・時間等による負荷集中を見越したリハーサル試験・評価において、過去に実施した試験・評価資産の再利用により効果的なリハーサルを可能とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明に係るネットワークサービスシステムの試験装置は、ネットワークユーザ及びノードを擬似した擬似ツール群と、業務の負荷量の状態に関する制御スプリクトに基づき該擬似ツール群を介してネットワークサービスシステムを制御するコマンドを生成する擬似コントローラとを備え、該擬似コントローラが、該制御スプリクトの元になっている負荷テーブルから所望のパターンを選んで対応する業務負荷量を求め、該業務負荷量に応じて該擬似ツール群の中から少なくとも1つの擬似ツールを選択して該コマンドを与えることを特徴としている。
【００１４】
すなわち、本発明においては図1に原理的に示すように、ネットワークユーザ及びノードを擬似した擬似ツール群11〜16に対してこれらを制御することによりネットワークサービスシステム10を制御するための擬似コントローラ5を設けるとともに、この擬似コントローラ5に対して、業務の負荷量に関する制御スクリプト、例えば業務負荷制御スクリプト8を用い、この制御スクリプト8の元になっているテーブルから、例えば空転パターン、定常パターン、緊急パターン、障害パターン、又は再開パターンのうちの所望のパターンを選んで対応する業務負荷量を求め、この業務負荷量に応じて上記の擬似ツール部の中から少なくとも1つの擬似ツールを選択してコマンドをネットワークサービスシステム10に与えるようにしたものである。
【００１５】
ここで、上記のネットワークユーザには、サービスユーザ、サービス保守者、及びネットワーク保守者を含み、これに対応して制御スプリクト8を、サービスユーザ擬似スプリクトとサービス保守者擬似スプリクトとネットワーク保守者擬似スプリクトで構成することができる。擬似コントローラ5は、これらのスプリクトと、各種モデルを元に定義されたオブジェクトモデル定義とに基づいて該制御スプリクト8に対応した該コマンドを生成することができる。
【００１６】
本発明はさらに、商用のネットワークサービス構成モデルからログ情報を収集するログ収集部と、該ログ情報を解析するログ解析部とを備え、擬似コントローラ5が、上記のテーブルに対して該ログ解析部での解析結果を書き込んで更新することも可能である。
【００１７】
また、擬似コントローラ5は、業務投入テーブルを有し、該業務投入テーブルに基づいて、既に決定した業務負荷量に対応したユーザ端末を決定し、該端末に対する該コマンドを生成して配信することにより、該端末の応答時間を得ることができる。
【００１８】
また、擬似コントローラ5は、該コマンドを該ネットワークサービスシステムに与え、該ネットワークサービスシステムから得られた結果を商用ネットワークサービスシステムの該ネットワークユーザに与えることもできる。
【００１９】
また、擬似コントローラ5は、該スプリクト8をひな型に当てはめて該コマンドを生成するための共通スケルトンを含むことができる。
【００２０】
本発明では、さらに擬似ツール群11〜16と擬似コントローラ5とのデータの転送を行う擬似ツール制御エージェント17〜22をさらに備えることができる。
【００２１】
なお、上記の業務負荷量の代わりに、業務複合量又は業務競合量を用いてもよい。この場合には、業務負荷制御スプリクト8の代わりに、業務複合制御スプリクト7や業務競合制御スプリクト6を用いることになる。
【発明の効果】
【００２２】
本発明によれば、ネットワークサービスシステムの擬似ツール間の同期のズレがなくなり、また、擬似コントローラから擬似ツール群を経てネットワークシステムにコマンド制御を行った結果を利用して時間軸・業務多重度を系統的に整理することが可能になる。更に、運用に際して各種の負荷パターンを想定した試験を実施することが容易に可能となる。
【発明を実施するための最良の形態】
【００２３】
実施例（1）
図2は、図1に示した擬似コントローラ5の一実施例を示したものである。この実施例において、擬似コントローラ5は、業務競合制御スクリプト6、業務複合制御スクリプト7、又は業務負荷制御スクリプト8をシーケンシャル及びランダムに読み込むスクリプト読込部20と、業務モデル、サービスモデル、ネットワークモデル、ノードモデル等の各種のモデル701を元に定義されたオブジェクトモデル定義70を読み込むオブジェクトモデル読込部31と、予め用意した競合テーブル34と、複合テーブル33と、負荷テーブル32と、スクリプト読込部20で読み込んだスクリプト6〜8とオブジェクトモデル読込部31から読み込んだオブジェクトモデル定義70とテーブル32〜34とに基づいてスクリプトの解析を行うスクリプト解析部30と、擬似ツールに対してどのひな型に該当するかを当てはめるための擬似ツールコマンド展開スケルトン60と、スクリプト解析部30での解析結果をスケルトン60を用いることにより擬似ツールコマンドを生成する擬似ツールコマンド生成部40と、擬似ツールコマンド生成部40で生成したコマンドを擬似ツール制御エージェント17〜22を介して擬似ツール11〜16に配信するための擬似エージェント配信部50とで構成されている。
【００２４】
このような擬似コントローラ5の動作を、図3に示すフローチャートに沿って以下に説明する。
【００２５】
まず、図2に示した負荷テーブル32、複合テーブル33、及び競合テーブル34を用意する。ただし、この実施例においてはまず負荷テーブル32のみを用いた場合について説明する。この負荷テーブル32は図4に示すようなものであり、試験（評価)対象となるネットワークサービスシステム10を、ある一定期間で予定される業務・工事負荷要件に基づき、業務単位別（縦軸）別に各運用パターン（横軸）を設け、負荷量や周期起動処理方法及び擬似ツールを一覧表にしたものである。
【００２６】
このうち、業務/イベントは、業務種別（サービスユーザ業務、サービス保守者業務、ネットワーク保守者業務、周期起動業務）毎に使用頻度・重要度を考慮して列挙してある。パターンに関しては、空転パターン（システムが無風状態のときでオペレーションなし）、定常パターン（通常業務の一定負荷量）、緊急パターン（業務が集中し、緊急的に運用を強いられた時で、定常パターンの2〜4倍程度の負荷量）、障害パターン（システムに何らかの障害が発生した状態で、定常パターンの2〜10倍程度の高負荷量）、再開パターン（システムが運用開始した直後で、定常パターンの2〜10倍程度の高負荷量）の5パターンに分けて業務量を記載してある。
【００２７】
このような負荷テーブル32を用いて、この実施例（1）においては、まず外部から与えるパターン選択指示に従って業務負荷量の決定を行う（ステップS200）。
【００２８】
このステップS200の具体例が図5に示されており、以下、この図5のフローチャートを説明する。
【００２９】
まず、上記の業務負荷テーブル32を読み込み（ステップS201）、外部から与えられたパターン選択信号に従って、ステップS202〜S206のいずれかのパターンを選択する。この場合、図4に示されたパターンのうち例えば「定常パターン」が選択されたと仮定した場合、ステップS203を経由してステップS212〜S216が実行される。
【００３０】
すなわち、図4の負荷テーブル32におけるサービスユーザ業務A1〜B4の全てに対してフラグをセットし（ステップS212）、サービス保守者業務C1〜D6においても同様に全てのサービス保守者業務に対してフラグをセットし（ステップS213）、ネットワーク保守者業務E1〜E4に対しても同様にネットワーク保守者業務フラグをセットする（ステップS214）。更に、周期起動業務（図1に示した周期起動処理PS）に関しても同様に業務F1〜F3に対応するクーロン起動に対してフラグをセットする（ステップS215）。なお、このクーロン起動とは、システムが自動的に稼動することを示している。
【００３１】
この後、フラグをセットした業務から、この業務負荷量の決定を行う（ステップS216）。すなわち、選択した定常パターンに対する業務負荷量が決定されて設定されることになる。
【００３２】
一方、この実施例（1）で扱う業務負荷に関しての制御スクリプト8は、図3に示すように、サービスユーザ擬似スクリプト91とサービス保守者擬似スクリプト92とネットワーク保守者擬似スクリプト93とで構成されている。なお、この制御スクリプトに関しても、上記のテーブルと同様に、複合制御スクリプト7及び競合制御スクリプト6については省略してある。
【００３３】
これらの擬似スクリプト91〜93は、各種のモデル701を元に定義されたオブジェクトモデル定義70に基づき、サービスユーザ擬似ツール11とサービス保守者擬似ツール12とネットワーク保守者擬似ツール13に対するコマンドを生成するための言語であり、この場合、図2で説明したように、ひな型に当てはめる共通スケルトン60を経由して行う。
【００３４】
このような擬似ツールへのコマンド展開のフローチャートが図6に示されている。このうち、同図（1）はサービスユーザ擬似ツール11の場合を示しており、同図（2）はサービス保守者擬似ツール、そして同図（3）はネットワーク保守者擬似ツール13について示している。
【００３５】
まず、同図（1）に示すサービスユーザ擬似ツール11においては、スクリプト91を読み込み（ステップS301）、共通ライブラリをインポートし（ステップS302）、共通ライブラリをベースとして電文フォーマット（構文のみ）を生成し（ステップS303）、ステップS200で求めた業務負荷量に基づいてインプットパラメータを作成する（ステップS304）。すなわち、入力情報としてのインプットパラメータに業務負荷量がはめ込まれることになる。なお共通ライブラリはツールを実行させるためのものである。
【００３６】
同様にして、同図（2）に示すサービス保守者擬似ツール12に対してのコマンド作成（ステップS301〜S314）、並びに同図（3）に示すネットワーク保守者擬似ツール13に対するコマンド作成（ステップS321〜S324）を実行する。なお、図4に示した業務負荷テーブル32の場合には全てのツールにおいてコマンドが発生するが、各パターンの内容によっては一部の擬似ツールしか必要とせず、不必要な擬似ツールについてはコマンドが生成されない場合もある。
【００３７】
このようにして生成された擬似ツールへのコマンドに対して、どの擬似ツールを選択するかが実行される（ステップS400）。すなわち、これは、上記のように全ての擬似ツールに対するコマンドが作成されても、条件次第では、選択されない場合があることを示している。
【００３８】
この擬似ツールの選択フローが図7に示されており、業務負荷テーブル32を読み込んだ後（ステップS401）、ステップS200で決定され、ステップS304,S314,S324においてインプットパラメータに挿入されている業務負荷量に基づいて擬似ツールの必要台数を算出する（ステップS402）。これは、図4のテーブル32で見ると、各業務に対応して、サービスユーザ業務の場合には擬似ツール11が割り当てられ、サービス保守者業務の場合には擬似ツール12、そしてネットワーク保守者業務の場合には擬似ツール13が上述した例に沿って割り当てられているが、各擬似ツールはこのように各業務と対応している必要はなく、その場合には業務負荷量に応じて必要台数を算出すればよい。そして、必要台数から業務負荷テーブルの対応する擬似ツールを選択することになる。従って、例えば、擬似ツールが7台必要であれば、図4の負荷テーブル32に従い、擬似ツール11を選択すればよいことになる。
【００３９】
図3に戻り、このようにして擬似ツールが選択された後（ステップS400）、選択された擬似ツールから図6で生成したコマンドを配信する（ステップS500）。このとき、「送信日時」、「タイマ値」、「アカウント」、「アドレス」、等の配信要素94をインプット情報INFとして設定し、擬似エージェント17〜19を経由して試験データTDを配信する。これによって、選択された擬似ツールからネットワークサービスシステム10に対して試験データTDが送られることになる。
【００４０】
上述したように、上記の実施例（1）では業務負荷量について業務負荷テーブル32を用いて説明したが、図8に示す業務複合テーブル33又は図9に示す業務競合テーブル34についても同様にして実行することが可能である。
【００４１】
すなわち、図8に示す業務複合テーブル33は、同一業務の複合パターンの有無を一覧化したものであり、テーブル中の「○」は複合パターンが発生する場合であり、「△」は条件付きで発生する場合、また「×」は発生しないパターンを示している。また、縦横は同一業務を表しているため、縦を基軸として表示したものである（左下△部分は、右上△と同一のため網掛け表示してある。）。
【００４２】
また、図9に示す業務競合テーブル34は、業務種別（サービスユーザ業務、サービス保守者業務、ネットワーク保守者業務）毎に処理を細分化したもの（タスク＿X-Y）と、対象となるネットワークサービスシステムの日常的な業務プロセスをパターン化し（P-1〜P-6）、競合パターンをマトリックス化したものである。このテーブル中の「○」が競合パターンが発生する場合を示し、空白は競合パターンが発生しない場合を示している。
【００４３】
実施例（2）
図10は、図1及び図2に示した本発明を用いて商用ネットワークサービスシステムと組み合わせた試験装置を示したものである。すなわち、この実施例の場合には、商用システム100において負荷が集中する特定期間の商用ノード41〜43、サービスユーザ1、サービス保守者2、ネットワーク保守者3の商用実業務データとして抽出されたログ（業務トランザクションログ、ノードイベントログ、コマンドレスポンスログ等）610から試験スクリプトを生成するため、ログを収集するログ収集部601と、収集したログを解析するログ解析部602と、この解析した解析結果に基づいてスクリプトを生成するスクリプト展開部603とを設けている。
【００４４】
すなわち、擬似コントローラ5において、ログ収集部601、ログ解析部602、及びスクリプト展開部603を具備した場合、商用ネットワークサービスシステム100でのログ情報610を元に、各試験モデルパターンに合った試験を実施することが可能となる。ログ収集部601では、商用のログデータ610をネットワーク経由または外部媒体経由で収集を行う。システムが大規模になればその分、ログデータ量も増大するため、必要なログデータ収集スクリプトを予めメニュー形式で作成しておき、最小時間で収集する。そして、ログ収集部601からの情報をログ解析部602において解析実行し、スクリプト展開部603において各モデルにあった一定負荷量（背景負荷）のスクリプトを前記モデル別に対応するスクリプトの業務投入量を規定して作成するようにしている。
【００４５】
これにより、例えば、お盆モデルとしての業務負荷（複合・競合）制御スクリプト401や、同じく元旦モデル402、台風モデル403、或いはテロモデル404を生成することができる。すなわち業務やノードイベントの高負荷状態を擬似試験環境に取り込んで業務負荷制御として各モデルに沿った擬似負荷による再現試験や将来にわたる擬似リハーサル評価を可能とする構成にしている。これにより、24時間、365日の連続運転をするようなサービスネットワークに適した状態でバックアップ用システムを用いて事前に各種の業務負荷制御スクリプトを利用した試験が可能となる。
【００４６】
図11には、図10に示した試験方式の動作例が示されている。この図11のフローチャートは、図3に示した実施例（1）のフローチャートに対して、ステップS10及びS20並びにS100が追加されている点が異なっている。
【００４７】
すなわち、商用ネットワークサービスシステム100が呈する、図4にも示した空転パターン101、通常パターン102、緊急パターン103、障害パターン104、及び再開パターン105のいずれかにおいて、このシステムが周期的に掃き出すログ情報610を、ログ収集部601が定期的に取りに行き（ステップS10）、ログ解析部602において集計及び分析を行う（ステップS20）。そして、この解析結果を各業務について運用評価するため、予め設計時に定義してあるシステム100のオブジェクトモデル定義70（各種のモデル701を元に定義したもの）を元に、負荷テーブル32、複合テーブル33、又は競合テーブル34に反映して設計データの更新を行う。この場合も、負荷テーブル32のみを扱っているので、更新は負荷テーブル32のみを行うことになる。
【００４８】
このステップS100の具体的なフローが図12に示されている。すなわち、業務負荷テーブル32を読み込んだ後（ステップS101）、オブジェクトモデル定義70を読み込み（ステップS102）、ステップS20で求めたログ情報の解析結果とオブジェクトモデル定義70とを比較し（ステップS103）、両者が一致した場合にはステップS200に進むが、一致しない場合には、負荷テーブルへのデータ書き込みを行って最新のデータに反映させておく（ステップS105）。
【００４９】
実施例（3）
図13は、実施例（3）の動作例を示したもので、この実施例（3）と、図3に示した実施例（1）との違いは、業務投入テーブル501を用い、選択パターンの業務負荷量及びユーザの決定を行うステップS200’が用いられるとともに、擬似ツールの選択ステップS400’が用いられている点である。
【００５０】
すなわち、業務投入テーブル501は図14に示されており、この業務投入パターンテーブル501は、ネットワークサービスシステムに対する業務の一覧と同時に投入する業務の対応表になっており、縦軸に投入業務の一覧を示し、横軸に投入する端末の一覧を記述しており、同時に投入する端末と業務の組合せに○印が付されている。なおこの場合の端末とは、擬似ツールを処理する端末と考えればよい（図20参照）。
【００５１】
このような業務投入テーブル501を用いて、選択パターンの業務負荷量及びユーザ（操作と端末）の決定を行うステップS200’が図15に示されている。すなわち、図15において、業務投入テーブル501と業務負荷テーブル32が読み込まれ（ステップS201）、この場合、例えば緊急パターンが選択されているものと仮定すると、ステップS204からステップS217〜S221が実行される。これは、図5におけるステップS217〜S221を実行する場合と同様にして緊急パターン時の業務負荷量が決定される。
【００５２】
そしてこの実施例（3）では更に、この業務投入パターンテーブル501を参照して（ステップS244）、ユーザ業務とユーザ操作端末を決定する（ステップS245）。この後、ステップS300においては、ステップS200’で求めた選択パターンの業務負荷量に基づいて擬似ツールへのコマンド展開を行いステップS400’に進む。
【００５３】
このステップS400’においては、擬似ツールの選択をする訳であるが、図16に示すように、図7のステップS400に対してステップS410が追加されている点が異なっている。
【００５４】
すなわち、ステップS403において擬似ツールの選択を行った後、業務投入パターンテーブル501に基づき、ユーザ端末を決定することになる（ステップS410）。
【００５５】
そして、上記と同様にステップS500及びS600を経由して試験データTDをネットワークサービスシステム10に対して配信することにより、決定したユーザ端末から応答結果RESを受けることができ、応答時間テーブル502が作成・更新される（ステップS700）。
【００５６】
この場合の応答時間テーブルが図17に示されている。この応答時間テーブル502は、出力として求めている投入業務と、応答時間との関係を示したテーブルであり、投入パターンテーブル501と同様に、縦軸に投入した業務の一覧を示し、横軸に投入したユーザ端末の一覧を載せ、それぞれの業務の応答時間をその業務と投入端末に対応した欄に記入している。
【００５７】
このようにして、被試験端末に対する擬似ツールによる試験に基づく応答時間を求めることができ、該端末に対しての評価が可能となる。
【００５８】
実施例（4）
図18は、図1に示した本発明の実施例（4）を示したものである。この実施例（4）においては、擬似ツール群11〜16、擬似コントローラ5、擬似エージェント17〜22、並びに評価目的別の業務制御スクリプト6〜7を、商用ネットワークサービス構成モデル100と兼用する構成とし、この商用ネットワークサービス構成モデル100を経由してサービスユーザ1、サービス保守者2、ネットワーク保守者3、及びノード41〜43に対して試験結果を転送するようにしている。これにより商用ネットワークサービスシステム100で予定される業務・工事負荷要件を予め実システム上で評価することが可能となる。
【００５９】
図19はこのような本発明の実施例（4）の動作例が図19のフローチャートに示されている。この図19のフローチャートと図13に示した実施例（3）の実施例との違いはステップS600において試験データTDを配信する対象がネットワークサービスシステム10の代わりに商用ネットワークサービスシステム100になっている点が異なっているだけであり、その他は同様である。なお、この実施例（4）は実施例（3）だけでなく、上記の実施例（1）及び（2）についても同様に適用できるものである。
【００６０】
すなわち、図2に示した擬似コントローラを実運用（商用）の被評価対象ネットワークシステムに適用し、商用ノード41〜43、およびサービスユーザ1、サービス保守者2、ネットワーク保守者3の試験擬似装置を業務・工事負荷条件、業務競合・複合条件に基き、業務・工事負荷投入量を設定する。設定条件が決定した後、上記の擬似コントローラより擬似エージェント17〜22に向かって対応する電文（スクリプト）を指令し、各業務擬似ツールより被評価ネットワークシステム10に対して試験を実施することを可能とするものであり、上記結果に基き、試行・評価を行うことで、商用モデル100での各運用パターン（通常パターン、緊急パターン、障害パターン、再開パターン）および業務競合マトリックス、業務複合マトリックスに対応する事前検証・評価することが可能となる。
【００６１】
評価試験構成例
図20は上記の本発明に係るネットワークサービスシステムの試験装置を実際に構成する場合の一例が示されている。図中、同一符号は上記と同様の部分を示しているが、この場合のネットワークサービスシステム10は、共通部10aとシステム管理部10bとサービス管理部10cとネットワーク管理部10dとエレメント管理部10eとデータベース管理部10fとを有し、更にデータベース10gを有している。また、サービスユーザ擬似ツール11は、サービスオーダーをXML電文等で擬似してネットワークサービスシステム10へ送ることができるものである（ステップS501）。
【００６２】
また、サービス保守者擬似ツール12はオペレーションの自動化を擬似するコマンドを発生し（ステップS502）、ネットワーク保守者擬似ツール13は、ネットワーク保守者向け業務の過負荷試験のためのコマンドを送るものである（ステップS503）。この試験構成例においては、擬似ツール11〜13がユーザ端末（図14の業務投入パターンテーブル501参照）に対応している。また擬似ノード14〜16はネットワーク装置としての擬似操作を行うことができる（ステップS504）。
（付記１）
ネットワークユーザ及びノードを擬似した擬似ツール群と、
業務の負荷量の状態に関する制御スプリクトに基づき該擬似ツール群を介してネットワークサービスシステムを制御するコマンドを生成する擬似コントローラとを備え、
該擬似コントローラが、該制御スプリクトの元になっている負荷テーブルから所望のパターンを選んで対応する業務負荷量を求め、該業務負荷量に応じて該擬似ツール群の中から少なくとも1つの擬似ツールを選択して該コマンドを生成することを特徴としたネットワークサービスシステムの試験装置。
（付記２）付記１において、
該ネットワークユーザが、サービスユーザ、サービス保守者、及びネットワーク保守者を含み、これに対応して該制御スプリクトが、サービスユーザ擬似スプリクトとサービス保守者擬似スプリクトとネットワーク保守者擬似スプリクトで構成され、該擬似コントローラが、これらのスプリクトと、各種モデルを元に定義されたオブジェクトモデル定義とに基づいて該制御スプリクトに対応した該コマンドを生成することを特徴としたネットワークサービスシステムの試験装置。
（付記３）付記1において、
商用のネットワークサービス構成モデルからログ情報を収集するログ収集部と、該ログ情報を解析するログ解析部とをさらに備え、該擬似コントローラが、該テーブルに対して該ログ解析部での解析結果を書き込んで更新することを特徴としたネットワークサービスシステムの試験装置。
（付記４）付記1おいて、
該擬似コントローラが、業務投入テーブルを有し、該業務投入テーブルに基づいて、既に決定した業務負荷量に対応したユーザ端末を決定し、該端末に対する該コマンドを生成して配信することにより、該端末の応答時間を得ることを特徴としたネットワークサービスシステムの試験装置。
（付記５）付記1おいて、
該擬似コントローラは、該コマンドを該ネットワークサービスシステムに与え、該ネットワークサービスシステムから得られた結果を商用ネットワークサービスシステムの該ネットワークユーザに与えることを特徴としたネットワークサービスシステムの試験装置。
（付記６）付記１において、
該擬似コントローラが、該スプリクトをひな型に当てはめて該コマンドを生成するための共通スケルトンを備えていることを特徴としたネットワークサービスシステムの試験装置。
（付記７）付記1おいて、
該擬似ツール群と該擬似コントローラとのデータの転送を行う擬似ツール制御エージェントをさらに備えたことを特徴とするネットワークサービスシステムの試験装置。
（付記８）付記1から7のいずれか1つにおいて、
該業務負荷量の代わりに、業務複合量又は業務競合量を用いることを特徴とするネットワークサービスシステムの試験装置。
（付記９）付記1において、
該所望のパターンが、空転パターン、定常パターン、緊急パターン、障害パターン、又は再開パターンであることを特徴とするネットワークサービスシステムの試験装置。
【図面の簡単な説明】
【００６３】
【図１】本発明に係るネットワークサービスシステムの試験装置の原理構成を示したブロック図である。
【図２】本発明に係るネットワークサービスシステムに用いられる擬似コントローラの構成例（実施例（1））を示したブロック図である。
【図３】本発明に係るネットワークサービスシステムの実施例（1）の動作を示したフローチャート図である。
【図４】本発明に係るネットワークサービスシステムの試験装置に用いる業務負荷テーブル（32）の一例を示した図である。
【図５】図3に示した選択パターンの業務負荷決定ステップ（S200）の具体的なフローチャート図である。
【図６】図3に示した擬似ツールへのコマンド展開ステップ（S300）の具体例を示したフローチャート図である。
【図７】図3に示した擬似ツールの選択ステップ（S400）を具体的に示したフローチャート図である。
【図８】本発明に係るネットワークサービスシステムの試験装置で用いられる業務複合テーブル（33）の一例を示した図である。
【図９】本発明に係るネットワークサービスシステムの試験装置で用いられる業務競合テーブル（34）の一例を示した図である。
【図１０】本発明に係るネットワークサービスシステムの実施例（2）として商用ネットワークサービスシステムと組み合わされた試験方式を示したブロック図である。
【図１１】本発明に係るネットワークサービスシステムの実施例（2）の動作を示したフローチャート図である。
【図１２】図11の実施例（2）の動作で用いたステップS100を具体的に示したフローチャート図である。
【図１３】本発明に係るネットワークサービスシステムの実施例（3）の動作を示したフローチャート図である。
【図１４】本発明に係る実施例（3）で用いる業務投入パターンテーブル（501）の一例を示した図である。
【図１５】図13に示した負荷パターンの業務負荷量及びユーザの決定ステップ(S200’)の具体的なフローチャート図である。
【図１６】本発明の実施例（3）におけるステップS400’の具体的なフローチャート図である。
【図１７】本発明の実施例（3）で得られる応答時間テーブル（502）を示した図である。
【図１８】本発明に係るネットワークサービスシステムの実施例（4）を示したブロック図である。
【図１９】本発明に係るネットワークサービスシステムの実施例（4）の動作を示したフローチャート図である。
【図２０】本発明に係るネットワークサービスシステムの試験装置の実際の構成例を示した図である。
【図２１】一般的なネットワークサービスシステムのモデル図である。
【図２２】一般的なネットワークサービスシステムの試験方式を説明するためのブロック図である。
【符号の説明】
【００６４】
1  サービスユーザ
2  サービス保守者
3  ネットワーク保守者
4  ノード群
41〜43  ノード
10  ネットワークサービスシステム
11  サービスユーザ擬似ツール
12  サービス保守者擬似ツール
13  ネットワーク保守者擬似ツール
14〜16  ノード擬似ツール
6  業務競合制御スクリプト
7  業務複合制御スクリプト
8  業務負荷制御スクリプト
17〜22  擬似ツール制御エージェント
20  スクリプト読込部
30  スクリプト解析部
31  オブジェクトモデル読込部
32  負荷テーブル
33  複合テーブル
34  競合テーブル
40  擬似ツールコマンド生成部
50  擬似エージェント配信部
60  擬似ツールコマンド展開スケルトン
70  オブジェクトモデル定義
701  各種モデル
91  サービスユーザ擬似スクリプト
92  サービス保守者擬似スクリプト
93  ネットワーク保守者擬似スクリプト
94  配信要素
100  商用ネットワークサービス構成モデル
601  ログ収集部
602  ログ解析部
603  スクリプト展開部
401〜404  制御スクリプト
610  ログ情報
501  業務投入テーブル
502  応答時間テーブル
図中、同一符号は同一又は相当部分を示す。
【図１】
2005227868.tif 000003
【図２】
2005227868.tif 000004
【図３】
2005227868.tif 000005
【図４】
2005227868.tif 000006
【図５】
2005227868.tif 000007
【図６】
2005227868.tif 000008
【図７】
2005227868.tif 000009
【図８】
2005227868.tif 000010
【図９】
2005227868.tif 000011
【図１０】
2005227868.tif 000012
【図１１】
2005227868.tif 000013
【図１２】
2005227868.tif 000014
【図１３】
2005227868.tif 000015
【図１４】
2005227868.tif 000016
【図１５】
2005227868.tif 000017
【図１６】
2005227868.tif 000018
【図１７】
2005227868.tif 000019
【図１８】
2005227868.tif 000020
【図１９】
2005227868.tif 000021
【図２０】
2005227868.tif 000022
【図２１】
2005227868.tif 000023
【図２２】
2005227868.tif 000024