(57)【特許請求の範囲】
【請求項１】
外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置であって、
URLと、擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部と、
前記受信したhttpリクエストにて要求されたURLを識別し、該識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得し、前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する解析部と、
前記解析部にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記解析部にて識別されたURLと、前記生成された擬似Webデータとを対応付けて前記記憶部に記憶させる擬似Webデータ生成部と、
前記解析部にて取得された擬似Webデータまたは前記擬似Webデータ生成部にて生成された擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する通信部と、を有する応答装置。
【請求項２】
請求項１に記載の応答装置において、
前記擬似Webデータ生成部は、URLを作成し、該作成したURLをリンクとして含めたWebデータを前記擬似Webデータとして生成する応答装置。
【請求項３】
請求項１または請求項２に記載の応答装置において、
前記擬似Webデータ生成部は、前記記憶部に記憶されたURLをリンクとして含めたWebデータを前記擬似Webデータとして生成する応答装置。
【請求項４】
外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置であって、
URLと、擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部と、
前記受信したhttpリクエストにて要求されたURLを識別し、該識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得し、前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する解析部と、
前記解析部にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記解析部にて識別されたURLと、前記生成された擬似Webデータとを対応付けて前記記憶部に記憶させる擬似Webデータ生成部と、
擬似Webデータを生成する擬似Webデータ生成部と、
前記解析部にて取得された擬似Webデータまたは前記擬似Webデータ生成部にて生成された擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する通信部と、
を有し、
前記擬似Webデータを生成すると決定された場合に前記擬似Webデータ生成部が生成する前記擬似webデータは、URLを作成して該作成したURLをリンクとして含めたWebデータ及び前記記憶部に記憶されたURLをリンクとして含めたWebデータの少なくとも一方であり、
前記擬似Webデータ生成部は、前記解析部にて擬似Webデータを生成しないと決定された場合、前記解析部にて識別されたURLに対応する擬似Webデータが存在しないことを示すメッセージを前記擬似Webデータとして生成する、応答装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の応答装置において、
前記通信部は、前記解析部にて取得された擬似Webデータまたは前記擬似Webデータ生成部にて生成された擬似Webデータを、ランダムに発生させた時間だけ遅延させてから、前記受信したhttpリクエストの送信元へ送信する応答装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の応答装置において、
前記記憶部に記憶されたURLのうち、予め決められたルールに従って選択したURL、および、該選択したURLに対応する擬似Webデータを、前記記憶部から削除する履歴削除部をさらに有する応答装置。
【請求項７】
URLと擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部を有し、外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置における応答方法であって、
前記受信したhttpリクエストにて要求されたURLを識別する処理と、
前記識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得する処理と、
前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する決定処理と、
前記決定処理にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記識別したURLと、前記生成した擬似Webデータとを対応付けて前記記憶部に記憶させる処理と、
前記取得した擬似Webデータまたは前記生成した擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する処理と、を有する応答方法。
【請求項８】
URLと擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部を有し、外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置に、
前記受信したhttpリクエストにて要求されたURLを識別する機能と、
前記識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得する機能と、
前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する決定機能と、
前記決定機能にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記識別したURLと、前記生成した擬似Webデータとを対応付けて前記記憶部に記憶させる機能と、
前記取得した擬似Webデータまたは前記生成した擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する機能と、を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、http（hyper text transfer protocol）リクエストに対して擬似的な応答を行う応答装置、応答方法およびプログラムに関する。
【背景技術】
【０００２】
近年、大規模分散処理システムの普及にともない、全文検索型サーチエンジンの検索データベースを大規模分散処理システム上に構築することで全文検索サービスが提供されるようになってきている。なお、大規模分散処理システムとは、多数のサーバから構成され、その多数のサーバが協調して動作するシステムのことである。
【０００３】
全文検索サービスを提供する場合には、Webクローラがインターネット上から大量のWebページの情報（以降、Webデータという）を高速に収集する。そして、収集された大量のWebデータが大規模分散処理システムに書き込まれる。つまり、全文検索サービスを提供する場合には、大規模分散処理システムが、Webクローラが収集したWebデータを蓄積するテーブルシステムとして用いられる。
【０００４】
ここで、全文検索サービスを提供するために大規模分散処理システムを新たに開発したり、更改したりする場合、その大規模分散処理システムの過負荷試験等が不可欠である。特に、大規模分散処理システムとＷｅｂクローラとを連携させた結合試験を行うことが重要になる。
【０００５】
試験環境にある大規模分散処理システムとWebクローラとをインターネットに接続して試験を行う場合、試験環境からインターネットへの接続回線が実環境に比べて狭帯域であることが多い。この場合、その接続回線がボトルネックとなり、十分な負荷をかけた試験を行うことが難しい。また、試験の都度、Webクローラから、インターネット上に実在するWebページに繰り返しアクセスすることは、それらのWebページを提供しているWebサーバへ不必要な負荷をかけることになる。
【０００６】
そこで、実環境で利用するWebクローラを改造することなく、接続回線がない環境、または、接続回線が狭帯域である環境でも、大規模分散処理システムへの大量のWebデータ書き込みを高速に実現する方法が求められていた。
【０００７】
これを実現するための方法として、非特許文献１に開示されているHTTPにおけるキャッシングを用いることにより、インターネットへのアクセス数や取得するWebデータの量を削減する方法がある。
【０００８】
この方法では、Webクローラとインターネットとの間にキャッシュサーバを設けておく。そのキャッシュサーバには、予め取得しておいたインターネット上の大量のWebデータを記憶させておく。そして、Webクローラからのhttpリクエストに対応するWebデータがキャッシュサーバに記憶されていない場合にだけ、インターネットへアクセスしてそのhttpリクエストに対応するWebデータを取得する。これにより、試験環境にある大規模分散処理システムとWebクローラとをインターネットに接続する場合に、インターネットへのアクセス数や取得するWebデータの量を削減することができる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】R. Fielding, J. Gettys, J. Mogul, H. Frystyk, L. Masinter, P. Leach, T.Berners-Lee: Hypertext Transfer Protocol -- HTTP/1.1 (RFC 2616), June 1999
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した方法では、試験を開始する前に、インターネット上の大量のWebデータを予め取得しておく必要がある。従って、上述した方法を用いても、大量のWebデータを取得するためにインターネットへの接続を長時間行わなければならないという問題点がある。
【００１１】
また、キャッシュサーバに記憶されたWebデータには、実環境では頻繁に行われるWebページの更新や削除等にともなうWebデータの時間の経過による変化を反映させることができない。つまり、上述した方法を用いても、実環境を模擬した試験を行うことができないという問題点がある。
【００１２】
本発明は、大規模分散処理システムとWebクローラとを連携させた結合試験を、実環境を模擬しつつ効率的に行うことを可能にする応答装置、応答方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために本発明の応答装置は、外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置であって、
URLと、擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部と、
前記受信したhttpリクエストにて要求されたURLを識別し、該識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得し、前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する解析部と、
前記解析部にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記解析部にて識別されたURLと、前記生成された擬似Webデータとを対応付けて前記記憶部に記憶させる擬似Webデータ生成部と、
前記解析部にて取得された擬似Webデータまたは前記擬似Webデータ生成部にて生成された擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する通信部と、を有する。
【００１４】
また、上記目的を達成するために本発明の応答方法は、URLと擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部を有し、外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置における応答方法であって、
前記受信したhttpリクエストにて要求されたURLを識別する処理と、
前記識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得する処理と、
前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する決定処理と、
前記決定処理にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記識別したURLと、前記生成した擬似Webデータとを対応付けて前記記憶部に記憶させる処理と、
前記取得した擬似Webデータまたは前記生成した擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する処理と、を有する。
【００１５】
また、上記目的を達成するために本発明のプログラムは、URLと擬似的なWebデータである擬似Webデータとを対応付けて記憶する記憶部を有し、外部から送信されてきたhttpリクエストを受信し、該受信したhttpリクエストに対して擬似的な応答を行う応答装置に、
前記受信したhttpリクエストにて要求されたURLを識別する機能と、
前記識別したURLが前記記憶部に記憶されている場合、前記識別したURLに対応する擬似Webデータを前記記憶部から取得する機能と、
前記識別したURLが前記記憶部に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する決定機能と、
前記決定機能にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、前記識別したURLと、前記生成した擬似Webデータとを対応付けて前記記憶部に記憶させる機能と、
前記取得した擬似Webデータまたは前記生成した擬似Webデータを、前記受信したhttpリクエストの送信元へ送信する機能と、を実現させる。
【発明の効果】
【００１６】
本発明は以上説明したように構成されているので、大規模分散処理システムとWebクローラとを連携させた結合試験を開始する前に、インターネット上の大量のWebデータを取得しておく必要がない。また、Webページの更新や削除等に伴うWebデータの時間の経過による変化を、Webクローラが受信するWebデータに反映させることができる。
【００１７】
従って、大規模分散処理システムとWebクローラとを連携させた結合試験を、実環境を模擬しつつ効率的に行うことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の応答装置を適用した試験システムの実施の一形態の構成を示すブロック図である。
【図２】図１に示したWebクローラサーバの一構成例を示すブロック図である。
【図３】図１に示した応答装置の一構成例を示すブロック図である。
【図４】図２に示したクローラ部の動作を説明するための図である。
【図５】Webデータに含まれる他のページへのリンクの一例を説明するための図である。
【図６】図３に示した擬似Webデータ生成部が生成する擬似Webデータの一例を示す図である。
【図７】図１および図３に示した応答装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２０】
図１は、本発明の応答装置を適用した試験システムの実施の一形態の構成を示すブロック図である。
【００２１】
本実施形態の試験システム１００は図１に示すように、応答装置１０と、Webクローラサーバ２０とを備えている。
【００２２】
図２は、図１に示したWebクローラサーバ２０の一構成例を示すブロック図である。また、図３は、図１に示した応答装置１０の一構成例を示すブロック図である。
【００２３】
Webクローラサーバ２０は図２に示すように、通信部２１と、Webクローラとしての機能を有するクローラ部２２と、記憶部２３と、システム接続部２４とを備えている。
【００２４】
記憶部２３は、複数のURL(Uniform Resource Locator)からなるURLリストを記憶している。
【００２５】
クローラ部２２は、記憶部２３に記憶されたURLリストに含まれるURLを用いてhttpリクエストを生成し、生成したhttpリクエストを通信部２１へ出力する。その後、クローラ部２２は、通信部２１から出力されたWebデータ、または、応答装置１０にて擬似的に生成されたWebデータである擬似Webデータを受け付ける。そして、受け付けたWebデータまたは擬似Webデータに他のページへのリンクが含まれているかどうかを確認し、確認結果に応じ、さらにhttpリクエストを生成する。
【００２６】
図４は、図２に示したクローラ部２２の動作を説明するための図である。また、図５は、Webデータに含まれる他のページへのリンクの一例を説明するための図である。なお、Webデータにおいて他のページへのリンクはタグを用いて記述されているが、図４および図５においては、そのタグを省略している。
【００２７】
クローラ部２２は、例えばURLリストに含まれるURLの１つであるhttp://0000000000.jpを用いてhttpリクエストを生成する。
【００２８】
その後、クローラ部２２は、受け付けたWebデータまたは擬似Webデータに他のページへのリンクが含まれる場合、そのリンクが示すURLを用いてhttpリクエストを生成し、生成したhttpリクエストを通信部２１へ出力する。例えば、図４に示すhttp://0000000000.jpに対応するWebデータにはhttp://aaa.jpおよびhttp://bbb.jpを示すリンクが含まれている。従って、クローラ部２２は、http://aaa.jpおよびhttp://bbb.jpのそれぞれを用いて２つのhttpリクエストを生成する。
【００２９】
なお、クローラ部２２がWebデータに含まれるリンクを辿る回数（ホップ数）は予め定めておく。予め定められたホップ数に達した場合、クローラ部２２は、受け付けたWebデータに含まれるリンクが示すURLを用いたhttpリクエストの生成を行わない。
【００３０】
また、図５に示すように、Webデータに含まれる他ページへのリンクは、例えばhttp://AAA.jpおよびhttp://BBB.jpのように、http://aaa.jpに対応するWebデータと、http://bbb.jpに対応するWebデータとの両方に含まれている場合もある。また、例えば、http://bbb.jpに対応するWebデータに、http://bbb.jpのリンク元であるhttp://000.jpがリンクとして含まれている場合もある。
【００３１】
再度、図２を参照すると、通信部２１は、クローラ部２２から出力されたhttpリクエストを受け付ける。そして、通信部２１は、受け付けたhttpリクエストを送信する。なお、通信部２１は、例えばLinux（登録商標）におけるiptablesのようなアドレス変換機能を備えている。通信部２１は、図１に示したように、試験環境においては受け付けたhttpリクエストを応答装置１０へ送信し、実環境においては受け付けたhttpリクエストをインターネット３００へ向けて送信する。すなわち、Webクローラサーバ２０は、実環境においても試験環境においても、改造等をすることなく利用することができる。また、通信部２１は、インターネット３００または応答装置１０から送信されてきたWebデータまたは擬似Webデータを受信する。そして、通信部２１は、受信したWebデータまたは擬似Webデータをクローラ部２２およびシステム接続部２４へ出力する。
【００３２】
システム接続部２４は、通信部２１から出力されたWebデータまたは擬似Webデータを大規模分散処理システム２００へ送信する。これにより、大規模分散処理システム２００にWebデータまたは擬似Webデータが蓄積されていくことになる。
【００３３】
図１に示した応答装置１０は図３に示すように、通信部１１と、解析部１２と、擬似Webデータ生成部１３と、記憶部１４と、履歴削除部１５とを備えている。
【００３４】
記憶部１４は、Webクローラサーバ２０から送信されてきたhttpリクエストにて要求されたURLと、後述する擬似Webデータ生成部１３にて生成された擬似Webデータとを対応付けて記憶する。
【００３５】
履歴削除部１５は、予め決められたルールに従い、記憶部１４に記憶されたURLの中からURLを選択する。そして、履歴削除部１５は、選択したURL、および、そのURLに対応する擬似Webデータを削除する。なお、予め決められたルールとは例えば、所定の時間が経過する度に、記憶された順番が古いものから順番に所定数だけ選択する、ランダムに選択する等である。
【００３６】
通信部１１は、例えば、ランダムな時間を発生させる発生器（不図示）を備えている。通信部１１は、Webクローラサーバ２０から送信されてきたhttpリクエストを受信する。そして、通信部１１は、受信したhttpリクエストを解析部１２へ出力する。また、通信部１１は、解析部１２または擬似Webデータ生成部１３から出力された擬似Webデータを受け付ける。そして、通信部１１は、発生器にて発生させた時間が経過した後、受け付けた擬似Webデータを、受信したhttpリクエストの送信元であるWebクローラサーバ２０へ送信する。すなわち、通信部１１は、受け付けた擬似Webデータを、ランダムに発生させた時間だけ遅延させてからWebクローラサーバ２０へ送信する。
【００３７】
解析部１２は、通信部１１から出力されたhttpリクエストを受け付ける。そして、解析部１２は、受け付けたhttpリクエストから、要求されたURLを識別し、識別したURLが記憶部１４に記憶されているかどうかを確認する。確認の結果、識別したURLが記憶部１４に記憶されている場合、解析部１２は、識別したURLに対応する擬似Webデータを記憶部１４から取得する。そして、解析部１２は、取得した擬似Webデータを通信部１１へ出力する。一方、確認の結果、識別したURLが記憶部１４に記憶されていない場合、解析部１２は、予め決められた第１の確率に従い、擬似Webデータを生成するかどうかを決定する。解析部１２は、擬似Webデータを生成すると決定した場合、擬似Webデータの生成を指示するための第１の生成指示を擬似Webデータ生成部１３へ出力する。なお、第１の生成指示には、識別したURLが含まれる。一方、解析部１２は、擬似Webデータを生成しないと決定した場合、識別したURLに対応する擬似Webデータが存在しないことを示すメッセージの生成を指示するための第２の生成指示を擬似Webデータ生成部１３へ出力する。
【００３８】
擬似Webデータ生成部１３は、解析部１２から出力された第１および第２の生成指示を受け付ける。そして、擬似Webデータ生成部１３は、第１の生成指示を受け付けた場合、擬似Webデータを生成する。そして、擬似Webデータ生成部１３は、生成された擬似Webデータと、受け付けた生成指示に含まれるURLとを対応付けて記憶部１４に記憶させる。そして、擬似Webデータ生成部１３は、生成した擬似Webデータを通信部１１へ出力する。
【００３９】
図６は、図３に示した擬似Webデータ生成部１３が生成する擬似Webデータの一例を示す図である。
【００４０】
擬似Webデータには図６に示すように、図４および図５を参照しながら説明したような他のページへのリンクを含めることができる。擬似Webデータ生成部１３は、１ページに含まれるリンクの数を予め決められた範囲内で決定する。そして、擬似Webデータ生成部１３は、決定した数のURLをリンクとして含めた擬似Webデータを生成する。なお、擬似Webデータ生成部１３は、例えばシーケンシャルな文字列や、ランダムな文字列を用いてURLを作成する。
【００４１】
ここで、実際のWebデータに含まれるリンクを示すURLとしては、上述したように既にクローリングしたURLも含まれる場合がある。擬似Webデータ生成部１３は、擬似Webデータを生成する際、予め決められた第２の確率に従い、記憶部１４に記憶されたURLを擬似Webデータにリンクとして含めるかどうかを決定する。なお、擬似Webデータ生成部１３は、記憶部１４に記憶されたURLを擬似Webデータにリンクとして含める決定をした場合、記憶部１４に記憶されたURLをランダムに選択し、選択したURLをリンクとして含む擬似Webデータを生成する。他のページへのリンク以外の部分については、擬似Webデータが予め決められたデータサイズになるように、擬似Webデータ生成部１３は、図６に示すようにランダムな文字列等を付加する。
【００４２】
なお、擬似Webデータ生成部１３は、第２の生成指示を受け付けた場合、擬似Webデータが存在しないことを示すメッセージ（例えば、httpのステータスコードである404 Not Found）を擬似Webデータとして生成する。
【００４３】
以下に、上記のように構成された試験システム１００における応答装置１０の動作について説明する。
【００４４】
図７は、図１および図３に示した応答装置１０の動作を説明するためのフローチャートである。
【００４５】
まず、通信部１１は、Webクローラサーバ２０から送信されてきたhttpリクエストを受信する（ステップＳ１）。
【００４６】
そして、通信部１１は、受信したhttpリクエストを解析部１２へ出力する。
【００４７】
通信部１１から出力されたhttpリクエストを受け付けた解析部１２は、受け付けたhttpリクエストから、要求されたURLを識別する。つまり、解析部１２は、通信部１１にて受信されたhttpリクエストから、要求されたURLを識別する（ステップＳ２）。
【００４８】
次に、解析部１２は、識別したURLが記憶部１４に記憶されているかどうかを確認する（ステップＳ３）。
【００４９】
ステップＳ３における確認の結果、識別したURLが記憶部１４に記憶されている場合、解析部１２は、識別したURLに対応する擬似Webデータを記憶部１４から取得する。
【００５０】
そして、解析部１２は、取得した擬似Webデータを通信部１１へ出力する。
【００５１】
解析部１２から出力された擬似Webデータを受け付けた通信部１１は、発生器にて発生させた時間が経過した後、受け付けた擬似WebデータをWebクローラサーバ２０へ送信する。すなわち、通信部１１は、解析部１２にて識別されたURLに対応する擬似WebデータをWebクローラサーバへ送信する（ステップＳ４）。
【００５２】
一方、ステップＳ３における確認の結果、識別したURLが記憶部１４に記憶されていない場合、解析部１２は、予め決められた第１の確率に従い、擬似Webデータを生成するかどうかを決定する（ステップＳ５）。
【００５３】
ステップＳ５において、擬似Webデータを生成すると決定した場合、解析部１２は、識別したURLを含む第１の生成指示を擬似Webデータ生成部１３へ出力する。
【００５４】
解析部１２から出力された第１の生成指示を受け付けた擬似Webデータ生成部１３は、図６を参照しながら説明したようにして擬似Webデータを生成する（ステップＳ６）。
【００５５】
次に、擬似Webデータ生成部１３は、生成された擬似Webデータと、受け付けた生成指示に含まれるURLとを対応付けて記憶部１４に記憶させる（ステップＳ７）。
【００５６】
そして、擬似Webデータ生成部１３は、生成された擬似Webデータを通信部１１へ出力する。
【００５７】
擬似Webデータ生成部１３から出力された擬似Webデータを受け付けた通信部１１は、発生器にて発生させた時間が経過した後、受け付けた擬似WebデータをWebクローラサーバ２０へ送信する。すなわち、通信部１１は、生成された擬似WebデータをWebクローラサーバ２０へ送信する（ステップＳ８）。
【００５８】
一方、ステップＳ５において、擬似Webデータを生成しないと決定した場合、解析部１２は、第２の生成指示を擬似Webデータ生成部１３へ出力する。
【００５９】
解析部１２から出力された第２の生成指示を受け付けた擬似Webデータ生成部１３は、擬似Webデータが存在しないことを示すメッセージを擬似Webデータとして生成する（ステップＳ９）。
【００６０】
そして、擬似Webデータ生成部１３は、生成された擬似Webデータを通信部１１へ出力する。そして、ステップＳ８の動作へ遷移する。
【００６１】
このように本実施形態において応答装置１０は、受信したhttpリクエストにて要求されたURLを識別し、識別したURLが記憶部１４に記憶されている場合、識別したURLに対応する擬似Webデータを記憶部１４から取得し、識別したURLが記憶部１４に記憶されていない場合、擬似Webデータを生成するかどうかを、予め決められた確率に従って決定する解析部１２を有する。
【００６２】
また、応答装置１０は、解析部１２にて擬似Webデータを生成すると決定された場合、擬似Webデータを生成し、解析部１２にて識別されたURLと、生成された擬似Webデータとを対応付けて記憶部１４に記憶させる擬似Webデータ生成部１３を有する。
【００６３】
また、応答装置１０は、解析部１２にて取得された擬似Webデータまたは擬似Webデータ生成部１３にて生成された擬似Webデータを、受信したhttpリクエストの送信元へ送信する通信部２１を有する。
【００６４】
これにより、大規模分散処理システムとWebクローラとを連携させた結合試験を開始する前に、インターネット上の大量のWebデータを取得しておく必要がない。また、Webページの更新や削除等に伴うWebデータの時間の経過による変化を、Webクローラが受信するWebデータに反映させることができる。
【００６５】
また、Webクローラサーバ２０は、URLリストに従ってクローリングを行うが、実際のインターネットやキャッシュサーバのデータを利用する場合、このURLリストの情報が古いとWebデータの収集が正常に行えない。この点に関し、応答装置１０は、実在しないURLに対応する擬似WebデータをWebクローラサーバ２０に送信することができるため、URLリストをメンテナンスしなくてもWebクローラを正しく動作させることができる。
【００６６】
従って、大規模分散処理システムとWebクローラとを連携させた結合試験を、実環境を模擬しつつ効率的に行うことが可能となる。
【００６７】
なお、本発明においては、応答装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを応答装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを応答装置に読み込ませ、実行するものであっても良い。応答装置にて読取可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、応答装置に内蔵されたＨＤＤなどを指す。
【符号の説明】
【００６８】
１０    応答装置
１１，２１    通信部
１２    解析部
１３    擬似Webデータ生成部
１４，２３    記憶部
１５    履歴削除部
２０    Webクローラサーバ
２２    クローラ部
２４    システム接続部
１００    試験システム
２００    大規模分散処理システム
３００    インターネット
【図１】
0005662307.tif 000002
【図２】
0005662307.tif 000003
【図３】
0005662307.tif 000004
【図４】
0005662307.tif 000005
【図５】
0005662307.tif 000006
【図６】
0005662307.tif 000007
【図７】
0005662307.tif 000008