(57)【要約】【課題】アクセス履歴情報を収集している文書サーバは、本来の収集対象サーバではない場合も多くあり、アクセス履歴のログ取得の為だけに、中継をしているものもある。従って、複数のサーバに分散するはずのアクセスが一旦、１つのサーバに集中し、無用の負荷が発生する。【解決手段】文書を提供する文書提供サーバ３から情報を取得する収集ロボット１０は、巡回収集対象の文書のアドレスを入力し、記憶する文書アドレスＤＢ６と、前記文書アドレスＤＢ６に記憶されているアドレスを文書提供サーバ３のアドレスに変換するアドレス情報変換部１６と、変換されたアドレスを使用して前記文書提供サーバ３上の文書の巡回収集を行う文書巡回収集部１８とにより変換後のアドレスを使用し前記管理サーバに履歴情報が残らないように文書の巡回収集を行う。【選択図】図１
2005182617.tif 000002
【特許請求の範囲】
【請求項１】
クライアント端末がネットワークと管理サーバとを介して複数の文書提供サーバに接続され、変化する文書情報を巡回収集する収集ロボットと、クライアント端末に対して所定の文書サービスを提供する文書サービス提供サーバとを有する情報収集装置において、
前記収集ロボットは、
巡回収集対象の文書のアドレスを記憶するアドレス記憶手段と、
前記アドレス記憶手段に記憶されているアドレスを文書提供サーバのアドレスに変換するアドレス変換手段と、
前記アドレス変換手段で変換されたアドレスを使用して前記文書提供サーバ上の文書の巡回収集を行う文書巡回収集手段と、
を備え、変換後のアドレスを使用することにより前記管理サーバに履歴情報が残らないように文書の巡回収集を行うことを特徴とする情報収集装置。
【請求項２】
請求項１に記載の情報収集装置において、
前記収集ロボットは、
前記アドレス変換手段で変換されたアドレスを前記アドレス記憶手段に記憶させることにより、巡回収集の度にアドレス変換をしないことを特徴とする情報収集装置。
【請求項３】
請求項１又は２に記載の情報収集装置において、
前記収集ロボットは、
前記アドレス変換手段においてアドレス変換を行う際、前記管理サーバから前記文書提供サーバ上の文書のアドレスを取得することを特徴とする情報収集装置。
【請求項４】
請求項１乃至３のいずれか１に記載の情報収集装置において、
前記アドレス変換手段は更に、
複数の前記管理サーバのアドレス変換手段である管理サーバ別アドレス変換手段と、
前記管理サーバ別アドレス変換手段のうちの１つを選択する切り換え手段と、
を有し、
前記アドレス変換手段は、前記アドレス記憶手段に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換手段を切り換えて使用し、前記管理サーバが複数種類存在する場合にも適応する管理サーバ別アドレス変換処理を行うことを特徴とする情報収集装置。
【請求項５】
請求項１乃至３のいずれか１に記載の情報収集装置において、
前記アドレス変換手段は更に、
複数の管理サーバ別アドレス変換論理を記憶するアドレス変換論理記憶手段を有し、
前記アドレス変換手段は前記アドレス記憶手段に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換論理を指定し、前記管理サーバが複数種類存在する場合にも適応するアドレス変換処理を行うことを特徴とする情報収集装置。
【請求項６】
請求項１乃至５のいずれか１に記載の情報収集装置において、
前記収集ロボットは更に、
前記アドレス変換手段から出力されるアドレスが文字列としては異なっている場合でも前記巡回収集手段において巡回収集を行う文書としては同じであるようなアドレスを同一化するアドレス正規化手段を備えることを特徴とする情報収集装置。
【請求項７】
請求項１乃至６のいずれか１に記載の情報収集装置において、
文書サービス提供サーバは、
前記収集ロボットにより集められた文書を加工する文書加工手段と、
前記文書加工手段から出力される情報を記憶する文書情報記憶手段と、
を備え、
前記クライアント端末からの要求により、前記文書情報記憶手段から必要な情報を読み出し、該当する文書のアドレスを前記アドレス記憶手段から前記アドレス変換手段で変換する前のアドレスを読み出して前記クライアント端末に提供することにより、前記クライアント端末から前記文書提供サーバ上の文書内容を参照するリクエストを送る際には前記管理サーバでのアクセス履歴情報の収集を妨げないことを特徴とする情報収集装置。
【請求項８】
クライアント端末がネットワークと管理サーバとを介して複数の文書提供サーバに接続され、変化する文書情報を巡回収集する収集ロボット工程と、クライアント端末に対して所定の文書サービスを提供する文書サービス提供工程とを有する情報収集方法において、
前記収集ロボット工程は、
巡回収集対象の文書のアドレスを記憶するアドレス記憶工程と、
前記アドレス記憶工程に記憶されているアドレスを文書提供サーバのアドレスに変換するアドレス変換工程と、
前記アドレス変換工程で変換されたアドレスを使用して前記文書提供サーバ上の文書の巡回収集を行う文書巡回収集工程と、
を備え、変換後のアドレスを使用することにより前記管理サーバに履歴情報が残らないように文書の巡回収集を行うことを特徴とする情報収集方法。
【請求項９】
請求項８に記載の情報収集方法において、
前記収集ロボット工程は、
前記アドレス変換工程で変換されたアドレスを前記アドレス記憶工程に記憶させることにより、巡回収集の度にアドレス変換をしないことを特徴とする情報収集方法。
【請求項１０】
請求項８又は９に記載の情報収集方法において、
前記収集ロボット工程は、
前記アドレス変換工程においてアドレス変換を行う際、前記管理サーバから前記文書提供サーバ上の文書のアドレスを取得することを特徴とする情報収集方法。
【請求項１１】
請求項８乃至１０のいずれか１に記載の情報収集方法において、
前記アドレス変換工程は更に、
複数の前記管理サーバのアドレス変換工程である管理サーバ別アドレス変換工程と、
前記管理サーバ別アドレス変換工程のうちの１つを選択する切り換え工程と、
を有し、
前記アドレス変換工程は、前記アドレス記憶工程に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換工程を切り換えて使用し、前記管理サーバが複数種類存在する場合にも適応する管理サーバ別アドレス変換処理を行うことを特徴とする情報収集方法。
【請求項１２】
請求項８乃至１０のいずれか１に記載の情報収集方法において、
前記アドレス変換工程は更に、
複数の管理サーバ別アドレス変換論理を記憶するアドレス変換論理記憶工程を有し、
前記アドレス変換工程は前記アドレス記憶工程に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換論理を指定して、前記管理サーバが複数種類存在する場合にも適応するアドレス変換処理を行うことを特徴とする情報収集方法。
【請求項１３】
請求項８乃至１２のいずれか１に記載の情報収集方法において、
前記収集ロボット工程は更に、
前記アドレス変換工程から出力されるアドレスが文字列としては異なっている場合でも前記巡回収集工程において巡回収集を行う文書としては同じであるようなアドレスを同一化するアドレス正規化工程を備えることを特徴とする情報収集方法。
【請求項１４】
請求項８乃至１３のいずれか１に記載の情報収集方法において、
文書サービス提供工程は、
前記収集ロボット工程により集められた文書を加工する文書加工工程と、
前記文書加工工程から出力される情報を記憶する文書情報記憶工程と、
を備え、
前記クライアント端末からの要求により、前記文書情報記憶工程から必要な情報を読み出し、該当する文書のアドレスを前記アドレス記憶工程から前記アドレス変換工程で変換する前のアドレスを読み出して前記クライアント端末に提供することにより、前記クライアント端末から前記文書提供サーバ上の文書内容を参照するリクエストを送る際には前記管理サーバでのアクセス履歴情報の収集を妨げないことを特徴とする情報収集方法。
【請求項１５】
クライアント端末がネットワークと管理サーバとを介して複数の文書提供サーバに接続され、変化する文書情報を巡回収集する収集ロボット・ステップと、クライアント端末に対して所定の文書サービスを提供する文書サービス提供ステップとを有する情報収集プログラムにおいて、
前記収集ロボット・ステップは、
巡回収集対象の文書のアドレスを記憶するアドレス記憶ステップと、
前記アドレス記憶ステップに記憶されているアドレスを文書提供サーバのアドレスに変換するアドレス変換ステップと、
前記アドレス変換ステップで変換されたアドレスを使用して前記文書提供サーバ上の文書の巡回収集を行う文書巡回収集ステップと、
を備え、変換後のアドレスを使用することにより前記管理サーバに履歴情報が残らないように文書の巡回収集を行うことを特徴とする情報収集プログラム。
【請求項１６】
請求項１５に記載の情報収集プログラムにおいて、
前記収集ロボット・ステップは、
前記アドレス変換ステップで変換されたアドレスを前記アドレス記憶ステップに記憶させることにより、巡回収集の度にアドレス変換をしないことを特徴とする情報収集プログラム。
【請求項１７】
請求項１５又は１６に記載の情報収集プログラムにおいて、
前記収集ロボット・ステップは、
前記アドレス変換ステップにおいてアドレス変換を行う際、前記管理サーバから前記文書提供サーバ上の文書のアドレスを取得することを特徴とする情報収集プログラム。
【請求項１８】
請求項１５乃至１７のいずれか１に記載の情報収集プログラムにおいて、
前記アドレス変換ステップは更に、
複数の前記管理サーバのアドレス変換ステップである管理サーバ別アドレス変換ステップと、
前記管理サーバ別アドレス変換ステップのうちの１つを選択する切り換えステップと、
を有し、
前記アドレス変換ステップは、前記アドレス記憶ステップに記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換ステップを切り換えて使用し、前記管理サーバが複数種類存在する場合にも適応する管理サーバ別アドレス変換処理を行うことを特徴とする情報収集プログラム。
【請求項１９】
請求項１５乃至１７のいずれか１に記載の情報収集プログラムにおいて、
前記アドレス変換ステップは更に、
複数の管理サーバ別アドレス変換論理を記憶するアドレス変換論理記憶ステップを有し、
前記アドレス変換ステップは前記アドレス記憶ステップに記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換論理を指定して、前記管理サーバが複数種類存在する場合にも適応するアドレス変換処理を行うことを特徴とする情報収集プログラム。
【請求項２０】
請求項１５乃至１９のいずれか１に記載の情報収集プログラムにおいて、
前記収集ロボット・ステップは更に、
前記アドレス変換ステップから出力されるアドレスが文字列としては異なっている場合でも前記巡回収集ステップにおいて巡回収集を行う文書としては同じであるようなアドレスを同一化するアドレス正規化ステップを備えることを特徴とする情報収集プログラム。
【請求項２１】
請求項１５乃至２０のいずれか１に記載の情報収集プログラムにおいて、
文書サービス提供ステップは、
前記収集ロボット工程により集められた文書を加工する文書加工ステップと、
前記文書加工ステップから出力される情報を記憶する文書情報記憶ステップと、
を備え、
前記クライアント端末からの要求により、前記文書情報記憶ステップから必要な情報を読み出し、該当する文書のアドレスを前記アドレス記憶ステップから前記アドレス変換ステップで変換する前のアドレスを読み出して前記クライアント端末に提供することにより、前記クライアント端末から前記文書提供サーバ上の文書内容を参照するリクエストを送る際には前記管理サーバでのアクセス履歴情報の収集を妨げないことを特徴とする情報収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報収集装置、特に文書提供サーバから所望する文書の情報をインターネットを介して収集する際、文書提供サーバのアクセス履歴情報を収集している管理（文書）サーバの負荷の軽減を図るとともに、情報収集装置自体の収集性能を向上させる装置に関する。
【背景技術】
【０００２】
従来、企業の中では文書を管理するためにさまざまなシステムが運用されており、履歴管理など文書管理機能に特化した専用システムや、サーバ上のファイルシステムで文書を管理している。一方で、このように文書が複数のサーバ上に分散して管理されていると、ユーザが利用し難いという問題がある。そのため、サーバをまたがった統合的な検索サービスを提供するという目的で、収集ロボットによる文書情報の収集が行われる場合がある。
【０００３】
収集ロボットは、収集対象のサーバには極力負荷をかけないようにしながらインターネット上の膨大な数の文書を効率よく収集しなければならない。そのため、高効率なデータ収集方法や少ないアクセスで収集を実施する技術が知られている。
【０００４】
特許文献１は、ユーザが望むＷＷＷページを少ない記憶領域を用いて、短時間に収集でき、かつ、通信コストを節約できる情報検索エージェント装置について開示されている。また、特許文献２は、インターネット上で刻々変化する文書から、過去に読んでいない未チェックのリンク先表示内容を抽出し、利用者が未チェックのリンク先とリンク先表示内容を自動的に収集する方法及び装置について開示されている。
【０００５】
【特許文献１】特開２０００−９０１１１号公報
【特許文献２】特開２００３−１２２６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
文書管理サーバの中には、ユーザがどの文書をどの程度利用しているか、というようなアクセス履歴情報を解析しているものがある。そのような文書サーバにとって、収集ロボットからのアクセスは、本来、計数すべきではないと考えられる。履歴情報を解析する時に収集ロボットからのアクセス履歴を除外することは可能であるが、除外する為の余計な工数がかかることになる。また、収集ロボットからのアクセスが頻繁に行われると履歴情報自体が肥大化する可能性がある。
【０００７】
図１３は、従来の収集ロボットの情報アクセス経路を示した模式図である。アクセス履歴情報を収集しているサーバ(サーバａ ４１とする)は、文書の実体がそのサーバ上にはない場合も多くあり、アクセス履歴のログ取得の為だけに、文書の実体が管理されているサーバへ(サーバｂ ４２とする)の中継をしているものもある。中継先、すなわち、文書の実体が管理されているサーバは、1種類とは限らない(サーバｃは別の中継先とする)。収集ロボットが巡回するアドレスがサーバａ ４１を指しているものである場合、収集ロボットは一旦サーバａ ４１にアクセスしてから、文書の実体が置かれているサーバｂ ４２やサーバｃへアクセスすることになる。収集ロボットが巡回するアドレスにそのようなアドレスが数多く含まれている場合、本来は複数のサーバに分散するはずのアクセスが一旦、サーバａ ４１に集中してしまうことになり、サーバａ ４１には無用の負荷が発生することになる。また、アクセスログを保存しているデータベース４３にも同様に負荷が発生する。
【０００８】
また、収集ロボットが収集対象である文書サーバに対して、負荷低減を目的とするアクセス間隔制御をおこなっている場合には、収集ロボットの性能低下につながる。図１４は、収集ロボットの収集処理時間を示した模式図である。図１４において、実線は文書を収集している処理時間、破線は同一サーバに対してリクエストを抑制している時間である。１４−１は、前述のサーバａ（４１）を経由してサーバｂ（４２）、サーバｃ（４４）から文書の実体を収集する場合の処理時間を、１４−２は、サーバａ（４１）を経由せずに収集する場合の処理時間を表している。サーバａ（４１）を経由せずに実体文書の収集を行う場合は、複数の文書サーバ(サーバｂ、サーバｃ)に対する収集処理を並列に行うことができるため、サーバａを経由する場合よりも処理時間を短縮できる。
【０００９】
本発明は以上のような問題を解決するためになされたものであり、その目的は、本来複数のサーバに分散されるはずのアクセスが１つの管理サーバ又は文書サーバに集中するのを避けることにより、文書サーバの処理負荷の軽減を図るとともに、収集ロボットの処理効率を高めることにある。
【課題を解決するための手段】
【００１０】
本発明に係る情報収集装置は、クライアント端末がネットワークと管理サーバとを介して複数の文書提供サーバに接続され、変化する文書情報を巡回収集する収集ロボットと、クライアント端末に対して所定の文書サービスを提供する文書サービス提供サーバとを有する情報収集装置において、前記収集ロボットは、巡回収集対象の文書のアドレスを記憶するアドレス記憶手段と、前記アドレス記憶手段に記憶されているアドレスを文書提供サーバのアドレスに変換するアドレス変換手段と、前記アドレス変換手段で変換されたアドレスを使用して前記文書提供サーバ上の文書の巡回収集を行う文書巡回収集手段と、を備え、変換後のアドレスを使用することにより前記管理サーバに履歴情報が残らないように文書の巡回収集を行うことを特徴とする。
【００１１】
更に、本発明に係る情報収集装置において、前記収集ロボットは、前記アドレス変換手段で変換されたアドレスを前記アドレス記憶手段に記憶させることにより、巡回収集の度にアドレス変換をしないことを特徴とする。
【００１２】
更にまた、本発明に係る情報収集装置において、前記収集ロボットは、前記アドレス変換手段においてアドレス変換を行う際、前記管理サーバから前記文書提供サーバ上の文書のアドレスを取得することを特徴とする。
【００１３】
更にまた、本発明に係る情報収集装置において、前記アドレス変換手段は更に、複数の前記管理サーバのアドレス変換手段である管理サーバ別アドレス変換手段と、前記管理サーバ別アドレス変換手段のうちの１つを選択する切り換え手段と、を有し、前記アドレス変換手段は、前記アドレス記憶手段に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換手段を切り換えて使用し、前記管理サーバが複数種類存在する場合にも適応する管理サーバ別アドレス変換処理を行うことを特徴とする。
【００１４】
更にまた、本発明に係る情報収集装置において、前記アドレス変換手段は更に、複数の管理サーバ別アドレス変換論理を記憶するアドレス変換論理記憶手段を有し、前記アドレス変換手段は前記アドレス記憶手段に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換論理を指定して、前記管理サーバが複数種類存在する場合にも適応するアドレス変換処理を行うことを特徴とする。
【００１５】
更にまた、本発明に係る情報収集装置において、前記収集ロボットは更に、前記アドレス変換手段から出力されるアドレスが文字列としては異なっている場合でも前記巡回収集手段において巡回収集を行う文書としては同じであるようなアドレスを同一化するアドレス正規化手段を備えることを特徴とする。
【００１６】
更にまた、本発明に係る情報収集装置において、文書サービス提供サーバは、前記収集ロボットにより集められた文書を加工する文書加工手段と、前記文書加工手段から出力される情報を記憶する文書情報記憶手段と、を備え、前記クライアント端末からの要求により、前記文書情報記憶手段から必要な情報を読み出し、該当する文書のアドレスを前記アドレス記憶手段から前記アドレス変換手段で変換する前のアドレスを読み出して前記クライアント端末に提供することにより、前記クライアント端末から前記文書提供サーバ上の文書内容を参照するリクエストを送る際には前記管理サーバでのアクセス履歴情報の収集を妨げないことを特徴とする。
【００１７】
本発明に係る情報収集方法は、クライアント端末がネットワークと管理サーバとを介して複数の文書提供サーバに接続され、変化する文書情報を巡回収集する収集ロボット工程と、クライアント端末に対して所定の文書サービスを提供する文書サービス提供工程とを有する情報収集方法において、前記収集ロボット工程は、巡回収集対象の文書のアドレスを記憶するアドレス記憶工程と、前記アドレス記憶工程に記憶されているアドレスを文書提供サーバのアドレスに変換するアドレス変換工程と、前記アドレス変換工程で変換されたアドレスを使用して前記文書提供サーバ上の文書の巡回収集を行う文書巡回収集工程と、を備え、変換後のアドレスを使用することにより前記管理サーバに履歴情報が残らないように文書の巡回収集を行うことを特徴とする。
【００１８】
更に、本発明に係る情報収集方法において、前記収集ロボット工程は、前記アドレス変換工程で変換されたアドレスを前記アドレス記憶工程に記憶させることにより、巡回収集の度にアドレス変換をしないことを特徴とする。
【００１９】
更にまた、本発明に係る情報収集方法において、前記収集ロボット工程は、前記アドレス変換工程においてアドレス変換を行う際、前記管理サーバから前記文書提供サーバ上の文書のアドレスを取得することを特徴とする。
【００２０】
更にまた、本発明に係る情報収集方法において、前記アドレス変換工程は更に、複数の前記管理サーバのアドレス変換工程である管理サーバ別アドレス変換工程と、前記管理サーバ別アドレス変換工程のうちの１つを選択する切り換え工程と、を有し、前記アドレス変換工程は、前記アドレス記憶工程に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換工程を切り換えて使用し、前記管理サーバが複数種類存在する場合にも適応する管理サーバ別アドレス変換処理を行うことを特徴とする。
【００２１】
更にまた、本発明に係る情報収集方法において、前記アドレス変換工程は更に、複数の管理サーバ別アドレス変換論理を記憶するアドレス変換論理記憶工程を有し、前記アドレス変換工程は前記アドレス記憶工程に記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換論理を指定して、前記管理サーバが複数種類存在する場合にも適応するアドレス変換処理を行うことを特徴とする。
【００２２】
更にまた、本発明に係る情報収集方法において、前記収集ロボット工程は更に、前記アドレス変換工程から出力されるアドレスが文字列としては異なっている場合でも前記巡回収集工程において巡回収集を行う文書としては同じであるようなアドレスを同一化するアドレス正規化工程を備えることを特徴とする。
【００２３】
更にまた、本発明に係る情報収集方法において、文書サービス提供工程は、前記収集ロボット工程により集められた文書を加工する文書加工工程と、前記文書加工工程から出力される情報を記憶する文書情報記憶工程と、を備え、前記クライアント端末からの要求により、前記文書情報記憶工程から必要な情報を読み出し、該当する文書のアドレスを前記アドレス記憶工程から前記アドレス変換工程で変換する前のアドレスを読み出して前記クライアント端末に提供することにより、前記クライアント端末から前記文書提供サーバ上の文書内容を参照するリクエストを送る際には前記管理サーバでのアクセス履歴情報の収集を妨げないことを特徴とする。
【００２４】
本発明に係る情報収集プログラムは、クライアント端末がネットワークと管理サーバとを介して複数の文書提供サーバに接続され、変化する文書情報を巡回収集する収集ロボット・ステップと、クライアント端末に対して所定の文書サービスを提供する文書サービス提供ステップとを有する情報収集プログラムにおいて、前記収集ロボット・ステップは、巡回収集対象の文書のアドレスを記憶するアドレス記憶ステップと、前記アドレス記憶ステップに記憶されているアドレスを文書提供サーバのアドレスに変換するアドレス変換ステップと、前記アドレス変換ステップで変換されたアドレスを使用して前記文書提供サーバ上の文書の巡回収集を行う文書巡回収集ステップと、を備え、変換後のアドレスを使用することにより前記管理サーバに履歴情報が残らないように文書の巡回収集を行うことを特徴とする。
【００２５】
更に、本発明に係る情報収集プログラムにおいて、前記収集ロボット・ステップは、前記アドレス変換ステップで変換されたアドレスを前記アドレス記憶ステップに記憶させることにより、巡回収集の度にアドレス変換をしないことを特徴とする。
【００２６】
更にまた、本発明に係る情報収集プログラムにおいて、前記収集ロボット・ステップは、前記アドレス変換ステップにおいてアドレス変換を行う際、前記管理サーバから前記文書提供サーバ上の文書のアドレスを取得することを特徴とする。
【００２７】
更にまた、本発明に係る情報収集プログラムにおいて、前記アドレス変換ステップは更に、複数の前記管理サーバのアドレス変換ステップである管理サーバ別アドレス変換ステップと、前記管理サーバ別アドレス変換ステップのうちの１つを選択する切り換えステップと、を有し、前記アドレス変換ステップは、前記アドレス記憶ステップに記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換ステップを切り換えて使用し、前記管理サーバが複数種類存在する場合にも適応する管理サーバ別アドレス変換処理を行うことを特徴とする。
【００２８】
更にまた、本発明に係る情報収集プログラムにおいて、前記アドレス変換ステップは更に、複数の管理サーバ別アドレス変換情報を記憶するアドレス変換論理記憶ステップを有し、前記アドレス変換ステップは前記アドレス記憶ステップに記憶されているアドレスに含まれる前記管理サーバの情報に応じて前記管理サーバ別アドレス変換論理を指定して、前記管理サーバが複数種類存在する場合にも適応するアドレス変換処理を行うことを特徴とする。
【００２９】
更にまた、本発明に係る情報収集プログラムにおいて、前記収集ロボット・ステップは更に、前記アドレス変換ステップから出力されるアドレスが文字列としては異なっている場合でも前記巡回収集ステップにおいて巡回収集を行う文書としては同じであるようなアドレスを同一化するアドレス正規化ステップを備えることを特徴とする。
【００３０】
更にまた、本発明に係る情報収集プログラムにおいて、文書サービス提供ステップは、前記収集ロボット工程により集められた文書を加工する文書加工ステップと、前記文書加工ステップから出力される情報を記憶する文書情報記憶ステップと、を備え、前記クライアント端末からの要求により、前記文書情報記憶ステップから必要な情報を読み出し、該当する文書のアドレスを前記アドレス記憶ステップから前記アドレス変換ステップで変換する前のアドレスを読み出して前記クライアント端末に提供することにより、前記クライアント端末から前記文書提供サーバ上の文書内容を参照するリクエストを送る際には前記管理サーバでのアクセス履歴情報の収集を妨げないことを特徴とする。
【発明の効果】
【００３１】
本発明によれば、アドレス変換手順を備えることで、本来複数のサーバに分散されるはずのアクセスが１つの管理サーバ又は文書サーバに集中するのを回避し、文書サーバの処理負荷を軽減するとともに、収集ロボットの処理効率を高めることが可能となる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。
【００３３】
図１は、本発明に係る情報収集装置の一実施の形態を含むネットワークシステム全体のブロック構成図である。文書サーバ群１は、複数の文書提供サーバ３と文書提供サーバ３にアクセスしたアクセス履歴情報を収集するログ収集サーバ２を有している。さらに、これらの文書サーバ群１はインターネット４を介して収集ロボット１０、文書サービス提供サーバ５及びクライアント端末（ＣＬ）７、９と接続されている。
【００３４】
収集ロボット１０は、文書アドレスＤＢ（データベース以下ＤＢという）６からログ収集サーバ２を介して文書提供サーバ３にアクセスする形式のアドレスを読み出し、該読み出したアドレスをアドレス情報変換部１６において文書提供サーバ３に直接アクセスする形式のアドレスに変換する。文書巡回収集部１８は該変換されたアドレスを使ってインターネット４を介して文書提供サーバ３にアクセスして、文書を収集する。また、文書加工部２２において、文書サービス提供サーバ５が提供するサービスに応じた形式に収集した文書情報を加工して文書情報ＤＢ１９に保存する。
【００３５】
文書サービス提供サーバ５は、文書アドレスＤＢ６と文書情報ＤＢ１９とに格納された文書アドレス情報と文書情報とを用いて、複数のクライアント端末７，９に対して所定の文書サービスを提供する。
【実施例１】
【００３６】
図２は、第１の実施形態における文書巡回収集処理の流れを示すブロック図である。まず、文書アドレスＤＢ６から以下に示す巡回アドレスを読み出す。
【００３７】
変換前１：‘http://server1/cgi-bin/command0?arg0=http://server2/ccc/ddd.html’(アドレスａ)
【００３８】
アドレスａをアドレス情報変換部１６により、ログ収集サーバ２を介さず文書提供サーバ３に直接アクセスする形式のアドレスに変換する。以下に変換後のアドレスを示す。
【００３９】
変換後1（実体文書のアドレス）:‘http://server2/ccc/ddd.html’(アドレスa’)
【００４０】
次に、文書巡回収集部１８において、変換後のアドレスを使用して、巡回を実施し、アドレスa’に対応する文書が更新されていれば文書実体を収集する。文書加工部２２では収集された文書を加工し、文書情報ＤＢ１９に格納する。このように、文書アドレスＤＢ６に格納されたアドレスが、アドレスaのようにログ収集サーバ２を経由して文書実体が置かれた別のサーバへアクセスする形式のアドレスである場合、ログ収集サーバ２には負荷をかけることなく文書の巡回収集を行うことができる。
【００４１】
図３は、第１の実施形態におけるアドレス情報変換処理を示すフローチャートである。図３を用いてアドレス情報変換処理を説明する。ステップＳ１では、アドレスａとして示した変換前アドレス文字列を入手する。次に、ステップＳ２では、‘？’で示されるクエリ部より後の文字列を抽出する、抽出された文字列は‘arg0=http://server2/ccc /ddd.html’となり、ステップＳ３において’arg0=’の文字列を取り除き‘http: //server2/ccc/ddd.html’を得る。さらに、ステップＳ４において変換後アドレスとして文字列(アドレスa’)を出力する。アドレスaは、server1上のＣＧＩ(Common Gateway Interface)プログラムが起動されることを表している。
【００４２】
ここで、server1上で起動されるＣＧＩプログラムの動作を４つのステップに分けて説明する。(1) クライアントがserver1にリクエストを送出する：クライアントとは、ｗｅｂブラウザや収集ロボットである。クライアントは特に「ＣＧＩを起動する」とは認識せずアドレスａを使用してserver1にリクエストを送出する。(2) サーバがＣＧＩプログラムを起動する：サーバ(server1)は受け取ったアドレスを見て、これがＣＧＩプログラムかどうか判断し、必要な場合はこれを起動する。判断の基準は、上述の例ではアドレス文字列中でサーバ名の直後が’/cgi-bin/’という文字列か否かである。(3)ＣＧＩプログラムが処理を実行する：ＣＧＩプログラムはアドレスのクエリ部で指定された文字列を引数とみなす。上述の例では、’/cgi-bin/’という文字列に続く’command0’の部分がＣＧＩプログラム名を表しており、’arg0=’以降の文字列’http://server2/ccc/ddd.html’が引数である。このプログラムでは、引数で指定された別のサーバ(server2)上の文書を表すアドレスに対するアクセスカウントを1だけ加算する。そして、指定されたアドレスを使ってserver2に対してリクエストを送出する。(4)ＣＧＩプログラムが結果をクライアントに返す：ＣＧＩプログラムは、server2に対して送出したリクエストの結果をserver1を介してクライアントに送信する。
【００４３】
つまり、アドレスaを使ってリクエストを送出すると、まずserver1にアクセスして、次にserver2にアクセスして文書実体を取得することになる。server1がログ収集サーバ２に相当する。本実施例において、文書アドレスＤＢ６から以下のアドレスが読み出された場合、
変換前２:  ‘http: //server1/cgi-bin/command0?arg0=http://server3/eee.html’(アドレスb)
変換前３:  ‘http://server1/cgi-bin/command0?arg0=http://server4/fff.html’(アドレスc)  アドレスb、アドレスcに対応する変換後のアドレスは、それぞれ以下のようになる。
【００４４】
変換後２：  ‘http://server3/eee.html’(アドレスb’)
【００４５】
変換後３：  ‘http://server4/fff.html’(アドレスc’)
【００４６】
このように、変換前のアドレスを使用して巡回収集を行った場合にはserver1にアクセスが集中するが、変換後のアドレスを使用すれば、serever2, server3, server4にアクセスが分散することになる。文書実体が置かれたサーバに負荷をかけないようにするため、文書巡回収集部１８は、同一のサーバにアクセスする場合は所定のアクセス間隔をあける制御を行う。そのため、上記のようにアクセスするサーバが分散されれば文書の巡回収集時間が短くなる可能性が高い。
【実施例２】
【００４７】
図４は、第２の実施形態におけるログ収集サーバの種類により変換手段を切り換える処理の流れを示すブロック図である。これは、文書アドレスＤＢ６から読み出したアドレス情報が示すログ収集サーバ、および、ログ収集サーバ上のＣＧＩプログラムの種類によってアドレス変換手段を切り換える実施例である。
【００４８】
最初に、文書アドレスＤＢ６から、以下に示すアドレスを読み出す。
【００４９】
変換前:  ‘http://server5/cgi-bin/command1?arg0=001’(アドレスｄ)
【００５０】
切り換え部２０では、変換前のアドレス(アドレスｄ)からログ収集サーバ名とＣＧＩプログラム種類の情報を抽出し、その内容に基づいてアドレス情報変換部（１６ａ〜ｃ）を指定する。アドレスｄを変換するアドレス情報変換部としてアドレス情報変換部１６ａが指定されると、アドレス情報変換部１６ａではログ収集サーバ２(server5)から文書提供サーバ３に直接アクセスするためのアドレス情報を取得し、変換後のアドレスとして出力する。変換後のアドレスを以下に示す。
【００５１】
変換後:  ‘http://server2/ccc/ddd.html’
【００５２】
図５は、第２の実施形態においてserver5上で起動されるＣＧＩプログラムの処理の流れを示すブロック図である。ここで、server5上で起動されるＣＧＩプログラムの動作を説明する。クライアントがアドレスｄを使ってserver5にリクエストを送出すると、server5は受け取ったアドレスを見て、ＣＧＩプログラムを起動すべきであると判断する。起動されたＣＧＩプログラムはアドレスのクエリ部で指定された文字列を引数とみなし、’arg0=’以降の文字列’001’を文書IDとして文書実体情報管理部２４に入力する。文書実体情報管理部２４では、文書実体情報記憶部２５に格納している文書ID’001’に対応する文書アドレスのアクセスカウント数を1だけ加算して、文書ID’001’に対応する文書アドレス文字列をリダイレクション情報設定部２６に入力する。
【００５３】
ＣＧＩプログラムは、リダイレクション情報設定部２６から出力される以下のリダイレクション情報をserver5を介してクライアントに送信する。
【００５４】
‘HTTP/1.1 303 See Other’ (リダイレクトされていることを表す)
【００５５】
‘Location: http://server2/ccc/ddd.html ’（リダイレクト先アドレス）
【００５６】
クライアントは、リクエストに対して上記のようなレスポンスが返された場合、リダイレクト先として指定されたアドレスに対して再度リクエストを送出することになる。その結果、アドレスを使ってリクエストを送出した結果、最終的にはリダイレクト先アドレスに対応する文書を受け取る。
【００５７】
図６は、第２の実施形態におけるアドレス情報変換処理を示すフローチャートである。図６を用いてアドレス情報変換部１６ａで行う処理を説明する。ステップＳ１１において、文書アドレスＤＢ６から以下に示す変換前アドレスを入手する。
【００５８】
変換前:  ‘http://server5/cgi-bin/command1?arg0=001’
【００５９】
ステップＳ１２において、変換前アドレスを使ってserver5に対してＨＴＴＰリクエストを送出する。ステップＳ１３において、ＨＴＴＰレスポンスのステータスがリダイレクトされていることを表すものであることを確認し、以下に示すLocationヘッダの値を取得する。
【００６０】
‘Location: http://server2/ccc/ddd.html ’（リダイレクト先アドレス）
【００６１】
その後、ステップＳ１４において、‘Location:’以降の文字列を変換後のアドレスとして抽出し、出力する。
【００６２】
また、アドレス情報変換部１６ｂが実施例1で示したアドレス情報変換部と同じであり、文書アドレスＤＢ６から読み出したアドレスが実施例1で示したアドレスａである場合には、切り換え部２０はアドレス情報変換部１６ｂを指定する。このように、ログ収集サーバ２が複数種類存在する場合でも、アドレス情報変換部を切り換えることによって、文書提供サーバ３に直接アクセスするためのアドレスを得ることができる。
【００６３】
図７は、第２の実施形態の変形における、ログ収集サーバの種類により文書提供サーバ３に直接アクセスする形式のアドレス部を取り出す変換方法を与え、変換方法を変化させる処理の流れを示すブロック図である。図７に示すようにアドレス情報変換部１６と変換方法記憶部１３を有して、ログ収集サーバ２とログ収集サーバ２上のＣＧＩプログラムの種類によって変換方法記憶部１３より必要な変換アルゴリズムを読み出してログ収集サーバ２を経由して文書実体が置かれた別のサーバへアクセスする形式のアドレスから文書提供サーバ３に直接アクセスする形式のアドレスに変換することも可能である。
【実施例３】
【００６４】
図８は、第３の実施形態においてユーザが文書アドレスを入力する手段及び、収集した文書を解析して文書アドレスを抽出する手段、変換後のアドレスを記憶する手段、アドレスを選択する手段を備えた収集ロボットの処理の流れを示すブロック図である。最初に、操作者が以下の文書アドレスを入力する。
【００６５】
変換前１：‘http://server1/cgibin/command1?arg0=aaa&arg1=http://server2/index.html’(アドレスe)
【００６６】
この変換前のアドレスは、実施例1で示したアドレスaの場合と同様に、ログ収集サーバであるserver1上でＣＧＩプログラムが起動され、引数で指定されたアドレスについてアクセスカウントを加算し、文書内容を返すものであること表している。実施例1で説明したＣＧＩプログラムとの違いは、引数として’arg0’と’arg1’とが指定されており、’arg0’によって’arg1’で指定した文書の特定の位置を指すようになっている点である。アドレス情報変換部１６で変換した変換後のアドレスは、以下のようになる。
【００６７】
変換後１：‘http://server2/index.html#aaa’
変換後のアドレスは‘#’以降の文字列によって、‘http://server2/index.html’という文書の特定の場所が指定されていることになる。
【００６８】
本実施例では文書提供サーバ３に直接アクセスするためのアドレスである変換後のアドレスを文書アドレスＤＢ６に格納する。これにより、同じアドレスに対して再度巡回収集を行う際には、文書アドレスＤＢ６から変換後のアドレスを読み出すことによって、アドレス変換の処理を省略することができる。
【００６９】
図９に第３の実施形態における文書アドレスＤＢ６に格納するアドレス情報を、図１０に第３の実施形態におけるアドレス選択部の処理を表すフローチャートを示す。図９において、Table1は文書アドレスＤＢ６中の変換前アドレスを格納するテーブル、Table2が変換後アドレスを格納するテーブルを表している。Table1には、変換前アドレスのＤＢ中の識別番号、変換前アドレス文字列、そのアドレスに対して巡回収集を行う予定時刻、対応する変換後アドレスの識別番号が格納されている。巡回予定時刻は、その値が古いものから巡回収集を行うためのもので、‘−１’が格納されている場合はそのアドレスに対する巡回収集を行わない。また、Table2のIDに‘−１’が格納されている場合は、変換が不要なアドレスであること、‘０’が格納されている場合は変換後のアドレスがTable2に格納されていないことを表す。
【００７０】
次に図１０を用いて、アドレス選択部の処理の流れを説明する。ステップＳ３１において、Table1のエントリ中から巡回予定時刻が現在時刻よりも前で、かつ、最も古いものを選択する。次にステップＳ３２において、ステップＳ３１で選択したエントリのID値が0より大きいかを調べ、大きい場合はステップＳ３３へ、‘０’以下の場合はステップＳ３５へ移る。ステップＳ３３では、ステップＳ３１で選択したエントリのTable2のIDの値に対応するエントリをTable2から選択し、変換後アドレス文字列を読み出す。そしてステップＳ３４において変換後アドレスを文書巡回収集部１８へ出力する。一方、ステップＳ３５では、ステップＳ３１で選択したエントリの変換前アドレス文字列を読み出し、ステップＳ３６において、アドレス情報変換部１６へ出力する。操作者が入力する文書アドレスの別の例として以下がある。
【００７１】
変換前２：‘http://server1/cgibin/command1?arg0=&arg1=http://server2:80/index.html’(アドレスｆ)
【００７２】
この場合、アドレス情報変換部１６で変換した結果は以下になる。
【００７３】
変換後２：‘http://server2:80/index.html’
【００７４】
変換後１と変換後２とは、文字列としては異なるアドレスであっても、収集対象の文書としては同じものである。正規化処理部１７では、このようなアドレスを唯一化する正規化処理を行う。変換後１および変換後２をそれぞれ正規化処理部１７に入力すると処理結果はどちらも以下の文字列になる。
【００７５】
正規化後: ‘http://server2:80/index.html’
【００７６】
また、文書巡回収集部が文書提供サーバ３から文書を収集し、アドレス抽出部１２において収集した文書からアドレス情報を抽出し、抽出したアドレスを巡回収集対象のアドレスに追加するべく文書アドレスＤＢ６へ格納する。この場合、抽出したアドレスは前述のアドレスｅ、アドレスｆの例のように変換後のアドレス文字列は異なっているが、収集する文書は同一のものになっている可能性がある。
【００７７】
図１１は、第３の実施形態におけるアドレス変換処理を示すフローチャートである。図１１を用いて、正規化処理の流れを説明する。ステップＳ２１において、アドレス情報変換部１６から出力されるアドレス文字列を入手し、ステップＳ２２において、アドレス文字列の前後の空白文字を除去し、文字中の空白を‘％２０’に置換する。そして、ステップＳ２３において、スキームと呼ばれる”：//”の前のホストの文字列の中に、大文字が含まれていれば小文字に置換する。さらに、ステップＳ２４においてアクセスポート番号がなければデフォルト値である‘８０’番を付加する。次に、フラグメントと呼ばれる‘＃’以降の文字列を取り除く。このような処理を行うことで、巡回用：‘http://server2:80/index.html’が得られ、ステップＳ２６の正規化後アドレス文字列出力によって正規化されたアドレスが出力される。このようにして得られたアドレスが、文書アドレスＤＢ６に保存される。その結果、文書アドレスＤＢ６に記憶すべきアドレス数を少なくすることができる。同時に、巡回収集すべきアドレス数を少なくすることができるため収集ロボット１０の処理時間を短縮することができる。
【実施例４】
【００７８】
図１２は、第４の実施形態において、収集ロボット１０が収集した文書を文書サービス提供サーバ５が検索する検索サービスの処理の流れを示すブロック図である。
【００７９】
まず、文書アドレスＤＢ６からアドレスを読み出す。読み出したアドレスがログ収集サーバ２を経由して文書提供サーバ３にアクセスする形式である場合に、アドレス情報変換部１６において文書提供サーバ３に直接アクセスする形式のアドレスに変換する。
【００８０】
文書巡回収集部１８はアドレス情報変換部１６が出力したアドレスを使用して文書を巡回収集し、収集した文書は文書加工部２２で加工して文書情報ＤＢ１９に格納する。文書サービス提供サーバ５は操作者がクライアント端末７または９から入力した検索語を受け取り、検索語に対応する文書の情報を文書情報ＤＢ１９、および、文書アドレスＤＢ６から取り出して、文書アドレスのリストをクライアント端末（７，９）に返す。このとき返す文書アドレスのリストは、文書巡回収集部で使用した変換後のアドレスではなく、変換前のアドレスとする。これにより、操作者が文書の閲覧要求を出した場合は、ログ収集サーバ２を経由して文書提供サーバ３にアクセスすることになるため、必要なアクセスログがログ収集サーバ２に残されることになる。
【００８１】
このような処理により、情報収集処理はログ収集サーバ２を経由せずに収集することで、文書サーバでないサーバの無用な負荷を減少させるとともに、収集効率を向上させることが可能となる。また、本実施の形態では、ログ収集サーバ２を例としたが、アクセス履歴収集を目的としない中継サーバであっても同様な処理によって好適に処理可能である。
【図面の簡単な説明】
【００８２】
【図１】本発明に係る情報収集装置の一実施の形態を含むネットワークシステム全体のブロック構成図である。
【図２】第１の実施形態における文書巡回収集処理の流れを示すブロック図である。
【図３】第１の実施形態におけるアドレス情報変換処理を示すフローチャートである。
【図４】第２の実施形態におけるログ収集サーバの種類により変換手段を切り換える処理の流れを示すブロック図である。
【図５】第２の実施形態においてserver5上で起動されるＣＧＩプログラムの処理の流れを示すブロック図である。
【図６】第２の実施形態におけるアドレス情報変換処理を示すフローチャートである。
【図７】第２の実施形態の変形における、ログ収集サーバの種類により文書提供サーバに直接アクセスする形式のアドレス部を取り出す変換方法を与え、変換方法を変化させる処理の流れを示すブロック図である。
【図８】第３の実施形態においてユーザが文書アドレスを入力する手段及び、収集した文書を解析して文書アドレスを抽出する手段、変換後のアドレスを記憶する手段、アドレスを選択する手段を備えた収集ロボットの処理の流れを示すブロック図である。
【図９】第３の実施形態における文書アドレスデータベースに格納する情報を示した図である。
【図１０】第３の実施形態におけるアドレス選択部の処理を示すフローチャートである。
【図１１】第３の実施形態におけるアドレス変換処理を示すフローチャートである。
【図１２】第４の実施形態において、収集ロボットが収集した文書を文書サービス提供サーバが検索する検索サービスの処理の流れを示すブロック図である。
【図１３】従来の収集ロボットの情報アクセス経路を示した模式図である。
【図１４】図１４は、収集ロボットの収集処理時間を示した模式図である。
【符号の説明】
【００８３】
１  文書サーバ群、２  ログ収集サーバ、３  文書提供サーバ、４  インターネット、５  文書サービス提供サーバ、６  文書アドレスＤＢ、７，９  クライアント端末、１０  収集ロボット、１２  アドレス抽出部、１３  変換方法記憶部、１４  アドレス選択部、１６  アドレス情報変換部、１７  正規化処理部、１８  文書巡回収集部、１９  文書情報ＤＢ、２０  切り換え部、２２  文書加工部、２４  文書実体情報管理部、２５  文書実体情報記憶部、２６  リダイレクション情報設定部、４１，４２，４４  サーバ、４３  アクセスログＤＢ。
【図１】
2005182617.tif 000003
【図２】
2005182617.tif 000004
【図３】
2005182617.tif 000005
【図４】
2005182617.tif 000006
【図５】
2005182617.tif 000007
【図６】
2005182617.tif 000008
【図７】
2005182617.tif 000009
【図８】
2005182617.tif 000010
【図９】
2005182617.tif 000011
【図１０】
2005182617.tif 000012
【図１１】
2005182617.tif 000013
【図１２】
2005182617.tif 000014
【図１３】
2005182617.tif 000015
【図１４】
2005182617.tif 000016