(57)【要約】【課題】公開された情報を効率良く高速に収集するシステム等を提供する。【解決手段】一サイト内の一ページにそれぞれアクセスして、該サイトを構成する複数のコンテンツについての各種データを収集し処理するための複数のデータ処理手段１４と、該手段を管理する管理手段と、を備えたデータ処理装置１０と、該装置１０が最初にアクセスするサイトを示す情報が含まれた特定サイト情報と、該サイト内の各コンテンツについての情報と、を記憶する記憶装置２０と、を有し、データ処理手段１４は、特定サイト情報に基づくページへのアクセス、該ページのヘッダ情報の取得、コンテンツの取得、リンク情報の取得、各情報に基づく所定情報の記憶装置２０への登録、を行い、管理手段は、記憶装置２０内の情報及びリンク情報に基づきデータ処理手段１４を１以上起動させる処理と、リンク情報に基づき該サイトに対するデータ収集を終了させる処理と、を行う。【選択図】  図１
2004318746.tif 000002
【特許請求の範囲】
【請求項１】
一のサイト内の一のページにそれぞれアクセスして、当該サイトを構成する複数のコンテンツについての各種データを収集し、処理するための複数のデータ処理手段と、前記データ処理手段を管理する管理手段と、を備えたデータ処理装置と、
前記データ処理装置が最初にアクセスするためのサイトを示す情報が含まれた特定サイト情報と、当該サイト内の各コンテンツについての情報と、を少なくとも記憶するための記憶装置と、を有し、
前記データ処理装置の前記データ処理手段は、予め前記記憶装置に記憶された前記特定サイト情報に基づくページ、及び、該ページにリンクされたリンクページにアクセスするためのページアクセス手段と、アクセスしたページのヘッダ情報を取得するヘッダ情報取得手段と、アクセスしたページのコンテンツを取得するためのコンテンツ取得手段と、アクセスしたページにリンクされたリンクページの場所を示すリンク情報を取得するリンク情報取得手段と、取得した各情報に基づく所定の情報を前記記憶装置に登録する情報登録手段とを有し、
前記データ処理装置の前記管理手段は、前記記憶装置に記憶された情報及び前記リンク情報取得手段で取得したリンク情報に基づいて、前記データ処理手段をｎ（ｎは１以上）個起動させる起動管理手段と、前記リンク情報取得手段で取得したリンク情報に基づいて、当該サイトに対するデータ収集を終了させる終了管理手段と、
を備えたことを特徴とする情報収集システム。
【請求項２】
前記記憶装置には、前記特定サイト情報として、収集開始日時を示す収集開始情報が記憶され、
前記データ処理装置の前記起動管理手段は、前記収集開始情報に基づいて、前記データ処理手段を起動させること
を特徴とする請求項１記載の情報収集システム。
【請求項３】
前記記憶装置には、前記特定サイト情報として、当該一のサイト内の各ページの処理を行うデータ処理手段の最大同時併存数を示す併存数上限情報が記憶され、
前記データ処理装置の前記起動管理手段は、前記併存数上限情報の最大同時併存数の範囲内で、前記データ処理手段を起動させること
を特徴とする請求項１又は２記載の情報収集システム。
【請求項４】
前記データ処理手段は、前記情報登録手段による記憶装置への登録が終了すると、処理が終了した旨を前記管理手段に通知し、
前記管理手段は、該通知に基づいて、前記起動管理手段による前記データ処理手段の起動或いは前記終了管理手段によるデータ収集の終了の処理を行うこと
を特徴とする請求項１乃至３のいずれか１項に記載の情報収集システム。
【請求項５】
前記データ処理装置は、前記ヘッダ情報取得手段で取得したヘッダ情報に基づいて、コンテンツの変更の有無について判定する判定手段を有し、
前記コンテンツ取得手段は、前記判定手段で変更無しと判定された場合には、アクセスしたページのコンテンツを取得しないこと
を特徴とする請求項１乃至４のいずれか１項に記載の情報収集システム。
【請求項６】
前記記憶装置は、前記ヘッダ情報取得手段で取得したヘッダ情報を記憶する記憶領域を備え、
前記判定手段は、今回取得したヘッダ情報と前記記憶装置に記憶された前回取得分のヘッダ情報とを比較して、一致しない場合にはコンテンツの変更有りと判定すること
を特徴とする請求項５記載の情報収集システム。
【請求項７】
前記データ処理装置は、前記ヘッダ情報取得手段で取得したヘッダ情報に基づいて、当該ページが当該サイト内のページであるか否かについて判定するサイト判定手段を有し、
前記コンテンツ取得手段は、前記サイト判定手段で当該サイト内のページではないと判定された場合には、アクセスしたページのコンテンツを取得しないこと
を特徴とする請求項１乃至６のいずれか１項に記載の情報収集システム。
【請求項８】
前記コンテンツ取得手段は、ページのコンテンツを解析するための解析プログラムを複数種類具備し、
前記リンク情報取得手段は、当該ページのコンテンツの種類を示すコンテンツ種類情報が含まれたリンク情報を取得し、
前記起動管理手段は、前記データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力し、
起動したデータ処理手段におけるページアクセス手段のアクセスしたページに関して、コンテンツ取得手段は、当該データ処理要求に含まれたコンテンツ種類情報に対応する解析プログラムを用いてコンテンツを解析すること
を特徴とする請求項１乃至７のいずれか１項に記載の情報収集システム。
【請求項９】
前記ページアクセス手段は、ページにアクセスするための通信規約についてのプログラムを複数種類具備し、
前記リンク情報取得手段は、前記コンテンツ取得手段で取得したコンテンツから、当該リンクページへのアクセス方法についての情報が含まれたリンク情報を取得し、
前記起動管理手段は、前記データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力し、
起動したデータ処理手段のページアクセス手段は、当該データ処理要求に含まれたアクセス方法に対応するプログラムを用いて当該リンクページにアクセスすること
を特徴とする請求項１乃至８のいずれか１項に記載の情報収集システム。
【請求項１０】
前記記憶装置には、前記特定サイト情報として、当該一のサイトについての情報を欲する他のシステムについての連携システム名が記憶され、
前記データ処理装置は、前記データ処理手段で収集、処理する各情報に関し、前記他のシステムに提供するための提供データを生成する提供データ生成手段と、生成した提供データを前記連携システム名に基づく他のシステムに送信する提供データ送信手段と、を備えたこと
を特徴とする請求項１乃至９のいずれか１項に記載の情報収集システム。
【請求項１１】
前記提供データ生成手段は、サイトに対するデータ収集の開始の際、当該サイト内の一のページについてのデータ処理手段による処理終了の際、及び、当該サイトに対するデータ収集の終了の際、の各々の時点で、それぞれ同一のデータフォーマットによる提供データを生成すること
を特徴とする請求項１０記載の情報収集システム。
【請求項１２】
前記提供データ送信手段は、前記コンテンツ取得手段で取得したコンテンツを、前記連携システム名に基づく他のシステムに送信すること
を特徴とする請求項１０又は１１記載の情報収集システム。
【請求項１３】
一のサイト内の一のページにそれぞれアクセスして、当該サイトを構成する複数のコンテンツについての各種データを収集し、処理するための複数のデータ処理手段と、前記データ処理手段を管理する管理手段と、を備えたデータ処理装置と、
前記データ処理装置が最初にアクセスするためのサイトを示す情報が含まれた特定サイト情報と、当該サイト内の各コンテンツについての情報と、を少なくとも記憶するための記憶装置と、を用いた情報収集方法であって、
前記データ処理装置の前記データ処理手段は、予め前記記憶装置に記憶された前記特定サイト情報に基づくページ、及び、該ページにリンクされたリンクページにアクセスするページアクセス処理と、アクセスしたページのヘッダ情報を取得するヘッダ情報取得処理と、アクセスしたページのコンテンツを取得するためのコンテンツ取得処理と、アクセスしたページにリンクされたリンクページの場所を示すリンク情報を取得するリンク情報取得処理と、取得した各情報に基づく所定の情報を前記記憶装置に登録する情報登録処理と、を実行し、
前記データ処理装置の前記管理手段は、前記記憶装置に記憶された情報及び前記リンク情報取得処理で取得したリンク情報に基づいて、前記データ処理手段をｎ（ｎは１以上）個起動させる起動処理と、前記リンク情報取得処理で取得したリンク情報に基づいて、当該サイトに対するデータ収集を終了させる終了処理と、
を実行することを特徴とする情報収集方法。
【請求項１４】
前記記憶装置には、前記特定サイト情報として、収集開始日時を示す収集開始情報が記憶され、
前記起動処理では、前記収集開始情報に基づいて前記データ処理手段を起動させること
を特徴とする請求項１３記載の情報収集方法。
【請求項１５】
前記記憶装置には、前記特定サイト情報として、当該一のサイト内の各ページの処理を行うデータ処理手段の最大同時併存数を示す併存数上限情報が記憶され、
前記起動処理では、前記併存数上限情報の最大同時併存数の範囲内で、前記データ処理手段を起動させること
を特徴とする請求項１３又は１４記載の情報収集方法。
【請求項１６】
前記データ処理手段は、前記情報登録処理が終了すると、処理が終了した旨を前記管理手段に通知する通知処理を実行し、
前記管理手段は、該通知に基づいて、前記起動処理或いは前記終了処理を実行すること
を特徴とする請求項１３乃至１５のいずれか１項に記載の情報収集方法。
【請求項１７】
前記データ処理装置は、前記コンテンツ取得処理に先立って、コンテンツを取得すべきか否かについて判定する判定処理を実行し、
取得すべきでないと判定された場合には、前記コンテンツ取得処理を実行しないこと
を特徴とする請求項１３乃至１６のいずれか１項に記載の情報収集方法。
【請求項１８】
前記記憶装置は、前記ヘッダ情報取得処理で取得したヘッダ情報を記憶する記憶領域を備え、
前記判定処理では、今回取得したヘッダ情報と前記記憶装置に記憶された前回取得分のヘッダ情報とを比較して、一致する場合には、コンテンツを取得すべきでないと判定すること
を特徴とする請求項１７記載の情報収集方法。
【請求項１９】
前記データ処理装置は、前記ヘッダ情報取得処理で取得したヘッダ情報に基づいて、当該ページが当該サイト内のページであるか否かについて判定するサイト判定処理を実行し、
当該サイト内のページではないと判定された場合には、前記コンテンツ取得処理を実行しないこと
を特徴とする請求項１３乃至１８のいずれか１項に記載の情報収集方法。
【請求項２０】
前記データ処理装置の前記データ処理手段は、ページのコンテンツを解析するための解析プログラムを複数種類具備し、
前記リンク情報取得処理では、当該ページのコンテンツの種類を示すコンテンツ種類情報が含まれたリンク情報を取得し、
前記起動処理では、前記データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力し、
起動したデータ処理手段につき、前記ページアクセス処理によりアクセスしたページにおける前記コンテンツ取得処理では、当該データ処理要求に含まれたコンテンツ種類情報に対応する解析プログラムを用いてコンテンツを解析すること
を特徴とする請求項１３乃至１９のいずれか１項に記載の情報収集方法。
【請求項２１】
前記データ処理装置の前記データ処理手段は、サイトにアクセスするための通信規約についてのプログラムを複数種類具備し、
前記リンク情報取得処理では、前記コンテンツ取得処理で取得したコンテンツから、当該リンクページへのアクセス方法についての情報が含まれたリンク情報を取得し、
前記起動処理では、前記データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力し、
起動したデータ処理手段は、当該データ処理要求に含まれたアクセス方法に対応するプログラムを用いて前記ページアクセス処理を実行すること
を特徴とする請求項１３乃至２０のいずれか１項に記載の情報収集方法。
【請求項２２】
前記記憶装置には、前記特定サイト情報として、当該一のサイトについての情報を欲する他のシステムについての連携システム名が記憶され、
前記データ処理装置は、前記データ処理手段で取得した各情報に基づいて、前記他のシステムに提供するための提供データを生成する提供データ生成処理と、生成した提供データを前記連携システム名に基づく他のシステムに送信する提供データ送信処理と、を実行すること
を特徴とする請求項１３乃至２１のいずれか１項に記載の情報収集方法。
【請求項２３】
前記提供データ生成処理では、サイトに対するデータ収集の開始の際、当該サイト内の一のページについてのデータ処理手段による処理終了の際、及び、当該サイトに対するデータ収集の終了の際、の各々の時点で、それぞれ同一のデータフォーマットによる提供データを生成すること
を特徴とする請求項２２記載の情報収集方法。
【請求項２４】
前記提供データ送信処理では、前記コンテンツ取得処理で取得したコンテンツを、前記連携システム名に基づく他のシステムに送信すること
を特徴とする請求項２２又は２３記載の情報収集方法。
【請求項２５】
コンピュータを、一のサイト内の一のページにそれぞれアクセスして、当該サイトを構成する複数のコンテンツについての各種データを収集し、処理するための複数のデータ処理手段と、前記データ処理手段を管理する管理手段と、を備えたデータ処理装置と、
前記データ処理装置が最初にアクセスするためのサイトを示す情報が含まれた特定サイト情報と、当該サイト内の各コンテンツについての情報と、を少なくとも記憶するための記憶装置と、して機能させるための情報収集プログラムであって、
前記データ処理装置の前記データ処理手段を、特定サイト情報に基づくページ、及び、該ページにリンクされたリンクページにアクセスするためのページアクセス手段、アクセスしたページのヘッダ情報を取得するヘッダ情報取得手段、アクセスしたページのコンテンツを取得するためのコンテンツ取得手段、アクセスしたページにリンクされたリンクページの場所を示すリンク情報を取得するリンク情報取得手段、取得した各情報に基づく所定の情報を前記記憶装置に登録する情報登録手段、として機能させるとともに、
前記データ処理装置の前記管理手段を、前記記憶装置に記憶された情報及び前記リンク情報取得手段で取得したリンク情報に基づいて、前記データ処理手段をｎ（ｎは１以上）個起動させる起動管理手段、前記リンク情報取得手段で取得したリンク情報に基づいて、当該サイトに対するデータ収集を終了させる終了管理手段、として機能させる
ための情報収集プログラム。
【請求項２６】
前記記憶装置には、前記特定サイト情報として、収集開始日時を示す収集開始情報が記憶され、
前記起動管理手段を、前記収集開始情報に基づいて前記データ処理手段を起動させる手段として機能させる
ための請求項２５記載の情報収集プログラム。
【請求項２７】
前記記憶装置には、前記特定サイト情報として、当該一のサイト内の各ページの処理を行うデータ処理手段の最大同時併存数を示す併存数上限情報が記憶され、
前記起動管理手段を、前記併存数上限情報の最大同時併存数の範囲内で前記データ処理手段を起動させる手段として機能させる
ための請求項２５又は２６記載の情報収集プログラム。
【請求項２８】
前記データ処理手段を、前記情報登録手段による記憶装置への登録が終了すると、処理が終了した旨を前記管理手段に通知する手段として機能させ、
前記管理手段を、該通知に基づいて、前記起動管理手段による前記データ処理手段の起動或いは前記終了管理手段によるデータ収集の終了の処理を行う手段として機能させる
ための請求項２５乃至２７のいずれか１項に記載の情報収集プログラム。
【請求項２９】
前記データ処理装置を、前記ヘッダ情報取得手段で取得したヘッダ情報に基づいてコンテンツの変更の有無について判定する判定手段として機能させるとともに、
前記コンテンツ取得手段を、前記判定手段で変更無しと判定された場合には、アクセスしたページのコンテンツを取得しない手段として機能させる
ための請求項２５乃至２８のいずれか１項に記載の情報収集プログラム。
【請求項３０】
前記記憶装置を、前記ヘッダ情報取得手段で取得したヘッダ情報を記憶する記憶領域を備えるように機能させ、
前記判定手段を、今回取得したヘッダ情報と前記記憶装置に記憶された前回取得分のヘッダ情報とを比較して、一致しない場合にはコンテンツの変更有りと判定する手段として機能させる
ための請求項２９記載の情報収集プログラム。
【請求項３１】
前記データ処理装置を、前記ヘッダ情報取得手段で取得したヘッダ情報に基づいて、当該ページが当該サイト内のページであるか否かについて判定するサイト判定手段として機能させ、
前記コンテンツ取得手段を、前記サイト判定手段で当該サイト内のページではないと判定した場合には、アクセスしたページのコンテンツを取得しない手段として機能させる
ための請求項２５乃至３０のいずれか１項に記載の情報収集プログラム。
【請求項３２】
前記コンテンツ取得手段を、ページのコンテンツを解析するための解析プログラムを複数種類具備する手段として機能させ、
前記リンク情報取得手段を、当該ページのコンテンツの種類を示すコンテンツ種類情報が含まれたリンク情報を取得する手段として機能させ、
前記起動管理手段を、前記データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力する手段として機能させ、
起動したデータ処理手段におけるページアクセス手段のアクセスしたページに関して、コンテンツ取得手段を、当該データ処理要求に含まれたコンテンツ種類情報に対応する解析プログラムを用いてコンテンツを解析する手段として機能させる
ための請求項２５乃至３１のいずれか１項に記載の情報収集プログラム。
【請求項３３】
前記ページアクセス手段を、ページにアクセスするための通信規約についてのプログラムを複数種類具備する手段として機能させ、
前記リンク情報取得手段を、前記コンテンツ取得手段で取得したコンテンツから、当該リンクページへのアクセス方法についての情報が含まれたリンク情報を取得する手段として機能させ、
前記起動管理手段を、前記データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力する手段として機能させ、
起動したデータ処理手段のページアクセス手段を、当該データ処理要求に含まれたアクセス方法に対応するアクセスプログラムを用いて当該リンクページにアクセスする手段として機能させる
ための請求項２５乃至３２のいずれか１項に記載の情報収集プログラム。
【請求項３４】
前記記憶装置を、前記特定サイト情報として、当該一のサイトについての情報を欲する他のシステムについての連携システム名を記憶する手段として機能させ、
前記データ処理装置を、前記データ処理手段で収集、処理する各情報に関し、前記他のシステムに提供するための提供データを生成する提供データ生成手段と、生成した提供データを前記連携システム名に基づく他のシステムに送信する提供データ送信手段、として機能させる
ための請求項２５乃至３３のいずれか１項に記載の情報収集プログラム。
【請求項３５】
前記提供データ生成手段を、サイトに対するデータ収集の開始の際、当該サイト内の一のページについてのデータ処理手段による処理終了の際、及び、当該サイトに対するデータ収集の終了の際、の各々の時点で、それぞれ同一のデータフォーマットによる提供データを生成する手段として機能させる
ための請求項３４記載の情報収集プログラム。
【請求項３６】
前記提供データ送信手段を、前記コンテンツ取得手段で取得したコンテンツを前記連携システム名に基づく他のシステムに送信する手段として機能させる
ための請求項３４又は３５記載の情報収集プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報収集システム、情報収集方法、及び情報収集プログラムに関し、詳しくは、主にネットワークに公開された情報を収集するシステム等、及び、収集した情報をクライアント側の各種コンピュータ機器に提供するシステム等に関するものであり、特に、指定されたサイト内における多数の文書やデータの高速な取得を実現する情報収集システム等に関するものである。
【０００２】
【従来の技術】
従来より、ネットワークに公開された情報を収集するシステムとしては、ロボット型サーチエンジンが知られている。このロボット型サーチエンジンでは、ロボットと呼ばれるプログラムがインターネットを巡回して、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）ページのデータを自動収集している。
【０００３】
従来のロボット型サーチエンジンは、主にインターネット全体を対象にしてＷＷＷページのデータ収集をしており、特定のサイトだけを対象にしたＷＷＷページのデータ収集ではなく、また、効率化に関しても、いかに大量のＷＷＷページのデータを収集するかに主眼が置かれており、収集の速さを目的としたものではなかった。
【０００４】
そのため、従来のロボット型サーチエンジンのシステムは、データ収集の対象がインターネット全体であるために、ロボットがインターネット全体を常に巡回しつづける構成となっており、該システム全体の制御を司るＣＰＵや、該システムが利用するネットワークに高い負荷をかけてしまう、という問題があった。
【０００５】
これに対し、複数のロボットを効率的に動作させ、各ロボットの同時稼動時間を短縮することで、ＣＰＵやネットワークの負荷を減らそうとするものもある（例えば特許文献１参照）。
【０００６】
しかしながら、この特許文献１のシステムでは、複数のロボットをページ（コンテンツ）毎に分散して動作させる構成であり、ＣＰＵやネットワークの負荷軽減を実現するために、一度に大量のロボットが動作して多量のページを収集しないように各々のロボットが時間をおいて順番的に起動してしまうことから、情報収集時間自体が延長してしまう問題を有していた。
【０００７】
また、従来のロボットは、仕様が公開されているために解読が容易なＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）の巡回・取得に限られることが多く、複数の形式の情報収集を行うプログラムを作成すると構造が複雑になることなどから、昨今広く普及しているＭａｃｒｏｍｅｄｉａ（登録商標）社（ｈｔｔｐ：／／ｗｗｗ．ｍａｃｒｏｍｅｄｉａ．ｃｏｍ／）のＦｌａｓｈに代表されるＨＴＭＬ以外のマルチメディアコンテンツに対応できないことが多い。
【０００８】
また、従来のロボットは、サーチエンジンの一部であり、かつ、インデクサと呼ばれるＷＷＷの全文検索用の専用プログラムと密な関係にある場合が多いため、ＷＷＷ検索以外の機能への応用が難しい、という問題があった。
【０００９】
また、ＷＷＷなどの普及に伴い、検索以外のさまざまなサービスのニーズがあるにもかかわらず、従来提供されているソフトウェアは、ＨＴＭＬ単独の取得ツールやライブラリか、または上述のような応用プログラムとのセットである場合が多かった。
【００１０】
【特許文献１】
特開２０００−７６２６４号公報
【００１１】
【発明が解決しようとする課題】
本発明は、上述の問題点を解決すべく提案されたものであり、高速で質の高い情報収集のシステムを構築し、指定されたサイト内における情報を効率良く高速に収集する、情報収集システム、情報収集方法、及び情報収集プログラムを提供することを第一の目的とする。
【００１２】
また、本発明は、情報収集に際してＣＰＵやネットワーク等のハードウェア資源の負荷を軽減することが可能な、情報収集システム、情報収集方法、及び情報収集プログラムを提供することを第二の目的とする。
【００１３】
また、本発明は、指定されたサイト内における情報収集後の情報提供に関するサービスの向上を実現した、情報収集システム、情報収集方法、及び情報収集プログラムを提供することを第三の目的とする。
【００１４】
【課題を解決するための手段】
本発明の情報収集システムの第一の構成は、一のサイト内の一のページにそれぞれアクセスして、当該サイトを構成する複数のコンテンツについての各種データを収集し、処理するための複数のデータ処理手段と、データ処理手段を管理する管理手段と、を備えたデータ処理装置と、データ処理装置が最初にアクセスするためのサイトを示す情報が含まれた特定サイト情報と、当該サイト内の各コンテンツについての情報と、を少なくとも記憶するための記憶装置と、を有し、データ処理装置のデータ処理手段は、予め記憶装置に記憶された特定サイト情報に基づくページ、及び、該ページにリンクされたリンクページにアクセスするためのページアクセス手段と、アクセスしたページのヘッダ情報を取得するヘッダ情報取得手段と、アクセスしたページのコンテンツを取得するためのコンテンツ取得手段と、アクセスしたページにリンクされたリンクページの場所を示すリンク情報を取得するリンク情報取得手段と、取得した各情報に基づく所定の情報を記憶装置に登録する情報登録手段とを有し、データ処理装置の管理手段は、記憶装置に記憶された情報及びリンク情報取得手段で取得したリンク情報に基づいて、データ処理手段をｎ（ｎは１以上）個起動させる起動管理手段と、リンク情報取得手段で取得したリンク情報に基づいて、当該サイトに対するデータ収集を終了させる終了管理手段と、を備えたことを特徴とする。
【００１５】
上記第一の構成を備えた情報収集システムにおいては、記憶装置に記憶された特定サイト情報に基づいて、起動管理手段によりデータ処理手段の起動が行われると、ページアクセス手段により一のページへのアクセス処理が行われ、続いてヘッダ情報取得手段による当該ページのヘッダ情報の取得処理、コンテンツ取得手段による当該ページのコンテンツの取得処理、リンク情報取得手段によるリンク情報の取得処理、が順次行われるとともに、取得した各情報に基づく所定の情報が情報登録手段により記憶装置に登録され、また、取得したリンク情報に基づいて、起動管理手段により１又は複数個のデータ処理手段の起動が行われることで、上述の各処理が同時並行的に、かつ繰り返し行われ、また、終了管理手段により当該サイトに対するデータ収集が終了させられる。
【００１６】
従って、第一の構成によれば、予め設定されたサイト内の各種データを、各ページのリンク（或いは階層）関係に基づいて、高速に収集することが可能となる。
【００１７】
本発明の情報収集システムの第二の構成は、上記第一の構成において、記憶装置には、特定サイト情報として、収集開始日時を示す収集開始情報が記憶され、データ処理装置の起動管理手段は、収集開始情報に基づいて、データ処理手段を起動させることを特徴とする。
【００１８】
上記第二の構成においては、記憶装置に記憶された特定サイト情報に基づくページひいては当該サイト内の各ページへのアクセス（巡回）が定期的に行われ、これにより、当該サイトを構成する複数のページのコンテンツについての情報が定期的に収集されるので、ハードウェア資源（ＣＰＵやネットワーク等）の負荷を軽減しつつ、各種コンテンツについての更新や新規追加等の情報を定期的に得ることが可能となる。
【００１９】
本発明の情報収集システムの第三の構成は、上記第一又は第二の構成において、記憶装置には、特定サイト情報として、当該一のサイト内の各ページの処理を行うデータ処理手段の最大同時併存数を示す併存数上限情報が記憶され、データ処理装置の起動管理手段は、併存数上限情報の最大同時併存数の範囲内で、データ処理手段を起動させることを特徴とする。
【００２０】
上記第三の構成においては、併存数上限情報により、ページアクセス手段の最大同時起動数が制限され、かつ、ヘッダ情報取得手段やコンテンツ取得手段、リンク情報取得手段、情報登録手段、等の各手段の動作も制限されるので、ハードウェア資源（ＣＰＵやネットワーク等）に一時的な高負荷をかけることがなくなり、ハードウェア資源を効率的に使用することが可能となる。
【００２１】
本発明の情報収集システムの第四の構成は、上記第一乃至第三のいずれか１の構成において、データ処理手段は、情報登録手段による記憶装置への登録が終了すると、処理が終了した旨を管理手段に通知し、管理手段は、該通知に基づいて、起動管理手段によるデータ処理手段の起動或いは終了管理手段によるデータ収集の終了の処理を行うことを特徴とする。
【００２２】
上記第四の構成においては、管理手段は、データ処理手段の起動後にはいずれかのデータ処理手段からの処理通知通知を待機すれば良く、データ処理手段の状態を定期的に検出する必要が無くなるので、ハードウェア資源（ＣＰＵ等）の負荷が軽減される。
【００２３】
本発明の情報収集システムの第五の構成は、上記第一乃至第四のいずれか１の構成において、データ処理装置は、ヘッダ情報取得手段で取得したヘッダ情報に基づいて、コンテンツの変更の有無について判定する判定手段を有し、コンテンツ取得手段は、判定手段で変更無しと判定された場合には、アクセスしたページのコンテンツを取得しないことを特徴とする。
【００２４】
上記第五の構成においては、コンテンツの変更有りと判定された場合にのみ、アクセスしたサイトのコンテンツが取得されるので、当該サイトを構成する複数のページの各種データの収集、処理の迅速な終了が可能となるとともに、ハードウェア資源（ＣＰＵやネットワーク等）の負荷が軽減される。
【００２５】
本発明の情報収集システムの第六の構成は、上記第五の構成において、記憶装置は、ヘッダ情報取得手段で取得したヘッダ情報を記憶する記憶領域を備え、判定手段は、今回取得したヘッダ情報と記憶装置に記憶された前回取得分のヘッダ情報とを比較して、一致しない場合にはコンテンツの変更有りと判定することを特徴とする。
【００２６】
上記第六の構成においては、ヘッダ情報が相互に一致する場合にはコンテンツの変更無しと判定され、コンテンツ取得手段やリンク情報取得手段による処理を省略することが可能となり、ハードウェア資源（ＣＰＵやネットワーク等）の負荷が軽減される。
【００２７】
本発明の情報収集システムの第七の構成は、上記第一乃至第六のいずれか１の構成において、データ処理装置は、ヘッダ情報取得手段で取得したヘッダ情報に基づいて、当該ページが当該サイト内のページであるか否かについて判定するサイト判定手段を有し、コンテンツ取得手段は、サイト判定手段で当該サイト内のページではないと判定された場合には、アクセスしたページのコンテンツを取得しないことを特徴とする。
【００２８】
上記第七の構成においては、データ処理手段で収集、処理する情報の無限連鎖により処理が終了しない事態が確実に防止され、当該サイトを構成する複数のページにおける各種データの収集、処理の迅速な終了が担保されるとともに、ハードウェア資源（ＣＰＵやネットワーク等）の負荷が軽減される。
【００２９】
本発明の情報収集システムの第八の構成は、上記第一乃至第七のいずれか１の構成において、コンテンツ取得手段は、ページのコンテンツを解析するための解析プログラムを複数種類具備し、リンク情報取得手段は、当該ページのコンテンツの種類を示すコンテンツ種類情報が含まれたリンク情報を取得し、起動管理手段は、データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力し、起動したデータ処理手段におけるページアクセス手段のアクセスしたページに関して、コンテンツ取得手段は、当該データ処理要求に含まれたコンテンツ種類情報に対応する解析プログラムを用いてコンテンツを解析することを特徴とする。
【００３０】
上記第八の構成においては、多様な種類のコンテンツを取得することが可能となる。
【００３１】
本発明の情報収集システムの第九の構成は、上記第一乃至第八のいずれか１の構成において、ページアクセス手段は、ページにアクセスするための通信規約についてのプログラムを複数種類具備し、リンク情報取得手段は、コンテンツ取得手段で取得したコンテンツから、当該リンクページへのアクセス方法についての情報が含まれたリンク情報を取得し、起動管理手段は、データ処理手段の起動にあたり、当該リンク情報を含めたデータ処理要求を出力し、起動したデータ処理手段のページアクセス手段は、当該データ処理要求に含まれたアクセス方法に対応するプログラムを用いて当該リンクページにアクセスすることを特徴とする。
【００３２】
上記第九の構成においては、アクセスするページに対して各種アクセス方法を用いてアクセスすることが出来るので、種々のサイトに対するアクセスが可能となる。
【００３３】
本発明の情報収集システムの第十の構成は、上記第一乃至第九のいずれか１の構成において、記憶装置には、特定サイト情報として、当該一のサイトについての情報を欲する他のシステムについての連携システム名が記憶され、データ処理装置は、データ処理手段で収集、処理する各情報に関し、他のシステムに提供するための提供データを生成する提供データ生成手段と、生成した提供データを前記連携システム名に基づく他のシステムに送信する提供データ送信手段と、を備えたことを特徴とする。
【００３４】
上記第十の構成においては、提供データ生成手段で生成された提供データが連携システム名に基づく他のシステムに送信されるので、当該他のシステムに対して種々の情報提供のサービスを行うことが可能となる。
【００３５】
本発明の情報収集システムの第十一の構成は、上記第十の構成において、提供データ生成手段は、サイトに対するデータ収集の開始の際、当該サイト内の一のページについてのデータ処理手段による処理終了の際、及び、当該サイトに対するデータ収集の終了の際、の各々の時点で、それぞれ同一のデータフォーマットによる提供データを生成することを特徴とする。
【００３６】
上記第十一の構成においては、提供データ生成手段で生成された提供データが上記各時点で同一のフォーマットで他のシステムに送信されるので、当該他のシステムでの提供データの受信及び解析処理を統一することが可能となり、当該他のシステムの開発効率を高めることが可能となる。
【００３７】
本発明の情報収集システムの第十二の構成は、上記第十又は第十一の構成において、提供データ送信手段は、コンテンツ取得手段で取得したコンテンツを、連携システム名に基づく他のシステムに送信することを特徴とする。
【００３８】
上記第十二の構成においては、コンテンツ取得手段で取得したコンテンツについて、記憶装置に記憶する処理を省くことが可能となり、記憶装置の記憶容量の節約及び負荷軽減が図られる。
【００３９】
本発明の情報収集方法の主たる構成は、一のサイト内の一のページにそれぞれアクセスして、当該サイトを構成する複数のコンテンツについての各種データを収集し、処理するための複数のデータ処理手段と、データ処理手段を管理する管理手段と、を備えたデータ処理装置と、データ処理装置が最初にアクセスするためのサイトを示す情報が含まれた特定サイト情報と、当該サイト内の各コンテンツについての情報と、を少なくとも記憶するための記憶装置と、を用いた情報収集方法であって、データ処理装置のデータ処理手段は、予め記憶装置に記憶された特定サイト情報に基づくページ、及び、該ページにリンクされたリンクページにアクセスするページアクセス処理と、アクセスしたページのヘッダ情報を取得するヘッダ情報取得処理と、アクセスしたページのコンテンツを取得するためのコンテンツ取得処理と、アクセスしたページにリンクされたリンクページの場所を示すリンク情報を取得するリンク情報取得処理と、取得した各情報に基づく所定の情報を記憶装置に登録する情報登録処理と、を実行し、データ処理装置の管理手段は、記憶装置に記憶された情報及びリンク情報取得処理で取得したリンク情報に基づいて、データ処理手段をｎ（ｎは１以上）個起動させる起動処理と、リンク情報取得処理で取得したリンク情報に基づいて、当該サイトに対するデータ収集を終了させる終了処理と、を実行することを特徴とする。
【００４０】
上記構成の情報収集方法においては、記憶装置に記憶された特定サイト情報に基づいて、起動処理によりデータ処理手段の起動が行われると、ページアクセス処理により一のページへのアクセスが行われ、続いてヘッダ情報取得処理による当該ページのヘッダ情報の取得、コンテンツ取得処理による当該ページのコンテンツの取得、リンク情報取得処理によるリンク情報の取得、が順次行われるとともに、取得した各情報に基づく所定の情報が情報登録処理により記憶装置に登録され、また、取得したリンク情報に基づいて、起動処理により１又は複数個のデータ処理手段の起動が行われることで、上述の各処理が同時並行的に、かつ繰り返し行われ、また、終了処理により当該サイトに対するデータ収集が終了させられる。
【００４１】
従って、本発明の情報収集方法によれば、予め設定されたサイト内の各種データを、各ページのリンク（或いは階層）関係に基づいて、高速に収集することが可能となる。
【００４２】
本発明の情報収集プログラムは、コンピュータを、一のサイト内の一のページにそれぞれアクセスして、当該サイトを構成する複数のコンテンツについての各種データを収集し、処理するための複数のデータ処理手段と、データ処理手段を管理する管理手段と、を備えたデータ処理装置と、データ処理装置が最初にアクセスするためのサイトを示す情報が含まれた特定サイト情報と、当該サイト内の各コンテンツについての情報と、を少なくとも記憶するための記憶装置と、して機能させるための情報収集プログラムであって、データ処理装置のデータ処理手段を、特定サイト情報に基づくページ、及び、該ページにリンクされたリンクページにアクセスするためのページアクセス手段、アクセスしたページのヘッダ情報を取得するヘッダ情報取得手段、アクセスしたページのコンテンツを取得するためのコンテンツ取得手段、アクセスしたページにリンクされたリンクページの場所を示すリンク情報を取得するリンク情報取得手段、取得した各情報に基づく所定の情報を記憶装置に登録する情報登録手段、として機能させるとともに、データ処理装置の管理手段を、記憶装置に記憶された情報及びリンク情報取得手段で取得したリンク情報に基づいて、データ処理手段をｎ（ｎは１以上）個起動させる起動管理手段、リンク情報取得手段で取得したリンク情報に基づいて、当該サイトに対するデータ収集を終了させる終了管理手段、として機能させるための情報収集プログラム、を要旨とする。
【００４３】
本発明の情報収集プログラムによれば、記憶装置に記憶された特定サイト情報に基づいて、起動管理手段によりデータ処理手段の起動が行われると、ページアクセス手段により一のページへのアクセス処理が行われ、続いてヘッダ情報取得手段による当該ページのヘッダ情報の取得処理、コンテンツ取得手段による当該ページのコンテンツの取得処理、リンク情報取得手段によるリンク情報の取得処理、が順次行われるとともに、取得した各情報に基づく所定の情報が情報登録手段により記憶装置に登録され、また、取得したリンク情報に基づいて、起動管理手段により１又は複数個のデータ処理手段の起動が行われることで、上述の各処理が同時並行的に、かつ繰り返し行われ、また、終了管理手段により当該サイトに対するデータ収集が終了させられるように、コンピュータが機能する。
【００４４】
従って、本発明の情報収集プログラムによれば、予め設定されたサイト内の各種データを、各ページのリンク（或いは階層）関係に基づいて高速に収集するように、コンピュータが機能する。
【００４５】
【発明の実施の形態】
本発明の実施の形態を、図面を参照しながら詳細に説明する。
【００４６】
図１及び図２に、本発明を適用した情報収集・提供システムの一実施形態の概略図を示す。本実施の形態では、１台のコンピュータ（例えばパーソナルコンピュータ）にソフトウェアプログラムをインストールすることにより、該コンピュータを情報収集・提供システムとして機能させた例について説明する。
【００４７】
（情報収集・提供システム全体の概略）
実施の形態の情報収集・提供システム１は、インターネット等の各種通信ネットワーク（以下、単にネットワークという）を介して参照できる、階層（リンク）関係を有する情報群（サイト）に対して、該階層（リンク）関係に基づいてアクセスして、コンテンツ自体を含む各種情報を収集する機能と、収集した各種情報を他のコンピュータシステムに提供する機能とを備えたシステムであって、図１に示すように、ネットワーク１００経由で参照できる各種データの収集及び提供を行うデータ処理装置１０と、システム自体を管理する情報とデータ処理装置１０が収集した情報とを記憶する記憶装置２０と、を備えている。
【００４８】
ここで、データ処理装置１０の収集対象となる情報（データ）は、ネットワーク１００で公開されうる全てのデータであり、ｗｅｂ上のページ、コンテンツ、ファイル、等の種々の概念のものが含まれる。なお、後述のように、ローカルコンピュータ内のデータを収集対象とすることも可能である。
【００４９】
また、データ処理装置１０の収集対象となる情報（データ）の種類としては、文書データ，動画データ，データベースなどから動的に作成されるデータ（例えば、商品販売やネット予約等に関するデータなど）、ディレクトリツリー型ファイルシステムに記憶されている個々のファイル、ドメイン参加型ネットワークに属しているネットワーク機器そのもの、などの、各種のデータが含まれる。
【００５０】
文書データの「文書」とは、ＨＴＭＬで記述された文書やＷＷＷ公開文書、Ｍａｃｒｏｍｅｄｉａ  （登録商標）  Ｆｌａｓｈなどを含む、ネットワーク１００で公開されうる文書全てを指す。同様に、動画データの「動画」についても、ＭＭＳ（Ｍｉｃｒｏｓｏｆｔ（登録商標）  Ｍｅｄｉａ  Ｓｅｒｖｅｒ）やＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）などで公開されたストリーム配信されているデータ全てを指し、これには音声データなども含まれることは勿論である。
【００５１】
同様に、「動的に作成される」データについても、ＣＧＩやＰｅｒｌなどのコンピュータ言語を用いて、アクセスされる都度ページを作成するデータを含む、ネットワーク１００で公開されうる動的データ全てを指す。
【００５２】
同様に、「ディレクトリツリー型ファイルシステムの個々のファイル」についても、Ｍｉｃｒｏｓｏｆｔ（登録商標）  社のＷｏｒｄ文書やＥｘｃｅｌ文書などを含む、ハードディスク装置等で記録されるファイル全てを指す。
【００５３】
同様に、「ドメイン参加型ネットワークに属しているネットワーク機器」についても、パーソナルコンピュータやサーバコンピュータなどを含む、ドメインに参加できるネットワーク機器全てを指す。
【００５４】
また、データ処理装置１０のアクセス対象となる「情報群（サイト）」とは、例えば、１企業のＷｅｂサイト全て，１部署のイントラサイト全て，１台のファイルサーバに格納されているファイル全て，など、種々の形態のものが含まれる。
【００５５】
また、情報群（サイト）につき「参照できる」とは、公開ファイル全てを複写（ダウンロード）できることは勿論、全ての複写は出来なくても、ファイル情報（後述のサイズや日時などのヘッダ情報）を取得出来れば良い。
【００５６】
さらに、情報群の「階層（リンク）関係」とは、サイト内での階層関係のみならず、他のサイトへのリンク関係も含み、ディレクトリ階層や、ＨＴＭＬのＵＲＬなど、あるデータが別のデータへ関係付けられているものを指す。
【００５７】
また、「ディレクトリツリー型ファイルシステム」としては、ＭＳ−ＤＯＳ（登録商標）  やＷｉｎｄｏｗｓ（登録商標）などＭｉｃｒｏｓｏｆｔ（登録商標）  社製のＯＳで利用されるＦＡＴや、ＮＴＦＳ，ＵＮＩＸ（登録商標）  で利用されているＵＦＳやＳＳＦＳなど、ディレクトリ（またはフォルダ）と呼ばれるものを持ち、階層構造を持つファイルシステム全てを指す。
【００５８】
また、「ドメイン参加型ネットワーク」としては、インターネットドメイン，Ｍｉｃｒｏｓｏｆｔ（登録商標）  社のワークグループやＡｃｔｉｖｅ  Ｄｉｒｅｃｔｏｒｙ，Ｎｏｖｅｌｌ（登録商標）  社のｅＤｉｒｅｃｔｏｒｙなど、ネットワーク１００に接続された複数の機器を、ある単位で管理し、その管理グループがサブグループを持つような、ネットワーク全てを指す。
【００５９】
また、「ヘッダ情報」とは、主にＨＴＴＰにおいて本文の送信に先立って送信される各種データを指すが、ＨＴＴＰ以外でのプロトコルでも同様であり、本文（データ内容そのもの）以外の、名前，種別，サイズ，更新日時などの情報全てを指す。
【００６０】
また、「コンテンツ」とは、主にＷｅｂサーバで公開されているテキストや画像などの文書の内容を指すが、Ｗｅｂサーバ以外のネットワーク１００で公開されている文書の内容や、ローカルコンピュータ内の文書自体、また対象をネットワーク機器にした場合などは、そのネットワーク機器そのものの情報（稼動情報など）を指す。
【００６１】
そして、この情報収集・提供システム１は、ローカルまたはネットワーク１００を介して接続される他のシステムによってアクセスされるとともに、記憶装置２０の参照情報記憶部２２とデータ情報記憶部２３に格納されたデータを、当該他のシステムに対して、後述するコンテンツボール３０の形態で供給するようになっている。
【００６２】
ここで、情報収集・提供システム１にアクセスしてくる他のシステムとしては、例えば、ネットワーク１００の利用者に検索情報を提供する各種サーチエンジンのシステム，Ｗｅｂページや共有フォルダに格納されたファイルなどの新着情報の取得を目的とするコンピュータシステム，Ｗｅｂページのリンク切れ情報の取得を目的とするコンピュータシステム，等が挙げられる（以下、これらの他のシステムを「連携システム」と呼ぶ）。
【００６３】
一般には、連携システムがサーチエンジンシステムの場合には、該連携システムは、ダウンロードしたコンテンツ（後述する一時ファイル）と、データ情報記憶部２３又は後述するコンテンツボール３０と、を参照して、何という言葉が入ったページがどのＵＲＬにあるか、についての情報を取得することになる。
【００６４】
また、連携システムが新着情報の取得を目的とするコンピュータシステムの場合には、該連携システムは、データ情報記憶部２３又は後述のコンテンツボール３０を参照して、ある日付以降に更新されたデータの存在箇所（例えばＵＲＬ）を取得することになる。
【００６５】
さらには、連携システムがＷｅｂページのリンク切れ情報の取得を目的とするコンピュータシステムの場合には、該連携システムは、参照情報記憶部２２又はコンテンツボール３０を参照して、何のＷｅｂページがどのＷｅｂページにリンクされて、何のＷｅｂページが存在しないか、等の情報を取得することになる。
【００６６】
なお、これら他の連携システムに対して情報収集・提供システム１が行うデータ提供の処理の詳細に関しては、図１０乃至図１２で後述する。
【００６７】
図１に示すように、データ処理装置１０は、システム管理部１１、サイト管理部１２、参照情報処理部１３、データ処理部１４、参照情報処理管理部１５、データ処理管理部１６、の６つの機能に大別され、本実施の形態では、これら各部１１〜１６につき１個のＣＰＵが共通のハードウェア資源を使って所謂マルチタスク方式で行うようになっている。
【００６８】
また、図示しないが、情報収集・提供システム１は、ネットワーク１００に接続してデータの送受信を行う送受信手段としてのモデム等、データ入力や各種の設定を行う手段としてのキーボードやマウス等、及び、表示手段としてのディスプレイ装置（ＣＲＴ或いはＬＣＤなど）を有している。
【００６９】
本実施の形態では１台のコンピュータを情報収集・提供システム１として機能させる場合について説明するが、本発明は、ハードウェア資源の配置等については特に限定されないものであり、例えばデータ処理装置１０と記憶装置２０とを別のコンピュータとする等、複数のコンピュータを用いて情報収集・提供システム１を構成することも可能である。
【００７０】
（データ処理装置１０の概略）
データ処理装置１０は、設定されたサイトについての情報を提供するサーバにアクセスし、ネットワーク１００に公開されている文書を収集してデータ情報記憶部２３に記憶する。
【００７１】
この情報収集・提供システム１では、システム管理者等の使用者がキーボード等での入力操作を行うことにより、データ処理装置１０でアクセスするサイト（特定サイト）を複数設定することが可能となっており、図２に示すように、複数の参照情報処理部１３と複数のデータ処理管理部１６と複数のデータ処理部１４とを並列処理することで、複数の特定サイトの情報収集を実施する。
【００７２】
また、データ処理装置１０は、一の特定サイトの情報を提供するサーバがドメイン毎に複数存在する場合に対しても、透過的に複数サーバにアクセスし、同一のサイト情報として記憶装置２０のデータ情報記憶部２３に情報を記憶するようになっており、この処理については後述する。
【００７３】
なお、「透過的にアクセスする」とは、使用者から見ると複数サーバのそれぞれがあたかも同じプロトコルで情報を提供しているかのようにアクセスすることを言う。
【００７４】
図１及び図２に示すように、データ処理装置１０は、情報収集・提供システム１全体を統括するシステム管理部１１と、複数の特定サイトに対する情報収集処理を管理するサイト管理部１２と、一の特定サイトの情報収集についての処理を行う参照情報処理部１３及びデータ処理管理部１６と、一の特定サイト内の一のページの情報収集についての処理を行うデータ処理部１４と、各参照情報処理部１３を管理する参照情報処理管理部１５と、を備えている。
【００７５】
このデータ処理装置１０では、図２に示すように、参照情報処理部１３とデータ処理管理部１６とデータ処理部１４とが、それぞれ複数個併存可能とされる。具体的には、参照情報処理部１３とデータ処理管理部１６とは、それぞれ、同時にアクセスする特定サイトの数だけ存在し、データ処理部１４は、同時にアクセスする特定サイト内のコンテンツの数だけ存在することになる。本実施の形態では、参照情報処理部１３とデータ処理管理部１６はそれぞれ最大で２５４個（すなわち２５４の特定サイトに同時アクセス可能）、データ処理部１４は最大で２５４×１０個が併存し、互いに並列して処理を行うようになされている。
【００７６】
これにより、データ処理装置１０では、最大で２５４の特定サイトに同時アクセス可能で、各特定サイト内で最大１０のページに同時アクセス可能となっている。
【００７７】
なお、参照情報処理部１３及びデータ処理管理部１６とデータ処理部１４における最大同時アクセス上限数は特に限定されるものではなく、ＣＰＵの処理速度、メインメモリの容量、ネットワーク１００の速度に応じて適宜設定することが可能であるが、一般にはそれぞれ１０程度までであり、また、例えばＣＰＵがインテル社のＰｅｎｔｉｕｍ（登録商標）３−  １．４ＧＨｚで、メインメモリ容量が２５６ＭＢで、回線速度が１Ｍｂｐｓの場合には、それぞれ、参照情報処理部１３の最大同時アクセス上限数（すなわち同時にアクセスする特定サイトの上限数）を５程度、データ処理部１４の最大同時アクセス上限数（すなわち一の特定サイト内で同時アクセスするページの上限数）を１０程度、に設定することが好ましい。
【００７８】
データ処理装置１０内の各部１１〜１６は、１個のＣＰＵによって実現可能であるが、それぞれ独立したソフトウェアプログラム（すなわち、システム管理プログラム，サイト管理プログラム，参照情報処理プログラム，データ処理プログラム，参照情報処理管理プログラム，データ処理管理プログラム）に基づいて動作するようになっている。
【００７９】
ここで、上述のように、参照情報処理部１３とデータ処理管理部１６とはそれぞれ同時にアクセスする特定サイトの数だけ存在するため、参照情報処理プログラムとデータ処理管理プログラムは、同時にアクセスする特定サイトの数（この実施形態では最大で２５４個）だけ存在する。
【００８０】
また、上述のように、データ処理部１４は同時にアクセスするページの数だけ存在するため、データ処理プログラムも、同時にアクセスするページの数（この実施の形態では最大で２５４×１０個）だけ存在する。
【００８１】
また、各部１１〜１６におけるこれら各プログラムは、それぞれが連携するプログラムへの通知（呼び覚まし）機能を持っている。すなわち、処理が必要ないプログラムや他の連携するプログラムの処理を待っているプログラムは、ＣＰＵを使わない待機状態となり、連携している他のプログラムからの通知により待機状態が解除されるようになっている。
【００８２】
（記憶装置２０の概略）
一方、記憶装置２０は、情報収集・提供システム１全体を管理するための管理情報を記憶するサイト情報記憶部２１と、特定サイト内のリンク関係情報を記憶する参照情報記憶部２２と、特定サイト内の情報を記憶するデータ情報記憶部２３と、を備えている。これら記憶装置２０の各記憶部２１〜２３は、十分なデータ記憶容量を有する例えば１台のハードディスク装置により実現可能である。
【００８３】
ここで、サイト情報記憶部２１は、図１に示すように、主としてサイト管理部１２が参照するための情報を格納するものであり、記憶される情報としては、主として、アクセスすべき特定サイトに関する種々の情報である特定サイト情報が含まれる。ここで、特定サイト情報としては、例えば図９にそのデータテーブルを示すように、特定サイトの場所（ＵＲＬなど）を示すサイト情報や、収集を開始する日時を示す収集開始情報や、特定サイトの情報を提供する（すなわち特定サイトの情報を欲している）連携システムについての連携システム名、特定サイトへの最大同時アクセス上限数、特定サイトにアクセスする際に用いられるアクセス方法についての情報、などが挙げられる。
【００８４】
図９に示すように、サイト情報記憶部２１では、アクセスすべき特定サイト毎に連番が付されるようになっており、各連番と、後述する参照情報記憶部２２及びデータ情報記憶部２３の「サイト」欄とが対応付けられる構成となっている。なお、図９ではサイト情報記憶部２１に２つの特定サイトについての特定サイト情報が登録された例を示しているが、実際には多数の特定サイトについての登録が可能である。
【００８５】
また、図示しないが、サイト情報記憶部２１には、上述した特定サイト情報以外にも、システム全体を管理するための管理情報が記憶される。この管理情報としては、例えば、後述する参照情報処理部１３の最大同時起動上限数（同時にアクセスする特定サイトの上限数）についての情報が含まれる。
【００８６】
これらの情報については、使用者による操作入力部の操作に基づいて、データ処理装置１０のシステム管理プログラムを起動させるとともに、不図示の表示部に図９のデータテーブルを表示させてサイト登録のための入力、設定等の各種操作を行なうことで、システム管理部１１によってサイト情報記憶部２１に記録されることになる。
【００８７】
ここで、入力する「サイト情報」としては、データ処理装置１０が最初にアクセスするためのサイト（場所）を示す情報であって、特定サイトがＷｅｂ上にある場合はＵＲＬ（通常はトップページのＵＲＬ）が用いられ、特定サイトと本システム１を同一のコンピュータ内に置いてデータを取得する場合には、ディレクトリ名（例えばｃ：￥ｄａｔａ￥００１．ｄｏｃや／ｄａｔａ／００１．ｔｘｔなど）が用いられ、特定サイトがディレクトリツリー型の共有ファイルシステムの場合には、ＩＰアドレスとディレクトリ名（例えば１９２．１６８．０．１／共有フォルダ／００１．ｔｘｔなど）が用いられ、特定サイトがドメイン参加型ネットワークの場合には、そのドメインを示す記述法が用いられることになる。以下は、説明の便宜のため、特定サイトがＷｅｂ上にあり、サイト情報としてトップページＵＲＬを用いた場合について説明する。
【００８８】
また、「連番」については、個々のサイト登録の際に自動的に付されるようになっている。
【００８９】
「連携システム名」は、一の特定サイトに対して１又は複数登録できるようになっている。ここで、一の特定サイトに対して複数の連携システム名を登録した場合には、情報収集・提供システム１のデータ処理装置１０で収集、取得した情報が、登録された各連携システムに対して提供されることになるが、詳細は図１０以下を参照して後述する。
【００９０】
「最大同時アクセス上限数」は、一の特定サイト内におけるデータ処理部１４の最大同時併存数を規定する数値が入力される。
【００９１】
「収集開始日時」は、特定サイトの更新の頻度、或いは連携システムの稼働できる時間帯、等の事情に応じて、例えば「毎月１日０時０分」、「毎週日曜日２３時３０分」、「毎日６時０分」など、任意に設定されることになる。
【００９２】
「アクセス方法」についての情報は、プロキシ情報、簡易認証（Ｂａｓｉｃ認証）、フォーム認証（ＣＧＩ認証）などの認証情報、等が入力されることになる。
【００９３】
ここで、「プロキシ」とは、内部ネットワーク（この場合は情報収集・提供システム１）から外部ネットワーク（この場合は特定サイト）に接続する際、セキュリティ確保と高速アクセスを実現するために設置されるサーバまたはソフトウェアのことを指す。
【００９４】
また、「簡易認証（Ｂａｓｉｃ認証）」とは、ユーザ名（ＩＤ）とパスワードにより特定のデータへのアクセスに対し制限を設ける方式で、主にＷｅｂ上のディレクトリやファイルに対してのアクセス制限に使われるが、ここでは、ユーザ名（ＩＤ）とパスワードでアクセス制限を設ける方式全てを指す。
【００９５】
さらに、「フォーム認証（ＣＧＩ認証）」とは、主にＨＴＴＰクライアント側リダイレクトを使用して、認証されていない要求をＨＴＭＬフォームにリダイレクトするシステムのことを指すが、ここでは、データのネットワーク１００上の場所（ＵＲＬなど）にパラメータを付けてアクセスすることで、アクセス制限がかかっているデータにアクセス可能になる方式全てを指す。
【００９６】
サイト情報記憶部２１に登録された上述の各種情報については、データ処理装置１０が特定サイトの情報収集を行う際に、データ処理装置１０の各部によって適宜参照されることになるが、その詳細については後述する。
【００９７】
参照情報記憶部２２は、図１に示すように、主として参照情報処理部１３が参照するための情報を格納するものであり、記憶される参照情報としては、例えば図９にそのデータテーブルを示すように、「サイト」の情報，「リンク情報」，「パラメータ」情報，「処理状態」情報、などが挙げられ、これらの情報については、情報収集処理の際にデータ処理部１４によって記録・更新される。
【００９８】
ここで、「サイト」の情報（数値）は、サイト情報記憶部２１の上述した特定サイト情報及び後述するデータ情報記憶部２３の「サイト」の情報に対応付けるためのものであり、図９では、参照情報記憶部２２の情報として、サイト情報記憶部２１の連番１（すなわち特定サイトの「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」）に対応付けられたもののみを抽出して示している。
【００９９】
また、「リンク情報」は、次に収集するコンテンツ（データ）やそのコンテンツ（データ）がどこに記述されているか、どういう風に記述されているか、などを示す情報であり、本実施の形態では、図９に示すように、リンク情報として、特定サイトの「リンク元」，「リンク先」，「行数」，「タグ名」、についての情報が含まれる。
【０１００】
ここで、リンク元とは、該リンク情報が記述されているページのネットワーク１００上の場所のことであり、該当するサイトのデータ情報記憶部２３の「連番」の数値が記憶される。
【０１０１】
リンク先とは、該リンク情報により、リンク元のページからリンクされているコンテンツ（データ）やページのネットワーク１００上の場所のことであり、該当するサイトのデータ情報記憶部２３の「連番」の数値が記憶される。
【０１０２】
行数とは、該リンク情報が、リンク元コンテンツ（データ）の何行目に記述されているかを示すものであり、行番号が数値で記憶される。
【０１０３】
タグ名とは、該リンク情報がどのようにリンクされているかを示すものであり、ＨＴＭＬの場合はＨＴＭＬタグ名（ＡタグのＨＲＥＦであったり、ＩＭＧタグのＳＲＣであったり、といった内容）が記憶される。
【０１０４】
さらに、「パラメータ」情報とは、データ処理装置１０が特定サイト内のページ（リンク情報のリンク先で示されるページのコンテンツ（データ））にアクセスする際に使用するパラメータであり、例えばＨＴＭＬの場合はネームアンカー（ＵＲＬ  ｆｌａｇｍｅｎｔ  ｉｄｅｎｔｉｆｉｒｅ）を記憶したり、ＣＧＩなどの動的プログラムの場合は、そのプログラムの引数を記憶したりする。
【０１０５】
また、「処理状態」情報は、データ処理装置１０が一の特定サイトについての情報収集処理を全て完了したか否かを示すもので、全て完了した場合には例えば「処理済」のフラグで、未だ全て完了していない場合には例えば「未処理」のフラグで示される。
【０１０６】
なお、図９に示すように、参照情報記憶部２２は、その記憶領域が、新参照情報の記憶領域と前参照情報のための領域とに分けられており、新参照情報の記憶領域がデータ処理装置１０によるデータ取得の処理中に処理結果を書き込むための領域で、前参照情報の記憶領域が前回のデータ取得の処理結果を保存しておくための領域となっている。
【０１０７】
データ情報記憶部２３は、主として、特定サイトの情報取得を行った結果について、データ処理部１４が書き込み及び比較するための情報を格納するものであり、記憶される情報としては、例えば図９にそのデータテーブルを示すように、「サイト」，「連番」，「ネットワーク上の場所」，「階層数」，「種別」，「サイズ」，「更新日時」，「収集状態」，についての情報などが挙げられる。
【０１０８】
ここで、「サイト」の情報は、サイト情報記憶部２１の特定サイト情報及び参照情報記憶部２２のサイトの情報に対応付けるためのものであり、同様に、図９では、参照情報記憶部２３の情報として、サイト情報記憶部２１の連番１（すなわち特定サイトの「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」）に対応付けられたもののみを抽出して示している。
【０１０９】
また、データ情報記憶部２３における「連番」の情報（数値）は、特定サイトに存在するページ（通常はトップページ）及び当該ページにリンクするリンクページの数に基づく連番を示すものであり、この例では、図９に示すように、参照情報記憶部２２のリンク元及びリンク先の情報と対応付けられている。そして、データ情報記憶部２３では、サイト情報記憶部２１に登録された特定サイトのページについての情報が「連番」１となり、特定ページからリンクされたリンク先のページに対して、順次、「連番」２，３，４・・・が付されて行くことになる。
【０１１０】
「ネットワーク上の場所」には、上述したサイト情報記憶部２１の「サイト情報」と等価な情報が記憶され、この実施形態では、特定サイト及び特定サイトに直接或いは間接的にリンクされたリンクページについての場所を示す情報が記憶される。図９に示す例では、特定サイトに存在するトップページ及び当該トップページにリンクするページのネットワーク１００上の場所（ＵＲＬ等）を示している。
【０１１１】
ここで、「特定サイトに直接或いは間接的にリンク」とは、サイト情報記憶部２１に登録された特定サイト（トップページ等）に直接リンクされた（直接のリンク先となる）リンクページのみならず、特定サイトには直接リンクされていないが、特定サイトへのアクセスに基づいて最終的にはアクセスすることが出来る各種リンクページを含む意である。但し、この情報収集・提供システム１では、アクセスするサイトの無限連鎖により情報収集処理が終了しない事態を防止するため、アクセス対象とするリンクページを所定の範囲で制限しているが、このための構成については図７等を参照して後述する。
【０１１２】
「階層数」、「種別」、「サイズ」、「更新日時」には、それぞれ、データ処理装置１０で収集したデータ（巡回した各ページ）についての、階層数、種別、更新日時を示す情報が記憶される。
【０１１３】
ここで、階層数の情報は、当該ページが、収集開始データ（図９ではトップページ「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」）から数えて何番目に関連付けられたものかを示すものである。
【０１１４】
「収集状態」の情報は、データ処理装置１０が当該一の特定サイトに存在するページについての情報収集処理を全て完了したか否かを示すもので、全て完了した場合には例えば「ＯＫ」のフラグで、未だ全て完了していない場合には例えば「未」のフラグで示される。この実施の形態では、一のサイトに関する各ページについての収集状態が全て「ＯＫ」になると、上述した参照情報記憶部２２の当該サイトに関する処理状態情報が「未処理」から「処理済」に変わることになる。
【０１１５】
データ情報記憶部２３のこれら各情報については、情報収集処理の際に、データ処理部１４によって記録・更新される。
【０１１６】
なお、図９に示すように、データ情報記憶部２３は、その記憶領域が、新データ情報の記憶領域と前データ情報の記憶領域とに分けられており、新データ情報の記憶領域がデータ処理装置１０によるデータ取得の処理中に処理結果を書き込むための領域で、前データ情報の記憶領域が前回のデータ取得の処理結果を保存しておくための領域となっている。
【０１１７】
また、本実施の形態では、各ページにおけるデータの本文すなわちコンテンツ自体については、記憶装置２０に記憶せずに、他の連携システムに一時ファイルとして提供するようになっているが、この処理については後述する。
【０１１８】
（データ処理装置１０における各部の機能の概要）
次に、データ処理装置１０の各部１１〜１６の有する機能について説明する。
【０１１９】
システム管理部１１は、情報収集・提供システム１全体を管理するためのシステム管理プログラムに基づいて動作することで、以下のような機能を発揮する。すなわち、システム管理部１１は、主電源投入時の起動処理、使用者の入力操作に基づいて行われる、サイト情報記憶部２１の各情報（アクセスする特定サイトの、サイト情報（ＵＲＬなど），収集開始日時，連携システム名，最大同時アクセス上限数，特定サイトへのアクセス方法、参照情報処理部１３の最大同時起動上限数、など）の設定処理、使用者の入力操作に基づく起動・終了処理、特定サイトへの情報収集の開始・停止、等について管理する機能を担っている。
【０１２０】
なお、システム管理部１１は、主として使用者の入力操作に基づいて動作するものであり、一旦起動してしまえば、使用者が入力操作を行うまでは待機状態となる。また、使用者の入力操作に当たっては、システム管理部１１は、不図示の表示部の表示画面に入力項目等を表示する処理や、入力された情報に基づいて、サイト情報記憶部２１内のデータについての、追加、変更、削除、等の処理を行う。
【０１２１】
サイト管理部１２は、収集する複数のサイトを管理するためのサイト管理プログラムに基づいて、サイト情報記憶部２１から特定サイトのサイト情報（ＵＲＬなど）を参照する処理、情報収集開始の際に現在日時とサイト情報記憶部２１の収集開始日時とを比較して、収集開始日時が到来すると、参照情報処理管理部１５を介して参照情報処理部１３を起動し、情報収集を開始する特定サイトのサイト情報（ＵＲＬなど）を各参照情報処理部１３に通知する処理を行う。
【０１２２】
なお、サイト情報記憶部２１に登録された特定サイトの内の複数が同じ収集開始日時に設定された場合には、サイト管理部１２は、該収集開始日時が到来すると、複数の参照情報処理部１３を起動する処理を行うことになる。
【０１２３】
参照情報処理部１３は、収集する一の特定サイトに関する全データを管理するための参照情報処理プログラムに基づいて動作することで、以下のような機能を発揮する。すなわち、参照情報処理部１３は、一の特定サイトに関する参照情報記憶部２２とデータ情報記憶部２３内のデータを初期化する初期化機能や各データを整合させる整合機能、参照情報記憶部２２から次に収集するデータについてのリンク情報を抽出してデータ処理管理部１６にデータ処理要求として通知する機能、一の特定サイト内の全データを収集したかどうかを判断する機能を担っている。
【０１２４】
データ処理部１４は、収集対象となる一のページ内の各種データ（ヘッダ情報やコンテンツ、など）の取得・解析等を実施するためのデータ処理プログラムに基づいて動作することで、当該一のページ内のデータを取得・解析する機能、及び、当該一のページ内のデータについての各種情報を記憶装置２０の参照情報記憶部２２とデータ情報記憶部２３に登録する機能を担っている。
【０１２５】
なお、本実施の形態では、データ処理部１４における特定サイト内のデータの取得機能については、アクセス対象をＷｅｂページとしているため、一のデータ処理部１４が一のＷｅｂページだけを取得対象としており、例えば１０個のＷｅｂページのデータを取得するには１０個のデータ処理部１４が動作することになる。これに対して、アクセス対象をファイルとする場合にも、同様に、一のデータ処理部１４が一のファイルだけを取得対象とすることになる。
【０１２６】
データ処理部１４は、このように一の特定サイトに対して複数（ｎ個）併存するが、個々のデータ処理部１４（１４ａ，１４ｂ，・・・１４ｎ）には、図４に示すように、それぞれ、複数種類のプロトコル（通信手順）と、複数のデータ形式解析プログラムが実装されており、これにより種々のデータに対する取得及び解析が可能となっている。
【０１２７】
すなわち、データ処理部１４の各機能に関しては、図４に示すように、データ取得部１４１とデータ解析部１４２とデータ登録部１４３とに大別されることになるが、これらの詳細については後述する。
【０１２８】
参照情報処理管理部１５は、複数の参照情報処理部１３を管理するための参照情報処理管理プログラムに基づいて動作することで、以下のような機能を発揮する。すなわち、参照情報処理管理部１５は、サイト管理部１２からのサイト処理要求を受信する機能、受信したサイト処理要求に基づいて１又は複数の参照情報処理部１３を起動する機能、参照情報処理部１３の起動後に、各特定サイトについて情報収集中か否かを判断する機能、を担っている（図２参照）。
【０１２９】
データ処理管理部１６は、複数のデータ処理部１４を管理するためのデータ処理管理プログラムに基づいて動作することで、以下のような機能を発揮する。すなわち、データ処理管理部１６は、参照情報処理部１３からのデータ処理要求を受信する機能、及び、受信したデータ処理要求に基づいて、記憶装置２０のサイト情報記憶部２１に登録した最大同時アクセス上限数（図９参照）内で、データ処理部１４を起動する機能を担っている。
【０１３０】
次に、主に図３を参照して、データ処理管理部１６と複数のデータ処理部１４（１４ａ，１４ｂ）とにおける通知（呼び覚まし）機能に関するデータ処理装置１０の動作について説明する。ここで、図３には、データ処理管理部１６と各データ処理部１４との関係を、従来のシステムと対比して示している。
【０１３１】
なお、以下は、サイト情報記憶部２１の最大同時アクセス上限数を「２」に設定した特定サイトにアクセスする場合、すなわち、ある特定サイトに対してアクセスできるデータ処理部１４の最大値が「２」に設定された場合を想定して説明する。
【０１３２】
まず、データ処理管理部１６は、設定された最大値２に従って、２つのデータ処理部（図３に示すデータ処理部１４ａとデータ処理部１４ｂ）を起動するように起動命令を出力するとともに、起動した各データ処理部１４ａ，１４ｂに対して、それぞれ未収集の異なるページのデータ（コンテンツ、ファイル等）にアクセスするように、データ処理要求を送信する。
【０１３３】
詳細には、情報収集・提供システム１においては、まず、サイト情報記憶部２１のサイト情報のトップページＵＲＬ（例えば図９の「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」）にアクセスするように起動命令及びデータ処理要求が出されてデータ処理部１４ａが起動し、起動したデータ処理部１４ａが当該トップページに設定されたリンク先ページの情報（例えば「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００２．ｈｔｍｌ」）を取得すると、続いてこのリンク先ページのＵＲＬにアクセスするように起動命令及びデータ処理要求が出されることで、データ処理部１４ｂが起動する。ここで、データ処理部１４ｂもこのリンク先ページに設定されたさらなるリンク先ページの情報（例えば「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００３．ｈｔｍｌ」）を取得するが、特定サイトに対してアクセスできるデータ処理部１４の最大値が「２」に設定されているので、次のデータ処理部１４ｃが起動するのは、データ処理部１４ａ又は１４ｂによるデータ取得の処理が終了していずれかのデータ処理部が閉じた後になる。
【０１３４】
なお、データ処理装置１０においては、起動した各データ処理部１４ａ，１４ｂが各ページのデータにアクセスするに先立って、参照情報処理部１３が、それぞれのデータ処理部１４ａ，１４ｂが担当するデータについての処理状態を、予め「処理済」にするように、参照情報記憶部２２内の処理状態情報を更新し、かつ、データ処理管理部１６から各データ処理部１４ａ，１４ｂに対して、アクセスするページについての、ネットワーク上の場所（ＵＲＬ等）、アクセス方法、等について個別に通知される。
【０１３５】
ここで、参照情報記憶部２２内の処理状態情報を予め「処理済」の状態にするのは、データ処理部１４が処理中のときに、再び参照情報処理部１３が同じページに対してデータ処理要求を行なわないようにするためである。換言すると、参照情報記憶部２２内のこの処理状態情報は、参照情報処理部１３がデータ処理部１４にデータ処理要求を行なったか否か（要求済みか否か）を示すフラグとして機能していることになる。
【０１３６】
これにより、データ処理装置１０においては、起動した各データ処理部１４ａ，１４ｂが、それぞれが同一サイト内の異なるページのデータにアクセスして（図２参照）、情報収集する処理を直ちに開始するが、一方で、データ処理管理部１６は、各データ処理部１４ａ，１４ｂの情報収集処理開始を確認すると、待機状態となる。この際に、データ収集装置１０では、データ処理管理部１６の待機分だけＣＰＵのハードウェア資源が有効利用できるので、各データ処理部１４ａ，１４ｂの処理速度を可及的に速くすることが可能となり、ネットワーク１００に公開された情報を高速に収集することが可能となる。
【０１３７】
続いて、各データ処理部１４ａ，１４ｂは、それぞれ、アクセスしたページについて、コンテンツ自体以外の各種情報（例えば、コンテンツのサイズ、コンテンツの更新日時、など）を記憶装置２０のデータ情報記憶部２３に格納し、参照情報（どのページがどのページやコンテンツにリンクしているかというリンク情報、ページにアクセスするためのパラメータ、など）を記憶装置２０の参照情報記憶部２２に格納する処理を行なう。なお、各データ処理部１４ａ，１４ｂは、コンテンツ自体については、他の連携システム（例えばサーチエンジンのシステム）に一時ファイルの形で提供し、記憶装置２０には記憶しない。また、ここで、他の連携システムが一時ファイルを無視した場合には、提供した一時ファイルが自動的に削除されることになる。このような処理を行うことにより、記憶装置２０に記憶するデータの肥大化が防止され、記憶装置２０の記憶容量の節約が図られる。
【０１３８】
そして、各データ処理部１４ａ，１４ｂは、アクセスしたページについての後述する各種処理が完了すると、データ処理管理部１６に処理完了通知を送信する。
【０１３９】
図３の例では、データ処理部１４ａのアクセスしたページのコンテンツの方が情報量が少なかったため、先にデータ処理部１４ａが情報収集の処理を終え、データ処理管理部１６に処理完了通知を送信した場合を示している。
【０１４０】
ここで、データ処理管理部１６は、処理完了通知を受信すると、図３に示すように、待機状態を解除して、さらに同一サイト内の未処理のページの情報収集を行うためのデータ処理部１４ｃを起動するように、データ処理部１４に対して起動命令及びデータ処理要求を出力する。
【０１４１】
これにより、図３に示すように、データ処理部１４では、データ処理部３が起動して、処理中のデータ処理部２と新たに起動したデータ処理部３とで相互に同一サイトの異なるページについての各種情報を収集する処理が並列して行われ、一方で、データ処理管理部１６は、各データ処理部１４ｂ，１４ｃの並列処理が行われるのを確認すると、再び待機状態となる。
【０１４２】
そして、この情報収集・提供システム１では、以下同様にして、いずれかのデータ処理部が処理を終えると、該データ処理部からデータ処理管理部１６に処理完了通知が伝達され、データ処理管理部１６からの命令に基づいて新たなデータ処理部が起動して他の未処理ページの情報を収集する処理が行われ、このような動作が繰り返されることで、データ処理部が１つしか存在しない状態を可及的に短くすることが可能となり、かつ、システム全体の処理能力を大幅に向上させることが可能となる。
【０１４３】
すなわち、従来のロボット型サーチエンジンのシステムでは、図３左側の従来システムの動作に示すように、サイトの情報を収集する各ロボット１，２，３・・・（各データ処理部１４ａ，１４ｂ，１４ｃ，・・・に相当）の動作状態を、ロボット管理部（データ処理管理部１６に相当）が定期的に検出し、判定する構成としていたため、検出時の直後にロボットの処理が終了した場合には次の検出時までに無駄な時間が生じ、また検出後の判定処理を行う必要から新たなロボットの起動に時間がかかり、一方で、検出の期間（周期）を短くするとシステム全体として処理が重くなる問題があった。
【０１４４】
これに対して、実施の形態の情報収集・提供システム１では、各データ処理部１４（１４ａ，１４ｂ，１４ｃ，・・）の動作状態をデータ処理管理部１６が検出、判定する処理に代わって、処理を終えたデータ処理部１４がデータ処理管理部１６に対して、いわば自主的に処理完了を通知する信号を送信し、この信号を受信したデータ処理管理部１６が直ちに次の新たなデータ処理部を起動するための命令を発するように、データ処理プログラムとデータ処理管理プログラムが構成されているので、各データ処理部１４（１４ａ，１４ｂ，１４ｃ，・・）が処理中（情報収集中）の間は、データ処理管理部１６の行うべき処理は処理完了通知の受信を待つことのみとなり、ＣＰＵの能力を他の必要なプログラムに全て回すことが可能となり、従来の定期的に休眠・活動するシステムと比較して、処理能力を大幅に向上させることができ、ネットワーク１００に公開された情報をより高速に収集することが可能となる。
【０１４５】
この情報収集・提供システム１では、階層（リンク）関係を持つが、ＨＴＭＬやＭａｃｒｏｍｅｄｉａ（登録商標）    Ｆｌａｓｈ、ディレクトリツリー型ファイルシステムなどの、相互に異なる形式のコンテンツが混在した情報群（特定サイトの各ページ）に対して、同一のファイルシステムとなるようにデータを収集するようになっている。以下、このデータ収集のための処理について、図４を参照して説明する。
【０１４６】
図４に示すように、データ処理部１４は、複数の異なるプロトコルによるサーバへのアクセスを透過的に行うためのデータ取得部１４１（１４１ａ，１４１ｂ，１４１ｃ，・・・，１４１ｎ）と、複数の異なる形式のデータ内容を透過的に解析する、すなわち使用者から見ると同じ形式のデータとして見えるように解析するためのデータ解析部１４２（１４２ａ，１４２ｂ，１４２ｃ，・・・，１４２ｎ）と、各データ解析部１４２と接続され、統一されたデータ形式で記憶装置２０にデータを登録するデータ登録部１４３と、を備える。
【０１４７】
データ取得部１４１は、ＨＴＴＰやＭＭＳ（Ｍｉｃｒｏｓｏｆｔ  （登録商標）  Ｍｅｄｉａ  Ｓｅｒｖｅｒ）、ＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）、ＳＭＢ（Ｓｅｒｖｅｒ  Ｍｅｓｓａｇｅ  Ｂｌｏｃｋ）、ＷｅｂＤＡＶ（Ｗｅｂ−ｂａｓｅｄ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ａｕｔｈｏｒｉｎｇ  ａｎｄ  Ｖｅｒｓｉｏｎｉｎｇ）など、相互に異なるアクセス方法（プロトコル）を要する各種サイトへのアクセスを可能とするために、これら各種のアクセス方法（プロトコル、通信規約）についてのプログラムを実装しており、図４に示すように、例えばデータ取得部１４１ａがＨＴＴＰを使用するアクセスプログラム、データ取得部１４１ｂがＭＭＳを使用するアクセスプログラム、データ取得部１４１ｃがＲＴＳＰを使用するアクセスプログラム、・・・のように割り当てられている。
【０１４８】
そして、データ処理管理部１６からデータ取得部１４１にコンテンツ取得命令が送られると、データ取得部１４１は、コンテンツ情報から合致したプロトコルを選択し、そのプロトコルを用いてサイトにアクセスし、命令されたコンテンツを取得し、後述するコンテンツボール３０（の大部分）を作成し、データ解析部１４２による解析のために、取得したデータを一時ファイルとして保存する。
【０１４９】
なお、一時ファイルの保存は、この実施の形態では記憶装置２０の記憶容量の節約を図るため、不図示の連携システムのハードディスク内に行っているが、例えば記憶装置２０の記憶容量に余裕があるような場合には、データ情報記憶部２３等に一時ファイル記憶領域を設けて記憶装置２０内に行うようにしても良い。
【０１５０】
データ解析部１４２は、ＨＴＭＬやＭａｃｒｏｍｅｄｉａ（登録商標）    Ｆｌａｓｈ、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ａｄｏｂｅ（登録商標）社    （ｈｔｔｐ：／／ｗｗｗ．ａｄｏｂｅ．ｃｏｍ／）ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）、Ｗｉｎｄｏｗｓ  Ｍｅｄｉａ（登録商標）  、Ｍｉｃｒｏｓｏｆｔ（登録商標）    ＷｏｒｄやＥｘｃｅｌなど、異なる形式のコンテンツを解析するための各種プログラムを実装しており、図４に示すように、例えばデータ解析部１４２ａがＨＴＭＬの解析プログラム、データ解析部１４２ｂがＭａｃｒｏｍｅｄｉａ（登録商標）  Ｆｌａｓｈの解析プログラム、データ解析部１４２ｃがＳＭＩＬの解析プログラム、データ解析部１４２ｄがＰＤＦの解析プログラム、・・・のように割り当てられている。
【０１５１】
そして、データ解析部１４２は、データ取得部１４１で取得された一時ファイルから合致したコンテンツ解析プログラム（１４２ａ，１４２ｂ，１４２ｃ，・・・，１４２ｎ）を選択し、その解析プログラムを起動してコンテンツ及びコンテンツ内のリンク情報を取得して、取得したコンテンツを統一されたデータ形式（後述するコンテンツボール３０の不足箇所の補充と、参照情報記憶部２２に相当するリンク情報）になるように変換する処理を行ない、解析・変換したデータ（コンテンツボール３０とリンク情報）をデータ登録部１４３に転送する。これらの処理は、ＣＰＵ内の作業領域である不図示のＲＡＭ内で行うことになる。一方、データ解析部１４２は、取得したコンテンツ自体については、連携システムの不図示のハードディスク内に一時ファイルとして保存する。
【０１５２】
データ登録部１４３は、データ解析部１４２から解析・変換済みのコンテンツボール３０とリンク情報を受信すると、該コンテンツボール３０からサイト情報とページ情報の内容を記憶装置２０のデータ情報記憶部２３に格納し、該リンク情報を記憶装置２０の参照情報記憶部２２に格納する処理を行なう。
【０１５３】
データ処理部１４においては、このようにデータ取得部１４１とデータ解析部１４２とデータ登録部１４３とが、それぞれ定められたインタフェースを持っているので、例えばＨＴＴＰのサイト中にＰＤＦによるコンテンツデータが参照可能に設けられている場合といった、種類の異なる組み合わせであっても（この場合はデータ取得部１４１ａとデータ解析部１４２ｄとを使用することで）、情報収集の処理が可能となる。
【０１５４】
また、本実施の形態によれば、データ取得に使用するプロトコルやデータ形式が増えた場合であっても、それぞれのデータ取得部１４１とデータ解析部１４２を追加すれば良いので、これにより他のプログラムを変更することなくシステムが対応できる。
【０１５５】
次に、本実施の形態の情報収集・提供システム１全体の動作について、図５乃至図８を参照して詳細に説明する。
【０１５６】
なお、図５は、特定サイトに対する情報収集を行う場合の情報収集・提供システム１の動作の全体概要を示すフローチャートであり、主に情報収集を開始するまでの動作を説明するためのものである。また、図６は、情報収集・提供システム１における一の特定サイトに対する情報取得の実行動作の概要を説明するためのフローチャートであり、図５のステップＳ７から派生したルーチンの動作を示している。さらに、図７は、一の特定サイト内の一のページに対する情報取得の実行動作の詳細を説明するためのフローチャートであり、図６のステップＳ７５から派生したルーチンの動作を示している。また、図８は、一の特定サイトに対する情報取得の実行動作の一例を、情報収集・提供システム１の記憶装置２０に記憶される情報との関係で説明するための図である。
【０１５７】
情報収集・提供システム１では、サイト管理部１２と参照情報処理管理部１５とにより、一又は複数の特定サイトに対する情報取得が開始されることになり、以下、この処理について図５のフローチャートを参照して説明する。
【０１５８】
特定サイトの情報取得の実行に際して、情報収集・提供システム１では、まず、データ処理装置１０のサイト管理部１２が、ＣＰＵの内部クロックに基づいて現在時刻を取得し（ステップＳ１）、さらにサイト情報記憶部２１の「サイト情報」と「収集開始日時」（図９参照）に登録されている、各特定サイトのＵＲＬ等と情報収集開始時刻とを取得する（ステップＳ２）。
【０１５９】
続いて、サイト管理部１２は、現在時刻と情報収集開始時刻が一致するものが有るか否かを判定し（ステップＳ３）、Ｎｏすなわち一致するものがないとの判定の場合には一定時間待機（ステップＳ５）した後にステップＳ１に戻り、Ｙｅｓすなわちいずれかの特定サイトのうち、一致するものがあるとの判定の場合には、当該サイトについての情報収集を開始するため、参照情報処理管理部１５に、当該特定サイトのサイト情報（ＵＲＬ等）を含めたサイト処理要求を通知する（ステップＳ４）。
【０１６０】
これにより、データ処理装置１０では、参照情報処理管理部１５が呼び覚まされるとともに、サイト管理部１２が待機状態（ステップＳ５）になる。
【０１６１】
サイト処理要求を受信した参照情報処理管理部１５は、サイト管理部１２が取得したＵＲＬの特定サイト（すなわち情報収集を開始しようとしているサイト）について、既に巡回中か否か、すなわち当該特定サイトについての処理を担当している参照情報処理部１３が既に存在するか否か、についてチェックし（ステップＳ６）、Ｎｏすなわち存在していないとの判定の場合にはステップＳ７に移行し、一方、Ｙｅｓすなわち既に存在しているとの判定の場合には、該サイトに再度情報収集しに行く必要なしとして、サイト処理要求を破棄して、一定時間待機（ステップＳ５）した後にステップＳ１に戻り、再びサイト管理部１２からサイト処理要求を受信するまで待機する。
【０１６２】
ステップＳ７で、参照情報処理管理部１５は、参照情報処理部１３に起動命令を出力して一の参照情報処理部１３を起動して、起動した参照情報処理部１３にサイトのＵＲＬを通知することで、情報収集及び連携システムへの情報提供を開始させるととともに、特定サイトについて処理中であることをＣＰＵのＲＡＭ内に記憶する。
【０１６３】
なお、ステップＳ３の判定で現在時刻と情報収集開始時刻が一致する特定サイトが複数あり、かつ、ステップＳ６でいずれの特定サイトも巡回中でない、と判定された後のステップＳ７では、複数の参照情報処理部を起動するように参照情報処理管理部１５から起動命令が出力され、該特定サイトの数に応じた複数の参照情報処理部１３が起動することになる。
【０１６４】
また、ステップＳ７の情報収集及び連携システムへの情報提供の処理については、主に、記憶装置２０のサイト情報記憶部２１の情報に基づいて、参照情報処理部１３とデータ処理管理部１６とデータ処理部１４とで行い、各処理にあたっては記憶装置２０の参照情報記憶部２２やデータ情報記憶部２３に各種データを記録、更新等することになるが、この概要及び詳細については、図６以下を参照して後述する。
【０１６５】
ステップＳ７における情報収集及び連携システムへの情報提供の処理を終了する際には、参照情報処理部１３がサイト処理参照情報処理管理部１５に対して通知を行うようになっている（後述する図６のステップＳ８１）。本実施の形態では、このように、参照情報処理部１３の起動と終了（すなわち情報収集等の開始と終了）の際には参照情報処理管理部１５と参照情報処理部１３との間で通知を行うようにしているので、参照情報処理管理部１５は、常に、どのサイトが現在処理中であるかについて示すデータをＣＰＵのＲＡＭ内に記憶して、参照情報処理部１３を管理することが可能となる。
【０１６６】
そして、ステップＳ７の情報収集の処理が終了すると、サイト管理部１２及び参照情報処理管理部１５は、使用者の操作入力に基づきシステム管理部１１から通知される、システム全体の終了指示があるか否かについて判定し（ステップＳ８）、Ｎｏすなわち終了指示がない場合には一定時間待機（ステップＳ５）した後にステップＳ１に戻り、Ｙｅｓすなわち終了指示がある場合には情報収集・提供システム１全体の処理を終了する。
【０１６７】
なお、ステップＳ５における一定時間の待機は、常に動作してＣＰＵに負担をかけることを防ぐためのものであり、通常は１分間の待機を行なうようになっている。
【０１６８】
このように、実施の形態の情報収集・提供システム１によれば、データ処理装置１０は、記憶装置２０のサイト情報記憶部２１に予め設定、記憶した情報収集開始時刻に基づいて管理され、指定された時刻が到来すれば（ステップＳ３でＹｅｓ）、指定されたネットワーク上のサイトにアクセスして情報収集及び連携システムへの情報提供の処理を行う構成となっており、従来のロボット型エンジンのシステムのように常に巡回し続けるのではなく、特定サイトへの巡回が定期的に行われ、収集した情報が記憶装置２０に登録されることになるので、ＣＰＵとネットワーク１００の使用量を抑えることができるようになり、ＣＰＵやネットワーク１００の負荷が低減する、という効果が得られる。
【０１６９】
また、この情報収集・提供システム１によれば、サイト管理部１２は、定期的に記憶装置２０から情報収集開始時刻を取得して（ステップＳ５，ステップＳ２）、現在時刻との比較を行い（ステップＳ３）、一致した場合には、参照情報処理管理部１５に、対象となる特定サイトのサイト情報（ＵＲＬ等）を含むサイト処理要求を通知する（ステップＳ４）構成となっているので、常に動作する従来のサーチエンジンのシステムと比較して、ＣＰＵとネットワーク１００の負荷が低減され、かつ、自動的に情報収集するため管理の手間が軽減する、という効果が得られる。
【０１７０】
（情報収集処理の概要）
次に、図６のフローチャートを参照して、図５のステップＳ７から派生したルーチン、すなわち、参照情報処理部１３の起動後に行われる情報収集の実行処理の概要について説明する。
【０１７１】
この情報収集・提供システム１においては、データ処理装置１０の参照情報処理部１３と、データ処理管理部１６と、データ処理部１４とで、特定サイト内のデータ（ページ）についての多数の情報を取得する処理を行うようになっており、以下は図６を参照して説明する。
【０１７２】
まず、ステップＳ７１において、データ処理装置１０は、上述の参照情報処理管理部１５からの起動命令に基づいて起動した参照情報処理部１３が、参照情報処理管理部１５から転送された特定サイトのＵＲＬ等（すなわちサイト情報記憶部２１のサイト情報）を取得する。なお、ステップＳ７１では、データ処理装置１０は、参照情報処理部１３が当該特定サイトの処理を開始する旨についてのコンテンツボールを作成して連携システムに送信する処理を行った後にステップＳ７２に移行することになるが、この処理については図１１及び図１２で後述する。
【０１７３】
次のステップＳ７２で、データ処理装置１０では、参照情報処理部１３がデータ処理管理部１６に対してデータ処理要求を送信することで、一のデータ処理管理部１６が起動する（図２参照）。このデータ処理要求には、特定サイトのＵＲＬ等（サイト情報記憶部２１のサイト情報）及び当該特定サイトについての処理を開始すべき命令が含まれる。
【０１７４】
次のステップＳ７３で、データ処理装置１０は、前ステップで取得したサイト情報（ＵＲＬ等）に基づいて、データ処理管理部１６が、サイト情報記憶部２１から該特定サイトにおける最大同時アクセス上限数を取得する。すなわち、データ処理部１４の起動にあたり、実際にデータ処理部１４を起動するのは参照情報処理部１３ではなくデータ処理管理部１６であるため、ステップＳ７２の処理主体はデータ処理管理部１６となる。
【０１７５】
ここで、データ処理部１４が大量に起動するとＣＰＵや他のサーバ等に負荷をかけることになるため、データ処理管理部１６は、このような負荷を回避するために、特定サイトの処理にあたり、最大同時アクセス上限数に基づいて、起動するデータ処理部１４の数を以下のように管理する。
【０１７６】
次のステップＳ７４で、データ処理装置１０は、データ処理管理部１６が、当該特定サイトに現在アクセスしているデータ処理部１４の数をチェックして、アクセスしているデータ処理部１４が該特定サイトにおける最大同時アクセス上限数（図９参照）に達しているか否かについて判定し、Ｎｏすなわち達していないとの判定の場合にはステップＳ７５の処理を経てステップＳ７６に移行し、Ｙｅｓすなわち達しているとの判定の場合にはステップＳ７６に移行する。通常、特定サイトへのデータ処理部１４の最初の起動時には、このステップＳ７４でＮｏの判定が出ることになる。
【０１７７】
ステップＳ７５で、データ処理装置１０は、データ処理管理部１６によってデータ処理部１４を起動させて、データ処理部１４で特定サイトのデータを取得する処理を開始して、ステップＳ７６に移行する。具体的には、ステップＳ７５では、データ処理管理部１６からデータ処理部１４に対して、データ処理部を起動するように起動命令が出力されるとともに、参照情報処理部１３から出されたデータ処理要求が、データ処理管理部１６から、起動した一又は複数のデータ処理部１４に対して引き渡される。
【０１７８】
より詳細には、特定サイトの処理開始時の最初のステップＳ７５では、一のデータ処理部を起動するように起動命令が出力されるとともに、データ処理部１４に引き渡されるデータ処理要求には、記憶装置２０におけるサイト情報記憶部２１のサイト情報（この例ではトップページＵＲＬ）が含まれる。
【０１７９】
一方、特定サイトの処理の進行後の２度目以降のステップＳ７５では、当該特定サイトにおけるリンクの数及び最大同時アクセス上限数に応じて、一又は複数のデータ処理部を起動するように起動命令が出力されるとともに、データ処理部１４に引き渡されるデータ処理要求（後述するステップＳ８０）には、記憶装置２０におけるデータ情報記憶部２３の新データ情報記憶領域内に記憶した「ネットワーク上の場所」の情報（図９参照）が含まれる。
【０１８０】
このようなステップＳ７５の処理により、起動及びデータ処理要求を受信した各データ処理部１４は、特定サイト内のいずれか一のページにアクセスすることになる。
【０１８１】
なお、このステップＳ７５で起動したデータ処理部１４が行う処理の詳細については、図７の派生ルーチン（ステップＳ７５０１乃至ステップＳ７５１１）で表されるが、これについては後述する。
【０１８２】
ステップＳ７６で、データ処理管理部１６は、後述するデータ処理部１４からの終了通知を受信するまで（図３参照）、又は、次に参照情報処理部１３からのデータ処理要求を受信するまで待機する待機状態となり、これらのいずれかを受信するとステップＳ７４に戻る。
【０１８３】
すなわち、例えば図３に示すデータ処理管理部１６の２回目の処理状態中の期間には、参照情報処理部１３からのデータ処理要求及びデータ処理部１４からの終了通知を受信する処理と、ステップＳ７４及びステップＳ７５の処理を行っていることになる。
【０１８４】
データ処理部１４の起動後のステップＳ７７で、データ処理装置１０は、起動した各データ処理部１４（１４ａ〜１４ｎ）の中で、処理（すなわち情報収集処理と連携システムへの情報提供処理）が終了したものがあるか否かを、参照情報処理部１３で判定して、処理が終了するものが現れるまでステップＳ７７で待機し、Ｙｅｓすなわち終了しているものありと判定した場合には、ステップＳ７８に移行する。
【０１８５】
なお、ステップＳ７７のこの判定は、データ処理管理部１６に送信したデータ処理要求のプール数（すなわち起動待ちの数）の値に基づいて行う。このプール数は、ステップＳ７２及び後述するステップＳ８０で送信したデータ処理要求の合計数からステップＳ７５で起動したデータ処理部１４の合計数を減算することで求められ、プール数の範囲としては０〜最大同時アクセス上限数の間を推移することになる。
【０１８６】
詳細には、参照情報処理部１３は、ステップＳ７２及び後述するステップＳ８０で、プール数の値に１を加えて記憶するとともに、ステップＳ７５でデータ処理管理部１６からデータ処理部１４にｎ個の起動命令が出された際に、記憶した数値からｎを減算して、減算値が記憶値より少なくなったときに、起動していたデータ処理部１４のいずれかが終了したものと判定する。これは、データ処理部１４（例えば１４ａ）の処理が終了すると、データ処理管理部１６が次のデータ処理部１４（例えば１４ｂ）を起動することからである。
【０１８７】
なお、いずれかのデータ処理部１４の情報収集処理が終了すると、記憶装置２０の参照情報記憶部２２及びデータ情報記憶部２３には、処理したデータについての情報が登録されている（図７のステップＳ７５０７又はステップＳ７５１０）状態となっているが、これについては後述する。
【０１８８】
ステップＳ７７でＹｅｓと判定された後のステップＳ７８で、データ処理装置１０は、参照情報処理部１３が、記憶装置２０の参照情報記憶部２２における新参照情報の「処理状態」欄をチェックして、処理状態のフラグが「未」であるリンク先の情報に基づいて、データ情報記憶部２３の新データ情報の連番を検索することで、当該特定サイトに関係する未処理（未収集）のデータの「ネットワーク上の場所」の情報を、データ情報記憶部２３の新データ情報の記憶領域から取得して、ステップＳ７９に移行する。ここで、当該特定サイトに関係する未処理（未収集）のデータとは、例えば、当該特定サイト内のページでデータ処理部１４によるアクセスがまだなされていないページについての情報、或いは、データ処理部１４がアクセスしたページからのリンクが張られた当該特定サイト外のページについてのリンク情報、などである。
【０１８９】
ステップＳ７９で、データ処理装置１０は、取得した未処理（未収集）の情報から、当該特定サイトに関係する全ての参照情報のデータ（ページ）を収集したか否かを参照情報処理部１３で判定して、Ｎｏすなわち当該特定サイトに関係する未処理（未収集）のデータがまだ存在するとの判定の場合には、ステップＳ８０に移行し、一方、Ｙｅｓすなわち当該特定サイトに関係する全ての参照情報のデータを収集し終え、未処理（未収集）の情報が無くなった、と判定した場合には、ステップＳ８１に移行する。なお、ステップＳ７９において、参照情報処理部１３は、記憶装置２０における参照情報記憶部２２の処理状態が全て「処理済」になっており（すなわち当該特定サイト内の全てのリンクページ等をデータ処理部１４でアクセスした状態であること）、また、上述したデータ処理要求のプール数がゼロの状態であり（すなわちデータ処理部１４の起動待ちが存在しないこと）、さらには、起動中のデータ処理部１４が存在しないこと、を条件に、Ｙｅｓの判定を行う。
【０１９０】
ステップＳ８０で、データ処理装置１０は、ステップＳ７８で取得した「ネットワーク上の場所」の情報を含めたデータ処理要求を参照情報処理部１３からデータ処理管理部１６に送信する。この際に、参照情報処理部１３は、当該未処理（未収集）のデータについての参照情報記憶部２２の処理状態欄に予め「済」のフラグを立てておくようにする。
【０１９１】
かくして、ステップＳ８０によるデータ処理要求を受信したデータ処理管理部１６は、上述したステップＳ７６の待機状態から脱してステップＳ７４に移行して、ステップＳ７４〜ステップＳ７６の処理及び待機を繰り返し行う。一方、参照情報処理部１３は、ステップＳ７９で未処理（未収集）の情報が無くなったと判定されるまでは、ステップＳ７７〜ステップＳ８０の処理を繰り返し行う。このように、各処理が繰り返し行われることで、データ処理装置１０では、一の特定サイトを構成する全てのページについてのデータの収集及び連携システムへの提供が行われることになる。
【０１９２】
なお、本実施形態では、特定サイト内のページ等にリンクされた特定サイト外のページ等については、そのデータを当該特定サイトに関するデータとして記憶装置２０に記憶するが、情報取得処理が終了しない事態を防止するため、データ処理部１４によるアクセスは行うが、コンテンツ等の取得、解析等は行わないようになっている。
【０１９３】
すなわち、図９の特定サイト「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」の例で言えば、例えば該特定サイト内のあるページ「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００２．ｈｔｍｌ」に、全く別のサイトのページ「ｒｔｓｐ：／／ｈｉｊｋ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」がリンクされていた場合でも、このぺージのデータを、特定サイト「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」にリンクされたデータとして記憶装置２０の参照情報記憶部２２及びデータ情報記憶部２３に記憶するが、データ処理部１４では、「ｒｔｓｐ：／／ｈｉｊｋ．ｃｏ．ｊｐ／００１．ｈｔｍｌ」にアクセスはするが、該ページのコンテンツを取得することはなく、データ処理部１４により特定サイト内の全てのページ等に対する情報取得が終了した時点で、一の特定サイトに関する情報収集が終了した（ステップＳ７９でＹｅｓ）と、参照情報処理部１３により判定される。
【０１９４】
情報収集・提供システム１では、上述のような一連の動作が繰り返し行われることにより、最初に取得したデータから次にリンクされているデータを取得し、更に次にリンクされているデータを取得するという、特定サイトのいわば階層関係に基づいてデータを収集することで、特定サイト内のデータ全て、さらには当該特定サイトのページ等にリンクされた特定サイト外のデータの一部（すなわちヘッダ情報）を取得し、さらには取得した各種データを連携システムに提供することが可能になる。
【０１９５】
ステップＳ８１で、データ処理装置１０は、参照情報処理部１３が参照情報処理管理部１５に終了通知を行なうことで、ステップＳ７の派生ルーチン処理を終了する。ステップＳ８１の終了通知が行なわれた後には、参照情報処理部１３及びデータ処理管理部１６は、処理を終了して、次に収集開始時刻（図９参照）が来て参照情報処理管理部１５から起動命令が出力される（図５のステップＳ７）までは、或いは、参照情報処理部１３からのデータ処理要求が出される（図６のステップＳ７２）までは、待機状態となる。
【０１９６】
なお、ステップＳ８１では、データ処理装置１０は、参照情報処理部１３が当該特定サイトのＵＲＬの処理を完了した旨についてのコンテンツボールを作成して連携システムに送信する処理を行った後にステップＳ８に移行することになるが、この処理については図１１及び図１２で後述する。
【０１９７】
このように、本実施形態のデータ処理装置１０においては、データ処理管理部１６は、当該データ処理管理部１６の起動時にサイト情報記憶部２１から該サイトにおける最大同時アクセス上限数を取得するとともに（ステップＳ７３）、参照情報処理部１３から受信したデータ処理要求（ステップＳ７２，ステップＳ８０）を一旦保持しつつ、現在アクセスしているデータ処理部１４の数をチェックして（ステップＳ７４）、最大同時アクセス上限数に達している場合にはデータ処理部１４の終了、又は参照情報処理部１３からのデータ処理要求の受信を待機し（ステップＳ７６，図３参照）、一方、現在アクセスしているデータ処理部１４の数が最大同時アクセス上限数に達していない場合には、データ処理部１４を起動する（ステップＳ７５）こととしているので、一の特定サイトの情報取得中におけるデータ処理部１４の数がデータ処理管理部１６によって管理され、予め設定められた一定数以上のデータ処理部１４が起動する事態が回避されることになり、ＣＰＵやネットワーク１００の負荷を軽減することが可能となる。
【０１９８】
また、このデータ処理装置１０においては、一の特定サイトに対して複数のデータ処理部１４が同時にデータを収集し、データ処理部１４によるデータ収集中の間はデータ処理管理部１６や参照情報処理部１３がＣＰＵを使わない待機状態（図３、ステップＳ７６，ステップＳ７７）となり、また、上述のように、データ処理部１４が収集を終えたか否かをデータ処理管理部１３やデータ処理管理部１６等で定期チェックするのではなく、終了したデータ処理部１４からデータ処理管理部１６に終了の旨の信号を個別に送信することから、無駄な動作や無用な空き時間が無くなるとともに、ＣＰＵとネットワーク１００の負荷を軽減しながらネットワーク１００に公開された特定サイトの情報を高速に収集することが可能となる。
【０１９９】
（情報収集処理の詳細）
次に、図７のフローチャートを参照して、図６のステップＳ７５の派生ルーチン、すなわち特定サイト内の一のページのデータについて、一のデータ処理部１４が行う情報収集の処理の詳細について説明する。
【０２００】
この情報収集・提供システム１において、データ処理部１４は、その構成要素であるデータ取得部１４１と、データ解析部１４２と、データ登録部１４３とで、特定サイト内に存在する個々の情報を取得する処理を行なうようになっており、以下は図７を参照して説明する。
【０２０１】
データ処理部１４のデータ取得部１４１は、上述のデータ処理管理部１６からのデータ処理要求を受信し（ステップＳ７５０１）、このデータ処理要求に含まれるＵＲＬのプロトコル情報から、（図４の１４１ａ〜ｎで）対応可能か否かを判定し（ステップＳ７５０２）、Ｎｏすなわち対応不可能の場合はデータ処理管理部１６に終了を通知（ステップＳ７５１２）して終了し、Ｙｅｓすなわち対応可能の場合は、記憶装置２０のサイト情報記憶部２１から、該サイトへのアクセス方法についての情報（図９参照）を取得する（ステップＳ７５０３）。
【０２０２】
ステップＳ７５０３で取得するアクセス方法についての情報の具体例としては、上述のように、簡易認証（Ｂａｓｉｃ認証）情報や、フォーム認証（ＣＧＩ＝  Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ認証）情報や、プロキシ情報などが含まれる。
【０２０３】
ここで、簡易認証情報を取得した場合には、データ取得部１４１は、アクセスするＵＲＬが簡易認証のＵＲＬと一致すれば、簡易認証情報としてのＩＤとパスワードを当該特定サイトのＵＲＬ（ページ）へのアクセス時に用いることになる。
【０２０４】
また、フォーム認証情報を取得した場合には、データ取得部１４１は、アクセスするＵＲＬがフォーム認証のＵＲＬと一致すれば、フォーム認証のパラメータをアクセス時に用いることになる。
【０２０５】
また、プロキシ情報情報を取得した場合には、データ取得部１４１は、プロキシを経由して当該特定サイトのＵＲＬ（ページ）にアクセスすることになる。
【０２０６】
該サイトへのアクセス方法についての情報を取得したデータ処理部１４のデータ取得部１４１は、次のステップＳ７５０４で、ＵＲＬのプロトコル情報がＨＴＴＰであればＨＴＴＰで（すなわち図４のデータ取得部１４１ａを用いて）、そうでなければそのプロトコルを用いてＵＲＬにアクセスして、該ＵＲＬのヘッダ情報（名前，種別，サイズ，更新日時などの本文以外の情報）を取得して、ステップＳ６４０５に移行する。なお、ＵＲＬのプロトコル情報とは、ＵＲＬの先頭部分を指しており、ＵＲＬの先頭部分が「ｈｔｔｐ：」であればＨＴＴＰを用い、ＵＲＬが「ｒｔｓｐ：」で始まっていればＲＴＳＰを用いることになる。
【０２０７】
ステップＳ７５０５で、データ処理部１４のデータ取得部１４１は、ヘッダ情報を取得できたか否かについて判定し、Ｎｏすなわち取得できなかったと判定した場合にはデータ処理管理部１６に終了（この場合はページ処理異常：「ＥＲＲ」による終了）を通知して（ステップＳ７５１２）処理を終え、一方、Ｙｅｓすなわち取得できたと判定した場合には、本文（コンテンツ）の情報を取得する必要があるか否かを判断すべく、ステップＳ７５０６に移行する。
【０２０８】
ステップＳ７５０６で、データ処理部１４のデータ取得部１４１は、データ情報記憶部２３の前データ情報の記憶領域を参照して、今回取得したヘッダ情報が前回に登録したヘッダ情報と一致するか否かについて判定し、Ｙｅｓすなわち前回取得したヘッダ情報と一致するとの判定の場合には、名前，種別，サイズ，更新日時、等が同じであるため、本文（コンテンツ）についても変更なしとみなしてステップＳ７５０７に移行し、Ｎｏすなわち一致しないとの判定の場合には、本文（コンテンツ）についても変更されたもの（「ＵＰＤＡＴＥ」）若しくは新規（「ＮＥＷ」）に追加されたものであるとみなして、ステップＳ７５０８に移行する。
【０２０９】
なお、特定サイトについての初めてのアクセスの場合には、当該特定サイトに関してはデータ情報記憶部２３の前データ情報及び新データ情報のいずれの記憶領域にもヘッダ情報が登録されていないため、ステップＳ７５０６ではＮｏの判定が出ることになる。
【０２１０】
ステップＳ７５０７で、データ処理部１４は、データ取得部１４１からデータ登録部１４３にヘッダ情報を転送し、データ登録部１４３がこのヘッダ情報をデータ情報記憶部２３の新データ情報の記憶領域に記憶するとともに、参照情報記憶部２２の前参照情報の記憶領域に登録されたデータの内容をそのまま新参照情報の記憶領域に複写してステップＳ７５１２に移行し、ステップＳ７５１２でデータ処理管理部１６に終了（この場合はページ処理済：「ＩＮＦＯ」の更新されていないデータであることを示す「ＮＯＮＥ」）を通知して処理を終わる。
【０２１１】
一方、ステップＳ７５０８で、データ処理部１４は、ステップＳ７５０５で取得したヘッダ情報が外部サイトの情報であるか否かを判定して、Ｙｅｓすなわち外部サイトの情報であるとの判定の場合にはコンテンツ取得の必要なしとしてステップＳ７５１１に移行し、一方、Ｎｏすなわち外部サイトの情報でないとの判定の場合にはコンテンツ取得の必要有りとしてステップＳ７５０９に移行する。
【０２１２】
ここで、ステップＳ７５０８における外部サイトの情報であるか否かの判定は、サイト情報記憶部２１の「サイト情報」欄に登録された情報に基づいて行われ、具体的には、登録された情報がｗｅｂサイトならば、当該特定サイトのドメイン名（図９連番１の例では「ａｂｃｄ．ｃｏ．ｊｐ」）が同一であるか否かが基準となる。なお、アクセス対象がディレクトリツリー型ファイルシステムの場合には、サイト情報記憶部２１の「サイト情報」欄にはディレクトリ名が登録されることになるので、ステップＳ７５０８では、当該特定サイトのディレクトリ名が同一であるか否かが基準となる。
【０２１３】
ステップＳ７５０９で、データ処理部１４は、データ取得部１４１で実際にコンテンツを取得し、その内容を一時ファイル（この例では連携システムのハードディスク）に保存して、ステップＳ７５１０に移行する。
【０２１４】
ステップＳ７５１０で、データ処理部１４は、一時ファイルに保存したコンテンツをデータ解析部１４２で解析し、必要な情報を抽出する処理を行う。具体的には、データ解析部１４２は、コンテンツがＨＴＭＬであればＨＴＭＬで（すなわち図４のデータ解析部１４２ａを用いて）、そうでなければその解析法を用いて一時ファイルにアクセスして、コンテンツを解析し、解析した内容をデータ登録部１４３にＲＡＭを用いて転送し、ステップＳ７５１１に移行する。
【０２１５】
なお、ステップＳ７５１０における「必要な情報」とは、連携システムに送信する後述のコンテンツボール３０（図１２参照）を構成する情報と、参照情報記憶部２２に記憶すべきリンク情報を構成する情報（この実施形態では、行数，タグ名）である。
【０２１６】
そして、ＲＡＭでコンテンツの解析内容を取得したデータ処理部１４のデータ登録部１４３は、ステップＳ７５１１で、この解析内容から、ネットワーク上の場所，階層数，及びヘッダ情報を構成するサイズ，更新日時、などの情報をデータ情報記憶部２３の新データ情報の記憶領域に登録するとともに、リンク情報、パラメータなどを参照情報記憶部２２の新参照情報の記憶領域に登録してステップＳ７５１２に移行し、ステップＳ７５１２でデータ処理管理部１６に終了通知（この場合はページ処理済：「ＩＮＦＯ」の新規のデータであることを示す「ＮＥＷ」または更新されたデータであることを示す「ＵＰＤＡＴＥ」）を通知して、処理を終える。
【０２１７】
一方、ステップＳ７５０８でＹｅｓすなわち外部サイトの情報であると判定された後のステップＳ７５１１では、データ登録部１４３は、この場合にはコンテンツの解析内容が存在しないので、ヘッダ情報を構成するサイズ，更新日時、などの情報をデータ情報記憶部２３の新データ情報の記憶領域に登録してステップＳ７５１２に移行し、ステップＳ７５１２でデータ処理管理部１６に終了通知（この場合はページ処理済：「ＩＮＦＯ」の新規のデータであることを示す「ＮＥＷ」または更新されたデータであることを示す「ＵＰＤＡＴＥ」）を通知して、処理を終える。
【０２１８】
このように、実施の形態の情報収集・提供システム１によれば、データ処理部１４は、アクセスしたページのコンテンツ等の概要を示すヘッダ情報を取得して（ステップＳ７５０４）、前回に取得したヘッダ情報との比較を行い（ステップＳ７５０６）、前回と異なるヘッダ情報の場合には、外部サイトでないこと（ステップＳ７５０８でＮｏ）を条件に該コンテンツの取得（ステップＳ７５０９）及び解析（ステップＳ７５１０）を行って記憶装置２０に記憶し、一方、前回と同一のヘッダ情報の場合には該コンテンツの取得及び解析を行なわずに、以前に記憶したヘッダ情報とそのコンテンツに含まれるリンク情報を利用して記憶装置２０に記憶する（ステップＳ７５０７）構成としたので、ＣＰＵとネットワーク１００の使用量を抑えることができるようになり、ＣＰＵやネットワーク１００の負荷が低減する、という効果が得られる。
【０２１９】
すなわち、実施の形態の情報収集・提供システム１によれば、データ処理装置１０は、処理に時間及び負荷のかかるコンテンツの解析に先立って、当該コンテンツの固有情報であるヘッダ情報を取得する（ステップＳ７５０４）とともに、前回取得したヘッダ情報と比較（ステップＳ７５０６）しながら情報を収集管理して、記憶装置２０に登録し（ステップＳ７５０７，ステップＳ７５０８〜７５１１）、前回の記憶装置２０に登録されている内容よりも新しく更新された情報のみを対象にコンテンツを収集し（ステップＳ７５０９）、外部サイトのコンテンツや、前回の記憶装置２０に登録されている内容から更新されていないコンテンツについては取得（解析）しない（ステップＳ７５１１，ステップＳ７５０７）ので、一の特定サイト内の情報を高速かつ低負荷で取得することができるようになり、ひいては複数の特定サイトを同時並行的に情報収集する場合のＣＰＵ及びネットワーク１００の負担を著しく減少させ、各情報収集の処理を迅速に終了させることが可能となる。
【０２２０】
さらには、実施の形態の情報収集・提供システム１によれば、データ処理装置１０のデータ処理部１４は、特定サイトにつき収集を行うページのサイト情報（ＵＲＬ等）を受信し（ステップＳ７５０１）、アクセス方法の情報（簡易認証（Ｂａｓｉｃ認証）情報、フォーム認証（ＣＧＩ＝  Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ認証）情報、プロキシ情報、等）を記憶装置２０のサイト情報記憶部２１から取得する（ステップＳ７５０３）とともに、取得した該情報に基づいてＵＲＬにアクセスしてそのヘッダ情報を取得する（ステップＳ７５０４）ので、使用者は、システム管理プログラムを起動させてサイト情報記憶部２１へ登録する情報の設定を一度行えば良く、各特定サイト毎に異なる複数のアクセス方法についての情報を毎回入力する必要がなくなるので、管理の手間が軽減する。
【０２２１】
次に、図８を参照して、上述した情報収集処理の実行にあたり、参照情報処理部１３とデータ処理部１４とが記憶装置２０の参照情報記憶部２２とデータ情報記憶部２３とに対して行う処理等について説明する。
【０２２２】
図８に概略的に示すように、情報収集処理の実行にあたっては、参照情報処理部１３及びデータ処理部１４は、記憶装置２０の参照情報記憶部２２とデータ情報記憶部２３を参照、更新しながら行うことになる。
【０２２３】
上述のように、参照情報記憶部２２とデータ情報記憶部２３は、それぞれ、データ処理装置１０による処理結果の記憶領域が二重化された領域を備えており、一方が前回の情報取得処理の結果を保存する領域とされ、他方が次に情報取得処理を実行したときに新たに作成する新規の情報の記憶領域とされる。
【０２２４】
そして、データ処理装置１０において、データ処理部１４は、参照情報処理部１３から指示されるＵＲＬにネットワーク１００経由でアクセスし、該ＵＲＬのヘッダ情報を取得してデータ情報記憶部２３の「新データ情報の記録領域」に登録する（図７のステップＳ７５０４）とともに、データ情報記憶部２３の「前データ情報の記憶領域」の該当ページにおけるヘッダ情報との比較を行う（図７のステップＳ７５０５）。
【０２２５】
なお、ヘッダ情報の比較に関しては、ここでは説明の便宜のため、更新日時を比較した例を挙げているが、他にも、種別、サイズなど、データ情報記憶部２３に記憶している内容を同様に比較することになる。
【０２２６】
ここで、データ情報記憶部２３の各記憶領域のヘッダ情報を比較した結果、両者が一致すれば（ステップＳ７５０６でＹｅｓ）、データ処理部１４は、参照情報記憶部２２の「前参照情報の記憶領域」に記憶しているＵＲＬの情報を、参照情報記憶部２２の「新参照情報の記憶領域」に、「未処理」として複写する（ステップＳ７５０７）。比較の結果、一致しない、またはデータ情報記憶部２３の「前データ情報の記憶領域」に存在しないのであれば（ステップＳ７５０６でＮｏ）、データ処理部１４は、外部サイトでないこと（ステップＳ７５０８でＮｏ）を条件にコンテンツを取得して、当該コンテンツを一時ファイルとして記憶し（ステップＳ７５０９）、コンテンツ内部に含まれるリンクＵＲＬ情報を抽出して（ステップＳ７５１０）、参照情報記憶部２２の「新参照情報の記憶領域」に「未処理」として登録する（ステップＳ７５１１）。
【０２２７】
このような処理を行うことで、前回取得してから変更のないＵＲＬのコンテンツを取得する時間と転送量を省き、ＣＰＵとネットワーク１００の負荷を軽減しながらも高速に情報を取得することが可能となる。
【０２２８】
一方、データ収集の処理中には、参照情報処理部１３は、参照情報記憶部２２の新参照情報の記憶領域の処理状態が「未処理」であるところの「ネットワーク上の場所」の情報（図９参照）を、データ情報記憶部２３の新データ情報の記憶領域から取得し続け（図６のステップＳ７８）、「未処理」が存在すれば（ステップＳ７９でＹｅｓ）、データ処理部１４を起動べくデータ処理管理部１６にデータ処理要求を送信するとともに、参照情報記憶部２２の処理状態情報を「処理済」に変更する（ステップＳ８０）。
【０２２９】
図８には、ネットワーク１００上のサーバ等の装置に特定サイトを含む３つのページ等（特定サイトとしてのデータ１、及びデータ１にリンクされたデータ２とデータ３）が存在し、前回（例えば１回目）の情報収集時にはデータ１からデータ２とデータ３に向けてリンクが張られていたが、今回（例えば２回目）の情報収集時には、新たにデータ２からデータ３に向けてのリンクが張られていた（すなわちデータ２が更新されており、更新日時は２００３年１月１日）という事例を示している。
【０２３０】
また、図８では、情報収集・提供システム１で前回に収集した情報が、参照情報記憶部２２の前参照情報の記憶領域及びデータ情報記憶部２３の前データ情報の記憶領域に格納されており、今回に収集した情報が、参照情報記憶部２２の新参照情報の記憶領域及びデータ情報記憶部２３の新データ情報の記憶領域に記録される状態を概略的に示している。
【０２３１】
この事例では、データ１とデータ３については、前回と今回とで変更が無いために、図８に示すように、今回の情報収集の結果、データ情報記憶部２３の新データ情報の記憶領域には、前データ情報の記憶領域と同じ情報が登録されるとともに、参照情報記憶部２２の前参照情報の記憶領域から新参照情報の記憶領域に、データ１とデータ３の情報が複写される。
【０２３２】
詳細には、データ１とデータ３については、今回の情報収集時には、各データ１，３のヘッダ情報をデータ処理部１４のデータ取得部１４１で収集し（図７のステップＳ７５０４）、データ情報記憶部２３の「新データ情報の記憶領域」に各情報を登録するが、この際に、データ情報記憶部２３の「前データ情報の記憶領域」に登録された各情報との比較を行い（ステップＳ７５０６）、比較の結果、前回と今回とで変更が無い（全ての内容が変わっていない）ことから、データ１とデータ３についてはデータ解析部１４２を用いた解析（ステップＳ７５１０）を行うことなく、参照情報記憶部２２の「新参照情報の記憶領域」には「前参照情報の記憶領域」の情報がそのまま複写される（ステップＳ７５０７）ことになる。
【０２３３】
一方で、データ２については、前回と今回とでは、２００３年１月１日にデータ３へのリンクが設定されている点で変更（更新）が有ったために、今回の情報収集時には、この更新日時と更新内容の情報を取得し、更新日時についてはデータ情報記憶部２３の「新データ情報の記憶領域」に、更新内容については参照情報記憶部２２の「前参照情報の記憶領域」に、それぞれ格納されることになる。
【０２３４】
詳細には、今回の情報収集時には、データ２のヘッダ情報をデータ処理部１４のデータ取得部１４１で収集し、データ情報記憶部２３の「新データ情報の記憶領域」に各情報を登録するが、この際に、データ情報記憶部２３の「前データ情報の記憶領域」に登録された各情報との比較を行い（ステップＳ７５０６）、比較の結果、「更新日時」の日付が異なっていることから、データ２については取得（ステップＳ７５０９）及びデータ解析部１４２を用いた解析（ステップＳ７５１０）を行い、参照情報記憶部２２の「新参照情報の記憶領域」に新たにデータ２からデータ３に向けての参照情報を新たに登録する（ステップＳ７５１１）。
【０２３５】
そして、データ処理部１４で行うべき処理が全て終了し、かつ参照情報記憶部２２の「新参照情報の記憶領域」内の全てが処理済になれば（この事例では図８に示す新参照情報の記憶領域の再下段の「未処理」が「処理済」に変更され、かつ各データ処理部１４（１４ａ〜ｃ）の全ての処理が終了した時点で、特定サイト内にある多数の情報を全て取得したことになり、参照情報処理部１３は終了する。
【０２３６】
次に、記憶装置２０におけるサイト情報記憶部２１と参照情報記憶部２２とデータ情報記憶部２３との関係を、図９に示す各データテーブルを参照してより具体的に説明する。なお、図９に示す参照情報記憶部２２及びデータ情報記憶部２３に登録された各データは、サイト情報記憶部２１に登録された一の特定サイト「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」に関して対応付けられたデータのみを抽出して示している。
【０２３７】
図９に示すように、記憶装置２０では、参照情報記憶部２２の「サイト」欄にサイト情報記憶部２１の「連番」の数値（図９では１）が登録されることで、参照情報記憶部２２のデータがサイト情報記憶部２１に登録された一の特定サイト「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」のデータに対応付けられており、同様に、データ情報記憶部２３の「サイト」欄にサイト情報記憶部２１の「連番」の数値（図９では１）が登録されることで、データ情報記憶部２３のデータがサイト情報記憶部２１の当該特定サイトのデータに対応付けられている。
【０２３８】
また、記憶装置２０では、参照情報記憶部２２の「リンク情報」の「リンク元」欄と「リンク先」欄にデータ情報記憶部２３の「連番」の番号が登録されることで、参照情報記憶部２２のデータがデータ情報記憶部２３のデータに対応付けられている。
【０２３９】
さらに、この記憶装置２０においては、参照情報記憶部２２とデータ情報記憶部２３とが、それぞれ二重化されており、具体的には、一方を前回の収集情報についての記憶領域、他方を最新の収集情報についての記憶領域として利用している。
【０２４０】
ここで、情報取得対象としての一の特定サイト「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」につき、１度目の情報収集処理ではトップページの０００１．ｈｔｍｌとその下位ページの０００２．ｈｔｍｌの２ページで構成されていたが、２度目の情報収集処理の時点では、０００２．ｈｔｍｌに対してさらに下位となる０００３．ｈｔｍｌのページが新規で追加されていた、という事例を想定して、各記憶部２１〜２３におけるデータの更新等の処理について説明する。
【０２４１】
まず、１度目の情報収集処理では、上述した図７のステップＳ７５０１のデータ処理要求により、「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」で示されるサイトを処理するように指示を受けたデータ処理部１４（１４ａとする。）は、サイト情報記憶部２１の「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」に関する各情報（図９の▲１▼の段の各データ）から、「アクセス方法」の情報（この事例ではプロキシ情報）を取得して（ステップＳ７５０３）、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌにアクセスする。
【０２４２】
そして、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌにアクセスしたデータ処理部１４ａは、まずｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌのヘッダ情報をデータ取得部１４１で取得する（ステップＳ７５０４）が、この場合には前回取得した情報がないため（ステップＳ７５０６でＮｏ）、ステップＳ７５０９〜ステップＳ７５１２の処理を行う。
【０２４３】
具体的には、ステップＳ７５０９において、データ処理部１４ａは、データ取得部１４１でｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ（トップページ）内のコンテンツを取得し、後述するコンテンツボール３０の大部分を作成し、データ解析部１４２による解析のために、取得したデータを一時ファイルとして保存する。また、次のステップＳ７５１０において、データ処理部１４ａは、データ解析部１４２でコンテンツの解析と必要な情報を抽出してコンテンツボール３０の不足箇所の補充を行い、次のステップＳ７５１１では、データ登録部１４３が上述した各データを参照情報記憶部２２とデータ情報記憶部２３に新規登録するとともに、完成したコンテンツボール３０をステップＳ７５１２で連携システムに提供する。
【０２４４】
すなわち、ステップＳ７５１１では、データ処理部１４ａは、前ステップで抽出した情報に基づいて、該ページ（０００１．ｈｔｍｌ）の階層数（この例では１），種別（この例ではＨＴＭＬ），サイズ（この例では１０２４（バイト）），更新日時（この例では２００２年１２月１日零時零分），等のデータを、データ情報記憶部２３の新データ情報の記録領域（図９の▲５▼の段の該当する各欄）に記録するとともに、該ページ（０００１．ｈｔｍｌ）にリンクされたリンク先の情報があれば、該情報を参照情報記憶部２２の新参照情報の記憶領域（図９の▲２▼の段の該当する各欄）に記録して行く。
【０２４５】
そして、ステップＳ７５１１において、データ処理部１４ａのデータ登録部１４３は、該ページ（０００１．ｈｔｍｌ）に関する各情報を参照情報記憶部２２及びデータ情報記憶部２３に記録すると、該ページについての全てのデータ収集を完了したものとして、データ情報記憶部２３の新データ情報の記録領域（図９の▲５▼の段）の「収集状態」欄に、該ページのデータ収集が完了したことを示すフラグ（図９の「ＯＫ」）を記録して、データ処理管理部１６に終了を通知し（ステップＳ７５１２）、この際にコンテンツボール３０を連携システムに送信する。
【０２４６】
この事例では、データ処理部１４ａは、該ページ０００１．ｈｔｍｌのコンテンツ解析時（ステップＳ７５１０）に、０００１．ｈｔｍｌの本文（コンテンツ）に記述されているリンクページの「０００２．ｈｔｍｌ」を抽出することになるので、ステップＳ７５１１では、データ登録部１４３により、データ情報記憶部２３の新参照情報の記憶領域に、０００２．ｈｔｍｌについての記録欄（図９の▲６▼の段）を確保（新設）するとともに、確保（新設）した０００２．ｈｔｍｌの「収集状態」欄に、当該ページのデータを未だ収集していない状態であることを示すフラグ（例えば「未」）を記録する。
【０２４７】
また、ステップＳ７５１０で０００２．ｈｔｍｌを抽出したデータ処理部１４ａは、当該リンク元のサイト（この場合は「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」）に存在するリンク情報を記録するため、次のステップＳ７５１１では、データ登録部１４３により、参照情報記憶部２２の新参照情報の記憶領域に確保された、０００１．ｈｔｍｌから０００２．ｈｔｍｌへリンクされていることを示す記録欄（図９の▲２▼の段）に、リンク情報（リンク元，リンク先，行数，タグ名）を記録するとともに、その「処理状態」欄に、特定コンテンツ（この場合は「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ」のコンテンツ）の全部のデータを未だ収集していない状態であることを示す「未」のフラグを記録する。なお、図９の▲２▼の段に示す例は、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌの本文の３２行目に０００２．ｈｔｍｌへリンクするためのリンク先情報があり、かつ、そのタグ名がＡタグのＨＲＥＦだった場合である。
【０２４８】
そして、情報収集・提供システム１では、データ処理部１４ａのこの記録処理に基づいて、参照情報記憶部２２の「処理状態」欄を監視している参照情報処理部１３が次のデータ処理部１４（１４ｂ）を起動させるべく、「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ」を含めたデータ処理要求をデータ処理管理部１６に送信し（図６のステップＳ７２）、データ処理管理部１６から起動命令が出力される（ステップＳ７５）。
【０２４９】
続いて、次に起動したデータ処理部１４ｂは、起動命令に含まれる「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ」に基づいて、当該ページへアクセスし、同様に、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌのヘッダ情報をデータ取得部１４１で取得し（ステップＳ７５０４）、ここでも前回取得した情報がなく（ステップＳ７５０６でＮｏ）、かつ外部サイトではないため（ステップＳ７５０８でＮｏ）、上述と同様にステップＳ７５０９〜ステップＳ７５１２の処理を行う。
【０２５０】
すなわち、ステップＳ７５０９において、データ処理部１４ｂは、データ取得部１４１でｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ内のコンテンツを取得し、後述するコンテンツボール３０の大部分を作成し、データ解析部１４２による解析のために、取得したデータを一時ファイルとして保存する。また、次のステップＳ７５１０において、データ処理部１４ｂは、データ解析部１４２でコンテンツの解析と必要な情報を抽出してコンテンツボール３０の不足箇所の補充を行い、次のステップＳ７５１１では、データ登録部１４３が上述した各データを参照情報記憶部２２とデータ情報記憶部２３に新規登録するとともに、完成したコンテンツボール３０をステップＳ７５１２で連携システムに提供する。
【０２５１】
すなわち、ステップＳ７５１１では、データ処理部１４ｂは、前ステップで抽出した情報に基づいて、該ページ（０００２．ｈｔｍｌ）の階層数（この例では２），種別（この例ではＨＴＭＬ），サイズ（この例では１０２４（バイト）），更新日時（この例では２００２年１２月１日零時零分），等のデータを、データ情報記憶部２３の新データ情報の記録領域（図９の▲６▼の段の該当する各欄）に記録するとともに、該ページ（０００２．ｈｔｍｌ）にリンクされたリンク先の情報があれば、該情報を参照情報記憶部２２の新参照情報の記憶領域に記録して行く。
【０２５２】
なお、この事例では、当該１回目の情報収集（巡回）時点では０００２．ｈｔｍｌにはリンク情報（０００３．ｈｔｍｌ）が存在しなかったため、この場合には、データ処理部１４ｂのデータ登録部１４３は、ステップＳ７５１０では、データ情報記憶部２３及び参照情報記憶部２２に新しい欄を新設（確保）することなく、特定サイトの該ページ（０００２．ｈｔｍｌ）に関する各情報をデータ情報記憶部２３の新データ情報の記録領域（図９の▲６▼の段）に記録すると、該ページについての全てのデータ収集を完了したものとして、この「収集状態」欄に、該ページのデータ収集が完了したことを示すフラグ（図９の「ＯＫ」）を記録するとともに、参照情報記憶部２２の（図９の▲２▼の段）の「処理状態」欄の「未」フラグを、図９の「済」に変更する。この処理により、参照情報記憶部２２の処理状態が全て「済」になり、該特定サイトの全てのページ（すなわちｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／にある各ページ）についてのデータ収集が完了したことが示されるので、この特定サイトの１度目の情報収集を完了させることが可能となる。
【０２５３】
すなわち、次のステップＳ７５１２でデータ処理部１４ｂのデータ登録部１４３からデータ処理管理部１６に処理の終了が通知されると、参照情報記憶部２２の「処理状態」欄を監視している参照情報処理部１３が「全ての参照情報のデータを収集した」（図６のステップＳ７９でＹｅｓ）と判定することで、この特定サイトの１度目の情報収集が終了する。
【０２５４】
なお、情報収集・提供システム１においては、当該特定サイトの次（２度目）の情報収集（巡回）の際には、データ処理部１４の起動に先立って、参照情報記憶部２２の「新」参照情報の記憶領域及びデータ情報記憶部２３の「新」データ情報の記憶領域を、それぞれ「前」参照情報の記憶領域及び「前」データ情報の記憶領域として扱うとともに、新たに新参照情報の記憶領域及び新データ情報の記憶領域を確保するように、参照情報処理部１３によって処理がなされる。
【０２５５】
次に、特定サイト「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」において新たなページ０００３．ｈｔｍｌが追加された後にデータ処理装置１０が行う２度目の情報収集の処理について説明する。
【０２５６】
２度目の情報収集処理においても、上述した図７のステップＳ７５０１のデータ処理要求により、「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」で示されるサイトを処理するように指示を受けたデータ処理部１４（同様に１４ａとする。）は、上述と同様に、サイト情報記憶部２１の「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ」に関する各情報（図９の▲１▼の段の各データ）から、「アクセス方法」の情報（この事例ではプロキシ情報）を取得して（ステップＳ７５０３）、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌにアクセスする。
【０２５７】
そして、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌにアクセスしたデータ処理部１４ａは、同様に、まずｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌのヘッダ情報をデータ取得部１４１で取得する（ステップＳ７５０４）が、この事例では取得したヘッダ情報が前回の情報（すなわち図９の▲５▼の段の情報）と一致するため（ステップＳ７５０６でＹｅｓ）、該トップページ（０００１．ｈｔｍｌ）のコンテンツ（リンク情報を含む）についても同一とみなして、今回はデータ登録部１４３でステップＳ７５０７の処理を行う。すなわち、ステップＳ７５０７で、データ処理部１４ａのデータ登録部１４３は、データ情報記憶部２３の前データ情報の記録領域（図９の▲５▼及び▲６▼の段）の各欄のデータ（すなわちトップページ０００１．ｈｔｍｌ及びその下位ページ０００２．ｈｔｍｌについてのデータ）を、新データ情報の記録領域（図９の▲７▼及び▲８▼の段）にとりあえず全部複写して、下位ページ０００２．ｈｔｍｌについての「収集状態」欄だけ「未」のフラグを記録するとともに、参照情報記憶部２２の前参照情報の記録領域（図９の▲２▼の段）の情報を新参照情報の記録領域（図９の▲３▼の段）に複写して、「処理状態」欄だけ「未」のフラグを記録する。
【０２５８】
なお、コンテンツボール３０の作成については、データ取得部１４１及びデータ解析部１４２で作成・更新を行い、データ登録部１４３が参照情報記憶部２２及びデータ情報記憶部２３の記録情報を用いて最終的な更新を行う。これにより、ぺージ状態がＮＯＮＥ（更新なし）の前回と同一内容のコンテンツボール３０が、連携システムに提供されることになる。
【０２５９】
そして、情報収集・提供システム１では、データ処理部１４ａの記録処理に基づいて、参照情報記憶部２２の「処理状態」欄を監視している参照情報処理部１３が次のデータ処理部１４（１４ｂ）を起動させるべく、「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ」を含めたデータ処理要求をデータ処理管理部１６に送信し（図６のステップＳ７２）、データ処理管理部１６から起動命令が出力される（ステップＳ７５）。
【０２６０】
続いて、次に起動したデータ処理部１４ｂは、起動命令に含まれる「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ」に基づいて、当該ページへアクセスし、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌのヘッダ情報をデータ取得部１４１で取得して（ステップＳ７５０４）、取得したヘッダ情報を、前回取得したヘッダ情報（すなわち図９の▲６▼の段の情報）と比較する（ステップＳ７５０６）。
【０２６１】
この事例では、ページ０００２．ｈｔｍｌのヘッダ情報の「サイズ」及び「更新日時」が前回と異なるため（ステップＳ７５０６でＮｏ）、該ページ０００２．ｈｔｍｌのコンテンツについても異なるものとみなし、ステップＳ７５０９〜ステップＳ７５１２の処理を行うことになる。
【０２６２】
すなわち、ステップＳ７５０９において、データ処理部１４ｂは、データ取得部１４１でｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ内のコンテンツを取得し、後述するコンテンツボール３０の大部分を作成し、データ解析部１４２による解析のために、取得したデータを一時ファイルとして保存する。また、次のステップＳ７５１０において、データ処理部１４ｂは、データ解析部１４２でコンテンツの解析と必要な情報を抽出してコンテンツボール３０の不足箇所の補充を行い、次のステップＳ７５１１では、データ登録部１４３が上述した各データを参照情報記憶部２２とデータ情報記憶部２３に新規登録するとともに、完成したコンテンツボール３０をステップＳ７５１２で連携システムに提供する。
【０２６３】
すなわち、ステップＳ７５１１では、データ処理部１４ｂは、前ステップで抽出した情報に基づいて、該ページ（０００２．ｈｔｍｌ）の階層数（この例では２），種別（この例ではＨＴＭＬ），サイズ（この例では２０４８（バイト）），更新日時（この例では２００３年１月１日零時零分），等のデータを、データ情報記憶部２３の新データ情報の記録領域（図９の▲８▼の段の該当する各欄）に記録するとともに、該ページ（０００２．ｈｔｍｌ）にリンクされたリンク先の情報があれば、該情報を参照情報記憶部２２の新参照情報の記憶領域に記録して行く。
【０２６４】
そして、ステップＳ７５１１において、データ処理部１４ｂのデータ登録部１４３は、該ページ（０００２．ｈｔｍｌ）に関する各情報を参照情報記憶部２２及びデータ情報記憶部２３に記録すると、該ページについての全てのデータ収集を完了したものとして、データ情報記憶部２３の新データ情報の記録領域（図９の▲８▼の段）の「収集状態」欄に、該ページのデータ収集が完了したことを示すフラグ（図９の「ＯＫ」）を記録して、データ処理管理部１６に終了を通知する（ステップＳ７５１２）。
【０２６５】
この事例では、当該２回目の情報収集（巡回）時点では、該ページ０００２．ｈｔｍｌにさらなる下位ページｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００３．ｈｔｍｌについてのリンク情報が存在しているため、データ処理部１４ｂは、該ページ０００２．ｈｔｍｌのコンテンツ解析時（ステップＳ７５１０）に、０００２．ｈｔｍｌの本文（コンテンツ）に記述されているリンクページの「０００３．ｈｔｍｌ」を抽出することになるので、ステップＳ７５１１では、データ登録部１４３により、データ情報記憶部２３の新参照情報の記憶領域に、０００３．ｈｔｍｌについての記録欄（図９の▲９▼の段）を確保（新設）するとともに、確保（新設）した０００３．ｈｔｍｌの「収集状態」欄に、当該ページのデータを未だ収集していない状態であることを示すフラグ「未」を記録する。
【０２６６】
また、ステップＳ７５１０で０００３．ｈｔｍｌを抽出したデータ処理部１４ｂは、当該リンク元のサイト（この場合は「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌ」）に存在するリンク情報を記録するため、次のステップＳ７５１１では、データ登録部１４３により、参照情報記憶部２２の新参照情報の記憶領域に確保された、０００２．ｈｔｍｌから０００３．ｈｔｍｌへリンクされていることを示す記録欄（図９の▲４▼の段）に、リンク情報（リンク元，リンク先，行数，タグ名）を記録するとともに、その「処理状態」欄に、特定コンテンツ（この場合は下位ページ「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００３．ｈｔｍｌ」のコンテンツ）の全部のデータを未だ収集していない状態であることを示す「未」のフラグを記録する。なお、図９の▲４▼の段に示す例は、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００２．ｈｔｍｌの本文の４８行目に０００３．ｈｔｍｌへリンクするためのリンク先情報があり、かつ、そのタグ名がＡタグのＨＲＥＦだった場合である。
【０２６７】
そして、情報収集・提供システム１では、データ処理部１４ｂのこの記録処理に基づいて、参照情報記憶部２２の「処理状態」欄を監視している参照情報処理部１３が次のデータ処理部１４（１４ｃ）を起動させるべく、「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００３．ｈｔｍｌ」を含めたデータ処理要求をデータ処理管理部１６に送信し（図６のステップＳ７２）、データ処理管理部１６から起動命令が出力される（ステップＳ７５）。
【０２６８】
続いて、次に起動したデータ処理部１４ｃは、起動命令に含まれる「ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００３．ｈｔｍｌ」に基づいて、当該ページへアクセスし、同様に、ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００３．ｈｔｍｌのヘッダ情報をデータ取得部１４１で取得し（ステップＳ７５０４）、この場合は初めてのアクセスであり前回取得した情報がなく（ステップＳ７５０６でＮｏ）、かつ外部サイトではないため（ステップＳ７５０８でＮｏ）、上述と同様にステップＳ７５０９〜ステップＳ７５１２の処理を行う。
【０２６９】
そして、この事例では、該ページ０００３．ｈｔｍｌにはリンク情報が存在しなかったため、この場合には、データ処理部１４ｃのデータ登録部１４３は、ステップＳ７５１１では、データ情報記憶部２３及び参照情報記憶部２２に新しい欄を新設（確保）することなく、特定サイトの該ページ（０００３．ｈｔｍｌ）に関する各情報をデータ情報記憶部２３の新データ情報の記録領域（図９の▲９▼の段）に記録すると、該ページについての全てのデータ収集を完了したものとして、この「収集状態」欄に、該ページのデータ収集が完了したことを示すフラグ（図９の「ＯＫ」）を記録するとともに、参照情報記憶部２２の（図９の▲４▼の段）の「処理状態」欄の「未」フラグを、図９の「済」に変更する。この処理により、参照情報記憶部２２の処理状態が全て「済」になり、該特定サイト（ｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌ）の全データ収集が完了したことが示されるので、この特定サイトの２度目の情報収集を完了させることが可能となる。
【０２７０】
すなわち、次のステップＳ７５１１でデータ処理部１４ｂのデータ登録部１４３からデータ処理管理部１６に処理の終了が通知されると、参照情報記憶部２２の「処理状態」欄を監視している参照情報処理部１３が「全ての参照情報のデータを収集した」（図６のステップＳ７９でＹｅｓ）と判定することで、この特定サイトの２度目の情報収集が終了する。
【０２７１】
なお、情報収集・提供システム１においては、当該特定サイトの次（３度目）の情報収集（巡回）の際には、データ処理部１４の起動に先立って、参照情報処理部１３により、参照情報記憶部２２の新参照情報の記憶領域内のデータ（図９の▲３▼及び▲４▼の段）は、前参照情報の記憶領域に上書きされる処理が行われ、かつ、データ情報記憶部２３の新データ情報の記憶領域内のデータ（図９の▲７▼，▲８▼，▲９▼の段）は、前データ情報の記憶領域に上書きされる処理が行われる。このような処理を行うことで、３度目以降の収集も、上述と同様の処理によりデータ収集が可能となる。
【０２７２】
この事例では、３ページしか存在しないサイトでのデータ収集等の動作を説明したが、それ以上のページを含むサイトでは、上述した処理を繰り返して、データ収集を行うことになる。
【０２７３】
また、この事例では、説明の複雑化を避けるために、一のページに他の一のページのみがリンクされているサイトでのデータ収集等の動作を説明したが、実際には一のページに他の複数のページがリンクされていることが多く、その場合には、上述のように、サイト情報記憶部２１に設定された最大同時アクセス数の範囲内で複数のデータ処理部１４が起動して（図３参照）、各データ処理部１４がそれぞれ図７（及び後述する図１１）の処理を行うことになる。
【０２７４】
さらには、ある特定サイト内のページに他の別のサイトのページがリンクされているような場合（例えば上述した特定サイトｈｔｔｐ：／／ａｂｃｄ．ｃｏ．ｊｐ／０００１．ｈｔｍｌの所定ページ０００３．ｈｔｍｌに他の別のサイトｈｔｔｐ：／／ｗｘｙｚ．ｃｏ．ｊｐのページ０００１．ｈｔｍｌがリンクされているような場合）であっても、上述した処理を繰り返すことで、一の特定サイトに関係する全てのデータ収集を行うことが可能である。但し、上述のように、この場合には、ｈｔｔｐ：／／ｗｘｙｚ．ｃｏ．ｊｐ／０００１．ｈｔｍｌについてのコンテンツ自体の取得が行われることはなく、また該ぺージからリンクされたページ等（例えばｈｔｔｐ：／／ｗｘｙｚ．ｃｏ．ｊｐ／０００２．ｈｔｍｌなど）についてアクセスされることもない。
【０２７５】
なお、図９では、サイト情報記憶部２１に別の特定サイト（特定サイト２）であるｈｔｔｐ：／／ｅｆｇｈ．ｃｏ．ｊｐ／０００１．ｈｔｍｌのサイト情報も登録された例を示しているが、情報収集・提供システム１では、このように複数の特定サイトが登録されて、複数のサイトの収集を行なう際にも、同様の処理を同時に並行して行なうことになる（図２参照）。但し、図９に示す例では、特定サイト１と特定サイト２とでは収集開始日時の設定が異なるため、情報収集等の処理は同時には行われない。
【０２７６】
さらに、この図９では、特定サイトをＷｅｂサイトとした場合の参照情報記憶部２２及びデータ情報記憶部２３に記憶する内容を示したが、特定サイトをディレクトリツリー型のファイルシステムや、ドメイン参加型ネットワーク機器群などとした場合でも、同様の処理により、情報収集及び連携システムへの情報提供の処理を実現できる。
【０２７７】
（本システムと他システムとの連携）
次に、情報収集・提供システム１と他システムとの連携、すなわち収集した情報を連携システムに提供する処理等について、図１０乃至図１２を参照して詳細に説明する。
【０２７８】
なお、図１０は、情報収集・提供システム１のデータ処理装置１０と他システムとの連携（結合形態）を概略的に示している。一方、図１１は、データ処理装置１０と他システムの実行動作を説明するためのフローチャートであり、図６のステップＳ７１のサブルーチンの動作を示している。また、図１２は、データ処理装置１０から他システムに送信される、統一したデータ形式としてのコンテンツボールの内容を示している。
【０２７９】
情報収集・提供システム１のデータ処理装置１０では、サイト全体の処理を管理する参照情報処理部１３と、サイトに含まれる個々のページのデータを処理するデータ処理部１４とにより、ローカルまたはネットワーク１００を介して該情報収集・提供システム１と接続される連携システムに対して、収集情報の提供を行う。
【０２８０】
ここで、情報収集・提供システム１から連携システムに対して提供（送信）される収集情報としては、ＣＰＵ内のＲＡＭを用いて転送するコンテンツボール３０（図１０及び図１２参照）と、コンテンツ自体を格納している不図示の一時ファイルとから成る。なお、これら収集情報のうちの一時ファイルについては、連携システムが必要とする情報の如何等によっては、提供しないようにしても構わない。
【０２８１】
また、情報収集・提供システム１は、接続された連携システムに対して、記憶装置２０における各記憶部２１，２２，２３へのアクセスを許可し、これらの登録データを連携システムが適宜参照可能とすることで、補助的な情報の提供も行う。
【０２８２】
情報収集・提供システム１から連携システムに対しての収集情報（コンテンツボール３０及び一時ファイル）の提供（送信）時期については、情報収集・提供システム１が特定サイトの情報収集を行なう直前の（ａ）サイト情報収集開始（ＳＴＡＲＴ）の際（すなわち図６のステップＳ７１の処理中）と、情報収集・提供システム１が特定サイトに含まれるページのデータ処理を終了した際（すなわち図７のステップＳ７５１１の処理中）と、情報収集・提供システム１が特定サイトの情報収集を全て完了した直後の（ｂ）サイト情報収集完了（ＥＮＤ）の際（すなわち図６のステップＳ８１の処理中）と、の３つに大別され、このうちページのデータ処理を終了した際においては、特定サイトに含まれる個々のページを正常に処理した（ｃ）ページ処理済（ＩＮＦＯ）の場合と、特定サイトに含まれる個々のページを処理する際に、異常等を検出したため該ページのデータを正常に処理できなかった（ｄ）ページ処理異常（ＥＲＲ）の場合とがある。
【０２８３】
なお、（ａ）サイト情報収集開始或いは（ｂ）サイト情報収集完了の際の提供情報には、当該特定サイトのサイト名が含まれ、（ｃ）ページ処理済の際の提供情報には、特定サイトに含まれる当該ページの処理結果を示す情報が含まれ、（ｄ）ページ処理異常の際の提供情報には、当該ページの処理時に検出された異常を示す情報が含まれることになる。
【０２８４】
また、コンテンツボール３０及び一時ファイルの作成主体については、（ａ）サイト情報収集開始、或いは（ｂ）サイト情報収集完了の場合には、データ処理装置１０の参照情報処理部１３が作成し、（ｃ）ページ処理済、或いは（ｄ）ページ処理異常の場合には、データ処理装置１０のデータ処理部１４が作成することになる。
【０２８５】
情報収集・提供システム１は、連携する他システムに対して、共通のインタフェースを提供する。ここで、共通のインタフェースとしては、図１１のステップＳ７１３１〜ステップＳ７１３６に示す処理、及び、情報収集・提供システム１への登録処理、さらには、情報収集・提供システム１からのイベント検知処理、等が挙げられる。
【０２８６】
各連携システムを情報収集・提供システム１に登録する（すなわち図９に示す記憶装置２０のサイト情報記憶部２１の「連携システム名」に登録する）処理においては、不図示の表示部の入力画面上で、当該連携システムを図１０のいずれの位置に結合するかについての設定を行うことが可能となっている。結合の設定を行う際には、当該連携システムのシステム名（図９参照）を用い、どの位置に結合したかは、情報収集・提供システム１のＣＰＵ内に記憶される。
【０２８７】
例えば、図１０に示す例では、連携システムＡが情報収集・提供システム１に直接結合した設定とされ、また、連携システムＢは、先に結合したシステムＡに対して結合した設定とされる。本実施形態では、このような結合態様とすることにより、連携システムＡへの情報提供処理を行なった後に連携システムＢへの情報提供処理を行なえる、という処理の連続性について保証している。
【０２８８】
一方、図１０に示す例では、連携システムＣについては、連携システムＡ及びＢと関わりなく、情報収集・提供システム１に直接結合した設定とされる。本実施形態では、このように、先に結合している連携システムＡ等が存在していても、情報収集・提供システム１自体に直接結合できる構成となすことにより、他の連携システムの動作に影響を受けない、という連携システム相互間での独立性についても保証している。
【０２８９】
本実施の形態の情報収集・提供システム１では、このように、各連携システムに対して、処理に応じたシステム連携（結合態様）を選択できるようにしているので、連携システム側でも、本システムを利用したネットワークアプリケーションの開発が容易になる。
【０２９０】
（コンテンツボールのデータ構造）
この情報収集・提供システム１に結合するシステムは、コンテンツボール３０を受信することで、データ処理装置１０の処理状況と、特定サイトの情報を全て知ることができる。コンテンツボール３０は、上述した共通インタフェースと同様に、（ａ）サイト情報収集開始と、（ｂ）サイト情報収集完了と、（ｃ）ページ処理済と、（ｄ）ページ処理異常と、でそれぞれ同じデータ構造（データフォーマット）となっており、以下は、図１２を参照してコンテンツボール３０のデータ構造について説明する。
【０２９１】
図１２に示すように、コンテンツボール３０には、メッセージステータスが含まれる。このメッセージステータスの種類としては、図１２に示すように、「ＳＴＡＲＴ」，「ＥＮＤ」，「ＩＮＦＯ」，「ＥＲＲ」があり、これらはそれぞれ、前述の（ａ）サイト情報収集開始，（ｂ）サイト情報収集完了，（ｃ）ページ処理済，（ｄ）ページ処理異常を示すものである。
【０２９２】
連携システムは、コンテンツボール３０のメッセージステータスのデータを参照することで、当該連携システム固有の処理を行なう。具体的には、例えばメッセージステータスがＳＴＡＲＴの場合には、前処理として、当該連携システムのデータベースの初期化処理を行ったり、ＩＮＦＯの場合は、後処理として、コンテンツボール３０の「一時ファイル名」から一時ファイルを取得して単語を検索する処理を行う、等である。このような連携システム固有の処理は、後述するステップＳ７１３２（前処理）又はステップＳ７１３６（後処理）で行われることになる。
【０２９３】
また、コンテンツボール３０には、サイト情報が含まれる。このサイト情報は、記憶装置２０のサイト情報記憶部２１のサイト情報と同じ情報である。連携システムは、コンテンツボール３０のサイト情報を参照することで、例えば当該連携システムの前処理や後処理の設定によっては、記憶装置２０のサイト情報記憶部２１にアクセスして、特定サイトの内容を参照することも可能である。
【０２９４】
また、コンテンツボール３０には、ページ情報が含まれる。ページ情報とは、図１２に示すように、そのデータのネットワーク上の場所（具体的にはＵＲＬなど），階層，種別，サイズ，更新日時，収集状態を指しており、これらは記憶装置２０のデータ情報記憶部２３の各々と同じ内容である。連携システムは、コンテンツボール３０のページ情報を参照することで、同様に、例えば当該連携システムの前処理や後処理の設定に基づいて、記憶装置２０のデータ情報記憶部２３にアクセスして、特定ページの内容を参照することも可能である。
【０２９５】
また、コンテンツボール３０には、ページ状態が含まれる。ページ状態とは、データ処理部１４が今回収集したページの状態について、前回収集時のデータ（すなわちデータ情報記憶部２３の前データ情報の記憶領域の登録データ）と比較した結果について示すものであり、図１２に示すように、今回収集したページが新規に追加されたものである場合にはＮＥＷが、前回の収集から更新があった場合にはＵＰＤＡＴＥが、前回の収集時と同じ場合にはＮＯＮＥが設定される。
【０２９６】
具体的には、特定サイトへの最初の収集のときには、全てのコンテンツボール３０のページ状態はＮＥＷとなり、２度目以降の収集のときには、前回のデータと比較した結果のＮＥＷ（新規ページ），ＵＰＤＡＴＥ（更新あり），ＮＯＮＥ（更新なし）のいずれかが設定されることになる。
【０２９７】
また、コンテンツボール３０には、一時ファイル名が含まれる。一時ファイル名とは、図４で説明した、データ処理部１４のデータ取得部１４１がネットワーク１００越しにサーバから取得したコンテンツを保存した一時ファイルの名称及び場所（ディレクトリ名等）を示すものである。したがって、連携システムは、コンテンツボール３０の一時ファイル名を参照することで、一時ファイルにアクセスして、コンテンツの内容を参照することが可能となる。
【０２９８】
コンテンツボール３０のページ情報とページ状態は、メッセージステータスがＩＮＦＯ（ページ処理済）またはＥＲＲ（ページ処理異常）の場合に設定され、ＳＴＡＲＴ（サイト情報収集開始）或いはＥＮＤ（サイト情報収集終了）の場合には設定されず、空の状態となる。また、コンテンツボール３０の一時ファイル名は、ページ状態がＮＥＷ（新規ページ）やＵＰＤＡＴＥ（更新あり）の場合など、データ処理装置１０がコンテンツ自体を取得し、一時ファイルを作成した場合に設定される。
【０２９９】
次に、図１１のフローチャートを参照して、図６のステップＳ７１のサブルーチン、すなわちデータ処理装置１０が特定サイトの情報収集の実行を開始する場合に、データ処理装置１０から連携システムに（ａ）サイト情報収集開始（ＳＴＡＲＴ）を通知する処理の詳細について説明する。
【０３００】
なお、図１１は（ａ）サイト情報収集開始（ＳＴＡＲＴ）の際についてのフローチャートであるが、上述した（ｂ）サイト情報収集完了（ＥＮＤ）の際，（ｃ）ページ処理済（ＩＮＦＯ）の際，（ｄ）ページ処理異常（ＥＲＲ）の際についても同様のフローで行われる。したがって、（ｂ）サイト情報収集完了（ＥＮＤ）の場合には図１１のフローチャートが図６のステップＳ８１のサブルーチンとなり、（ｃ）ページ処理済（ＩＮＦＯ）と（ｄ）ページ処理異常（ＥＲＲ）の場合には図１１のフローチャートが図７のステップＳ７５１１のサブルーチンとなる。
【０３０１】
また、図１１のステップＳ７１１乃至ステップＳ７１３の処理は、（ａ）サイト情報収集開始（ＳＴＡＲＴ）と（ｂ）サイト情報収集完了（ＥＮＤ）の場合には、参照情報処理部１３が主体となり、（ｃ）ページ処理済（ＩＮＦＯ）と（ｄ）ページ処理異常（ＥＲＲ）の場合には、データ処理部１４が主体となる。
【０３０２】
一方、図１１の右側に示すフローチャート（ステップＳ７１３１乃至ステップＳ７１３６）は、ステップＳ７１３でコンテンツボール３０を受信した連携システムが行う処理を示すものである。
【０３０３】
データ処理装置１０において、前述の起動命令に基づいて起動した参照情報処理部１３は、図６のステップＳ７１で特定サイトのサイト情報（ＵＲＬ等）を取得するが、その際に、取得したＵＲＬ等に基づいて、コンテンツボール３０を作成する（ステップＳ７１１）。
【０３０４】
この場合のコンテンツボール３０は、図１２のうち、メッセージステータス（＝ＳＴＡＲＴ）とサイト情報だけが含まれ、ページ情報等は含まれないものとなる。
【０３０５】
また、参照情報処理部１３は、（ｂ）サイト情報収集完了（ＥＮＤ）の場合には、図６のステップＳ８１内の処理として、コンテンツボール３０を作成する。
【０３０６】
この場合のコンテンツボール３０は、図１２のうち、メッセージステータス（＝ＥＮＤ）と、サイト情報だけが含まれ、ページ情報等は含まれないものとなる。
【０３０７】
一方、データ処理部１４は、（ｃ）ページ処理済（ＩＮＦＯ）と（ｄ）ページ処理異常（ＥＲＲ）の場合に、データ処理を終えた図７のステップＳ７５１１において、収集データからコンテンツボール３０を作成する。
【０３０８】
この場合のコンテンツボール３０は、図１２の全ての情報が含まれたものとなる。
【０３０９】
これらの場合、参照情報処理部１３或いはデータ処理部１４は、コンテンツを取得し一時ファイルを作成した場合には、その一時ファイル名もコンテンツボール３０に格納する。
【０３１０】
なお、本実施形態では、情報収集・提供システム１は、メッセージステータスがＳＴＡＲＴ、ＥＮＤ、ＥＲＲの場合と、ＩＮＦＯでかつページ状態がＮＯＮＥの場合には、一時ファイルを作成しないようになっている。換言すれば、本実施形態では、メッセージステータスがＩＮＦＯでかつページ状態がＮＥＷまたはＵＰＤＡＴＥの場合、すなわち、そのページのコンテンツ（更新されていた場合を含む）を一度も本システム１が収集していない場合にのみ、一時ファイルが作成されることになる。
【０３１１】
次のステップＳ７１２で、参照情報処理部１３（上記（ｃ），（ｄ）の場合にはデータ処理部１４、以下同様である。）は、記憶装置２０のサイト情報記憶部２１に登録された連携システム名（図９参照）を取得して、ステップＳ７１３に移行する。
【０３１２】
ステップＳ７１３で、参照情報処理部１３は、Ｓ７１１で作成したコンテンツボール３０を、連携システム（ここでは図１０の連携システムＡとする）に対して送信する。
【０３１３】
また、ステップＳ７１３では、参照情報処理部１３は、コンテンツボール３０の送信先となる連携システム（ここでは連携システムＡ）が、後述するステップＳ７１３１乃至７１３６の処理を完了するまで待機する。
【０３１４】
以下、コンテンツボール３０の送信先となる連携システム（連携システムＡ）が行う処理について、図１１右側のフローチャートを参照して説明する。
【０３１５】
連携システムＡは、ステップＳ７１３１で参照情報処理部１３（又はデータ処理部１４）からのコンテンツボール３０を受信すると、次のステップＳ７１３２で、受信したコンテンツボール３０の上述したメッセージステータスを参照して、当該連携システムＡに固有な第１の処理（前処理）を、必要に応じて行った後に、ステップＳ７１３３に移行する。
【０３１６】
ステップＳ７１３３で、連携システムＡは、記憶装置２０のサイト情報記憶部２１にアクセスして、サイト情報記憶部２１から、当該特定サイトの「連携システム名」欄に登録された、自機（システムＡ）に関連する連携システム名（この事例では連携システムＡ及び（連携システムＡに関連している）連携システムＢの連携システム名）を取得して、ステップＳ７１３４に移行する。
【０３１７】
ステップＳ７１３４で、連携システムＡは、取得した連携システム名に、連携システムＡの不図示のＣＰＵ内に記憶されているその他の連携システムが含まれているか否か（すなわち、自システム名に他の連携システム名が関連付けられているか否か）を判定して、Ｙｅｓすなわち今回の連携では連携システムＡ以外の他の連携システムが存在すると判定した場合にはステップＳ７１３５に移行し、Ｎｏすなわち今回の連携では連携システムＡ以外に他の連携システムが存在しないと判定した場合には、ステップＳ７１３６に移行する。
【０３１８】
ステップＳ７１３５で、連携システムＡは、他の連携システム（この事例では図１０の連携システムＢ）に対してコンテンツボール３０を転送（すなわち複写して送信）した後に、ステップＳ７１３６に移行する。
【０３１９】
なお、連携システムＡからコンテンツボール３０を受信した他の連携システム（この事例では連携システムＢ）は、連携システムＡと同様に、ステップＳ７１３１乃至ステップＳ７１３６の処理を行うことになる。この場合、連携システムＡは、連携システムＢのかかる処理が終了するまでステップＳ７１３５で待機し、連携システムＢの処理が終了すると、ステップＳ７１３６に移行する。
【０３２０】
ステップＳ７１３６で、連携システムＡは、コンテンツボール３０の上述したメッセージステータスを参照して、当該連携システムＡに固有な第２の処理（後処理）を、必要に応じて行った後に、一連の処理を終了する。
【０３２１】
かくして、連携システムＡによるステップＳ７１３１乃至ステップＳ７１３６の処理が終了すると、参照情報処理部１３（上記（ｃ），（ｄ）の場合にはデータ処理部１４）は、ステップＳ７１３の処理を抜けて、図６のステップＳ７２に移行することになる。
【０３２２】
図１１で説明したこれら一連の処理は、特定サイトの情報収集を開始・終了するとき（すなわち上記（ａ），（ｂ）の場合）に１度づつと、特定サイト内のデータ（ページ等）の各々を処理する（すなわち上記（ｃ），（ｄ）の）度に行なわれる。具体的には、例えばあるＷｅｂサイト（特定サイト）に１００個のページが存在する場合には、１＋１００＋１＝１０２回のコンテンツボール３０の作成・送信と、連携システムでの処理が行なわれることになる。
【０３２３】
そのため、連携システム側では、上述したステップＳ７１３２又はステップＳ７１３６の各固有処理における自機のＣＰＵの使用量と処理時間を予め推測して、ＣＰＵ使用量が多く時間もかかる固有処理については（ａ）サイト情報収集開始の際及び／又は（ｂ）サイト情報収集完了の際に行い、ＣＰＵ使用量が少なく時間も少なくて済む固有処理については（ｃ）ページ処理済の際及び／又は（ｄ）ページ処理異常の際に行なうことが望ましい。その理由は、情報収集・提供システム１のデータ処理装置１０では、通常、複数のデータ処理部１４（１４ａ〜ｎ）が動作するために、上記（ｃ），（ｄ）でＣＰＵとネットワーク１００を最も多く使用している状態にあることによる。
【０３２４】
このように、実施の形態の情報収集・提供システム１では、特定サイトに対するデータ収集の開始の際（（ａ）サイト情報収集開始（ＳＴＡＲＴ））、特定サイト内の一のページについてのデータ処理終了の際（（ｃ）ページ処理済又は（ｄ）ページ処理異常））、及び、特定サイトに対するデータ収集の終了の際（（ｂ）サイト情報収集完了（ＥＮＤ））、の各々の時点で、それぞれ同一のデータフォーマットによる提供データ（コンテンツボール３０）を連携システムに送信するので、クライアント側となる連携システム側では、特定サイト内に存在する複数の異なる形態の情報に対して、形態の違いを特に意識することなく参照でき、管理や情報参照の手間の軽減を図ることが可能となる。また、連携システム側では、コンテンツボール３０の受信及び解析処理を統一することが可能となり、連携部分のプログラムの作成工数を短縮でき、本システムを利用したネットワークアプリケーションの開発効率を高めることが可能となる。
【０３２５】
そして、連携システムは、受信した各コンテンツボール３０を解析して、例えば「ページ状態」等の情報により特定サイトの新規ページや更新されたページが分かり、また、「メッセージステータス」が「ＥＲＲ」の場合には所謂リンク切れであることが分かり、また、「メッセージステータス」が「ＩＮＦＯ」であるコンテンツボール３０の数をカウントすることで、特定サイトの総ページ数が分かり、さらには、「ページ情報」の「サイズ」を積算することで、特定サイトの全容量が分かることになる。さらにまた、連携システムは、記憶装置２０の各記憶部２１，２２，２３にアクセスして必要な情報を参照することにより、特定サイトに関する種々の情報を得ることが可能となる。
【０３２６】
従って、本実施の形態の情報収集・提供システム１によれば、各連携システムに対して、種々の情報提供のサービスを行うことが可能で、検索以外の様々なサービスのニーズにも対応することが可能となる。
【０３２７】
なお、上述した実施の形態では、データ処理装置１０がネットワーク１００上で共有されているデータをネットワーク１００を介して取得する例について説明したが、これに限定されず、例えば情報収集・提供システム１と不図示の他のコンピュータとでＬＡＮを組み、データ処理装置１０で当該他のコンピュータ内のデータを取得するようにしても良いことは勿論、データを取得するコンピュータ内に情報収集・提供システム１を直接組み込んで、該コンピュータ内のデータを取得するようにしても良い。
【０３２８】
さらに、上述した実施の形態では、主に、情報収集及び提供する対象がＷＷＷデータである場合について説明したが、これに限定されず、例えばディレクトリツリー型のファイルシステムを情報収集の対象とし、ディレクトリツリーを階層（リンク）として扱い、かつ、各ディレクトリに格納されているファイルを収集データとして、あるディレクトリ内の全てのファイルを取得し、サブディレクトリを検知し、更にサブディレクトリ内のファイルを取得しつづけることで、ディレクトリツリー内の全てのデータを取得することも可能である。
【０３２９】
また、ドメイン参加型ネットワークを情報収集の対象とし、ドメインを階層（リンク）、ドメインに属しているネットワーク機器を収集データとして、あるドメイン内の全てのネットワーク機器の状態を取得し、サブドメインを検知し、更にサブドメイン内のネットワーク機器の状態を取得し続けることで、ドメイン内の全てのネットワーク機器の状態（例えば「起動している」，「問題なく動作している」，「ハングアップしている」，等の各種状態）についての情報を取得することも可能である。
【０３３０】
このように、情報収集・提供システム１によれば、高速で質の高い情報収集が行われ、指定されたサイト内における情報を効率良く高速に収集することが可能となる。
【０３３１】
また、情報収集・提供システム１によれば、情報収集に際してＣＰＵやネットワーク等のハードウェア資源の負荷を軽減することが可能となる。
【０３３２】
さらに、情報収集・提供システム１によれば、指定されたサイト内における情報収集後の情報提供に関するサービスの向上が実現する。
【０３３３】
そして、情報収集・提供システム１によれば、ローカルコンピュータ内のデータもしくはネットワーク上で共有されているデータで、階層（リンク）関係を持つが形式が異なる情報群（例えばＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）は勿論、Ｍａｃｒｏｍｅｄｉａ社のＦｌａｓｈやディレクトリツリー型ファイルシステム、ドメイン参加型ネットワーク機器群など、）に対し、あたかも同一の形式の情報群として１つのファイルシステムとして認識し、階層関係に基づいてデータを収集し、記憶装置に登録し、さらには連携システムに提供することが可能となる。これにより、本システム及び他の連携システムの使用者は、特定サイト内に存在する複数の異なる形態の情報に対して特に意識することなく参照できるようになり、管理や情報参照の手間が大幅に軽減する。
【０３３４】
【発明の効果】
以上詳細に説明したように、本発明によれば、高速で質の高い情報収集のシステムを構築し、指定されたサイト内における情報を効率良く高速に収集する、情報収集システム、情報収集方法、及び情報収集プログラムを提供することが可能となる。
【０３３５】
また、本発明によれば、情報収集に際してＣＰＵやネットワーク等のハードウェア資源の負荷を軽減することが可能な、情報収集システム、情報収集方法、及び情報収集プログラムを提供することが可能となる。
【０３３６】
さらに、本発明によれば、指定されたサイト内における情報収集後の情報提供に関するサービスの向上を実現した、情報収集システム、情報収集方法、及び情報収集プログラムを提供することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した情報収集・提供システムの概略構成を示す機能ブロック図である。
【図２】複数のサイトと複数のコンテンツに対して同時並行的に情報収集を行なう場合の、前記情報収集・提供システム内の特に参照情報処理部とデータ処理部における複数構成について説明するための図である。
【図３】複数のコンテンツに対して同時並行的に情報収集を行う場合の前記情報収集・提供システムの動作を、従来のロボット型エンジンのシステムの動作と比較して示す図であり、データ処理装置において２つのデータ処理部が相互に異なるコンテンツに対して情報収集を行う場合の、データ処理管理部と各データ処理部とにおける通知（呼び覚まし）機能の動作について説明するための図である。
【図４】複数の異なるプロトコルやデータ形式に対して透過的に処理を行なう場合の、前記情報収集・提供システム内の特にデータ処理部における構成について説明するための図である。
【図５】情報収集・提供システムにおいて特定サイトに対する情報取得を行う場合の、システム全体の動作概要を示すフローチャートであり、主に情報取得を開始するまでの動作を説明するためのものである。
【図６】一の特定サイトに対する情報取得の実行動作の概要を説明するためのフローチャートであり、図５のステップＳ７から派生したルーチンの処理を示す。
【図７】一の特定サイト内の一のページに対する情報取得の実行動作の詳細を説明するためのフローチャートであり、図６のステップＳ７５から派生したルーチンの動作を示す。
【図８】情報収集・提供システムにおける参照情報処理部と各データ処理部の動作、及び記憶装置の各記憶部に記憶されるデータ等について説明する図である。
【図９】情報収集・提供システムにおける記憶装置の各記憶部に記憶される情報についてのデータテーブルを表した図である。
【図１０】情報収集・提供システムのデータ処理装置と他システムとの連携を概略的に示す図である。
【図１１】情報収集・提供システムがコンテンツボールを作成して連携システムに送信する処理、及び、コンテンツボールを受信した連携システムが行う処理について示すフローチャートであり、図６のステップＳ７１，ステップＳ８１，及び図７のステップＳ７５１１のサブルーチンを説明するための図である。
【図１２】情報収集・提供システムが連携システムに送信するコンテンツボールのデータ構造について説明する図である。
【符号の説明】
１  情報収集・提供システム
１０  データ処理装置
１１  システム管理部
１２  サイト管理部（管理手段）
１３（１３ａ，１３ｂ，１３ｃ，・・・）  参照情報処理部（管理手段、提供データ生成手段）
１４（１４ａ，１４ｂ，１４ｃ，・・・）  データ処理部（データ処理手段、提供データ生成手段）
１４１（１４１ａ，１４１ｂ，・・・）  データ取得部（ページアクセス手段、ヘッダ情報取得手段、判定手段、コンテンツ取得手段）
１４２（１４２ａ，１４２ｂ，・・・）  データ解析部（コンテンツ取得手段）
１４３  データ登録部（情報登録手段）
１５    参照情報処理管理部（管理手段）
１６（１６ａ，１６ｂ，１６ｃ，・・・）    データ処理管理部（管理手段）
２０  記憶装置
２１    サイト情報記憶部
２２    参照情報記憶部
２３    データ情報記憶部
３０  コンテンツボール（提供データ）
１００  ネットワーク
【図１】
2004318746.tif 000003
【図２】
2004318746.tif 000004
【図３】
2004318746.tif 000005
【図４】
2004318746.tif 000006
【図５】
2004318746.tif 000007
【図６】
2004318746.tif 000008
【図７】
2004318746.tif 000009
【図８】
2004318746.tif 000010
【図９】
2004318746.tif 000011
【図１０】
2004318746.tif 000012
【図１１】
2004318746.tif 000013
【図１２】
2004318746.tif 000014