(57)【要約】【課題】データ収集ノードがデータを収集し所定の処理を行うシステムにて、データ収集ノードにおける通信トラフィック量の増大および処理負荷の増大を回避し、効率的な処理の実行を実現する。【解決手段】端末装置10は、データを取得するデータ取得部11と、取得されたデータが更新されているか否かを判断し、当該判断結果に基づいて、データの更新に関する情報をデータ収集ノードに送信すべきか否かを判定する送信要否判定部12と、送信すべきと判定された場合に、データの更新に関する情報等をデータ収集ノードに送信するデータ送信部13と、取得されたデータや当該データの更新に関する情報などを保存するキャッシュデータ保存部14とを備える。送信要否判定部１２は、保存された前回のデータの更新時刻と取得された今回のデータの更新時刻とを比較し、該比較結果に基づいて今回のデータの更新有無を判断する。【選択図】図２
2010182243.tif 000002
【特許請求の範囲】
【請求項１】
データを取得するデータ取得手段と、
前記データ取得手段により取得されたデータが更新されているか否かを判断する更新判断手段と、
前記更新判断手段による判断結果に基づいて、前記データの更新に関する情報をデータ収集ノードに送信すべきか否かを判定する送信要否判定手段と、
前記送信要否判定手段により前記データの更新に関する情報を送信すべきと判定された場合、前記データの更新に関する情報を前記データ収集ノードに送信するデータ送信手段と、
を備える端末装置。
【請求項２】
前記端末装置は、前記データ取得手段により取得されたデータを保存するキャッシュデータ保存手段、をさらに備え、
前記更新判断手段は、前記キャッシュデータ保存手段により保存されている前回のデータの更新時刻と、前記データ取得手段により取得された今回のデータの更新時刻とを比較し、該比較結果に基づいて、前記今回のデータが更新されているか否かを判断する、
ことを特徴とする請求項１に記載の端末装置。
【請求項３】
前記端末装置は、
前記データ取得手段により取得されたデータのハッシュ値を算出するハッシュ値算出手段と、
前記ハッシュ値算出手段により算出されたハッシュ値を保存するハッシュ値保存手段と、
をさらに備え、
前記更新判断手段は、前記ハッシュ値保存手段により保存されている前回のデータのハッシュ値と、前記ハッシュ値算出手段により算出された今回のデータのハッシュ値とを比較し、該比較結果に基づいて、前記今回のデータが更新されているか否かを判断する、
ことを特徴とする請求項１に記載の端末装置。
【請求項４】
前記データ送信手段は、さらに、前記データ取得手段により取得されたデータを、前記データ収集ノードに送信する、
ことを特徴とする請求項１〜３の何れか１項に記載の端末装置。
【請求項５】
１つ以上の端末装置にて更新されていると判断されたデータの更新に関する情報を、当該端末装置から受信するデータ受信手段と、
前記データ受信手段により受信された前記データの更新に関する情報に対し所定の処理を行い、新たな情報を生成する生成手段と、
前記生成手段により生成された新たな情報を出力する出力手段と、
を備えるデータ収集ノード。
【請求項６】
前記データ受信手段は、さらに、前記１つ以上の端末装置から送信された、前記データの更新に関する情報に係る当該データを受信し、
前記出力手段は、さらに、前記データ受信手段により受信された当該データを出力する、
ことを特徴とする請求項６に記載のデータ収集ノード。
【請求項７】
１つ以上の請求項５に記載のデータ収集ノードと、１つ以上の請求項１に記載の端末装置と、を含んで構成されるデータ収集システム。
【請求項８】
１つ以上のデータ収集ノードと１つ以上の端末装置とを含んで構成されるデータ収集システムにて実行されるデータ収集方法であって、
前記端末装置がデータを取得するデータ取得ステップと、
前記端末装置が前記データ取得ステップにより取得されたデータが更新されているか否かを判断する更新判断ステップと、
前記更新判断ステップにおける判断結果に基づいて、前記データの更新に関する情報を前記データ収集ノードに送信すべきか否かを判定する送信要否判定ステップと、
前記端末装置が前記送信要否判定ステップにより前記データの更新に関する情報を送信すべきと判定された場合、前記データの更新に関する情報を前記データ収集ノードに送信するデータ送信ステップと、
前記データ収集ノードが前記データ送信ステップにより送信された、前記データの更新に関する情報を受信するデータ受信ステップと、
前記データ収集ノードが前記データ受信ステップにより受信された、前記データの更新に関する情報に対し所定の処理を行い、新たな情報を生成する生成ステップと、
前記データ収集ノードが前記生成ステップにより生成された新たな情報を出力する出力ステップと、
を備えるデータ収集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上や自己の装置内に存在するデータを閲覧する端末装置と、上記データを収集し所定の処理を行うデータ収集ノードと、１つ以上の端末装置および１つ以上のデータ収集ノードを含んで構成されるデータ収集システム、並びに、同システムにて実行されるデータ収集方法に関する。
【背景技術】
【０００２】
従来より、ネットワーク内のさまざまなサーバや多数の端末装置からデータを収集し所定の処理（例えば解析処理）を行うデータ収集ノードが知られていた。このような従来のデータ収集ノードは、自身で、サーバや端末装置からのデータ受信および受信したデータに対する所定の処理（例えば解析処理）を行っていたため、データ収集ノードへの通信トラフィック量が増大するとともにデータ収集ノードにおける処理負荷も増大するため、処理対象となるデータ量が増えるほど、当該処理に要する時間が長くなってしまい、効率的な処理の実行が困難であった。
【０００３】
また、従来技術のウェブのクローリングで見られるように、仮にデータ収集ノードが頻繁にデータを取得できれば、当該データの更新有無を迅速に判定できるが、この場合、当該データを提供するサーバにおける通信トラフィックの増大および処理負荷の増大を招いてしまい、その結果、当該サーバのデータを利用する端末装置へのサービス提供が円滑に行えなくなるといった問題が生じるおそれがあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−４８３２７号公報
【特許文献２】特開２００６−２７６９８０号公報
【特許文献３】特開２００２−１４９４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の問題に鑑み、本発明は、データ収集ノードがネットワークからデータを収集し所定の処理（例えば解析処理）を行うシステムにおいて、データ収集ノードにおける通信トラフィック量の増大および処理負荷の増大を回避し、効率的な処理の実行を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る端末装置は、データを取得するデータ取得手段と、前記データ取得手段により取得されたデータが更新されているか否かを判断する更新判断手段と、前記更新判断手段による判断結果に基づいて、前記データの更新に関する情報をデータ収集ノードに送信すべきか否かを判定する送信要否判定手段と、前記送信要否判定手段により前記データの更新に関する情報を送信すべきと判定された場合、前記データの更新に関する情報を前記データ収集ノードに送信するデータ送信手段と、を備えることを特徴とする。
【０００７】
即ち、データ収集ノードに代わり、端末装置が、データを取得し、取得されたデータが更新されているか否かを判断し、当該判断結果に基づいてデータの更新に関する情報をデータ収集ノードに送信すべきか否かを判定し、送信すべきと判定された場合に、データの更新に関する情報をデータ収集ノードに送信する。そのため、データが更新されている場合のみ、データ収集ノードへの当該データの更新に関する情報の送信が行われ、データ収集ノードへの不必要な送信を回避することができ、データ収集ノードにおける通信トラフィック量の増大および処理負荷の増大を回避し、効率的な処理の実行を実現することができる。
【０００８】
なお、更新判断手段におけるデータ更新有無の判断については、以下のようにデータの更新時刻の比較に基づく判断を採用してもよいし、データのハッシュ値の比較に基づく判断を採用してもよい。
【０００９】
即ち、上記端末装置は、前記データ取得手段により取得されたデータを保存するキャッシュデータ保存手段、をさらに備え、前記更新判断手段は、前記キャッシュデータ保存手段により保存されている前回のデータの更新時刻と、前記データ取得手段により取得された今回のデータの更新時刻とを比較し、該比較結果に基づいて、前記今回のデータが更新されているか否かを判断してもよい。
【００１０】
また、上記端末装置は、前記データ取得手段により取得されたデータのハッシュ値を算出するハッシュ値算出手段と、前記ハッシュ値算出手段により算出されたハッシュ値を保存するハッシュ値保存手段と、をさらに備え、前記更新判断手段は、前記ハッシュ値保存手段により保存されている前回のデータのハッシュ値と、前記ハッシュ値算出手段により算出された今回のデータのハッシュ値とを比較し、該比較結果に基づいて、前記今回のデータが更新されているか否かを判断してもよい。
【００１１】
なお、上記データ送信手段は、データの更新に関する情報とともに、前記データ取得手段により取得されたデータを、前記データ収集ノードに送信してもよい。
【００１２】
本発明に係るデータ収集ノードは、１つ以上の端末装置にて更新されていると判断されたデータの更新に関する情報を、当該端末装置から受信するデータ受信手段と、前記データ受信手段により受信された前記データの更新に関する情報に対し所定の処理を行い、新たな情報を生成する生成手段と、前記生成手段により生成された新たな情報を出力する出力手段と、を備えることを特徴とする。
【００１３】
即ち、データ収集ノードは、１つ以上の端末装置にて更新されていると判断されたデータの更新に関する情報を、当該端末装置から受信し、当該データの更新に関する情報に対し所定の処理を行って新たな情報を生成し、生成された新たな情報を出力する。このように、データ収集ノードは、端末装置にて更新されていると判断されたデータの更新に関する情報を受信するため、即ち、更新されていないデータに関する不必要な受信を回避するため、データ収集ノードにおける通信トラフィック量の増大および処理負荷の増大を回避し、効率的な処理の実行を実現することができる。
【００１４】
なお、前記データ受信手段は、さらに、前記１つ以上の端末装置から送信された、前記データの更新に関する情報に係る当該データを受信し、前記出力手段は、さらに、前記データ受信手段により受信された当該データを出力することが望ましい。
【００１５】
上記のようにデータ収集ノードおよび端末装置は、相互に連携した動作を行うため、本発明は、データ収集システムに係る発明として捉えることができる。即ち、本発明に係るデータ収集システムは、１つ以上の上記データ収集ノードと、１つ以上の上記端末装置と、を含んで構成することができ、同様の作用・効果を奏する。
【００１６】
また、本発明は、データ収集システムにて実行されるデータ収集方法に係る発明として捉えることができる。即ち、本発明に係るデータ収集方法は、１つ以上のデータ収集ノードと１つ以上の端末装置とを含んで構成されるデータ収集システムにて実行されるデータ収集方法であって、前記端末装置がデータを取得するデータ取得ステップと、前記端末装置が前記データ取得ステップにより取得されたデータが更新されているか否かを判断する更新判断ステップと、前記更新判断ステップにおける判断結果に基づいて、前記データの更新に関する情報を前記データ収集ノードに送信すべきか否かを判定する送信要否判定ステップと、前記端末装置が前記送信要否判定ステップにより前記データの更新に関する情報を送信すべきと判定された場合、前記データの更新に関する情報を前記データ収集ノードに送信するデータ送信ステップと、前記データ収集ノードが前記データ送信ステップにより送信された、前記データの更新に関する情報を受信するデータ受信ステップと、前記データ収集ノードが前記データ受信ステップにより受信された、前記データの更新に関する情報に対し所定の処理を行い、新たな情報を生成する生成ステップと、前記データ収集ノードが前記生成ステップにより生成された新たな情報を出力する出力ステップと、を備えることを特徴とし、同様の作用・効果を奏する。
【発明の効果】
【００１７】
本発明によれば、データ収集ノードがネットワークからデータを収集し所定の処理（例えば解析処理）を行うシステムにおいて、データ収集ノードにおける通信トラフィック量の増大および処理負荷の増大を回避し、効率的な処理の実行を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】発明の実施形態１、２におけるデータ収集システムの概略構成図である。
【図２】実施形態１における端末装置および実施形態１、２におけるデータ収集ノードの機能ブロック構成図である。
【図３】実施形態１におけるデータ収集システムの動作シーケンスを示す図である。
【図４】実施形態１における送信先決定処理にて用いられるテーブルの一例を示す図である。
【図５】実施形態２における端末装置の機能ブロック構成図である。
【図６】実施形態２におけるデータ収集システムの動作シーケンスを示す図である。
【図７】実施形態２にてハッシュ値保存部およびログデータ保存部に保存されたデータ例を示す図である。
【図８】実施形態２における送信先決定処理にて用いられるテーブルの一例を示す図である。
【図９】実施形態１、２における端末装置のハードウェア構成図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る実施形態１、２を順に説明する。まず、これらの実施形態１、２に係る「データ」について説明する。端末装置が取得するデータは、ネットワーク上のコンテンツサーバが保持するウェブページなどのコンテンツだけでなく、端末装置が装備するカメラ、マイク、センサなどの機能から取得されるデータも広く含むものとする。
【００２０】
［実施形態１］
次に、図面を参照して、実施形態１に係るデータ収集システム１について説明する。図１に示すように、データ収集システム１は、複数のデータ収集ノード２０と複数の端末装置１０とを含んで構成され、これらは図示しないネットワークを介して相互に接続可能とされている。端末装置１０では、ユーザがネットワーク上や当該装置内に存在するデータを閲覧する。データ収集ノード２０は、上記データを収集し所定の処理（解析処理など）を行う。なお、ここでのネットワークは、無線通信ネットワーク（例えば移動通信ネットワークや無線ＬＡＮ網など）や有線ネットワークなど、さまざまなネットワークを採用することができる。
【００２１】
図２（ａ）に示すように、端末装置１０は、データを取得するデータ取得部１１と、取得されたデータが更新されているか否かを判断し、当該判断結果に基づいて、データの更新に関する情報をデータ収集ノード２０に送信すべきか否かを判定する送信要否判定部１２と、送信すべきと判定された場合に、当該データの更新に関する情報等をデータ収集ノード２０に送信するデータ送信部１３と、取得されたデータや当該データの更新に関する情報などを保存するキャッシュメモリとしてのキャッシュデータ保存部１４と、を備える。本発明に係る更新判断手段は、上記の送信要否判定部１２に含まれており、送信要否判定部１２は、キャッシュデータ保存部１４により保存されている前回のデータの更新時刻と、データ取得部１１により取得された今回のデータの更新時刻とを比較し、該比較結果に基づいて、今回のデータが更新されているか否かを判断する。
【００２２】
一方、図２（ｂ）に示すように、データ収集ノード２０は、端末装置１０にて更新されていると判断されたデータの更新に関する情報等を受信するデータ受信部２１と、受信された情報等に対し所定の処理を行い、新たな情報を生成する生成部２２と、生成された新たな情報や上記データの更新に関する情報などを出力する出力部２３と、データ収集ノード２０における処理に関するログデータを保存するログデータ保存部２４と、を備える。
【００２３】
なお、図９には、端末装置１０のハードウェア構成の一例を示す。端末装置１０は、ハードウェア構成として、ＣＰＵ１０Ａと、ＲＡＭ１０Ｂと、ＲＯＭ１０Ｃと、入力デバイスであるキーボードやマウス等の入力装置１０Ｄと、外部装置との通信を行う通信装置１０Ｅと、補助記憶装置１０Ｆと、出力デバイスであるディスプレイやプリンタ等の出力装置１０Ｇと、を備える。前述した端末装置１０の各機能ブロックの機能は、ＲＡＭ１０Ｂ等に所定のプログラムを読み込ませ、ＣＰＵ１０Ａの制御の下で入力装置１０Ｄ、通信装置１０Ｅ、出力装置１０Ｇを動作させ、補助記憶装置１０Ｆ等に対しデータの読み書きを行うことで実行される。一方のデータ収集ノード２０のハードウェア構成も、基本的に上記図９のハードウェア構成と同様であり、特別なハードウェア構成を必要とするものではない。
【００２４】
続いて、図３を用いてデータ収集システム１における端末装置１０とデータ収集ノード２０の連携に係る処理動作について説明する。図３の処理は、端末装置１０において、端末ユーザの操作や端末装置１０で動作するアプリケーションプログラムによって、データを取得するよう命令したことをトリガーとして実行開始する。
【００２５】
端末装置１０のデータ取得部１１は、端末ユーザの操作や端末装置１０で動作するアプリケーションプログラムによって、ネットワーク上のＵＲＩ（Uniform  Resource  Identifier）等の識別子や、端末装置１０が装備する図示しないカメラ、センサ等のデバイス名等によって指定されたデータ取得元から、データの取得を行う（図３のステップＳ０１）。取得後にデータ取得部１１は、取得したデータを送信要否判定部１２に渡すとともに、端末ユーザへのデータの提示（例えば表示装置への表示）やアプリケーションプログラムへのデータの転送を行う。
【００２６】
次に、送信要否判定部１２は、従来はデータ収集ノード２０にて行っていたデータの解析に係る処理の一部を、事前処理として、データ収集ノード２０に代わって実行する。ここでは、例えば、取得された今回のデータとキャッシュデータ保存部１４により保存されている前回のデータとを比較し、該比較結果に基づいてデータの更新に関する情報の送信要否を判断する。具体的に、送信要否判定部１２は、取得された今回のデータの更新時刻およびキャッシュデータ保存部１４により保存されている前回のデータの更新時刻を特定し（ステップＳ０２）、これら更新時刻同士を比較し、該比較結果に基づいて、今回のデータがデータ収集ノード２０にて処理すべきデータか否か（つまり、今回のデータが更新されておりデータの更新に関する情報をデータ収集ノード２０に送信すべきか否か）を判断する（ステップＳ０３）。本発明に係る更新判断ステップは、このステップＳ０３に含まれており、このステップＳ０３では、今回のデータの更新時刻が前回のデータの更新時刻より新しければ、今回のデータがデータ収集ノード２０にて処理すべきデータである、即ち、今回のデータが更新されておりデータの更新に関する情報をデータ収集ノード２０に送信すべきと判断する。一方、今回のデータの更新時刻が前回のデータの更新時刻と同じであれば、今回のデータはデータ収集ノード２０での処理が不要なデータである、即ち、今回のデータは更新されておらずデータの更新に関する情報はデータ収集ノード２０に送信すべきでないと判断する。
【００２７】
なお、送信要否判定部１２により実行される事前処理に関するプログラムは、予め端末装置１０内に記憶されたものであってもよいし、実行前にネットワーク上の所定のサイトからダウンロードして取得してもよい。ただし、上記の事前処理の実行中に、端末装置１０はデータ収集ノード２０などとの間でネットワークを介した通信は行わないものとする。これは、ネットワークトラフィックの増大を防止するためである。
【００２８】
上記ステップＳ０３で送信すべきでないと判断した場合は、今回のデータやその更新に関する情報の保存・送信は行わずに、図３の処理を終了する。
【００２９】
一方、上記ステップＳ０３で送信すべきと判断した場合、送信要否判定部１２は、取得された今回のデータやその更新に関する情報をキャッシュデータ保存部１４へ保存し（ステップＳ０４）、例えば以下のようにして送信先を決定する（ステップＳ０５）。送信先の決定処理としては、さまざまな手法を採用しうる。例えば、送信要否判定部１２は、図４に示すような予め定められ送信要否判定部１２が保持したテーブル（データ種別と送信先のアドレスとの対応を示すテーブル）を参照して、今回のデータ種別に対応する送信先のアドレスを特定することで、送信先を決定し、当該送信先のアドレス情報をデータ送信部１３へ渡す。
【００３０】
そして、データ送信部１３は、上記送信先のアドレス情報に基づき、今回のデータの更新に関する情報等（以下「処理結果」と称する）を当該送信先へ送信する（ステップＳ０６）。ここで送信される「処理結果」には、さまざまなデータを含むことができる。今回のデータそのもの、今回のデータの識別子、送信先の決定処理で算出したハッシュ値、今回のデータを取得した時刻、今回のデータの属性情報（データサイズ、作成時刻、更新時刻等）等を含むことができる。また、送信される処理結果に対し圧縮処理を行い、圧縮形式で送信してもよい。
【００３１】
ステップＳ０６で送信された処理結果は、送信先とされたデータ収集ノード２０のデータ受信部２１により受信され（ステップＳ０７）、受信された処理結果はログデータ保存部２４により、ログデータとして保存される（ステップＳ０８）。なお、受信された処理結果を受信後すぐに保存することは必須ではなく、受信された処理結果は、すぐに生成部２２へ転送してもよい。ただし、受信された処理結果は、将来の処理で用いられるため、破棄されることなく、所定のタイミングでログデータ保存部２４によりログデータとして保存される。
【００３２】
次に、生成部２２は、ログデータ保存部２４により保存された過去のログデータ（他の端末装置１０から送信されてきたものも含む）および今回受信された処理結果に対し所定の処理を行い、新たな情報を生成する。ここでは、所定の処理として解析処理を行い、解析結果を生成する（ステップＳ０９）。なお、所定の処理（解析処理）は、今回受信された処理結果が生成部２２に渡された時点で実行してもよいし、所定の周期で周期的に実行してもよい。上記処理の終了後、出力部２３は、処理結果（解析結果）を所定の結果ファイルなどに出力する（ステップＳ１０）。
【００３３】
なお、上記の実施形態１では、端末装置１０がキャッシュデータ保存部１４（キャッシュメモリ）を備えた例を示したが、キャッシュデータ保存部１４を備えることは必須ではない。ただし、キャッシュデータ保存部１４を用いた方がデータアクセスの処理時間を短縮でき、処理の効率化を図ることができる。
【００３４】
［実施形態２］
次に、図面を参照して、実施形態２に係るデータ収集システム１について説明する。データ収集システム１の構成は、図１に示す実施形態１の構成と同様なので、ここでは説明を省略する。
【００３５】
図５に示すように、端末装置１０は、データを取得するデータ取得部１１と、取得されたデータが更新されているか否かを判断し、当該判断結果に基づいて、データの更新に関する情報をデータ収集ノード２０に送信すべきか否かを判定する送信要否判定部１２と、送信すべきと判定された場合に、当該データの更新に関する情報等をデータ収集ノード２０に送信するデータ送信部１３と、取得されたデータのハッシュ値を算出するハッシュ値算出部１５と、算出されたハッシュ値を保存するハッシュ値保存部１６と、を備える。
【００３６】
本発明に係る更新判断手段は、上記の送信要否判定部１２に含まれており、送信要否判定部１２は、ハッシュ値保存部１６により保存されている前回のデータのハッシュ値と、ハッシュ値算出部１５により算出された今回のデータのハッシュ値とを比較し、該比較結果に基づいて、今回のデータが更新されているか否かを判断する。また、ハッシュ値保存部１６は、算出されたハッシュ値のみならず、後述するようにＨＴＭＬデータ、該ＨＴＭＬデータを示すＵＲＩ等も、キャッシュデータとして保存することができる。
【００３７】
一方、データ収集ノード２０の構成は、図２（ｂ）に示す実施形態１の構成と同様なので、ここでは説明を省略する。また、端末装置１０およびデータ収集ノード２０のハードウェア構成は、前述した実施形態１の構成と同様なので、ここでは説明を省略する。
【００３８】
続いて、図６を用いてデータ収集システム１における端末装置１０とデータ収集ノード２０の連携に係る処理動作について説明する。図６の処理は、端末装置１０において、端末ユーザの操作や端末装置１０で動作するアプリケーションプログラムによって、データ（ここではＨＴＭＬデータ）を取得するよう命令したことをトリガーとして実行開始する。
【００３９】
端末装置１０のデータ取得部１１は、端末ユーザの操作や端末装置１０で動作するアプリケーションプログラムによって、ネットワーク上のＵＲＩ（Uniform  Resource  Identifier）によって指定されたネットワーク上のサーバから、ＨＴＭＬデータの取得を行う（図６のステップＳ２１）。取得後にデータ取得部１１は、取得したＨＴＭＬデータをハッシュ値算出部１５に渡すとともに、端末ユーザへの提示（例えば表示装置へのコンテンツの表示）やアプリケーションプログラムへのＨＴＭＬデータの転送を行う。
【００４０】
次に、ハッシュ値算出部１５および送信要否判定部１２は、従来はデータ収集ノード２０にて行っていたデータの解析に係る処理の一部を、事前処理として、データ収集ノード２０に代わって実行する。ここでは、例えば、ハッシュ値算出部１５が、取得された今回のＨＴＭＬデータのハッシュ値を算出し（ステップＳ２２）、送信要否判定部１２が、算出された今回のＨＴＭＬデータのハッシュ値と、図７（ａ）に示すハッシュ値保存部１６により保存された、同じＵＲＩに係るＨＴＭＬデータのハッシュ値とを比較し、該比較結果に基づいて、今回のＨＴＭＬデータがデータ収集ノード２０にて処理すべきデータか否か（つまり、今回のＨＴＭＬデータが更新されており当該ＨＴＭＬデータの更新に関する情報（ここでは、例えば、当該ＨＴＭＬデータのハッシュ値およびＵＲＩ）をデータ収集ノード２０に送信すべきか否か）を判断する（ステップＳ２３）。本発明に係る更新判断ステップは、このステップＳ２３に含まれており、具体的にステップＳ２３では、今回のＨＴＭＬデータのハッシュ値が、保存されているＨＴＭＬデータのハッシュ値と異なっていれば、今回のＨＴＭＬデータがデータ収集ノード２０にて処理すべきデータである、即ち、今回のＨＴＭＬデータが更新されており当該ＨＴＭＬデータのハッシュ値等をデータ収集ノード２０に送信すべきと判断する。一方、今回のＨＴＭＬデータのハッシュ値が、保存されているＨＴＭＬデータのハッシュ値と同じであれば、今回のＨＴＭＬデータはデータ収集ノード２０での処理が不要なデータである、即ち、今回のＨＴＭＬデータは更新されておらず当該ＨＴＭＬデータのハッシュ値等はデータ収集ノード２０に送信すべきでないと判断する。
【００４１】
上記ステップＳ２３で送信すべきでないと判断した場合は、今回のＨＴＭＬデータ、そのハッシュ値およびＵＲＩの保存・送信は行わずに、図６の処理を終了する。
【００４２】
一方、上記ステップＳ２３で送信すべきと判断した場合、送信要否判定部１２は、図７（ａ）のように今回のＨＴＭＬデータ、該ＨＴＭＬデータのＵＲＩおよび上記算出したハッシュ値を、キャッシュデータとしてハッシュ値保存部１６に保存し（ステップＳ２４）、以下のようにして送信先を決定する（ステップＳ２５）。送信先の決定処理としては、さまざまな手法を採用しうる。例えば、送信要否判定部１２は、今回のＨＴＭＬデータのＵＲＩに対し、標準化されたハッシュ関数（例えばＭＤ５）等を用いてハッシュ値を算出し、図８に示すような予め定められ送信要否判定部１２が保持したテーブル（ハッシュ値と送信先のアドレスとの対応を示すテーブル）を参照して、上記算出したハッシュ値に対応する送信先のアドレスを特定することで、送信先を決定し、当該送信先のアドレス情報をデータ送信部１３へ渡す。
【００４３】
そして、データ送信部１３は、上記送信先のアドレス情報に基づき、今回のＨＴＭＬデータの更新に関する情報（ここでは例えば、今回のＨＴＭＬデータのＵＲＩおよびハッシュ値：以下「処理結果」と称する）を当該送信先へ送信する（ステップＳ２６）。なお、送信データ量を削減するため、ＨＴＭＬデータ自体は送信しないが、当該ＨＴＭＬデータの属性情報（例えば、更新時刻情報、作成時刻情報、データサイズなど）はデータ量が少ないので、送信してもよい。
【００４４】
ステップＳ２６で送信された処理結果は、送信先とされたデータ収集ノード２０のデータ受信部２１により受信され（ステップＳ２７）、受信された処理結果はログデータ保存部２４により、例えば図７（ｂ）に示すようにログデータとして保存される（ステップＳ２８）。このとき例えば、ログデータのフォーマットとしてBigTableやHyperTableを使用すれば、時系列的な変化を容易に発見できる、という利点がある。なお、受信された処理結果を受信後すぐに保存することは必須ではなく、受信された処理結果は、すぐに生成部２２へ転送してもよい。ただし、受信された処理結果は、将来の処理で用いられるため、破棄されることなく、所定のタイミングでログデータ保存部２４によりログデータとして保存される。
【００４５】
次に、生成部２２は、ログデータ保存部２４に保存された過去のログデータ（他の端末装置１０から送信されてきたものも含む）および今回受信された処理結果に対し所定の処理を行い、新たな情報を生成する。ここでの所定の処理としては、例えば、ＵＲＩで示されるＨＴＭＬデータの更新有無を、これまでに保存されたログデータ（他の端末装置１０から送信されてきたものも含む）を基に調べるといった解析処理を行い、解析結果を生成する（ステップＳ２９）。なお、ＨＴＭＬデータの更新有無判定は、ステップＳ２２、Ｓ２３で送信元の端末装置１０にて実行しているものの、ステップＳ２９では多数の端末装置１０から収集されたログデータを基に実行するため、より精度の良い解析結果を生成することができる。もちろん、所定の処理は、上記のような解析処理に限定されるものではなく、個々の端末装置１０では実行が困難な処理や、多数の端末装置１０から収集されたログデータを基にして実行すべき処理を実行することが望ましい。
【００４６】
なお、所定の処理（解析処理）は、今回受信された処理結果が生成部２２に渡された時点で実行してもよいし、所定の周期で周期的に実行してもよい。上記処理の終了後、出力部２３は、解析結果（ＨＴＭＬデータの更新の有無）を所定の結果ファイルなどに出力する（ステップＳ３０）。このとき必要に応じて、上記解析結果を他の端末装置１０に通知してもよい。
【００４７】
［実施形態１、２の効果］
以上説明した実施形態１又は２によれば、従来のデータ収集ノードにおける処理負荷の増大という問題を、端末装置とデータ収集ノードとが連携してデータ収集ノードの処理の一部（データ更新有無判定）を端末装置側で行い、その処理結果をデータ収集ノードが収集して、残りの処理を行うことで、データ更新有無を速やかに判定しつつ、データ収集ノードにおける処理負荷を分散することが可能となる（従来技術におけるデータ更新有無の即時検出とネットワークへの負荷増大の防止との両立が困難であるという問題を解消できる）。また、データが更新されている場合のみ、データ収集ノードへの送信が行われ、データ収集ノードへの不必要な送信を回避することができ、データ収集ノードにおける通信トラフィック量の増大および処理負荷の増大を回避し、効率的な処理の実行を実現することができる。
【００４８】
なお、データ収集システムの構成を示す図１には、一例として２つのデータ収集ノード２０と３つの端末装置１０を記載したが、これらの台数に限定されるものではない。また、データ収集ノード２０は単数であってもよく、その場合、送信先の決定処理は省略できる。一方、端末装置１０についても単数であってもよい。
【符号の説明】
【００４９】
１…データ収集システム、１０…端末装置、１１…データ取得部、１２…送信要否判定部、１３…データ送信部、１４…キャッシュデータ保存部、１５…ハッシュ値算出部、１６…ハッシュ値保存部、２０…データ収集ノード、２１…データ受信部、２２…生成部、２３…出力部、２４…ログデータ保存部、１０Ａ…ＣＰＵ、１０Ｂ…ＲＡＭ、１０Ｃ…ＲＯＭ、１０Ｄ…入力装置、１０Ｅ…通信装置、１０Ｆ…補助記憶装置、１０Ｇ…出力装置。
【図１】
2010182243.tif 000003
【図２】
2010182243.tif 000004
【図３】
2010182243.tif 000005
【図４】
2010182243.tif 000006
【図５】
2010182243.tif 000007
【図６】
2010182243.tif 000008
【図７】
2010182243.tif 000009
【図８】
2010182243.tif 000010
【図９】
2010182243.tif 000011