(57)【要約】【課題】ＷＷＷサイトのメタデータを用い、実用可能なデータを収集するデータ収集装置およびプログラムを提供する。【解決手段】ＲＳＳ本文テーブル１２２を記憶する記憶部１２０を設ける。ＲＳＳ本文テーブル１２２はＵＲＬごとに作成され、最終更新時などのメタデータと、ＵＲＬで示される文書ファイルの本文とを関連づけて記憶される。ＲＳＳ本文テーブル１２２の最終更新時より文書ファイルの最終更新時の方が遅いことをＲＳＳファイルに記載のメタデータから判別すると、その文書ファイルをダウンロードし、文書ファイルの本文の部分と文書ファイルの最終更新時とを関連づけてＲＳＳ本文テーブル１２２に記憶する。【選択図】図２
2007279980.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワーク上の文書の格納位置を示す位置データと、当該文書の最終更新時を示す更新時データとを含むメタデータを通信ネットワークを介して取得するメタデータ取得手段と、
文書と当該文書に対応するメタデータとを含む文書メタデータを保存する保存手段と、
前記メタデータ取得手段が取得した文書メタデータと前記保存手段に格納されている文書メタデータ内のメタデータとに基づいて、前記保存手段に保存されている文書が更新されているか否かを判別し、更新されていると判別した場合に、前記メタデータ取得手段が取得したメタデータに基づいて、文書メタデータを生成し、前記保存手段に保存する文書メタデータ生成手段と、
を備えることを特徴とするデータ収集装置。
【請求項２】
前記メタデータ取得手段が新たなメタデータを取得したことに応答して、前記保存手段から、当該メタデータに含まれている位置データと同一の位置データを有するメタデータを有する文書メタデータを検索する文書メタデータ検索手段をさらに備え、
前記メタデータ生成手段は、
前記文書メタデータ検索手段が検索した文書メタデータのうち、更新時データが示す最終更新時がもっとも新しい文書メタデータを判別し、前記メタデータ取得手段が取得したメタデータ内の更新時データが示す最終更新時が、判別した最終更新時よりも後である場合に、前記メタデータ取得手段が取得したメタデータに基づいて、文書メタデータを生成し、前記保存手段に保存する、
ことを特徴とする請求項１に記載のデータ収集装置。
【請求項３】
メタデータの位置データと、当該位置データが示す格納位置に存在する文書内の所定の範囲を示す範囲データとを対応付けて保存する位置範囲データ保存手段と、
前記メタデータ取得手段が新たなメタデータを取得したことに応答して、前記位置範囲データ保存手段から、当該メタデータに含まれている位置データと同一の位置データに対応付けられる範囲データを検索する範囲データ検索手段と、
をさらに備え、
前記メタデータ生成手段は、
前記文書メタデータ検索手段が検索した文書メタデータのうち、更新時データが示す最終更新時がもっとも新しい文書メタデータを判別し、前記メタデータ取得手段が取得したメタデータ内の更新時データが示す最終更新時が、判別した最終更新時よりも後である場合に、前記メタデータ取得手段が取得したメタデータおよび前記範囲データ検索手段が検索した範囲データに基づいて、文書メタデータを生成し、前記保存手段に保存する、
ことを特徴とする請求項２に記載のデータ収集装置。
【請求項４】
コンピュータに、
通信ネットワーク上の文書の格納位置を示す位置データと、当該文書の最終更新時を示す更新時データとを含むメタデータを通信ネットワークを介して取得するメタデータ取得処理、
文書と当該文書に対応するメタデータとを含む文書メタデータを保存する保存処理、
前記メタデータ取得処理により取得した文書メタデータと前記保存処理により格納されている文書メタデータ内のメタデータとに基づいて、前記保存処理により保存されている文書が更新されているか否かを判別し、更新されていると判別した場合に、前記メタデータ取得処理により取得したメタデータに基づいて、文書メタデータを生成し、前記保存処理により保存する文書メタデータ生成処理、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ収集装置およびプログラムに関する。
【背景技術】
【０００２】
近年、インターネットの利用の普及に伴い、多くのＷＷＷ（World Wide Web）サイトでＲＳＳ（RDF(Resource Description Framework) Site Summary）ファイルが用意されている。
【０００３】
ＲＳＳファイルは、ＷＷＷサイトのメタデータをＸＭＬ（eXtensible Markup Language）ベースのフォーマットで構造化して記載したファイルである。ＲＳＳファイルには、たとえば、ＷＷＷサイトの各ページのＵＲＬ（Uniform Resource Locator）、見出し、要約、最終更新時などのメタデータが記載される。
【０００４】
一般に、ＷＷＷサイトの各ページが更新されると、そのＷＷＷサイトに対応付けられているＲＳＳファイルも更新される。したがって、ＲＳＳファイルを参照することで、対応付けられたＷＷＷサイトのメタデータ、たとえば各ページの要約や最終更新時を知ることができる。
【０００５】
このＲＳＳファイルに定期的にアクセスするソフトウェアとして、ＲＳＳリーダー（RSS Reader）が知られている。たとえば、非特許文献１に示す“ｇｏｏ  ＲＳＳリーダー”は、指定されたサイトのメタデータを定期的にダウンロードし、サイトの最終更新日時が前回のダウンロードの日時を過ぎていると判別した場合、すなわちサイトの内容が前回のダウンロード時の内容よりも更新されている場合、そのサイトへのリンクを表示する。
【非特許文献１】ＮＴＴレゾナント、“ニュース  ブログ  自動収集ソフト  −  ｇｏｏ  ＲＳＳリーダー”、[online]、[平成１８年３月２９日検索]、インターネット(URL: http://reader.goo.ne.jp/)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＲＳＳファイルには、ＷＷＷサイトの各ページの要約など、データ量の少ないメタデータのみが記載されており、ＷＷＷサイトの各ページに記載されている本文など、データ量の多い重要な事項が記載されているデータは記載されていない。したがって、メタデータの記載事項のみに基づいて統計解析やデータマイニングを行う場合、解析等に用いるデータ量が不足するため、解析結果等にノイズが多く混じってしまう。このため、メタデータの記載事項のみを収集するだけでは、顧客（特にコンサルティング業など）に実用可能なデータを供給できない。
【０００７】
本発明は、上記状況に鑑みてなされたものであり、メタデータを用いた実用可能なデータを収集するデータ収集装置およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の観点に係るデータ収集装置は、
通信ネットワーク上の文書の格納位置を示す位置データと、当該文書の最終更新時を示す更新時データとを含むメタデータを通信ネットワークを介して取得するメタデータ取得手段と、
文書と当該文書に対応するメタデータとを含む文書メタデータを保存する保存手段と、
前記メタデータ取得手段が取得した文書メタデータと前記保存手段に格納されている文書メタデータ内のメタデータとに基づいて、前記保存手段に保存されている文書が更新されているか否かを判別し、更新されていると判別した場合に、前記メタデータ取得手段が取得したメタデータに基づいて、文書メタデータを生成し、前記保存手段に保存する文書メタデータ生成手段と、
を備えることを特徴とする。
【０００９】
前記メタデータ取得手段が新たなメタデータを取得したことに応答して、前記保存手段から、当該メタデータに含まれている位置データと同一の位置データを有するメタデータを有する文書メタデータを検索する文書メタデータ検索手段をさらに備え、
前記メタデータ生成手段は、
前記文書メタデータ検索手段が検索した文書メタデータのうち、更新時データが示す最終更新時がもっとも新しい文書メタデータを判別し、前記メタデータ取得手段が取得したメタデータ内の更新時データが示す最終更新時が、判別した最終更新時よりも後である場合に、前記メタデータ取得手段が取得したメタデータに基づいて、文書メタデータを生成し、前記保存手段に保存する、
ことを特徴としてもよい。
【００１０】
メタデータの位置データと、当該位置データが示す格納位置に存在する文書内の所定の範囲を示す範囲データとを対応付けて保存する位置範囲データ保存手段と、
前記メタデータ取得手段が新たなメタデータを取得したことに応答して、前記位置範囲データ保存手段から、当該メタデータに含まれている位置データと同一の位置データに対応付けられる範囲データを検索する範囲データ検索手段と、
をさらに備え、
前記メタデータ生成手段は、
前記文書メタデータ検索手段が検索した文書メタデータのうち、更新時データが示す最終更新時がもっとも新しい文書メタデータを判別し、前記メタデータ取得手段が取得したメタデータ内の更新時データが示す最終更新時が、判別した最終更新時よりも後である場合に、前記メタデータ取得手段が取得したメタデータおよび前記範囲データ検索手段が検索した範囲データに基づいて、文書メタデータを生成し、前記保存手段に保存する、
ことを特徴としてもよい。
【００１１】
上記課題を解決するため、本発明の第２の観点に係るプログラムは、
コンピュータに、
通信ネットワーク上の文書の格納位置を示す位置データと、当該文書の最終更新時を示す更新時データとを含むメタデータを通信ネットワークを介して取得するメタデータ取得処理、
文書と当該文書に対応するメタデータとを含む文書メタデータを保存する保存処理、
前記メタデータ取得処理により取得した文書メタデータと前記保存処理により格納されている文書メタデータ内のメタデータとに基づいて、前記保存処理により保存されている文書が更新されているか否かを判別し、更新されていると判別した場合に、前記メタデータ取得処理により取得したメタデータに基づいて、文書メタデータを生成し、前記保存処理により保存する文書メタデータ生成処理、
を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、メタデータのほか、文書を収集し、メタデータとともに保存するので、実用可能なデータを収集できる。
【発明を実施するための最良の形態】
【００１３】
本発明の実施形態に係るデータ収集装置を、図面を参照して説明する。
【００１４】
本実施形態のデータシステム１は、図１に示すように、データ収集装置１００と、サー通信ネットワークＣを介してデータ収集装置１００に接続されたサーバ装置２００とから構成される。データシステム１では、データ収集装置１００の台数やサーバ装置２００の台数の制限はない。
【００１５】
通信ネットワークＣは、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルに基づく通信ネットワークである。
【００１６】
データ収集装置１００は、図２に示すように、制御部１１０と、記憶部１２０と、入出力部１３０と、通信制御部１４０と、表示部１５０と、バス１９０とを有する。制御部１１０と、記憶部１２０と、入出力部１３０と、通信制御部１４０と、表示部１５０とはバス１９０で４相互接続される。
【００１７】
制御部１１０は、たとえば、ＣＰＵ（Central Processing Unit）から構成され、記憶部１２０に記憶された動作プログラムに基づき、記憶部１２０と、入出力部１３０と、通信制御部１４０とを制御する。
【００１８】
記憶部１２０は、たとえば、ワークエリアとなるＲＡＭ （Random Access Memory）と、ハードディスク装置とから構成され、制御部１１０の動作を制御するためのＯＳ（Operating System）及びアプリケーションプログラム等を記憶し、制御部１１０の演算に必要なワークエリアを提供する。また、記憶部１２０は、たとえば、ＲＳＳのＵＲＬ記憶エリア１２１やＲＳＳ本文テーブル１２２を記憶するための領域を確保し、ＲＳＳファイルのＵＲＬなど必要なデータを記憶する。また、ＷＷＷサイトからダウンロードした画像ファイル等を、独自のファイル名を付して記憶する。
【００１９】
ＲＳＳのＵＲＬ記憶エリア１２１に記憶されるデータは、読み込むＲＳＳファイルの存在位置を示すデータである。このデータは、たとえば、ローカルなファイル名やＵＲＬであってもよい。また、このエリア１２１に記憶されるデータは１個でも複数個でもよいが、１個ずつＲＳＳファイルが読み込まれる。
【００２０】
ＲＳＳ本文テーブル１２２は、ＲＳＳファイルに記載のメタデータと、ＷＷＷサイトのページの本文のデータとを関連づけて保存するためのテーブルである。まず、ＲＳＳファイルの構造の概略を、図３を用いて説明する。
【００２１】
図３の１行目の記載はＲＳＳファイルがＸＭＬ文書であることを示すＸＭＬ宣言である。
＜ｉｔｅｍ  で始まり、＜／ｉｔｅｍ＞で終わる要素ブロック（以下、これをメタデータブロックと呼ぶ）には、ＷＷＷサイトのページごとのメタデータ（タイトル、要約、当該ページへのリンク、最終更新時など）が記載される。図３では、メタデータブロックが２つあるから、図３はＷＷＷサイトの２ページのメタデータを含むＸＭＬ文書であることを意味する。
＜ｔｉｔｌｅ＞で始まる要素ブロックには、ＷＷＷサイトのページのタイトルが記載される。＜ｌｉｎｋ＞で始まる要素ブロックには、ＷＷＷサイトのページ（すなわち本文）へのリンクが記載される。たとえば、図３の５行目にはhttp://foo.com/bar/1.htmlとあるが、このＵＲＬがＷＷＷサイトのページの本文へのリンクであることを示す。＜ｄｅｓｃｒｉｐｔｉｏｎ＞で始まる要素ブロックには、ＷＷＷサイトのページの要約が記載される。＜ｄｃ：ｄａｔｅ＞で始まる要素ブロックには、ＷＷＷサイトのページの最終更新時刻が記載される。たとえば、図３の７行目には、＜ｄｃ：ｄａｔｅ＞２００６−０２−０１Ｔ１０：００：００＋９：００＜／ｄｃ：ｄａｔｅ＞とあるから、日本標準時（＋９：００）の２００６年２月１日（２００６−０２−０１）１０時０分０秒（Ｔ１０：００：００）が当該ＷＷＷサイトのページの最終更新時であることを示す。
【００２２】
続いて、図２のＲＳＳ本文テーブル１２２を、図４を用いて説明する。
【００２３】
ＲＳＳ本文テーブル１２２は、ＷＷＷサイトのページごとに作成される。また、ＲＳＳ本文テーブル１２２は、ＵＲＬを記載する欄と、「最終更新時」「タイトル」「本文」「画像」「その他」の欄を有する行とから構成される。
たとえば、図４に、ＵＲＬがhttp://foo.com/bar/1.htmlのページのＲＳＳ本文テーブル１２２を示す。ＵＲＬを記載する欄は、ＲＳＳ本文テーブル１２２の先頭部にある。
【００２４】
ＲＳＳ本文テーブル１２２の各行の最終更新時よりも、ＲＳＳファイルの最終更新時の方が新しい場合に限り、ＲＳＳ本文テーブル１２２にＲＳＳファイルの最終更新時に対応する新たな行が作成される。たとえば、図４のＲＳＳファイルには、＜ｄｃ：ｄａｔｅ＞２００６−０２−０１Ｔ１０：００：００＋９：００＜／ｄｃ：ｄａｔｅ＞すなわち２００６年２月１日１０時０分０秒がデータの最終更新時であることが示されているが、この時刻がＲＳＳ本文テーブル１２２の各行の「最終更新時」の欄よりも新しい場合は、ＲＳＳ本文テーブル１２２に「最終更新時」が２００６年２月１日１０時０分０秒である新たな行が作成される。
【００２５】
ＲＳＳファイルの最終更新時を判別することによってＲＳＳ本文テーブル１２２に新たな行が作成された場合、その行の「タイトル」の欄には、＜ｔｉｔｌｅ＞で始まり＜／ｔｉｔｌｅ＞で終わる要素ブロックに格納されている文字列（図４の場合、「大雪」）が入る。
【００２６】
また、その行の「本文」の欄には、＜ｌｉｎｋ＞で始まり＜／ｌｉｎｋ＞で終わる要素ブロックに格納されている文字列、すなわちＲＳＳ本文テーブル１２２に対応するＵＲＬ（図４の場合、http://foo.com/bar/1.html）で示されるページの本文が格納される。たとえば、図４のＷＷＷサイトのページの本文には「東京で3cmの積雪。全国各地で大雪です…」と記載されているので、「本文」の欄には、この本文の内容が入る。
【００２７】
また、その行の「画像」の欄には、ＲＳＳ本文テーブル１２２に対応するＵＲＬ（図４の場合、http://foo.com/bar/1.html）で示されるページが画像を含む場合に、その画像がダウンロードされて独自のファイル名を付けられた上で、そのファイル名を格納される。たとえば、図４のＷＷＷサイトのページには、「ページ内の写真」と書かれた画像が存在するので、「画像」の欄には、ダウンロードされて独自のファイル名を付けて保存された当該画像のファイル名が入る。ここで画像をダウンロードするのは、ＷＷＷサイトのページが定期的に更新される際に、当該画像がＷＷＷサイトから削除されてしまうことが多いからである。
【００２８】
その他、画像のほか、音声や動画像など必要なリソースがＷＷＷサイトにあれば、適宜ダウンロードされ、独自ファイル名を付されて保存され、そのファイル名がＲＳＳ本文テーブル１２２に格納される。
【００２９】
図２に戻り、入出力部１３０は、たとえば、ＵＳＢ（Universal Serial Bus）から構成され、キーボードやマウスなどの入力デバイス１３１が接続され、これらの装置とのデータの入出力を行い、制御部１１０と当該データの送受信を行う。
【００３０】
通信制御部１４０は、たとえば、ＮＩＣ（Network Interface Card）のような通信装置から構成され、通信ネットワークＣに接続され、サーバ装置２００とのデータの送受信を行う。
【００３１】
表示部１５０は、たとえば、ＣＰＵ、ＶＲＡＭ(Video Random Access Memory)を有し、制御部１１０の制御下に、表示デバイス１５１に画像を表示させる。
表示デバイス１５１は、たとえば、液晶ディスプレイであって、表示部１５０によって制御され、画像を表示する。
【００３２】
サーバ装置２００は、図５に示すように、制御部２１０と、記憶部２２０と、通信制御部２４０と、バス２９０とを有する。制御部２１０と、記憶部２２０と、通信制御部２４０とはバス２９０で相互接続される。
【００３３】
制御部２１０は、たとえば、ＣＰＵから構成され、記憶部２２０に記憶された動作プログラムに基づき、記憶部２２０と、通信制御部２４０とを制御する。
【００３４】
記憶部２２０は、たとえば、ワークエリアとなるＲＡＭと、ハードディスク装置とから構成され、制御部２１０の動作を制御するためのＯＳ及びアプリケーションプログラム等を記憶し、制御部２１０の演算に必要なワークエリアを提供する。また、記憶部２２０は、データ収集装置１００と送受信を行うための文書ファイルおよびＲＳＳファイルを保存する。この文書ファイルは、先に説明したＷＷＷサイトのページを表示するためのファイルであって、具体的には、たとえば、ＨＴＭＬ（HyperText Markup Language）形式である。以下、本実施形態において、文書ファイルはＨＴＭＬ形式であるものとする。
なお、記憶部２２０が記憶するアプリケーションプログラムには、文書ファイルを通信ネットワークＣを介してデータ収集装置１００と送受信するＷＷＷサーバプログラム、ファイルの更新等に伴いＲＳＳファイルを書き換えるＲＳＳ更新プログラムなどが含まれる。
【００３５】
通信制御部２４０は、たとえば、ＮＩＣのような通信装置から構成され、通信ネットワークＣに接続され、データ収集装置１００とのデータの送受信を行う。
【００３６】
続いて、上記構成のデータ収集装置１００の動作を図６のフローチャートを参照して説明する。以下の説明において、特に必要がなければ、制御部１１０などの個々の動作を述べず、データ収集装置１００全体の動作として説明する。
【００３７】
ここで、ファイルを保存するサーバ装置２００に、データ収集装置１００がファイルの位置（たとえば、ＵＲＬ）を指定すると、サーバ装置２００の制御部２１０は、記憶部２２０からファイルの位置に基づいてファイルを検索し、ファイルが検索されるとそのファイルを通信制御部２４０および通信ネットワークＣを介してデータ収集装置１００に送信するプログラムを記憶部２２０から読み出して実行するものとする。上記の処理は、たとえば、Ａｐａｃｈｅ（http://www.apache.org/）などのＷＷＷサーバで実現されているので詳細な説明を省略する。
【００３８】
また、サーバ装置２００の記憶部２２０で記憶する文書ファイルが更新されると、サーバ装置２００の制御部２１０は、記憶部２２０で記憶するＲＳＳファイルの内容を更新し、その文書ファイルが更新されたことを通知するプログラムを記憶部２２０から読み出して実行するものとする。上記の処理は、たとえば、ＲＳＳファイルを用いるブログ（blog）サーバのＭｏｖａｂｌｅＴｙｐｅ（http://www.movabletype.org/）などで実現されているので詳細な説明を省略する。
【００３９】
まず、データ収集装置１００は、ＲＳＳのＵＲＬ記憶エリア１２１に記載されているＵＲＬにアクセスして、サーバ装置２００にＲＳＳファイルをダウンロードするリクエストを出す（ステップＳ１）。サーバ装置２００の制御部２１０は、このリクエストを受け付け、記憶部２２０にあるＲＳＳファイルを、通信制御部２４０を介してデータ収集装置１００に送信する。
【００４０】
ステップＳ１の後、データ収集装置１００は、リクエストに応じたＲＳＳファイルを受信する。ここで、データ収集装置１００は、ＲＳＳファイルに含まれるメタデータブロックであって読み出しを行っていない（処理していない）ものがあるか否かを確認する（ステップＳ２）。すべてのメタデータブロックを処理した場合は（ステップＳ２；Ｎｏ）、処理は終了する。すべてのメタデータブロックを処理してはいない場合は（ステップＳ２；Ｙｅｓ）、処理をしていないメタデータブロックのうち一つを選択し、読み出し処理を行う（ステップＳ３）。なお、メタデータブロックの選択ポリシーは任意である。
【００４１】
続いて、データ収集装置１００の制御部１１０は、記憶部１２０に記憶されているＲＳＳ本文テーブル１２２のうち、メタデータブロックのＵＲＬ（＜ｌｉｎｋ＞で始まり＜／ｌｉｎｋ＞で終わる要素ブロックに記載されているＵＲＬ）に対応するＲＳＳ本文テーブル１２２を検索する（ステップＳ４）。一のＵＲＬに対応するＲＳＳ本文テーブル１２２は一つだけ存在する。図４の場合、ＲＳＳ本文テーブル１２２の先頭にＵＲＬが記載されているので、ここに記載されているＵＲＬに基づいて検索を行う。なお、検索の結果、ＲＳＳ本文テーブル１２２が発見できなかった場合は、ＲＳＳ本文テーブル１２２を新たに作成する。
【００４２】
ステップＳ４の後、データ収集装置１００は、見つかったＲＳＳ本文テーブル１２２の各行の最終更新時をチェックし、この中で最も遅い最終更新時を記憶する（ステップＳ５）。
続いて、データ収集装置１００は、ステップＳ５で記憶した最も遅い最終更新時と、選択したメタデータブロックの最終更新時（＜ｄｃ：ｄａｔｅ＞で始まり＜／ｄｃ：ｄａｔｅ＞で終わる要素ブロックに記載の時刻）とどちらが遅いか判別する（ステップＳ６）。ステップＳ５で記憶した最終更新時のほうが遅い場合は（ステップＳ６；Ｎｏ）、処理はステップＳ２に戻り、データ収集装置１００は、新たなメタデータブロックの処理を行う。メタデータブロックの最終更新時のほうが遅い場合は（ステップＳ６；Ｙｅｓ）、ＲＳＳ本文テーブル１２２の内容をこのメタデータブロックに記載されている事項に基づいて追加するために、ＲＳＳ本文テーブル１２２に新たな行を設ける（ステップＳ７）。
【００４３】
ステップＳ７の後、データ収集装置１００は、ＲＳＳ本文テーブル１２２に新たに設けた行の「最終更新時」の欄に、メタデータブロックの最終更新時を記載し（ステップＳ８）、「タイトル」の欄に、メタデータブロックのタイトル（＜ｔｉｔｌｅ＞で始まり＜／ｔｉｔｌｅ＞で終わる要素ブロックに記載の文字列）を記載する（ステップＳ９）。
【００４４】
続いて、データ収集装置１００は、メタデータブロックのＵＲＬにアクセスし、サーバ装置２００から当該ＵＲＬに基づいて文書ファイルをダウンロードして取得する（ステップＳ１０）。このステップＳ１０の処理は、ＷＷＷサーバがファイルリクエストに対して行う処理と同じである。
【００４５】
続いて、データ収集装置１００は、この文書ファイルから、本文に相当する箇所を抽出して記憶する（ステップＳ１１）。
【００４６】
ここで、本文に相当する箇所は、任意に決めてよい。たとえば、ＨＴＭＬの場合、＜ｈｔｍｌ＞タグから＜／ｈｔｍｌ＞タグの間に存在する文字列全てとしてもよく、また、＜ｂｏｄｙ＞タグから＜／ｂｏｄｙ＞タグの間に存在する文字列全てとしてもよく、また、特定のタグで囲まれた文字列としてもよい。本文に相当する箇所を特定して文書ファイルから切り出すには、たとえば、文書ファイルのＵＲＬと、文書ファイルの文字列から所定の範囲の文字列を切り出すルールとを対応付けたものを記憶部１２０に記憶させて、ステップＳ１０でダウンロードした文書ファイルに対して、その文書ファイルに対応する上記ルールを作用させる処理をデータ収集装置１００の制御部１１０に実行させ、その結果として得られる文字列を本文に相当する箇所と定めてもよい。
【００４７】
続いて、ステップＳ１１で記憶した本文に相当する箇所を、ステップＳ７で作られたＲＳＳ本文テーブル１２２の新たな行の「本文」の欄に記載する（ステップＳ１２）。
【００４８】
続いて、ステップＳ１０で取得した文書ファイル中に画像等のファイルが含まれていれば、データ収集装置１００の制御部１１０はそれを記憶部１２０へダウンロードする（ステップＳ１３）。たとえば、文書ファイルがＨＴＭＬであれば、＜ｉｍｇ  ｓｒｃ＝  で始まる箇所は、画像ファイルへのハイパーリンクとなっている。ステップＳ１３で画像等のファイルをダウンロードしたら、それらに独自のファイル名をつける（ステップＳ１４）。ここで独自のファイル名をつけるのは、画像等のファイルには同じ名が付けられることが多いからである（たとえば、画像等のファイル名には、００１．ｊｐｇのように番号＋拡張子といったものや、日付＋拡張子、日付＋番号＋拡張子といったものが多く見られる）。ファイルの命名法は任意である。
【００４９】
ステップＳ１４で独自のファイル名を付けられた画像等のファイルは、ステップＳ７で作られたＲＳＳ本文テーブル１２２の新たな行の「画像」等の欄に当該ファイル名を記載される（ステップＳ１５）。
【００５０】
ステップＳ１５の後、処理はステップＳ２に戻り、データ収集装置１００は、新たなメタデータブロックの処理を行う。
【００５１】
以上説明したように、この実施形態に係るデータ収集装置１００は、ＲＳＳファイルに記載されている文書のメタデータを収集するだけでなく、文書を収集して加工し、メタデータとともに保存する。これによって、統計解析・データマイニング等での利用が可能な実用可能なデータを収集することができる。
【００５２】
また、この実施形態に係るデータ収集装置１００は、文書が更新されていることが分かった場合に、更新前の文書および更新後の文書両方にタイムスタンプを付して保存する。これによって、文書の内容の時系列的な変化を追跡することができ、統計解析・データマイニング等での利用が可能な実用可能なデータを収集することができる。
【００５３】
この発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。
【００５４】
統計解析やデータマイニングの対象となるＷＷＷページに、ポータルサイトのトップページや新聞記事のホームページ等があるが、これらのＷＷＷページは、そのレイアウト（たとえば、本文の位置や画像の位置）が固定されている場合が多く、したがって、これらのＷＷＷページを記載するＨＴＭＬ全体の構成（たとえば、本文のフォントおよびフォントサイズ、本文が記載されている範囲を囲んでいるタグ）も定型化されている場合が多い。
【００５５】
ここでは、ＷＷＷページのレイアウトに基づいて、ＷＷＷページの本文に相当する箇所を抽出する処理（図６ステップＳ１１参照）についてさらに説明する。なお、ＷＷＷページのレイアウトに基づいて、ＷＷＷページの画像等を抽出し、ＲＳＳ本文テーブル１２２に格納する処理（ステップＳ１３〜Ｓ１５参照）も、同様に考えることができる。
【００５６】
図７は、所定のＵＲＬからＷＷＷページの本文に相当する箇所を抽出するＸＭＬの一例を示したものである。たとえば、図７の＜Ｅｌｅｍｅｎｔ＞で始まり＜／Ｅｌｅｍｅｎｔ＞で終わる要素ブロックには、本文を抽出するルールが記載されている。＜Ｅｌｅｍｅｎｔ＞タグは、ＰａｔｈＥｎｔｉｔｙという引数を有し、これはＷＷＷページの本文に相当する箇所の最初までにどのようなタグが順に並んでいるかを示す。たとえば、図７の例では引数ＰａｔｈＥｎｔｉｔｙに“#document/HTML[0]/BODY[0]/TABLE[1]”とあるが、これは＜ｈｔｍｌ＞、＜ｂｏｄｙ＞、＜ｔａｂｌｅ＞、＜ｔａｂｌｅ＞の順にそれぞれのタグを見つけていった場合、２番目の＜ｔａｂｌｅ＞タグの位置から本文に相当する箇所を探すことを意味する。［］内の数字は、連続するタグの数に対応する。
【００５７】
また、＜Ｓｔｙｌｅ＞で始まり＜／Ｓｔｙｌｅ＞で終わる要素ブロックには、本文がどのようなフォントを用いているか等が記載される。たとえば、図７の例では、<fontFamily>ＭＳ  Ｐゴシック</fontFamily><fontSize>12pt</fontSize>とあるが、これは、本文のフォントがＭＳ  Ｐゴシック、フォントサイズが１２ｐｔであることを意味し、このようなフォントやフォントサイズを持つものを本文として抽出することを意味する。
【００５８】
このように、本文となる範囲を示すデータをＸＭＬ形式で表現することで、ＷＷＷページからどの範囲を本文として抽出するかを構造的に表すことができる。
【００５９】
この本文の範囲を示すデータを示すＸＭＬと、このＸＭＬとＷＷＷページのＵＲＬとを対応付けたＸＭＬ対応データと、ＷＷＷページのデータとこのＸＭＬとを与えるとこのＸＭＬを解釈してＷＷＷページのデータから本文に相当する箇所を抽出して出力する出力プログラムとを記憶部１２０に保存する。そして、ＷＷＷページをダウンロードしたデータを取得する（ステップＳ１０参照）と、ＷＷＷページのＵＲＬに対応するＸＭＬをＸＭＬ対応データから読み出して、ＷＷＷページのデータと読み出したＸＭＬとを制御部１１０に与えた上で、出力プログラムを実行させる（ステップＳ１１参照）。
【００６０】
上述の処理をおこなうことで、ＷＷＷページのデータから、本文となる範囲を示すデータを抽出することができる。そして、抽出した本文となる範囲を示すデータは、ＲＳＳ本文テーブル１２２に格納される（ステップＳ１２参照）。
【００６１】
以上説明した本文を抽出する処理によれば、ＷＷＷページのレイアウト（ＷＷＷページの本文の範囲を示すデータ）に基づいて、ＷＷＷページから本文を抽出し、これをＲＳＳ本文テーブル１２２に格納する。これによって、抽出した本文に不要なデータが混ざることが少なくなり、収集したデータの質が向上する。
【００６２】
ＲＳＳファイルをダウンロードするタイミングは任意である。
【００６３】
文書ファイルの形式は、本文が抽出できる形式であればよく、ＨＴＭＬ形式に限られない。たとえば、ＸＭＬ形式やテキスト形式であってもよい。
【００６４】
本発明に係るデータ収集装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、上述の動作を実行するためのプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、CD-ROM、DVD-ROM等）に格納して配布し、当該プログラムをコンピュータにインストールすることにより、上述の処理を実行する、データ収集装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有するストレージに当該プログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでデータ収集装置を構成してもよい。
【００６５】
また、上述の機能を、ＯＳとアプリケーションの分担、またはＯＳとアプリケーションとの協働により実現する場合などには、アプリケーション部分のみを記録媒体やストレージに格納してもよい。
【００６６】
また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。
【図面の簡単な説明】
【００６７】
【図１】データシステムの一形態を示す図である。
【図２】データ収集装置の構成の一例を示す図である。
【図３】ＲＳＳファイルの内部構造を示すための図である。
【図４】ＲＳＳ本文テーブルの構成の一例と、ＷＷＷサイトの文書ファイルとＲＳＳファイルとＲＳＳ本文テーブルとの関係と、を示す図である。
【図５】サーバ装置の構成の一例を示す図である。
【図６】データ収集装置の処理のフローチャートを示す図である。
【図７】ＷＷＷページから本文を抽出するＸＭＬの一例を示す図である。
【符号の説明】
【００６８】
１      データシステム
１００  データ収集装置
１１０  制御部
１２０  記憶部
１３０  入出力部
１３１  入力デバイス
１４０  通信制御部
１５０  表示部
１５１  表示デバイス
１９０  バス
２００  サーバ装置
Ｃ      通信ネットワーク
【図１】
2007279980.tif 000003
【図２】
2007279980.tif 000004
【図３】
2007279980.tif 000005
【図４】
2007279980.tif 000006
【図５】
2007279980.tif 000007
【図６】
2007279980.tif 000008
【図７】
2007279980.tif 000009