(57)【要約】【課題】  コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する場合、同じ内容の文書を何度も収集するという無駄が生じることがなく、しかも文書の内容が更新された日時の推定精度が高い文書収集装置および文書収集方法を提供することを目的とするものである。【解決手段】  日時情報抽出部が、１つの所定の文書から抽出した複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時に、上記所定の文書を収集する文書収集装置および文書収集方法である。【選択図】  図１
2005135198.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する文書収集装置において、
収集対象文書と収集する日時とを記録する収集対象管理部と；
上記収集対象管理部が記録した収集対象文書と収集日時とに応じて、文書を収集する文書収集部と；
上記文書収集部が収集した所定の文書を解析し、この解析された所定の文書内に記述されている複数の日時の情報を抽出する日時情報抽出部と；
上記日時情報抽出部が抽出した複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時の情報を、上記収集対象管理部に送る次回収集日時計算部と；
を有することを特徴とする文書収集装置。
【請求項２】
コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する文書収集方法において、
収集対象文書と収集する日時とを収集対象管理部に記録する収集対象管理段階と；
上記収集対象管理部に記録されている収集対象文書と収集日時とに応じて、文書収集部が文書を収集する文書収集段階と；
上記文書収集段階で収集した所定の文書を解析し、この解析された所定の文書内に記述されている複数の日時の情報を、日時情報抽出が抽出する日時情報抽出段階と；
上記日時情報抽出段階で抽出された複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時の情報を、上記収集対象管理部に送る次回収集日時計算段階と；
を有することを特徴とする文書収集方法。
【請求項３】
コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する文書収集プログラムにおいて、
収集対象文書と収集する日時とを収集対象管理部に記録する収集対象管理手順と；
上記収集対象管理部に記録されている収集対象文書と収集日時とに応じて、文書収集部が文書を収集する文書収集手順と；
上記文書収集手順で収集した所定の文書を解析し、この解析された所定の文書内に記述されている複数の日時の情報を、日時情報抽出が抽出する日時情報抽出手順と；
上記日時情報抽出手順で抽出された複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時の情報を、上記収集対象管理部に送る次回収集日時計算手順と；
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータネットワークを介して、他のコンピュータに記録されている文書を自動的に収集する装置および方法に係り、特に、予め決められた日時に収集する装置および方法に関する。
【背景技術】
【０００２】
近年、インターネット等のコンピュータネットワークを介して、大量の電子化された文書をやり取りし、不特定多数を対象にして情報発信することが可能である。
【０００３】
この他、ネットワーク上で表現された文書について、その特徴を生かした表現が利用されている。中でも、ＷＷＷ（World Wide Web）上のＨＴＭＬと呼ばれる文書は、何らかの情報を記載するだけではなく、他のコンピュータ上に存在する他の人が書いた文書を参照することができる「ハイパーリンク」の機能がある。
【０００４】
これは、他の文書を信頼し、自分が記載した情報を補完し、同じ内容の文書を指すとき等に利用される。
【０００５】
ＨＴＭＬ文書は、複数のコンピュータ上に分散して存在し、各文書を容易に参照できるように「ＵＲＬ（Uniform Resource Locator）」という表記法によって、アクセスできるように規定している（たとえば、非特許文献１参照）。一般に「http:://コンピュータアドレス/ディレクトリ名/…/ファイル名」という表記で表される。
【０００６】
様々なコンピュータ上に分散して存在する文書を収集し、検索する検索サービスが存在する（例：http://www.google.com/, http://www.goo.ne.jp/）。この検索サービスを実現するには、他のコンピュータ上に存在する文書を、定期的に収集する装置が必要である。
【０００７】
コンピュータ資源を有効的に活用する観点からは、全く同じ文書を何度も収集することは無駄であり、一方、内容が変更されている文書を収集しなければ、情報の新鮮さを維持することができない。つまり、できるだけ正確に、次回収集日時を決定する必要がある。
【０００８】
したがって、文書を何度か収集した結果を用いて、文書の内容が更新された日時を推定し、この推定された日時に文書を収集する方法が知られている（たとえば、特許文献１参照）。
【特許文献１】特開２００３−０９９３５３号公報
【非特許文献１】T. Berners-Lee, L. Masinter, M. McCahill著「Uniform Resource Locator(URL) RFC1738」、１９９４年１２月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記従来例において、文書の内容が更新された日時の推定精度を上げるには、収集する日時の間隔を短くすればよいが、このように、収集日時の間隔を短くすると、同じ内容の文書を何度も収集するという無駄が生じるという問題がある。
【００１０】
本発明は、コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する場合、同じ内容の文書を何度も収集するという無駄が生じることがなく、しかも文書の内容が更新された日時の推定精度が高い文書収集装置および文書収集方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明は、日時情報抽出部が、１つの所定の文書から抽出した複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時に、上記所定の文書を収集する文書収集装置および文書収集方法である。
【発明の効果】
【００１２】
本発明は、１つの所定の文書から抽出した複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時に、上記所定の文書を収集するので、無駄な収集を減らすことができ、しかも、文書の内容が更新された日時の推定精度が高いという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１４】
図１は、本発明の実施例１である文書収集装置１００の概略構成を示すブロック図である。
【００１５】
文書収集装置１００は、コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する文書収集装置であり、収集対象管理部１０と、文書収集部２０と、日時情報抽出部３０と、次回収集日時計算部４０と、管理データベース５０とを有する。
【００１６】
収集対象管理部１０は、収集対象文書と収集する日時とを記録する。
【００１７】
文書収集部２０は、収集対象管理部１０が管理している収集対象文書と収集日時とに応じて文書を収集する。
【００１８】
日時情報抽出部３０は、文書収集部２０が収集した文書を解析し、文書内に記述されている複数の日時情報を抽出する。
【００１９】
次回収集日時計算部４０は、日時情報抽出部３０が、１つの文書について抽出した複数の日時情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時の情報を、収集対象管理部１０に送る。
【００２０】
ところで、１つの文書（ＨＴＭＬファイル）内に、複数の異なる情報を記述することが可能であり、記述された複数の情報のそれぞれについて、いつ記述したかを示す日時を同時に掲載している文書が存在する。
【００２１】
たとえば、新聞社が提供するＨＴＭＬファイルには、記事の見出しと、その記事をいつ頃掲載したかを示す時刻とが、合わせて掲載されている。また、インターネット上で「掲示板」と呼ばれる情報共有サービスの場合、不特定／特定多数が、１つのＨＴＭＬファイルに、情報を記入し、読むことができ、この場合、書き込まれた日時を合わせて掲載している。また、「日記」と呼ばれるサービス（個人が記録し、その内容を公開しているサービス）では、「何月何日」という単位で情報を公開している。
【００２２】
これらの日時情報は、いつ書き込まれたかを示す記録であると同時に、更新するタイミングが刻まれていると考えられる。このような文書ファイルの中から、ファイル内に掲載されている複数の日時を抽出し、古い順に並び替え、次回の更新がいつ頃であるかを計算によって予測する。
【００２３】
日時情報の抽出には、日時を表現するルールを予め設定し、この設定されたルールに合致する文字列を、日時として抽出する。抽出ルールの例として、次のルールが考えられる。つまり、
ＹＹＹＹ／ＭＭ／ＤＤｈｈ：ｍｍ：ｓｓ  …  （１）
ＹＹＹＹ−ＭＭ−ＤＤｈｈ：ｍｍ：ｓｓ  …  （２）
ＹＹＹＹＭＭＤＤｈｈ：ｍｍ  …  （３）
ＹＹＹＹ年ＭＭ月ＤＤ日ｈｈ時ｍｍ分ｓｓ秒  …  （４）
平成ｙｙ年ＭＭ月ＤＤ日ｈｈ時ｍｍ分ｓｓ秒  …  （５）
等をルールとして考えることができる。
【００２４】
なお、ＹＹＹＹは西暦年、ＭＭは月、ＤＤは日、ｈｈは時、ｍｍは分、ｓｓは秒を示す。漢数字が使われる場合もあり得る。また、括弧等の記号で括られている場合（たとえば、［ｈｈ：ｍｍ］）や、月をアルファベットで表現した場合（たとえば、４月は「Ａｐｒ」や「Ａｐｒｉｌ」）等がある。これらをも考慮して、抽出ルールを作る。
【００２５】
次に、上記実施例において、次回の更新がいつ頃であるかを計算する計算方法の一例について説明する。
【００２６】
図２は、ＨＴＭＬファイルの表示例を示す図である。
【００２７】
図３は、上記実施例の動作を示すフローチャートである。
【００２８】
最初に、最も単純な例を挙げる。まず、収集する対象と、収集する時期とを、収集対象管理部１０が記述する。収集対象を指定にはＵＲＬを用いる。そして、スケジュールに従って、文書収集部２０が、ＨＴＭＬファイルを、他のコンピュータから取得する（Ｓ１）。そして、取得したＨＴＭＬから、予め用意したルールに従って、日時情報抽出部３０が、合致する日時情報を抽出する（Ｓ２）。
【００２９】
抽出された同じ形式の日時情報を昇順にソートする（Ｓ３）。つまり、ファイル内から抽出された日時の情報を、古い順に並び替えする。
【００３０】
そして、次回収集日時経産部４０が、最も出現回数の多い日時情報における表記のルールと合致する日時情報を用いて、次回文書収集するための日時を決定する（Ｓ４）。つまり、ＨＴＭＬファイル内に出現する日時情報に対して、上記式（１）〜式（５）のルール（またはそれ以外のルール）のどれと合致するかを調べ、最も合致したルールを求める。次に、今度は、最も合致したルールと合致する日時情報のみを用いて、次回の情報収集のタイミングを何時にするかを決定する。
【００３１】
上記古い順に並び替えた結果について、ｎ番目の情報が掲載された日時を、ｔｎとし、前回掲載された日時ｔｎ−１と、今回掲載された日時ｔｎとに基づいて、次回収集する日時（次回掲載されるであろう日時）ｔｎ＋１を予測する。この場合、前回掲載された日時ｔｎ−１と、今回掲載された日時ｔｎとの差を用いて、次回収集する日時ｔｎ＋１を決定する。つまり、次回収集する日時ｔｎ＋１は、
ｔｎ＋１＝ｔｎ＋（ｔｎ−ｔｎ−１）＋  …  （６）
である。
【００３２】
このようにして計算された次回収集日ｔｎ＋１の情報は、収集対象管理部１０に送信される。
【００３３】
また、最小２乗法を用いて、次回収集する日時ｔｎ＋１を計算するようにしてもよい。つまり、ＨＴＭＬファイルの中で、ｉ番目の情報が掲載された日時を、Ｔｉとし、ｉ番目の情報が、所定の一定の日時で更新されている期待値をｘｉとすると、
【００３４】
【数１】
2005135198.tif 000003
を満たすｘｉを求めればよい。ここでｘｉが
ｘｉ＝ａ＊ｉ＋ｂ  …  （８）
という直線で近似できる。
【００３５】
なお、最小２乗法については、「田中豊、脇本和昌著「多変量統計解析法」現代数学社、１９８３年、第１章」に記載されている。
【００３６】
また、実際に集めた後に、内容の変更の有無等によって、収集する日時情報を調整するようにしてもよい。
【００３７】
次に、上記実施例の具体例に付いて説明する。
【００３８】
まず、収集する対象の文書と、収集する日時とを、収集対象管理部１０に予め記述しておく。収集対象を指定には、ＵＲＬを用いる。また、日時を指定する場合、以下の形式を用いる。
【００３９】
ＹＹＹＹ／ＭＭ／ＤＤｈｈ：ｍｍ：ｓｓ  …  （９）
ここで、ＹＹＹＹは西暦、ＭＭは月、ＤＤは日、ｈｈは時、ｍｍは分、ｓｓは秒を示す。上記収集する日時と、上記収集する対象の文書とを、１つの対として記述する。たとえば、
２００３／１０／２２  １２：００：１４  http://www.aaa.co.jp/  …（１０）
２００３／１０／２２  １２：１０：２０  http://www.bbb.co.jp/pub/  …（１１）
２００３／１０／２２  １２：１３：２０  http://www.aaa.co.jp/  …（１２）
等と記述する。
【００４０】
文書収集部２０は、収集対象管理部１０で管理されている収集対象を収集日時に応じて収集する。上記の例を用いると、現在時刻が「２００３／１０／２２  １２：００：１４」になった時点で、「http://www.aaa.co.jp」と合致するＨＴＭＬファイルの取得を試みる。
【００４１】
日時情報抽出部３０は、文書収集部２０が収集した文書を解析し、文書内に記述されている日時情報を抽出する。たとえば、所定の文書が、図２に示すように記述されていたとすると、ここから抽出される共通の形式に則った日時は、
１  ２００３／１１／０２  １２：３５：００  …（１３）
２  ２００３／１１／０２  １３：００：００  …（１４）
３  ２００３／１１／０２  １３：１５：００  …（１５）
４  ２００３／１１／０２  １３：２５：００  …（１６）
５  ２００３／１１／０２  １３：３８：００  …（１７）
となる。
【００４２】
なお、「４月」という文字列は共通の形式という観点から無視される。つまり、図２中の「Ｎｏ．３」の発言者「ううう」さんが書き込みした「でも今年の４月の…」における「４月」は、発言者が書き込んだ時刻を指すものではないので、上記実施例において、次回にファイルが更新される時間を推定する場合には使用しない。
【００４３】
上記５つの日時を使用し、最小２乗法を用い、近似直線を求めてみる。各時間の差を、
１    ０  …（１８）
２  ２５  …（１９）
３  １５  …（２０）
４  １０  …（２１）
５  １３  …（２２）
とする（単位は分）。なお、上記「１    ０」における「０」は、起点という意味で、式１３−式１３＝０（すなわち、２００３／１１／０２  １２：３５：００−２００３／１１／０２  １２：３５：００＝０）である。
【００４４】
ここから、上記式（１９）（２０）（２１）（２２）を用いて近似直線を求めると、
ｔ＿ｉ＝−４．１×ｉ＋２６  …  （２３）
となる。これによって、第６回の更新日時は
−４．１×５＋２６＝５．５  …  （２４）
分後である２００３／１１／０２  １３：４３：３０であることが予想される。
【００４５】
また、上記実施例をプログラムの発明として把握することができる。つまり、上記実施例は、コンピュータネットワークを介して、他のコンピュータ上に存在する文書を、自動的に取得する文書収集プログラムにおいて、収集対象文書と収集する日時とを収集対象管理部に記録する収集対象管理手順と、上記収集対象管理部に記録されている収集対象文書と収集日時とに応じて、文書収集部が文書を収集する文書収集手順と、上記文書収集手順で収集した所定の文書を解析し、この解析された所定の文書内に記述されている複数の日時の情報を、日時情報抽出が抽出する日時情報抽出手順と、上記日時情報抽出手順で抽出された複数の日時の情報に基づいて、上記所定の文書を次回収集する日時を計算し、この計算された次回収集日時の情報を、上記収集対象管理部に送る次回収集日時計算手順とをコンピュータに実行させるプログラムの例である。
【００４６】
なお、上記プログラムを、ＦＤ、ＣＤ、ＤＶＤ、ＨＤ、半導体メモリ等の記録媒体に記録するようにしてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施例１である文書収集装置１００の概略構成を示すブロック図である。
【図２】ＨＴＭＬファイルの表示例を示す図である。
【図３】上記実施例の動作を示すフローチャートである。
【符号の説明】
【００４８】
１００…文書収集装置、
１０…収集対象管理部、
２０…文書収集部、
３０…日時情報抽出部、
４０…次回収集日時計算部、
５０…管理データベース、
６０…文書データベース。
【図１】
2005135198.tif 000004
【図２】
2005135198.tif 000005
【図３】
2005135198.tif 000006