(57)【要約】【課題】検索システムのシステム構成が変更された場合に、収集済みの文書を効率よく再収集することができるようにする。【解決手段】本発明に従う文書収集システムは、検索システムのシステム構成情報を格納する第１格納部と、文書収集時における、収集文書の属性情報および第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部と、検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および第１格納部に格納されているシステム構成情報と、第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部と、通常は所定のスケジュールに従って文書を収集し、強制再収集の場合には比較部で不一致が検出された文書のみを再収集する文書収集部とを含んでいる。【選択図】図２
2011039884.tif 000002
【特許請求の範囲】
【請求項１】
検索対象の文書を収集して解析することにより検索用の索引を作成する検索システムにおいて、前記文書を収集するための文書収集システムであって、
前記検索システムのシステム構成情報を格納する第１格納部と、
文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部と、
前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部と、
通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部と、
を含む文書収集システム。
【請求項２】
前記検索システムの管理者が前記検索システムの管理システムにシステム構成の変更を指示したことに応じて、前記管理システムが前記第１格納部に格納されているシステム構成情報を書き換える、請求項１に記載の文書収集システム。
【請求項３】
前記システム構成の変更を一意的に示す特徴値が、前記第１格納部に格納されるシステム構成情報として使用される、請求項２に記載の文書収集システム。
【請求項４】
前記第２格納部は、収集済みの文書を示す識別子に対応付けて前記属性情報および前記システム構成情報を格納する、請求項１乃至３のいずれかに記載の文書収集システム。
【請求項５】
検索対象の文書を収集して解析することにより検索用の索引を作成する検索システムにおいて、前記文書を収集するための文書収集システムであって、
前記検索システムのシステム構成情報を格納する第１格納部と、
文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部と、
前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部と、
通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部とを含み、
前記検索システムのシステム構成の変更に応じて、前記第１格納部に格納されているシステム構成情報が書き換えられ、
前記システム構成の変更を一意的に示す特徴値が、前記第１格納部に格納されるシステム構成情報として使用され、
前記第２格納部は、収集済みの文書を示す識別子に対応付けて前記属性情報および前記システム構成情報を格納する、
文書収集システム。
【請求項６】
検索対象の文書を収集して解析することにより検索用の索引を作成する検索システムにおいて、前記文書を収集するために、コンピュータを、
前記検索システムのシステム構成情報を格納する第１格納部、
文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部、
前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部、並びに
通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部、
として機能させるためのプログラム。
【請求項７】
前記検索システムのシステム構成の変更に応じて、前記第１格納部に格納されているシステム構成情報が書き換えられる、請求項６に記載のプログラム。
【請求項８】
前記システム構成の変更を一意的に示す特徴値が、前記第１格納部に格納されるシステム構成情報として使用される、請求項７に記載のプログラム。
【請求項９】
前記第２格納部は、収集済みの文書を示す識別子に対応付けて前記属性情報および前記システム構成情報を格納する、請求項６乃至８のいずれかに記載のプログラム。
【請求項１０】
検索対象の文書を収集して解析することにより検索用の索引を作成し、該索引を利用して検索を実行する検索システムであって、
前記検索システムのシステム構成情報を格納する第１格納部、
文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部、
前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部、並びに
通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部を含む、
文書収集システムと、
前記文書収集システムが収集した文書を解析する文書解析システムと、
前記文書解析システムの解析結果から前記文書の索引を作成する索引システムと、
ユーザからの検索要求に応じて、作成済みの索引を用いて検索を行い、検索結果をユーザに戻す検索エンジンと、
当該検索システムの管理者からの指示に応じて前記文書収集システム、前記文書解析システム、前記索引システムおよび前記検索エンジンを制御する管理システムとを含む、
検索システム。
【請求項１１】
前記文書収集システムが、文書の所有元のサーバに応じて別々に設けられる、請求項１０に記載の検索システム。
【請求項１２】
検索対象の文書を収集して解析することにより検索用の索引を作成し、該索引を利用して検索を実行するためのプログラムであって、コンピュータを、
前記検索システムのシステム構成情報を格納する第１格納部、
文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部、
前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部、並びに
通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部を含む、
文書収集システムと、
前記文書収集システムが収集した文書を解析する文書解析システムと、
前記文書解析システムの解析結果から前記文書の索引を作成する索引システムと、
ユーザからの検索要求に応じて、作成済みの索引を用いて検索を行い、検索結果をユーザに戻す検索エンジンと、
当該検索システムの管理者からの指示に応じて前記文書収集システム、前記文書解析システム、前記索引システムおよび前記検索エンジンを制御する管理システムと、
して機能させるためのプログラム。
【請求項１３】
前記文書収集システムが、文書の所有元のサーバに応じて別々に設けられる、請求項１２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書を収集するためのシステムおよびプログラムに関するものであり、特に、検索システムのシステム構成変更時における全文書の再収集を効率的に行うことができるシステムおよびプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータやインターネットの普及に伴い、膨大な数の非定型文書が作られるようになり、必要な文書を高速かつ的確に検索できる検索システムの必要性が高まっている。更に、高度な検索カスタマイズ機能を提供するために、検索システムに含まれる文書収集システム（クローラと呼ばれることがある）やテキスト解析システムにおいて、言語属性、収集フィールド、マッピング、検索特性などを柔軟に変更できることが求められている。しかし、このようなシステム構成の変更が生じた場合には、検索システムの索引情報に変更を反映させるため、全文書を強制的に再収集することが必要になる。
【０００３】
検索システムにおける文書の再収集処理を効率化するため、例えば、特許文献１は、複数のコンテンツを格納しているコンテンツサーバからコンテンツの属性を示すコンテンツ属性情報を情報収集装置へ送信し、情報収集装置では、受信したコンテンツ属性情報に基づいて、コンテンツサーバで更新または追加されたコンテンツを特定し、特定したコンテンツの送信要求をコンテンツサーバに送信し、コンテンツサーバから送信要求に係るコンテンツを情報収集装置に送信するようにした情報収集システムを開示している。
【０００４】
また、特許文献２は、知識データベースに登録すべき文書情報をネットワーク上から効率よく収集するための知識情報収集システムを開示しており、それによれば、Ｗｅｂ収集モジュールは、一度行った起点アドレス情報からの文書ファイル群の再収集処理を行うための再収集モードとして、以前の収集時点から更新された文書ファイルのみを収集するモードを使用し、この収集モードにおいては、現時点から指定日数以前に収集された文書ファイルの中で以前の収集時点から更新された文書ファイルのみが再収集される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１８４３５５号公報
【特許文献２】特開２００５−３２７２９７号公報
【非特許文献】
【０００６】
【非特許文献１】IBM WebSphere Information Integrator Administering Enterprise Search Version 8.3 (http://publibfp.boulder.ibm.com/epubs/pdf/c1892832.pdf)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
検索システムにおける通常の再収集処理では、上記の特許文献１および特許文献２に記載されているように、前回の収集時以降に更新または追加された文書だけを収集すればよい。しかし、検索システムのシステム構成が変更されると、検索システム内の索引情報の整合性を保つために、全文書を強制的に再収集しなければならない。しかも、この強制再収集は確実に最後まで実行する必要があり、強制再収集が何らかの理由で中断された場合は、索引はまだ不整合状態にあるため、従来は再収集をもう一度最初からやり直さなければならなかった。その場合、中断前に収集された文書が中断後の再開で重複して収集されることになり、収集作業が効率的ではなかった。収集される側から見ても、同じ文書が繰り返し収集されると、負荷の増大につながり、好ましいことではない。
【０００８】
従って、本発明の目的は、検索システムのシステム構成が変更された場合に、収集済みの文書を効率よく再収集することができる文書収集システムおよびそのような文書収集システムとしてコンピュータを機能させるためのプログラムを提供することにある。
【０００９】
本発明の他の目的は、上述のような文書収集システムを含む検索システムおよびそのような検索システムとしてコンピュータを機能させるためのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、収集文書の属性情報（例えば、更新日時など）の他に、検索システムのシステム構成を示す情報（以下、システム構成情報という）を文書毎に保持しておき、文書を強制再収集するときに、これらの保持しておいた情報と、収集対象文書の属性情報およびシステム構成情報とをそれぞれ比較して、不一致が検出された文書のみを再収集する。これにより、従来のような重複再収集を避けることができる。
【００１１】
本発明の第１の態様によれば、検索対象の文書を収集して解析することにより検索用の索引を作成する検索システムにおいて、前記文書を収集するための文書収集システムであって、前記検索システムのシステム構成情報を格納する第１格納部と、文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部と、前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部と、通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部と、を含む文書収集システムが提供される。
【００１２】
本発明の第２の態様によれば、検索対象の文書を収集して解析することにより検索用の索引を作成する検索システムにおいて、前記文書を収集するために、コンピュータを、前記検索システムのシステム構成情報を格納する第１格納部、文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部、前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部、並びに通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部、として機能させるためのプログラムが提供される。
【００１３】
本発明の第３の態様によれば、検索対象の文書を収集して解析することにより検索用の索引を作成し、該索引を利用して検索を実行する検索システムであって、前記検索システムのシステム構成情報を格納する第１格納部、文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部、前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部、並びに通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部を含む、文書収集システムと、前記文書収集システムが収集した文書を解析する文書解析システムと、前記文書解析システムの解析結果から前記文書の索引を作成する索引システムと、ユーザからの検索要求に応じて、作成済みの索引を用いて検索を行い、検索結果をユーザに戻す検索エンジンと、当該検索システムの管理者からの指示に応じて前記文書収集システム、前記文書解析システム、前記索引システムおよび前記検索エンジンを制御する管理システムとを含む、検索システムが提供される。
【００１４】
本発明の第４の態様によれば、検索対象の文書を収集して解析することにより検索用の索引を作成し、該索引を利用して検索を実行するためのプログラムであって、コンピュータを、前記検索システムのシステム構成情報を格納する第１格納部、文書収集時における、収集文書の属性情報および前記第１格納部に格納されているシステム構成情報を文書毎に格納する第２格納部、前記検索システムのシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および前記第１格納部に格納されているシステム構成情報と、前記第２格納部に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部、並びに通常は所定のスケジュールに従って文書を収集し、前記強制再収集の場合には前記比較部で不一致が検出された文書のみを再収集する文書収集部を含む、文書収集システムと、前記文書収集システムが収集した文書を解析する文書解析システムと、前記文書解析システムの解析結果から前記文書の索引を作成する索引システムと、ユーザからの検索要求に応じて、作成済みの索引を用いて検索を行い、検索結果をユーザに戻す検索エンジンと、当該検索システムの管理者からの指示に応じて前記文書収集システム、前記文書解析システム、前記索引システムおよび前記検索エンジンを制御する管理システムと、して機能させるためのプログラムが提供される。
【００１５】
いずれの態様においても、検索システムの管理者が検索システムの管理システムにシステム構成の変更を指示したことに応じて、管理システムが第１格納部に格納されているシステム構成情報を書き換えるようにしてもよい。また、第１格納部に格納されるシステム構成情報として、システム構成の変更を一意的に示す特徴値を使用してもよい。更に、第２格納部は、収集済みの文書を示す識別子に対応付けて属性情報およびシステム構成情報を格納するようにしてもよい。
【００１６】
次に、以下の図面を参照しながら、本発明を実施するための形態（以下、単に実施形態という）について具体的に説明する。
【図面の簡単な説明】
【００１７】
【図１】本発明に従う文書収集システムを組み込んだ検索システムの概要を示すブロック図。
【図２】本発明に従う文書収集システムの一構成例を示すブロック図。
【図３】検索システムの管理者がシステム構成情報を設定する場合の表示画面の一例を示す図。
【図４】本発明に従う文書収集システムの動作を示すフローチャート。
【図５】本発明従う文書収集システムが最初に全文書を収集したときに第２格納部に格納される文書ＩＤ、属性情報およびシステム構成情報の一例を示す図。
【図６】本発明に従う文書収集システムが強制再収集を実行するときの動作を示すフローチャート。
【図７】強制再収集の実行が途中で中断されたときの第２格納部の更新内容を示す図。
【図８】本発明に従う文書収集システムを含む検索システムとして使用可能なデータ処理システムの一構成例を示すブロック図。
【発明を実施するための形態】
【００１８】
本発明に従う文書収集システムを組み込んだ検索システムの概要を図１に示す。図１の検索システム１００は、インターネットやイントラネットなどのネットワーク１０２に接続された多数のサーバ１０４から検索対象の文書を収集する文書収集システム（以下、クローラという）１０６と、索引作成のためにクローラ１０６が収集した文書を解析する文書解析システム（以下、パーサという）１０８と、文書解析システム１０８の解析結果から文書の索引を作成する索引システム１１０と、ユーザからの検索要求に応じて、作成済みの索引を用いて検索を行い、検索結果をユーザに戻す検索エンジン１１２と、検索システム１００の管理者からの指示に応じて検索システム１００の各コンポーネントを制御する管理システム１１４とを含んでいる。管理システム１１４は、ディスプレイを備えた管理コンソール（図示せず）を有し、管理者はこの管理コンソールを用いて、システム構成情報の設定・変更等の種々の指示を出すことができる。
【００１９】
図１に示す検索システム１００のベースは、本実施形態では、非特許文献１に記載されている本出願人のエンタープライズ・サーチ・システムであるが、勿論他の既存の検索システムをベースにしても構わない。
【００２０】
サーバ１０４は、検索対象の文書を保持している検索対象システムとして機能し、例えば、ネットワーク１０２がインターネットの場合はＷｅｂサーバであり、ネットワーク１０２がイントラネットの場合は、人事情報などの企業内情報をデータベースに保持する企業内サーバである。クローラ１０６は、後で詳述するように、文書収集時における、収集文書の属性情報および検索システム１００のシステム構成情報を文書毎に格納するよう機能する。検索システム１００を構成する各コンポーネントのうち、クローラ１０６以外は、上述のエンタープライズ・サーチ・システム等の既存のシステムで使用されているコンポーネントで構わない。
【００２１】
本発明に従うクローラ１０６の一構成例を図２に示す。図２のクローラ１０６は、検索システム１００のシステム構成情報を格納する第１格納部２００、文書収集時における、収集文書の属性情報および第１格納部２００に格納されているシステム構成情報を文書毎に格納する第２格納部２０２、検索システム１００のシステム構成が変更されたことにより文書の強制再収集を実行するときに、収集対象文書の属性情報および第１格納部２００に格納されているシステム構成情報と、第２格納部２０２に格納されている属性情報およびシステム構成情報とをそれぞれ比較する比較部２０４、並びに通常は所定のスケジュールに従って文書を収集し、強制再収集の場合には比較部２０４で不一致が検出された文書のみを再収集する文書収集部２０６を含んでいる。
【００２２】
第１格納部２００および第２格納部２０２は、図示のように、共通の格納装置２０８の一部であってもよく、また格納装置２０８は、クローラ１０６、パーサ１０８、索引システム１１０、検索エンジン１１２および管理システムが共通にアクセスする共用格納装置であってもよい。
【００２３】
本実施形態では、第１格納部２００は、検索システム１００の管理者が管理システム１１４上で設定したシステム構成情報を格納する。管理者は、管理システム１１４が備える管理コンソール（図示せず）の表示画面からシステム構成情報を設定することができる。ここで、本発明におけるシステム構成情報とは、検索システム内の文書に変化を及ぼす構成情報を意味し、例えば、収集フィールド制御（検索システム１００に取り込むフィールドのリスト）、フィールド・マッピング（検索対象システムであるサーバ１０４におけるフィールド名と、検索システム１００におけるフィールド名とのマッピング）、フィールド検索特性（全文検索可能、数値検索可能といった、フィールドの検索特性のリスト）、言語属性（パーサ１０８で使用する言語情報）、パーサ１０８の構成情報（ランキング調整パラメータ、追加の解析機能の構成など）、明示的に強制再収集が要求された日時などが本発明におけるシステム構成情報に該当する。これに対して、除外文書タイプの指定やデータベースにおけるＳＱＬ文のＷＨＥＲＥ節といった、収集文書集合を限定するための条件は検索システム１００内の既に収集済みの文書には変化を及ぼさないので、例えこれらが変更されたとしても、強制再収集の必要はない。
【００２４】
検索システム１００の管理者がシステム構成情報を設定する場合の表示画面の一例を図３に示す。図３の表示画面は、上述の収集フィールド制御を指定するための画面で、企業内の人事情報データベースからどのような情報を収集するかを示している。図３において、「クロール」の欄はどのカラム（フィールド）の情報を収集するかを指定するところである。ここで、「すべて選択」のボックスにチェックを入れると、右側に示されている５つのカラムの情報がすべて収集されることになる。図３の例では、カラム名が「誕生日」、「所属部門」、「学歴」および「従業員番号」のところにチェックが入れられており、従ってこれら４つのカラムの情報が収集される。他のシステム構成情報についても同様にして設定することができる。
【００２５】
管理システム１１４は、管理者が設定したシステム構成情報を第１格納部２００に格納する。格納後に管理者がシステム構成情報を変更した場合は、管理システム１１４はその変更指示に応じて第１格納部２００のシステム構成情報を書き換える。記憶容量の面からは、第１格納部に格納するシステム構成情報は、管理者が設定した情報そのものではなく、その特徴を示す値（以下、特徴値という）とし、この特徴値をシステム構成情報の変更の都度一意的な値に変えるようにするのが好ましい。例えば、管理者が最初にシステム構成情報を設定したときの特徴値を１．０とし、以後、変更のたびに特徴値を１ずつ増分していってもよい。
【００２６】
次に、図４のフローチャートを参照しながら、本発明に従うクローラ１０６の動作について説明する。最初のステップＳ４０１で、管理システム１１４が、管理者が設定したシステム構成情報を第１格納部２００に格納する。本実施形態では、上述のように、特徴値１．０がシステム構成情報として第１格納部２００に格納される。次のステップＳ４０２で、クローラ１０６の文書収集部２０６が、第１格納部に格納されているシステム構成情報に従ってサーバ１０４から文書を属性情報と共に収集する。次のステップＳ４０３で、文書収集部２０６が、収集した文書の属性情報および第１格納部２００に格納されているシステム構成情報を第２格納部２０２に格納する。文書収集部２０６が収集した文書自体は、解析のためにパーサ１０８に送られる。このとき、収集文書を格納装置２０８の第３格納部（図示せず）に格納するようにしてもよい。次のステップＳ４０４で、全文書の収集が完了していなければ、文書収集部２０６は、ステップＳ４０２に戻って次の文書を収集し、完了するとステップＳ４０５に進む。
【００２７】
文書収集部２０６が最初に全文書を収集したときの第２格納部２０２の格納内容の一例を図５に示す。第２格納部２０２は、上述のように、文書収集時における、収集文書の属性情報およびシステム構成情報を文書毎に格納する。図５の例では、第２格納部２０２は、収集済みの文書を示す識別子「文書ｉ（ｉ＝１、２、３・・・ｎ）」に対応付けて、当該文書が更新された日時を表す属性情報および第１格納部２００に格納されているシステム構成情報を格納する。
【００２８】
図４に戻って、最初の全文書収集が完了すると、文書収集部２０６は、管理者が設定したスケジュールに従って文書を再収集する。例えば、管理者が毎日午前零時に再収集するというように設定していると、文書収集部２０６は、ステップＳ４０５で午前零時になるまで待機し、午前零時になると、システム構成情報が変更されていない限り（ステップＳ４０６）、文書再収集を実行する。本実施形態では、文書収集部２０６は、更新された文書だけをステップＳ４０７で再収集する。この再収集は、特許文献１にも記載されているように、各文書ｉ（ｉ＝１、２、３・・・ｎ）について属性情報（本実施形態では、更新日時）だけを文書の所有元のサーバ１０４から取り出して、第２格納部２０２に格納されている属性情報と比較し、文書所有元サーバ１０４から取り出した属性情報が第２格納部２０２に格納されている属性情報と異なっていると、その文書を取得する要求を文書所有元サーバ１０４に送ることにより、実行可能である。
【００２９】
クローラ１０６は、ステップＳ４０６でシステム構成情報が変更されるまで、上述のステップＳ４０５およびＳ４０７を繰り返す。管理者が管理システム１１４の管理コンソール（図示せず）からシステム構成情報を変更すると、ステップＳ４０８で、第１格納部２００に格納されているシステム構成情報が管理システム１１４により書き換えられ（本実施形態では、特徴値が増分される）、それに応じて、クローラ１０６は次のステップＳ４０９で収集済み文書の強制再収集を実行する。
【００３０】
クローラ１０６が実行する強制再収集ステップＳ４０９のフローの一例を図６に示す。クローラ１０６の文書収集部２０６は、収集済みの全文書を強制的に再収集するため、最初のステップＳ６０１で、文書ＩＤを１に設定し、次のステップＳ６０２で、文書１を所有しているサーバ１０４から文書１の属性情報を取得する。次のステップＳ６０３で、クローラ１０６の比較部２０４が、取得した属性情報と、第２格納部２０２に格納されている属性情報を比較し、もし同じであればステップＳ６０４に進んで、第１格納部２００に格納されているシステム構成情報と、第２格納部２０２に格納されている文書１のシステム構成情報を比較する。
【００３１】
文書収集部２０６は、比較部２０４の比較結果に応じて、ステップＳ６０５またはＳ６０６を実行する。すなわち、文書収集部２０６は、属性情報およびシステム構成情報がいずれも変更されていなければ、ステップＳ６０５で文書ＩＤを１だけ増分した後、ステップＳ６０２に戻って次の文書の属性情報を取得し、属性情報およびシステム構成情報の少なくとも一方が変更されていれば、ステップＳ６０６で文書１を再収集する。
【００３２】
文書１を再収集した後、文書収集部２０６は、次のステップＳ６０７で、第２格納部２０２に格納されている、文書１についてのシステム構成情報を、第１格納部２００に格納されているシステム構成情報で更新する。ステップＳ６０３のＮＯのパスからステップＳ６０７に来た場合は、文書１についての属性情報も、ステップＳ６０２で取得した属性情報で更新する。
【００３３】
強制再収集が中断されなければ（ステップＳ６０８）、クローラ１０６は、ステップＳ６０９で文書ＩＤを１だけ増分した後、ステップＳ６０２に戻って、次の文書に対して上述の動作を繰り返す。強制再収集が何らかの理由で中断されると、クローラ１０６は、最初のステップＳ６０１に戻り、強制再収集を最初からやり直す。従来は、中断前に再収集した文書もすべて中断後に再収集していたが、本発明よれば、再収集済みの文書については、中断後に属性情報が更新されていない限り、再収集を行わずに済む。
【００３４】
例えば、文書１の強制再収集後に中断が生じたとする。そのときの第２格納部２０２の格納内容を図７に示す。図示のように、文書１については、強制再収集が実行されたときに、図６のステップＳ６０７でシステム構成情報が１．０から２．０に更新されているが、残りの文書については、システム構成情報は１．０のままである。この状態で、強制再収集を図６のステップＳ６０１からやり直したとき、文書１に関しては、ステップＳ６０３およびＳ６０４でＹＥＳのパスに出るため、再収集ステップＳ６０６が実行されることはない。文書２以降は、システム構成情報が古いままなので、ステップＳ６０４の比較結果がＮＯになり、従ってステップＳ６０６で再収集される。
【００３５】
上述のように、本発明によれば、システム構成情報が変更された後に全文書を強制的に再収集する場合、強制再収集の中断前に再収集した文書については、属性情報が変更されていない限り、中断後の再開で重複して再収集されることはない。しかし、１つのクローラですべての文書を強制的に再収集しようとすると、無駄な強制再収集が行われることがある。例えば、図３の表示画面において、検索システム１００の管理者が「すべて選択」にチェックしてシステム構成情報を変更したとき、この変更により影響を受けるのは、人事情報を管理するサーバから収集する文書だけである。インターネット上のＷｅｂサーバなどは人事情報とは無関係であるから、Ｗｅｂサーバから文書を強制的に再収集しても索引が変更されるわけではなく、結局、強制再収集が無駄になる。従って、強制再収集を効率的に実行するためには、収集対象となるサーバ（データ・ソース）に応じて、クローラ１０６を別々に設けておくのが好ましい。データ・ソースとしては、例えば、ＩＢＭ（登録商標）  ＤＢ２（登録商標）ユニバーサル・データベース、ＩＢＭ（登録商標）  Ｌｏｔｕｓ  Ｎｏｔｅｓ（登録商標）データベース、Ｍｉｃｒｏｓｏｆｔ（登録商標）  Ｗｉｎｄｏｗｓ（登録商標）ファイル・システム、ＵＮＩＸ（登録商標）ファイル・システム、インターネット上のＷｅｂサイトなどを挙げることができる。もちろん、これらは一例に過ぎず、本発明のクローラの収集対象がこれらに限定されるわけではない。
【００３６】
最後に、クローラ１０６が各サーバ１０４から文書を収集および再収集した後の検索システム１００における後処理について簡単に触れておく。まずパーサ１０８は、非特許文献１にも記載されているように、クローラ１０６が収集した文書を解析し、文書の索引作成のための準備を行う。例えば、パーサ１０８は、クローラ１０６が収集した文書からテキストを抽出し、各文書のソース言語を検出し、管理者が指定した解析規則に従って文書を解析し、そして索引システム１１０による索引作成に備えて、解析結果を共用格納装置２０８に格納する。
【００３７】
索引システム１１０は、パーサ１０８からの解析結果を用いて索引を作成し、共用格納装置２０８（専用の索引データベースでもよい）に格納する。通常は、索引システム１１０は、定期的なスケジュールに従って索引作成タスクを実行し、新規の文書、変更された文書に関する情報を索引に追加する。上述のような強制再収集があると、索引システム１１０は、クローラ１０６が再収集し、パーサ１０８が解析したすべてのデータを読み込んで、索引を再編成することにより、索引全体を再作成する。
【００３８】
検索エンジン１１２は、ユーザからの検索要求に応じて、索引システム１１０が作成した索引により検索を実行し、検索結果をユーザに返す。
【００３９】
本発明に従うクローラ１０６を含む検索システム１００として実装可能なデータ処理システムの一例を図８に示す。図示のデータ処理システム８００が用いるハブ・アーキテクチャは、ノース・ブリッジ／メモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）８０２およびサウス・ブリッジ／入出力コントローラ・ハブ（ＳＢ／ＩＣＨ）８０４を含む。ＮＢ／ＭＣＨ８０２には、プロセッサ・ユニット８０６、メイン・メモリ８０８、およびグラフィックス・プロセッサ８１０が接続されている。グラフィックス・プロセッサ８１０は、アクセラレーテッド・グラフィック・ポート（ＡＧＰ）を介してＮＢ／ＭＣＨ８０２に接続することも可能である。
【００４０】
図示する例において、ＬＡＮアダプタ８１２がＳＢ／ＩＣＨ８０４に接続されている。さらに、オーディオ・アダプタ８１６、キーボードおよびマウス・アダプタ８２０、モデム８２２、リード・オンリ・メモリ（ＲＯＭ）８２４、ハード・ディスク・ドライブ（ＨＤＤ）８２６、ＣＤ−ＲＯＭドライブ８３０、ユニバーサル・シリアル・バス（ＵＳＢ）・ポートおよび他の通信ポート８３２、並びにＰＣＩ／ＰＣＩｅデバイス８３４が、バス８３８およびバス８４０を介して、ＳＢ／ＩＣＨ８０４に接続されている。ＰＣＩ／ＰＣＩｅデバイス８３４は、例えば、ノートブック・コンピュータのためのイーサネット・アダプタ、アドイン・カード、およびＰＣカードを含むことができる。ＲＯＭ８２４は、例えば、フラッシュ・バイナリ入出力システム（ＢＩＯＳ）とすることが可能である。
【００４１】
ハード・ディスク・ドライブ８２６およびＣＤ−ＲＯＭドライブ８３０は、バス８４０を介してＳＢ／ＩＣＨ８０４に接続され、例えば、ＩＤＥまたはＳＡＴＡインタフェースを用いることができる。ＳＢ／ＩＣＨ８０４に、スーパーＩ／Ｏ（ＳＩＯ）デバイス８３６を接続することもできる。
【００４２】
プロセッサ・ユニット８０６上でオペレーティング・システムが動作し、データ処理システム８００内の様々なコンポーネントを制御する。オペレーティング・システムは、マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）ＸＰ等の市販のオペレーティング・システムであってもよい。オペレーティング・システムの上で、クローラ１０６、パーサ１０８、索引システム１１０、検索エンジン１１２および管理システム１１４をそれぞれ制御するアプリケーション・プログラムを走らせることができる。プロセッサ・ユニット８０６は、複数のプロセッサを含む対称型マルチプロセッサ・システムとすることができる。あるいは、シングル・プロセッサ・システムを用いることも可能である。
【００４３】
オペレーティング・システムおよびアプリケーション・プログラムのための命令は、ハード・ディスク・ドライブ８２６等のストレージ・デバイスに格納され、プロセッサ・ユニット２０６による実行時にメイン・メモリ８０８にロードされる。
【００４４】
図８のハードウェアは実施状況に応じて変更可能である。図示のハードウェアに加えて、またはその代わりに、フラッシュ・メモリ、不揮発性メモリ、光ディスク・ドライブその他の周辺デバイスを用いることも可能である。図８の例は、アーキテクチャの制限を意図したものではない。
【００４５】
本発明は完全に機能するデータ処理システムとの関連で説明されたが、本発明を実施し得るプログラムは、命令のコンピュータ可読媒体の形式および様々な形式で配布することができ、本発明は配布を実行するため実際に使用される信号担持媒体の特定のタイプに関係なく等しく適用される。コンピュータ可読媒体の例は、フレキシブル・ディスク、ハード・ディスク・ドライブ、ＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような記録可能タイプの媒体、並びに、ディジタルおよびアナログ通信リンク、無線周波数および光波伝送を使用する有線又は無線通信リンクのような伝送タイプの媒体を含む。コンピュータ可読媒体は、特定のデータ処理システムで実際に使用するためデコードされる符号化フォーマットの形式を取ってもよい。
【００４６】
本発明の記述は、例示および説明を目的として提示されており、網羅的であることおよび開示された形式の発明に限定されることを意図しない。多くの修正および変形が、当業者に明らかであろう。実施形態は、本発明の原理および実際の応用を最もよく説明し、当業者が、想定される特定の使用に適した様々な修正を有する様々な実施形態について本発明を理解できるように、選択され説明された。
【図１】
2011039884.tif 000003
【図２】
2011039884.tif 000004
【図３】
2011039884.tif 000005
【図４】
2011039884.tif 000006
【図５】
2011039884.tif 000007
【図６】
2011039884.tif 000008
【図７】
2011039884.tif 000009
【図８】
2011039884.tif 000010