(57)【要約】【課題】ユーザの所望する情報と関連の深い情報とを効率的に収集することができる文書収集装置を提供する。【解決手段】インターネット１１２上のＷｅｂ文書１１３を収集するＷｅｂ文書収集部１０１であって、ユーザの指定した文書を起点としてハイパーリンクを辿りながら順次文書を収集するＷｅｂ文書収集手段と、相互に関連性の強いサイトを抽出するサイト抽出手段と、前記サイト抽出手段により抽出されたサイトの集合を定義するサイト集合定義手段とを有する。【選択図】      図１
2004199365.tif 000002
【特許請求の範囲】
【請求項１】
インターネット上の文書を収集する文書収集装置であって、
ユーザの指定した文書を起点としてハイパーリンクを辿りながら順次文書を収集する文書収集手段と、
相互に関連性の強いサイトを抽出するサイト抽出手段と、
前記サイト抽出手段により抽出されたサイトの集合を定義するサイト集合定義手段とを有することを特徴とする文書収集装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネット上の文書（Ｗｅｂ文書）を収集する文書収集装置に関する。
【０００２】
【従来の技術】
Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ(以下、Ｗｅｂと記述する。)の普及に伴い、企業や個人が多くの情報をＷｅｂを通じて提供するようになっている。Ｗｅｂ上の情報は誰でも自由に提供・入手できる利便性がある反面、世界中のネットワークに分散して存在するこれらの情報を体系立てる有効な手段に乏しく、散在する膨大な情報の中から目的の情報を効率よく取得するのは困難である。
【０００３】
これを解決するためにＷｅｂ文書検索が用いられている。
【０００４】
Ｗｅｂ文書検索は、その方法によってディレクトリ型と全文検索型とに大別できる。
【０００５】
ディレクトリ型は、情報の内容に基づいて予め決められた複数のカテゴリにＷｅｂ文書を分類するものである。ユーザは、複数あるカテゴリの中から目的の情報を含んでいると考えられるカテゴリを選択し、更に、そのカテゴリの中から詳細なサブカテゴリを選択することを繰り返し、最終的にあるカテゴリに分類されたＷｅｂ文書に到達できるようになっている。
【０００６】
ユーザは、カテゴリ名をヒントに希望する情報を絞り込むことができるため、検索操作が容易であり、検索目的が明確な場合に向いているものと考えられる。
【０００７】
また、全文検索型は、まず、文書収集装置であるＷｅｂロボットが検索対象に含めるＷｅｂ文書を収集し、その収集したＷｅｂ文書のデータベースを作成する。
【０００８】
そして、ユーザは、所望する情報に関連する検索語を用いてデータベースの検索を行い、登録されているＷｅｂ文書を入手するという方法が一般に用いられている。
【０００９】
この方法では、ユーザが検索することのできるＷｅｂ文書の量は、Ｗｅｂロボットが収集可能な文書の量に等しくなるため、多くの文書を収集してデータベース化しておけば、ユーザは、広範囲なＷｅｂ文書を対象に目的情報を検索することが可能となる。
【００１０】
ここで、Ｗｅｂロボットの動作について簡単に説明する。
【００１１】
Ｗｅｂロボットは、Ｗｅｂ文書に含まれているハイパーリンクを辿りながらリンク先のＷｅｂ文書を順次収集するものである。リンク先のＷｅｂ文書は、リンク元と同じＷｅｂサイトに存在することも、別のＷｅｂサイトに存在することもある。つまり、原理的には、Ｗｅｂロボットは、リンクで結ばれた全てのＷｅｂ文書を自動的に収集することが可能であり、従って、全てのＷｅｂ文書を対象にした検索を行うことも可能である。実用に際しては、一つのＷｅｂサイトの全てのＷｅｂ文書を収集し終えたり、或いは収集の起点となるＷｅｂ文書から出発して、指定した回数までリンクを辿り終えたら、Ｗｅｂ文書の収集を終了させる。
【００１２】
以上が代表的なＷｅｂ検索の手法である。
【００１３】
【発明が解決しようとする課題】
しかし、上述した従来のディレクトリ型では、Ｗｅｂ文書をカテゴリに分類するには文書の内容を判断する必要があり、多大な作業を要する。そのため、Ｗｅｂ文書を全て分類するのは極めて困難であり、ユーザは、無数に存在するＷｅｂ文書を部分的にしか利用できず、入手可能な情報が限られてしまうという問題があった。
【００１４】
また、上述した従来の全文検索型においては、一般的に情報を絞り込むのに有効な検索語の選択には一定の熟練を要する。そのため、データベースに登録されている文書量が増えるに従って、適当な検索語を指定できなかった場合には、検索結果数が発散してしまい、目的情報を検索するのが困難になるという問題があった。
【００１５】
また、大量のＷｅｂ文書を収集するには、その分多くの時間を必要とし、日々更新されるＷｅｂ文書をタイムリーにデータベース化することが困難になる。
【００１６】
従って、大量のＷｅｂページをデータベース化し、同時に検索効率を維持することが望まれる。
【００１７】
この問題を解決するための方法として、従来、Ｗｅｂ文書のグループ化を用いる方法が、例えば、特開平１１-４５２５７号公報に開示されている。
【００１８】
この方法では、収集した文書を、その内容に基づいて分類することで、ディレクトリ型サービスにおけるカテゴリ分類作業の自動化を図っている。
【００１９】
また、この方法は、文書量の増加に伴う検索結果の発散を抑制するのには効果的であるが、Ｗｅｂ文書の特徴であるハイパーリンクを活用していないため、Ｗｅｂロボットの収集効率を高めることには寄与できない。
【００２０】
また、文書の内容に基づく分類を行うためには、内容の類似した文書を一定量以上収集する必要がある。Ｗｅｂロボットは、起点となるＷｅｂ文書から順にリンクを辿ってＷｅｂ文書の収集を行うため、関連性の高いＷｅｂページを収集するためには、Ｗｅｂロボットがリンクを辿る回数を多めに設定しておく必要がある。
【００２１】
しかしながら、Ｗｅｂ文書に張られたハイパーリンクは関連性の高いものばかりとは限らない。関連性の低いその他のリンクも同じ回数だけ辿らせたのでは、Ｗｅｂ文書の収集効率が低下する。
【００２２】
初めてＷｅｂ文書を収集する時のようにＷｅｂサイトのリンク構造が明らかになっていない場合には、こうした無駄なリンク先のＷｅｂ文書を収集することは避けられないが、２回目以降のＷｅｂ文書の収集時にも続けてＷｅｂ文書を収集することは収集効率が悪いという点においても、また、不要な通信を発生させるという点においても避けることが望まれる。
【００２３】
こうした問題を回避するために、ハイパーリンク構造を利用したＷｅｂ文書のグループ化が考えられるが、例えば、特開平１０-０３１６５２号公報に開示されているように、Ｗｅｂサイト間の距離を算出する方法が検討されているものの、Ｗｅｂロボットの収集に活用されている例は見られない。
【００２４】
ここで、Ｗｅｂ文書のグループ化における現在Ｗｅｂで用いられているＨＴＭＬのハイパーリンクは、ＨＴＭＬの製作者によって明示的に指定されるものである。つまり、文書の内容を熟知している者が、自身の提供する文書と関連性の高い別のＷｅｂ文書に関する情報を提供していることを意味する。
【００２５】
特に、二つのＷｅｂ文書が双方向のハイパーリンクで結ばれている場合には、双方の情報提供者が関連性の高さを保証していることになり、そうしたハイパーリンクは、Ｗｅｂ文書のグループ化において非常に有益な情報であると考えられる。
【００２６】
しかしながら、現状では、この情報がＷｅｂロボットの収集に活用されるには至っていない。
【００２７】
本発明は、上述したような従来技術の有する問題点を解消するためになされたもので、その目的は、ユーザの所望する情報と関連の深い情報を効率的に収集することが可能な文書収集装置を提供することである。
【００２８】
【課題を解決するための手段】
上記目的を達成するために本発明の文書収集装置は、インターネット上の文書を収集する文書収集装置であって、ユーザの指定した文書を起点としてハイパーリンクを辿りながら順次文書を収集する文書収集手段と、相互に関連性の強いサイトを抽出するサイト抽出手段と、前記サイト抽出手段により抽出されたサイトの集合を定義するサイト集合定義手段とを有することを特徴とする。
【００２９】
【発明の実施の形態】
以下、本発明の一実施の形態を、図面に基づき説明する。
【００３０】
図１は、本発明の一実施の形態に係る文書収集装置を有するＷｅｂ文書検索システムの構成を示すブロック図である。
【００３１】
図１において、１０１は本実施の形態に係る文書収集装置であるＷｅｂ文書収集部(Ｗｅｂロボット)、１０２はハイパーリンク抽出部、１０３はハイパーリンク解析部、１０４はＷｅｂ文書グループ生成部、１０５は収集規制生成部、１０６はＷｅｂ文書記録部、１０７はハイパーリンク記録部、１０８はデータベース作成部、１０９はデータベース、１１０は付属データ作成部、１１１は検索部である。、１１２はインターネット、１１３はＷｅｂ文書である。
【００３２】
Ｗｅｂ文書収集部１０１は、インターネット１１２上に存在するＷｅｂ文書１１３を収集する。Ｗｅｂ文書収集部１０１が収集したＷｅｂ文書は、一旦Ｗｅｂ文書記録部１０６に保存された後、ハイパーリンク抽出部１０２によってＷｅｂ文書中に含まれるハイパーリンクが抽出される。ハイパーリンク抽出部１０２が抽出したハイパーリンクは、ハイパーリンク解析部１０３に渡され、このハイパーリンク解析部１０３は、同一サイト内のハイパーリンクであるか否かや、既に抽出済みのハイパーリンクであるか否か等を解析する。
【００３３】
ハイパーリンク解析部１０３によるハイパーリンクの解析結果がＷｅｂ文書グループ作成部１０４に渡されると、このＷｅｂ文書グループ作成部１０４によりＷｅｂロボットが収集するＷｅｂ文書のグルーピングが行われる。収集規則生成部１０５は、このようにして生成したグループに基づいたＷｅｂ文書収集部１０１の制御規則を作成する。
【００３４】
そして、Ｗｅｂ文書収集部１０１は、次回の収集からは収集規則生成部１０５が作成した収集規則に基づいてＷｅｂ文書の収集を行う。続いて、データベース生成部１０８は、Ｗｅｂ文書収集部１０１が収集したＷｅｂ文書をデータベース化する。このとき、Ｗｅｂ文書グループ作成部１０４が生成したＷｅｂ文書のグループ情報が付属データ生成部１１０に渡されて、データベース１０９の付属データとして併せて記録される。最後に検索部１１１が、ユーザの指定した検索語をデータベース１０９から検索する。ここで、登録したＷｅｂ文書のグループ情報は、検索結果の絞込み等、検索を補助する情報として利用される。
【００３５】
以上の各構成要素は、各々がコンピュータプログラムとして、１台または複数台のコンピュータ上で動作する。
【００３６】
次に、本実施の形態に係るＷｅｂ文書収集部１０１の動作について、図２を用いて説明する。
【００３７】
図２は、本実施の形態に係るＷｅｂ文書収集部１０１の動作の流れを示す図である。
【００３８】
まず、ユーザは、希望する情報を提供しているサイトＡの特定のＷｅｂ文書を収集の起点として指定する(２０１)。起点となるＷｅｂ文書には一つ以上のハイパーリンクが含まれており、Ｗｅｂロボットは、そのハイパーリンクを辿ってリンク先のＷｅｂ文書(２０２，２０３)を収集する。以降、同様にして収集したＷｅｂ文書に含まれるハイパーリンクを次々に辿ってリンク先のＷｅｂ文書を収集する。
【００３９】
ここで、Ｗｅｂ文書(２０３)のように、外部のＷｅｂサイト(サイトＢ)へのハイパーリンクが存在する場合、Ｗｅｂ文書収集部１０１は、このハイパーリンクをも辿ってリンク先のＷｅｂ文書(２０６)を収集することができる。そして、サイトＡのＷｅｂ文書収集と同様に、Ｗｅｂ文書(２０６)を起点にしてハイパーリンクを辿ってサイトＢ内のＷｅｂ文書を収集する。
【００４０】
以上の動作を繰り返し行い、Ｗｅｂ文書収集部１０１は、ハイパーリンクを辿って到達可能な全てのＷｅｂ文書を収集することが可能である。
【００４１】
但し、運用上は、特定のＷｅｂサイトのＷｅｂ文書を全て収集したり、或いは収集したＷｅｂ文書の数がユーザの設定したＷｅｂ文書の数に達する等の条件を満たした時点で、Ｗｅｂロボットの収集動作を停止させる。
【００４２】
次に、本実施の形態に係るＷｅｂ文書収集部１０１におけるＷｅｂ文書収集からハイパーリンクの抽出とＷｅｂ文書のグルーピングまでの処理動作について、図３を参照して説明する。
【００４３】
図３は、本実施の形態に係るＷｅｂ文書収集部１０１におけるＷｅｂ文書収集からハイパーリンクの抽出とＷｅｂ文書のグルーピングまでの処理動作の流れを示すフローチャートである。
【００４４】
まず、ステップＳ３０１でＷｅｂ文書収集部１０１が収集対象リストに登録されているＷｅｂ文書を一つ収集する。
【００４５】
尚、収集開始時にリストに入っているのは、ユーザの指定した起点の文書だけである。
【００４６】
次に、ステップＳ３０２で前記ステップＳ３０１において収集したＷｅｂ文書から、そのＷｅｂ文書にハイパーリンクが含まれているかを判断する。そして、Ｗｅｂ文書中にハイパーリンクが含まれていないと判断された場合は、そのＷｅｂ文書からＷｅｂ文書収集部１０１が辿ることのできる文書は存在しないので、前記ステップＳ３０１へ戻って、収集対象リストに登録されている次の文書の収集を行う。
【００４７】
一方、前記ステップＳ３０２において、Ｗｅｂ文書中にハイパーリンクが含まれていると判断された場合は、次のステップＳ３０３へ進んで、Ｗｅｂ文書中のハイパーリンクを抽出する。次に、ステップＳ３０４でハイパーリンクの示すＵＲＬ（ユーザ要求言語）が既に収集対象リストに登録済みであるか否かを判断する。そして、ハイパーリンクの示すＵＲＬが収集対象リストに登録されていないと判断された場合は、次のステップＳ３０５へ進んで、ハイパーリンクを収集対象リストに追加した後、次のステップＳ３０６ヘ進む。
【００４８】
一方、前記ステップＳ３０４において、ハイパーリンクの示すＵＲＬが収集対象リストに既に登録されていると判断された場合は、前記ステップＳ３０２へ戻る。
【００４９】
ステップＳ３０６では、前記ステップＳ３０５において追加したハイパーリンクの先がハイパーリンク元と同一のＷｅｂサイトであるか外部のＷｅｂサイトであるかを判断する。そして、外部のＷｅｂサイトであると判断された場合は、次のステップＳ３０７へ進んで、そのＷｅｂサイトへのハイパーリンクが既に登録済みであるか否かを判断する。そして、Ｗｅｂサイトへのハイパーリンクが登録されていないと判断された場合は、次のステップＳ３０８へ進んで、収集Ｗｅｂサイトリストに前記ハイパーリンク元及びハイパーリンク先のＵＲＬの組を登録した後、本処理動作を終了する。
【００５０】
一方、前記ステップＳ３０７において、Ｗｅｂサイトへのハイパーリンクが登録されていると判断された場合は、前記ステップＳ３０２へ戻ってＷｅｂ文書にハイパーリンクが含まれているかを判断する。
【００５１】
以上の処理を繰り返し、現在のＷｅｂ文書に含まれるハイパーリンクを全て抽出し終えたら、収集対象リストから次のＷｅｂ文書を一つ収集する。この収集対象リストに登録されている全てのＷｅｂ文書を収集するまで、Ｗｅｂ文書収集部１０１は、これらの処理を繰り返し行う。
【００５２】
次に、ハイパーリンク解析部１０３及びＷｅｂ文書グループ生成部１０４の処理動作について、図４〜図６を用いて説明する。
【００５３】
図４は、ハイパーリンク解析部１０３及びＷｅｂ文書グループ生成部１０４にの処理動作の流れを示す図、図５は、Ｗｅｂサイトのグループの統合を示す説明図、図６は、Ｗｅｂサイトのグルーピングアルゴリズムを示すフローチャートである。
【００５４】
ハイパーリンク解析部１０３は、Ｗｅｂ文書収集部１０１が作成した収集Ｗｅｂサイトリストに登録されているＵＲＬの組から、相互に連結されたＷｅｂサイトの組を抽出する。ところで、こうした相互リンクの存在は、二つのＷｅｂ文書の関連性の高さが、それぞれのＷｅｂ文書の提供者によって保証されていることを意味する。つまり、Ｗｅｂ文書を収集する側でＷｅｂ文書の内容を比較して関連性の有無を判断しなくとも、Ｗｅｂ文書の提供者がハイパーリンクという形で提供しているＷｅｂ文書の関連性情報を利用することができる。
【００５５】
本発明では、これに基づいて、相互リンクの存在するＷｅｂサイトの集合を一つのグループとして定義する。ここで、二つのＷｅｂサイトが相互に連結される形態としては、図４（ａ）に示すように、二つの文書間での１対１の相互リンク(形態１)、図４（ｂ）に示すように、一つの文書と２つ以上の文書間での相互リンク(形態２)及び図４（ｃ）に示すように、二つ以上の文書間での相互リンク(形態３)が存在する。
【００５６】
これら各形態に当てはまるＵＲＬの組がハイパーリンク解析部１０３により検出され、Ｗｅｂ文書グループ作成部１０４によりグループとして登録される。全てのＵＲＬの組を検出してグループの登録を終了した場合は、引き続いてグループの統合を行う。
【００５７】
図５に示すように、一つのＷｅｂサイト(サイトＢ)への相互リンクを通じて二つのＷｅｂサイト(サイトＡ，サイトＣ)が存在する場合、サイトＢとサイトＡ及びサイトＢとサイトＣは、それぞれ別グループ(グループＡＢ，グループＢＣ)として登録されている。グループの統合では、リンク構造に基づいて、これらのグループを一つに纏める。
【００５８】
まず、図４（ａ）に示す形態１及び図４（ｂ）に示す形態２のように、サイトＢの一つの文書に対してサイトＡ及びサイトＣからの相互リンクが張られている場合は、サイトＡとサイトＣは共にサイトＢへの同一文書への関連性が高いとして(ステップＳ６０５)、グループＡＢとグループＢＣは１つのグループに統合される(ステップＳ６０６)。
【００５９】
一方、図４（ｃ）に示す形態３のように、サイトＡとの相互リンクとサイトＣとの相互リンクがサイトＢの別の文書に対して張られている場合は、サイトＡとサイトＣとの関連性はリンク構造からだけでは判断できない。従って、この場合は、グループＡＢとグループＢＣとは統合しない(ステップＳ６１１)。こうして、Ｗｅｂ文書収集部１０１が収集したＷｅｂサイトは、幾つかのグループに分類される。相互リンクに基づいて生成されたグループのことを、以降では第１水準グループと呼ぶ。
【００６０】
しかしながら、以上述べたような相互リンクがＷｅｂ文書収集部１０１の収集したＷｅｂサイトに十分存在せずに、グループ化が進まないケースが考えられる(ステップＳ６１４)。そこで、本実施の形態においては、そのような場合に、Ｗｅｂサイト間の依存関係をグループ化に利用する。ここで、Ｗｅｂサイト間の依存関係とは、あるサイトから別のあるサイトに対して張られているハイパーリンクの偏りを示すものであり、ＷｅｂサイトＡのＷｅｂサイトＢへの依存度ＤABをＤAB ＝[サイトＡからサイトＢへのリンク数]／[サイトＡから外部サイトへの総リンク数]
と定義する(ステップＳ６０８)。
【００６１】
ＤAB がある閾値を越えた場合(ステップＳ６０９)、サイトＡはサイトＢに依存していると判断して両者をグループ化する(ステップＳ６１０)。各サイト間の依存関係で生成されたグループのことを、以降では第２水準グループと呼ぶ。
【００６２】
収集規則生成部１０５では、Ｗｅｂ文書グループ生成部１０４が生成したＷｅｂ文書のグループを収集の単位として、Ｗｅｂ文書収集部１０１の制御規則を作成する。
【００６３】
本実施の形態では、制御規則として収集範囲の制限とスケジュールの利用について説明する。
【００６４】
まず、収集範囲を制限する場合は、ユーザが起点に指定したＷｅｂ文書の存在するＷｅｂサイトが属している第１水準グループの収集だけを行わせることができる。Ｗｅｂ文書収集部１０１は、収集されたＷｅｂ文書の数等から更にＷｅｂ文書の収集を続けるか否かを判断する。そして、Ｗｅｂ文書の収集を続けると判断された場合は、続いて第二水準グループの収集を行う。ここで再度、Ｗｅｂ文書の収集状況を判断し、更にＷｅｂ文書の収集が必要と判断された場合は、グループに属さないリンク先のＷｅｂ文書の収集を行う。
【００６５】
また、スケジュールの利用においては、第１水準のグループは毎日Ｗｅｂ文書を収集し、第２水準のグループは週に１度だけＷｅｂ文書を収集する等の方法が考えられるが、その詳細については本発明は規定するものではない。
【００６６】
図６において、まず、ステップＳ６０１で収集ＷｅｂサイトリストにＷｅｂサイトのペアが残っているか否かを判断する。そして、収集ＷｅｂサイトリストにＷｅｂサイトのペアが残っていると判断された場合は、ステップＳ６０２へ進んで、比較元ペア一つを読み込んだ後、次のステップＳ６０３へ進む。
【００６７】
ステップＳ６０３では、Ｗｅｂサイトの未チェックペアが残っているか否かを判断する。そして、Ｗｅｂサイトの未チェックペアが残っていると判断された場合は、次のステップＳ６０４へ進んで、比較先ペアを読み込んだ後、次のステップＳ６０５へ進む。
【００６８】
ステップＳ６０５では、ハイパーリンク元のＷｅｂ文書は比較元ペアのＷｅｂ文書と同じであるか否かを判断する。そして、ハイパーリンク元のＷｅｂ文書は比較元ペアのＷｅｂ文書と同じであると判断された場合は、次のステップＳ６０６へ進んで、Ｗｅｂサイトを第１水準グループで統合した後、前記ステップＳ６０３へ戻る。
【００６９】
一方、前記ステップＳ６０１において、収集ＷｅｂサイトリストにＷｅｂサイトのペアが残っていないと判断された場合は、ステップＳ６１４へ進んで、Ｗｅｂサイトのグループが閾値を越えたか否かを判断する。そして、Ｗｅｂサイトのグループが閾値を越えないと判断された場合は、前記ステップＳ６０１へ戻り、また、Ｗｅｂサイトのグループが閾値を越えたと判断された場合は、本処理動作を終了する。
【００７０】
また、前記ステップＳ６０３において、収集ＷｅｂサイトリストにＷｅｂサイトの未チェックペアが残っているか否かを判断する。そして、収集ＷｅｂサイトリストにＷｅｂサイトの未チェックペアが残っていないと判断された場合は、ステップＳ６０７へ進んで、第１水準グループ生成過程であるか否かを判断する。そして、第１水準グループ生成過程であると判断された場合は、ステップＳ６０８へ進んで、比較元のＷｅｂサイトのペアのハイパーリンク元の依存度度ＤABを、下記式により計算する。
【００７１】
ＤAB ＝[サイトＡからサイトＢへのリンク数]／[サイトＡから外部サイトへの総リンク数]
次に、ステップＳ６０９へ進んで、前記ステップＳ６０８において計算された依存度ＤABが閾値を越えるＷｅｂサイトがあるか否かを判断する。そして、依存度ＤABが閾値を越えるＷｅｂサイトがあると判断された場合は、次のステップＳ６１０へ進んで、Ｗｅｂサイトを第２水準グループで統合した後、前記ステップＳ６０１へ戻る。
【００７２】
また、前記ステップＳ６０７において、第１水準グループ生成過程ではないと判断された場合及び前記ステップＳ６０９において、依存度ＤABが閾値を越えるＷｅｂサイトがないと判断された場合は、いずれも前記ステップＳ６０１へ戻る。
【００７３】
また、前記ステップＳ６０５において、ハイパーリンク元のＷｅｂ文書は比較元ペアのＷｅｂ文書と同じでないと判断された場合は、ステップＳ６１１へ進んで、第１水準グループ生成過程であるか否かを判断する。そして、第１水準グループ生成過程でないと判断された場合は、次のステップＳ６１２へ進んで、ハイパーリンク元のＷｅｂ文書は比較元ペアのＷｅｂ文書と同一Ｗｅｂサイトであるか否かを判断する。そして、ハイパーリンク元のＷｅｂ文書は比較元ペアのＷｅｂ文書と同一Ｗｅｂサイトであると判断された場合は、次のステップＳ６１３へ進んで、外部ハイパーリンクカウンタへ登録した後、前記ステップＳ６０３へ戻る。
【００７４】
また、前記ステップＳ６１１において、第１水準グループ生成過程であると判断された場合及び前記ステップＳ６１２において、ハイパーリンク元のＷｅｂ文書は比較元ペアのＷｅｂ文書と同一Ｗｅｂサイトでないと判断された場合は、いずれも前記ステップＳ６０３へ戻る。
【００７５】
次に、検索部１１１の動作について、図７を用いて説明する。
【００７６】
図７は、検索結果の絞込みを行うための表示例を示す図であり、同図において、７０１は検索結果数、７０２はＷｅｂ文書のタイトル、７０３はＵＲＬ、７０４はアイコンである。
【００７７】
Ｗｅｂ文書グループ生成部１０４が生成したＷｅｂ文書のグループは、データベース１０９を作成する場合に、これと同時にデータベースに付随する情報として付属データ生成部１１０が記録する。ユーザは、任意の検索語を用いて、データベース１０９の検索を行い、その検索結果の一覧を取得する。通常は、検索結果数７０１や、Ｗｅｂ文書のタイトル７０２、ＵＲＬ７０３等が表示される。ここで、検索条件に合致したＷｅｂ文書がＷｅｂ文書のグループに属している場合は、検索部１１１は、これをユーザに提示して、検索結果の絞り込みを支援する。ユーザがアイコン７０４をクリックすると、そのＷｅｂ文書の属するグループに含まれているＷｅｂ文書だけが検索結果として表示され、ユーザは、目的情報を容易に検索することができる。
【００７８】
（他の実施の形態）
尚、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、本発明が達成されることは言うまでもない。
【００７９】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
また、プログラムコードを供給するための記憶媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムコードを記憶できるものであれば良く、或いはネットワークを介したダウンロード等を用いることができる。
【００８１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
以上では、本発明の様々な例と実施形態を説明したが、当業者であれば、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、本願特許請求の範囲に全て述べられた様々な修正と変更に及ぶことが可能であることは言うまでもない。
【００８４】
本発明の実施態様の例を以下に列挙する。
【００８５】
［実施態様１］  インターネット上の文書を収集する文書収集装置であって、ユーザの指定した文書を起点としてハイパーリンクを辿りながら順次文書を収集する文書収集手段と、
相互に関連性の強いサイトを抽出するサイト抽出手段と、
前記サイト抽出手段により抽出されたサイトの集合を定義するサイト集合定義手段とを有することを特徴とする文書収集装置。
【００８６】
［実施態様２］  前記文書からハイパーリンクを抽出するハイパーリンク抽出手段と、
前記ハイパーリンク抽出手段により抽出したハイパーリンクの構造を解析するハイパーリンク解析手段と、
前記サイトの関連性の強さの指標として前記文書に含まれるハイパーリンクの構造を利用するように制御する制御手段とを有することを特徴とする実施態様１に記載の文書収集装置。
【００８７】
［実施態様３］  前記サイトの集合を単位として収集規則を生成する収集規則生成手段と、
前記収集規則生成手段により生成された収集規則に従って前記文書を収集するように制御する制御手段とを有することを特徴とする実施態様１に記載の文書収集装置。
【００８８】
［実施態様４］  前記サイトの集合をユーザに提示する提示手段を有することを特徴とする実施態様１乃至３に記載の文書収集装置。
【００８９】
［実施態様５］  実施態様１乃至４のいずれかに記載の文書収集装置が収集したインターネット上の文書をデータベース化し、そのデータベースをキーワード検索する文書検索システムであって、
前記文書収集装置が生成したサイトの集合を前記文書のデータベースに付随させる付随情報生成手段と、
前記データベースに付随する情報を用いて検索結果の絞り込みに利用するように制御する制御手段とを有することを特徴とする文書検索システム。
【００９０】
［実施態様６］  インターネット上の文書を収集する文書収集方法であって、
ユーザの指定した文書を起点としてハイパーリンクを辿りながら順次文書を収集する文書収集工程と、
相互に関連性の強いサイトを抽出するサイト抽出工程と、
前記サイト抽出肯定により抽出されたサイトの集合を定義するサイト集合定義工程とを有することを特徴とする文書収集方法。
【００９１】
［実施態様７］  前記文書からハイパーリンクを抽出するハイパーリンク抽出工程と、
前記ハイパーリンク抽出工程により抽出したハイパーリンクの構造を解析するハイパーリンク解析工程と、
前記サイトの関連性の強さの指標として前記文書に含まれるハイパーリンクの構造を利用するように制御する制御工程とを有することを特徴とする実施態様６に記載の文書収集方法。
【００９２】
［実施態様８］  前記サイトの集合を単位として収集規則を生成する収集規則生成工程と、
前記収集規則生成工程により生成された収集規則に従って前記文書を収集するように制御する制御工程とを有することを特徴とする実施態様６に記載の文書収集方法。
【００９３】
［実施態様９］  前記サイトの集合をユーザに提示する提示工程を有することを特徴とする実施態様６乃至８に記載の文書収集方法。
【００９４】
［実施態様１０］  実施態様１乃至４のいずれかに記載の文書収集装置が収集したインターネット上の文書をデータベース化し、そのデータベースをキーワード検索する文書検索方法であって、
前記文書収集装置が生成したサイトの集合を前記文書のデータベースに付随させる付随情報生成工程と、
前記データベースに付随する情報を用いて検索結果の絞り込みに利用するように制御する制御工程とを有することを特徴とする文書検索方法。
【００９５】
［実施態様１１］  インターネット上の文書を収集する文書収集装置を制御するためのコンピュータ読み取り可能な制御プログラムであって、
ユーザの指定した文書を起点としてハイパーリンクを辿りながら順次文書を収集する文書収集工程と、相互に関連性の強いサイトを抽出するサイト抽出工程と、前記サイト抽出肯定により抽出されたサイトの集合を定義するサイト集合定義工程とをコンピュータに実行させるためのプログラムコードから成ることを特徴とする文書収集装置の制御プログラム。
【００９６】
［実施態様１２］  実施態様１乃至４のいずれかに記載の文書収集装置が収集したインターネット上の文書をデータベース化し、そのデータベースをキーワード検索する文書検索システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
前記文書収集装置が生成したサイトの集合を前記文書のデータベースに付随させる付随情報生成工程と、前記データベースに付随する情報を用いて検索結果の絞り込みに利用するように制御する制御工程とをコンピュータに実行させるためのプログラムコードから成ることを特徴とする文書収集装置の制御プログラム。
【００９７】
［実施態様１３］  実施態様１２または１３に記載された制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【００９８】
【発明の効果】
以上のように本発明によれば、ユーザの所望する情報と関連の深い情報とを効率的に収集することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るＷｅｂ文書収集装置を有するＷｅｂ文書検索システムの構成を示すブロック図である。
【図２】本発明の一実施の形態に係るＷｅｂ文書収集装置が収集するＷｅｂサイトを示す図である。
【図３】本発明の一実施の形態に係るＷｅｂ文書収集装置の収集アルゴリズムを示すフローチャートである。
【図４】本発明の一実施の形態に係るＷｅｂ文書収集装置を有するＷｅｂ文書検索システムにおける二つのＷｅｂサイト間のリンク形態を示す図である。
【図５】本発明の一実施の形態に係るＷｅｂ文書収集装置を有するＷｅｂ文書検索システムにおけるＷｅｂサイトのグループの統合を示す図である．
【図６】本発明の一実施の形態に係るＷｅｂ文書収集装置を有するＷｅｂ文書検索システムにおけるＷｅｂサイトのグルーピングアルゴリズムを示すフローチャートである
【図７】本発明の一実施の形態に係るＷｅｂ文書収集装置を有するＷｅｂ文書検索システム検索結果の絞り込みを行うための表示例である。
【符号の説明】
１０１      Ｗｅｂ文書収集部(Ｗｅｂ文書収集装置、Ｗｅｂロボット)
１０２      ハイパーリンク抽出部
１０３      ハイパーリンク解析部
１０４      Ｗｅｂ文書グループ生成部
１０５      収集規制生成部
１０６      Ｗｅｂ文書記録部
１０７      ハイパーリンク記録部
１０８      データベース作成部
１０９      データベース
１１０      付属データ作成部
１１１      検索部
１１２      インターネット
１１３      Ｗｅｂ文書
【図１】
2004199365.tif 000003
【図２】
2004199365.tif 000004
【図３】
2004199365.tif 000005
【図４】
2004199365.tif 000006
【図５】
2004199365.tif 000007
【図６】
2004199365.tif 000008
【図７】
2004199365.tif 000009