(57)【要約】【課題】本発明は、人手による学習データの作成と更新が不要で、ターゲットとするウェブページだけを自動的に収集し、ノイズとなる情報は極力収集しないウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法を提供することを目的とする。【解決手段】本発明のウェブ情報収集装置２は、ウェブサーバ３ａ，３ｂ，３ｃから巡回的にウェブ情報を取得し、このウェブ情報が特定分野に関連する目的情報か非目的情報かを判定するとともに、リンク元の第２のウェブ情報を取得してテキスト情報部分に含まれる単語を抽出し、目的情報または非目的情報の場合ごとに各単語の累積頻度を学習し、抽出した単語の出現頻度と学習した累積頻度によって優先度を計算して、該優先度の大きさによって優先的にアクセスするリンク先を決定する制御部４を備え、リンク情報を辿ってウェブ情報を収集することを主要な特徴とする。【選択図】図１
2005346598.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に前記単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集装置であって、ウェブサーバから巡回的にウェブ情報を取得し、該ウェブ情報が目的情報かそれ以外の非目的情報かを所定の判定基準で判定するとともに、該ウェブ情報のリンク元情報である第２のウェブ情報を取得してテキスト情報部分に含まれる単語を抽出し、各単語の累積頻度を目的情報または非目的情報の場合ごとに学習し、抽出した単語の出現頻度と学習した累積頻度によって優先度を計算して、該優先度の大きさによって優先的にアクセスするリンク先を決定する制御部を備え、前記第２のウェブ情報のリンク情報を辿ってウェブ情報を収集することを特徴とするウェブ情報収集装置。
【請求項２】
前記制御部が、抽出した単語の各出現頻度に対して、目的情報の場合に学習した累積頻度で正の重み付けを行うとともに、非目的情報の場合に学習した累積頻度で負の重み付けを施し、重み付け後の出現頻度によって前記優先度を計算することを特徴とする請求項１記載のウェブ情報収集装置。
【請求項３】
前記制御部には、各単語の重み付け後の出現頻度の総和をとって前記優先度として出力する優先度演算手段が設けられたことを特徴とする請求項２記載のウェブ情報収集装置。
【請求項４】
前記負の重み付けが、目的情報の場合に学習した累積頻度と、該累積頻度に非目的情報の場合に学習した累積頻度を加えた総累積頻度との比で計算されることを特徴とする請求項２または３に記載されたウェブ情報収集装置。
【請求項５】
前記目的情報の場合の累積頻度を学習するために、前記目的情報の単語として１個または２個以上の初期キーワードが入力されることを特徴とする請求項１〜４のいずれかに記載されたウェブ情報収集装置。
【請求項６】
前記テキスト情報部分には、少なくとも、前記リンク情報に関係付けられて記述されたアンカーリンクテキストが含まれることを特徴とする請求項１〜５のいずれかに記載されたウェブ情報収集装置。
【請求項７】
前記制御部には、前記ウェブ情報が目的情報か非目的情報かを所定の判定基準で判定する情報判定手段と、前記第２のウェブ情報に含まれる単語を抽出する形態素解析手段と、目的情報または非目的情報の場合ごとに単語の累積頻度を学習する累積頻度学習手段と、抽出した単語の出現頻度を計算する出現頻度演算手段とが設けられたことを特徴とする請求項１〜６のいずれかに記載されたウェブ情報収集装置。
【請求項８】
前記優先度の大きさにより優先順位を決定する優先順位キューを備え、前記優先順位によって次にアクセスするウェブ情報の順序を決定することを特徴とする請求項１〜７のいずれかに記載のウェブ情報収集装置。
【請求項９】
ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に前記単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集装置であって、既知の単語情報として初期キーワードを設定したとき、該初期キーワードを要素とする表形式情報が記述された複数のウェブ情報を前記ウェブサーバから取得し、各表形式情報に含まれる同一項目内の単語をすべて抽出し、該単語の関連度の総和をとって前記項目の初期キーワードとの項目関連度を計算し、各ウェブ情報が単一の項目を含む場合は前記項目関連度、複数の項目を含む場合は最大の項目関連度を各ウェブ情報の関連度とし、前記初期キーワードに対しては前記ウェブ情報の関連度の総和をとって正規化し設定値を加えて新たな関連度とするとともに、他の単語に対しては前記ウェブ情報の関連度の総和をとって正規化して新たな関連度とし、各単語と各ウェブ情報の関連度の計算を交互に繰り返す制御部を備え、計算した各単語の関連度を基に同系統の単語か否かを判定し、該同系統の単語と関連するウェブ情報を収集することを特徴とするウェブ情報収集装置。
【請求項１０】
コンピュータを、ネットワークに接続されたウェブサーバから巡回的にウェブ情報を取得するウェブ情報取得手段、前記ウェブ情報が特定分野に関連する目的情報かそれ以外の非目的情報かを所定の判定基準で判定する情報判定手段、前記ウェブ情報のリンク元情報である第２のウェブ情報のテキスト情報部分を抽出する抽出手段、前記第２のウェブ情報のテキスト情報部分に含まれる単語を抽出する形態素解析手段と、単語の累積頻度を目的情報または非目的情報の場合ごとに学習する累積頻度学習手段、抽出した単語の出現頻度を計算する出現頻度演算手段、各単語の出現頻度に対して目的情報の場合に学習した累積頻度によって正に重み付けするとともに、非目的情報の場合に学習した累積頻度によって負の重み付けを行って総和をとることにより前記優先度として出力する優先度演算手段、前記優先度とリンク情報を関係付けるキュー処理手段、として機能させるウェブクローラープログラム。
【請求項１１】
前記キュー処理手段が前記優先度と前記リンク情報を前記優先順位キューのエントリに追加することを特徴とする請求項１０記載のウェブクローラープログラム。
【請求項１２】
前記出現頻度演算手段が、１個または２個以上の初期キーワードを初期値として前記目的情報の場合の累積頻度を学習することを特徴とする請求項１０または１１に記載されたウェブクローラープログラム。
【請求項１３】
前記抽出手段が、前記テキスト情報部分として少なくともアンカーリンクテキストを抽出することを特徴とする請求項１０〜１２のいずれかに記載されたウェブクローラープログラム。
【請求項１４】
ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に前記単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集方法であって、ネットワークに接続されたウェブサーバから巡回的にウェブ情報を取得し、該ウェブ情報が目的情報かそれ以外の非目的情報かを所定の判定基準で判定するとともに、該ウェブ情報のリンク元情報である第２のウェブ情報を取得してテキスト情報部分に含まれる単語を抽出し、各単語の累積頻度を目的情報または非目的情報の場合ごとに学習し、抽出した単語の出現頻度と学習した累積頻度によって優先度を計算して、該優先度の大きさによって優先的にアクセスするリンク先を決定し、前記第２のウェブ情報のリンク情報を辿ってウェブ情報を収集することを特徴とするウェブ情報収集方法。
【請求項１５】
非目的情報の場合の累積頻度が蓄積されている単語を抽出した場合には、該単語の重みを該累積頻度によって小さく評価して前記優先度を下げることを特徴とする請求項１４記載のウェブ情報収集方法。
【請求項１６】
前記目的情報の単語として１個または２個以上の初期キーワードを与えることを特徴とする請求項１４または１５に記載されたウェブ情報収集方法。
【請求項１７】
前記テキスト情報部分には、少なくとも、前記リンク情報に関係付けられて記述されたアンカーリンクテキストが含まれることを特徴とする請求項１４〜１６のいずれかに記載されたウェブ情報収集方法。
【請求項１８】
ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に前記単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集方法であって、既知の単語情報として初期キーワードを設定し、該初期キーワードを要素とする表形式情報が記述された複数のウェブ情報を前記ウェブサーバから取得し、各表形式情報に含まれる同一項目内の単語をすべて抽出し、該単語の関連度の総和をとって前記項目の初期キーワードとの項目関連度を計算し、各ウェブ情報が単一の項目を含む場合は前記項目関連度、複数の項目を含む場合は最大の項目関連度を各ウェブ情報の関連度とし、前記初期キーワードに対しては前記ウェブ情報の関連度の総和をとって正規化し設定値を加えて新たな関連度とするとともに、他の単語に対しては前記ウェブ情報の関連度の総和をとって正規化して新たな関連度とし、各単語と各ウェブ情報の関連度の計算を交互に繰り返して、得られた各単語の関連度を基に同系統の単語を取得することによりウェブ情報を収集することを特徴とするウェブ情報収集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定分野に関連するウェブページだけを高効率で自動的に収集するウェブ情報収集装置とウェブクローラープログラム、及び目的情報と関連する情報だけを収集するウェブ情報収集方法に関する。
【背景技術】
【０００２】
情報技術の発達及び情報通信機器の普及により、インターネット等のワールドワイドウェブ（  World Wide Web、以下ウェブ）を利用して膨大なウェブ情報（ＨＴＭＬ等のマークアップ言語で記述されたウェブページ等の情報）にアクセス可能になってきている。しかし、この情報量ゆえに情報が埋没し、効果的な情報収集を行うことが難しく、現在では多くの検索エンジンサービスが提供されている。このような検索エンジンとしてはＹａｈｏｏ！（登録商標）等に代表される汎用の検索エンジンが普及しているが、例えば求人情報等の検索エンジンのように特定分野に限った専門検索エンジンも数多く存在している。
【０００３】
この専門検索エンジンを構築する場合、検索対象であるデータの収集、そのデータを検索可能にするためのインデキシング、そしてそれを記述している言語が日本語であれば形態素解析等の各処理が必要である。これらに関しては上述の汎用の検索エンジンと同様である。しかし、専門検索エンジンの場合、問題となるのが特定分野のデータ収集である。大量の情報が存在するウェブから特定分野に関連すると推定されるデータを得ても、その中に無関係の情報が混在しては使いづらいのは周知のことである。このような場合、データを使用しなければ収集にかけた費用と時間が無駄になるし、無理に使用した場合にはその後の検索において更なる無駄を生み、ネットワーク資源を浪費してしまう。従って、特定分野のデータ収集におけるデータの収集精度向上が専門検索エンジン構築の重要な問題となる。そして、これは何も専門検索エンジンだけに限られない。最近ウェブ上の膨大なデータの中から必要なデータを取り出し、活用するというウェブマイニングが研究されているが、ここでも活用目的に関するデータ収集は重要な問題となっている。
【０００４】
ところで、ウェブクローラー（Web  Crawler）プログラムはウェブページの収集を人手に代わって行うプログラムである。このプログラムはウェブページを巡回して自動的にダウンロードし、その中に記述されているハイパーリンクを抽出し、次に収集すべきＵＲＬ（Uniform Resource Locator）を発見し、この処理を繰り返すことでウェブページを取得していくものである。ウェブロボット、ウェブスパイダーとも呼ばれる。現在ロボット型検索エンジンにおいては、このウェブクローラープログラムがウェブページのインデキシングやデータ更新のために稼動している。図１２（ａ）はウェブクローラーの動作のフローチャート、図１２（ｂ）は（ａ）の動作の繰り返しで行われるリンクを辿ってターゲットのウェブページを取得するまでの説明図である。
【０００５】
従来のウェブクローラープログラムの動作の説明をすると、図１２（ａ）に示すように、ＵＲＬの集合の中から次にアクセスするＵＲＬを選択する（ｓｔｅｐ１０１）。次いでこのＵＲＬを使ってウェブサーバにアクセスし(ｓｔｅｐ１０２)、ウェブページが収集可能か判定し（ｓｔｅｐ１０３）、可能でなければｓｔｅｐ１０１に戻って再度ＵＲＬを選択する。ｓｔｅｐ１０３で収集可能な場合、ウェブサーバから該当するウェブページをダウンロードする(ｓｔｅｐ１０４)。このウェブページから新たなＵＲＬを抽出するとともにデータを保存し（ｓｔｅｐ１０５）、ＵＲＬの集合にこの新しいＵＲＬを追加し(ｓｔｅｐ１０６)、ｓｔｅｐ１０１に戻り、これを繰り返すものである。
【０００６】
以上の動作の繰り返しにより、次々と更新されるＵＲＬの集合からウェブページを収集する。なお、ＵＲＬを抽出するときリンクの深さを指定（以下、幅優先探索という）すれば２次的に関連するウェブページを抽出できる。例えば図１２（ｂ）において、リンクの深さが１の場合３個のＵＲＬが得られ、リンクの深さが２の場合さらに３個のＵＲＬが得られる。
【０００７】
さて、目的とする特定分野のウェブページだけを収集する場合、同種、類似の単語等の情報を集めることが重要になる。このような同種、類似の情報を収集する場合、従来、例えば目的の情報か否かの判定を文書分類器等で行っている（例えば非特許文献１）。従って、文書分類器の精度が特定分野のウェブページの収集に大きく影響することになる。しかし、この文書分類器が使用する学習データは、人手で長時間にわたって学習したものであり、人手によらず自動的に学習する効果的なデータ収集が行える抽出方法は現在のところ提案されていない。
【０００８】
ところで、本発明者らは数年来ウェブマイニングのテーマとして、ウェブ上に公開されているシラバスページを収集、統合、分析、比較を行うという研究を行っている。シラバスとは「大学等である期間のすべての授業についての講義名称や担当教官、授業の目標、評価方法、授業の内容、注意事項等が書いてある図書」のことである。この研究の過程で、本発明者らはこのシラバスサイトには特徴的なリンク構造がみられ、各シラバスページはウェブ上局所的に存在する傾向があり、多くの場合シラバスページがシラバスリンクページからリンクされたリンク構造を有している、という知見を得た。そこで、本発明者らは、シラバスページを収集するに当って、この特徴を利用してシラバスリンクページを優先的に収集するウェブシラバスエージェントを試作した（非特許文献２参照）。なお、このような傾向は、シラバスページとシラバスリンクページに限られるものではなく、多くの特定分野で同様の傾向がみられる。
【０００９】
試作したウェブシラバスエージェントは、収集したウェブページがシラバスリンクページであることを判定するため、「単位」「科目名」等のシラバス特有の４８個のキーワード群を用意して、シラバスリンクページであることを判定する決定木を組み込んでいる。この決定木は、ウェブからサンプルページを収集し、得られたウェブページがシラバスリンクページか否かを人手によって判定し、これによって得られた学習データを基に構築したものである。
【００１０】
このウェブシラバスエージェントのパフォーマンスを説明するため、評価実験を行った結果と、汎用検索エンジンによる幅優先探索を行った場合の結果を比較すると、前者が収集開始後早い段階でシラバスページを後者の１０倍近く抽出することに成功した（図７参照）。さらに前者はウェブページが１０，０００件近くに多くなっても後者の約１．５倍のシラバスページを抽出できるものであった。この詳細は本発明との関係において後述する。しかし、人手によって作成した学習データは量が少なく、その後の学習は期待できず、ノイズが混入し、データ収集の精度向上には限界があることが分った。
【００１１】
また、本発明者はウェブページに含まれる表情報を利用して初期キーワードと同系統の単語を収集する方法を提案した（特願２００２−２５９４７９）。ウェブから同種、類似の情報を収集するとき、表情報を利用して同系統の単語を収集するこの方法はきわめて効果的な方法であった。
【００１２】
【非特許文献１】S.Chakrabarti,M.van  den Berg,B.Dom.、「Focused  Crawler:a new approach to topic-specific Web resourcediscovery」、Computer Network、Amsterdam,Netherlands、1994、Vol.31、No.11-16,p.1623-1640、1994
【非特許文献２】山田信太郎、松永吉広、伊東栄典、廣川佐千男「Ｗｅｂシラバス情報収集エージェントの試作」、電子情報通信学会論文誌Ｄ−Ｉ、Ｊ８６巻、８号、ｐ５６６−５７４」
【発明の開示】
【発明が解決しようとする課題】
【００１３】
以上説明したように、同種、類似の情報を収集する場合に文書分類器で判定する技術は、文書分類器の精度が特定分野のウェブページの収集に関して大きく影響した。そして、この文書分類器の学習データは、人手による長時間の学習が必要となるものであり、現在のところこのような学習データ以外に利用できるものはなく、効果的なデータ収集が行える収集方法は提案されていない。
【００１４】
さて、本発明者らの試作したウェブシラバスエージェントは、汎用検索エンジンによる幅優先探索を行った場合の結果を比較すると、収集開始後に格段に優れた能力を示し、大量のウェブページを対象としてもかなり有効にシラバスページを抽出できるものであったが、その後の学習は自動的には行われないし、ノイズが混入することが避けられなかった。現在のところ特定分野でターゲットとするウェブページだけを自動的に収集し、ノイズとなる情報は収集しない効果的なデータ収集方法は提案されていない。
【００１５】
また、本発明者が提案した類似の単語を収集する方法は、収集したウェブページから表形式情報を利用して同系統の単語を収集する方法であるが、ターゲットとの関連性は表形式情報を対象として単語の使用頻度で評価するため、頻度の低い単語はいかに関連性が高い重要な単語であっても十分に評価されない傾向があった。従って、ターゲットのウェブページを、ノイズが少なく、網羅的に、高精度、高効率に収集するものではなかった。
【００１６】
そこで、このような課題を解決するために本発明は、人手による学習データの作成と更新が不要で、ターゲットとするウェブページだけを自動的に収集し、ノイズとなる情報は極力収集しないウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集装置であって、ウェブサーバから巡回的にウェブ情報を取得し、該ウェブ情報が目的情報かそれ以外の非目的情報かを所定の判定基準で判定するとともに、該ウェブ情報のリンク元情報である第２のウェブ情報を取得してテキスト情報部分に含まれる単語を抽出し、各単語の累積頻度を目的情報または非目的情報の場合ごとに学習し、抽出した単語の出現頻度と学習した累積頻度によって優先度を計算して、該優先度の大きさによって優先的にアクセスするリンク先を決定する制御部を備え、第２のウェブ情報のリンク情報を辿ってウェブ情報を収集することを主要な特徴とする。
【発明の効果】
【００１８】
本発明のウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法によれば、人手による学習データの作成と更新が不要となり、ターゲットとするウェブページだけを自動的に収集し、ノイズとなる情報は極力収集しないで済む。初期キーワードを与えることにより、これと同系統の単語を効果的に収集することができる。
【発明を実施するための最良の形態】
【００１９】
本発明の第１の形態は、ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集装置であって、ウェブサーバから巡回的にウェブ情報を取得し、該ウェブ情報が目的情報かそれ以外の非目的情報かを所定の判定基準で判定するとともに、該ウェブ情報のリンク元情報である第２のウェブ情報を取得してテキスト情報部分に含まれる単語を抽出し、各単語の累積頻度を目的情報または非目的情報の場合ごとに学習し、抽出した単語の出現頻度と学習した累積頻度によって優先度を計算して、該優先度の大きさによって優先的にアクセスするリンク先を決定する制御部を備え、第２のウェブ情報のリンク情報を辿ってウェブ情報を収集するウェブ情報収集装置であり、リンク元情報である第２のウェブ情報の単語の累積頻度を目的情報または非目的情報の場合に分けて学習させ、この累積頻度を反映させることにより優先的にアクセスするリンク先を決定するから、第２のウェブ情報のリンク情報を辿って高効率にデータ収集することができる。従って、人手による学習データの作成と更新が不要となる。優先度の順序で次にアクセスするリンク先を決めるから、関連性の強いウェブ情報だけが自動的に収集され、ノイズとなるウェブ情報は優先度が低いかもしくは非目的情報として、収集しないで済む。
【００２０】
本発明の第２の形態は、第１の形態に従属する形態であって、制御部が、抽出した単語の各出現頻度に対して、目的情報の場合に学習した累積頻度で正の重み付けを行うとともに、非目的情報の場合に学習した累積頻度で負の重み付けを施し、重み付け後の出現頻度によって優先度を計算するウェブ情報収集装置であり、目的情報または非目的情報の場合に分けて単語の累積頻度を学習させることができ、各単語の出現頻度から優先度を計算するときには、それまでに目的情報の場合と非目的情報の場合の双方で使用されたことがある単語に対して、非目的情報の場合の累積頻度で負の重み付けをするため、目的情報を特徴付ける単語としてのウェイトを積極的におとすことができ、確実に目的情報を特定可能な単語を蓄積できる。従って、人手による学習データの作成と更新が不要となる。優先度の順序で次にアクセスするリンク先を決めるから、関連性の強いウェブ情報だけが自動的に収集され、ノイズとなるウェブ情報は優先度が低いかもしくは非目的情報として、収集しないで済む。
【００２１】
本発明の第３の形態は、第２の形態に従属する形態であって、制御部には、各単語の重み付け後の出現頻度の総和をとって優先度として出力する優先度演算手段が設けられたウェブ情報収集装置であり、各単語の出現頻度の総和であるから計算が容易でウェブ情報の優先度として最も好適である。
【００２２】
本発明の第４の形態は、第２または３の形態に従属する形態であって、負の重み付けが、目的情報の場合に学習した累積頻度と、該累積頻度に非目的情報の場合に学習した累積頻度を加えた総累積頻度との比で計算されるウェブ情報収集装置であり、非目的情報の場合の累積頻度の重み付けの計算が容易で、目的情報の場合と非目的情報の場合の双方で使用されたことがある単語のウェイトを程度におとすことができる。
【００２３】
本発明の第５の形態は、第１〜４のいずれかの形態に従属する形態であって、目的情報の場合の累積頻度を学習するために、目的情報の単語として１個または２個以上の初期キーワードが入力されるウェブ情報収集装置であり、初期キーワードを１個または２個以上与えるだけで、きわめて高効率にデータ収集することができる。
【００２４】
本発明の第６の形態は、第１〜５のいずれかの形態に従属する形態であって、テキスト情報部分には、少なくとも、リンク情報に関係付けられて記述されたアンカーリンクテキストが含まれるウェブ情報収集装置であり、アンカーリンクテキスト情報部分を解析することでさらに高効率にデータ収集することができる。
【００２５】
本発明の第７の形態は、第１〜６のいずれかの形態に従属する形態であって、制御部には、ウェブ情報が目的情報か非目的情報かを所定の判定基準で判定する情報判定手段と、第２のウェブ情報に含まれる単語を抽出する形態素解析手段と、目的情報または非目的情報の場合ごとに単語の累積頻度を学習する累積頻度学習手段と、抽出した単語の出現頻度を計算する出現頻度演算手段とが設けられたウェブ情報収集装置であり、目的情報または非目的情報を自動的に判定し、各単語の累積頻度を自動的に学習させ、さらに各単語の出現頻度を自動的に計算させることができ、人手による学習データの作成と更新が不要となる。
【００２６】
本発明の第８の形態は、第１〜７のいずれかの形態に従属するものであって、優先度の大きさにより優先順位を決定する優先順位キューを備え、優先順位によって次にアクセスするウェブ情報の順序を決定するウェブ情報収集装置であり、優先順位キューによって自動的に優先度の順序で次にアクセスするリンク先を決めるから、関連性の強いウェブ情報だけが収集され、ノイズとなるウェブ情報は収集しないで済む。
【００２７】
本発明の第９の形態は、ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集装置であって、既知の単語情報として初期キーワードを設定したとき、該初期キーワードを要素とする表形式情報が記述された複数のウェブ情報をウェブサーバから取得し、各表形式情報に含まれる同一項目内の単語をすべて抽出し、該単語の関連度の総和をとって項目の初期キーワードとの項目関連度を計算し、各ウェブ情報が単一の項目を含む場合は項目関連度、複数の項目を含む場合は最大の項目関連度を各ウェブ情報の関連度とし、初期キーワードに対してはウェブ情報の関連度の総和をとって正規化し設定値を加えて新たな関連度とするとともに、他の単語に対してはウェブ情報の関連度の総和をとって正規化して新たな関連度とし、各単語と各ウェブ情報の関連度の計算を交互に繰り返す制御部を備え、計算した各単語の関連度を基に同系統の単語か否かを判定し、該同系統の単語と関連するウェブ情報を収集するウェブ情報収集装置であり、初期キーワードを設定してこれを要素にもつ表形式情報を取得し、表の同一項目に記述された単語を取り出して各単語の関連度からウェブ情報の関連度を計算し、これを基に初期キーワードには重みを与えて、各単語の関連度と項目関連度の計算を交互に繰り返すから、初期キーワードと同系統の単語は繰り返し計算によりウェブ情報の関連度が上がり、低頻度で関連度の高い単語の場合でもウェブ情報の関連度を介すことによって関連度を保つことができる。同系統の単語とともにウェブ情報を目的情報として収集することができる。初期キーワードに対する関連性の強さを数値の大きさで示すことができ、同系統語を網羅し、出現頻度が高くなくとも関連性が高い単語を抽出することができる。
【００２８】
本発明の第１０の形態は、コンピュータを、ネットワークに接続されたウェブサーバから巡回的にウェブ情報を取得するウェブ情報取得手段、ウェブ情報が特定分野に関連する目的情報かそれ以外の非目的情報かを所定の判定基準で判定する情報判定手段、ウェブ情報のリンク元情報である第２のウェブ情報のテキスト情報部分を抽出する抽出手段、第２のウェブ情報のテキスト情報部分に含まれる単語を抽出する形態素解析手段と、単語の累積頻度を目的情報または非目的情報の場合ごとに学習する累積頻度学習手段、抽出した単語の出現頻度を計算する出現頻度演算手段、各単語の出現頻度に対して目的情報の場合に学習した累積頻度によって正に重み付けするとともに、非目的情報の場合に学習した累積頻度によって負の重み付けを行って総和をとることにより優先度として出力する優先度演算手段、優先度とリンク情報を関係付けるキュー処理手段、として機能させるウェブクローラープログラムであり、目的情報または非目的情報の場合に分けてソフトウェア的に単語の累積頻度を学習させることができ、各単語の出現頻度から優先度を計算するときには、それまでに目的情報の場合と非目的情報の場合の双方で使用されたことがある単語に対して、非目的情報の場合の累積頻度で負の重み付けをするため、目的情報を特徴付ける単語としてのウェイトを積極的におとすことができ、確実に目的情報を特定可能な単語を蓄積できる。従って、人手による学習データの作成と更新が不要となる。優先度の順序で次にアクセスするリンク先をソフトウェア的に決めるから、関連性の強いウェブ情報だけが自動的に収集され、ノイズとなるウェブ情報は優先度が低いかもしくは非目的情報として、収集しないで済む。プログラムをコンピュータ装置に搭載するだけでウェブクローラー装置を実現できる。
【００２９】
本発明の第１１の形態は、第１０の形態に従属するものであって、キュー処理手段が優先度とリンク情報を優先順位キューのエントリに追加するウェブクローラープログラムであり、別のリンク情報のデータベースを設ける必要がなく、独立性の高いシステムにすることができる。
【００３０】
本発明の第１２の形態は、第１０または１１の形態に従属するものであって、出現頻度演算手段が、１個または２個以上の初期キーワードを初期値として目的情報の場合の累積頻度を学習するウェブクローラープログラムであり、初期キーワードを１個または２個以上与えるだけで、きわめて高効率にデータ収集することができる。
【００３１】
本発明の第１３の形態は、第１０〜１２のいずれかの形態に従属するものであって、抽出手段が、テキスト情報部分として少なくともアンカーリンクテキストを抽出するウェブクローラープログラムであり、アンカーリンクテキスト情報部分を解析することでさらに高効率にデータ収集することができる。
【００３２】
本発明の第１４の形態は、ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集方法であって、ネットワークに接続されたウェブサーバから巡回的にウェブ情報を取得し、該ウェブ情報が目的情報かそれ以外の非目的情報かを所定の判定基準で判定するとともに、該ウェブ情報のリンク元情報である第２のウェブ情報を取得してテキスト情報部分に含まれる単語を抽出し、各単語の累積頻度を目的情報または非目的情報の場合ごとに学習し、抽出した単語の出現頻度と学習した累積頻度によって優先度を計算して、該優先度の大きさによって優先的にアクセスするリンク先を決定し、第２のウェブ情報のリンク情報を辿ってウェブ情報を収集するウェブ情報収集方法であり、リンク元情報である第２のウェブ情報の単語の累積頻度を目的情報または非目的情報の場合に分けて学習させ、この累積頻度を反映させることにより優先的にアクセスするリンク先を決定するから、第２のウェブ情報のリンク情報を辿って高効率にデータ収集することができる。従って、人手による学習データの作成と更新が不要となる。優先度の順序で次にアクセスするリンク先を決めるから、関連性の強いウェブ情報だけが自動的に収集され、ノイズとなるウェブ情報は優先度が低いかもしくは非目的情報として、収集しないで済む。
【００３３】
本発明の第１５の形態は、第１４の形態に従属する形態であって、非目的情報の場合の累積頻度が蓄積されている単語を抽出した場合には、該単語の重みを該累積頻度によって小さく評価して優先度を下げるウェブ情報収集方法であり、目的情報または非目的情報の場合に分けて単語の累積頻度を学習させることができ、それまでに目的情報の場合と非目的情報の場合の双方で使用されたことがある単語は、目的情報を特徴付ける単語としての重みを小さくするように優先度を下げるため、優先度を使うことにより人手による学習データの作成と更新が不要となる。優先度の順序で次にアクセスするリンク先を決めるから、関連性の強いウェブ情報だけが自動的に収集され、ノイズとなるウェブ情報は優先度が低いかもしくは非目的情報として、収集しないで済む。
【００３４】
本発明の第１６の形態は、第１４または１５の形態に従属する形態であって、目的情報の単語として１個または２個以上の初期キーワードを与えるウェブ情報収集方法であり、初期キーワードを１個または２個以上与えるだけで、きわめて高効率にデータ収集することができる。
【００３５】
本発明の第１７の形態は、第１４〜１６のいずれかの形態に従属する形態であって、テキスト情報部分には、少なくとも、リンク情報に関係付けられて記述されたアンカーリンクテキストが含まれるウェブ情報収集方法であり、アンカーリンクテキスト情報部分を解析することでさらに高効率にデータ収集することができる。
【００３６】
本発明の第１８の形態は、ネットワークに接続されたウェブサーバからウェブ情報を取得し、該ウェブ情報のテキスト情報部分から単語を抽出し、既知の単語情報を基に単語の目的情報との関連性を評価して関連性の高いウェブ情報を収集するウェブ情報収集方法であって、既知の単語情報として初期キーワードを設定し、該初期キーワードを要素とする表形式情報が記述された複数のウェブ情報をウェブサーバから取得し、各表形式情報に含まれる同一項目内の単語をすべて抽出し、該単語の関連度の総和をとって項目の初期キーワードとの項目関連度を計算し、各ウェブ情報が単一の項目を含む場合は項目関連度、複数の項目を含む場合は最大の項目関連度を各ウェブ情報の関連度とし、初期キーワードに対してはウェブ情報の関連度の総和をとって正規化し設定値を加えて新たな関連度とするとともに、他の単語に対してはウェブ情報の関連度の総和をとって正規化して新たな関連度とし、各単語と各ウェブ情報の関連度の計算を交互に繰り返して、得られた各単語の関連度を基に同系統の単語を取得することによりウェブ情報を収集するウェブ情報収集方法であり、初期キーワードを設定してこれを要素にもつ表形式情報を取得し、表の同一項目に記述された単語を取り出して各単語の関連度からウェブ情報の関連度を計算し、これを基に初期キーワードには重みを与えて、各単語の関連度と項目関連度の計算を交互に繰り返すから、初期キーワードと同系統の単語は繰り返し計算によりウェブ情報の関連度が上がり、低頻度で関連度の高い単語の場合でもウェブ情報の関連度を介すことによって関連度を保つことができる。同系統の単語とともにウェブ情報を目的情報として収集することができる。初期キーワードに対する関連性の強さを数値の大きさで示すことができ、同系統語を網羅し、出現頻度が高くなくとも関連性が高い単語を抽出することができる。
【実施例１】
【００３７】
本発明の実施例1のウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法について図１に基づいて説明をする。図1は本発明の実施例1におけるウェブ情報収集装置の構成図、図２は本発明の実施例1におけるウェブ情報収集装置のウェブクローラー部の構成図である。
【００３８】
図１において、１はインターネットやイントラネット等のプロトコルＴＣＰ／ＩＰで通信可能なネットワーク、２はＨＴＭＬ等で記述されたウェブページ等の情報（本発明のウェブ情報、以下、ウェブページとして説明する）を収集するウェブ情報収集装置、３ａ，３ｂ，３ｃ，・・はネットワーク１に接続されてクライアントからの要求でウェブページを送信するウェブサーバである。ウェブサーバ３ａ，３ｂ，３ｃ，・・は、例えばＨＴＴＰでウェブページを要求されると、ウェブページを収めた応答パケットをクライアント宛に送信する。また、ウェブ情報収集装置２はネットワーク１に接続されて、ウェブサーバ３ａ，３ｂ，３ｃ，・・に対して巡回的なアクセスを行い、ウェブページを収集する。
【００３９】
次に、ウェブ情報収集装置２の内部構成について説明する。ウェブ情報収集装置２は専用の装置でも、ＰＣ等の一般的なコンピュータ装置に後述するようなウェブクローラー機能を搭載したものでもよい。図１において、４はウェブ情報収集装置２の制御部、４ａは中央演算処理装置（以下、ＣＰＵ）、５は制御プログラムのデータを記録したＲＯＭや不揮発メモリ等から構成されたメモリ部である。制御部４はウェブ情報収集装置２のシステム全体を制御するもので、ハードウェア的にはＣＰＵ４ａとそのメインメモリ等から、またソフトウェア的にはメモリ部５から読み出されたプログラムとデータに基づいて構成され、各機能を機能実現手段として実現する。
【００４０】
６は制御部４に設けられ、ウェブサーバ３ａ，３ｂ，３ｃ，・・に巡回的にアクセスしてウェブページを収集するウェブクローラー部である。ウェブクローラー部６は、メモリ部５に格納されたウェブクローラープログラムがＣＰＵ４ａにロードされ、制御部４に機能実現手段として構成されるものである。ウェブクローラー部６には、後述するＵＲＬ取り出し手段１１、ウェブ情報取得手段１２が設けられており、ＵＲＬ取り出し手段１１がアクセス順に並んだＵＲＬの待ち行列から先頭のＵＲＬを取り出し、ウェブ情報取得手段１２がプロトコルＴＣＰ／ＩＰ、ＨＴＴＰでこのＵＲＬ宛にウェブページを要求する旨のリクエストを生成して送信する。このＵＲＬはウェブサーバ３ａ，３ｂ，３ｃ，・・のいずれかのＵＲＬであり、これを受信したウェブサーバ３ａ，３ｂ，３ｃ，・・はウェブページをＩＰパケットに収めて送信する。なお、巡回的な収集を行う準備として、ウェブ情報取得手段１２は所定の深さまでリンクが辿れる初期データ（ウェブページ集合）を収集する。例えば、大学のシラバスページを収集する場合などでは、大学のトップページとこれとリンクを張った学内の複数のウェブサイトのトップページのデータを初期データとして収集する。
【００４１】
７は種々のデータを格納するための蓄積部、７ａはウェブクローラー部６が収集したウェブページの各種データを蓄積するデータ蓄積部、７ｂは抽出した単語を蓄積する単語情報蓄積部である。８はＵＲＬを優先順位に並べ替えることによりアクセスする順に並べた待ち行列のＵＲＬ優先順位キュー、９はネットワーク１に接続するためのインターフェース、１０はデータ入力が行える入力部である。
【００４２】
以上説明したウェブクローラー部６と、それを動作させるウェブクローラープログラムのブロック構成について図２に基づいて説明する。図２において、１１はＵＲＬ優先順位キュー８の優先度スコア(本発明の優先度)の高い先頭のＵＲＬを取り出すＵＲＬ取り出し手段、１２はＵＲＬ取り出し手段１１が取り出したＵＲＬ宛にウェブページを要求するウェブ情報取得手段である。これらについては上述したとおりである。続いて、１３は情報判定手段、１４はデータ抽出手段、１５はコンテンツ抽出手段、１４ａはカウント手段である。
【００４３】
ウェブ情報取得手段１２はウェブサーバ３ａ，３ｂ，３ｃ，・・から後述するように巡回的にウェブページを取得するが、特定分野のウェブページ（本発明の目的情報）以外はノイズとなるため、取得したウェブページからこれを分離できるようにする必要がある。同様に初期データのウェブページ集合に含まれるノイズも分離する必要がある。このため、情報判定手段１３は後述する決定木（本発明の判定基準）に基づいて上記ウェブページとそれ以外の情報（本発明の非目的情報）を判断し分離する。この判定木によるターゲット抽出の一連の処理がウェブクローラー部６の行う第１の処理である。すなわち、情報判定手段１３は、データ抽出手段１４によってウェブページからタグ等を除かれたコンテンツ部分(本文)のテキスト情報を基にして、目的である特定分野のウェブページに関連すると判定される単語を取り出し、この単語の存否、組合せに基づいてターゲットの判定を行う。この判定を行うとき、データ抽出手段１４は上述のテキスト情報を情報判定手段１３に渡すほか、判定の際にリンク数の情報が必要になるため、カウント手段１４ａによってウェブページのハイパーリンクの数をカウントし、この情報も情報判定手段１３に通知する。
【００４４】
また、ウェブクローラー部６はこの第１の処理のほかに、第２の処理を行う。この処理は第１の処理で抽出されたウェブページのリンク元のウェブページに含まれる単語を学習し、この情報を基にアクセス順に優先度をつけて、学習ごとに順序を更新するものである。このため、コンテンツ抽出手段１５はデータ蓄積部７ａに蓄積されたウェブページからタグ等を除いてコンテンツ部分(本文)のテキスト情報を後述する形態素解析手段１６に送り、後述するキュー処理手段２１に対してはＵＲＬを通知し、キュー処理手段２１において後述の優先度スコアとともにＵＲＬの履歴情報としてＵＲＬ優先順位キューのエントリに追加するものである。
【００４５】
ところで第１の処理で使う決定木は、ウェブページに含まれる複数の単語情報から、ターゲットに関連し、実質的にリンク末端となる特定分野のウェブページ（以下、Ｂ型情報）を判定するものである。なお、このＢ型情報へのハイパーリンクを含んだリンク元のウェブページ（以下、Ａ型情報）が、本発明の第２のウェブ情報である。そして、Ｂ型情報を推定する決定木は予め作成しておく必要があり、固定的なものである。図３（ａ）はＢ型情報を推定する決定木の説明図、図３（ｂ）はｎ個の単語情報を含む決定木に基づいてＢ型情報を推定する判定データ図である。
【００４６】
実質的にリンクが途切れ末端となるＢ型情報を判定する決定木は図３（ａ）に示すように構成される。Ｂ型情報は、その識別のために用意された単語ｗ０，ｗ１，・・，ｗｎが含まれるか否か、どの組合せで含まれるのか、について判定されるものである。図３（ａ）においては、一例としてシラバスページを判定するためのｎ＝５の場合の決定木を示している。ｗ０として「評価」、ｗ１として「テキスト」、ｗ２として「科目名」、ｗ３として「科目」、ｗ４として「概要」、ｗ５として「単位」が取得したウェブページに含まれているか、がチェックされ、単語の組合せによりＢ型情報（Ｙｅｓ）と判断したり、Ｂ型情報でない（Ｎｏ）と判断したりする。そして、各単語に対して付与した「０」は無を示し、「１」は有を示す。なお、実施例１ではｎは４８個を採用している。
【００４７】
図３（ｂ）は、このようにｎ個の単語を含む決定木によって判断したときの判定データである。各ＵＲＬごとにｗ０，ｗ１，・・，ｗｎに対する「０」「１」の行列が形成され、この行列によりＢ型情報であるか否かを示すＮｏ、Ｙｅｓの判定が行われる。「Ｂ？」はこの判定結果を示す。
【００４８】
第１の処理でＢ型情報のシラバスページまたはそれ以外を判定すると、実施例1のウェブ情報収集装置においては第２の処理を実行し、リンク元のＡ型情報であるシラバスリンクページの単語を分析して学習し、さらに優先度を計算し、この優先度をリンク先に関係付けてアクセス順を決定し、優先度の高いＵＲＬから優先的にアクセスするので、迅速にウェブページを収集できる。
【００４９】
そこで、実施例1のウェブ情報収集装置におけるＵＲＬの優先度を決定するための構成、各単語の重み付けを更新する処理ための構成についてさらに説明すると、図２のブロック構成において、１６はウェブページの形態素解析を行う形態素解析手段である。１７は形態素解析手段１６が抽出した多数の単語を単語情報蓄積部７ｂ内の単語情報と照合するルーチンを有し、情報判定手段１３が得た判定結果からターゲットであるＢ型情報の場合の単語を正例の単語、それ以外の情報の場合の単語を負例の単語として累積頻度を更新するとともに新規単語は登録する累積頻度学習手段、１７ａは抽出した単語の頻度をカウントするカウント手段、１８は各ウェブページに出現する単語の出現頻度を計算する出現頻度演算手段、１９はこれら単語情報と出現頻度を関係付けて格納する単語蓄積手段である。
【００５０】
形態素解析手段１６は、データ蓄積部７ａからコンテンツ抽出手段１５によってリンク元のウェブページのテキスト情報部分を受け取ると、このテキスト情報の中から多数の単語を抽出し、累積頻度学習手段１７は抽出された単語と単語情報蓄積部７ｂ内に蓄積されている単語との照合を行って、Ｂ型情報の各単語ｔを正例の単語、それ以外の情報の各単語ｔを負例の単語として、正例と負例のそれぞれの場合に応じて各単語の頻度で累積頻度ｐｔ、ｎｔを更新し、新規の単語を学習する。なお、実施例１においては日本語の解析を前提とするが、他の言語においては単純に単語の抽出を行う手段であってもよい。さらに、出現頻度演算手段１８が各単語の出現頻度ｄｆ（ｔ）を (数１)によって計算する。ここに、Ｖｉはリンク元のウェブページｉに対する単語の集合、ｔｆ（i,t）はウェブページｉにおける単語ｔの出現頻度を示し、(数１)の分母は正規化のためのもので、各単語ｔと対応する累積出現頻度Ｎｉを表す（数２）である。これらの情報は単語蓄積手段１９によって関係付け等されて単語情報蓄積部７ｂに格納される。
【００５１】
【数１】
2005346598.tif 000003
【００５２】
【数２】
2005346598.tif 000004
図２に示す２０はウェブページｉに対して (数３)で表される優先度スコアｓｐ（ｉ）を計算して、そのＵＲＬに関係付ける優先度演算手段である。ここに、ｌｉｔは（数４）であり、ｌ’ｔは（数５）で表される。Ｍｐは正例として蓄えられているウェブページの数、ｎｔは過去に負例として蓄えられている単語ｔの累積頻度、ｐｔは過去に正例として蓄えられている単語ｔの累積頻度である。
【００５３】
【数３】
2005346598.tif 000005
【００５４】
【数４】
2005346598.tif 000006
【００５５】
【数５】
2005346598.tif 000007
ここに、ｌｉｔはウェブページｉに出現する単語ｔの出現頻度である。ｌ’ｔは単語ｔが正例に現れる単語ｔの場合にｌｉｔのウェイトを増す重みであり、ｐｔ／（ｐｔ＋ｎｔ）はこのように単語ｔが正例に含まれる場合であっても、正例と負例の双方に出現した場合には負例に含まれたことを考慮し、累積頻度を使ってウェイトをおとすための負例用重みである。実施例１においては、負例用重みとして、正例の場合に学習した累積頻度とこれに負例の場合に学習した累積頻度を加えた総累積頻度との比を採用している。従って、実施例１においては正例の中にだけ頻繁に出現する単語をもっとも重視し、負例に出現する単語はターゲットを特徴付ける単語としてのウェイトを積極的におとし、確実にターゲットだけを特定できる単語の学習を繰り返し行うものである。このためウェブページｉに含まれる集合Ｖｉの中の各単語ｔは、正例に出現される単語だけがウェイトを増し、負例または正例及び負例に出現する単語、あるいは一般的な単語等はウェイトを減らされて、出現頻度の総和が計算されてリンク元情報のウェブページｉの優先度スコアｓｐ（ｉ）として算出される。この優先度スコアｓｐ（ｉ）が、リンク先情報であるＢ型情報のウェブページに関係付けられる。
【００５６】
図２に示す２１は、データ抽出手段１４から通知されたＵＲＬを優先度スコアｓｐ（ｉ）と関係付けてエントリに追加するキュー処理手段である。ＵＲＬ優先順位キュー８は、優先度演算手段２０によって計算されたウェブページｉの優先度スコアｓｐ（ｉ）に従って全ＵＲＬを優先度スコアｓｐ（ｉ）の大きい順に並べ替える。従って、ウェブクローラー部６がＵＲＬ優先順位キュー８のＵＲＬの順にアクセスしてターゲットの判定を行えば、優先度スコアｓｐ（ｉ）の大きいウェブページｉを優先的に集めることになり（優先度スコアｓｐ（ｉ）の小さいウェブページｉは高優先度のものが割り込むと劣後順位のまま未アクセスで待機させられる）、このとき高優先度スコアｓｐ（ｉ）のウェブページｉはターゲットにのみ含まれる単語を高い確率で含んでおり、このような単語が複数存在するウェブページであれば高精度にターゲットのＢ型情報を収集することができるものである。
【００５７】
そこで、具体的にＡ，Ｂ，Ｃ，Ｄ４つのサンプルのウェブページを使って、ウェブページの優先度スコアが単語によって変化することを示す。図４（ａ）は４つのウェブページによる単語の出現頻度とウェブページの優先度スコアの変化を示す説明図、図４（ｂ）は（ａ）の各単語の出現頻度の説明図である。なお、ここでは正規化については言及しない。図４に示すように、ウェブページＡ，Ｂ，Ｃ，Ｄが存在し、ウェブページＡには単語１，２，３が含まれ、ＵＲＬａ１，ＵＲＬａ２がウェブページａ１，ａ２にリンクされ、ウェブページＢは単語１，２，４を含みＵＲＬｂ１がウェブページｂ１にリンクされ、ウェブページＣは単語２，３，５を含みＵＲＬｃがウェブページｃにリンクされ、ウェブページＤは単語３，５，６を含みＵＲＬｄがウェブページｄにリンクされている。そしてウェブページａ１，ａ２、ウェブページｂ１が目的のウェブページ（ターゲット）であったとすると、ウェブページＡ，Ｂが正例であり、ウェブページＣ，Ｄが負例となる。
【００５８】
図４（ａ）の単語１〜６の出現する頻度は、図４（ｂ）に示すようになる。すなわち、単語１が正例でカウントされた頻度は２、負例は０である。同様に、単語２が正例でカウントされた頻度は２、負例は１であり、単語３の正例での頻度は１、負例では２、単語４の正例での頻度は１、負例では０、単語５の正例での頻度は０、負例では２、単語６の正例での頻度は０、負例では１である。
【００５９】
単純に単語１〜６の頻度を正例に含まれる単語の頻度で考えるなら、単語１，２の頻度は２、単語３，４の頻度は１、単語５，６の頻度は０となる。同一頻度を含むが単語１〜単語６まで順に頻度が小さくなる。これに対して本発明においては、負例に含まれたウェブページのウェイトを下げた頻度を採用する。図４（ｂ）に示す負例用重み付き頻度はこの負例に含まれたウェブページによってウェイトを下げた頻度であり、単語１の頻度は２、単語２の頻度は２×２／（２＋１）＝１．３３、単語３の頻度は１×２／（１＋２）＝０．３３、単語４の頻度は１、単語５，６の頻度は０となる。単語１から単語６まで正例だけの場合と異なった値で順に頻度が小さくなる。
【００６０】
しかし、このときのウェブページＡ，Ｂ，Ｃ，Ｄの優先度スコアｓｐ（Ａ），ｓｐ（Ｂ），ｓｐ（Ｃ），ｓｐ（Ｄ）は、この正例だけに含まれる場合と、負例用重み付きの場合では順位が異なったものとなる。なお、計算に当っては、(数２)についてＮＡ＝ＮＢ＝３、Ｎｃ＝√６＝２．４４、ＮＤ＝√３＝１．７３、(数５)についてはＭｐ＝３、ｐｔ＝６、ｌ’１＝ｌ’２＝ｌｏｇ３／３＝０．１５９、ｌ’３＝ｌ’４＝ｌｏｇ２／３＝０．１００、ｌ’５＝ｌ’６＝０である。
【００６１】
ここで正例だけに含まれる場合の優先度スコアｓｐ（Ａ），ｓｐ（Ｂ），ｓｐ（Ｃ），ｓｐ（Ｄ）を計算すると、ｓｐ（Ａ）＝（４×０．１５９＋１×０．１００）／３＝０．２４５，ｓｐ（Ｂ）＝（４×０．１５９＋１×０．１００）／３＝０．２４５，ｓｐ（Ｃ）＝（２×０．１５９＋１×０．１００）／２．４４＝０．１７１，ｓｐ（Ｄ）＝１×０．１００／１．７３＝０．０５７８となる。
【００６２】
これに対し、本発明の負例用重み付きの場合の優先度スコアｓｐ（Ａ），ｓｐ（Ｂ），ｓｐ（Ｃ），ｓｐ（Ｄ）を計算すると、ｓｐ（Ａ）＝（３．３３×０．１５９＋０．３３×０．１００）／３＝０．１８７，ｓｐ（Ｂ）＝（３．３３×０．１５９＋１×０．１００）／３＝０．２１０，ｓｐ（Ｃ）＝（１．３３×０．１５９＋０．３３×０．１００）／２．４４＝０．１００，ｓｐ（Ｄ）＝０．３３×０．１００／１．７３＝０．０１９１となる。
【００６３】
従って、単語が正例だけに含まれる場合におけるＵＲＬの順位は、（１）ＵＲＬａ１，ＵＲＬａ２：
優先度スコア０．２４５、（２）ＵＲＬｂ１： 優先度スコア０．２４５、（３）ＵＲＬｃ：
優先度スコア０．１７１、（４）ＵＲＬｄ： 優先度スコア０．０５７８となり、ＵＲＬ優先順位キュー８へは正例だけに含まれる（１）ＵＲＬａ１，ＵＲＬａ２、（２）ＵＲＬｂ１が追加され、ＵＲＬ優先順位キュー８内のＵＲＬの順位が並べ替えられる。なお、ＵＲＬａ１，ＵＲＬａ２は優先度スコアが同一でも、別のアルゴリズムで順位が決定される。
【００６４】
これに対し、本発明の実施例１のように正例のウェイトを増し負例または正例及び負例に出現する単語のウェイトを減らした場合は、正例だけに含まれる場合と順位が変わり、（１）ＵＲＬｂ１：
優先度スコア０．２１０、（２）ＵＲＬａ１，ＵＲＬａ２： 優先度スコア０．１８７、（３）ＵＲＬｃ： 優先度スコア０．１００、（４）ＵＲＬｄ：
優先度スコア０．０１９１となる。ＵＲＬ優先順位キュー８へは正例のＵＲＬである（１）ＵＲＬｂ１、（２）ＵＲＬａ１，ＵＲＬａ２が追加され、ＵＲＬ優先順位キュー８内のＵＲＬの順位が並べ替えられる。
【００６５】
このように負例を考慮した場合、ＵＲＬ優先順位キュー８に追加される正例のＵＲＬの順位はウェブページＢ、ウェブページＡの順となる。その単語がすべて正例に含まれるウェブページＢの方が、一部の単語が正例だけでなく負例にも含まれてしまうウェブページＡより、ターゲットのウェブページの可能性が高いということを示しており、これは経験的な実感と符合するものである。
【００６６】
ところで、本発明の実施例１におけるウェブページ、リンク情報の処理について説明する。図５（ａ）はリンクを辿ってターゲットのウェブページを取得するまでのプロセスの説明図、図５（ｂ）は未収集のウェブページのＵＲＬを取得したときＵＲＬ優先順位キューに追加されるエントリの説明図である。図５（ａ）に示すようにＵＲＬ１のウェブページ１のハイパーリンクＵＲＬ３からウェブページ３を入手し、ウェブページ３の２つのハイパーリンクのうちＵＲＬ６からターゲットのウェブページ６を発見することができた場合、ＵＲＬ優先順位キュー８に追加されるエントリには、図５（ｂ）に示すようにＵＲＬ１からＵＲＬ３、さらにＵＲＬ３からＵＲＬ６に到達したという履歴が記述され、ウェブページ６の優先度スコアｓｐが記述される。
【００６７】
上述したとおりデータ蓄積部７ａには全ウェブページの情報が格納されており、ターゲットのウェブページ６を発見したとき、リンク元のＡ型情報の単語を解析するには、ＵＲＬ優先順位キュー８のエントリに記述されたＵＲＬ３に基づいて、ＵＲＬ３に対応するウェブページ３のコンテンツを取り出し、ウェブページからタグ等を除いたテキスト情報を取り出し、形態素解析手段１６に送信すればよい。なお、さらにもう１つもしくは２つ前までのリンク元のウェブページのコンテンツを取り出して解析することもできる。
【００６８】
このように本発明の実施例１においては、一般に行われるようなリンク情報（リンク元、リンク先）のデータベースを構築してリンク元を検索するのでなく、ＵＲＬ優先順位キュー８にリンクパスの履歴を追加しているため、別のリンク情報のデータベースに依存することがなく、独立性の高いシステムにすることができる。
【００６９】
続いて本発明の実施例1のウェブ情報収集方法について図６に基づいて説明をする。図６は本発明の実施例1におけるウェブ情報収集方法のフローチャートである。図６において、ウェブクローラー部６のＵＲＬ取り出し手段１１がＵＲＬ優先順位キュー８から先頭のＵＲＬを１つ取り出し（ｓｔｅｐ１）、取り出したＵＲＬ宛にウェブ情報取得手段１２がＨＴＴＰリクエストを送信して、ウェブサーバ３ａ，３ｂ，３ｃ，・・にウェブページを要求する（ｓｔｅｐ２）。
【００７０】
ウェブサーバ３ａ，３ｂ，３ｃ，・・からウェブページが取得できない場合は、ＵＲＬ優先順位キュー８から次のＵＲＬを取り出して繰り返し（ｓｔｅｐ３）、ウェブページが取得可能であってウェブページがダウンロードできた場合には（ｓｔｅｐ４）、取得したウェブページから情報判定手段１３が特定分野に属すターゲット（Ｂ型情報）であるか否かの決定木によるターゲットの判定を行う（ｓｔｅｐ５）。次に形態素解析手段１６がリンク元のウェブページのテキスト情報を取り出し、形態素解析を行い（ｓｔｅｐ６）、抽出された単語と単語情報蓄積部７ｂ内に蓄積されている単語との照合を行って（ｓｔｅｐ７）、正例と負例のそれぞれの場合に応じて各単語の頻度で累積頻度ｐｔ、ｎｔを更新し、新規の単語を学習してデータベースを構築する。（ｓｔｅｐ８）。
【００７１】
続いて、優先度演算手段２０が、ウェブページｉに対して優先度スコアｓｐ（ｉ）を計算し（ｓｔｅｐ９）、データ抽出手段１４によって通知された正例のＵＲＬと優先度演算手段２０によって計算された優先度スコアｓｐ（ｉ）とによって、キュー処理手段２１がＵＲＬ優先順位キュー８にＵＲＬを追加して優先度スコアｓｐ（ｉ）の大きい順に並べ替える（ｓｔｅｐ１０）。その後、このデータ収集を終了するか否かがチェックされ、継続する場合はｓｔｅｐ１に戻ってＵＲＬ優先順位キュー８の次のＵＲＬにアクセスし、ターゲットのＢ型情報を継続して収集することができる。ｓｔｅｐ１１で継続しない場合はこのフローから抜け終了する。
【００７２】
以上説明したように本発明の実施例１のウェブクローラープログラムとウェブ情報収集装置、ウェブ情報収集方法は、判定木を作成するだけで人手による単語の学習データ作成と更新が不要であり、従来のように文書分類器の精度がターゲットの収集に影響することがなく、効果的にウェブページを自動収集できるものである。図７は本発明の実施例１におけるターゲットの収集量と総収集ウェブページの関係を示す実験データ図、図８は本発明の実施例１における総収集ウェブページと優先度スコアの関係示す図である。
【００７３】
図７，８は、Ａ大学内のウェブサイトのトップページ（４２７ＵＲＬ）を初期ＵＲＬ集合とし、収集終了条件として総収集ウェブページ１００００、ターゲットページとしてシラバスページを収集したものである。収集範囲はＡ大学ドメイン内、リンクの深さが１のウェブページを強制的に収集した。比較例として、従来の幅優先収集法、さらに本発明者らの従来技術であるシラバス収集法２００２（上述のウェブシラバスエージェント）を実験している。
【００７４】
図７に示すように実施例１のウェブ情報収集方法は、総収集ウェブページ１００００になった時点で２０１２ページのシラバスページの収集に成功している。これに対し、従来の幅優先収集法では４４０ページ収集しただけであり、シラバス収集法２００２では６２９ページが収集されて終わっている。このうち、シラバス収集法２００２は人手によって判定したシラバスリンクページの学習データで収集するため、収集を開始した段階では高効率にシラバスページを収集し、短時間のうちに４７０ページ程度に達している。しかし、従来の幅優先収集法と実施例１のウェブ情報収集方法は、総収集ウェブページが５０００ページを過ぎるまで収集の速度が鈍く、１００ページ〜１５０ページを収集するのがやっとである。その後、従来の幅優先収集法は総収集ウェブページが６０００ページ程度で４００ページになり、その後あまり変化しない。これに対し、実施例１のウェブ情報収集方法は総収集ウェブページが６０００ページを過ぎたところから急激な収集が始まり、７０００ページを少し過ぎた総収集ウェブページでシラバス収集法２００２によって収集したシラバスページ数を上回り、総収集ウェブページが９０００ページ程度になると、２０００ページの収集に成功している。実施例１のウェブ情報収集方法は、従来の幅優先収集法と比較して最終的に４．５倍のシラバスページを収集することができ、シラバス収集法２００２と比較すると、初期段階では少ないものの、最終的に約３倍のシラバスページの収集に成功したことが分る。
【００７５】
このとき図８をみると、実施例１のウェブ情報収集方法は総収集ウェブページが７０００ページ〜９０００ページにかけて優先度スコアの大きなウェブページ群を収集していることが分る。これは図７のシラバスページの収集量と比較すると、優先度スコアが大きなウェブページがターゲットとなることを示唆している。
【００７６】
このように本発明の実施例１のウェブクローラープログラムとウェブ情報収集装置、ウェブ情報収集方法は、従来の幅優先収集法やシラバス収集法２００２と比較してきわめて高効率にターゲットページを収集することができる。
【実施例２】
【００７７】
本発明の実施例２のウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法について図９に基づいて説明をする。図９は本発明の実施例２、３におけるターゲットの収集量と総収集ウェブページの関係を示す実験データ図である。実施例２のウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法は、実施例１のそれらと基本的に同一であるが、次の構成（１）の点で相違するものである。構成（１）は、予め初期キーワードを１個もしくは２個以上、入力部１０から単語情報蓄積部７ｂに与えておく、という点である。なお、ネットワークを介して入力することもできる。従って、実施例２では図１〜図８をすべて参照し、符号の説明はすべて同一である。
【００７８】
実施例２においても、基本的にはデータ収集に伴って単語を自動的に収集する、しかし、構成（１）を採用しているため、初期段階のデータ収集で差が現れる。正例の単語が初期キーワードもしくは初期キーワード群として蓄積されているので、初期段階から優先度スコアｓｐ（ｉ）の高いＵＲＬを優先的に収集できるものである。図９は、図７，８に示す実施例１と同一の条件で収集するとともに、初期キーワード「シラバス」を与えたときのＡ大学のシラバスページを収集したものである。図９によれば、初期キーワード「シラバス」を与えた場合、総収集ウェブページが３０００ページ程度を越えたところで、急速にターゲットのシラバスページを収集し、収集速度が衰えることなく総収集ウェブページが１００００ページなった時点で、約５３００ページを収集している。
【００７９】
そして初期キーワードを「シラバス」１個とするのでなく、複数個の初期キーワード群とすればさらに効果的にデータ収集を行うことができる。例えば「シラバス」「講義」「教授」等を入力すればよい。また、これをさらに推し進め、予備的に実施例１のウェブ情報収集方法で所定の分野の単語集合を収集し、これを初期値キーワードのデータベースとして共用すればよい。このデータベースを利用する場合、きわめて容易に、高速のウェブ情報収集装置を提供できる。
【実施例３】
【００８０】
本発明の実施例３のウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法について図９に基づいて説明をする。実施例３のウェブ情報収集装置とウェブクローラープログラム、及びウェブ情報収集方法は、実施例１のそれらと基本的に同一であるが、次の構成（２）の点で相違するものである。構成（２）は、実施例１のウェブ情報収集方法がリンク元情報であるＡ型情報のウェブページからコンテンツ部分のテキスト情報を基に単語の抽出を行うが、リンク元情報であるＡ型情報のウェブページのハイパーリンクに関係付けられて記述されたアンカーリンクテキストの文字列から単語を抽出し、優先度スコアｓｐ（ｉ）の計算に付加する、というものである。従って、実施例３では図１〜図８をすべて参照し、符号の説明はすべて同一である。
【００８１】
実施例２においては、構成（２）として、ウェブページのハイパーリンクに記述されたアンカーリンクテキストの文字列から単語を抽出し、優先度スコアｓｐ（ｉ）の計算に付加している。アンカーリンクテキストには、「ｃｈｅｃｋ」とか、「こちら」といった無意味な内容の単語もあるが、内容を示す有力な単語が使用されていることが多い。実施例３では(数３)の優先度スコアｓｐ（ｉ）に対して、このアンカーリンクテキストを単語集合として加え、 (数６)で表される優先度スコアｓｐ（ｉ）にするものである。従って、実施例３においてはデータ抽出手段１４，コンテンツ抽出手段１５はウェブページからタグ等を除いてコンテンツ部分(本文)のテキスト情報を取り出すだけでなく、ハイパーリンクで記述されるアンカーリンクテキストを取り出す必要がある。また、ここで、Ａｉはウェブページｉに対するアンカーリンクテキストの単語の集合、Ｖｉはウェブページｉのコンテンツ部分のテキスト情報部分に対する単語の集合であり、Ｎｉ、ｌｉｔ、ｌ’ｔ、Ｍｐ、ｎｔ、ｐｔは実施例１で記述したとおりのものである。
【００８２】
【数６】
2005346598.tif 000008
このとき、実施例３においては実施例１の機能に加え、形態素解析手段１６がウェブページｉのアンカーリンクテキストの形態素解析を行い、出現頻度演算手段１８は各アンカーリンクテキストに出現する単語の出現頻度を計算し、累積頻度学習手段１７は、各アンカーリンクテキストに出現する単語を正例、負例ごとに累積頻度を学習し、優先度演算手段２０は、(数６)に従って優先度スコアｓｐ（ｉ）を計算する。
【００８３】
図９のアンカーリンクテキスト解析に対応する実験点は、シラバスページを収集したものである。これによれば、総収集ウェブページが５０００ページ程度を越えたところで、急速にターゲットのシラバスページを収集し、収集速度が衰えることなく総収集ウェブページが１００００ページなった時点で、約３９００ページを収集している。実施例１の優先度スコアｓｐ（ｉ）によるデータ収集より早く大量のデータ収集に成功しているが、実施例２の初期キーワードを与えた場合よりはデータ収集が少し遅れている。この３者のターゲットページの収集速度は概ね同様であり、同様の勾配で上昇する。
【００８４】
このように本発明の実施例３のウェブクローラープログラムとウェブ情報収集装置、ウェブ情報収集方法は、アンカーリンクテキストまで考慮して単語収集をすることにより、従来の幅優先収集法やシラバス収集法２００２と比較してきわめて高効率にターゲットページを収集することができる。
【実施例４】
【００８５】
本発明の実施例４のウェブ情報収集装置、ウェブ情報収集方法について説明する。実施例４のウェブ情報収集装置、ウェブ情報収集方法は初期キーワードを与えて、この初期キーワードと同系統の単語を収集し、ウェブ情報を収集するものであり、初期キーワードと同系統の単語を収集してウェブページを収集する検索エンジン等に適用できるものである。図１０は本発明の実施例４におけるウェブ情報収集装置の構成図、図１１は本発明の実施例４におけるウェブ情報収集方法のフローチャートである。図１０において図１で使用した符号と同一の符号は同様の内容であるから詳細な説明は実施例１に譲る。ウェブ情報収集装置２は専用の装置でも、ＰＣ等の一般的なコンピュータ装置に後述するような同系統情報抽出機能を搭載したものでもよい。図１０において、１はプロトコルＴＣＰ／ＩＰで通信可能なネットワーク、２は初期キーワードと類似した単語とターゲットのウェブページを収集するウェブ情報収集装置、３ａ，３ｂ，３ｃ，・・はウェブサーバ、４は制御部、４ａは中央演算処理装置（ＣＰＵ）、５はメモリ部である。制御部４はウェブ情報収集装置２のシステム全体を制御するもので、ハードウェア的にはＣＰＵ４ａとそのメインメモリ等から、またソフトウェア的にはメモリ部５から読み出されたプログラムとデータに基づいて構成され、各機能を機能実現手段として実現する。７は種々のデータを格納するための蓄積部、７ａは収集したウェブページの各種データを蓄積するデータ蓄積部、７ｂは抽出した単語を蓄積する単語情報蓄積部、７ｃはウェブページや表，単語に付与するＩＤを収めたＩＤ部である。９はネットワーク１に接続するためのインターフェース、１０はデータ入力が行える入力部である。
【００８６】
次に、制御部４の構成を説明すると、３１は通信手段であり、機能実現手段として搭載され、プロトコルＴＣＰ／ＩＰ、ＨＴＴＰで表形式情報を含んだウェブページを要求する旨のリクエストを送信する。３２は、機能実現手段として後述の(数１２)，(数１３)に従って計算し(数８)によって更新するとき補正する単語関連度計算手段、３３は後述の(数９)によって計算し(数１０)によって調整する項目関連度計算手段、３４は後述の(数１１)によってウェブページの関連度を計算するページ関連度計算手段である。また、３５は後述の(数７)によって同系統度を計算するための同系統度計算手段であり、同系統度計算手段３５が算出した高同系統度の単語を使って検索することにより効果的にウェブ情報を収集できる。また、実施例２の初期キーワードとして実施例４で収集した単語を用いれば、きわめて効果的なウェブページの収集が可能になる。なお、同系統の単語をウェブページから収集するため、同系統用語収集装置ということもできる。また、図示はしないが、これらの機能実現手段を搭載したプログラムがメモリ部５に格納される。
【００８７】
以上説明した実施例４のウェブ情報収集装置が収集する表形式情報とは、ＨＴＭＬ等で記述されるタグ「ｔａｂｌｅ」「ｌｉｓｔ」等を使って表示される表やリスト等の情報のほか、別のタグ例えば「ｈｒ」等を複数使って同層繰り返しで循環的に出現する情報を含むものである。例えば、この同層繰り返しの情報というのは、「４月１５日  原鶴温泉  単純泉  九州に第一歩を記す。４月１６日  二日市温泉  放射能  福岡近辺を散策する。４月１７日  脇田温泉  硫黄炭酸鉱泉  ３日目となったので、・・」といった記述が続く日記風のウェブページなどである。
【００８８】
この場合の表形式情報は列と行から構成され、それぞれに要素をもっている。列(本発明の項目)の番号をＡ，Ｂ，Ｃ，・・で示し、行の番号を１，２，３，・・で示して＜Ｘ，ｎ＞の形式で要素ａ，ｂ，イ，ロ，・・を表すと、例えば２行２列では＜Ａ，１＞要素ａ、＜Ａ，２＞要素ｂ、＜Ｂ，１＞要素ア，＜Ｂ，２＞要素イとなり、同一列内の要素ａ，要素ｂ、同様に要素イ，要素ロは表やリストの性質上それぞれ類似性が高く、同系統の単語である可能性が高い。また、上述の同層繰り返しの情報では、＜Ａ，１＞４月１５日、＜Ａ，２＞４月１６日、＜Ａ，３＞４月１７日、・・、＜Ｂ，１＞原鶴温泉、＜Ｂ，２＞二日市温泉、＜Ｂ，３＞脇田温泉、・・、＜Ｃ，１＞単純泉、＜Ｃ，２＞放射能泉、＜Ｃ，３＞硫黄炭酸鉱泉、・・のように、Ａ列には月日に関する情報、Ｂ列には福岡県の温泉に関する情報、Ｃには温泉の泉質に関する情報が記述されており、表形式情報となっている。
【００８９】
さて、本実施例４のウェブ情報収集装置２を使って、初期キーワードとして「原鶴温泉」「二日市温泉」を与えて、福岡県に存在する温泉の情報を収集する場合、同一列に「原鶴温泉」「二日市温泉」が記載された表、リスト等が収集される。このとき上記同層繰り返しの情報も収集され、「原鶴温泉」「二日市温泉」と同一列内にある「脇田温泉」が同系統の単語の候補として収集されることになる。
【００９０】
この収集された表形式情報の各情報で、初期キーワードを含んだ列内の各要素に対して、予め設定もしくは計算しておいた関連度を使って、この列の関連度（本発明の項目関連度）を計算する。このとき要素である単語の関連度は、繰り返し計算の初回の場合、初期キーワード「原鶴温泉」「二日市温泉」に対しては重みとなる設定値（1以下の所定値）、また、初期キーワード以外の単語「脇田温泉」等に対しては０を与えて計算する。なお、その後の繰り返し計算では１つ前の計算結果を使って２回目、３回目、・・と計算を行う。さらに、ウェブページの関連度を決定するため、表形式情報の列が単一列の場合は、計算した関連度をそのままこのウェブページの関連度とする。また、列が複数列の場合は各列の関連度の中で最大値を示す列の関連度をこのウェブページの関連度とする。
【００９１】
ウェブページの関連度が決まると、収集された全ウェブページの計算された関連度の総和をとって正規化し、初期キーワードに対しては上述した所定の設定値をさらに加えて新たな関連度とする。初期キーワード以外の単語に対してはウェブページの関連度の総和をとって正規化し、これをそのまま新たな関連度とする。このようにして計算された関連度を使って一連の計算を繰り返し、各単語と各ウェブ情報の関連度の計算を交互に行い、収斂した各単語の関連度を基に同系統の単語を取得する。
【００９２】
なお、制御部４はネットワーク１のウェブサーバ３ａ，３ｂ，３ｃ，・・から表形式情報を含むウェブページを収集して、ウェブページ、表、単語のデータとともに、それぞれＩＤを付与してデータ蓄積部７ａ、単語情報蓄積部７ｂに蓄積する。また、制御部４は、ページＩＤからウェブページを検索するためのページ情報インデックス、逆にＵＲＬからページＩＤを検索するための逆ページ情報インデックス、さらに、表ＩＤをキーにして表の大きさや位置、単語ＩＤが格納された表情報インデックス、逆に単語ＩＤをキーとして表の場所を示す表ＩＤ、行位置、列位置を収めた逆表情報インデックスを自動的に作成してデータ蓄積部７ａに格納する。同様に、制御部４は単語ＩＤと実際の文字列を対応させる単語情報インデックス、任意の文字列からそれに対応する単語ＩＤを検索するための逆単語情報インデックスを作成して格納する。
【００９３】
さて、以下同系統度、関連度の計算の詳細について説明する。本実施例４において同系統か否かは同系統度Ｓimwで判定される。この同系統度Ｓimwは、初期キーワードと同系統らしいとき高い値を示す指標で（数７）で定義される。ノルムは要素数を示す。ここでInitsは初期キーワード集合であり、その要素Initは単語の集合（語群）である。例えばInitsは上記同層繰り返しの情報の場合には「原鶴温泉」「二日市温泉」であり、Initは本来単語の「原鶴温泉」等のはずであるが、「原鶴温泉」には「原づる温泉」等の別表記を含む場合があるため、語群となる。ここで(数７)のRelInit,wは、語群Initと単語ｗの単語関連度（本発明の関連度）を示す。(数７)からも分るように、同系統度Ｓimwは各初期キーワード集合での各単語関連度RelInit,wの相乗平均を表している。なお、総和平均をとって計算を簡略化することもできる。
【００９４】
【数７】
2005346598.tif 000009
例えば、「原鶴温泉」「二日市温泉」が初期キーワード集合Initsの場合、新たに抽出された単語「脇田温泉」の同系統度Ｓimwは、「脇田温泉」と「原鶴温泉」の単語関連度RelInit,wと、「脇田温泉」と「二日市温泉」の単語関連度RelInit,wとの積をとった平方根であり、各単語関連度RelInit,wの相乗平均ということになる。
【００９５】
続いて関連度の計算について説明する。単語の単語関連度Relw(t)は、繰り返し計算したｔ回目の計算で求められたものであり、初期キーワードに対して重みを与えるため、(数８)に従ってRel’w(t)＝Relw(t)＋Initweightwと補正する。ｔ＝０の場合、初期値Relw(０)＝０であるから、Rel’w(０)＝Initweightwとなる。なお、このInitweightwは、初期キーワードの場合Initweightw＝weight（定数）、それ以外の単語の場合Initweightw＝０である。ｔ回から（ｔ＋１）、（ｔ＋２）、・・と単語関連度Relw(t)の計算を更新すると、Relw(t)は次第に所定値に収斂していく。
【００９６】
【数８】
2005346598.tif 000010
次いで、各ウェブページの表のすべての列（本発明の項目）に対して、その列の関連度Colrelcol(t)（本発明の項目関連度）は(数９)で求められる。Colwordscolはその列に出現する単語の集合から重複を取り除いたものである。また、(数１０)のsizefactorはColrelcol(t)の値の信頼性を上げるためのファクターで、単語が３個以下の表だと同系統か否かを判断するのは危険なため関連度を強制的に０とし、また、単語が多くなりすぎた場合も同系統か否かの判断が難しいので関連度を低く調整するための関数である。この(数１０)の関数を使用して調整した場合、単語が３個以下のときにはsizefactor＝０であり、単語が５個程度でsizefactor＝０．１、単語が７個程度でsizefactor＝０．１２、単語が２０個程度でsizefactor＝０．０９５程度となり、これより単語が多い場合漸減させることができる。但し、３個以下でsizefactor＝０としたのは精度と計算速度に関する実験結果が好成績であったからであり、別の数値、関数を選択するのが好適な場合もある。
【００９７】
【数９】
2005346598.tif 000011
【００９８】
【数１０】
2005346598.tif 000012
以上説明した(数９)(数１０)によって、表の列と初期キーワードとの関係の強さを示す列の関連度Colrelcol(t)が求まるが、表が掲載されたウェブページの単語関連度は(数１１)で計算される。
【００９９】
【数１１】
2005346598.tif 000013
例えば上記同層繰り返しの情報の表の場合、Ｂ列で＜Ｂ，１＞原鶴温泉、＜Ｂ，２＞二日市温泉、＜Ｂ，３＞脇田温泉、・・である。このとき初期キーワード「原鶴温泉」「二日市温泉」の単語関連度Rel’w(t)を設定値１．０とし（すなわちweight＝１．０）、その他の単語を設定値０とすると、繰り返し計算の初回においては、２．０×sizefactorが列の関連度Colrelcolということになる。これに対してＡ列、Ｃ列には初期キーワード「原鶴温泉」「二日市温泉」が現れていないので、０が初回の列の関連度Colrelcolということになる。従って、このようなウェブページの単語関連度ＰrelP,w(t)は、繰り返し計算の初回においては、(数１１)によってＢ列の２．０×sizefactorになる。
【０１００】
各ウェブページの単語関連度ＰrelP,w(t)を合計すると、全ウェブページでの未正規化の単語関連度Arelw(t)が(数１２)で得られ、これを(数１３)のように正規化することにより、単語関連度Relw(t＋１)が新たに得られ、この計算を繰り返し単語関連度の値が収斂したとき、この値が大きな値であれば初期キーワードと同系統の単語として関連性が認められることになる。なお、(数１３)は単語関連度をRelw(t＋１)＝Arelw(t)／ｉ（ここにｉは全ウェブページ数）として計算を簡単化するのでもよい。
【０１０１】
【数１２】
2005346598.tif 000014
【０１０２】
【数１３】
2005346598.tif 000015
例えば、上記のウェブページの表の場合、＜Ｂ，３＞脇田温泉は初期値がRelw(０)＝０であるが、このとき関連度はColrelcol＝２．０×sizefactorとなり、Relw(１)としては重みが加わり、繰り返し計算をしているうちに安定した値に収斂していくことになる。なお、「脇田温泉」に対する同系統度Ｓimwは(数７)に従って、それぞれ「原鶴温泉」「二日市温泉」と「脇田温泉」との各RelInit,wの相乗平均として計算される。このように実施例４においては各単語の関連度を計算し、その同系統度を計算することによって、初期キーワードと同系統の単語を収集し、さらにこれらのキーワードからターゲットとするウェブページを高効率に収集することができる。
【０１０３】
次に、以上説明した実施例４のウェブ情報収集方法を実施する手順について図１１に基づいて説明する。まず、同系統の単語を収集するとともにターゲットのウェブページを収集するため、入力部１０から同系統の単語を集めるための初期キーワードを設定する（ｓｔｅｐ２１）。次に、繰り返し計算を行うときに初期キーワードに対して与える1以下の設定値を設定し、初期キーワード以外の単語に対しては０を与える(ｓｔｅｐ２２)。
【０１０４】
表形式情報の要素に初期キーワードを含むウェブページを抽出し、データ蓄積部７ａに蓄積し(ｓｔｅｐ２３)、この初期キーワードを含んだ同一列内の各要素に対して、初期キーワードの場合は上記設定値、他の単語の場合は０を与えてこの列の関連度を計算する(ｓｔｅｐ２４)。次いで、ウェブページに列が複数含まれているか否かがチェックされ（ｓｔｅｐ２５）、複数の列がある場合は、複数の列について計算した各列の関連度をウェブページの関連度とする（ｓｔｅｐ２６）。ｓｔｅｐ２５において、単一の列しか含まれていない場合には、単一の列の関連度をウェブページの関連度とする(ｓｔｅｐ２７)。
【０１０５】
続いて、全ウェブページの関連度の総和をとって正規化し（ｓｔｅｐ２８）、初期キーワードに対しては(数８)に従ってさらに上述した所定の設定値を加えて初期キーワードの新たな関連度とし、初期キーワード以外の単語に対しては(数８)に従ってウェブページの関連度の総和をとって正規化し、これをそのままその単語の新たな関連度とする(ｓｔｅ２９)。その後、各単語の変動幅が所定の範囲値内であるか否かを検討し（ｓｔｅｐ３０）、変動幅が所定値内になければｓｔｅｐ２４に戻って、更新した関連度を使って一連の計算を繰り返す。ｓｔｅｐ３０で各単語の変動幅が所定の範囲値内であれば、十分収斂したとして計算を終了し、同系統の単語を取得するものである。なお、ｓｔｅｐ３０において、計算の終了時点を、所定の繰り返し回数に到達したことなど、他の終了方法を採用するのでもよい。
【０１０６】
このように実施例４のウェブ情報収集装置、ウェブ情報収集方法は、初期キーワードを設定してこれを要素にもつ表形式情報を取得し、表の同一項目に記述された単語を取り出して各単語の関連度からウェブ情報の関連度を計算し、これを基に初期キーワードには重みを与えて、各単語の関連度と項目関連度の計算を交互に繰り返すから、初期キーワードと同系統の単語は繰り返し計算によりウェブ情報の関連度が上がり、同系統の単語とともにウェブ情報を目的情報として収集することができる。初期キーワードに対する関連性の強さを数値の大きさで示すことができ、同系統語を網羅し、出現頻度が高くなくとも関連性が高い単語を抽出することができる。
【産業上の利用可能性】
【０１０７】
本発明は、特定分野のウェブページだけを高効率で自動的に収集する検索エンジン等で使用されるウェブ情報収集装置と、検索エンジン等に搭載するウェブクローラープログラムに適用できる。初期キーワードと同系統の単語を収集して関連するウェブページを収集する検索エンジン等に適用できる。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施例1におけるウェブ情報収集装置の構成図
【図２】本発明の実施例1におけるウェブ情報収集装置のウェブクローラー部の構成図
【図３】（ａ）Ｂ型情報を推定する決定木の説明図、（ｂ）ｎ個の単語情報を含む決定木に基づいてＢ型情報を推定する判定データ図
【図４】（ａ）４つのウェブページによる単語の出現頻度とウェブページの優先度スコアの変化を示す説明図、（ｂ）（ａ）の各単語の出現頻度の説明図
【図５】（ａ）リンクを辿ってターゲットのウェブページを取得するまでのプロセスの説明図、（ｂ）未収集のウェブページのＵＲＬを取得したときＵＲＬ優先順位キューに追加されるエントリの説明図
【図６】本発明の実施例1におけるウェブ情報収集方法のフローチャート
【図７】本発明の実施例１におけるターゲットの収集量と総収集ウェブページの関係を示す実験データ図
【図８】本発明の実施例１における総収集ウェブページと優先度スコアの関係示す図
【図９】本発明の実施例２、３におけるターゲットの収集量と総収集ウェブページの関係を示す実験データ図
【図１０】本発明の実施例４におけるウェブ情報収集装置の構成図
【図１１】本発明の実施例４におけるウェブ情報収集方法のフローチャート
【図１２】（ａ）ウェブクローラーの動作のフローチャート、（ｂ）（ａ）の動作の繰り返しで行われるリンクを辿ってターゲットのウェブページを取得するまでの説明図
【符号の説明】
【０１０９】
１    ネットワーク
２    ウェブ情報収集装置
３ａ，３ｂ，３ｃ，・・    ウェブサーバ
４    制御部
４ａ    中央演算処理装置
５    メモリ部
６    ウェブクローラー部
７    蓄積部
７ａ    データ蓄積部
７ｂ    単語情報蓄積部
７c    ＩＤ部
８    ＵＲＬ優先順位キュー
９    インターフェース
１０    入力部
１１    ＵＲＬ取り出し手段
１２    ウェブ情報取得手段
１３    情報判定手段
１４    データ抽出手段
１５    コンテンツ抽出手段
１４ａ，１７ａ    カウント手段
１６    形態素解析手段
１７    累積頻度学習手段
１８    出現頻度演算手段
１９    単語蓄積手段
２０    優先度演算手段
２１    キュー処理手段
３１    通信手段
３２  単語関連度計算手段
３３    項目関連度計算手段
３４    ページ関連度計算手段
３５    同系統度計算手段
【図１】
2005346598.tif 000016
【図２】
2005346598.tif 000017
【図３】
2005346598.tif 000018
【図４】
2005346598.tif 000019
【図５】
2005346598.tif 000020
【図６】
2005346598.tif 000021
【図７】
2005346598.tif 000022
【図８】
2005346598.tif 000023
【図９】
2005346598.tif 000024
【図１０】
2005346598.tif 000025
【図１１】
2005346598.tif 000026
【図１２】
2005346598.tif 000027