(57)【要約】【課題】短時間で情報を収集でき、情報集の初期の時点で求める情報が存在する可能性が高いページを多量に収集する。【解決手段】本発明は、Ｗｅｂページを、起点ＵＲＬ、収集するためのルールとして、終了条件（収集データ量、ホップ数、時間等）、キーワードなどの探索対象、優先探索するＵＲＬの条件を指定して、特定のページを収集する。詳しくは、優先度付起点リストの内で最も優先度の高い先頭のページを取得し、該ページ内のリンク先を全て取得し、そのリンク先に対して優先度が付与された優先度付与済リンク一覧に基づいて、最も優先度高いリンクからページを収集し、収集したページについて収集ページ判別ルールに該当したページのみを取得する。【選択図】図１
2009282636.tif 000002
【特許請求の範囲】
【請求項１】
Ｗｅｂページを収集するための情報空間探索装置であって、
情報収集の終了条件を格納した終了条件記憶手段と、
検索により到達したページが収集対象であるかどうかを判定するための収集ページ判別ルールを記憶する収集ルール記憶手段と、
一つ以上のＷｅｂページを収集する起点となる起点リストが入力されると、該起点リストに対する優先度を付与する優先度付与手段と、
前記優先度付与手段において優先度が付与された優先度付起点リストのうち、最も優先度が高い起点から前記収集ページ判別ルールに基づいて、前記終了条件に達するまでＷｅｂページを収集し、記憶手段に格納するＷｅｂページ収集手段と、
前記記憶手段に格納されているＷｅｂページにインデックスを付与してＷｅｂページ群記憶手段に蓄積するインデックス付与手段と、
を有することを特徴とする情報空間探索装置。
【請求項２】
前記Ｗｅｂページ収集手段は、
前記優先度付起点リストの内で最も優先度の高い先頭のページを取得し、該ページ内のリンク先を全て取得するリンク先収集手段と、
取得したリンク先に対して前記優先度付与手段により優先度が付与された優先度付与済リンク一覧に基づいて、最も優先度高いリンクからページを収集し、収集したページについて前記収集ページ判別ルールに該当したページを取得して前記記憶手段に格納する手段を含む
請求項１記載の情報空間探索装置。
【請求項３】
前記優先度付与手段は、
優先して収集するべきＷｅｂページの条件とその優先度に基づいて、前記起点リストに優先度を付与する
請求項１記載の情報空間探索装置。
【請求項４】
前記終了条件記憶手段は、
前記終了条件として、
前記起点リストのページからのホップ数、
収集時間、
収集データ量
の少なくともいずれか１つを設定する
請求項１記載の情報空間探索装置。
【請求項５】
前記収集ページ判別ルールは、
ＵＲＬ、
Ｗｅｂ文書中の単語、
特定タグ
の少なくともいずれか１つを用いる
請求項１または、２記載の情報空間探索装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の情報空間探索装置を構成する各手段としてコンピュータを機能させるための情報空間探索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報空間探索装置及びプログラムに係り、特に、ネットワーク構造の情報空間において、目的に応じて効率良くＷｅｂページを収集するための情報空間探索装置及びプログラムに関する。
【背景技術】
【０００２】
ネットワーク構造型情報空間の探索方法に関しては、指定された地点を全て収集する方法の他に、予め指定された起点からリンクされている情報資源群を順次アクセスしていくという過程を繰り返すことにより、網羅的にネットワーク構造型の情報空間の探索を行う方法がある（例えば、特許文献１参照）。
【特許文献１】特許第３２８２０８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ＷＷＷに代表される情報空間は莫大な資源を内包している、上記従来技術を用いてＷｅｂページ等の情報を収集すると、リンクされたページを全て収集するために、求める情報が掲載されているページ以外のものも多数収集してしまう。
【０００４】
また、収集を行う際には発見したリンクから順番に情報を収集する。つまり、求める情報の存在するであろう確率の高低による収集順序付けは行われていないことが多い。この方法の場合、求める情報が存在するページがリンクの最後に固まっていた場合、最後まで情報収集を行わない限り、求める情報が入手できないことになる。言い換えれば、情報収集を途中で終了することに多大なリスクを負うことになる。
【０００５】
上記のような問題があるため、従来技術では、結果的に多大な時間が掛かるようになる。
【０００６】
本発明は、上記の点に鑑みなされたもので、短時間で情報を収集でき、情報集の初期の時点で求める情報が存在する可能性が高いページを多量に収集することが可能な情報空間探索装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理構成図である。
【０００８】
本発明（請求項１）は、Ｗｅｂページを収集するための情報空間探索装置であって、
情報収集の終了条件を格納した終了条件記憶手段４と、
検索により到達したページが収集対象であるかどうかを判定するための収集ページ判別ルールを記憶する収集ルール記憶手段５と、
一つ以上のＷｅｂページを収集する起点となる起点リストが入力されると、該起点リストに対する優先度を付与する優先度付与手段６と、
優先度付与手段６において優先度が付与された優先度付起点リストのうち、最も優先度が高い起点から収集ページ判別ルールに基づいて、終了条件に達するまでＷｅｂページを収集し、記憶手段１０に格納するＷｅｂページ収集手段７と、
記憶手段１０に格納されているＷｅｂページにインデックスを付与してＷｅｂページ群記憶手段９に蓄積するインデックス付与手段８と、を有する。
【０００９】
また、本発明（請求項２）は、Ｗｅｂページ収集手段７において、
優先度付起点リストの内で最も優先度の高い先頭のページを取得し、該ページ内のリンク先を全て取得するリンク先収集手段と、
取得したリンク先に対して優先度付与手段により優先度が付与された優先度付与済リンク一覧に基づいて、最も優先度高いリンクからページを収集し、収集したページについて収集ページ判別ルールに該当したページを取得して記憶手段に格納する手段を含む。
【００１０】
また、本発明（請求項３）は、優先度付与手段６において、
優先して収集するべきＷｅｂページの条件とその優先度に基づいて、起点リストに優先度を付与する。
【００１１】
また、本発明（請求項４）は、終了条件記憶手段４において、
終了条件として、起点リストのページからのホップ数、収集時間、収集データ量の少なくともいずれか１つを設定する。
【００１２】
また、本発明（請求項５）は、収集ページ判別ルールとして、ＵＲＬ、Ｗｅｂ文書中の単語、特定タグの少なくともいずれか１つを用いる。
【００１３】
本発明（請求項６）は、請求項１乃至５のいずれか１項に記載の情報空間探索装置を構成する各手段としてコンピュータを機能させるための情報空間探索プログラムである。
【発明の効果】
【００１４】
上記のように、本発明によれば、収集するためのルール及び優先度に基づいて、特定のページのみを収集し、さらに、終了条件を設けることにより、従来の技術よりも短時間で情報を収集できるため、巡回サイクルを短くすることができる。つまり、特定のＷｅｂページに関しては、最新の情報を保持し易くなる。
【００１５】
また、優先度を用いることにより、情報収集の初期の時点で求める情報が存在する可能性が高いページを多く収集することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図面と共に本発明の実施の形態を説明する。
【００１７】
図２は、本発明の一実施の形態における装置構成を示す。
【００１８】
同図に示す情報空間探索装置は、起点リスト記憶部１、起点入力部２、優先ルール記憶部３、終了条件記憶部４、収集ページ判別ルール記憶部５、Ｗｅｂページ優先度付与部６、Ｗｅｂページ収集部７、インデックス付与部８、Ｗｅｂページ群記憶部９から構成される。
【００１９】
上記の構成のうち、起点リスト記憶部１、優先ルール記憶部３、終了条件記憶部４、収集ページ判別ルール記憶部５、Ｗｅｂページ群記憶部９は、ハードディスク装置や、メモリ等の記憶媒体である。
【００２０】
最初に、本実施の形態で利用されるデータについて説明する。
【００２１】
起点入力部１では、収集の起点を指定する。これは単独でもよいし、図３に示すようにリスト状の複数になっても構わない。この起点の入力方法の具体例としては、「検索エンジンにクエリを入力し、出力された検索結果のＵＲＬリスト」や、「書籍に掲載されたＵＲＬ」が挙げられる。
【００２２】
なお、起点入力部１では、キーボードより入力してもよいし、上記のＵＲＬリストを起点リスト記憶部１に蓄積しておき、読み込むようにしてもよい。
【００２３】
終了条件記憶部４では、情報を収集する際の終了条件を格納する。終了条件は、「起点に基づくもの」、「時間に基づくもの」、「データ量に基づくもの」が上げられる。具体的には、リストに基づく場合は「起点リストの各ページからｎホップしたリンクページを収集」、時間に基づくものは「開始から３０分」、データ量に基づくものは「収集データ１ＧＢ迄」といった設定条件が挙げられる。
【００２４】
収集ページ判別ルール記憶部５では、到達したページが収集対象に該当するかどうかを判別するためのルールを格納する。判別ルール適用対象としては、「ＵＲＬ」「Ｗｅｂ文書中の使用されている単語」「特定タグ」があげられる。具体的には、「ＵＲＬ」に対しては類似表記ＵＲＬや同一ドメイン、「Ｗｅｂ文書中の使用されている単語」に対しては、特定のキーワードの有無や使用単語の偏り、「特定タグ」に対しては、Ａタグのａｌｔ記載内容やｉｍｇタグの数、といったルール内容が考えられる。
【００２５】
優先ルール記憶部３では、情報収集する際に、優先して収集するべき、Ｗｅｂページの条件とその優先度を格納する。優先ルール適用対象としては、「特定ＵＲＬ」「特定ドメイン」「ファイルの名称」「Ａタグのａｌｔ記載内容」が挙げられる。優先度は「０」と「１」の２段階でもよいし、順序の指定であってもよい。図４は「０」と「１」の２段階の優先度を設定する際の優先ルールの具体例である。
【００２６】
次に、上記の構成における動作を説明する。
【００２７】
図５は、本発明の一実施の形態における動作の概要のフローチャートである。
【００２８】
ステップ１０１）  起点リスト記憶部１から起点入力部２が起点リストを読み込む。
【００２９】
ステップ１０２）  Ｗｅｂページ収集部５は、終了条件記憶部４からＷｅｂページ収集における終了条件を読み込む。
【００３０】
ステップ１０３）  Ｗｅｂページ収集部５は、収集ページ判別ルール記憶部５から収集ページ判別ルールを読み込む。
【００３１】
ステップ１０４）  Ｗｅｂページ優先度付与部６は、優先度ルール記憶部３から優先ルールを読込み、起点入力部２から入力された起点（起点リスト）と優先ルールに基づき、起点リストに対して優先度が付与された優先度付与済起点リストをメモリ（図示せず）に保持する。図６は、与えられた起点リストに対して、図４に示す優先ルールに基づいて優先度を付与した例である。
【００３２】
ステップ１０５）  Ｗｅｂページ収集部７は、上記の優先度付与済み起点（起点リスト）、ステップ１０２で読み出した終了条件、ステップ１０３で読み出した収集ページ判別ルールに基づき、Ｗｅｂページを収集し、メモリ（図示せず）に一旦格納する。収集したページはインデックス作成部８に渡される。当該ステップの詳細動作については図７において詳述する。
【００３３】
ステップ１０６）インデックス作成部８は、メモリ（図示せず）に格納されている収集されたページに対してインデックスを付与してＷｅｂページ群記憶部９に格納する。
【００３４】
次に、上記のステップ１０５のＷｅｂページ収集部７の動作を詳細に説明する。
【００３５】
図７は、本発明の一実施の形態におけるＷｅｂページ収集部７の動作のフローチャートであり、図８は、本発明の一実施の形態における優先度付与済起点リスト、終了条件、収集判別ルールの例を示す。
【００３６】
ステップ２０１）  Ｗｅｂページ収集部７は、優先度付与済起点リストを取得する。
【００３７】
ステップ２０２）  与えられた優先度付与済起点（起点リスト）のうち、優先度１の先頭のページに到達し、そのページが収集ページ判別ルールに該当するか否かのチェックを行う。
【００３８】
ステップ２０３）  到達したページが収集判別ルールに該当するかを判定し、該当する場合はステップ２０８に移行し、該当しない場合はステップ２０４に移行する。なお、該当しない場合は、到達したページをメモリ（図示せず）に格納するか、しないかは任意である。
【００３９】
ステップ２０４）  該当しない場合は、上記の優先度付与済起点リスト内に同一の優先度を持つ他のＵＲＬがあるかを判定し、ある場合はステップ２０５に移行し、ない場合はステップ２０６に移行する。
【００４０】
ステップ２０５）  上記の優先度付与済起点リスト内の次のＵＲＬリストへ移動し、ステップ２０３以降の処理を行う。
【００４１】
ステップ２０６）  上記の優先度付与済起点リストの下位優先度のリンクがあるかを判定し、ない場合は収集処理を終了する。ある場合はステップ２０７に移行する。
【００４２】
ステップ２０７）  当該優先度付与済起点リストの下位優先度の先頭ＵＲＬに移行し、ステップ２０３の処理に移行する。
【００４３】
ステップ２０８）  ステップ２０３において収集判別ルールに該当する場合は、現在のページを収集し、メモリ（図示せず）に格納する。
【００４４】
ステップ２０９）  さらに、ページ内のＵＲＬ一覧を取得する。
【００４５】
ステップ２１０）  Ｗｅｂページ収集部７は、取得したリンク先一覧をＷｅｂページ優先度付与部６に渡す。これにより、Ｗｅｂページ優先度付与部６は、各リンクに対して同様に優先度を付与した結果を返却する。
【００４６】
ステップ２１１）  Ｗｅｂページ収集部７は、優先度付与済リンク一覧に基づいて、優先度１のリンクから先にページの収集を行う。
【００４７】
ステップ２１２）  リンク先についても同様に、収集ページ判別ルール該当するか否かを判定し、該当する場合は、ステップ２１３に移行し、該当しない場合はステップ２１４に移行する。
【００４８】
ステップ２１３）  該当する場合は、当該ページを収集し、ステップ２１４に移行する。
【００４９】
ステップ２１４）  同一優先度内において他にリンクがあるかを判定し、ある場合はステップ２１５に移行し、ない場合はステップ２１６に移行する。
【００５０】
ステップ２１５）  同一優先度を有する次のＵＲＬへ移動し、ステップ２１２以降の処理を繰り返す。
【００５１】
ステップ２１６）  ステップ２１４において他にリンクがない場合は、下位優先度のリンクがあるかを判定し、ある場合はステップ２１７に移行し、ない場合は、ステップ２０４に移行する。
【００５２】
ステップ２１７）  下位優先度の先頭のＵＲＬへ移動し、ステップ２１２以降の処理を繰り返す。
【００５３】
上記の処理を行い、終了条件で示される「起点リストの１ホップのページを収集」が終わった段階で当該処理を終了する。なお、上記では、図８に示す終了条件に基づいて終了するものとするが、データ量に基づいて、例えば、メモリ（図示せず）に蓄積されたデータ量が１ＧＢに達した時点や、３０分が経過した時点等の種々の終了条件に基づいて収集処理を終了するものとする。
【００５４】
また、図２に示す情報空間探索装置の構成要素の動作をプログラムとして構築し、情報空間探索装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【００５５】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００５６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５７】
本発明は、情報検索技術、特に、Ｗｅｂ検索技術に適用可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の原理構成図である。
【図２】本発明の一実施の形態における情報空間探索装置の構成図である。
【図３】本発明の一実施の形態における起点リストの例である。
【図４】本発明の一実施の形態における優先ルールの例である。
【図５】本発明の一実施の形態における動作の概要のフローチャートである。
【図６】本発明の一実施の形態における起点リストと優先度付与後の起点リストの例である。
【図７】本発明の一実施の形態におけるＷｅｂページ収集部の動作のフローチャートである。
【図８】本発明の一実施の形態における優先度付与済起点リスト・終了条件・収集判別ルールの例である。
【符号の説明】
【００５９】
１  起点リスト、起点リスト記憶部
２  起点入力部
３  優先ルール記憶部
４  終了条件記憶手段、終了条件記憶部
５  収集ルール記憶手段、収集ページ判別ルール
６  優先度付与手段、Ｗｅｂページ優先度付与部
７  Ｗｅｂページ収集手段、ウェブページ収集部
８  インデックス付与手段、インデックス付与部
９  Ｗｅｂページ群記憶手段、Ｗｅｂページ群記憶部
１０  記憶手段
【図１】
2009282636.tif 000003
【図２】
2009282636.tif 000004
【図３】
2009282636.tif 000005
【図４】
2009282636.tif 000006
【図５】
2009282636.tif 000007
【図６】
2009282636.tif 000008
【図７】
2009282636.tif 000009
【図８】
2009282636.tif 000010