(57)【要約】【課題】Ｗｅｂロボットの収集時間の短縮と使用者の求めるＷｅｂページの収集とを可能にする。【解決手段】Ｗｅｂページ解析手段２２により使用者が予めパターン記憶部３２に設定した収集の対象とするＵＲＬパターンと照合を行い、そのパターンと一致する場合には、そのＵＲＬをＵＲＬ記憶部３１に記憶する。Ｗｅｂページ要求手段２１はＵＲＬ記憶部３１からＵＲＬを取り出し、インターネット上のそのＵＲＬに位置するＷｅｂページを収集する。パターンと一致しない場合は、収集しないように処理する。【選択図】        図１
2004303133.tif 000002
【特許請求の範囲】
【請求項１】
Ｗｅｂページを取得するＷｅｂページ取得工程と、
前記ＷｅｂページからＵＲＬを抽出するＵＲＬ抽出工程と、
前記ＵＲＬのパターンとユーザが所有するＵＲＬのパターンとの照合を行うパターン照合工程とを有することを特徴とするＷｅｂページ収集方法。
【請求項２】
前記パターン照合工程は、取得したＵＲＬのパターンと収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンとを照合することを特徴とする請求項１に記載のＷｅｂページ収集方法。
【請求項３】
以前に取得したＵＲＬとユーザが所有するＵＲＬのパターンとの照合を行うパターン照合工程と、
前記パターン照合工程の結果に従い、Ｗｅｂページの取得を行うＷｅｂページ取得工程と、
前記ＷｅｂページからＵＲＬを抽出し、格納するＵＲＬ抽出工程とを有することを特徴とするＷｅｂページ収集方法。
【請求項４】
前記パターン照合工程は、以前に取得したＵＲＬと収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンとを照合することを特徴とする請求項３に記載のＷｅｂページ収集方法。
【請求項５】
記憶装置に格納されている、以前取得したＵＲＬを取り出し、該ＵＲＬに基づきＷｅｂページをネットワークから取得する処理と、
取得したＷｅｂページを記憶装置に格納し、ＵＲＬを抽出する処理と、
記憶装置に格納されている、収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンを取り出し、抽出したＵＲＬのパターンと比較する処理と、
抽出したＵＲＬのパターンが収集の対象とするパターンに一致し、かつ、除外の対象とするパターンに一致しない場合に該ＵＲＬを記憶装置に格納し、その他の場合には該ＵＲＬを破棄する処理とをコンピュータに実行させるためのＷｅｂページ収集プログラム。
【請求項６】
記憶装置に格納されている、以前取得したＵＲＬを取り出す処理と、
記憶装置に格納されている、収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンを取り出し、前記ＵＲＬのパターンと比較する処理と、
前記ＵＲＬのパターンが収集の対象とするパターンに一致し、かつ、除外の対象とするパターンに一致しない場合に前記ＵＲＬに基づきＷｅｂページの取得を行う処理と、
取得したＷｅｂページからＵＲＬを抽出し、記憶装置に格納する処理とをコンピュータに実行させるためのＷｅｂページ収集プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＷｅｂロボットによるＷｅｂページ収集方法、及びＷｅｂページ収集プログラムに関し、特にＷｅｂロボットによるＷｅｂページのＵＲＬのパターンを識別したＷｅｂページ収集方法及びＷｅｂページ収集プログラムに関する。
【０００２】
【従来の技術】
従来のＷｅｂページ収集方式は、指定されたＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒｓ  ）から辿られるＵＲＬをすべて収集してインターネット上のＷｅｂページをもれなく収集する為に用いられている。
【０００３】
従来の方式の一例が、特許文献１に記載されている。この公報に記載されたＷｅｂページ収集方式はインターネットからＨＴＭＬ文書を採取し、このＨＴＭＬ文書から抽出したＵＲＬをもとに新たなＨＴＭＬ文書をインターネットから採取するという動作を繰り返す方式である。
【０００４】
特許文献２ではユーザのＵＲＬ閲覧履歴を利用して、ＨＴＭＬファイルの取得時間を短縮する方法を提供する。
【０００５】
また特許文献３では、探索ロボットと呼ばれる、Ｗｅｂ情報を収集して目録データベースを作成するプログラム群を用いている。この発明では、非探索リストに応答しないＷｅｂサーバを登録することで、Ｗｅｂ情報探索時間の短縮を図っている。
【０００６】
【特許文献１】
特開２０００−２９３５２７号公報
【特許文献２】
特開２０００−３３０８５６号公報
【特許文献３】
特開２００２−９９４６０号公報
【０００７】
【発明が解決しようとする課題】
従来の方式の第１の問題点は、収集に膨大な時間を要するということである。その理由は、辿られるすべてのＷｅｂページを収集対象としている為である。
第２の問題点は、使用者にとって不要なＷｅｂページまで収集してしまうということである。これは、第１の問題点に述べた理由による。
【０００８】
上記問題点に鑑み、本発明は、収集時間を短縮するＷｅｂページ収集方式を提供することを目的とする。更に、使用者にとって必要なＷｅｂページのみ収集できるＷｅｂ収集方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明であるＷｅｂページ収集方法は、Ｗｅｂページを取得するＷｅｂページ取得工程と、上記ＷｅｂページからＵＲＬを抽出するＵＲＬ抽出工程と、上記ＵＲＬのパターンとユーザが所有するＵＲＬのパターンとの照合を行うパターン照合工程とを有することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載のＷｅｂページ収集方法であって、上記パターン照合工程は、取得したＵＲＬのパターンと収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンとを照合することを特徴とする。
【００１１】
請求項３に記載の発明であるＷｅｂページ収集方法は、以前に取得したＵＲＬとユーザが所有するＵＲＬのパターンとの照合を行うパターン照合工程と、上記パターン照合工程の結果に従い、Ｗｅｂページの取得を行うＷｅｂページ取得工程と、上記ＷｅｂページからＵＲＬを抽出し、格納するＵＲＬ抽出工程とを有することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項３に記載のＷｅｂページ収集方法であって、上記パターン照合工程は、以前に取得したＵＲＬと収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンとを照合することを特徴とする。
【００１３】
請求項５に記載の発明であるＷｅｂページ収集プログラムは、記憶装置に格納されている、以前取得したＵＲＬを取り出し、該ＵＲＬに基づきＷｅｂページをネットワークから取得する処理と、  取得したＷｅｂページを記憶装置に格納し、ＵＲＬを抽出する処理と、記憶装置に格納されている、収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンを取り出し、抽出したＵＲＬのパターンと比較する処理と、抽出したＵＲＬのパターンが収集の対象とするパターンに一致し、かつ、除外の対象とするパターンに一致しない場合に該ＵＲＬを記憶装置に格納し、その他の場合には該ＵＲＬを破棄する処理とをコンピュータに実行させることを特徴とする。
【００１４】
請求項６に記載の発明であるＷｅｂページ収集プログラムは、記憶装置に格納されている、以前取得したＵＲＬを取り出す処理と、記憶装置に格納されている、収集の対象とするＵＲＬのパターン及び除外の対象とするＵＲＬのパターンを取り出し、前記ＵＲＬのパターンと比較する処理と、上記ＵＲＬのパターンが収集の対象とするパターンに一致し、かつ、除外の対象とするパターンに一致しない場合に前記ＵＲＬに基づきＷｅｂページの取得を行う処理と、取得したＷｅｂページからＵＲＬを抽出し、記憶装置に格納する処理とをコンピュータに実行させることを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１を参照すると、本発明の第１の実施形態は、Ｗｅｂロボット１００のプログラム制御により動作する処理装置２００と、情報を記憶する記憶装置３００とを有する。
【００１６】
記憶装置３００はＵＲＬ記憶部３１、パターン記憶部３２及びＷｅｂページ記憶部３３を有する。
ＵＲＬ記憶部３１は、Ｗｅｂページから摘出したＵＲＬを記憶している。パターン記憶部３２は、予め使用者によって設定された収集対象及び除外対象とするＵＲＬのパターンを記憶している。Ｗｅｂページ記憶部３３は取得したＷｅｂページを記憶する。
【００１７】
処理装置２００は、Ｗｅｂページ要求手段２１とＷｅｂページ解析手段２２とを有している。
Ｗｅｂページ要求手段２１は、ＵＲＬ記憶部３１からＵＲＬを取り出し、インターネット上の取り出したＵＲＬに位置するＷｅｂページを取得する要求を行う。Ｗｅｂ解析手段２２は、取得したＷｅｂページをＷｅｂページ記憶部３３に記憶し、また取得したＷｅｂページからＵＲＬを摘出し、パターン記憶部３２に記憶されたＵＲＬのパターンと照合し、一致する場合にＵＲＬ記憶部３１にそのＵＲＬを渡す。一致しない場合には、そのＵＲＬは無視し、次のＵＲＬを摘出する。
【００１８】
次に図２のフローチャートを参照して本実施形態の全体の動作について詳細に説明する。
Ｗｅｂページ要求手段２１によってＵＲＬ記憶部３１からＵＲＬの取り出しを行い（ステップ１）、取り出せたかどうかの判定を行う（ステップ２）。ここで取り出せなかった場合は動作を終了する。ＵＲＬを取り出せた場合は、インターネットに対応するＷｅｂページの取得要求を行い（ステップ３）、Ｗｅｂページを取得する（ステップ４）。
【００１９】
Ｗｅｂページ解析手段２２によって取得したＷｅｂページをＷｅｂページ記憶部３３に記憶する（ステップ５）。更に取得したＷｅｂページからＵＲＬの抽出を試みて（ステップ６）、抽出できたかどうか判定する（ステップ７）。
【００２０】
抽出できなかった場合は、ステップＳ１に戻る。抽出できた場合は、抽出したＵＲＬ（Ｄ１）をパターン記憶部３２に記憶されるパターンの内容と照合する。照合はまず収集の対象とする対象パターン（Ｐ１）と照合する（ステップ８）。
【００２１】
この照合に一致しない場合は、この抽出したＵＲＬは破棄する（ステップ１１）。一致した場合、もしくは収集の対象とする対象パターン（Ｐ１）が存在しない場合は、除外パターン（Ｐ２）と照合する（ステップ９）。
【００２２】
この照合に一致した場合、この抽出したＵＲＬは破棄する（ステップ１１）。一致しない場合、もしくは除外パターン（Ｐ２）が存在しない場合は、この抽出したＵＲＬをＵＲＬ記憶部３１に記憶する（ステップ１０）。
ＵＲＬの抽出が終了するまで以上の動作を繰り返す（ステップ６）。
【００２３】
本実施の形態の効果について説明する。
本実施の形態では、パターン記憶部３２に記憶されるパターンの内容（Ｐ１とＰ２）と照合することにより、収集の対象となるＵＲＬのみがＵＲＬ記憶部３１に記憶されるため、Ｗｅｂページ要求手段２１が要求するＵＲＬが絞り込まれる為、収集時間を短縮することができる。
また、本実施の形態では、Ｗｅｂページ要求手段２１が要求するＵＲＬは使用者がパターン記憶部３２に設定したパターンに一致したＵＲＬのみとすることができることから、使用者にとって必要なＷｅｂページのみを収集することができる。
【００２４】
次に具体的な実施例を用いて本実施の形態の動作を説明する。
図３に示すように、Ｗｅｂページ解析手段２２によって抽出したＵＲＬ（Ｄ１）が、例えばｈｔｔｐ：／／ａａａ．ｂｂｂ．ｃｃｃ／ｚｚ／ｙｙ．ｈｔｍｌ  であるとする。このＵＲＬをパターン記憶部３２に記憶されるパターンの内容のうち対象パターン（Ｐ１）と照合する（ステップ８）。収集パターン（Ｐ１）はａａａ．ｂｂｂ．ｃｃｃ  である。抽出したＵＲＬ（Ｄ１）はこのパターンに一致する為、次の除外パターン（Ｐ２）と照合する（ステップ９）。
除外パターンは／ｘｘ／である。抽出したＵＲＬ（Ｄ１）はこのパターンに一致しない為、抽出したＵＲＬ（Ｄ１）はＵＲＬ記憶部３１に記憶される（ステップ１０）。このＵＲＬ（Ｄ１）はＷｅｂページ要求手段２１がＵＲＬ記憶部３１を参照したときに取得される。
【００２５】
また図４で示すように、Ｗｅｂページ解析手段２２によって抽出したＵＲＬ（Ｄ１）が、例えばｈｔｔｐ：／／ａａａ．ｂｂｂ．ｃｃｃ／ｘｘ／ｙｙ．ｈｔｍｌ  であるとする。このＵＲＬ（Ｄ１）をパターン記憶部３２に記憶されるパターンの内容のうち、対象パターン（Ｐ１）と照合する（ステップ８）。収集パターン（Ｐ１）はａａａ．ｂｂｂ．ｃｃｃ  である。抽出したＵＲＬ（Ｄ１）はこのパターンに一致する為、次に除外パターン（Ｐ２）と照合する（ステップ９）。
除外パターン（Ｐ２）は／ｘｘ／である。抽出したＵＲＬ（Ｄ１）はこのパターンに一致する為、抽出したＵＲＬ（Ｄ１）は破棄される（ステップ１１）。このＵＲＬはＷｅｂページ要求手段２１がＵＲＬ記憶部３１を参照したときに取得されない。
【００２６】
また、図５に示すように、Ｗｅｂページ解析手段２２によって抽出したＵＲＬ（Ｄ１）が、例えばｈｔｔｐ：／／ａａａ．ｂｂｂ．ｄｄｄ／ｚｚ／ｙｙ．ｈｔｍｌ  であるとする。このＵＲＬをパターン記憶部３２に記憶されるパターンの内容のうち、対象パターン（Ｐ１）と照合する（ステップ８）。収集パターン（Ｐ１）はａａａ．ｂｂｂ．ｃｃｃ  である。抽出したＵＲＬ（Ｄ１）はこのパターンに一致しない為、抽出したＵＲＬ（Ｄ１）は破棄される（ステップ１１）。このＵＲＬはＷｅｂページ要求手段２１がＵＲＬ記憶部３１を参照したときに取得されない。
【００２７】
次に本発明の第２の実施形態について図面を参照して詳細に説明する。
図６を参照すると、本発明の第２の実施形態は、パターン記憶部３２で記憶されるパターンとの照合をＷｅｂページ解析手段２２ではなく、Ｗｅｂページ要求手段２１で行うことが、第１の実施の形態と異なる。すなわち、Ｗｅｂページ要求手段２１は、ＵＲＬ記憶部３１からＵＲＬを取り出し、パターン記憶部３２に記憶されたＵＲＬのパターンと照合し、一致する場合にインターネット上の取り出したＵＲＬに位置するＷｅｂページを取得する要求を行う。一致しない場合には、そのＵＲＬは無視し、次のＵＲＬを取り出す。Ｗｅｂページ解析手段２２は、取得したＷｅｂページからＵＲＬを摘出し、ＵＲＬ記憶部３１にそのＵＲＬを渡す。
【００２８】
図７のフローチャートを参照して本発明の第２の実施形態の全体の動作について詳細に説明する。
Ｗｅｂページ要求手段２１のよってＵＲＬ記憶部３１からＵＲＬの取り出しを試みて（ステップ７０１）、取り出せたかどうかの判定を行う（ステップ７０２）。ここで取り出せなかった場合は動作を終了する。取り出せた場合は、取り出したＵＲＬ（Ｄ２）をパターン記憶部３２に記憶されるパターンの内容と照合する。照合は、まず収集の対象とする対象パターン（Ｐ１）と照合する（ステップ７０３）。この照合に一致しない場合は、この抽出したＵＲＬは無視してステップ１に戻る。
【００２９】
一致した場合、もしくは収集の対象とする対象パターン（Ｐ１）が存在しない場合、次に除外パターン（Ｐ２）と照合する（ステップ７０４）。この照合に一致した場合、この抽出したＵＲＬは無視してステップ１に戻る。一致しない場合、もしくは除外パターン（Ｐ２）が存在しない場合は、インターネットに対応するＷｅｂページの取得要求を行い（ステップ７０５）、Ｗｅｂページを取得する（ステップ７０６）。
【００３０】
Ｗｅｂページ解析手段２２によって取得したＷｅｂページをＷｅｂページ記憶部３３に記憶する（ステップ７０７）。更に取得したＷｅｂページからＵＲＬの抽出を試みて（ステップ７０８）、抽出できたかどうかの判定を行う（ステップ７０９）。抽出できなかった場合はステップ１に戻る。この抽出したＵＲＬをＵＲＬ記憶部３１に記憶し（ステップ７１０）、ステップ８に戻る。
【００３１】
本実施の形態の効果について説明する。
本実施の形態では、すでにＵＲＬ記憶部３１に記憶されているＵＲＬに対して、パタ−ン記憶部３２に記憶されるパターンとの照合を行うことができる。
【００３２】
第１の実施形態、第２の実施形態ともパターン記憶部３２に記憶されるパターンとの照合は完全一致の場合としているが、ここを前方一致、後方一致、ワイルドカード（０文字以上の一致、１文字の一致）による照合を行うこともできる。
【００３３】
【発明の効果】
以上説明したように、本発明の第１の効果は、収集時間が短縮できることにある。その理由は、収集するＵＲＬを絞り込むことができるためである。
第２の効果は、使用者にとって必要なＷｅｂページのみ収集できることにある。その理由は、使用者が収集対象としたい、或いは除外したいＵＲＬのパターンを設定できる為である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】第１の実施の形態の動作を示す流れ図である。
【図３】第１の実施の形態の動作の具体例１を示す図である。
【図４】第１の実施の形態の動作の具体例２を示す図である。
【図５】第１の実施の形態の動作の具体例３を示す図である。
【図６】本発明の第２の実施の形態の構成を示すブロック図である。
【図７】第２の実施の形態の動作を示す流れ図である。
【符号の説明】
２１  Ｗｅｂページ要求手段
２２  Ｗｅｂページ解析手段
３１  ＵＲＬ記憶部
３２  パターン記憶部
３３  Ｗｅｂページ記憶部
１００  Ｗｅｂロボット
２００  処理装置
３００  記憶装置
【図１】
2004303133.tif 000003
【図２】
2004303133.tif 000004
【図３】
2004303133.tif 000005
【図４】
2004303133.tif 000006
【図５】
2004303133.tif 000007
【図６】
2004303133.tif 000008
【図７】
2004303133.tif 000009