(57)【特許請求の範囲】
【請求項１】
ＷＷＷ上のＷｅｂページ集合を収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する装置であって、
前記ページ集合の各ページおよびリンクについて、表層知識に基づくメタ情報を抽出し、かつリンク分類木を利用して各リンクのリンクタイプへの分類尤度を抽出しておくリンクタイプ分類尤度抽出手段と、
前記ページ集合の各ページのページ分類木を獲得し、このページ分類木を基に、前記ページ集合の各ページのページタイプへの分類尤度を抽出しておくページタイプ分類尤度抽出手段と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、以下の第１の手段〜第３の手段、
Ｗｅｂサイトのトップページ候補集合を獲得する第１の手段と、
前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の手段と、
前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の手段と、
を繰り返すことで親ページを推定することを特徴とするＷｅｂサイトの内部構造推定装置。
【請求項２】
前記リンクタイプ分類尤度抽出手段は、リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得ることを特徴とする請求項１に記載のＷｅｂサイトの内部構造推定装置。
【請求項３】
前記ページ分類尤度抽出手段は、ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出することを特徴とする請求項１または２に記載のＷｅｂサイトの内部構造推定装置。
【請求項４】
前記第１の手段は、前記ページ集合の各ページが所属する各サーバ毎に、以下の手段、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する手段Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する手段Ｂと、
・前記手段Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する手段Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする手段Ｄと、
を繰り返すことを特徴とする請求項１〜３のいずれか１項に記載のＷｅｂサイトの内部構造推定装置。
【請求項５】
前記第２の手段は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返すことを特徴とする請求項１〜４のいずれか１項に記載のＷｅｂサイトの内部構造推定装置。
【請求項６】
ＷＷＷ上のＷｅｂページ集合をデータベースに収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造としてコンピュータ・ソフトウェアによる情報処理によって推定する方法であって、
前記コンピュータ・ソフトウェアは、
前記ページ集合の各ページおよびリンクについて、表層知識に基づくメタ情報を抽出し、かつリンク分類木を利用して各リンクのリンクタイプへの分類尤度を抽出しておくリンクタイプ分類尤度抽出過程と、
前記ページ集合の各ページのページ分類木を獲得し、このページ分類木を基に、前記ページ集合の各ページのページタイプへの分類尤度を抽出しておくページタイプ分類尤度抽出過程と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、以下の第１の過程〜第３の過程、
Ｗｅｂサイトのトップページ候補集合を獲得する第１の過程と、
前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の過程と、
前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の過程と、
を繰り返すことで親ページを推定することを特徴とするＷｅｂサイトの内部構造推定方法。
【請求項７】
前記リンクタイプ分類尤度抽出過程は、リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得ることを特徴とする請求項６に記載のＷｅｂサイトの内部構造推定方法。
【請求項８】
前記ページ分類尤度抽出過程は、ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出することを特徴とする請求項６または７に記載のＷｅｂサイトの内部構造推定方法。
【請求項９】
前記第１の過程は、前記ページ集合の各ページが所属する各サーバ毎に、以下の過程、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する過程Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する過程Ｂと、
・前記過程Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する過程Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする過程Ｄと、
を繰り返すことを特徴とする請求項６〜８のいずれか１項に記載のＷｅｂサイトの内部構造推定方法。
【請求項１０】
前記第２の過程は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返すことを特徴とする請求項６〜９のいずれか１項に記載のＷｅｂサイトの内部構造推定方法。
【請求項１１】
ＷＷＷ上のＷｅｂページ集合を収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する方法をコンピュータで実行可能にしたプログラムであって、
リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得るリンクタイプ分類尤度抽出手順と、
ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出するページ分類尤度抽出手順と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、Ｗｅｂサイトのトップページ候補集合を獲得する第１の手順と、前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の手順と、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の手順とを繰り返すことで親ページを推定し、
前記第１の手順は、前記ページ集合の各ページが所属する各サーバ毎に、以下の手順、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する手順Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する手順Ｂと、
・前記手順Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する手順Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする手順Ｄとを繰り返し、
前記第２の手順は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返し、
前記第３の手順は、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定するを繰り返すことで親ページを推定する、
各手順をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
ＷＷＷ上のＷｅｂページ集合を収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する方法を、コンピュータで実行可能にしたプログラムを記録した記録媒体であって、
リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得るリンクタイプ分類尤度抽出手順と、
ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出するページ分類尤度抽出手順と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、Ｗｅｂサイトのトップページ候補集合を獲得する第１の手順と、前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の手順と、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の手順とを繰り返すことで親ページを推定し、
前記第１の手順は、前記ページ集合の各ページが所属する各サーバ毎に、以下の手順、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する手順Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する手順Ｂと、
・前記手順Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する手順Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする手順Ｄとを繰り返し、
前記第２の手順は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返し、
前記第３の手順は、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定するを繰り返すことで親ページを推定する、
各手順をコンピュータに実行させるプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＷＷＷ（ワールド・ワイド・ウェブ）で提供されるＷｅｂページを検索し、Ｗｅｂサイト単位で利用者に提供するためのＷｅｂページの検索方式に係り、特にＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する装置、方法に関する。
【０００２】
【従来の技術】
ＷＷＷは、Ｗｅｂページ集合をリンク関係を持たせたハイパーメディア情報として蓄積しており、利用者はＵＲＬ（ユニバーサル・リソース・ロケータ）で規定されるＷｅｂサーバにたどり着き、Ｗｅｂページの検索とそのリンク関係を辿ることで目的とするページ集合の情報を取得することができる。
【０００３】
上記のＵＲＬが不明な場合や検索範囲を拡張する場合のＷｅｂ情報検索手段として検索エンジンがあり、この検索エンジンは、あるＷｅｂページのＨＴＭＬ（ハイパー・テキスト・マークアップ・ランゲージ）を解析し、そこから張られているリンク先のＵＲＬを得るという一連の処理を繰り返すことで多数のＷｅｂページを収集し、収集したＷｅｂページに対してキーワードやトピックスを指定することで目的とするページ情報を抽出するようにしている。
【０００４】
【発明が解決しようとする課題】
ＷＷＷにおけるＷｅｂ情報は、ページ単位でなく、Ｗｅｂサイトというページ集合を単位として構成されており、検索目的に適合した情報のみを得るにはＷｅｂサイト単位に検索できることが要望される。なお、Ｗｅｂサイトとは、トップページ（代表ページ）と、それからリンクを辿って到達可能なページ群のうち、トップページと同一のサーバに属し、トップページとの関連が高いページを意味する。
【０００５】
しかし、従来のＵＲＬを基にしたＷｅｂページの検索方法では、サーバ単位およびそれにリンクされるＷｅｂページの検索になってしまい、目的とするページ情報とそれに関連するページ情報を得ること、つまりＷｅｂサイト単位の情報検索には多くの手間を必要とする。
【０００６】
一方、検索エンジンを利用した検索では、収集されるページが大量になることが多く、その整理、選別、加工がなされていないため、利用者には検索目的に適合したＷｅｂサイト単位の情報抽出が極めて困難となってしまう。
【０００７】
検索目的に適合した情報抽出方法として、文献「サイテーション・エンジン：リンク解析を用いたＷＷＷランキングシステム、高野  元、久保  信也、ｐｐ.9〜16、情報処理学会研究報告2000-DBS-120（データベースシステム研究会）、社団法人情報処理学会、2000年1月」では、収集されたページ群から代表ページ（トップページ）と呼ばれるページを外部サーバからのリンク参照数を用いて判断しているが、この手法では外部サーバから多くリンクされていないページはＷｅｂサイトのトップページとして抽出できない。また、代表ページを判断するために、十分なリンク（つまりページ）を収集しておく必要がある。
【０００８】
また、特開平９−２３１２３８号公報に開示される方法は、ページ検索結果を主題分析によりクラスタリングするに過ぎないため、目的に適合したＷｅｂサイト単位の情報を得ることができない。
【０００９】
Ｗｅｂサイトの内部構造が分かれば、検索したページ同士の階層関係の認識を容易にしたり、目的とするページに辿りつくためのナビゲーションを容易にするため、以上のような不都合が解消できる。
【００１０】
Ｗｅｂサイトの内部構造推定手法として、前記の文献では、Ｗｅｂページ同士の関係を有向グラフで表現し、この有向グラフの幅優先探索に基づき、各ページへのトップページからの最短パスで構成される木構造を推定することを提案している。しかし、この方法では、同文献にもあるように、元のグラフが完全グラフのような構造をもつ場合にはうまく機能しないという問題がある。
【００１１】
さらに、特開２００１−６０１６５では、情報木を使用した判定に、ディレクトリ間のリンク関係を考慮し、ページの親子関係を決定する方法を提案しているが、リンク関係のみの判定になるため内部構造のより正確な判定ができない。
【００１２】
本発明の目的は、Ｗｅｂサイトの内部構造を適確に推定できるようにし、この内部構造を基にして検索目的に適合したＷｅｂサイト単位の情報検索を容易にするＷｅｂサイトの内部構造推定装置、方法、プログラムおよび記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明は、前記課題を解決するため、検索したＷｅｂページ集合の各ページ、リンクについてメタ情報とリンク分類木を利用してリンクの各リンクタイプへの分類尤度を獲得しておき、さらにメタ情報とページタイプからページクラスを抽出したページ分類木を獲得して各ページのページタイプの分類尤度を抽出しておく。その後、Ｗｅｂページが属する全てのサーバについて、上記の分類尤度を基にしてＷｅｂサイトのトップページ候補集合を得てそれらの親ページを推定し、この推定でも親ページが未決のページ集合の中からディレクトリの最も浅い階層に存在しかつトップページ、インデックスページ、メニューページ尤度の和が最大のページをトップページ候補としてそれらの親ページを推定し、これら推定した親ページとこれにリンクするページ集合をＷｅｂサイト単位の内部構造として推定するようにしたもので、以下の装置、方法、プログラム、記録媒体を特徴とする。
【００１４】
（装置の発明）
（１）ＷＷＷ上のＷｅｂページ集合を収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する装置であって、
前記ページ集合の各ページおよびリンクについて、表層知識に基づくメタ情報を抽出し、かつリンク分類木を利用して各リンクのリンクタイプへの分類尤度を抽出しておくリンクタイプ分類尤度抽出手段と、
前記ページ集合の各ページのページ分類木を獲得し、このページ分類木を基に、前記ページ集合の各ページのページタイプへの分類尤度を抽出しておくページタイプ分類尤度抽出手段と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、以下の第１の手段〜第３の手段、
Ｗｅｂサイトのトップページ候補集合を獲得する第１の手段と、
前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の手段と、
前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の手段と、
を繰り返すことで親ページを推定することを特徴とする。
【００１５】
（２）前記リンクタイプ分類尤度抽出手段は、リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得ることを特徴とする。
【００１６】
（３）前記ページ分類尤度抽出手段は、ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出することを特徴とする。
【００１７】
（４）前記第１の手段は、前記ページ集合の各ページが所属する各サーバ毎に、以下の手段、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する手段Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する手段Ｂと、
・前記手段Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する手段Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする手段Ｄと、
を繰り返すことを特徴とする。
【００１８】
（５）前記第２の手段は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返すことを特徴とする。
【００１９】
（方法の発明）
（６）ＷＷＷ上のＷｅｂページ集合をデータベースに収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造としてコンピュータ・ソフトウェアによる情報処理によって推定する方法であって、
前記コンピュータ・ソフトウェアは、
前記ページ集合の各ページおよびリンクについて、表層知識に基づくメタ情報を抽出し、かつリンク分類木を利用して各リンクのリンクタイプへの分類尤度を抽出しておくリンクタイプ分類尤度抽出過程と、
前記ページ集合の各ページのページ分類木を獲得し、このページ分類木を基に、前記ページ集合の各ページのページタイプへの分類尤度を抽出しておくページタイプ分類尤度抽出過程と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、以下の第１の過程〜第３の過程、
Ｗｅｂサイトのトップページ候補集合を獲得する第１の過程と、
前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の過程と、
前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の過程と、
を繰り返すことで親ページを推定することを特徴とする。
【００２０】
（７）前記リンクタイプ分類尤度抽出過程は、リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得ることを特徴とする。
【００２１】
（８）前記ページ分類尤度抽出過程は、ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出することを特徴とする。
【００２２】
（９）前記第１の過程は、前記ページ集合の各ページが所属する各サーバ毎に、以下の過程、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する過程Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する過程Ｂと、
・前記過程Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する過程Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする過程Ｄと、
を繰り返すことを特徴とする。
【００２３】
（１０）前記第２の過程は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返すことを特徴とする。
【００２４】
（プログラムの発明）
（１１）ＷＷＷ上のＷｅｂページ集合を収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する方法をコンピュータで実行可能にしたプログラムであって、
リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得るリンクタイプ分類尤度抽出手順と、
ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出するページ分類尤度抽出手順と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、Ｗｅｂサイトのトップページ候補集合を獲得する第１の手順と、前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の手順と、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の手順とを繰り返すことで親ページを推定し、
前記第１の手順は、前記ページ集合の各ページが所属する各サーバ毎に、以下の手順、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する手順Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する手順Ｂと、
・前記手順Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する手順Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする手順Ｄとを繰り返し、
前記第２の手順は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返し、
前記第３の手順は、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定するを繰り返すことで親ページを推定する、
各手順をコンピュータに実行させることを特徴とする。
【００２５】
（記録媒体の発明）
（１２）ＷＷＷ上のＷｅｂページ集合を収集し、このＷｅｂページ集合から親ページとそれにリンクしたページをＷｅｂサイト単位の内部構造として推定する方法を、コンピュータで実行可能にしたプログラムを記録した記録媒体であって、
リンクタイプが付与されたＷｅｂページ集合を用意し、このページ集合の各ページからリンクのメタ情報を抽出し、リンクのメタ情報とリンクタイプの組みを学習データとしてリンククラスを学習したリンク分類木を獲得し、前記ページ集合の各リンクの全てのメタ情報とＵＲＬおよびページが存在するディレクトリ階層を抽出し、前記ページ集合の各リンクから抽出するリンク情報に対するリンクのメタ情報を得、リンク分類木を基にしてある１組のメタ情報から各リンクタイプへの分類尤度を得るリンクタイプ分類尤度抽出手順と、
ページ集合の各ページについて、ページタイプとそのメタ情報の組の集合を学習データとしてページクラスを学習したページ分類木を獲得し、このページ分類木を基に各ページのメタ情報を入力し、各ページタイプへの分類尤度を抽出するページ分類尤度抽出手順と、
前記ページ集合が属する全てのサーバについて、親ページ推定処理されていないサーバに属するページ集合を取り出し、Ｗｅｂサイトのトップページ候補集合を獲得する第１の手順と、前記各トップページ候補を起点とし、前記リンクタイプ分類尤度を基に各ページの親ページを決定する第２の手順と、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定する第３の手順とを繰り返すことで親ページを推定し、
前記第１の手順は、前記ページ集合の各ページが所属する各サーバ毎に、以下の手順、
・当該サーバに属し、ディレクトリ階層が０かつ当該階層に位置する指定ファイル名を持つページを当該サーバ名におけるトップページ候補と推定する手順Ａと、
・前記トップページタイプ分類尤度を基にトップページ候補が存在するディレクトリ階層を順次下げてトップページ候補が存在するディレクトリ階層を決定する手順Ｂと、
・前記手順Ｂで決定されたディレクトリ階層に所属し、下位階層にファイルが存在するファイル名をもち、前記ページタイプへの分類尤度の和が最大のページをトップページ候補として各ディレクトリ階層毎に決定する手順Ｃと、
・前記ディレクトリ階層の１段階下のディレクトリ階層に属し、前記ページタイプのトップページ分類尤度が閾値以上のページをトップページ候補とする手順Ｄとを繰り返し、
前記第２の手順は、トップページ候補のリンク先ページのうち収集データに含まれるリンク先ページリストを得、リンク先ページの親ページが決まっているか否かを判定し、親ページが決まっていないときは現在処理中のページを親ページとし、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする処理を繰り返し、
前記第３の手順は、前記親ページが未決のページ集合の中からディレクトリの最も浅い階層に属しかつ前記ページタイプ分類尤度のトップページ尤度とインデクスページ尤度およびメニューページ尤度の和が最大のページをトップページ候補として取り出し、このトップページ候補から前記リンクタイプ分類尤度を基に親ページを決定するを繰り返すことで親ページを推定する、
各手順をコンピュータに実行させるプログラムを記録したことを特徴とする。
【００２６】
【発明の実施の形態】
図１は、本発明の実施形態を示すＷｅｂサイト単位検索のためのＷｅｂページの内部構造推定フローである。内部構造推定システムとしては、検索したページデータやリンクデータおよび推定した内部構造データを保存・管理できるデータベースと、図１の推定フローの実行に必要なソフトウェアを搭載するコンピュータとによって構築する。
【００２７】
図１において、まず、従来の検索エンジンで収集したすべてのＷｅｂページ集合に対して、各ページおよびそのリンクについて、表層知識に基づくメタ情報を抽出し、また、リンク分類木を利用して各リンクのリンクタイプへの分類尤度を求めてデータベースに格納する（Ｓ１）。ここでのリンク分類木とリンクタイプと分類尤度について、図２を参照して以下に説明する。
【００２８】
リンク分類木は、Ｗｅｂページの各ページに対してリンクタイプの分類尤度を与えるもので、その獲得は、図２の（ａ）に示すように、まず、人手でリンクタイプが付与されたＷｅｂページ集合（学習ページ）を用意する（Ｓ１Ａ）。このときのリンクタイプとしては、例えば、幹リンクサイトの木構造の枝となるリンクとその他のリンク（上記の分類に該当しないリンク）とする。
【００２９】
次に、学習データの各ページからのリンクのメタ情報を抽出する（Ｓ１Ｂ）。なお、リンクのメタ情報には、例えば、次のような項目とする。リンク元と先のディレクトリ距離（「/」をルートとするディレクトリツリーにおけるディレクトリＡとディレクトリＢの距離を意味し、ツリーにおけるノードＡからノードＢに最短距離で到達する際に辿るエッジの本数）。リンク元ページの存在するディレクトリに特定の語を含むか否か。アンカー文字列に特定の語を含むか否か。リンク元ページのファイル名。リンク先ページのファイル名。リンク元ページのファイル名とディレクトリの一致／不一致の関係。リンク先ページのファイル名とディレクトリの一致／不一致の関係。リンクタグ（Ａタグ）のターゲット属性があるか否か。
【００３０】
最後に、機械学習アルゴリズムに対して、リンクのメタ情報とリンクタイプの組みを学習データとし、リンククラスを学習したリンク分類木として獲得する（Ｓ１Ｃ）。
【００３１】
なお、ページタイプとしては、例えば、トップページ、インデクスページ（ディレクトリのインデクスを集めたページ）、メニューページ（インデクスタイプ以外でコンテンツの一覧を示すページ）、リンク集ページ（他のサイトへのリンクページ）、その他ページ（上記の分類に該当しないページ）とする。
【００３２】
また、機械学習アルゴリズムとしては、例えば、Ｃ４.5：Programs for Machine Learning,J.Ross Quinlan著,Morgan Kaufmann Publishers ISBN 1-55860-238-0を利用する。
【００３３】
次に、リンクタイプの分類尤度獲得は、図２の（ｂ）にループＳＬ１とＳＬ２として示すように、ループＳＬ１では全てのページに対して、ページのメタ情報を抽出し、そのＵＲＬ、ページの存在するディレクトリ階層と共にページデータベースに格納する。（Ｓ１Ｄ）。
【００３４】
なお、ページのメタ情報には、例えば、次のような項目がある。タイトル文字列に特定の語（ホームページなど）を含むか否か。カウンタＣＧＩ（コモン・ゲートウエイ・インターフェース）が存在するか否か。フレームページであるか否か。内容に特定の語（このページはなど）を含むか否か。ＵＲＬ文字列中に特定の文字列（ホームページなど）を含むか否か。アンカー文字列に「戻る」等の文字列を含むリンク中、親ディレクトリへのリンクがあるか否か。アンカー文字列に「戻る」等の文字列を含むリンク数。外部サーバ上のページへのリンク数。同一ディレクトリ内のページへのリンク数。下位ディレクトリ内ページへのリンク数。兄弟ディレクトリ内ページへのリンク数。
【００３５】
ループＳＬ２では、ループＳＬ１が処理中のページに対して、当該ページからのリンク情報を全てを処理対象とし、当該ページからリンク情報を抽出し、そのリンクに対するリンクのメタ情報を得（Ｓ１Ｅ）、リンク分類木を基にして、ある１組のメタ情報から各リンクタイプへの分類尤度を得（Ｓ１Ｆ）、得られた分類尤度をリンクデータベースに格納する（Ｓ１Ｇ）。
【００３６】
以上の処理により、図９中に示すように、リンクデータベース中には各ページ別にリンク分類尤度が獲得される。このとき得られるリンク分類尤度は、当該ページが１つのリンクタイプに分類される確率であり、あるページにおける各リンクタイプの分類尤度の総和は１となる。例えば、あるページの幹リンクへの分類尤度が０.７５、その他のリンクへの分類尤度が０.２５となる。
【００３７】
図１に戻って、予め獲得するページ分類木を利用して、各ページのページタイプへの分類尤度を得、ページデータベースに格納する（Ｓ２）。ここでのページ分類木とページタイプと分類尤度について、図３を参照して以下に説明する。
【００３８】
ページ分類木は、図９中に構造例を示すように、葉以外の各ノードには分類のための質問（リンク数がＮ本以上など）、葉ノードには決定されたページのタイプを持ち、リンクは例えばノードの質問に対するｙｅｓ／ｎｏの分岐を意味するもので、その獲得は、図３の（ａ）に示すように、まず、人手でページタイプが付与されたＷｅｂページ集合（学習ページ）を用意する（Ｓ３Ａ）。このときのページタイプとしては、例えば、トップページ、インデクスページ（ディレクトリのインデクスを集めたページ）、メニューページ（インデクスタイプ以外でコンテンツの一覧を示すページ）、リンク集ページ（他のサイトへのリンクページ）、その他ページ（上記の分類に該当しないページ）とする。
【００３９】
次に、ページの表層特徴に基づくメタ情報を抽出し（Ｓ３Ｂ）、機械学習アルゴリズムに対して、ページのメタ情報とページタイプの組みを学習データとし、ページクラスを学習したページ分類木として獲得する（Ｓ３Ｃ）。なお、機械学習アルゴリズムとしては、例えば、前記のＣ４.5を利用する。
【００４０】
次に、ページタイプの分類尤度獲得は、図３の（ｂ）にループＳＬ３として示すように、全てのページに対して、ページの表層特徴に基づくメタ情報を抽出し（Ｓ３Ｄ）、ページ分類木にページのメタ情報を入力し、各ページタイプへの分類尤度を得（Ｓ３Ｅ）、得られた分類尤度をページデータベースに格納する（Ｓ３Ｆ）。
【００４１】
以上の処理により、図９中に示すように、ページデータベース中には各ページ別にページタイプの分類尤度が格納される。このとき得られる分類尤度は、当該ページが１つのページタイプに分類される確率であり、あるページにおける各ページタイプの分類尤度の総和は１となる。例えば、あるページのトップページへの分類尤度が０.７５、メニューページへの分類尤度が０.２、その他ページへの分類尤度が０.０５となる。
【００４２】
再び、図１に戻って、ループＬ１〜Ｌ３では、前記までの処理Ｓ１，Ｓ２を準備段階とし、Ｗｅｂサイトの内部構造推定を実行する。
【００４３】
まず、ループＬ１では、全てのサーバを処理対象とし、親ページ推定を行っていないサーバに属するページ集合を取り出す（Ｓ３）。この処理には、前処理として、従来の検索エンジンで収集したすべてのＷｅｂページ集合に対して、ページ単位でそれが属するＷｅｂサーバ名を検索し、図９中に示すように、これらをサーバ名データベースに格納しておく。
【００４４】
次に、ループＬ２では、処理Ｓ３で取り出した親ページ推定を行っていないサーバに属する全てのページを対象とし、それらが属するサーバの親ページ推定処理が終了するまで、Ｗｅｂサイトのトップページ発見手法を用いてサイトのトップページ候補集合を抽出する（Ｓ４）。
【００４５】
この処理フローを図４に示す。図４において、まず、処理中のサーバに属し、ディレクトリ階層が０、かつファイル名が「/」または「index.html」のページがページデータベースに存在すれば、そのページは最上位階層に位置するとしてトップページ候補とする（Ｓ４Ａ）。例えば、サーバ名がＸＸになるページのうち、サーバ名ＸＸのディレクトリ階層が図９中の階層「０」で、ページのファイル名が「/」や「index.html」であれば、そのページを当該サーバ名におけるトップページ候補と推定する。
【００４６】
次に、当該サーバ名ＸＸでトップページ候補が存在するディレクトリ階層を決定する（Ｓ４Ｂ）。このディレクトリ階層の決定処理フローを図５に示す。
【００４７】
図５において、ページデータベースに格納され、サーバ名ＸＸをもつ各ページについて、第１ディレクトリ階層（階層１）に属するページを抽出し、これらページのうち、ファイル名が「index.html，/,」、ディレクトリ名と同名のファイル名を持つページ群を参照し、このページ群がもつ分類尤度をデータとする演算で階層１のトップページクラスの分類尤度の平均値を得る（Ｓ４Ｂ１）。続いて、処理Ｓ４Ｂ１で求めたページ群のトップページクラスの分類尤度の平均値が一定値（例えば０.６）以上あるか否かを判定し（Ｓ４Ｂ２）、平均値が一定値以上あればトップページが存在するディレクトリ階層を「階層１」と決定する（Ｓ４Ｂ３）。次に、平均値が一定値に満たない場合、階層１にトップページが存在しないとして、サーバ名ＸＸをもつ各ページについて、第２ディレクトリ階層（階層２）に属するページを抽出し、これらページのうち、ファイル名が「index.html，/,」、ディレクトリ名と同名のファイル名を持つページ群を参照し、このページ群がもつ分類尤度をデータとする演算で階層２のトップページクラスの分類尤度の平均値を得る（Ｓ４Ｂ４）。続いて、処理Ｓ４Ｂ４で求めたページ群のトップページクラスの分類尤度の平均値が一定値（例えば０.５５）以上あるか否かを判定し（Ｓ４Ｂ５）、平均値が一定値以上あればトップページが存在するディレクトリ階層を「階層２」と決定する（Ｓ４Ｂ６）。また、平均値が一定値に満たない場合、サーバ名ＸＸのトップページディレクトリ階層を「０」にする（Ｓ４Ｂ７）。
【００４８】
図４に戻って、処理Ｓ４Ｂの実行で、トップページディレクトリ階層を決定した後、このトップページディレクトリ階層に所属し、ファイル名が「index.html，/,」、トップページ分類尤度とインデックスページ分類尤度およびメニューページ分類尤度の和を最大優先度として、各ディレクトリ毎にトップページを決定する（Ｓ４Ｃ）。
【００４９】
この処理Ｓ４Ｃの詳細を図６で説明する。初めに、トップページディレクトリ階層に属する全ファイルのうち、ファイル名が「/,index.html」である、もしくはトップページ分類尤度とインデックスページ分類尤度およびメニューページ分類尤度の和が一定値以上のページ群のＵＲＬをページデータベースからソートして取り出す（Ｓ４Ｃ１）。次に、ループＳＬ４では、全てのディレクトリに対して処理Ｓ４Ｃ２〜Ｓ４Ｃ７を繰り返し実行し、各ディレクトリ毎のトップページを決定する。これら処理を以下に説明する。
【００５０】
処理Ｓ４Ｃ１でソートされたＵＲＬ列の最初のＵＲＬを取り出し（Ｓ４Ｃ２）、そのＵＲＬからトップページディレクトリ階層に当たるディレクトリ名を取り出す（Ｓ４Ｃ３）。例えば、トップページディレクトリ階層が「１」、ＵＲＬが「http://a.com/dir1/index.html」の場合、文字列「http://a.com/dir1/」が取り出すディレクトリ名になる。次に、トップページディレクトリ階層のディレクトリ名が処理Ｓ４Ｃ３で取り出したＵＲＬのそれと前方一致するＵＲＬを、処理Ｓ４Ｃ１でソートされたＵＲＬ列から取り出す（Ｓ４Ｃ４）。例えば、ソートされたＵＲＬ列のうち、文字列「http://a.com/dir1/」に前方一致するものを取り出す。次に、トップページディレクトリ階層のディレクトリに存在するページ集合の中で、ファイル名が「/」または「index.htm(1)」であるページが存在するか否かを判定し（Ｓ４Ｃ５）、存在する場合は同じディレクトリに属するページの中で最高位のものであるとして、そのページをトップページとする（Ｓ４Ｃ６）。また、存在しない場合には、ディレクトリ中の全ページの内、トップページ分類尤度とインデックスページ分類尤度およびメニューページ分類尤度の和が最大のページをトップページとする（Ｓ４Ｃ７）。ただし、分類尤度の和が最大のページが複数存在する場合は、それらページのＵＲＬ文字列順にソートして最初のページをトップページとする。
【００５１】
再び図４に戻って、処理Ｓ４Ｃでは当該ディレクトリ階層の１階層下のディレクトリに属し、トップページ分類尤度が閾値以上のページをトップページとする（Ｓ４Ｄ）。この処理Ｓ４Ｄの詳細は、図７に示すように、トップディレクトリ階層の１階層下のディレクトリに属し、トップページクラス分類尤度が閾値以上のページをデータベースから取り出し（Ｓ４Ｄ１）、取り出したページをトップページとする（Ｓ４Ｄ２）。
【００５２】
図１に戻って、処理Ｓ４で獲得された全てのトップページ候補に対して、ループＬ３ではその親ページを推定するため、親ページの推定がなされていないページ集合を取り出し（Ｓ５）、このページ集合の親ページを決定する（Ｓ６）。
【００５３】
この親ページ決定処理フローを図８に示す。同図において、取り出したトップページをキューに入れ（Ｓ６Ａ）、このキューが空になるまで（Ｓ６Ｂ）、キューからページを１つ取り出し、このページのリンク先ページのうち収集データに含まれるリンク先ページリストを得る（Ｓ６Ｃ）。このリンク先ページが属するサーバの親ページが決まっているか否かを判定し（Ｓ６Ｄ）、親ページが決まっていないときは現在処理中のページを親ページとする（Ｓ６Ｅ）。また、リンク先ページが属するサーバの親ページが決まっている場合、現在の親ページからのリンクとリンク元ページからのリンクのうち、幹リンク尤度が大きい方のリンク元を親ページとする（Ｓ６Ｆ）。これらＳ６Ｅ，Ｓ６Ｆで親ページを決定した後、リンク先ページをキューに入れ（Ｓ６Ｇ）、次のキュー内のページについて同様に繰り返すことで各トップページ候補の親ページを推定する。
【００５４】
再び図１に戻って、トップページ候補集合として検出されないで、その親ページの推定が未決のページ集合の中から、ディレクトリの最も浅い階層に存在し、かつトップページ、インデクスページ、メニューページの分類尤度の和が最大のページをトップページ候補として取り出し（Ｓ７）、これらトップページ候補の全てに対して処理Ｓ６と同様の処理でそれぞれ親ページを決定する（Ｓ８）。
【００５５】
なお、本発明は、図１等に示した方法の一部又は全部をコンピュータで実行できるようにしたプログラムを配布することが可能である。また、このプログラムをコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。
【００５６】
【発明の効果】
以上のとおり、本発明によれば、検索したＷｅｂページ集合の各ページ、リンクについてメタ情報とリンク分類木を利用してリンクの各リンクタイプへの分類尤度を獲得しておき、さらにメタ情報とページタイプからページクラスを抽出したページ分類木を獲得して各ページのページタイプの分類尤度を抽出しておき、Ｗｅｂページが属する全てのサーバについて、上記の分類尤度を基にしてＷｅｂサイトのトップページ候補集合を得てそれらの親ページを推定し、この推定でも親ページが未決のページ集合の中からディレクトリの最も浅い階層に存在しかつトップページ、インデックスページ、メニューページ尤度の和が最大のページをトップページ候補としてそれらの親ページを推定し、これら推定した親ページとこれにリンクするページ集合をＷｅｂサイト単位の内部構造として推定するようにしたため、Ｗｅｂサイトの内部構造を適確に推定できるようにし、この内部構造を基にして検索目的に適合したＷｅｂサイト単位の情報検索ができる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す内部構造推定フロー。
【図２】実施形態におけるリンク分類木の獲得と分類尤度獲得のフロー。
【図３】実施形態におけるページ分類木の獲得と分類尤度獲得のフロー。
【図４】実施形態におけるトップページ候補獲得のフロー。
【図５】実施形態におけるトップページのディレクトリ階層決定フロー。
【図６】実施形態におけるディレクトリ毎のトップページ決定フロー。
【図７】実施形態におけるディレクトリ毎のトップページ決定フロー。
【図８】実施形態における親ページ決定フロー。
【図９】実施形態におけるデータベースのデータ構造とページ分類木とディレクトリ階層の例。
【図１】
0003774145.tif 000002
【図２】
0003774145.tif 000003
【図３】
0003774145.tif 000004
【図４】
0003774145.tif 000005
【図５】
0003774145.tif 000006
【図６】
0003774145.tif 000007
【図７】
0003774145.tif 000008
【図８】
0003774145.tif 000009
【図９】
0003774145.tif 000010