(57)【要約】【課題】Ｗｅｂサイト間やＷｅｂページ間の関連度の精度低下を防止することを課題とする。【解決手段】記憶部１１が、スレッド型の電子掲示板の掲示板ＵＲＬと該電子掲示板に立てられたスレッドＵＲＬとを対応付けて関連ＵＲＬリストに登録しておき、調査対象ページに記載されたリンク先が上記スレッド型の電子掲示板である場合（リンク先ＵＲＬが掲示板ＵＲＬに該当する場合）に、登録部１４が、その電子掲示板に立てられたスレッドからリンク先が属するスレッドを判別し、判別されたスレッドＵＲＬに関連付けて調査対象ページＵＲＬを関連ページとして関連ＵＲＬリストに登録し、計算部１５が、関連度を求める２つのＷｅｂページを関連ＵＲＬリストの関連ページからそれぞれ検索し、検索された各Ｗｅｂページにそれぞれ対応する掲示板ＵＲＬの数とスレッドＵＲＬの数とを関連ＵＲＬリストから求めて関連度を計算する。【選択図】図１
2011059803.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより、
スレッド型の電子掲示板を提供している掲示板サイト／ページのアドレスと、前記電子掲示板に立てられたスレッドを特定するアドレスと、前記電子掲示板と関連性のある関連サイト／ページとを対応付けてリストに記憶しておく第１ステップと、
関連度を求める２つのＷｅｂサイト／ページを前記関連サイト／ページからそれぞれ検索し、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記掲示板サイト／ページからなる２つの掲示板リストと、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記スレッドからなる２つのスレッドリストとを生成する第２ステップと、
前記２つの掲示板リストを突合し、両方に属する掲示板サイト／ページの数を求め、前記２つのスレッドリストを突合し、両方に属するスレッドの数を求める第３ステップと、
前記掲示板サイト／ページの数と、ゼロ以上の任意の重みを付与した前記スレッドの数とを合成して関連度を計算する第４ステップと、
を有することを特徴とするＷｅｂサイト／ページ間の関連度計算方法。
【請求項２】
前記電子掲示板との関連性を調査する調査対象サイト／ページからリンク先アドレスを抽出し、抽出された当該リンク先アドレスを前記掲示板サイト／ページのアドレスに照合して、抽出されたリンク先がスレッド型の電子掲示板であるか否かを判別する第５ステップと、
前記リンク先がスレッド型の電子掲示板である場合に、前記リンク先アドレスを前記スレッドのアドレスに照合して、抽出されたリンク先が属するスレッドを判別し、判別されたスレッドのアドレスに関連付けて前記調査対象サイト／ページのアドレスを前記関連サイト／ページとして前記リストに登録する第６ステップと、
を更に有することを特徴とする請求項１に記載のＷｅｂサイト／ページ間の関連度計算方法。
【請求項３】
前記第４ステップは、
前記スレッドの数に付与する重みをゼロとすることにより、前記電子掲示板を非スレッド型とみなして前記関連度を計算することを特徴とする請求項１又は２に記載のＷｅｂサイト／ページ間の関連度計算方法。
【請求項４】
前記第６ステップは、
前記リンク先がスレッド型の電子掲示板でない場合に、前記リンク先アドレスを前記関連性の調査対象とすることを特徴とする請求項２又は３に記載のＷｅｂサイト／ページ間の関連度計算方法。
【請求項５】
スレッド型の電子掲示板を提供している掲示板サイト／ページのアドレスと、前記電子掲示板に立てられたスレッドを特定するアドレスと、前記電子掲示板と関連性のある関連サイト／ページとを対応付けてリストに記憶しておく記憶手段と、
関連度を求める２つのＷｅｂサイト／ページを前記関連サイト／ページからそれぞれ検索し、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記掲示板サイト／ページからなる２つの掲示板リストと、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記スレッドからなる２つのスレッドリストとを生成する生成手段と、
前記２つの掲示板リストを突合し、両方に属する掲示板サイト／ページの数を求め、前記２つのスレッドリストを突合し、両方に属するスレッドの数を求める突合手段と、
前記掲示板サイト／ページの数と、ゼロ以上の任意の重みを付与した前記スレッドの数とを合成して関連度を計算する計算手段と、
を有することを特徴とするＷｅｂサイト／ページ間の関連度計算装置。
【請求項６】
前記電子掲示板との関連性を調査する調査対象サイト／ページからリンク先アドレスを抽出し、抽出された当該リンク先アドレスを前記掲示板サイト／ページのアドレスに照合して、抽出されたリンク先がスレッド型の電子掲示板であるか否かを判別する判別手段と、
前記リンク先がスレッド型の電子掲示板である場合に、前記リンク先アドレスを前記スレッドのアドレスに照合して、抽出されたリンク先が属するスレッドを判別し、判別されたスレッドのアドレスに関連付けて前記調査対象サイト／ページのアドレスを前記関連サイト／ページとして前記リストに登録する登録手段と、
を更に有することを特徴とする請求項５に記載のＷｅｂサイト／ページ間の関連度計算装置。
【請求項７】
前記計算手段は、
前記スレッドの数に付与する重みをゼロとすることにより、前記電子掲示板を非スレッド型とみなして前記関連度を計算することを特徴とする請求項５又は６に記載のＷｅｂサイト／ページ間の関連度計算装置。
【請求項８】
前記登録手段は、
前記リンク先がスレッド型の電子掲示板でない場合に、前記リンク先アドレスを前記関連性の調査対象とすることを特徴とする請求項６又は７に記載のＷｅｂサイト／ページ間の関連度計算装置。
【請求項９】
請求項１乃至４のいずれか１項に記載のＷｅｂサイト／ページ間の関連度計算方法をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Ｗｅｂサイト間やＷｅｂページ間の関連度を計算する技術に関する。
【背景技術】
【０００２】
Ｗｅｂサイト間やＷｅｂページ間の関連度や類似度を求める方法として、同一アクセスランキングに掲載された各Ｗｅｂサイトには該アクセスランキングの運営者の趣味嗜好等と何らかの関係性があることを利用し、掲載された個々のＷｅｂサイト間には一定の関連性が存在し、各Ｗｅｂサイトに対するアクセス数に比例するであろう経験則に基づいて関連度を計算する方法が提案されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】日野滋樹、「アクセスランキング掲載サイト情報をまとめたユーザーズランキング生成」、社団法人  電子情報通信学会、第１４回Ｗｅｂインテリジェンスとインタラクション研究会、2009年3月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術から計算される関連度は、対象であるアクセスランキングの運営者が掲載サイトを特定の観点から選別していることを前提とするため、自動収集型のアクセスランキングや運営者が掲載サイトを選別する意図を持たないアクセスランキングが増加した場合には、関連度計算の信頼性が低下するという問題があった。
【０００５】
また、汎用的なロボット型検索エンジンにおいては、全てのＷｅｂサイトを画一的に取り扱うため、自動生成されたリンクや第三者が無責任に書き込んだリンクが多く含まれるサイト（例えば、匿名性の高い電子掲示板等のサイト）と、運営者がしかるべき目的を持って書き込んだリンクのみを含むサイトとがアルゴリズム上で同等に扱われて検索結果の品質が低下し、汎用検索システムに付随する関連ページ検索機能の有用性が低下して、結果として上記関連度計算の信頼性が損なわれるという問題がある。
【０００６】
本発明は、上記課題を鑑みてなされたものであり、Ｗｅｂサイト間やＷｅｂページ間の関連度の精度低下を防止することを課題とする。
【課題を解決するための手段】
【０００７】
本発明は、コンピュータにより、スレッド型の電子掲示板を提供している掲示板サイト／ページのアドレスと、前記電子掲示板に立てられたスレッドを特定するアドレスと、前記電子掲示板と関連性のある関連サイト／ページとを対応付けてリストに記憶しておく第１ステップと、関連度を求める２つのＷｅｂサイト／ページを前記関連サイト／ページからそれぞれ検索し、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記掲示板サイト／ページからなる２つの掲示板リストと、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記スレッドからなる２つのスレッドリストとを生成する第２ステップと、前記２つの掲示板リストを突合し、両方に属する掲示板サイト／ページの数を求め、前記２つのスレッドリストを突合し、両方に属するスレッドの数を求める第３ステップと、前記掲示板サイト／ページの数と、ゼロ以上の任意の重みを付与した前記スレッドの数とを合成して関連度を計算する第４ステップと、を有することを特徴とする。
【０００８】
本発明は、前記電子掲示板との関連性を調査する調査対象サイト／ページからリンク先アドレスを抽出し、抽出された当該リンク先アドレスを前記掲示板サイト／ページのアドレスに照合して、抽出されたリンク先がスレッド型の電子掲示板であるか否かを判別する第５ステップと、前記リンク先がスレッド型の電子掲示板である場合に、前記リンク先アドレスを前記スレッドのアドレスに照合して、抽出されたリンク先が属するスレッドを判別し、判別されたスレッドのアドレスに関連付けて前記調査対象サイト／ページのアドレスを前記関連サイト／ページとして前記リストに登録する第６ステップと、を更に有することを特徴とする。
【０００９】
本発明は、前記第４ステップが、前記スレッドの数に付与する重みをゼロとすることにより、前記電子掲示板を非スレッド型とみなして前記関連度を計算することを特徴とする。
【００１０】
本発明は、前記第６ステップが、前記リンク先がスレッド型の電子掲示板でない場合に、前記リンク先アドレスを前記関連性の調査対象とすることを特徴とする。
【００１１】
本発明は、スレッド型の電子掲示板を提供している掲示板サイト／ページのアドレスと、前記電子掲示板に立てられたスレッドを特定するアドレスと、前記電子掲示板と関連性のある関連サイト／ページとを対応付けてリストに記憶しておく記憶手段と、関連度を求める２つのＷｅｂサイト／ページを前記関連サイト／ページからそれぞれ検索し、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記掲示板サイト／ページからなる２つの掲示板リストと、検索された各Ｗｅｂサイト／ページにそれぞれ対応する前記スレッドからなる２つのスレッドリストとを生成する生成手段と、前記２つの掲示板リストを突合し、両方に属する掲示板サイト／ページの数を求め、前記２つのスレッドリストを突合し、両方に属するスレッドの数を求める突合手段と、前記掲示板サイト／ページの数と、ゼロ以上の任意の重みを付与した前記スレッドの数とを合成して関連度を計算する計算手段と、を有することを特徴とする。
【００１２】
本発明は、前記電子掲示板との関連性を調査する調査対象サイト／ページからリンク先アドレスを抽出し、抽出された当該リンク先アドレスを前記掲示板サイト／ページのアドレスに照合して、抽出されたリンク先がスレッド型の電子掲示板であるか否かを判別する判別手段と、前記リンク先がスレッド型の電子掲示板である場合に、前記リンク先アドレスを前記スレッドのアドレスに照合して、抽出されたリンク先が属するスレッドを判別し、判別されたスレッドのアドレスに関連付けて前記調査対象サイト／ページのアドレスを前記関連サイト／ページとして前記リストに登録する登録手段と、を更に有することを特徴とする。
【００１３】
本発明は、前記計算手段が、前記スレッドの数に付与する重みをゼロとすることにより、前記電子掲示板を非スレッド型とみなして前記関連度を計算することを特徴とする。
【００１４】
本発明は、前記登録手段が、前記リンク先がスレッド型の電子掲示板でない場合に、前記リンク先アドレスを前記関連性の調査対象とすることを特徴とする。
【００１５】
本発明は、請求項１乃至４のいずれか１項に記載のＷｅｂサイト／ページ間の関連度計算方法をコンピュータに実現させる。
【発明の効果】
【００１６】
本発明によれば、Ｗｅｂサイト間やＷｅｂページ間の関連度の精度低下を防止することができる。
【図面の簡単な説明】
【００１７】
【図１】実施例１に係る関連度計算装置の機能ブロック構成を示す図である。
【図２】実施例１に係る関連度計算装置の収集処理フローを示す図である。
【図３】関連ＵＲＬリストのデータ構造例を示す図である。
【図４】調査候補ＵＲＬリストのデータ構造例を示す図である。
【図５】関連ＵＲＬリストのデータ構造例を示す図である。
【図６】実施例１に係る関連度計算装置の関連度計算処理フローを示す図である。
【図７】実施例２に係る関連度計算装置の機能ブロック構成を示す図である。
【図８】掲示板リストとスレッドリストのデータ構造例を示す図である。
【図９】関連ページリストのデータ構造例を示す図である。
【図１０】調査候補ＵＲＬリストのデータ構造例を示す図である。
【図１１】実施例２に係る関連度計算装置の収集処理フローを示す図である。
【図１２】実施例２に係る関連度計算装置の関連度計算処理フローを示す図である。
【図１３】３つＷｅｂページのリンクと２つの電子掲示板のスレッドとの関係を示す図である。
【図１４】図１３のＷｅｂページ間のジャンル類似度をグラフ化した図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施する２つの実施例（実施例１および実施例２）について図面を用いて説明する。なお、両実施例の関連度計算装置で計算される関連度はＷｅｂページ間の関連度であるが、後述するようにＷｅｂページ間をＷｅｂサイト間に置き換えて関連度を計算することも可能である。
【実施例１】
【００１９】
最初に、実施例１に係るＷｅｂページ間の関連度計算装置について説明する。図１は、実施例１に係る関連度計算装置の機能ブロック構成を示す図である。実施例１の関連度計算装置１は、記憶部１１と、収集部１２と、判別部１３と、登録部１４と、計算部１５とを備えている。以下、これら各機能部が備える機能について個別具体的に説明すると共に全体の処理フローについて説明する。なお、本実施例の作用効果については実施例２と同様であるため、実施例２の構成、機能、処理フローについて説明した後に説明する。
【００２０】
記憶部１１は、スレッド型の電子掲示板を提供している様々な掲示板ページの掲示板ＵＲＬと、各電子掲示板に立てられた複数のスレッドを個々に特定する複数のスレッドＵＲＬとを対応付けて関連ＵＲＬリストに記憶しておく機能を備えている。また、関連ＵＲＬリストに登録されている各電子掲示板との関連性の有無を調査する調査対象ページＵＲＬを記載した調査候補ＵＲＬリストを記憶しておく機能も備えている。
【００２１】
なお、掲示板ＵＲＬおよびスレッドＵＲＬは、インターネットに接続された様々なＷｅｂサーバを検索することにより自動取得された後に関連ＵＲＬリストに登録され、所定のタイミングで適宜自動更新されているものとする。また、スレッド型の電子掲示板を運営している有力サイトは限られているため、人手により各ＵＲＬを調査して関連ＵＲＬリストに登録しておくことも可能である。
【００２２】
収集部１２は、インターネットを介して調査候補ＵＲＬリストに記載された調査対象ページＵＲＬに接続し、その調査対象ページＵＲＬへのアクセスにより表示される調査対象ページを収集する機能を備えている。
【００２３】
判別部１３は、調査対象ページに含まれているページデータからリンク先ＵＲＬを抽出し、抽出されたリンク先ＵＲＬを関連ＵＲＬリストに登録されている掲示板ＵＲＬに照合して、抽出されたリンク先がスレッド型の電子掲示板であるか否かを判別する機能を備えている。
【００２４】
登録部１４は、抽出されたリンク先がスレッド型の電子掲示板である場合に、リンク先ＵＲＬをスレッドＵＲＬに照合して、抽出されたリンク先が属するスレッドを判別し、判別されたスレッドＵＲＬに関連付けて調査対象ページＵＲＬを関連ページとして関連ＵＲＬリストに登録する機能を備えている。一方、抽出されたリンク先がスレッド型の電子掲示板でない場合には、リンク先ＵＲＬを調査候補ＵＲＬリストに追加して、各電子掲示板との関連性有無の調査対象とする機能も備えている。
【００２５】
計算部１５は、関連度を求める２つのＷｅｂページを関連ＵＲＬリストの関連ページからそれぞれ検索し、検索された各Ｗｅｂページにそれぞれ対応する掲示板ページの数とスレッドの数とを関連ＵＲＬリストから求めて、それら２つのＷｅｂページ間の関連度を計算する機能を備えている。
【００２６】
次に、実施例１に係る関連度計算装置１の処理フローについて説明する。まず、関連ページの収集処理フローについて説明する。図２は、実施例１に係る関連度計算装置の収集処理フローを示す図である。なお、関連ＵＲＬリストには、図３に示すような掲示板ＵＲＬおよびスレッドＵＲＬが予め登録されているものとし、調査候補ＵＲＬリストには、図４に示すような調査対象ページＵＲＬが含まれているものとする。
【００２７】
最初に、収集部１２が、調査候補ＵＲＬリストを記憶部１１から読み出して、その調査候補ＵＲＬリストに記載された最初の調査対象ページＵＲＬにインターネットを介して接続し、その調査対象ページＵＲＬへのアクセスにより表示される調査対象ページをダウンロードする（Ｓａ１）。
【００２８】
次に、判別部１３が、収集部１２によってダウンロードされた調査対象ページに含まれているページデータを検査して、ＨＴＭＬタグやスクリプトからリンク先ＵＲＬ（ハイパーリンク）を分析して抽出し、抽出された複数のリンク先ＵＲＬのうち最初のリンク先ＵＲＬを関連ＵＲＬリストの各掲示板ＵＲＬに逐次照合して、スレッド型の電子掲示板であるか否かを判別する（Ｓａ２）。
【００２９】
その後、登録部１４が、判別部１３による照合判定の結果、そのリンク先ＵＲＬがいずれかの掲示板ＵＲＬに該当する場合には、リンク先ＵＲＬを該当した掲示板ＵＲＬに対応する各スレッドＵＲＬに逐次照合してリンク先が属するスレッドを判別し、その照合判定の結果該当するスレッドＵＲＬに関連付けて、現在調査している調査対象ページＵＲＬを関連ページとして関連ＵＲＬリストに登録する（Ｓａ３）。
【００３０】
一方、判別部１３による照合判定の結果、そのリンク先ＵＲＬがいずれの掲示板ＵＲＬにも該当しない場合、登録部１４は、そのリンク先ＵＲＬを調査候補ＵＲＬリストに追加する（Ｓａ４）。
【００３１】
その後、現在のリンク先ＵＲＬが現在の調査対象ページのページデータに含まれるリンク先ＵＲＬのうち最後のリンク先ＵＲＬであるか否かを判定する（Ｓａ５）。
【００３２】
現在のリンク先ＵＲＬが最後のリンク先ＵＲＬでない場合には、Ｓａ２に戻って、現在のリンク先ＵＲＬの次に抽出されているリンク先ＵＲＬを用いてＳａ２〜Ｓａ５の処理を繰り返すことにより、現在の調査対象ページに記載されている全てのリンク先ＵＲＬを分析する。一方、現在のリンク先ＵＲＬが最後のリンク先ＵＲＬである場合には、Ｓａ１に戻って、現在の調査対象ページにおける調査対象ページＵＲＬの次に記載された調査対象ページＵＲＬを用いてＳａ１〜Ｓａ５の処理を繰り返す（Ｓａ６）。
【００３３】
なお、上記収集処理フローでは調査対象ページを逐次ダウンロードしてＳａ２〜Ｓａ５の各処理を行う方法について説明したが、全ての調査対象ページ又は所定数の調査対象ページを一括してダウンロードし、一時的に記憶しておき、その後でＳａ２以降の処理をすることも可能である。
【００３４】
以上の収集処理フローにより、調査対象ページにスレッド型の電子掲示板が含まれている場合には、図５に示すように、その調査対象ページが該電子掲示板に立てられたスレッドのうち最も関連性のあるスレッドに関連付けて関連ＵＲＬリストに登録されることになる。
【００３５】
続いて、２つのＷｅｂページの関連度（関連強度、ジャンル類似性等と称してもよい）を計算する関連度計算処理フローについて説明する。図６は、実施例１に係る関連度計算装置の関連度計算処理フローを示す図である。
【００３６】
最初に、計算部１５が、関連ＵＲＬリストを記憶部１１から読み出して、関連度を求める２つのＷｅｂページを関連ＵＲＬリストの関連ページからそれぞれ検索し、その２つのＷｅｂページに共通して対応する掲示板ＵＲＬの数とスレッドＵＲＬの数とを計算する（Ｓｂ１）。
【００３７】
次に、計算部１５は、計算したスレッドＵＲＬの数（Ｃ１）に対してゼロ以上の任意の重み（ｎ）を付与し、重み付与後のスレッドＵＲＬの数（ｎ×Ｃ１）と掲示板ＵＲＬの数（Ｃ２）とを加算した値（ｎ×Ｃ１＋Ｃ２）を２つのＷｅｂページ間の関連度とする（Ｓｂ２）。
【００３８】
以上の関連度計算処理フローにより、任意の２つのＷｅｂページ間の関連度が計算されることになる。
【実施例２】
【００３９】
次に、実施例２に係るＷｅｂページ間の関連度計算装置について説明する。図７は、実施例２に係る関連度計算装置の機能ブロック構成を示す図である。実施例２の関連度計算装置１は、互いに通信可能に接続されたＷｅｂ巡回調査装置１００および関連度処理装置３００で構成されている。以下、これら各装置が備える機能について個別具体的に説明すると共に全体の処理フローについて説明し、最後に作用効果について説明する。
【００４０】
Ｗｅｂ巡回調査装置１００は、リスト記憶部１０１と、通信・収集部１０２と、ハイパーリンク分析部１０３と、判別・登録部１０４とを備えている。
【００４１】
リスト記憶部１０１は、スレッド型の電子掲示板を提供している様々な掲示板ページの掲示板ＵＲＬ（ドメイン（サブドメインやその配下のディレクトリを含む））を記載（登録）した掲示板リストＬ１と、各電子掲示板に立てられた複数のスレッドを個々に特定する複数のスレッドＵＲＬを掲示板リストＬ１の各掲示板ＵＲＬに対応付けて記載（登録）したスレッドリストＬ２と、電子掲示板のスレッドに関連性のある関連ページをスレッドリストＬ２のスレッドＵＲＬに関連付けて記載した関連ページリストＬ３と、掲示板リストＬ１に登録されている各電子掲示板との関連性の有無を調査する調査対象ページＵＲＬを記載した調査候補ＵＲＬリストＬ４とを記憶しておく機能を備えている。
【００４２】
通信・収集部１０２は、インターネットを介して調査候補ＵＲＬリストＬ４に記載された調査対象ページＵＲＬに接続し、その調査対象ページＵＲＬへのアクセスにより表示される調査対象ページを収集する機能を備えている。
【００４３】
ハイパーリンク分析部１０３は、調査対象ページに含まれているページデータからリンク先ＵＲＬ（ハイパーリンク）を抽出する機能を備えている。
【００４４】
判別・登録部１０４は、抽出されたリンク先ＵＲＬを掲示板ＵＲＬリストＬ１に登録されている掲示板ＵＲＬに照合して、抽出されたリンク先がスレッド型の電子掲示板であるか否かを判別する機能を備えている。また、抽出されたリンク先がスレッド型の電子掲示板である場合に、リンク先ＵＲＬをスレッドリストＬ２に登録されているスレッドＵＲＬに照合して、抽出されたリンク先が属するスレッドを判別し、判別されたスレッドＵＲＬに関連付けて関連ページとして関連ページリストＬ３に追加登録する機能も備えている。一方、抽出されたリンク先がスレッド型の電子掲示板でない場合には、リンク先ＵＲＬを調査候補ＵＲＬリストＬ４に追加して、各電子掲示板との関連性有無の調査対象とする機能も備えている。
【００４５】
一方、関連度処理装置３００は、リスト生成部３０１と、リスト突合部３０２と、関連度計算部３０３とを備えている。
【００４６】
リスト生成部３０１は、関連度を求めるＷｅｂページを関連ページリストＬ３から検索し、そのＷｅｂページからリンクされたスレッドのリストを生成する機能を備えている。また、スレッドリストＬ２および掲示板リストＬ１の対応関係を利用して、関連度を求めるＷｅｂページからリンクされたスレッドを持つ掲示板のリストを生成する機能も備えている。
【００４７】
リスト突合部３０２は、関連度を求める２つのＷｅｂページに対してそれぞれ生成された２つのスレッドのリストを突合せ、その２つのスレッドのリストの両方に属するスレッドの数を数え上げる機能を備えている。また、関連度を求める２つのＷｅｂページに対してそれぞれ生成された２つの掲示板のリストを突合せ、その２つの掲示板のリストの両方に属する掲示板ページの数を数え上げる機能も備えている。
【００４８】
関連度計算部３０３は、数え上げられた掲示板ページの数およびスレッドの数を用いてＷｅｂページ間の関連度を計算する機能を備えている。
【００４９】
ここで、Ｗｅｂ巡回調査装置１００のリスト記憶部１０１に記憶されている各リストの具体例について説明する。
【００５０】
掲示板リストＬ１は、図８に示すように、電子掲示板一覧（掲示板ＵＲＬ）を有する情報ファイルであり、スレッドリストＬ２は、各電子掲示板に所属しているスレッド一覧（スレッドＵＲＬ）を有する情報ファイルである。特にスレッドリストＬ２については、Ｗｅｂ巡回調査装置１００とは異なる別の装置で行う定期保守動作により、掲示板リストＬ１に登録されている各掲示板ＵＲＬを用いてスレッド一覧が取得され、所定のタイミングで適宜自動更新されている。なお、多くのスレッド型の電子掲示板は共通の書式を用いているため、掲示板リストＬ１のみ用意することによりスレッドリストＬ２を自動で生成、更新することも可能である。なお、掲示板リストＬ１については、スレッド型の電子掲示板を運営しているドメインは限られているため、人手により掲示板ＵＲＬを調査して登録しておくことも可能である。
【００５１】
関連ページリストＬ３は、図９に示すように、各スレッドに関連するＷｅｂページ一覧（関連ＵＲＬ）を有する情報ファイルである。なお、「関連する」とは、Ｗｅｂ巡回調査装置１００を動作させた結果としてＷｅｂ巡回調査装置１００が保持する掲示板リストＬ１に登録されているいずれかの電子掲示板に属するいずれかのスレッドへのリンクが発見されたことをもって定義し、Ｗｅｂ巡回調査装置１００が取得していないものを含む一般的な情報に基づく関連までは含まないものとする。
【００５２】
調査候補ＵＲＬリストＬ４は、図１０に示すように、調査対象ページＵＲＬと各調査対象ページの調査状況とを有する情報ファイルである。なお、調査状況として少なくとも保存すべき情報は未調査か既調査かの識別であるが、これのみに限定されるものではない。次に調査するＵＲＬを選定する方法に応じて、過去の調査回数や最終調査日時、複数回調査されたＵＲＬについてページ内容が更新されていたか否か等、調査頻度の決定要因になり得る情報を保存することも可能である。
【００５３】
次に、実施例２に係る関連度計算装置１の処理フローについて説明する。まず、Ｗｅｂ巡回調査装置１００における関連ページの収集処理フローについて説明する。図１１は、実施例２に係る関連度計算装置の収集処理フローを示す図である。なお、以下収集処理フローは、スレッド型の電子掲示板およびスレッドに関連のある関連ページを収集する情報収集動作であって、図１１に示すように起動時を除いて無限ループの動作を行い、Ｗｅｂ巡回調査装置１００の保守時や故障等の異常時にオペレーティングシステム等によって強制停止される他は無限に動作を繰り返し継続するものとする。
【００５４】
最初に、通信・収集部１０２が、予め外部から指定された初期ＵＲＬにインターネットを介して接続し、その初期ＵＲＬへのアクセスにより表示される調査対象ページをダウンロードして、そのページデータをハイパーリンク分析部１０３に送信する（Ｓｃ１、Ｓｃ２）。
【００５５】
次に、ハイパーリンク分析部１０３が、通信・収集部１０２から受け取ったページデータを検査して、ＨＴＭＬタグやスクリプトからリンク先ＵＲＬ（ハイパーリンク）を抽出する（Ｓｃ３）。
【００５６】
その後、判別・登録部１０４が、ハイパーリンク分析部１０３により抽出された複数のリンク先ＵＲＬのうちいずれかのリンク先ＵＲＬを掲示板リストＬ１の各掲示板ＵＲＬに逐次照合して、スレッド型の電子掲示板であるか否かを判別する（Ｓｃ４）。
【００５７】
その後、判別・登録部１０４は、Ｓｃ４での照合判定の結果、そのリンク先ＵＲＬがいずれかのドメインに属する場合（いずれかの掲示板ＵＲＬに該当する場合）には、掲示板専用の処理に進む。具体的には、スレッドリストＬ２を用いて、そのリンク先ＵＲＬを、属するドメインの電子掲示板に対応しているスレッドＵＲＬに逐次照合してリンク先が属するスレッドを判別し、その照合判定の結果該当するスレッドＵＲＬに関連付けて調査対象ページのＵＲＬ（上述した初期ＵＲＬ）を関連ページリストに追加する（Ｓｃ５）。
【００５８】
一方、Ｓｃ４での照合判定の結果、そのリンク先ＵＲＬがいずれのドメインにも属さない場合（いずれの掲示板ＵＲＬにも該当しない場合）、判別・登録部１０４は、そのリンク先ＵＲＬを調査候補ＵＲＬリストに追加する（Ｓｃ６）。
【００５９】
その後、現在のリンク先ＵＲＬが現在の調査対象ページのページデータに含まれるリンク先ＵＲＬのうち末尾にあるリンク先ＵＲＬであるか否かを判定する（Ｓｃ７）。
【００６０】
現在のリンク先ＵＲＬが末尾のリンク先ＵＲＬでない場合には、Ｓｃ４に戻って、他のリンク先ＵＲＬを用いてＳｃ４〜Ｓｃ７の処理を繰り返すことにより、現在の調査対象ページに記載されている全てのリンク先ＵＲＬを分析する。一方、現在のリンク先ＵＲＬが末尾のリンク先ＵＲＬである場合には、調査対象ページＵＲＬを調査候補ＵＲＬリストＬ４から選択し、Ｓｃ２に戻ってＳｃ２〜Ｓｃ７の処理を繰り返す（Ｓｃ８）。
【００６１】
なお、上記収集処理フローでは調査対象ページを逐次ダウンロードしてＳｃ２〜Ｓｃ７の各処理を行う方法について説明したが、全ての調査対象ページ又は所定数の調査対象ページを一括してダウンロードし、一時的に記憶しておき、その後でＳｃ２以降の処理をすることも可能である。
【００６２】
また、調査候補ＵＲＬリストＬ４から調査対象ページＵＲＬを選択する選択順や、調査対象ページからリンク先ＵＲＬを抽出して選択する選択順は、どのような順番であってもよい。例えば、上位列から順番に選択することも可能であるし、ランダムに選択することも可能である。また、過去に一度も調査されていないＵＲＬを最優先で選択し、以降過去の調査回数が少ない順、若しくは直近の調査時期が古い順に選択するようにすれば、なるべく多くのページを万遍なく調査することが可能となる。或いは、過去の調査において内容が更新されている確率の高いもの、多数の調査済みページからリンクされているものといった重要性の基準を定めて、該当するページの調査優先順位を高めることにより、情報収集の質を高くすることも可能である。
【００６３】
以上の収集処理フローにより、調査対象ページにスレッド型の電子掲示板が含まれている場合には、その調査対象ページが該電子掲示板に立てられたスレッドのうち最も関連性のあるスレッドに関連付けて関連リストページに登録されることになる。
【００６４】
続いて、関連度処理装置３００におけるＷｅｂページＡおよびＷｅｂページＢの関連度（関連強度、ジャンル類似性等と称しても良い）を計算する関連度計算処理フローについて説明する。図１２は、実施例２に係る関連度計算装置の関連度計算処理フローを示す図である。
【００６５】
最初に、リスト生成部３０１が、関連ページリストＬ３をリスト記憶部１０１から読み出して、関連度を求める２つのＷｅｂページのうち一方のＷｅｂページＡを検索し、そのＷｅｂページＡに関連付けられているスレッドＵＲＬを用いて、ＷｅｂページＡからリンクされたスレッドのリストＳＬａを生成する（Ｓｄ１）。
【００６６】
次に、リスト生成部３０１は、スレッドリストＬ２および掲示板リストＬ１の対応関係を利用し、ＷｅｂページＡに関連する掲示板ＵＲＬを用いて、ＷｅｂページＡからリンクされたスレッドを持つ掲示板のリストＢＬａを生成する（Ｓｄ２）。
【００６７】
また、Ｓｄ１の処理と同様に、リスト生成部３０１は、他方のＷｅｂページＢを関連ページリストＬ３から検索し、ＷｅｂページＢに関連付けられているスレッドＵＲＬを用いて、ＷｅｂページＢからリンクされたスレッドのリストＳＬｂを生成する（Ｓｄ３）。
【００６８】
また、Ｓｄ２の処理と同様に、リスト生成部３０１は、スレッドリストＬ２および掲示板リストＬ１の対応関係を利用し、ＷｅｂページＢに関連する掲示板ＵＲＬを用いて、ＷｅｂページＢからリンクされたスレッドを持つ掲示板のリストＢＬｂを生成する（Ｓｄ４）。
【００６９】
続いて、リスト突合部３０２が、Ｓｄ１およびＳｄ３でそれぞれ生成された２つのスレッドのリストＳＬａおよびリストＳＬｂを突合し、その２つのスレッドのリストの両方に属するスレッドＵＲＬの数（Ｃ１）を数え上げる（Ｓｄ５）。
【００７０】
同様に、リスト突合部３０２は、Ｓｄ２およびＳｄ４でそれぞれ生成された２つの掲示板のリストＢＬａおよびリストＢＬｂを突合し、その２つの掲示板のリストの両方に属する掲示板ＵＲＬの数（Ｃ２）を数え上げる（Ｓｄ６）。
【００７１】
最後に、関連度計算部３０３が、Ｓｄ５で数え上げられたスレッドＵＲＬの数（Ｃ１）に対して定数ｎ（実施例１の重みに相当）を乗じた値（ｎ×Ｃ１）に、Ｓｄ６で数え上げられた掲示板ＵＲＬの数（Ｃ２）を加算した値（ｎ×Ｃ１＋Ｃ２）を、ＷｅｂページＡとＷｅｂページＢとの間の関連度として計算する（Ｓｄ７）。
【００７２】
以上の関連度計算処理フローにより、任意の２つのＷｅｂページ間の関連度が計算されることになる。なお、Ｓｄ１〜Ｓｄ４の処理については順不同であり、Ｓｄ５とＳｄ６の処理順を入れ替えてもよい。
【００７３】
続いて、図１３に示すページ関係を例に、関連度の具体的な計算について説明する。ＷｅｂページＣには、電子掲示板Ａに属するスレッドＡ１に向かうリンクＣ１と、電子掲示板Ｂに属するスレッドＢ１に向かうリンクＣ２とが張られている。また、ＷｅｂページＤには、電子掲示板ＡのスレッドＡ２に向かうリンクＤ１と、電子掲示板ＢのスレッドＢ１へ向かうリンクＤ２とが張られている。さらに、ＷｅｂページＥには、電子掲示板ＡのスレッドＡ１に向かうリンクＥ１が張られている。
【００７４】
このとき、ＷｅｂページＣとＷｅｂページＤとの関連度は、ともに電子掲示板Ａおよび電子掲示板Ｂへのリンクがあることに基づく２単位と、ともに電子掲示板Ｂに属するスレッドＢ１へのリンクがあることに基づくｎ単位とを合わせた２＋ｎ単位となる。
【００７５】
また、ＷｅｂページＣとＷｅｂページＥとの関連度は、ともに電子掲示板Ａへのリンクがあることに基づく１単位と、ともに電子掲示板Ａに属するスレッドＡ１へのリンクがあることに基づくｎ単位とを合わせた１＋ｎ単位となる。
【００７６】
さらに、ＷｅｂページＤとＷｅｂページＥの関連度は、ともに電子掲示板Ａへのリンクがあることに基づく１単位となる。
【００７７】
以上の計算によって得られた各Ｗｅｂページ間の関連度を図１４ようにグラフ化して表示することも可能であるし、これら複数の関連度を用いて更に非特許文献１のごとく間接的なＷｅｂサイト間の関係性を数値化することも可能である。
【００７８】
以上より、実施例１によれば、スレッド型の電子掲示板の掲示板ＵＲＬと該電子掲示板に立てられたスレッドＵＲＬとを対応付けて関連ＵＲＬリストに登録しておき、調査対象ページに記載されたリンク先が上記スレッド型の電子掲示板である場合（リンク先ＵＲＬが掲示板ＵＲＬに該当する場合）に、その電子掲示板に立てられたスレッドからリンク先が属するスレッドを判別し、判別されたスレッドＵＲＬに関連付けて調査対象ページＵＲＬを関連ページとして関連ＵＲＬリストに登録し、関連度を求める２つのＷｅｂページを関連ＵＲＬリストの関連ページからそれぞれ検索し、検索された各Ｗｅｂページにそれぞれ対応する掲示板ＵＲＬの数とスレッドＵＲＬの数とを関連ＵＲＬリストから求めて関連度を計算するので、Ｗｅｂページ間の関連度の精度低下を防止することができる。
【００７９】
また、実施例２によれば、スレッド型の電子掲示板の掲示板ＵＲＬを登録した掲示板リストと、該電子掲示板に立てられたスレッドＵＲＬを登録したスレッドリストと、該電子掲示板のスレッドに関連性のある関連ページを記載した関連ページリストとを記憶しておき、調査対象ページに記載されたリンク先が上記スレッド型の電子掲示板である場合（リンク先ＵＲＬが掲示板ＵＲＬに該当する場合）に、その電子掲示板に立てられたスレッドからリンク先が属するスレッドを判別し、判別されたスレッドＵＲＬに関連付けて調査対象ページＵＲＬを上記関連ページとして関連ページリストに追加し、関連度を求める２つのＷｅｂページを関連ＵＲＬリストの関連ページからそれぞれ検索し、検索された各Ｗｅｂページにそれぞれ対応する掲示板ＵＲＬの数とスレッドＵＲＬの数とを関連ＵＲＬリストから求めて関連度を計算するので、Ｗｅｂページ間の関連度の精度低下を防止することができる。
【００８０】
すなわち、実施例１および実施例２では、リンク先がスレッド型の電子掲示板である場合、リンク先ＵＲＬを以後の調査対象とするのではなく、専ら現在の調査対象ページの分類に利用している点に特徴がある。これは、電子掲示板という特殊なページの特性、特にスレッド型である特性を利用している。電子掲示板は不特定多数が匿名で書込み可能であるため、安易な書込みが混在している。特にスレッド型については、いたずらや広告等を目的としたスレッドテーマと無関係な書込みが存在している。このため、電子掲示板のページ内容を一般のＷｅｂページと同等に取り扱うと関連性が弱いＵＲＬへのリンクによって、Ｗｅｂページ間の関係性について誤った情報を収集してしまう確率が高い。一方、書込み者がサイト運営者に限定され、匿名性が低い一般Ｗｅｂページから電子掲示板へのリンクは、サイト運営者が真剣にスレッドテーマとの関連性を認めて記述することが多い。すなわち、一般Ｗｅｂページから電子掲示板への一方向のリンクのみを関連度の計算に用いることにより、Ｗｅｂページ間の関連度の精度低下を回避することが可能となる。
【００８１】
ここで、関連度の計算に用いる定数ｎ（実施例１の重みに相当）の作用効果について説明する。定数ｎは運用条件として外部で決定される値であるが、スレッドＵＲＬの数に対してのみ乗算により付与されている。スレッド型の電子掲示板では利用者がスレッドを立てることができるため、各スレッドのテーマは利用者の細かい意見の違いによって細分化される傾向があり、同一スレッドに関連する一般Ｗｅｂページ同士は、同一電子掲示板に関連するＷｅｂページ同士よりも極めて強い関連性を有している。
【００８２】
そこで、このようなスレッド型の電子掲示板の構造特性や、そのような電子掲示板を利用している利用者の心理特性を利用して、電子掲示板に関連する一般Ｗｅｂページ間の関連度合いに強弱差を与えることにより、関連度の精度を一層向上させることが可能となる。すなわち、同一スレッドに関連付けられた関連ページ間には強い関連性を付与し、同一電子掲示板に属するスレッドに関連付けられた関連ページ間には弱い関連性を付与して、付与後の値を合成することにより、上記効果を得ることが可能となる。
【００８３】
例えば、電子掲示板の各スレッドに関連している関連ページの多くが同電子掲示板に属する多数の他スレッドにも関連することが一般的であれば定数ｎをゼロに近い値とし、逆に、各スレッドの関連ページの多くが同電子掲示板の他スレッドに関連することが稀であるほど大きな値にすることが望ましい。つまり、前者の場合は、あるページＡが電子掲示板のあるスレッドＳに関連して別のスレッドＴに関連しないとき、たまたまページＡの運用者が手間を省くため、実は関連のあるスレッドＴにリンクしなかった可能性が高いからである。一方、後者の場合は、特定のスレッドに関連するページが同一電子掲示板の他スレッドに関連しないのが一般的であることより、同一スレッドへの関連に比べて同一電子掲示板への関連は相対的に弱いものと推定できるからである。
【００８４】
また、例えば、定数ｎの値を０（ゼロ）に設定することにより、電子掲示板とスレッドとを区別しない電子掲示板全体の縮退動作、換言すれば、非スレッド型の電子掲示板とみなして関連度を計算することも可能である。スレッド型の電子掲示板であっても著しくスレッドが乱立している利用状況の場合には、定数ｎをゼロに設定して非スレッド型とみなす処理が妥当になる可能性もあり、ゼロに設定した場合であっても同様にＷｅｂページ間の関連度の精度低下を防止することができる。
【００８５】
すなわち、定数ｎ（ｎ≧０）の取り得る値は、電子掲示板一般ないし個々の電子掲示板の利用状況を実地調査し、例えば「類似スレッドが乱立しているから共通なスレッドへのリンクを共通な電子掲示板へのリンクより相対的に重視する度合いを小さくすべくｎを小さめに」等と、適宜、調整・選定することが望ましい。なお、実地調査の結果、電子掲示板によって利用状況が大きく異なる場合には、ドメイン別に定数ｎの値を決定して掲示板リストＬ１に保持し、計算の都度別の値を使用するようにしても良い。
【００８６】
さらに、例えば、非特許文献１のようにアクセスランキングを利用しているシステムにおいても、上記各実施例による関連度と突合することにより、収集しているアクセスランキング情報が掲載ＵＲＬに有意な選別を施しているか検証することができるので、結果の信頼性を向上することが可能となる。
【００８７】
なお、各実施例では、定数ｎをスレッドＵＲＬの数のみに乗算して関連度を計算したが、関連度の単位は相対的なものであるため、共通にリンクするスレッドの数に定数ｎを乗じる代わりに共通にリンクする電子掲示板の数を定数ｎで割っても全く同じ効果を得ることができる。また、電子掲示板の利用状況によっては共通な電子掲示板へのリンクのみ、または逆に共通なスレッドへのリンクのみ数えるという運用も可能である。
【００８８】
実施例１および実施例２では、関連度計算装置１で取り扱うＷｅｂをページ単位として説明したが、前述したようにサイト単位に置き換えた場合であっても同様の作用効果を得ることができる。サイトは、そこに属する全てのページを繋ぎ合わせた１枚のページとみなすことできるので、各実施例と同様に処理することができる。いずれの単位を用いるかについては一長一短があり、関連度計算装置１の利用者や設置者が対象とする市場の特性などの外部条件に従って選択することが望ましい。実用上は、ＵＲＬの書式から推定する不完全な方法と、サイト管理者が送信するサイトマップに頼る方法とを併用することが一般的である。
【００８９】
関連度計算装置１の動作をサイト単位とした場合には、各リストに保持すべきＵＲＬ情報量が削減され、かつ直接スレッドへのリンクを持たないページもサイトの要素として一体的に関連付けられるため、一般論としては、より適切な計算結果を得やすい。しかしながら、レンタルサーバーで運営されるサイトは必ずしもドメインを占有しておらず、サブドメインがディレクトリに設置されていることが多いので、サイトに属するページをＵＲＬから自動的に識別することができない。このため、サイト運営者から最上位のＵＲＬを申告してもらう仕組みを用いる外部手段に頼らなければ、本来複数のサイトであるページの集まりを併合して一つのサイトとして処理してしまうという問題がある。
【００９０】
一方、関連度計算装置１の動作をページ単位とした場合には、サイト識別の問題が発生しない代わりに、保持すべきＵＲＬ情報量が増加し、直接スレッドへのリンクを持たない関連ページは関連がないものとして取り扱われる。
【００９１】
なお、関連度計算装置１の用途が汎用である場合には、サイト単位の動作とページ単位の動作とを併用し、いずれの計算結果を信頼するかの妥当性についてはユーザに任せるようにしてもよい。
【００９２】
最後に、実施例１および実施例２の関連度計算装置１を構成している各機能部や各装置は、ＣＰＵ等の演算処理装置やメモリ等の記憶装置を備えたコンピュータにより構成可能なものであり、各機能処理はプログラムによって実行される。また、このようなプログラムは記憶装置に記憶されており、記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００９３】
以上より、一般に同一電子掲示板へのハイパーリンクを有するサイト／ページ同士はジャンルに一定の類似性があり、更に同一スレッドへのハイパーリンクを有するサイト／ページ同士はより緊密な関連性を有するという性質を利用することにより、サイト／ページ間のジャンル類似性ないし関連性を数値化を実現することが可能となる。更に、電子掲示板の利用状況を反映した適切な定数ｎを与えることにより、そのサイト／ページ間のジャンル類似性や関連性の計算精度を向上させることが可能となる。これは、一部の汎用検索エンジンに組み込まれているキーワードに依存した関連サイト表示の仕組みに比べててリンク先の特殊性を用いるため高感度である。つまり、従来方式では相当多量のバックリンクでリンクテキストが一致するなど狭い条件でしか関連サイトが判別できなかったが、コミュニティの情報交換に使用されることが多い掲示板を対象とすることにより、少ないリンク数からサイト間の関連性を検出することが可能となる。
【００９４】
また、リンク先サイトの特殊性を考慮しないため、単にリンク先の共起を用いて判定した場合におけるトラックバックや広告リンクなどによる誤動作を回避することが可能となる。
【符号の説明】
【００９５】
１…関連度計算装置
１１…記憶部
１２…収集部
１３…判別部
１４…登録部
１５…計算部
１００…Ｗｅｂ巡回調査装置
１０１…リスト記憶部
１０２…通信・収集部
１０３…ハイパーリンク分析部
１０４…判別・登録部
３００…関連度処理装置
３０１…リスト生成部
３０２…リスト突合部
３０３…関連度計算部
Ｌ１…掲示板リスト
Ｌ２…スレッドリスト
Ｌ３…関連ページリスト
Ｌ４…調査候補ＵＲＬリスト
Ｓａ１〜Ｓａ６、Ｓｂ１〜Ｓｂ２、Ｓｃ１〜Ｓｃ８、Ｓｄ１〜Ｓｄ７…ステップ
【図１】
2011059803.tif 000003
【図２】
2011059803.tif 000004
【図３】
2011059803.tif 000005
【図４】
2011059803.tif 000006
【図５】
2011059803.tif 000007
【図６】
2011059803.tif 000008
【図７】
2011059803.tif 000009
【図８】
2011059803.tif 000010
【図９】
2011059803.tif 000011
【図１０】
2011059803.tif 000012
【図１１】
2011059803.tif 000013
【図１２】
2011059803.tif 000014
【図１３】
2011059803.tif 000015
【図１４】
2011059803.tif 000016