(57)【特許請求の範囲】
【請求項１】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する方法であって、
検出対象サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、
代用可能候補サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求め、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求め、
α＞β
であれば、サイトＢは代用可能性が高いと判定する
ことを特徴とするウェブページ間の類似度自動判定方法。
【請求項２】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する方法であって、
検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集し、
前記サイトＡに関する外部向けリンク中の１つの代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集し、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、
サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求め、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求め、
α＞β
であれば、サイトＢは代用可能性が高いと判定し、
これらを前記サイトＡに関する外部向けリンク中の全ての代用可能候補サイトＢについて繰り返す
ことを特徴とするウェブページ間の類似度自動判定方法。
【請求項３】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する装置であって、
検出対象サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、代用可能候補サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
α＞β
であれば、サイトＢは代用可能性が高いと判定する手段とを備えた
ことを特徴とするウェブページ間の類似度自動判定装置。
【請求項４】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する装置であって、
検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集し、前記サイトＡに関する外部向けリンク中の１つの代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集する手段と、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
α＞β
であれば、サイトＢは代用可能性が高いと判定する手段とを備えた
ことを特徴とするウェブページ間の類似度自動判定装置。
【請求項５】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定するプログラムを記録した媒体であって、
該プログラムはコンピュータに読み取られた際、該コンピュータを、
検出対象サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、代用可能候補サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
α＞β
であれば、サイトＢは代用可能性が高いと判定する手段として機能させる
ためのウェブページ間の類似度自動判定プログラムを記録した媒体。
【請求項６】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定するプログラムを記録した媒体であって、
該プログラムはコンピュータに読み取られた際、該コンピュータを、
検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集し、前記サイトＡに関する外部向けリンク中の１つの代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集する手段と、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
α＞β
であれば、サイトＢは代用可能性が高いと判定する手段として機能させる
ためのウェブページ間の類似度自動判定プログラムを記録した媒体。
【請求項７】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する方法であって、
検出対象サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、
代用可能候補サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求め、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求め、
サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint depth+tag及びＡext depth+tagをそれぞれ求め、
サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint depth hit+tag及びＢext depth hit+tagをそれぞれ求め、
γ＝Ｂext depth hit+tag／Ａext depth+tag
もしくは
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）
のいずれか一方または両方を求め、
α＜γもしくはβ＜δ
であれば、サイトＢは代用可能性が高いと判定する
ことを特徴とするウェブページ間の類似度自動判定方法。
【請求項８】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する方法であって、
検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集し、
前記サイトＡに関する外部向けリンク中の１つの代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集し、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、
サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求め、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求め、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint depth+tag及びＡext depth+tagをそれぞれ求め、
サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint depth hit+tag及びＢext depth hit+tagをそれぞれ求め、
γ＝Ｂext depth hit+tag／Ａext depth+tag
もしくは
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）
のいずれか一方または両方を求め、
α＜γもしくはβ＜δ
であれば、サイトＢは代用可能性が高いと判定し、
これらを前記サイトＡに関する外部向けリンク中の全ての代用可能候補サイトＢについて繰り返す
ことを特徴とするウェブページ間の類似度自動判定方法。
【請求項９】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する装置であって、
検出対象サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、代用可能候補サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint depth+tag及びＡext depth+tagをそれぞれ求め、サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint depth hit+tag及びＢext depth hit+tagをそれぞれ求める手段と、
γ＝Ｂext depth hit+tag／Ａext depth+tag
もしくは
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）
のいずれか一方または両方を求める手段と、
α＜γもしくはβ＜δ
であれば、サイトＢは代用可能性が高いと判定する手段とを備えた
ことを特徴とするウェブページ間の類似度自動判定装置。
【請求項１０】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定する装置であって、
検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集し、前記サイトＡに関する外部向けリンク中の１つの代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集する手段と、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint depth+tag及びＡext depth+tagをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint depth hit+tag及びＢext depth hit+tagをそれぞれ求める手段と、
γ＝Ｂext depth hit+tag／Ａext depth+tag
もしくは
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）
のいずれか一方または両方を求める手段と、
α＜γもしくはβ＜δ
であれば、サイトＢは代用可能性が高いと判定する手段とを備えた
ことを特徴とするウェブページ間の類似度自動判定装置。
【請求項１１】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定するプログラムを記録した媒体であって、
該プログラムはコンピュータに読み取られた際、該コンピュータを、
検出対象サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、代用可能候補サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
サイトＡのインデックスページから辿ることができる当該サイトＡのウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint depth+tag及びＡext depth+tagをそれぞれ求め、サイトＢのインデックスページから辿ることができる当該サイトＢのウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint depth hit+tag及びＢext depth hit+tagをそれぞれ求める手段と、
γ＝Ｂext depth hit+tag／Ａext depth+tag
もしくは
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）
のいずれか一方または両方を求める手段と、
α＜γもしくはβ＜δ
であれば、サイトＢは代用可能性が高いと判定する手段として機能させる
ためのウェブページ間の類似度自動判定プログラムを記録した媒体。
【請求項１２】
ＷＷＷウェブページ内に埋め込まれているリンク情報を用いて２つのＷｅｂサイトのホームページ間の類似度を求め、これを基にして検出対象サイトＡとは別のサイトである代用可能候補サイトＢの当該検出対象サイトＡに対する代用可能性を判定するプログラムを記録した媒体であって、
該プログラムはコンピュータに読み取られた際、該コンピュータを、
検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集し、前記サイトＡに関する外部向けリンク中の１つの代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集する手段と、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitをそれぞれ求める手段と、
α＝Ｂext depth hit／Ａext depth
β＝（Ｂint depth hit＋Ｂext depth hit）
／（Ａint depth＋Ａext depth）
を求める手段と、
サイトＡのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＡであるリンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint depth及び外部向けリンクの数Ａext depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint depth+tag及びＡext depth+tagをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のうち、ホスト部分がサイトＢであるリンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint depthに含まれるリンクの数Ｂint depth hit及び外部向けリンクの中でＡext depthに含まれるリンクの数Ｂext depth hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint depth hit+tag及びＢext depth hit+tagをそれぞれ求める手段と、
γ＝Ｂext depth hit+tag／Ａext depth+tag
もしくは
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）
のいずれか一方または両方を求める手段と、
α＜γもしくはβ＜δ
であれば、サイトＢは代用可能性が高いと判定する手段として機能させる
ためのウェブページ間の類似度自動判定プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
ＷＷＷなどインターネットの急激な広がりにより、広域ネットワークを介して一般ユーザが情報を容易に獲得できるようになってきたものの、彼らにとってネットワークを有効に利用することは難しい。例えば、スケーラビリティや応答性向上のためにミラーサーバやキャッシュサーバが用意されていることがあるが、一般ユーザにとって最適なサーバを同定することは困難である。
【０００２】
その結果、特定のサイトへの集中や遠方のサイトへのアクセスを行ってしまい、スループットの低下やアクセスができなくなることがある。ネットワークを効率的に使うには、ネットワークトポロジー、各プロバイダー間のネットワーク帯域、サーバの位置などの背景知識を持ち、レスポンスからトラフィックを推測し、適切と思われるサーバ及び経路を選択することが必要になる。
【０００３】
本発明は、キャッシュサーバやミラーサーバなど、情報の蓄積を介するサービスを提供する複数のサーバ群の中から、アクセスしようとするユーザにとって最適なサーバ選択を可能とする技術の一つであり、一般ユーザによる容易なネットワーク有効利用を可能とする。
【０００４】
【従来の技術】
ミラーサーバやキャッシュサーバの選択問題については、Ｒｏｕｎｄ−ｒｏｂｉｎ  ＤＮＳ（P.Mockapetris, DOMAIN NAMES-CONCEPTS AND FACILITIES, STD:13 Domain Name System, also RFC 1034, Nov.1987［文献１］）、Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄｉｒｅｃｔｏｒ（CISCO Distributed Director (White Paper), http://www.cisco.com/warp/public/75/distdir/dd_wp.pdf［文献２］）、ＴＡＳＳ（竹内、小野里、山本、富沢、ＷＷＷにおけるトラフィック適応型サーバ選択方式、情報処理学会論文誌、ｖｏｌ．４０、Ｎｏ．１、ｐｐ．２７３−２８５、１９９９［文献３］）、Ｐｒｏｘｙ  Ａｕｔｏｍａｔｉｃ  Ｃｏｎｆｉｇｕｒａｔｉｏｎ（Ari Luotonen, Navigator Proxy Auto-Config File Format, http://home.netscape.com/eng/mozi-lla/2.0/relnotes/demo/proxy-live.html［文献４］）、多段プロキシ（Squid Internet Object Cache Home Page, http://squid.nlanr.net/Squid/［文献５］）といった従来の研究がある。
【０００５】
ＤＮＳのＲｏｕｎｄ−ｒｏｂｉｎ  ＤＮＳは、複数のミラーサーバやキャッシュサーバの間での負荷分散のために使われているが、実際の通信コストの状態や、実際のキャッシュ状態は反映されないので、より適切なアクセスパスを提供するという観点からは問題がある。
【０００６】
Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄｉｒｅｃｔｏｒは、分散したミラーサイト中の近傍のものへのアクセスを実現するものであるが、ＣＩＳＣＯ社の閉じたプロトコルで、それを採用したミラーサーバ群では有効であるものの、予めミラーサイト近傍に情報収集のエージェント（ＤＲＰエージェント）が配置されている必要があるために、サービスのスケーラビリティや開放性に問題がある。
【０００７】
ＴＡＳＳは、クライアントと外部経路の出口に置かれるキャッシュサーバ間、そしてキャッシュサーバと各種ミラーサーバ間とのＲＴＴ観測値に基づいて、データをオリジナルのサーバから取得するか、ミラーサーバから取得するかを動的に決定する。問題点としてネットワークの混雑度を観測するためのコストが大きいことが考えられる。
【０００８】
Ｐｒｏｘｙ  Ａｕｔｏｍａｔｉｃ  Ｃｏｎｆｉｇｕｒａｔｉｏｎは、Ｎｅｔｓｃａｐｅ社のブラウザに提供されている機能で、ＵＲＬの文字列から利用するＰｒｏｘｙを決定する際の関数をＪａｖａ  Ｓｃｒｉｐｔの形で配布するものである。これは静的なポリシーに基づくプロキシの振り分け等は可能であるが、キャッシュサーバの状況や輻輳などの動的な状況の変動には対処できない。
【０００９】
多段プロキシは、Ｓｑｕｉｄ  Ｉｎｔｅｒｎｅｔ  Ｏｂｊｅｃｔ  Ｃａｃｈｅ等で提供されている機能で、複数のキャッシュサーバ間の通信プロトコル（ＩＣＰ：Ｉｎｔｅｒｎｅｔ  Ｃａｃｈｅ  Ｐｒｏｔｏｃｏｌ）により、近隣のキャッシュサーバが情報を保持しているかどうかを知ることができる。しかし、多段になると全てのデータストリームが複数のプロキシを経由するので、通信性能の低下が問題となる。
【００１０】
【発明が解決しようとする課題】
前述した従来の技術のいずれの関連研究も、ミラーサイトが事前に同定されていることが前提にある。また、このようなサービスを導入しているサイトも決して多いとは言えず、単にミラーサーバを立ち上げていて、選択はユーザに任せているサイトも多い。また、ＦＴＰのミラーサーバなどは、互いにミラーの関係にありながら、リンクが張られていない状況も多い。例えば、あるユーザが自分のマシン上にサイトのミラーリングをしていても、これがミラーリングされているプライマリサイトからはリンクが張られていない、などということは多いにあり得る話である。
【００１１】
このような時、このユーザのサイトが本手法によってプライマリサイトとミラーの関係にあることが検出されれば、例えばそのユーザの属するローカルなネット上で、このことを知らない他のユーザにとってはこれほど近いサイトはないということになる。
【００１２】
そこで、我々は、廣津、高田、菅原、ＵＲＬ  Ｒｅｓｏｌｖｅｒ：「ＵＲＬ書き換え」に基づく多様なサービスの実現、日本インターネットカンファレンス’９７、１９９７［文献６］において、キャッシュサーバやミラーサーバなど、情報の蓄積を介するサービスを提供する複数のサーバ群の中から、アクセスしようとするユーザにとって最適なサーバ選択を可能とする技術（ＵＲＬ  Ｒｅｓｏｌｖｅｒ）の枠組を提案している（特開平１１−１７５４７１号公報）。
【００１３】
そして、その具体的なシステムとして、ＷＷＷページに埋め込まれているリンク情報に基づいてミラーサイト、もしくはミラーサイトではないものの、代用として十分に利用できるサイトを自動的に検出する手法を、栗原、廣津、高田、菅原、リンク情報に基づくミラーサイト検出アルゴリズムの検証、ＷＩＴ’９９、１９９９［文献７］で提案した（ここまでが、既に公知の内容である）。
【００１４】
しかし、現段階では検出されたサイト同士が実際にミラーもしくはミラーとして代用可能な関係にあるかどうかは人手で確認しなければならず、本システムをＵＲＬ  Ｒｅｓｏｌｖｅｒとして運用するためには、この部分の自動化が必要不可欠である。
【００１５】
本発明の目的は、検出対象サイトとは別のサイトである代用可能候補サイトの当該検出対象サイトに対する代用可能性を自動的に判定可能なリンク情報によるウェブページ間の類似度自動判定方法、装置及びそのプログラムを記録した媒体を提供することにある。
【００１６】
【課題を解決するための手段】
まず、公知の内容であるリンク情報から２つのウェブページの類似度を求める方法について説明する。例として検出元サイトであるサイトＡと、そのミラーであるサイトＢを考える（例えばwww.asahi.comとntt.asahi.comの関係）。そして、以下のような戦略を考える。
【００１７】
『ミラーサーバを置くサイトはそのサーバの負荷分散が目的であるので、アクセスしてくるユーザにミラーの情報を教えたいはずである。つまり、自分のサイトのどこかにミラー情報が記述されていると考えるのは自然である。従って、サイトＡのホームページから辿れるリンク何階層分かのコンテンツを収集、解析することでミラーサイトＢへのリンクが発見できる可能性が高い。』
つまり、サイトＡのＵＲＬをwww.mirror-A.co.jp、ミラーサイトＢのＵＲＬをwww.mirror-B.co.jpとすると、http://www.mirror-A.co.jpから辿れるｎ階層分のコンテンツの中にhttp://www.mirror-B.co.jpをリンクとする記述が発見できればよし、ということである。
【００１８】
次に、収集された（通常）膨大なリンク群の中からミラーサイトであるhttp://www.mirror-B.co.jpをいかにして発見するかである。www.mirror-A.co.jpのコンテンツとwww.mirror-B.co.jpのコンテンツを一字一句字面レベルで比較するというのは計算コストがかかりすぎる。そこで、これに関しては以下の戦略で判別を行うことを考える。
【００１９】
『ミラー、もしくはミラーに近い情報を保持しているサイトは、プライマリサイトと同一もしくはほぼ同一の情報を提供していることから、それぞれのサイトで挿入されている広告等が異なっても、リンクの配置構造はほぼ一致するはずなので、この「リンク構造の類似度」を手掛かりに判別を行う。』
この方法は、リンク情報のみを比較するので字面レベルで比較するのに比べてはるかに効率が良い。また、字面レベルでの類似度に比べ、リンク情報に関する類似度は、仮に類似度が１００％でないサイト同士であっても、何らかの関連性の発見が期待できる等の柔軟性も持つ。
【００２０】
具体的には、検出元サイトであるプライマリサイトＡと、サイトＢを仮定し、サイトA/index.htmlに相当するウェブページ内の内部向けリンク数をＡint、外部向けリンク数をＡextとする。そして、サイトB/index.htmlに相当するウェブページ内の内部向けリンクの中でＡintに含まれるリンク数をＢint_hit、外部向けリンクの中でＡextに含まれるリンク数をＢext_hitとする（Ｂint_hitを求める際はサイトＡ及びサイトＢのホスト部分を除いた部分に関してマッチングを行う）。するとサイトＡとサイトＢ間の類似度は、
｛（Ｂint_hit＋Ｂext_hit）／（Ａint＋Ａext）｝×１００（％）……（１）
となる。
【００２１】
次に、本特許における申請事項である、ある類似度が得られた２つのウェブページが実際にミラーもしくはミラーの代用として利用可能であるかどうかを自動的に判断する手段について説明する。
【００２２】
アクセスの負荷分散を目的とするミラーリングやキャッシュ技術についてはいろいろな手法が提案されているが、ほとんどが予めミラーサイトなどが事前に同定されていることが前提であり、どのように負荷分散を行うかが焦点となっている。これに対し、ミラーサイトを探索することも目的である本手法においては、Ｗｅｂページの構造についても考慮する必要がある。ここで、ユーザがウェブページをアクセスする目的は大きく、以下の２つのパターンに分類できる。
【００２３】
・そのウェブページをリンクを辿る始点とするアクセス：例えばwww.linux.or.jpなどは外部リンクへのＨＵＢの役割という位置付けとしてアクセスされることが多く、このようなサイトをＨＵＢ型サイトと呼ぶことにする。
【００２４】
・そのウェブページのコンテンツを参照するためのアクセス：例えばwww.asahi.comはそのウェブページのコンテンツ自身であるニュースの内容にアクセスすることが目的であり、このようなサイトをコンテンツ型サイトと呼ぶことにする。
【００２５】
そして、ＨＵＢ型／コンテンツ型サイトに対してそれぞれ検出元サイトの代用が可能なサイトの条件を考えてみると、以下のようになる。
【００２６】
・ＨＵＢ型サイトにおいては、ＨＵＢ型サイトに埋め込まれている外部リンクと同等のリンクを有するサイトであれば、ユーザはこのサイトをＨＵＢ型サイトの代用として利用することができる可能性が高い。
【００２７】
・これに対し、コンテンツ型サイトにおいては、ページの構造が類似していない場合には、代用可能であるかを判断するのに、リンク情報に加えて、コンテンツレベルでの比較も必要となる。
【００２８】
［ＨＵＢ型サイトの代用可能性判定方法］
図１はＨＵＢ型サイトの代用可能性判定方法、即ち請求項１、２に対応する本発明方法の概要を示すものである。
【００２９】
まず、検出対象であるＨＵＢ型プライマリサイトをＡと仮定し、サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集する（ｓ１１）。
【００３０】
次に、サイトＡに関する外部向けリンク中の１つの代用可能候補サイトをＢと仮定し、サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集する（ｓ１２）。
【００３１】
なお、この際、類似度は、（１）式の類似度の算出方法に従って
｛（Ｂint hit＋Ｂext hit）／（Ａint＋Ａext）｝
……（２）
であるとする。
【００３２】
ここで、サイトＡのインデックスページ（A/index.html）から辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの数をＡint_depthとして、また、外部向けリンクの数をＡext_depthとして求め、同様にサイトＢのインデックスページ（B/index.html）から辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint_depthに含まれるリンクの数をＢint_depth_hitとして、また、外部向けリンクの中でＡext_depthに含まれるリンクの数をＢext_depth_hitとして求める（ｓ１３）。
【００３３】
この時、
0003678985.tif 000002
を算出し（ｓ１４）、
α＞β                                                  ……（５）
であれば、サイトＢは代用可能である可能性が高い、と推定できる（ｓ１５）。
【００３４】
そして、これらを前記サイトＡに関する外部向けリンク中の全ての代用可能候補サイトについて繰り返す（ｓ１６）。
【００３５】
『代用可能なＨＵＢ型サイトであれば、リンクを掘り下げていけばいくほど、その自サイト内へのリンクがプライマリサイトと異なる度合が大きくなっても、同一である外部サイトへのリンク数は増加するはすである』というのが根拠である。
【００３６】
この仮定に基づいて、ＨＵＢ型サイトに分類できるwww.apple.comを検索対象サイトとして、代用可能サイトの検出を試みた結果の一部を以下に示す。それぞれ上記α，βの順番で算出された類似度を示す。
【００３７】
[www.apple.com][www.apple.com.au/]=(14/31)=45.2%
[www.apple.com][www.apple.com.au/]=(34/180)=18.9%
[www.apple.com][www.applecc.com/]=(9/31)=29.0%
[www.apple.com][www.applecc.com/]=(18/180)=10%
上記３サイトはいずれもwww.apple.comの代用として利用できるサイト（一部）。
【００３８】
[www.apple.com][www.apple.com.tw/]=(4/31)=12.9%
[www.apple.com][www.apple.com.tw/]=(7/180)=3.9%
www.apple.com.twは、ページの全体的構造は酷似しているものの、言語が異なるため、逆に台湾からは他のサイトが代用できる。そもそも類似度が２０％以下と低い。
【００３９】
数サイトに対して実験を試みた結果、αが０．２（２０％）を越え、かつ上記条件を満たすサイトはほぼ全て代用可能なサイトであった。
【００４０】
図２は前述したＨＵＢ型サイトの代用可能性判定を行う装置、即ち請求項３、４に対応する本発明装置の概要を示すもので、図中、２１はリンク情報収集手段、２２はリンク数算出手段、２３は類似度計算手段、２４は類似度判定手段である。
【００４１】
リンク情報収集手段２１は、検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集し、サイトＡに関する外部向けリンク中の代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとして収集する。
【００４２】
リンク数算出手段２２は、サイトＡのインデックスページから辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint_depth及び外部向けリンクの数Ａext_depthをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint_depthに含まれるリンクの数Ｂint_depth_hit及び外部向けリンクの中でＡext_depthに含まれるリンクの数Ｂext_depth_hitをそれぞれ求める。
【００４３】
類似度計算手段２３は、前記（３），（４）式の演算を実行する。類似度判定手段２４は、前記（５）式の判定を行い、サイトＢの代用可能性を推定する。
【００４４】
［コンテンツ型サイトの代用可能性判定方法］
図３はコンテンツ型サイトの代用可能性判定方法、即ち請求項７、８に対応する本発明方法の概要を示すものである。
【００４５】
www.asahi.comなどを始めとするコンテンツ型サイトに対して代用可能なサイ卜は、少なくともコンテンツに関してミラーされていれば良いので、コンテンツ以外のリンクに関しては構造がプライマリサイトと異なる可能性が高い。さらに、コンテンツに関するリンク数がコンテンツ以外に関するリンク数よりも少なくなればなるほど前記手法で得られる類似度は低くなってしまう。
【００４６】
そこで、次のような検出方法を考える。これまではリンクのみのマッチングを行う仕様であったが、リンクに加えてリンクに付加されるタグとａｌｔオプションに記述されている文字列までをマッチングの対象とするよう拡張し、これらがマッチした時には、そのリンクに対して「タグとａｌｔオプションの文字列の長さに応じた得点」を与えることにする。
【００４７】
例えば、ａｌｔオプションが設定されている以下のリンクであれば、
<a  href="http://www.apple.com/store/">
<img src="http://a772.g.ak  略  /2.gif"width="84"
height="42" alt="The Apple Store." border="0"></A>
これまでは、http://www.apple.com/storeのみを抽出してマッチングを行っていた。これに対してhttp://www.apple.com/storeとThe Apple Store.をそれぞれマッチングの対象として類似度の計算を行う。すると、以下の組み合わせが考えられる。
【００４８】
・リンク部とタグもしくはａｌｔ部が同一
・リンク部が同一で、タダもしくはａｌｔ部が異なる
・リンク部が異なるものの、タグもしくはａｌｔ部が同一
・両方とも異なる
そして、上記例の場合はミラー候補サイトのリンクとのマッチングにおいて、仮にリンク部とタグ部が同一のリンクが発見されたとすると、このリンクに対して以下に示す規則に基づいて１６点（「The Apple Store.」の文字数）を点数として与える。
【００４９】
１．リンク部とタグ部が同一の場合は、タグもしくはａｌｔの文字数
２．リンク部が異なるものの、タグもしくはａｌｔ部が同一の場合は、項目１×８０％
３．リンク部が同一で、タグもしくはａｌｔ部が異なる場合は、項目１×６０％
４．両方とも異なる場合は０
従って、次の例、
<a herf="0604/news/politics04001.html">
Ｍ首相の「</a>△△」発言に○主，共☆の両党が反発（０８：４０）<br>
であれば、ミラー候補サイト内のリンクの中で、リンク部とタグ部が同一のものが存在した場合に、このリンクに対して『Ｍ首相の「』の文字数である５点が与えられる。このように、タグのマッチングは、ａｌｔオプション内の文字列及び、<a><a/>タグ内の文字列のみに対して行う。
【００５０】
具体的には、まず、検出対象であるコンテンツ型プライマリサイトをＡと仮定し、サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集する（ｓ３１）。
【００５１】
次に、サイトＡに関する外部向けリンク中の１つの代用可能候補サイトをＢと仮定し、サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集する（ｓ３２）。
【００５２】
なお、この際、サイトＡの外部向けリンク数Ａextの各リンクのタグの文字数の合計点をＡext+tagとし、完全なミラーサイトとのマッチングを行った際に獲得できる最高得点とする。また、サイトＢの外部向けリンクの中でＡextに含まれるリンク数Ｂext_hitの各リンクに対して上記組み合わせに該当する得点を与えたものの合計点をＢext_hit+tagとし、
Ｂext_hit+tag／Ａext+tag                                ……（６）
によってサイトＡとサイトＢの類似度とする。
【００５３】
ここで、サイトＡのインデックスページ（A/index.html）から辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint_depth及び外部向けリンクの数Ａext_depthをそれぞれ求め、同様にサイトＢのインデックスページ（B/index.html）から辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint_depthに含まれるリンクの数Ｂint_depth_hit及び外部向けリンクの中でＡext_depthに含まれるリンクの数Ｂext_depth_hitをそれぞれ求め（ｓ３３）、α，βを算出しておく（ｓ３４）。
【００５４】
次に、内部向けリンクの数Ａint_depth及び外部向けリンクの数Ａext_depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値をそれぞれＡint_depth+tag及びＡext_depth+tagとして求め、また、内部向けリンクの中でＡint_depthに含まれるリンクの数Ｂint_depth_hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値をＢint_depth_hit+tagとして、また、外部向けリンクの中でＡext_depthに含まれるリンクの数Ｂext_depth_hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値をＢext_depth_hit+tagとして求める（ｓ３５）。
【００５５】
この時、この拡張を施した状況におけるγ，δを
γ＝Ｂext depth hit+tag／Ａext depth+tag            ……（７）
δ＝（Ｂint depth hit+tag＋Ｂext depth hit+tag）
／（Ａint depth+tag＋Ａext depth+tag）        ……（８）
として算出し（ｓ３６）、
α＜γもしくはβ＜δ                                    ……（９）
であれば、ミラー候補が代用できる可能性があると判断する（ｓ３７）。
【００５６】
そして、これらを前記サイトＡに関する外部向けリンク中の全ての代用可能候補サイトについて繰り返す（ｓ３８）。
【００５７】
なお、この際、（７）もしくは（８）式の演算を省略し、（９）式中のいずれか一方の判定を省略することもできる（但し、δの方が代用可能性をより正確に反映するので、実際に省略する場合はγの方について省略した方が良い）。
【００５８】
残念ながら、リンク構造とリンク付加されたタグの両方が異なりつつもミラーの関係にあるサイトは本手法では検出することはできない。しかし、現実問題として、そのようなサイトがどの程度存在するのかは疑問であり、調査する必要がある。
【００５９】
この拡張版仕様に基づいてwww.asahi.comに対するjustnet.asahi.comとnifty.asahi.comの類似度を計算すると、以下のようになった。
【００６０】
[www.asahi.com][justnet.asahi.com]=(177点/204点)=86.8%
[www.asahi.com][nifty.asahi.com]=(171点/204点)=83.8%
このように、コンテンツ型サイトであっても、リンクに付加されたタグまでのマッチングによって高い類似度を得ることが可能となる。
【００６１】
図４は前述したコンテンツ型サイトの代用可能性判定を行う装置、即ち請求項９、１０に対応する本発明装置の概要を示すもので、図中、４１はリンク情報及び文字列収集手段、４２はリンク数算出手段、４３は類似度計算手段、４４は拡張リンク数算出手段、４５は拡張類似度計算手段、４６は類似度判定手段である。
【００６２】
リンク情報及び文字列収集手段４１は、検出対象サイトＡのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＡであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集し、サイトＡに関する外部向けリンク中の代用可能候補サイトＢのインデックスページに埋め込まれているリンクを抽出し、そのうちホスト部分がサイトＢであるものを内部向けリンク、それ以外のサイトであるものを外部向けリンクとしてそのリンクに付加されたタグもしくはａｌｔオプションに記述されている文字列とともに収集する。
【００６３】
リンク数算出手段４２及び類似度計算手段４３は、前述したリンク数算出手段２２及び類似度計算手段２３と同一である。
【００６４】
拡張リンク数算出手段４４は、サイトＡのインデックスページから辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの数Ａint_depth及び外部向けリンクの数Ａext_depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint_depth+tag及びＡext_depth+tagをそれぞれ求め、サイトＢのインデックスページから辿ることができる各リンク先のウェブページ内に埋め込まれている内部向けリンクの中でＡint_depthに含まれるリンクの数Ｂint_depth_hit及び外部向けリンクの中でＡext_depthに含まれるリンクの数Ｂext_depth_hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint_depth_hit+tag及びＢext_depth_hit+tagをそれぞれ求める。
【００６５】
拡張類似度計算手段４５は、前記（７），（８）式の演算を実行する。類似度判定手段４６は、前記（９）式の判定を行い、サイトＢの代用可能性を推定する。
【００６６】
［類似度推測誤りを低減化する方法］
前述した［文献７］での検出法では、リンクを収集する深さ（リンク収集深度）と、ＵＲＬ同士の類似度を求める際の深さをそれぞれ固定していた。リンクを収集する深さを深くすることにより、よりミラーサイト検出の可能性が増すことは自明であるが、収集されるリンク数、並びに計算量も指数関数的に増加する恐れがある。しかし、［文献７］において指摘しているように、収集されるリンク数が少ない場合に誤検出を生じるという問題があった。
【００６７】
そこで、類似度を計算する際の検出対象サイト、もしくは代用可能候補サイトのウェブページ内のみのリンク数がある閾値よりも少ない場合には、順次リンクを収集する際にリンクを辿る深さを増加するよう変更する。現在ではリンク数が１０個以下である場合に、リンクを一階層分辿るようにしてあり、これにより１００％近い類似度であるにも拘わらず、無関係なサイトが検出される頻度をほぼ０％とすることができる。
【００６８】
なお、本発明は、周知のＣＰＵ、メモリ、外部記憶装置等のハードウェアとともに、図１、３の工程図に示される手順を備えたソフトウェア（プログラム）を記録した媒体、もしくは図２、４の構成図に示される機能を備えたソフトウェア（プログラム）を記録した媒体によっても実現可能である。
【００６９】
【発明の実施の形態】
図５乃至図１１は本発明の実施の形態の一例、ここではhttp://www.hogehogeA.co.jpを検出対象サイトとし、そのミラーサイトもしくはミラーサイトとして代用可能なサイトをリンク収集深度３まで検出する処理のアルゴリズム（フローチャート）を示すものである。
【００７０】
ここで、図５、図６はリンク情報及び文字列収集を含む処理全体、また、図７、図８はリンク数算出及び類似度計算処理、また、図９、図１０は拡張リンク数算出及び拡張類似度計算処理、また、図１１は類似度判定処理をそれぞれ示している。
【００７１】
図５において、ｓ１０１〜ｓ１０３は検出対象Ａサイト、リンク収集深度等に関する初期設定処理である。ｓ１０４，ｓ１０５はプライマリサイトＡのインデックスページに埋め込まれた内部向け及び外部向けリンク情報の収集処理である。ｓ１０６〜ｓ１１１はプライマリサイトＡのインデックスページに埋め込まれた内部向けリンクに基づく収集深度３までの内部向け及び外部向けリンクの収集処理である。
【００７２】
また、図６において、ｓ１１２〜ｓ１１４は代用可能候補Ｂサイト、リンク収集深度等に関する初期設定処理である。ｓ１１５，ｓ１１６はサイトＢのインデックスページに埋め込まれた内部向け及び外部向けリンク情報の収集処理である。ｓ１１７〜ｓ１２２はサイトＢのインデックスページに埋め込まれた内部向けリンクに基づく収集深度３までの内部向け及び外部向けリンクの収集処理である。ｓ１２３は図７〜図１１に示す処理、ｓ１２４はサイトＡ，Ｂ間の類似度の出力処理、ｓ１２５は全ての代用可能候補サイトに関する類似度を算出するための繰り返し処理である。
【００７３】
また、図７において、ｓ２０１，ｓ２０２は現リンク収集深度、内部向けリンクの数Ａint_depth及び内部向けリンクの中でＡint_depthに含まれるリンクの数Ｂint_depth_hitに関する初期設定処理である。ｓ２０３〜ｓ２１０はリンク数Ａint_depth及びＢint_depth_hitの算出処理である。
【００７４】
また、図８において、ｓ２１１，ｓ２１２は外部向けリンクの数Ａext_depth及び外部向けリンクの中でＡext_depthに含まれるリンクの数Ｂext_depth_hitに関する初期設定処理である。ｓ２１３〜ｓ２１９はＡext_depth及びＢext_depth_hitの算出処理である。ｓ２２０は類似度α，βの計算処理である。
【００７５】
また、図９において、ｓ３０１，ｓ３０２は現リンク収集深度、内部向けリンクの数Ａint_depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａint_depth+tag及び内部向けリンクの中でＡint_depthに含まれるリンクの数Ｂint_depth_hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂint_depth_hit+tagに関する初期設定処理である。ｓ３０３〜ｓ３１１はＡint_depth+tag及びＢint__depthhit+tagの算出処理である。
【００７６】
また、図１０において、ｓ３１２，ｓ３１３は現リンク収集深度、外部向けリンクの数Ａext_depthにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ａext_depth+tag及び外部向けリンクの中でＡext_depthに含まれるリンクの数Ｂext_depth_hitにタグもしくはａｌｔオプションに記述されている文字列の長さに応じた得点を付与した値Ｂext_depth_hit+tagに関する初期設定処理である。ｓ３１４〜ｓ３２１はＡext_depth+tag及びＢext_depth_hit+tagの算出処理である。ｓ３２２は類似度δの計算処理である。
【００７７】
また、図１１において、ｓ４０１〜ｓ４０３は類似度α，β，δの比較処理、ｓ４０４〜ｓ４０７は判定結果である。なお、この実施の形態では、（７）式の演算及び（９）式中の「α＜γ」の判定を省略した。
【００７８】
【発明の効果】
以上説明したように、本発明によれば、従来の技術に挙げた手法に頼ることなく、自力で検出対象サイトとは別のサイトである代用可能候補サイトの当該検出対象サイトに対する代用可能性を効率的に判定することが可能となる。そして、判定する際の転送率なども記録しておくことで、ユーザがネットワークを利用する状況に応じたさらにきめ細かな誘導が実現できる。
【図面の簡単な説明】
【図１】請求項１、２に対応する本発明方法の概要を示す工程図
【図２】請求項３、４に対応する本発明装置の概要を示す構成図
【図３】請求項７、８に対応する本発明方法の概要を示す工程図
【図４】請求項９、１０に対応する本発明装置の概要を示す構成図
【図５】本発明の実施の形態の一例を示すリンク情報及び文字列収集を含む処理全体のフローチャート
【図６】本発明の実施の形態の一例を示すリンク情報及び文字列収集を含む処理全体のフローチャート
【図７】本発明の実施の形態の一例を示すリンク数算出及び類似度計算処理のフローチャート
【図８】本発明の実施の形態の一例を示すリンク数算出及び類似度計算処理のフローチャート
【図９】本発明の実施の形態の一例を示す拡張リンク数算出及び拡張類似度計算処理のフローチャート
【図１０】本発明の実施の形態の一例を示す拡張リンク数算出及び拡張類似度計算処理のフローチャート
【図１１】本発明の実施の形態の一例を示す類似度判定処理のフローチャート
【符号の説明】
ｓ１１：プライマリサイトリンク情報収集処理、ｓ１２：代用可能候補サイトリンク情報収集処理、ｓ１３，ｓ３３：リンク数算出処理、ｓ１４，ｓ３４：類似度計算処理、ｓ１５，ｓ３７：類似度判定処理、ｓ３１：プライマリサイトリンク情報及び文字列収集処理、ｓ３２：代用可能候補サイトリンク情報及び文字列収集処理、ｓ３５：拡張リンク数算出処理、ｓ３６：拡張類似度計算処理、２１：リンク情報収集手段、２２，４２：リンク数算出手段、２３，４３：類似度計算手段、２４，４６：類似度判定手段、４１：リンク情報及び文字列収集手段、４４：拡張リンク数算出手段、４５：拡張類似度計算手段。
【図１】
0003678985.tif 000003
【図２】
0003678985.tif 000004
【図３】
0003678985.tif 000005
【図４】
0003678985.tif 000006
【図５】
0003678985.tif 000007
【図６】
0003678985.tif 000008
【図７】
0003678985.tif 000009
【図８】
0003678985.tif 000010
【図９】
0003678985.tif 000011
【図１０】
0003678985.tif 000012
【図１１】
0003678985.tif 000013