World Wide Web の測定：Web ページ推定手法の比較
池内淳（大東文化大学）
安形輝（亜細亜大学）
Ⅰ．はじめに
これまで、インターネット上にあるWeb ページ数を測定するための手法が二、三考案されてき（3）調査ロボットを用いた方法
本研究では、このうち、(1)と(2)の方法論について取り上げる。

た。それらの結果、Web が「指数関数的」と形容されるような、極めて急速なペースで成長しA．複数のサーチエンジンを用いる方法続けていることや、サーチエンジンの収載能力

ここでは、一対（もしくは多対）のサーチエンジが、その成長に追いついていないこと等が明らン間の出力した URL（群）の一致数から、Webかにされてきた。

ページ数が推定される。これは、生物学分野にしかしながら、それらの既往調査は、異なっおいて「捕獲−再捕獲法」などと呼ばれ、広く用た方法論を用いて、散発的に行われてきたにいられている手法を応用したものである。このア過ぎず、調査結果間の相互比較が必ずしも円プローチに基づいた事例としては、Bharat &滑に行われるという訳ではない。また、それぞBroder2), 3)や Lawrence & Giles 4)による調れの手法には、いずれも、方法論上の潜在的査の存在するほか、我が国のWeb ページのみな欠陥の存在することが既に知られているが、を対象とした調査もいくつか存在する。

それが測定の際にどのような影響を及ぼし、実インターネット上に存在する Web ページ数の数と推定値にどの程度の誤差を生じさせること

推定値を N とすると、N は 1 式によって求めるになるのかを明らかにする手だてはない。同様ことができる。に、いずれの方法論に則れば、最も精度の高これまで顧みられることはなかったと言える。

nn
N= 1 2m

い測定が行われるかといった論点についても、（1）

そこで、本研究では、同時期に、二つの測定

ここで、n1、n2 はサーチエンジンの収集ページ手法を用いて Web ページ数を推定することに数、m は n 1 と n 2 中の一致したページ数であより、各々の調査結果によって導き出される数る。

値に、どの程度の差異が存在するのかを実証

但し、1 式が妥当であるのは、n1 及び n 2 が母的に明らかにするとともに、各々の方法論がど集団から無作為に抽出された場合のみである。のような特性を持っているのかについて考察を言うまでもなく、ロボットにおるクローリングの場加える。

合、被リンク数の多寡によって、サーチエンジンに収集される確率は大きく変化すると考えられ

Ⅱ．既往調査原田

1)は、Web ページ数を推定するためのるし、実際に、頻繁に参照されているサーバについては、手法を、以下の三つのアプローチに分類していより深いレベルまでクローリングを行うといったる。

方針を採用しているロボットも存在する。したが（1）複数のサーチエンジンを用いる方法って、ここでの推定値は、実際の Web ページ（2）WWW サーバの無作為抽出による方法数を過小に評価してしまう虞がある。

B．WWW サーバの無作表 1. 既往調査による Web ページ数
調査時期

調査方法Web ページ数

「WWW サーバの無作為

Bharat ら2)

Jun. 1997

サーチエンジン

125,000,000抽出による方法」を用いた

Bharat ら 2)

Nov. 1997

サーチエンジン

200,000,000

事例としては、Lawrence

Lawrence ら 4)

Dec. 1997

サーチエンジン

320,000,000& Giles5)による事例が存

Bharat ら 3)

Mar. 1998

サーチエンジン

250,000,000

在する。

Lawrence ら 5)

Feb. 1999

Web サーバ

800,000,000

為抽出による方法

ここでは、まず、現行の標準規格である IPv4 で可能な 32 ビット（＝4,294,967,296）の IP アドレスに対して、ランダムなアクセスを繰り返し、Web ポート（80 番）の開いているサーバ数をチェックすることによって、全体に占める WWW ホストの比率を確認する。さらに、1 サーバ当たりの平均 Web ページ数を測定し、両者を掛け合わせることによって、Web ページ全体を推定している。
この手法は、Web サーバへのアクセスの段階
では、三つのアプローチのうち最も偏りのないサンプリングが行えることに疑いはないが、サーバ単位の平均ページ数が正確に測定できるかどうかという難点が存在する。また、仮に、正確に測定できていたとしても、ごく一部の極めて多くのページを保持しているサイト（プロバイダ等）を含むか否かによって、この値が大きく変化してしまうこととなる。
C. 既往調査による推定値の変遷
以上のような方法論に則って、これまでに行われた既往調査による結果を表 1 に示す（→表1）。
これに従えば、1997 年 6 月から 1999 年 2月までの Web ページの平均増加率増加数は、一ヶ月、約 3300 万ページであるということになる。また、Web 全体に占める最大のサーチエンジンの索引率についても、1997 年当初は最大で 50％程度もあったものが、1999 年の調査
では、16％にまで減少しており、Web の急速な成長にサーチエンジンが追ついていないことなどが描写されている。

Ⅲ．方法論と結果
本稿では、二つの方法論のうち「複数のサーチエンジンを用いる方法」に基づいた調査の結果について述べる。
調査は以下の手順にしたがって行われた。
①

サーチエンジンの選定②

標本 URL の抽出③

URL の正規化と重複除去④

一致数の測定⑤ サーチエンジンの規模の測定⑥ Web ページ数の推定
まず、調査のために使用するサーチエンジンについては、規模・安定性・知名度などの要素を勘案して、以下の四つを選定した。
① AlltheWeb: http://www.alltheweb.com/② AltaVista: http://www.altavista.com/③ Google: http://www.google.com/④ HotBot: http://www.hotbot.lycos.com/
このほかにも Northern Light, Lycos,Excite, WiseNut など調査対象の候補となるサーチエンジンは複数あったが、それぞれ、なんらかの理由により除外した。
次に、標本 URL の 抽 出 に つ い て は 、WordNet のシソーラス（約 19 万語）から単語（約 8 万語）を切り出し、それらの中から無作為に 2 語を組み合わせて AND 検索を行った。
ここでは、各サーチエンジンに対して 1 万回ずつ検索を繰り返し、四つ全てのサーチエンジンで 1 件以上ヒットし、かつまた、各サーチエンジンの最大表示件数（ほとんどが 1,000 件）以内に収まるもののみを対象とした。

この作業は 2001 年 8 月 30 日〜31 日にか

表 2. ユニーク URL に占める

け て お こ な わ れ 、 そ の 結 果 、 4,224 件

サーチエンジン間の重複数（42.2％）が採用された。この段階で収集され化を行うとともに、重複除去を行った。

overlap by 4
By 3
By 2
By 1

26,902(4.5%)
57,770(9.6%)
130,420(21.6%)
388,842(64.4%)① URL を小文字に統一

unique URL

603,934(100%)

た延べ URL 数は 1,192,728 であった。
次に、以下の手順にしたがって、URL の正規② 16 進数文字の変換③ IP をドメインネームに変換

表 3. 単一のサーチエンジンによる出力の内訳④ ポート番号の除去⑤ デフォルト・ページの除去⑥ バイナリ・ファイルの除去⑦ 各サーチエンジン内での重複除去
ちなみに、⑤のデフォルト・ページとは、ここでは、index.html, index.htm, default.aspを指す。

AlltheWeb
AltaVista
GoogleHotbot114,944(29.6%)
47,857(12.3%)
152,423(39.2%)
73,618(18.9%)

total

388,842(100%)

四つのサーチエンジン間の出力 URL の一致

以上の結果、四つ全てのサーチエンジンの重率は、表4 の通りである（→表4）。概ね20％〜

複除去後の URL の合計は 930,598（78％）と50％の間に落ち着いていることが看て取れる。

なった。

次に、サーチエンジンの絶対数を測定した。

次に、サーチエンジン間の出力 URL の一致

多くのサーチエンジンが公表している収集ペー数を求めた。標本全体のユニーク URL の数はジ数は、かならずしも正確であるとは言えない603,934（50.6％）であった。ここで、ユニークため、ここでは、独自に調査を行った。

URL のうち、単一のサーチエンジンのみしか出

URL か ら の 検 索 が 可 能 な AltaVista と力しなかったもの、あるいは、複数のサーチエ

AlltheWebを用いて、URL 中に「http」を含むンジンが重複して出力したものの比率を示したページを全て検索したところ、前者はものが表 2 である。（→表 2）

525,199,572、後者は 620,078,439 という四つ全てにおいて等しく検索されたものは全値が得られた。さらに、AltaVista のドメイン検体の 4.5％、単一のサーエンジンのみしか出力索機能を用いて 250 のトップレベル・ドメインごしなかったものが 64.4％にのぼった。とに検索を行い、その合計数を求めたところ、さらに、その64.4%（388,842）の内訳を表577,089,095 となった。

3 に示した（→表 3）。

以上の数値と、今回の調査から得られた各サーチエンジンの出力数の比率とを掛け合わせ

表 4. サーチエンジン間の URL の一致率
Alltheweb

AltaVista

GoogleHotbotAlltheweb

―

47.9%

26.5%

AltaVista

45.0%

21.8%
―

41.5%

22.0%

52.4%
―

31.6%

GoogleHotbot

42.5%

24.5%

41.9%

22.7%
―

ンジンを併表 5. 推定された Web ページ数
AltaVista
GoogleHotbotAlltheweb

AltaVista

2,649,690,773
2,870,789,450
2,804,882,823

2,622,132,982
2,356,332,563

用いれば、Google

全 体 の76.9 ％ を検索するこ

3,281,708,672とが可能でることによって、サーチエンジンのデータベースあることが分かる。の規模（＝検索可能ページ数）を推定した。基
準値としては、最も大きい AltaVista の【注・引用文献】
1)原田昌紀． WWW ロボットとサーチエンジンのス577,089,095 を採用することとした。
以上のデータを用いて、2001 年 8 月 31 日

． bit． Vol.31 ， No.12 ，ケーラビリティ

時点の Web ページ数を求めた。各サーチエン

p.22-28(1999)
2)Bharat, K., Broder, A.

ジンの対ごとの Web ページの推定値を表 5 に示した（→表 5）。

Estimting theRelative Size and Overlap of Public Web
Search Engines

最も少ないのは、AltaVista と Google によ. WWW7 in April 1998.

3)Bharat, K., Broder, A.

る約 26 億ページであり、最も多かったのはMeasuring theGoogle と HotBot による 32 億ページであっWeb .

た。この方法論による推定値は Web ページ数

http://www.research.digital.com/SRC/whatsnew/sem.html

を過小に評価してしまう可能性があることから、

4)Lawrence, s., Giles, C. L.

ここでは、既往調査と同様、最大の推定値を採World Wide Web用することとした。

Searching the. Science. Vol.280,

No.5360, p.98-100(1998)

その結果、この中で最大のサーチエンジンで5)Lawrence, S., Giles, C. L.

ある Google は Web 全体の 41.9%を網羅しAccessibility ofており、既往調査の結果に反して、Web の成Information on the Web . Nature. Vol.400,

長に十分追随している。また、四つのサーチエ

p.107-109(1999)

Toal Web3,282

4 Engines2,5231,374

GoogleAlltheWeb

1,192

HotBot745

AltaVista

577
0500

1,000

1,500

2,000

2,500

3,000

3,500