P2PのP e e rt o

P e e r

インターネットのこれからの通信スタイルを変える

現時点では最強の検索エンジン
Google
今インターネットで最も使われている検索エンジンがGoogleであることは誰もが認める事実だろう。Googleは、検索結果がすばやく返ってくること、検索の幅広さ、検索の正確さによって多くのユーザーを獲得し、もはや WWWと同義語になりつつある。それは次のようなデータからも裏付けられる。
●WWW検索要求の75パーセント、1日2億回の検索要求を処理

川崎裕一
Jnutella.org代表

http://www.jnutella.org/

真実●検索エンジンの利用シェアでは55.2パーセントを占める（21.7 パーセントで 2位のYahoo!はGoogleのエンジンを使用しているので、合計するとGoogleエンジンのシェアは実に76.9パーセントとなる）● Google は、200 か国、88 の言語で検索される●インターネット広告の 40 パーセントがGoogleの扱う広告で費やされる●Googleの抱える広告主は10万社●2002年度の売り上げが4億〜7億ドル（予測）●2003年度の売り上げは20億ドルになると言われている

Googleをしてもできないこと
前述したように検索エンジンビジネスで第4回 GoogleとP2P分散検索エンジン
ナプスターから始まったP2P型のファイル共有は、ADSLをはじめとする高速常時接続のインフラの普及で、ここ日本でも爆発的に利用が増えている。
すでにインターネットのトラフィックの主役は今後HTTPではなくP2Pになるかもしれないとも言われている。しかし、P2P＝違法ファイル交換という図

支 配 的 な 地 位 を 固 めるその 一 方 で、Googleが把握できているドキュメントはウェブに転がる情報のほんの一握りにすぎないのである。
Googleが現在インデックスしているの式から抜け出せないでいると、P2Pの本質を見失うことになり、技術の進化は30億ページ強だが、ウェブ上には5500の機会を逃しかねない。

億ページものドキュメントが存在すると言今回は最強の検索エンジンとして君臨するGoogleとGoogleの抱える問われている題、そしてその問題を異なるアプローチで解決しようとする分散検索エンジンの可能性と課題を考えてみたい。

158 +++ iNTERNET magazine 2003.07 +++。

この大きな隔たりは、Googleの検索ス
パイダーで情報を集められないドキュメント

インターネットマガジン／株式会社インプレスR&D©1994-2007 Impress R&D

が数多く存在することによる。具体的に動画の中で、ある野球選手がホームランcに関してはともかく、aやbに関してはは、次のようなドキュメントは、そもそも検を打っているシーンを見つけ出すというの

Google のアプローチでは根本的な問題

索できない、検索精度が悪い、検索頻度は非常に困難である。ここでは、「ある選解決は図れないのかもしれない。そこで、が追いつかないなどのために、Googleが手」「ホームランを打っている映像」「ホーその他の検索アプローチが必要となって検索を苦手とするドキュメントである。

ムランが打たれた時間」などの映像情報くる。

がテキスト形式で記述されていなければ、a. 個人ユーザーのローカルマシンのGoogle で行われているようなキーワードその1つのアプローチがP2Pを利用した分散検索エンジンである。

による検索では引っかからない。

中のドキュメント全般
Googleがスパイダーを巡らせているウ

本当に検索精度を上げるのであれば、ェブサーバーは、基本的に常時接続されセマンティックウェブで提案されているよていていつでもドキュメントを提供可能なうな「意味情報」などを組み合わせなけれ状態になっている。これらに対して、個人ばいけない。

分散検索エンジンを一言で表すなら、ユーザーがISPから割り当てられたIPア
ドレスとダイナミックDNSを使い、少人数

新しいアプローチ：
P2P分散検索エンジン

昨今話題となっている分散コンピューティ
c. Blogのような更新頻度の高いングやグリッドコンピューティングの分散を対象にしているような、極めて限られたドキュメントや、あまり有名ではない処理の考え方を検索エンジンのインデッ目的での情報は、Googleにとって見つけ個人のウェブサイト内のドキュメントクス作成に利用するというものである。前

これに関しては、GoogleのPyra Labs

述したGoogleに代表される従来の中央集るのは極めて苦手だ。また当然と言えば当然だが、インターネットにつながってい買収がポイントとなるだろう。RDF

権型検索エンジンでは、スパイダー（またるけれどもローカルマシンのドキュメントを情報をGoogleの検索技術と組み合わせはロボットやクローラー）と呼ばれるプロ公開する設定にしていなければそもそも検ることで更新頻度の高いBlogのような情グラムリンクをたどってウェブ上のドキュメ索対象にはできない。

報に対する検索精度の向上を図っていく

ントを巡回し、その結果が中央のインデッものと思われる。2003 年 5月9日には、クスにまとめられるという手順を繰り返しb. 映像、音楽など、メタデータがGoogleの CEOで あ る Eric Schmidtがている。ユーザーは検索を行う際に、こドキュメントの意味を効果的にJP Morgan Technology and Telecomのインデックスを検索し、そのインデック示さないドキュメント

conferenceの中でBlogをGoogleで検索

スに書かれているURLからウェブに飛ん

これに関しては検索の仕組み自体に課できるようにすると発言している

でいくというわけである。

題が存在する。たとえば60分のMPEGのということなので、実現の日も近いだろう。

分散検索エンジンのアプローチでも、基本的な検索エンジンの仕組みとして検索対象のインデックスを作り出すことには変わりはない。変わるのは、そのインデッ

検索エンジンの情報収集とインデックス作成

クスの作成方法とインデックスの集め方【中央集権型検索エンジン】【分散検索エンジン】

である。

中央インデックス

分散検索エンジンでは、各ピアが各々インデックスクラスタリング
で負荷 分 散することもあるのスパイダーを持ち、そのピアスパイダーは、ウェブを回って任意に決められた自分クラスタリングの検索範囲や検索のロード（負荷）に基づで負荷 分 散することもある

いて、インデックスを拾ってくる。そしてそれぞれのスパイダーが、自分が所属するピ
分散インデックス

インデックス：サービスに1つ（またはクラスタリングで複数）インデックス：中央インデックスが1つ（またはクラスタリングで複数）と、各スパイダー：複数コンピュータ上に分散インデックスが1つずつスパイダーの目的地設定も、インデックスの管理も中央でコントロールする。

スパイダー：各コンピューター上に複数アの中にインデックスを作り出す。これが分散インデックスである。この分散インデックスを定期的に1つにまとめることで、1分散インデックスにスパイダーがひもづきインデックス収集する（青矢印）。
分散したインデックスはあるタイミングで、各コンピューターから中央の1つのインデックスに集約される（赤矢印）。

つの大きなインデックスが作り出されることになる。

インターネットマガジン／株式会社インプレスR&D©1994-2007 Impress R&D+++ iNTERNET magazine 2003.07 +++159

分散検索エンジンはもう動き出している

細な解説は行わない）。

分散検索エンジンの現状と課題、今後このDHTを分散インデックスとして用いた分散検索エンジンで、30億のウェブペ

Grub は P2P 分散検索エンジンのオー

さまざまな分散検索エンジンが主に米ージのインデックスを管理するには、分散プンソースプロジェクトだが、LookSmart

国を中心として提案、実装されつつある中検索ネットワーク全体として60テラバイトがその技術を2003年1月に130万ドル相で、これらを評価する研究論文も徐々に発のディスクスペースが必要とされる。そし当の現金と株式で買収した。MSN表されてきている。UCバークレーの研究てこれは、分散検索ネットワークに参加すなどにディレクトリーサービスを提供してい者により行われた分散検索エンジンの実る各PCが自分のディスクスペースを1GバたLookSmartがGrubを買収したことによ

現可能性に関する論文である「On the

イトずつ提供しても、6万台のPCが協力り、その検索サービスに関する事業戦略Feasibilityする必要がある計算である。

がどのように変化するかは注目に値する。

Indexing and Search」

多くの検索エンジンでは、蓄積されていof

Peer-to-Peer

Webから、分散検索エンジンの現状と課題、今後を紐解るインデックス上の各ドキュメントは1か月きたい。

検索を支える帯域幅
次にこの分散検索ネットワークに必要とに1回ほどしか情報が更新されない。これ

この論文の中で、研究者は当時Googleなる帯域幅を考えてみる。1999年度の米は主にコンピュータリソースの限界によるが持っていたインデックスよりもやや多い

国のインターネットを支えるバックボーンと言われている。しかし、P2P技術を利用30億ページを持つインデックスを分散検が100ギガビットであった。仮に分散検索すれば、協力的なエンドユーザーのコンピ索エンジンで実現することを前提に置いエンジンにおいて1秒間に1000クエリーュータリソースを使ってもっと頻繁にインている。の検索命令が行われ、これが前述したバ

60テラバイトの分散ハッシュテーブル

この検索ネットワークを支えるクエリー当

デックス上の各ドキュメントの情報を更新

ックボーンの10パーセントを使うとすると、できるのだ。
もちろんGrubのほかにも、さまざまなプ分散検索エンジンの基盤となる技術がたりの通信コストは約1メガバイトになる。

ロジェクトによってP2Pによる分散検索エ

分散ハッシュテーブル（DHT：Distributed

分散検索エンジンには、2 つの検索手ンジンの可能性が研究されている。また

Hash Table）である。DHTは、従来のハ法がある。1つはGnutellaやKaZaAが実直接検索には関係はないが、Googleが、ッシュテーブルを分散させたものであり、装している文書単位分割（Partition by

ユーザーが分散コンピューティングに参加代表的なものとしてMITのChordや、Document）である。それは、「MP3」やできる機能を Google Toolbarに搭載しNYUのKademliaなどがある（ハッシ「MPEG」などのファイルタイプを重視するていることは興味深い。

ュテーブル、DHT に関しては本稿では詳検索である。もう1 つは Google のような分散検索エンジンへの発展が期待されるLookSmart

160 +++ iNTERNET magazine 2003.07 +++Grubでは常に1000台以上のP2Pクライアントが稼働している

インターネットマガジン／株式会社インプレスR&D©1994-2007 Impress R&Dキーワードで検索できるキーワード単位分

クはまだまだ小さいものである。最大のネ

イル共有アプリケーションでは、ユーザー割（Partition by Keyword）である。同論

ットワークであるKaZaAのP2Pネットワー

は求めるファイルを検索する。その検索結文によると、文書単位分割の場合、6万台クでも、ユーザー数は 437 万人にすぎな

果画面の上位に広告主のコンテンツを配のピアに100バイトのクエリーを投げると

い（2003年5月9日現在）。

置し、ユーザーのコンテンツ購入やコンテすると6メガバイトが必要となる。これはLookSmartは、Googleなどの検索エンンツサイトへのトラフィック流入を発生さ先の仮説である米国インターネットのバッジンと真っ向勝負というよりは、これらにせるわけである。ファイル共有アプリケー

クボーンの10パーセントを用いた際のさ対して Grubを通じて作り出された安価、ションでは、コンテンツへの欲望が非常にらに6倍が必要となる。一方でキーワードかつ更新頻度が高い新鮮なインデックス

強く、コンテンツをダウンロードするため単位分割の場合、530メガバイト〜4000を提供し、補完する役割を果たそうとしてにリンクをクリックする率もGoogleと同じメガバイトが必要になるということである。

いるように見える。つまり、既存の検索エか、それ以上と想定されるために、高い広これは530倍から4000倍ということなる。

ンジンを裏で支える負荷分散ソリューショ

告効果が期待できる。

この帯域コストは非常に高く、今すぐにンを提供するビジネスモデルである。これGoogleを超えるP2P分散検索エンジン実用に堪えられるかというと疑問だ。しかによって、LookSmartはGoogleを強大なが生まれ、他のP2P事業分野よりも堅牢し、検索の最適化を行うために、キャッシ競争相手とするのではなく、ソリューションなビジネスモデルを持って登場する可能

ング、予測計算、圧縮、クラスタリングな提供先としてGoogleから収益を上げるこ性もないとは言えないのではなかろうか。

どを行うことでこの帯域コストは圧縮できとが可能になるのだ。

る可能性があるため、研究の進捗によっそうではなく既存の検索エンジンに真て大きな改善が見込める可能性がある。

っ向から挑戦を挑むならば、ビジネスとしてはGoogleが現在大きな収益を上げているキーワード広告モデルを踏襲するだ

段階的に進む分散検索エンジン

ろう。実際、Altnetでは「Top Search」といずれにせよ、インターネットどころか、ウェブの規模から見ても、P2Pネットワーいうキーワード広告をKaZaA上で展開している。KaZaA に代表されるファ検索エンジンの利用シェアで、Googleが圧倒的首位にhttp://internet.watch.impress.co.jp/www/article/2003/0514/one.htm

JEP: The Deep Web
http://www.press.umich.edu/jep/07-01/bergman.html

Googleが Blog 作成ツール開発元のPyra Labsを買収
http://internet.watch.impress.co.jp/www/article/2003/0218/google.htm

P2P分散検索のプロジェクト
ジョージア工科大学大学院生のTodd Miller

http://www.hyperbee.com/

氏によるプロジェクト「Hyperbee」

The Register: Google to fix blog noiseproblem
http://www.theregister.co.uk/content/6/30621.html

Jnutella.orgのコアメンバーでもある

http://www.neurogrid.net/

Grub's Distributed Web Crawling Project

Sam Josephが運営する「Neurogrid」

http://www.grub.org/
プリンストン大学の「FASD」

http://cse.ogi.edu/~krasic/cse585/kronfol_final_thesis.pdf

JXTAを用いている「Anthill」

http://www.cs.unibo.it/projects/anthill/

スタンフォード大学の「Routing Indices」

http://dbpubs.stanford.edu:8090/pub/2001-48

スタンフォード大学の「HyperCup」

http://www-db.stanford.edu/~schloss/hypercup/

LimeWireで提案されている

http://www.limewire.com/developer/query_routing/「Query Routing」

keyword%20routing.htm

GPLでソフトウェアが公開されている

http://www.cubicmetercrystal.com/alpine/

On the Feasibility of Peer-to-Peer Web
Indexing and Search
http://www.cs.berkeley.edu/~boonloo/papers/
search_feasibility.pdf

Chord
http://www.pdos.lcs.mit.edu/chord/

Kademlia
http://kademlia.scs.cs.nyu.edu/「ALPINE Network」

Altnetラドガーズ大学の「PlanetP」

http://www.panic-lab.rutgers.edu/Research/planetp/

インターネットマガジン／株式会社インプレスR&D©1994-2007 Impress R&D

http://www.altnet.com/+++ iNTERNET magazine 2003.07 +++161

［インターネットマガジン バックナンバーアーカイブ］ ご利用上の注意
この PDF ファイルは、株式会社インプレス R&D（株式会社インプレスから分割）が 1994 年～2006 年まで発行した月刊誌『インターネットマガジン』の誌面を PDF 化し、「インターネットマガジン バックナンバーアーカイブ」として以下のウェブサイト「All-in-One INTERNET magazine 2.0」で公開しているものです。

http://i.impressRD.jp/bn
このファイルをご利用いただくにあたり、下記の注意事項を必ずお読みください。
z 記載されている内容（技術解説、URL、団体・企業名、商品名、価格、プレゼント募集、アンケートなど）は発行当時のものです。
z 収録されている内容は著作権法上の保護を受けています。著作権はそれぞれの記事の著作者（執筆者、写真の撮影者、イラストの作成者、編集部など）が保持しています。
z 著作者から許諾が得られなかった著作物は収録されていない場合があります。
z このファイルやその内容を改変したり、商用を目的として再利用することはできません。あくまで個人や企業の非商用利用での閲覧、複製、送信に限られます。
z 収録されている内容を何らかの媒体に引用としてご利用する際は、出典として媒体名および月号、該当ページ番号、発行元（株式会社インプレス R&D）、コピーライトなどの情報をご明記ください。
z オリジナルの雑誌の発行時点では、株式会社インプレス R&D（当時は株式会社インプレス）と著作権者は内容が正確なものであるように最大限に努めましたが、すべての情報が完全に正確であることは保証できません。このファイルの内容に起因する直接的および間接的な損害に対して、一切の責任を負いません。お客様個人の責任においてご利用ください。

このファイルに関するお問い合わせ先
All-in-One INTERNET magazine 編集部
im-info@impress.co.jp
Copyright © 1994-2007 Impress R&D, an Impress Group company. All rights reserved.