検索エンジン

検索エンジンは、狭義にはインターネットに存在する情報を検索する機能およびそのプログラム。インターネットの普及初期には、検索としての機能のみを提供していたウェブサイトそのものを検索エンジンと呼んだが、現在では様々なサービスが加わったポータルサイト化が進んだため、検索をサービスの一つとして提供するウェブサイトを単に検索サイトと呼ぶことはなくなっている。広義には、インターネットに限定せず情報を検索するシステム全般を含む。

狭義の検索エンジンは、ロボット型検索エンジン、ディレクトリ型検索エンジン、メタ検索エンジンなどに分類される。広義の検索エンジンとしては、ある特定のウェブサイト内に登録されているテキスト情報の全文検索機能を備えたソフトウェア等がある。

検索エンジンは、検索窓と呼ばれるテキストボックスにキーワードを入力して検索をかけるもので、全文検索が可能なものと不可能なものとがある。検索サイトを一般に「検索エンジン」と呼ぶことはあるが、厳密には検索サイト自体は検索エンジンでない。

1. 検索エンジン
---------

1.1. ロボット型検索エンジン
----------------

与えられた検索式に従って、ウェブページ等を検索するサーバ、システムのこと。検索式は、最も単純な場合はキーワードとなる文字列のみであるが、複数のキーワードにANDやOR等の論理条件を組み合わせて指定することができるものが多い。

ロボット型検索エンジンの大きな特徴の一つとして、クローラを用いることが挙げられる。このことにより、WWW上にある多数の情報を効率よく収集することができる。大規模な検索エンジンでは、80億ページ以上のページから検索が可能になっている。

収集したページの情報は、前もって解析し、索引情報を作成する。日本語などの言語では、自然言語処理機能が生成される索引の質に影響する。このため、多言語対応した検索エンジンの方が精度の高い検索が可能となる。

検索結果の表示順は、検索エンジンの質が最も問われる部分である。ユーザーが期待したページを検索結果の上位に表示することができなければ、ユーザーが離れてしまうからである。そのため、多くの検索エンジンが、表示順を決定するアルゴリズムを非公開にし、その性能を競っている。検索エンジン最適化業者の存在も、アルゴリズムを公開しない要因になっている。Googleは、そのアルゴリズムの一部であるページランクを公開してきたが、やはり、多くの部分が非公開になっている。Googleの場合、創設初期におけるアルゴリズムについては、創設者自身がウェブ上で公表している論文でその一端を知ることができる。 参照 英語原文 日本語の解説

ウェブページの更新時刻の情報を用いて、新しい情報に限定して検索できるものや、検索結果をカテゴリ化して表示するものなど、特長のある機能を搭載したり、検索結果をユーザーへ最適化していく動きもある。

従来のウェブページを検索するだけの検索エンジンにとどまらず、最近ではインターネットショッピング専用の検索エンジンなど、特定の分野に特化した検索エンジンの開発も散見される。商品検索では、価格比較サービス日本最大手の価格.comや、ベンチャー企業が開発するQOOPIEなどある。また、職業検索エンジンとしてはCraigslistなどがある。Google、Yahoo!、インフォシーク、テクノラティ、MARSFLAG、Altavista、ムーター、AlltheWeb、Teoma、WiseNut、Inktomi、SAGOOL、Yahoo! JAPAN  など。

1.2. ディレクトリ型検索エンジン
------------------

人手で構築したウェブディレクトリ内を検索するサーバ、システムのこと。

人手で構築しているため、質の高いウェブサイトを検索可能。概要を人手で記入しているため、検索結果の一覧から目的のサイトを探しやすい、サイトのカテゴリ分けがされていることから、特定分野や地区などに限定したサイトを探しやすいという特長がある。

しかし、検索対象となるサイトは人手で入力するため、検索対象となるサイト数が多くできないという欠点がある。

インターネットが一般に使われるようになった初期のころには、ディレクトリ型が主体であったが、WWWの爆発的な拡大によって、あらゆるウェブサイトを即時にディレクトリに反映させることが事実上不可能になり、現在では主流ではなくなっている。 このため、ディレクトリ型検索エンジンでは、検索にヒットするサイトが無かった場合、ロボット型検索エンジンを用いて結果を表示するような、併用型のものが多い。

日立国際ビジネスのHole-in-One、Yahoo!JAPANのYahoo!カテゴリ、LookSmart Japan、gooのgooカテゴリー検索、Open Directory ProjectことDMOZなど。

1.3. 分散型検索エンジン
--------------

P2P通信によってウェブコンテンツのインデックスを多数のピアに分散させ、P2Pネットワーク全体で各ピアの持つインデックスを共有する検索システムのこと。

ウェブのクロールは各ピアが独自に行い、インデクサーはRWIを作成する。作成されたインデックスの一部はDHTとして他のピアに分配される。

検索は自分のピアの端末からP2Pネットワーク上にある他のピアにリクエストを送信することにより行うことができる。

分散型検索エンジンの例としてはYaCyがある。YaCyは「人民による人民のためのウェブ検索」を標榜し、分散型であることにより検閲を防ぐことができるとしている。

1.4. メタ検索エンジン
-------------

ひとつの検索ワードを複数の検索エンジンで検索することをメタ検索という。 詳細は「メタ検索エンジン」を参照のこと。

2. 検索エンジン
---------

2.1. 全文検索システム
-------------

与えられた文書群から、検索式による全文検索機能を提供するソフトウェア、システムの総称で、ウェブサーバに組み込んで利用されることが多い。スタンドアローン環境で用いられる個人用途のものもあり、そういったものは特に「デスクトップ検索」と呼ばれている。企業内のファイルサーバーや企業内ポータルを対象とするものは「エンタープライズサーチ」と呼ばれる。

3. 歴史
-----

3.1. 欧米における歴史
-------------

検索エンジンのはしりは1994年にスタンフォード大学のジェリー・ヤンとデビッド・ファイロが開発したYahoo!である。Yahoo!はディレクトリ型の検索エンジンでインターネットの普及に大きな役割を果たした。

その後、ウェブ上の情報を自動的に探索して情報を索引として整理するロボットまたはクローラと呼ばれるプログラムが開発された。

ロボット型検索エンジンの中でもラリー・ペイジとセルゲイ・ブリンが開発したGoogle検索は検索結果のランキングと高速検索に優れていたため検索エンジンのトップに躍り出た。Googleが1998年に稼動させたGoogle検索は、従来の検索エンジンがポータルサイト化へと進む流れに逆行し、独創的な検索技術に特化し、バナー広告等を排除したシンプルな画面だった。

Googleは2000年には米Yahoo!のロボット型検索エンジンに採用されたが、Google躍進に危機感を募らせた米Yahoo!は、2004年にロボット型検索エンジンを独自技術Yahoo! Search Technology に切り替えた。

2009年にはマイクロソフトが新たな検索エンジンとしてBingを発表した。

検索という行為が一般化するにつれて、各種目的別に多様化した検索エンジンが現れるようになった。ブログの情報に特化した検索TechnoratiやblogWatcher、商品情報の検索に特化した商品検索サイト、サイトの見た目で検索するMARSFLAG、音楽検索、動画検索、ファイル検索、アップローダ検索ほか、次々と新しい検索エンジンが生まれている。

3.2. 日本における歴史
-------------

3.2.1. 黎明期
----------

日本のインターネット普及初期から存在した検索エンジンには以下のようなものがある。黎明期には、豊橋技術科学大学の学生が作成したYahho や、東京大学の学生が作成したODiN、早稲田大学の学生が作成した千里眼など、個人の学生が作成したものが商用に対して先行していた。これらは単に実験用に公開されていただけでなく、多くの人に用いられていたものであり、黎明期のユーザにとっては知名度、実用度ともに高いものであった。またMondouなどのように研究室で作成したものもあった。

3.2.2. Yahoo! JAPANの独走
----------------------

1995年12月にソフトバンクがアメリカ合衆国Yahoo!株を一部買い取り、翌年4月から日本版にローカライズしたYahoo! JAPANをサービス開始した。同年7月の展示会Interopでは机2つぶん並べる程度の小規模ブースで出展する程度の力の入れ具合で、ソフトバンクの一部署として開始する程度だったものが、もともとの米国Yahoo!の知名度、90年代後半のインターネット利用者人口の増加、ディレクトリ型だけだった検索をロボット型も追加、サイト登録した一部のウェブサイトの紹介をするYahoo! Internet Guideとの連携、日本Yahoo!株高騰のニュースでインターネットを利用しない人にも名前が知れ渡るなど、様々なプラス要因と経営戦略が見事に当たり、検索サイト首位の座を固めた。そして、検索サイトの集客力を武器にニュース、オークションなど、検索サービス以外のサービスを含めたポータルサイトとしての独走を始めた。

3.2.3. 群雄割拠と収束
--------------

1997年頃から、WWWの爆発的な拡大に伴って、ディレクトリ型のみであったYahoo!のウェブディレクトリの陳腐化が急速に進んだ。2000年代には、日本でもGoogleに代表されるロボット型検索エンジンが人気を集め始め、国産ではinfoseekやgooが登場、2004年にはGoogleやYahoo!のエンジンに匹敵すると謳うTeomaを利用した検索エンジン、Ask Jeevesが「Ask.jp」として日本上陸、2005年にはオーストラリアで誕生したMooterが日本上陸など、群雄割拠の時代になった。検索エンジンを利用すること＝「ググる」というネットスラングも生まれた。

また、検索エンジンでは判断できない抽象的な条件などでの検索を人手に求めた、OKWaveや人力検索はてななどの「人力検索」「ナレッジコミュニティ」と呼ばれるサービスも登場した。

モバイル検索の分野は長らく公式サイトと呼ばれる世界がユーザーの囲い込みを行っていたため、脚光を浴びることが少なかった。次第にパソコンだけでなくフィーチャーフォンや携帯型ゲーム機からもウェブサイトが検索される傾向が高くなり、GoogleやYahoo!をはじめとする携帯向けのモバイル検索サイトが登場した。ソフトバンク・Yahoo! JAPANがボーダフォンを買収し、KDDIがGoogleと提携するなどした。

2010年、Yahoo! JAPANがGoogleの検索エンジンを採用し、日本でも事実上Googleが圧倒的なシェアを保有するに至った。

4. リーガルリスク
----------

4.1. 深層ウェブ
----------

Googleなどのウェブ検索エンジンでは、データベースの検索結果など多くの動的ページが検索対象になっていない。このような動的ページは「深層ウェブ」「見えないウェブ」「隠されたウェブ」などと呼ばれている。静的ページの500倍の量が存在し、多くは無料だといわれる。深層ウェブは、一般の検索エンジンなどからデータベースなどを見つけ出すか、直接アクセスした上で、それぞれの検索機能から再度検索しなければならない。また、ダークウェブを探索する際に使われる検索エンジンAhmiaも存在している。

4.2. 著作権との関係
------------

ロボット型検索エンジンは、その原理上インターネット上のコンテンツを複製の上で、検索を目的とした蓄積に適した形態で保存する他、場合によってはキャッシュとして提供できるような形態でも保存する場合がある。著作権をたてに、ウェブサイトの閲覧利用規約等と称して、一切のいかなる複製も禁ずるとするサイト等があり、どういったものかと古くより話題になっていた。

また、2006年11月には、日本の知的財産戦略本部コンテンツ専門調査会第3回企画WGにおいて、検索エンジンに関して「著作権法上、複製、編集には権利者の許諾が必要であり、Yahoo!、Googleなど大手検索システムのサーバーは海外に置かれているのが現状。」 と報告され、これをうけてdate=2012年12月、2010年1月の改正で複製が合法とされた。

5. 検索エンジン上の各種広告
---------------

2006年頃から日本ではURLを表示せず、社名や商品名などの検索キーワードを表示し、検索エンジンで検索させるように仕向けるテレビコマーシャルなどの広告表現が急増している。大抵はキーワードが書かれた状態の検索フォームとボタンを表示し、マウスクリックを促す演出がなされている。このような変化が生じた理由は不明であるが、各メディアの広告掲載基準の変更や、コマーシャルでURLを表示するのに比べてアクセス数を獲得しやすいことが増加の要因である。しかし検索結果に企業にとって不都合な情報が現れる場合があるため、グーグル八分のような検索結果の操作が行われるケースも考えられる。

現在、主流となっている広告手法として、ユーザーの検索結果後に広告を露出させる検索連動型広告と、サイトの中を分析し、そのサイトに合った広告を配信するコンテンツ連動型広告が主流である。

英語圏でも2013年ごろから「#wikipedia」のような番号記号を使った広告活動をおこなっている。

6. 検索エンジンの課題と問題点
----------------

6.1. 多言語化の課題
------------

いわゆる「使用言語からみたインターネット人口の割合」は [1] を用いて [2] と [3] から過去の月次資料を整理すると次のような推移を辿っている。

※2005年2月2日の時点で、WWW検索エンジンの代表格であるGoogleでは80億を越す8,058,044,651ウェブページが登録されていた。

1995年以前のInternet Societyによればインターネットで用いられている言語のうち英語が占める割合は85%とされていたが、その後のITの進歩や各国のインターネットの普及により多言語化が進み、上表に見られるように2000年の年末には英語と非英語の言語人口が逆転し、その傾向は継続していった。このため検索エンジン各社は多言語対応に苦慮することとなった。

6.2. 危険なサイトの侵入
--------------

検索エンジンは、利便性がある一方、危険性も存在する事やその被害例について参考文献や資料が存在する。検索エンジンの安全性に関する調査報告については、ウイルス対策ソフトなどを提供するセキュリティベンダーの米マカフィーが、2007年6月4日「検索エンジンの安全性に関する調査報告」を発表し「検索エンジンは危険であり、検索エンジンにキーワードを入力して上位に現れるサイトの危険度を調べたら、広告として表示されるサイトは、そうでないサイトの2.4倍も危険率が高い」としている。

また2006年05月12日に公表された調査報告書によると検索エンジンのキーワード検索結果には危険なリンクがあり、検索エンジンが自分を守ってくれると思ってはいけない。それどころか検索結果ランキングがサイトの安全性を反映していないことも多く、特に検索エンジン広告を訪れる場合、ユーザーは高いリスクにさらされると警鐘を鳴らしている。 さらに、検索エンジンの提供サイトの危険度についての調査報告では、同マカフィーが「検索エンジンの安全度調査」を発表し「最も危険な結果が多いのは米ヤフー」としている。

6.3. 検索精度
---------

SEO対策の技術が進んだこともあり、検索上位が大手サイトやまとめサイトばかりになるなど、表示されるサイトに偏りが生じている。昔のインターネットのほうが精度が高かったという感想も多い。

6.4. 検索エンジンバイアス
---------------

ウェブサイトの人気と関連性のいくつかの組み合わせにもとづいてそれらを番付するよう検索エンジンはプログラムされているけれども、それらが与える情報のなかのさまざまな政治的、経済的、社会的な、バイアスを'経験的な'研究はしめす。

7. 主な検索エンジンサイト
--------------

Google - 日本語他、多言語対応。
Yahoo! JAPAN - 日本語。Googleがバックエンドで、独自の検索はリアルタイム等一部のみ
goo - 日本語。Googleがバックエンド
Ask.com - 英語、日本語。Ask.jpブランドとしては撤退、Googleがバックエンド
Startpage.com - 英語ほか、9のヨーロッパ言語。検索は日本語にも対応。プライバシー重視。Googleがバックエンド
Microsoft Bing - 日本語他、多言語対応。
Yahoo! - Microsoft Bingがバックエンド
DuckDuckGo - 英語、日本語ほか。プライバシー重視の検索エンジン、Microsoft Bingがバックエンド
Ecosia - 英語、日本語ほか・Microsoft Bingがバックエンド
Lycos - 英語、日本語ほか、Microsoft Bingがバックエンド
Brave Search - 日本語他、多言語対応。
Petal Search - 日本語他、多言語対応。
Yandex - ロシア語、英語他、多言語対応。日本語対応はしていないが、世界で4番目に利用されている。
百度 - 中国語。日本語検索は終了。日本語対応はしていないが、世界で4番目に利用されている。
Cốc Cốc Search - ベトナム語。日本語対応はしていないが日本国内でのモバイル利用者が6番目に多い。
搜狗 - 中国語。
NAVER - 朝鮮語。日本語検索は終了
Qwant - フランス発プライバシー重視の検索エンジン。一部の国からの利用を遮断
Indeed - 求人専用検索。日本語他、他言語対応。
皆声.jp -　日本語ブログ検索
BIGLOBE
PR TIMES
まぐまぐ
モデルプレス
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13] - 現存サイトはリンクが数件しかない
[14] - 現存サイトはリンクが少ない
[15] - 現存サイトはリンクが少ない
[16]
[17]
[18]

8. サービスを終了した主な検索エンジンサイト
-----------------------

ODiN
千里眼
OCN Navi 
FreshEYE 独自検索の提供は終了
infoseek 独自検索の提供は終了
IFNET独自検索の提供は終了
Toppa! 独自検索の提供は終了
アレスネット 独自検索の提供は終了
Interline 独自検索の提供は終了
ベッコアメ・インターネット 独自検索の提供は終了
avis独自検索の提供は終了
KCN-NET独自検索の提供は終了
iTSCOM.net独自検索の提供は終了
Creation Studio TWO-ONE 独自検索の提供は終了
ASAHIネット独自検索の提供は終了
Path Internet Service独自検索の提供は終了
e-net独自検索の提供は終了
DION
tripod独自検索の提供は終了
shikoku-internet 独自検索の提供は終了
mitene独自検索の提供は終了
Wave-Net独自検索の提供は終了
TikiTiki独自検索の提供は終了
YIN独自検索の提供は終了
interQ MEMBERS独自検索の提供は終了
CNET東京 独自検索の提供は終了
軽井沢インターネット 独自検索の提供は終了
群馬インターネット 独自検索の提供は終了
internet JAH独自検索の提供は終了
@homepage独自検索の提供は終了
ネットラピュタ 独自検索の提供は終了
Webしずおか 独自検索の提供は終了
UrbanInternet 独自検索の提供は終了
Mt.Fuji Internet 独自検索の提供は終了
INTERNET KOCHI 独自検索の提供は終了
NanaNet 独自検索の提供は終了
ぷらら 独自検索の提供は終了
Annie Internet独自検索の提供は終了
Hi-HO独自検索の提供は終了
InterLink独自検索の提供は終了
RIMNET独自検索の提供は終了
ロゼッタ・ストーン独自検索の提供は終了
MAC InterNet 独自検索の提供は終了
しかせんべい独自検索の提供は終了
KuMaGaYa Net
InfoNavigator
ipc東海 独自検索の提供は終了
IC-NET 独自検索の提供は終了
7-dj.com サービス終了
Netwaveサービス終了
インターネットWIN サービス終了
インターロジツク 桑名 サービス終了
PHOENIX CLUB 独自検索の提供は終了
MARSFLAG - B2C向けは撤退して、B2B向けサイト内検索のみ提供
JOY
砦テストサーバ
The FSI Network
Mondou
LookSmart Japan
NAVER - 韓国語。日本語検索は終了
NTT DIRECTORY
Hole-in-One <WtXmlEndTag />
CSJ INDEX
AAA!cafe
Acara Navi
STAR SEARCH
KONDO-NET
みんなのホームページ
くちこみページ
ComSearch
TOK2.com
SALA-INTERNET
00HPメイカー
ninki.net
忍者ホームページ
ringolab
a-eda.net リンク集
looksmart japan
Musicman-NET LINK
コメディニュース
artsidewalk～文化リンク集　cultual link collection～
耽美派音樂
TkCity NetWork
わねっと
アルファインターネット
NETPLAZA
MyHarmo Internet
ParkcityNet
MENET検索エンジン
Yahho
CYBER PLAZA
east.portland.ne.jp
Live! netn@vi
キッズページ
小島 琢矢 Home Page リンク集
pastelnet
Kiss-Net
Karakuri Total Xchange
Global Online Japan
LAND Co.,Ltd.
BayWell
Raidway
XAXON
Cup.com
Jetlink
中広インターネット
People
CompKazumi!
TOGASHI POWER STATION
プラトーネット
ふりぃのぺぇじ
BIWANet
top.or.jp
root-net
Path internet
AIRnet
BISILINK
ドリームネット
U・MI
InfoSakyu
INTERBROAD
246-net
Internet Vehicle
てれびぷらす
インターネット ビークル
MNET
BiG-NET
Dolphin Internet
Infovalley
Highway Internet
ClubPepper
ParkcityNet
SurfLine
Internet WIN
JustNet
1st-Net Japan
Tcp-ip Users Club
3Web
GulfNet
TWICS
WEB GATES
AnetZ
北Ｑネット
ジャングル・ネット・サービスV
ミュージシャンズ・ストリート
四谷天窓出演者・団体サイトリンク集
PRWEB
PPR LINK
JCA-NET
じゃびらNET
KATCH NETWORK
NNC-NET
kyoto-Inet
@minpo
SCN-NET
八王子テレメディア
鎌倉ネット
Sun-net
marimo internet
トライネット
飯田インターネット共同研究会
エクナワールド
サンフィールド・インターネット
佐賀新聞 Internet
MediaWeb
白神ネット
dokidoki
i-LOGIC
HIROSHIMA C-DAS
InfoRyukyu
BAOBAB
InfoBears
ii-okinawa
ミックネット
WCSネット
ING JAPAN KUROKEN CLUB
小中学校リンク
SPYSEE - 人物情報、日本語。など。

9. 脚注
-----

9.1. 出典
-------

10. 関連項目
--------

検索エンジン  - 広義の検索エンジン
検索エンジンの一覧
検索エンジンスパム
検索エンジン最適化
メタ検索エンジン
全文検索
ポータルサイト
ウェブサイト
グーグル八分
Sherlock 
検索連動型広告
コンテンツ連動型広告

11. 外部リンク
---------