『計量国語学』アーカイブ

ID
種別

KK280502
ノート

タイトル

日本語研究の観点から見た昨今のサーチエンジン事情―GoogleとYahoo!の技術提携の結果―

Title
著者

On Recent Situations regarding Japanese SearchEngines
田野村 忠温

Author
掲載号

TANOMURA Tadaharu
28巻5号

発行日
開始ページ

2012年6月29日

終了ページ
著作権者

186
193 （英文要旨：p.208）
計量国語学会計量国語学第二十八巻第五号〔Mathematical Linguistics, Vol.28 No.5〕2012 年

ノート

日本語研究の観点から見た昨今のサーチエンジン事情―Google と Yahoo!の技術提携の結果―
田野村忠温（大阪大学）

キーワード：サーチエンジン，検索ヒット件数，時間変動，検索結果の表示順，Google，Yahoo!JAPAN

１．はじめに本誌の過去の号に掲載された拙論２編（拙論(2008,2009)）において，各種のサーチエンジンのうち特に日本語文書収集量の多い Google と Yahoo!JAPAN の２つを取り上げ，それらの表示する検索ヒット件数の調査・分析に基づいて日本語研究の観点からの比較評価を行った．
その後しばらくは，日本語サーチエンジンをめぐる状況に取り立てて注目すべき変化はなかったが，2010 年秋にその様相を一変させる出来事があった．その直後には，事態がどう展開するか不透明な部分があったが，さらに１年間余り観察を続けた結果，ほぼ状況の見極めが付いた．
ここでは，そうした経緯をふまえて，日本語サーチエンジンの最新状況について報告する．以後，Yahoo!JAPAN を Yahoo!と略記する．
２．報告の背景拙論(2008)において筆者は，2008 年の 1 月から 2 月にかけての約１か月間の調査に基づき，Google と Yahoo!のサーチエンジンをデータの量と検索の質という２つの面から比較評価した．その結果，日本語の表現を検索してそのヒット件数を見る目的に最も適したサーチエンジンは Yahoo!であるとの結論を得た．データ量に関しては，Yahoo!の収集している日本語文書は Google のそれの数倍の量に上るものと推定された．また，検索の質の面では，検索時に表示されるヒット件数の論理的整合性と時間的安定性のいずれに関しても Google には問題が大きく，Yahoo!のほうが相対的に信頼性が高いことが分かった．
拙論(2008)を執筆したあと調査はいったん打ち切ったが，その後同年４月に調査を再開した．その結果，Google の示すヒット件数の時間変動は，１度目の調査で明らかになったところよりもさらに大幅で深刻なものであることが判明した． 拙論 (2009)では，2008
年 4 月から 7 月までの約 4 か月間の調査に基づいてそのことを明らかにし，報告した．
もっとも，Google と Yahoo!の相対評価に関しては，拙論(2008)の記述から変わるところはなかった．
TANOMURA Tadaharu (Osaka University) — On Recent Situations regarding
Japanese Search Engines —186しかし，それらの拙論で述べた Google と Yahoo!の相対評価は 2010 年の秋に意味を失った．Yahoo!は独自のサーチエンジンの使用をやめ，検索の機能を Google のサーチエンジンに依存して提供するようになったからである．このことは拙論(2011)の一部として簡単に報告したが，以下ではその後約半年間の観察にも基づき，昨今の日本語サーチエンジン事情について報告する．調査を開始した 2008 年 1 月以来約４年間の調査に基づく分析ということになる．

３．Google と Yahoo!の技術提携とそれがもたらした結果
2010 年 7 月 27 日に Google は Yahoo!に対する検索技術のライセンス提供を発表した．
「Google Japan Blog」のサイトに Daniel Alegre アジア太平洋地域担当副社長（当時）名で掲載された「Yahoo! JAPAN のより良い検索と広告サービスのために」と題した文書に次のように記されている（http://googlejapan.blogspot.jp/2010/07/yahoo-japan.html）．
2001 年から 2004 年にはヤフー株式会社に対し，Google の検索エンジンを提供していました．そして，本日，ヤフー株式会社に対して再び検索技術をライセンス提供することになったことを発表いたします．
その後，技術提携を実際に確かめ得る事実はなかなか観察されなかったが，発表の数か月後に Yahoo!は従前のサーチエンジンから Google のそれへの切り替えを行った．筆者が継続的に行ってきた調査における検索ヒット件数の記録によれば，その切り替えは2010 年 11 月 17 日(水)の午前 10 時に行われた．ただし，両サーチエンジンによる検索を30 分ごとに実行するという調査の方法上1，最大で前後 30 分の誤差があり得る．また，巨大な Google，Yahoo!の検索システムの変更は，特定の時刻に一斉にではなく，ある程度の時間をかけて実施されたという可能性も排除できない．
３．１

検索ヒット件数の共通化

Google と Yahoo!の技術提携の結果，両者の検索内容は非常に近いものになった．
Yahoo!が自社の都合で Google サーチエンジンの提供する情報を意図的に操作している事
例も現に観察されはしたが2，２つのサーチエンジンの返す検索結果は今やほぼ共通であ1

当初，より短い時間間隔で検索をかけていたところ，Google から検索要求を拒否されるようになった．そこで，30 分間隔で調査するように変更した．
2 2010 年 12 月後半に「虫眼鏡 SEO」というキーワードで検索すると，Google では検索結果の上位に“虫眼鏡 SEO”を実施する業者のウェブサイトが複数表示されたが，Yahoo!ではその大半が表示されなかった．
Yahoo!には「関連検索ワード」と名付けられた機能があり，あるキーワードを指定して検索すると，よく検索される関連のキーワードが提示されるようになっている．例えば，「国語」で検索すると，検索窓の下に，「国語 勉強法」「国語 教科書」「国語力」「中学国語」などのキーワードで再検索するためのリンクが虫眼鏡のアイコンとともに表示される．この機能を利用し，企業名などを関連キーワードの候補として表示させるようにしむける行為が“虫眼鏡 SEO”である（SEO は search engine optimization（サーチエンジン最適化）の略）．これをシステムの悪用と見なす Yahoo!は，対策の一環として，Google の検索結果に含まれる“虫眼鏡 SEO”実施業者のウェブサイトへのリンクの削除（非表示187る．このことは，過去に Yahoo!のサーチエンジン検索が持っていた Google に対する量的，質的な優位性を失ったことを意味する．すなわち，Yahoo!のヒット件数は従前の数分の１に減少し，また，Yahoo!も Google 検索のヒット件数の不安定性の問題を抱え込むことになった．
2008 年から 2011 年にかけての，Google と Yahoo!による３条件での検索におけるヒッ
ト件数の推移の様子を（図１）～（図３）に示す．それぞれ，「は」「日本語」「東京に行く」を検索語とした場合のヒット件数の推移で──これらは，助詞，名詞，句など種類を異にする 10 個の表現を適当に定めて調査した結果の一部である──，いずれの検索語も「" "」で囲んで指定して検索している．検索件数の絶対数の範囲は図によって大きく異なり，また，グラフ線の形状にも図による違いが見られるが，全体的に大きく見れば共通するところも大きい．最も重要な共通点は，いずれの図においても，増加を続けていたYahoo!のヒット件数が 2010 年 11 月を境に一挙に落ち込み（矢印で示した箇所），以後はGoogle のヒット件数とほぼ一致する値を示すようになったことである．そしてまた，それまでは時間変動の少なかった Yahoo!のグラフ線も，Google のそれに連動して激しい時間変動を示すようになった．
なお，いずれの図においても，2009 年には Yahoo!，2010 年には Google のグラフ線がそれぞれ数か月断続している．これは，筆者が各サーチエンジンの仕様変更に気付くのに時間を要し，対処までの期間のヒット件数を記録できなかったことによる．

化）を行った．これにより，検索結果は Google と基本的に共通でも，一部の結果がYahoo!では表示されないという状況がもたらされた．
Yahoo!は，「Yahoo!検索スタッフブログ」の 2010 年 12 月 10 日の記事「Yahoo!検索の品質向上に対する取り組み」において，「スパム行為に対してシステム的な措置を講じて排除する」と宣言している（http://searchblog.yahoo.co.jp/2010/12/yahoo_102.html）．実際，同年 12 月 14 日には，「ASCII.jp」に「[速報] ヤフー，虫眼鏡 SEO 業者に制裁措置，イン デ ッ ク ス か ら 削 除 」 と い う 記 事 が 掲 載 さ れ て い る（http://ascii.jp/elem/000/000/577/577084/）．

188

2008_04
2008_05
2008_06
2008_072008_08
2008_092008_10
2008_112008_122009_01
2009_02
2009_03
2009_04
2009_05
2009_06
2009_072009_08
2009_092009_10
2009_112009_122010_01
2010_02
2010_03
2010_04
2010_05
2010_06
2010_072010_082010_092010_102010_112010_122011_01
2011_02
2011_03
2011_04
2011_05
2011_06
2011_07
2011_08
2011_092011_10
2011_112011_12

ヒット件数
16,000,000,000

2008_04
2008_05
2008_06
2008_072008_08
2008_092008_10
2008_112008_122009_01
2009_02
2009_03
2009_04
2009_05
2009_06
2009_072009_08
2009_092009_10
2009_112009_122010_01
2010_02
2010_03
2010_04
2010_05
2010_06
2010_072010_082010_092010_102010_112010_122011_01
2011_02
2011_03
2011_04
2011_05
2011_06
2011_07
2011_08
2011_092011_10
2011_112011_12

ヒット件数

18,000,000,000

は/Ｙahoo!
は/Google

14,000,000,000

12,000,000,000

10,000,000,000

8,000,000,000

6,000,000,000

4,000,000,000

2,000,000,000

0

時間（図１）「は」のヒット件数の推移

2,500,000,000

日本語/Yahoo!
日本語/Google

2,000,000,000

1,500,000,000

1,000,000,000

500,000,000

0

時間（図２）「日本語」のヒット件数の推移

189

16,000,000

東京に行く/Yahoo!
東京に行く/Google

14,000,000

12,000,000

ヒット件数

10,000,000

8,000,000

6,000,000

4,000,000

2,000,000

2008_04
2008_05
2008_06
2008_072008_08
2008_092008_10
2008_112008_122009_01
2009_02
2009_03
2009_04
2009_05
2009_06
2009_072009_08
2009_092009_10
2009_112009_122010_01
2010_02
2010_03
2010_04
2010_05
2010_06
2010_072010_082010_092010_102010_112010_122011_01
2011_02
2011_03
2011_04
2011_05
2011_06
2011_07
2011_08
2011_092011_10
2011_112011_120

時間（図３）「東京に行く」のヒット件数の推移

３．２

検索結果表示順の共通化

サーチエンジンは，利用者の指定した検索語を含むウェブページを豊富に提示することに加えて，それらをより適切な順序で提示することも重要な開発課題としている．すな
わち，利用者にとって有益である可能性の高いページを優先的に示すということである．
この検索結果の表示順も，2010 年 11 月 17 日以後は Google と Yahoo!とでほぼ共通になった．（図４）は 2010 年 12 月に「入学試験」という語を検索したときに各サーチエンジンが上位に提示したウェブページの一覧（ページタイトルと URL）と，両サーチエンジンにおけるその順位の対応関係を示したものである．ページタイトルの右に「※」を添えているのは，他方のサーチエンジンの検索結果上位５０位以内に当該のページが現れないものである．
この図に見る，各サーチエンジンによるページの表示順に合理的な説明を与えることは困難であろう．実際，時期を隔てて同じ検索をすると，ページが大幅に入れ替わった順序で表示される．それにもかかわらず，同一の日時に Google と Yahoo!で検索すればかなりの程度に表示順の一致が見られ，偶然の産物として理解できるところを明らかに超えている．3.1 で見たヒット件数の点だけからでも両サーチエンジンの共通化は明らかであるが，検索結果の表示順の点においても同じことが確かめられることになる．

190

191

４．Google と Yahoo!の合一化のその後
2010 年 11 月 17 日以後 Yahoo!と Google のヒット件数と検索結果の表示順が共通化したことを確認してからしばらくのあいだ，その後の状況の展開について予測の立てにくいところがあった．それは，（図１）～（図３）にも見るように，両サーチエンジン合一化後の数か月間は Google 特有のヒット件数の時間変動が比較的少なく，サーチエンジンが安定性を増した可能性について期待を抱かせる状態であったからである．ただ，合一前にも Google の時間変動が少なかった期間はあるので，合一後の安定した状態がサーチエンジンの改良によるものなのか，単なる偶発的な一時的現象であるのか，判断が付かなかった．
しかし，2011 年後半にもなると，（図１）～（図３）に見る通り，やはり従前のようにヒット件数の激しい時間変動が見られるようになった．これにより，結局，ヒット件数の時間的変動に関して実質的な改善は実現されていないことが判明した．
（図５）は，合一化からの１年余りの期間における Yahoo!による「東京｛に／へ｝行く」の検索ヒット件数の推移を示したものである．期間の前半ではグラフ線が比較的安定しているが，後半になると過去の Google に似たヒット件数の時間変動が見られるようになる．２本のグラフ線が交差することもあり，したがって，２種類の表現のヒット件数の大小が検索日時によって逆転することになる．3

3,500,000

東京に行く/Yahoo!
東京へ行く/Yahoo!

3,000,000

ヒット件数

2,500,000

2,000,000

1,500,000

1,000,000

500,000

2011_112011_10

2011_092011_08

2011_07

2011_06

2011_05

2011_04

2011_03

2011_02

2011_01

2010_122010_110

時間（図５）合一化後の Yahoo!による「東京｛に／へ｝行く」の検索ヒット件数
3

合一前の Google では，比較的安定したヒット件数の“ベースライン”からときに件数がはね上がる形での時間変動が大半であったのに対し，合一後の Google，Yahoo!では，むしろベースラインからヒット件数が落ち込む変動が多い印象がある．したがって，ヒット件数の激しい時間変動が見られるという事実は合一化前後で共通であるが，サーチエンジン内部の処理としては何らかの実質的な変更があった可能性がある．

192

５．おわりに以上，Google と Yahoo!の技術提携の結果として，2010 年 11 月より両サーチエンジンの検索結果が共通化したこと，そして，Yahoo!による検索にも従前の Google と同様の検索の時間変動が見られるようになったことを述べた．拙論(2008,2009)で報告した調査・分析の結果のうち，Yahoo!に関わる記述の大半が今日的な意味を失ったことになる．
なお，ヒット件数の信頼性には，拙論(2008)で述べた通り，時間的安定性のほかに論理的整合性の要素もある．後者については継続的な調査は行っていないが，今も前者と同様に問題が大きいことはわずかな検索の試行で容易に確認できる．例えば，「山」を検索するとヒット件数は約 1,330,000,000 件と表示されるが，「山 AND 山」のヒット件数は約2,190,000,000 件となる4．
2010 年 11 月の二大サーチエンジン合一化までは，Google を避けて Yahoo!を使えばそれなりに安心して日本語表現の使用頻度の傾向に探りを入れることができたが，今では頼りになるサーチエンジンのない状態となった．将来の改善に期待したいところではあるが，サーチエンジンはその進歩によってますます“気を利かせた”検索をする──例えば，指定した語句そのものだけでなくその表記上の変異や類義表現も同時に検索する──ようになるので，日本語研究者の望む方向に状況が進むことはあまり期待できないかも知れない．
文献
田野村忠温(2008) 日本語研究の観点からのサーチエンジンの比較評価──Yahoo!と Googleの比較を中心に──『計量国語学』第 26 巻第 5 号
田野村忠温(2009) 日本語研究の観点からのサーチエンジンの評価・続──検索ヒット件数の時間変動のその後と Web 文書量の推計の修正──『計量国語学』第 26 巻第 8 号
田野村忠温(2011) 大規模コーパスとしてのインターネット『「現代日本語書き言葉コーパス」完成記念講演会予稿集』（JA 共済ビル・カンファレンスホール，2011 年 8 月 2～3日）
謝辞

お二方の査読者からの有益なコメントに基づき，記述を見直し，説明を追加した．記して謝意を表したい．

（2012 年 2 月 24 日受付）

42012 年 5 月 14 日に Google および Yahoo!で検索したところによる．ヒット件数は２つのサーチエンジンで完全に一致した．

193

Note
On Recent Situations regarding Japanese Search Engines
TANOMURA Tadaharu (Osaka University)
Keywords: search engine, number of hits, temporal fluctuation,order of search results, Google, Yahoo!JAPANAbstract:
In my two previous reports based upon a survey and analysis of search results of
Google and Yahoo!JAPAN, I demonstrated that the latter search engine is moresuitable for the purpose of searching for Japanese phrases and getting a grasp of theirrelative use frequency by way of seeing the displayed numbers of hits.
However, the relative estimation of the two search engines lost its validity due tothe fact that Yahoo!JAPAN employed Google's search engine in November 2010.
Yahoo!JAPAN now returns virtually the same search results as Google does, which
implies that Yahoo!JAPAN lost the superiority it used to have over Google.

208