DEIM Forum 2016 B1-5

大規模クロールデータに対する情報抽出の観点からの分析
村上 直也†

石川 貴大†

小野 真吾†

塚本浩司†† ヤフー株式会社 〒 107–6211 東京都港区赤坂 9-7-1 ミッドタウン・タワー
E-mail: †{naomurak,takaishi,shiono,kotsukam}@yahoo-corp.jp
あらまし Freebase や DBpedia など，ウェブ上のデータを元に作られたデータが様々な場面で用いられるようになってきている．これらのデータは人手でメンテナンスされているが，今後構造化されたデータを自動で構築しようとした場合，ウェブ上の情報から機械的に抽出を行なう方法が有望である．しかし，ページが情報抽出元として適しているかは，ページによって大きく異なるため，情報抽出の観点からクロール戦略を立てることが必要となる．そこで我々は，汎用的にクロールした大規模ウェブデータを用いることで，情報抽出に役立つウェブデータにどのような傾向があるか分析を行った．
キーワード

セマンティックウェブ，Web マイニング，情報抽出，Web クローリング

1. は じ め にナレッジベースと呼ばれるエンティティとその関係を表したデータベースが，ウェブサービスなどに活用されている．例え

Wikipedia に存在するものに限られる，という問題がある．そのため，ウェブデータから情報抽出をする必要性は大きい．例
えば Knowledge Vault [4] はウェブデータからの情報抽出に特化した抽出システムである．

ば “宮崎駿” と検索すると宮崎駿の画像やプロフィールなどがウェブデータからの情報抽出を行うためには，(1) ウェブを一塊に表示される．この表示内容を得るのにナレッジベースがクロールしてウェブデータを収集する，(2) ウェブデータの構用いられている．エンティティは世の中の物事を表し，関係は成要素に対して，各要素に適した手法でファクトを抽出するこ

エンティティ間の結びつきを表す．図 1 にエンティティと関係とが必要な作業となる．その際に問題となるのは以下の 3 つでの例を示す．宮崎駿，スタジオジブリ，もののけ姫がエンティある．

ティ，employ，direct，produce が関係となる．また，(宮崎•ウェブのクロール方針をどう決めるのか駿, direct, もののけ姫) のようなエンティティ2 つとその間•

ウェブページのどの領域から抽出するかの関係で形成される 3 つ組をファクトと呼ぶ．情報抽出とは，•どのような手法で抽出するか

このようなエンティティ・関係・ファクトを利用可能なデータ

このどれもが実際のウェブデータを分析しなければ決められから抽出することであり，ナレッジベースを構築・拡張するたないものである．抽出手法自体は多く発表されているが，我々めに必要なタスクである．

が調べた限りではそのような分析を行った研究は見つからな

Freebase [3] や DBpedia [2] などのナレッジベースでは，そのデータの全てまたは一部を Wikipedia の Infobox から抽出している．Infobox が利用されている理由は，データの信頼度かった．
そこで我々は，独自にクロールしたウェブデータについて情報抽出の観点で分析を行った．本研究の貢献は以下となる．の高さと抽出の難易度の低さである．人手で編集された百科•大規模ウェブデータを情報抽出の観点から分析事典という Wikipedia の性質上，個々の情報に誤りは含まれ•情報抽出に役立つウェブページ内の領域を特定ているものの全体として見るとデータの信頼度は比較的高い．

•

情報抽出のためにクロールすべきページの解明

また，Infobox は半構造化されているので，ルールベースでの抽出が可能であり抽出の難易度は高くないと言える．しかし

2. 問題の概観

Wikipedia を情報抽出元とすることには，(1) Wikipedia の成情報抽出に目的を絞らずにウェブをクロールすると，リソー長速度は近年低下傾向にある [8]，(2) 抽出可能なファクトはスの無駄が多く生じる．図 2 はウェブデータから抽出した文の内，無作為に 10 文を選択したものとなる（注 1）．この中で情報抽出に役立つと思われるのは 9 個目の文だけである．この文には “鹿島” と “大迫” というエンティティが含まれていて，“所属選手” という関係を持っている．他の文にはエンティティが含まれてすらいない．このように，情報抽出に役立たないと思われる文が多くウェブデータには存在し，こういった文しか含まないウェブデータを収集することはリソースの無駄である．

図 1 エンティティと関係の例（注 1）：3. で述べる手法で抽出した文を，記号等も含めそのまま記載している依存するとその手法の特性が反映されてしまう．一方エンティ（ 1 ） (10) しょくたく（ 2 ） 予めご了承いただいた上、お申込下さい

ティの抽出手法は条件付き確率場を使うものが一般的（注 2） であ（ 3 ） 市場環境や資金動向及びその他の要因等により、各ファり，特定のツールを選んでも普遍性を保ちやすい．また，ファンドの運用方針が変更されることがございます

クトや関係の抽出においてもエンティティを利用するので，エ（ 4 ） ま、こちらは、親切ですね

ンティティ数だけを考慮してもファクトや関係が含まれている（ 5 ） 防寒性と愛らしさを兼ね備えた 1 点です（ 6 ） 料金が約 1 万円〜なので今度時間が合えば行ってみようかと思います

かをある程度反映していると考えた．
ウェブデータの分析は以下の手順で行う．
（ 1 ） ウェブデータから，実験項目に合わせてウェブページ

（ 7 ） —のらがし、タイトルについてる（ 8 ） シャツコーデ◆さらりとした肌ざわりでアイロン不要を選択するのシャツがおススメ（ 2 ） 実験項目に合わせて各ウェブページの領域を抽出する（ 9 ） ビハインドを負った鹿島が積極的に攻撃を仕掛け、後(文，テーブル，箇条書き)

半２分に大迫の得点で１点差に詰め寄る（ 3 ） 領域内のエンティティを抽出する（ 10 ） 休日・休暇 ※ローテーションで平日週休２日制です
図2

ウェブデータから無作為抽出した文表1

ウェブページ上のテーブルの例

実験項目は 4. で詳しく述べる．テーブルと箇条書きの抽出にはHTML のタグを用いるが，文の抽出には次のヒューリスティッ
クを用いる．HTML 中の文字列を分割し，50 文字以内のひら映画名監督

制作

がなを含む文字列を文とする．区切り文字には全角の句点とピもののけ姫宮崎駿

スタジオジブリリオドを用いる．そしてエンティティ抽出には MeCab を用い，白雪姫

デイヴィッド・ハンド ウォルト・ディズニー

その辞書には IPA 辞書を使用する．MeCab で “固有名詞” とタグ付けされたものをエンティティとして扱う．ただし IPA 辞

もののけ姫の監督は宮崎駿である．そしてスタジオジブリが制書にはアルファベットからなる文字列を基本的に固有名詞とし作した．て登録されていないので，対象となる領域の中に漢字，ひらが図 3 ウェブページ上の文の例

な，カタカナのいずれかが少なくとも１つのエンティティに含まれている場合のみを実験に使用する．なお，その際に箇条書

よって，役立つページとはどのようなページであるか定義し，その定義に基いてクロール時にウェブページの質の推測ができるようになることが理想である．
実際のデータを分析することで，ウェブデータのどの領域か

きは各項を 1 領域として扱う．

4. 実

験

4. 1 分 析 項 目

らの抽出を重視すべきかを判断できる．領域とは文やテーブル，以下の項目の分析を行う．

箇条書きなどのことである．例えば表 1 のようなテーブルと図（ 1 ） ページ単位のエンティティ数

3 のような文では，抽出の手法が抜本的に違ってくる．表では（ 2 ） 文単位のエンティティ数

表の持つ構造を抽出に用いることができ，文では表よりも豊か（ 3 ） URL の階層の深さとエンティティ数の関係な自然言語の情報を用いることができる．

（ 4 ） ウェブページ内の領域の種類とエンティティ数の関係

さらに，各情報抽出手法は入力の種類が決まっているので，なお，実験に使用するウェブデータのページ数は約 24 億件でたとえ文から抽出する場合でも，文の種類によって抽出手法があり，再クロールしたページも別のページとして扱っている．

限定される．例えば Knowledge Vault のシステムでは，ウェ再クロールはページに何らかの変更が加わっている場合にのみブデータ上の文からの情報抽出に Distant Supervision [6] とい行っている．また，(4) 以外の分析では，3. で述べた手法で文がう手法を用いているが，この手法は 2 エンティティを含む文が1 文以上抽出出来たページのみを対象としている．そのような必要になる．図 3 の場合，“宮崎駿” と “もののけ姫” の 2 エンページは約 2 億 6 千件であり，割合にすると 10.3%であった．

ティティを含む 1 文目しか用いることはできない．もし 2 エン

4. 2 ページ単位のエンティティ数

ティティを含む文がウェブデータにあまり存在しないようなら

ページ単位のエンティティ数を測定する目的は，どれくらいば，他の手法を検討する必要がある．しかし分析しない限り，の割合で情報抽出に役立つページがウェブデータに含まれていそれらについては明らかではない．

るかを分析することにある．ページ単位のエンティティ数を測

3. 提 案 手 法

定したところ図 4 の結果となり，エンティティを 10 個未満しか含まないページが 84.6%と大半を占めていた．さらに，エン本研究ではウェブデータが情報抽出に役立つか否かを，既知ティティを全く含まないページは 40.5%であった．よって，クのエンティティが含まれるかという観点で判断する．この観点ロールしたページのほとんどはエンティティをほとんど含まなの利点は情報抽出手法によらないことである．ファクトや関係を用いて分析するためには，特定の情報抽出手法を用いて抽出を行う必要がある．情報抽出手法は多様なため，特定の手法に（注 2）：Stanford CoreNLP (http://stanfordnlp.github.io/CoreNLP/)
や ，本 研 究 で 用 い る MeCab (http://mecab.googlecode.com/svn/trunk/

mecab/doc/index.html?sess=3f6a4f9896295ef2480fa2482de521f6) で採用されている

10 930ϖʔδ਺ΤϯςΟςΟ਺

10 8
10 7
10 60

図4102030405060

ΤϯςΟςΟ਺

70

80

105

ページあたりのエンティティ数によるヒストグラム

1063-ͷ֊૚ͷਂ͞

1520

図 6 URL の階層の深さとエンティティ数の関係

10 1010 910 9810 810 7ϖʔδ਺΢Σϒσʔλதͷจͷ਺

1509010 1010 610 510 710 610 410 510 310 220510 510தԝ஋ฏ‫ۉ‬250

図5510จதͷΤϯςΟςΟ਺

1510 4文に含まれるエンティティ数と文の出現回数の関係

051063-ͷ֊૚ͷਂ͞

15

図 7 URL の階層の深さごとのページ数いページと言える．エンティティを含んだ文の内，情報抽出にるかを推測できるのかを知るために，推測手法の 1 候補として有用な文はさらに限られると予想されるため，実際に情報抽出URL の階層の深さとエンティティ数の関係を分析する．URLに有用なページはさらに少ないと考えられる．以上より，情報の階層の深さは，ホスト名以降の部分のスラッシュの数 + 1 と抽出の観点からクロール戦略を立てクロールすべきと結論付けする．例えば，http://db-event.jpn.org/deim2016/ ならばられる．

3 階層とする．このような末尾がスラッシュの場合でも，2 階4. 3 文単位のエンティティ数層目のディレクトリ (この例では deim2016 ディレクトリ) 内の文単位のエンティティ数を測定するのは，Distant Supervi-サーバーで設定されたファイルを読み込むので 3 階層とみなしsion が適用できるような文，つまり 2. で述べたように 2 エンて問題ない．

ティティが入っている文がどの程度存在するかの分析を行うこ

URL の階層の深さごとの，各ページのエンティティ数の平均とを主目的とする．文単位のエンティティ数を分析したとこと中央値を調べたところ，図 6 のようになった．平均を見ると，ろ図 5 の結果となり，エンティティを 2 個以上含む文の割合

あまり階層の深さにエンティティ数は影響されていないが，階は 6.6%であった．また，エンティティを含む文のうち，エン層の深さが 17 のときだけエンティティ数が約 15 個と多くなっティティを 1 個含む文の割合は 68.8%であった．よって Distantている．ただし図 7 から分かるように，階層の深さが 3 以降でSupervision が適用できないような，エンティティが 1 つしかはページ数が減少し，深さが 17 のときにはページ数が約 18 万含まれない文からの情報抽出手法を研究する必要性が大きいと件しかない．よってエンティティ数が多い特定のページに平均結論付けられる．共参照解析を行えば 1 文中のエンティティをが大きく影響されている可能性があるので中央値も測定した．

2 つ以上に増やすことができる文も存在すると考えられるが，深さが 17 のときのエンティティ数の中央値は 2 であり，他のそのような文がどれだけ含まれているか分析することは今後の深さに比べてむしろ小さくなっている．また，中央値が大きい課題である．また，図 2 の 1 つ目の文のように，正確には文ときと平均が大きいときが一致していない．以上より，階層のと言えないものも入ってしまっていることには留意する必要が深さとエンティティ数に関係があるとは言えないと結論付けらある．

れる．

4. 3. 1 URL の階層の深さとエンティティ数の関係

4. 3. 2 ウェブページ内の領域の種類とエンティティ数の関係

クロールする際に URL のみからエンティティが含まれていウェブページのどの領域から情報抽出すれば良いかを判断す5. 議

70

論

4. で得た情報抽出の観点から重要な知見は次の 3 つである．

50•

エンティティが抽出できるページは限られている•

箇条書きやテーブルにエンティティが多く含まれているநग़‫ݩ‬ϖʔδʹର͢ΔΤϯςΟςΟ਺ͷϖʔδؒฏ‫ۉ‬

60

40

箇条書きやテーブルから多くのエンティティが得られること30が明らかになったため，クローラーの視点から言えばそれらが20多く含まれるページをクロールすることが重要である．上に述10

べたような知見が得られた一方で，本研究の手法にはいくつか

0

図8ࣗવจςʔϒϧՕ৚ॻ͖ΤϯςΟςΟநग़‫ݩ‬ͷछྨ

エンティティ抽出元の種類とエンティティ抽出数の関係(抽出できたウェブページ間での平均)の問題点が見られた．まず，エンティティの抽出手法に改善の余地がある．MeCab で固有名詞として判定される語は，辞書に固有名詞として登録されている語と未知語の一部である．未知語を固有名詞として判別するかは定義されたルールによってなされる．本研究で用いた IPA 辞書では固有名詞として含まれている語が少ないため，偽陽性も偽陰性も多く発生している．偽陽性の例を挙げると，アルファベットからなる文字列は14辞書に含まれていないため固有名詞と分類されるケースが存12在する．偽陰性の例を挙げると．“グーグル” は辞書に含まれ10ていないため一般名詞と判断されるケースが存在する．よって

શ΢Σϒσʔλʹ͓͚ΔΤϯςΟςΟ਺ͷϖʔδؒฏ‫ۉ‬

16

mecab-ipadic-NEologd（注 3）のような，よりエンティティを正確8に抽出できる辞書を用いるべきである．ただし本研究のような6傾向を分析する目的であれば大きな影響はないと考えられる．

4

また，エンティティが含まれるか否かでウェブデータの有用20

図9性を判断することに起因する問題も明らかになった．4. 3. 2 でࣗવจςʔϒϧՕ৚ॻ͖ΤϯςΟςΟநग़‫ݩ‬ͷछྨ

述べたように，ウェブページのヘッダーやフッターのエンティティも用いてしまっている．ヘッダーやフッターからエンティエンティティ抽出元の種類とエンティティ抽出数の関係ティを抽出できても，エンティティ間の関係を推測・抽出でき(全ウェブデータにおける平均)なければ情報抽出タスクには有用とは言えない．よって情報抽出の観点からウェブデータのより正確な分析をエンティティをるために，領域とエンティティ数の関係を分析する．分析する用いて行うためには，ウェブデータのクレンジングを十分に行

領域は (1) 文，(2) テーブル，(3) 箇条書きである．テーブルはう必要があると言える．

<table></table>で囲まれた部分，箇条書きは<li></li>で囲まれた部分のこととする．その領域内に他の種類の領域が含ま

6. 関 連 研 究

れていても，それも含めてエンティティ数を計測する．例えば

本研究のような情報抽出に関する分析を行った研究は我々のテーブル内に文が含まれていた場合，その文中のエンティティ知る限りでは存在しないので，類似している研究を紹介する．

も含めて計測する．

Barrio らは，ディープウェブのコレクションを情報抽出の観計測した結果は図 8 と図 9 のようになり，テーブルと箇条書

点でランク付けし情報抽出を効率的に行う手法を提案していきから多くエンティティが取れた．全ページ数を pall ，種類 k

る [1]．コレクションとは特定のサイトごとに得られるディーの領域を含むページ数を pk ，全ページ中の種類 k の領域内エプウェブのデータのことであり，あるレビューサイトから得たンティティ数を ek とすると，図 8 の縦軸は pek ，図 9 の縦軸
kは pek となる．図 8 に比べ，図 9 で箇条書きとテーブルの差all

データが 1 コレクションとなる．コレクションの一部に対して情報抽出手法を適用し，コレクション全体の有用度を推測するが大きいのは，テーブルを含むページ数が少ないからである．

ことで効率的にランク付けを行っている．コレクションの一部

箇条書きのエンティティ数が大きくなっているが，箇条書きがの選択には，サンプリングまたはコレクション中のページを取ウェブページのヘッダーやフッターに使われていることもある．

得するクエリを限定することで行っている．情報抽出に適したよって箇条書きが情報抽出元として優位だとは言いきれないが，ページは少ないため，ランダムにサンプリングまたはクエリを箇条書きが軽視できないことは確かである．以上より，現状で選ぶと全体の推測に十分なデータが取れない恐れがある．そのは自然文からの情報抽出に関する研究が主流だが，テーブルと対策として，情報抽出に向いているページが取れるようにサン

箇条書きからのエンティティ抽出の重要性も無視できないと言プリングやクエリの選択にバイアスを掛け，そのバイアスを考える．
（注 3）：https://github.com/neologd/mecab-ipadic-neologd慮して全体の推測も行っている．情報抽出の観点からデータを分析している点は本研究と類似性があるが，クロールし終えていることが前提となっている点と情報抽出の効率化が目的な点が異なる．

Dong らはウェブデータの以下の要素に対して，それぞれに適した手法で情報抽出を行うシステムを提案している [4]．

•文•テーブル•

DOM•

アノテーション (Schema.org（注 4）)

そのシステムによる抽出結果として，各要素からの抽出数の違いを明らかにしている．実際に抽出まで行っているので，我々とは異なりファクト単位で分析できている．

Dong らは情報抽出のソースとなるウェブデータの信頼性を推定する手法を提案している [5]．多くのウェブデータに対して複数の抽出手法で抽出した結果を用いることで，ウェブデータの信頼性を求めている．その際に，情報抽出によるエラーとウェブデータ自体の間違いを分離することに成功している．本
研究では MeCab のみを用いたが，複数のエンティティ抽出手法を用いれば本研究でもこの手法を用いることが可能である．

7. お わ り にウェブデータからの情報抽出の必要性が高まっているが，そのウェブデータを情報抽出の観点から分析した研究は見当たらない．そこで本研究では汎用的にクロールして収集した大規
模ウェブデータをエンティティに基いて分析を行った．それによって情報抽出手法の選択やクロールの方向性の決定に役立つ分析結果が得られた．より詳細な分析をして具体的なクロール戦略を立てることと，分析に留まらず大規模日本語ウェブコーパスも作成することが今後の研究課題である．

文献[1] Pablo Barrio, Luis Gravano, and Chris Develder. Ranking
deep web text collections for scalable information extraction. In Proceedings of the 24th ACM International on
Conference on Information and Knowledge Management,
pp. 153–162. ACM, 2015.
[2] Christian Bizer, Jens Lehmann, Georgi Kobilarov, SörenAuer, Christian Becker, Richard Cyganiak, and SebastianHellmann. DBpedia - a crystallization point for the web ofdata. Web Semantics: science, services and agents on theworld wide web, Vol. 7, No. 3, pp. 154–165, 2009.
[3] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge,and Jamie Taylor. Freebase: a collaboratively created graphdatabase for structuring human knowledge. In Proceedingsof the 2008 ACM SIGMOD international conference on
Management of data, pp. 1247–1250. ACM, 2008.
[4] Xin Dong, Evgeniy Gabrilovich, Geremy Heitz, Wilko Horn,Ni Lao, Kevin Murphy, Thomas Strohmann, Shaohua Sun,and Wei Zhang. Knowledge Vault: A web-scale approach toprobabilistic knowledge fusion. In Proceedings of the 20th
ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 601–610. ACM, 2014.
[5] Xin Dong, Evgeniy Gabrilovich, Kevin Murphy, Van Dang,（注 4）：https://schema.org/

Wilko Horn, Camillo Lugaresi, Shaohua Sun, and Wei
Zhang. Knowledge-based trust: Estimating the trustworthiness of web sources. Vol. 8, pp. 938–949. VLDB Endowment, 2015.
[6] Mike Mintz, Steven Bills, Rion Snow, and Dan Jurafsky.
Distant supervision for relation extraction without labeleddata. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint
Conference on Natural Language Processing of the AFNLP:
Volume 2-Volume 2, pp. 1003–1011. Association for Computational Linguistics, 2009.
[7] Lawrence Page, Sergey Brin, Rajeev Motwani, and TerryWinograd. The pagerank citation ranking: bringing orderto the web. 1999.
[8] Bongwon Suh, Gregorio Convertino, Ed H Chi, and Peter Pirolli. The singularity is not near: slowing growth ofWikipedia. In Proceedings of the 5th International Symposium on Wikis and Open Collaboration, p. 8. ACM, 2009.