（様式 20）成果報告書

TSUBAME 共同利用 平成 23 年度 学術利用 成果報告書

利用課題名 大規模ウェブコーパスからの知識獲得およびその応用
英文：Knowledge Acquisition from Large-scale Web Corpora and its Applications
利用課題責任者
河原 大輔
First name Surname Daisuke Kawahara
所属
京都大学
Affiliation Kyoto UniversityURL
http://www.kyoto-u.ac.jp/
邦文抄録
本利用課題では、大規模日本語ウェブコーパスに対して言語解析を行い、その解析結果から高被覆な言語的知識を自動獲得する。得られた知識を用いることにより、言語解析の精度向上が図れるほか、テキスト間の含意関係の推論などの高度な応用処理の実現が期待できる。言語知識としては、具体的には、格フレームと含意関係知識に着目し、TSUBAME の大規模並列計算資源を利用してこれらを自動構築する。データサイズと解析精度との関係を調べたところ、コーパスのサイズが大きくなるにつれて、解析精度が向上することが確認できた。
英文抄録（100 words 程度）
In this project, we perform linguistic analysis to a large-scale Japanese Web corpus and use theresultant data to acquire wide-coverage linguistic knowledge. The knowledge acquired can be used toimprove linguistic analysis and realizes advanced applications including the recognition of textualentailment. As the forms of linguistic knowledge, we focus on case frames and textual entailment. We
are able to automatically construct them using TSUBAME's large-scale parallel computing resources.
We investigated the relationship between the data size and the accuracy of linguistic analysis, andfound that the accuracy of linguistic analysis did become higher as the data size increased.

Keywords: natural language processing, Web, knowledge acquisition, case frames, recognizing
textual entailment

背景と目的
自然言語を解析し、また解析結果を利用した応用処ールしたウェブページではなく、最近のテキストを解析し、応用処理で利用可能とする必要がある。

理を実現するためには、人間が持つ常識的な知識が本利用課題では、新しくクロールされた日本語ウェブ様々な局面で必要となる。しかし、こうした知識を人手ページ 10 億件を解析し、その解析結果から言語知識で記述するのは難しく、「知識獲得のボトルネック」が長の獲得を行う。こうした処理を、TSUBAME の大規模年の課題となってきた。近年、膨大な量のテキストがウ並列計算資源を利用して、極めて短期間で達成するこェブから得られるようになってきており、こうしたテキストとを目的とする。

からの自動獲得により、常識的な知識を得る研究が進みつつある。

概要

これまで我々は、日本語ページ数億件からなる大規本利用課題では、大規模日本語ウェブコーパスに対模ウェブコーパスを言語解析し、その結果から知識獲して、言語解析を行い、その解析結果から知識獲得を得を行ってきた。得られた知識を用いることで、言語解行う。これにより、人間が常識として持っている膨大な析が向上することを示した。さらに、コーパスの規模と知識を自動的に獲得する。得られた知識を用いること解析精度の関係を調査した結果、さらに規模の大きなにより、言語解析の精度向上が図れるほか、テキストコーパスを用いることにより、一層の精度向上が見込ま間の含意関係の推論などの高度な応用処理の実現がれるとの予想を得た。また、応用面においても、人間の期待できる。

実利用者を想定すると、従来用いてきた数年前にクロ

常識的な知識としては、具体的には、格フレーム[1]（様式 20）成果報告書と含意関係知識[2]を構築する。格フレームとは、用言
1とそれに関係する知識を集めたものであり、例えば「積構文解析の精度0.9

む」という用言の格フレームのひとつとして次のようなものが考えられる。

ク,・ ・ ・} に{ 荷物, 物資}を積む
格フレームは述語項構造ともよばれる。述語（積む）といくつかの項（ガ格「従業員」、ニ格「荷物」）との関係を表している。

格解析の精度

精度・カバレッジ{ 従業員, 運転手, ・ ・ ・} が{ 車, トラッ

0.8

0.7

0.60.4格フレームは、構文的曖昧性の解決を含む幅広いタ0.3

スクで利用できる。例えば「弁当は食べて目的地に出0.2発した。」という文において、「弁当は」の係り先としては格フレームのカバレッジ0.5

同義句認識の精度

0.1「食べて」と「出発した。」が考えられる。このとき、「{人,学生, ・ ・ ・} が{ 弁当, パン,・ ・ ・} を食べる}」とい01.5M 6M 25M 100M 400M 1.6G 6.4G 15Gう格フレームを知っていれば、「弁当は」の係り先は「食べて」らしいとわかる。同時に、「弁当は」の提題の「は」の背後には「ヲ格」が隠れていると解析できる。これをコーパスサイズ(文数)

図 1 精度・カバレッジのコーパスサイズによる変化

格解析とよぶ[3]。
含意関係知識として、具体的には事態間の関係を獲得する。例えば、「人が財布を拾って警察に届ける」と果から、述語項構造の共起関係を抽出することにより含意関係知識を構築する。

いう文から、「人が財布を拾う」という事態の次には「警察に届ける」という事態が発生だろうという知識が得られる。ここで、事態は述語項構造で表現される。すなわ
ち、含意関係知識は、格フレームに基づいている。
知識獲得の具体的な手順は以下の通りである。まず、我々の計算機・ネットワーク環境でクロールして得られ結果および考察
日本語ウェブページとして、当初の計画よりも大幅に多い約 30 億件が利用可能となった。そのため、計画に含まれていたテキストからの語彙獲得は取りやめ、格フレームと含意関係知識の構築に取り組んだ。

たウェブページを TSUBAME に転送する。各ウェブペ

約 30 億件のウェブページから日本語文を抽出、重ージから日本語文を抽出し、重複を除去してテキストコ複を除去し、日本語約 150 億文からなるテキストコーパーパスを作成する。このテキストコーパスに対して、形スを作成した。このコーパスに対して構文解析を適用し、態素解析・構文解析を行う。解析はページごとに独立その解析結果から格フレームを構築した。この一連ので依存関係がないため、embarrassingly parallel に処理を行うために、約 20 万 CPU コア・時の計算を要し実行できる。

た。また、この結果得られた格フレームを解析器に組み次に格フレーム構築を行う。まず、構文解析結果か込むことによって、より高精度の解析器が得られた。

ら曖昧性のない述語項構造を並列に抽出する。次に、さらに、コーパスのサイズと解析器の精度との関係抽出された述語項構造を用言ごとにクラスタリングする。

[4]を調べるために、上記 150 億文コーパスからサンプ

こうして得られた格フレームを用いて再度構文解析をリングすることによって、150 万文、600 万文、2500 万並列に行い、構文解析結果から新たな情報を格フレー文、1 億文、4 億文、16 億文、64 億文のコーパスを作成ムに加える。

した。それぞれのコーパスからの格フレーム構築とそれこうして得られた格フレームを用いてウェブコーパスに基づく解析器の作成を行い、コーパスのサイズが大に対して並列に構文・格解析を行う。得られた格解析結きくなるにつれて、解析器の精度が向上することを確認

（様式 20）成果報告書した(図１)。この処理に対して、約 10 万 CPU コア・時のInformation and Systems,計算を要した。

pp.1361-1368, 2010.

含意関係知識の構築は、ウェブページ約 1 億件を対象に行なった。約 300CPU コアを用いることにより約20,000 事態ペアを約 3 日で獲得することができた。
まとめ、今後の課題
本利用課題では、新しくクロールされた日本語ウェブページ 30 億件を解析し、その解析結果から言語知識の獲得を行った。こうした処理を、TSUBAME の大規模並列計算資源を利用して、極めて短期間で達成することができた。
今後は得られた言語知識を含意関係認識タスクなど具体的な応用処理に用いて、その効果を検証したい。
また、精度・知識のカバレッジについて、コーパス規模の拡大によりさらなる改善が予想されることから、さらに規模を拡大して知識獲得に取り組みたい。

参考文献[1] Daisuke Kawahara and Sadao Kurohashi.
Acquiring

Reliable

Predicate-argument

Structures from Raw Corpora for Case Frame
Compilation,

Proceedings

oftheSeventh

conference on International Language ResourcesandEvaluation(LREC'10),

pp.1389-1393,

Valletta, Malta, 2010.
[2] 柴田知秀, 黒橋禎夫. 述語項構造の共起情報と格フレームを用いた事態間知識の自動獲得, 情報処
理学会 第 203 回自然言語処理研究会, 2011.
[3] Daisuke Kawahara and Sadao Kurohashi. AFully-Lexicalized

Probabilistic

ModelforJapanese Syntactic and Case Structure Analysis,
Proceedings of the Human Language Technology
Conference of the North American Chapter of theAssociationfor

ComputationalLinguistics,

pp.176-183, 2006.
[4] Ryohei Sasano, Daisuke Kawahara and Sadao
Kurohashi. The Effect of Corpus Size on Case
Frame

Acquisition

forPredicate-Argument

Structure Analysis, IEICE TRANSACTIONS onVol.E93-D,

No.6,