（様式 20）成果報告書

TSUBAME 共同利用 平成 27 年度 学術利用 成果報告書

利用課題名 知識に基づく構造的言語処理の確立と知識インフラの構築
英文：Establishment of Knowledge-Intensive Structural Natural Language
Processing and Construction of Knowledge Infrastructure
利用課題責任者 黒橋 禎夫
First name Surname Sadao Kurohashi
所属 京都大学 大学院情報学研究科
Affiliation Graduate School of Informatics, Kyoto University
URL http://nlp.ist.i.kyoto-u.ac.jp/
邦文抄録（300 字程度）
本利用課題では，知識に基づく頑健で高精度な構造的言語処理を実現し，これによって様々なテキストの横断的な関連付け，検索，比較を可能とする知識インフラを構築することを目的とする．そのために，大規模 Web コーパスに対して言語解析を適用し，その解析結果から膨大な知識を獲得する．知識としては，動詞の意味フレームと言語モデルを対象とする．前者は構造的言語処理の基盤的な知識であり，後者はテキストの形態素解析に必要な知識である．この知識獲得の処理には膨大な計算量が必要になるが，TSUBAME の大規模並列計算資源を利用することによって，極めて短期間で達成することができた．
英文抄録（100 words 程度）
In this project, we perform linguistic analysis to a large-scale Web corpus and use the resulting
analyses to acquire wide-coverage knowledge, such as semantic frames and language model. The
knowledge acquired can be used to improve linguistic analysis and morphological analysis. We
accomplished these knowledge acquisition processes quite rapidly using TSUBAME.

Keywords: natural language processing, Web, semantic frame, language model背景と目的適用し，２種類の知識を獲得した．

テキストは，専門家によるデータの分析結果や解釈，ステークホルダーの批判・意見，種々の手続きや ノウ

日本語格フレームの獲得ハウなどが表出されたものであり，人間の知識表現の根１つ目の知識は，省略・照応・談話解析の基盤的知幹である．テキストとして表現された知識を計算機によっ識となる意味フレームであり，述語がどのような格をとり，て抽出・関連付けすることができれば，社会における知どのような名詞と関係をもつかを記述したものである．次識循環を円滑化し，異なる分野間での知識の相互関連に"observe"という英語の動詞に対する一つの意味フレ性の発見や，新しい知識・法則の発見を支援することがームを示す．

可能となる．言語情報処理はウェブをはじめとする大規模テキストの活用によって長足の進歩を遂げつつある

subj:{child,people, ...} observe dobj:{bird, animal, ...}

が，本利用課題ではこれをさらに発展させ，知識に基づ

prep_at:{range, time,...}く頑健で高精度な構造的言語処理を実現し，これによって様々なテキストの横断的な関連付け，検索，比較を可能とする知識インフラを構築する．

平成 25 年度は，[Kawahara+ 2014]の手法を言語解
析結果に対して適用して意味フレームを獲得した．この

本利用課題では，TSUBAME の大規模計算機環境を手法は，言語解析結果から述語項構造を抽出し，まず用いて，上記の目的を実現するために必要となる知識似た意味をもつものをマージして初期フレームを作る．

を大規模テキストコーパスから自動獲得する．

次に，初期フレームを Chinese Restaurant Process によってクラスタリングすることによって，述語ごとに最適な本利用課題では，大規模 Web コーパスに言語解析を数の意味フレームを自動的に推定する．このような段階

（様式 20）成果報告書
的プロセスによって，大規模な言語解析結果を入力しの３種類に 分けそれぞれについて格フレームを構築しても，スケーラブルに意味フレームの獲得を行うことがでてから最後に統合する手法を提案した．（図１）これによきる．

り，異なる格パターンを含む格フレームの作成が避けら

平成 26 年度は同様の手法を日本語に適用することれる．

で，日本語の意味フレームの獲得も行ったが，分析した評価実験では，日本語ウェブテキスト 40 億文に対ところ，格パターンの多様性に頑健ではないという問題して提案手法を用いた格フレームを構築し，そのうちがあった．そこで，本年度は，用例を格の出現の仕方に200 格フレームについて妥当な格フレームの割合を基づいて 3 種類に分けそれぞれについて格フレーム調べた．結果，従来手法と比較して 72.5%(145/200)を構築してから最後に統合する手法を提案した．

から 95.5%(191/200) に大きく改善したことを確認した．
なお本研究の成果は，[林部+ 2015]で発表した．

結果および考察

従来の研究では，用例をクラスタリングして，述語のまとめ，今後の課題語義と格パターンの違いの両方をとらえようとしてきた

今後は，本手法で構築した格フレームを用いて述語が，異なる格パターンを含む格フレームを作ってしま項構造解析を行う予定である．

うという問題があった．例えば「拡大する」は，自動詞用法と他動詞用法の 2 種類の格のとり方がある．自意味的言語知識に基づく形態素解析モデル

動詞用法は例 (1a) のようにガ格に対象物をとりヲ格

2 つめの知識は，統計的言語モデルである．統計的言はとらないパターンで，他動詞用法は例 (1b) のよう語モデルとは，「雨が」には「降る」や「止んだ」が続きやにガ格に動作主体をとりヲ格に対象物をとるパターン

すいというような単語の出現のしやすさを確率として表である．

す，語彙に関する統計的な知識である．

a. 規模が 倍に 拡大する
b. 企業が 規模を 倍に 拡大する

高次の文脈解析を正確に行おうとすれば，意味の従来の手法では，格パターンの違いを考慮せずにク基本単位であり，もちろん照応・省略の基本単位でもラスタリングしていたため，ある単語の認識（形態素解析）を極めて高い精度で{ 規模, . . .} が { 規模, . . .} を { 倍, . . .} に 拡行っておく必要がある．従来の形態素解析は 98%前大する後の精度が達成されているものの，この観点からまだという実際には用いられない格の組み合わせをもつ十分な精度とはいえない．

格フレームができてしまっていた．
そこで，用例を下図のように，従来の形態素解析には，語彙の不足と，解析にお(1)ヲ格を含む用例いて意味を考慮していないという，２つの大きな問題(2)ヲ格は含まず無生物であるガ格を含む用例点が残されていた．語彙の不足は，その単語を適切(3)その他の用例な単位で認識できないというだけでなく，その前後の

図 1 構築した格フレームの概要

（様式 20）成果報告書
単語の解析にも悪影響を及ぼすことが少なくない．て得られる意味的に妥当な大多数の解析により，意意味を考慮していない問題は，特に複数の解釈があ味的に不自然な単語並びの悪影響を打ち消すことりうる複合名詞の分割などで問題となる．例えば日本ができる．

語テキストの解析で広く利用されている形態素解析
器 JUMAN や MeCab においても，「外国人参政権」と本項目では，RNNLM (Recurrent Neural Networkいう文字列を「外国/人参/政権」のように誤って分割Language Model) と呼ばれる意味的に汎化された言してしまう．

語モデルを用いることで，意味的に不自然な解析を抑える形態素解析手法[Morita+ 2015]を提案した．

本研究ではまず，Wikipedia，Wiktionary およびTSUBAME の大規模計算機環境を用いることにより ，Web テキストコーパスから，大規模に語彙を獲得し，JUMAN により解析した大規模な Web テキストコーパ

これによって，未知語による形態素解析誤りを大きくスを用いて RNNLM を構築し，さらに，中規模の人手削減した．Wikipedia からは，「橋下」「お茶の水」「東でラベル付けされたコーパスで言語モデルの再学習

プレ」 「アベノミクス」 「 妊 活 」 等 の 844,263 語 ，を行った(図 2)．Web 上のリソースから獲得した語彙

Wiktionary からは，「インセンティヴ」「糾す」「肥沃だ」

知識による辞書の更新と合わせ，新聞テキスト（京都等の動詞・形容詞を含む 2,207 語，Web テキストコ大学テキストコーパス）および，Web テキスト一般（京ーパスからは「逆進税」「政独委」 (政策評価・独立行

都大学 Web 文書リードコーパス）の各 2,000 文で評

政法人評価委員会の略称)といった 5,688 語を獲得価したところ，大幅な精度の改善を達成した(図 3)．

した．

図において，新聞テキスト，Web テキスト一般のいずれにおいても，デフォルトの辞書の JUMAN，MeCab

さらに，大規模な Web テキストコーパスを解析することにより語彙の意味的な振る舞いに関する知識を，よ統計的言語モデルとして獲得した．空白で区切られた英語などと違い，日本語や中国語のように空白で区切られていない言語においては，言語モデルを構り築するために形態素解析システムの出力が必要となも，るが，このシステムの出力には，「外国/人参/政権」

大規模語彙を補強した JUMAN，MeCab の方が精度のような誤った解析が含まれてしまう．そのため，このが上昇している．さらに，ここに言語モデルを加えたような形態素解析の誤りから学習された言語モデル

場合，一般の単語ベースの言語モデルである SRILMをそのまま形態素解析に利用したとしても，単に誤りを用いる場合にはかえって精度が悪化するのに対しの再生産が起こるだけである．しかし，意味的に汎化て，提案手法の意味的汎化による言語モデル

したレベルからこの単語の並びを見ると，

RNNLMretrain を利用する方法では大きく精度が向<国>-<野菜>-<政治>のような特異的な並びになって上していることが分かる．

おり，このような誤った解析は特定の単語の並びに対本手法を用いて，TSUBAME の計算機環境を用してのみ起こるため，Web テキストコーパスを解析しいることで３８億文の解析を行った．今後はこの解析

新聞テキスト
98.9
98.7
98.5
98.3
98.1

単語分割＋品詞推定 (F値)

図 2: 形態素解析器の学習フロー

JUMAN
MeCab

97.8

JUMAN (＋大規模語彙)MeCab (＋大規模語彙)
SRILM (＋大規模語彙)
RNNLMretrain (＋大規模語彙)

97.6

Webテキスト一般JUMAN
MeCabJUMAN (＋大規模語彙)
MeCab (＋大規模語彙)
SRILM (＋大規模語彙)
RNNLMretrain (＋大規模語彙)

97.7

97.5
97.4
97.3

単語分割＋品詞推定 (F値)

図 3: 語彙的言語知識および意味的言語知識に基づく形態素解析モデルによる精度向上

（様式 20）成果報告書
結果を元に，より高精度な知識の獲得を行う．また，より多くの語彙知識を利用する方法について検討を進めていく．

参考文献[Kawahara+ 2014] Daisuke Kawahara, Daniel W.
Peterson, Octavian Popescu and Martha Palmer. A
Step-wise

Usage-based

Methodfor

Inducing

Polysemy-aware Verb Classes,. In Proceedings ofACL2014, 2014.

[林部+ 2015] 林部祐太，河原大輔，黒橋禎夫 . 「格パターンの多様性に頑健な日本語格フレーム構築」， 情報処理学会第 224 回自然言語処理研究会, 2015

[Morita+ 2015] Hajime Morita, Daisuke Kawahara andSadao

Kurohashi:

MorphologicalAnalysisforUnsegmented Languages using Recurrent NeuralNetwork Language Model, Proceedings of EMNLP
2015: Conference on Empirical Methods in NaturalLanguage Processing, 2015