（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 知識に基づく構造的言語処理の確立と知識インフラの構築
英文：Establishment of Knowledge-Intensive Structural Natural Language Processing andConstruction of Knowledge Infrastructure
利用課題責任者 黒橋 禎夫
First name Surname Sadao Kurohashi
所属 京都大学 大学院情報学研究科
Affiliation Graduate School of Informatics, Kyoto University
URL http://nlp.ist.i.kyoto-u.ac.jp/
邦文抄録（300 字程度）
本利用課題では，知識に基づく頑健で高精度な構造的言語処理を実現し，これによって様々なテキストの横断的な関連付け，検索，比較を可能とする知識インフラを構築することを目的とする．そのために，大規模 Web コーパスに対して言語解析を適用し，その解析結果から膨大な知識を獲得する．この知識獲得の処理には膨大な計算量が必要になるが，TSUBAME の大規模並列計算資源を利用することによって，極めて短期間で達成することができた．
英文抄録（100 words 程度）
In this project, we aim to establish robust and accurate knowledge-intensive structural NLP, and toconstruct a knowledge infrastructure which can relate, retrieve and compare knowledge from various
texts. We perform linguistic analysis to a large-scale Web corpus and use the resulting analyses toacquire wide-coverage knowledge. We accomplished several knowledge acquisition processes quite
rapidly using TSUBAME.

Keywords: ５つ程度
natural Language processing, Web, predicate-argument structure analysis, parsing, similarity learning
背景と目的
テキストは，専門家によるデータの分析結果や解釈，定理証明を用いたフレーズ公理生成，関係知識獲得ならびに英語コーパスの構文解析を行った．

ステークホルダーの批判・意見，種々の手続きや ノウハウなどが表出されたものであり，人間の知識表現の根

Entity-Centric な述語項構造解析・共参照解析の同幹である．テキストとして表現された知識を計算機によっ時学習て抽出・関連付けすることができれば，社会における知背景

識循環を円滑化し，異なる分野間での知識の相互関連

述語項構造解析とはテキスト中の「誰が何をどうした」を性の発見や，新しい知識・法則の発見を支援することが明らかにする解析である．述語項構造解析は情報抽出可能となる．言語情報処理はウェブをはじめとする大規や質問応答など様々なアプリケーションにとって重要と模テキストの活用によって長足の進歩を遂げつつあるなる基礎解析である．

が，本利用課題ではこれをさらに発展させ，知識に基づ

述語項構造解析は格解析とゼロ照応解析からなる．格

く頑健で高精度な構造的言語処理を実現し，これによ解析は述語と項が係り受け関係にある場合に格関係をって様々なテキストの横断的な関連付け，検索，比較を明らかにする解析であり，ゼロ照応解析は述語と項が係可能とする知識インフラを構築する．

り受け関係にない場合に項を同定する解析である．ゼロ

本利用課題では，TSUBAME の大規模計算機環境を照応解析はさらに文内ゼロ照応解析(述語と項が同一用いて，上記の目的を実現するために必要となる知識文にある)と文間ゼロ照応解析(述語の文より前の文に項を大規模テキストコーパスから自動獲得する．具体的にがある)に大別することができる．述語と項の依存構造上は述語項構造解析・共参照解析の同時学習，論理式とのパスなどの手がかりが使えない，項の候補がたくさん

（様式 20）成果報告書
格解析と共参照解析の精度はほぼ変化ないが，ゼロ照entityバッファ
著者

読者

コワリョフ氏 党員

ロシア

応解析の精度はベースラインに対してウェブで 3.8 ポイ・・・ント(0.523 → 0.561)，新聞で 7.5 ポイント(0.280 →ガガ0.355)の精度向上がみられた．特に文間ゼロ照応解析
コワリョフ氏は正式な党員ではないが、… ロシア共産党から立候補し当選した。

・・・の精度がウェブで 27.2 ポイント(0.046 → 0.318)，新聞で 15.5 ポイント(0.028 → 0.183)と大幅な精度向上がみ

同氏は当選までロシア内務省法律研究所の教授を務めていた法律学者。

ガ・・・
九四年に大統領令でチェチェン問題に関する人権監視委員会の委員長に任命された。

ガ・・・

られた．
訓練とテストは 1GPU で半日程度の時間を要する．様々な条件での実行が必要となるが，TSUBAME を用いるこチェチェンへの軍事介入に関しては、… エリツィン大統領の立場を支持していた。とで単時間での実行が可能となった．

図 1 述語項構造解析と共参照解析の同時学習

まとめ，今後の課題あるなどの理由から文間ゼロ照応解析は非常に難しい提案手法は文間ゼロ照応解析の精度を大きく向上するタスクである．文間ゼロ照応解析の精度を向上させるたことができた．今後の課題として橋渡し参照などを行うこ

めには文章中で何が話題の中心であるかなどを捉えるとや事態間関係知識などの外部知識を取り入れること必要がある．などがあげられる．

本研究では話題の中心を捉えるために entity という概念を導入する[柴田+ 18]．entity を考えるためには共参

論理式と定理証明を用いたフレーズ公理生成照解析を行う必要があるので，述語項構造解析と共参

背景照解析を同時に行う．Wiseman らは RNN (Recurrent

含意関係認識（Recognizing Textual Entailment, RTE）

Neural Network)で entity の embedding を計算しておりは，テキスト T が仮説文 H を含意するか否かを自動判定[Wiseman+ 2016]，本研究でもこの手法にならい entity

する自然言語処理のタスクであり，意味処理のもっともの embedding を計算し，話題の中心を捉える．

重要な基盤技術の一つである．文の意味を論理式で表方法

現し，論理推論によって高度な意味解析を行う手法は，提 案 手 法 の 概 要 を 図 1 に 示 す ． 各 entity に は論理式による意味表現と整合性の高い組合せ範疇文embedding を割り当て，図の上部に示すバッファで管理(CCG)による頑健な統語解析の発展に伴い，RTE や文する．入力テキストが与えられると，まず Bi-directional

間類似度学習のタスク [Yanaka+ 2017]において高精

LSTM を用いて文脈を考慮した句の表現を得る．次に，度を達成している．

文章の先頭から対象の句が名詞句の場合は共参照解

論理推論によるアプローチでは，否定表現や数量表析を，動詞句の場合は述語項構造解析を行う．共参照

現など機能語の意味解析を正確かつ効率的に扱うこと

解析・述語項構造解析ともにニューラルネットワークを用ができるが，内容語の語彙知識が必要な推論について

い て ス コ ア を 計 算 す る ． そ の 際 に mention のは課題が残されている．特に，論理ベースの手法におembedding(Bi-directional LSTM で得られるもの)だけでいて，WordNet など既存の大規模データベースの語彙なく entity の embedding を考慮する．そして，両解析の知識を利用することで，単語間知識の扱いは一定の有解析結果を用いて RNN で embedding を更新し，情報を効性が認められているが，フレーズ間知識の扱いは十蓄積する．

分に検討されてこなかった．

結果

方法

評価は京都大学ウェブ文書リードコーパス(ウェブ, 約

そこで本研究では，論理ベースの深い意味解析の手5,000 文書)と京都大学テキストコーパス(新聞, 約 550法に基づいてフレーズ間の語彙知識を獲得し，論理推文書)の 2 種類のコーパスで行った．entity を考慮しない論と組み合わせて用いる手法について検討した．フレ

ベースライン手法と提案手法を比較した．

ーズ間知識を論理推論で扱うためには，文中のフレー（様式 20）成果報告書ズの適切な対応付け（フレーズアライメント）を特定するすることで，さらなる精度向上が見込まれる．

必要がある．先行研究では文の表層情報を利用してフレーズアライメントを行う手法が研究されているが，cut ...

オートエンコーダとの同時学習による関係知識共有

into pieces など，非連続なフレーズを扱うことが難しいと概要いう問題がある．文の意味を論理式で表現することで，WordNet, YAGO, Freebase などのような大規模知識こうした非連続なフレーズを含む広範囲の推論・言い換

ベースは，事実を（ヘッドエンティティ，関係，テールエえが扱えるようになると期待される．

ンティティ）の三つ組で表現し，意味解析，情報抽出，より具体的には， 本研究では，自然演繹に基づく文質問応答などに広く応用されてきた．しかし事実を完全間の含意関係の証明の実行過程からフレーズアライメ網羅するのが難しいため，欠損されたエンティティを予ントを特定し，論理推論に適用する手法を提案した．提測する知識ベース補完が盛んに研究され，これらの研案手法を用いてフレーズ間知識の公理を生成し，RTE

究では，エンティティと関係を含む知識ベースの要素をの問題に適用することで，単語間知識だけでは推論で連続ベクトル空間に埋め込むことで，格納された事実きなかったパラフレーズを含む文間の含意関係が推論（三つ組）の背後に存在する統計的な規則性をモデル可能となるか，RTE 評価用データセットによる評価を行化し，記述漏れした事実を導き出す．

った．

この連続空間埋め込みを行う際の研究課題の一つに，結果関係間の知識共有がある．直感的に，例えば「（人物提案手法の評価には RTE 評価用データセットであるが）（作品を）監督した」と「（人物が）（作品を）製作した」

SemEval2014 SICK を用いた．SICK は 2 つの文の含意という関係はどちらも「人物」と「作品」を結びつく概念で関係（yes, no, unknown）が人手で付与されている．訓練

あるように，多くの関係はいくつかの概念を共有するのデータは 5000 件，テストデータは 4927 件である．CCGで，このような直感を知識ベースのモデル化に取り入れ解析によって文を高階論理式に変換し，自動推論を行ることが望ましい．本研究は，知識ベースの埋め込みをうシステム ccg2lambda に提案手法であるフレーズアライ

訓練すると同時に，関係に対するオートエンコーダを合メント機能，フレーズ間の公理生成機能を拡張し，実験わせて学習することで関係間の知識共有を促す柔軟なを行った．まず，訓練データ中の RTE 正解ラベルが yes枠組みを提案し，評価実験を行なった．この手法は，関か no の全文例について，提案手法を用いて含意関係係のモデル化自体に何の制約も与えずに，知識共有のの証明を行った上で，フレーズアライメントを特定し，フ強さ度合いをオートエンコーダのコード長で柔軟に調整レーズ間知識の公理を収集した．次に，テストデータ中できる利点を持つ．の全文例で含意関係の証明を行い，評価を行った．

方法

実験の結果，フレーズ間・単語間知識の公理生成を

具体的には，これまでに開発した VecDCS モデル組み合わせた場合の正答率は 84.3%であり，公理生成[Tian+ 2016]をベースにした学習手法を知識ベースなし(76.6%)，単語間公理生成のみ(83.1%)の場合と比べの埋め込みに適用し，その学習と同時に関係を表すて向上が見られた．また，SemEval2014 のトップスコア

行列を低次元コードから復号化するオートエンコーダ(83.6%)を上回る結果となった．フレーズ間知識の公理を加えた．

収集時・評価時の証明時間はいずれも 1 文ペアあたり結果および考察平均 3.0 秒だった．

知識ベース補間の標準的な評価データである WN18,TSUBAME の分散並列処理の利用により，CCG によるFB15k, WN18RR, FB15k-237, YAGO3-10 などを用い統語解析，ccg2lambda による意味解析と自動証明の各てモデルを訓練し，評価を行った．訓練は TSUBAME処理に関して，きわめて短期間に成果を得ることができの f_node を利用し，CPU 28 並列で行なった．その結果，たと言える．今後，訓練データから収集したフレーズをVecDCS モデルの学習手法を利用したベースモデル用いて公理を生成するか否かを判定する分類器を作成

は，既に多くのデータセットで state-of-the-art を達（様式 20）成果報告書成しており，今回提案のオートエンコーダを加えるとNatural Deduction Proofs. Proceedings of the 2017

更なる精度向上が見られた．これら結果の報告は[高Conference橋+ 2018]で行なった．

Language Processing (EMNLP2017), Copenhagen,まとめ，今後の課題

Denmark, September 7–11, 2017.

on

EmpiricalMethodsinNatural

今後は，パラメータ・チューニングによる更なる精度向[ 谷 中 + 2018] 谷 中 瞳 , 峯 島 宏 次 , Pascual

上と，知識ベース補間と含意関係認識の統合を目指す

Martinez-Gomez, 戸次大介. 自然演繹に基づく文よう研究を進めて行きたい．

間の含意関係の証明を用いたフレーズアライメントの試み. 言語処理学会第 24 回年次大会, 2018.

英語コーパスの構文解析[馬目+ 2018] 馬目華奈, 谷中瞳, 吉川将司, 峯島概要宏次, 戸次大介. RNN 系列変換モデルを用いた高本研究は，単語の分散表現に感情極性や文書トピッ

階論理式からの文生成, 言語処理学会第 24 回年次

クなど，単語生成に関わるいろんな因子を取り込むこと大会, 2018.

を目指す．そのために用いたデータセットは[Tian+ 2016] Ran Tian, Naoaki Okazaki, Kentaro Inui:

Multi-domain Sentiment Dataset で，25 カテゴリの商品

Learning Semantically and Additively Compositionalに対する 140 万レビューを集めたコーパスである．このDistributional Representations; In Proceedings of ACL,コーパスに対して，SyntaxNet を用いた品詞タグ推定，2016.

及び依存構造解析を行なった．

[高橋+ 2018] 高橋諒, 田然, 乾健太郎, オートエン結果および考察

コーダとの同時学習による知識共有, 言語処理学会

構文解析は TSUBAME の q_node を使い，GPU を用

第 24 回年次大会, 2018.

いて行なった．２４時間以内に全コーパスの解析が終わ[田+ 2018] 田然, 渡邉研斗, 乾健太郎, 多因子単った．この解析結果を用いて訓練した単語分散表現の語埋め込みを用いる複数分野感情極性の転移学習,モデルから，各因子だけに関わる部分の特徴が現れた．

言語処理学会第 24 回年次大会, 2018.

これらの結果は[田+ 2018]で報告した．
まとめ，今後の課題
今後は，訓練した単語表現を他分野への転移学習や含意関係認識に応用する予定である．

参考文献[柴田+ 2018] 柴田知秀, 黒橋禎夫. Entity-Centric
な述語項構造解析・共参照解析の同時学習. 言語処理学会第 24 回年次大会, 2018.
[Wiseman+ 2016] Wiseman, Sam, Rush, Alexander M.
andShieber, Stuart M. Learning Global Features

for Coreference Resolution. Proceedings of the 2016
Conference of the North American Chapter of theAssociation for Computational Linguistics: HumanLanguage Technologies, 2016.
[Yanaka+ 2017] Hitomi Yanaka, Koji Mineshima,
PascualMartínez-Goméz

Determining

SemanticandDaisuke

Bekki.

TextualSimilarity

using