（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 知識に基づく構造的言語処理の確立と知識インフラの構築
英文：Establishment of Knowledge-Intensive Structural Natural Language Processing andConstruction of Knowledge Infrastructure
利用課題責任者 黒橋 禎夫
First name Surname Sadao Kurohashi
所属 京都大学 大学院情報学研究科
Affiliation Graduate School of Informatics, Kyoto University
URL http://nlp.ist.i.kyoto-u.ac.jp/
邦文抄録（300 字程度）
本利用課題では，知識に基づく頑健で高精度な構造的言語処理を実現し，これによって様々なテキストの横断的な関連付け，検索，比較を可能とする知識インフラを構築することを目的とする．そのために，大規模 Web コーパスに対して言語解析を適用し，その解析結果から膨大な知識を獲得する．この知識獲得の処理には膨大な計算量が必要になるが，TSUBAME の大規模並列計算資源を利用することによって，極めて短期間で達成することができた．
英文抄録（100 words 程度）
In this project, we aim to establish robust and accurate knowledge-intensive structural NLP, and toconstruct a knowledge infrastructure which can relate, retrieve and compare knowledge from varioustexts. We perform linguistic analysis to a large-scale Web corpus and use the resulting analyses toacquire wide-coverage knowledge. We accomplished several knowledge acquisition processes quite
rapidly using TSUBAME.

Keywords: ５つ程度
natural Language processing, knowledge acquisition, predicate-argument structure analysis, text
generation
背景と目的

本利用課題では，TSUBAME の大規模計算機環境をテキストは，専門家によるデータの分析結果や解釈，用いて，上記の目的を実現するために必要となる知識ステークホルダーの批判・意見，種々の手続きや ノウを大規模テキストコーパスから自動獲得する．具体的にハウなどが表出されたものであり，人間の知識表現の根は述語項構造解析・共参照解析の同時学習と LSTM を幹である．テキストとして表現された知識を計算機によっ用いた論理式からの文生成を行った．て抽出・関連付けすることができれば，社会における知識循環を円滑化し，異なる分野間での知識の相互関連

Entity-Centric な述語項構造解析・共参照解析の同性の発見や，新しい知識・法則の発見を支援することが時学習可能となる．言語情報処理はウェブをはじめとする大規背景模テキストの活用によって長足の進歩を遂げつつある

述語項構造解析とはテキスト中の「誰が何をどうした」をが，本利用課題ではこれをさらに発展させ，知識に基づ明らかにする解析である．述語項構造解析は情報抽出

く頑健で高精度な構造的言語処理を実現し，これによや質問応答など様々なアプリケーションにとって重要とって様々なテキストの横断的な関連付け，検索，比較をなる基礎解析である．

可能とする知識インフラを構築する．

（様式 20）成果報告書
今年度は昨年度に提案したモデル[柴田+ 18]の上で橋entityバッファ
著者

読者

コワリョフ氏 党員

ロシア

渡し指示解析(名詞に関する関係解析)も行うなどの拡・・・張を試みた．

ガガ

コワリョフ氏は正式な党員ではないが、… ロシア共産党から立候補し当選した。

・・・

結果
訓練とテストは 1GPU で半日程度の時間を要する．

同氏は当選までロシア内務省法律研究所の教授を務めていた法律学者。

ガ・・・
九四年に大統領令でチェチェン問題に関する人権監視委員会の委員長に任命された。

TSUBAME を用いることで様々な条件での実行が短時間で可能となった．

ガ・・・
チェチェンへの軍事介入に関しては、… エリツィン大統領の立場を支持していた。

図 1 述語項構造解析と共参照解析の同時学習
述語項構造解析のサブタスクにゼロ照応解析と呼ばれLSTM を用いた論理式からの文生成る解析があり，これは述語と項が係り受け関係にない場背景合に項を同定する解析である．ゼロ照応解析はさらに近年の構文解析と意味解析の技術の発展によって，文文内ゼロ照応解析(述語と項が同一文にある)と文間ゼの意味を論理式で表して高度な推論を行うシステムのロ照応解析(述語の文より前の文に項がある)に大別す構築が可能となった．このようなシステムは，含意関係ることができる．文間ゼロ照応解析は非常に難しいタス

認識[Mineshima+ 2015] や文間類似度計算のタスククであり，その精度を向上させるためには文章中で何が[Yanaka+ 2017]で高精度を達成しており，今後さらなる話題の中心であるかなどを捉える必要がある．

自然言語処理タスクへの応用が期待されている．

話題の中心を捉えるために entity という概念を導入する文からその論理式への変換が高精度に行われる一方モデルを提案した[柴田+ 18]．entity を考えるためにはで，論理式を自然言語文に戻す方法については自明

共参照解析を行う必要があるので，述語項構造解析とではない．しかし，論理式から自然言語文に逆変換す

共 参 照 解 析 を 同 時 に 行 う ． Wiseman ら は RNNることができれば，推論システムの改善や，様々な自然(Recurrent Neural Network)で entity の embedding を計

言語処理タスクへの応用が期待できる．推論システムに算しており[Wiseman+ 2016]，本研究でもこの手法になおいては，実社会への応用を考えると，推論に失敗した

らい entity の embedding を計算し，話題の中心を捉え場合において，なぜ推論に失敗したのかという解釈性る．

が求められる．そこで，推論において証明不可能と判定方法された論理式を文に変換することができれば，どのよう提 案 手 法 の 概 要 を 図 1 に 示 す ． 各 entity に はな知識が推論に必要であったかを言語化することがでembedding を割り当て，図の上部に示すバッファで管理きる．

する．入力テキストが与えられると，まず Bi-directional

また，論理式から自然言語文に変換する方法は，パラLSTM を用いて文脈を考慮した句の表現を得る．次に，フレーズ抽出，テキスト平易化等への応用も可能である．

文章の先頭から対象の句が名詞句の場合は共参照解

パラフレーズ抽出については，例えば，二文を論理式

析を，動詞句の場合は述語項構造解析を行う．共参照に変換した上で，それらの論理式に共通する部分を自解析・述語項構造解析ともにニューラルネットワークを用然言語に変換することにより，二文の意味の重複を言語

い て ス コ ア を 計 算 す る ． そ の 際 に mention の化する，といった応用が考えられる．また，テキスト平易

embedding(Bi-directional LSTM で得られるもの)だけで化については，統計的機械翻訳を用いた手法が研究さなく entity の embedding を考慮する．そして，両解析のれているが，統語構造の差異による意味の違いを抽象解析結果を用いて RNN で embedding を更新し，情報を化する論理式の性質を利用すれば，難しい文を論理式蓄積する．に変換し，論理式から同じ意味を持つ平易な文を生成（様式 20）成果報告書することが考えられる．

な述語項構造解析・共参照解析の同時学習. 言語方法

処理学会第 24 回年次大会, 2018.

そこで本研究では，機械翻訳等の系列変換において高[Mineshima+ 2015]

い精度を示しているニューラルネットによる系列変換モ

Koji Mineshima, Pascual Martínez Gómez, Yusuke

デル(Sequence-to-Sequence model)を用いて高階論理

Miyao, and Daisuke Bekki. Higher-order logical

式から文を生成する手法を提案する．エンコーダの入

inference with compositional semantics. In Proc. of

力となる論理式をどのようにシーケンス化するかについEMNLP, 2015.て，複数の方法を提案・比較した．具体的には，文字単[Yanaka+ 2017]

位での埋め込みや論理記号単位での埋め込みの比較，

Hitomi Yanaka, Koji Mineshima, Pascual Martínez

加えて論理記号単位の場合においては，論理式の埋

Gómez, and Daisuke

め込み順の比較を行なった．さらに，デコーダ部には，

Bekki. Determining Semantic Textual Similarity using

論理式に述語として出現しない名詞，動詞を出力させNatural Deduction Proofs. In Proc. of EMNLP, 2017.

ないようにする masking ベクトルを追加した．

[馬目+ 2018]

また，文生成において，表層の n-gram 一致率を計算

馬目華奈, 谷中瞳, 吉川将司, 峯島宏次, 戸次大介.

する BLEU 等が定量指標として用いられることが多いが，RNN 系列変換モデルを用いた高階論理式からの文生

これは類似度以上の意味を考慮した評価を行うことがで

成. 言語処理学会第 24 回年次大会(NLP2018), 岡山,きない．本研究班がこれまでに開発した，統語解析・意Mar.2018.

味 解 析 ・ 推 論 の 統 合 的 シ ス テ ム ccg2lambda[Manome+ 2018][Mineshima+2015]を用いて，元の文と生成された文とのKana Manome, Masashi Yoshikawa, Hitomi Yanaka,

双方向含意関係の証明を行うことで，深い意味的な関Pascual Martínez-Gómez, Koji Mineshima and Daisuke

係を考慮して生成文を評価する方法を提案する．

Bekki.

結果

semantics. In Proc. of INLG, 2018.

実験では，大規模な含意関係認識用データセットである SNLI を用いた．データセット中の開発データ 50,000
件を ccg2lambda を用いて論理式と文のペアを作成した．
ルールベースによる手法との比 較を行ったところ，BLEU 値，含意関係認識評価のどちらも既存手法を上回った．論理式の埋め込みは，文字単位でなく論理記号単位で埋め込みを行い，論理式のグラフ構造に基づいて論理式中の項を系列に落とし込むことで，非文の生成が抑制された．また，デコーダ部に masking ベクトルを追加することで，BLEU 値，含意関係認識評価のどちらも高くなり，精度向上が見られた．含意関係認識を用いた評価は，文が非文かどうかの判断を行える点でも非常に有用であった．TSUBAME の利用により，大規模データを用いた系列変換モデルの学習が可能となり，本研究の成果を得ることができたと言える．

参考文献[柴田+ 2018] 柴田知秀, 黒橋禎夫. Entity-Centric

Neuralsentence

generation

fromformal