# 論文
## 自然演繹に基づく論理推論の文間類似度学習・含意関係認識への応用

谷中瞳 ${ }^{\dagger}$ 峯島宏次 ${ }^{\dagger \dagger}$ P Pascual Martínez-Gómez ${ }^{\dagger \dagger+}$ 戸次大介方

文と文がどのような意味的関係にあるかという文間の関連性の計算は, 情報検索や文書分類，質問応答などの自然言語処理の基盤を築く重要な技術である．文の意味をべクトルや数值で表現する手法は未だ発展途上であり，自然言語処理分野においては，様々な機械学習による手法が活発に研究されている。これらの手法では，文字や単語を単位としたべクトルを入力として, それらの表層的な出現パターンとその振る舞いを学習することで，文ベクトルを獲得している。しかし，否定表現を含む文など，文の構造的意味を正確に表現できるかは自明ではない。一方で, 形式意味論においては, 表現力の高い高階論理に基づいて意味の分析を行う研究が発展しているが，文間の関連性のような，連続的な意味的関係を表現することが困難である. そこで本研究では, 機械学習と論理推論という二つの手法を組み合わせて文間の関連性を計算する手法を提案する。具体的には，文間の含意関係を高階論理の推論によって判定するシステムの実行過程から, 文間の関連性に寄与する特徴を抽出し，文間の関連性を学習する。文間類似度学習と含意関係認識という 2 つの自然言語処理タスクに関して提案手法の評価を行った結果，推論の過程に関する情報を特徵量に用いることによって，いずれのタスクにおいても精度が向上した。また，含意関係認識用データセットの一つである SICK データセットの評価では, 最高精度を達成した。

キーワード：文間類似度，含意関係認識，自然演繹，論理推論

## Learning Semantic Textual Relatedness using Natural Deduction Proofs

\author{
Hitomi Yanaka $^{\dagger}$, Koji Mineshima ${ }^{\dagger \dagger}$, Pascual Martínez-Gómez ${ }^{\dagger \dagger \dagger}$ and \\ DAISUKE BEKKI ${ }^{\dagger \dagger}$
}

Learning semantic textual relatedness is a core research subject in natural language processing. Vector-based models are often used to compute sentence representations from words or predicate-argument structures, but these models cannot capture semantics accurately with consistency. Conversely, logical semantic representations can capture sentence semantics in depth and with much greater accuracy, but their symbolic

nature does not offer graded notions of textual similarity. We propose a method for learning semantic textual relatedness by combining shallow features with features extracted from natural deduction proofs using bidirectional entailment relations between sentence pairs. For the natural deduction proofs, we use ccg2lambda, a higher-order automatic inference system that converts Combinatory Categorial Grammar (CCG) derivation trees into semantic representations and conducts natural deduction proofs. We evaluate our system using two major NLP tasks: learning textual similarity and recognizing textual entailment. Our experiments demonstrate that our approach can outperform other logic-based systems and we obtain high performance levels for the RTE task using the SICK dataset. Our evaluations also demonstrate that features derived from the proofs are effective for learning semantic textual relatedness and we quantify our contribution to the research area.

Key Words: Semantic Textual Similarity, Recognizing Textual Entailment, Predicate Logic, Inference, Natural Deduction

## 1 はじめに

ある二つの文について，それぞれの文がどのような意味を持ち，一方の文と他方の文とがどのような意味的関係にあるかという文間の関連性の評価は，情報検索や文書分類，質問応答などの自然言語処理の基盤を築く重要な技術である。これまでの自然言語処理における文の意味表現の方法は，ベクトル空間モデルが主流である。情報検索においては，単語や文字の出現頻度といった表層的な情報を用いて，統計的機械学習に基づいて文べクトルを導出する手法が用いられてきた。また，さらに正確な文の意味表現を目指して，単語やフレーズといった構成要素を組み合わせて文の意味を計算するべクトル空間モデル (Wong and Raghavan 1984; Mitchell and Lapata 2010; Le and Mikolov 2014) が提案されてきた。近年では，深層学習を用いて高精度で文の意味表現を獲得する手法 (Mueller and Thyagarajan 2016; Hill, Cho, and Korhonen 2016) が多く提案されている。これらの手法では，単語べクトルや文字ベクトルを入力として学習を行い，文べクトルを獲得しているが，獲得した文べクトルが否定表現や数量表現などを含む文の意味を正確に表現しているかは自明ではない．たとえば，Tom did not meet some of the players と Tom did not meet any of the players という文はほとんど単語が共通しており， some や any といった機能語は通常捨象されるか, ほぼ同じ単語ベクトルとして扱われる。しかし, 前者は 「Tom は選手の何人かとは会わなかった（別の何人かの選手とは会った）」, 後者は「Tom はどの選手とも会わなかった」という意味を表しており, これらの文の意味の違いを単語や文字からの情報を用いてどのようにして捉えるかが課題となっている。そこで，統語構造を考慮したモデルなど，より高度な意味解析を取り入れたモデルの構築が期待されている。

一方で, 文の意味を論理式で表現し, 論理推論によって高度な意味解析を行う手法 (Mineshima,

Martínez-Gómez, Miyao, and Bekki 2015; Mineshima, Tanaka, Martínez-Gómez, Miyao, and Bekki 2016; Abzianidze 2015, 2016) は，論理式による意味表現と整合性の高い組合せ範疇文法 (Combinatory Categorial Grammar, CCG) (Steedman 2000)による頑健な統語解析の発展に伴い, 近年研究が進められている。論理推論を用いた手法は, 文ぺアに対して一方の文を他方の文が内容的に含意しているかどうかを判定する含意関係認識のタスクで高精度を達成しており，様々な自然言語処理タスクへの応用が期待されている。一方で, 論理推論を用いた手法は元来厳密な手法であり，部分的・段階的な含意関係や類似関係を扱うことが困難である.

そこで本研究では, 機械学習と論理推論とを組み合わせることで, 柔軟かつ正確に文の関連性を学習する方法を検討する。具体的には, 文の意味を論理式で表現し， 2 文間の双方向の含意関係について自然演繹による推論を試み, 推論の過程と結果を抽出する. このとき, 必要に応じて, 文間の意味的関係を正しく判定するために必要な語彙知識を公理として追加して推論を試みる。語彙知識の利用によって文間の意味的関係が判定できれば，純粋な論理推論だけでは意味的関係を判定できない文ぺアにおいても，部分的な推論過程から文の関連性を示す情報を抽出することが可能となる。抽出した推論の過程と結果に関する情報を用いて，文の関連性を学習する。

## 2 関連研究

文の意味表現を獲得し，文の関連性を学習する手法はこれまでに幅広く研究されている。特に, 文の意味は文を構成する部分の意味から合成されるという構成性の原理に基づいて，単語べクトルの加法と乗法を用いて文の意味を表現する手法 (Mitchell and Lapata 2008, 2010) が提案された. しかし, この手法には, 単語の出現順序が捨象されてしまうという問題があった. そこで, 述語や機能語を高階テンソル, 名詞をベクトルで表現し, 縮約を用いて文の意味を計算する Categorical Compositional Distributional Semantic Model (Clark, Coecke, and Sadrzadeh 2011; Grefenstette and Sadrzadeh 2011; Kartsaklis, Kalchbrenner, and Sadrzadeh 2014; Kartsaklis and Sadrzadeh 2016) が提案されている. しかし, これらの手法では比較的単純な構造の文のみを対象としており，否定や条件などの機能的な表現をどのように扱いうるかは明らかではない.

近年では，深層学習の手法を用いた文の意味表現に関する研究が活発に進められている。文間類似度学習タスクでは, 単語ベクトルと類義語ベクトルから双方向型 LSTM を用いて文の意味表現を学習するモデル (Mueller and Thyagarajan 2016) が提案されており，最高精度を記録している。また，構文木に沿って文の意味表現を再帰的に構築する Tree-LSTM を用いたモデル (Tai, Socher, and Manning 2015; Zhou, Liu, and Pan 2016)や, LSTM を用いて文脈全体の意味を学習したのちに， CNNを用いて各文の局所的な特徴を学習するモデル (He and Lin 2016) など, より文の構造を考慮した深層学習のモデルが提案されている。しかし, 深層学習による

アプローチは大量の文を入力として end-to-end で文の意味表現を学習するため, 内容語と機能語の意味をどのように区別して扱っているのかは明らかではない.

一方で，論理推論によるアプローチは個々の文について意味解析を行い，直接的に文の意味表現（論理式）を獲得する。ここでの意味解析は理論言語学の知見に基づくものであり，内容語と機能語の意味を区別して扱う。文を論理式に変換し，論理推論を用いて文間の意味的関係を判定する手法には大きく分けて 2 つの手法が提案されている. 1 つは, 論理推論のみを用いていわゆる教師なし学習で文間の意味的関係を判定する手法である. 具体的には，タブローを用いた手法 (Abzianidze 2015, 2016) や，自然演繹を用いた手法 (Mineshima et al. 2015, 2016) が提案されている.これらの手法は, 文を一階述語論理式よりも表現力の高い高階述語論理式で表現し，効率的な自然言語推論を実現することによって，含意関係認識のタスクで高精度を達成している。一方で, 文間類似度の計算といった, よりソフトな推論への適用が課題となって $いる$.

もう 1 つの手法は, 統計的機械学習と, 論理推論とを組み合わせて, 教師あり学習で意味的関係を判定する手法である。この手法では, 論理推論で得られた結果を機械学習や確率モデルを用いて近似することで, ソフトな推論を実現している. Bjervaらは, 分散表現から導出した文中の単語間類似度と，一階述語論理による推論を用いて判定した含意関係とをそれぞれ特徴量に用いて，文間類似度や含意関係を学習する手法を提案している (Bjerva, Bos, van der Goot, and Nissim 2014) 。また, Beltagy らは, Probabilistic Soft Logicによる類似度学習方法を提案している (Beltagy, Roller, Boleda, Erk, and Mooney 2014). Probabilistic Soft Logic では, 文を一階述語論理式に変換し, 含意関係を満たす度合いとして単語の分散表現を用いて一方の文と他方の文との論理式間の重みを計算する。この重みを特徵量として, 加法回帰モデルを用いて文間類似度を予測している。これらの先行研究から，推論による文間の含意関係の判定結果や論理式は文の言語的な情報を良質な形式で表現しているため, 文間類似度学習に有用な情報であることが示唆されている。しかし, 先行研究で学習に利用している推論に関する情報は, 推論の判定結果（文間の意味的関係が含意・矛盾・不明のいずれであるか）や，2つの文において共通する論理式の割合にとどまっており, これらは推論から得られる情報のほんの一部でしかない.

## 3 提案手法

## 3.1 提案手法の全体像

本研究では文の意味を文間の含意関係に基づいて規定する証明論的意味論 (Bekki and Mineshima 2017) の観点から, 文間の双方向の含意関係の証明を介して文間の関連性を計算する手法を提案する。一方の文と他方の文との関連が低いほど， 2 文間の含意関係を証明する

にはより多くの公理生成や推論規則の適用が必要となり, 証明の過程が複雑になる. したがって，証明の結果だけではなく，含意関係を判定するまでの証明の実行過程も，文間の関連性の評価に有用なはずである。一方の文を前提，他方の文を結論とみなして，前提から結論を導く推論の手法である自然演繹 (Prawitz 1965) に基づく証明では, 証明の実行過程を分析することが可能である。そこで提案手法では， 2 文間の双方向の含意関係について自然演繹による証明を試み，証明の実行過程から文間の関連性を表現する特徴量を導出する。

提案手法の全体像を図 1 に示す。提案手法ではまず，自然言語の英文のペア $A, B$ を入力として， CCG パーザによる統語解析によって， $A, B$ をCG の導出木に変換する. 次に，ラムダ計算に基づく意味合成によって, CCG の導出木から高階述語論理式 $A^{\prime}, B^{\prime}$ に変換する。次に，定理証明器を用いて, 2 つの論理式 $A^{\prime}, B^{\prime}$ の双方向の含意関係について, 自然演繹による証明を試みる。文から論理式への変換と文間の含意関係の証明には, ccg2lambda (Martínez-Gómez, Mineshima, Miyao, and Bekki 2016）を用いる。ccg2lambda は，CCGに基づく統語解析の結果を用いて文の意味を高階述語論理式で表現し，文間の含意関係について自動推論を行う統合的システムである．各入力文に対して， CCGの導出木と意味表示を出力し，また，文ぺアに対しては含意関係の判定結果を出力する。本研究では文間の含意関係の証明の実行過程を取得できるように ccg2lambdaを改良した ${ }^{1}$.この ccg2lambda が導出した文間の含意関係の証明の実行過程と判定結果を用いて，文間の関連性に関する特徵量を設計する。最後に，ランダムフォレストを用いて, 文間類似度学習では回帰分析, 含意関係認識では含意・矛盾・不明の 3 値分類を行う，次節以降で，各手順の詳細を述べる。

図 1 提案手法の全体像


## 3.2 CCGに基づく意味表現

まず，CCG パーザによる統語解析によって，英語の自然言語文を CCG の導出木に変換する. CCG は語彙化文法の一つであり, 統語構造から合成的に意味表示を導出することに適した文法体系である. CCGでは, 基本的な統語範疇として, $N$ (普通名詞), $N P$ (名詞句), $S$ (文) 等の基底範疇が定義されている。また, 複合範疇は基本範疇と二項演算子 $/$ 、組み合わせによって定義される. CCG は語の統語範疇と意味表示を記述する辞書と, 語から句や文を構成する際の統語構造と意味合成の計算方法を指定する少数の組合せ規則から成り立つ.

図 2 に提案手法に用いる CCGの代表的な組合せ規則を示す。たとえば，関数適用規則 $(>)$ を適用することによって, $X / Y$ という形の統語範疇および意味 $f$ をつ語は, その右側にある $Y$ という形の統語範疇および意味 $a$ をも語と結びつき， $X$ という統語範疇および意味 $f a$ をもつ句が形成される.

CCG の導出木から文の意味表示である高階述語論理式への変換は, ラムダ計算に基づいて行われる。語の意味はラムダ項によって表現され，組合せ規則によってラムダ項の意味合成を行い，文の意味表示となる論理式を導出する。

提案手法では, Neo-Davidsonian Event Semantics (Parsons 1990)に基づく意味表示を採用する. たとえば, 他動詞文 (1a), 量化文 (2a), 否定量化文 (3a)はそれぞれ次のように分析される.

(1) a. Bob surprised Susan.
b. $\exists e(\operatorname{surprise}(e) \wedge(\operatorname{subj}(e)=\mathbf{b o b}) \wedge(\operatorname{dobj}(e)=\operatorname{susan}))$

(2) a. Some women are singing loudly.
b. $\exists x(\boldsymbol{\operatorname { w o m a n }}(x) \wedge \exists e(\boldsymbol{\operatorname { s i n g }}(e) \wedge(\boldsymbol{\operatorname { s u b j }}(e)=x) \wedge \operatorname{loudly}(e)))$

(3) a. No women are singing loudly.
b. $\neg \exists x(\boldsymbol{\operatorname { w o m a n }}(x) \wedge \exists e(\boldsymbol{\operatorname { s i n g }}(e) \wedge(\boldsymbol{\operatorname { s u b }} \mathbf{j}(e)=x) \wedge \operatorname{loudly}(e)))$

$
\begin{aligned}
\frac{X / Y: f \quad Y: a}{X: f a}> & \frac{Y: a \quad X \backslash Y: f}{X: f a}< \\
\frac{f: X / Y \quad g: Y / Z}{\lambda x \cdot f(g x): X / Z}>\mathbf{B} & \frac{g: Y \backslash Z \quad f: X \backslash Y}{\lambda x \cdot f(g x): X \backslash Z}<\mathbf{B} \\
\frac{f: X / Y \quad g: Y \backslash Z}{\lambda x \cdot f(g x): X \backslash Z}>\mathbf{B}_{\times} & \frac{g: Y / Z \quad f: X \backslash Y}{\lambda x \cdot f(g x): X / Z}<\mathbf{B}_{\times}
\end{aligned}
$

図 $2 \mathrm{CCG}$ の代表的な組合せ規則. 関数適用規則 $(<,>)$, 関数合成規則 $(>\mathbf{B},<\mathbf{B})$, 交差関数合成規則 $\left(>\mathbf{B}_{\times},<\mathbf{B}_{\times}\right)$

Neo-Davidsonian Event Semantics では, 動詞をイベントを項に持つ 1 項述語として分析し, 副詞や前置詞などの修飾表現をイベントを項に持つ述語として扱う。そのため, (2a)や (3a)の loudly のような修飾表現を含む文も統一的に記述できるという利点がある。また，ここで採用する方法では， $x$ が表す項がイベント $e$ を表す動詞に対して主語の関係にあることを $\operatorname{subj}(e)=x, x$ が表す項がイベント $e$ を表す動詞に対して直接目的語の関係にあることを $\operatorname{dobj}(e)=x$ のように表すことで，動詞の必須格にイベントを項にとる関数を対応させる。このため，個々の動詞の必須格と非必須格の境界を定める必要がないという点で, 従来の Davidsonian 形式 (Davidson 1967) よりも柔軟な意味表現となっている。 さらに，動詞をイベントに対する 1 項述語として統一的に扱うことで，動詞に関する公理もまた統一的に記述することが可能となり，自然言語の推論により適した表現形式となっている。なお，項とイベントとの関係（意味役割）については様々な分類手法が提案されている (Peter and Wilkins 1984; Ray 1990) が, 本稿では英語 CCGBank (Hockenmaier and Steedman 2007) に基づくCCG の解析結果から確認できる項とイベントの関係を意味表示に反映する ${ }^{2}$.

本論文では $, \operatorname{subj}(e)=x, \operatorname{dob} \mathbf{j}(e)=y$ のようなイベントに関する機能的な関係を表す論理式を機能論理式と呼び，内容語を担う情報を表す $\operatorname{sing}(e), \operatorname{loudly}(e)$ のような論理式を内容論理式と呼ぶことで区別する。

辞書では, 統語範疇単位で意味を指定する意味割り当てのテンプレートと, 量化や否定表現などの論理語・機能語に対して語単位で意味を指定する語彙項目の 2 種類を使用する. 文の意味表現を合成的に与えるにあたって，イベントの量化をどのようにして正しく扱うかという問題がある。量化名詞句や否定を含む文では，一般的にイベントの存在量化よりも量化名詞句や否定が広いスコープをとることが知られている。そこで本論文では，先行研究 (Champollion 2015; Mineshima et al. 2016)に従い, 動詞自体をイベントの量化を導入する表現として扱う. また，副詞等の修飾表現は，動詞によって導入された存在量化子のスコープ内に出現しなくてはならない，そこで，動詞の型を繰り上げ，動詞が修飾表現を項にとるように扱う．

以上の分析に従った CCG 導出木の具体例として, 文 (3a)の CCG 導出木を図 3 に示す.ここで，丁はトートロジーに対応する命題定項であり，丁の挿入は意味合成の過程で必要となる操作である (Mineshima et al. 2015). 最終的に導出された論理式は (3b) の論理式と同値である.

ccg2lambda の先行研究 (Martínez-Gómez, Mineshima, Miyao, and Bekki 2017) では, 複数の $\mathrm{CCG}$ パーザを組み合わせて統語解析に用いることによって，構文的曖昧性が解消され，含意関係の推論精度が向上したことが報告されている。提案手法では C\&C (Clark and Curran 2007), EasyCCG (Lewis and Steedman 2014), depccg (Yoshikawa, Noji, and Matsumoto 2017) という


図 3 No women are singing loudly. の CCG 導出木と意味表示

3 種類の $\mathrm{CCG}$ パーザを用いて統語解析を行う。得られた 3 種類のパーズ結果を用いて意味合成と推論を行い，適切なパーズ結果を選択する。含意関係の正解ラベルが付与されたデータセットによる評価においては，トレーニングデータから特徴量を抽出する際に，含意関係の正解ラベルと同じ結果を導出するパーズ結果を優先して採用する。正解ラベルと同じ結果を導出できたパーズ結果が存在しなければ，統語解析に成功した結果を優先して採用する．含意関係の正解ラベルが存在しないデータセットによる評価では，統語解析に成功した結果を優先して採用する。また，複数の CCG パーザの結果において，含意関係の判定結果（yes, no, unknown のいずれか）が得られた場合は，より正確なパーズ結果を採用するため，パーザの精度が高い順に， depccg，EasyCCG，C\&Cの順に優先してパーズ結果を採用する.

## 3.3 自然演繹による証明戦略の概要

本節では，提案手法で用いる自然演繹による証明戦略の概要について述べる。文間の含意関係とは一方の文の情報が他方の文の情報を含むという関係であり，方向性を持った関係であるが，類似関係は方向性を持たない対称的な関係である。よって,「 $A$ ならば $B\rfloor$ が成り立つか否かという一方向の含意関係ではなく,「 $A$ ならば $B\rfloor\lceil B$ ならば $A\rfloor$ がそれぞれ成り立つか否かという双方向の含意関係の証明を試みることによって，文間の関連性に関してより多くの情報が取得できると考えられる。そこで，本研究では文 $A, B$ 間の双方向の含意関係の証明を介して,文 $A, B$ 間の関連性を表す特徴を獲得する.

文間の含意関係の証明には，高階論理・型理論に基づく定理証明器である Coq (Bertot and Castran 2010)を用いる。Coqは自然演繹に基づいて推論規則を適用し，証明を行う。また，Ltac という記述言語を用いて証明探索の手続きを定義することによって，証明の自動化が可能である. ccg2lambda は Coqの一階述語論理の部分系に対する自動推論を含む自動証明機能と，高階の公理とを組み合わせることで，自然言語の効率的な推論を可能にしている。

提案手法で用いる文間の含意関係の証明の全体的な流れは次の通りである。まず，文 $A, B$ を論理式 $A^{\prime}, B^{\prime}$ に変換し，一方の文を証明に用いる前提，他方の文を証明対象である結論（ゴー ル）とみなして $, A^{\prime} \Rightarrow B^{\prime}, B^{\prime} \Rightarrow A^{\prime}$ の証明を行う．証明に失敗した場合は，結論を否定した
$A^{\prime} \Rightarrow \neg B^{\prime}, B^{\prime} \Rightarrow \neg A^{\prime}$ の証明を行う.これは結論の否定が証明可能な場合は, 結論も結論の否定も証明不可能な場合と比較して, 論理式が共通の部分を多く含み, 文間の関連度が高くなることを考慮している，実際に，評価に用いる文の意味的類似度データセットである SemEval2014 Task1 の Sentences Involving Compositional Knowledge (SICK) (Marelli, Menini, Baroni, Bentivogli, Bernardi, and Zamparelli 2014) では，含意関係の正解ラベルが「矛盾」である文ペアの 7 割において，正解の類似度スコアが高く設定されている。

結論の証明，結論の否定の証明の両方に失敗した場合は，前提のプールにある論理式からは導くことができない論理式 (サブゴール) が結論中に残っていることを意味する。そこで次に, 前提のプールにある論理式と証明できないと判定されたサブゴールとの述語間の意味的関係について, 語彙知識を用いてチェックし, 公理の生成を試みる。生成した公理を用いて再度 $A^{\prime} \Rightarrow B^{\prime}$, $B^{\prime} \Rightarrow A^{\prime}$ の証明を試みる. $A^{\prime} \Rightarrow B^{\prime}, B^{\prime} \Rightarrow A^{\prime}$ の証明に失敗した場合は, 生成した公理を用いて結論を否定した $A^{\prime} \Rightarrow \neg B^{\prime}, \quad B^{\prime} \Rightarrow \neg A^{\prime}$ の証明を試みる.

公理を生成しても，結論と結論の否定の両方の証明に失敗した場合は, $A^{\prime} \Rightarrow B^{\prime}, B^{\prime} \Rightarrow A^{\prime}$ の証明の途中で証明不可能と判定されたサブゴールをスキップして，強制的に証明を終了させる. ここまでの推論における，生成した公理に関する情報や，強制的にスキップしたサブゴールの情報といった推論の情報を Coqの出力結果から抽出し, 文間の関連性を表す特徴量として利用する.

## 3.4 含意関係の証明

含意関係の証明の例として, 以下の 2 つの文 $A, B$ 間の含意関係について, 自然演繹による証明を試みる。

A: A man is singing in a bar.

$B$ : $A$ man is singing.

文 $A, B$ は統語解析，意味解析を経て，以下のような論理式 $A^{\prime}, B^{\prime}$ に変換できる.

$
\begin{aligned}
& A^{\prime}: \exists e_{1} x_{1} x_{2}\left(\operatorname{man}\left(x_{1}\right) \wedge \mathbf{s i n g}\left(e_{1}\right) \wedge\left(\mathbf{s u b j}\left(e_{1}\right)=x_{1}\right) \wedge \operatorname{bar}\left(x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right)\right) \\
& B^{\prime}: \exists e_{1} x_{1}\left(\mathbf{m a n}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)\right)
\end{aligned}
$

まず， $A^{\prime} \Rightarrow B^{\prime}$ について，自然演繹による証明を試みる。ここで，論理式 $A^{\prime}, B^{\prime}$ は推論規則を適用することによって分解することができる。図 4 に本研究で用いる推論規則の例を示す. 自然演繹の推論規則には導入規則と除去規則の 2 つがある。導入規則は結論をどのように証明するかを指定するための規則である。除去規則は前提をどのように証明に利用するかを指定するための規則であるが，主に前提のプールにある論理式をより小さい論理式に分解するために用いられる。

$A^{\prime} \Rightarrow B^{\prime}$ の証明プロセスを図 5 に示す. 図 5 において, 論理式 $A^{\prime}$ は前提 $P_{0}$, 論理式 $B^{\prime}$ は結

図 4 自然演繹の証明で用いる推論規則の例。 $P, P_{1}, \ldots P_{n}$ は前提の論理式, $G, G_{1}, G_{2}$ は結論（ゴール） の論理式を表す.いずれの推論規則においても，規則適用前の論理式は矢印の上部に，規則適用後の論理式は矢印の下部に示す.

$
\begin{aligned}
& \exists \text {-ELim }\left(P_{0}\right), \exists \text {-INTRo }\left(G_{0}\right) \\
& \frac{P_{1}: \operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right) \wedge \operatorname{bar}\left(x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right)}{G_{1}: \operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)} \\
& \wedge \text {-ELIm }\left(P_{1}\right), \wedge \text {-INTRo }\left(G_{1}\right) \\
& \frac{P_{2}: \operatorname{man}\left(x_{1}\right), P_{3}: \operatorname{sing}\left(e_{1}\right), P_{4}: \mathbf{s u b j}\left(e_{1}\right)=x_{1}, P_{5}: \mathbf{b a r}\left(x_{2}\right), P_{6}: \operatorname{in}\left(e_{1}, x_{2}\right)}{G_{2}: \operatorname{man}\left(x_{1}\right), G_{3}: \operatorname{sing}\left(e_{1}\right), G_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}}
\end{aligned}
$

図 52 文間の含意関係の証明プロセスの例

論 $G_{0}$ に配置される. $P_{0}$ と $G_{0}$ は除去規則 $(\wedge$-ELIm, $\exists$-ELIm $)$ と導入規則 $(\wedge$-INTRO, $\exists$-INTRo $)$ の適用によって, 前提の集合 $\mathcal{P}=\left.\{P_{2}, P_{3}, P_{4}, P_{5}, P_{6}\right.\}$ とサブゴールの集合 $\mathcal{G}=\left.\{G_{2}, G_{3}, G_{4}\right.\}$ に分解される。証明はサブゴール $G_{j}$ と述語と項が一致する前提 $P_{i}$ を探索する形で進められ，マッチする前提が見つかればそのサブゴールを解決できる。全てのサブゴールが解決できれば $A^{\prime} \Rightarrow B^{\prime}$ の証明が示せたことになる. この例では, サブゴール $G_{2}, G_{3}, G_{4}$ と前提 $P_{2}, P_{3}, P_{4}$ の述語と項がそれぞれマッチし, 全てのサブゴールが解決できるため, 公理を生成せずに $A^{\prime} \Rightarrow B^{\prime}$ を示すことができる.

次に, 図 5 の前提 $P_{0}$ と結論 $G_{0}$ を逆転させて, $B^{\prime}$ を証明の前提, $A^{\prime}$ を証明の結論とみなし, $B^{\prime} \Rightarrow A^{\prime}$ の証明を試みる. 先ほどと同様に, 推論規則の適用によって, 前提の集合 $\mathcal{P}$ とサ

ブゴール $\mathcal{G}$ の集合を得ることができる.

$
\begin{aligned}
\mathcal{P} & =\left.\{P_{2}: \operatorname{man}\left(x_{1}\right), P_{3}: \operatorname{sing}\left(e_{1}\right), P_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}\right.\} \\
\mathcal{G} & \left.=\left.\{G_{2}: \operatorname{man}\left(x_{1}\right), G_{3}: \mathbf{s i n g}\left(e_{1}\right), G_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}, G_{5}: \operatorname{bar}\left(x_{2}\right), G_{6}: \operatorname{in}\left(e_{1}, x_{2}\right)\right)\right.\}
\end{aligned}
$

この場合, 2 つのサブゴール $G_{5}, G_{6}$ は前提のプールにあるどの論理式ともマッチしないため,解決できずに残り， $B^{\prime} \Rightarrow A^{\prime}$ の証明に失敗する。そこで次に，語彙知識からの公理生成を試みる.しかし, この場合は残っているサブゴールの述語 $\operatorname{bar}\left(x_{2}\right)$ の項 $x_{2}$ をシェアする述語が前提 $\mathcal{P}$ 中に存在しないため, 公理を生成することができない. そのため, このような例からも部分的な証明プロセスの情報を Coq から取得するため, 本研究では解決できなかったサブゴール $\boldsymbol{\operatorname { b a r }}\left(x_{2}\right), \boldsymbol{i n}\left(e_{1}, x_{2}\right)$ をスキップして, 強制的に $B^{\prime} \Rightarrow A^{\prime}$ の証明を終了させる.

## 3.5 矛盾関係の証明

矛盾関係の証明について述べる上で，まず否定の推論規則について説明する．否定の基本的な含意関係は, 論理式 $A$ の否定 $\neg A$ を, 命題定項 False を用いて, $A \rightarrow$ False（ $A$ が偽を含意する）と定義することで捉えることができる。この定義に従って，否定の推論規則は図 6 に示す規則を用いる。 否定の導入規則 (ᄀ-INTRO) は，もしゴールの論理式が $\mathcal{A}$ という形であれば, $\mathcal{A}$ を新たに前提に加えて, 矛盾 (False) の証明を試みるという形をとる。一方，否定の除去規

ルを $\mathcal{A}$ に更新しこの新たなゴールの証明を試みる，というものである.

矛盾関係の証明の例として, 以下の 2 つの文 $A, B$ 間の矛盾関係について, 自然演繹による証明を試みる。

A: No man is singing.

B: There is a man singing loudly.

図 7 に矛盾関係の証明プロセスを示す. 文 $A, B$ は論理式 $A^{\prime}, B^{\prime}$ に変換後, 前提 $P_{0}, P_{1}$ にそれぞれ配置され，結論 $G_{0}$ には False が配置される。否定の除去規則 $\neg$ ELIM を $P_{0}$ に適用することによって，ゴールは $G_{1}$ に更新される。ここで，除去規則を適用することによって，前提 $P_{1}$ は前提の集合 $P_{2}, P_{3}, P_{4}, P_{5}$ に分解される. 同様に, 導入規則を適用することで, ゴール $G_{1}$ はサ

図 6 否定の推論規則

$
\begin{aligned}
& P_{0}: \neg \exists e_{1} x_{1}\left(\boldsymbol{\operatorname { m a n }}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\boldsymbol{\operatorname { s u b }}\left(e_{1}\right)=x_{1}\right)\right) \\
& P_{1}: \exists e_{1} x_{1}\left(\operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\mathbf{\operatorname { s u b j }}\left(e_{1}\right)=x_{1}\right) \wedge \text { loudly }\left(e_{1}\right)\right) \\
& G_{0}: \text { False } \\
& \downarrow \neg-\operatorname{ELIM}\left(P_{0}, G_{0}\right) \\
& \frac{P_{1}: \exists e_{1} x_{1}\left(\operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\mathbf{s u b j}\left(e_{1}\right)=x_{1}\right) \wedge \text { loudly }\left(e_{1}\right)\right)}{G_{1}: \exists e_{1} x_{1}\left(\operatorname{man}\left(x_{1}\right) \wedge \operatorname{sing}\left(e_{1}\right) \wedge\left(\mathbf{s u b j}\left(e_{1}\right)=x_{1}\right)\right)} \\
& \exists \text {-ELIM, } \wedge \text {-ELIM }\left(P_{1}\right), \exists \text {-INTRO, } \wedge \text {-INTRO }\left(G_{1}\right) \\
& \frac{P_{2}: \operatorname{man}\left(x_{1}\right), P_{3}: \operatorname{sing}\left(e_{1}\right), P_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}, P_{5}: \operatorname{loudly}\left(e_{1}\right)}{G_{2}: \operatorname{man}\left(x_{1}\right), G_{3}: \operatorname{sing}\left(e_{1}\right), G_{4}: \operatorname{subj}\left(e_{1}\right)=x_{1}}
\end{aligned}
$

図 72 文間の矛盾関係の証明プロセスの例

ブゴールの集合 $G_{2}, G_{3}, G_{4}$ に分解される。全てのサブゴールが前提とマッチするため, 文 $A, B$ の矛盾関係，すなわち， $A^{\prime} \Rightarrow \neg B^{\prime}$ を示すことができる.

## 3.6 語彙知識を用いた公理の生成

本節では，自然演繹の推論に用いる公理の具体的な生成手順について述べる。まず，証明の途中で証明不可能と判定されたサブゴールに関して, 前提と結論で同じ項をシェアしている述語を生成する公理の候補として絞り込む，さらに，同じ項をシェアしている述語の中でも，項の格が同じである述語について優先して公理を生成する。

公理生成を導入した証明の例として，以下の 2 つの文 $A, B$ 間の含意関係の証明を考える.

A: A kitten plays in a house colored in green.

$B$ : A young cat plays in a green house.

文 $A, B$ は統語解析，意味解析を経て，以下のような論理式 $A^{\prime}, B^{\prime}$ に変換できる.

$
A^{\prime}: \exists e_{1} e_{2} x_{1} x_{2} x_{3}\left(\operatorname{kitten}\left(x_{1}\right) \wedge \operatorname{play}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)\right.
$

$
\left.\wedge \operatorname{house}\left(x_{2}\right) \wedge \operatorname{color}\left(e_{2}\right) \wedge\left(\operatorname{dobj}\left(e_{2}\right)=x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right) \wedge \operatorname{green}\left(x_{3}\right) \wedge \operatorname{in}\left(e_{2}, x_{3}\right)\right)
$

$
B^{\prime}: \exists e_{1} x_{1} x_{2}\left(\operatorname{young}\left(x_{1}\right) \wedge \operatorname{cat}\left(x_{1}\right) \wedge \operatorname{play}\left(e_{1}\right) \wedge\left(\operatorname{subj}\left(e_{1}\right)=x_{1}\right)\right.
$

$
\left.\wedge \operatorname{green}\left(x_{2}\right) \wedge \operatorname{house}\left(x_{2}\right) \wedge \operatorname{in}\left(e_{1}, x_{2}\right)\right)
$

これら 2 の論理式 $A^{\prime}, B^{\prime}$ について， $A^{\prime}$ を証明の前提， $B^{\prime}$ を証明の結論（ゴール）とみなし，公理生成を行わずに $A^{\prime} \Rightarrow B^{\prime}$ の証明を試みる。図 5 と同様に $A^{\prime} \Rightarrow B^{\prime}$ の含意関係の証明を進めると，下記のような前提の集合 $\mathcal{P}$ とサブゴール $\mathcal{G}$ の集合が得られる。このステップでは，存在量化子が除去され， $A^{\prime}, B^{\prime}$ に共通する述語については，変数の単一化が起こっている.

$
\begin{aligned}
\mathcal{P}= & \left.\{P_{1}: \operatorname{kitten}\left(x_{1}\right), P_{2}: \operatorname{play}\left(e_{1}\right), P_{3}: \operatorname{subj}\left(e_{1}\right)=x_{1}, P_{4}: \operatorname{house}\left(x_{1}\right),\right. \\
& \left.P_{5}: \operatorname{color}\left(e_{2}\right), P_{6}: \operatorname{dobj}\left(e_{2}\right)=x_{2}, P_{7}: \operatorname{in}\left(e_{1}, x_{2}\right), P_{8}: \operatorname{green}\left(x_{3}\right), P_{9}: \operatorname{in}\left(e_{2}, x_{3}\right)\right.\} \\
\mathcal{G}= & \left.\{G_{1}: \operatorname{young}\left(x_{1}\right), G_{2}: \operatorname{cat}\left(x_{1}\right), G_{3}: \operatorname{green}\left(x_{2}\right)\right.\}
\end{aligned}
$

この例では, $\operatorname{young}\left(x_{1}\right), \boldsymbol{\operatorname { c a t }}\left(x_{1}\right), \operatorname{green}\left(x_{2}\right)$ という 3 つのサブゴールが残り, 証明に失敗する. ここで, 前提中の論理式 $\operatorname{kitten}\left(x_{1}\right)$ と共通の項 $x_{1}$ をシェアしているサブゴール $\operatorname{young}\left(x_{1}\right), \boldsymbol{\operatorname { c a t }}\left(x_{1}\right)$ が生成する公理の候補となる。語彙知識から young cat と kitten 間の意味的関係が確認できれば, young cat と kitten 間に関する公理を生成でき, 生成した公理を利用することで, これら 2 つのサブゴールを解決できる。 なお, 証明に用いた公理の数や確信度はのちに文間の関連性を学習するための特徴量として使用するが, $\forall x \cdot \operatorname{kitten}(x) \Rightarrow \operatorname{young}(x), \forall x \cdot \operatorname{kitten}(x) \Rightarrow \operatorname{cat}(x)$ のように, 複数のサブゴールに関して同じ前提から導出した公理については, まとめて1つのフレーズの公理とみなす。また, 残りのサブゴール $\operatorname{green}\left(x_{2}\right)$ については, 述語の表層形が同一である論理式 $\operatorname{green}\left(x_{3}\right)$ が前提中に存在するが, 項は一致していない. このように, サブゴー ルに残っている述語と表層形が完全に一致する述語が前提中に含まれる場合に限り，例外的に，述語の型や項が異なっていても公理を生成して証明に用いる.

本研究では公理生成に用いる語彙知識として, WordNet (Miller 1995) と, Word2Vec (Mikolov, Sutskever, Chen, Corrado, and Dean 2013) で学習した単語べクトルを用いる。まず, WordNet を用いて形態変化, 派生形, 同義語, 反意語, 上位語, 類似性, 下位語の順に, 前提と結論中の述語間の意味的関係をチェックし, いずれかの関係にマッチした場合は確信度つき公理を生成する. WordNetに述語間の関係が存在しない場合は, Word2Vecで学習した単語べクトルを用いて前提と結論中の述語間の類似度を計算し, やはり確信度つきの公理を生成する。本研究では, Google News Corpus（約 30 億語）で学習済みの 200 次元の単語ベクトルを語彙知識に用いる。ここで, 公理の確信度には, 述語間の類似度を採用し, 生成された公理の中で確信度が最も高い公理を証明に採用する。また，確信度が閥値よりも低い公理は意味的関係が低い公理であるとみなして採用しない. 公理の確信度はいずれも 0.0 から 1.0 の範囲の值をとり, 本研究では公理の確信度の間値を 0.25 とする. WordNetを用いて公理を生成した場合は, 述語間に共通する上位概念への最短経路の長さを公理の確信度とし，Word2Vec を用いて公理を生成した場合は，Word2 Vecのコサイン類似度を公理の確信度とする。

## 3.7 証明に基づく特徴量の導出

ここまでの自然演繹の証明の実行過程と結果に関する情報から, 計 9 種類の特徵量を導出する.いずれも 0.0 から 1.0 の範囲の値に正規化する.
- 公理の数と公理の確信度

証明に利用した公理の数と確信度をそれぞれ特徴量に用いる。複数の公理を生成した場
合は, 導入した各公理の確信度の平均を公理の確信度の特徴量として採用する。また, 公理を 1 つも利用しなかった場合は，公理の確信度の特徴量を 1.0 とする.

・ 証明可能なサブゴールの数の割合

証明可能なサブゴールの数の割合が高いほど文間の関連度が高くなると仮定して, $n / m$ $(m$ : 前提のプールに現れる論理式の数, $n$ : 証明でスキップしなかったサブゴールの数) を特徴量として導出する。ここで，サブゴールとして残る論理式には $\operatorname{bar}\left(x_{2}\right)$ のような内容論理式と, $\operatorname{subj}\left(e_{1}\right)=x_{1}$ のような機能論理式の 2 種類がある. そこで, 内容論理式と機能論理式のそれぞれについてサブゴールの数の割合を計算し，それぞれ別の特徴量とした。また，公理生成による証明を試みた場合は，証明可能なサブゴールの割合は公理生成の前後によって変わるため，公理生成前と公理生成後のそれぞれについてサブゴールの数の割合を計算し，それぞれ別の特徴量とした。

・ 証明不可能なサブゴールの項の関係文の主語や目的語が異なると, 修飾語が異なる場合よりも文間の関連度が低くなると仮定して, 証明不可能と判定されたサブゴールの項とイベントの関係をチェックする。本研究では, 内容論理式中の主語 $(\mathbf{s u b j})$, 直接目的語 $(\mathbf{d o b} \mathbf{j})$, 間接目的語 $(\mathbf{i o b j})$ をチェック対象とする．証明不可能と判定された全てのサブゴールにおける当該サブゴールの割合を特徴量として導出する。

・ 証明のステップ数

証明が簡潔であるほど文間の関連度が高くなると仮定して, 自然演繹の証明図の推論ステップ数を特徴量に用いる.
- 推論規則の適用回数

証明において推論規則の適用回数が多いほど証明が複雑になり, 文間の関連度が低くなると仮定して，全推論規則の適用回数における各推論規則の適用回数の割合を特徴量に用いる。提案手法では図 4 に示した連言の除去規則と導入規則 ( $\wedge$-ELIM, $\wedge$-INTRO), 含意の除去規則と導入規則 $(\rightarrow$-ELIM,$\rightarrow$-INTRO), 存在量化の除去規則と導入規則 ( $\exists$-ELIM, ヨ-INTRO)，等号の除去規則 (=-ELIM) という計 7 種類の推論規則を対象とする.
- 証明の結果

結論が証明可能か，結論の否定が証明可能か，結論も結論の否定も証明不可能かチェックし，それぞれ該当する場合は 1.0 , 該当しない場合は 0.0 を特徴量とする.
- 前提と結論における述語の一致率

前提と結論との間で述語が一致しているほど，文間の意味的関係を証明できる可能性が高いことを考慮して, 前提と結論で述語が一致している割合を特徵量に用いる。
- 前提と結論における型の一致率

前提と結論との間で論理式の型が一致しているほど，文間の意味的関係を証明できる可
能性が高いことを考慮して, 前提と結論で型が一致している割合を特徴量に用いる.
- 否定演算子の有無

前提と結論のどちらか一方だけに否定演算子 (ᄀ) が含まれる場合と, 両方に含まれる, または，どちらにも含まれない場合とでは，前者の方が文間の関連度が低くなると仮定して, 前者の場合は 0.0 , 後者の場合は 1.0 として特徴量に用いる.

## 3.8 表層情報と外部知識から導出した特徵量の設計

提案手法では学習精度を向上させるため，表層情報と外部知識から導出した特徵量を自然演繹の証明に基づく特徴量と組み合わせて用いる。表層情報と外部知識から導出した特徵量は 10 種類の特徴量を用いる。特徴量はいずれも 0.0 から 1.0 の範囲の値に正規化する.
- 品詞の一致率

文中の各単語の品詞 (本研究で使用する品詞は Penn Treebank 品詞体系に準ずる）を C\&C POS tagger (Curran and Clark 2003) を用いてチェックし，2 文間において単語の品詞が一致する割合を特徴量に用いる。
- 名詞の一致率

文中の名詞をレンマ化し, 2 文間の名詞が一致する割合を特徵量に用いる.
- 動詞の一致率

文中の動詞をレンマ化し，2 文間の動詞が一致する割合を特徴量に用いる.
- 文字列の類似度

${ }^{2}$ Difflib ${ }^{3}$ を用いて文字列の類似度を計算し，計算結果を特徴量に用いる。
- 同義語集合の一致率

2 文中の全ての単語について, 同義語集合をWordNet を用いてチェックし, 2 文間の同義語集合の一致率を特徴量に用いる.
- 概念間の距離

一方の文と他方の文の全ての単語間について, 単語間類似度を WordNet の概念間の距離を用いて導出し，概念間の距離の平均を特徴量に用いる.
- 文の長さ

2 文間の文字数の差と, 2 文間の文字数の平均を特徴量に用いる.

・ ベクトル空間モデルにおけるコサイン類似度

TF/IDF ベクトル間のコサイン類似度, latent semantic analysis (LSA) (Deerwester, Dumais, Landauer, and Harshman 1990)ベクトル間のコサイン類似度, latent Dirichlet allocation (LDA) (Blei, Ng, and Jordan 2003) ベクトル間のコサイン類似度をそれぞれ特

徴量に用いる. 各べクトルの次元は 200 次元とする.
- CCG 導出木のマッピングコスト

文ぺアの導出木の形が似ていないほど，一般的には文間の関連度が低くなることが見达まれる，そこで，文ぺアの CCG 導出木の各ノード間の対応度合い（CCG 導出木のマッピングコスト）を計算する手法 (Martínez-Gómez and Miyao 2016) を用いて，マッピングコストを計算する。このマッピングコストを文ぺアの導出木のノード数合計で除算した値を特徴量に用いる。
- 受動態表現の有無

前提と結論のどちらか一方だけに受動態表現が含まれる場合と，両方に含まれる，または, どちらにも含まれない場合とでは, 前者の方が類似度が低くなると仮定して, 一方の文と他方の文の受動態表現の有無をチェックし, 前者の場合は 0.0 , 後者の場合は 1.0 として特徴量に用いる。

## 3.9 文の関連度学習

導出した特徴量を用いて, 文の意味類似度と含意関係を予測する。本研究では, ロジスティック, SVM，ランダムフォレストという 3 種類の学習モデルで事前学習を行った結果, 文の意味類似度学習はランダムフォレスト回帰, 含意関係認識ではランダムフォレスト分類を学習モデルとして採用する。ハイパーパラメータはグリッドサーチを用いて最適化する.

## 4 実験

## 4.1 データセット

文の意味的類似度と含意関係認識の評価用データセットである SemEval2014 Task1 SICK デー タセット (Marelli et al. 2014) と, 文の意味的類似度の評価用データセットである SemEval2012 MSR-video データセット (Agirre, Cer, Diab, and Gonzalez-Agirre 2012)の 2 種類のデータセットを用いて，提案手法の評価を行った。

SICK は，2つの文の意味的類似度と含意関係を予測するタスクであり，表 1 に示すように，類似度と含意関係 (yes, no, unknown) が人手によって付与されている。類似度は 1.0 から 5.0 の範囲の值で付与されている。このデータセットには計 9,927 件の文ぺアが含まれており，そのうち訓練データ，開発データ，テストデータはそれぞれ 4,500 件, 500 件, 4,927 件含まれている. MSR-video は表 2 に示すように，含意関係のラベルは付与されておらず，類似度の正解スコアのみが 0.0 から 5.0 の範囲の値で付与されており, 開発データ，テストデータが 750 件ずつ含まれている. SICKデータセットに含まれる文ぺアの方が MSR-video データセットに含まれる文よりも単語数が多くなっており, それぞれのデータセットにおける一文あたりの平均単語
表 1 SICK データセットに含まれる文ぺアの例

 & &

表 2 MSR-video データセットに含まれる文ペアの例

 & 2.7 \\

数は, SICK データセットは 10 単語, MSR-video データセットは 6 単語である.

## 4.2 既存手法との比較評価の概観

## 4.2.1 文間類似度学習

まず，文間類似度学習の評価を行った。なお，評価指標は，各タスクで標準的に使用されている評価指標に基づいて，SICKデータセットについては，提案手法によって計算された類似度スコアと，データセットに付与された正解スコアとの Pearson 相関係数 $\gamma$, Spearman 相関係数 $\rho$,平均二乗誤差 (MSE) という 3 種類の指標を, MSR-video データセットについては Pearson 相関係数 $\gamma$ のみを用いる，比較対象は, SICK データセット, MSR-video データセットにおける最高精度のモデル (Mueller and Thyagarajan 2016; Bär, Biemann, Gurevych, and Zesch 2012)と,推論を用いた既存手法として，先行研究で紹介した The Meaning Factory (Bjerva et al. 2014), UTexas (Beltagy et al. 2014) とする.

表 3 にSICK データセットにおける提案手法と既存手法との類似度学習の評価結果を示す.提案手法の結果と推論を用いた既存手法の結果とを比較すると, Pearson 相関係数と Spearman 相関係数に関しては，提案手法は推論を用いた既存手法よりも高精度を達成した. 一方で, MSE に関しては, 既存手法よりも精度が低かった。この原因としては複数の要因が挙げられるが,大きく分けて統語解析によるエラー，意味表示の誤りによるエラー，語彙知識の不足などに起
表 3 提案手法と既存手法との類似度学習の評価結果 (SICK)

表 4 提案手法と既存手法との類似度学習の評価結果 (MSR-video)

因する誤った推論によるエラーに分けられる。これらのエラーの詳細は 4.6 節で述べる. また,文間類似度学習においては，提案手法は深層学習を用いたモデルによる最高精度に達しなかった.この原因を分析するため，テストデータ 4,927 件の文例に対して，提案手法と最高精度のモデルが予測した類似度スコアの比較を 4.5 節で行った.

表 4 に MSR-video データセットにおける提案手法と既存手法との類似度学習の評価結果を示す. MSR-videoデータセットにおいても，提案手法は推論を用いた既存手法よりも高精度を達成した。また，公理生成に使用する語彙知識については，SICKでは WordNet のみを語彙知識に使用した場合，MSR-video では WordNet とWord2Vec の両方を語彙知識に使用した場合において最も精度が高かった。この原因は SICK と MSR-video のデータセットの違いによるものであると考えられる．4.1節で述べたように，SICK データセットに含まれる文ぺアの方が MSR-video データセットに含まれる文よりも単語数が多く, burrow a hole と dig the earth の言い換えといったフレーズレベルの言い換えが多く含まれていた。そのため， MSR-video データセットにおける評価では Word2Vec を用いて単語間の語彙知識を拡充することによって精度が向上したが，SICK データセットにおいてはフレーズ間の公理を生成できず，Word2 Vec の利用によって誤った公理の過剰生成が起こり，精度が低下したと考えられる。公理の過剰生成に関する具体例については 4.6 節で紹介する。今後, フレーズレベルの語彙知識の拡充や公理生成の改善を行うことで，更なる精度向上が見込まれる。

## 4.2.2 含意関係認識

次に，SICK データセットを用いて含意関係認識の評価を行った。評価指標は，適合率（yes， no と予測した文ぺアに対して, 正解ラベルと同じ結果だったケースの割合), 再現率 (正解ラベルが yes, no である文ぺアに対して, 正解ラベルと予測ラベルが同じ結果だったケースの割合), 正答率 (yes, no, unknown のすべての文ぺアに対して正解ラベルと予測ラベルが同じ結果だったケースの割合）の 3 種類の指標を用いた。比較対象は, SICKデータセットにおける最高精度のモデル (Yin and Schütze 2017) と, 推論を用いた既存手法として, 先行研究で紹介した The Meaning Factory (Bjerva et al. 2014), UTexas (Beltagy et al. 2014)，また，改良前の ccg2lambda (Martínez-Gómez et al. 2017)の結果とする.

表 5 に提案手法と既存手法との含意関係認識の評価結果を示す。語彙知識に WordNet のみ, WordNet と Word2Vec の両方を使用した場合において, 提案手法は最高精度を達成した。

公理生成に使用する語彙知識については, 含意関係認識のタスクにおいてもWordNet のみを語彙知識に使用した場合が最も精度が高かった。この原因について, 4.2.1節で挙げた問題に加えて, Word2Vec を用いた場合は season（味付けする）と pour（注ぐ）間の意味的関係（Word2Vec における単語間類似度は 0.07), draw と paint 間の意味的関係（どちらも描くという意味であるが, Word2Vecにおける単語間類似度は 0.155）といった, 多義語を含む単語間の意味的関係のチェックに失敗し, 公理が生成されない傾向が見られた。この結果から, 語義曖昧性を考慮して単語間の意味的関係をチェックすることで, 公理生成の改善が見込まれることが示唆されたが,これは今後の課題とする。

## 4.3 特徵量別の評価

## 4.3.1 文間類似度学習

SICK データセットにおける, 各特徴量単独で文間類似度を学習した場合のモデルの評価結果を表 6 に示す.この表が示すように, 述語の一致率のみを特徴量に用いた場合が最も精度が高かった. この結果は, 動詞・名詞の一致率と比較して, 論理式による意味表現が文の言語的

表 5 提案手法と既存手法との含意関係認識の評価結果 (SICK)

な情報を良質な形式で表現しているという先行研究の知見と合致している。導出木のマッピングコストのみを使用した場合と受動態の有無のみを使用した場合は, Pearson 相関係数がほぼ 0 の值をとり，ほぼ全ての文ペアで 3.5 の類似度スコアを予測していた。この結果から, これらの特徴量は単独では予測性能はないと考えられる。しかし, SICK データセット中の $76 \%$ の文ペアに 3 から 5 の範囲の正解スコアが付与されているという正解スコアの分布の偏りが原因で,導出木のマッピングコストのみを使用した場合と受動態の有無のみを使用した場合は予測性能がないのにも関わらず，MSEの値は 1 程度の結果となったと考えられる。

全特徴量から各特徴量を取り除いて学習させた場合のモデルの評価結果を表 7 に示す。各特徴量を単独で取り除いた結果は精度にほとんど変化が見られなかったが，推論由来の特徴量の中では証明の結果を取り除いた場合において，最も性能が低下した。この結果は 3.3 で述べたように，SICK データセットでは含意関係が yes または no の文例において高い文間類似度が付与されているため，含意関係の証明の結果が文間類似度の予測性能に寄与していると考えられる. また, 表層由来の特徴量の中ではベクトル空間モデルを取り除いた場合が最も性能が低下した。この結果は, 文間類似度の予測においては表層的な一致率の影響が大きいことを示唆している.

表 6 各特徴量単独で学習した場合の類似度学習の評価結果

表 7 類似度学習のアブレーションの評価結果

推論を用いた特徴量をまとめて取り除いた場合は，推論以外の特徴量をまとめて取り除いた場合と比較して，大きな性能低下が見られた。このことから，推論を用いた特徵量は推論以外の情報を用いた特徴量よりも精度への影響が大きいことが示唆された。また，推論由来の特徴量の中でも, 論理式由来の特徵量（述語の一致率, 型の一致率, 否定表現の有無）をまとめて取り除いた場合よりも，推論の過程由来の特徵量（サブゴール，サブゴールの項の関係，ステップ数，推論規則，公理の確信度）をまとめて取り除いた場合の方が性能低下が見られた。この結果は証明の実行過程が文間の関連性を表す特徴として性能に寄与していることを示唆している.

## 4.3.2 含意関係認識

SICK データセットにおける, 各特徴量単独で学習した場合の含意関係認識モデルの評価結果を表 8 に示す。含意関係認識においては, 証明の結果のみを特徴量に用いた場合が最も精度が高かった. 型の一致率, 受動態の有無, 品詞タグの一致率, 文の長さの一致率, 導出木のマッピングコストは再現率が 0.1 以下と著しく低かった。これらの特徴量はほぼすべての文例で unknown を予測（型の一致率はすべて unknown と予測）し，単独では含意関係の予測性能がないことを示唆している.

表 8 各特徴量単独で学習した場合の含意関係認識の評価結果

表 9 含意関係認識のアブレーションの評価結果

全特徴量から各特徴量を取り除いて学習させた場合の含意関係認識モデルの評価結果を表 9 に示す。含意関係認識においても，各特徴量を単独で取り除いた結果は精度に大きな変動が見られなかったが，推論由来の特徴量は推論以外の情報を用いた特徴量よりも精度への影響が大きいこと, 推論由来の特徴量の中でも, 推論の過程由来の特徴量（サブゴール, サブゴールの項の関係, ステップ数, 推論規則, 公理の確信度) の方が論理式由来の特徵量（述語の一致率,型の一致率，否定表現の有無）よりも精度への影響が大きいことが示唆された.

また，含意関係認識においては，推論由来の特徵量の中では，証明のステップ数が性能に最も大きく寄与する特徵量であることが示唆された。この結果は, 文間類似度の予測では文間の表層的な一致率の影響が大きいのに対して，含意関係の予測では文間の意味的な一致率の影響が大きいという，含意関係認識と文間類似度学習のタスク内容の違いを表していると考えられる。さらに，公理の確信度の特徴量を取り除いた場合は性能が低下するのに対して，概念間の距離や同義語の一致率の特徴量を取り除いた場合, 性能が向上した。公理の確信度と概念間の距離・同義語の一致率の特徴量の導出方法の比較からこの結果を考察すると, 概念間の距離と同義語の一致率では 2 文中の全ての単語間について概念間の距離や同義語集合を計算し, その平均を特徴量としているのに対して, 公理の確信度では 2 文間の意味的関係の判断に必要な単語間に限定して類似度を計算し, その平均を特徴量としている。そのため, 公理の確信度は概念間の距離・同義語の一致率よりも効率的な特徵量として, 含意関係の予測性能に寄与したと考えられる。

## 4.4 正解ラベル別の評価

## 4.4.1 文間類似度学習

SICK データセットにおける, 正解スコア別の類似度学習の評価結果を表 10 に示す.この結果から，提案手法は $4 \leq x<5$ の範囲の類似度スコアが付与されている文ぺアにおいて最も精度が高いことが確認された。実際に， $4 \leq x<5$ の範囲の類似度スコアが付与されている文ぺアの 8 割が含意か矛盾の関係にある文ぺアであり，提案手法は特に論理的関係がある文ぺアにおいて高精度で類似度を予測することが示唆された。

表 10 正解スコア別の類似度学習の評価結果 (SICK)

## 4.4.2 含意関係認識

次に, SICKデータセットにおける, 正解ラベル別の含意関係認識の評価結果を表 11 に示す. なお, ここでは yes, no, unknownの 3 値分類におけるすべてのラベルに関してスコアを算出し, その重み付け平均によって算出した適合率, 再現率, F1 値を評価指標に用いた。この結果から,提案手法は特に文間の矛盾関係の判定において高精度を発揮することが確かめられた．SICK データセットにおいて，矛盾関係にある文ぺアの多くは否定表現を含んでいることから，この結果は，提案手法が論理推論を用いて否定表現を含む文の意味を正確に捉えていることを示唆している.

## 4.5 本研究の手法と深層学習による手法との比較

SICK テストデータ 4,927 件の文例に対して, 提案手法の推論由来の特徴量のみを用いて学習したモデルによる予測類似度と, 本タスクで最高精度を達成した深層学習のモデル (Mueller and Thyagarajan 2016) による予測類似度との比較を行った。その結果， 4,927 件中 2,666 件は提案手法の方が正解スコアに近い類似度を予測していた. さらに，この 2666 件について，特にどのような言語現象を含む文例において推論由来の特徴量が有用であるか，傾向を分析した。テストデータ全体に含まれる否定・量化・等位接続・関係代名詞を含む文例数をそれぞれカウントした結果を表 12 に示す.

また, これらの文例のうち, 提案手法が高精度で予測した文例数とテストデータ中の割合を計算した結果を表 13 に示す. 表から, 推論由来の特徵量は否定表現や量化表現, 等位接続を含

表 11 各正解ラベルの含意関係認識の評価結果 (SICK)

表 12 言語現象の例

 \\

む文例において, 深層学習のモデルよりも高精度で類似度を予測する傾向が示唆された.

## 4.6 エラー分析

最後に, 推論由来の特徴量のみで学習したモデルで予測したスコアが正解スコアと 1.5 以上離れていた文例 119 件について，エラー分析を行った．SICKデータセットの類似度・含意関係の評価結果のエラー分析の例を表 14 に示す.

1264 では，各文中の onstage と on a stage をどちらも副詞として捉えるのが正しい統語解析結果であるが, 統語解析のエラーによって onstage が perform の目的語として捉えられてしまい，統語解析の結果に従って誤った論理式に変換されたため，含意関係を証明できず，予測スコアが正解スコアよりも低くなってしまった例である。このような例では 2 文間の統語解析の結果の整合性を考慮するなど，統語解析の改善が必要である， 6637 では， 1 文目の leap over を 1 つ動詞のイデイオムとして論理式に変換する必要があるが，変換に失敗し，予測スコアが正解スコアよりも低くなってしまった例である。このような例では，イディオムに関する外部知識を参照して論理式に変換するといった改善策が考えられる．2831 は含意関係がある文ぺアであるが, penciling on eyeshadow と using an eye pencil on her eyelid 間の公理を生成できなかったため含意関係を証明できず，予測スコアが正解スコアよりも低くなってしまった例である。

表 13 言語現象ごとの分析結果

 \\

表 14 エラー分析

} &  & 4.6 & 2.9 & no & unk & \\

このような例では，フレーズ間の関係知識を用いて公理を生成する必要がある。 1941 は含意関係のない文ぺアであるが，公理の過剰生成によって含意関係を証明できてしまい，予測スコアが正解スコアよりも高くなってしまった例である。本研究では公理の確信度に単語間類似度を採用し，確信度が閥値以上である場合のみに公理を採用しているが，このような公理の過剰生成を防ぐためには, 文脈に合わせて正しく公理の確信度を算出するよう改善する必要がある.

## 5 まとめ

本研究では，文を高階述語論理式に変換し，文間の含意関係を高階論理の推論によって判定するシステムの実行過程に関する情報から, 文間の関連性に寄与する特徴を抽出し, 文間の関連性を学習する手法を提案した。文間類似度学習と含意関係認識という 2 の自然言語処理タスクに関して複数のデータセットを用いて評価を行った結果, 推論の過程を特徴量として組み合わせることによって，いずれのタスクにおいても精度が向上した. また, 含意関係認識用デー タセットの一つである SICK データセットの評価では最高精度を達成した. 今後の展望としては，統語解析，意味合成，論理推論のそれぞれのフェーズにおいて改善策を検討していく．統語解析においては，文ぺア間で統語解析結果が異なるために証明に失敗した例が数件見られたため，文ぺア中に同じ動詞が含まれていれば，各文の動詞に同じ統語範疇を優先して割り当てるといった改善策が挙げられる。意味合成においては，統語解析の結果に加えて外部知識を利用することで，イディオムなどを含む文についても適切な論理式に変換するといった改善策が挙げられる。論理推論においては, フレーズ間の公理の生成方法の検討, 公理の確信度の計算方法の改善などが今後の課題として挙げられる。また，本稿では含意関係認識と文間類似度学習のタスクにおいて提案手法の評価を行ったが，今後，質問応答など他の自然言語処理タスクへの適用が期待される。

## 謝 辞

本研究は, JST 戦略的創造研究推進事業 CREST (JPMJCR1301) およびAIP チャレンジの支援を受けて行われた。また, 本研究の一部は, the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP2017) で発表したものである (Yanaka, Mineshima, Martínez-Gómez and Bekki, 2017) .

## 参考文献

Abzianidze, L. (2015). "A Tableau Prover for Natural Logic and Language." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP-2015), pp. 2492-2502.

Abzianidze, L. (2016). "Natural Solution to FraCaS Entailment Problems." In Proceedings of the 5th Joint Conference on Lexical and Computational Semantics, pp. 64-74.

Agirre, E., Cer, D., Diab, M., and Gonzalez-Agirre, A. (2012). "SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity." In Proceedings of the 6th International Workshop on Semantic Evaluation (SemEval-2012), pp. 385-393.

Bär, D., Biemann, C., Gurevych, I., and Zesch, T. (2012). "UKP: Computing Semantic Textual Similarity by Combining Multiple Content Similarity Measures." In Proceedings of the 6th International Workshop on Semantic Evaluation (SemEval-2012), pp. 435-440.

Bekki, D. and Mineshima, K. (2017). "Context-Passing and Underspecification in Dependent Type Semantics." In Chatzikyriakidis, S. and Luo, Z. (Eds.), Modern Perspectives in Type Theoretical Semantics, Studies of Linguistics and Philosophy, pp. 11-41. Springer.

Beltagy, I., Roller, S., Boleda, G., Erk, K., and Mooney, R. (2014). "UTexas: Natural Language Semantics using Distributional Semantics and Probabilistic Logic." In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval-2014), pp. 796-801.

Bertot, Y. and Castran, P. (2010). Interactive Theorem Proving and Program Development: Coq'Art The Calculus of Inductive Constructions. Springer, New York, USA.

Bjerva, J., Bos, J., van der Goot, R., and Nissim, M. (2014). "The Meaning Factory: Formal Semantics for Recognizing Textual Entailment and Determining Semantic Similarity." In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval-2014), pp. 642-646.

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." Journal of Machine Learning, 3, pp. 993-1022.

Champollion, L. (2015). "The Interaction of Compositional Semantics and Event Semantics." Linguistics and Philosophy, 38 (1), pp. 31-66.

Clark, S., Coecke, B., and Sadrzadeh, M. (2011). "Mathematical Foundations for a Compositional Distributed Model of Meaning." Linguistic Analysis, 36 (1-4), pp. 345-384.

Clark, S. and Curran, J. R. (2007). "Wide-coverage Efficient Statistical Parsing with CCG and Log-linear Models." Computational Linguistics, 33 (4), pp. 493-552.

Curran, J. R. and Clark, S. (2003). "Investigating GIS and Smoothing for Maximum Entropy

Taggers." In Proceedings of the 10th Conference on European Chapter of the Association for Computational Linguistics (EACL-2003), pp. 91-98.

Davidson, D. (1967). "The Logical Form of Action Sentences." In Rescher, N. (Ed.), The Logic of Decision and Action, pp. 81-95. University of Pittsburgh Press, Pittsburgh, PA. Reprinted in (Davidson 1980), pp. 105-148.

Davidson, D. (1980). Essays on Actions and Events. Clarendon Press, Oxford.

Deerwester, S., Dumais, S. T., Landauer, T. K., and Harshman, R. (1990). "Indexing by Latent Semantic Analysis." Journal of the American Society for Information Science, 41 (6), pp. 391-407.

Grefenstette, E. and Sadrzadeh, M. (2011). "Experimental Support for a Categorical Compositional Distributional Model of Meaning." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing (EMNLP-2011), pp. 1394-1404.

He, H. and Lin, J. (2016). "Pairwise Word Interaction Modeling with Deep Neural Networks for Semantic Similarity Measurement." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL/HLT-2016), pp. 937-948.

Hill, F., Cho, K., and Korhonen, A. (2016). "Learning Distributed Representations of Sentences from Unlabelled Data." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL/HLT-2016), pp. 1367-1377.

Hockenmaier, J. and Steedman, M. (2007). "CCGbank: A Corpus of CCG Derivations and Dependency Structures Extracted from the Penn Treebank." Computational Linguistics, 33 (3), pp. 355-396.

Kartsaklis, D., Kalchbrenner, N., and Sadrzadeh, M. (2014). "Resolving Lexical Ambiguity in Tensor Regression Models of Meaning." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL-2014), pp. 212-217.

Kartsaklis, D. and Sadrzadeh, M. (2016). "Distributional Inclusion Hypothesis for Tensor-based Composition." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers (COLING-2016), pp. 2849-2860.

Le, Q. V. and Mikolov, T. (2014). "Distributed Representations of Sentences and Documents." In Proceedings of the 31th International Conference on Machine Learning, (ICML-2014), pp. 1188-1196.

Lewis, M. and Steedman, M. (2014). "A* CCG Parsing with a Supertag-factored Model." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing

(EMNLP-2014), pp. 990-1000.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for The Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC2014), pp. 216-223.

Martínez-Gómez, P., Mineshima, K., Miyao, Y., and Bekki, D. (2016). "ccg2lambda: A Compositional Semantics System.” In Proceedings of ACL-2016 System Demonstrations, pp. 85-90.

Martínez-Gómez, P., Mineshima, K., Miyao, Y., and Bekki, D. (2017). "On-demand Injection of Lexical Knowledge for Recognising Textual Entailment." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL2017), pp. 710-720.

Martínez-Gómez, P. and Miyao, Y. (2016). "Rule Extraction for Tree-to-Tree Transducers by Cost Minimization." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP-2016), pp. 12-22.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Burges, C. J. C., Bottou, L., Welling, M., Ghahramani, Z., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 26, pp. 3111-3119. Curran Associates, Inc.

Miller, G. A. (1995). "WordNet: A Lexical Database for English." Communications of the ACM, 38 (11), pp. 39-41.

Mineshima, K., Martínez-Gómez, P., Miyao, Y., and Bekki, D. (2015). "Higher-order Logical Inference with Compositional Semantics." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP-2015), pp. 2055-2061.

Mineshima, K., Tanaka, R., Martínez-Gómez, P., Miyao, Y., and Bekki, D. (2016). "Building Compositional Semantics and Higher-order Inference System for a Wide-coverage Japanese CCG parser." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP-2016), pp. 2236-2242.

Mitchell, J. and Lapata, M. (2008). "Vector-based Models of Semantic Composition." In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics (ACL2008), pp. 236-244.

Mitchell, J. and Lapata, M. (2010). "Composition in Distributional Models of Semantics." Cognitive Science, 34 (8), pp. 1388-1429.

Mueller, J. and Thyagarajan, A. (2016). "Siamese Recurrent Architectures for Learning Sentence Similarity." In Proceedings of the 30th AAAI Conference on Artificial Intelligence (AAAI-

2016), pp. 2786-2792.

Parsons, T. (1990). Events in the Semantics of English: A Study in Subatomic Semantics. MIT Press, Cambridge, USA.

Peter, W. C. and Wilkins, W. K. (1984). Locality in Linguistic Theory. Academic Press, Florida, USA.

Prawitz, D. (1965). Natural Deduction - A Proof-Theoretical Study. Almqvist \& Wiksell, Stockholm, Sweden.

Ray, J. (1990). Semantic Structures. MIT Press, Cambridge, USA.

Steedman, M. (2000). The Syntactic Process. MIT Press, Cambridge, USA.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL/IJCNLP-2015), pp. 1556-1566.

Wong, S. K. M. and Raghavan, V. V. (1984). "Vector Space Model of Information Retrieval: A Reevaluation." In Proceedings of the 7th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 167-185.

Yin, W. and Schütze, H. (2017). "Task-Specific Attentive Pooling of Phrase Alignments Contributes to Sentence Matching." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL-2017), pp. 699-709.

Yoshikawa, M., Noji, H., and Matsumoto, Y. (2017). "A* CCG Parsing with a Supertag and Dependency Factored Model." In Proceedings of the 55nd Annual Meeting of the Association for Computational Linguistics (ACL-2017), pp. 277-287.

Zhou, Y., Liu, C., and Pan, Y. (2016). "Modelling Sentence Pairs with Tree-structured Attentive Encoder." In Proceedings of the 26th International Conference on Computational Linguistics (COLING-2016), pp. 2912-2922.

## 略歴

谷中瞳：1989 年生. 2011 年早稲田大学先進理工学部応用化学科卒業. 2013 年東京大学大学院工学系研究科科学システム工学専攻修士課程修了. 同年,株式会社野村総合研究所入社後, 2015 年東京大学大学院工学系研究科システ公創成学専攻博士課程進学.

峯島宏次：2013 年慶應義塾大学文学研究科博士課程修了. 博士 (哲学). 現在, お茶の水女子大学シミュレーション科学・生命情報学教育研究センター 特任准教授.

Pascual Martínez-Gómez: received his Ph.D. degree in Computer Science at the University of Tokyo in 2014 for his research on eye-tracking and readability diagnosis. He is a research scientist at the Artificial Intelligence Research Center in the National Institute of Advanced Industrial Science and Technology (AIST), Japan.

戸次大介：2000 年東京大学大学院理学系研究科情報科学専攻博士課程修了.博士 (理学). 現在, お茶の水女子大学基幹研究院自然科学系准教授.

$(2017$ 年 10 月 15 日受付 $)$
$(2018$ 年 1 月 17 日再受付)
$(2018$ 年 3 月 6 日採録)