# 関係パタンとの共起から学習される単語ペア埋め込みを用いた 名詞間意味関係識別

鷲尾 光樹 $\dagger \cdot$ 加藤 恒昭 $\dagger$
}

単語間の意味関係識別, 特に名詞ぺアの識別は, 言語理解に用いられる WordNet な どの語彙知識べースの自動的な拡充にとって重要である。意味関係識別の効果的な アプローチに，対象の単語ペアとコーパス上で共起した，単語ぺアを文中で結びつ ける単語系列，あるいは依存構造パスなどの関係パタンを用いるものがある。関係 パタンは意味関係を反映しているため, 意味関係識別に重要な特徴である。関係パ タンに基づく手法は, 対象の単語ペアのコーパス上での共起を必要とするが, 単語 の出現頻度分布はジフの法則に従うことが知られており, 大抵の内容語は低頻度で あるため, この要請は大規模コーパスを扱ったとしても必ずしも満たされるわけで はない. 本研究では, この問題を解決するために, 関係パタンの情報を反映した単語ぺアの埋め込み表現を，コーパスから教師なし学習する手法を提案する. 本手法 はニューラルネットワークで単語ペアと関係パタンの共起を汎化することで，コー パス上で十分に共起しなかったぺアに対しても，単語ペア埋め込みを通して関係パ タンの情報を意味関係識別モデルに提供する，実験により，本手法による単語ぺア 埋め込みを最先端の関係パタンに基づく手法に適用すると，4つの意味関係識別デー タセットの名詞ぺアについて性能が向上し, 適切に共起の問題を緩和できているこ とがわかった.

キーワード：語彙意味論，意味関係，知識ベース
## Learning Word-pair Embeddings from Co-occurrences of Word Pairs and Lexico-syntactic Patterns to Recognize Semantic Relations between Nouns

\author{
KoKi Washio ${ }^{\dagger}$ and TsunEaKi $\mathrm{KATO}^{\dagger}$
}

\begin{abstract}
Recognizing lexical semantic relations of word pairs, especially noun pairs, is an important task for automatic completion and expansion of lexical knowledge bases, such as WordNet, which can be used for natural language understanding. One of the promising approaches to this task is the utilization of lexico-syntactic patterns cooccurring with target word pairs, which reflect their lexical semantic relations. These pattern-based methods require co-occurrences of the target word pairs. However, this requirement is hardly satisfied because of Zipf's law that states, which most content
\end{abstract}

words occur very rarely. To solve this problem, we propose a novel unsupervised learning method to obtain word-pair embeddings that reflect co-occurring lexico-syntactic patterns. In recognizing lexical semantic relations, our method provides relational information for word pairs that do not co-occur in a corpus because the neural network generalizes the co-occurrence between word pairs and lexico-syntactic patterns. The experimental results show that our word-pair embeddings improved the performance of the state-of-the-art neural pattern-based method on the noun pairs of four datasets and successfully alleviated the co-occurrence issue.

Key Words: Lexical Semantics, Semantic Relation, Knowledge Base

## 1 はじめに

単語, とくに名詞間の意味関係は, 含意関係認識 (Dagan, Dolan, Magnini, and Roth 2010) や質問応答 (Yang, Zou, Wang, Yan, and Wen 2017) などの高度な意味処理を伴う自然言語処理夕スクにおいて重要である。語の意味関係知識は, WordNet (Fellbaum 1998) などの人手で作成された語彙知識べースに蓄えられており，様々なタスクに利用することができる。しかし，このような人手による語彙知識べースの拡張には大きなコストがかかり，新語や未知語に対応できず，さらにカバーされているドメインも限られている。この問題を解決するために，大規模コーパスから語の意味関係知識を獲得する方法が研究されている.

コーパスからの意味関係知識の獲得には，二語を文中で結びつける単語系列，あるいは依存構造パスなどの関係パタンの利用が有効であることが知られている (Hearst 1992). たとえば， $A$ $\operatorname{dog}$ is a kind of animals.という文において，is a kind of という語の系列から， dog が animal の下位語であることが識別できる。このように，コーパス中で二語を結びつける単語系列や依存構造パスを特徴として教師あり学習を行う手法が，パタンベースの手法として提案されている (Snow, Jurafsky, and Ng 2005; Shwartz, Goldberg, and Dagan 2016; Shwartz and Dagan 2016). また，関係パタンは，知識獲得の手法として，推論規則をコーパスから獲得するためにも用いられている (Schoenmackers, Davis, Etzioni, and Weld 2010; Tsuchida, Torisawa, De Saeger, Oh, Kazama, Hashimoto, and Ohwada 2011).

パタンベースの意味関係識別は，意味関係の分類対象となる単語ぺアについてコーパス上での十分な共起を必要とする。しかし，たとえ大規模コーパスが扱えたとしても，意味関係を持つ単語ぺアが必ずしも十分に共起するとは限らない。文中で共起しなかった単語ぺアや共起回数が少なかった単語ぺアについては，このアプローチでは分類に有用な関係パタンの特徵が得られず，意味関係を適切に予測することができない。

このようなパタンベースの意味関係識別の問題に対処するために，本研究ではニューラルネットワークを用いて, 単語ペア $\left(w_{1}, w_{2}\right)$ と, それらを結びつける関係パタン $p$ の共起から, 単語

ペアの埋め込みを教師なし学習する手法を提案する。大規模コーパスから学習したニューラルネットワークの汎化能力を利用することで，コーパス上で十分に共起が得られなかった単語ぺアについても，関係パタンとの共起を予測できるような，意味関係識別に有用な特徴が埋め込まれた埋め込みを得ることができる。コーパスから推論規則とその適用を学習して, 共起しなかった二つの概念に関する関係性を推論する手法 (Schoenmackers et al. 2010; Tsuchida et al. 2011) も提案されているが, 本研究ではニューラルネットワークの教師なし学習を用いて単語ぺアの意味関係表現を得ることで, 教師あり意味関係識別において, 共起が十分に得られなかった単語ぺアに関する分類性能を向上させることを目的とする。実験により，この単語ぺア埋め达みを，パタンベースの意味関係識別の最先端のモデル (Shwartz and Dagan 2016) に適用することで，4つデータセットにおいて名詞ぺアに対する識別性能が向上することがわかった.

## 2 背景

本節では背景知識となる訓練データを用いる教師あり単語間意味関係識別について説明する. タスクの定義（2.1 節）, 従来手法である出現文脈分布を用いた識別手法（2.2.1 節）とパタンベー スの識別手法 (2.2.2 節), 最先端のニューラルパタンベースの手法（2.2.3 節）を説明した後に, パタンベースの手法の問題であるパタン欠落問題（2.3 節）について説明する.

## 2.1 教師あり単語間意味関係識別

教師あり単語間意味関係識別は，単語ぺアを特徵ベクトルとして表現し，訓練デー夕を用いて，単語ぺアを上位下位関係，部分全体関係などの意味関係クラスに分類するモデルを構築するタスクである。単語ぺアの特徴として, 各語の出現文脈の分布（2.2.1節）や関係パタン（2.2.2 節）の情報を用いることができる.

## 2.2 従来手法

## 2.2.1 出現文脈分布を用いた意味関係識別

各語の出現文脈分布を用いる手法は，各語を単語埋め込み (Mikolov, Sutskever, Chen, Corrado, and Dean 2013; Levy and Goldberg 2014; Pennington, Socher, and Manning 2014)として表現し, 二つの埋め込みに何らかの演算を施すことで, 単語ペアの特徴ベクトルとする. 用いられる演算には, ベクトルの結合 (Baroni, Bernardi, Do, and Shan 2012; Roller and Erk 2016) や差分 (Roller, Erk, and Boleda 2014; Weeds, Clarke, Reffin, Weir, and Keller 2014; Vylomova, Rimell, Cohn, and Baldwin 2016)などがある. 出現文脈分布を用いる手法は関係パタンを用いるパタンベースの手法と異なり, 二語の共起を必要としない. しかし, これらの手法は二語の関係性を学習しているのではなく, 個々の単語がそれぞれどれぐらい対象の関係を持ちやすいかを覚え

ているだけであるという報告がある (Levy, Remus, Biemann, and Dagan 2015).

## 2.2.2 パタンベースの意味関係識別

パタンベースの教師あり意味関係識別では, 単語ぺアと共起した関係パタンを集計して特徴ベクトル化することで単語ぺアを表現し, その上に分類器を構築する (Snow et al. 2005). 関係パタンを用いることで，二語の意味関係を捉えることができるが，関係パタンは単語系列，あるいは依存構造パスのため, 特徴空間が非常にスパースになる. ゆえに, $X$ is a species of $Y$ と $X$ is a kind of $Y$ のような上位下位関係を表す関係パタン同士の類似性を捉えることができなくなってしまう.

## 2.2.3 ニューラルパタンベースの手法

Shwartz らは, 各関係パタンを単一の特徴として用いるのではなく, リカレントニューラルネットワーク (RNN) を用いて関係パタンを低次元で密なべクトルに符号化することで, 特徴空間のスパース性を回避する手法 LexNET を提案した (Shwartz et al. 2016; Shwartz and Dagan 2016).

Shwartz らは依存構造パスを関係パタンとして用いて, 長短期記憶ネットワーク (LSTM) (Hochreiter and Schmidhuber 1997) で符号化した. たとえば, A dog is a mammal.のような文があり, 対象の単語ぺアを $\operatorname{dog}$ と mammal とするとき, 依存構造パスは X/NOUN/nsubj/> be/VERB/ROOT/-Y/NOUN/attr/くとなる.ここで, X は dog, Y は mammalである. 依存構造パスの各エッジは, レンマ, 品詞, 依存関係, 依存方向で構成される。このときエッジは, 各要素の埋め込みの結合として, 以下のように表現される.

$
\boldsymbol{e}=\left[\boldsymbol{v}_{l} ; \boldsymbol{v}_{p o s} ; \boldsymbol{v}_{d e p} ; \boldsymbol{v}_{d i r}\right]
$

ここで，；はべクトルの結合， $\boldsymbol{v}_{l}, \boldsymbol{v}_{p o s}, \boldsymbol{v}_{d e p}, \boldsymbol{v}_{d i r}$ は，それぞれレンマ，品詞，依存関係，依存方向の埋め込みを表す. エッジ埋め込み $\boldsymbol{e}$ は, LSTM の各時点の入力となる. LSTM の時点 $t$ の隠孔状態 $\boldsymbol{h}_{t}$ は以下のように計算される。

$
\boldsymbol{h}_{t}=L S T M\left(\boldsymbol{h}_{t-1}, \boldsymbol{e}_{t}\right)
$

ここで LSTM は LSTM の計算式に沿って, 前の隠れ状態 $\boldsymbol{h}_{t-1}$ と現在の入力 $\boldsymbol{e}_{t}$ から, 現在の隠れ状態を計算する関数である。依存構造パスのすべてのエッジを入力した後の LSTM の最後の隠れ状態 $\boldsymbol{o}_{p}$ が，依存構造パス $p$ の表現となる。単語ペアが共起した依存構造パスの表現をまとめるために，Shwartz らは以下のような平均プーリングを適用している.

$
\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}=\frac{\sum_{p \in P_{\left(w_{1}, w_{2}\right)}} f_{\left(w_{1}, w_{2}, p\right)} \cdot \boldsymbol{o}_{p}}{\sum_{p \in P_{\left(w_{1}, w_{2}\right)}} f_{\left(w_{1}, w_{2}, p\right)}}
$

ただし， $P_{\left(w_{1}, w_{2}\right)}$ は単語ぺア $\left(w_{1}, w_{2}\right)$ がコーパス上で共起した依存構造パスの集合, $f_{\left(w_{1}, w_{2}, p\right)}$ は，依存構造パス $p$ が $\left(w_{1}, w_{2}\right)$ と共起した頻度である.

Shwartz らは, 各語の出現文脈分布の情報も考慮するために, 単語ペア $\left(w_{1}, w_{2}\right)$ の関係パ夕ン表現 $\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$ に, それぞれの単語埋め込み $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}$ を結合して, 最終的な単語ぺアの表現としている.

$
\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}=\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} ; \boldsymbol{v}_{w_{2}}\right]
$

この単語ぺアの特徴表現 $\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}$ をもとに, 最終的な出力として各意味関係クラスに割り当てられる確率を表現するべクトル $\boldsymbol{y}$ が以下のように計算される.

$
\boldsymbol{y}=\operatorname{softmax}\left(\boldsymbol{W} \boldsymbol{v}_{\left(w_{1}, w_{2}\right)}+\boldsymbol{b}\right)
$

ただし， $\boldsymbol{W}$ は線形変換のパラメータ行列， $\boldsymbol{b}$ はバイアス項を表すべクトルである． softmax はソフトマックス関数である.

各語の単語埋め込みによる出現文脈分布のみでなく, LSTMによりスパース性を解決した関係パタンの表現を用いることで, LexNET は高い汎化性能を持つことが報告されている (Shwartz et al. 2016; Shwartz and Dagan 2016).

## 2.3 パタン久落問題

LexNET を含むパタンベースの手法は関係パタンに基づくため，対象の単語ぺアの共起を必要とする。しかし，たとえ単語ぺアが何らかの意味関係を持っており，大規模コーパスがあったとしても，すべての単語ぺアについて分類に十分な共起を観測することは難しい．単語の出現頻度はジフの法則に従うことが知られており，意味関係識別の対象となる内容語の大抵は低頻度であるためである (Hanks 2009). 本研究では, この問題をパタン久落問題と呼ぶ.

単語ペアの共起が得られなかった場合，パタンベースのモデルはそのぺアについて，関係パタンに関わる有効な手がかりを得ることができない。そのようなぺアについて, LexNET は UNK-lemma/UNK-POS/UNK-dep/UNK-dirのようなダミーパタンでパディングを行う．しかしこの処理では，モデルは単語ペアの間に意味関係がなかったので共起しなかったのか, 意味関係があったがたまたま共起しなかったのかを区別できない.

Necşulescu らはコーパスをグラフで表現することで, パタン久落問題の解決を試みた (Necşulescu， Mendes, Jurgens, Bel, Navigli 2015). コーパスを依存構造解析し，単語をノード，依存関係を有向エッジとして表現して，それらを重ね合わせることでグラフを構築し，対象の二語についてグラフ上のパスをたどることで，共起しなかった単語ぺアについても擬似的な関係パタンが得られる. Necşulescu らは, 二語間のパスの集合を特徴として, 特徴選択を行いつつ分類器を構築した。結果として，Recall が改善されたが，依然として，パタン久落問題があったことを報

## 告している.

本研究では, 単語ぺアと関係パタンの共起をニューラルネットワークによって教師なし学習を行うことで，この問題の解決を試みる。

## 3 提案手法

## 3.1 単語ペア埋め込みの教師なし学習

本節では，コーパスから得られる単語ぺア $\left(w_{1}, w_{2}\right)$ と二語を結びつける関係パ夕ン $p$ の共起データ $D=\left.\{\left(w_{1}, w_{2}, p\right)_{1},\left(w_{1}, w_{2}, p\right)_{2}, \ldots,\left(w_{1}, w_{2}, p\right)_{n}\right.\}$ から，単語ぺアと関係パ夕ンの共起をニューラルネットワークで教師なし学習する手法について述べる。 ニューラルネットワークを用いて汎化することで，コーパス上で共起しなかった単語ぺアについても，関係パタンとの共起情報を捉えた単語ぺア埋め达みが得られる。さらに，パタンベースの意味関係識別では，対象の単語ペアが共起した関係パタンのみを用いるため，コーパスの一部しか学習に使用できないが，コーパス全体からの教師なし学習で獲得された単語ペア埋め达みを適用することで，コー パス全体を意味関係識別に用いることができる.

埋め込みを用いた共起のモデリングは, 主に単語埋め込みの学習法 (Collobert and Weston 2008; Mikolov et al. 2013; Levy and Goldberg 2014; Pennington et al. 2014)として一般的であり, 多くのバリエーションが考えられるが, 本研究では単純で効率的な Skip-gram モデル (Mikolov et al. 2013) と似た方法を採用する.

## 単語ペアと関係パタンの符号化

本手法では，単語ぺアと関係パタンをそれぞれ埋め込みとして符号化し，それらの内積から共起する程度を予測することで学習を行う。

単語ペア $\left(w_{1}, w_{2}\right)$ は以下のように符号化を行う.

$
\begin{aligned}
& \boldsymbol{h}_{(w 1, w 2)}=\tanh \left(\boldsymbol{W}_{1}\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]+\boldsymbol{b}_{1}\right) \\
& \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}=\tanh \left(\boldsymbol{W}_{2} \boldsymbol{h}_{(w 1, w 2)}+\boldsymbol{b}_{2}\right)
\end{aligned}
$

ただし， $\boldsymbol{W}_{1}, \boldsymbol{b}_{1}, \boldsymbol{W}_{2}, \boldsymbol{b}_{2}$ は，線形変換のためのパラメータ行列とバイアス項ベクトル， $\tanh$ は $\tanh$ 活性化関数である.

関係パタン $p$ の符号化には，ランダムに初期化した埋め込みを $\boldsymbol{v}_{p}$ として，各パタンに割り当てる。ここでは関係パタンの符号化法として単純な方法を用いるが, 2.2 .3 節のように LSTM で関係パタンを符号化することも可能である。その場合，学習時間は増加するが，関係パタン同士の類似性を捉えた学習が見込める。

## 目的関数

目的関数には単語埋め込みの学習に用いられる負例サンプリング目的関数 (Mikolov et al. 2013) を拡張したものを用いた。単語ぺアを表現する $\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$ と関係パタンを表現する $\boldsymbol{v}_{p}$ が計算できるとき, 本研究では, 実際に共起したトリプル $\left(w_{1}, w_{2}, p\right)$ を共起しなかったトリプル $\left(w_{1}, w_{2}, p^{\prime}\right)$ と区別するように，以下のような目的関数 $L$ で学習を行う.

$
L=\sum_{\left(w_{1}, w_{2}, p\right) \in D} \log \sigma\left(\boldsymbol{v}_{p} \cdot \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}\right)+\sum_{\left(w_{1}, w_{2}, p^{\prime}\right) \in D^{\prime}} \log \sigma\left(-\boldsymbol{v}_{p^{\prime}} \cdot \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}\right)
$

ただし， $\sigma$ はシグモイド関数，$\cdot$はベクトルの内積， $D^{\prime}$ は $D$ からランダムに生成された負例サンプルの集合である. 負例サンプル $\left(w_{1}, w_{2}, p^{\prime}\right)$ は, 各 $\left(w_{1}, w_{2}, p\right) \in D$ に対して $k$ 個生成される. $k$ はハイパーパラメータである. $p^{\prime}$ の生成は, 単語埋め达みの学習によく用いられる設定 (Mikolov et al. 2013) にならい, 関係パタンの頻度分布を $3 / 4$ 乗したものから，ランダムに関係パタンをサンプリングすることで行った. この目的関数 $L$ を確率的勾配降下法によって最大化することで学習が行われる.

図 1 に以上の手法の概要を示す.この図では, (dog, animal)の単語ペアについて, それぞれの埋め込み $\boldsymbol{v}_{\text {dog }}, \boldsymbol{v}_{\text {animal }}$ から, 式 6 , 式 7 によって単語ぺアを符号化し, $\tilde{\boldsymbol{h}}_{(\text {dog,animal })}$ を計算している。そして, 式 8 を最大化して, $\tilde{\boldsymbol{h}}_{(\text {dog,animal })}$ と, 実際に共起した関係パタンX/NOUN/nsubj/> be/VERB/ROOT/- Y/NOUN/attr/<の埋め込み $\boldsymbol{v}_{p}$ との内積を大きくし, ランダムサンプリングされた負例の関係パタンX/NOUN/nsubj/> use/VERB/ROOT/- Y/NOUN/dobj/<の埋め达み $\boldsymbol{v}_{p}^{\prime}$ との内積を小さくすることで学習が行われる。

図 1 単語ペア埋め达みの教師なし学習

## 3.2 単語ペア埋め込みの計算と意味関係識別モデルへの適用

ニューラルネットワークの学習後, 単語埋め込みを持つ任意の二語について, 式 6 , 式 7 に基づいて，コーパス上で共起しうる関係パタンの情報を捉えた表現 $\tilde{h}$ を得ることができる. ここから以下のように単語ぺア $\left(w_{1}, w_{2}\right)$ の埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ を計算する.

$
\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}=\left[\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)} ; \tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}\right]
$

$\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$ と $\tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}$ の両方を考慮することによって, $w_{1}$ is a $w_{2}$ と $w_{2}$ such as $w_{1}$ のような, $w_{1}$ と $w_{2}$ の出現順序が異なる共起関係パタンの情報を捉えることができる．単語ぺアの関係の方向性は $\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$ と $\tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}$ の結合の順序によって表現されているので, 失われることはない.

以上のように得られる単語ペア埋め达みを, 既存の意味関係識別モデル LexNET に適用するために, 本研究では, 図 2 のようにLexNET の単語ぺアの特徴表現（式 $4 ）$ に, $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ を結合する。

$
\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}=\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} ; \boldsymbol{v}_{w_{2}} ; \boldsymbol{u}_{\left(w_{1}, w_{2}\right)}\right]
$

これにより, 単語ぺアの共起が十分に得られず, 関係パタン表現 $\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$ が分類に有用な情報を有してない場合でも，共起しうる関係パタンの情報を捉えた単語ぺア埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ により，関係パタンの情報を用いた意味関係識別が可能となる.

図 2 単語ペア埋め迄みの LexNETへの適用

## 4 実験

本節では，提案手法の有効性を示すための実験について述べる.

## 4.1 データセット

本実験では，意味関係識別のベンチマークである K\&H+N (Necşulescu et al. 2015), BLESS (Baroni and Lenci 2011), EVALution (Santus, Yung, Lenci, and Huang 2015), ROOT09 (Santus, Lenci, Chiu, Lu, and Huang 2016)の 4 つのデータセットの名詞ペアを用いた. これらのデー タセットは, WordNet や Wikipedia などの知識ベースリソースからの抽出か, クラウドソーシング，もしくはその両方によって作られている。表 1 は各データセットで扱っている名詞の意味関係である. Shwartz らの先行研究 (Shwartz and Dagan 2016) に従い, EVALution からは事例数の少ない含意関係と構成員集団関係は取り除いた。訓練・開発・テストデータの分割は, Shwartz らが用意したものを用いた ${ }^{1}$. 表 2 に各分割の事例数を示す.

## 4.2 コーパスと依存構造解析

パタンベースの手法では, 単語ペアと関係パタンの共起を集める必要があるため, 英語版 Wikipediaを $\mathrm{spaCy}^{2}$ で依存構造解析を行い, 名詞ぺアと依存構造パスの $\left(w_{1}, w_{2}, p\right)$ トリプルを抽出した. このとき $w_{1}, w_{2}$ にはレンマタイズを施した. Shwartz らの実装 3 に従い, 出現頻度が 5 以下の依存構造パスを含むトリプルは扱わないことにした.

表 1 各データセットで扱う名詞の単語間意味関係

表 2 各データセットの訓練・開発・テストデータの事例数

^{1}$ https://github.com/vered1986/LexNET/tree/v2/datasets

2 https://spacy.io

3 https://github.com/vered1986/LexNET
}
表 3 に，各データセットの共起の依存構造パスが得られた単語ペアの事例数の割合を示す. すべてのデータセットで，必ずしもすべての名詞ぺアが共起するわけではないことがわかる.

## 4.3 単語ペア埋め込みの獲得

3.1 節で述べた単語ぺア埋め込みの教師なし学習を行うために, 以下のような処理を行った.関係パタンには，最も頻度の高い 3 万の名詞を結びつける依存構造パスのみを教師なし学習に用いた. 単語埋め込みは配布されている 50 次元の $\mathrm{GloVe}^{4}$ (Pennington et al. 2014) で初期化し, パラメータの更新は行わなかった. 教師なし学習のために， $w_{1}$ と $w_{2}$ が GloVe の語彙に含まれている $\left(w_{1}, w_{2}, p\right)$ トリプルを抽出し，教師なし学習用の訓練データ $D$ を構築した。その他のハイパーパラメータは表 4 のように設定した.

## 4.4 比較手法

提案手法の有効性を示すために，以下のモデルを比較した．なお，各モデルの訓練は，開発セットでの性能が 7 エポック向上しなかったらストップし，もっとも開発セットでの性能が高いモデルを，テストセットで評価した。評価指標は，Shwartzらの先行研究にならい，各クラスの事例数を考慮する scikit-learn ${ }^{5}$ の平均 F1 スコアを用いた。

表 3 共起依存構造パスが得られた事例数の割合

表 4 単語ペア埋め込みの教師なし学習のハイパーパラメータ

^{4}$ http://nlp.stanford.edu/data/glove.6B.zip

 }^{5}$ https://scikit-learn.org/stable/


DS (Shwartz and Dagan 2016) 各単語の出現文脈分布の情報のみを用いる手法として，二語の単語埋め込みを結合した $\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]$ を特徴ベクトルとし，多クラスロジスティック回帰を行う手法を実装した。単語埋め込みには 4.3 節で用いた 50 次元の GloVe で初期化した.

DS_h (Shwartz and Dagan 2016) DS に隠れ層を追加したモデルである．隠れ層の次元数は 60 次元とした.

DS_Pair（提案手法） 二語の単語埋め込みと 3 節で述べた手法により学習される単語ぺア埋め込みを結合した $\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}} ; \boldsymbol{u}_{\left(w_{1}, w_{2}\right)}\right]$ を特徴ベクトルとし，多クラスロジスティック回帰を行う手法を実装した。

LexNET (Shwartz and Dagan 2016) 2.2.3 節に沿って, ベースラインとなるLexNET を実装した。ハイパーパラメータを表 5 に示す.レンマ埋め込み $\boldsymbol{v}_{l}$ は 4.3 節で用いた GloVe と同じもので初期化を行った。正則化は，エッジ埋め込み $e$ の各要素をドロップアウトして行った (Iyyer, Manjunatha, Boyd-Graber, and Daumé III 2015; Kiperwasser and Goldberg 2016). ドロップアウト率は開発セットの性能で調整した.

LexNET_h (Shwartz and Dagan 2016) LexNET の拡張で, 各語の単語埋め込み $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}$ と関係パタン表現 $\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$ の相互作用を捉えるために，出力層との間に追加で隠れ層を追加したモデルである。隠れ層の次元数は 60 とした。その他は LexNET と同じである.

LexNET_Pair（提案手法） 3.2 節で述べた教師なし学習で得られる単語ぺア埋め込みで LexNET を拡張した提案手法のモデルである。教師なし学習で獲得された意味関係の特徴を評価するために単語ぺア埋め込みは，教師あり意味関係識別の訓練では更新しない。その他は LexNET と同じである.

表 5 LexNET のハイパーパラメータ

表 6 各データセットにおける分類性能（平均 F1 スコア）

## 4.5 結果

各データセットのテストセットでの平均 $\mathrm{F} 1$ スコアを表 6 に示す。結果として，4つのデータセットすべてで, 3 節で述べた手法で得られる単語ぺア埋め达みを用いたDS_Pair, LexNET_Pair によって，それぞれのベースラインと同等かそれ以上の平均 $\mathrm{F} 1$ スコアが得られた. 単語ぺア埋め达みを用いた場合, 隠れ層を追加する DS_h, LexNEThよりも性能が向上しているため,単語ぺア埋め込みは, 各語の単語埋め込みと LexNET で扱う関係パタン表現以上の情報を符号化していると考えられる。 さらに，ほとんどすべての単語ぺアが関係パタンを持つ EVALution においても, LexNET とLexNET_Pair を比較したときに性能が向上している.このことは, 前述したように教師なし学習によってコーパス全体から得られる単語ぺアと関係パ夕ンの共起に基づく意味関係の知識が，単語ペア埋め込みを通して性能に貢献していると考えられる。この点が, LexNETのように訓練データ内の単語ペアと, それらと共起した関係パタンのみを学習に用いる手法を上回る理由の一つと考えられる。

$\mathrm{K} \& \mathrm{H}+\mathrm{N}$ での性能の向上が他のデータセットと比べてわずかであるが, これはこのデータセットにおいて単語埋め达みの出現文脈分布の情報の貢献が強く, 2.2 .1 節で述べたような, 単語ぺアの各語が各意味関係をどれほど持ちやすいか, という学習のみでほとんどの事例に正解でき，関係パタンの情報があまり性能に貢献しないのが原因だと思われる。実際にDS，DS_hと LexNET の平均 F1 スコアの差はごく僅かである。 このデータセットにおいては, Shwartzらの先行研究においても, LexNET は単語埋め込みのみを用いた手法をごくわずかしか上回っていない (Shwartz and Dagan 2016).

## 5 分析

## 5.1 パタン久落問題の緩和

提案手法がパタン欠落問題をどれほど緩和できているかどうか調べるために，各データセットの開発セットにおいて, 共起が得られなかった単語ぺア（パタン欠落ペア）についての各手法

の平均 F1 スコアを比較した。結果を表 7 に示す。表から，EVALution を除く 3 つデータセットにおいて, LexNET とLexNET_Pair を比較すると, 提案した単語ぺア埋め込みを用いた場合, パタン欠落ペアの性能が適切に向上していることがわかる。なお，EVALution においては，開発セットにパタン欠落ペアが 4 つしか含まれておらず，評価が困難であった.

さらに, 図 3 に, 各データセットの開発セットにおける共起関係パタン数（共起関係パタンのトークン数), 事例数と, LexNET と LexNET_Pair の平均 F1 スコアの関係を示す。この図によると，すべてのデータセットにおいて，共起関係パタン数が 50 以下の，意味関係識別の手がかりが十分に得られない単語ぺアに対しては，提案した単語ぺア埋め込みを用いた場合に，性能が向上することがわかる． EVALution を除く 3 つのデータセットにおいては，このような共起回数が少ない，あるいはまったく共起が得られないぺアがほとんどであり，これらの単語ぺアに対しては単語ぺア埋め込みの教師なし学習の利用が有効であることがわかる.

表 7 共起しなかった単語ぺアに対する性能（平均 F1 スコア）

図 3 各データセットの開発セットにおける共起関係パタン数, 事例数と平均 F1 スコアの関係
一方で，共起関係パタン数が 50 より多い，意味関係識別の手がかりが十分にある単語ぺアに対しては, 単語ぺア埋め込みの貢献は限定的である。これは, 共起関係パタン数が多い単語ペアに対しては, 関係パタンの特徴が十分にLexNET の関係パタンの表現に符号化がされるため, 単語ぺア埋め込みの教師なし学習で得られる情報が冗長になってしまうためであると考えられる。

$\mathrm{K} \& \mathrm{H}+\mathrm{N}, \mathrm{BLESS}, \mathrm{ROOT09}$ において，共起関係パタン数が 0 のペア（パタン久落ペア）に対する LexNET の平均 F1 スコアが共起関係パタンを持つぺアに対する平均 F1 スコアよりも良いケースがある。これは，パタン欠落ペアの多くはランダムペア（無関係なぺア）であり，これらに関しては, 関係パタンに基づかなくとも，適切に分類が行えるのが理由であると考えられる。

## 5.2 関係パタンの共起予測

学習された単語ぺア埋め込みが, どのような情報を符号化しているかを見るために, 教師なし学習した $\left.\tilde{\boldsymbol{h}}_{(} w_{1}, w_{2}\right)$ と $\boldsymbol{v}_{p}$ を用いて, BLESS の訓練セット内のコーパス上で共起しなかった単語ぺアについて, どのような依存構造パスが共起しやすいかの予測を行った.

負例サンプリング目的関数 (Mikolov et al. 2013) の性質により, 内積 $\boldsymbol{v}_{p} \cdot \tilde{\boldsymbol{h}}_{(} w_{1}, w_{2}$ ) は単語ぺア $\left(w_{1}, w_{2}\right)$ と依存構造パス $p$ の共起のしやすさを表すため, 共起しなかった単語ぺアについて,教師なし学習に用いた 3 万の依存構造パスを内積でランキングすることで, どのような依存構造パスと共起しうるかを見ることができる.

各単語ペアについて上位三件までの依存構造パスを予測した例を表 8 に示す. 各単語ぺアの意味関係を示唆すると思われる依存構造パスを太字にしている。予測された依存構造パスについては，不適切なものを含みつつも，各単語ぺアの意味関係を表すものが予測されている．たとえば, (jacket, commodity)や (goose, creature)などの上位下位関係のぺアにおいては， $X$ is $Y$ manufactured や， $X$ is a species of $Y$ のような, 包含関係を表す is-aの関係パタンの依存構造パスが予測されている。また，部分全体関係を持つ (owl, rump) では $X$ has $Y$ のような所有の関係を表すパスが予測されている。同じく部分全体関係を持つ (mug, plastic)に対しては，材料の関係を表す $X$ made from $Y$ が予測されている。いずれも部分全体関係を示唆する関係パ夕ンである．兄弟関係を表すぺアについては単語ぺアのドメインに固有な, 二つの名詞が同じカテゴリに属すことを示唆する依存構造パスが予測されている. ( carrot, beans)のような野菜の単語ぺアでは, $X$ leaf and $Y, \quad($ cello, kazoo)のような楽器の単語ぺアでは, play $X$, guitar, and $Y$ のような，等位接続の関係パタンが予測されており，兄弟関係を示唆している.

これらの例から, 本研究で提案された単語ぺア埋め込みが, 適切に関係パタンの情報を符号化していることがわかる. これにより, 単語ぺア埋め込みが適切にパタン欠落問題を緩和していると考えられる。
表 8 BLESS 内の共起しなかった単語ぺアについて予測された依存構造パス

 \\

## 5.3 単語ペア埋め込みの可視化

単語ぺア埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の性質を調べるために, BLESS 内の単語ぺアに注釈されたドメインごとに, t-SNE (Maaten and Hinton 2008) によるデー夕点の可視化を行った. 各ドメインについて t-SNEによる次元削減を行い上位下位関係，兄弟関係，部分全体のぺアをプロットし

bird

図 4 t-SNEによる単語ぺア表現の可視化（上段は $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$, 下段は $\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]$ )

た. 比較として, LexNET で用いられる二語の単語埋め込みの結合に対しても, 同様に可視化を行った. 結果として, いくつかのドメインに関して, 単語ぺア埋め込み $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の空間では,各意味関係のクラスタが形成されていることがわかった。鳥 (bird), 建物 (building), 爬虫類 (amphibian_reptile)のドメインの可視化を例として図 4 に示す. 図においては, 上位下位関係 (hyper), 兄弟関係 (coord), 部分全体関係 (mero) のデータ点がプロットされている。単語ペア埋め込みの結合の散布図は，各意味関係のデー夕点が散らばったり，混ざり合ったりしているが， $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の散布図は，各意味関係ごとにクラス夕を形成しているのがわかる。これは $\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$ の空間が意味関係の類似性 (Turney 2006) を捉えており, 意味関係識別に有用な性質を有していることを示している.

## 6 結論

本研究では, パタンベースの意味関係識別において問題であったパタン久落問題を解決するために，関係パタンとの共起の情報を捉えた単語ぺア埋め込みの学習法を提案し, 名詞ぺアの意味関係識別に適用した．実験により，4つのデータセットの名詞ぺアにおいて，分類性能が向上することを示した. さらに分析により, 単語ペア埋め込みが適切にパタン欠落問題を緩和し，意味関係識別に有効な情報を持っていることを示した。

今後の課題として，名詞以外の品詞の意味関係識別への適用を行う.

## 謝 辞

查読者の方々の有益なコメントに感謝する.

本論文の内容の一部は, the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies で発表したものである (Washio and Kato 2018).

## 参考文献

Baroni, M., Bernardi, R., Do, N.-Q., and Shan, C.-c. (2012). "Entailment above the Word Level in Distributional Semantics." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 23-32, Avignon, France. Association for Computational Linguistics.

Baroni, M. and Lenci, A. (2011). "How We BLESSed Distributional Semantic Evaluation." In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 1-10, Edinburgh, UK. Association for Computational Linguistics.

Collobert, R. and Weston, J. (2008). "A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning." In Proceedings of the 25th International Conference on Machine Learning, pp. 160-167. ACM.

Dagan, I., Dolan, B., Magnini, B., and Roth, D. (2010). "Recognizing Textual Entailment: Rational, Evaluation and Approaches-Erratum." Natural Language Engineering, 16 (1), pp. 105-105.

Fellbaum, C. (1998). WordNet: An Electronic Lexical Database. MIT Press.

Hanks, P. (2009). "The Impact of Corpora on Dictionaries." In Baker, P. (Ed.), Contemporary Corpus Linguistics, pp. 214-236. Continuum, London, Great Britain.

Hearst, M. A. (1992). "Automatic Acquisition of Hyponyms from Large Text Corpora." In COLING 1992 Volume 2: The 15th International Conference on Computational Linguistics, pp. 539-545.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Iyyer, M., Manjunatha, V., Boyd-Graber, J., and Daumé III, H. (2015). "Deep Unordered Composition Rivals Syntactic Methods for Text Classification." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1681-1691,

Beijing, China. Association for Computational Linguistics.

Kiperwasser, E. and Goldberg, Y. (2016). "Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations." Transactions of the Association for Computational Linguistics, 4, pp. 313-327.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 302-308, Baltimore, Maryland. Association for Computational Linguistics.

Levy, O., Remus, S., Biemann, C., and Dagan, I. (2015). "Do Supervised Distributional Methods Really Learn Lexical Inference Relations?" In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 970-976, Denver, Colorado. Association for Computational Linguistics.

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9 (Nov), pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Burges, C. J. C., Bottou, L., Welling, M., Ghahramani, Z., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 26, pp. 3111-3119. Curran Associates, Inc.

Neç̧ulescu, S., Mendes, S., Jurgens, D., Bel, N., and Navigli, R. (2015). "Reading Between the Lines: Overcoming Data Sparsity for Accurate Classification of Lexical Relationships." In Proceedings of the 4th Joint Conference on Lexical and Computational Semantics, pp. 182-192, Denver, Colorado. Association for Computational Linguistics.

Pennington, J., Socher, R., and Manning, C. (2014). "Glove: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar. Association for Computational Linguistics.

Roller, S. and Erk, K. (2016). "Relations such as Hypernymy: Identifying and Exploiting Hearst Patterns in Distributional Vectors for Lexical Entailment." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2163-2172, Austin, Texas. Association for Computational Linguistics.

Roller, S., Erk, K., and Boleda, G. (2014). "Inclusive yet Selective: Supervised Distributional Hypernymy Detection." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1025-1036, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Santus, E., Lenci, A., Chiu, T.-S., Lu, Q., and Huang, C.-R. (2016). "Nine Features in a Random

Forest to Learn Taxonomical Semantic Relations." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), pp. 4557-4564, Portorož, Slovenia. European Language Resources Association (ELRA).

Santus, E., Yung, F., Lenci, A., and Huang, C.-R. (2015). "EVALution 1.0: An Evolving Semantic Dataset for Training and Evaluation of Distributional Semantic Models." In Proceedings of the 4th Workshop on Linked Data in Linguistics: Resources and Applications, pp. 64-69, Beijing, China. Association for Computational Linguistics.

Schoenmackers, S., Davis, J., Etzioni, O., and Weld, D. (2010). "Learning First-Order Horn Clauses from Web Text." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 1088-1098, Cambridge, MA. Association for Computational Linguistics.

Shwartz, V. and Dagan, I. (2016). "Path-based vs. Distributional Information in Recognizing Lexical Semantic Relations." In Proceedings of the 5th Workshop on Cognitive Aspects of the Lexicon (CogALex - V), pp. 24-29, Osaka, Japan. The COLING 2016 Organizing Committee.

Shwartz, V., Goldberg, Y., and Dagan, I. (2016). "Improving Hypernymy Detection with an Integrated Path-based and Distributional Method." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2389-2398, Berlin, Germany. Association for Computational Linguistics.

Snow, R., Jurafsky, D., and Ng, A. Y. (2005). "Learning Syntactic Patterns for Automatic Hypernym Discovery." In Saul, L. K., Weiss, Y., and Bottou, L. (Eds.), Advances in Neural Information Processing Systems 17, pp. 1297-1304. MIT Press.

Tsuchida, M., Torisawa, K., De Saeger, S., Oh, J.-H., Kazama, J., Hashimoto, C., and Ohwada, H. (2011). "Toward Finding Semantic Relations not Written in a Single Sentence: An Inference Method using Auto-Discovered Rules." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 902-910, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

Turney, P. D. (2006). "Similarity of Semantic Relations." Computational Linguistics, 32 (3), pp. 379-416.

Vylomova, E., Rimell, L., Cohn, T., and Baldwin, T. (2016). "Take and Took, Gaggle and Goose, Book and Read: Evaluating the Utility of Vector Differences for Lexical Relation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1671-1682, Berlin, Germany. Association for Computational Linguistics.

Washio, K. and Kato, T. (2018). "Filling Missing Paths: Modeling Co-occurrences of Word

Pairs and Dependency Paths for Recognizing Lexical Semantic Relations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1123-1133, New Orleans, Louisiana. Association for Computational Linguistics.

Weeds, J., Clarke, D., Reffin, J., Weir, D., and Keller, B. (2014). "Learning to Distinguish Hypernyms and Co-Hyponyms." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 2249-2259, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Yang, S., Zou, L., Wang, Z., Yan, J., and Wen, J.-R. (2017). "Efficiently Answering Technical Questions-A Knowledge Graph Approach." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3111-3118.

## 略歴

熟尾光樹：2015 年東京大学教養学部卒業. 2017 年東京大学大学院総合文化研究科言語情報科学専攻修士課程修了. 同年, 同大学院博士課程入学.

加藤恒昭：1983 年東京工業大学大学院総合理工学研究科修士課程終了. 同年,日本電信電話公社（現 NTT）に入社. 2000 年東京大学総合文化研究科言語情報科学専攻准教授，2010 年同教授. 現在に至る. 博士（工学）、マルチモー ダル情報アクセス, 語彙意味論に関する研究に従事.