# 多義語分散表現の文脈化
## 芦原 和樹 $\dagger$ ・梶原 智之 $\dagger \dagger$ ・荒瀬 由紀 $\dagger$ ・内田 諭 ${ ^{+\dagger}$}

近年，多くの自然言語処理タスクにおいて単語分散表現が利用されている。しかし，各単語に 1 つの分散表現を生成するアプローチでは, 多義語における各語義が一つの分散表現に集約されてしまい，それらを区別することができない，そのため，先行研究では品詞やトピックごとに異なる分散表現を生成するが, 語義を区別するには粒度が粗いという課題がある。そこで, 本研究では各単語に対してより粒度の細かい複数の分散表現を生成するための 2 つの手法を提案する. 1 つ目は, 依存関係にある単語を手がかりとして，予め複数の分散表現を生成しておく手法である． 2 つ目は, 文脈中の全ての単語を考慮して語義に対応する分散表現を動的に生成する双方向言語モデルを利用する手法である．単語間の意味的類似度推定タスクおよび語彙的換言タスクにおける評価実験の結果, より細かい粒度で分散表現を生成する提案手法が先行研究よりも高い性能を発揮することを示した. キーワード：単語分散表現，多義性，語彙的換言，意味的類似度推定

## Contextualized Multi-Sense Word Embedding

\author{
Kazuki Ashihara $^{\dagger}$, Tomoyuki Kajiwara ${ }^{\dagger \dagger}$, Yuki Arase ${ }^{\dagger}$ and Satoru Uchida ${ }^{\dagger \dagger \dagger}$
}

Currently, distributed word representations are employed in many natural language processing tasks. However, when generating one representation for each word, the meanings of a polysemous word cannot be differentiated because the meanings are integrated into one representation. Therefore, several attempts have been made to generate different representations per meaning based on parts of speech or the topic of a sentence. However, these methods are too unrefined to deal with polysemy. In this paper, we proposed two methods to generate more subtle multiple word representations. The first method involves generating multiple word representations using the word in a dependency relationship as a clue. The second approach involves employing a bi-directional language model in which a word representation that considers all the words in the context is generated. The results of the extensive evaluation of the Lexical Substitution task and Context-Aware Word Similarity task confirmed the effectiveness of our approaches to generate more subtle multiple word representations.

Key Words: Word Embedding, Polysemy, Lexical Substitution, Word Similarity


## 1 はじめに

単語を密ベクトルで表現する単語分散表現 (Mikolov, Chen, Corrado, and Dean 2013a, 2013b; Pennington, Socher, and Manning 2014; Levy and Goldberg 2014; Bojanowski, Grave, Joulin, and Mikolov 2017) が，機械翻訳 (Sutskever, Vinyals, and Le 2014), 文書分類 (Mikolov and Com 2014) および語彙的換言 (Melamud, Levy, and Dagan 2015)など多くの自然言語処理応用タスクにおける性能改善に大きく貢献してきた．単語分散表現は今やこれら応用タスクの基盤となっており，その性能改善は重要な課題である。広く利用されている CBOW (Continuous Bag-of-Words) (Mikolov et al. 2013b) や SGNS (Skip-gram with Negative Sampling) (Mikolov et al. 2013a)などの手法では各単語に対して1つの分散表現を生成するが，Li and Jurafsky (2015) によって，語義ごとに分散表現を生成することで多くの応用タスクの性能改善に貢献することが示されている.そこで, 本研究では各単語に複数の語義の分散表現を割り当てる手法を提案する.

文脈に応じて分散表現を使い分けるために，多義語に複数の分散表現を割り当てる手法 (Neelakantan, Shankar, Passos, and McCallum 2014; Paetzold and Specia 2016; Fadaee, Bisazza, and Monz 2017; Athiwaratkun and Wilson 2017) が提案されている. しかし, 語義曖昧性解消はそれ自体が難しいタスクであるため，これらの先行研究では近似的なアプローチを用いている. 例えば，Paetzold and Specia (2016) は品詞ごとに, Fadaee ら (2017) はトピックごとに異なる分散表現を生成するが，これらの手法には多義性を扱う粒度が粗いという課題がある。以下の例では, いずれの文もトピックは foodであり, 単語 soft の品詞は形容詞である.

例 1) I ate a soft candy.

例 2) I drunk soft drinks.

先行研究ではこれらの単語 soft を同じ分散表現で表す. しかし, 例 1) の単語 soft は tender という意味を，例 2)の soft は non-alcoholic という意味を表すため，これらに同一の分散表現を生成するのは適切ではない。このような品詞やトピックでは区別できない多義性を考慮するために，各単語により細かい粒度で複数の分散表現を割り当てることが望ましい.

そこで本研究では，文脈中の単語を手がかりとして，先行研究よりも細かい粒度で各単語に複数の分散表現を割り当てる 2 つの手法を提案する。1つ目の手法は, 文脈中の代表的な 1 単語を考慮して語義の分散表現を生成する手法である。この手法では語義を区別する手がかりとして，各単語と依存関係にある単語を用いる，2つ目の手法は，文脈中の全ての単語を考慮して語義の分散表現を生成する手法である。この手法では双方向 LSTM (Long Short-Term Memory) を用いて文中に出現する全ての単語を同時に考慮する。どちらの手法も教師なし学習に基づいており，訓練データが不要という利点がある。

提案手法の有効性を評価するため, 多義性を考慮する分散表現が特に重要な, 文脈中での単語間の意味的類似度推定タスク (Huang, Socher, Manning, and Ng 2012) および語彙的換言タスク

(McCarthy and Navigli 2007; Kremer, Erk, Padó, and Thater 2014; Ashihara, Kajiwara, Arase, and Uchida 2019) において実験を行った．評価の結果，提案手法は先行研究 (Neelakantan et al. 2014; Paetzold and Specia 2016; Fadaee et al. 2017) よりも高い性能を発揮し，より細かい粒度で分散表現を生成することが応用タスクでの性能向上に繋がることが示された。また，詳細な分析の結果，文脈中の代表的な 1 単語を考慮して語義の分散表現を生成する手法は文長に影響を受けにくいため，文が長い場合に，文脈中の全ての単語を考慮して語義の分散表現を生成する手法よりも高い性能を示すことが確認できた.

## 2 関連研究

Li and Jurafsky (2015) は，各単語に複数の分散表現を与えることが，品詞付与や文の意味的類似度推定など多くの応用タスクの性能改善に貢献することを示した.このような各単語に複数の分散表現を与える先行研究は，予め複数の分散表現を生成する手法と文脈から動的に分散表現を生成する手法に大別できる。

予め各単語に複数の分散表現を生成する手法として, 以下に示す先行研究がある. Athiwaratkun and Wilson (2017) は, 全ての単語が定数個の語義を持つと仮定し, 各単語に複数の分散表現を生成した. 彼らは語義数として 2 または 3 を仮定しているが，現実的には語義数は単語ごとに大きく異なる. Neelakantan ら (2014) は文脈の類似度に基づいて語義に相当するクラスタリングを行い，各単語に対してクラスタごとに分散表現を生成した。しかし，語義曖昧性解消はそれ自体が難しいタスクであり，クラスタリングの性能が分散表現学習の性能に影響を与えてしまう. Paetzold and Specia (2016)は，各単語に対して品詞ごとに分散表現を生成した. 品詞付与は解析誤りの影響が小さいという利点を持つが, 先述の例 1) と例 2) のように同じ品詞の中でも更に多義性を持つ単語が存在する. Fadaeeら (2017) は, 各単語に対してトピックごとに分散表現を生成した。トピックは品詞よりも細かい粒度で語義を区別できるが，例 1) と例 2)のように更に細かい粒度で語義を区別することが望まれる場合がある。

文脈から各単語の分散表現を動的に生成するモデルとして, Melamud, Goldberger, and Dagan (2016) は context2vecを提案した. context2vecでは, word2vecの CBOWアルゴリズム (Mikolov et al. 2013b) と同様に単語ベクトルと文脈ベクトルを近づける学習を行うが，空幅を設けず双方向 LSTM によって文全体を符号化する。また, 単語べクトルと文脈ベクトルが同じ空間に埋め込まれるため，単語-単語間，文脈-文脈間，単語-文脈間のそれぞれで余弦類似度による意味的類似度の計算ができる。このモデルは語彙的換言タスクで高い性能を示しているが，最適なハイパーパラメータの決定のためにラベル付きデータが必要となる. 我々の提案手法はラベル

付きデータセットを一切使用しない教師なし学習であるため，本稿における評価実験においては context2vec を比較対象としないこととする。深層学習に基づく自然言語処理では，LSTM

などの Recurrent Neural Networkを用いてタスクに応じて入力文を符号化することが多い. 特に, ELMo (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018)は, 大規模コー パスを用いた双方向言語モデルの訓練によって，固有表現抽出など多くの応用タスクにおいて有用な文脈化された単語分散表現を獲得することに成功している。一般的に ELMo は，任意の応用タスクにおける再訓練を経て, タスクに特化した単語分散表現 1 を生成する. 本研究では, ELMoを意味的類似度推定タスクおよび語彙的換言タスクに適用する．教師なし学習による設定で実験を行うため, ELMoの文脈化された単語分散表現は再訓練しないものとする。

多義性を考慮する分散表現の評価のために，多くの先行研究 (Melamud et al. 2015; Roller and Erk 2016; Fadaee et al. 2017) で文脈中での単語間の意味的類似度推定タスクおよび語彙的換言タスクが採用されている。文脈中での単語間の意味的類似度推定タスクは，与えられた 2 つの文脈中の単語対の類似度を推定するタスクである。語彙的換言タスクは, 文脈, ターゲット単語,言い換え候補が与えられ，言い換え候補を文脈中のターゲット単語との置換可能性の観点からランキングするタスクである。どちらのタスクも文脈中での単語の意味を考慮することが重要である. 我々も先行研究に従い，提案手法の有効性を両タスクを用いて評価する。本研究では扱わないが，多義性を考慮する分散表現が重要なタスクとして，WiC (Pilehvar and Camacho-collados 2019) が新たに提案された， WiCでは，同一のターゲット単語を含む 2 つの文脈が与えられる. このタスクの目的は，与えられた文脈中のターゲット単語が同じ意味で使用されているか否かを 2 值分類することである。このタスクは，文脈中の単語間の意味を推定するという点で，文脈中での単語間の意味的類似度推定タスクと関連が深い。しかし， $\mathrm{WiC}$ は分類問題であるのに対して, 文脈中での単語間の意味的類似度推定タスクは回帰問題であるという違いがある。また, WiCではターゲット単語対が同一単語であるのに対し，SCWS では異なるターゲット対が含まれているという差異もあり，タスクの性質は大きく異なっている.

## 3 提案手法

本研究では, 所与の文脈を手がかりとして, 各単語に品詞 (Paetzold and Specia 2016) やトピック (Fadaee et al. 2017)よりも細かい粒度で複数の分散表現を生成する 2 つの手法を提案する.まず 3.1 節では, 文脈中の代表的な 1 単語を手がかりとして用いる. 我々は依存構造に着目し, ターゲット単語と依存関係にある単語を用いて文脈化された単語分散表現を得る。次に 3.2 節では，文脈中の全ての単語を手がかりとして用いる，我々は双方向言語モデルに着目し，双方向 LSTM のターゲット単語に対応する隠れ層を用いて文脈化された単語分散表現を得る。本研究では得られた単語分散表現を意味的類似度推定タスクおよび語彙的換言タスクに適用する.
^{1}$ ELMo によって得られる単語分散表現は応用タスクにおける埋め込み層や隠れ層と連結して使用する.
}

## 3.1 DMSE: 依存構造に基づく単語分散表現の文脈化

語義を区別して各単語に複数の分散表現を割り当てるために，ターゲット単語と依存関係にある単語 (context-word) に注目するDMSE (Dependency-based Multi-Sense Embedding)を提案する. ここで, context-word は意味表現においてより有効と考えられる内容語 (名詞, 動詞,形容詞, 副詞）に限定する。各単語 $w_{i}$ は context-word の集合 $C$ の要素ごとに異なる意味を持つと仮定し， $w_{i}$ に対して $|C|$ だけ分散表現を生成する。ここで, context-word の数 $|C|$ は語義数よりも多くなる，例えば，単語 softについて， cheeseを context-word に持つ soft_cheese と candy を context-word に持つ soft_candyが同じtender という意味を表す分散表現として生成される。しかし, DMSEでは各分散表現は互いに干渉しないと仮定し, 独立して学習および使用する。図 1 の例では, softの context-wordとして candy, drinkおよびironがある。本手法では soft_candy や soft_drinkのように context-wordごとに分散表現を学習する.

Algorithm 1 にDMSEの疑似コードを示す。まず，学習データ $S^{2}$ に含まれる各文 $s$ について，依存構造解析によって依存関係 $D$ を得る次に, 各単語 $w_{i} \in s$ について $\operatorname{Get} \operatorname{ContExTWORD}\left(w_{i}, D\right)$ によって context-word の集合 $C$ を獲得する。 そして, 単語 $w_{i}$ と context-word $c \in C$ を連結し,文脈化された単語 $w_{i, c}$ とする．最後に， $w_{i}$ の前後 $H$ 単語の左文脈 $l_{c}$ および右文脈 $r_{c}$ とともに

事前学習

事後学習

図 1 提案手法の概要: 事前学習と事後学習の 2 段階に分かれている. 図中の tender およびnon-alcoholic は説明のための例であり，実際のベクトル空間上の点とは異なる.

図 2 複数回に分けた学習手法の概要


$w_{i, c}$ を $\operatorname{CBOw}\left(w_{i, c}, l_{c}, r_{c}\right)$ へ入力 ${ }^{3}$ し, $\mathrm{CBOW}$ のアルゴリズムを用いて文脈化された単語の分散表現 $v_{w_{i, c}}$ を訓練する。ここで， $H$ は CBOWにおける窓幅である.

本手法では，ターゲット単語とその context-word の対ごとに分散表現を学習するため, 学習コーパスのサイズによっては学習時に文脈化された単語の分散表現を GPU メモリにロードできない可能性 ${ }^{4}$ がある。そこで我々は, 事前学習および事後学習の 2 段階の学習によって, これに対処する。
$ おび $r_{c}$ として用いる.

4 本実験で使用したコーパスの場合, ターゲット単語の語彙サイズは約 11.2 万語であった. それに対して, 文脈化された単語の語彙サイズは約 1.12 億個であった。文脈化された各単語を 32 bit の float 型による 300 次元べクトルで表した場合，約 134GB の GPU メモリが必要となり，全てを一度に GPU メモリにロードするのは現状の GPU 性能では現実的ではない.
}

まず事前学習では, context-word を考慮せず CBOW モデルを学習し, 各単語 $w_{i}$ の分散表現 $v_{i}$ を得る。次に事後学習では, 事前学習した $v_{i}$ を初期値として, 同じく CBOW のアルゴリズムによって文脈化された各単語 $w_{i, c}$ の分散表現 $v_{w_{i, c}}$ を学習する. CBOWでは文脈化された単語の分散表現のみを更新するので，GPUメモリにロードするのは更新されない文脈単語 $w_{j} \in l_{c} \cup r_{c}$ の分散表現 $v_{j}$ と文脈化された単語の分散表現 $v_{w_{i, c}}$ のみである. そのため, この事後学習は GPU のメモリサイズに合わせて複数回に分けて実施 ${ }^{5}$ できる。例えば，図 2 に示すように，事前学習した分散表現を元に，事後学習 (1)では soft_candy およびsoft_ironを，事後学習 (2)では soft_drinkを，それぞれ学習できる。事後学習で変化するのは文脈化された単語に対応する分散表現のみであるため, 事後学習 (1) で得られた soft_candy およびsoft_iron と, 事後学習 (2) で得られたsoft_drinkを統合し，それぞれ学習済分散表現として利用できる。

## 3.2 ECWR: 双方向言語モデルを利用した単語分散表現の文脈化

単語分散表現を文脈化するもう一つのアプローチとして, 所与の文脈全体を考慮し各単語の語義の分散表現を生成する，我々は ELMo (Peters et al. 2018) を用いて, 所与の文脈全体を考慮した各単語の語義の分散表現を生成する ECWR (ELMo-based Contextualized Word Representations) を提案する. Peters ら (2018) に従い， $i$ 番目の単語の文脈化された分散表現として $i$ 番目の隠れ層の出力を用いる，図 3 に示すように，ELMoは 2 層の双方向言語モデルに基づき, First Layer, Second Layer, Third Layer の 3 つの層から構成されている. 我々は, これら 3 層から得られる分散表現を，文脈を考慮した分散表現として利用する，ECWRでは，各単語の語義の分散表現として，これらの各層から得られる 3 種類の分散表現を連結 ${ }^{6}$ て用いる．ECWRからは，各

図 3 ELMo のモデル図

単語に対して文脈ごとに異なる分散表現が生成され, 先行研究に比べて細かい粒度で分散表現を割り当てることが可能となる。

Pilehvar and Camacho-collados (2019) も同様に，ELMo から得られる分散表現を文脈を考慮した分散表現として利用している。彼らは ELMo から得られる 3 つの分散表現の加重合計を用いているが，本研究では 3 つの分散表現を連結して使用する.

## 4 実験設定

提案手法の有効性を検証するために，文脈中での単語間の意味的類似度推定タスク (Huang et al. 2012) および語彙的換言タスク (McCarthy and Navigli 2007; Kremer et al. 2014; Ashihara et al. 2019) で実験を行う．いずれのタスクも所与の文脈における語義を考慮する必要があり,多義性を考慮した分散表現が重要となる。

## 4.1 比較手法

本実験では，各単語に対して1つあるいは複数の分散表現を生成する以下の手法を，提案手法である DMSE および ECWR と比較する.

## CBOW (Mikolov et al. 2013b)

CBOW のアルゴリズムを用いて各単語に 1 つの分散表現を生成する.

## SGNS (Mikolov et al. 2013a)

SGNS のアルゴリズムを用いて各単語に 1 つの分散表現を生成する.

## MSSG (Neelakantan et al. 2014)

文脈の類似度に基づくクラスタリングによって各単語に複数の分散表現を生成する。

## POS (Paetzold and Specia 2016)

各単語に品詞ごとの分散表現を生成する.

## TOPIC (Fadaee et al. 2017)

各単語にトピックごとの分散表現を生成する。

$C B O W$ および $S G N S$ は各単語に唯一の分散表現を生成するべースラインである．DMSEのバリエーションとして, Paetzold and Specia (2016) から着想を得て, 各単語と context-word $の$ 品詞も用いる DMSE+POS も実装し, 比較評価を行う。例えば, 単語 soft (adjective)の context-word が candy (noun)の場合, DMSE+POSでは soft_adjective_candy_nounの分散表現を生成する.

## 4.2 分散表現の学習

各モデルを学習するために, English Wikipedia ${ }^{7}$ の本文約 1 億文（累計約 22 億単語）を利用する.これらの文は, Stanford Parser (Manning, Surdeanu, Bauer, Finkel, Bethard, and McClosky 2014)によって形態素解析し, 各単語を原形にする。ここで, CBOW の学習時間を考慮して本実験では出現頻度 200 以下の低頻度語を $\langle u n k\rangle$ タグに置換し，112,087 語のみを利用する.

$D M S E$ モデルを訓練するために，さらにStanford Parser を用いて依存構造解析を行い，各単語の context-word を特定する。DMSEの事前学習および事後学習においては, CBOW (Mikolov et al. 2013b) のアルゴリズムを用いてエポック数 20 , 空幅 5 で 300 次元の分散表現を得る.

$E C W R$ も同様に前処理された English Wikipedia 上で我々が訓練する。また, 実験結果の再現性のため公開されている学習済みモデル8の性能も報告する，以降, 前者を ECWR (Wikipedia),後者を $E C W R(1 B W B)$ と表記する。両モデルとも，各層から得た 1,024 次元の分散表現を連結し, 3,072 次元の分散表現として利用する.

ベースラインモデルのうち， $C B O W$ および $P O S$ は English Wikipedia 上で我々が訓練する. これらはそれぞれ，DMSEおよび DMSE+POSの事前学習に対応する．SGNS，MSSGおよび TOPIC は Fadaee ら (2017)によって English Wikipedia 上で学習されたモデルを利用する。これらのベースラインモデルでは，いずれも 300 次元の分散表現を利用する.

## 5 文脈中での単語間の意味的類似度推定タスク

本実験では, Stanford Contextual Word Similarity (SCWS) のデータセット9 (Huang et al. 2012)を利用する。このデータセットでは，2つのターゲット単語（ターゲット単語対）とそれらの出現する文脈 (前後 50 単語) が与えられる. タスクは, 所与の文脈中でのターゲット単語間の意味的類似度を推定することである．SCWSデータセットは， Amazon Mechanical Turkを用いてアノテータを採用し，2,003 組のターゲット単語対のそれぞれに類似度を付与している。 アノテータは与えられた 2 つの文脈中のターゲット単語対が意味的にどの程度似ているかについて，0から 10 の 11 段階でスコアを付与する。各ターゲット単語対に対して 10 人がスコアを付与し，その平均値を単語間の意味的類似度とする。表 1 に意味的類似度推定タスクの一例を示す. この例では, 文脈 1 中のターゲット単語 credit と文脈 2 中のターゲット単語 money の類似度を推定する．特定の文脈において意味的に近い単語対や，逆に特定の文脈において意味的に遠い単語対が含まれるため, このタスクでは単語の多義性を考慮して類似度を推定する必要がある.
^{9}$ http://www-nlp.stanford.edu/〜 ehhuang/SCWS.zip
}
表 1 SCWS のデータセット中に含まれる例

文脈 1 ... and infrastructure . In 1955 the Soviet Union forwarded \$ 100 million in credit to Afghanistan, which financed public transportation, airports, a cement factory ,...

文脈 2 ... in payment of debts . Only congress has the authority to coin this money that should be used by the States. The states may no ...

類似度 8.3

与えられた文脈の一部を抜粋. ターゲット単語は bold 体で表示している.

人手で定義された類似度と，システムが推定した類似度は，スピアマンの順位相関係数を用いて評価する。スピアマンの順位相関係数 $r$ は以下の式で定義される (Zwillinger and Kokoska $2000)^{10}$.

$
\begin{aligned}
T_{x} & =\frac{n^{3}-n-\sum_{i=1}^{n_{x}}\left(s_{i}^{3}-s_{i}\right)}{12} \\
T_{y} & =\frac{n^{3}-n-\sum_{i=1}^{n_{y}}\left(t_{i}^{3}-t_{i}\right)}{12} \\
r & =\frac{T_{x}+T_{y}-\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}}{2 \sqrt{T_{x} T_{y}}}
\end{aligned}
$

ここで， $n$ はデー夕数, $x_{i}, y_{i}$ はそれぞれシステムが出力した $i$ 番目の単語対の類似度の順位と, 人手でつけられた $i$ 番目の単語対の類似度の順位である。また， $n_{x}$ および $n_{y}$ はシステムおよび人手の順位付けにおいて存在する同順位の種類数である． $s_{i}, t_{i}$ は同順位について，その順位が持つデータ数である。

## 5.1 意味的類似度の推定

## 5.1.1 DMSE における意味的類似度の推定

まず，ターゲット単語 $w_{t_{1}}$ および $w_{t_{2}}$ の context-word $c_{t_{1}} \in C_{t_{1}}$ および $c_{t_{2}} \in C_{t_{2}}$ を依存構造解析によって抽出する。次に，各ターゲット単語とその context-word から得られる文脈化された単語の分散表現の集合 $V_{t_{1}}$ および $V_{t_{2}}$ を得る。 そして, 以下の 3 つの方法で, 文脈中でのター ゲット単語間の意味的類似度を推定する。

$
\begin{aligned}
S_{\text {avg }} & =\frac{1}{\left|V_{t_{1}}\right|\left|V_{t_{2}}\right|} \sum_{v_{t_{1}} \in V_{t_{1}}, v_{t_{2}} \in V_{t_{2}}} \cos \left(v_{t_{1}}, v_{t_{2}}\right) \\
S_{\text {max }} & =\max _{v_{t_{1}} \in V_{t_{1}}, v_{t_{2}} \in V_{t_{2}}} \cos \left(v_{t_{1}}, v_{t_{2}}\right) \\
S_{\text {min }} & =\min _{v_{t_{1}} \in V_{t_{1}}, v_{t_{2}} \in V_{t_{2}}} \cos \left(v_{t_{1}}, v_{t_{2}}\right)
\end{aligned}
$

ただし，|$\cdot$|は集合の要素数を， $\cos (\cdot, \cdot)$ は 2 つべ゙クル間の余弦類似度を表す.ここで，各分散表現は正規化されたものを用いる.

$S_{\text {avg }}$ では，それぞれの文脈に出現する全ての context-word を等しく考慮して，所与の文脈中での単語間の意味的類似度を推定する， $S_{\max }$ および $S_{\min }$ では，それぞれの文脈に出現する context-word の重要度は異なると仮定し, 代表的な 1 組のみを考慮して, 所与の文脈中での単語間の意味的類似度を推定する。

ここで, context-word が存在しない場合および文脈化された単語が語彙に存在しない場合, 類似度を計算できない。これらの場合は, 事前学習した $C B O W, P O S$ の分散表現をターゲット単語の分散表現とする。またターゲット単語そのものが語彙に存在しない場合は $\langle u n k\rangle$ の分散表現を用いる。

## 5.1.2 ECWRにおける意味的類似度の推定

ターゲット単語を含む 1 文を入力として，文脈を考慮したターゲット単語の分散表現を獲得する。得られた分散表現間の余弦類似度を, 単語間の意味的類似度とする.

## 5.2 実験結果

表 2 に，モデルが推定した類似度と人手で定義された類似度のスピアマンの順位相関係数を示す. SGNS, MSSG, TOPICの 3 手法については, Fadaee et al. (2017) で報告されているスコアを引用した．表 2 の結果から，DMSE は比較手法と比べて有意に差があるとは言えないが， $E C W R$ はベースラインおよび先行研究の手法と比べて高い性能を示した. これは, 粒度の細か

表 2 SCWS データセットにおけるスピアマンの順位相関係

い分散表現を使用することにより, 各単語の語義をより正確に捉えることができたためである. $D M S E$ と $E C W R$ を比較すると， $E C W R$ がより高い性能を示している。これは, SCWS デー タセット中には escapologist やnutriment, exudation などの, 低頻度語がターゲット単語として出現するためである。本実験で DMSE は，学習デー夕中の頻度 200 回以下の単語を全て $\langle u n k\rangle$ タグに置換したため, 全ターゲットの内，2.8\%の単語はすべて同じ $\langle u n k\rangle$ の分散表現を用いた。一方，ECWRでは，ターゲット単語が語彙内に含まれていない場合でも，文脈情報のみから分散表現を生成できる。そのため，ECWRが高い性能を示したと考えられる。実際， $\langle u n k\rangle$ の分散表現を用いたデータを除いてスピアマンの順位相関係数を調べたところ，DMSE ではそれぞれの類似度推定手法で 0.01 から 0.02 のスコアの増加が見られ，低頻度語の影響が確認されている。よって，低頻度語が多く出現する場合には $D M S E$ よりも $E C W R$ を使用する方が，より正確な分散表現を生成できることがわかる.

## 6 語彙的換言タスク

本実験では，LS-SE および， LS-CIC ${ }^{11}$ (Roller and Erk 2016) および CEFR-LP の 3 つのデー タセットを利用する。これらのデータセットでは， ターゲット単語と文脈に加えて，言い換え候補群が与えられる，タスクは，所与の文脈を考慮しつつ，ターゲット単語との置換可能性の観点から言い換え候補群をランク付けすることである。そのため，このタスクも文脈中での単語の意味を考慮する必要がある.

## LS-SE (McCarthy and Navigli 2007)

SemEval-2007 の Lexical Substitution タスクで用いられたデータセット． 201 種類のター ゲット単語について，それぞれ 10 種類の文脈が与えられている。各ターゲット単語には，5人のアノテータが最大 3 種類ずつの言い換えを文脈を考慮して付与している.

## LS-CIC (Kremer et al. 2014)

Lexical Substitution のための大規模なデータセット. 15,629 語のターゲット単語について，6 人のアノテータが最大 5 種類ずつの言い換えを文脈を考慮して付与している.

## CEFR-LP (Ashihara et al. 2019)

類義語辞書に基づく言い換え候補群を用いる Lexical Substitution のデータセット．893

種類のターゲット単語を持ち, このうち 600 語は 60 種類のターゲット単語について，それぞれ 10 種類の文脈が付与されたものである。各言い換え候補について 4 人のアノテー タが言い換えの可否のスコアを 3 段階で付与している.

先行研究 (Melamud et al. 2015; Roller and Erk 2016; Fadaee et al. 2017) に従い, 各ターゲッ


ト単語に付与された全ての言い換えの和集合を言い換え候補群として用いる。そのため, これらの候補は少なくともある文脈においてはターゲット単語と意味的および構文的に十分に近い単語であり，モデルは文脈を用いてターゲット単語の語義を区別する必要がある.

人手で定義された言い換えランキングと, システムが推定した言い換えランキングは, Generalized Average Precision (GAP) (Kishida 2005; Thater, Saarlandes, Dinu, Saarlandes, Pinkal, and Saarlandes 2009) を用いて評価する。GAP は語彙的換言タスクで広く用いられる (Melamud et al. 2015; Roller and Erk 2016; Fadaee et al. 2017) 評価尺度であり, 式 (7),(8)のように正解事例の重みを考慮してランキングを評価できる.

$
\begin{aligned}
p_{i} & =\frac{\sum_{k=1}^{i} x_{k}}{i} \\
G A P & =\frac{\sum_{i=1}^{n} I\left(x_{i}\right) p_{i}}{\sum_{i=1}^{n} I\left(y_{i}\right) \overline{y_{i}}} \times 100
\end{aligned}
$

ここで， $x_{i}$ は $i$ 番目にランクされた言い換え候補のスコアを表し， $y_{i}$ は理想的なランキング（スコアの降順）をした時の $i$ 番目の言い換え候補のスコアを表す。 $n$ は言い換え候補数である。また, $I(x)$ は $x$ が 0 の場合は 0 を, 1 以上の場合は 1 を返す関数である. 本実験では, LS-SE およびLS-CIC においては各言い換え候補を付与したアノテータの人数を，CEFR-LPにおいては各アノテータによる言い換え可否のスコアの合計を，重みとして用いる.

## 6.1 言い換え候補のランキング

語彙的換言タスクでは文脈 $s$ を考慮してターゲット単語 $w_{t}$ と言い換え候補 $w_{p}$ の置換可能性を推定する。本実験では，ターゲット単語と言い換え候補の分散表現間の類似度が高いほど， その言い換え候補が高い置換可能性を持つと仮定する.

## 6.1.1DMSE における言い換え候補のランキング

まず，ターゲット単語 $w_{t}$ の context-word $c \in C_{t}$ を依存構造解析によって抽出する. 次に, これらを用いてターゲット単語 $w_{t}$ の分散表現の集合 $V_{t}$ を得る。続いて, ターゲット単語の各 context-word を用いて，言い換え候補 $w_{p}$ の分散表現の集合 $V_{p}$ を得る．そして，以下の 2 つの方法で, ターゲット単語の分散表現 $v_{t} \in V_{t}$ と言い換え候補の分散表現 $v_{p} \in V_{p}$ の間の類似度を計算し，言い換え候補群をランキングする。

## Cos

ベクトル間の余弦類似度 $\cos \left(v_{t}, v_{p}\right)$ を計算する.

## balAddCos (Melamud et al. 2015)

この類似尺度では，ターゲット単語と言い換え候補の類似度だけでなく, 言い換え候補と文脈の類似度も考慮し, $|s| \cos \left(v_{t}, v_{p}\right)+\sum_{w \in s} \cos \left(v_{p}, v_{w}\right)$ を計算する. ここで， $s$ はター

ゲット単語を含む一文を表す。

複数の context-word が存在する場合，最終的な置換可能性を推定する単純な方法は，5.1.1 節で説明した $S_{\mathrm{avg}}, S_{\max }$ および $S_{\min }$ を用いることである. しかし, 単語間の意味的類似度推定夕スクとは異なり，本タスクではターゲット単語と言い換え候補群の文脈が共通のため，共通の context-wordのみを考慮して，より正確に文脈を考慮できる，そこで本実験では， $S_{\mathrm{avg}} ， S_{\max }$ および $S_{\min }$ に加えて，共通の context-word のみを考慮する以下の $S_{\text {avgc }}, S_{\operatorname{maxc}}$ および $S_{\operatorname{minc}}$ によって，所与の文脈を考慮しつつ言い換え候補をランキングする。

$
\begin{aligned}
S_{\text {avgc }} & =\frac{1}{\left|C_{t}\right|} \sum_{c \in C_{t}} \operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right) \\
S_{\text {maxc }} & =\max _{c \in C_{t}} \operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right) \\
S_{\text {minc }} & =\min _{c \in C_{t}} \operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right)
\end{aligned}
$

ここで， $\operatorname{sim}(\cdot, \cdot)$ には Cos または balAddCos を用いる。これらの手法で推定された置換可能性のスコアを用いて，スコアの高い順に言い換え候補群をランキングする。5.1.1 節と同様に， context-word が存在しない場合は, 事前学習した $C B O W, P O S$ の分散表現をターゲット単語の分散表現とする。またターゲット単語そのものが語彙に存在しない場合は $\langle u n k\rangle$ の分散表現を用いる。

## 6.1.2DMSE のオラクル性能

DMSEでは context-word の選択における性能が全体の性能に影響する。そこで context-word を理想的に選択できたときのオラクル性能も報告する。オラクル選択 $S_{\text {oracle }}$ では， ターゲット単語と言い換え候補が同一の context-word によって意味を決定づけられると仮定し，まず全ての context-word について言い換え候補のランキングを作成する。その中から，最もGAP スコアが高くなる context-word を採用し，そのランキングを用いる.

$
S_{\text {oracle }}=\operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right), \quad c=\underset{c \in C_{t}}{\operatorname{argmax}} \mathrm{GAP}
$

ただし, $c$ によって与えられる文脈化された単語が語彙に存在しない場合, 事前学習した単語の分散表現を用いて単語間の余弦類似度を計算する。

## 6.1.3ECWRにおける言い換え候補のランキング

ターゲット単語を含む 1 文を入力として，文脈を考慮したターゲット単語の分散表現を獲得する。各言い換え候補については，ターゲット単語を含む 1 文において，ターゲット単語と言い換え候補を置換して ECWRに入力する．得られた分散表現間の余弦類似度を，ターゲット単語と言い換え候補の置換可能性スコアとし，スコアの降順に言い換え候補をランク付けする。

## 6.2 実験結果

表 3 に，LS-SE, LS-CIC, CEFR-LP の各データセットにおける GAP スコアを示す. だたし， NA は参考文献中 (Fadaee et al. 2017) で行われていない実験設定のため, 数値を記載できなかった部分である。DMSEについては，類似尺度として $S_{\text {oracle }}$ を除いた中で最も高い精度を示した $S_{\max }$ のみを記載する。他の類似尺度については次節で議論する．LS-SEにおいて最も高い性能を示した類似度尺度 $\operatorname{Cos}$ の時の DMSE ( $S_{\operatorname{maxc}}$ ) は，SGNSより 8.3 ポイント，MSSGより 8.1 ポイント，TOPICより 6.4 ポイント， $C B O W$ より 7.5 ポイント， $P O S$ より 6.3 ポイント，それぞれ高い GAP スコアを達成した。また，LS-CIC において最も高い性能を示した類似度尺度 Cos の時の ECWR (Wikipedia)は, SGNSより 12.0 ポイント, $M S S G$ より 10.3 ポイント, TOPIC より 7.2 ポイント， $C B O W$ より 3.7 ポイント，POSより 2.7 ポイント，それぞれ高い GAP スコアを達成した. CEFR-LP においては, 類似度尺度 balAddCos の時の ECWR (Wikipedia)が $C B O W$ より 5.8 ポイント, $P O S$ より 6.0 ポイント，それぞれ高い GAP スコアを示した. これらの結果から，文脈を考慮してより細かい粒度で語義の分散表現を生成する提案手法が，トピックや品詞を用いて語義を区別する既存手法に比べて，効果的に語義を捉えられることを確認できた.

LS-SE では DMSE が最も高い性能を示した一方で，LS-CIC および CEFR-LPでは ECWRが最も高い性能を示した. これは，各データセットの 1 文を構成する平均単語数が影響を与えたと考えられる。図 4 に示すのは，1文を構成する単語数ごとの GAP スコアである．1 文を構成する単語数が 30 単語までは $E C W R$ が高い性能を示している一方, 31 単語からは $D M S E$ が高い性能を示している。ECWRでは，1文の全ての情報を考慮した分散表現を生成するため，1文が長ければ多くの情報が混在してしまう。そのため， 1 文を構成する単語数が増加すると性能が向上せず頭打ちとなる。一方，DMSEではターゲット単語と依存関係にある context-word の

表 3 LS-SE，LS-CIC，CEFR-LP データセットにおける GAP スコア

図 41 文を構成する単語数ごとの GAP スコア

みを考慮する，そのため，長文になると利用できる context-word 候補が増える傾向となり，より信頼できる context-word を選択することで性能が向上すると考えられる。そのため， 1 文あたりの単語数が多いほど DMSEが $E C W R$ よりも高い性能を示すと考えられる。実際, LS-SE, LS-CIC, CEFR-LP はそれぞれ 1 文あたり平均 27.2 単語, 23.3 単語, 21.2 で構成されており, 1 文あたりの平均単語数が多いデータセットでは DMSEが $E C W R$ の性能を上回っている.

## 7 DMSEの分析

## 7.1 語彙的換言タスクにおける意味的類似度推定手法の比較

表 4 に，語彙的換言タスクにおける DMSEのＧAP スコアを示す。類似尺度として文脈を考慮する balAddCosを用いた場合，DMSEにおいては単純な Cosよりも性能が悪化する傾向が見られた，balAddCosは，文脈を考慮しない分散表現のために提案された手法であり，言い換え候補と文脈に現れる単語の分散表現を用いて類似度計算を行う。DMSEでは文脈化された単語の分散表現を使用しているため，balAddCos を利用すると文脈を 2 重で考慮したことになり，精度が改善しなかったと考えられる。

また, 複数の context-word を利用できるとき, $S_{\text {maxc }}$ が最も高い性能を示す傾向にある. この結果から, 同一の context-wordによって与えられる分散表現を用いることで, 全ての context-word を考慮するよりも高精度に単語間の置換可能性を推定できると言える． $S_{\text {avgc }}$ の性能が $S_{\operatorname{maxc}}$ に及ばないのは，各分散表現の影響が平均することによって軽視されるためと考えられる，ター ゲット単語の語義をピンポイントで表現できる context-word が存在したとしても, 平均することによってその影響が薄れてしまう。また， $S_{\text {minc }}$ では類似度の下限値を基準にランク付けする。 $S_{\max }$ であれば，その文中での意味を表していない context-word は類似度が低くても無視
表 4 各データセット中での DMSE の GAP スコア

されるが， $S_{\mathrm{minc}}$ ではその影響を受けるため，性能が低下したと考えられる。

$S_{\text {oracle }}$ では類似尺度を $\operatorname{Cos}$ とした時の $D M S E\left(S_{\text {oracle }}\right)$ が最も高い性能を示した, また, 同じく類似度尺度 $\operatorname{Cos}$ の $S_{\mathrm{avg}}, S_{\mathrm{max}}, S_{\mathrm{min}}$ および $S_{\mathrm{avgc}}, S_{\mathrm{max}}, S_{\mathrm{minc}}$ が出力した最も高いスコアと比較して, LS-SE では 6.2 ポイント, LS-CIC では 3.7 ポイント, CEFR-LP では 4.1 ポイン卜高い性能を示している。さらにこれらは，表 3 における類似尺度 Cos を用いた際の $E C W R$ (Wikipedia)の性能よりも LS-SE で 7.8 ポイント, LS-CICで 3.1 ポイント, CEFR-LPで 0.6 ポイント高い.ここから，複数ある中から正しい context-word を特定することができた場合, $D M S E$ はさらに精度向上することが見込まれる。

## 7.2 実際の出力例

表 5 に語彙的換言タスクにおいて, context-word を用いて多義語 hard の語義を捉えることに成功した例を示す。最も多くのアノテータによって付与された言い換え候補を最上位にランク付けできている.

図 5 は，表 5 における単語や語義の分散表現を主成分分析を用いて，実際の分散表現の第一主成分ベクトルを横軸に，第二主成分ベクトルを縦軸に可視化したものである．第二主成分までの寄与率は 0.53 である。丸は文脈を考慮しない単語の分散表現，三角は DMSEによる分散表現を表す。この図から，hard_listen（言い換え元の単語）および carefully_listen（正解の言い換え単語）が事前学習された単語分散表現から離れ，お互いに近づいていることが分かる.実際の分散表現間の余弦類似度を測ったところ, hard と carefully 間は 0.125, hard_listen と
表 5 語彙的換言タスクにおける出力例

入力 ... you are carrying on two conversations at once and you are required to listen hard.

出力 carefully (4), intensively (0), closely(1), intently(1), seriously (0), ..

入力 One event in particular hits the platoon hard : the death of its platoon leader, ...

出力 badly (3), heavily (0), strongly (0), severely (1), firmly (0), ..

ターゲット単語は bold 体で，context-word は italic 体で表示している。出力は言い換え候補群のランキング，括弧内の数値は各候補の重みを表す.

図 5 分散表現の可視化

carefully_listen 間は 0.421 であり, 大きく向上している. 同様に, hard_hit および badly_hit の分散表現も事後学習によって近づいていることが分かる。 実際, hard と badly 間の類似度は 0.159, hard_hit と badly_hit 間の類似度は 0.547 であった. また, hard_listen と hard_hit は大きく離れており，DMSEによって期待通り語義ごとに分散表現を学習できていることが分かる. 同じ hard という形で文脈中に出現する単語でも， context-wordによって異なる場所に配置できている．実際，hard_listen とhard_hit 間の類似度は 0.558 であり，元々一つの分散表現（余弦類似度 1.0）から余弦類似度が低下するよう分離できている。

## 8 まとめ

本研究では，文脈中の単語を手がかりとして，細かい粒度で各単語に複数の分散表現を生成する 2 つの手法について述べた。DMSEは，文脈中の依存関係にある単語を手がかりとして語義を区別する分散表現を生成する。また双方向言語モデルである $E C W R$ を利用することで，文脈中の全ての単語を考慮した単語分散表現を獲得する。単語間の意味的類似度推定夕スクおよび語彙的換言タスクにおける評価実験の結果，品詞やトピックを用いて語義を区別する先行研究と比較して, より細かい粒度で語義を区別できる提案手法の有効性を示した.

## 謝 辞

本研究は公益財団法人 KDDI 財団による助成を受けたものである。また，貴重なコメントや議論をいただいた九州大学大学院言語文化研究院の Christopher G. Haswell 准教授に感謝の意を表す.

## 参考文献

Ashihara, K., Kajiwara, T., Arase, Y., and Uchida, S. (2018). "Contextualized Word Representations for Multi-Sense Embedding." In Proceedings of the Pacific Asia Conference on Language, Information and Computation, pp. 28-36.

Ashihara, K., Kajiwara, T., Arase, Y., and Uchida, S. (2019). "Contextualized context2vec." In Proceedings of the Workshop on Noisy User-generated Text.

Athiwaratkun, B. and Wilson, A. G. (2017). "Multimodal Word Distributions." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 1645-1656.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." In Proceedings of the Transactions of the Association for Computational Linguistics, pp. 135-146.

Fadaee, M., Bisazza, A., and Monz, C. (2017). "Learning Topic-Sensitive Word Representations." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 441-447.

Huang, E. H., Socher, R., Manning, C. D., and Ng, A. Y. (2012). "Improving Word Representations via Global Context and Multiple Word Prototypes." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 873-882.

Kishida, K. (2005). "Property of Average Precision and its Generalization: An Examination of Evaluation Indicator for Information Retrieval Experiments." National Institute of Informatics Technical Reports, pp. 1-19.

Kremer, G., Erk, K., Padó, S., and Thater, S. (2014). "What Substitutes Tell Us - Analysis of an "All-Words" Lexical Substitution Corpus." In Proceedings of the Conference of the European Chapter of the Association for Computational Linguistics, pp. 540-549.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 302-308.

Li, J. and Jurafsky, D. (2015). "Do Multi-Sense Embeddings Improve Natural Language Understanding?" In Proceedings of the Conference on Empirical Methods in Natural Language

Processing, pp. 1722-1732.

Manning, C., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S., and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 55-60.

McCarthy, D. and Navigli, R. (2007). "SemEval-2007 Task 10: English Lexical Substitution Task." In Proceedings of the International Workshop on Semantic Evaluations, pp. 48-53.

Melamud, O., Goldberger, J., and Dagan, I. (2016). "context2vec: Learning Generic Context Embedding with Bidirectional LSTM." In Proceedings of the SIGNLL Conference on Computational Natural Language Learning, pp. 51-61.

Melamud, O., Levy, O., and Dagan, I. (2015). "A Simple Word Embedding Model for Lexical Substitution." In Proceedings of the Workshop on Vector Space Modeling for Natural Language Processing, pp. 1-7.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of the Conference on Neural Information Processing Systems, pp. 3111-3119.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013b). "Efficient Estimation of Word Representations in Vector Space." In Proceeding of the International Conference on Learning Representations, pp. 1-12.

Mikolov, T. and Com, T. G. (2014). "Distributed Representations of Sentences and Documents." In Proceedings of the International Conference on Machine Learning, pp. 1188-1196.

Neelakantan, A., Shankar, J., Passos, A., and McCallum, A. (2014). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1059-1069.

Paetzold, G. H. and Specia, L. (2016). "Unsupervised Lexical Simplification for Non-Native Speakers." In Proceedings of the Association for the Advancement of Artificial Intelligence, pp. 3761-3767.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 2227-2237.

Pilehvar, M. T. and Camacho-collados, J. (2019). "WiC: The Word-in-Context Dataset for

Evaluating Context-Sensitive Meaning Representations." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 1267-1273.

Roller, S. and Erk, K. (2016). "PIC a Different Word: A Simple Model for Lexical Substitution in Context." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 1121-1126.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the Conference on Neural Information Processing Systems, pp. 1-9.

Thater, S., Saarlandes, U., Dinu, G., Saarlandes, U., Pinkal, M., and Saarlandes, U. (2009). "Ranking Paraphrases in Context." In Proceedings of the Workshop on Applied Textual Inference, pp. 44-47.

Zwillinger, D. and Kokoska, S. (2000). CRC Standard Probability and Statistics Tables and Formulae. Chapman and Hall.

## 略歴

芦原和樹：2018 年大阪大学工学部電子情報工学科卒業. 同年, 同大学大学院情報科学研究科博士前期課程に進学.

梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了。博士 (工学)．同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)。同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る。言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ。

内田諭：2005 年東京外国語大学外国語学部欧米第一課程英語専攻卒業. 2007 年東京大学大学院総合文化研究科言語情報科学専攻修士課程修了. 2013 年に同大学院にて博士号 (学術) を取得. 東京外国語大学特任講師を経て, 2014 年より九州大学大学院言語文化研究院准教授. 認知意味論, コーパス言語学,
英語教育学などの研究に従事. 日本認知言語学会, 英語コーパス学会, 大学英語教育学会, 言語処理学会等会員.

(2019 年 4 月 30 日受付)

(2019 年 7 月 30 日再受付)

(2019 年 9 月 6 日採録)