単語属性変換による自然言語推論データの拡張
石橋 陽一 1
須藤 克仁 1,2
中村 哲 1
1 奈良先端科学技術大学院大学
2 科学技術振興機構さきがけ{ishibashi.yoichi.ir3, sudoh, s-nakamura}@is.naist.jp

1

はじめに右されにくく頑健になると考えられる。

自然言語推論は前提文と仮説文が与えられ、それ特定の単語の変換を行う手法として鏡映変換による単語属性変換 [5] がある。この手法は次の 2 つのらの間にどのような関係が成立するかを予測する

特徴： (1) 変換対象の属性（例：性別）を持つ単語タスクである。これまでいくつかのタスクとデータを変換し (2) 変換対象の属性を持たない単語は変換セットが公開されており、例えばその中で代表的なしない という特徴を持つ。鏡映変換に基づく単語ものとして Stanford Natural Language Inference corpus(SNLI) [1] がある。SNLI は前提文と仮説文の間に成属性変換を文中の全ての単語に鏡映変換を適用したり立つ関係として「含意」「矛盾」そしてそのどち同じであるような文を作り出すことができる。これ場合、文中の一部の単語が変化しそれ以外は元文とらとも判別できない例に対して「中立」の 3 種類のにより元文の表層的な情報をある程度維持したままラベルが付与されているコーパスである。SNLI の意味を変えたデータを生成することが可能となる。

データ数は 550k ペアと、自然言語推論の他のコー

そこで本研究では SNLI のデータ拡張に鏡映変換をパス（MultiNLI [2]:433k・SciTail [3]:27k）よりも比較適用し、その効果を検証する。

的多いが、現在主流のニューラルネットワークに基づく手法を利用するにあたっては、その性能を向上

関連研究2させるためにより多くのデータで学習することが望

SNLI のデータ拡張は Kang [6] らが提案している。

ましい。そこで本研究では自然言語推論のデータ拡

SNLI のデータはクラウドワーカーにアノテーショ張に取り組む。

ンされているためその語彙が限られており文の多様自然言語推論のデータは語の多様性が少ないため性が低い。そのためモデルがある種のパターンに過文の表層的な情報に過学習してしまう問題点があることが指摘されている [4]。この問題の解決のた学習することが指摘されている [4]。例えば、前提めには、表層的な情報への過学習を回避するような説文 “ The dog ate all of the chickens.” が与えられたとデータが必要である。そこで本研究では SNLI 文中

き、正しいラベルは「矛盾」であるにもかかわらず、の特定の単語に対して、その意味を反転した単語に既存のモデルは「含意」と誤分類した例が報告され置換することで、表層的な情報をできる限り維持している。この問題に対して Kang らはルールテンプ

たまま意味類似性が低い文を生成する手法を提案する。例えば、前提文 "The boy is eating a fruits." と、含レートを介して大規模な語彙を文に組み込みデータを拡張することで SNLI と SciTail の精度を向上させ意となる文 "The boy is eating an apple." が仮説文とした。本研究では別のアプローチとして単語の変換にて与えられているとき、仮説文に対して性別を変換基づく方法を提案する。

する単語変換を適用し、"The girl is eating an apple."を生成する。このようなデータ拡張は元の仮説文の文法やスタイル等の表層的な部分は変化させずに、意味を矛盾の方向に変化させることができる。したがって本研究のデータ拡張で生成した仮説文をモデルが学習する場合、表層的な情報だけでなく一部の文 “The dog did not eat all of the chickens.” に対して仮3

手法

3.1

単語属性変換本研究では文のデータ拡張として、文中の特定の単語の意味の違いに注目する必要があるため、拡張単語を変換する鏡映変換に基づく単語属性変換 [5]を用いる。鏡映変換に基づく単語属性変換は、変換データで学習したモデルの性能が表層的な情報に左対象の属性を持つ単語を変換し、変換対象の属性を持たない単語は変換しないという性質を持つ。例

によって変換対象の属性ごとに鏡のパラメタである

えば性別の属性変換 fgender によって “man” のベク

a と c を推定することで鏡を学習する:

トル vman を “woman” のベクトル vwoman に変換する。一方で、性別に対して不変であるような単語、例えば “person” のベクトルが与えられた場合は変換せず入力ベクトルと同じ v per son を出力する。これ

a=

MLP([z; vx ]),(2)

c=MLP([z; vx ])(3)

ここで [·; ·] はベクトルの列方向の連結を表す。そしらの２つの性質によって文中の特定の単語（例：性て入力単語ベクトル vx の属性を反転させたベクト別に関する単語）のみ変換し、それ以外の単語は変ルを鏡映変換し vy を得る:
vy = Ref a,c (vx )換せずにノイズの少ないデータを自動で生成可能となる。ここで単語ベクトルのアナロジーでも変換可能のように思えるが、その場合は変換対象の単語（例：性別単語）に関して事前知識を用意する必要がある。例えばアナロジーで男性を表す単語を女性に変換する場合、男性のベクトルから差ベクトルd = vwoman − vman を引くことで女性に変換し、逆に女性から男性への変換の場合 d を足すことで変換する。したがってアナロジーで単語を変換する場合は入力単語ベクトル vx が男性もしくは女性のどちらに属すかという事前知識が必要となるが、鏡映変換は事前知識を用いないための条件（単語ベクトル空間中の 2 点を同じ写像で反転可能）を満たす写像であるため、そのような事前知識を用ることなくデータ拡張に適用できる。

3.2

(4)

そして予測されたベクトル vy が目的の単語ベクトルとなるように平均二乗誤差で最適化する。

3.3

データ拡張

鏡映変換に基づく単語属性変換を利用してデータ拡張を行う。最初に単語属性変換モデルを学習し、その後 SNLI のデータに適用しデータを拡張する。
本研究では SNLI データの仮説文のうち含意ラベルが付与されている文に単語属性変換を適用し、文の意味が前提文と矛盾するように単語の意味を反転させることで矛盾ラベルを付与した新たな文を生成する。単語を変換する場合、変換対象外の単語が変換されてしまうことが起きうるが、鏡映変換に基づく
単語属性変換では、鏡映写像の特性によって変換対象外の単語が入力された場合はほぼ変換されないた

鏡映変換

め、この問題をある程度回避する事ができる。また
これにより、一部の単語のみが変換されることで、

queen
woman

kingman

文の表層的な情報をほとんど変えずに矛盾する文をRef a,c (v)Mirrora生成できる。そこで本研究では含意ラベルが付与された仮説文の全ての単語を鏡映によって変換する。

c

なお、単語属性変換によって拡張するデータは訓練

Vector

データのみとし、評価データは拡張を行わない。また、鏡映変換によって変化しなかった文は新たな図1データとして追加しない。

鏡映変換に基づく単語属性変換

鏡映変換は鏡と呼ばれる超平面によって 2 つのベクトルの位置を反転させる写像である。標準内積が与えられた n 次元実ユークリッド空間 Rn における鏡映変換は(v − c) · aa
Ref a,c (v) = v − 2a·a4

実験4.1

単語属性変換の学習と SNLI データの拡張

まずは単語属性変換の学習を行った。[5] の単語(1)と定義される。ここで a · a は内積を表す。また a お

属性変換の学習データと評価用データを結合し、学習データとして用いた。変換対象は性別と反意語とし、それら 2 つの単語データを結合し学習データとよび c はそれぞれ鏡（超平面）を決定するパラメタした。事前学習済み単語埋め込みには GloVe [7] をであり、a は鏡に直交するベクトル、c は鏡が通る使用した。単語ベクトルの次元数は 300 次元、5 層の MLP の隠れ層次元数は 300 次元で鏡映変換の学Rn 上の点である（図 1）。
本研究では全結合の多層パーセプトロン（MLP）習を行った。最適化には Adam を使用し学習率の設

定は以前の研究で最高精度のモデルの設定を使用

RNN には 300 次元の LSTM を用い、バッチサイズした。

は 128 で学習を行った。実験の結果を表 3 に示す。
実験の結果、データ拡張の実施前後でモデルの性単語属性変換の学習用データセット能は大きく向上しなかった。この原因としてラベル変換属性データ数

性別単語202る。本研究では矛盾ラベルは大きく増加しているが反意語

6286

含意や中立のラベルは増えていないため、SNLI モデルが矛盾ラベルに過学習し、分類結果が偏るケーの偏りによってモデルが過学習したことが挙げられきている。表 4 に生成されたデータの一例を示す。
鏡映変換によって変換対象の特定の単語のみ変換されており、元の仮説文の表層的な類似性を維持したまま意味を矛盾に変えることができている。例えば、性別の鏡映変換によって “An actor is performing
in an outdoor park dressed up.” の “actor” を “actress” に変えているが、それ以外の単語は鏡映変換を適用しても変化していない。このため、文の品質を損なうような単語が混在した文を生成することなくノイズの少ないデータを多く生成できたと考えられる。

かった。したがって、ラベルの偏りにモデルが過学習した結果、精度が向上しなかったと思われる。解
決策として含意ラベルを付与した文を増加させる方法を検討中である。
(a)#Train

#Val

#Test

#Total

拡張前

550,152

10,00010,000570,152+ 性別変換640,310

10,00010,000660,310+ 反意語変換

699,272

10,00010,000719,272+ 性別 + 反意語 789,430

10,00010,000809,430

単語属性変換で拡張したデータで学習したモデルのスコア

Dataset2829

Test Accuracy

拡張前

0.797

+ 性別変換0.794+ 反意語変換

0.798+ 性別 + 反意語

0.79235020002792642

316459405

2355
neutral(c)-240-98

1500
1000
500

4366

14089100
50050-7

entailment contradiction

114
neutralPredicted label

150
200
250

150-20876

1-64

124

71-69

1356

100
50
050
100

entailment contradiction

150
200

neutral(d)150100-107(b)

2500

189

entailment contradiction

データ拡張の結果

Dataset

表3れたケースが 128 から 303 件増加していることがわ

True label

表2か確認した（図 2）。その結果、矛盾と中立に分類さneutral contradiction entailment

して最大で 24 万件データを生成・追加することがで成しラベルの偏りによって分類結果が異なっている

neutral contradiction entailment

数と拡張前のデータ数の比較である。拡張前と比較スが増加したと考えられる。そこで、混同行列を作True label

適用しデータを拡張した。表 2 は追加されたデータ

neutral contradiction entailment

次に、学習した単語属性変換を SNLI のデータに

neutral contradiction entailment

表1250150-2615575-7418520-95633210050050100

entailment contradiction

neutralPredicted label

150200250

図 2 混同行列の可視化。(a)：データ拡張なし (b)：データ拡張（性別） (c)：データ拡張（反意語） (d)：データ拡張（性別＋反意語）(b)-(d) は (a) からの差分（増減数）を元に混同行列を作成している。

5

まとめと今後の課題
本研究では自然言語推論のデータ拡張のために文SNLI モデルの学習とデータ拡張による精度の変化の表層的な情報をできる限り変化させず意味を変化

データ拡張を行っていないオリジナルのデータ

文の表層的な類似性を保ち意味を変換するため文中と、単語属性変換による拡張を行ったデータでそれの特定単語のみを変換する単語属性変換を適用しそぞれ SNLI のモデルを学習した。本研究では前提文の効果を検証した。実験の結果、鏡映変換に基づくと仮説文それぞれを別の RNN でエンコードし結合したベクトルを MLP に入力し分類するモデル [1] を手法は文中の特定の単語のみを変換させ、ノイズの少ないデータを多く生成することができた。実験で用いた。モデルの設定はすべての実験で同一とし、は SNLI モデルを学習しデータ拡張による性能を比4.2させたデータを追加するデータ拡張に取り組んだ。

表4

生成されたデータの例。ラベルは元の仮説文に対しては含意、生成された仮説文に対しては矛盾を付与している。

変換属性

前提文

元の仮説文（含意）

生成された仮説文（矛盾）The woman is wearing green.

The man is wearing green.

An actor dressed as a pirate performs

An actor is performing inAn actress is performing inin an outdoor park.

an outdoor park dressed up.

an outdoor park dressed up.

She plays in a band.

He plays in a band.

The mountain is cold.

The valley is warm.

A woman has a white skirt.

A woman has a dark skirt.

A woman in a green jacket and hood

性別

over her head looking towards a valley.

性別

A woman in costume is marching with性別a large drum.
Two people climbing up a snowy
mountain.

反意語

A woman wearing a blue skirt, high heels,
反意語

a white shirt, green jacket and headband
is walking out of a tunnel.
One boy in a striped shirt and one girl

反意語

in a green shirt each riding on bicycles

Two kids are outside on their bikes . Two kids are inside on their bikes.

with training wheels .

較したが、データ拡張によって特定のラベルが増加し過学習が起きた結果、モデルの性能に顕著な差は見られなかった。今後はラベルスムージングや前提[4]

文にもデータ拡張を適用し含意ラベルを増やすことでラベルの偏りを調整することを検討している。

謝辞

[5]

本研究は JST さきがけ (JPMJPR1856) の支援を受けたものである.

参考文献[1] Samuel R. Bowman, Gabor Angeli, Christopher Potts, andChristopher D. Manning. A large annotated corpus for learning natural language inference. In Lluís Màrquez, Chris
Callison-Burch, Jian Su, Daniele Pighin, and Yuval Marton,editors, Proceedings of the 2015 Conference on EmpiricalMethods in Natural Language Processing, EMNLP 2015,
Lisbon, Portugal, September 17-21, 2015, pp. 632–642. The
Association for Computational Linguistics, 2015.
[2] Adina Williams, Nikita Nangia, and Samuel R. Bowman.
A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Marilyn A. Walker, Heng Ji,and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA,
June 1-6, 2018, Volume 1 (Long Papers), pp. 1112–1122.
Association for Computational Linguistics, 2018.
[3] Tushar Khot, Ashish Sabharwal, and Peter Clark. SciTaiL:A Textual Entailment Dataset from Science Question Answering. In Sheila A. McIlraith and Kilian Q. Weinberger,editors, Proceedings of the Thirty-Second AAAI Conferenceon Artificial Intelligence, (AAAI-18), the 30th innovative
Applications of Artificial Intelligence (IAAI-18), and the8th AAAI Symposium on Educational Advances in Artifi-[6][7]cial Intelligence (EAAI-18), New Orleans, Louisiana, USA,February 2-7, 2018, pp. 5189–5197. AAAI Press, 2018.
Guanhua Zhang, Bing Bai, Junqi Zhang, Kun Bai, ConghuiZhu, and Tiejun Zhao. Mitigating Annotation Artifacts
in Natural Language Inference Datasets to Improve Crossdataset Generalization Ability. CoRR, Vol. abs/1909.04242,, 2019.
Yoichi Ishibashi, Katsuhito Sudoh, Koichiro Yoshino, andSatoshi Nakamura. Reflection-based Word Attribute Transfer. In Shruti Rijhwani, Jiangming Liu, Yizhong Wang,and Rotem Dror, editors, Proceedings of the 58th Annual
Meeting of the Association for Computational Linguistics:
Student Research Workshop, ACL 2020, Online, July 5-10,
2020, pp. 51–58. Association for Computational Linguistics, 2020.
Dongyeop Kang, Tushar Khot, Ashish Sabharwal, and Eduard H. Hovy. AdvEntuRe: Adversarial Training for Textual
Entailment with Knowledge-Guided Examples. In Iryna
Gurevych and Yusuke Miyao, editors, Proceedings of the56th Annual Meeting of the Association for ComputationalLinguistics, ACL 2018, Melbourne, Australia, July 15-20,
2018, Volume 1: Long Papers, pp. 2418–2428. Associationfor Computational Linguistics, 2018.
Jeﬀrey Pennington, Richard Socher, and Christopher D.
Manning. Glove: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on EmpiricalMethods in Natural Language Processing, EMNLP 2014,October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT,a Special Interest Group of the ACL, pp. 1532–1543, 2014.