言語処理学会 第26回年次大会 発表論文集 (2020年3月)

鏡映変換に基づく埋め込み空間上の単語属性変換
石橋 陽一

須藤 克仁

吉野 幸一郎中村 哲

奈良先端科学技術大学院大学{ishibashi.yoichi.ir3, sudoh, koichiro, s-nakamura}@is.naist.jp

1

はじめに

x

word2vec[3] や GloVe[5] などの単語埋め込みで得られ−−→ −→ −−−−−→ −−−→たベクトルは king − −man+ woman ≈ queen のような加法構成性を持つことが知られている．この演算 (アナロジー) を用いて king から queen に，また queen から king に変換することができる．このような単語の属性変換は言語データの拡張や埋め込み空間上の推論などに応用できる．例えばデータ拡張への応用では，
He is a boy. の各単語の性別属性を変換し She is agirl. という新たな文を作ることができる．そこで我々は埋め込み空間上で分散表現の持つ属性を制御して変換する新たな表現学習に取り組んだ．アナロジーによる変換は入力単語が男性か女性かどうかで演算（ベクトルを足すか引くか）が変わるため，入力単語の属性に関する知識が必要となるが，そのような知識は無数にあるため全ての単語に付与することはできない．そこで，そのような知識を使用しない変換を考えると，入力単語が男性であっても女性であっても同一の変換関数で入力単語の性別を反転できるような関数が理想的である．そこで本研究では，そのような理想的な性質を持った写像である鏡映変換を導入することで，埋め込み空間上で単語ベクトルの属性を反転させる汎用的な手法を提案する．

2

埋め込み空間上の単語属性変換

本稿では単語を x, その単語の分散表現を vx と表記する．なお，この分散表現は Skip-gram[3] などで事前に学習されているとする．本研究で扱うタスクでは入力として単語 x と，変化させたい属性の one-hot ベク
トル z，そして x の属性を反転した単語 t が与えられる．またこれらをまとめた集合を (x, t, z) ∈ A とする（例 (man, woman, zgender ) ∈ A）．本タスクでは(x, t, z) ∈ A が与えられたとき，属性 z について反転させる変換関数 fz に x の分散表現 vx を入力し，出力 vy が目的語の分散表現 vt になるようにする:

vt ≈ vy = fz (vx ).

(1)

単語属性変換においては次の性質: (1) 属性 z を持つ単語はその属性を反転し (2) 属性 z を持たない単語は変換しない を満たす必要がある．例えばz
Invert genderfatherInvert singular/pluralt
motherfathers

図 1: 単語属性変換タスク
属性語 (man, woman, zgender ) ∈ A が与えられた場合，性別の属性変換 fzgender によって vman をvwoman に変換し，属性 zgender を持たない非属性語(apple, zgender ) ∈ N が与えられた場合は変換せずvapple を出力する．

3

アナロジーに基づく属性変換

自己相互情報量 (PMI) に基づく単語埋め込みは式 2のような加法構成性を獲得することが明らかになっている [1]:vqueen≈ vking − vman + vwoman ,(2)≈ vking − (vman − vwoman ).

(3)

式 3より，vking から差分ベクトル vman − vwoman を引くことで vqueen に変換できる事がわかる．このように，性別属性を持つ単語ペアの差分ベクトルによって入力単語の性別を変換できる．性別属性以外について議論するために，性別のような二値属性 z を持つ単語の中で，片方の属性（男性）を持つ単語の集合を M,もう片方の属性（女性）を持つ単語の集合を F ，そして m ∈ M と w ∈ F の差分ベクトルを d = vm − vwとすると，アナロジーに基づく単語属性の変換関数は{vx − dif x ∈ M(4)fz (vx ) =vx + dif x ∈ Fとなる．式 4より，入力単語 x が M に属すか F に属すかによって演算が変わることがわかる．例えば性別属性の場合，x が男性であれば差分ベクトル d を引き，女性であれば d を加える．これはつまり，アナロジーに基づく変換には入力単語 x の属性に関する知識が必要であることを示している．

4

鏡映変換に基づく属性変換

そこで属性知識を用いない理想的な変換を考える．属
性知識を用いず単語の属性を変換する理想的な変換関― 1320 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

数 ϕz は∀m ∈ M,

vm = ϕz (vw ),(5)∀w ∈ F ,vw = ϕz (vm ),(6)のような性質を持つことが望ましい．つまり変換関数
ϕz は入力単語 m または w が M に属すか F に属すか考慮することなく，同じ写像によって変換を行う．式5, 6をまとめると，∀m ∈ M,

vm = ϕz ( ϕz (vm ) ),(7)∀w ∈ F ,vw = ϕz ( ϕz (vw ) ),(8)となる．したがって理想的な写像 fz とは二回適用すると恒等写像となるような変換である．このような写像は対合と呼ばれている (例 ϕ : v 7→ −v) ．

4.1

鏡映変換

鏡映変換は対合の一種であり，鏡と呼ばれる超平面によって 2 つのベクトルの位置を相互に反転させる．したがって同一の鏡による鏡映変換（Ref a,c ）を二回繰り返すと恒等写像となる:∀v ∈ Rn ,そして入力単語ベクトル vx の属性を反転させたベク
トルを鏡映変換し vy を得る:

vy = Ref a,c (vx ).

4.3

(13)

Parameterized Mirrors
sistermotherqueen

Ref a,c (v)woman

brotherfatherkingMirrors

manactress
heroine

actor
hero

図 3: Parameterized Mirror を用いた鏡映変換
式 11，12によって鏡を推定する場合，図 3の actor actress のような線形分離不可能な単語を正しく変換できない．これは属性 z から a および c を推定しているため鏡が一つに固定されてしまうことが原因である．この問題を解決するため，属性 z に加えて入力単語ベクトル vx も a および c の推定に用いる:(9)

a=MLP([z; vx ]),(14)

標準内積が与えられた n 次元実ユークリッド空間 Rnにおける鏡映変換は

c=MLP([z; vx ]).

(15)

v = Ref a,c ( Ref a,c (v) ).

Ref a,c (v) = v − 2(v − c) · aaa·a(10)と定義される．ここで a · a は内積を表す．また a お
よび c はそれぞれ鏡（超平面）を決定するパラメタであり，a は鏡に直交するベクトル，c は鏡が通る Rn 上の点である．

4.2

単語属性変換への適用

4.4

queen
Ref a,c (v)womanking

ここで [·; ·] はベクトルの列方向の連結を表す．このようにして鏡を学習対象化（Parameterized Mirror）することで，鏡の固定化を防ぎ未学習データに対して鏡を逐次推定できる．例えば図 3の性別属性の変換において，まず vhero から vheroine への変換が成立するよ
うに鏡（青線）を学習する．ここで未学習である vactorが vhero と類似している場合，vhero で学習した鏡と類似した鏡が推定されるため，vactor から vactress へ変換することが可能になる（図 3）．

損失関数 L を以下のように定義する:

Mirroracman

損失関数

L(Θ) =Vector+

図 2: 鏡映変換に基づく単語属性変換
埋め込み空間上で鏡映変換を行い特定の属性（例 性別）を持つ単語の位置を反転させる．このとき鏡映変換における鏡を属性 z から推定する．ここで鏡は２つのベクトル a，c によって一意に決まるため，a と c を属性 z から推定する．本研究では全結合の多層パーセプトロン（MLP）によって各属性ごとに a と c を推定する（式 11, 12，図 2）:a=

MLP(z),(11)c =MLP(z).

(12)

1|A|
1
|N |

∑

(vy − vt )2(16)(vy − vx )2 .

(17)

(x,t,z)∈A∑(x,z)∈N

ここで上の項 (式 16) は，属性語 vx を鏡映変換して得られたベクトル vy が vt と近づくように学習を行うことを表す．下の項 (式 17) は非属性語を変換関数によって変化させないための制約である．Θ は学習される MLP の重み集合である．

5

実験

提案手法によって所望の単語属性変換ができるかどうかを検証するため実験を行った．

― 1321 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

5.1

実験設定

表 1の 4 つの属性を変換する実験を行った．属性語のデータセットを構築するためインターネットから独自に収集した単語に加え Analogy test set [3, 2] や [4]からデータを取得した．学習済みの単語埋め込みとして word2vec3 と GloVe4 を使用した．
表 1: データセット（属性単語のペア数）

5.2

Dataset ATrainValTestTotal男性-女性 (MF)
単数形-複数形 (SP)
首都-国 (CC)
反意語 (AN)2990
591354122525290

122525290

53140109
1934

評価方法

評価は変換精度（Accuracy）と安定性（Stability）で行った．
1
if arg max(cos(vy , vk )) = t,k∈Vδ(vy , t) =(18)0otherwise,∑1
Accuracy =δ(vy , t),(19)|Atest |(x,t,z)∈Atest∑1
δ(vy , x).
(20)
Stability =|Ntest |(x,z)∈Ntest
ここで cos(vy , vk ) は vy と vk のコサイン類似度を表す．変換精度は属性語が正しく変換されているかを表し（例 boy → girl ），安定性は非属性語が変換されないかを表す（例 human → human ）．なおテスト時の非属性語集合 Ntest は，語彙から Ntrain と A を除外してランダムに 1000 単語サンプリングして使用した．

5.3

実験結果

表 2は提案手法および比較手法の変換精度と安定性の結果である．Knowledge は変換の際に属性知識（例actor ∈ M）を用いるかを示している．Ref は単一の鏡を用いる鏡映変換，Ref+PM は ParameterizedMirror を用いた鏡映変換である．また，Diff はアナロジーに基づく手法であり，訓練データ中の単語ペアの差分ベクトル d を用いて変換する（最高精度のみ記述）．MeanDiff もアナロジーに基づく手法で，訓練データ中の単語ペアの差分ベクトルを平均したものを用いて変換する．Diff+ や Diff− は，どのような単語ベクトルに対しても d を足すか引くかのどちらか一方の操作を行うことで知識を用いず変換している．また Ref や Ref+PM に対抗する学習ベースの手法として MLP: vy = MLP([vx ; z]) とも比較している．
表 2より変換精度と安定性の両方で最も優れている手法は Parameterized Mirror を用いた提案手法
3 https://code.google.com/archive/p/word2vec/
4 https://nlp.stanford.edu/projects/glove/（Ref+PM）であることがわかった．知識を用いない手法の中で，次に変換精度が高いアナロジーに基づく手法に 20%以上の差をつけている．例えば GloVe の国-首都の変換では Diff+ が 26%であるのに対し，提案手法の Ref+PM は 76%を獲得している．また興味深いことに安定性における鏡映変換の性能は顕著で，いずれも 99%以上を獲得している．このことから鏡映変換に基づく提案手法は，変換精度を維持しつつ高い安定性を持つことがわかる．一方で，総合的に変換精度および安定性が最も低い手法は MLP であった．
反意語 (AN) に関しては M と F に対応する単語が存在しないため鏡映変換と MLP のみの比較を行っているが，MLP は変換精度で鏡映変換を上回っているものの安定性は 1%台と非常に低い．一方で鏡映変換は変換精度をある程度維持しつつ安定性で 100%を獲得している．非属性語 N の学習量の増加で安定性が向上するか検証した結果 (表 3)，MLP の安定性はN の学習データ増加に応じてほとんど改善しない (最大 4%) 一方で，鏡映変換は |N | = 0 の時点で 100%の安定性を獲得していた．このような結果となった原因として，鏡映変換を Analogic な空間に適用すると鏡の上に非属性語が分布するように鏡が学習されるため非属性語のベクトルが鏡映により移動しなかったためと推測した．そこで入力単語ベクトルとその鏡の距|(vx −c)·a|
離を調べた結果，実際に非属性語は鏡に近∥a∥く，属性語は鏡から離れて分布していることがわかった (図 4)．この傾向は反意語のように早い段階で安定性が高くなった属性ほど強かった．
また Ref+PM で学習された鏡のベクトル a を PCAで可視化した結果，各属性ごとにクラスタができており，属性ごとに使われる鏡が異なる事や，Parameterized mirror によって単語ごとにも異なる鏡が使われていることがわかった (図 5)．
表 4は文 X = {x1 , x2 , ...} を与え，一単語ごとに変換関数に入力した結果である．MLP は全ての単語を誤って変換してしまっているが，鏡映変換は性別属性を持つ単語のみを変換させている．例えば Ref(vf ather ) はmother に変換されているが，Ref(vwhen ) は変換されず when のままである．アナロジーに基づく手法は男性から女性，もしくは女性から男性のどちらかの変換しかできていない．一方で鏡映変換は入力 x が男性であるか女性であるかといった知識を用いずに x の性別を反転させている (例 father → mother ，mother →father )．

6

関連研究

本研究と類似した研究として文のスタイル変換が存在する [6]．このタスクでは文が与えられ教師なしでその文の言い回しなどの表現を変換する．これらは文単位の変換であるのに対し本研究では単語単位の変換を― 1322 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 変換精度と安定性の比較
word2vec
MethodKnowledge

Ref
Ref + PM
MLP
Diff +
Diff −
MeanDiff +MeanDiff −✓✓Diff
MeanDiff

GloVe

MF

Accuracy (%)
SPCCANMF

Stability (%)
SPCC

ANMF

Accuracy (%)
SPCC

20.83
41.67
8.33
25.00
25.00
4.17
8.33

0.00
22.00
4.00
2.00
2.00
0.00
0.00

36.00
58.00
12.00
32.00
30.00
22.00
14.00

0.00
28.79
35.86
-

99.80
99.90
2.20
72.10
49.60
98.60
97.20

100.00
99.40
0.00
77.90
78.20
99.40
99.30

99.80
99.40
2.70
53.90
56.30
87.60
92.40

100.00100.00
1.90
-

12.50
45.83
4.17
25.00
25.00
0.00
0.00

2.00
50.00
10.00
2.00
2.00
0.00
0.00

26.00
76.00
18.00
26.00
24.00
22.00
0.00

0.00
33.54
36.72
-

100.00
99.70
5.10
99.30
100.60100.00100.00100.00
99.10
7.00
94.20
99.90
100.00100.00100.00
99.20
5.20
99.30
99.50
100.00100.00

100.00100.00
1.20
-

62.50
12.50

4.00
0.00

64.00
36.00

-----

50.00
0.00

4.00
0.00

44.00
0.00

-

----

表 3: |Ntrain | を増加させた際のスコアの変化
Accuracy (%)|Ntrain |
100

4MF

Ref
Ref + PM
MLP

12.50
45.83
0.00

12.50
41.67
4.17

SPRef
Ref + PM
MLP

0.00
48.00
4.00

CC

Ref
Ref + PM
MLPAN

Ref
Ref + PMMLP

Stability (%)|Ntrain |
1050

12.50
41.67
4.17

100.0099.70
0.00

100.0099.90
0.40

100.0099.90
1.00

100.00
99.90
5.00

0.00
40.00
6.00

2.00
50.00
6.00

0.00
46.00
10.00

100.0053.30
0.00

100.0099.10
0.50

100.0099.10
1.70

100.00
99.80
7.00

7

24.00
76.00
16.00

26.00
72.00
10.00

24.00
74.00
14.00

20.00
74.00
18.00

100.0099.20
0.00

100.00100.000.40

100.0099.90
1.00

100.00
99.90
5.20

0.00
26.90
29.48

0.00
26.72
29.66

0.00
33.54
36.72

0.00
25.69
36.55

100.00100.000.10

100.00100.000.50

100.00100.001.20

100.00100.004.60

本研究では単語埋め込み空間上で単語の属性を変換する新たな表現学習に取り組んだ．アナロジーによる変換では入力単語が持つ属性を知識として与える必要があったが，本研究ではそのような知識を用いることなく変換するために鏡映変換を導入した．実験の結果，提案手法は目的の属性を持つ単語であれば最大 76%の精度で変換し，その属性を持たない単語であれば 99%を変換せず，知識を用ることなく目的属性を持つ単語のみ安定して変化させることに成功した．

DensityDensityNon-attribute word
1.5

0.5

0.50123450.0
1.5

Capital-Country

1.0

1.0

0.5

0.5

0.0

10

行っている．また，Soricut[7] らは文字情報に基づいて英語の単数形-複数形のような単語の形態学的変換を行う手法を提案している．本研究では Analogic な埋め込み空間であれば形態学的な変換以外にも適用可能(例 首都-国, 反意語) な汎用性の高い手法を提案した．

12.50
37.50
0.00

Male-Female

1AN41.0

1.5

Stability (%)
SPCC

01.00.0MF50

Attribute word
1.5

AN12 3Distance

450.0

Singular-Plural101234

結論5

謝辞

Antonym

本研究は JST CREST（課題番号: JPMJCR1513）の支援を受けて行った．
1012 3Distance4

参考文献

5[1]

Carl Allen and Timothy M. Hospedales. Analogies Explained: Towards
Understanding Word Embeddings. In Proceedings of the 36th International
Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, pp. 223–231, 2019.

[2]

Anna Gladkova, Aleksandr Drozd, and Satoshi Matsuoka. Analogy-based
detection of morphological and semantic relations with word embeddings: what works and what doesn’t. In Proceedings of the Student ResearchWorkshop, SRW@HLT-NAACL 2016, The 2016 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego California, USA, June 12-17, 2016, pp. 8–15, 2016.

[3]

Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their
Compositionality. In Advances in Neural Information Processing Systems 26:
27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States.,
pp. 3111–3119, 2013.

[4]

Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Distinguishing Antonyms and Synonyms in a Pattern-based Neural Network. In
Proceedings of the 15th Conference of the European Chapter of the Association for
Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume
1: Long Papers, pp. 76–85, 2017.

[5]

Jeffrey Pennington, Richard Socher, and Christopher D. Manning.
Glove: Global Vectors for Word Representation. In Proceedings of the 2014
Conference on Empirical Methods in Natural Language Processing, EMNLP 2014,
October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Groupof the ACL, pp. 1532–1543, 2014.

[6]

Shrimai Prabhumoye, Yulia Tsvetkov, Ruslan Salakhutdinov, andAlan W. Black. Style Transfer Through Back-Translation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics,
ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pp.
866–876, 2018.

[7]

Radu Soricut and Franz Josef Och. Unsupervised Morphology Induction
Using Word Embeddings. In NAACL HLT 2015, The 2015 Conference of theNorth American Chapter of the Association for Computational Linguistics: Human
Language Technologies, Denver, Colorado, USA, May 31 - June 5, 2015, pp. 1627–1637, 2015.

図 4: 単語ベクトルと鏡の距離の分布0.8MFSPCCAN

0.6
0.4
0.2
0.0
0.2
0.4
0.4

0.2

0.0

0.2

0.40.6

図 5: PCA による a の可視化 (線分:ペアの単語)
表 4: 文 X が与えれらたときの変換結果
X

the woman was married when your grandfather was (a) boy (.)

Ref(x)
Ref(Ref(x))

the man was married when your grandmother was (a) girl (.)
the woman was married when your grandfather was (a) boy (.)
By Katie Klingsporn girlfriend she fiancee
Doughty Evening Chronicle ma’am daughter she (a) mother (.)
the man was married when your grandfather was (a) boy (.)
she woman was married she your grandmother was (a) girl (.)

MLP
Diff +
Diff −― 1323 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.