線型部分空間に基づく学習済み単語埋込空間上の集合演算
石橋 陽一 1 横井 祥 2,3 須藤克仁 1,3,4 中村哲 1,3
1 奈良先端科学技術大学院大学 2 東北大学 3 理研 AIP
4 科学技術振興機構さきがけ{ishibashi.yoichi.ir3, sudoh, s-nakamura}@is.naist.jp yokoi@tohoku.ac.jp

概要

して単語ベクトルの和を用いる加法構成 [10] は強力であるが、単語 “集合” としての性質がどのように単語埋込は自然言語処理の基盤的な道具であり単入っているかは不明である。また、単語集合の重複語単位の表現学習は進んでいる。一方で加法構成に率を計算するためにこれを適合率・再現率 [11] や最代表される意味計算は、単語を集合として扱っていながら集合の演算までは定義できていない。これを適輸送コスト [12, 13] 帰着させる向きもあるが、“集合” の計算としては近似的なアプローチに過ぎない。

現代の単語埋込空間の枠組みで表現できれば集合とそこで本研究では、現代の単語埋込の枠組みで集埋込表現の両方の特性を反映した優れた表現を作る

合演算を再度定式化することを試み、事前学習済み

ことができる。そこで本研究では事前学習済み単語

単語埋込空間上で集合および集合演算が線型部分空埋込空間で集合・集合演算を教師なしで表現するこ間で表現できることを実証した。

とを目指した。我々は線型部分空間に基づく集合演
算である量子論理に着目し、埋込空間で線型部分空間が言語的な集合演算として機能することを実証し、文の意味的類似性タスクへ応用した。

1

はじめに
単語埋込は現代の自然言語処理の基盤技術であり

GloVe [1] や word2vec [2] 等の静的表現や、BERT [3]等の動的表現が、あらゆる種類の言語処理タスクの性能を大きく押し上げた [4]。
単語埋込は単語に対して与えられる表現だが、実際の処理対象は単語の集合であることが多い。例え2集合を扱うために必要な演算本研究では和集合や共通部分など集合を扱う各種演算を、単語埋込空間で近似的にかつ単語埋込のリッチな情報を活用しつつ教師なしで計算することを目指す。具体的には、単語埋込空間上で帰属関係
Color = {red, blue, . . .}, Fruit = {apple, peach, . . .} (1)orange ∈ Color ∩ Fruitや集合間類似度（Jaccard 係数）
A = {A, boy, walk, . . . }, B = {The, child, run, . . . } (3)ば、単語間の意味の階層構造を見出すことができる[5]。例えば red, blue, green, . . . からなる集合は Colorというクラスを表していると捉えられる。こうした概念集合に対する計算は自然言語処理のために重要である [6]。また、句、文、文書など単語より大きな(2)

Jaccard(A, B) =|A ∩ B||A ∪ B|(4)を計算可能にすることを目指す。これらの計算を実現するために必要な演算は以下の通り（表 1 左）。

単位の計算において最も基本的で強力なアプローチ• 元と集合の表現：元となる単語とそれをまとめは、これらを単語集合とみなすことである。例えばた対象である集合を埋込空間で表現する。

文の類似性を計算するタスク（STS） [7] における• 集合に対する演算：ひとつまたは複数の集合に基本的な指針では、文の類似性を単語集合の重複度

対して、補集合・和集合・共通部分を計算する。

（意味の重複度）に帰着させる [8]。

• 帰属関係の計算：元が集合に属しているかどう

このように単語集合の計算には強いニーズがある。単語をシンボルで表現していた時代には単語集かを判定する。
• 集合の濃度の計算：集合に含まれる元の数（濃合を形式的な集合として扱っていたが [9]、単語を度）を計算する（式 (4)）。

ベクトルで表現する場合の単語 “集合” の扱いは近次のセクションでこれらの表現や計算を単語埋込空似的なものに留まっている。例えば句や文の表現と間で近似的に実現する方法を提案する。

表1

集合と埋込空間での表現の対応集合

埋込空間での表現

元
king

ベクトル
𝒗 king集合
Male ={king, man, . . .}
補集合
Male
和集合
Male ∪ Female
共通部分
Color ∩ Fruit

部分空間
𝕊Male =
span{𝒗 king , 𝒗 man , . . .}

Male

直交補空間
(𝕊Male ) ⊥

Male

Male

Color

FemaleFruit

帰属関係
boy ∈ Male
濃度
|Male|

boy

Male

和空間
𝕊Male + 𝕊Female
共通部分
𝕊Color ∩ 𝕊Fruit

型部分空間で表現する。
𝕊A = 𝕊 {w1 ,w2 ,... } := span{𝒗 w1 , 𝒗 w2 , . . .}以降、線型部分空間を単に「部分空間」と呼ぶ。
集合に対する演算 ある集合 A の補集合 A は、部
分空間 𝕊A の直交補空間 (𝕊A ) ⊥ で表現する。
𝕊A = (𝕊A ) ⊥ := {𝒖 | ∃𝒗 ∈ 𝕊A , 𝒖 · 𝒗 = 0}(6)ある集合 A と B の和集合 A ∪ B は、部分空間 𝕊Aと 𝕊B の和空間 𝕊A + 𝕊B で表現する。
𝕊A∪B = 𝕊A + 𝕊B := {𝒖 + 𝒗 | 𝒖 ∈ 𝕊A , 𝒗 ∈ 𝕊B }(7)ある集合 A と B の共通部分 A ∩ B は、部分空間
𝕊A と 𝕊B の共通部分（交空間） 𝕊A ∩ 𝕊B で表現する。

帰属度
Member(𝕊Male , 𝒗 boy )部分空間の次元dim 𝕊Male(5)

𝕊A∩B = 𝕊A ∩ 𝕊B = {𝒗 | 𝒗 ∈ 𝕊A , 𝒗 ∈ 𝕊B }帰属関係の計算(8)

最も簡単な方法として、単語の集合に対する帰属関係（例: boy ∈ Male）は、ベクトルの部分空間に対する帰属関係（例: 𝒗 boy ∈ 𝕊Male ）線型部分空間による集合表現

32 節で示した集合演算を埋込空間で実現する方法

で表現できる。ただし一見自然なこの方法はベクト
ル空間の持つ「近さ」の概念を活用しきれない。例
えば Male 集合に含まれていない単語 nephew に関を述べる。集合演算として必要な性質を保証しつつして、𝒗 nephew が 𝕊Male と非常に近い位置に存在して単語埋込空間の幾何的な特性を活用するため、本研いたとしても「帰属関係はない」と 2 値で判断され究では量子論理を単語埋込空間へ適用する。

てしまう。そこで本研究では、ベクトル 𝒗 w と部分

3.1

空間 𝕊A の近さに応じて連続値を返す帰属度の関数

量子論理

量子論理とは量子力学的現象を表現する理論の１つである [14]。粒子などの状態を元とした集合の処

Member(𝕊A , 𝒗 w ) を定義する。
|𝒖 · 𝒗 w |𝒖∈𝕊𝜃 𝕊A , 𝒗 w = min arccos∥𝒖∥∥𝒗 w ∥(9)

理という要請に対して、量子論理は集合を線型部分

Member(𝕊A , 𝒗 w ) = cos 𝜃 𝕊A , 𝒗 w ∈ [0, 1]

空間の言葉で記述し、さらにド・モルガンの法則、二重否定などの成立を理論的に保証している。

𝜃 𝕊A , 𝒗 w は 𝒗 w と 𝕊A の「なす角」（第一正準角）で、
単語埋込空間で単語ベクトル同士のなす角が意味的

単語埋込空間での集合演算

類似度を表現することを間接的に利用することがで

3.2

量子論理はヒルベルト空間の上で記述されるが、単語埋込空間（ユークリッド空間）もヒルベルト空間でありほとんどの演算はそのままユークリッド空間での表現に翻訳することができる。不足している
演算（帰属の度合い、濃度）に関しては量子論理と一貫した方法を提案する。提案法のまとめは表 1 の通り。このあと詳細について述べる。
元と集合の表現

単語集合 A を {w1 , w2 , . . .}、単語 w に対応する単語ベクトルを 𝒗 w で表す。ここで、我々がまず表現したい対象は元と集合であった。本
研究では、元である単語 w を単語ベクトル 𝒗 w で、
単語集合 A = {w1 , w2 , . . . } を単語ベクトルが張る線(10)

きる。𝒗 w ∈ 𝕊A の場合帰属度は 1 で、𝒗 w が 𝕊A と直交する場合は 0 である。
集合の濃度の計算

ある単語集合 A の濃度（単語数）を部分空間 𝕊A の次元 dim 𝕊A で表現する。

3.3

Subspace Jacccard

和集合・共通部分・濃度に関する部分空間での計算方法を用いれば、Jaccard 係数（式 (4)）を部分空間で計算できる。すなわち、単語ベクトル集合に対する重複度を自然に計算することができる。この新しい尺度を SubspaceJacccard と呼ぶ。
SubspaceJacccard(𝕊A , 𝕊B ) =dim 𝕊A ∩ 𝕊B
∈ [0, 1] (11)dim 𝕊A + 𝕊B

表 2 単 語 集 合 デ ー タ セ ッ ト の 統 計 情 報。「集 合」はMale = {king, man, . . .} のような集合演算を適用していな
い集合を表す。#正例、#負例は集合あたりの平均要素数。

単語集合 集合の数

#正例

#負例

集合

11

44.2

73.5

補集合

11

934.8

3.5

和集合

110

88.3

699.9

共通部分

8

1.5

55.9

表3

帰属度の平均。括弧内は標本標準偏差。

正例 ↑

負例 ↓

Δ↑

集合
補集合

0.84 (± 0.14)
0.79 (± 0.16)

0.58 (± 0.17) 0.26
0.55 (± 0.15) 0.24

和集合

0.88 (± 0.10)

0.70 (± 0.13) 0.18

共通部分 0.66 (± 0.14)

0.14 (± 0.09) 0.52

例えば Member(𝕊Color\{orange} ∩ 𝕊Fruit\{orange} , 𝒗 orange ) がMember(𝕊Color\{orange} ∩ 𝕊Fruit\{orange} , 𝒗 rice ) より高いこ

埋込空間上の集合演算の実証

4

提 案 法 で 作 っ た 部 分 空 間 𝕊Male は、単 語 集 合Male = {king, man, . . .} 全体が表す「男性的」という意味を良く表現できているだろうか？これを検証するため定量的・定性的両面から実験を行った。

4.1

実験設定

この実験で共通する設定について述べる。
単語埋込 Common Crawl (840B tokens) で事前学習済みの 300 次元 GloVe 1）と Google News で事前学習済みの 300 次元 word2vec 2）を用いた。
データセット

検証のため、本研究ではある単語集合に対して帰属関係が成立する単語（正例）P
と、成立しない単語（負例）N のデータを作成した（表 2）。正例 P のデータ (S, w) は集合 S、集合の元である単語 w ∈ S からなり（例 (Male, boy) ∈ P）
、負
例 N のデータ (S, w′) は集合と集合の元でない単語。作成方法のw′ ∉ S からなる（例 (Male, apple) ∈ N）
詳細は付録 A に記載する。

4.2

部分空間外のベクトルの評価

提案法が単語集合を良く表現するなら、帰属関係
boy ∈ Male や apple ∉ Male が提案法でも成立するはずである。これ検証するため次の実験を行った。
検証方法

Male 集合を例に説明する。まず Male集合から単語 boy を取り除いた空間 𝕊Male\{boy} を作る。次にこの空間が、取り除いた boy を意味的に含んでいるかを帰属度 Member(𝕊Male\{boy} , 𝒗 boy ) で確認する。この値が Male に含まれていない単語、例
えば apple に対する帰属度 Member(𝕊Male\{boy} , 𝒗 apple )よりも高ければ、提案法の Male 集合の表現 𝕊Maleは Male の 意 味 を 良 く 捉 え て い る と 言 え る。同様 の 実 験 を 補 集 合・和 集 合・共 通 部 分 で も 行 う。
1） https://nlp.stanford.edu/projects/glove/2） https://code.google.com/archive/p/word2vec/とを確かめる。
評価尺度 正例 (S, w) ∈ P の集合 S の部分空間 𝕊に 𝒗 w が帰属し、負例 (S, w′) ∈ N では 𝕊 に 𝒗 w′ が帰属しないことを、平均帰属度の差 Δ で評価する。
Õ
11 Õ
Member(𝕊, 𝒗 w ) −Member(𝕊, 𝒗 w′ )
| P|
| N|
′
( S , w) ∈ P( S, w ) ∈ N
こ れ が 正 の 値 で あ れ ば 部 分 空 間 で boy ∈ Male やapple ∉ Male が表現できていることが示唆される。
実験結果

結果（表 3）から、「正例との帰属度」「負例との帰属度」に差があり、量子論理が単語集
合・集合演算を表現できていることがわかった。

4.3

部分空間内のベクトルの評価

提案法が単語集合を良く表現できているなら「男性的」集合表現 𝕊Male の中には「男性的」なベクト
ル 𝒗 boy が含まれているはずである。そこで、提案法で作った部分空間内に含まれているベクトル（単語ベクトルとは限らない）の最近傍単語を確認する。
検証方法

この実験では正例の単語集合のみ使用

する（表 2）。ある単語集合の単語の 50%を使用して部分空間を張り、それ以外の単語を検証用とした。ここでは、Color ∩ Fruit 集合を例にとり説明する。まず部分空間 𝕊Color ∩ 𝕊Fruit に含まれるベクトル𝒗 を無作為にサンプリングする。単語埋込の語彙全
体の単語ベクトル集合に対して 𝒗 の最近傍単語ベク
トル 𝒗 w を取得し、最近傍単語 w が Color ∩ Fruit の元らしいかを確認する。例えば最近傍単語が orange
で部分空間を張る単語でないならば、色と果物の集合の共通部分が良く表現できていると言える。この検証をいくつかの集合におこなった。
実験結果

結果は表 4 の通り。word2vec の結果については付録 B を参照されたい。表中の「部分空間表現の近傍単語」は部分空間を張る際に使用していない単語のみ列挙している。この結果は単語集合の言語的特徴が部分空間に良く反映できていることを表 4 単語集合の部分空間内のベクトルと cos 類似度上位 3 件の単語。使用した単語集合は Male = {his, male, . . .}、Female = {queen, heroine, . . .}、Color = {purple, white, . . .}、Fruit = {lime, grape, . . .}。

表現する集合部分空間表現部分空間の近傍単語 (GloVe)

Male

𝕊Male

brother-in-law, nephews, stepfather

father, grandkids, son

Male(𝕊Male ) ⊥drunken, erect, nominal

Ahnlund, Conﬁrm, Sakowicz

moms, uncle, boy

siblings, bachelors, giantess

orange, peach, mango

pear_apple, pear, orange

Male ∪ Female 𝕊Male + 𝕊Female
Color ∩ Fruit
表5

𝕊Color ∩ 𝕊Fruit

部分空間の近傍単語 (word2vec)とで、静的埋込において集合間類似度を単語埋込空

各 STS タスクの相関係数

Skip-Thought

41

29

40

46

52

GloVe

Avg-cos
DynaMax
BERTScore
Subspace

52.1
58.2
52.8
52.7

49.6
53.9
47.2
50.9

54.6
65.1
62.1
59.7

56.1
70.9
67.3
67.7

51.4
71.1
61.2

BERT

STS12 STS13 STS14 STS15 STS16

Avg-cos
DynaMax
Subspace

47.8
51.2
49.5

53.5
49.1
43.9

58.3
58.6
55.9

64.0
68.4
67.1

64.6
65.0
63.9

間上の演算へ拡張できたことを示している。

6

関連研究
ここでは埋込空間で集合の表現・演算を試みている先行研究を概観し、提案法との違いを述べる。
教師なし集合表現[8] は Fuzzy 集 合 の 考 え に基づき単語埋込空間上で集合および集合演算を
Fuzzy Bag of Words と い う 方 法 で 表 現 し て い る。
BERTScore [11] は集合間の適合率と再現率を内積⊥示している。例えば、𝕊Male 内のベクトルは Male

行 列 を 使 っ て 近 似 的 に モ デ ル 化 し て い る。Word以外の単語、𝕊Color ∩ 𝕊Fruit 内のベクトルは色と果物

Rotator’s Distance [12] は単語ベクトル集合間の最適に共通する orange と類似しており、𝕊Male + 𝕊Female 内輸送に基づき類似度をモデル化した。これらの研究のベクトルは男女両方の特徴を持っている。

は擬似的な集合表現、もしくは一部の集合演算の実
現のみに留まっている。それに対し提案法は線型部

5

実験: 教師なし文類似度タスク
単語埋込空間上の集合演算を用いた集合間類似度

分空間に基づく各集合演算の表現と集合に関する法則の成立が理論的に保証されている強みがある。

を教師なし文類似度タスク (STS) に応用し、埋込空間の集合間類似度として機能するかを確かめる。
検証方法

STS では２つの文（単語集合）の類似度を算出し人手評価との相関係数で評価する。
実験設定

データセットは SemEval shared task の2012-2016 [7, 15, 16, 17, 18] のものを使用した。ベー

教師あり集合表現

DeepSet [6] は集合データに対する教師あり表現学習の代表的な手法である。本研
究では事前学習済み埋込空間上で教師なしで単語集合・集合演算を表現した。

7

結論

スラインは平均ベクトルの cosine 類似度（Avg-cos）

本研究では、単語埋込の枠組みによる集合演算をと [8] の DynaMaxJaccard 3）、Skip-Thought Vector [19]線型部分空間を用いて定式化した手法を提案し、単を使用した。評価尺度にはピアソンの相関係数を

語埋込空間において集合・集合演算を実現した。

使用した。単語埋込は 4 節と同じ GloVe、word2vec、そして BERT-base [3] の最終層のトークンに対応す
る動的埋込を使用した。なお教師なし STS のため
ファインチューニングはおこなっていない。
実験結果

結果は表 5 の通り。埋込空間での傾向

は BERT よりも GloVe で提案法の効果が高かった
word2vec での結果も GloVe と同様な傾向ため付録 Bに記載する。GloVe では提案法が全てのタスクで加法構成に基づく手法（Avg-cos）を上回った。量子論
理によって集合と集合演算を部分空間で表現したこ
3） ベースラインのスコアは [8, 12] の論文から参照した。

謝辞
本研究は JST さきがけ (JPMJPR1856) 、JST ACT-X（JPMJAX200S）、奈良先端科学技術大学院大学支援
財団支援事業の支援を受けたものです。

参考文献[1] Jeﬀrey Pennington, Richard Socher, and Christopher D. Manning.
Glove: Global Vectors for Word Representation. In Proceedingsof the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha,
Qatar, A meeting of SIGDAT, a Special Interest Group of the
ACL, pp. 1532–1543, 2014.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, andJeﬀrey Dean. Distributed Representations of Words and Phrases
and their Compositionality. In Advances in Neural Information[13] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Weinberger. From Word Embeddings To Document Distances. In
Francis R. Bach and David M. Blei, editors, Proceedings ofProcessing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting
held December 5-8, 2013, Lake Tahoe, Nevada, United States.,the 32nd International Conference on Machine Learning, ICML
2015, Lille, France, 6-11 July 2015, Vol. 37 of JMLR Workshop
and Conference Proceedings, pp. 957–966. JMLR.org, 2015.

pp. 3111–3119, 2013.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Con-[14] Garrett Birkhoﬀ and John Von Neumann. The logic of quantum
mechanics. Annals of mathematics, pp. 823–843, 1936.
[15] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Similarity. In Mona T. Diab, Timothy Baldwin, and Marco Baroni, editors, Proceedings of the Second Joint Conference on

ference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies,
NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171–4186. Association for

Computational Linguistics, 2019.
[4] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer
Levy, and Samuel R. Bowman. GLUE: A Multi-Task Benchmark
and Analysis Platform for Natural Language Understanding. In 7thInternational Conference on Learning Representations, ICLR
2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net,

2019.
[5] George A. Miller. WordNet: A Lexical Database for English.
Commun. ACM, Vol. 38, No. 11, pp. 39–41, 1995.
[6] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabás
Póczos, Ruslan Salakhutdinov, and Alexander J. Smola. Deep Sets.
In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M.
Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA,pp. 3391–3401, 2017.
[7] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June
7-8, 2012, pp. 385–393. The Association for Computer Linguis-

tics, 2012.
[8] Vitalii Zhelezniak, Aleksandar Savkov, April Shen, Francesco
Moramarco, Jack Flann, and Nils Y. Hammerla. Don’t Settle
for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word
Vectors. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019.
OpenReview.net, 2019.
[9] Christopher D. Manning and Hinrich Schütze. Foundations ofstatistical natural language processing. MIT Press, 2001.
[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence
Embeddings using Siamese BERT-Networks. In Kentaro Inui,
Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedingsof the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference
on Natural Language Processing, EMNLP-IJCNLP 2019, Hong
Kong, China, November 3-7, 2019, pp. 3980–3990. Association

for Computational Linguistics, 2019.
[11] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger,
and Yoav Artzi. BERTScore: Evaluating Text Generation with
BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020.
OpenReview.net, 2020.
[12] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro
Inui. Word Rotator’s Distance. In Bonnie Webber, Trevor Cohn,
Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing,
EMNLP 2020, Online, November 16-20, 2020, pp. 2944–2960.

Association for Computational Linguistics, 2020.

Lexical and Computational Semantics, *SEM 2013, June 13-14,
2013, Atlanta, Georgia, USA, pp. 32–43. Association for Compu-

tational Linguistics, 2013.
[16] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer,
Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task
10: Multilingual Semantic Textual Similarity. In Preslav Nakov
and Torsten Zesch, editors, Proceedings of the 8th International
Workshop on Semantic Evaluation, SemEval@COLING 2014,
Dublin, Ireland, August 23-24, 2014, pp. 81–91. The Association

for Computer Linguistics, 2014.
[17] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer,
Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo LopezGazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic
Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten
Zesch, editors, Proceedings of the 9th International Workshop
on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver,
Colorado, USA, June 4-5, 2015, pp. 252–263. The Association

for Computer Linguistics, 2015.
[18] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab,Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce
Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M.
Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten
Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016,
San Diego, CA, USA, June 16-17, 2016, pp. 497–511. The Asso-

ciation for Computer Linguistics, 2016.
[19] Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel,
Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Skip-Thought
Vectors. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee,
Masashi Sugiyama, and Roman Garnett, editors, Advances in
Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 3294–3302,

2015.

単語集合データの構築方法

A

単語集合データ 2 の構築方法について説明する。正例セットは WordNet [5] の名詞の上位語（例：“Animal”）を単語集合のクラス、下位語（例：“dog”）
を集合の元として収集し、下位語の数が 20 以上のものを使用した。これらの単語集合をランダムに組み合わせ補集合・和集合・共通部分を作成した。次に、負例を作成した。英単語の頻度データ 4）を使用
し頻度上位 3000 件からランダムに 1000 件をサンプ
リングし、正例の単語を除去して負例セットを構築した。

B

word2vec での実験結果
表6

帰属度の平均。括弧内は標本標準偏差。

正例 ↑

負例 ↓

Δ↑

集合

0.77 (± 0.16)

0.53 (± 0.17)

0.24

補集合

0.76 (± 0.15)

0.52 (± 0.16)

0.24

和集合

0.82 (± 0.13)

0.67 (± 0.14)

0.16

共通部分 0.46 (± 0.11) 0.12 (± 0.002)

0.34

表7

各 STS タスクの相関係数

word2vec

STS12 STS13 STS14 STS15 STS16
Avg-cos

51.6

58.2

65.6

67.5

64.7

DynaMax

53.7

59.5

68.0

74.2

71.3

BERTScore

47.8

43.5

56.3

62.1

-

Subspace

50.7

55.1

60.9

68.3

61.1

4） https://github.com/PrincetonML/SIF/