学習済み埋め込み空間の線型部分空間を用いた集合演算
Subspace-based Set Operations on a Pre-trained Word Embedding Space∗1

石橋 陽一 ∗1

横井 祥 ∗2∗3

須藤 克仁 ∗1∗3∗4中村 哲 ∗1∗3

Yoichi Ishibashi

Sho Yokoi

Katsuhito Sudoh

Satoshi Nakamura

奈良先端科学技術大学院大学

Nara Institute of Science and Technology

∗2

東北大学

Tohoku University

∗3

理研

∗4

RIKEN

JST さきがけ
PRESTO, JST

Word embedding is a fundamental technology in natural language processing. Representation learning for words
has been progressing; however, word set operations in embedding spaces have not been deﬁned yet, although they
are often performed on sets of words. In this study, we aim to compute representations of sets and set operations
using only pre-trained word embeddings. We focused on quantum logic and demonstrated that quantum logic canfunction as a linguistic set operation in the embedding space.

1.

はじめに化することを試み、事前学習済み単語埋込空間上における線型部分空間によって集合および集合演算（和集合・共通部分・補集合・帰属関係・集合類似度）が表現できることを実証した。
提案法は教師データの準備や学習が必要なく事前学習済み埋込空間上に定義された集合演算を利用するだけでタスクに適用できるという利点がある。

現代の自然言語処理において単語埋込は基盤技術であり
GloVe [Pennington 14] や word2vec [Mikolov 13] 等の静的表現や、BERT [Devlin 19] 等の動的表現が、あらゆる種類の言語処理タスクの性能を大きく押し上げた [Wang 19]。
単 語 埋 込 は 単 語に 対 し て ベ ク ト ル 表 現 を 与 え る が 、実際 の 処 理 対 象 は 単 語 の 集 合で あ る こ と が 多 い 。例 え ば 、
red , blue, green, . . . からなる集合は Color という概念を共有すると考えられる [Miller 95]。こうした概念集合に対する計算は自然言語処理において重要であると考えられている[Zaheer 17]。また、句、文、文書など単語より大きな単位の計算において最も基本的で強力なアプローチは、これらを単語集合とみなすことである。例えば文の類似性を計算するタスク（STS）[Agirre 12] における基本的な指針では、文の類似性を単語集合の重複度（意味の重複度）に帰着させる [Zhelezniak 19]。
このように単語集合の計算には強いニーズがあるが、単語埋込空間で単語集合の計算を行う手法は近似的、もしくは一部の演算の実現に留まっている。単語を記号として扱っていた時代では単語集合は形式的な集合であり、和集合や共通部分、集合類似度等が計算できた [Manning 01]。一方で分散表現で実現された単語の意味的類似性は活用していない。その後、単語埋込空間によって意味の類似性が柔軟に捉えられるようになったが、単語 “集合” の扱いは近似的なものに留まっている。例
えば句や文の表現として単語ベクトルの和を用いる加法構成[Reimers 19] は強力であるが、単語 “集合” としての性質がどのように入っているかは不明である。また、単語集合の重複率を計算するためにこれを適合率・再現率 [Zhang 20] や最適輸送コスト [Yokoi 20, Kusner 15] に 帰着させる向きもあるが、和集合（∪）や共通部分（∩）等の集合演算が定義されておらず近似的なアプローチに過ぎない。近年、集合演算と単語埋込空間を繋ぐアプローチとしてファジィ集合に基づく方法が提案されている [Zhelezniak 19]。しかし彼らの方法は単語集合と元（単語ベクトル）の間にあるはずの帰属関係（∈）が定義されていない。帰属関係は集合の基本的な演算の一つであり、これを定義することで集合に関する計算の汎用性を大きく高めることができる。例えば集合に含まれる単語の検索や文類似度タスクは帰属度や集合類似度の計算に帰着させることができる。
本研究では、現代の単語埋込の枠組みで集合演算を再度定式

2.

集合を扱うために必要な演算本研究では和集合や共通部分など集合を扱う各種演算を、単語埋込空間で近似的にかつ単語埋込のリッチな情報を活用しつつ教師なしで計算することを目指す。具体的には、単語埋込空間上で帰属関係

Color = {red , blue, . . .}, Fruit = {apple, peach, . . .}(1)orange ∈ Color ∩ Fruit(2)や集合類似度 [Choi 10]

A = {A, boy, walks, . . . }, B = {The, kid , runs, . . . }Johnson(A, B) =|A ∩ B||A ∩ B|
+|A|
|B|

(3)
(4)

を計算可能にすることを目指す。これらの計算を実現するために必要な演算は以下の通り（表 1 左）。

• 元と集合の表現：元となる単語とそれをまとめた対象である集合を埋込空間で表現する。
• 集合に対する演算：ひとつまたは複数の集合に対して、補集合・和集合・共通部分を計算する。
• 帰属関係の計算：元が集合に属しているかを判定する。
次のセクションでこれらの表現や計算を単語埋込空間で近似的に実現する方法を提案する。

3.

線型部分空間による集合表現

2. 節で示した集合演算を埋込空間で実現する方法を述べる。集合演算に必要な性質を保証しつつ単語埋込空間の幾何的な特性を活用するため、本研究では量子論理を単語埋込空間へ適用する。

連絡先: ishibashi.yoichi.ir3@is.naist.jp1

帰属関係の計算 最も簡単な方法として、単語の集合に対する帰属関係（例: boy ∈ Male）は、ベクトルの部分空間に対する帰属関係（例: v boy ∈ SMale ）で表現できる。ただし一見自然なこの方法はベクトル空間の持つ「近さ」の概念を活用しきれない。例えば Male 集合に含まれていない単語 nephew に関して、v nephew が SMale と非常に近い位置に存在していたとしても「帰属関係はない」と 2 値で判断されてしまう。そこで本研究では、ベクトル v w と部分空間 SA の近さに応じて [0, 1]の連続値を返す帰属度の関数 µ(SA , v w ) を定義する。

表 1: 集合と埋込空間での表現の対応集合

埋込空間での表現元kingベクトルv king集合
Male ={king, man, . . .}補集合
Male部分空間
SMale =
span{v king , v man , . . .}Male直交補空間(SMale )⊥Male和集合
Male ∪ Female

MaleFemale

和空間
SMale + SFemale

共通部分
Color ∩ Fruit

ColorFruit

共通部分
SColor ∩ SFruit

boy

帰属度
µ(SMale , v boy )帰属関係
boy ∈ Male
集合類似度
Johnson(A, B)

3.1

µ(SA , v w ) = cos θSA ,v w = max

3.3

量子論理

単語埋込空間での集合演算

量子論理はヒルベルト空間の上で記述されるが、単語埋込空間（ユークリッド空間）もヒルベルト空間でありほとんどの演算はそのままユークリッド空間での表現に翻訳することができる。不足している演算（帰属の度合い）に関しては量子論理と一貫した方法を提案する。提案法のまとめは表 1 の通り。
このあと詳細について述べる。
元と集合の表現 単語集合 A を {w 1 , w 2 , . . .}、単語 w に対応する単語ベクトルを v w で表す。ここで、我々がまず表現したい対象は元と集合であった。本研究では、元である単語 w を単語ベクトル v w で、単語集合 A = {w1 , w2 , . . . } を単語ベクトルが張る線型部分空間で表現する。

1 X||v a ||2 µ(SB , v a )|A|a ∈A
1 X+||v b ||2 µ(SA , v b )|B|b ∈B|A ∩ B|=|A|(5)

Pa ∈A χ(B, a) ⇒|A|

Pa ∈A µ(SB , v a )|A|(11)

ここで χ(B, a) は a ∈ B のとき 1 を、a ∈/ B のときには 0を返す指示関数である。なお、式 11 において a ∈ A なのでa ∈ A∩B のときのみ 1 を返す。単語ベクトルのノルムには意味の重要度が反映されているので、これも考慮し ||v a ||2 µ(SB , v a )の和を Johnson の分子と考える。

(6)

4.

実験

本研究で提案する部分空間に基づく集合・集合演算が「言語的な集合表現になっているのか（4.1 節）」、「元と集合の関係を表現できるのか（4.2 節）」、「集合と集合の関係を表現できるのか（4.3 節）」という点について実験を通して検証する。

(7)ある集合 A と B の共通部分 A ∩ B は、部分空間 SA と SBの共通部分（交空間） SA ∩ SB で表現する。

4.1
SA∩B = SA ∩ SB = {v | v ∈ SA , v ∈ SB }(10)

ここでは Johnson における集合 A の単語 a と A ∩ B との重複度を帰属度 µ の和で表現している。

ある集合 A と B の和集合 A ∪ B は、部分空間 SA と SB の和
空間 SA + SB で表現する。

SA∪B = SA + SB := {u + v | u ∈ SA , v ∈ SB }Subspace Johnson

Subspaceohnson(A, B) =以降、線型部分空間を単に「部分空間」と呼ぶ。
集合に対する演算 ある集合 A の補集合 A は、部分空間 SAの直交補空間 (SA )⊥ で表現する。

SA = (SA )⊥ := {u | ∃v ∈ SA , u · v = 0}

(9)

集 合・帰 属 度 に 関 す る 部 分 空 間 で の 計 算 方 法 を 用 い れ
ば 、埋 込 空 間 上 で 集 合 類 似 度 Johnson（ 式 (4)）を 計 算で き る 。Johnson は 単 語 を 記 号 と し て 扱 う ハ ー ド な 重
複 度 で あ り、提 案 法 は 埋 込 空 間 を 使って ソ フ ト に 表 現 する 。例 え ば A = {A, boy, walks, in, the, park } と B ={The, kid , runs, in, the, square} の類似度を計算することを考える。これらは類似した文であるが単語の重複は {in, the} の2 単語であるため、記号的な重複度しか考慮しない Johnson
では類似度は低くなってしまう。提案法では部分空間と単語ベクトルの重複度を帰属度として連続的な量で表現することでソフトな意味の重複度を計算できる。この新しい尺度を Subspaceohnson と呼ぶ。

埋込空間での集合類似度
Subspaceohnson(A, B)

SA = S {w1 ,w2 ,... } := span{v w1 , v w2 , . . .}θSA ,v w は v w と SA の「なす角」（第一正準角）で、単語埋込空間で単語ベクトル同士のなす角が意味的類似度を表現することを間接的に利用することができる。v w ∈ SA の場合帰属度は 1 で、v w が SA と直交する場合は 0 である。

量子論理とは量子力学的現象を表現する理論の１つである[Birkhoﬀ 36]。粒子などの状態を元とした集合の処理という要請に対して、量子論理は集合を線型部分空間で表現し、さらにド・モルガンの法則などの成立を理論的に保証している。

3.2|u · v w |u ∈ SA
∥u∥∥v w ∥埋込空間上の集合演算の定性的実証

提 案 法 で 作った 部 分 空 間 SMale は 、単 語 集 合 Male ={king, man, . . .} 全体が表す「男性的」という意味を良く表現できているだろうか？提案法が単語集合を良く表現できてい(8)2表 2: 単語集合の部分空間内のベクトルと cos 類似度上位 3 件の単語。使用した単語集合は Male = {his, male, . . .}、Female ={queen, heroine, . . .}、Color = {purple, white, . . .}、Fruit ={lime, grape, . . .}。∗ は検証用単語を表す。

MaleSMale

部分空間の近傍単語

brother-in-law,nephews∗ , step-father
Male(SMale )⊥drunken, erect, nominal
Male ∪ Female SMale + SFemale moms∗ , uncle∗ , boy∗
Color ∩ Fruit SColor ∩ SFruit orange∗ , peach∗ , mango∗
るなら「男性的」集合表現 SMale の中には「男性的」なベクト
ル v boy が含まれているはずである。そこで、提案法で作った部分空間内に含まれているベクトル（単語ベクトルとは限らない）の最近傍単語を確認する定性的な検証を行った。
データセット WordNet の名詞の下位語を収集し単語集合のデータセットを作成した。データ (S, w ) は集合 S、その元である単語 w ∈ S からなる（例 (Male, boy)）。
検証方法 ある単語集合の単語の 50%を使用して部分空間を張り、それ以外の単語を検証用とした。ここでは、Color ∩ Fruit集合を例にとり説明する。まず部分空間 SColor ∩ SFruit に含まれるベクトル v を無作為にサンプリングする。単語埋込の語彙全体の単語ベクトル集合に対して v の最近傍単語ベクトルv w を取得し、最近傍単語 w が Color ∩ Fruit の元らしいかを確認する。例え SColor ∩ SFruit の中のベクトルの最近傍単語が部分空間を張るために使用していない単語 orange であれば、提案法は集合 Color ∩ Fruit を良く表現できていると言える。
実験設定 単語埋込には Common Crawl (840B tokens) で事前学習済みの 300 次元 GloVe ∗1 を用いた。
結果 結果は表 2 の通り。表中の「部分空間表現の近傍単語」
は部分空間を張る際に使用していない単語のみ列挙している。
この結果は単語集合の言語的特徴が部分空間に良く反映できていることを示している。例えば、(SMale )⊥ 内のベクトルはMale 以外の単語、SColor ∩ SFruit 内のベクトルは色と果物に共通する orange と類似しており、SMale + SFemale 内のベクトルは男女両方の特徴を持っている。

4.2

0.6
11.9

5.9
37.2

0.001
0.007

8520
2848

NN-maxNN-sum-con
NN-max-con
DeepSets [Zaheer 17]
LAF [Pellegrini 21]

4.8
4.6
3.4
5.5
6.5

22.5 53.1 0.023 779
19.8 48.5 0.021 1110
16.9 46.6 0.018 1250
24.2 54.3 0.025 696
26.6 54.5 0.030 650

GloVeFuzzy Set
Member6.2
5.8

30.9 68.0 0.023
35.7 72.7 0.020

word2vecw2v Near
Fuzzy Set
Member

6.04.7
5.3

28.1 54.7 0.021 641
19.9 47.2 0.017 1240
29.7 58.9 0.017 478

fastText

Fuzzy Set
Member5.9
5.9

25.8 52.5 0.021
33.7 65.0 0.019

320246820304

表 4: 和集合と共通部分における概念集合検索タスクの結果。
和集合
共通部分
Recall MRR Med. Recall MRR Med.
@10 @100@10 @100

GloVe
Fuzzy Set
Member

0.9 5.4 0.005 2347 5.1 32.5 0.023 255
0.0 22.4 0.005 407 8.3 44.2 0.028 149word2vec
Fuzzy Set
Member

0.6 2.8 0.003 4426 0.3 4.7 0.002 3420
0.0 18.4 0.004 1202 5.3 25.7 0.017 1445

fastText
Fuzzy Set
Member

0.6 3.2 0.004 5370 3.6 21.4 0.015 3234
0.0 20.5 0.005 668 7.0 39.4 0.025 187

等）と事前学習済み埋込空間で集合の表現を計算する教師なしの方法を使用した。後者には、埋込空間での最近傍に基づく手法 (w2v Near)、ファジィ集合で集合のベクトル表現を得て cos類似度で検索する手法（Fuzzy Set）、そして提案法（Member）を用意した。提案法は単語集合を部分空間として表現し、帰属度で検索する。教師なし手法が使用する事前学習済み埋込は300 次元の GloVe、word2vec ∗2 、fastText∗3 を使用した。
結果 結果は表 3,4 の通り。提案法は教師なしの手法の中で最も優位性がある手法となった。特に和集合・共通部分についてはファジィ集合よりも提案法が帰属関係を良く捉えている（表4）。また教師なしにも関わらず教師ありの手法に迫っている。

概念集合検索タスク

提案する帰属度の計算が具体的なタスクで効果を発揮するか確かめるため概念集合検索タスクによる検証を行った。
タスク 概念集合検索タスク [Zaheer 17] は単語集合が与えられ、その集合に属す未知の単語を検索して集合を拡張するタスクである。例えば男性を表す単語集合 {man, king, his} が与えられ、モデルは関連した単語 boy, son, . . . を検索する。
検証方法 モデルはある単語が単語集合（例 {man, king, his}）に含まれるかを示すスコアを算出する。これをデータセットの語彙全体に対して計算しランキングし、評価用単語 (boy, son, . . .)のランクに基づき、Recall, MRR, Median で評価する。
実験設定 概念集合検索タスクの集合データセットには和集合・共通部分のデータは含まれていないため、データセット内の２つの単語集合を無作為に 100 ペア組み合わせ作成した。オリジ
ナルデータセットに合わせてテスト用 100 集合とし、集合 1 つにつき 5 単語をモデルへの入力とし、残り（最大 45 単語）を評価に使用した。ベースラインには集合のベクトル表現を教師ありで学習する方法（DeepSets [Zaheer 17],LAF[Pellegrini 21]∗1

Random0.1
Bayes Set [Ghahramani 05] 1.7
Supervised

部分空間表現

集合 (LDA-1k, Vocab = 17k)
RecallMRR Med.
@10 @100 @1k

Unsupervised

表現する集合表 3: 概念集合検索タスクの結果。提案法 (Member) と Fuzzy
Set 以外のスコアは [Zaheer 17, Pellegrini 21] から引用した。

4.3

教師なし文類似度タスク

提案法によって２つの単語集合の類似性を捉えられるだろうか？埋込空間上の集合類似度を教師なし文類似度タスク (STS)に適用し、単語集合間の類似性を捉えているかを評価する。
検証方法 STS では２つの文（単語集合）の類似度を算出し人手評価との相関係数で評価する。
実験設定 データセットは SemEval shared task の 20122016 [Agirre 12, Agirre 13, Agirre 14, Agirre 15, Agirre 16]のものを使用した。ベースラインは平均ベクトルの cos 類似度∗2∗3

https://nlp.stanford.edu/projects/glove/3

https://code.google.com/archive/p/word2vec/
https://fasttext.cc/docs/en/english-vectors.html

ている。それに対し提案法は部分空間に基づいて集合演算と集合に関する法則の成立が理論的に保証されている強みがある。
ベクトル空間以外での集合表現 単語を記号として直接扱う集合類似度は過去に数多く提案されている。例えば単語集合間の類似度では Jaccard 係数 [Manning 01] や、語彙長の TF-IDFベクトル間で cos 類似度を計算する方法 [Jurafsky 00] などがある。また、Bayesian Sets は単語が集合に属す確率を自己相互情報量に基づきスコアリングする手法である。

表 5: STS タスクの相関係数（r×100）。先行研究に従い BERTと SimCSE-BERT は順位相関（ρ × 100）を記載した。
GloVe

52.1
58.2
55.7

49.6
53.9
61.0

54.6
65.1
67.2

56.1
70.9
72.9

51.4
71.1
69.7

52.8
63.8
65.3

w2v

Avg-cos
DynaMax
Subspace

51.6
53.7
48.3

58.2
59.5
61.7

65.6
68.0
66.2

67.5
74.2
72.9

64.7
71.3
65.5

61.5
65.3
62.9BERT fastTxt

STS12 STS13 STS14 STS15 STS16 Avg.
Avg-cos
DynaMax
Subspace

Avg-cos
DynaMax
Subspace

58.3
60.9
53.2

57.9
60.3
63.0

64.9
69.5
68.0

67.6
76.7
75.3

64.3
74.6
67.4

62.6
68.4
65.4

本研究は JST さきがけ (JPMJPR1856) 、JST ACT-X（JPMJAX200S）、奈良先端科学技術大学院大学支援財団支援事業の支援を受けたものです。

Avg-cos
DynaMax
Subspace

57.7
57.9
57.2

58.3
56.1
60.7

61.9
62.2
64.6

70.2
72.1
73.9

69.6
70.0
70.8

63.5
63.6
65.4

参考文献

Jaccard

50.1

48.0

58.6

65.9

59.3

56.4

ELMo (BoW) 55
Skip-Thought 41
SimCSE-BERT 68.40

532982.41

6340
74.38

68
4680.91

60
52
78.56

59.8
41.6
76.93

謝辞

[Agirre 12] Agirre, E., et al.: SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity, in SemEval, pp. 385–393 (2012)[Agirre 13] Agirre, E., et al.: *SEM 2013 shared task: Semantic
Textual Similarity, in SEM, pp. 32–43 (2013)[Agirre 14] Agirre, E., et al.: SemEval-2014 Task 10: Multilingual
Semantic Textual Similarity, in SemEval, pp. 81–91 (2014)[Agirre 15] Agirre, E., et al.: SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability, inSemEval, pp. 252–263 (2015)[Agirre 16] Agirre, E., et al.: SemEval-2016 Task 1: Semantic Textual Similarity, Monolingual and Cross-Lingual Evaluation, in SemEval, pp. 497–511 (2016)[Arora 17] Arora, S., et al.: A Simple but Tough-to-Beat Baseline
for Sentence Embeddings, in ICLR (2017)[Birkhoﬀ 36] Birkhoﬀ, G.Von Neumann, J.: The logic of quantum
mechanics, Annals of mathematics, pp. 823–843 (1936)[Choi 10] Choi, S.-S., et al.: A survey of binary similarity and distance measures, Journal of systemics, cybernetics and informatics, Vol. 8, No. 1, pp. 43–48 (2010)[Devlin 19] Devlin, J., et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, in NAACLHLT, pp. 4171–4186 (2019)[Gao 21] Gao, T., et al.: SimCSE: Simple Contrastive Learning ofSentence Embeddings, in EMNLP, pp. 6894–6910 (2021)[Ghahramani 05] Ghahramani, Z.Heller, K. A.: Bayesian Sets, inNIPS, pp. 435–442 (2005)[Huang 21] Huang, J., et al.: WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach, in EMNLP (2021)[Jurafsky 00] Jurafsky, D.: Speech & language processing, Pearson
Education India (2000)[Kusner 15] Kusner, M. J., et al.: From Word Embeddings To Document Distances, in ICML, pp. 957–966 (2015)[Manning 01] Manning, C. D.Schütze, H.: Foundations of statistical natural language processing, MIT Press (2001)[Mikolov 13] Mikolov, T., et al.: Distributed Representations ofWords and Phrases and their Compositionality, in NIPS, pp.
3111–3119 (2013)[Miller 95] Miller, G. A.: WordNet: A Lexical Database for English,
Commun. ACM, Vol. 38, No. 11, pp. 39–41 (1995)[Pellegrini 21] Pellegrini, G., et al.: Learning Aggregation Functions, in IJCAI, pp. 2892–2898 (2021)[Pennington 14] Pennington, J., et al.: Glove: Global Vectors for
Word Representation, in EMNLP, pp. 1532–1543 (2014)[Reimers 19] Reimers, N.Gurevych, I.:
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, in EMNLPIJCNLP, pp. 3980–3990 (2019)[Wang 19] Wang, A., et al.: GLUE: A Multi-Task Benchmark andAnalysis Platform for Natural Language Understanding, in ICLR
(2019)[Yokoi 20] Yokoi, S., et al.: Word Rotator’s Distance, in EMNLP,
pp. 2944–2960 (2020)[Zaheer 17] Zaheer, M., et al.: Deep Sets, in NIPS (2017)[Zhang 20] Zhang, T., et al.: BERTScore: Evaluating Text Generation with BERT, in ICLR (2020)[Zhelezniak 19] Zhelezniak, V., et al.: Don’t Settle for Average, Gofor the Max: Fuzzy Sets and Max-Pooled Word Vectors, in ICLR(2019)（Avg-cos）、ファジィ集合に基づいた集合類似度 (DynaMaxJaccard [Zhelezniak 19])、単語を記号として扱う集合類似度(Jaccard)、SimCSE[Gao 21] を使用した。評価尺度には相関係数 (r) を使用した。単語埋込は GloVe、word2vec、fastTextに加えて BERT-base [Devlin 19] を使用した。教師なし STS
では BERT の 12 層の動的埋込よりも 12 層と 1 層の動的埋込の平均が優れている事が分かっており [Huang 21]、我々の実験でも同様の傾向が見られたため後者の結果のみ記載する。
結果 結果は表 5 の通り ∗4 。全体的な傾向として提案法は単語ベクトル集合の表現として頻繁に使用される平均ベクトル（Avg-cos）よりも高い優位性を示した。また近年の強いベースラインである DynaMaxJaccard と同等の性能を示した。集合と集合演算を部分空間で表現したことで、学習済み埋め込み空間において集合類似度を単語埋込空間上の演算へと拡張できたことを示している。提案法は対照学習による手法である
SimCSE-BERT に及ばないが、提案法は追加の学習を行わず埋込空間に定義した演算のみで類似度が計算できている。

5.

関連研究

ここでは埋込空間で集合の表現・演算を試みている先行研究を概観し、提案法との違いを述べる。
教師あり集合表現 DeepSets [Zaheer 17] は集合データに対する表現学習の代表的な手法である。この派生手法には学習可能な集約関数の導入 [Pellegrini 21] などがある。これらの手法に対して本研究では学習済み埋込空間上で集合を部分空間として表し教師なしで集合・集合演算の表現を実現している。
教師なし集合表現 [Zhelezniak 19] はファジィ集合に基づき単語埋込空間上で集合および集合演算を Fuzzy Bag of Wordsという方法で表現している。BERTScore [Zhang 20] は集合間の適合率と再現率を内積行列を使って近似的にモデル化している。WMD[Kusner 15] や WRD[Yokoi 20] は最適輸送に基づき単語ベクトル集合間の類似度をモデル化した。これらの研究は擬似的な集合表現、もしくは一部の集合演算の実現に留まっ∗4

ベースラインのスコアは [Arora 17, Zhelezniak 19] から引用 し た 。BERT の DynaMaxJaccard と Avg-cos は 先 行 研究
[Zhelezniak 19] のコードを用いて実験した。

4