言語処理学会 第30回年次大会 発表論文集（2024年3月）

語義の箱埋め込み学習とその応用
小田 康平
白井 清昭
北陸先端科学技術大学院大学 先端科学技術研究科{s2210042,kshirai}@jaist.ac.jp

概要
語義曖昧性解消の先行研究では語義の埋め込みを単一のベクトルで表現していたのに対し，本研究は語義の箱埋め込みを学習する手法を提案する．箱埋め込みの学習により，語義間の上位下位関係の推定や新語義の判定が可能となる．Prototypical Networksに基づく MetricsWSD を語義の箱埋め込みを学習す
るように拡張し，モデル学習に必要なエピソードを作成する 2 つの戦略を提案する．評価実験を行い，語義曖昧性解消，新語義の判定，新語義の上位語義の推定という 3 つのタスクについて，提案手法の有効性を確認した．

1

はじめに

語義曖昧性解消 (Word Sense Disambiguation; WSD)とは，文脈における単語の意味 (語義) を特定するタ
スクである [1]．従来の WSD の研究のほとんどは，訓練データに出現する語義の中からテストデータにおける単語の語義を選択することを想定している．
しかし，単語の語義は日々変化し，新しい語義も新しく生まれている．そのため，単にあらかじめ定義された語義の中から該当する語義を選ぶのではな
く，対象単語が訓練データに存在しない未知の語義(あるいは新しい語義) であるのかを判定することが求められる．
従来の WSD に関する研究では分類モデルを学習する際に語義をベクトルで表現していたのに対し，
本研究では語義の箱埋め込みを学習することを目的とする．語義の箱埋め込みとは，ベクトル空間における領域によって表された語義の抽象表現である．
語義を箱埋め込みで表現することにより，箱埋め込
みが表す領域の重なりによって語義間の上位下位関係を自然に表現できる．また，対象単語を含む用例が与えられたとき，その対象単語の語義が新語義なのかを判定したり，新語義の上位語義を推定するこ

図1

語義の箱埋め込みによる上位語義の推定とができる．図 1 の例では，𝑥 の箱埋め込みが cat
や dog といった他の語義と領域が重ならないためにこれらとは異なる語義であること，animal の領域に包含されていることから上位語義は animal である
ことが推定できる．このように，語義の箱埋め込み
は，新語義の自動検出や WordNet[2] などの概念辞書の自動拡張に応用できる．
本研究では既存の WSD 手法である MetricWSD[3]を語義の箱埋め込みを学習するよう拡張する．さらに，モデルの損失を計算するために用いる小さい
データセットを作成する 2 通りの方法を提案する．
提案手法を WSD，新語義の判定，新語義の上位語義の推定の 3 つのタスクに適用する実験を行い，語義をベクトルで表現する従来手法と比較する．

2

関連研究

2.1

WSD

最近の WSD の研究には，語義の定義文を用いる手法 [4, 5, 6]，語義の定義文に加え上位下位関係
といった意味関係を用いる手法 [7, 8] などがある．
Bevilacqua らは，対象単語を含む用例から BART[9]によって語義の定義文を生成し，これと辞書の語義の定義文との類似度を測ることで語義の曖昧性を解消する手法を提案している [10]．また，この研究では新語義を判定することも目的としている．しかし，これらの手法では，訓練データにお― 2708 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ける低頻度語義に対する WSD の性能が低いことが問題とされている [11]．Chen らは，Prototypical
Networks[12] とよばれるメタ学習手法を用いて WSDを行う MetricWSD を提案し，低頻度語義に対する
WSD の性能を向上させた [3]．

2.2

タクソノミ拡張

上位下位関係からなる知識グラフはタクソノミと呼ばれる．タクソノミ拡張 (Taxonomy Expansion) と

図2

は，現在のタクソノミに含まれない単語と文脈が与えられたとき，その単語がタクソノミにおけるどの単語を親にもつかを予測するタスクである [13]．タ

提案手法の概要

両者の次元数は同一である．
箱埋め込みを学習するために，図 2 の点線の枠内

クソノミ拡張の代表的な手法として，グラフニューに示すように，MetricWSD における 𝑓 𝜃 の役割を担

ラルネットワークに基づく手法 [14]，対象ノードと根ノードとの最短パスを学習する手法 [15] などがあう BERT の最終層の後に全結合層 (Fully Connected

る．Jiang らは箱埋め込みを用いてタクソノミ拡張

象単語に対する埋め込み，出力は b である．b は半を行う手法を提案している [16]．本研究でも箱埋め分に分割され，それぞれ c と o となる．

Layer; FCL) をつなげる．この層の入力は BERT の対込みを用いるが，単語ではなく語義の箱埋め込みをあるアイテム 𝑥 がアイテム 𝑦 を包含する確率は，学習する点，MetricWSD を拡張して箱埋め込みを学アイテム 𝑥 の箱埋め込み b 𝑥 とアイテム 𝑦 の箱埋め習する点が異なる．

込み b 𝑦 を用いて式 (1) のように計算される．

3

提案手法

3.1

MetricWSD

𝑃(b 𝑦 |b 𝑥 ) =Vol(b 𝑥 ∩b 𝑦 )Vol(b 𝑥 )(1)

Vol は箱の体積を計算する関数である．Vol(b 𝑥 ∩b 𝑦 )Prototypical Networks[12] は分類問題を解くモデル

は 2 つの箱が重なっている部分の体積を意味する．

を学習するためのメタ学習手法である．図 2 にその

ただし，Vol のハードな定義では b 𝑥 と b 𝑦 が重なっ概要を示す． 𝑓 𝜃 は訓練データをベクトル表現に変ていない場合に値が 0 となり，勾配がなくなるた

換するモデルである．各分類クラスの訓練データをめ，ソフトな定義を用いる必要がある．本研究でサポートセットとクエリセットに分割し，サポート
セットのベクトルの平均から各分類クラスのプロト

は，先行研究 [16, 18] と同じく，Gumbel Box[19] にタイプ表現を獲得する．プロトタイプ表現とクエリ

よって関数 Vol を定義する．Gumbel Box では，2 つの箱が重なっている部分の体積を Gumbel 分布に基セットのベクトル表現との距離を損失とし，それがづき計算する．

最小になるようにモデル 𝑓 𝜃 のパラメタを更新する．

モデルを学習する際には，クエリ表現と各プロト

MetricWSD[3] は Prototypical Networks を WSD に

タイプ表現のペア (b 𝑥 , b 𝑦 ) ごとに損失を計算する．

適用した手法である．分類クラスは語義であり，損失は，先行研究 [18] と同じく，式 (2) に示す binary

プロトタイプ表現が語義のベクトルに該当する．

cross-entropy とする．

訓練データは語義を含む文 (用例) の集合であり，用例をベクトル表現に変換するモデル 𝑓 𝜃 として
Bidirectional Encoder Representations from Transformers(BERT)[17] が用いられている．

3.2

𝐿 = −𝛿·log𝑃(b 𝑦 |b 𝑥 ) − (1 − 𝛿)·log(1 − 𝑃(b 𝑦 |b 𝑥 ))(2)

ここで，𝛿 は正例の場合に 1，負例の場合に 0 の値を取る変数である．ここでの正例とは，図 3 に示すように，語義 𝑦 が語義 𝑥 と同じもしくは語義 𝑥 の上位

語義の箱埋め込みの学習本研究では，先行研究 [16, 18] に倣い，語義の箱埋め込みを b = (c, o) と表現する．c は中心を表すベ
クトル，o は箱の辺の長さを表すベクトルであり，概念 (祖先) である場合，負例とはそれ以外の場合を指す．直観的には，ある語義の箱埋め込みは，自身
もしくは上位概念の語義との箱埋め込みが重なるよ
うに，それ以外とは重ならないように学習される．

― 2709 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

る．テストデータの用例の箱埋め込みを b𝑞 とし，
式 (3) で定義する類似度 sim(b𝑖𝑝 , b𝑞 ) が最大となる語
義を選択する．
sim(b𝑖𝑝 , b𝑞 ) = 2 ×
図 3 損失計算における正例と負例 (赤が正例，青が負例)

4.2
3.3

エピソードの作成

𝑃(b𝑖𝑝 |b𝑞 )𝑃(b𝑞 |b𝑖𝑝 )𝑃(b𝑖𝑝 |b𝑞 ) + 𝑃(b𝑞 |b𝑖𝑝 )(3)

新語義の判定ある用例に出現する対象単語 𝑤 の語義が新語義か一般に損失を計算するために分割された少数のサンプルからなるデータセットはバッチ (Prototypical

どうかを判定する．全ての語義について， B𝑤 と b𝑞

Networks のようなメタ学習ではエピソード) と呼ばれる．MetricWSD では，1 つの単語に対して 1 つの新語義，それ以外は新語義ではないと判定する．
閾値 𝛼 は対象単語毎に設定する．開発データをエピソードを用意し，対象単語を含む用例によって用意し，対象単語の開発データにおけるクエリ表現

エピソードを作成する．本研究では語義間の関係をと，訓練データから学習された対象単語の語義のプ学習するため，1 つの語義に対して 1 つのエピソー

ロトタイプ表現との類似度の平均を 𝛼 とする．

ドを用意する．語義 𝑡 に対するエピソードの作成手順を以下に示す．
1. 𝑁𝐶 個の語義を選択する．正例と負例を含む．

との類似度 sim(b𝑖𝑝 , b𝑞 ) が閾値 𝛼 より小さい場合は

4.3

新語義の上位語義の推定

対象単語 𝑤 の新語義を含む用例をテストデータ

2. それぞれの語義について，その語義の用例をラとし，その上位語義の候補をランキングする．訓練

ンダムに 𝑁 𝑆 個選択し，サポートセットとする．

データにおける全ての単語の全ての語義のプロト

3. サポートセットに含まれない対象語義 𝑡 の用例の中からランダムに 𝑁𝑄 個の用例を選択し，クエリーセットとする．
上記の手続きのステップ 1 において，𝑁𝐶 個の語義を選択する 2 つの戦略を提案する．
戦略 𝑺𝒓

中から 𝑃(b𝑖𝑝 |b𝑞 ) が閾値 𝛽 より大きい語義を選択し，上位語義の候補の集合を得る．次に，これらの候補を Vol(b𝑖𝑝 ) と Vol(b𝑞 ) の差が小さい順にソートする．

5

実験

5.1

データセット𝑡 と 𝑡 の (直近の) 上位語義を正例として選び，残りの語義をランダムにサンプリングす
る．𝑡 の祖先に該当する語義が選ばれたときは正例，それ以外は負例となる．
戦略 𝑺 𝒏𝑝} とする．まず， B のタイプ表現を B = {b1𝑝 , ..., b𝑚𝑡 と 𝑡 の上位語義を正例，𝑡 の下位語義なら実験には既存の WSD のデータセットを用いる．
Reganato らの提案した枠組み [20] に従い，SemCor

びに 𝑡 と同じ上位語義をもつ語義 (兄弟関係に

3.0[21, 22] を 訓 練 デ ー タ，SemEval-2007[23] を 開
発データ，Senseval-2[24]，Senseval-3[25]，SemEval-

ある語義) を負例として選ぶ．𝑺𝒓 と同様に残り

2013[26]，SemEval-2015[27] をテストデータとする．

の語義はランダムにサンプリングする．

それぞれのデータセットは正しい語義が付与された

戦略 𝑆 𝑛 では，ある語義の箱埋め込みが，特に下位用例の集合である．

語義や兄弟関係にある語義の箱埋め込みと重ならな

上 記 の デ ー タ セ ッ ト 群 か ら， Dliving thing.n.01 ，Dartifact.01 ， Dentity.n.01 という 3 つのデータセットを作成する．living thing.n.01，artifact.n.01，entity.n.01 はWordNet 上における Synset(語義) であり，各データ
セットはこれらの Synset の下位の語義を持つ用例から構成される． Dentity.n.01 は名詞全体，それ以外の
データセットは名詞のサブセットである．訓練デー
タならびに 4 節で述べた 3 つのタスクのテストデー
タの詳細を付録 A に示す．

いことを重視している．

4

語義の箱埋め込みの応用

4.1

WSD

ある用例に出現する対象単語 𝑤 の語義を決定す
る．訓練データから作成された対象単語 𝑤 の 𝑘 個の語義のプロトタイプ表現を B𝑤 = {b1𝑝 , ..., b 𝑘𝑝 } とす

― 2710 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

データセットでは下回った．2 つのサンプリング戦

実験設定

5.2

略を比較すると，全体的には 𝑆𝑟 の方が 𝑆 𝑛 よりも高単一のベクトルで語義を表現する手法をベースラ

い F1 スコアが得られた．

インとし，箱埋め込みを学習する提案手法と比較す

表 2 新語義の判定の結果 (F1 スコア)
Model
Dliving thing.n.01 Dartifact.n.01 Dentity.n.01
BERT-NN
16.4
10.2
19.5
MetricWSD
15.2
17.7
21.2
ProtoBox 𝑆𝑟
14.5
14.1
25.1
ProtoBox 𝑆 𝑛
10.9
15.5
22.5

る．具体的には，事前学習済みの BERT による埋め込みを用いる手法 (BERT-NN) と MetricWSD をベー
スラインとする．
BERT-NN，MetricWSD，提案手法のいずれも，事前学習済み BERT として bert-base-uncased [28] を使用した．箱埋め込みを出力するための全結合層の次元数は 256 (c と o の次元数は 128)，サポートサイズ
𝑁 𝑆 は 5，クエリサイズ 𝑁𝑄 は 20，各エピソードの語

5.3.3

新語義の上位語義推定の実験結果

新語義の上位語義推定の結果を表 3 に示す．4.3
項で述べた閾値 𝛽 は 0.5，0.7，0.9 のいずれかと設義の数 𝑁𝐶 は 128 とした．

定した．ACC はランクが最上位の上位語義の正解

結果と考察

率，MRR は正解の上位語義のランクの逆数の平均，5.3

本項では，3 つのタスクの実験結果について述べ，それを考察する．なお，学習された語義の箱埋め込
みの例を付録 B に示す．
5.3.1

各 手 法 の WSD の 正 解 率 を 表 1 に 示 す．
ProtoBox 𝑆𝑟 と ProtoBox 𝑆 𝑛 は，そ れ ぞ れ 𝑆𝑟 , 𝑆 𝑛 を
サンプリング戦略としたときの提案手法を表す．
「ALL」はテストデータ全て，「≤ 10」はテストデー
タのうち訓練データにおける出現頻度が 10 回以下の語義のみを対象としたときの正解率である．提案
手法は，小規模なデータセットである Dliving thing.n.01と Dartifact.n.01 では，おおむねベースラインを上回った．しかし，名詞全体のデータセット Dentity.n.01 では，提案手法の正解率はベースラインよりも低かった． Dentity.n.01 では語義の数が他の 2 つのデータセッ
トと比べて非常に多いため，語義の箱埋め込みを適切に学習できていない可能性がある．

BERT-NN
MetricWSD
ProtoBox 𝑆𝑟
ProtoBox 𝑆 𝑛

表 1 WSD の結果 (正解率)
Dliving thing.n.01 Dartifact.n.01
ALL
81.6
82.1
83.2
78.4

≤ 10
72.7
77.3
80.3
81.8

Wu-Palmer 類似度 [29] である．ACC と WP は全てのデータセットで提案手法がベースラインを上回った． Dentity.n.01 において，MRR がベースラインを下

WSD の実験結果

Model

WP はランクが最上位の上位語義と正解の語義との

ALL
74.4
85.9
87.2
84.6

≤ 10
77.5
92.5
87.5
87.5

Dentity.n.01
ALL
57.9
73.3
62.8
63.2

≤ 10
60.2
57.9
57.2
58.3

周り，ACC や WP でもベースラインとの差が小さいのは，ランキングの対象とする上位語義の候補の選定方法の違いによるものと考えられる．4.3 項で述
べたように，提案手法では 𝑃(b𝑖𝑝 |b𝑞 ) > 𝛽 という条件を満たす語義を上位語義の候補とするが，ベースラ
インでは全ての語義を上位語義の候補としている．
より多くの語義を評価対象とする Dentity.n.01 では，真の上位語義が 𝑃(b𝑖𝑝 |b𝑞 ) > 𝛽 の条件を満たさずに候補から除外されていると考えられる．よって，上位語義の候補を絞り込む条件を洗練する必要がある．

Model

表3

新語義の上位語義推定の結果

𝛽Dliving thing.n.01

Dartifact.n.01

Dentity.n.01

ACC MRR WP ACC MRR WP ACC MRR WP
BERT-NN
15.0 25.9 75.4 9.4 15.0 56.7 6.8 11.3 46.0–
MetricWSD
10.3 22.3 76.5 3.1 15.1 47.5 7.9 13.2 50.1
ProtoBox 𝑆𝑟
37.4 51.5 86.3 12.5 15.6 62.4 5.9 12.5 52.6
0.5
ProtoBox 𝑆𝑛
53.3 59.3 86.9 9.4 10.9 62.6 6.8 12.2 50.8
ProtoBox 𝑆𝑟
51.4 58.9 88.7 18.8 18.8 64.9 6.1 11.9 54.2
0.7
ProtoBox 𝑆𝑛
53.3 55.0 87.1 3.1 4.7 59.1 6.7 11.4 50.8
ProtoBox 𝑆𝑟
53.3 54.7 86.6 9.4 9.4 65.4 10.0 12.7 52.5
0.9
ProtoBox 𝑆𝑛
34.6 34.6 76.2 3.1 3.1 60.3 4.4 6.0 47.8

おわりに

6

本研究では語義の箱埋め込みを学習する新しい手法を提案した．今後の課題として， Dentity.n.01 のよう
新語義の判定の実験結果

各手法の新語義の判定の F1 スコアを表 2 に示す．

な語義の数が多い場合でも語義の箱埋め込みを適切に学習できるようにエピソード作成戦略を改善する

表 1 に示した WSD の結果とは異なり， Dentity.n.01 でこと，動詞・形容詞など名詞以外の品詞での有効性

は提案手法がベースラインを上回り，残りの 2 つのを検証すること，などが挙げられる．

5.3.2― 2711 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

tional Conference on Knowledge Discovery & Data Mining,

参考文献[1] Roberto Navigli. Word sense disambiguation: A survey. ACM
Comput. Surv., Vol. 41, No. 2, 2009.
[2] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, pp. 39–41, 1995.
[3] Howard Chen, Mengzhou Xia, and Danqi Chen. Non-parametricfew-shot learning for word sense disambiguation. In Proceedings of the 2021 Conference of the North American Chapterof the Association for Computational Linguistics: Human
Language Technologies, pp. 1774–1781, 2021.

[4] Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. In Proceedings of the 2019 Conference on Empirical
Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP), pp. 3509–3514, 2019.

[5] Terra Blevins and Luke Zettlemoyer. Moving down the long tailof word sense disambiguation with gloss informed bi-encoders. In
Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, pp. 1006–1017, 2020.

[6] Edoardo Barba, Tommaso Pasini, and Roberto Navigli. ESC: Redesigning WSD with extractive sense comprehension. In Proceedings of the 2021 Conference of the North American Chapterof the Association for Computational Linguistics: Human
Language Technologies, pp. 4661–4672, 2021.

[7] Michele Bevilacqua and Roberto Navigli. Breaking through the
80% glass ceiling: Raising the state of the art in word sense disambiguation by incorporating knowledge graph information. In
Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, pp. 2854–2864, 2020.

[8] Sawan Kumar, Sharmistha Jat, Karan Saxena, and Partha Talukdar.
Zero-shot word sense disambiguation using sense deﬁnition embeddings. In Proceedings of the 57th Annual Meeting of the
Association for Computational Linguistics, pp. 5670–5681,
2019.
[9] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad,
Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke
Zettlemoyer. BART: Denoising sequence-to-sequence pre-training
for natural language generation, translation, and comprehension. In
Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, pp. 7871–7880, 2020.

[10] Michele Bevilacqua, Marco Maru, and Roberto Navigli. Generationary or “how we went beyond word sense inventories and learned
to gloss”. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.
7207–7221, 2020.
[11] Marco Maru, Simone Conia, Michele Bevilacqua, and Roberto
Navigli. Nibbling at the hard core of Word Sense Disambiguation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4724–4737, 2022.

[12] Jake Snell, Kevin Swersky, and Richard Zemel. Prototypical networks for few-shot learning. In Advances in Neural Information
Processing Systems, Vol. 30, 2017.
[13] Georgeta Bordea, Els Lefever, and Paul Buitelaar. SemEval-2016
task 13: Taxonomy extraction evaluation (TExEval-2). In Proceedings of the 10th International Workshop on Semantic
Evaluation (SemEval-2016), pp. 1081–1091, 2016.

[14] Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan
Wang, and Jiawei Han. TaxoExpan: Self-supervised taxonomy
expansion with position-enhanced graph neural network. In Proceedings of The Web Conference 2020, pp. 486–497, 2020.
[15] Yue Yu, Yinghao Li, Jiaming Shen, Hao Feng, Jimeng Sun, andChao Zhang. STEAM: Self-supervised taxonomy expansion withmini-paths. In Proceedings of the 26th ACM SIGKDD Interna-

pp. 1026–1035, 2020.
[16] Song Jiang, Qiyue Yao, Qifan Wang, and Yizhou Sun. A single
vector is not enough: Taxonomy expansion via box embeddings.
In Proceedings of the ACM Web Conference 2023, pp. 2467–
2476, 2023.
[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019
Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171–4186,

2019.
[18] Yasumasa Onoe, Michael Boratko, Andrew McCallum, and Greg
Durrett. Modeling ﬁne-grained entity types with box embeddings. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1: Long Papers), pp. 2051–2064, 2021.

[19] Shib Dasgupta, Michael Boratko, Dongxu Zhang, Luke Vilnis, Xiang Li, and Andrew McCallum. Improving local identiﬁability inprobabilistic box embeddings. In Advances in Neural Information Processing Systems, Vol. 33, pp. 182–192, 2020.
[20] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word sense disambiguation: A uniﬁed evaluation frameworkand empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 99–110,

2017.
[21] George A. Miller, Martin Chodorow, Shari Landes, Claudia Leacock, and Robert G. Thomas. Using a semantic concordance forsense identiﬁcation. In Human Language Technology: Proceedings of a Workshop held at Plainsboro, New Jersey,
March 8-11, 1994, 1994.

[22] SemCor 3.0, (2024 年 1 月 閲 覧). https://web.eecs.umich.
edu/∼mihalcea/downloads.html#semcor.
[23] Sameer Pradhan, Edward Loper, Dmitriy Dligach, and Martha
Palmer. SemEval-2007 task-17: English lexical sample, SRL andall words. In Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007), pp. 87–92,
2007.
[24] Philip Edmonds and Scott Cotton. SENSEVAL-2: Overview.
In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems,
pp. 1–5, 2001.
[25] Benjamin Snyder and Martha Palmer. The English all-words
task. In Proceedings of SENSEVAL-3, the Third International
Workshop on the Evaluation of Systems for the Semantic
Analysis of Text, pp. 41–43, 2004.

[26] Roberto Navigli, David Jurgens, and Daniele Vannella. SemEval2013 task 12: Multilingual word sense disambiguation. In Second
Joint Conference on Lexical and Computational Semantics(*SEM), Volume 2: Proceedings of the Seventh International
Workshop on Semantic Evaluation (SemEval 2013), pp. 222–

231, 2013.
[27] Andrea Moro and Roberto Navigli. SemEval-2015 task 13: Multilingual all-words sense disambiguation and entity linking. In
Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015), pp. 288–297, 2015.

[28] BERT base model (uncased), (2023 年 12 月 閲 覧). https://huggingface.co/bert-base-uncased.
[29] Zhibiao Wu and Martha Palmer. Verb semantics and lexical selection. In 32nd Annual Meeting of the Association for Computational Linguistics, pp. 133–138, 1994.

― 2712 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図4

赤：animal.n.01 の箱，青：dog.n.01 の箱．𝑃(animal.n.01|dog.n.01) = 0.98，𝑃(dog.n.01|animal.n.01) = 2.04𝑒 −9 ．

図5

赤：tree.n.01 の箱，青：dog.n.01 の箱．𝑃(tree.n.01|dog.n.01) = 8.44𝑒 −5 ，𝑃(dog.n.01|tree.n.01) = 3.84𝑒 −7 ．

新語義の上位語義推定

データセットの詳細

A
A.1

クのテストデータは，訓練データに出現しない語義の用例の集合である．表 6 の「新語義」の用例とは異なり，対象単語自体が訓練データに出現しない語

訓練データ

訓練データの統計を表 4 に示す．

語義数
単語数
用例数

A.2

新語義の上位語義推定タス義の用例も含まれる．その統計を表 7 に示す．

表 4 訓練データの統計
Dliving thing.n.01 Dartifact.n.01 Dentity.n.01
1,713
1,938
12,757
1,809
1,993
11,026
15,835
8,704
84,944

表 7 新語義の上位語義推定タスクのテストデータの用
例数
Dliving thing.n.01 Dartifact.n.01 Dentity.n.01
用例数
107
32
658

B

テストデータWSD WSD タスクのテストデータは，多義語を含む用例で，かつその正解の語義が訓練データに出現する用例の集合である．その統計を表 5 に示す．
表 5 WSD タスクのテストデータの用例数
Dliving thing.n.01 Dartifact.n.01
Dentity.n.01
ALL≤ 10
ALL ≤ 10 ALL ≤ 10
用例数 19066
78
40
2,514 992

新語義の判定 新語義判定タスクのテストデータ
は，対象単語が訓練データに出現する用例の集合である．正解語義が訓練データに出現していなければ
新語義の用例，そうでない場合は新語義ではない用例としてラベル付けする．その統計を表 6 に示す．
表 6 新語義判定タスクのテストデータの用例数
Dliving thing.n.01 Dartifact.n.01 Dentity.n.01
新語義
20
12
295
新語義ではない
500
221
3,379

語義の箱埋め込みの例

Dliving thing.n.01 を訓練データとし，提案手法 ProtoBox 𝑆𝑟 で学習した箱埋め込みの例を示す．図 4 は
2 つの語義 animal.n.01 と dog.n.01 のプロトタイプ表
現 (語義の箱埋め込み) を可視化したものである．横軸は箱の次元であり，縦軸は各次元の辺の長さである．紫は 2 つの語義の箱埋め込みが重なっている領域である．同図ならびに 𝑃(animal.n.01|dog.n.01)
が 0.98 と高いことから，animal.n.01 の箱埋め込みが dog.n.01 の 箱 埋 め 込 み を お お む ね 包 含 し て い
る こ と が わ か る．ま た，tree.n.01 と dog.n.01 の プ
ロトタイプ表現を図 5 に示す．𝑃(tree.n.01|dog.n.01)
も 𝑃(dog.n.01|tree.n.01) も 低 い 値 で あ る こ と か ら，tree.n.01 の箱埋め込みと dog.n.01 の箱埋め込みはほとんど重なっていないことがわかる．

― 2713 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).