# 定義文を用いた文埋め込み構成法

塚越駿笹野遼平武田浩一
名古屋大学情報学部名古屋大学大学院情報学研究科
tsukagoshi.hayato@e.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 1 はじめに

近年，自然言語推論 (Natural Language Inference: NLI) データセットを用いて文埋め込みを構成する手法が成功を収めており，文類似度 (Semantic Textual Similarity: STS) タスクをはじめとする様々なタスクで活用されている [1,2].これらの手法では，NLI データセットの文ぺアに付与されている「含意」「矛盾」「その他」のラベルを正しく分類するというタスクを通して文埋め込みを構成する。しかし，このような手法は，大規模な NLI データセットが整備されている言語でしか利用できないという問題がある.

本研究ではこの問題を解決するため，辞書に含まれる単語とその定義文が基本的に同一の意味内容を表すという関係に着目し，辞書の定義文を用いた文埋め込み構成法を提案する。辞書は NLI データセットと比べ，はるかに多くの言語において整備が行われており，定義文を用いた文埋め込み構成法は多くの言語に適用可能であると考えられる.

## 2 定義文を用いた文埋め込み構成法

本研究で提案する定義文による文埋め込み構成法は，NLI データセットを用いて文埋め込みを構成するモデルとして代表的な Sentece-BERT [1] と同様，BERT [3] や RoBERTa [4] などの事前学習済み言語モデルをベースとし，これらのモデルの出力から文埋め込みを構成する (図 1). 本節ではまず BERT と RoBERTa，および，Sentence-BERTを紹介し，続いて提案する文埋め込み構成法の説明を行う。

## 2.1 BERT と RoBERTa

BERT は複数層の Transformer [5] エンコーダで構成される事前学習済み言語モデルである。 マスク穴埋め問題と次文予測によって，大規模なテキストデータで自己教師あり学習を行うことで言語知識を獲得し, 文脈に従った単語埋め込みを出力する。 マスク穴埋め問題は，入力文の中のトークンを一定

図 1 Sentence-BERT (左) と提案手法 (右) の概要図

の割合で [MASK] という特殊トークンに置き換えてモデルへ入力し, [MASK] に対応する位置の最終層の埋め込みを用いて，置き換え前のトークンを予測するタスクである．次文予測は，文区切りトークン [SEP] で繋がれた 2 文を BERT に入力した際，文頭に付与された特殊トークン [CLS] の出力をもとにそれらが元のテキストデータで連続する 2 文であるかどうかを予測するタスクである。

一方，RoBERTa は BERT と同様の構造をしているが，BERT で事前学習時に行われていた次文予測を排除し，データサイズ，バッチサイズを大きくすることで BERT の改善を試みたモデルである．次項以降で説明する Sentence-BERT と提案手法はいずれもベースモデルとして BERT と RoBERTa が利用可能であるが，本稿におけるモデルの説明では基本的に BERTを用いた場合について説明する。

## 2.2 Sentence-BERT

NLI データセットを用いた文埋め込み構成法は Conneau ら [2]により提案された. Conneau らは, パラメータを共有した 2 のモデルの学習を行う Siamese network 構造を用いて，類似した文が意味べクトル空間上で近い位置に分布するように文埋め込みを構成する InferSentを提案した. Reimers ら [1] によって提案された Sentence-BERT は, InferSent と類
似した構造を採用しているが，文ベクトルの構成に fine-tuning した BERTを用いている. Sentence-BERT の概要を図 1 左に示す. Sentence-BERT では，まず文を BERT に入力し, その出力を pooling することで文ベクトルを構成する. pooling 手法には以下の 3 種類が用いられる。

CLS BERT の事前学習時に次文予測で用いられる [CLS] トークンの埋め込みを用いる。RoBERTaを用いる場合は $[\mathrm{CLS}]$ が存在しないため, 代替として文頭トークン $<\mathrm{s}>$ の埋め込みを用いる。

Mean 文を構成するすべての語の文脈化単語埋め込みの平均を用いる。

Max 文を構成するすべての語の文脈化単語埋め込みの次元ごとの最大値を用いる.

pooling により得られる文ぺアのそれぞれの文埋め込みを $\boldsymbol{u}, \boldsymbol{v}$ とする. それらを組み合わせたべクトル $[\boldsymbol{u} ; \boldsymbol{v} ;|\boldsymbol{u}-\boldsymbol{v}|]$ をクラス数と同じ数の出力次元を持つラベル予測層に入力し, 文ぺアに付与されている「含意」などのラベルを正しく予測できるように fine-tuning を行う． fine-tuning には，SNLI デー タセット [6]，および，Multi-Genre NLI データセット [7]を合わせた約 100 万文を用いる。

## 2.3 定義文を用いた文埋め込み

本研究では，単語とその定義文が同一の意味内容を表すことに着目し, 定義文から単語予測を行うことで文埋め込みを構成する。提案手法の概要を図 1 右に示す.ここで，ある定義文 $X_{k}$ に対応する単語を $w_{k}$ と表し, BERT の事前学習時にマスク穴埋め問題で用いられる [MASK] の埋め込みから元のトー クンを予測する層を単語予測層と呼ぶ.

まず， $X_{k}$ を BERT に入力し，出力を pooling することで $X_{k}$ の文埋め込み $\boldsymbol{u}_{k}$ を構成する. pooling 手法には Sentence-BERT と同様に CLS, Mean, Max の 3 種類を用いる. 次に，構成した文埋め込み $\boldsymbol{u}_{k}$ を単語予測層に入力し， $X_{k}$ を入力としたときの $w_{k}$ の出現確率 $P\left(w_{k} \mid X_{k}\right)$ を得る. 損失関数に交差エントロピー誤差を用いて, $P\left(w_{k} \mid X_{k}\right)$ を最大化するように fine-tuning を行う.

この際，単語予測層には事前学習時のパラメータを固定して用いる. これにより, 追加の分類器などを新たに学習せず fine-tuning を行うことができる. また，事前学習時の単語予測層をそのまま使っているため，提案手法で得られる文埋め込みは，その文が表す意味内容に近い意味で使用されている単語が表 1 データセットの統計値

存在した場合，その文脈化単語埋め込みと類似するという性質が期待できる。

## 3 単語予測実験

提案手法により構成した文の埋め込みが，どの程度，文の意味を埋め込めているか評価するため，定義文の埋め込みを用いた単語予測実験を行った.

## 3.1 使用するデータセット

提案手法は単語と定義文のペアを必要とする．本研究では, 石渡ら [8] が公開しているデータセットの中から, Oxford Dictionary の単語と定義文を利用した. 各エントリは単語と定義文のペアからなり，一つの単語が複数の定義文を持ち得る. データは単語ごとに訓練データ/開発データ/テストデータに 8:1:1 の割合で分割した. また，提案手法は単語予測層に BERT または RoBERTa の事前学習時の層を用いるため, 各モデルの語彙に含まれない単語に関する予測確率を単語予測層から得ることはできない.したがって，本実験ではデータセットの中から BERT, RoBERTa それぞれの語彙に含まれる単語とその定義文のみを用いる。利用したデータセットの統計値を表 1 に示す.

## 3.2 実験設定

事前学習済みモデルとして，Hugging Face ${ }^{1)}$ が公開しているライブラリである Transformers ${ }^{2}$ から， BERT-base (bert-base-uncased), BERT-large (bert-largeuncased), RoBERTa-base (roberta-base), RoBERTa-large (roberta-large) を利用した. fine-tuning の設定として, バッチサイズは 16 , エポック数は 1 , 最適化手法に Adamを用いた.また, 学習の開始時点では学

表 2 単語予測の性能

習率を 0 とし，全学習ステップのうち $10 \%$ で，設定した値まで線形に学習率を増加させる warm-up を用いた. 学習率は各モデル, pooling 手法ごとに $2^{x} \times 10^{-6}, x \in\{0,0.5,1, \ldots, 7\}$ の範囲で探索し, 開発データでの平均逆順位 (Mean Reciprocal Rank; MRR) が最も高くなった学習率を使用した. 異なるシード値で 10 回実験を行い，その平均を評価スコアとした. 定義文を入力した際に出力される単語の予測確率から MRR と， 1，3，10 位以内に正解が含まれる割合 (Top- $k$ accuracy) を算出し，評価に用いた。また，比較対象として BERT-base モデルを fine-tuning せずに使った場合の性能も算出した。

## 3.3 実験結果

実験の結果を表 2 に示す. fine-tuning しなかった場合の性能は pooling 手法として Maxを選んだ場合が最も高かったものの, その Top-1 accuracy は 0.0157 と極めて低い値であり，高い性能を得るためには fine-tuning を行うことが必須であることが確認できる. 提案手法では, baseを用いたモデルより largeを用いたモデル，BERTを用いたモデルより RoBERTa を用いたモデルの方が性能が高く，RoBERTa-large と Mean の組み合わせが最も高い性能を示した.また, RoBERTa-large 以外のモデルは, pooling 手法に CLS を用いたモデルが最も高い性能を示した.

## 4 応用タスクにおける性能評価

生成された文埋め込みの一般的な有用性を評価するため Semantic Textual Similarity (STS) タスク，および，文埋め込み評価のためのツールキットである SentEval を用いた評価を行った.

## 4.1 実験設定

本節では，Reimers [1] らにより報告されている各タスクの性能と, 提案手法の性能との比較を行う.評価は，モデルごとに 3 節の実験で開発データの MRR が最も高かった pooling 手法を用いて行った3).既存手法の性能は Reimers ら [1] の結果を引用した.

## 4.2 Semantic Textual Similarity タスク

Semantic Textual Similarity (STS) タスクは，文ペアが与えられた時に，その文ぺアの意味的な類似度を推定するタスクである. 教師なし設定の場合, STS データセットを用いた学習は行わず，事前に学習したモデルを用いて文ぺアをそれぞれ文埋め込みに変換し，それらを用いて算出された文ぺアの類似度と, 人手評価との順位相関係数により評価する。本研究では，提案手法が一般の文に対して妥当な文埋め込みを構成できているか評価するため, STS12-16 [11-15], STS benchmark [16], SICK-Relatedness [17] の各データセットを用いた教師なしSTS タスクにより評価を行った。これらのデータセットには文ぺアとその類似度が含まれており，類似度は人手評価によって付与された 0 から 5 の実数である. 文埋め込みの類似度には余弦類似度を用い，データセットに含まれる人手評価とのスピアマンの順位相関係数を算出した. 異なるシード值で 10 回実験を行い，その平均を評価スコアとした。

実験の結果を表 3 に示す. 提案手法で用いる学習データは, Sentence-BERT の学習に使用されているデータの $5 \%$ 程度の規模であるにも関わらず，提案手法の BERT-base, RoBERTa-base モデルは Sentence-BERT-base, Sentence-RoBERTa-base と遜色のない性能を示すことが確認できる. 特に， STS12-16 の集約版である STS benchmark において，提案手法の RoBERTa モデルは高い性能を示した.

## 4.3 SentEval

SentEval [18] は，感情分類などを含む様々なタスクを集約したツールキットである。文埋め込みを入力とする分類器の学習を行い, その性能から文埋め込みがどのような情報を捉えているかを評価する.本研究では, Reimers ら [1] と同一のタスクについて実験を行った。各タスクの概要を表 4 に示す. 評価には，前節の設定で fine-tuning を行ったモデルを使


STS-B は STS benchmarkを，SICK-R は SICK-Relatednessを表す. 各タスクごとに最良の結果を太字で示す.

表 5 SentEval の各タスクにおける正解率 $(\%)$. 各タスクごとに最良の結果を太字で示す.

表 4 SentEval の各タスクの説明

用した. SentEval 内の各タスクについて，提案手法により生成した文埋め込みを入力とする分類器を学習し，性能を評価した。文埋め込みを入力とする分類器の学習には Reimers ら [1] と同じ設定を用い, 10 分割交差検証を行った. 提案手法によるモデルの fine-tuning と性能評価は異なるシード値で 3 回行い，その平均を評価スコアとした.

実験の結果を表 5 に示す4). 提案手法の中では RoBERTa-large が最も高い性能を示している。また， base から large へモデルサイズを増加させると一貫して性能が向上した。提案手法の BERTlarge，RoBERTa-base，RoBERTa-large における性能

4） Reimers ら [1]により Sentence-RoBERTa の性能は SentenceBERT と同等と報告されているため記載を省略した.
は Sentence-BERT-large を上回っていることから，提案手法による文埋め込みが様々なタスクに応用できる有用な情報を埋め込んでいることが確認できる.

## 5 おわりに

本研究では辞書の定義文を用いた文埋め込み構成法を提案した。また，単語予測実験，および，STS タスク，SentEvalを用いた実験を通して，提案手法の有効性，および，大規模な NLI データセットを用いる既存手法と同等の性能を発揮することを示した. 提案手法は多くの言語において整備されている辞書に基づく手法であり，他の言語に応用する場合であっても新規の言語資源を作成する必要がないという特長がある。また，得られる文埋め込みは，その文が表す意味内容に近い意味で使用されている単語が存在した場合，その文脈化単語埋め込みと類似するという性質を持つことが期待できる。

今後は，実際に英語以外の言語に応用した場合の性能評価や，文書分類タスクなどより広範な下流夕スクへの応用の評価を行いたい。さらに，提案手法による定義文の埋め込みと文脈化単語埋め込みの意味ベクトル空間上での関係の解析を行いたい。

## 参考文献

[1] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, 2019.

[2] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, and Antoine Bordes. Supervised learning of universal sentence representations from natural language inference data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

[4] Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NIPS), pp. 59986008, 2017.

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642, 2015.

[7] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1112-1122, 2018.

[8] Shonosuke Ishiwatari, Hiroaki Hayashi, Naoki Yoshinaga, Graham Neubig, Shoetsu Sato, Masashi Toyoda, and Masaru Kitsuregawa. Learning to describe unknown phrases with local and global contexts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 3467-3476, 2019.

[9] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 15321543, 2014.

[10] Daniel Matthew Cer, Yinfei Yang, Sheng yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, C. Tar, Yun-Hsuan Sung, B. Strope, and R. Kurzweil. Universal Sentence
Encoder. arXiv:1803.11175, 2018.

[11] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. SemEval-2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Semantic Evaluation (SemEval), pp. 385-393, 2012.

[12] Eneko Agirre, Daniel Cer, Mona Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic textual similarity. In Second Joint Conference on Lexical and Computational Semantics (*SEM), pp. 32-43, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval2014 task 10: Multilingual semantic textual similarity. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 81-91, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval2015 task 2: Semantic textual similarity, English, Spanish and pilot on interpretability. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 252-263, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 497-511, 2016.

[16] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval), pp. 1-14, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223, 2014.

[18] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), pp. 16991704, 2018.

## A 付録

表 5 各モデル，pooling 手法ごとの文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数. 表内の数值は，異なるシード値で 10 回評価を行った際の平均と標準偏差に 100 をかけたものである.

表 6 各モデル，pooling 手法ごとの SentEval の各タスクにおける正解率 (\%). 表内の数値は，異なるシード値で 3 回評価を行った際の平均と標準偏差に 100 をかけたものである.