# 定義文を用いた文埋め込み構成法

塚越 駿 $\dagger \cdot$ 笹野 遼平 $\dagger \cdot$ 武田 浩一 $\dagger$
}

自然言語文をべクトルとして表現する文埋め込みは，深層学習を用いた自然言語処理の基礎技術として盛んに研究されており, 特に自然言語推論 (Natural Language Inference; NLI) タスクに基づく文埋め込み手法が成功を収めている。しかし，これ らの手法は大規模な NLI データセットを必要とすることから，そのような NLI デー タが整備された言語以外については高品質な文埋め込みの構築が期待できないとい う問題がある。本研究ではこの問題を解決するため, NLI データと比べて多くの言語において整備が行われている言語資源である辞書に着目し，辞書の定義文を用い た文埋め込み手法を提案する。また，標準的なべンチマークを用いた評価実験を通 し, 提案手法は既存の NLI タスクに基づく文埋め込み手法と同等の性能を実現する こと，評価タスクの性質や評価データの抽出方法により性能に差異が見られること， これら 2 手法を統合することでより高い性能を実現できることを示す.

キーワード：文埋め込み，文ベクトル，辞書，定義文
## Sentence Embeddings using Definition Sentences

\author{
Hayato Tsukagoshi ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger}$ and Koichi Takeda ${ }^{\dagger}$
}

Sentence embeddings, which represent sentences as dense vectors, have been actively studied as a fundamental technique for natural language processing using deep learning. In particular, sentence embedding methods based on Natural Language Inference (NLI) tasks have been successful. However, these methods heavily rely on large NLI datasets and thus cannot be expected to produce adequate sentence embedding for languages for which large NLI datasets are not available. In this paper, we propose a sentence embedding method using definition sentences from a word dictionary, which is available in many languages. Experimental results on standard benchmarks demonstrate that our method performs comparably to NLI-based methods. Furthermore, we demonstrate differences in performance depending on the properties of the evaluation task and data, and even higher performance can be achieved by combining the two methods.

Key Words: Sentence Embedding, Dictionary, Definition Sentence


## 1 はじめに

深層学習の発展とともに，自然言語処理技術は目覚ましい発展を遂げた，中でも，自然言語文を実数べクトルとして表現する文埋め込みは，類似文検索，質問応答，機械翻訳といった多様なタスクに応用することができ (Muennighoff 2022; Xu et al. 2020), より優れた文埋め込みがこれらのタスクにおける性能を広く向上させる可能性があることから, 深層学習を用いた自然言語処理の基礎技術として盛んに研究されている. 文埋め込みを構成する手法は数多く存在するが，近年では自然言語推論 (Natural Language Inference; NLI) タスクに基づいて文埋め込みモデルを獲得する手法が主流となっている。 NLIタスクは与えられた文のペアに対して，その文ぺアの含意関係が「含意」「矛盾」「その他」のうちのどれであるかを予測する分類タスクである。複数の研究が NLI タスクに基づく文埋め达み手法を提案しており (Conneau et al. 2017; Reimers and Gurevych 2019; Gao et al. 2021), 文埋め込み評価のための標準的なべンチマークタスクで高い性能を達成してきた。しかし，NLIタスクに基づく手法は大規模な NLIデータセットが整備されている言語でしか利用できないという問題がある。実際，NLI タスクに基づく手法として代表的な Sentence-BERT (SBERT) (Reimers and Gurevych 2019)は, 人手でラベル付けされた約 100 万文ぺアからなる NLIデータセットに基づくが，英語以外の言語ではこのようなデータセットは限られた量しか存在しない。したがって, 既存の NLI夕スクに基づく文埋め込み手法を英語以外に適用しても，英語と同等の精度は期待できない.

本研究ではこの問題を解決するため, 辞書に含まれる単語とその定義文が基本的に同一の意味内容を表すという関係に着目し，辞書の定義文を用いた文埋め込み手法である DefSent を提案する。NLI データセットと比べて辞書は，はるかに多くの言語において既に整備がされている言語資源であり，辞書の定義文を用いた文埋め込み手法は多くの言語に適用できる可能性が高い. 既存研究であるSBERT と, 提案手法である DefSent の概要を図 1 に示す. 本研究で提

図 1 Sentence-BERT（左）と提案手法である DefSent（右）の概要図.
案する文埋め込み手法は SBERT と同様に, BERT (Devlin et al. 2019) や RoBERTa (Liu et al. 2019) といった事前学習済み言語モデルに基づく. これらのモデルに定義文を入力して得られる文埋め込みから，対応する単語を予測できるように事前学習済み言語モデルを fine-tuning する。単語予測というタスクを通して，事前学習済み言語モデルが備える単語埋め込み空間の意味情報を活用することで，文埋め込みを効率的に構成できるようになる。

本研究では，2つの方法で提案手法による文埋め込みの有用性を評価した。一つ目は, 文埋め込みモデルが捉える文ぺアの意味的類似度がどれほど人間評価と近しいかを評価する Semantic Textual Similarity (STS) タスクによる実験である，STS タスクを用いた評価により，提案手法が大規模な NLIデータセットを用いる既存手法と同等の性能を示すことを確認した. 二つ目は,文埋め込みにどのような情報が捉えられているかを評価するソフトウェアの SentEval (Conneau and Kiela 2018)を用いた評価である．SentEval を用いた評価により，提案手法が既存手法の性能と同等の性能を示し, 種々のタスクに有用な文埋め込みを構成することが確認できた.

さらに本研究では，提案手法による文埋め込みの性質が，既存手法と比較してどのように異なるかを分析した。一般的に，機械学習モデルは学習に用いたデータセットやタスクによって異なる振る舞いを示す. 文埋め込みモデルも同様に, これらの教師信号に影響を受け, 文埋め込み手法ごとに異なる性質の文埋め込みが構成されると考えられる。それぞれの文埋め込みがどのような性質を持っているのか理解することは, よりよい文埋め込み手法の研究のために有

SBERT を対象とし, STS タスクと SentEval を用いた文埋め込みの性質分析を行った。最後に，性質の異なる文埋め込みを統合することによって，下流タスクでさらに高い性能を示す文埋め达みを構成できることを示した。

## 2 定義文を用いた文埋め込み手法

本節では, まず, BERTや RoBERTa といった, 提案手法が基礎とする事前学習済み言語モデルについて述べ，次に NLI データを用いる既存の文埋め达み手法として代表的な Sentence-BERT (SBERT) について述べる。 その後, 本研究で提案する, 定義文を用いた新たな文埋め込み手法である DefSent について述べる。

## 2.1 BERT, RoBERTa

BERT は複数の Transformer (Vaswani et al. 2017) エンコーダが積層された構造を持つ事前学習済み言語モデルの一種である。大規模なテキストを用い，マスク穴埋めタスク (Masked Language Modeling; MLM) と次文予測タスク (Next Sentence Prediction; NSP) による自己教師あり学習を行うことで，汎用的な言語知識を獲得する。マスク穴埋めタスクは，文中のトー

クンを一定の割合で特殊トークン [MASK] に置き換えてモデルに入力し， [MASK] に対応する位置の最終層の埋め込み表現を用いて，置き換え前の単語を予測するタスクである. 次文予測夕スクは，文区切り用の特殊トークン [SEP] で繋がれた 2 文を BERT に入力した際に，それらが元のテキストデータでも連続する 2 文であるかどうかを, 入力の先頭に追加される特殊トークン [CLS］を用いて予測する 2 值分類タスクである．BERT は単語の系列を入力として，単語埋め込みの系列を出力する機構であると言える。 BERTが出力する単語埋め込みは，その単語が出力する文脈を考慮したべクトル表現となっていることから, 文脈化単語埋め込みと呼ばれる.

RoBERTa は, BERT と同じモデル構造のまま, 次文予測タスクの排除とデータサイズ, 訓練バッチサイズの増大といった工夫により，BERTの改善を試みたモデルである．次節以降で述べる SBERT と提案手法は, いずれも BERT, RoBERTaを含む多くの事前学習済み言語モデルに適用することができるが，本稿における手法の説明では基本的に BERT を用いた場合について述べる。

## 2.2 Sentence-BERT

Conneau らが提案した InferSent (Conneau et al. 2017) は，パラメータを共有した 2 つのエンコーダを用い，NLI タスクによって BiLSTM で構成される文埋め込みモデルを訓練する手法である．InferSent は，意味的に類似した文が意味べクトル空間上で互いに近く分布するようにモデルを訓練する. Reimers らが提案した Sentence-BERT (SBERT) (Reimers and Gurevych 2019) は, InferSent と類似した構造を採用するが, 文埋め込みモデルとして BERT を用いている1．SBERT の概要を図 1 左に示す. SBERT による訓練の流れについて述べる. SBERTでは, NLI データセットに含まれる文ぺアについて，文ぺアそれぞれの文埋め达みを用いた含意関係認識タスクにより BERT を fine-tuningする。まずそれぞれの文を BERTに入力し，得られる文脈化単語埋め达みの系列に対し, Pooling と呼ばれる操作を施して単一のベクトルを構成する. Reimers ら (Reimers and Gurevych 2019)は, pooling 手法として以下の 3つを実験している.
- CLS: BERT の事前学習時に次文予測で用いられる [CLS]の埋め达み表現を用いる².
- Mean: 出力されたすべての文脈化単語埋め込みの平均を用いる.
- Max: 出力されたすべての文脈化単語埋め込みの次元ごとの最大值を用いる.

このとき，poolingにより得られる文ぺアのそれぞれの文埋め込みを $\boldsymbol{u}, \boldsymbol{v}$ とする。それらを組み合わせたべクトル $[\boldsymbol{u} ; \boldsymbol{v} ;|\boldsymbol{u}-\boldsymbol{v}|]$ を含意関係ラベル予測層に入力し, 文ぺアに付与されている「含意」などのラベルを正しく予測できるように fine-tuningを行う. Reimers らは, Stanford
^{1}$ Reimers らは「SBERT」という名称を,「手法の名前」と「fine-tuning されたモデルの名前」の 2 種類の意味で使用している，例えば，Reimers らの論文中では，Reimers らの手法によって fine-tuning された RoBERTaを 「SBERT-RoBERTa」のような名称ではなく「SRoBERTa」と呼称しているなど, 手法名とモデル名が結合しているため混乱が生じやすい。本稿では, 「SBERT」という名称を主に手法の参照に用いる.

 }^{2}$ RoBERTa を用いる場合は [CLS] が存在しないため, 代替として文頭トークンくs〉の埋め込み表現を用いる.


NLI (SNLI) データセット (Bowman et al. 2015), および, Multi-Genre NLI (MNLI) データセット (Williams et al. 2018) を合わせた約 100 万文を用いて SBERT による fine-tuning を行った.

## 2.3 提案手法: DefSent

本研究では，単語辞書において，単語とその定義文が同一の意味内容を表すことに着目し，定義文から単語予測を行うことで文埋め込みを構成する手法を提案する。具体的には， BERTに定義文を入力して文埋め込みを構成し，その文埋め込みをもとに単語予測を行うことで BERT を fine-tuningする。例えば, “a ball game played with a bat and ball between two teams of nine players”という文に対しては, “baseball”という語を答えとして単語予測を行う。提案手法の概要を図 1 右に示す.

DefSent による fine-tuning の流れについて述べる。ここで，ある定義文 $X_{k}$ に対応する単語を $w_{k}$ と表す。また，BERTの事前学習時にマスク穴埋めタスクで用いられる，[MASK] の位置に対応する埋め込み表現から置き換え前の単語を予測する層を単語予測層と呼ぶ。まず， $X_{k}$ を BERT に入力し, 出力された文脈化単語埋め込みの系列を Poolingすることで $X_{k}$ の文埋め込み $\mathbf{u}_{k}$ を構成する. Pooling 手法は SBERT と同様, CLS, Mean, Max の 3 種類を用いる．次に，構成した文埋め込み $\mathbf{u}_{k}$ を単語予測層に入力し， $X_{k}$ を入力としたときの $w_{k}$ の予測確率 $P\left(w_{k} \mid X_{k}\right)$ を得る。損失関数に交差エントロピー誤差を用いて, $P\left(w_{k} \mid X_{k}\right)$ を最大化するように BERT の fine-tuning を行う. したがって, 訓練事例数を $N$ としたときの訓練損失 $\mathcal{L}$ は次式のようになる.

$
\mathcal{L}=-\sum_{k=1}^{N} \log P\left(w_{k} \mid X_{k}\right)
$

この際, 単語予測層には事前学習時のパラメータを固定して用いる. 事前学習時に既に獲得されている層を用いることで, SBERTのように追加の分類器のための新たなパラメータを学習する必要がなくなり, fine-tuning の効率化が期待できる。また, 事前学習済み言語モデルの単語埋め込みは, 埋め込み空間上で類似した意味の単語が近くに分布するという性質が存在する. DefSent は事前学習時の単語予測層をそのまま用いるため, 得られる文埋め込みについても，類似した意味の文が埋め込み空間上で近くに分布することが期待できる。

本研究で提案する手法と類似した発想の研究として, Hill らの研究 (Hill et al. 2016a, 2016b) が挙げられる. Hill らが提案した DictRep は, 定義文と静的な単語埋め込みが近づくように学習を行うことで，句や文の埋め込みモデルを訓練する。これに対してDefSent は, 事前学習済み言語モデルの単語埋め込み空間と学習済みの単語予測層を用いることで, 文埋め込みモデルを効率的に獲得する．実際，DefSent の fine-tuning に要した時間は 10-15 分程度であり，同一の計算機環境で fine-tuning を実施した場合に 120-130 分程度を要する SBERT と比較して, 高
速である ${ }^{3}$ 。また, DictRep と異なり，DefSent は事前学習時の単語意味空間を有効に活用する点も特徴的である.

## 3 単語予測タスクにおける評価

提案手法による文埋め込みが，どの程度，文の意味を正しく推定できているかを検証するため，定義文から単語を予測するタスクにおける性能を評価した.

## 3.1 訓練に使用するデータセット

提案手法は, 単語と定義文のペアを用いて事前学習済み言語モデルの fine-tuningを行う. 本研究では, 石渡ら (Ishiwatari et al. 2019) が公開しているデータセットの中から, Oxford Dictionary の見出しとなる単語と定義文を抽出して利用した. 各事例は単語と定義文のペアからなり, 一つの単語が複数の定義文を持ち得る。実験のため, 全事例を単語ごとに訓練セット／開発セット／ テストセットに8:1:1の割合で分割した。提案手法は, 単語予測層として BERT または RoBERTa の事前学習時の単語予測層をそのまま用いる。そのため，それぞれのモデルの語彙に含まれない単語の予測確率を，それらの単語予測層から直接得ることができない. したがって，本実験ではデータセットの中から BERT, RoBERTa それぞれの語彙に含まれる単語とその定義文のみを用いた 4 ．以後，作成したデータセットを定義文データセットと呼称する．定義文データセットの統計值を表 1 に示す.

## 3.2 実験設定

提案手法の評価にあたり，複数のモデル，Pooling 手法について実験を行った．モデルや実験プログラムの作成には PyTorch (Paszke et al. 2019) を用いた。事前学習済み言語モデルとして, Hugging Face ${ }^{5}$ が公開する深層学習モデル用ライブラリの Transformers (Wolf et al. 2020) から, BERT-base (bert-base-uncased), BERT-large (bert-large-uncased), RoBERTa-base (roberta-base), RoBERTa-large (roberta-large)の事前学習済みモデルを利用した ${ }^{6}$.

提案手法による各事前学習済み言語モデルの fine-tuning には, バッチサイズを 16 , エポック


表 1 定義文データセットの統計値.

数を 1 とし, 最適化手法に Adam (Kingma and Ba 2015) を用いた。また, 学習率スケジューリング手法として, 学習の開始時点では学習率を 0 とし, 全学習ステップのうち $10 \%$ 用い, 設定した値まで学習率を線形に上昇させる Linear warm-up (Goyal et al. 2017) を用いた. 学習率は，各モデル，Pooling 手法ごとに $x \times 10^{-6}, x \in\{1,2,5,10,20,50\}$ の範囲で探索し, 開発デー 夕での評価スコアが最も高くなった学習率を使用した。提案手法の実装と fine-tuning 済みモデルは GitHubにて公開している7.

評価には，定義文を入力した際に出力される単語の予測確率から，定義文に対応する正解単語の予測確率における平均逆順位 (Mean Reciprocal Rank; MRR) と, 予測確率の上位 $1,3,10$位以内に正解単語が含まれる割合 (Top- $k$ accuracy) を算出し, 評価に用いた. 異なるシード值で 10 回実験を行い，その平均を評価スコアとした。また，比較対象として BERT-base モデルを fine-tuning せずに評価した場合 (w/oFT) の性能も算出した.

## 3.3 実験結果

実験の結果を表 2 に示す. fine-tuning しなかった場合の性能は，Pooling 手法として Max を選んだ場合が最も高かった。しかし，その Top-1 accuracy は 0.0157 と極めて低い值であり，高い性能を得るためには fine-tuning の実施が必須であることが確認できた. 一方，定義文を用いて fine-tuing を行ったモデルでは，モデルサイズとして base を用いたモデルより large を用いたモデル，BERT を用いたモデルより RoBERTa を用いたモデルの方が性能が高く， モデルとして RoBERTa-largeを, pooling 手法として Mean を用いた場合が最も高い性能を示した. また, RoBERTa-large 以外のモデルは, Pooling 手法に CLS を用いたモデルが最も高い性能を示した.定性的な議論のため, モデルに入力される文に対して実際にどのような単語が予測されるか


を確認した。表 3 に，テストセットに含まれる定義文の一部と，それに対応する単語，及びそれらの定義文をモデルに入力した際の予測確率上位 3 位までの単語を示す.この時, 事前学習済み言語モデルとして BERT-largeを用い, Pooling 手法として CLSを用いて fine-tuning された

表 2 単語予測タスクの性能.

表 3 DefSentによって fine-tuning されたモデルに定義文が入力されたときの予測確率上位 3 位まで予測単語と正解単語. 1 列目が正解単語, 2 列目が定義文, 3 から 5 列目が順位予測確率上位 $1,2,3$ 位の単語を表す。表に示す定義文には，記号を含めて編集を加えていない。予測単語のうち正解単語を太字で，入力文に含まれている単語を斜体で表す.

表 4 定義文以外の文に対する予測確率上位 5 位までの予測単語.

モデルを用いた，実験の結果，訓練データセットに含まれない定義文の組に対しても，提案手法が意味的に妥当な文埋め込みを構成していることが確認できる。また, 単語予測の上位に現れる単語に，入力定義文中の単語が比較的多く出現するという傾向が見られた.

さらに，DefSentにより fine-tuning されたモデルが定義文以外の文に対してどのような埋め込み表現を構成するか観察するため，定義文以外の文をモデルに入力した際にどのような単語が予測されるかを確認した。表 4 に，モデルに入力した文とその結果得られた予測確率上位 5 位までの単語を示す。実験の結果, “royal man”から “king”や “prince”といった単語を予測できていることから，文中単語から適切に文の意味を構成できていると考えられる。また, “not good”に対する予測結果として “bad”や“poor”といった単語が予測できていることから，否定表現に対しても妥当な意味を構成できていると考えられる。

## 4 文類似度タスクでの評価

提案手法による文埋め込みの意味的な品質を検証するため，文埋め込み評洒に一般的に用いられる文類似度評価タスクの Semantic Textual Similarity (STS) タスクを用いた評価を行った.

## 4.1 STS タスク

Semantic Textual Similarity (STS) タスクは，文ぺアが与えられた時に，モデルを用いて文ぺアの意味的な類似度を計算し，それがどの程度人間による評価に近いかを検証することで，モデルが文の意味的類似性を正しく推定できるかを評価するタスクである．STS タスクの評価には教師ありと教師なしの二つの設定が存在し, 文埋め込みの品質評価には主に教師なし設定が用いられる，教師なし設定の場合，STS データセットを用いたモデルの学習は行わず，事前に用意したモデルを用いて文ぺアの意味的類似度を計算し，モデルによる類似度と人手評価によ

る類似度との相関係数を用いて評価を行う。この時, 文の意味的類似度としては, 文ぺアの文埋め込み同士の余弦類似度が用いられることが多い.

本研究では，提案手法が一般の文に対して妥当な文埋め込みを構成できているか評価するため, STS による評価で一般的に用いられるデータセットである STS12-16 (Agirre et al. 2012, 2013, 2014, 2015, 2016), STS Benchmark (STS-B) (Cer et al. 2017), SICK-Relatedness (SICK-R) (Marelli et al. 2014)を用い，教師なし設定のSTS タスクにより評価を行った. これらのデータセットには文ぺアとその意味的類似度が含まれており，意味的類似度は人手評価によって付与された 0 から 5（SICK-Rのみ1から5）までの実数である.

## 4.2 実験設定

提案手法による文の類似度として, 文ぺアの文埋め込み同士の余弦類似度を用い, 相関係数としてスピアマンの順位相関係数を用いた88 . 評価には, Reimers ら (Reimers and Gurevych 2019) と同様に，Pooling 手法としてCLS, Mean, Maxを用いた。異なる乱数シード値で 10 回実験を行い，その平均を評価スコアとした。

提案手法との比較に用いる既存手法は以下の通りである.

GloVe 静的な単語埋め込み手法である GloVe (Pennington et al. 2014)の単語埋め込みの単純平均を用いる. 最も単純な文埋め込み手法の一つだが. 文埋め込み評価における強力なベースラインとしてよく機能することが知られている (Shen et al. 2018). 埋め込みの次元数は 300 である.

InferSent Conneau らによって提案された文埋め込み手法である InferSent (Conneau et al. 2017)による文埋め込みを用いる。埋め込みの次元数は 4096 である.

Universal Sentence Encoder (USE) Cerらによって提案された文埋め込み手法である Universal Sentence Encoder (USE) (Cer et al. 2018)を用いる. USE はマルチタスク学習によって文埋め込みモデルを訓練する手法であり, InferSent や SBERT と同様の NLI タスクが学習タスクに含まれる。埋め込みの次元数は 512 である.

SBERTReimers らによって提案された文埋め込み手法である SBERT (Reimers and Gurevych 2019)を用いる。埋め込みの次元数は, fine-tuningを適用する事前学習済み言語モデルとして BERT-base および RoBERT-base を用いた場合は 768, BERT-large および RoBERTalargeを用いた場合は 1024 である.

評価にあたり，SBERT 以外の既存手法の性能は Reimers ら (Reimers and Gurevych 2019)の結果を引用した。また, SBERT は Reimers ら (Reimers and Gurevych 2019) と同様の設定で再

現実験を行い，評価した， 3.2 節で述べた，提案手法による fine-tuning の設定と同等の設定で評価実験を行い，その性能を評価スコアとした。さらに, SBERT およびDefSent による fine-tuning 前後での性能の変化を観察するため, fine-tuning 前の各モデル, Pooling 手法ごとの性能も評価した.

## 4.3 実験結果

実験の結果を表 5 に示す。全体として，SBERT の RoBERTa-large が高い性能を示し，特に Pooling 手法として Mean を用いた場合に最も高い平均性能を示した. 提案手法の中では, モデルとして RoBERTa-baseを, Pooling 手法としてCLS を用いた場合が最も高い平均性能を示した。

各モデルごとに SBERT と DefSent による性能を比較すると，BERT-base および BERT-large においては，常に DefSent がSBERT と同等かそれ以上の平均性能を示している。また, BERTbase および BERT-large においては, Pooling 手法ごとの性能の傾向も類似しており，いずれの手法も，Pooling 手法として Meanを用いた場合に最も高い平均性能を示し，CLS および Max は Mean と比較して低い結果となっている. DefSent による fine-tuningで用いる学習デー夕は, SBERT の学習に使用されているデー夕量の $5 \%$ 程度の規模であるにもかかわらず，BERT-base および BERT-large において, DefSent は SBERT と同等以上の性能を示すことが確認できた.

一方で, RoBERTa-base および RoBERTa-large においては, SBERT と DefSent で異なる傾向が見られた。まず，RoBERTa-base に着目すると，SBERT は Pooling 手法に Mean を用いた場合が最も性能が高いものの，DefSent は Meanを用いた場合の性能が最も低く，CLS を用いた場合に最も高い性能を示した。平均性能については, Pooling 手法として Meanを用いた場合は SBERT の方が高い性能を示したが，CLS と Maxを用いた場合は，DefSentの方が高い性能を示した。また, RoBERTa-large に着目すると, RoBERTa-base と同様に, SBERT は Pooling 手法に Meanを用いた場合に最も高い性能を示したが，DefSent は Maxを用いた場合に最も高い性能を示した。

## 4.4 分析

4.3 節で，提案手法による文埋め込みが既存手法と比較して同等の性能を発揮することを示した。本節では，STS タスクを用いた詳細な分析を通して，提案手法による文埋め込みの性質について分析する。本研究では特に，それぞれの手法による文埋め込みの性質は，それぞれの文埋め込みを得るにあたって用いられた教師信号によって異なる可能性が高いと考えられることから，文埋め込みモデルの訓練に用いた教師信号の違いに着目した分析を行う．例えば，定義文から単語予測をすることで訓練された文埋め込みは，文の構成的な意味を表現するのに適していることが期待できる。一方で，NLIタスクを用いて訓練された文埋め込みは，表面的に類似した文の意味の違いを捉えることが重要であるという NLI タスクの性質から, 表面的に類似

表 5 文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て 100 をかけたもの).データセットごとに最も性能が高い結果を太字で示す.

した文の意味の違いを区別した埋め込みを構成していることが期待できる.

本節では，提案手法である DefSent による文埋め込みと，SBERT による文埋め込みの性質の違いを調査する。SBERT は DefSent と同様，事前学習済み言語モデルを文埋め込みを介した予測タスクによって fine-tuning する手法であり，提案手法による文埋め込みの性質を分析する上で比較対象として適していると考えた。分析は，STSデータセットを文ぺアのソースと表層的類似度という二つの観点でそれぞれ分割し，分割されたサブデータセットごとにSTS タスクによる性能を評価することで行う.

## 4.4.1 ソースに基づき分割した STS データセットでの比較

文埋め込み手法は，その訓練に用いられたデータセットに含まれる文に類似する文の意味について，その他の文よりも適切に捉えられると考えられる。すなわち，埋め込む文のソースが，文をどの程度適切に埋め达めるかに影響すると考えられる。例えば，SBERT は NLI データセットに含まれる文に類似した文の意味をより捉えやすく，DefSent は単語辞書の定義文に類似した文の意味をより捉えられると期待できる。本研究ではこの傾向について調査するため, STS デー タセットを文のソースによって分割し，得られたサブデータセットを用いて性能評価を行う.

評価には STS12-16 を用いた．STS12-16 は，それぞれのデータセットが複数のデータセットから構成されており，このような文のソースごとの性能評価に適している．STS12-16のサブデータセットごとの統計値を表 6 に示す。実験設定は 4.2 節と同様である。比較分析の対象の文埋め込み手法は DefSent と SBERT とした。事前学習済み言語モデルとして BERT-base を用い, Pooling 手法として Mean を用いた，また，参考として， fine-tuning を行っていないBERT-base (w/oFT) も評価対象とした. 異なるシード值で 10 回学習を行い, その平均を評価スコアとした.

実験の結果を図 2 に示す。比較のため，サブデータセットごとの評価に加えて，各STS デー タセット全体での結果も記載する。ここで，評価スコアとして相関係数を用いているため，一般にはサブデータセットを結合したデータセットのスコアはサブデータセットごとの評価スコアの平均に一致せず, 極端な場合, 全体での性能がサブデータセットごとの評価スコアの最小値を下回ることに注意されたい，結果より，SBERTと DefSent の性能はともに，全体としてw/o FTの性能を上回っていることがわかる. DefSent は, STS13の OnWN と FNWN およびSTS14 の OnWNにて, SBERT よりも顕著に高い性能を示した. STS13の OnWN と FNWN は, ともに OntoNotes, FrameNet，および WordNet の定義文から作成されており，事前の予測通り DefSent の訓練に用いられている定義文と類似した文に対する DefSent の性能が高いことが確認できる. SBERT はSTS14の deft-forum および headlines と，STS15の answer-students にて DefSent よりも高い性能を示した，中でも，STS15の answer-students は NLI データセットに類似した形式のデータセットであるため，SBERT が文の意味の違いを比較的正しく推定できたと考えられる。

表 6 各STS データセットに含まれるソースと,ソースによって分割されたデータセットごとの統計値.

## 4.4.2表層的類似に基づき分割したSTS データセットでの分析

次に，文ぺアの表層的類似度が，どのようにそれぞれの文埋め込み手法によって計算された意味的類似度に影響を与えるかを調査した，SBERT は，表層的に類似した文の意味の違いを捉える必要がある NLI タスクを通して学習されているため, 表層的に類似した文ぺアの意味的類似度を比較的正しく推定できると期待できる。一方で，提案手法は NLI タスクのように文同士の意味を識別するような訓練は行わないため, 表層的に類似した文ぺアの意味の違いを推定するうえで，NLIタスクに基づく手法とは異なる傾向を示す可能性がある.

このような性質について分析を行うため，STS Benchmarkを文ぺアの表層的類似度によって分割し，それぞれのサブデータセットごとに性能評価を行った. 本研究では文ぺアの表層的類似度として，単語集合同士のDice 係数を用いた. Dice 係数は以下の式で示される.

$
\operatorname{Dice}\left(S_{1}, S_{2}\right)=\frac{2\left|W_{1} \cap W_{2}\right|}{\left|W_{1}\right|+\left|W_{2}\right|}
$

図 2 STS12-16をソースごとに分割して評価に用いた際の，スピアマンの順位相関係数の值に 100 をかけたもの。“STS\# ALL”は各STS データセット全体での性能を示す.

ここで， $S_{1}$ おび $S_{2}$ はある文ぺアに含まれるそれぞれの文を表し， $W_{1}$ および $W_{2}$ はそれぞれ $S_{1}$ および $S_{2}$ に含まれる単語の集合を表す ${ }^{9}$. 評価実験には STS Benchmarkの訓練／開発／テストセットに含まれる文ぺアを全て用い，それらを表層的類似度によって並び替え，20\%ごとに

9 単語集合は, 文末のピリオドなどの記号を削除し，全文を小文字に変換した後，空白で分割することにより求めた.
分割して評価に用いるサブデータセットとした，実験設定，評価対象は 4.4.1 節と同様である.実験の結果を図 3 に示す。結果から，すべての手法について，より大きな Dice 係数を持つサブデータセット，つまりより表層的に類似した文ぺアで構成されているサブデータセットの方が評価スコアが低い傾向があることが確認できる。特に，最も表層的類似度が高いサブデータセットにおける w/oFTの性能は極めて低く, w/oFTによる文埋め込みでは，文の意味の違いを正しく識別できないと考えられる．SBERT およびDefSent の結果に注目すると，表層的類似度が高いサブデータセットにおいては, SBERT が DefSent の性能を上回った。一方で，表層的類似度が低いサブデータセットにおいては, DefSent がSBERT の性能を上回った。

表層的類似度がどのように意味的類似度の推定に影響を与えているかについてさらに調査するため，実際の例を用いた定性的分析を行った，表 7 に，STS Benchmarkに含まれる実際の文ペアと，その人手評価による類似度およびDice 係数，および w/oFT，SBERT，DefSent によっ

図 3 STS Benchmarkを表層的類似度ごとに分割して評価に用いた際の，スピアマンの順位相関係数の値に 100 をかけたもの．図の右側にいくほど，文ぺアの表層的類似度が大きいサブデータセットでの評価結果を表している。

表 7 STS Benchmark に含まれる実際の文ぺアと人手評価による類似度. “w/oFT", "SBERT”, "DefSent" は, それぞれの手法を用いて構成された文埋め込み同士の余弦類似度を表す。この時, STS Benchmark 全体での余弦類似度の平均は, w/oFT が 0.816, SBERT が 0.678 , DefSent が 0.809 であった. また, SBERT と DefSent において，人手評価の順位に対して相対的に大きな違いのある部分を太字で示す.

て計算された余弦類似度を示す. 表 7 の上から 2 行目に示すように，文ペアのそれぞれの文がほとんど同じことを表現している場合でも，SBERT は他の例と比較して非常に小さな類似度を割り当てている。これは，NLI タスクの「文ぺアが同じ事実を表現しているか」を重視する夕スクの性質が，SBERTによる文埋め込みに影響を与えているからだと考えられる。この文ぺアは Dice 係数が比較的小さい一方で人手評価が大きい文ぺアとなっているが，SBERTによる類似度と異なり, DefSent は 0.895 と相対的に適切と考えられる類似度を出力できている。表 3 の結果からも確認できる通り, DefSent は意味的に類似しているが表層的類似度が低いような文ペアについて，その意味の違いを比較的正しく推定できると考えられる。上から 3 行目の例では，人手評価による類似度がそれほど高くない事例に対して, DefSent は比較的高い類似度を割り当てている．これは，片方の文がもう片方の文の部分文字列であるため, DefSent が文中単語から意味を構成する能力が高いゆえに, 文の表層的な類似度に意味的類似度が大きく影響を受けてしまった結果であると考えられる。このような事例に対しては，意味の違いを識別するように訓練されているSBERT の方が，正しく文の意味の違いを推定できると考えられる。これらの結果から，SBERTは表層的類似度が高い文ぺアの意味的類似度を捉えることに長けており, 一方で, 提案手法である DefSent は表層的類似度が低い文ぺアの意味的類似度を捉えることに長けていると考えられる。

## 5 テキスト分類タスクを用いた評価

提案手法による文埋め迄みの一般的な有用性を評価するため, 文埋め込み評価に広く用いられる SentEval (Conneau and Kiela 2018)を用いて評価を行った.

## 5.1 SentEval

SentEval (Conneau and Kiela 2018) は，文の感情分類や主観性分類などを含む様々なタスクを集約した，文埋め込み評価のためのソフトウェアである。 SentEval を用いた評価では， パラメータを固定した文埋め込みモデルを用いて，文埋め込みを入力とする分類器の学習を行い性能を評価することで，文埋め込みがどのような情報を捉えているかを評価する。分類タスクで高い性能を達成できる文埋め込み手法は, 文の多様な情報を捉え, 種々のタスクに有用な文埋め込みを構成できると考えられる．SentEvalには後段タスク (downstream tasks) とプロービングタスク (probing tasks)の二つが存在し, 文埋め込みの有用性評価には主に後段タスクが用いられる。本研究では提案手法である DefSent の有用性を確認するため, まず Reimers ら (Reimers and Gurevych 2019) と同様, 後段タスクを用いて実験を行った. 各タスクの概要を表 8 に示す.評価には， 3.2 節の設定で fine-tuning を行ったモデルを使用した. SentEval 内の各タスクについて，提案手法により構成した文埋め込みを入力とする分類器を学習し，性能を評価した。分

 \\

表 8 評価に用いた SentEval の後段タスクの概要. 各タスクの例は Conneau ら (Conneau and Kiela 2018) の例を引用した。

類器の学習および性能評価は, Reimers ら (Reimers and Gurevych 2019) と同様, SentEval の標準設定を用いた，具体的には，分類器はロジスティック回帰分類器, バッチサイズは 64 , エポック数は 4 とし, 最適化手法に Adam を用いて学習を行った. 10 分割交差検証によって夕スクごとに正答率を算出し，平均正答率を計算した。提案手法による fine-tuning と性能評価を異なるシード値で 3 回行い, その平均を評価スコアとした。比較対象として 4.2 節で述べたものと同様の手法を用いた。

実験の結果を表 9 に示す. 全体として, STS タスクでの評価と同様, SBERT の RoBERTa-large が最も高い性能を示した，提案手法の中では， モデルとして RoBERTa-base を, Pooling 手法としてMax を用いた場合が最も高い平均性能を示した。各モデルごとに SBERT と DefSent の性能を比較すると，BERT-base および RoBERTa-base ではすべての Pooling 手法で DefSent が SBERT の性能を上回った。また，BERT-large において Pooling 手法に CLS および Mean を用いた場合にも, DefSent はSBERT の性能を上回った。一方で，BERT-large において Max を用いた場合, および RoBERTa-large においては, SBERTの方が DefSent よりも高い性能を示した.

## 5.2 分析

4.4 節と同様，提案手法による文埋め込みの性質を分析するため, SentEval の後段タスクとプロービングタスクを用いた性能比較と, タスクごとの特徴に着目した文埋め込みの性質分析を行った。分析に用いた設定は 5.1 節と同様である。比較分析の対象は DefSent と SBERT とした。事前学習済み言語モデルとして BERT-baseを用い，Pooling 手法として Meanを用いた。

表 9 SentEval の後段タスクにおける正解率 (\%).

また, 参考として, fine-tuning を行っていない BERT-base (w/oFT) も評価対象とした，異なるシード値で 3 回学習を行い, その平均を評価スコアとした.

まず， 5.1 節で得られた SentEval の後段タスクの性能を用いて，より詳細な分析を行った. DefSent, SBERT, w/oFT の各タスクにおける性能を抜粋したものを図 4 に示す. SBERT に着目すると, MR, CR, SST2, MRPC において最も高い性能を示していることがわかる. これは, MR, CR, SST2 が感情分類タスクであり, SBERT が文の感情についての情報をよりよく埋め达んでいることを示唆する。また，MRPCは言い換え予測タスクであり，二つの文が同じ意味を持つかどうかを予測するタスクである。MRPC はSBERT の訓練に用いられた NLI タスクと似ており，SBERT の性能が高かった理由もこのタスクの類似性によるものであると考えられる.

一方で DefSent は MPQA で最も高い性能を示し, SUBJ と TREC の二つのタスクでw/oFT と同等の性能たった. MPQA は句単位の極性分類タスクであり, 句の意味を適切に構成する必要がある夕スクである。DefSent は定義文からその意味を適切に構成できるように fine-tuning を行うため, DefSent は MPQAにおける性能が高かったと考えられる。

また，SUBJとTRECにおいては，DefSentがSBERT よりも高い性能を示した．SUBJは主観性分類タスクであり, TREC は質問文の種別分類タスクであり, 文中単語の情報が重要な夕スクである。そのため, SBERT は DefSent やw/oFT と比較して，文中単語の情報をより考慮していないと考えられる。以上より，SBERT は主に文の意味的な情報を埋め込み，それゆえに文の意味が同じかどうかを識別するようなタスクに適していると考えられる。一方で, DefSent は文の意味を構成することに長けており，またその埋め込み表現には文中単語の情報がより含まれているものと考えられる。

次に，SentEval のプロービングタスクを用いて，各文埋め込み手法がどのような言語的特徴を捉えているか分析した． SentEvalのプロービングタスクには文埋め込みが言語的な特徴をどの程度捉えているか評価するためのタスクがまとめられており，例えば文の長さや文中に含まれていた単語や，文の時制の分類タスクなどが存在する.

実験の結果を図 5 に示す。全体として, プロービングタスクではw/oFT, DefSent, SBERT の順に性能が高かった. DefSent は, WordContent, Tense, およびSubjNumberにおいて比較的高い性能を示した。これらは文中単語の情報が重要なタスクであり, DefSentによる文埋め込みが文中単語の情報を多く埋め达んでいることを示唆している.

## 6 異なる文埋め込みの統合

前節で，提案手法である DefSent と SBERT の性質の違いについて分析し，二つの手法が異なる性質を持つことを示した。このような異なる性質を持つ文埋め込みを統合することによって，さらに高性能な文埋め込みを構成することが可能か調査する。本研究では，以下に示す 5

図 4 SentEval の各後段タスクにおける正解率 (\%).

図 5 SentEval の各プロービングタスクにおける正解率 $(\%)$.

つの統合手法について実験を行った.

S+D SBERTによる fine-tuning を行ったモデルをさらに DefSent で fine-tuningする.

D+S DefSent による fine-tuning を行ったモデルをさらに SBERT で fine-tuningする.

Multi マルチタスク学習によってモデルを fine-tuningする. 具体的には, SBERTの fine-tuning に用いる NLI データセットと DefSent の fine-tuning に用いる定義文データセットの事例数の比はおおよそ 19:1 であるため, 同じモデルに対し, SBERT によるパラメータ更新を 19 ステップ行ったのち DefSent によるパラメータ更新を 1 ステップ行う.

Average 別々に fine-tuning された SBERT と DefSent の文埋め込みの平均を用いる.

Concat 別々に fine-tuning された SBERT と DefSent の文埋め込みを連接したべクトルを用いる.

評価タスクとして，教師なしSTS タスクとSentEval の後段タスクを用いた。

## 6.1 文類似度タスクでの統合手法の評価

まず，教師なしSTS タスクで5つの統合手法を評価した。実験設定は 4.2 節と同様である。モデルとして BERT-baseと BERT-large を用い, Pooling 手法に Mean を用いた. RoBERTa-base および RoBERTa-large を用いた場合の結果は，付録 B の表 12 に記載する。実験では，それぞ

表 10 各統合手法による文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て 100 をかけたもの)。データセットごとに最良の結果を太字で示す.

れの統合手法ごとに異なるシード値で 10 回モデルの fine-tuning と評価を行い，その平均を評価スコアとした，比較のため, DefSent と SBERT それぞれ単体，および fine-tuning を行っていないモデル (w/oFT) も評価した.

実験の結果を表 10 に示す。統合手法のうち，S+D, AvErage, CONCAT は常に DefSent およびSBERT 単体の性能を上回った. 特に， $\mathrm{S}+\mathrm{D}$ は base および large モデルの双方で最も良い平均性能を示した。一方で, $\mathrm{D}+\mathrm{S}$ と MULTI については, 大きな性能向上を確認できなかった.

## 6.2 後段タスクでの統合手法の評価

次に, SentEval の後段タスクで 5 つの統合手法を評価した。実験設定は 5.1 節と同様である. モデルとして BERT-base と BERT-largeを用い，Pooling 手法に Meanを用いた． RoBERTa-base および RoBERTa-large を用いた場合の結果は，付録 B の表 13 に記載する，実験では，それぞれの統合手法ごとに異なるシード値で 3 回モデルの fine-tuning と評価を行い, 平均正答率を評価スコアとした，比較のため，DefSent とSBERT それぞれ単体，および fine-tuning を行っていないモデル (w/oFT) も評価した.

実験の結果を表 11 に示す。表より，CONCAT が最も高い性能を示したことが確認できるが， SentEval の評価では文埋め达みを入力とするロジスティック回帰分類器を教師あり学習するた

表 11 各統合手法による文埋め込みを用いた場合の SentEval の各タスクに打ける正解率 (\%). タスクごとに最良の結果を太字で示す.

め，文埋め込みの次元数が大きい方が有利である点には注意されたい10. CONCAT 以外の統合手法では, AvErageが比較的高い性能を示し，その性能は常に $\mathrm{S}+\mathrm{D}, \mathrm{D}+\mathrm{S}$, Multi を上回った. これは，平均して $\mathrm{S}+\mathrm{D}$ が最も高い性能を示した，教師なし STS タスクでの評価結果とは異なる傾向である。この原因として，一つのモデルに対して複数回 fine-tuning を行う $\mathrm{S}+\mathrm{D}$ などの手法が, 事前学習済み言語モデルの汎化性能を悪化させている可能性が考えられる.

## 7 関連研究

深層学習を用いた自然言語処理の基礎技術として文埋め込みは盛んに研究されており, 様々なモデルやタスクが提案されている.

初期の文埋め込みモデルの研究では，特定のタスクではじめから文埋め込みモデルを訓練する手法が主流であった. Kiros らによって提案された SkipThought (Kiros et al. 2015) は LSTM (Hochreiter and Schmidhuber 1997) を基にしたエンコーダ・デコーダモデルを用い，エンコー ダに入力された文の埋め込み表現から，デコーダを介して前後の文を生成することでモデルを訓練する。 Conneau らによって提案された (Conneau et al. 2017) は, 双方向 LSTM と Dual

Encoder を基に，NLI タスクを解くことで文埋め込みモデルを訓練する. Cer らによって提案された Universal Sentence Encoder (USE) (Cer et al. 2018) は，マルチタスク学習によって文埋め込みモデルを訓練する。

近年, 事前学習済み言語モデルを用いた文埋め込み手法が多数提案されている. BERT (Devlin et al. 2019) や RoBERTa (Liu et al. 2019)のような事前学習済み言語モデルは, 大規模なテキストを用いた自己教師あり学習によって汎用的な言語知識を獲得し, 後段タスクで高い性能を達成することができ, 事前学習によってモデルに備わる言語学的知識は文埋め込みモデルを構築する際にも有用である。これらの事前学習済み言語モデルを用いた文埋め込み手法は, 教師なし手法と教師あり手法の二つに大別できる.

教師なし文埋め込み手法は, 人手作成されたラベルなどの教師デー夕は用いず，事前学習済み言語モデルの特性を活用するか, 人工的に訓練デー夕を作成することで文埋め込みモデルを獲得する．Li らは，事前学習済み言語モデルの埋め込み空間が異方性を持つこと，すなわち埋め込み空間の一部の部分空間に埋め込み表現が偏って分布することを示し, 等方的なガウス分布への写像を学習することで文埋め込みの異方性を解消し, 教師なしで高い性能を持つ文埋め込みを獲得する手法である BERT-flowを提案した (Li et al. 2020). 高性能な文埋め込みを獲得するため, 最近では対照学習と呼ばれる訓練手法がよく用いられている。対照学習を用いた文埋め込み手法は，学習時に正例および負例となる文ぺアを用意し，正例文ぺアの文埋め込み同士が近づくようにしつつ, 負例文ぺアの文埋め込み同士が離れるように学習を行う。対照学習を用いた文埋め込み手法は, どのように正例または負例を作成するかで特徴づけることができる. Giorgi らによって提案された DeCLUTR (Giorgi et al. 2021) は, 同じ文書に含まれる文同士を正例として対照学習を行う. Yan らによって提案された ConSERT (Yan et al. 2021) は, ある文に対して単語の削除や置換等の加工を施した文を正例として対照学習を行う. Gaoらによって提案された Unsupervised SimCSE (Gao et al. 2021)は，同じ文に対して異なる dropout mask を適用して得られる文埋め込み同士を正例として対照学習を行う.

教師あり文埋め达み手法は, より高度な意味情報を捉えるために, 教師ラベルを用いてモデルを訓練する。一般的に, 教師あり文埋め込み手法は教師なし文埋め込み手法と比較して, 性能の高い文埋め込みを構成することができる。本研究で提案した DefSent および性質比較の対象としたSBERT は教師あり文埋め込み手法に分類できる。Gaoらによって提案された Supervised SimCSE (Gao et al. 2021), およびZhang らによって提案された PairSupCon (Zhang et al. 2021) は，NLIデータセット中の含意関係にある文ぺアを正例として対照学習を行う. Jiang らによって提案された PromptBERT (Jiang et al. 2022) は，NLI データセット中の含意関係にある文ぺアを正例とした対照学習を行うことに加え，テンプレートを用いた摂動を加えることで，より高性能な文埋め込みモデルを獲得する.

## 8 おわりに

本研究では，辞書の定義文を用いた文埋め込み手法である DefSent を提案した. DefSent は多くの言語において整備されている辞書に基づく手法であり, 他の言語に応用する場合であっても新規の言語資源を作成する必要がない点が特徴的である. 教師なしSTS タスクと SentEval を用いた実験を通して，提案手法である DefSent の有効性，および，大規模な NLI データセットを用いる既存手法と同等の性能を発揮することを示した.

さらに, 文埋め込みの獲得に用いられる教師信号が文埋め込みの性質に与える影響について,実験的に調査した，比較の対象として，提案手法である DefSent と，DefSent と非常に類似した構造を持つが，NLI タスクによってモデルを fine-tuning する SBERT を用いて，教師なしSTS タスクと SentEvalに含まれる分類タスクを複数の観点に分けて評価した．教師なしSTSタスクを用いた比較実験の結果，それぞれの手法は文のソースや文ぺアの表層的類似度によって，文の意味的類似度を捉える能力に差があることがわかった．NLIデータセットという細かな意味の違いを捉えることが重要なタスクで訓練されているSBERT は，表層的に類似した文ぺアの意味の違いを捉えることに長けていることがわかった，定義文からの単語予測タスクという文の意味を適切に構成することが重要なタスクで訓練されているDefSent は, 文の意味的な構成性が重要になるタスクに適していることがわかった。また, SentEvalを用いた比較実験の結果, SBERT は文の意味的な情報が重要なタスクで高い性能を示し，一方で DefSent は文中単語の情報が重要なタスクで高い性能を示した。最後に，提案手法である DefSent と SBERT の統合手法を検討し, 評価した。その結果, DefSent とSBERTによる fine-tuningを順に適用する手法, およびそれぞれの文埋め込みの平均を取る手法が，単純ながら非常に高い性能を示した.

1 節で述べたように，提案手法は人手で作成された NLI データを必要とせず，辞書が整備されている多くの言語において適用可能であると考えられるが，本研究では英語のみを対象に実験を実施しており，英語以外の言語における有効性は示せていない。他の言語でも提案手法が実際に有効であるかを示すためには，複数の言語での実験が必要となるが，言語ごとに，適切な辞書デー夕, 事前学習済み言語モデルと評価デー夕の選定が必要となることから, 今後の課題とする.

また，提案手法と既存手法についてより深く分析するため，提案手法による定義文の埋め达み表現と, 文脈化単語埋め込みの意味べクトル空間上での関係の解析を行いたい. さらに，より多様な文埋め込み手法との性質比較と統合手法の検討を行いたい.

## 謝 辞

本研究の一部は JSPS 科研費 21 H04901 の助成を受けたものである.

## 参考文献

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., LopezGazpio, I., Maritxalar, M., Mihalcea, R., Rigau, G., Uria, L., and Wiebe, J. (2015). "SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability." In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 252-263.

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., Mihalcea, R., Rigau, G., and Wiebe, J. (2014). "SemEval-2014 Task 10: Multilingual Semantic Textual Similarity." In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 81-91.

Agirre, E., Banea, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Mihalcea, R., Rigau, G., and Wiebe, J. (2016). "SemEval-2016 Task 1: Semantic Textual Similarity, Monolingual and Cross-Lingual Evaluation." In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 497-511.

Agirre, E., Cer, D., Diab, M., and Gonzalez-Agirre, A. (2012). "SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity." In Proceedings of *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics - Semantic Evaluation (SemEval), pp. 385-393.

Agirre, E., Cer, D., Diab, M., Gonzalez-Agirre, A., and Guo, W. (2013). "*SEM 2013 shared task: Semantic Textual Similarity." In Proceedings of 2nd Joint Conference on Lexical and Computational Semantics ( ${ }^{*}$ SEM), pp. 32-43.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A large annotated corpus for learning natural language inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval), pp. 1-14.

Cer, D. M., Yang, Y., Kong, S., Hua, N., Limtiaco, N., John, R. S., Constant, N., GuajardoCespedes, M., Yuan, S., Tar, C., Sung, Y.-H., Strope, B., and Kurzweil, R. (2018). "Universal Sentence Encoder." arXiv:1803.11175.

Conneau, A. and Kiela, D. (2018). "SentEval: An Evaluation Toolkit for Universal Sentence Representations." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 1699-1704.

Conneau, A., Kiela, D., Schwenk, H., Barrault, L., and Bordes, A. (2017). "Supervised Learning of

Universal Sentence Representations from Natural Language Inference Data." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186.

Eger, S., Rücklé, A., and Gurevych, I. (2019). "Pitfalls in the Evaluation of Sentence Embeddings." In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 55-60.

Gao, T., Yao, X., and Chen, D. (2021). "SimCSE: Simple Contrastive Learning of Sentence Embeddings." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6894-6910.

Giorgi, J., Nitski, O., Wang, B., and Bader, G. (2021). "DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 879-895.

Goyal, P., Dollár, P., Girshick, R. B., Noordhuis, P., Wesolowski, L., Kyrola, A., Tulloch, A., Jia, Y., and He, K. (2017). "Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour." arXiv:1706.02677.

Hill, F., Cho, K., and Korhonen, A. (2016a). "Learning Distributed Representations of Sentences from Unlabelled Data." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1367-1377.

Hill, F., Cho, K., Korhonen, A., and Bengio, Y. (2016b). "Learning to Understand Phrases by Embedding the Dictionary." In Transactions of the Association for Computational Linguistics (TACL), pp. 17-30.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Ishiwatari, S., Hayashi, H., Yoshinaga, N., Neubig, G., Sato, S., Toyoda, M., and Kitsuregawa, M. (2019). "Learning to Describe Unknown Phrases with Local and Global Contexts." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 3467-3476.

Jiang, T., Huang, S., Zhang, Z., Wang, D., Zhuang, F., Wei, F., Huang, H., Deng, D., and

Zhang, Q. (2022). "PromptBERT: Improving BERT Sentence Embeddings with Prompts." In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8826-8837.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of 3rd International Conference on Learning Representations (ICLR).

Kiros, R., Zhu, Y., Salakhutdinov, R. R., Zemel, R., Urtasun, R., Torralba, A., and Fidler, S. (2015). "Skip-Thought Vectors." In Proceedings of Advances in Neural Information Processing Systems (NIPS), pp. 3294-3302.

Li, B., Zhou, H., He, J., Wang, M., Yang, Y., and Li, L. (2020). "On the Sentence Embeddings from Pre-trained Language Models." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9119-9130.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv preprint arXiv:1907.11692.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223.

Muennighoff, N. (2022). "SGPT: GPT Sentence Embeddings for Semantic Search." arXiv preprint arXiv:2202.08904.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Proceedings of Advances in Neural Information Processing Systems (NeurIPS), pp. 8024-8035.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Reimers, N., Beyer, P., and Gurevych, I. (2016). "Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers (COLING), pp. 87-96.

Reimers, N. and Gurevych, I. (2019). "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language

Processing (EMNLP-IJCNLP), pp. 3982-3992.

Shen, D., Wang, G., Wang, W., Min, M. R., Su, Q., Zhang, Y., Li, C., Henao, R., and Carin, L.

(2018). "Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 440-450.

Tsukagoshi, H., Sasano, R., and Takeda, K. (2021). "DefSent: Sentence Embeddings using Definition Sentences." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 411-418.

Tsukagoshi, H., Sasano, R., and Takeda, K. (2022). "Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals." In Proceedings of the 11th Joint Conference on Lexical and Computational Semantics (*SEM), pp. 139-150.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of Advances in Neural Information Processing Systems (NIPS), pp. 5998-6008.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1112-1122.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45.

Xu, J., Crego, J., and Senellart, J. (2020). "Boosting Neural Machine Translation with Similar Translations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1580-1590.

Yan, Y., Li, R., Wang, S., Zhang, F., Wu, W., and Xu, W. (2021). "ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 5065-5075.

Zhang, D., Li, S.-W., Xiao, W., Zhu, H., Nallapati, R., Arnold, A. O., and Xiang, B. (2021). "Pairwise Supervised Contrastive Learning of Sentence Representations." In Proceedings
of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5786-5798.

## 付録

## A 実験環境と訓練時間

DefSent による BERT-base およびRoBERTa-baseの fine-tuning には, 一つの NVIDIA GeForce GTX 1080 Ti を用いて約 10 分を要した. DefSent による BERT-large および RoBERTa-largeの fine-tuning には，一つの NVIDIA Quadro GV100を用いて約 15 分を要した. SBERT による BERT-base および RoBERTa-base の fine-tuning には，一つの NVIDIA GeForce GTX $1080 \mathrm{Ti}$ を用いて約 120 分を要した. SBERT による BERT-large および RoBERTa-large の fine-tuning には,一つの NVIDIA Quadro GV100を用いて約 130 分を要した.

## B RoBERTaを用いた統合手法の実験結果

表 12 に，モデルとして RoBERTa-base および RoBERTa-large を用い, Pooling 手法として

表 12 各統合手法による文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て 100 をかけたもの).

表 13 各統合手法による文埋め込みを用いた場合の SentEval の各タスクにおける正解率 $(\%)$.

Mean を用いた際の, 各統合手法の STS タスクにおける実験結果を示す.また, 表 13 に，モデルとして RoBERTa-base および RoBERTa-largeを用い, Pooling 手法として Meanを用いた際の,各統合手法の SentEval の後段タスクにおける実験結果を示す.

## 略歴

塚越駿：2021 年名古屋大学情報学部コンピュータ科学科卒業. 同大学院情報学研究科知能システム学専攻博士前期課程に進学.

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了。京都大学特定研究員, 東京工業大学助教を経て，2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.武田浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了。同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).