# 正準角および部分空間に基づく BERTScore の拡張

石橋陽一 ${ }^{1}$ 横井祥 ${ }^{2,3}$ 須藤 克仁 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 東北大 ${ }^{3}$ 理研 AIP
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp
yokoi@tohoku.ac.jp

## 概要

本研究では生成文自動評価の代表的な手法である BERTScore を拡張し、新たな文類似度 SubspaceBERTScore を提案する。我々は文に明示的に含まれない意味も考慮するため、BERTScore における文表現（ベクトル集合）と指示関数（集合への含まれ度合い）に着目し、これらを部分空間表現と正準角を用いて自然に拡張する。生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の文類似推定性能を安定して改善する事を示す。

## 1 はじめに

生成文の自動評価は、自然言語処理の重要な課題の1つである。自動評価ではシステム訳文と参照文を比較することで意味的な同等性を評価することを目指している [1]。ベクトル集合のマッチングに基づく類似度の中で代表的な手法である BERTScore [2] はシンプルで利便性が高く、最も使用されている手法である。BERTScore は BERT [3] や RoBERTa [4] 等の事前学習済みベクトルを利用して、ベクトル間のコサイン類似度の総和に基づき文類似度を計算する手法である。

BERTScore において技術的に最も重要なものは指示関数である。これは、文を単語集合と考えたときに、ある単語集合中のトークン (royal) が、もう一方の単語集合（ $B=\{$ We, are, king, and, queen $\})$ にどの程度含まれているか $($ royal $\in B ） を$ 定量化するものである。我々が着目するのは、この一件自然なアプローチが，文内のシンボルとしては明示的に含まれないが文意には影響する意味を取り逃がす可能があるという点である。例えば king と queenを含む文が持つ royal という意味情報が、royal という単語が $B$ に含まれないという理由で BERTScore の類似性計算は反映することができない。

そこで、本研究では、部分空間の考え方 [5]を取

## BERTScore

$B=\left.\{b_{1}, b_{2}, b_{3}\right.\}$
Subspace-BERTScore

$\mathbb{S}_{B}=\operatorname{span}\left.\{b_{1}, b_{2}, b_{3}\right.\}$

図 1 提案法 (Subspace-BERTScore) と BERTScore の比較。提案法は文 $(B)$ を部分空間 $\left(\mathbb{S}_{\mathbf{B}}\right)$ で表現し、部分空間とトークンベクトル $\left(a_{i}\right)$ との類似度（う正準角）を計算することで、文類似尺度の表現力を向上させている。

り入れることで、BERTScore の指示関数を拡張し、文類似度の改善に取り組んだ。提案法は表現力を向上させるだけでなく、べクトル集合間のマッチングを Recall、Precision、F-score に帰着させるという BERTScore の基本的な方針を継承しているため、タスクへの非依存性といった BERTScore の利点は損なわれていない。本研究では生成文評価タスクと文類似度タスクでの実験により提案法が BERTScore の文類似推定性能を改善する事を示した。

## 2 準備

問題設定本研究では 2 つの文に対する類似度の開発を目指している。本手法が対象とするタスク （生成文自動評価・文類似度タスク）では 2 つの文が与えられ、これらの類似性を判定する。したがって本研究では与えられる 2 つ文 $A, B$ を事前学習済みのべクトルで表現した上で、それらの類似度を計算する。

記法以降の議論を明確にするために、いくつかの記号を定義しておく。2つの文 $A, B$ のトークンの集合をそれぞれ $A=\left.\{a_{1}, a_{2}, \ldots\right.\}, B=\left.\{b_{1}, b_{2}, \ldots\right.\}$ と表記する。事前学習済み埋め込みによって表現される文脈化トークンベクトルの集合を $\mathbf{A}=\left.\{\boldsymbol{a}_{1}, \boldsymbol{a}_{2}, \ldots\right.\}, \mathbf{B}=\left.\{\boldsymbol{b}_{1}, \boldsymbol{b}_{2}, \ldots\right.\}$ と表記する。ここで $\boldsymbol{a}, \boldsymbol{b}$ をトークンのベクトルとする。また、Aによっ

て張られる部分空間を $\mathbb{S}_{\mathbf{A}}$ と表記する。

## 3 BERTScore

ここでは生成文のマッチングに基づく文類似度における最も代表的な評価手法である BERTScore [2] における「文の表現方法」と技術的に最も重要な 「指示関数」を概説しその限界を指摘する。

離散シンボル集合間の類似度 BLEU [1] や METEOR [6] などの BERTScore 以前のいくつかの評価手法は、Recall $(R)$ 、Precision $(P)$ の計算に基づく手法であった1)。

$
\begin{aligned}
& R=\frac{1}{|A|} \sum_{a_{i} \in A} \mathbb{1}_{\text {set }}\left[a_{i} \in B\right], \\
& P=\frac{1}{|B|} \sum_{b_{i} \in B} \mathbb{1}_{\text {set }}\left[b_{i} \in A\right] .
\end{aligned}
$

ここで指示関数 $\mathbb{1}_{\text {set }}$ は「集合に含まれる (1) か否か (0)」を離散的に定量化する関数である。

$
\mathbb{1}_{\text {set }}\left[a_{i} \in B\right]=\left.\{\begin{array}{lll}
1 & \text { if } & a_{i} \in B, \\
0 & \text { if } & a_{i} \notin B .
\end{array}\right.
$

BERTScore における 3 つの類似度 BERTScore は $R, P$ そして F-score $(F)$ を埋め込みを用いて近似的に計算する手法である。

$
\begin{aligned}
& R_{\mathrm{BERT}}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in \mathbf{A}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right), \\
& P_{\mathrm{BERT}}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in \mathbf{B}} \mathbb{1}_{\text {vectors }}\left(\boldsymbol{b}_{i}, \mathbf{A}\right), \\
& F_{\mathrm{BERT}}=2 \frac{P_{\mathrm{BERT}} \cdot R_{\mathrm{BERT}}}{P_{\mathrm{BERT}}+R_{\mathrm{BERT}}} .
\end{aligned}
$

文はトークンベクトルの集合 $\mathbf{A}, \mathbf{B}$ として表現され

関数である。直感的には、この $\mathbb{1}_{\text {vectors }}$ は「ベクトル集合への $-1 \sim 1$ の含まれ度合い」であり、 $\mathbb{1}_{\text {set }} よ$ りも柔軟な指示関数となっている。具体的には、 $\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, \mathbf{B}\right)$ は文 $A$ 中の $i$ 番目のトークンベクトル $a_{i}$ が文 $B$ に対し意味的にどの程度含まれているかを $a_{i}$ と $B$ のトークンベクトルとの $\cos$ 類似度の最大値として定量化している。

$
\mathbb{1}_{\text {vectors }}\left(\boldsymbol{a}_{i}, B\right)=\max _{\boldsymbol{b}_{j} \in B} \cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right) \in[-1,1]
$

ここで $\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)$ は $\boldsymbol{a}_{i}$ と $\boldsymbol{b}_{j}$ の $\cos$ 類似度である。

表現力の問題指示関数 $\mathbb{1}_{\text {vector }}$ は BERTScore の計算において最も重要な演算である。 $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ は
$-gram のリストが
}使われる。 $\mathbb{1}_{\text {vectors }}$ の和であるし、 $F_{\mathrm{BERT}}$ は $P_{\mathrm{BERT}}, R_{\mathrm{BERT}}$ に基づいて計算される。しかしながら BERTScore の指示関数は表現力の観点で問題がある。図 1 左は $\mathbb{1}_{\text {vectors }}$ の計算を可視化したものである。ここで $\mathbb{v}_{\text {vectors }}$ は $B$ のすべてのべクトルとの類似度を計算し、最大值のみ返す。すなわち、 $B$ 中の「特定の単語」との類似度である。したがって、文が持つ非明示的で重要な意味情報との類似性が考慮されない。例えばThe king and queen. は royal の意味を含むが、表層的には含まれない。BERTScore における類似度の計算対象は文中の単語のみであるので、royal との類似性は直接計算できない。この問題は文を単なるべクトル集合で表現していること、そしてそのようなべクトル集合のための指示関数を採用している事に起因する。

## 4 Subspace-BERTScore

我々は部分空間の考え [5] に基づいた文表現と指示関数により BERTScore を拡張した SubspaceBERTScoreを提案する。

部分空間を使った文表現 BERTScoreでは、文がベクトル集合で表現されていたが、我々は文の非明示的な情報を表現するため、文をトークンベクトルが張る部分空間 $\mathbb{S}$ とてて表現する（図 1)。以前の研究で、単語ベクトルが張る部分空間が単語集合の意味的特徴をよく反映する表現であることがわかっている $[7,5]$ 。

部分空間に対する指示関数部分空間と単語の類似性を計算するため、部分空間に適用できる指示関数であるソフト帰属度 [5] を導入する。これは直感的には「部分空間とべクトルの類似度」として機能する。この指示関数はベクトル $\boldsymbol{a}$ と部分空間 $\mathbb{S}_{\mathbf{B}}$ とのなす最小の角度（第一正準角）に応じて 0 から 1 の連続値を返す2)。

$
\mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)=\max _{\boldsymbol{b}_{j} \in \mathbb{S}_{\mathbf{B}}}\left|\cos \left(\boldsymbol{a}_{i}, \boldsymbol{b}_{j}\right)\right| \in[0,1]
$

ここで、 $\mathbb{S}_{\mathbf{B}}$ は文 $B$ のベクトルで張られる線形部分空間である (図 1)。

ソフト帰属度は文の全情報を含む部分空間との類似度を計算でき、BERTScore の指示関数の表現力を改善する。また、式を見るとソフト帰属度 $1_{\text {subspace }}$ （式 8）は BERTScore における指示関数 $\mathbb{1}_{\text {vectors }}$ （式 7） の自然な拡張となっていることがわかる。

提案法: P, R, F の拡張これまでの議論に基づき、我々は文の部分空間表現とソフト帰属度を用いて BERTScore の $R, P, F$ を計算する SubspaceBERTScore を提案する。

$
\begin{aligned}
& R_{\text {subspace }}=\frac{1}{|A|} \sum_{\boldsymbol{a}_{i} \in A} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right), \\
& P_{\text {subspace }}=\frac{1}{|B|} \sum_{\boldsymbol{b}_{i} \in B} \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right), \\
& F_{\text {subspace }}=2 \frac{P_{\text {subspace }} \cdot R_{\text {subspace }}}{P_{\text {subspace }}+R_{\text {subspace }}} .
\end{aligned}
$

ここで、 $R_{\text {subspace }}, P_{\text {subspace }}, F_{\text {subspace }}$ は SubspaceBERTScore の最終的な評価尺度である。

重要度の重み付け過去の研究で、出現頻度の低い単語は一般的な単語よりも文において文類似性に重要な役割を果たすことが知られている $[6,8]$ 。このことから BERTscore では重要度を重み付けする方法も提案している。そこで我々の手法も BERTScore と同様に以下のように重み付けを行う。

$
\begin{aligned}
R_{\text {subspace }}= & \frac{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{a}_{i}, \mathbb{S}_{\mathbf{B}}\right)}{\sum_{\boldsymbol{a}_{i} \in A} \operatorname{weight}\left(\mathrm{a}_{\mathrm{i}}\right)}, \\
P_{\text {subspace }}= & \frac{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right) \mathbb{1}_{\text {subspace }}\left(\boldsymbol{b}_{i}, \mathbb{S}_{\mathbf{A}}\right)}{\sum_{\boldsymbol{b}_{i} \in B} \operatorname{weight}\left(\mathrm{b}_{\mathrm{i}}\right)} .
\end{aligned}
$

ここで、weight は重み付け関数である。我々は BERTScore で採用された inverse document frequency (IDF) またはベクトルの L2ノルム [9]を使用する。

## 5 定量的評価

提案法の性能を検証するため、生成文の自動評価タスクと、文類似度タスクで評価を類似おこ。ここでは複数のデータセットにおける総合的な結果を述べる。各データセットの個々の結果については付録の表 4、表 5に記載する。

## 5.1 生成文自動評価タスク

実験設定先行研究 [2] に習い我々は機械翻訳における自動評価タスクである WMT18 metrics task [10] の評価データセットを使用した。このデータセットには機械翻訳システム訳文と参照訳文、そして人手評価が含まれる。このタスクでは機械翻訳システム訳文と参照訳文の類似度を算出し、人手評価と自動評価のケンドールの順位相関係数 （Kendall's $\tau$ ）で評価する。本実験で我々は 7 言語から英語への翻訳におけるセグメントレベルの人手評価を使用した。事前学習済み言語モデルには表 1 WMT18におけるセグメントレベルの人手評価との平均相関係数（Kendall's $\tau$ )。

表 2 各 STS データセットにおける人手評価との平均相関係数（Spearman's $\rho$ )

BERTScore で高い性能を達成したことが報告されている RoBERTa $_{\text {large }}{ }^{3}$ [4] の第 17 層を使用した。

結果結果を表 1に示す。3つの類似尺度 F-score、 Precision、Recallに着目すると、いずれの類似度でも提案法が最も高い人手評価との相関を達成した。特に、この3つの中で F-score が最も高い性能であった。また、我々は先行研究 [2] と同じくIDFによる重み付けを BERTScore と提案法に行ったが、両者とも性能向上は確認されなかった。

## 5.2 文類似度タスク

実験設定文類似度タスク（STS）では 2つの文の類似度を算出し、人手評価と自動評価のスピアマンの順位相関係数 (Spearman's $\rho)^{4)}$ で評価する。


データセットとして我々は SemEval shared task の 2012-2016 [11, 12, 13, 14, 15]、STS-benchmark (STS-B) [16]、そして SICK-Relatedness (SICK-R) [17]を用いた。我々は事前学習済み言語モデル BERT $_{\text {base }}{ }^{5}$ [3] の最終層のベクトルを使用した。

結果結果を表 2に示す。F-score、Precision、Recall のいずれの方法でも生成文自動評価タスクと同様、提案法が人手評価との最も高い相関を達成した。この中で最も高い性能であったメトリックは F-score であった。また、重要度の重みとして STS において有効性が確認されている L2ノルム [9] で指示関数を重み付けした実験を行った結果、提案法および BERTScore ともに性能向上が確認され、両者ともに重み付けが有効であることがわかった。また、L2ノルムによる重み付けを行った場合も提案法が既存法より優れていた。

## 6 指示関数の効果の分析

提案法は BERTScore よりも文の非明示的な情報を活用できているだろうか？ここで我々は非明示的な情報を持つ文に両手法を適用し比較を行う。

## 6.1 実験設定

ここでは「非明示的だが royal の意味を含む文」 と「明示的に royal の意味を含む文」に対して指示関数を適用し比較する。我々は非明示的な文として They are the king and queen. を使用した ${ }^{6)}$ 。この文には royal という単語は文中に出現していないが、文の本質的な意味としては royal に近い意味を包含している。明示的に含む文は They are royalty. である。指示関数が良く機能するならば、「非明示的な文」 と「明示的に含む文」に対してどちらも royalを意味的に含むと判断するので、両者に対する指示関数の値には大きな差がないはずである。そこで我々は提案法と BERTScore の指示関数をこれらの文に使用し、指示関数の値の差で比較した。

## 6.2 結果

結果を表 3に示す。提案法は BERTScore よりも指示関数の値の差が小さいことがわかる。提案法は king や queen が張る空間で文を表現するため、文中に royal を含まなくともその空間に royal のような意味が含まれている。したがって、この文に対す

5) https://huggingface.co/bert-base-uncased

6）これ以外の例は付録（表 6）に記載する。表 3 指示関数の比較 ( $\mathbb{1}_{\text {vecs }}$ : BERTScore $の, \mathbb{1}_{\text {sub }}$ : 提案法の)。両者は文 $B$ に対する単語 royal の包含度合いを計算する。

 & 0.60 & 0.69 \\

る指示関数の值は royaltyを含む文のそれと近くなり、両者の差が小さくなったと考えられる。一方で BERTScore の指示関数は提案法のように king と queen どちらも含むような意味空間との類似性は計算できないため、提案法よりも差が大きくなったと考えられる。以上の結果から、提案法は BERTScore よりも高い表現力を持つことが示唆される。

## 7 関連研究

近年の生成文評価には BLEURT [18]、C-SPEC [19, 20]、COMET [21]などがある。これらは人手評価のデータを使用して評価モデルの学習を行う手法である。これは本研究と目的が異なる。我々のタスクはモデルの学習は行わないマッチングベースの評価であり、事前学習された言語モデルによる教師なしの類似度を提案している。

BERTScore と類似した手法として MoverScore [22] がある。両者を比較すると BERTScore は基本的な性能が MoverScore よりも高く、マッチングベースの自動評価において最も使われる手法であることから、本研究では BERTScore を拡張した。

## 8 結論

本研究では、BERTScore の表現力の限界を指摘し、より表現力の高い方法 Subspace-BERTScoreを提案した。これは BERTScore の自然な拡張になっており、類似度としての性能が向上している。実験では、機械翻訳における生成文自動評価タスクと文類似度タスクで BERTScore と提案法を比較した。 その結果、全てのタスクと全メトリックで提案法が BERTScore よりも優位であり、部分空間の方法を取り入れることで性能を向上させることが示された。

また、我々が採用した部分空間に基づくアプロー チは汎用性が高く、現代の自然言語処理で頻繁に使用される計算（文表現やベクトル集合に対する表現形式・類似性計算）を代替できる可能性があり、将来的にあらゆる場面での応用が期待できる。

## 謝辞

本研究は JSPS 科研費 (JP22H03654, JP22H05106)、

JST ACT-X（JPMJAX200S）の支援を受けたものです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedtational Linguistics, July 6-12, 2002, Philadelphia, PA, USA, pp. 311-318. ACL, 2002.

[2] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.

[5] Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, and Satoshi Nakamura. Subspace-based set operations on a pre-trained word embedding space. CoRR, Vol. abs/2210.13034, , 2022.

[6] Satanjeev Banerjee and Alon Lavie. METEOR: an automatic metric for MT evaluation with improved correlation with human judgments. In Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare R. Voss, editors, Proceedings of the Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization@ACL 2005, Ann Arbor, Michigan, USA, June 29, 2005 pp. 65-72. Association for Computational Linguistics, 2005.

[7] Jiaqi Mu, Suma Bhat, and Pramod Viswanath. Representing sentences as low-rank subspaces. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 2: Short Papers, pp. 629-634. Association for Computational Linguistics, 2017.

[8] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7-12, 2015, pp. 4566-4575. IEEE Computer Society, 2015

[9] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Bonnie Webber, Trevor Cohn, Yulan $\mathrm{He}$, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2944-2960. Association for Computational Linguistics, 2020

[10] Qingsong Ma, Ondrej Bojar, and Yvette Graham. Results of the WMT18 metrics shared task: Both characters and embeddings achieve good performance. In Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana L. Neves, Matt Post, Lucia Specia, Marco Turchi, and Karin Verspoor, editors, Proceedings of the Third Conference on Machine Translation: Shared Task Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018, pp. 671-688. Association for Computational Linguistics, 2018

[11] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June 7-8, 2012, pp. 385-393. The Association for Computer Linguistics, 2012.

[12] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Simitors, Proceedings of the Second Joint Conference on Lexical and Computational Semantics, *SEM 2013, June 13-14, 2013, Atlanta, Georgia, USA, pp. 32-43. Association for Computational Linguistics, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task 10: Multilingual Semantic Textual Similarity. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Seman- tic Evaluation, SemEval@COLING 2014, Dublin, Ireland, August 23-24, 2014, pp. 81-91. The Association for Computer Linguistics, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver, Colorado, USA, June 4-5, 2015, pp. 252-263. The Association for Computer Linguistics, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M. Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016, pp. 497-511. The Association for Computer Linguistics, 2016

[16] Daniel M. Cer, Mona T. Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Steven Bethard, Marine Carpuat, Marianna Apidianaki, Saif M. Mohammad, Daniel M. Cer, and David Jurgens, editors, Proceedings of the 11th International Workshop on Semantic Evaluation, SemEval@ACL 2017, Vancouver, Canada, August 3-4, 2017, pp. 1-14. Association for Computational Linguistics, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asunción Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, Reykjavik, Iceland, May 26-31, 2014, pp. 216-223. European Language Resources Association (ELRA), 2014

[18] Thibault Sellam, Dipanjan Das, and Ankur P. Parikh. BLEURT: learning robust metrics for text generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7881-7892. Association for Computational Linguistics, 2020.

[19] Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 3553-3558. Association for Computational Linguistics, 2020

[20] Kosuke Takahashi, Yoichi Ishibashi, Katsuhito Sudoh, and Satoshi Nakamura. Multilingual machine translation evaluation metrics finetuned on pseudo-negative examples for WMT 2021 metrics task. In Loïc Barrault, Ondrej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Tom Kocmi, André Martins, Makoto Morishita, and Christof Monz, editors, Proceedings of the Sixth Conference on Machine Translation, WMT@EMNLP 2021, Online Event, November 10-11, 2021 pp. 1049-1052. Association for Computational Linguistics, 2021.

[21] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2685-2702. Association for Computational Linguistics, 2020.

[22] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer and Steffen Eger. Moverscore: Text generation evaluating with contextualized embeddings and earth mover distance. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 563-578. Association for Computational Linguistics, 2019.

## 付録

本研究で実施した生成文自動評価タスクと文類似度タスクの詳細な結果を表 4と表 5に示す。結果の傾向は実験 5 と同じであり、個々のデータセットに対しても提案法が BERTScore を上回っている。

表 4 英語への機械翻訳自動評価タスクにおけるシステム訳と参照訳のセグメントレベルの人手評価との相関係数 (Kendall's $\tau$ )。BERTScore の結果は [2] から引用した。

表 5 各STS タスクにおける人手評価との相関係数（Spearman's $\rho$ ）

表 6 指示関数（ $\mathbb{1}_{\text {vectors }}$ : BERTScore, $\mathbb{1}_{\text {subspace }}$ : 提案法）の比較。両者は文 $B$ に対する単語 genius の包含度合いを計算する。

 & 0.69 & 0.76 \\