文埋め込みモデルの内部表現と不均衡最適輸送を用いた機械翻訳自動評価

自動評価は，機械翻訳をはじめとする自然言語生成タスクにおいて不可欠な役割を果たしてきた[1,2,3,4]．BLEU[1]やROUGE[5]といった表層的なn-gram一致に基づく指標が長く用いられてきた一方で，COMET[2]やBLEURT[3]など，文脈埋め込み表現を活用したニューラルベースの自動評価も主流となっている．また，大規模言語モデルを自動評価として用いる手法[6,7]も提案されている．一方で，これら自動評価は，解釈性の低さという課題を抱えている．ある出力が高い，あるいは低い評価を受けた時，その原因を把握することが難しく，特にCOMET[2]など文全体を単一のスコアで評価する手法は，どの単語が評価に影響を与えたのかが不明瞭であり，分析への応用が制限される．解決策のひとつにトークンレベルの対応を明示的に扱うBERTScore[8]がある．BERTScoreは，文脈埋め込み空間におけるトークン間の類似度を測ることで，生成文と参照文の間の対応関係を可視化できる点で，ニューラルベースの自動評価の中でも比較的高い解釈性を有する．一方で，BERTScoreが用いる埋め込み表現は主にBERTを用いたものであり，近年提案されている文単位の意味表現に特化した文埋め込みモデルの知見は十分に活用されていない．文単位の意味表現で高い性能を示す文埋め込みモデル[9,10,11]は，文単位の表現を目的として学習されているが，内部表現には単語・サブワードレベルの意味情報が反映されていると考えられ，トークンレベルで活用できる可能性がある．また、BERTScoreにおけるトークン対応は，最大コサイン類似度に基づく貪欲的な対応付けによって決定されるため，対応関係が過度に強制されるため，生成文と参照文の情報量が不均衡な場合やAdditionやOmissionといった翻訳特有の誤りが生じる場合に，それらを適切に扱うことが難しい．そこで本研究では，文埋め込みモデルの内部表現と，不均衡最適輸送[12,13]を用いてトークン間のアライメントを推定する[14,15,16]．これにより，部分的あるいは非対称な対応関係を許容し，より柔軟で情報量の多いアライメントを獲得を目指す．実験では，WMT2022MetricsSharedTask[17]を元に提案手法を評価した．その結果，特定の言語対においては，既存の自動評価と比較して人手評価との相関が向上することを確認した．