正準角および部分空間に基づくBERTScoreの拡張

生成文の自動評価は、自然言語処理の重要な課題の1つである。自動評価ではシステム訳文と参照文を比較することで意味的な同等性を評価することを目指している[1]。ベクトル集合のマッチングに基づく類似度の中で代表的な手法であるBERTScore[2]はシンプルで利便性が高く、最も使用されている手法である。BERTScoreはBERT[3]やRoBERTa[4]等の事前学習済みベクトルを利用して、ベクトル間のコサイン類似度の総和に基づき文類似度を計算する手法である。BERTScoreにおいて技術的に最も重要なものは指示関数である。これは、文を単語集合と考えたときに、ある単語集合中のトークン（royal）が、もう一方の単語集合（𝐵={We,are,king,and,queen}）にどの程度含まれているか（royal∈𝐵）を定量化するものである。我々が着目するのは、この一件自然なアプローチが，文内のシンボルとしては明示的に含まれないが文意には影響する意味を取り逃がす可能があるという点である。例えばkingとqueenを含む文が持つroyalという意味情報が、royalという単語が𝐵に含まれないという理由でBERTScoreの類似性計算は反映することができない。そこで、本研究では、部分空間の考え方[5]を取BERTScoreSubspace-BERTScoreb2b2b1aiaib1핊Bb3b3B={b1,b2,b3}핊B=span{b1,b2,b3}提案法は文（𝐵）を部分空間（𝕊B）で表現し、部分空間とトークンベクトル（𝒂𝑖）との類似度（≒正準角）を計算することで、文類似尺度の表現力を向上させている。り入れることで、BERTScoreの指示関数を拡張し、文類似度の改善に取り組んだ。提案法は表現力を向上させるだけでなく、ベクトル集合間のマッチングをRecall、Precision、F-scoreに帰着させるというBERTScoreの基本的な方針を継承しているため、タスクへの非依存性といったBERTScoreの利点は損なわれていない。本研究では生成文評価タスクと文類似度タスクでの実験により提案法がBERTScoreの文類似推定性能を改善する事を示した。