Simul-COMET:原発話との語順差を考慮した同時通訳評価指標

同時通訳者は原発話を短い単位に区切って処理することで，原言語と目的言語の語順の単調性を維持した訳出を行なっている．同時通訳文の自動評価には意味的類似性を考慮できるCOMET等の指標が用いられるが，COMETは語順の並び換えが多いオフライン翻訳データで学習されているため，同時通訳らしい単調性が高い文に低いスコアを付与するという課題がある．本研究では，単調性を考慮する品質評価指標Simul-COMETを提案する．人手評価付きのオフライン翻訳データを，大規模言語モデルを用いて同時通訳調に変換し，Simul-COMETの学習に用いた．英日翻訳での実験の結果，Simul-COMETはオフライン翻訳よりも同時通訳調の翻訳に高いスコアを付与し，COMETよりもプロの同時通訳者による人手評価と高い相関を示した．