本論文では翻訳システムに対する自動評価指標として新たな指標を提案する．これは単語レベルの編集距離をジャンプ操作の追加と単語埋め込みによる置換コストの緩和によって拡張したものである．前者は語順の入れ替えを，後者は文中の単語の類似度をそれぞれ考慮しており，これらを組み合わせることで質の高い自動評価指標を作れると考えた.実験はWMT19MetricsSharedTaskを用いて行い，上記の拡張が自動評価指標と人手評価の相関向上に寄与することを確認した．

優れた機械翻訳システムを開発するには質の高い自動評価指標が必要であり[1]，以前からBLEU[2]やchrF[3]などが頻繁に用いられてきた．自動評価指標の質を高めるための一つの方針は，語順の考慮である[1,4,5]．また，別の方針として単語埋め込みの利用がある[6,7]．CDER（CoverDisjointErrorRate）[8]やEED（ExtendedEditDistance）[9]などのジャンプ付き編集距離は語順の入れ替えを考慮する点で妥当だと考えられる．我々は語順の考慮と単語埋め込みの利用を両立するべく，ジャンプ付き編集距離の置換コストを単語埋め込みを用いて緩和したWCDER（WordembeddingbasedCDER）を提案する．問題設定本論文中の自動評価指標は式(1)のように単語数がそれぞれ𝑛，𝑛′の翻訳文（𝑐）と参照文（𝑟）を入力として，その類似度を計算して翻訳文の良し悪しを測定する．𝑐=[𝑐1,𝑐2,···,𝑐𝑛],𝑟=[𝑟1,𝑟2,···,𝑟𝑛′](1)