多言語モデルを用いた日英対訳文集合のフィルタリング手法の分析

本論文では，ウェブクロールコーパスであるJParaCrawl-v3に含まれる不適切な文対を，多言語モデルによるスコアを用いてフィルタリングすることを目指した．事前に異なる文の断片を含む文対応誤りデータを擬似的に作成し，その誤りの検出する様子を4つの言語モデルの間で調査した．その結果，Bicleaner-AIとmarian-scorerの方がLEALLA，GPT-2よりも正しく誤りを検出する度合いが大きかった．その後，各モデルを用いてJParaCrawl-v3のフィルタリングを実行した結果，Bicleaner-AIとmarian-scorerは，フィルタリングにおいても英日方向に有意差を出すことがわかった．