多言語モデルを用いた日英対訳文集合のフィルタリング手法の分析

ニューラルモデルによる機械翻訳において，モデルの訓練に使用されるデータの品質はモデルが出力する翻訳文の品質に大きな影響を与える．しかしながら，訓練に使用する対訳文集合はウェブクロールによって収集された対訳文集合を使用する場合が多く，これは自動収集という性質上，ノイズとなるデータを一定割合含むために，事前に処理を行うことでその品質を向上させることが必要である．この問題を解決することを目的として，WMT2018からWMT2020までのParallelCorpusFilteringTask，WMT2023のParallelDataCurationTaskが開催されるなど，対訳文集合の品質保証は課題となっている．対訳文集合のフィルタリングにおいて，最も用いられるスコア付け手法の一つは，多言語文埋め込みモデルLASER[1]であり，これは，WMT2020，2023のベースラインとしても使用されている．本論文では，WAT2022で実施されたParallelCorpusFilteringTask1）の条件に沿って，日英間で最大規模1）https://sites.google.com/view/wat-filtering/previous-task-wat-2022?authuser=0の対訳文集合であるJParaCrawl-v3をフィルタリングすることを目指す．これは多様なドメインデータを含む対訳文集合であるので，ドメイン非依存のモデルを用いてJParaCrawl-v3をフィルタリングすることを最終目的とする．まず文対応に関する擬似的な誤りデータを作成し，それに対する反応の様子からBicleaner-AI，marian-scorer，LEALLA，GPT-2スコアの性能を評価した．その結果，Bicleaner-AI，marian-scorerの2手法が正しく誤りを検出する度合いが大きかった．その後，前処理を行ったJParaCrawl-v3の各文に4種スコアを与え，それに基づくフィルタリングを行い，フィルタリング後対訳文集合を獲得した．これを用いて評価用機械翻訳モデルを訓練し，テストデータに対するBLEU値をもとにフィルタリング手法を評価すると，日英方向においてBicleaner-AIとmarian-scorerは有意差を示した．4種スコアを組み合わせた合成スコアに関しても，類似した傾向を示した．