対訳データを用いた継続事前訓練による大規模言語モデルの翻訳精度評価

大規模言語モデルが，多くの自然言語処理タスクで成果を収めている．しかし，パラメーター数が100億前後の大規模言語モデルでは，既存手法であるEncoder-Decoderモデルより，翻訳精度が大きく劣ることが報告されている．そこで本論文では，対訳データを用いた継続事前訓練を提案する．対訳データで大規模言語モデルを継続事前訓練した後，少量の人手データでSupervisedFine-Tuningし，WMT22のテストデータをはじめとする12種のテストセットで評価した．その結果，提案手法を適用したモデルは，対訳データで訓練されたEncoder-DecoderモデルよりBLEU・COMETの両方で統計的に有意な差が示された．