JParaCrawlv4.0:クラウドソーシングを併用した大規模対訳コーパスの構築

現在のニューラル機械翻訳モデルは、主に対訳コーパスを用いた教師ありの手法[2,3,4,5]で学習されている。また大規模言語モデル(LLM)の事前学習時に対訳コーパスを使用することで、多言語文の理解・生成性能が向上することが知られており[6]、対訳コーパスの重要性はさらに増している。これらのモデル学習時、対訳コーパスの質と量が翻訳・言語理解性能に大きな影響を与えること知られているが、大規模対訳コーパスが一般に公開されている言語対は限られている。例えば、独英などの言語対ではすでに数億文の対訳文が公開されているものの、日英ではまだ同程度のものは存在せず、モデル学習時に大きな問題となっている。そのため、本1）本稿はJParaCrawlv3.0発表時の原稿[1]をもとに加筆修正したものである。稿ではさらに大規模なウェブベースの日英対訳コーパスを構築する。現在、日英で最大規模の対訳コーパスの1つは約2100万文の対訳文を含むJParaCrawlv3.0[7]であり、これはウェブを大規模にクロールし対訳文を自動的に抽出することで構築されている。本コーパスは欧州言語対と比較すると小規模であり、2022年を最後に更新が止まっているため、最新の情報を含んでいない。そのため、本研究ではウェブを全面的に再クロールし、対訳文を抽出することでJParaCrawlコーパスを拡大/更新する。本研究では、この際クラウドワーカーから日英対訳文が存在するウェブサイトの報告を受けることで、より効率良く対訳文を抽出することを目指す。また、新たに作成した対訳コーパスを用いて、英日および日英の機械翻訳の精度がどのように向上するかを実験的に示す。本研究で作成した対訳コーパスはJParaCrawlv4.0と名付け、今後の研究のために我々のウェブサイト2）で公開する予定である。