現在の機械翻訳モデルは主に対訳コーパスを用いて学習されており、その翻訳精度は対訳コーパスの質と量に大きく依存している。本稿では、新たにウェブをクロールし日英対訳文を抽出することで大規模日英対訳コーパスを構築し、翻訳精度の底上げを狙う。なおこの際クラウドソーシングを活用して対訳文が存在するウェブサイトを発見することで、効率的な対訳文収集を目指す。今回ウェブから収集した対訳文と以前作成した日英対訳コーパスJParaCrawlv3.0を合わせることで、合計4400万文を超える日英最大規模の対訳コーパスを作成することに成功した。実験により、新たな対訳コーパスを用いて学習した翻訳モデルが様々な分野で高い翻訳精度を発揮することを示す。なお、今回作成した対訳コーパスをJParaCrawlv4.0と名付け、我々のウェブサイト上で研究目的利用に限り無償公開する予定である。1）

現在のニューラル機械翻訳モデルは、主に対訳コーパスを用いた教師ありの手法[2,3,4,5]で学習されている。また大規模言語モデル(LLM)の事前学習時に対訳コーパスを使用することで、多言語文の理解・生成性能が向上することが知られており[6]、対訳コーパスの重要性はさらに増している。これらのモデル学習時、対訳コーパスの質と量が翻訳・言語理解性能に大きな影響を与えること知られているが、大規模対訳コーパスが一般に公開されている言語対は限られている。例えば、独英などの言語対ではすでに数億文の対訳文が公開されているものの、日英ではまだ同程度のものは存在せず、モデル学習時に大きな問題となっている。そのため、本1）本稿はJParaCrawlv3.0発表時の原稿[1]をもとに加筆修正したものである。稿ではさらに大規模なウェブベースの日英対訳コーパスを構築する。現在、日英で最大規模の対訳コーパスの1つは約2100万文の対訳文を含むJParaCrawlv3.0[7]であり、これはウェブを大規模にクロールし対訳文を自動的に抽出することで構築されている。本コーパスは欧州言語対と比較すると小規模であり、2022年を最後に更新が止まっているため、最新の情報を含んでいない。そのため、本研究ではウェブを全面的に再クロールし、対訳文を抽出することでJParaCrawlコーパスを拡大/更新する。本研究では、この際クラウドワーカーから日英対訳文が存在するウェブサイトの報告を受けることで、より効率良く対訳文を抽出することを目指す。また、新たに作成した対訳コーパスを用いて、英日および日英の機械翻訳の精度がどのように向上するかを実験的に示す。本研究で作成した対訳コーパスはJParaCrawlv4.0と名付け、今後の研究のために我々のウェブサイト2）で公開する予定である。