我々はクラウドソーシングを使って、日中対訳webサイトのトップページURLの対を約1万件収集し、約460万文対の日中対訳コーパスを作成した。まずトップページURLを起点としてそのドメインをクロールし、次に16万語対の日中対訳辞書を用いて文書対応と文対応を行い、最後に別途用意した120万文対の高品質な日中対訳文対から作成した対訳コーパスフィルタを用いてフィルタリングを行った。我々の日中対訳コーパス460万文対は、既存の日中対訳コーパスCCMatrix(1,240万文対)[1]に比べ、大きさはの約3分の1であるが、翻訳精度は同等であり、クラウドソーシングの有効性を示せた。

従来のエンコーダデコーダモデルだけでなく、大規模言語モデル(LargeLanguageModel,LLM)でも、対訳データは機械翻訳において重要な役割を果たす。Briakouら[2]は、PaLMの訓練データの分析から、対訳データが訓練データに偶然混入していることがLLMで翻訳ができる原因であることを示した。10B前後の小さなLLMは翻訳精度が低いが、Xuら[3]は、大量の単言語データでLLMをファインチューンした後に高品質かつ少量の対訳データでLLMをファインチューンするALMAと呼ばれる方法を提案し、13BのLLMでGPT-3と同等の翻訳精度を達成した。Guoら[4]および近藤ら[5]は、大規模な対訳データを用いて継続事前訓練してから高品質な対訳データでファインチューンすると、ALMAを上回る翻訳精度を達成できることを示した。本報告では、日本語と中国語の対訳文対をwebから収集する方法について議論する。日本語と中国語の翻訳は、話者の数や経済規模の観点から非英語言語対の中で最も重要な課題と言える。我々は、対訳を含むwebサイトのURLをクラウドソーシングにより収集することの有効性を示す。森下ら[6]は、日英対訳コーパスの収集において、対象領域を制限せずに対訳webサイトにおける各言語のトップページURL対をクラウドワーカを使って収集する方法の有効性を示した。本報告ではこの方法を日本語と中国語に適用し、CommonCrawlを分析して収集したwebサイトよりもクラウドソーシングで収集したwebサイトの方が少ないクロール量で多くの対訳文対が得られることを示す。なおクラウドソーシングを用いて作成した460万文対の日中対訳コーパスJParaCrawlChinesev2.0は、研究目的利用に限り無償で公開している。1）