JParaCrawlChinesev2.0:クラウドソーシングを用いた日中対訳コーパスの構築

従来のエンコーダデコーダモデルだけでなく、大規模言語モデル(LargeLanguageModel,LLM)でも、対訳データは機械翻訳において重要な役割を果たす。Briakouら[2]は、PaLMの訓練データの分析から、対訳データが訓練データに偶然混入していることがLLMで翻訳ができる原因であることを示した。10B前後の小さなLLMは翻訳精度が低いが、Xuら[3]は、大量の単言語データでLLMをファインチューンした後に高品質かつ少量の対訳データでLLMをファインチューンするALMAと呼ばれる方法を提案し、13BのLLMでGPT-3と同等の翻訳精度を達成した。Guoら[4]および近藤ら[5]は、大規模な対訳データを用いて継続事前訓練してから高品質な対訳データでファインチューンすると、ALMAを上回る翻訳精度を達成できることを示した。本報告では、日本語と中国語の対訳文対をwebから収集する方法について議論する。日本語と中国語の翻訳は、話者の数や経済規模の観点から非英語言語対の中で最も重要な課題と言える。我々は、対訳を含むwebサイトのURLをクラウドソーシングにより収集することの有効性を示す。森下ら[6]は、日英対訳コーパスの収集において、対象領域を制限せずに対訳webサイトにおける各言語のトップページURL対をクラウドワーカを使って収集する方法の有効性を示した。本報告ではこの方法を日本語と中国語に適用し、CommonCrawlを分析して収集したwebサイトよりもクラウドソーシングで収集したwebサイトの方が少ないクロール量で多くの対訳文対が得られることを示す。なおクラウドソーシングを用いて作成した460万文対の日中対訳コーパスJParaCrawlChinesev2.0は、研究目的利用に限り無償で公開している。1）