ニューラル機械翻訳のための日中対訳コーパスの拡充

機械翻訳は，人工知能分野の重要なタスクであり，言語障壁を克服するための最も効果的な手段の一つとされている．これはAI技術の革新的な進展のバロメーターとして機能している．Transformerを用いたニューラル機械翻訳は，以前のフレームワークと比較して様々な言語ペアにおいて優れた翻訳結果を生み出し，現在の機械翻訳研究の主要な研究ホットスポットとして位置付けられている(1)．高品質な日中機械翻訳出力を達成するためには，大量の日中対訳コーパスが必要である．しかし，現在の公開されている日中対訳コーパスの規模は比較的小さい．例えば，ASPEC-JC対訳コーパスは約68万文対であり，他の言語ペアと比べて大きな格差がある(2)．したがって，日中対訳コーパスを構築することによって，機械翻訳の進歩を促進する．以前の研究では，約753Kの日中文対を持つWCC-JC1.0を収集した(3)．これは最初のステップであり，プロジェクトの始まりを示していた．より大きく，高品質なコーパスの必要性を認識し，次にWCC-JC2.0を構築した(4)．この2.0バージョンは，約2,150Kの文対を含むコレクションを拡張するだけでなく，慎重な人手によるアライメントを経て，全体的な品質を高めた．WCC-JC2.0の進歩にも関わらず，翻訳テストと評価の結果，WCC-JC1.0と2.0はサイズと品質の面で他の利用可能なコーパスに比べて遅れていることが明らかになった．この取り組みは，WCC-JC3.0の拡充へと繋がった．これは中国語と日本語の話し言葉を集めた最も広範な対訳コーパスであり，世界最大の公開日中対訳コーパスとして位置付けられている．約330万の文対を含み，前2.0バージョンからの総文数が55%の拡充を実現し，翻訳テストと人手評価でその効果を確認した．