JParaCrawlChinesev2.0:クラウドソーシングを用いた日中対訳コーパスの構築

我々はクラウドソーシングを使って、日中対訳webサイトのトップページURLの対を約1万件収集し、約460万文対の日中対訳コーパスを作成した。まずトップページURLを起点としてそのドメインをクロールし、次に16万語対の日中対訳辞書を用いて文書対応と文対応を行い、最後に別途用意した120万文対の高品質な日中対訳文対から作成した対訳コーパスフィルタを用いてフィルタリングを行った。我々の日中対訳コーパス460万文対は、既存の日中対訳コーパスCCMatrix(1,240万文対)[1]に比べ、大きさはの約3分の1であるが、翻訳精度は同等であり、クラウドソーシングの有効性を示せた。