自動獲得語彙に基づく多言語対応テキストフィルター

ニューラルモデルは、複数の言語を一つのモデルで扱うことができるため[1]、多言語モデルが一般的になってきている。しかし、それらの学習に用いる多言語コーパスは、多くの場合Web等から自動獲得しているため、どうしてもノイズが含まれる。コーパスから対象以外の言語を排除するためには、言語識別が有効である。しかし、既存の方式は、文の一部に他言語が混在したテキスト（これをコード混在テキストと呼ぶ）でも、その割合が少ない場合は、排除に失敗することも多い。本稿では、単言語フィルタリング法を提案する。本稿で提案する方式は、自動獲得した語彙との照合を行うだけの、非常にシンプルな方法で、トークン単位の識別を行う。本稿では、これを対訳コーパスに対して適用し、機械翻訳の翻訳品質が向上することを示す。本稿の方法は、コード混在テキストの削除に特に有効である。コード混在テキストが減少したコーパスをモデル学習に使用することにより、より統一された言語を生成することが可能となり、機械翻訳品質が向上する。さらに、新規言語を追加するには、単言語コーパスをトークナイズし、集計するだけなので、学習済み言語を再学習する必要はなく、漸進的に言語を追加することができる。