自動獲得語彙に基づく多言語対応テキストフィルター

本稿では、多言語文フィルターを提案する。提案方式は単言語コーパスの語彙を集計し、入力との照合を行うだけのシンプルな方式であるが、コード混在テキストの排除に効果が高い。既存の言語識別と併用することで、対象言語におけるコーパスの純度を向上させることができるため、機械翻訳用対訳コーパスに適用すると、翻訳品質を向上させることができる。また、漸進的に言語を追加でき、学習済み言語を再学習する必要がない。