サプライザルを利用した日本語の流暢性フィルタリングの試み

機械翻訳の分野では、Webサイトから大量の対訳を自動収集し、対訳コーパスを作成する技術について研究が進められている。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれることがあり、不適切な対訳は対訳コーパスを用いて学習した機械翻訳モデルの品質に影響を与えうる。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除く手法に関する研究が進められている。ここで、不適切な対訳の一つとして流暢性の低い対訳が考えられる。本研究では、単語や文のサプライザルが読みやすさを決める主要因であるとするサプライザル理論に基づき，サプライザルが流暢性と相関するという仮説を立て、その検証を行う。実験では、サプライザルが流暢性と相関するという有意な証拠は得られなかった。