サプライザルを利用した日本語の流暢性フィルタリングの試み

現在の機械翻訳では、対訳コーパスを利用して教師ありの手法で学習する、ニューラル機械翻訳（以下、NMT）[1]が主流である。NMTモデルの学習には大規模な対訳コーパスが必要であり、これを作成するためにWebサイトから大量の対訳を自動収集して対訳コーパスを作成する研究が行われている[2,3]。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれてしまうという問題がある。NMTモデルは、学習時の対訳コーパスの質と量に大きな影響を受ける傾向があり、不適切な対訳を含む文を学習に用いると翻訳精度が低くなることが知られている[4]。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除く手法に関する研究が進められている[5]。不適切な対訳の例として、流暢性の低い文を含む対訳が挙げられる。一般社団法人日本翻訳連盟のJTF翻訳品質評価ガイドライン[6]では、翻訳に含まれるエラーの度合いで評価指標の基準を定めたJTF翻訳品質評価モデルを提供している。「流暢さ」1）はJTF翻訳品質評価モデルのエラー・カテゴリーの一つであり、「あるテキストが形式として整っているかの程度」と定義されている。流暢性が低い対訳をNMTモデルの学習に用いると翻訳の品質や精度に影響を与える可能性があるため、対訳コーパスから流暢性の低い文を取り除く手法が求められる。本研究では、流暢性の低い和文を取り除く手法として、文の読み時間との相関が指摘されている、サプライザル理論に基づくサプライザル[7,8,9]の利用を検討する。サプライザルは、対象の単語に対して、その文脈における負の対数確率により、文の処理に関する負荷をモデル化した指標である。このサプライザルが流暢性と相関するという仮説を立て、流暢性が多岐にわたる和文を収集し、サプライザルの高低から流暢性の傾向を分析した。実験は、機械的評価による実験と、人手評価による実験から構成される。前者では、英文と和文のサプライザルの分布を分析する。また、これらのサプライザルが他の言語的なパラメータと相関関係を持つか分析する。後者では、英文と和文のサプライザルの差に基づいて作成したデータセットの文の流暢性を複数の作業者が人手で評価し、サプライザルと流暢性が相関関係を持つか分析する。