# サプライザルを利用した日本語の流暢性フィルタリングの試み

田村鴻希土井惟成西田直人 Junjie Chen 谷中瞳
東京大学
tamura-k@tkl.iis.u-tokyo.ac.jp doi@cl.rcast.u-tokyo.ac.jp
nawta@g.ecc.u-tokyo.ac.jp \{christopher, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

機械翻訳の分野では、Web サイトから大量の対訳を自動収集し、対訳コーパスを作成する技術について研究が進められている。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれることがあり、不適切な対訳は対訳コーパスを用いて学習した機械翻訳モデルの品質に影響を与えうる。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除く手法に関する研究が進められている。ここで、不適切な対訳の一つとして流暢性の低い対訳が考えられる。本研究では、単語や文のサプライザルが読みやすさを決める主要因であるとするサプライザル理論に基づき，サプライザルが流暢性と相関するという仮説を立て、その検証を行う。実験では、サプライザルが流暢性と相関するという有意な証拠は得られなかった。

## 1 はじめに

現在の機械翻訳では、対訳コーパスを利用して教師ありの手法で学習する、ニューラル機械翻訳（以下、NMT）[1]が主流である。NMT モデルの学習には大規模な対訳コーパスが必要であり、これを作成するために Web サイトから大量の対訳を自動収集して対訳コーパスを作成する研究が行われている $[2,3]$ 。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれてしまうという問題がある。 NMT モデルは、学習時の対訳コーパスの質と量に大きな影響を受ける傾向があり、不適切な対訳を含む文を学習に用いると翻訳精度が低くなることが知られている [4]。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除く手法に関する研究が進められている [5]。

不適切な対訳の例として、流暢性の低い文を含む対訳が挙げられる。一般社団法人日本翻訳連盟の
JTF 翻訳品質評価ガイドライン [6] では、翻訳に含まれるエラーの度合いで評価指標の基準を定めた JTF 翻訳品質評価モデルを提供している。「流暢さ」11) は $\mathrm{JTF}$ 翻訳品質評価モデルのエラー・カテゴリーの一つであり、「あるテキストが形式として整っているかの程度」と定義されている。流暢性が低い対訳を NMT モデルの学習に用いると翻訳の品質や精度に影響を与える可能性があるため、対訳コーパスから流暢性の低い文を取り除く手法が求められる。本研究では、流暢性の低い和文を取り除く手法として、文の読み時間との相関が指摘されている、サプライザル理論に基づくサプライザル $[7,8,9]$ の利用を検討する。サプライザルは、対象の単語に対して、その文脈における負の対数確率により、文の処理に関する負荷をモデル化した指標である。このサプライザルが流暢性と相関するという仮説を立て、流暢性が多岐にわたる和文を収集し、サプライザルの高低から流暢性の傾向を分析した。

実験は、機械的評価による実験と、人手評価による実験から構成される。前者では、英文と和文のサプライザルの分布を分析する。また、これらのサプライザルが他の言語的なパラメータと相関関係を持つか分析する。後者では、英文と和文のサプライザルの差に基づいて作成したデータセットの文の流暢性を複数の作業者が人手で評価し、サプライザルと流暢性が相関関係を持つか分析する。

## 2 関連研究

サプライザルは、心理言語学での活用だけでなく、対話の容認性評価 [10]、小論文の自動採点 [11]英作文のレベル判定 [12]、Code-Switching の判定 [13] など自然言語処理の応用タスクの評価指標としても用いられている。既存研究を踏まえて、本研究ではサプライザルを対訳コーパスの流暢性フィルタリン


グの指標として適用できるか分析を行う。

流暢性を自動評価する試みは今までにも行われている $[14,15]$ が、サプライザルとの相関を分析する既存研究は存在しない。本研究と近い研究としては、サプライザルとの相関が報告されている読み時間を自然言語生成の文評価に用いるもの [16] が存在するが、人手での流暢性評価との相関を示すものではない。

## 3 実験用データセット

## 3.1 日英対訳コーパス

本研究で利用する対訳コーパスとして、 JParaCrawl[3] の English-Japanese training set (v3.0) [17] （以下，JParaCrawl v3.0）を採用する。この理由として、JParaCrawl v3.0 は、和文と英文の掲載元 Web サイトのドメインが併記されていることや、和文と英文のアライメントの精度が十分高いと考えられることが挙げられる。

## 3.2 ドメインによる整理

本研究では、英語圏のドメインの Web サイトに記載されている英文は、ネイティブによって書かれており、流暢性は十分に高い、また、その英文に紐付いている和文は、必ずしも流暢性が高いとは言えない、という仮説のもと、英文が英語圈のドメインの Web サイトに掲載されている対訳を収集した。具体的には、英文が掲載されていた Web サイトのトップドメインが、主な英語圏の国別コードトップレベルドメイン等である対訳を抽出した。対象とした国別コードトップレベルドメインと、その内訳は付録の表 7 に示す。なお、英文と和文が重複している対訳は削除し、1つの対訳とした。この結果、128,602 対訳のデータセット（以下、本データセット）を作成した。

## 3.3 サプライザルの計算

サプライザルとは，単語や文のサプライザル（ $-\log ($ 単語や文| 先行文脈)）が読みやすさを決める主要な要因であるとするサプライザル理論において用いられている指標である $[7,8]$.

本データセットの和文と英文を対象に、各文のサプライザルを算出した。サプライザルは、 Kuribayashi et al.[18] のコード2)により、トークンご

2) https://github.com/kuribayashi4/surprisal_reading_

図 1 和文と英文のサプライザルの分布

とのサプライザルを算出し、その総和を指標として用いた。なお、和文のサプライザルの計算モデルには Japanese LSTM LM、英文のサプライザルの計算モデルには English Transformer-sm LM を用いた3)。

## 4 実験 1: 機械的評価による実験

実験 1 ではサプライザルが言語的なパラメータとどのような相関を持つか機械的に分析する。

## 4.1 サプライザルの分布

和文と英文のサプライザルの分布を図 1 に示す。 また、和文と英文のサプライザルに対して $\mathrm{t}$ 検定を行ったところ、和文サプライザルの平均値の方が大きい（p 值は 0.001 未満）ことがわかった。このことから、和文と英文では、サプライザルの分布が異なるといえる。

## 4.2 サプライザルと言語的パラメータの 相関

本研究では、言語的パラメータとして、和文と英文の一致度を対象に分析するため、日英機械翻訳モデルによる和文の英訳文と参考訳 (英文の原文）の BLEU スコア [19] と、日英の分散表現のコサイン類似度（以下、USE スコア）を用いた。日英機械翻訳モデルは、opus-mt-ja-en ${ }^{4)}$ を使用した。また、テキストの分散表現の算出には TensorFlow の Embedding メソッド5)を使用し、分散表現のモデルには TensorFlow の universal-sentenceencoder-multilingual ${ }^{6}$ を使用した。あわせて、サプライザルの算出時の日英のトークン数を比較の対象と

表 1 サプライザル、トークン、言語的パラメータ間の相関係数（ $\mathrm{p}$ 值はいずれも 0.001 未満）

した。

言語的パラメータとの相関分析の結果を、表 1 に示す。なお、 $\mathrm{p}$ 値はいずれも 0.001 未満であった。 まず、和文と英文のサプライザルは、トークン数に強く相関することがわかる。一方で、和文と英文の一致度に関連すると考えられる、BLEU スコアと USE スコアはいずれも、和文と英文のサプライザルとの相関は認められなかった。ただし、BLEUスコアとUSE スコアは互いに一定程度の相関が認められることから、文の一致度の尺度としては十分に機能していると考えられる。このことから、機械的評価からは、和文と英文のサプライザルは文の一致度とは相関しないことが考えられる。

## 5 実験 2: 人手評価による実験

実験 2 では、本データセットを対象に、サプライザルの傾向が異なる 3 種類のデータセットを作成し、それぞれに含まれる和文の流暢性を人手で評価し、その傾向の差異について分析する。

## 5.1 流暢性評価データセットの作成

まず、和文と英文のサプライザルの傾向の差異を踏まえ、下記のとおりサプライザルの順位の差に基づく 3 種類のデータセットをそれぞれ 100 文対ずつ作成した。なお、順位はサプライザルが高いほど小さい值をとる。

・(英文サプライザル順位-和文サプライザル順位) の値が低い 100 文対（en_high）

・(和文サプライザル順位-英文サプライザル順位) の値が低い 100 文対（ja_high）

・両サプライザルの順位差が小さい順に並べた 100 文対（sim）

ただし、en_high と ja_high については、翻訳のエラーによる外れ値の影響を軽減するため、サプライザル順位差の上位 $5 \%$ を除外した残りのデータからそれぞれ上位 100 文対を選んだ。これらの各 100 文対を対象に、(1) 対訳エラーの判定と (2) 流暢性評価を行った。具体的には、それぞれの文対に対して表 2 流暢性の評価基準

3 人の作業者を割り当て、(1)-(2)を文対ごとに手作業で実施した. 作業者は、いずれも日本語を母語とする情報系の大学院生であり、作業時間は合計 10.8 時間（一人当たり平均 3.6 時間）だった。以下では、 それぞれの作業手順の詳細を述べる。

(1) 対訳エラーの判定各作業者は、各データセットの文対に対して、実際に対訳として成立しているか否かを判定する。流暢性によらず翻訳エラーを含む文対は、対訳データセットの流暢性を評価する際にノイズとなるため、それぞれのエラータイプを分類したうえで流暢性評価の対象から外す。

以下に、本研究で用いたエラータイプの分類と、各エラーの内容を記述する。

・アライメントエラー：全く別の文が割り当てられている場合

・テキスト抽出エラー：途中で文が切れていたり、複数の文が混ざっている場合

・翻訳エラー：誤訳の程度が非常に大きい場合
- 英文過多: 英文の各要素に対応する和文の要素が著しく欠けている場合
- 和文過多 : 和文の各要素に対応する英文の要素が著しく欠けている場合

なお、翻訳エラーの基準には、特許庁の機械翻訳に関する調査報告書「特許文献機械翻訳の品質評価手法に関する調査」(平成 25 年度 $)^{7)}$ の「内容の伝達レベルの評価」を使用し、 5 段階評価のうち 2 以下 （2はいくつかの重要情報が正確に伝達されている、 1 は文意がわからない、もしくは正確に伝達されている重要情報はほとんどない) であると作業者が判断したものを翻訳エラーとしている。

7) https://www.jpo.go.jp/system/laws/sesaku/ kikaihonyaku/document/kikai_honyaku/h25_01.pdf
表 3 流暢性評価データセットの各作業者がエラー判定した文対の数の平均

表 4 作業者間の流暢性評価の一致度（Cohen’s Kappa）

表 5 作業者間の流暢性評価に対する Kruskal-Wallis 検定

(2) 流暢性の判定 (1)の手順で除外しなかった文対を対象に、それぞれの和文の流暢性を判定する。流暢性評価の基準は、表 2 に示すとおり、長我部らによる「流暢性の評価基準」[20]を利用した。なお、表 2 の各評価に対応する、全作業者の評価が一致した例文を、付録の表 8 に記載する。

## 5.2 流暢性人手評価の統計情報

流暢性評価データセットで各作業者がエラー判定した文対の数の平均と、その内訳を表 3 に示す。表 3 から、英文のサプライザルが高い文対では英文からの翻訳抜けが多く、また和文のサプライザルが高い文対では和訳に余分な情報が入りやすい傾向がみられる。これは、表 1 から読み取れるサプライザルとトークン数との相関を裏付ける結果である。流暢性評価データセットでの、作業者間の流暢性評価の Cohen's Kappa[21] による一致度を表 4 に示す。なお、エラー判定の場合も含めて一致度を計算するため、対訳エラーと判定された文対は評価ラべルを 0 として一致度を計算した。また、流暢性評価の差の大きさを考慮するため、各文対の評価の差をそれぞれ二乗して重みづけした [22]。

表 4 に示した一致度をみると、作業者 2 の一致度が低く、作業結果が一貫していないと考えられる。 したがって、本研究での流暢性評価では作業者 1 および作業者 3 の結果のみを用いる。

## 5.3 サプライザルと流暢性人手評価の相関

作業者 1 と作業者 3 の、各データセットでそれぞれエラーと判定しなかった文対への流暢性評価に対する Kruskal-Wallis 検定 [23] の結果、および文対への平均評価值をそれぞれ表 5 と表 6 に示す。表 5 か表 6 各作業者がそれぞれエラー判定しなかった文対での平均評価値

らは、有意水準 5\%の下で、作業者 1 の結果では有意に各データセットの評価値の分布に差があるといえる。しかし、作業者 3 の結果では帰無仮説を棄却できず、作業者によってサプライザルと流暢性の主観評価の関係にはばらつきがあることが考えられる。ただし、現在の $\mathrm{p}$ 値がデータ数の少なさに依存する可能性を注記する。また、平均評価値からは、評価値の分布に差があるとすればどちらの作業者の場合も和文のサプライザルが高いデータセットでの評価値の低さに原因を求められる。

本実験の結果からはサプライザルと流暢性の相関関係は定かにはならなかった。サプライザルと流暢性評価の相関関係の個人間のばらつきは、流暢性の判断基準として（サプライザルと相関する）読解時間に重点を置いているかにばらつきがあることを示しており、流暢性評価の基準は個人差が大きいことを示唆している。この結果、および一致度の低い作業者の存在は、より個人差の少ない流暢性評価の基準、もしくは評価手法の必要性を示唆している。また、現在の手法において精度の高い結果を得るためには多人数、およびより多い文対での実験が必要といえる。

## 6 おわりに

本研究では、サプライザルが流暢性と相関するという仮説を立て、機械的評価と人手評価の 2 種類の実験で検証を行った。実験の結果、サプライザルが流暢性の低い和文を取り除くためのパラメータとして有意であることは確認できなかった。今後の課題としては、人手評価の作業者を増やし、評価する文対の数を増やすこと、また、流暢性やエラー判定の作業者間での判定基準をより詳細に定めることによって作業者間での評価基準のぶれやその影響を減らし、より信頼性の高い統計とすることが挙げられる。

## 謝辞

本研究は JSPS 科研費 JP20K19868 の助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.

[3] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[4] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Philipp Koehn, Vishrav Chaudhary, Ahmed El-Kishky, Naman Goyal, Peng-Jen Chen, and Francisco Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, November 2020.

[6] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイドライン. 2018.

[7] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[8] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, p. 1126-1177, 2008.

[9] Irene Fernandez Monsalve, Stefan L. Frank, and Gabriella Vigliocco. Lexical surprisal as a general predictor of reading time. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 398-408, Avignon, France, April 2012. Association for Computational Linguistics.

[10] Investigating perception of spoken dialogue acceptability through surprisal. In Hanseok Ko and John H. L. Hansen, editors, Proceedings of Interspeech 2022, pp. 45064510. ISCA, September 2022.

[11] Gaurav Kharkwal and Smaranda Muresan. Surprisal as a predictor of essay quality. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 54-60, Baltimore, Maryland, June 2014. Association for Computational Linguis- tics.

[12] 正頼林, 遼平笹野, 大也高村, 学奥村. 誤り傾向と文の容認性に着目した英作文のレベル判定. 第 226 回情報処理学会自然言語処理研究会, No. 7, pp. 1-7, 2016.

[13] Jesús Calvillo, Le Fang, Jeremy Cole, and David Reitter. Surprisal Predicts Code-Switching in Chinese-English Bilingual Text. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4029-4039, Online, January 2020. Association for Computational Linguistics.

[14] Takehiko Yoshimi, Katsunori Kotani, Takeshi Kutsumi, Ichiko Sata, and Hitoshi Isahara. Automatic evaluation of the fluency of english-to-japanese machine translation using word alignment. 2010.

[15] Katharina Kann, Sascha Rothe, and Katja Filippova. Sentence-Level Fluency Evaluation: References Help, But Can Be Spared! In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 313-323, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[16] Sina Zarrieß, Sebastian Loth, and David Schlangen. Reading Times Predict the Quality of Generated Text Above and Beyond Human Ratings. In Proceedings of the 15th European Workshop on Natural Language Generation (ENLG), pp. 38-47, Brighton, UK, September 2015. Association for Computational Linguistics.

[17] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[18] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002

[20] 長我部恭行, 甲斐優人, 石井奏人, 荻野天翔, 黒澤道希, 小町守. 機械翻訳に対する文間文脈を考慮した評価と分析. pp. 1703-1706, 32019.

[21] Jacob Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, Vol. 20, No. 1, pp. 37-46, April 1960. Publisher: SAGE Publications Inc.

[22] Jacob Cohen. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, October 1968

[23] William H. Kruskal and W. Allen Wallis. Use of ranks in one-criterion variance analysis. Journal of the American Statistical Association, Vol. 47, No. 260, pp. 583-621, 1952 .

## A JParaCrawl の前処理

JParaCrawl v3.0 は非常に大規模なコーパスであるため、前処理として、下記の条件を元に対訳のフィルタリングを行った。フィルタリングの結果、約 2574 万文対から，約 985 万文対（約 $38.3 \% ）$ が得られた。

・英文がピリオドで終わっている.

・和文が句点で終わっている。

・和文に全角又は半角スペースを含まない.

・対訳のスコアが 0.7 以上.

## B ドメインの内訳

イタリア、フランスは英語を公用語としていないが、話者数の多さを考慮して含めている。

## C流暢性の評価点数ごとの例文

表 8 流暢性の評価点数ごとの例文 (JParaCrawl v3.0より引用)

評価例文

5 京丹後市は条例で国際交流の推進をうたっており、国際的な視野を持つ人材の育成を目指している。

4 調査では、大手プラットフォームひとつで 157 万 6,600 人の労働者が供給過剰であることがわかっている。

3 プレートは、全体の保護面全体に影響の分布を保証するドロップワイヤーシステムに参加しています。 プロフェッショナルラーニングコミュニティ内では、各学年レベルとコンテンツ領域が共同学習チーム (CLT)

2

として協力し、研究、スキル、専門的な開発、ツール、リソース、およびさまざまなサポートスタッフ

(強力な教育コーチチームやさまざまな特別教育の専門家とサービスプロバイダーの-私たちの目標を果たすために: すべての子供が意味のある、本物の方法ですべての必要なスキルを習得することを保証すること。

1 米国の研究では、女性の最大 $50 \%$ が生涯に尿路感染症を起万人になると示されています。