言語処理学会 第25回年次大会 発表論文集 (2019年3月)

⽂法誤り訂正のコーパス横断評価:単⼀コーパス評価で⼗分か?
三田 雅人 1,2 水本 智也 1
1
理化学研究所 AIP センター

金子 正弘 3,1 永田 亮 4,1 乾 健太郎 2,12東北大学 3 首都大学東京 4 甲南大学

{masato.mita, tomoya.mizumoto}@riken.jp, kaneko-masahiro@ed.tmu.ac.jp,
nagata-nlp2019@hyogo-u.ac.jp., inui@ecei.tohoku.ac.jp
1

はじめに翻訳に基づくモデル (LSTM, CNN, Transformer)

文法誤り訂正 (Grammatical Error Correction,GEC) は，非母語話者が書いた作文中に含まれる様々な種類の誤りを自動的に訂正するタスクであり，主に第二言語学習のための作文支援を目的に使用されている．文法誤り訂正の主要なアプローチの一つは機械翻訳モデルに基づくものであり，これは，文法誤り訂正タスクを誤った文から正しい文への翻訳タスクと見なして解くアプローチである．
実際，代表的なベンチマークデータセットである

CoNLL-2014 Shared Task データセット [13] において，現在の state-of-the-art は機械翻訳モデルに基づいた手法により達成されている [2]．
一方で，文法誤り訂正の目的として多様な文が入力として入ったとしても頑健に訂正できることを考および統計的機械翻訳に基づくモデル (SMT) の計

4 つの現在主流となっているモデルを用いて評価実験を行う．評価実験の結果，モデルの順位は各コーパスによって大きく変動することを確認できたた
め，文法誤り訂正タスクにおいては単一コーパスを用いた評価は不十分であることがわかった．そのため，より頑健な評価を行うための新たな評価手法としてコーパス横断評価を提唱する．

関連研究

2

1 節でも述べた通り，既存手法の多くは CoNLL2014 ベンチマークデータセットを用いて評価されているが，KJ コーパスや JFLEG コーパスといった他のデータセットを用いて評価を行なっている研

えた場合，文法誤り訂正の性能評価に関しては不十究も存在する [1, 9]．しかしながら，既存研究はた分な可能性が高い．なぜなら，学習者の習熟度，母かだか 2 つのコーパスを用いた評価になっており，語や作文のトピックなどの条件によって様々なバリエーションが入力として想定され，タスクの難易度

本研究のように多様なコーパスを用いたコーパス横断評価を行なっている研究は存在しない．
他分野をみると，例えば構文解析分野では以前は各条件下によって異なるにも関わらず，既存研究の多くは単一コーパスを用いた評価を行う傾向があは Penn Treebank [7] 上における解析精度を向上さるためである．実際，Grammarly*1 や Ginger*2 なせることに重点を置いていた．その後，Penn Tree-

ど，特定のドメインではなく任意のドメインを入力文として想定する文法誤り訂正システムは多い．たとえ提案手法がある一つのコーパス上でベースラインの性能よりも上回ったとしても，別のコーパスで下回るような状況が起きた場合，それは異なる結論
そこで本研究では，文法誤り訂正の評価として単一コーパスによる評価は不十分であるという仮説に基づき，コーパス横断評価の必要性について議論する．上記仮説を検証するにあたり，５つの学習者コーパス (CoNLL-2014, CoNLL-2013 [12], FCE [16],JFLEG [11], KJ [10] ) と，3 つのニューラル機械*2 http://www.getginger.jp/

うようになり，評価手法の頑健性が大幅に改善されている．我々は文法誤り訂正分野においても構文解析分野と同様の状況が起きていると考える．すなわ
ち，現在の文法誤り訂正の評価は CoNLL-2014 ベをもたらす可能性がある．

*1 https://www.grammarly.com/

bank に加えて，Ontonotes [4] や Google Web Treebank [14] を含む複数のコーパスを用いて評価を行

ンチマークデータセットに依存しており，分野全体としてこのデータセット上で過度な開発が行われている恐れがある．

実験設定

33.1

評価⽤コーパス

本研究の目的は，文法誤り訂正の評価として単一コーパスによる評価は不十分であるという仮説に― 978 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表1: 各評価コーパスの概要．

コーパス

文数

リファレンス数

単語修正率

習熟度の多様性トピックの多様性

母語の多様性CoNLL-2014

1,312

212.35%

NoNoNoCoNLL-2013

1,381

114.85%

No

No

No

FCE

32,199112.00%

Yes

Yes

Yes

JFLEG

747

420.86%

Yes

Yes

Yes

3,081

116.01%

Yes

Yes

No

KJ

基づき，コーパス横断評価の必要性について議論

語話者が書くような流暢性のある添削アノテーショすることである．そのため，既存研究の多くで使用ンが付与されていることも本コーパスの特徴の一つされている CoNLL-2014 に加えて，CoNLL-2013，である．そのため，最近の研究では，モデルがどれFCE，JFLEG，KJ (詳細は下記) の合計 5 つのコだけ流暢性のある訂正ができているかを評価するたーパスを用いて評価実験を行う．コーパス選定にあめのベンチマークデータセットとして使用されるこたり，次の点を考慮した．とが多い．

• 文法誤り訂正分野で使用されたことのあるコーパ

Konan-JIEM learner corpus (KJ) [10]：甲南大学の学生が書いたエッセイを基に作られた学習スであること• 学習者の習熟度は誤り分布に大きな影響を及ぼす者コーパスである．学習者の習熟度は比較的低い．という仮説に基づき，学習者の習熟度が比較的高

また，エッセイのトピック数は 10 である．なお，他

い CoNLL-2014 とは反対に，習熟度が比較的低のコーパスと異なり，綴り誤りの情報と文法誤りのいコーパス (KJ) を加えること情報が別でアノテーションされていることも特徴の評価実験に用いた各評価用コーパスの詳細を説明一つである．
各評価用コーパスの特徴を整理したものを表 1にする．

CoNLL-2014 [13]：CoNLL-2014 Shared Task示す．なお，単語修正率は以下の式により算出した．の公式データセットであり，既存研究で最もよく使用されている評価用データである．シンガポール国

単語修正率 =立大学の学生が書いたエッセイを基に作られてお単語編集距離の総和
コーパスに出現する総単語数

り，学習者の習熟度は比較的高い．また，エッセイ

CoNLL-2013 [12]：CoNLL-2013 Shared Taskの公式データセットである．CoNLL-2014 と同様に各コーパスを概観すると，(1) 現在主流である
CoNLL-2014 は他のコーパスと比較して学習者の習熟度や母語、トピックに偏りがあること，(2) 一学習者の習熟度は比較的高く，エッセイトピック数方，本評価実験で選定したコーパスで一定の多様性は 2 つのみである．

を確保できることがわかる．のトピック数は 2 つのみである．

なお，綴り誤りは厳密には文法誤りには含まなCambridge ESOL First Certificate in English (FCE) [16]：ケンブリッジ英検の試験答案

いが，を基に作られた学習者コーパスである．誤り箇所の• 既存データセットの多くはそれらを区別せずにまタグが付与されているため，文法誤り検出タスクでとめてアノテーションされている使用されることが多い．また，様々な国籍の英語学• また，そのようなデータを用いて訓練した機械翻習者が書いたエッセイであるため，学習者の習熟度

訳モデルに基づく手法も，それらを区別して訂正や母語は多様性がある．なお，エッセイのトピックできない数は 10 である．という理由から，本評価実験においても従来の慣習

JHU FLUency-Extended GUG corpus(JFLEG) [11]：様々な国籍の非母語話者が書いに従い綴り誤りを含めて評価を行なう．そのため，た英語答案を基に作られた学習者コーパスである．

る KJ に関しては，統合処理したものを評価実験に学習者の習熟度，母語，エッセイトピックともに多使用する．

綴り誤りと文法誤りが別でアノテーションされてい様性を担保するよう設計されている [11]．また，母― 979 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

3.2

コーパス横断評価

4

訂正モデル

文法誤り訂正モデルの選定については，• 現在主流であり，かつ複数の誤りを訂正可能な機械翻訳モデルに基づくモデルであること

図 1 に F0.5 スコアに基づき順位付けされた各モデルの性能を示す．この図から，モデルの性能順位が各コーパスによって大きく変動していることが• CoNLL-2014 上において各モデルは互いに匹敵し合う性能であること確認できる．これまで多くの研究が評価に用いていた CoNLL-2014 では，Transformer が 48.62 ポイなどの要件を踏まえ，3 つの NMT に基づくモデルントと最も高い性能を出している．一方で，FCE(LSTM, CNN, Transformer) と SMT に基づくモデルの計 4 つのモデルを実装した．以下に，評価実や KJ では順位が全体的に大きく変動しており，験に用いた各モデルの詳細について説明する．

転した原因については，学習者の習熟度や母語，エLSTM：エンコーダは双方向 LSTM で構成され，デコーダと注意機構は Luong らの seq2seq モデ
ル [6] に準拠している．なお，ハイパーパラメータは Chollampatt ら [1] と同じものを使用した．
CNN：Chollampatt ら [1] の実装*3 を用いた．なお，ハイパーパラメータは Chollampatt ら [1] と同ッセイトピックなど様々な要因が複合的に関係してじものを使用した．

た．さらに，図 1 から，モデルの性能はコーパス

Transformer：Transformer は Vaswani ら [15]によって大きく異なることが確認できる．例えば，によって提案された自己注意型モデルである．本
研究では，seq2seq モデルのツール fairseq の実Transformer の性能は，JFLEG では 60.06 ポイン
トであるのに対し，CoNLL-2013 では 36.20 ポイン装*4 を用いた．また，ハイパーパラメータは Vaswani

トと大きく下回っている．このように，コーパスにら [15] と同じものを使用した．

よって性能は大きく変動するため，見た目の性能値

SMT：Junczys-Dowmunt ら [5] の実装*5 を用いた．なお，本評価実験では NMT に基づく各モデルの解釈には十分に注意する必要がある．と使用するデータの設定を可能な限り等しくするたモデルの性能を図 2 に示す．GLEU スコアに基づTransformer は全体で 3 位に転じている．順位が逆いると予想されるため一概に言えない．しかし本評
価実験の結果から，CoNLL-2014 上の性能値に基づく議論は特定の条件下でしか成立しない可能性があり，CoNLL-2014 での結果を不用意に一般化してしまうと誤った結論を導く危険性があることがわかっ

次に，GLEU スコアに基づき順位付けされた各め，言語モデルの訓練に English Wikipedia を，翻く評価でも F0.5 のときと同様の傾向が確認できる．

訳モデルの訓練に NUS Corpus of Learner English

ただし，FCE および KJ におけるモデル順位に関(NUCLE) および Lang-8 Learner Corpora (Lang8) を使用した．
3.3 実験設定

しては，図 1 と図 2 とでは異なる．これは，F0.5

各モデル共通の実験設定は次の通りである．訓練

ういうモデルを得たいか，あるいは，モデルの何をデータとして，Lang-8 [8] および NUCLE [3] の 2

評価したいかといった目的意識によって適切に評価つのパブリックなデータセットを統合したものをデータ・評価尺度を設定することが重要であると言用いた．訓練データセットの前処理および分割はえる．

Chollampatt ら [1] に従い，最終的に開発データセットとして NUCLE のサブセット (5.4K)，訓練データとして NUCLE の残りおよび Lang-8 (1.3M)を使用した．評価データセットとしては， 3.1 節で述べた計 5 つのコーパスを用いて評価を行った．評価尺度には，F 0.5 と GLEU を用いた．実験結果として報告するのは 4 つのランダムシードを用いて訓練したモデル性能の平均値である．と GLEU とではモデルを評価する観点が異なることに起因するものと考えられる．言い換えると，ど1 節において，文法誤り訂正タスクの入力には様々なバリエーションが想定されるため，タスクの難易度は条件によって異なることを述べた．ここでは，想定される入力のバリエーションの一つとして，修正が必要な単語の割合 (単語修正率) の観点で分析する．表 2 は，単語修正率が最も低い場合 (FCEの 62%) と最も高い場合 (JFLEG の 86%) におけるそれぞれのモデル性能を示している．この表から，*3 https://github.com/nusnlp/mlconvgec2018

本評価実験において Precision の高い LSTM は修*4 https://github.com/pytorch/fairseq

正率が低いときに，Recall が高い Transformer は*5 https://github.com/grammatical/

baselines-emnlp2016

修正率が高いときにそれぞれ他のモデルに比べて高い性能を示す傾向を確認できる．このような知見は― 980 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図1: F0.5 に基づき順位付けされた各モデルの性能．

図2: GLEU に基づき順位付けされた各モデルの性能．

参考⽂献

表2: 単語修正率観点におけるモデル性能．
単語修正率 (%)

Low (12.00%)
Precision

RecallTransformer

44.93

29.79

LSTM

55.48

21.11

CNN

51.27

22.30

SMT

43.07

10.67

High (20.86%)[1]

Precision

Recall

F0.5

40.80

67.27

42.05

60.06

43.02

72.97

31.09

57.47

40.82

70.85

32.77

57.49

27.33

67.9516.89

42.35

F0.5

[2]
[3]

複数のコーパスで比較評価するコーパス横断評価を[4]しなければ得られない．

[5]

5

まとめ
[6]

本研究では，文法誤り訂正の評価の方法論について議論した．従来の単一コーパスによる評価がモデ[7]

ルの良し悪しを判断するうえで十分かどうかについて検証するため，5 つの多様なコーパスと 4 つの訂[8]正モデルを選定し，評価実験を行なった．評価実験の結果，モデルの順位は各コーパスによって大きく変動することを確認できたため，入力に多くのバリエーションが想定される文法誤り訂正タスクにおい[9][10]ては単一コーパスを用いた評価は不十分であることがわかった．そのため，より頑健な評価を行うため[11]の新たな評価の方法論としてコーパス横断評価を提
[12]

唱する．
なお，本評価実験では 3.1 節で述べた理由により[13]

綴り誤りも含めた設定で評価を行なったが，綴り誤りを含めない文法誤りのみの訂正性能を評価する場
合においても本評価実験と同様に見た目の性能値やモデルの順位が大幅に変動する可能性がある．そのため，今後の研究として，今回使用した 5 つのコー

[14]
[15]
[16]

パスにおいて綴り誤りの有無がモデルの評価にどの

Shamil Chollampatt and Hwee Tou Ng. “A Multilayer Convolutional Encoder-Decoder Neural Network
for Grammatical Error Correction”. In: AAAI. 2018,
pp. 5755–5762.
Shamil Chollampatt and Hwee Tou Ng. “Neural Quality Estimation of Grammatical Error Correction”. In:EMNLP. 2018, pp. 2528–2539.
Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu.
“Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English”. In: BEA.
2013, pp. 22–31.
Eduard Hovy et al. “OntoNotes: The 90% Solution”.
In: NAACL. 2006, pp. 57–60.
Marcin Junczys-Dowmunt and Roman Grundkiewicz.
“Phrase-based Machine Translation is State-of-the-Art
for Automatic Grammatical Error Correction”. In:EMNLP. 2016, pp. 1546–1556.
Thang Luong, Hieu Pham, and Christopher D. Manning. “Effective Approaches to Attention-based Neural
Machine Translation”. In: EMNLP. 2015, pp. 1412–1421.
Mitchell P. Marcus, Mary Ann Marcinkiewicz, andBeatrice Santorini. “Building a Large Annotated Corpus of English: The Penn Treebank”. In: Computational Linguistics 19.2 (1993), pp. 313–330.
Tomoya Mizumoto et al. “Mining Revision Log of Language Learning SNS for Automated Japanese Error
Correction of Second Language Learners”. In: IJCNLP. 2011, pp. 147–155.
Tomoya Mizumoto et al. “The Effect of Learner Corpus Size in Grammatical Error Correction of ESL Writings”. In: COLING. 2012, pp. 863–872.
Ryo Nagata, Edward Whittaker, and Vera Sheinman. “Creating a Manually Error-tagged and Shallowparsed Corpus”. In: ACL. 2011, pp. 1210–1219.
Courtney Napoles, Keisuke Sakaguchi, and Joel
Tetreault. “JFLEG: A Fluency Corpus and Benchmark
for Grammatical Error Correction”. In: EACL. 2017,
pp. 229–234.
Hwee Tou Ng et al. “The CoNLL-2013 Shared Task
on Grammatical Error Correction”. In: CoNLL 2013
Shared Task. 2013, pp. 1–12.
Hwee Tou Ng et al. “The CoNLL-2014 Shared Task
on Grammatical Error Correction”. In: CoNLL 2014
Shared Task. 2014, pp. 1–14.
Slav Petrov and Ryan McDonald. “Overview of the2012 Shared Task on Parsing the Web”. In: SANCL.
2012.
Ashish Vaswani et al. “Attention Is All You Need”. In:NIPS. 2017, pp. 5998–6008.
Helen Yannakoudakis, Ted Briscoe, and Ben Medlock.
“A New Dataset and Method for Automatically Grading ESOL Texts”. In: ACL. 2011, pp. 180–189.

ように影響するかについて調査を行う予定である．

― 981 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.