言語処理学会 第25回年次大会 発表論文集 (2019年3月)

⽂法誤り訂正における反復訂正の効果検証
浅野 広樹 †,∗1鈴木 潤 †,∗2

†∗

東北大学

水本 智也 ∗3

理化学研究所 AIP センター

{1 asano,2 jun.suzuki,4 inui}@ecei.tohoku.ac.jp
1

乾 健太郎 †,∗4

はじめに3

tomoya.mizumoto@riken.jp

The social network plays a role in providing information.

文法誤り訂正（Grammatical Error Correction）は，主語の数を訂正

Social networks plays a role in providing information.

文法的な誤りを含む文から正しい文に訂正するタスクである．文法誤り訂正タスクでは機械翻訳の手法が用いら動詞を主語と一致させる

Social networks play a role in providing information.
図1: 段階的な訂正が必要な例

れることが多い [2, 6, 9, 10]．機械翻訳では，原言語文と目的言語文の意味が等価であるという仮定がおけるたが得られなかった原因を分析し，そこから導き出されるめ，意味的な情報を保持した言語の変換問題とみなすこ知見を示す．とができる．一方，文法誤り訂正では，機械翻訳のように原言語文と目的言語文の意味的な一致は同様に求めら

関連研究

2

れるが，それに加えて，文法的な正確性という追加の指文法誤り訂正の分野は CoNLL-2014 shared task [16]標に合わせた言い換えを必要とする問題と捉えることがが開催されて以来注目されている．近年の文法誤り訂できる．よって，文法誤り訂正では，機械翻訳よりも，個正で高い性能を達成しているシステムはいずれもニュ々の単語選択に関して文法的な整合性をより強く考慮すーラル機械翻訳の手法が用いられている．Chollampatt

ることが求められる．このような観点から，文法誤り訂ら [2] は Convolutional seq2seq [8] モデルが文法誤り正では，段階的な訂正が必要な場合があると考えられる訂正にも有効であることを示した．Junczys-Dowmunt（図 1）．

ら [10] は Transformer [17] などのモデルを用いて low-

この例のように，誤りの間に依存関係があるような場合，人間であれば適切な順序で訂正を行っていると考えresource MT で用いられている手法が文法誤り訂正にも有効であることを示した．

られる．一方で機械翻訳モデルでは訂正文（出力）は，本研究のように訂正を繰り返すアプローチは昨今のい文頭から生成する処理形式となるため，文の末尾側にあくつかの研究で行われている．Ge ら [6] は言語モデルる誤りをどのように訂正するかという情報は，先頭側にに基づく流暢性スコアが訂正によって一定以上改善しある訂正の決定に影響を与えるのは困難である．しかし，ない場合は，その出力を入力文として再学習を行うとい文法誤り訂正は，機械翻訳とは違い，入力文と出力文のう fluency-boost learning を提案した．また，テスト時言語が同じであるという性質があるため，訂正文を再びも流暢性スコアが改善しなくなるまで訂正するという入力として再度訂正させるという処理が可能である．よfluency-boost inference を提案した．Lichtarge ら [11]って，誤り箇所が多く，文の末尾側の誤りに起因して一はテスト時に，最も尤もらしい訂正システムの出力の尤回では全ての誤りを訂正するのが困難な文を，繰り返し度が，何も訂正されていない出力の尤度よりも一定以上処理により，徐々に改善できることが期待できる．

改善しなくなるまで訂正を繰り返す，という手法を用いそこで，本研究では，段階的な訂正を適用した際の効た．これら先行研究では，どちらも訂正の反復で性能が果を検証する．実験では，文法誤り訂正で現在標準的に悪化することを防ぐ機構が導入されている．しかし，そ用いられている手法を用い，標準的に広く用いられていうした機構を導入しない場合と比べたときの差分についるベンチマークデータにて評価を行う．実験結果から，ては調べられていない．つまり，反復訂正による実際の段階的な訂正を適用しても，期待通りの効果が得られな効果というのがあまり厳密には示されていないという問いことを示す．また，段階的な訂正により，あまり効果題点があると考えられる．

― 578 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表1: 訂正の反復の結果

CoNLL(F0.5)

CoNLL(F0.5 )JFLEG (GLEU)

46.3

無編集

0.0

40.54

46.2

1 回目

45.70

51.19

46.1

2 回目

46.11

51.79

46.0

3 回目

46.19

51.80

4 回目

46.24

51.81

5 回目

46.24

51.81

45.9
45.8
45.7
45.6
1

反復訂正

3245

図2: CoNLL 上での反復訂正の性能

Ge ら [6] によると，seq2seq モデルは文法誤りを多くJFLEG(GLEU)含む文を一度に完全に訂正することは通常できない．その理由として，文内文脈の読み取りが困難になる誤りが51.9
51.8

文中に含まれる場合，他の誤り箇所の訂正も困難になる

51.7ということが挙げられる．一方で，文法誤り訂正は機械

51.6

翻訳と異なり原言語と目的言語が同じであるため，文を同じモデルで何度も訂正することが可能である．そこで，

51.5
51.4
51.3

まず原文を seq2seq モデルに入力し，そこで得られた出51.2

力を再び入力にする，という処理を繰り返すという方法

51.1
12論が考えられる．Ge ら [6] は流暢性スコアが改善しなているが，その性能向上は小さく，訂正を繰り返すことの実質的な効果や流暢性スコアを終了条件として用いる効果についての分析はなされていない．そこで，本研究では反復訂正によって実際に訂正の質がどのように変わるかについて詳細に調査を行う．

3

45

訂正回数くなるまで訂正を反復すると性能が向上することを示し

図3: JFLEG 上での反復訂正の性能を用いた．

4.2

性能評価

性能評価は文法誤り訂正のベンチマークとして用いられている設定で行った．すなわち，訂正システムの性能をCoNLL-2014 テストセット上において MaxMatch (M2 )scorer [4] で計算された F0.5 値によって評価した*1 ．ま

実験

43
訂正回数

た，訂正システムの出力の流暢性を評価するために，JHU
前節で述べた通り，文法誤り訂正の標準的なモデルを用いて，訂正処理を繰り返し適用した場合に，性能がどのように変化するかを詳細に調査する．本実験では，

Chollampatt ら [2] が用いた設定に従って，学習および評価をおこなった．

4.1

FLuency-Extended GUG corpus (JFLEG) [15] テスト
セット上において GLEU [13, 14] により評価した．

4.3

モデル設定

訂正モデルには CNN seq2seq [8] を用い，実装は

Chollampatt ら [2] が Fairseq-py を拡張したものを用データセットいた．この実装は現在文法誤り訂正の研究でよく使われ学 習 に は 公 開 さ れ て い る Lang-8 Learner Cor-pora [12] と NUS Corpus of Learner English (NUCLE), [5] を用いた．Lang-8 に対しては Chollampatt
ら [2] と同様に，英語話者によるエッセイと英語で書かれていないエッセイを除去する前処理を行った．さらに，学習データから何も訂正されていない文対は除去した．
また，NUCLE の約 10% に相当する約 5,400 文を開発データとして用いた．学習データには残りの約 130 万文ているものの１つである [3, 7]．単語埋め込み層は 500
次元，ボキャブラリにターゲット側の頻度上位 30,000の BPE ユニットを用いた．また単語埋め込み層の初期化は Chollampatt ら [2] が Wikipedia コーパス上でf astT ext [1] を用いて学習したものを用いた．エンコー
ダおよびデコーダの層数はそれぞれ 7 とし，窓幅は 3，*1 テストデータ 1,312 文中 3 文については単語数が多く評価に時間がかかるため除外した― 579 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

出力次元数は 1,024 次元に設定した．ドロップアウト率が正しく訂正できていれば後半の誤りに関しても訂正では 0.2 に設定し埋め込み層，畳み込み層，出力層に適用きる可能性がある。一方，1 番目と 3 番目に関しては，一した．バッチサイズは 32 とし，最適化は Nesterov の加度に訂正することは難しいがこのような例がテストデー

速勾配法を用い，学習率は 0.25, 慣性項は 0.99，クリッタ中には出現していない可能性が考えられる．

プノルムは 0.1 とした．各エポック終了後にバリデーシ

4.5

事例分析

ョンを行い，ロス関数の値が最良のモデルをテストに用訂正を反復することで出力が改善した例 3 つを表 2にいた．デコードは窓幅 12 のビーム探索を用いた．出力示す．例 (a) には 2 箇所の文法誤りと 1 箇所の綴り誤りの 1 ベストを次ステップでは入力として用いた．

があり，訂正モデルは 1 度目の訂正で 2 つの文法誤り

4.4

結果

に関しては正しく訂正できたが，綴り誤りに関しては訂反復訂正による CoNLL-2014 テストデータにおける正できず，さらに綴り誤りの影響を受けて “litterature”

2

M スコアと JFLEG テストデータにおける GLEU スの前に不要な the を挿入した，しかし 2 回目の訂正でコアを表 1に示す．また，図 2, 3に，各反復訂正の評価“litterature” の綴り誤りを修正し，3 回目の訂正で “the”

値を折れ線グラフにより示す．

を削除して出力を改善できている．例 (b) では，綴り誤り訂正を繰り返すことによって性能がわずかに（F0.5 でと語形誤りが複合した誤りを段階的に訂正できた例で，0.5 ポイント）改善した．これはテスト時に流暢性のス

1 回目の訂正で綴り誤りを訂正したことで 2 回目で副詞コアが上昇しなくなるまで訂正するという方法を用いたの “obviously” から形容詞 “ovbious” に訂正できた．例

先行研究 [6] と同程度の改善幅である．本実験では 3 回(c) では，1 回目の訂正で後半の “thy” を “they” に直せ程度の訂正で性能が収束した．また，訂正後の出力を文たため，2 回目で前半にある “Thy” や “there self” を単位で比較したところ，CoNLL-2014 のテストデータ“They” と “themselves” にそれぞれ訂正することに成1,309 文中，5 回の訂正で 1 回目より改善したのは 16 文，功している．

悪化したのは 13 文であった．JFLEG では 747 文中 5

一方，訂正を繰り返すことで性能が悪くなった例を回目の訂正で 1 回目より改善した文数は 50 文，悪化し表 3に示す，例 (d)1 回目は適切な訂正であるが，2 回目たのは 20 文であった．このことから，訂正を反復しての訂正で the を誤って挿入したため F0.5 スコアが低下もほとんどの出力は変わらないといえる．原因としては，した．例 (e) の 2 回目の訂正のように，文をさらに流暢訂正モデルが系列全体を一度に訂正するという学習は行にしようとするあまり正誤の判定が難しい訂正を行ってっているが，文法誤り訂正の出力結果で訂正しきれていいるような例も見られた．

ない誤り、つまり訂正後の文に残っている誤り (システムで訂正が難しい事例) に対する学習データが存在しておわりに5いないため，それらを訂正するような学習をしていない

本研究は文法誤り訂正において訂正を繰り返すことにことが考えられる．この仮説が正しいとすると，現在のよる効果を調査した．文法文法誤り訂正では誤りを多く用いている学習データに対して，複数の誤りがあるデー

含むような文を一度に全て正しく訂正するのは困難な場

タを正解に向けて一部修正したデータを追加の学習デー

合があり，そのような文が繰り返し処理により改善されタとして活用する方法などが考えられる．ていくことが期待されたが，実験の結果，効果は限定的

また，段階的な訂正が必要な事例が少ないという可能なものであり，多くの文では 2 回目以降の訂正が行わな性も考えられる．段階的に訂正が必要な誤りには少なくいことがわかった．今後は本研究で得られた知見を利用とも 3 種類が考えられる: (1) 1 つの単語に複数の誤りして性能が複合的に入っている場合（表 2の obvioualy のように綴り誤りと文法誤りが混じっている場合），(2) 前方の誤った単語を訂正しないと後方の誤りを訂正できない場
合，(3) 後方の誤りを訂正しないと前方の誤りを訂正で謝辞
本 研 究 の 一 部 は JST CREST(課 題 番 号:JP-MJCR1513) の支援を受けて行った．

きない場合がある．このうち 2 番目に関しては，従来の文法誤り訂正システムは前から訂正するため，システム― 580 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表2: スコアが改善された例

訂正回数(a)(b)(c)

文

0People tends to choose other medias , and that is why litterature is in danger .

1

People tend to choose other media , and that is why the litterature is in danger .

2

People tend to choose other media , and that is why the literature is in danger .

3

People tend to choose other media , and that is why ϕ literature is in danger .

0

On one side , it is obvioualy that many advantages have been brought to our lives .

1

On one side , it is obviously that many advantages have been brought to our lives .

2

On one side , it is obvious that many advantages have been brought to our lives .

0

Thy are busy in there self , thy dont spend time to help the society that they live in .

1

Thy are busy in there self , they do n’t spend time to help the society that they live in .

2

They are busy themselves , they do n’t spend time to help the society that they live in .
表3: スコアが悪化した例

訂正
回数(d)

文

0

And we keep track of all family members health conditions .

1

And we keep track of all family members ’ health conditions .

2

And we keep track of all the family members ’ health conditions .

0With the willing of people to become the best among others , social network site now becomea place to show off .

(e)1With the willing of people to become the best among others , social network sites now
become a place to show off .

2

With the willingness of people to become the best among others , social networking sites
now become a place to show off .

参考⽂献
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]

[10]

Piotr Bojanowski et al. “Enriching Word Vectors with Subword Information”. In: TACL (2017), pp. 135–146.
Shamil Chollampatt et al. “A Multilayer Convolutional
Encoder-Decoder Neural Network for Grammatical ErrorCorrection”. In: Proceedings of AAAI. 2018, pp. 5755–5762.
Shamil Chollampatt et al. “Neural Quality Estimationof Grammatical Error Correction”. In: Proceedings ofEMNLP. 2018, pp. 2528–2539.
Daniel Dahlmeier et al. “Better evaluation for grammaticalerror correction”. In: Proceedings of NAACL. 2012, pp. 568–572.
Daniel Dahlmeier et al. “Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English”. In: Proceedings of BEA. 2013, pp. 22–31.
Tao Ge et al. “Fluency Boost Learning and Inference for
Neural Grammatical Error Correction”. In: Proceedings ofACL. 2018, pp. 1055–1065.
Tao Ge et al. “Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study”.
In: CoRR abs/1807.01270 (2018). arXiv: 1807.01270.
Jonas Gehring et al. “Convolutional Sequence to Sequence
Learning”. In: CoRR abs/1705.03122 (2017). arXiv: 1705.
03122.
Roman Grundkiewicz et al. “Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation”. In: Proceedings of NAACL. 2018,
pp. 284–290.

[11]
[12]

[13]
[14]
[15]
[16]
[17]

― 581 ―Marcin Junczys-Dowmunt et al. “Approaching Neural
Grammatical Error Correction as a Low-Resource Machine Translation Task”. In: Proceedings of NAACL. 2018,
pp. 595–606.
Jared Lichtarge et al. “Weakly Supervised GrammaticalError Correction using Iterative Decoding”. In: CoRR
abs/1811.01710 (2018). arXiv: 1811.01710.
Tomoya Mizumoto et al. “Mining Revision Log of Language
Learning SNS for Automated Japanese Error Correction ofSecond Language Learners”. In: Proceedings of IJCNLP.
2011, pp. 147–155.
Courtney Napoles et al. “GLEU Without Tuning”. In:
CoRR abs/1605.02592 (2016). arXiv: 1605.02592.
Courtney Napoles et al. “Ground Truth for Grammatical Error Correction Metrics”. In: Proceedings of ACLIJCNLP. 2015, pp. 588–593.
Courtney Napoles et al. “JFLEG: A Fluency Corpus andBenchmark for Grammatical Error Correction”. In: Proceedings of EACL. 2017, pp. 229–234.
Hwee Tou Ng et al. “The CoNLL-2014 Shared Task on
Grammatical Error Correction”. In: Proceedings of CoNLL.
2014, pp. 1–14.
Ashish Vaswani et al. “Attention is All you Need”. In:NIPS. Ed. by I. Guyon et al. Curran Associates, Inc., 2017,
pp. 5998–6008.

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.