言語処理学会 第25回年次大会 発表論文集 (2019年3月)

文法誤り訂正における単語編集率を用いた訂正度の制御
甫立 健悟

金子 正弘

勝又 智小町 守

首都大学東京{hotate-kengo, kaneko-masahiro, katsumata-satoru}@ed.tmu.ac.jp,komachi@tmu.ac.jp

1

はじめに
文法誤り訂正タスクでは，近年，ニューラルネットワークを用いた文法誤り訂正モデルの研究が盛んに行われており，それらのモデルは従来の統計的機械翻訳を用いた文法誤り訂正モデルよりも高い性能を示している [1] ．
第二言語学習者が書いた文法的に誤った文をある評
価者が文法的に正しい文へと訂正するとき，その評価者によりどの程度訂正を行うのかは異なる．例えば，文法誤り訂正タスクにおいて学習データとして一般的に使用される Lang-8 [6] ，評価データとして使用される CoNLL-2014 [9] や JFLEG [8] では，１文中に

図 1: 1 文中の単語編集率のヒストグラム

おける訂正の量という意味での訂正度が異なることが知られている [8] ．また，同様に学習者によってどのでそれぞれスコアを求めることにより，モデルの訂正程度訂正を求めているのかも異なる．しかし，既存の度を制御した上での訂正の質を調べた．その結果，学

文法誤り訂正モデルは学習した単一の訂正度でのみ訂習時に付与した訂正度の情報により，実際にモデルの正を行っており，それらの異なる訂正度で訂正を行う訂正度が制御できることを明らかにした．また，訂正手法の研究は行われていない．

度の情報を用いていないモデルと比較すると，付与しそこで，我々は訂正度を制御可能なニューラル文法誤た訂正度の情報と評価データの訂正度がマッチした場り訂正モデルを提案する．文法誤りが訂正されている

合，GLEU と F0.5 の両方のスコアが向上することをデータ内において，1 文ごとの訂正度の情報を特殊トー示した．

クンとして文に付与し，新たな学習データを作成する．
ここで，訂正度を表す指標として単語編集率を用いる．
単語編集率とは文中の単語がどれだけ書き換えられたのかを表す指標であるため，文法的誤りを含んだ文と，その誤りを訂正した文の単語編集率は，文の訂正度を表していると言える．CoNLL-2014 と JFLEG では，JFLEG の方が訂正度が大きいことが知られており，実際に図 1 に示すグラフからも，CoNLL-2014 よりもJFLEG の方が単語編集率が大きいため，単語編集率が訂正度を示していることがわかる．そして，新たに作成した学習データを用いてニューラルネットワークモデルの学習を行い，推論時に入力文の文に任意の訂正度の特殊トークンを付与することで，付与した単語編集率に基づきモデルの訂正度を制御する．
実験では，訂正度の異なる CoNLL-2014 と JFLEG

2

先行研究

Junczys-Dowmunt ら [4] は統計的機械翻訳を用い，タスクに合わせたパラメータの調整を行うことにより，それまでの文法誤り訂正モデルの中で最高性能を出した．しかし，統計的機械翻訳を用いたモデルでは，単語やフレーズ単位での局所的な訂正しかできない．そこで，より文脈など，単語間の意味を考慮した流暢な訂正を行うためにニューラルネットワークを用いた手法が幾つか提案された．その中で，Chollampatt andNg [1] は，畳み込みニューラルネットワーク （CNN）のエンコーダデコーダモデルを用いた手法を提案した．
このモデルは，現在実装が公開されている 1 文法誤り― 635 ―1 https://github.com/nusnlp/mlconvgec2018

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 各学習データの概要

表 2: 全学習データの中で特殊トークンとデータ

文数

Lang-8NUCLE
擬似データ（NYT 2007）
Lang-8 + NUCLE + 擬似データ

1.3M
50K
0.5M
1.7M 2

して区切られた単語編集率の閾値と文数

訂正モデルの中で精度が高いモデルの一つであり，従特殊トークン

最小値

最大値

文数

⟨1⟩
⟨2⟩
⟨3⟩
⟨4⟩
⟨5⟩

0.01
0.12
0.20
0.310.53

0.120.20
0.31
0.53
38.00 3350K
350K
350K
350K
350K

来の統計的機械翻訳を用いたモデルよりも高い性能を示している．だが，これらのモデルでは，学習した訂正度でのみ訂正を行い，その訂正度を状況に応じて制御することはできない．

4訂正度制御実験

4.1

データ

Kikuchi ら [5] は文書要約タスクにおいてエンコー

表１に各学習データの概要を示す．本研究では，文ダデコーダモデルに出力長を制限する情報を与えるこ法誤り訂正データとして Lang-8 と NUCLE [3] を用とで，出力長の制御を可能にした．また，Sennrich らいた．評価データとしては，CoNLL-2014 評価データ[11] は機械翻訳において学習データに文の丁寧さの情報を特殊トークンとして入力文に付与することで，出力文の敬意表現の制御を行った．Sennrich らと同様に，本研究では，訂正度を表す単語編集率を学習データに特殊トークンとして付与することで，入力文に対する訂正度の制御を行う．と JFLEG 評価データを用い，それぞれの開発デー

3

単語編集率による訂正度制御

タとして CoNLL-2013 [10] 開発データ と JFLEG 開発データを用いた．後述する擬似データ作成の際，誤りを付与する単言語データとしては，The New YorkTimes Annotated Corpus（LDC2008T19）4 の 2007年のデータ（NYT 2007）のみを用いた．

4.2

擬似データ作成

学習データ内の全文に対して単語編集率を求め，そ文法誤り訂正の分野において，擬似データを学習の値に基づいた特殊トークンを付与することで，モデデータに追加することで精度が向上することが知られルの訂正度を制御する手法を提案する．以下に単語編ている [13] ．そこで，本研究では，学習データ量の集率の求め方と，特殊トークンの付与の仕方について増加のため，擬似データを作成し学習データに加えた説明する．

上で文法誤り訂正モデルの実験を行った．擬似データ

はじめに，学習データ内の誤り文とそれに対応する作成のための文法誤り生成モデルとしては Vaswani

訂正文から挿入の回数，削除の回数，置換の回数の和ら [12] の Transformer を用い 5 ，ハイパーパラメータが最小となるように動的計画法を用いて編集距離を計も全て同様の数値に設定した．学習データとしては，算する．そして，求めた編集距離を誤り文の文長で割Lang-8 と NUCLE を合わせたデータの訂正文を原文，誤り文を正解文としたデータを用いた．
学習した文法誤り生成モデルに NYT 2007 を入力文として与え，誤りが付与された出力文と組み合わせることで擬似データを作成した．

り，単語編集率を計算する．
算出した単語編集率をもとに学習データをソートし，文数が均等になるように幾つかの文集合に分割する．
その分割した文集合ごとに異なる特殊トークンを定め，誤り文の文頭に付与する．
このようにして，文頭に単語編集率によって定めら4.3れた特殊トークンが付与された誤り文とそれに対応する訂正文の学習データを作成した．この新たに作成した学習データを用いて文法誤り訂正モデルを学習する．

文法誤り訂正モデル

本研究では，文法誤り訂正モデルとして CNN を用いた Chollampatt and Ng のモデル [1] を用い，ハイパーパラメータも同様の値を用いた．学習データとして，Lang-8 と NUCLE に擬似データを加えたデータ

2 学習データとしては前処理として訂正がある文のみを使用し，文長制限 80 をかけている．

3 原文の単語数を超える単語数の挿入，削除，置換が行われる場
合，単語編集率は１を超える．
4 https://catalog.ldc.upenn.edu/LDC2008T19
5 CNN モデルでも同様に擬似データ作成を試みたが ，有効な結果は得られなかった．

― 636 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 訂正度を制御した文法誤り訂正結果（* はベースラインに対し統計的有意差があることを示す（p < 0.05））
モデル

CoNLL-2013（開発）

CoNLL-2014（評価）JFLEG（開発） JFLEG（評価）

PR

F0.5

PRF0.5

ベースライン

42.19

15.28

31.20

53.20

25.18

43.52

47.92

51.77

0.10

特殊トークン
⟨1⟩
⟨2⟩
⟨3⟩
⟨4⟩
⟨5⟩

52.45
47.55
43.38
40.91
29.48

13.60
17.94
20.05
21.32
13.98

33.39
35.75
35.19
34.56
24.13

60.07
54.64
50.48
47.43
33.77

23.52
28.41
31.45
32.68
22.95

*45.83*46.12*45.0343.50*30.86

44.85
47.96
49.45
49.16
37.52

*48.45*52.01*53.59*53.47*42.21

0.06
0.09
0.12
0.17
0.43

GLEU

WER

を用いたモデル （ベースライン） ，合成データに単が異なる [8] ため，それらの訂正度にマッチした特殊語編集率で定められた特殊トークンを付与したデータ

トークンが異なり，最も高いスコアを出した特殊トーを用いたモデルの 2 種類の実験を行った．学習データクンが異なったと考えられる．言い換えると，単語編に付与した特殊トークンとしては，単語編集率の大き集率が特殊トークンで制御できたことにより，どちらさに準じて，表 2 に示すように ⟨1⟩ （最も単語編集率の評価データでもベースラインより高いスコアを出すが小さい文集合に付与）, ⟨2⟩, ⟨3⟩, ⟨4⟩, ⟨5⟩ （最も単ことができたと考えられる．
それぞれの特殊トークンでの適合率と再現率を見る

語編集率が大きい文集合に付与）の 5 種類の特殊トーと，特殊トークン ⟨1⟩ での適合率が最も高く，再現率クンを用いた．
評価手法としては，CoNLL-2013 と CoNLL-2014 にが低い，一方で，特殊トークン ⟨4⟩ での適合率が最も対して適合率，再現率，F0.5 スコア [2] で評価し，JF-低く，再現率が高くなっている．このことから，単語LEG に対しては GLEU [7] で評価した．また，JFLEGの評価データの入力文とそれに対するモデルの出力文から単語編集率（WER）を 1 文ずつ算出し，その値を全文数で割った平均値を算出した．

編集率と比例して再現率が変化し，反対に単語編集率と反比例して適合率が変化していることがわかる．
ただし，特殊トークン ⟨5⟩ の単語編集率は最も高いが，再現率は適合率と共に低い値となっている．また，特殊トークン ⟨5⟩ のスコアは，GLEU と F0.5 の両方で4.4低いスコアとなっている．この特殊トークンが付与さ実験結果・考察実験結果を表 3 に示す．表中の「特殊トークン」モデルについては，全て同一のモデルであり，推論時の入力文に対して付与した特殊トークンごとにスコアを出したものである．
表中の単語編集率（WER）から，実際の単語編集率の平均値が，入力文に付与された特殊トークンに比例して変化していることがわかる．つまり，単語編集率により定められた特殊トークンによって，実際のモれている学習データは，表 2 より，単語編集率が 0.53以上のデータである．これらの学習データを確認した
ところ，文長が短い，もしくは，訂正とは関係のないコメントが挿入されているなどのノイズが大きいデータとなっていた．そのため，学習が上手く行かずスコアが上がらなかったと考えられる．

4.5

出力例

デルの単語編集率の制御ができていることがわかる．

モデルの入力文に付与された異なる特殊トークンに

CoNLL-2013 の開発データで最も高い F0.5 スコアよる出力例を表 4 に示す．この表は，JFLEG の評価を出したモデルは，特殊トークン ⟨2⟩ を付与して入力データに対する出力例であり，入力文に付与した特殊したときであり，その特殊トークンは CoNLL-2014 のトークンごとにそれぞれ示している．太字になってい評価データにおいても最も高い F0.5 スコアを出している単語は，原文から変更がされた箇所を表している．

る．同様に， JFLEG の開発データで最も高い GLEU

この例では，原文に対し，訂正すべき箇所が複数箇スコアを出したモデルは，特殊トークン ⟨3⟩ を付与し所ある．特殊トークン ⟨3⟩ ではそのうちの 2 箇所のみて入力したときであり，その特殊トークンは JFLEG訂正を行っているが，特殊トークン ⟨4⟩ で，訂正すべき評価データにおいても最も高い GLEU スコアを出し箇所を全て網羅している．特殊トークン ⟨5⟩ では，誤っている．また，CoNLL-2014 と JFLEG では訂正度ているが更に異なった変更を加えている．このことか― 637 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 4: JFLEG の評価データに対する出力例
原文

Disadvantage is parking their car is very diﬃcult .

WER

正解文

The disadvantage is that parking their car is very diﬃcult .

0.33

Disadvantage is parking their car is very diﬃcult .

0.00

Disadvantage is parking ; their car is very diﬃcult .
Disadvantages are parking their car is very diﬃcult .
The disadvantage is parking their car is very diﬃcult .
The disadvantage is that parking their car is very diﬃcult .
The disadvantage is that their car parking lot is very diﬃcult .

0.11
0.22
0.22
0.33
0.56

ベースライン
特殊トークン

⟨1⟩
⟨2⟩
⟨3⟩
⟨4⟩
⟨5⟩

ら，実際に提案モデルが訂正度の異なる訂正を行っていることが確認できる．また，ベースラインの出力では訂正されていないが，提案モデルでは特殊トークンによって多くの訂正を行わせることで，全ての訂正すべき箇所を訂正することができている．

5

おわりに
本研究では，単語編集率に基づいた特殊トークンを付与した学習データを作成し，ニューラルネットワー
クを用いた文法誤り訂正モデルを学習することで，モデルの訂正度の制御が可能であることを示した．また，制御した訂正度が評価データとマッチした場合，GLEU と F0.5 の両方でスコアが向上することも示した．
今後としては，単語編集率では得られない，単語単位の訂正であるのか，フレーズ単位での訂正であるのかという様なより詳細な情報を入れ，特殊トークンを付与することでより細かい粒度で制御する実験などに取り組みたい．

参考文献[1] Shamil Chollampatt and Hwee Tou Ng. A multilayer convolutional encoder-decoder neural network
for grammatical error correction. In Proc. of AAAI,2018.
[2] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proc. ofNAACL-HLT, 2012.
[3] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu.
Building a large annotated corpus of learner English:
The NUS corpus of learner English. In Proc. of BEA,2013.

[4] Marcin Junczys-Dowmunt and Roman Grundkiewicz. Phrase-based machine translation is stateof-the-art for automatic grammatical error correction. In Proc. of EMNLP, 2016.
[5] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling
output length in neural encoder-decoders. In Proc.
of EMNLP, 2016.
[6] Tomoya Mizumoto, Yuta Hayashibe, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Theeﬀect of learner corpus size in grammatical error correction of ESL writings. In Proc. of COLING, 2012.
[7] Courtney Napoles, Keisuke Sakaguchi, Matt Post,and Joel Tetreault. Ground truth for grammaticalerror correction metrics. In Proc. of ACL-IJCNLP,
2015.
[8] Courtney Napoles, Keisuke Sakaguchi, and JoelTetreault. JFLEG: A fluency corpus and benchmarkfor grammatical error correction. In Proc. of EACL,
2017.
[9] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, ChristianHadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. of CoNLL, 2014.
[10] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL2013 shared task on grammatical error correction.
In Proc. of CoNLL, 2013.
[11] Rico Sennrich, Barry Haddow, and Alexandra Birch.
Controlling politeness in neural machine translation
via side constraints. In Proc. of NAACL-HLT, 2016.
[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, JakobUszkoreit, Llion Jones, Aidan N Gomez, L ukasz
Kaiser, and Illia Polosukhin. Attention is all youneed. In Proc. of NIPS. 2017.
[13] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and denoising
natural language: Diverse backtranslation for grammar correction. In Proc. of NAACL-HLT, 2018.

― 638 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.