言語処理学会 第24回年次大会 発表論文集 (2018年3月)

パイプライン処理によるニューラル英語文法誤り検出と訂正
金子 正弘

小町 守

首都大学東京kaneko-masahiro@ed.tmu.ac.jp, komachi@tmu.ac.jp

1

はじめに2検出と訂正

近年，ニューラルネットワークを用いた文法誤り訂正の研究が盛んである [1]．文法誤り訂正は，入力として文法的に誤っている可能性がある文を受け取り，その入力文に対して文法的に正しくなるように訂正を行う．文法誤り訂正をうまく行うには，原文の誤った箇所が文法的に正しく書き換わっている必要がある．そのため，文法誤り訂正では訂正するべき箇所を特定することも重要になる．

パイプライン処理による文法誤り
本研究では，文法誤り訂正器として Luong らのモデル [4] を使う．誤り訂正器のエンコーダに素性として誤り検出結果を入力し，単語単位のアテンションを用いて誤り訂正を行う．誤り検出結果をエンコーダに加えることで，誤り訂正の適合率の向上が期待できる．
誤り検出

これまでの文法誤り訂正器のうち，分類器を用いた手法 [2] では明示的に検出の情報を訂正の際に考慮しているが，ニューラルネットワークを用いた文法誤り訂正手法では，明示的に誤り検出の情報が使われていないだけでなく議論もされていない．一方で，誤り訂正器は検出器と比較して必ずしも誤り検出がうまく行えているとは言えない [3]．そのため，誤り訂正の適合率を上げるためには，補助情報として誤り検出の情報を使うことが有効であると考えられる．
そこで，本研究では入力文のどの箇所が誤っているかをパイプライン処理によってニューラル文法誤り訂正器に与えることで入力文の誤り箇所特定性能の向上している Bidirectional LSTM (Bi-LSTM) を誤り検出器として用いる [3]．入力文 S = (w1 , w2 , · · · , wN )の各単語 wi は単語ベクトル ei ∈ Rde ×1 に変換される．N は文長であり，de は単語ベクトルの次元であ−→る．単語ベクトルから順方向の隠れ層 hi ∈ Rdh ×1 と←−逆方向の隠れ層 hi ∈ Rdh ×1 を作成する．dh は隠れ層−→ ←−の次元とする．hi と hi を連結することで最終的な隠∈ R2dh ×1 を獲得する．隠れ層 hiを以下のように線形変換し，ソフトマックス関数を用いて正誤タグの確率分布 pi ∈ Rt×1 を獲得する．t はタグのサイズであり 2 である．
(lstm)のエンコーダに入力するモデルを提案する．このモデ
ルは入力文の誤り検出の情報をシンプルに考慮することが可能である．
英語文法誤り訂正の実験では，誤り検出の情報を素性として用いることが文法誤り訂正の精度向上につながることがわかった．そして，検出結果を素性として学習することで，誤り訂正器の検出精度が誤り検出器以上に向上することを示した．

(lstm)

れ層 hi(lstm)を図る．具体的には，誤り訂正器とは独立した検出器の検出結果を素性として入力文の単語と同時に訂正器

文法誤り検出タスクにおいて高い精度を出pi = softmax(Wh hi+ bh )(1)

Wh ∈ Rv×dh は重み行列であり，bh ∈ Rv×1 はバイアスである．v は語彙サイズの次元数である．
誤り訂正

学習済みの文法誤り検出器を使い入力文 Sの各単語 wi に対して誤り検出を行う．さらに，入力
文 S の各単語 wi から単語ベクトル vi ∈ Rdv ×1 を作成する．そして，単語 wi に対する誤り検出の出力 piを単語ベクトル ei と連結し xi = [ei ; pi ] ∈ R(de +t)×1として誤り訂正器に入力する．これにより，文法誤り訂正器は誤り検出の情報を考慮して学習することが可∈ Rdh ×1を Bi-LSTM の隠れ層と同じように計算する．
(enc)

能となる．vi からエンコーダの隠れ層 hi― 576 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

∈ Rdh ×1 はエンコーダか前処理としてコメントや英語と記号以外の文字を(enc)ら算出された最終 LSTM ユニット hNとそのメモ含む文と 50 単語以上の文を除外した．さらに，訂正(dec)

デコーダの初期状態 h0

リセルで初期化される．j 番目の単語を出力するため前と訂正後で文が分割される文も除外した．そして，にエンコーダの隠れ層の重み付き和 aj を計算する．

検出のための正誤タグは動的計画法を用いて付与しaj=N∑た．結果として，NUCLE: 53,342 文，FCE: 26,346(enc)
αj (i)hi(2)i=1

αj (i) =(dec)h̃j(enc)(dec)
exp(hiWa hj )
∑N(enc)(dec)
Wa hj )
k̸=j exp(hk(dec)= tanh(Wc [hj; aj ] + bc )文，AWES: 508,071 文そして Lang-8: 573,314 文からなる合計 1,123,213 文を抽出した．そして，開発セットとして CoNLL-13: 1,381 文，テストセットとして(3)

CoNLL-14: 1,312 文を用いた．

(4)αj (i) は j 番目の出力をする際の，エンコーダの i 番

3.2

誤り検出器の Bi-LSTM の埋め込み層と隠れ層の次目の隠れ層の寄与率を示している．Wa ∈ R(2dh +dv)×v
dh ×(v+dh )dh ×1

ハイパーパラメータ

は元は予備実験の結果両方とも 300 とした．語彙サイズ(dec)バイアスである．デコーダの最終的な隠れ層 h̃j∈
dh ×1

は 40,000 とした．学習には ADAM を使い，学習率はと Wc ∈ RRは重み行列であり，bc ∈ Rを用いることで訂正を行う．

p(yj | y<j , S)=(dec)

softmax(Ww h̃j0.001 とした．重み行列は [−0.25, 0.25] の一様乱数で初期化した．ミニバッチサイズは 128，勾配の大きさ+ bw ) (5)Ww ∈ Rdw ×dh は重み行列であり，bw ∈ Rdw ×1 はバイアスである．dw は語彙サイズである．

は 5 にクリップした．単語ベクトルは Google News で学習された word2vec 1 を使い初期化した．
誤り訂正器の埋め込み層と隠れ層の次元は両方とも 512 とした．語彙サイズは 40,000 とした．学習には SGD を使い，学習率は 1.0 とした．重み行列は3

英文法誤り訂正実験

3.1

データ

[−0.1, 0.1] の一様乱数で初期化した．ミニバッチサイズは 128，勾配の大きさは 1 にクリップした．エンコー
ダとデコーダの両 LSTM に対して係数 0.2 の dropout

学習データとして NUCLE，FCE-public，Lang-8 とAWES を用いた．そして，開発データとして CoNLL13，評価データとして CoNLL-14 を用いた．

を適用した．テスト時には幅 5 のビーム探索を行い，さらに未知語を出力した場合アテンションの寄与率がもっとも高い入力文の単語と置き換えた．

FCE-public データセット．FCE-public データセッ
トは文法誤り訂正における最も有名な英語学習者コー

3.3

評価尺度

パスの１つで，文法誤りの種類に基づいてタグ付けが文法誤り訂正の評価としては，M2 スコアと GLEUされている．

NUCLE と CoNLL．さ ら に ，CoNLL-13 [5]，CoNLL-14 [6] の共通タスクのデータと NUS Corpus
of Learner English (NUCLE) [5] を用いる．含まれてを使う．M2 スコア [10] は CoNLL-13 と CoNLL-14 の共通タスクで使われた評価尺度であり，原文と出力文を動的計画法で比較し F 値を算出する．一般的に，再いる文法誤りは，英語を母語とするプロの英語教師に現率よりも適合率を重視した F0.5 が使われる．GLEU

よって訂正とアノテーションがされている．

[11] は原文と出力文に存在し正解文に存在しない文字

Lang-8 コーパス．Lang-8 英語学習者コーパスは，列を減点する手法であり，人手評価と高い相関がある．

英語学習者によって書かれた英文を人手で訂正した

100 万文以上のデータである [7]．誤りの種類はアノテートされていない．

3.4

実験結果

AWES．Automated Evaluation of Scientific Writ-

表 1 は各モデルの CoNLL-14 に対する誤り訂正結ing 2016 の共通タスクのデータである [8]．他のコー果である．まず，誤り検出結果を素性として用いるアパスと比較して原文と正解文の編集距離が小さいといテンションモデルにより誤り訂正結果が改善している

う特徴がある [9] ため，学習データとしては訂正されている文だけを用いた．

1 https://github.com/mmihaltz/word2vec-GoogleNewsvectors― 577 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4.2

表 1: CoNLL-14 データに対する訂正精度モデル

英文法誤り訂正における出力分析

PR

F0.5

GLEU

アテンションモデル

27.21

24.25

25.65

47.88

アテンションモデル＋検出素性

41.73

19.06

26.17

58.41

訂正器の特徴を分析するために，素性を用いない訂正アテンションモデル＋検出素性（正解）

28.42

26.81

28.08

60.34

器と素性を用いた訂正器のそれぞれの誤った出力と両最後に誤り検出の予測結果を素性として用いた誤り方の訂正器が誤った出力の 3 つを分析する．表 3 は誤り検出結果を用いないアテンションモデルと誤り

表 2: CoNLL-14 データに対する検出精度モデルPR

F0.5

検出の結果を素性として用いるアテンションモデルのBi-LSTM

44.05

8.74

24.37

CoNLL-14 データに対する出力例である．1 列目が原アテンションモデル

22.77

26.32

23.40

アテンションモデル＋検出素性

文，2 列目は検出器が原文中の対象単語が文法的に誤っ28.39

18.87

25.78ていると予測した確率，3 列目が正解文，4 と 5 列目はそれぞれの訂正器の出力である．実際の訂正器にはことを示す．誤り検出結果を用いないアテンションモ

正誤の確率分布のベクトルが素性として入力されていデル（ベースライン）と比較して誤り検出素性ありのる．太字は正しく訂正された単語であり，イタリックほうが F0.5 と GLEU が高いことがわかる．この結果は誤って訂正された単語である．

から，誤り検出の情報を誤り訂正器に使うことが精度向上につながることがわかる．

一番上の出力例では，誤り検出の素性を考慮した訂正器がうまく訂正できている．文法的に誤っている単最後のモデルは，誤り検出結果を素性として用いる語に対して誤り検出器は，確率は低いが反応すること提案手法に対して正解検出タグを与えた誤り訂正結果ができている．そして，その低い確率をうまく考慮すであり，提案手法の精度の上界を示している．ベース

ることで訂正器は文法的に誤った単語だけを書き換えラインと比較して適合率と再現率の両方が向上していて訂正することができている．一方で，誤り検出の予る．このことから，誤り検出器の精度を向上させるこ測を情報として使っていないただのアテンションモデとで誤り訂正器の適合率と再現率の両方の改善が見込

ルでは適切に誤り検出ができておらず，文法的に正しめることがわかる．

い単語を誤って訂正し，訂正すべき単語を訂正できていない．この出力例は，誤り検出の結果を確率ではな

4

考察

4.1

訂正箇所検出の精度向上

く，2 値のタグとして訂正器に与えるのではなく確率分布として与えていたためうまく直せた例だと言える．
中央列の出力例では，誤り検出の情報を考慮していない訂正器がうまく訂正している．提案手法について検出器の予測結果を素性として用いることで，誤りは誤り検出はうまく行えているが誤り訂正が適切に行訂正器の適合率が上がった．そのため，提案手法の誤えていない．誤り訂正器は置換の誤りと判断しているり検出精度について調査する．

が，実際は挿入の誤りである．これは，誤り検出の際

表 2 は，Bi-LSTM を用いた検出器，誤り検出結果に 2 値のタグを用いており挿入の誤りと削除や置換のを用いないアテンションモデルと誤り検出の結果を素誤りが区別できないため起こった訂正ミスだと考えら性として用いるアテンションモデルの検出結果2 であれる．

る．ベースライン（検出素性を用いないアテンション

最後の出力例は，どちらの訂正器も誤りを検出するモデル）と比較して提案手法（アテンションモデル＋ことができず訂正することができていない．素性を用検出素性）の F0.5 が向上していることがわかる．これいた訂正器は適合率が高いという特徴があり，そのたは，適合率の高い検出器の誤り検出の情報を素性としめ今回の誤った箇所は検出できず訂正できていない．て考慮することで，不確実な誤り訂正出力を抑制でき

これは提案手法の特徴であり適切に誤り検出ができてたからではないかと考えられる．

いる箇所に関しては正解する可能性が高く，誤り検出されていない箇所に関しては正解する可能性が低い．
そして，再現率の高いアテンションモデルも誤り検出できていないことから，これは検出することが難しい誤りでもあったと考えられる．
2 アテンションモデル 2 つの誤り検出結果は，誤り訂正結果を元に動的計画法により算出した．

― 578 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 3: CoNLL-14 データに対する出力例
原文

Nothing is absolute right or wrong .

Bi-LSTM の検出結果

0.0

0.0 0.0002

0.0 0.0 0.0 0.0

正解文

Nothing is absolutely right or wrong .

アテンションモデル
アテンションモデル＋検出素性

Nothing more is absolute or is wrong .
Nothing is absolutely right or wrong .

原文Without facebook , we may lost contact .

Bi-LSTM の検出結果

0.00.0 0.0 0.0 0.0 1.00.0 0.0

正解文

Without facebook , we may have lost contact .

アテンションモデル

Without facebook , we may have lost contact .

アテンションモデル＋検出素性

Without facebook , we may lose contact .

原文With the risk of being genetically disorder , many individuals have done the decision to undergo genetic testing .

Bi-LSTM の検出結果

0.0 0.0 0.0 0.0 0.0

正解文

With the risk of having genetic disorders , many individuals have made the decision to undergo genetic testing .

アテンションモデル

With the risk of being genetically disorder , many individuals have done the decision to undergo genetic testing .

アテンションモデル＋検出素性With the risk of being genetically disorder , many individuals have done the decision to undergo genetic testing .

50.00.0

先行研究
本研究と同じようにニューラルネットワークを用いた文法誤り訂正の研究としては，文字単位の入出力を可能にしたアテンションモデル [1] などがある．一方
で，これの研究は明示的に誤り検出を行っていない．
文法誤り訂正器に検出を組み合わせた研究としては，分類器を用いた研究 [2] や SMT を用いたパイプライン手法 [12] などがある．一方で，これらの研究はニューラルネットワークを用いた文法誤り訂正器ではない．

6

おわりに本研究では，文法誤り訂正器に誤り検出の予測結果を素性として用いる手法を提案した．CoNLL-14 を用いた文法誤り訂正の実験を行い，提案手法が誤り訂正の適合率を上げることで誤り訂正の精度向上につながることを示した．さらに，訂正器の検出精度を調べた
ところ誤り検出以上の F0.5 スコアを達成した．
今後の取り組みとしては，検出の情報を素性として訂正器に与えるだけではなく，検出器と訂正器を結合し学習させるモデルについての実験や誤りタイプや編集タグのようなより表現力の高いラベルを使った誤り訂正器の研究などが挙げられる．

参考文献[1] Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. ANested Attention Neural Hybrid Model for Grammatical Error Correction. In ACL, 2017.
[2] Alla Rozovskaya and Dan Roth. Building a State-ofthe-Art Grammatical Error Correction System. In
TACL, 2014.

0.0 0.0

0.0

0.00.00.00.00.00.00.00.0 0.0[3] Marek Rei and Helen Yannakoudakis. Compositional Sequence Labeling Models for Error Detection
in Learner Writing. In ACL, 2016.
[4] Thang Luong, Hieu Pham, and Christopher D. Manning. Eﬀective Approaches to Attention-based Neural Machine Translation. In EMNLP, 2015.
[5] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu.
Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA,2013.
[6] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, ChristianHadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 Shared Task on
Grammatical Error Correction. In CoNLL SharedTask, 2014.
[7] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining Revision Log
of Language Learning SNS for Automated JapaneseError Correction of Second Language Learners. In
IJCNLP, 2011.
[8] Vidas Daudaravicius, Rafael E. Banchs, Elena Volodina, and Courtney Napoles. A Report on the Automatic Evaluation of Scientific Writing Shared Task.
In BEA Shared Task, 2016.
[9] Courtney Napoles, Keisuke Sakaguchi, and JoelTetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL,
2017.
[10] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL,
2012.
[11] Courtney Napoles, Keisuke Sakaguchi, Matt Post,and Joel Tetreault. Ground Truth for GrammaticalError Correction Metrics. In ACL, 2015.
[12] Nadi Tomeh, Nizar Habash, Ramy Eskander, andJoseph Le Roux. A Pipeline Approach to SupervisedError Correction for the QALB-2014 Shared Task.
In ANLP, 2014.

― 579 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.