言語処理学会 第30回年次大会 発表論文集（2024年3月）

文法誤り訂正の自動評価のための原文・参照文・訂正文間の 𝑁 -gram 𝐹 -score
古山翔太 1,2

永田亮 2,3 高村大也 2 岡崎直観 1,2
2 産業技術総合研究所 3 甲南大学
shota.koyama@nlp.c.titech.ac.jp nagata-nlp2024@ml.hyogo-u.ac.jp
takamura.hiroya@aist.go.jp okazaki@c.titech.ac.jp
1 東京工業大学

概要

原文 𝑆“What is you ?”本稿では 𝑛-gram の頻度に基づき 𝐹 値を計算する
文法誤り訂正のための自動評価尺度 GREEN を提案する。GREEN は従来の手法よりも人手評価と高い相関を示す。また、計算量が小さく高速に計算ができる。さらに、人手評価で評価が低いシステムの出力に対して従来手法が高い評価を与える場合でも、GREEN は人手評価と近い評価が可能である。

1

is

?

Over(Delete) you (UnderDelete )
True
(Keep
)

are

(

)

UnderInsert

参照文 𝑅“Who are you ?”はじめに

文法誤り訂正 (GEC) は、文書中の誤りを訂正するタスクで、文書校正 [1, 2, 3] や言語学習支援 [4, 5, 6]への応用が期待されている。GEC では、原文、参照
文、訂正文に対し評価を行う自動評価尺度の導入に
より人手評価を介さない研究開発が可能となった。
GEC の自動評価尺度には、文間のアライメントに基づき訂正の正誤を数える手法と、𝑛-gram の頻度に基づく手法がある。前者のうち 𝐹 値を求める
M2 [7] と ERRANT [8] は、原文から無変更の訂正文よりも誤訂正によって改悪された訂正文に高い評価を与えてしまう [9]。前者のうち正解率を求める
I-measure [9] は、改悪された訂正文に負の評価を与えることができるが、人手評価との相関が低い。また、アライメントによる手法は計算量が大きい。後者に分類される GLEU [10] は、計算量は小さいが、人手評価で評価が低いシステムの出力を不当に高く評価することがある。
以上の問題を解決するため、本稿では 𝑛-gram の頻度に基づき 𝐹 値を計算する新しい GEC 自動評価
尺度 GREEN を提案する。GREEN は、原文から参照文、原文から訂正文への訂正で生じた 𝑛-gram の出現頻度の差分を比較し、𝐹 値を計算する。GREEN
は従来手法よりも人手評価と高い相関を示すことをWhat(True Delete)(

True
Insert

原文 𝑆: What
参照文 𝑅: Who
訂正文 𝐻: Who
図1

!

Who

)

(

OverInsert)
訂正文 𝐻“Who is you !”

is
you ?
are you ?
isyou !

単語 1-gram の出現の差を表現するベン図確認した。また、文間のアライメントを計算しない
ため M2 や ERRANT よりも計算量が小さく、高速である。さらに、人手評価で入力より悪化したと評価されるシステムの出力に M2 や GLEU が不当に高い
スコアを与える場合においても、GREEN では人手評価と近い評価が行えることを確認した。

提案手法

2

最初に、1 つの原文に対して 1 つの参照文だけを用いる場合の提案手法 GREEN の説明を行う。複数の参照文を用いる場合は本節の最後で説明する。
GREEN は、原文 𝑆、参照文 𝑅、訂正文 𝐻 を 𝑛-gram1）の多重集合として扱う。例えば、文 𝐴 = “a a” は、{a, a, a a} として扱う。図 1 は、ある 𝑆, 𝑅, 𝐻 での各文の単語 1-gram の出現をベン図で表現している2）。
GREEN は、このベン図の各領域に含まれる 𝑛-gram
を削除や挿入などの異なる種類の訂正とみなし、ス
コアを計算する。𝑛-gram の多重集合間の訂正は、削除、挿入、保持のいずれかに分類できる。例えば、
1） 要素の重複を許す集合。本文の例は a が重複して現れる。
2） 簡単のため長さ 2 以上の 𝑛-gram は省略した。

― 1198 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

領域

𝑆→𝑅

𝑆→𝐻

True Delete (TD)削除

削除

True Insert (TI)

挿入

挿入

True Keep (TK)

保持保持Over-Delete (OD)

保持削除

Over-Insert (OI)なし

挿入

Under-Delete (UD)削除

保持

Under-Insert (UI)

挿入

なし

分類
TP

FP
FN

例

𝑚 𝐴∪𝐵 (𝑥) = max(𝑚 𝐴 (𝑥), 𝑚 𝐵 (𝑥)),What𝑚 𝐴\𝐵 (𝑥) = max(𝑚 𝐴 (𝑥) − 𝑚 𝐵 (𝑥), 0).

Who
you

ゆえに、図 1 のベン図の 7 領域に含まれる 𝑛-gram 𝑥?

の数は、以下のように表される。

!

TD (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = 𝑚 𝑆\(𝑅∪𝐻 ) (𝑥)is= max{𝑚 𝑆 (𝑥) − max(𝑚 𝑅 (𝑥), 𝑚 𝐻 (𝑥)), 0},are

表 1 図 1 の各領域の説明。訂正前後で 𝑛-gram が挿入、削除、保持されたかで分類できる。訂正前後のどちらにも出現しない場合は「なし」となる。

多重集合 {a, c} から {b, c} への訂正では、個数が減っている a が削除、増えている b が挿入、変化していTI (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = 𝑚 (𝑅∩𝐻 )\𝑆 (𝑥)= max{min(𝑚 𝑅 (𝑥), 𝑚 𝐻 (𝑥)) − 𝑚 𝑆 (𝑥), 0},
TK (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = min(𝑚 𝑆 (𝑥), 𝑚 𝑅 (𝑥), 𝑚 𝐻 (𝑥)),OD (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = 𝑚 (𝑆∩𝑅)\𝐻 (𝑥)= max{min(𝑚 𝑆 (𝑥), 𝑚 𝑅 (𝑥)) − 𝑚 𝐻 (𝑥), 0},ない c が保持となる3）。図 1 の各領域の特徴は、表OI (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = 𝑚 𝐻\(𝑆∪𝑅) (𝑥)1 のようにまとめられる。例えば、図の “What” を含む領域は、𝑆 → 𝑅 で削除され、かつ、𝑆 → 𝐻 でも正しく削除される 𝑛-gram を含む。この領域を、True Delete (TD) と呼ぶ。同様に、“Who” の領域は、= max{𝑚 𝐻 (𝑥) − max(𝑚 𝑆 (𝑥), 𝑚 𝑅 (𝑥)), 0},
UD (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = 𝑚 (𝑆∩𝐻 )\𝑅 (𝑥)= max{min(𝑚 𝑆 (𝑥), 𝑚 𝐻 (𝑥)) − 𝑚 𝑅 (𝑥), 0},

𝑆 → 𝑅, 𝑆 → 𝐻 でともに挿入される 𝑛-gram を含む

UI (𝑥) = 𝑚 𝑆∩𝑅∩𝐻 (𝑥) = 𝑚 𝑅\(𝑆∪𝐻 ) (𝑥)True Insert (TI) と呼び、“you” の領域は 𝑆 → 𝑅, 𝑆 → 𝐻= max{𝑚 𝑅 (𝑥) − max(𝑚 𝑆 (𝑥), 𝑚 𝐻 (𝑥)), 0}.

でともに保持される 𝑛-gram を含む True Keep (TK) と呼ぶ。TD、TI、TK は、𝑆 → 𝑅 と 𝑆 → 𝐻 で訂正の種類が一致しており、True Positive (TP) である。“?”、“!” の領域は、𝑆 → 𝑅 では削除、挿入がされないが、𝑆 → 𝐻 では過剰に削除、挿入がされている 𝑛-gramを含み、それぞれ、Over-Delete (OD)、Over-Insert (OI)

さらに、ある特定の長さ 𝑛 の 𝑛-gram における 𝑆 → 𝐻の訂正の TP、FP、FN は以下のように表される。
Õ( TI (𝑥) + TD (𝑥) + TK (𝑥)) ,TP𝑛,𝑆,𝑅,𝐻 =∀𝑛-gram 𝑥と呼ぶ。OD、OI の要素は 𝑆 → 𝐻 で間違って削除、

FP𝑛,𝑆,𝑅,𝐻 =挿入されているため、 False Positive (FP) である。

FN𝑛,𝑆,𝑅,𝐻 =に削除、挿入が行われるべきだった 𝑛-gram を含み、
ぶ。UD、UI の要素は 𝑆 → 𝐻 で削除、挿入されるべきだったため、False Negative (FN) である。
次に、各領域に含まれる 𝑛-gram の数を多重集合の演算によって求める方法を説明する。多重集合 𝐴の要素 𝑥 の重複度 𝑚 𝐴 (𝑥) は、𝑥 が 𝐴 に現れる回数を表す。例えば、𝐴 = {a, a, a a} で、𝑚 𝐴 (a) = 2 である。
本稿では、各領域に含まれる 𝑛-gram を数えるための演算として、多重集合の積 (∩)、和 (∪)、差 (\) を( OI (𝑥) + OD (𝑥)) ,∀𝑛-gram 𝑥“is”、“are” の領域は、𝑆 → 𝐻 で本来 𝑆 → 𝑅 と同様それぞれ、Under-Delete (UD)、Under-Insert (UI) と呼ÕÕ( UI (𝑥) + UD (𝑥)) .

∀𝑛-gram 𝑥

GREEN は、コーパス単位で TP、FP、FN を集計し、𝐹値を求める。𝕊 = (𝑆1 , . . . , 𝑆 𝐷 ), ℝ = (𝑅1 , . . . , 𝑅 𝐷 ), ℍ =(𝐻1 , . . . , 𝐻 𝐷 ) は、𝐷 個の原文、参照文、訂正文の組を表す。GREEN は、1 から、評価に用いる 𝑛-gram の最
大長 𝑁 までの 𝑛-gram の長さで、適合率 (precision)、
再現率 (recall) を計算し、GLEU と同様にその幾何平均を適合率、再現率とする。

用いる。多重集合 𝐴 と 𝐵 に対する各演算は、𝐴 または 𝐵 の任意の要素 𝑥 の重複度に関して以下のように定義される。
𝑚 𝐴∩𝐵 (𝑥) = min(𝑚 𝐴 (𝑥), 𝑚 𝐵 (𝑥)),3） アライメントを取らないため置換操作は現れない。置換は削除と挿入を組み合わせたものに対応する。

― 1199 ―precision(𝕊, ℝ, ℍ)
𝐷Õ©
ª
TP𝑛,𝑆𝑖 ,𝑅𝑖 ,𝐻𝑖
­Ö
®
­𝑁
®
𝑖=1
­
®
=­
®
𝐷
­ 𝑛=1 Õ
®
­TP𝑛,𝑆𝑖 ,𝑅𝑖 ,𝐻𝑖 + FP𝑛,𝑆𝑖 ,𝑅𝑖 ,𝐻𝑖 ®
𝑖=1«¬
recall(𝕊, ℝ, ℍ)

1𝑁,This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

𝐷
Õ

ª
©
TP𝑛,𝑆𝑖 ,𝑅𝑖 ,𝐻𝑖
®
­Ö
®
­𝑁
𝑖=1
®
­
=­
®
𝐷
­ 𝑛=1 Õ
®
­TP𝑛,𝑆𝑖 ,𝑅𝑖 ,𝐻𝑖 + FN𝑛,𝑆𝑖 ,𝑅𝑖 ,𝐻𝑖 ®
𝑖=1
¬
«

1
𝑁

GLEU [10]: BLEU の分子に罰則項を追加することで人手評価値と正の相関を示すように設計された。本稿では訂正版 [14] の式に基づき計算する。

.

ERRANT [8]: M2 と同様に 𝐹𝛽 値を計算するが、編集を Damerau-Levenshtein 距離とルールによる区間検出で抽出する。そのため、人手でアライメントを付

最後に 𝐹𝛽 値を計算する。
𝐹𝛽 (𝕊, ℝ, ℍ) =(1 + 𝛽2 )precision(𝕊, ℝ, ℍ)recall(𝕊, ℝ, ℍ).
𝛽2 precision(𝕊, ℝ, ℍ) + recall(𝕊, ℝ, ℍ)

本稿では、この 𝐹𝛽 値を GREEN𝛽 と呼ぶ。
複数の参照文を用いる場合は、M2 や ERRANT と同様に、次のように計算を行う。𝑖 番目の原文 𝑆𝑖 に対して、𝑚 個の参照文 𝑅𝑖1 , . . . , 𝑅𝑖𝑚 がある時、この中から、訂正文 𝐻𝑖 に対して、文単位の GREEN𝛽 を最大にする参照文 𝑅ˆ𝑖 を選ぶ。
𝑅ˆ𝑖 = argmax GREEN𝛽 ((𝑆𝑖 ), (𝑅), (𝐻𝑖 )).
𝑅∈ { 𝑅𝑖1 ,...,𝑅𝑖𝑚 }(1)

式 1 で得られた 𝐷 個の参照文 ℝ̂ = { 𝑅ˆ1 , . . . 𝑅ˆ 𝐷 } を用いて GREEN𝛽 (𝕊, ℝ̂, ℍ) を計算し、評価に用いる。

3

実験

与した参照文を必要としない。公式実装の v2.0.0を用いた6）。
GREEN、M2 、ERRANT での評価を行う際は、𝛽 として、各データセット上で最適な 𝛽∗ を推定して用いる。𝛽∗ の値として、𝛽 を 0.00 から 5.00 まで 0.01
ずつ変え、テストデータを 10 分割し、その内の 9 個の分割を用いて人手評価との相関を最大にする 𝛽 を
10 通り求め、その平均の値を 𝛽∗ として用いた7）。
評価データセットとして CoNLL および GMEG を用いる。CoNLL は、CoNLL-2014 Shared Task [5] の評価データセットである。原文は 1312 文ある。参照データは 2 つあり、Shared Task の参加システムの訂正データは 12 ある。原文と 12 システムの訂正
文の 13 文対に人手で順位が付与されている [11]。

自動評価値と人手評価値の Pearson の相関係数
𝑟 お よ び Spearman の 順 位 相 関 係 数 𝜌 を 計 測 し、GREEN の有効性を検証する。人手評価値の計算には GEC での有効性が認められている Expected Wins
法 [11] を用いる。𝑛-gram の最大長 𝑁 は、単語単位の分割の場合は BLEU [12] や GLEU に従い 𝑁 = 4、文字単位は chrF [13] に従い 𝑁 = 6 とする。分割単位の違いは、“wordGREEN” (単語単位) や “charGREEN”(文字単位) と表記し区別する。
比較対象の GEC の評価尺度は以下の通りである。
2
M [7]: 人手でアライメントが付与された参照文の編集に訂正文の編集が最大限アライメントされるよ
う探索し、任意の訂正文に対して自動的に原文とのアライメントを求め、𝐹𝛽 値を計算する。公平な速度比較のため公式実装より高速な実装を利用した4）。
I-measure [9]: 原文、参照文、訂正文間の多重アライメントを求め、原文から参照文、原文から訂正文
へのアライメントを比較し、その正誤に対して重み付き正解率を計算する。M2 は改悪された訂正文と変更がない訂正文を区別できないが、I-measure は変更なしの文に 0、改悪された文に負のスコアを与えられる。公式実装5）を用い、高速に実行するため-nomix オプションを指定し実行した。
4） https://github.com/craggy-otake/m2scorer python3 fast5） https://github.com/mfelice/imeasure

GMEG は、FCE、Wiki、Yahoo の 3 データセットからなる [15]。原文は、それぞれ、1936、1981、1999 文ある。参照データは 4 つあり、訂正データは 6 つある。ドメインはデータセットごとに異なり、FCE は
学習者のエッセイ、Wiki は Wikipedia の記事、Yahooはウェブ上の投稿となっている。原文と 6 システムの訂正文の 7 文対に人手評価が付与されている。

3.1

人手評価との相関

CoNLL、GMEG データセットでの人手評価との相関を表 2 に示す。CoNLL と GMEG のすべてのデー
タセットで charGREEN が人手評価と最も高い相関を示した。charGREEN は、wordGREEN より良い性能を示す。charGREEN は、綴り誤りなどに対する文字単位の訂正と、単語単位の訂正を異なる規模で評価でき、より人手評価と近い評価が行えると考えられる。M2 と ERRANT は、CoNLL、FCE では
GLEU、I-measure と同等かより高い性能を示すが、Wiki、Yahoo ではより低い性能を示す。これは、学習者コーパスのドメイン以外では M2 と ERRANTが低い性能を示す可能性を示唆する。I-mesarue は、
CoNLL では負の相関を示すが、GMEG では比較的良い性能を示し、人手評価においてデータセットの6） https://github.com/chrisjbryant/errant7） 付録 A.1 でこの方法の経緯および留意点を説明した。

― 1200 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

CoNLL

FCE

Wiki

Yahoo

𝑟

𝜌

時間

𝑟

𝜌

𝑟

𝜌

𝑟

M2𝛽∗

0.697

0.725

5.03

0.972

0.964

0.544

0.464

0.738

0.17

0.15

0.91

0.73

0.01

1.79

0.08

0.05

I-measure-0.250 -0.385

197.29

0.904

0.929

0.892

0.714

0.817

0.714 𝑂 (𝑘 3 )wordGLEU

0.696

0.445

1.95

0.961

0.964

0.684

0.429

0.938

0.750 𝑂 (𝑘)charGLEU

0.606

0.593

3.86

0.992

0.964

0.964

0.821

0.883

0.893 𝑂 (𝑘)ERRANT𝛽∗

0.714

0.742

33.60

0.972

0.964

0.604

0.464

0.781

0.750 𝑂 (𝑘 2 )

𝛽∗

0.20

0.19

0.90

0.82

0.00

3.84

0.01

0.45

wordGREEN𝛽∗

0.790

0.709

0.50 0.989

0.964

0.951

0.714

0.927

0.964 𝑂 (𝑘)

𝛽∗

𝜌

計算量

0.857 𝑂 (𝑘 2 )

𝛽∗

1.67

2.51

1.14

1.58

1.12

1.04

2.16

2.13

charGREEN𝛽∗

0.803

0.824

1.59 0.993

1.000

0.974

0.893

0.973

0.964 𝑂 (𝑘)

𝛽∗

1.85

1.96

1.69

1.51

1.56

1.92

2.63

2.43

M20.01nus marian
40 transformer amu

20
0
0.3

source0.4

0.5

𝑟=0.544𝜌=0.464

0.6

0.7

74
wordGLEU

lstm lstm-r

60

72

lstm
transformer

70
68
66
0.3

nus
source amu 𝑟=0.683
marian 𝜌=0.429

0.4

人手評価
図2

0.5

0.6

0.7

lstm lstm-r

90sourcenus
marian amu
88transformer
𝑟=0.951
𝜌=0.714

86
0.3

0.4

0.5

0.6

0.7

人手評価

人手評価
Wiki での M20.01 、wordGLEU、wordGREEN1.12 と人手評価の相関

違いに頑健ではないと言える。

3.2

lstm-rwordGREEN1.12

表 2 CoNLL、GMEG データセットでの自動評価尺度と人手評価との Pearson の相関係数 𝑟 および Spearman の相関係数
𝜌、並びに、各手法の平均事例での時間計算量を示す。CoNLL は、AMU の評価の 10 回の平均実行時間 (秒) を付した。

ている。GLEU も transformer に不当に良いスコアを与えている9）。このため、これらの手法は Wiki デー

計算時間と計算量

タセットで比較的悪い相関を示す。一方、GREEN

原文、参照文、訂正文のトークン数が 𝑘 以下であは source を、人手評価値が近い amu, marian, nus とるときの平均時間計算量と、CoNLL データセットでほぼ同等に評価しており、また、transformer にも低の実際の実行時間を表 2 に示す8）。𝑛-gram の種類数

いスコアを与えられている。GREEN は原文や人手はトークン数 𝑘 を超えないため、GREEN と GLEU

評価値の低いシステムの出力に対して妥当な評価がの計算量は 𝑂 (𝑘) である。GLEU は、複数の参照文可能であり、人手評価と高い相関を示す。

を用いる場合にサンプリングを行うため、計算時間
が GREEN の 2 倍以上に長くなる。M2 と ERRANT

4

は、編集距離の計算に 𝑂 (𝑘 2 ) の動的計画法を用いおわりに本 稿 で は、GEC の た め の 新 し い 自 動 評 価 尺 度る。3 文間の多重アライメントを求める I-measure のGREEN を提案した。GREEN は、原文、参照文、訂計算量は 𝑂 (𝑘 3 ) である。以上より、GREEN は従来

正文を 𝑛-gram の多重集合として扱うことで、𝐹 値の手法よりも計算量が小さく、高速と言える。

を計算する。CoNLL、GMEG データセットでの実験

3.3

人手評価の値が低いシステムの評価

図 2 に M2 、wordGLEU、wordGREEN と人手評価の値を図示する。𝛽 は表 2 の 𝛽∗において、GREEN は従来手法よりも人手評価との高い相関を示した。また、M2 、ERRANT、I-measureと異なり、文間のアライメントを用いないため計を用いた。M2 は原

算量が小さい。さらに、M2 や GLEU で人手評価値

文 (source) にスコア 0、人手評価値が原文よりも低の低い訂正文に高い評価を与えてしまう事例でも、

い transformer の訂正文に不当に良いスコアを与えGREEN は人手評価に近い評価が行える。

8） Intel® Core™ i9-9900K 上で実行した。

9） 付録 A.3 でこの理由を説明した。

― 1201 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

nual Meeting of the Association for Computational
Linguistics (Volume 1: Long Papers), pp. 793–805,

謝辞
本研究は国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業（JPNP20006）
並びに JSPS 科研費 JP23KJ0930 の助成を受けたものである。

Vancouver, Canada, July 2017. Association for Computational Linguistics.
[9] Mariano Felice and Ted Briscoe. Towards a standard evaluation method for grammatical error detection and correction. In Proceedings of the 2015 Conference of theNorth American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578–587, Denver, Colorado, May–June 2015.

参考文献[1] Robert Dale and Adam Kilgarriﬀ. Helping our own: The
HOO 2011 pilot shared task. In Proceedings of the 13th
European Workshop on Natural Language Generation, pp. 242–249, Nancy, France, September 2011. Asso-

ciation for Computational Linguistics.
[2] Robert Dale, Ilya Anisimoﬀ, and George Narroway. HOO
2012: A report on the preposition and determiner error
correction shared task. In Proceedings of the Seventh
Workshop on Building Educational Applications Using NLP, pp. 54–62, Montréal, Canada, June 2012. Asso-

ciation for Computational Linguistics.
[3] Vidas Daudaravicius, Rafael E. Banchs, Elena Volodina,and Courtney Napoles. A report on the automatic evaluation of scientiﬁc writing shared task. In Proceedings of the 11th Workshop on Innovative Use of NLP
for Building Educational Applications, pp. 53–62, San

Diego, CA, June 2016. Association for Computational Linguistics.
[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task
on grammatical error correction. In Proceedings of theSeventeenth Conference on Computational Natural
Language Learning: Shared Task, pp. 1–12, Soﬁa,

Bulgaria, August 2013. Association for Computational
Linguistics.
[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, ChristianHadiwinoto, Raymond Hendy Susanto, and Christopher
Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1–14, Baltimore, Maryland, June

Association for Computational Linguistics.
[10] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel
Tetreault. Ground truth for grammatical error correction
metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics
and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers),

pp. 588–593, Beijing, China, July 2015. Association for
Computational Linguistics.
[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error
correction systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language
Processing, pp. 461–470, Lisbon, Portugal, September

2015. Association for Computational Linguistics.
[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics, pp. 311–318, Philadelphia, Pennsylvania, USA,

July 2002. Association for Computational Linguistics.
[13] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the TenthWorkshop on Statistical Machine Translation, pp.
392–395, Lisbon, Portugal, September 2015. Association
for Computational Linguistics.
[14] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel
Tetreault. GLEU without tuning. arXiv:1605.02592, 2016.
[15] Courtney Napoles, Maria Nădejde, and Joel Tetreault. Enabling robust grammatical error correction in new domains: Data sets, metrics, and analyses. Transac-

2014. Association for Computational Linguistics.
[6] Christopher Bryant, Mariano Felice, Øistein E. Andersen,
and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth

tions of the Association for Computational Linguistics, Vol. 7, pp. 551–566, 2019.

Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52–75, Florence, Italy, Au-

gust 2019. Association for Computational Linguistics.
[7] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation
for grammatical error correction. In Proceedings of the2012 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human Language Technologies, pp. 568–572, Montréal,Canada, June 2012. Association for Computational Linguistics.
[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th An-― 1202 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Õ

0.8
𝑝𝑛 =

Pearson 𝑟

0.6
0.4
wordGREEN
charGREEN
M2
ERRANT

0.0
-0.2
-0.4
0.0

1.0

2.0

3.0

4.0

=

=

5.0

𝛽

wordGREEN1.084

𝑟=-0.160
𝜌=-0.258

max{0, 𝑚 𝑆∩𝐻 (𝑥) − 𝑚 𝑅∩𝐻 (𝑥)}∀𝑛-gram 𝑥 ∈𝑆∩𝐻Õ𝑚 𝐻 (𝑥)∀𝑛-gram 𝑥 ∈ 𝐻
𝑚 𝑅∩𝐻 (𝑥) −Õ

max{0, min(𝑚 𝑆 (𝑥), 𝑚 𝐻 (𝑥)) − min(𝑚 𝑅 (𝑥), 𝑚 𝐻 (𝑥))}∀𝑛-gram 𝑥 ∈𝑆∩𝐻

Õ

Õ

Õ

𝑚 𝐻 (𝑥)∀𝑛-gram 𝑥 ∈ 𝐻

𝑚 𝑅∩𝐻 (𝑥) −max{0, min(𝑚 𝑆 (𝑥), 𝑚 𝐻 (𝑥)) − 𝑚 𝑅 (𝑥)}∀𝑛-gram 𝑥 ∈𝑅∩𝐻 ∀𝑛-gram 𝑥 ∈𝑆∩𝐻
Õ𝑚 𝑅∩𝐻 (𝑥) −∀𝑛-gram 𝑥ÕÕ𝑚 𝐻 (𝑥)∀𝑛-gram 𝑥 ∈ 𝐻

Õ𝑚 (𝑆∩𝐻 )\𝑅 (𝑥)∀𝑛-gram 𝑥

𝑚 𝐻 (𝑥)∀𝑛-gram 𝑥=

TK (𝑥) + TI (𝑥) − UD (𝑥)∀𝑛-gram 𝑥

ÕTK (𝑥) + TI (𝑥) + OI (𝑥) + UD (𝑥)∀𝑛-gram 𝑥

図 5 GLEU の再解釈のための式変形UFC
INPUT IITB
SJTU

な 𝛽 において高い相関を示すか比較するという点では、M2 、ERRANT とはフェアな比較になっている。

82

PKU
UMC

IPN

AMU
CUUI

NTHU

0.3

0.4

A.2

0.5

た時の各評価尺度での Pearson の相関係数 𝑟 の変化を示す。GREEN は、適切な 𝛽 を設定すれば M2 や

0.6

ERRANT より性能が良くなるが、𝛽 を小さく設定し人手評価

すぎると性能が低下してしまう。この原因を調べる

8079

𝑟=0.741
𝜌=0.698

CAMB
CUUI
NTHU

78

PKU

ために、図 4 に、𝛽 = 1.0, 2.0 での wordGREEN と人AMU

手評価のスコアを示す。IITB、INPUT、SJTU、UFC

POST

では、wordGREEN1.0 が不当に高い。INPUT は原文

RAC

出力の中で原文からの訂正が最も少ない 3 出力でであり訂正がない。また、IITB、SJTU、UFC は、全

UMC
SJTU

77
IPN

76

最適な 𝛽 に関する分析

図 3 は、CoNLL データセット上で 𝛽 の値を変え

RAC
CAMB
POST

80

wordGREEN2.0=

Õ∀𝑛-gram 𝑥 ∈𝑅∩𝐻

Õ

𝛽 を変えた時の CoNLL での Pearson の相関係数 𝑟

図3∀𝑛-gram 𝑥 ∈𝑅∩𝐻

Õ

0.2𝑚 𝑅∩𝐻 (𝑥) −0.3

INPUT IITB

0.4

0.5

ある。これらの出力では適合率が高くなるため、

UFC

𝛽 が小さくなると wordGREEN が不当に高くなる。
𝛽 = 2.0 など、𝛽 を高く設定するとより正確な評価が0.6可能となる。wordGREEN2.0 は、積極的に正しい訂

人手評価
図 4 CoNLL での wordGREEN1.0 、wordGREEN2.0 と人手
評価の相関

A

付録

A.1

𝛽∗ の推定方法に関して正を行うシステム (AMU) に高いスコアを与え、過度に訂正が控えめなシステム (IITB) や誤った訂正が多いシステム (IPN）に低いスコアを与えられる。

A.3

GLEU の再解釈

GLEU は、人 手 評 価 と 正 の 相 関 を 示 す よ う に
BLEU に罰則項を導入した手法である [14]。罰則項

𝛽∗ の推定は、𝛽∗ を推定するための検証データをの効果を調べるため、図 5 に GLEU に対する本稿用意するか、交差検証を行うべきである。ところの 𝑛-gram の分類を用いた式変形を示す。この式かが、10 個の異なる 𝛽∗ で求めた 𝐹𝛽∗ 値の平均値は妥ら、GLEU の罰則項は UD そのものであることがわ

当性に乏しいため、本稿では評価データの部分デー
タで相関を最大にするような 𝛽 の平均 𝛽∗ を求めてかる。UD は GREEN では FN であるため、GLEU はFN を考慮できているが、FP は罰則として考慮できから、𝐹𝛽∗ 値を計算した。しかし、これは 𝛽 をパラていないと言える。図 2 に示すように、wordGLEU

メータとして持たない他の手法との比較においては FP を多く生成する transformer を不当に高く評価

フェアではないという点に留意が必要である。最適してしまう。

― 1203 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).