# 文法誤り訂正の自動評価のための 原文・参照文・訂正文間の $N$-gram $F$-score

古山翔太 1,2 永田亮 2,3 高村大也 ${ }^{2}$ 岡崎直観 1,2
1 東京工業大学 2 産業技術総合研究所 3 甲南大学
shota.koyama@nlp.c.titech.ac.jp nagata-nlp2024@ml.hyogo-u.ac.jp
takamura.hiroya@aist.go.jp okazaki@c.titech.ac.jp

## 概要

本稿では $n$-gram の頻度に基づき $F$ 値を計算する文法誤り訂正のための自動評価尺度 GREENを提案する。GREEN は従来の手法よりも人手評価と高い相関を示す。また、計算量が小さく高速に計算ができる。さらに、人手評価で評価が低いシステムの出力に対して従来手法が高い評価を与える場合でも、 GREEN は人手評価と近い評価が可能である。

## 1 はじめに

文法誤り訂正 (GEC) は、文書中の誤りを訂正するタスクで、文書校正 $[1,2,3]$ や言語学習支援 $[4,5,6]$ への応用が期待されている。GECでは、原文、参照文、訂正文に対し評価を行う自動評価尺度の導入により人手評価を介さない研究開発が可能となった。

GEC の自動評価尺度には、文間のアライメントに基づき訂正の正誤を数える手法と、 $n$-gram の頻度に基づく手法がある。前者のうち $F$ 値を求める $\mathrm{M}^{2}$ [7] と ERRANT [8] は、原文から無変更の訂正文よりも誤訂正によって改悪された訂正文に高い評価を与えてしまう [9]。前者のうち正解率を求める I-measure [9] は、改悪された訂正文に負の評価を与えることができるが、人手評価との相関が低い。また、アライメントによる手法は計算量が大きい。後者に分類される GLEU [10] は、計算量は小さいが、人手評価で評価が低いシステムの出力を不当に高く評価することがある。

以上の問題を解決するため、本稿では $n$-gram の頻度に基づき $F$ 値を計算する新しい GEC 自動評価尺度 GREEN を提案する。GREEN は、原文から参照文、原文から訂正文への訂正で生じた $n$-gram の出現頻度の差分を比較し、 $F$ 值を計算する。GREEN は従来手法よりも人手評価と高い相関を示すことを

図 1 単語 1-gram の出現の差を表現するベン図

確認した。また、文間のアライメントを計算しないため $\mathrm{M}^{2}$ や ERRANT よりも計算量が小さく、高速である。さらに、人手評価で入力より悪化したと評価されるシステムの出力に $\mathrm{M}^{2}$ や GLEU が不当に高いスコアを与える場合においても、GREENでは人手評価と近い評価が行えることを確認した。

## 2 提案手法

最初に、1つの原文に対して1つの参照文だけを用いる場合の提案手法 GREEN の説明を行う。複数の参照文を用いる場合は本節の最後で説明する。

GREEN は、原文 $S$ 、参照文 $R$ 、訂正文 $H$ を $n$ - gram ${ }^{1)}$ の多重集合として扱う。例えば、文 $A=$ “ $a a$ ”は、 $\{a, a, a a\}$ として扱う。図 1 は、ある $S, R, H$ での各文の単語 1-gram の出現をべン図で表現している2)。 GREEN は、このべン図の各領域に含まれる $n$-gram を削除や挿入などの異なる種類の訂正とみなし、スコアを計算する。 $n$-gram の多重集合間の訂正は、削除、挿入、保持のいずれかに分類できる。例えば、


表 1 図 1 の各領域の説明。訂正前後で $n$-gram が挿入、削除、保持されたかで分類できる。訂正前後のどちらにも出現しない場合は「なし」となる。

多重集合 $\{a, c\}$ から $\{b, c\} への$ 訂正では、個数が減っている $a$ が削除、増えている $b$ が挿入、変化していない $c$ が保持となる3）。図 1 の各領域の特徴は、表 1のようにまとめられる。例えば、図の “What”を含む領域は、 $S \rightarrow R$ で削除され、かつ、 $S \rightarrow H$ でも正しく削除される $n$-gram を含む。この領域を、 True Delete (TD) と呼ぶ。同様に、“Who” の領域は、 $S \rightarrow R, S \rightarrow H$ でともに挿入される $n$-gram を含む True Insert (TI) と呼び、“you” の領域は $S \rightarrow R, S \rightarrow H$ でともに保持される $n$-gram を含む True Keep (TK) と呼ぶ。TD、TI、TKは、 $S \rightarrow R$ と $S \rightarrow H$ で訂正の種類が一致しており、True Positive (TP) である。“?”、 “!”の領域は、 $S \rightarrow R$ では削除、挿入がされないが、 $S \rightarrow H$ では過剰に削除、挿入がされている $n$-gram を含み、それぞれ、Over-Delete (OD)、Over-Insert (OI) と呼ぶ。OD、OI の要素は $S \rightarrow H$ で間違って削除、挿入されているため、False Positive (FP) である。 "is"、"are"の領域は、 $S \rightarrow H$ で本来 $S \rightarrow R$ と同様に削除、挿入が行われるべきだった $n$-gram を含み、 それぞれ、Under-Delete (UD)、Under-Insert (UI) と呼ぶ。UD、UI の要素は $S \rightarrow H$ で削除、挿入されるべきだったため、False Negative (FN) である。

次に、各領域に含まれる $n$-gram の数を多重集合の演算によって求める方法を説明する。多重集合 $A$ の要素 $x$ の重複度 $m_{A}(x)$ は、 $x$ が $A$ に現れる回数を表す。例えば、 $A=\{a, a, a a\}$ で、 $m_{A}(a)=2$ である。本稿では、各領域に含まれる $n$-gram を数えるための演算として、多重集合の積 $(\cap)$ 、和 $(\cup)$ 、差 $(\backslash)$ を用いる。多重集合 $A$ と $B$ に対する各演算は、 $A$ または $B$ の任意の要素 $x$ の重複度に関して以下のように定義される。

$
m_{A \cap B}(x)=\min \left(m_{A}(x), m_{B}(x)\right),
$

3）アライメントを取らないため置換操作は現れない。置換は削除と挿入を組み合わせたものに対応する。

$
\begin{aligned}
m_{A \cup B}(x) & =\max \left(m_{A}(x), m_{B}(x)\right), \\
m_{A \backslash B}(x) & =\max \left(m_{A}(x)-m_{B}(x), 0\right) .
\end{aligned}
$

ゆえに、図 1 のベン図の 7 領域に含まれる $n$-gram $x$ の数は、以下のように表される。

$
\begin{aligned}
\operatorname{TD}(x) & =m_{S \cap \bar{R} \cap \bar{H}}(x)=m_{S \backslash(R \cup H)}(x) \\
& =\max \left.\{m_{S}(x)-\max \left(m_{R}(x), m_{H}(x)\right), 0\right.\}, \\
\operatorname{TI}(x) & =m_{\bar{S} \cap R \cap H}(x)=m_{(R \cap H) \backslash S}(x) \\
& =\max \left.\{\min \left(m_{R}(x), m_{H}(x)\right)-m_{S}(x), 0\right.\},
\end{aligned}
$

$\operatorname{TK}(x)=m_{S \cap R \cap H}(x)=\min \left(m_{S}(x), m_{R}(x), m_{H}(x)\right)$,

$
\begin{aligned}
\mathrm{OD}(x) & =m_{S \cap R \cap \bar{H}}(x)=m_{(S \cap R) \backslash H}(x) \\
& =\max \left.\{\min \left(m_{S}(x), m_{R}(x)\right)-m_{H}(x), 0\right.\},
\end{aligned}
$

$
\begin{aligned}
\mathrm{Ol}(x) & =m_{\bar{S} \cap \bar{R} \cap H}(x)=m_{H \backslash(S \cup R)}(x) \\
& =\max \left.\{m_{H}(x)-\max \left(m_{S}(x), m_{R}(x)\right), 0\right.\},
\end{aligned}
$

$
\begin{aligned}
\operatorname{UD}(x) & =m_{S \cap \bar{R} \cap H}(x)=m_{(S \cap H) \backslash R}(x) \\
& =\max \left.\{\min \left(m_{S}(x), m_{H}(x)\right)-m_{R}(x), 0\right.\},
\end{aligned}
$

$
\begin{aligned}
\mathrm{UI}(x) & =m_{\bar{S} \cap R \cap \bar{H}}(x)=m_{R \backslash(S \cup H)}(x) \\
& =\max \left.\{m_{R}(x)-\max \left(m_{S}(x), m_{H}(x)\right), 0\right.\} .
\end{aligned}
$

さらに、ある特定の長さ $n$ の $n$-gram における $S \rightarrow H$ の訂正のTP、FP、FN は以下のように表される。

$
\begin{aligned}
\mathrm{TP}_{n, S, R, H} & =\sum_{\forall n \text {-gram } x}(\mathrm{TI}(x)+\mathrm{TD}(x)+\mathrm{TK}(x)), \\
\mathrm{FP}_{n, S, R, H} & =\sum_{\forall n \text {-gram } x}(\mathrm{OI}(x)+\mathrm{OD}(x)) \\
\mathrm{FN}_{n, S, R, H} & =\sum_{\forall}(\mathrm{Ul}(x)+\mathrm{UD}(x)) .
\end{aligned}
$

GREENは、コーパス単位でTP、FP、FNを集計し、 $F$值を求める。 $\mathbb{S}=\left(S_{1}, \ldots, S_{D}\right), \mathbb{R}=\left(R_{1}, \ldots, R_{D}\right), \mathbb{H}=$ $\left(H_{1}, \ldots, H_{D}\right)$ は、 $D$ 個の原文、参照文、訂正文の組を表す。GREENは、 1 から、評価に用いる $n$-gram の最大長 $N$ までの $n$-gram の長さで、適合率 (precision)、再現率 (recall) を計算し、GLEU と同様にその幾何平均を適合率、再現率とする。

$\operatorname{precision}(\mathbb{S}, \mathbb{R}, \mathbb{N})$

$\operatorname{recall}(\mathbb{S}, \mathbb{R}, \mathbb{H})$

$
=\left(\prod_{n=1}^{N} \frac{\sum_{i=1}^{D} \mathrm{TP}_{n, S_{i}, R_{i}, H_{i}}}{\sum_{i=1}^{D}\left(\mathrm{TP}_{n, S_{i}, R_{i}, H_{i}}+\mathrm{FN}_{\left.n, S_{i}, R_{i}, H_{i}\right)}\right)}\right)^{\frac{1}{N}}
$

最後に $F_{\beta}$ 值を計算する。

$F_{\beta}(\mathbb{S}, \mathbb{R}, \mathbb{H})=\frac{\left(1+\beta^{2}\right) \operatorname{precision}(\mathbb{S}, \mathbb{R}, \mathbb{H}) \operatorname{recall}(\mathbb{S}, \mathbb{R}, \mathbb{H})}{\beta^{2} \operatorname{precision}(\mathbb{S}, \mathbb{R}, \mathbb{H})+\operatorname{recall}(\mathbb{S}, \mathbb{R}, \mathbb{H})}$.

本稿では、この $F_{\beta}$ 値を $\mathrm{GREEN}_{\beta}$ と呼ぶ。

複数の参照文を用いる場合は、 $\mathrm{M}^{2}$ や ERRANT と同様に、次のように計算を行う。 $i$ 番目の原文 $S_{i}$ に対して、 $m$ 個の参照文 $R_{i_{1}}, \ldots, R_{i_{m}}$ がある時、この中から、訂正文 $H_{i}$ に対して、文単位の GREEN $_{\beta}$ を最大にする参照文 $\hat{R}_{i}$ を選ぶ。

$
\hat{R}_{i}=\underset{R \in\left.\{R_{i_{1}}, \ldots, R_{i_{m}}\right.\}}{\operatorname{argmax}} \operatorname{GREN}_{\beta}\left(\left(S_{i}\right),(R),\left(H_{i}\right)\right) .
$

式 1 で得られた $D$ 個の参照文 $\hat{\mathbb{R}}=\left.\{\hat{R}_{1}, \ldots \hat{R}_{D}\right.\}$ を用いて $\operatorname{GREEN}_{\beta}(\mathbb{S}, \hat{\mathbb{R}}, \mathbb{H})$ を計算し、評価に用いる。

## 3 実験

自動評価値と人手評価値の Pearson の相関係数 $r$ および Spearman の順位相関係数 $\rho$ を計測し、 GREEN の有効性を検証する。人手評価値の計算には GEC での有効性が認められている Expected Wins 法 [11]を用いる。 $n$-gram の最大長 $N$ は、単語単位の分割の場合は BLEU [12] や GLEU に従い $N=4$ 、文字単位は $\operatorname{chrF}[13]$ に従い $N=6$ とする。分割単位の違いは、“wordGREEN” (単語単位) や "charGREEN" (文字単位) と表記し区別する。

比較対象の GEC の評価尺度は以下の通りである。 $\mathbf{M}^{2}$ [7]: 人手でアライメントが付与された参照文の編集に訂正文の編集が最大限アライメントされるよう探索し、任意の訂正文に対して自動的に原文とのアライメントを求め、 $F_{\beta}$ 値を計算する。公平な速度比較のため公式実装より高速な実装を利用した ${ }^{4)}$ 。

I-measure [9]: 原文、参照文、訂正文間の多重アライメントを求め、原文から参照文、原文から訂正文へのアライメントを比較し、その正誤に対して重み付き正解率を計算する。 $\mathrm{M}^{2}$ は改悪された訂正文と変更がない訂正文を区別できないが、I-measure は変更なしの文に 0、改悪された文に負のスコアを与えられる。公式実装5)を用い、高速に実行するため -nomixオプションを指定し実行した。

4) https://github.com/craggy-otake/m2scorer_python3_fast

5) https://github.com/mfelice/imeasure
GLEU [10]: BLEU の分子に罰則項を追加することで人手評価値と正の相関を示すように設計された。本稿では訂正版 [14] の式に基づき計算する。

ERRANT [8]: $\mathrm{M}^{2}$ と同様に $F_{\beta}$ 值を計算するが、編集を Damerau-Levenshtein 距離とルールによる区間検出で抽出する。そのため、人手でアライメントを付与した参照文を必要としない。公式実装の v2.0.0 を用いた6)。

GREEN、 $\mathrm{M}^{2} 、$ ERRANT での評価を行う際は、 $\beta$ として、各データセット上で最適な $\beta_{*}$ を推定して用いる。 $\beta_{*}$ の值として、 $\beta$ を 0.00 から 5.00 まで 0.01 ずつ変え、テストデータを 10 分割し、その内の 9 個の分割を用いて人手評価との相関を最大にする $\beta$ を 10 通り求め、その平均の値を $\beta_{*}$ として用いた7)。

評価データセットとして CoNLL および GMEG を用いる。CoNLL は、CoNLL-2014 Shared Task [5] の評価データセットである。原文は 1312 文ある。参照データは 2 つあり、Shared Task の参加システムの訂正データは 12 ある。原文と 12 システムの訂正文の 13 文対に人手で順位が付与されている [11]。 GMEG は、FCE、Wiki、Yahooの 3 データセットからなる [15]。原文は、それぞれ、1936、1981、1999 文ある。参照データは 4 つあり、訂正データは 6つある。ドメインはデータセットごとに異なり、FCE は学習者のエッセイ、Wiki は Wikipedia の記事、Yahoo はウェブ上の投稿となっている。原文と 6 システムの訂正文の 7 文対に人手評価が付与されている。

## 3.1 人手評価との相関

CoNLL、GMEG データセットでの人手評価との相関を表 2 に示す。CONLL と GMEG のすべてのデー タセットで charGREEN が人手評価と最も高い相関を示した。charGREENは、wordGREENより良い性能を示す。charGREENは、経り誤りなどに対する文字単位の訂正と、単語単位の訂正を異なる規模で評価でき、より人手評価と近い評価が行えると考えられる。 $\mathrm{M}^{2}$ と ERRANT は、CoNLL、FCEでは GLEU、I-measure と同等かより高い性能を示すが、 Wiki、Yahoo ではより低い性能を示す。これは、学習者コーパスのドメイン以外では $\mathrm{M}^{2}$ と ERRANT が低い性能を示す可能性を示唆する。I-mesarue は、 CoNLL では負の相関を示すが、GMEG では比較的良い性能を示し、人手評価においてデータセットの


表 2 CoNLL、GMEG データセットでの自動評価尺度と人手評価との Pearson の相関係数 $r$ および Spearman の相関係数 $\rho$ 、並びに、各手法の平均事例での時間計算量を示す。CoNLL は、AMU の評価の 10 回の平均実行時間 (秒)を付した。

図 2 Wikiでの $\mathrm{M}_{0.01}^{2}$ 、 wordGLEU、wordGREEN ${ }_{1.12}$ と人手評価の相関

違いに頑健ではないと言える。

## 3.2 計算時間と計算量

原文、参照文、訂正文のトークン数が $k$ 以下であるときの平均時間計算量と、CoNLLデータセットでの実際の実行時間を表 2 に示す8)。 $n$-gram の種類数はトークン数 $k$ を超えないため、GREENと GLEU の計算量は $O(k)$ である。GLEU は、複数の参照文を用いる場合にサンプリングを行うため、計算時間が GREEN の 2 倍以上に長くなる。 $\mathrm{M}^{2}$ と ERRANT は、編集距離の計算に $O\left(k^{2}\right)$ の動的計画法を用いる。 3 文間の多重アライメントを求める I-measure の計算量は $O\left(k^{3}\right)$ である。以上より、GREEN は従来の手法よりも計算量が小さく、高速と言える。

## 3.3 人手評価の値が低いシステムの評価

図 2 に $\mathrm{M}^{2}$ 、wordGLEU、wordGREEN と人手評価の値を図示する。 $\beta$ は表 2 の $\beta_{*}$ を用いた。 $\mathrm{M}^{2}$ は原文 (source) にスコア 0、人手評価値が原文よりも低い transformer の訂正文に不当に良いスコアを与え

8）Intel® Core $^{\mathrm{TM}} \mathrm{i} 9-9900 \mathrm{~K}$ 上で実行した。
ている。GLEU も transformer に不当に良いスコアを与えている9)。このため、これらの手法は Wiki デー タセットで比較的悪い相関を示す。一方、GREEN は sourceを、人手評価値が近い amu, marian, nus とほぼ同等に評価しており、また、transformerにも低いスコアを与えられている。GREEN は原文や人手評価値の低いシステムの出力に対して妥当な評価が可能であり、人手評価と高い相関を示す。

## 4 おわりに

本稿では、GEC のための新しい自動評価尺度 GREEN を提案した。GREEN は、原文、参照文、訂正文を $n$-gram の多重集合として扱うことで、 $F$ 値を計算する。CONLL、GMEG データセットでの実験において、GREEN は従来手法よりも人手評価との高い相関を示した。また、 $\mathrm{M}^{2}$ 、ERRANT、I-measure と異なり、文間のアライメントを用いないため計算量が小さい。さらに、 $\mathrm{M}^{2}$ や GLEU で人手評価値の低い訂正文に高い評価を与えてしまう事例でも、 GREEN は人手評価に近い評価が行える。

9）付録 A. 3 でこの理由を説明した。

## 謝辞

本研究は国立研究開発法人新エネルギー・産業技

術総合開発機構 (NEDO) の助成事業 (JPNP20006)

並びに JSPS 科研費 JP23KJ0930 の助成を受けたものである。

## 参考文献

[1] Robert Dale and Adam Kilgarriff. Helping our own: The HOO 2011 pilot shared task. In Proceedings of the 13th European Workshop on Natural Language Generation, pp. 242-249, Nancy, France, September 2011. Association for Computational Linguistics.

[2] Robert Dale, Ilya Anisimoff, and George Narroway. HOO 2012: A report on the preposition and determiner error correction shared task. In Proceedings of the Seventh Workshop on Building Educational Applications Using NLP, pp. 54-62, Montréal, Canada, June 2012. Association for Computational Linguistics.

[3] Vidas Daudaravicius, Rafael E. Banchs, Elena Volodina, and Courtney Napoles. A report on the automatic evaluation of scientific writing shared task. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 53-62, San Diego, CA, June 2016. Association for Computational Linguistics.

[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[6] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, Florence, Italy, August 2019. Association for Computational Linguistics.

[7] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th An- nual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9] Mariano Felice and Ted Briscoe. Towards a standard evaluation method for grammatical error detection and correction. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[10] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[13] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. GLEU without tuning. arXiv:1605.02592, 2016.

[15] Courtney Napoles, Maria Nădejde, and Joel Tetreault. Enabling robust grammatical error correction in new domains: Data sets, metrics, and analyses. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 551-566, 2019.

図 $3 \beta$ を変えた時の CoNLL での Pearson の相関係数 $r$

図 4 CoNLL での wordGREEN $_{1.0}$ 、 wordGREEN $_{2.0}$ と人手評価の相関

## A 付録

## A. $1 \beta_{*$ の推定方法に関して}

$\beta_{*}$ の推定は、 $\beta_{*}$ を推定するための検証データを用意するか、交差検証を行うべきである。ところが、 10 個の異なる $\beta_{*}$ で求めた $F_{\beta_{*}}$ 值の平均値は妥当性に乏しいため、本稿では評価データの部分デー タで相関を最大にするような $\beta$ の平均 $\beta_{*}$ を求めてから、 $F_{\beta_{*}}$ 值を計算した。しかし、これは $\beta$ をパラメータとして持たない他の手法との比較においてフェアではないという点に留意が必要である。最適

$
\begin{aligned}
& p_{n}=\frac{\sum_{\forall n \text {-gram } x \in R \cap H} m_{R \cap H}(x)-\sum_{\forall n \text {-gram } x \in S \cap H} \max _{x \in S}\left.\{0, m_{S \cap H}(x)-m_{R \cap H}(x)\right.\}}{\sum_{\forall n \text {-gram }} m_{H}(x)} \\
& \sum m_{R \cap H}(x)-\sum \max \left.\{0, \min \left(m_{S}(x), m_{H}(x)\right)-\min \left(m_{R}(x), m_{H}(x)\right)\right.\} \\
& \sum m_{H}(x) \\
& \sum m_{R \cap H}(x)-\sum \max \left.\{0, \min \left(m_{S}(x), m_{H}(x)\right)-m_{R}(x)\right.\} \\
& =\frac{\forall n \text {-gram } x \in R \cap H \quad \forall n \text {-gram } x \in S \cap H}{\sum_{\forall n \text {-gram }} m_{H \in H}(x)} \\
& =\frac{\sum_{\forall n \text {-gram } x} m_{R \cap H}(x)-\sum_{\forall n \text {-gram } x} m_{(S \cap H) \backslash R}(x)}{\sum_{\forall n \text {-gram } x} m_{H}(x)}=\frac{\sum_{\forall n \text {-gram } x} \mathrm{TK}(x)+\mathrm{TI}(x)-\mathrm{UD}(x)}{\sum_{\forall n \text {-gram } x} \operatorname{TK}(x)+\mathrm{TI}(x)+\mathrm{OI}(x)+\mathrm{UD}(x)}
\end{aligned}
$

図 5 GLEU の再解釈のための式変形

な $\beta$ において高い相関を示すか比較するという点では、 $\mathrm{M}^{2} 、$ ERRANT とはフェアな比較になっている。

## A. 2 最適な $\beta$ に関する分析

図 3 は、CoNLL データセット上で $\beta$ の値を変えた時の各評価尺度での Pearson の相関係数 $r$ の変化を示す。GREEN は、適切な $\beta$ を設定すれば $\mathrm{M}^{2}$ や ERRANT より性能が良くなるが、 $\beta$ を小さく設定しすぎると性能が低下してしまう。この原因を調べるために、図 4 に、 $\beta=1.0,2.0$ での wordGREEN と人手評価のスコアを示す。IITB、INPUT、SJTU、UFC では、 wordGREEN $_{1.0}$ が不当に高い。INPUT は原文であり訂正がない。また、IITB、SJTU、UFC は、全出力の中で原文からの訂正が最も少ない 3 出力である。これらの出力では適合率が高くなるため、 $\beta$ が小さくなると wordGREEN が不当に高くなる。 $\beta=2.0$ など、 $\beta$ を高く設定するとより正確な評価が可能となる。 wordGREEN 2.0 は、積極的に正しい訂正を行うシステム (AMU) に高いスコアを与え、過度に訂正が控えめなシステム (IITB) や誤った訂正が多いシステム (IPN) に低いスコアを与えられる。

## A. 3 GLEU の再解釈

GLEU は、人手評価と正の相関を示すように BLEU に罰則項を導入した手法である [14]。罰則項の効果を調べるため、図 5 に GLEU に対する本稿の n-gram の分類を用いた式変形を示す。この式から、GLEU の罰則項は UD そのものであることがわかる。UD は GREEN では FN であるため、GLEU は FNを考慮できているが、FP は罰則として考慮できていないと言える。図 2 に示すように、wordGLEU は FP を多く生成する transformer を不当に高く評価してしまう。