# エッセイ自動採点における文法特徵と学習者レベルの関係

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 概要

本研究では，エッセイ自動採点において文法特徵を考慮することの効果について検証する. エッセイの分散表現に加えて，学習者が正しく使えている文法項目の情報や，文法誤りの情報をモデルの入力に用いることで，モデル性能が向上するかを検証した. 実験の結果，正しく使えている文法項目の情報は，モデル性能の向上につながらなかった．また，文法誤りの情報は，学習者のレベルが高いデータセットにおいては効果がない一方で，様々なレベルの学習者が含まれているデータセットにおいては効果があることが示された.

## 1 はじめに

近年の外国語教育では，ライティングやスピーキング能力の育成も重視されるようになっており，学校現場や入試で両能力のテストが実施されることも増えている。しかし，その評価には，大きな人的・時間的コストがかかるという課題がある。採点自体に時間がかかることに加えて, 評価の信頼性を保つためには，採点者の訓練が必要である．このような課題を背景に，自動採点研究が行われている.

ライティングやスピーキングといった学習者のパフォーマンスを評価する方法は, 総合的評価と分析的評価に大別される. 前者は学習者の作文や発話に対して1つのスコアを付与するのに対して，後者は文法や内容等の複数の観点に対してそれぞれスコアを付与する。ただし，総合的評価においても，それらの観点での出来栄えが基準となっていることが一般的である. 例えば TOEFL iBT の基準 (表 1) では,内容, 構成, 文法, 語彙等が言及されている. 特に文法，語彙については，テスト問題のトピックとは関係なく, ある習熟度レべルの学習者に特徴的な項目があることが明らかになっている [1]. 人間の採点者は，そのような項目を探しながら学習者のパフォーマンスを評価しているとも言われており [1],表 1 TOEFL iBT ライティング基準 (スコア 5)

An essay at this level largely accomplishes all of the following: - Effectively addresses the topic and task
- Is well organized and well developed, using clearly appropriate explanations, exemplifications and/or details
- Displays unity, progression and coherence
- Displays consistent facility in the use of language, demonstrating syntactic variety, appropriate word choice and idiomaticity, though it may have minor lexical or grammatical errors

自動採点モデルにおいて文法特徴を明示的に利用することで，様々なテスト問題に対して頑健なモデルを構築することが期待できる。そこで本研究は， エッセイ自動採点 (AES) において文法特徴を考慮することの効果について検証する。

## 2 関連研究

AES は，学習者が書いたエッセイにスコアやレベル等の評価値を付与するタスクである. AES モデルでは，特徵量エンジニアリングによって得られた特徴量が広く用いられていた ([2], [3] を参照). 例えば e-rater [4] は，文法誤りや語彙の複雑さの指標を含む 12 種類の特徴量を用いている. [5] は様々な言語特徵を用いて学習したモデルの検証を行い, 文法の複雑さや誤りに関する指標に高い重みが割り振られていることを明らかにした. [6] は文法誤り検出タスクとのマルチタスク学習を行うことで，AES のパフォーマンスが向上することを示した.

近年では, 特徼量エンジニアリングを不要とする, 深層学習に基づく手法が主流となってきている. RNN や Bi-LSTM を用いたモデル [7, 8] や, BERT [9] 等の事前学習済み言語モデルに基づくモデル $[10,11]$ が提案されている. しかし [2]は, これらの深層学習に基づくアプローチと特徴量エンジニアリングに基づくアプローチは相補的な関係にあり，両者を組み合わせることでモデル性能が向上する可能性を指摘した，実際に，エッセイの分散表現と人手で作成された特徴量を組み合わせたモデル [12,13] が提案されている. [14] は，BERTから得ら

れるエッセイの分散表現と文法誤りの情報を組み合わせたモデルを提案した. しかし, 文法誤り情報の追加は, 話し言葉自動採点でモデル性能を向上させた一方で，AES では効果がなかった。

## 3 文法特徵利用の効果検証

本研究では，[14] の手法をべースに，BERT 基づくAES モデルにおいて，文法特徴を用いることの効果について検証する. [14]では, 文法特徴として文法誤り情報が用いられていたが，本研究では， CEFR の基準特性研究 [1] を参考に，学習者が正しく使えている文法項目の情報も用いる. CEFR [15] は言語能力を評価する国際指標で，習熟度を $\mathrm{A} 1$ (初級) ～C2 (上級) の 6 段階に区分する. 基準特性は CEFR の各レベルで特徴的な言語項目群であり, あるレベル以上の学習者が正しく使うことができる positive linguistic features (PF) と, あるレベルの学習者が間違えやすい negative linguistic features (NF) がある. 以下の節で，検証に用いる $\mathrm{PF}$ とFについて具体的に説明する.

## 3.1 Positive Linguistic Features

PF の抽出には, CEFR-J Grammar Profile 文法項目頻度分析プログラム $[16,17]$ を用いる. 同プログラムは，501 種類の文法項目のテキスト中での頻度を，正規表現に基づいて算出できる. しかし，そのままではテキスト中で使われていない文法項目が多く, スパースなベクトルとなってしまうため，100 語あたりの延べ使用数，及び文法項目の異なり数に基づき集計したものを特徴量として用いる (表 2 上段). また， 4.1 節で後述するデータの訓練セットにおいて, エッセイの評価値と相関の高かった文法項目 $(100$ 語あたりの延べ使用数 $=6$ 項目, 使用の有無 $=$ 25 項目) のベクトルも使用する (表 2 中段).

## 3.2 Negative Linguistic Features

NF には，100 語あたりの文法誤り頻度を用いる。具体的には， ERRANT [18] によって付与される，24 種類の誤りタグに基づき，特徴量を作成する (表 2 下段). タグのグループ化は, EFCamDat [19] に付与されている誤りタグに対して, [14] が行ったグルー プ分けを参照し, できる限り対応が取れる形で行った (付録 A). テキスト中の文法誤り数の推定には, エッセイを入力とする回帰モデル (4.2.1 節を参照) を用いる。表 2 使用する文法特徴量

異なり数以外は, 100 語あたりの相対頻度.

## 4 実験

実験では，3節で述べた文法特徴を用いることで， BERT に基づく採点モデルの性能が向上するかを検証する.

## 4.1 データセット

本研究では, EFCamDat Cleaned Subcorpus [20], FCE [21], W\&I+L [22] の 3 種類のデータを用いた. EFCamDat と W\&I+L には初級〜上級の様々なレべルの作文が含まれている一方で，FCE には比較的高いレベルの作文のみが含まれている. モデルの学習に使用したデータの詳細を表 3 に示す.

EFCamDatには，習熟度レベル 1～15 (CEFR A1～ $\mathrm{C} 1$ に対応) の作文が収録されている. 本研究ではそのうち, 文法誤りタグが付与されている 498,207 件のデータを用いた. データは, train, dev, test に分割し, train はさらに, 文法誤り数推定モデルの学習用と，採点モデルの学習用に分割した. 採点モデルの学習データには，全習熟度レベルを含む train_sc と, FCE との比較を意図した train_b2 (レベル 9〜13) を準備した. dev と test は，文法誤り数推定モデルと採点モデルの評価に共通して用いた。

FCEには，CEFR B2 レべルの試験において学習者が書いたエッセイが収録されている. 文法誤り情報に加えて，0５.3 点の範囲のスコアが付与されている. 本研究では, BEA 2019 の文法誤り訂正 Shared Task で配布されたバージョンを, 採点モデルの構築・評価に用いた。

W\&I+L には，学習者と母語話者によって書かれたエッセイが収録されている. 文法誤り情報に加えて, 学習者に対しては CEFR A1.i～C2.ii の 12 段階,母語話者に対しては $\mathrm{N}$ のラベルが付与されている.本研究では，学習者によって書かれたエッセイのみを，採点モデルの構築・評価に用いた. W\&I+L は，
表 3 学習に使用したデータ

test が公開されていないため，devを評価に用い， trainを分割して学習・開発データとして用いた。

## 4.2 実験設定

文法誤り数推定モデル，及び採点モデルの両方で，BERT を利用してエッセイの分散表現を取得する. BERT は HuggingFace 社が公開している bert-base-uncasedを用い，学習データの最大入力長は 512 トークンとした. 両モデルとも，BERT のパラメータは固定して学習を行った。

## 4.2.1 文法誤り数推定モデル

文法誤り数推定モデルは，エッセイの分散表現を入力とし，エッセイに含まれる文法誤り数を予測する. 文法誤り数は，0から 1 の範囲に正規化した. エッセイの分散表現を入力する線形層の隠れ層の数は 3 , 各層のノード数は 256 とした. 活性化関数には reluを用いた. 損失関数は平均二乗誤差 (MSE) を用い，最適化アルゴリズムは Adam，学習率 8e-6, バッチサイズ 16 とし， 60 エポック学習を行った.

## 4.3 採点モデル

採点モデルは，エッセイの分散表現と文法特徴量を入力とし，エッセイのスコアを予測する。エッセイの分散表現と文法特徴のべクトルを結合したものを線形層への入力とした. EFCamDat と W\&I+L では，エッセイに付与されている評価値は「レベル」 であるが，これを連続値とみなすことで，回帰モデルを学習した. エッセイのスコアは-1 から 1 の範囲に正規化した. 線形層の隠れ層の数は 5 , 各層のノード数は $768,1024,512,256,64$ とした.活性化関数には relu を用い, dropout $=0.2$ に設定した. 損失関数は MSEを用い, 最適化アルゴリズムは Adam，学習率 1e-5，バッチサイズ 16 とし， 120 エポック学習を行った.

ベースラインとしては，エッセイの分散表現のみを入力とするモデルを準備した. エポック数を 60 とした以外は, 文法特徴量を使う場合と同一の設定とした.表 4 文法誤り数推定モデルの結果 (ピアソンの積率相関係数). err $7 \mathrm{gr}$ と $\operatorname{err} 24 \mathrm{tag}$ の値は各相関係数の平均値.

## 4.4 実験結果

## 4.4.1 文法誤り数推定モデル

表 4 は，推定された文法誤り数と正解データとの相関係数を示している. 文法誤りの総数の推定では，比較的強い正の相関 (err sum $=0.6772)$ が見られた一方で，推定する誤りカテゴリ・タグの数が増加すると $(1 \rightarrow 7 \rightarrow 24)$, 相関係数は低くなっていった.これは，カテゴリ・タグが細分化されることで，各文法誤りの頻度が低くなることが影響していると考えられる．7つの誤りカテゴリを予測するモデル (err 7 gr) について, 各誤りカテゴリの頻度と相関係数の関係を確認したところ，誤り数が最も多いW_lang (スペルや正書法の誤り) で相関係数が最も高く(0.6192), 誤り数が少なくなるにつれて相関係数が低くなっていくことが確認された. 相関係数が 0.3978 と最も低くなった AG (数の一致に関する誤り) は，EFCamDat dev で 1,614 例しかないのに対して，W」lang は 13,285 例見つかった. また, 頻度が低い誤りカテゴリは，多くの作文で当該カテゴリの誤り数が 0 となっていた。

## 4.4.2 採点モデル

表 5 は，推定されたエッセイのスコアと正解スコアとの相関係数を示している．実験は異なるシード値によって 3 回行い，それらの結果の平均値を表に揭載した。

$\mathrm{PF}$ を用いても，BERT に基づくAES モデルの性能は向上しなかった. $\mathrm{PF}$ をい用いたモデルとべースラインの相関係数は同等であることがほとんどだが, $\mathrm{g}$ item sum と g item $9 \operatorname{lev}$ (文法の延べ使用数) は,高いレベルの学習者のデータ (EFCamDat_b2，FCE) で用いると，相関係数が悪化した. 延べ使用数は,同一の文法事項を繰り返し使っている場合でも，その数値は大きくなる.このような作文は，低いレべル帯では問題にならないものの，高いレべル帯ではネガティブな印象になると考えられる。実際，FCE trainにおいて，文法の延べ使用数と異なり数の差
表 5 採点モデルの結果 (ピアソンの積率相関係数)

(平均 $=62.91$ ) が 40 以下の作文のスコア平均は 3.08 だったのに対して，差が 80 以上の作文のスコア平均は 3.79 であった. 延べ使用数に基づく特徴量はこの差を表現できていないと考えられる. これに対して, g type 25 (文法の異なり数) は, FCE 以外のデー タセットにおいて，ごく僅かな差であるものの，異なるシード值での 3 回の実験全てでベースラインの性能を上回った. 本研究の手法でははっきりとした PF の効果は確認できなかったため，より効果的な PF の活用方法を検討することが今後の課題である.

$\mathrm{NF}$ については，文法誤り数推定モデルの性能が比較的高かった err sum のみ, 同モデルによる推定値を用いた実験を行った. 推定された文法誤りの総数を用いた場合，採点モデルの性能は向上しなかった.しかし W\&I+L においては，ごく僅かな差であるものの, 異なるシード値での 3 回の実験全てでベースラインの性能を上回った. 文法誤り数推定モデル (err sum) が推定する誤り数と真の誤り数の相関係数は 0.6772 (表 5) であるため, $\mathrm{NF}$ を用いること自体の効果がないのか, 文法誤り数の推定精度が低いことが問題なのかが不明である.

## 4.4.3 オラクルデータによる検証

$\mathrm{NF}$ の効果の有無を明らかにするため，オラクルデータとして，データセットに付与されている文法誤り情報を用いた検証を行った。表 6 に，エッセイの予測スコアと正解スコアとの相関係数を示す.

学習者の習熟度が高いデータ (EFCamDat_b2, FCE) においては，NFを追加してもモデル性能の向上は見られなかった. 高いレベル (少なくとも本実験で対象となっていた CEFR B2 付近) の学習者は,文法をある程度使いこなせることが当たり前であり, 文法誤りという観点からはあまり差がないことが示唆される。一方で，様々なレべルの作文を含む EFCamDat_sc と W\&I+L においては，相反する結果となった. EFCamDat_scでは，NFを追加してもモ表 6 オラクルデータの結果 (ピアソンの積率相関係数)

デル性能は向上しなかったが，W\&I+L では相関係数が 0.05 0.07 程度上昇した. W\&I+L での予測スコアと正解スコアの散布図を付録 B に示す. err sum を用いることで，正解スコアとの差異が大きい点 (特に，正解スコアより予測スコアが高い点) がベー スラインよりも減少していた。また，W\&I+L において異なる 3 つの NF の効果を比較すると，誤り情報を集計するよりもタグレベルの情報を維持する方が相関係数が高くなった.

学習者のレベルが様々である場合，レベルによって文法の出来栄えが異なっていると想定できるため, W\&I+L の結果の方が直観に合致している. EFCamDat でNFの効果がなかった原因として考えられるものの 1 つは, EFCamDat に付与されている文法誤り情報の正確さである. FCE や W\&I+L のアノテーションが少数の専門家によってなされたのに対して，EFCamDatのアノテーションは，オンライン英会話学校のライティング課題に対して教師が文法誤りを訂正した結果に基づいている。そのため,訂正の一貫性や網羅性に問題があると言われており，これが結果に影響を与えた可能性がある.

2 つ目に，EFCamDat のエッセイは W\&I+L と比べて文法誤りの数が少ない傾向があること (100 語あたり 8.93 個 vs. 10.83 個 ; 付録 C) が考えられる.これは, EFCamDat のエッセイが短いこと (平均 120.98 語 vs. 平均 200.95 語)，上述のアノテーションの網羅性の問題が関連している考えられる。高レベル帯の文法誤り数は両データセットでほぼ同じなのに対して，文法特徴が効果的な低〜中レべルの作文ではその差異が大きくなっていた.

## 5 おわりに

本研究では，AES で文法特徴を考慮することの効果について検証した. PF は, 本研究の活用手法ではモデル性能の向上に寄与しなかったが， $\mathrm{NF}$ は幅広いレベルの学習者を採点する場合には有効であることが示唆された．PFを活用する手法や，高レべルの学習者に対して有効な言語特徴を検討することが今後の課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054，JST 科

学技術イノベーション創出に向けた大学フェロー

シップ創設事業 JPMJFS2137 の助成を受けたものである。

## 参考文献

[1] John A Hawkins and Luna Filipović. Criterial Features in L2 English: Specifying the Reference Levels of the Common European Framework. Cambridge University Press, 2012.

[2] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, 2019.

[3] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[4] Jill Burstein, Martin Chodorow, and Claudia Leacock. Automated essay evaluation: The criterion online writing service. Al Magazine, Vol. 25, No. 3, pp. 27-36, 2004.

[5] Sowmya Vajjala. Automated assessment of Non-Native learner essays: Investigating the role of linguistic features. International Journal of Artificial Intelligence in Education, Vol. 28, No. 1, pp. 79-105, 2018.

[6] Ronan Cummins and Marek Rei. Neural multi-task learning in automated assessment. arXiv, Vol. arXiv: 1801.06830, , 2018.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[8] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725, 2016.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[10] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated essay scoring with discourse-aware neural models. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[11] Ruosong Yang, Jiannong Cao, Zhiyuan Wen, Youzheng $\mathrm{Wu}$, and Xiaodong He. Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1560-1569, 2020.
[12] Tirthankar Dasgupta, Abir Naskar, Lipika Dey, and Rupsa Saha. Augmenting textual qualitative features in deep convolution recurrent neural network for automatic essay scoring. In Proceedings of the 5th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 93-102, 2018.

[13] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[14] Stefano Bannò and Marco Matassoni. Cross-corpora experiments of automatic proficiency assessment and error detection for spoken English. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), pp. 82-91, 2022.

[15] Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge University Press, 2001.

[16] 投野由紀夫 (編). 平成 24 年度平成 27 年度科学研究費補助金 (基盤研究 (A)) 研究課題番号 24242017 研究成果報告書学習者コーパスによる英語 CEFR レベル基準特性の特定と活用に関する総合的研究. 2016.

[17] 石井康毅. CEFR-J Grammar Profile 文法項目頻度分析プログラム. http://www.cefr-j.org/download.html (2022 年 10 月 20 日ダウンロード), 2020.

[18] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[19] Jeroen Geertzen, Theodora Alexopoulou, and Anna Korhonen. Automatic linguistic annotation of large scale L2 databases: The EF-Cambridge open language database (EFCamDat). In Selected Proceedings of the 2012 Second Language Research Forum: Building Bridges between Disciplines, pp. 240-254, 2014.

[20] Itamar Shatz. Refining and modifying the EFCAMDAT: Lessons from creating a new corpus from an existing large-scale English learner language database. International Journal of Learner Corpus Research, Vol. 6, No. 2, pp. 220-236, 2020.

[21] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[22] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

## A ERRANT の誤りタグのグループ化

Lexical は同じ品詞の別の語に訂正する誤り，form は語の選択は正しいが活用形が間違っている誤り，VT は動詞の時制の誤り，PAP は前置詞・冠詞・所有格の誤り，AG は数の一致に関する誤り，W_lang はスペル・正書法の誤り，Others は語順及びその他の誤りを表す. VT，PAP，AG は [14]に基づいている.

## B W\&I+L での baseline と err sum の結果

## C EFCamDat と W\&I+L の語数と 100 語あたりの文法誤り数