関東地区

教育システム情報学会 2023年度学生研究発表会

文章変換技術に基づくデータ拡張を用いた問題横断型自動採点手法

Cross-prompt Automated Essay Scoring Based on Data
Augmentation Using Text-Transfer Method
伊藤佑真 ∗1 ，宇都雅輝 ∗1Yuma Ito∗1 , Masaki Uto∗1∗1∗1

電気通信大学

The University of Electro-Communications
Email: {ito yuma, uto}@ai.lab.uec.ac.jp

あらまし： 従来の小論文自動採点の研究では，目的の小論文問題ごとに自動採点モデルを構築する問題固有型自動採点が一般に研究されてきた．他方で，近年では，目的の問題とは異なる問題に対する採点済み小論文データを用いて，汎用的な自動採点モデルを構築する問題横断型自動採点手法が注目を集めている．本研究では，高精度な問題横断型自動採点を目指し，文章の構造は維持したままドメインのみを変換する技術を応用した手法を提案する．
キーワード： 自動採点，深層学習，自然言語処理，データ拡張

データを目的の問題の特徴に合った文章に変換することでデータ拡張を行う．提案手法は，1）文章ドメイン変換を行うモデルの訓練，2）文章ドメイン変換モデルを用いたデータ拡張，3）拡張したデータを用いた自動採点
モデルの構築の 3 つの手順で構成される．
手順 1）と 2）の概念図を図 1 に示す．ここからは，これらの手順の詳細を説明する．なお，以降では，I個の問題集合を I = {1, . . . , I} とし，自動採点したい問題を p ∈ I とする．さらに，目的の問題とは異なる問題 i ∈ I\{p} に対する採点済み小論文データをi
Ei = {(eij , yij )}Jj=1，目的の問題 p に対する小論文デー

1 はじめに小論文試験の採点業務にかかる人的・経済的コストを削減する方法の一つとして，小論文自動採点（AutomatedEssay Scoring ; AES）が近年注目を集めている．従来の小論文自動採点の研究では，目的の小論文問題に対す
る採点済み小論文データを訓練データとして，深層学習モデルに代表される機械学習モデルを教師あり学習する
問題固有型自動採点手法の研究が一般的であった．しかし，問題固有型自動採点において高精度を達成するためには，目的の問題に対する採点済み小論文データが大量に必要になる．
この問題を解決するために，近年では，目的の問題とは異なる問題に対する採点済み小論文データを用いて汎用的な自動採点モデルの構築を目指す問題横断型自動採点手法の研究が注目を集めている（e.g.,[1]）．問題横断型自動採点は，転移学習と呼ばれる機械学習タスクの一種とみなせる．転移学習手法の一つとして，目的のタスクに対応する教師データを手元にある別のタスクのためのデータから生成する「データ拡張」のアプローチが有効であると知られている．しかし，問題横断型自動採点の従来研究では，問題非依存の特徴量を構築してモデルを汎化させるアプローチが主流であり，データ拡張を用いた転移学習に基づく手法は見当たらない．そこで本研
究では，データ拡張に基づく新たな問題横断型自動採点手法を提案し，その有効性を評価する．

Jpタを Ep = {epj }j=1で表す．ここで，Ji は問題 i に対する小論文の数，eij は問題 i に対する j 番目の小論文，yij は小論文 eij の得点である．
2.1 文章ドメイン変換モデルの訓練
文章変換は，問題に固有の語彙やフレーズをマスキングして，目的の問題に固有な語彙やフレーズに置き換えることで行われる．マスキング操作では，初めに閾
値 τ ，変換元の問題 s，変換先の問題 t を設定する．次に，問題 s に関する各小論文 esj 中の各 n グラム w (n)（n ∈ {1, 2, 3} のみを対象）に対し，個々の n グラム w (n)が問題 t と比較してどの程度問題 s に関連しているかを表す式（1）のマスキングスコア m(w (n) , Es , Et ) を計算する．このスコアが閾値 τ を上回る場合，対象の n グラ
ムを問題 s に固有のものと判断して，マスクする．

m(w(n) , Es , Et ) = ρ(w(n) , Es ) − ρ(w(n) , Et ).

2 提案手法

ここで，本研究では，データ拡張の手法として，ドメイン調整可能な文章変換技術 [2] を利用する．この手法は，目的外のドメイン（文章のジャンルやトピックを意味する）に関連する文章データから，個々のドメインに固有の単語をマスクし，マスクした単語に目的のドメインに固有の単語を埋め込むことで文章のドメイン変換を行う．提案手法では，一つ一つの小論文問題をドメインとみなし，目的の問題とは異なる問題に対する採点済み小論文

ρ(wH(w((n)(n), Ei ) = P (Ei |w)=−I∑(n)H(w(n) )) 1−log I(1)),(2)

P (Ek |w(n) ) log P (Ek |w(n) ),

(3)

k=1

P (Ei |w(n) ) = ∑I

P (w(n) |Ei )k=1 P (wP (w(n) |Ei ) =35(n) |E

nw(n) |i + α.
Jik),(4)
(5)

関東地区

教育システム情報学会 2023年度学生研究発表会

表1

実験結果

手法

問題 1問題 2問題 3問題 4問題 5問題 6問題 7問題 8

平均提案（τ = 0.08）

0.545
0.547
0.597
0.605
0.483

0.421
0.439
0.511
0.520
0.530

0.624
0.628
0.580
0.591
0.563

0.635
0.641
0.646
0.601
0.610

0.690
0.701
0.568
0.589
0.547

0.593
0.606
0.665
0.653
0.590

0.626
0.570
0.558
0.6100.516

0.357
0.374
0.411
0.398
0.400

0.561
0.563
0.567
0.571
0.530

提案（τ = 0.2）
提案（τ = 0.5）
提案（τ = 0.8）
既存

ただし，nw(n) |i は問題 i における w (n) を含む小論文の個数を表す．また，α はハイパーパラメータである．
文 章 変 換 は ，上 記 の マ ス キ ン グ 手 法 で マ ス ク し た
箇所を任意の問題に特徴的な語彙やフレーズに変換
す る 生 成 言 語 モ デ ル を 訓 練 す る こ と で 行 わ れ る ．こ
こで生成言語モデルには，T5 (Text-to-Text TransferTransformer) を 用 い る ．T5 の 訓 練 手 順 は 次 の と おりである．まず，各問題 i ∈ I に対する小論文デーiタ {eij }Jj=1から，問題に固有の単語をマスクした小図1

文章ドメイン変換によるデータ拡張の概念図

ストッピングのための検証データとし，訓練されたモデルの性能を問題 i に対するデータセットで評価した．自動採点モデルの訓練は 30 エポックずつ行った．本実験
では，この手続をそれぞれの問題 i ∈ I に対して行った．また，提案手法の性能を比較するために，訓練デー
タを変換せずに元々の文章のまま使用して自動採点モデルを訓練する「従来手法」についても同様に実験を行った．評価指標には，予測スコアと教師スコアの一致度を測るための指標である QWK（Quadratic WeightedKappa）を用いた．なお，提案手法におけるハイパーパ
ラメータ α は 1 グラム，2 グラム，3 グラムでそれぞれ1，5，7 と設定した．この実験をマスキングスコアの閾値 τ = 0.08, 0.2, 0.5, 0.8 についてそれぞれ行った．
結果を表 1 に示す．表 1 から，問題 2 を除く全ての場合で提案手法が従来手法より高い性能を示したことがわかる．また，提案手法の中では，τ = 0.8 のときに平均的な性能が最も高くなっていることが読み取れる．このことから，提案手法は問題横断型自動採点の精度改善に有効であるといえる．

i
論文データ {M′ (eij )}Jj=1
を，マスキング手法を用いて 作 成 す る ．た だ し ，こ こ で は マ ス キ ン グ ス コ ア を
m′ (w(n) , Ei ) = maxl∈I\{i} m(w(n) , Ei , El ) とする．そして，マスクした小論文と問題を識別するラベルを入力として，元の文章 eij を復元するように T5 を訓練する．
2.2 文章ドメイン変換によるデータ拡張
上記で訓練した T5 を用いて，目的の問題とは異なる問題に対する小論文データのドメインを変換すること
で，目的の問題に対応した擬似的な採点済み小論文データを作成する．具体的には，まず目的の問題とは異なる各問題 i ∈ I\{p} に対するマスクした小論文データ
i{M(eij )}Jj=1と目的の問題の識別ラベルを 2.1 節で訓練した T5 に入力し，マスク箇所を目的の問題に固有の語i彙で補完した小論文データ {e′ij }Jj=1を生成する．この変換された小論文を元の得点データと統合することで，i
擬似的な採点済み小論文データ {(e′ij , yij )}Jj=1を得る．
2.3 自動採点モデルの構築
i以上の手順で拡張されたデータ {(e′ij , yij )}Jj=1を，目的の問題とは異なるすべての問題 i ∈ I\{p} に対して作成し，得られたデータセットを用いて自動採点モデルを訓練する．自動採点モデルには，様々な最先端の自動採点研究でベースラインとして利用されている [3] BERT（Bidirectional Encoder Representations
from Transformers）と呼ばれる深層学習モデルを用いたモデルを使用する．

4 まとめ
本研究では，文章変換技術に基づくデータ拡張を用いた問題横断型自動採点手法を提案し，その有効性を示した．今後は，ハイパーパラメータの最適化の方法論について検討していきたい．

参考文献

3 評価実験

[1] Cancan Jin, Ben He, Kai Hui, and Le Sun. TDNN: a twostage deep neural network for prompt-independent automated essay scoring. In Proceedings of the 56th Annual
Meeting of the Association for Computational Linguistics,pp. 1088–1097, 2018.
[2] Nitay Calderon, Eyal Ben-David, Amir Feder, and Roi Reichart. DoCoGen: Domain counterfactual generation for
low resource domain adaptation. In Proceedings of the 60thAnnual Meeting of the Association for Computational Linguistics, pp. 7727–7746, 2022.
[3] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459–484,
2021.

実データを用いて提案手法の有効性を評価した．実験には，8 つの小論文問題で構成されている ASAP（Automated Student Assessment Prize）データセットを使用した．ここでは，個々の問題ごとに提案手法で自動採点モデルを構築して性能を評価した．具体的には，問題i に対する自動採点モデルを構築する際には，その他の問題 I\{i} に対する採点済み小論文データを提案手法で変換したデータの 80% を訓練データ，20% をアーリー

36