言語処理学会 第30回年次大会 発表論文集（2024年3月）

論理構造グラフを用いた自動採点モデル
加藤 嘉浩
ベネッセ教育総合研究所
y-kato@mail.benesse.co.jp

概要
本研究では，エッセイの論理構造のグラフ表現を考慮した自動採点モデルを提案する．エッセイの論理構造は採点結果に影響する要因の一つと考えられ，これまでに論理構造の要素（主張や前提となる節や句，単語の連なり．以降，論理要素）の統計量や要素間の関係を考慮したモデルが提案されている．しかし，従来手法の論理要素とその関係を提案モデルに入力してもあまり精度が向上しなかった．
本研究では，論理要素を含む文全体を論理要素として用い，文間の関係を推定し線形計画法で論理構造グラフを抽出する．そして，グラフ構造を考慮可能な Graph Attention Network により特徴量を抽出し自動採点モデルに結合する．ASAP データセットでの実験から提案モデルはベースラインおよび従来手法よりも高精度な結果となった．また，論理構造推定手法を検証するため，ランダム構造やグラフのエッジ削除前の構造を入力した場合とも比較することで提案手法の有効性を示した．

1

はじめにエッセイのように学習者に自身の考えを表現させる解答構築型テストが古くから多くのテストや教材で利用されている．しかし，採点および指導にかかるコストが高く，採点品質（精度や再現性）の向上と効率化（採点者の訓練費用と人件費の低減，採点期間短縮）が求められる．そのため，自然言語処理や機械学習手法による自動採点を使いこれを実現することが考えられてきた．計算機に採点を代行させる自動採点研究の歴史は古く，これまでに多くの手法が提案されている [1, 2, 3]．
自動採点は，記述式解答データをテキスト化したもの（以降，解答データ）と採点者がつけた得点のペアを入力データとして用いる．自動採点の基本的な方法は解答データの特徴量（例えば，単語数，語彙数，文章数などの統計量）を抽出し，分類や回帰モデルを用いて得点を予測する [4]．深層学
習手法の進歩が目覚ましい近年では，Transformer[5]や BERT[6] な ど の 言 語 モ デ ル を 用 い て 入 力 文 章
を固定長ベクトル（文レベルの埋め込み表現，文脈ベクトル）にし，分類器や回帰モデルに入力し得 点 を 予 測 す る 手 法 [7, 8, 9] が 提 案 さ れ て い る．
ま た，従 来 手 法 の よ う に 解 答 デ ー タ か ら 推 定 した統計量（単語数や語彙数など）を追加するモデル [10, 11, 12]，Convolutional Neural Network（CNN）
や Long Short Term Memory (LSTM）など別の NeuralNetwork(NN) からの出力を結合したモデル [13] が提案されている．
本研究では，言語モデルを用いた自動採点モデルを基礎とし，そこに補助情報（統計量や別の NN からの特徴量）を追加することで精度向上を目指す．
自動採点モデルに追加する補助情報は，特徴量ベースの自動採点モデル [4] や補助情報を追加したモデル [10, 11, 12, 13, 14] が参考になる．特徴量ベースの自動採点モデルでは，単語数，語彙数，誤字や文法誤りの割合，話題，得点が高い解答データとの類似度などが挙げられる．
エッセイのような長文は複数の文章を含み，文章数が多くなるほど構成や論理構造などが複雑になり得点に大きく影響すると考えられる．そこで，本研
究では，論理構造の情報を自動採点モデルに活用することで，エッセイの得点の予測精度を向上させた
い．Nguyen と Litman[10] は，論証マイニングを用いてエッセイの論理要素を推定し，自動採点に活用する手法を提案している．ただし，このモデルは主張や前提の数などの統計量をモデルに追加しており，論理構造は利用していない．Yamaura ら [14] は，言語モデルの Attention に論理構造情報を作用させた言語モデルと文脈ベクトルを結合することで精度向上を達成している．
本研究では，論証マイニングを用いて解答データから論理構造のグラフ情報を推定し，そのグラフ構造を特徴として用いることができる Graph Attention― 3171 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Network（GAT）を用いた自動採点モデルを提案す造をグラフ化できる．一般的に，論理構造は以下る．本研究での実験では，従来の論理構造推定手法の手順で推定される [15, 16]．（１）論理要素を推で得られる論理構造グラフを用いても高精度な結果定しノードと見做す要素抽出（Argument Componentとはならなかった．従来手法では節や句，単語の連Identiﬁcation）を行い，（２）論理要素を結論（Major

なりを論理要素とするが，意味をなさない単語の連Claim），主張（Claim），前提（Premise）に分類するなりが推定されることが多かった．そこで，論理要要素分類，（３）ある論理要素が他の論理要素を支素を含む文を論理要素として，文間の関係を推定し持する場合，ノード間に有向エッジを引く（否定の線形計画法により論理構造グラフを決定し提案モデ場合は逆向きのエッジ）関係分類，（４）要素分類

ルに入力する．と関係分類の結果から論理構造を推定する．これま本研究は，解答データの論理構造に着目する点ででに（１）から（４）を独立なタスクと見做すもの

Nguyen と Litman[10] や Yamaura ら [14] のモデルと[15, 17, 16]，すべてを 1 つのモデルで行うものが提類似している．特に，Yamaura ら [14] のモデルと同案されている [18, 19, 20]．

様に言語モデルの出力に論理構造の情報を追加す

本研究では，従来手法と独自の方法それぞれで論る点が類似している．本研究は論理構造の推定方法と論理構造グラフを GAT の入力とする点が従来手理構造を推定し，その結果を自動採点モデルに入力し比較検証した．従来手法として Morio ら [19] の方法と異なる．著者の調査では，これまでに論理構造法を採用した．Morio らは，より長い入力文章を扱のグラフを用いた手法は自動採点では確認できな

える Longformer を用いて要素分類（要素抽出含む）かった．と関係分類を同時に行うモデルを提案し，複数のベンチマークデータで提案モデルの精度検証を行い，ベースモデルおよび従来モデルよりも高精度なデータセットでファインチューンすることで従来モ
デル [18] よりも高精度な結果を報告している．

結果となることを確認した．ベンチマークデータに

従来手法は節や句だけでなく数語の意味をなさは論理構造の正解データが付与されておらず提案手ないものも推定される．しかし，それらを構成要素法が論理構造が正しく推定できているか確認できとする論理構造が，エッセイの得点に影響を及ぼすないため，ランダムな論理構造を用いた場合も検証とは考えにくい．そのため，本研究では，節や句でし，提案手法の方が高精度な結果となったことからはなく文を要素として採用し構造推定した（以降，有効性を示した．

sentArg）．具体的には，（１）を BERT を使った系列

本研究の貢献は以下の通りである．

ラベリングし，論理要素を含む文を抽出する．（２）1. 言語モデルに論理構造グラフを用いた自動採点モデルを提案した．の要素分類は行わず，（３）の関係分類を（１）で推定したすべての文のペアに網羅的に行った．また，

2. 論理構造グラフを用いた自動採点モデルがベー推定時に算出される予測確率をエッジの重みとしてスモデルおよび従来モデルよりも高精度な結果（４）の線形計画法に用いて構造を決定した．（３）を得た．の関係分類は，Jo ら [21] の LogBERT を用いた．Jo
らは文間の関係性を４つの論理関係（事実の一貫2

関連研究

2.1

Argument Mining性，感情の一貫性，因果関係，規範的関係）に分類し，確率的ソフトロジック（Probabilistic Soft Logic）を用いて定式化した．この結果を BERT を用いた分論理構造は，論証マイニング（Argument Mining）と呼ばれる手法で推定する．論証マイニングは，文章や節などを主張（Claim）や前提（premise）といった論理要素を推定し，支持（support），否定（attack），無関係（neutral）など要素間の関係性を推定することで論理構造を推定する．論理要素をグラフの点（ノード），ノード間を結ぶ矢印（エッジ）の重みを構造推定時の推定値とし，エッセイの論理構類モデルの学習に流用した LogBERT を提案し，従来手法よりも高精度な結果を示している．関係分類
は，文１と文２の関係を support，attack，neutral のいずれかに分類する．support の場合は文１から文２に，attack の場合は文 2 から文 1 へエッジが引かれる．neutral はエッジは引かない．（４）の線形計画法は，循環がなく，自分へのエッジは引かない，複数のノードにエッジを引かない制約を課し構造推定する．

― 3172 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

2.2

解答データの論理構造グラフとノードの特徴量をGraph Attention Network

GATv2 に入力して得た特徴ベクトルを ℎ𝐺 𝐴𝑇 𝑣2 とす

本研究では，論理構造グラフを自動採点モデルにる．本研究のグラフのノードはテキストデータのた結合するため，グラフを特徴ベクトルに変換する必め，BERT の最終層の [CLS] ベクトルをノードの特要がある．グラフ表現された構造データを深層学習徴量とした．提案モデル（BERT+GAT）は式（3）ので扱う手法として Graph Neural Network (GNN)[22] がように表現できる．
(())
𝑠 𝑗 = 𝜎 Lin h [𝐶 𝐿𝑆 ], 𝑗 + h𝐺 𝐴𝑇 𝑣2, 𝑗ある．GNN はノード間のエッジに基づき近傍ノードの集約やエッジに沿った畳み込み [23] によりグラフ情報から特徴量を抽出する．本研究では，ノードは論理要素となるテキストデータであり，ノードの集約や畳み込みを行う場合は BERT からの特徴ベクトルを用いる．ノードの情報をどのように取捨選択し集約するかが GNN の性能に影響すると考えられ，言語モデルに用いられる attention を GNN に導入した Graph Attention Networks(GAT)[24] が提案されている．GAT は，任意のノードとその近傍からの情報を集約する際，ノードの重要度を attention を用いて決定し，重要なノードの情報をより多く取り入れる(3)

関連研究で挙げた補助情報を追加する自動採点
モデルの多くは，ベースとなる特徴量（本研究ではBERT からの文脈ベクトル）に補助情報となる特徴ベクトルを式（3）のように直接結合している．異なるアーキテクチャからの特徴ベクトルを直接結合し１つのベクトルとすることが最適である裏付けはない．本研究では，BERT および GATv2 からの特徴ベクトルをそれぞれ線形変換後に結合し線形変換を行うモデル（BERT Linear3+GAT）も検証した（式（4））((()()) )𝑠 𝑗 = 𝜎 Lin Lin h [𝐶 𝐿𝑆 ], 𝑗 + Lin h𝐺 𝐴𝑇 𝑣2, 𝑗

手法である．さたに，Brody ら [25] は，ノードの特(4)徴とその近傍の特徴を考慮しノード間の相互作用を効率的に学習する GATv2 を提案し，GAT よりも高精度な結果を示している．本研究では，Brody らの実験

4実験に使うデータセットは Automated Student As-

GATv2 を採用する．

sessment Prize (ASAP)，BERT は HggingFace の Trans-

提案モデル

formers に公開されている bert-base-uncased1）を使用

3した．データ数，ジャンル，エッセイの平均文章長，BERT を 用 い た 自 動 採 点 モ デ ル と 提 案 モ デル に つ い て 説 明 す る． 𝑗 番 目 の 解 答 デ ー タ を

得点値域を表 1 に示す．ASAP データセットは，指定されたテーマについて自分の意見を正当化する議

𝑥 𝑗 = {𝑤 𝑗0 , . . . , 𝑤 𝑗𝑛 𝑗 } と表す．解答データは改行を削論型，与えられた文書に関する問に回答する出典依除し 1 つの文にし，BERT の入力形式に合わせ文頭に [CLS]，文末に [SEP] を追加する．𝑤 𝑗𝑖 は 𝑥 𝑗 の 𝑖 番

語型の 3 つのエッセイ タイプで構成されている．

目のトークン，𝑛 𝑗 はエッセイ 𝑗 の総トークン数を示す．BERT を用いた自動採点は，BERT の最終層の出力の入力の [CLS] に対応する特徴ベクトル h [𝐶 𝐿𝑆 ]存型，特定のテーマについて物語を語ってもらう物
表 1 Kaggle ASAP データセットの統計量問題 ID データ数
ジャンル
平均長 得点値域
12345678を回帰もしくは分類モデルに入力し得点を予測する．多くの先行研究で回帰モデルが採用されているため本研究もそれに倣う．𝑥 𝑗 の得点を 𝑠 𝑗 ，線形変換を 𝐿𝑖𝑛(·)，シグモイド関数を 𝜎(·) として，BERT を用いた自動採点モデル（ベースライン）は式（2）のように表せる．式（1）の 𝑠 𝑗 と推定値 𝑠ˆ 𝑗 との平均二乗誤差（Mean Squared Error）を最小化することでモデルを最適化する．

1783
1800
1726
1772
1805
1800
1569
723

議論型
議論型
出典依存型
出典依存型
出典依存型
出典依存型
物語型
物語型

350
350
150
150
150
150
250
650

2-12
1-6
0-3
0-3
0-4
0-4
0-30
0-60

実験は，先行研究 [7] を参考に 5-fold 交差検証を用いた．学習は，最適化アルゴリズム Adam，バッチサイズは計算機環境の制約から４とし，earlystopping𝑁
1 ∑(𝑠𝑖 − 𝑠ˆ𝑖 ) 2
𝑁 𝑖=1(())
𝑠 𝑗 = 𝜎 Lin h [𝐶 𝐿𝑆 ], 𝑗argmin(1)(2)を採用した．dropout 率は BERT から線形変換への入力と線形変換から線形変換への入力に対し 0.5 と1） https://huggingface.co/bert-base-uncased― 3173 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 ASAP データセットの QWK（5-fold 交差検証の平均値）

問題 ID
Model

1

2

340.649

50.814 0.795

67

平均BERT

0.814 0.675

EASE+Argumentative Features[10]0.832 0.689−BERT+Logical Structures[14]0.815 0.672

0.693

0.816 0.809

0.814 0.829

0.717 0.771

BERT+Semantic Features[13]0.846 0.6980.684

0.675 0.795

0.704 0.711

0.668 0.723

GMFRM[26]0.837 0.679

0.670

0.738 0.797

0.785 0.789

0.710 0.756

Severity-ﬁxed GMFRM[26]0.831 0.667

0.665

0.738 0.797

0.773 0.788

0.710 0.746

BERT+GAT(sentArg)

0.803 0.682

0.645

0.818 0.810

0.810 0.816

0.729 0.764

BERT+GAT(mt-am[19])0.802 0.649

0.643

0.816 0.792

0.804 0.825

0.708 0.755

BERT+GAT (original graph)

0.811 0.673

0.668

0.810 0.790

0.814 0.818

0.703 0.761

BERT+GAT (random graph)

0.795 0.670

0.634

0.814 0.797

0.813 0.812

0.717 0.756

BERT linear3+GAT(sentArg)

0.827 0.667

0.697

0.815 0.807

0.807 0.827

0.726 0.772

BERT linear3+GAT(mt-am[19])0.807 0.681

0.683

0.816 0.806

0.809 0.821

0.703 0.766

BERT linear3+GAT (original graph)

0.807 0.686

0.698

0.823 0.796

0.805 0.826

0.696 0.767

BERT linear3+GAT (random graph)

0.820 0.656

0.685

0.810 0.8040.808 0.827

0.711 0.765−

0.811 0.8258−−−

0.713 0.762−−

した．開発データの loss を最小化し，テストデータ度だった．original graph よりも sentArg が高精度にの評価指標 QWK を算出した．

なことから，線形計画法で構造決定した方が良いと

実 験 は，提 案 手 法（BERT+GAT と BERT lin-考えられる．BERT+GAT よりも BERT linear3+GAT

ear3+GAT）を論理構造推定手法（sentArg と mt-am）の方が高精度なため，言語モデルの特徴量に別の特を変え検証した．sentArg は，線形計画法によりエッ徴量を追加する場合は直接結合せず間に線形変換をジの削除やループにならないように制限を課して挟んだほうが良いと考えられる．

いるが，それが正しいか不明なため線形計画法に入BERT+GAT は，ベースラインよりも問題８つの力前のグラフ（original graph）を用いた場合も検証

平均は高い結果となったが，問題１，３，６，７はした．

ベースラインを下回った．BERT linear3+GAT にお本研究で使用している ASAP データセットは，論理構造の要素や要素間の関係のアノテーションがいてもベースラインよりも平均は高いが，問題６が下回った．

ないため，推定結果の精度を検証できない．sentArg

本研究と類似したモデルである Yamaura ら [14] のは，従来手法と異なり論理構造の要素を文としてい結果と比較すると，問題１，３，８と平均値は BERTるため先行研究データを用いて精度検証することもlinear3+GAT, 問題２，４，５，８は BERT+GAT が上難しい．そこで，論理構造の要素および構造をラン回る結果となった．

ダムにしたグラフ（random graph）を入力することで提案手法の有効性を検証した．

5

おわりに6

本研究では，論理構造グラフを考慮した自動採点実験結果モデルを提案しその有効性を示した．しかし，論理実験結果を表 2 に示す．表中の数値は交差検証で構造を正しく推定できたか，それが精度にどう影響算出した問題 ID ごとの QWK の平均値，平均はモデするかなど十分な分析はできていないため今後の研ルごとの平均値を示す．BERT linear3+GAT(sentArg)究課題としたい．の 平 均 が 最 も 高 い 結 果 と な っ た．mt-am よ り もoroginal graph，さらに sentArg の方が高い結果となった．また，ランダムな構造（random graph）を追加した手法よりも oroginal graph，sentArg の方が高精

参考文献[1] Zixuan Ke and Vincent Ng. Automated essay scoring:
A survey of the state of the art. In IJCAI, Vol. 19, pp.
6300–6308, 2019.

― 3174 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

[2] Masaki Uto. A review of deep-neural automated essay
scoring models. Behaviormetrika, Vol. 48, No. 2, pp.
459–484, 2021.
[3] Dadi Ramesh and Suresh Kumar Sanampudi. An automated essay scoring systems: a systematic literature review. Artiﬁcial Intelligence Review, Vol. 55, No. 3, pp.
2495–2527, 2022.
[4] Yigal Attali and Jill Burstein. Automated essay scoringwith e-rater® v. 2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, 2006.
[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,and Illia Polosukhin. Attention is all you need. Advancesin neural information processing systems, Vol. 30, ,2017.
[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceed-Education, pp. 267–278. Springer, 2023.
[15] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceed-ings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-1105–1116, Berlin, Germany, August 2016. Associationfor Computational Linguistics.
Gaku Morio, Hiroaki Ozaki, Terufumi Morishita, andKohsuke Yanai. End-to-end argument mining with crosscorpora multi-task learning. Transactions of the Association for Computational Linguistics, Vol. 10, pp.
639–658, 2022.
Jianzhu Bao, Yuhang He, Yang Sun, Bin Liang, JiachenDu, Bing Qin, Min Yang, and Ruifeng Xu. A generativemodel for end-to-end argument mining with reconstructed
positional encoding and constrained pointer mechanism.
In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang,
editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp.
10437–10449, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.
Yohan Jo, Seojin Bang, Chris Reed, and Eduard Hovy.
Classifying argumentative relations using logical mechanisms and argumentation schemes. Transactions of theAssociation for Computational Linguistics, Vol. 9, pp.
721–739, 2021.
Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang,
Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li,and Maosong Sun. Graph neural networks: A review ofmethods and applications. AI open, Vol. 1, pp. 57–81,2020.
Thomas N Kipf and Max Welling. Semi-supervisedclassiﬁcation with graph convolutional networks. arXiv
preprint arXiv:1609.02907, 2016.
Petar Veličković, Guillem Cucurull, Arantxa Casanova,Adriana Romero, Pietro Lio, and Yoshua Bengio. Graphattention networks. arXiv preprint arXiv:1710.10903,
2017.
Shaked Brody, Uri Alon, and Eran Yahav. How attentive are graph attention networks? arXiv preprint
arXiv:2105.14491, 2021.
Masaki Uto, Itsuki Aomi, Emiko Tsutsumi, and Maomi
Ueno. Integration of prediction scores from various automated essay scoring models using item response theory.
IEEE Transactions on Learning Technologies, pp. 1–18, 2023.

lis, Minnesota, June 2019. Association for Computational
Linguistics.
[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings ofings of the 2014 conference on empirical methods
in natural language processing (EMNLP), pp. 46–56,

2014.
[16] Christian Stab and Iryna Gurevych. Parsing argumentation
structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619–659, 2017.
[17] Marco Lippi and Paolo Torroni. Argumentation mining:
State of the art and emerging trends. ACM Transactions
on Internet Technology (TOIT), Vol. 16, No. 2, pp. 1–25,
2016.
[18] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. InKatrin Erk and Noah A. Smith, editors, Proceedings ofthe 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.

[19]

[20]

the 2016 conference on empirical methods in natural language processing, pp. 1882–1891, 2016.

[8] Fei Dong and Yue Zhang. Automatic features for essay
scoring – an empirical study. In Proceedings of the2016 Conference on Empirical Methods in NaturalLanguage Processing, pp. 1072–1077, Austin, Texas,November 2016. Association for Computational Linguistics.
[9] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essayscoring. In Proceedings of the 21st Conference on[21]

Computational Natural Language Learning (CoNLL2017), pp. 153–162, Vancouver, Canada, August 2017.

Association for Computational Linguistics.
[10] Huy Nguyen and Diane Litman. Argument mining for improving the automated scoring of persuasive essays. Pro-[22]

ceedings of the AAAI Conference on Artiﬁcial Intelligence, Vol. 32, No. 1, Apr. 2018.

[11] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features.
In Proceedings of the 28th International Conference
on Computational Linguistics, pp. 6077–6088, 2020.
[12] Sayaka Nakamoto and Kazutaka Shimada. Automatedscoring of logical consistency of japanese essays. In International Conference on Artiﬁcial Intelligence in Education, pp. 652–658. Springer, 2023.

[23]

[24]

[25]

[13] Jianwei Li and Jiahui Wu. Automated essay scoring incorporating multi-level semantic features. In International Conference on Artiﬁcial Intelligence in Education, pp. 206–211. Springer, 2023.

[26][14] Misato Yamaura, Itsuki Fukuda, and Masaki Uto. Neuralautomated essay scoring considering logical structure. InInternational Conference on Artiﬁcial Intelligence in― 3175 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).