論理構造グラフを用いた自動採点モデル

エッセイのような長文は複数の文章を含み，文章エッセイのように学習者に自身の考えを表現させ数が多くなるほど構成や論理構造などが複雑になりる解答構築型テストが古くから多くのテストや教材得点に大きく影響すると考えられる．そこで，本研で利用されている．しかし，採点および指導にかか究では，論理構造の情報を自動採点モデルに活用するコストが高く，採点品質（精度や再現性）の向上ることで，エッセイの得点の予測精度を向上させたと効率化（採点者の訓練費用と人件費の低減，採点い．NguyenとLitman[10]は，論証マイニングを用い期間短縮）が求められる．そのため，自然言語処理てエッセイの論理要素を推定し，自動採点に活用すや機械学習手法による自動採点を使いこれを実現する手法を提案している．ただし，このモデルは主張ることが考えられてきた．計算機に採点を代行させや前提の数などの統計量をモデルに追加しており，る自動採点研究の歴史は古く，これまでに多くの手論理構造は利用していない．Yamauraら[14]は，言法が提案されている[1,2,3]．語モデルのAttentionに論理構造情報を作用させた自動採点は，記述式解答データをテキスト化し言語モデルと文脈ベクトルを結合することで精度向たもの（以降，解答データ）と採点者がつけた得点上を達成している．のペアを入力データとして用いる．自動採点の基本研究では，論証マイニングを用いて解答データ本的な方法は解答データの特徴量（例えば，単語から論理構造のグラフ情報を推定し，そのグラフ構数，語彙数，文章数などの統計量）を抽出し，分類造を特徴として用いることができるGraphAttention―3171―.Network（GAT）を用いた自動採点モデルを提案する．本研究での実験では，従来の論理構造推定手法で得られる論理構造グラフを用いても高精度な結果とはならなかった．従来手法では節や句，単語の連なりを論理要素とするが，意味をなさない単語の連なりが推定されることが多かった．そこで，論理要素を含む文を論理要素として，文間の関係を推定し線形計画法により論理構造グラフを決定し提案モデルに入力する．本研究は，解答データの論理構造に着目する点でNguyenとLitman[10]やYamauraら[14]のモデルと類似している．特に，Yamauraら[14]のモデルと同様に言語モデルの出力に論理構造の情報を追加する点が類似している．本研究は論理構造の推定方法と論理構造グラフをGATの入力とする点が従来手法と異なる．著者の調査では，これまでに論理構造のグラフを用いた手法は自動採点では確認できなかった．ベンチマークデータで提案モデルの精度検証を行い，ベースモデルおよび従来モデルよりも高精度な結果となることを確認した．ベンチマークデータには論理構造の正解データが付与されておらず提案手法が論理構造が正しく推定できているか確認できないため，ランダムな論理構造を用いた場合も検証し，提案手法の方が高精度な結果となったことから有効性を示した．本研究の貢献は以下の通りである．1.言語モデルに論理構造グラフを用いた自動採点モデルを提案した．