日本語小論文におけるルーブリックに対応した評価部分のZero-shot予測

大量の小論文を人間が平等に採点することは困難であり，また採点にかかる労力も大きい．近年，この問題を解決するために，大規模言語モデルを用いた様々な小論文自動採点手法の研究が行われている．しかし，小論文自動採点には，更なる精度の向上や，学習データを大量に必要にしてしまう点など様々な課題が見られる．そこで，本研究では学習データを大量に必要にしてしまう点に着目し，Zero-shotで小論文を採点するための要素の有無を予測する手法について考える．先行研究では，大規模言語モデルを用いた小論文の評価においてモデルのファインチューニングを行っているもの[1][2][3][4]が存在する．しかし，小論文自動採点の実利用を考えた際，採点対象の小論文の一部が既に採点済である事象は考えにくい．そのため，本研究では一貫してZero-shotで実験を行う．また，小論文は基本的に採点基準(ルーブリック)を基準に採点が行われる．ある小論文の得点を決定する際，その小論文内にルーブリックに記載されている評価部分がどの程度含まれるかによって判断される．先行研究では，小論文の構造やルーブリックに着目した研究[2][3][5][6][7]があるが，ルーブリックの評価部分がアノテーションされたデータを用い，日本語小論文自動採点にZero-shotでアプローチした例は我々の知る限り見当たらない．このような背景から，本論文ではルーブリックに基づいた評価部分のアノテーションがされた日本語小論文データを正解データとして用い，Zero-shotでの小論文内にルーブリックの評価部分が存在するか否かの予測可能性を複数のオープンウェイトLLMで検証・比較し、その有効性を明らかにする．