ルーブリックに基づいたタグを付与した日本語小論文データの構築と自動採点への効果

大量の小論文を人間が平等に採点することは困難であり，またそれに伴う労力も大きい．近年，このような問題を解決するために，大規模言語モデルを用いた様々な小論文自動採点手法の研究が行われている．[1]しかし，小論文自動採点分野では，更なる精度の向上や，学習データを大量に必要にしてしまう点など様々な課題が見られる．そこで，小論文を自動で採点するにあたって，追加情報を与えることを考える．小論文は，基本的に各問題に対して採点基準(ルーブリック)を基準に採点が行われる．小論文の内容に関して得点を決める際，その要素が小論文の中にどの程度含まれるかによって得点が決まる．先行研究では，小論文の構造を扱った研究がある[1][2][3][4]が，ルーブリックで評価される部分を日本語の小論文に対して付与したデータを作成し，小論文自動採点を適用した研究は我々の知る限り見当たらない．このような背景から，本論文ではルーブリックに基づいたアノテーションを行ったデータを作成するとともに，そのアノテーション結果を自動採点に利用し，小論文のみを利用した自動採点手法と比較し，有効性を明らかにする．