日本語小論文におけるルーブリックに対応した評価部分のZero-shot予測

本研究では，小論文自動採点を行うにあたり重要である，小論文内の得点に関係する評価部分の予測を行う．ルーブリックの評価部分に対応した日本語小論文の文書内構造の情報を正解データとし，複数のオープンウェイトLLMを用いZero-shotで評価部分の有無を予測させ，比較を行った．その結果から，従来の小論文自動採点の課題である学習データが大量に必要であること，採点根拠が不明瞭であることを解決するアプローチに繋がる点，及び各オープンウェイトLLMの特性と評価部分の有無についての予測可能性を明らかにした．