本稿ではFew-Shot学習を用い、学習時に未見の問題に対する日本語手書き答案の採点について検証した。手書き答案を人手及び自動のいずれかで書き起こしした解答データを、LLMに模範解答とのペアとして与えてFew-Shot学習を行い、類似度ベースで採点を行わせた。Few-Shot事例データには採点対象とは異なる設問に対する解答ペアを使用した。多くの場合で採点性能がZero-Shot学習時よりも向上し、Zero-Shot学習とFine-Tuningを行った場合の中間の性能を示すことが分かった。また、ノイズを含む自動書き起こし答案の採点には、Fine-Tuningを行った場合と比較してFew-Shot学習の性能は不十分であることが分かった。さらに、条件を変えていくつかの実験を行い、複数の知見が得られた。

近年、教育現場の業務負担軽減のため、自然言語処理技術を用いた採点プロセスの自動化が注目されている[1,2,3,4,5]。採点プロセスの完全自動化を実現する上での障壁はいくつかある。第一に、設問特化型(Instanceベース)モデルを訓練して採点する場合、設問ごとに数千以上もの採点済み答案データを訓練データとして用意する必要がある。そのため、学校のクラスのように採点すべき設問数が多く、設問当たりの解答数が少ない環境にはInstanceベースモデルの使用は向かない。この問題を解決するために、一つ以上のサンプル解答と比較することで、学習データが無いか少量でも採点可能な、類似度ベースの採点モデルが研究されている[6,7,8]。第二に、教育現場では手書きで答案を作成することが一般的であり、純粋な自然言語処理モデルでは直接採点できない。このため、まず画像処理モデルを用いて手書き文字認識(OCR)を行ってから採点モデルに入力する必要がある。この際、手書き答案の筆跡が乱雑である場合が多く、文字認識の精度によって採点精度が左右されるという課題がある。以上の二つの問題を踏まえた研究としてSaitoら[9]がある。この研究では、GPT-4oをFine-Tuningすることで、ノイズを含む手書き答案を高い精度で採点可能であることが示されている。一方で、GPT系モデルのFine-Tuningには高いコストがかかり、実用面で課題が残る。本研究では、より低コストで利用可能なFew-Shot学習を、未見の設問に対する手書き答案の類似度ベースの採点に適用し、Zero-Shot学習やFine-Tuningを行ったモデルとパフォーマンスを比較する。また、ノイズを含むデータを使用した場合の傾向について調査する。さらに、Few-Shot事例(以下、FS事例と略記)に関する条件を変更した場合の性能の変化についても検証する。