Few-Shot学習を用いた未見の設問に対する手書き答案の採点

近年、教育現場の業務負担軽減のため、自然言語処理技術を用いた採点プロセスの自動化が注目されている[1,2,3,4,5]。採点プロセスの完全自動化を実現する上での障壁はいくつかある。第一に、設問特化型(Instanceベース)モデルを訓練して採点する場合、設問ごとに数千以上もの採点済み答案データを訓練データとして用意する必要がある。そのため、学校のクラスのように採点すべき設問数が多く、設問当たりの解答数が少ない環境にはInstanceベースモデルの使用は向かない。この問題を解決するために、一つ以上のサンプル解答と比較することで、学習データが無いか少量でも採点可能な、類似度ベースの採点モデルが研究されている[6,7,8]。第二に、教育現場では手書きで答案を作成することが一般的であり、純粋な自然言語処理モデルでは直接採点できない。このため、まず画像処理モデルを用いて手書き文字認識(OCR)を行ってから採点モデルに入力する必要がある。この際、手書き答案の筆跡が乱雑である場合が多く、文字認識の精度によって採点精度が左右されるという課題がある。以上の二つの問題を踏まえた研究としてSaitoら[9]がある。この研究では、GPT-4oをFine-Tuningすることで、ノイズを含む手書き答案を高い精度で採点可能であることが示されている。一方で、GPT系モデルのFine-Tuningには高いコストがかかり、実用面で課題が残る。本研究では、より低コストで利用可能なFew-Shot学習を、未見の設問に対する手書き答案の類似度ベースの採点に適用し、Zero-Shot学習やFine-Tuningを行ったモデルとパフォーマンスを比較する。また、ノイズを含むデータを使用した場合の傾向について調査する。さらに、Few-Shot事例(以下、FS事例と略記)に関する条件を変更した場合の性能の変化についても検証する。