大規模言語モデルによる和文英訳問題の自動採点

本研究では，L2学習においてよく用いられる和文英訳問題を対象とし，大規模言語モデル(LLM)を用いた記述式答案の自動採点手法を提案する．LLMによるfew-shotの文脈内学習を行うことで，既存採点モデルの運用面での課題の解決を試みた．モデルの採点性能を測定するため，実験では，モデルの予測得点と人手の採点結果の一致率を算出した．実験の結果，LLMの採点性能は少量の学習データを用いた教師あり学習に基づく既存手法を下回った．さらにエラー分析によって，LLMが採点タスクを適切に解釈できていない可能性も示唆された．これらの結果は，現行の最先端LLMが本タスクにおける難易度と挑戦性を有していることを明らかにした．