看護師国家試験一般問題の誤答選択肢自動生成手法の検討

多肢選択肢問題では，正解ではないがもっともらしい，回答者を惑わす選択肢である誤答選択肢が重要である.誤答選択肢は人手による作成コストが高く，自動生成による作問者補助が期待されている.本研究では，看護師国家試験の一般問題を対象に，誤答選択肢同士の多様性に着目し，妥当かつより多様な誤答選択肢を生成する手法を提案する.提案手法では，LLMによる生成結果の多様性を高めるためにtemperatureを高い値に設定し，複数のtemperatureで得られた候補を集約する.加えて，LLM-as-a-Judgeにより非妥当な誤答選択肢を除外し，適切な誤答選択肢を抽出する.本手法により，実際の試験問題と同程度の多様性を持つ誤答選択肢を，高い品質を維持しながら作成できることを示した.