言語モデルを用いた看護師国家試験問題の誤答選択肢自動生成

現在，日本では資格試験におけるコンピュータ試験の利用が拡大している．資格試験は民間団体が行う試験と，医師や看護師，司法試験等の国家試験に分かれる．国家試験のうち，国が直接実施する試験ではコンピュータ利用が依然として遅れている．特に看護師国家試験において，コンピュータ利用の一つとして問題作成の自動化が挙げられるが，これらを実用的に行った例はまだなく，その可能性が期待されている．多肢選択式問題で構成される看護師国家試験においては，選択肢の質が試験全体の信頼性に大きく影響する．そのため，問題文や正解選択肢と同様に，誤答選択肢の作成にも十分な注意が必要である．誤答選択肢の作成は，問題作成者にとって重要かつ難易度の高い作業である．問題作成経験者によれば，誤答選択肢には排除するための必要な知識の根拠が明確であることが求められる．また，誤答選択肢は受験者がすでに学習した用語や概念で構成されるべきであり，架空の用語や造語は認められない．さらに，選択肢の中に二律背反のものが含まれることは，片方を安易に排除できる観点から望ましくない．このような理由から，誤答選択肢の設計には慎重な配慮が不可欠である．質の高い問題を一定数作成するためには，試験問題として扱われる数以上の問題作成が必要である．現在は問題作成者が慎重に吟味して作成しており，これにより問題の質は高く保たれているが，多量の問題作成には多くの人的負担と時間を要している．したがって有用な多肢選択式問題を自動生成することと，問題作成のための労力や作成時間を削減することは重要な課題である．大規模言語モデル(LLM:LargeLanguageModels)の汎用性の高さ[1]から，問題生成においてもLLMの利用例がある．GPT-3を用いて問題の自動生成と生成された候補の評価を行い，LLMによる効果的な問題生成の可能性が示されている[2]．さらに，ChatGPTが人間の専門家と同等の英語読解テスト問題を作成できるかを検証した結果，文章の自然さや表現については同等と評価された[3]．また看護学においては，看護師国家試験のための多肢選択式問題の自動生成にLLMを活用する試験的な取り組みが行われた[4]．以上の背景を踏まえ，看護学における，多肢選択式問題の誤答選択肢生成タスクに焦点を当て，LLMの利用とその効果について検証を行う．