読者はどこでつまずく？生成多肢選択式問題を用いた医学研究データセット

専門性の高い医学研究成果を一般読者に分かりやすく伝える上で，読者のつまずく箇所を特定しにくいことは大きな障壁である．この課題に対し，本研究では論文の構成要素（目的，方法等）に基づく設問レベルの難易度評価データセットを構築した．LLMで生成した350問の多肢選択式問題に対し一般読者の回答を大規模に収集し，項目反応理論により各設問の難易度を算出した．このデータセットに対して，LLMによる推定と比較した結果，人間とLLMの相関係数は0.1と低いことが分かった．本データセットは，読者がつまずきやすい箇所を特定する研究の基盤を提供するものである.