競技クイズにおけるLLMと人間の誤答傾向の分析と比較

本稿では，競技クイズを題材として，問題文や正解1）の特性がLLMと人間の解答の正答率にもたらす影響について調査し，人間とLLMにおける「難しさ」の違いを明らかにする．人間の正答率が付与されたクイズデータを収集し，クイズの正解のWikipediaエントリが存在するか，正解の文字種が何であるか，問題文中で解答候補が列挙されているか，という3つの観点で分類する．GPT-4oなど6つのLLMにクイズを解答させ，各観点による分類ごとのLLMと人間の正答率の差を明らかにする．