本稿では，競技クイズを題材として，問題文や正解1）の特性がLLMと人間の解答の正答率にもたらす影響について調査し，人間とLLMにおける「難しさ」の違いを明らかにする．人間の正答率が付与されたクイズデータを収集し，クイズの正解のWikipediaエントリが存在するか，正解の文字種が何であるか，問題文中で解答候補が列挙されているか，という3つの観点で分類する．GPT-4oなど6つのLLMにクイズを解答させ，各観点による分類ごとのLLMと人間の正答率の差を明らかにする．

大規模言語モデル（LLM）は質問応答など様々なNLPタスクにおいて，人間と同等以上の性能を示している．クイズに対しても，競技クイズのコンペティションであるAI王2）において9割以上の正答率を達成するシステムが登場するなど，人間を超える性能を達成している．しかし，LLMと人間の誤答傾向は異なっており，人間が正答しやすい容易な問題であっても，LLMが誤答するケースが散見される．LLMの誤答例を表1に示す．この問題は本研究で収集した人間の正答率付きクイズデータの中の1問である．人間の正答率は7割を超えているが，GPT-4oは全体としては非常に高性能であるにもかかわらず，「サイ」という誤った解答を出力する．このような現象はしばしば確認され，人間にとっての「難しさ」はLLMのそれとは異なる可能性が示唆される．これを明らかにすることは，LLMの特性を理解する手がかりとなる．先行研究では，問題形式がLLMの推論に及ぼす影響[1,2]や，クイズの解答時に人間がどのように1）本稿では，クイズの答えのことは「正解」と呼び，「正答」は人間やLLMの解答が正しかった場合を指す語として用いる．2）https://sites.google.com/view/project-aio/home問題文:元々は賭博用語で「ゾロ目」を意味する言葉で，今では同い年を指すときに用いられるカタカナ2文字の言葉は何？人間の正答率:0.73正解:タメ解答:サイ思考しているか[3]など，様々な認知的側面から分析されている．これに対して本研究では，人間とLLMの誤答傾向を比較・分析することにより，クイズにおける「人間にとって難しい問題」と「LLMにとって難しい問題」の違いを明らかにする．