競技クイズにおけるLLMと人間の誤答傾向の分析と比較

大規模言語モデル（LLM）は質問応答など様々なNLPタスクにおいて，人間と同等以上の性能を示している．クイズに対しても，競技クイズのコンペティションであるAI王2）において9割以上の正答率を達成するシステムが登場するなど，人間を超える性能を達成している．しかし，LLMと人間の誤答傾向は異なっており，人間が正答しやすい容易な問題であっても，LLMが誤答するケースが散見される．LLMの誤答例を表1に示す．この問題は本研究で収集した人間の正答率付きクイズデータの中の1問である．人間の正答率は7割を超えているが，GPT-4oは全体としては非常に高性能であるにもかかわらず，「サイ」という誤った解答を出力する．このような現象はしばしば確認され，人間にとっての「難しさ」はLLMのそれとは異なる可能性が示唆される．これを明らかにすることは，LLMの特性を理解する手がかりとなる．先行研究では，問題形式がLLMの推論に及ぼす影響[1,2]や，クイズの解答時に人間がどのように1）本稿では，クイズの答えのことは「正解」と呼び，「正答」は人間やLLMの解答が正しかった場合を指す語として用いる．2）https://sites.google.com/view/project-aio/home問題文:元々は賭博用語で「ゾロ目」を意味する言葉で，今では同い年を指すときに用いられるカタカナ2文字の言葉は何？人間の正答率:0.73正解:タメ解答:サイ思考しているか[3]など，様々な認知的側面から分析されている．これに対して本研究では，人間とLLMの誤答傾向を比較・分析することにより，クイズにおける「人間にとって難しい問題」と「LLMにとって難しい問題」の違いを明らかにする．