InterviewArena：情報量の欠損度合いに着目した不完全情報下での対話型推論能力ベンチマーク

ることで，LLMが情報の欠落や不確実性に直面本研究では，大規模言語モデル(LLM)に対しした際の推論・判断能力を測定できる点に大きて，志望度や企業知識が異なる複数の志望者が参な利点がある．こうした特性を生かした評価フ加する面接人狼を行わせ，その振る舞いを分析すレームワークとしては，WelfareDiplomacy[9]やる．各志望者は志望度に応じて企業情報の一部WerewolfArena[10]などが提案されており，ゲーが欠損しており，面接官LLMは複数ラウンドにム内のやり取りを通じて推論力・協調性・コミュわたる質問と回答の履歴から，最も志望度の低いニケーション能力など多面的な評価が行われて志望者である人狼の識別，志望度ランキング，おいる．また，不完全情報下での推論は日常生活よび知識欠損項目の推定を行うことで，従来のにおける意思決定でも頻繁に求められるため，知識依存型タスクと異なり嘘を見抜く洞察力をLLMのより人間らしい思考能力の評価として最評価することができる．実験の結果，多くのモ適である[11,12,13]．デルにおいて，面接ラウンドの進行に伴い人狼しかし，このようなマルチエージェント型ベン識別や順位付けの精度が向上した．一方，正解チマークにはいくつかの課題が存在する．第一企業情報との照合を要する欠損項目の推定では，に，各LLMの対話を通じた不完全情報の補完方モデル間で顕著な性能差が見られた．法である推論過程を，定量的かつ統一的な指標で評価することが難しい．第二に，モデルは事前に