ることで，LLMが情報の欠落や不確実性に直面本研究では，大規模言語モデル(LLM)に対しした際の推論・判断能力を測定できる点に大きて，志望度や企業知識が異なる複数の志望者が参な利点がある．こうした特性を生かした評価フ加する面接人狼を行わせ，その振る舞いを分析すレームワークとしては，WelfareDiplomacy[9]やる．各志望者は志望度に応じて企業情報の一部WerewolfArena[10]などが提案されており，ゲーが欠損しており，面接官LLMは複数ラウンドにム内のやり取りを通じて推論力・協調性・コミュわたる質問と回答の履歴から，最も志望度の低いニケーション能力など多面的な評価が行われて志望者である人狼の識別，志望度ランキング，おいる．また，不完全情報下での推論は日常生活よび知識欠損項目の推定を行うことで，従来のにおける意思決定でも頻繁に求められるため，知識依存型タスクと異なり嘘を見抜く洞察力をLLMのより人間らしい思考能力の評価として最評価することができる．実験の結果，多くのモ適である[11,12,13]．デルにおいて，面接ラウンドの進行に伴い人狼しかし，このようなマルチエージェント型ベン識別や順位付けの精度が向上した．一方，正解チマークにはいくつかの課題が存在する．第一企業情報との照合を要する欠損項目の推定では，に，各LLMの対話を通じた不完全情報の補完方モデル間で顕著な性能差が見られた．法である推論過程を，定量的かつ統一的な指標で評価することが難しい．第二に，モデルは事前に

付与された役割に沿った行動が期待されるため，人間の行動規範や相互作用・認知過程を大規模情報補完や属性に基づく推論という役割に依存言語モデル（LLM）に模倣させたり[1,2,3,4]，人しない純粋な推論能力を切り出した評価が困難狼ゲームのような会話と推理を中心としたパーである．ティーゲームの枠組み[5,6,7,8]を活用すること本研究では，面接に着想を得た新しい評価フで，LLMの推論能力を測定する評価手法が提案レームワークであるInterviewArenaを提案する．されている．人狼ゲームは村人の中に紛れ込ん現実の面接においては，志望者が実際には志望度だ人狼を，会話と推理を通じて見つけ出す正体が低いにもかかわらず，内定獲得のために高い志隠匿型・不完全情報ゲームである．LLM評価で望度を装って振る舞うことがある．一方で面接は，これを複数のLLMによるマルチエージェン官は志望者の真の志望度である志望者が知ってト型ベンチマークとして用い，相互対話・対戦いる企業情報を知らないが，辞退者を減らすた形式でモデル同士を競わせることで，各モデルめにも志望度の高い志望者を選抜したい．このの推論能力や戦略的行動の優劣を比較することように，面接は本質的に不完全情報下で相手のができる．ゲームに関する情報が一部隠されて欠損情報を推論する場である．本研究では，評∗共同筆頭著者価対象となるLLMを面接官役とし，志望者役の†責任著者org/licenses/by/4.0/).LLMの志望度合いを予測させることで，不完全情報下における欠損情報の推論能力を定量的に評価する．具体的には，架空の企業に関する複数の属性を設定し，それらの欠損度合いを志望度として解釈する．面接官LLMは対話を通じて志望者LLMの持つ情報量を推論し，その推論精度を指標化することで，LLMの推論能力を評価する．実験の結果，多くのモデルにおいて，面接ラウンドの進行に伴い人狼識別や順位付けの精度が向上した．一方，正解企業情報との照合を要する欠損項目の推定では，モデル間で顕著な性能差が見られた．