InterviewArena：情報量の欠損度合いに着目した不完全情報下での対話型推論能力ベンチマーク

付与された役割に沿った行動が期待されるため，人間の行動規範や相互作用・認知過程を大規模情報補完や属性に基づく推論という役割に依存言語モデル（LLM）に模倣させたり[1,2,3,4]，人しない純粋な推論能力を切り出した評価が困難狼ゲームのような会話と推理を中心としたパーである．ティーゲームの枠組み[5,6,7,8]を活用すること本研究では，面接に着想を得た新しい評価フで，LLMの推論能力を測定する評価手法が提案レームワークであるInterviewArenaを提案する．されている．人狼ゲームは村人の中に紛れ込ん現実の面接においては，志望者が実際には志望度だ人狼を，会話と推理を通じて見つけ出す正体が低いにもかかわらず，内定獲得のために高い志隠匿型・不完全情報ゲームである．LLM評価で望度を装って振る舞うことがある．一方で面接は，これを複数のLLMによるマルチエージェン官は志望者の真の志望度である志望者が知ってト型ベンチマークとして用い，相互対話・対戦いる企業情報を知らないが，辞退者を減らすた形式でモデル同士を競わせることで，各モデルめにも志望度の高い志望者を選抜したい．このの推論能力や戦略的行動の優劣を比較することように，面接は本質的に不完全情報下で相手のができる．ゲームに関する情報が一部隠されて欠損情報を推論する場である．本研究では，評∗共同筆頭著者価対象となるLLMを面接官役とし，志望者役の†責任著者org/licenses/by/4.0/).LLMの志望度合いを予測させることで，不完全情報下における欠損情報の推論能力を定量的に評価する．具体的には，架空の企業に関する複数の属性を設定し，それらの欠損度合いを志望度として解釈する．面接官LLMは対話を通じて志望者LLMの持つ情報量を推論し，その推論精度を指標化することで，LLMの推論能力を評価する．実験の結果，多くのモデルにおいて，面接ラウンドの進行に伴い人狼識別や順位付けの精度が向上した．一方，正解企業情報との照合を要する欠損項目の推定では，モデル間で顕著な性能差が見られた．