Theoryofmindのベンチマーク指標は対話能力と関係があるのか？LLMにおける対話能力とTheoryofMindの相関分析

近年，大規模言語モデル（LLM）をベースとした対話システムは，多様な対話タスクにおいて目覚ましい性能向上を示している[1,2]．より人間らしい高度な対話能力を実現するためには，単なる言語処理能力の向上だけでなく，相手の心的状態を理解し推論する能力，すなわちTheoryofMind（ToM）が不可欠だと考えられている[3,4]．LLMのToMを向上させるため，ToMを評価するベンチマークが数多く提案されてきた[5,6,7,8,9,10,11]．これらのベンチマークでは，LLMに物語や対話履歴を提示し，登場人物の信念や意図などの心的状態に関する質問応答を行うことでToMを評価する．こうしたベンチマークによっ結果の相関を分析する実験フレームワークてToMを向上させることで，タスク達成に向けて相手とコミュニケーションを行う対話能力の向上が期待されている．しかし，こうした期待がある一方で，LLMのToMベンチマーク性能と対話能力の関係性は定量的に検証されておらず，LLMのToMベンチマークにおける性能改善が対話能力の改善につながるかは明らかではない．そこで，本研究では既存のToMベンチマークが対話において必要となるToMをどの程度正確に捉えられているかを定量的に検証する．具体的には，7種類の最先端LLMを対象に，3つの異なるToMベンチマーク（Hi-ToM[12]，FANToM[13]，ToMBENCH[14]）と6つの対話タスク（Taboo，Wordle，Drawing，ReferenceGame，Private&Shared，MutualFriends）での性能を評価し，ToMと対話能力の相関関係を調査する．