Theoryofmindのベンチマーク指標は対話能力と関係があるのか？LLMにおける対話能力とTheoryofMindの相関分析

対話では，TheoryofMind（ToM）による相手の心的状態の推測が重要な役割を果たすと考えられる．大規模言語モデル（LLM）においても，ToMの向上が対話能力の改善をもたらすと期待されているが，ToMと対話能力の関係性についての定量的検証は不十分である．そこで本研究では，7種類の高性能なLLMを対象に，3つのToMベンチマーク（ToMBENCH，FANToM，Hi-ToM）と6つの対話タスクにおける性能を評価することで，ToM性能と対話能力の相関関係を実験によって調査した．その実験の結果，ToMと対話能力の間に相関関係が確認された．その一方で，評価するToMの側面によって相関の強さに違いが生じることも分かった．具体的には，会話形式で評価されるToMや直接信念を尋ねる質問形式で評価されるToMは対話能力とより高い相関を示すことが分かった．