ToMATO:心の理論ベンチマークのためのロールプレイングLLMの心的状態の言語化

本研究では，心の理論を包括的かつ実応用に近い設定で評価可能なベンチマークであるToMATOを提案する．ToMATOはLLM同士の情報の非対称性のある対話によって生成される．ToMATOは信念，意図，願望，感情，知識の5類型の心的状態及びそれらについての誤信念の理解を包括的に評価できる．さらに対話を入力とし，登場人物の多様な性格特性への頑健性を評価できる点で実応用の設定に近い．実験によって，特に誤信念の理解において最新のLLMでも精度が人間に劣ること等を示す．