本研究では，心の理論を包括的かつ実応用に近い設定で評価可能なベンチマークであるToMATOを提案する．ToMATOはLLM同士の情報の非対称性のある対話によって生成される．ToMATOは信念，意図，願望，感情，知識の5類型の心的状態及びそれらについての誤信念の理解を包括的に評価できる．さらに対話を入力とし，登場人物の多様な性格特性への頑健性を評価できる点で実応用の設定に近い．実験によって，特に誤信念の理解において最新のLLMでも精度が人間に劣ること等を示す．

心の理論（TheoryofMind;ToM）は他者の信念や意図，願望，感情，知識などの観測不可能な心的状態を推定する能力である[1,2]．機械の心の理論を評価するために多くのベンチマークが提案されてきた[3–6]が，評価できる心的状態の種類が限られるなどの観点で実応用の設定と乖離していた[7]．本研究では，心の理論を包括的かつ実応用に近い設定で評価可能なベンチマークであるToMATO(Theory-of-MinddATasetgeneratedviainnerspeechprOmpting)を提案する1）．まず，ToMATOは信念，意図，願望，感情，知識の5類型の1次(Athinks/will/wants/feels/knowsX)と2次(BthinksthatAthinks/will/wants/feels/knowsY)の心的状態の理解を包括的に評価できる．次に，5類型の心的状態についての誤信念の理解(e.g.,BthinksthatAfeelsrelieved,whileAfeelsfrustrated.)を評価できる．図1に感情についての誤信念の例を示す．さらに，ToMATOは実世界で見られるような登場人物の多様な性格特性に対する頑健性を評価できる．ToMATOと既存ベンチマークの詳細な比較を表2に示す．1）データセットとコードはhttps://github.com/nttmdlab-nlp/ToMATOで公開する．