ToMATO:心の理論ベンチマークのためのロールプレイングLLMの心的状態の言語化

心の理論（TheoryofMind;ToM）は他者の信念や意図，願望，感情，知識などの観測不可能な心的状態を推定する能力である[1,2]．機械の心の理論を評価するために多くのベンチマークが提案されてきた[3–6]が，評価できる心的状態の種類が限られるなどの観点で実応用の設定と乖離していた[7]．本研究では，心の理論を包括的かつ実応用に近い設定で評価可能なベンチマークであるToMATO(Theory-of-MinddATasetgeneratedviainnerspeechprOmpting)を提案する1）．まず，ToMATOは信念，意図，願望，感情，知識の5類型の1次(Athinks/will/wants/feels/knowsX)と2次(BthinksthatAthinks/will/wants/feels/knowsY)の心的状態の理解を包括的に評価できる．次に，5類型の心的状態についての誤信念の理解(e.g.,BthinksthatAfeelsrelieved,whileAfeelsfrustrated.)を評価できる．図1に感情についての誤信念の例を示す．さらに，ToMATOは実世界で見られるような登場人物の多様な性格特性に対する頑健性を評価できる．ToMATOと既存ベンチマークの詳細な比較を表2に示す．1）データセットとコードはhttps://github.com/nttmdlab-nlp/ToMATOで公開する．