SIPeN:パーソナルナラティブから構築された尺度推意ベンチマーク

心の理論とは,他者の心の状態や意図を理解する能力である.近年,大規模言語モデル（LLM）の発展に伴い,その能力を評価するための分析が進められている.その中でも,尺度表現に対して聞き手が文字通りの意味を超えた推論を行う「尺度推意」は注目される課題の一つである.しかし,これまでの研究では,自然なテキストに基づく評価は十分に行われていなかった.そこで本研究では,尺度推意に関する自然なテキストデータセットを構築し,LLMの尺度推意の推論能力を評価する.結果から,GPT-4o,Llama3.1の尺度推意の推論能力には改善の余地があることを明らかにした.