SIPeN:パーソナルナラティブから構築された尺度推意ベンチマーク

心の理論（TheoryofMind;ToM）は,思考,信念,意図や目的といった他者の心の状態を理解する能力である[1].人工知能がToMを持つかどうかという問題は,認知科学分野を中心に長きにわたり議論されている重要な問題である.近年の大規模言語モデル（LLM）の急速な発展に伴い,LLMがToMをどの程度獲得できているかについて,様々な分析が進められている.ToMの分析に用いられる推論課題の一つが,尺度推意(scalarimplicature)という，数量表現などの尺度表現を含む発話が文字通りの意味とは異なる意味を伝達する推意である.尺度推意は，前提が真であるとき仮説も必ず真なら含意,偽なら矛盾,どちらともいえないなら中立を判定する,自然言語推論タスクでも扱われている推論の一つである．例として，次の前提(1)と仮説(2)について考えよう.(1)Heatesomeoftheoranges.(2)Heatealloftheoranges.(1)について，話者は過不足なく情報を与えるべきというGriceの量の格率に基づくと,わざわざsomeと発話した話者の意図に従って「すべてのオレンジを食べたわけではない」ということが推論される．したがって,(1)に対して(2)は矛盾となる.先行研究[2]によりLLMの尺度推意の性能が低いことが示されている一方で,既存の尺度推意のベンチマークはテンプレートを用いた人工的なデータが中心であり[2,3,4],自然なテキストデータの尺度推意の推論能力は明らかでない.そこで本研究では,日常的な事柄に関する個人の語り（パーソナルナラティブ）のデータから,尺度推意の推論能力を評価するベンチマークSIPeN（ScalarImplicatureofPersonalNarratives）を構築する.このデータセットでは,尺度表現が品詞に基づいて3つのカテゴリに分類されており,それぞれの尺度推移における推論能力の違いを分析できる.また,尺度表現の強弱や変化の段階数を制御することで,尺度推意の推論能力の一貫性を測定できる.実験ではSIPeNを用いて,GPT-4oとLlama3.1を評価する.結果として,量化詞と形容詞に関する尺度推意の推論能力が低いこと,また尺度表現の強弱や段階性において一貫性を欠く推論傾向が明らかになった.