大規模言語モデルの性能に伴って向上しない意図推定能力は認知モデルと統合することで向上する

大規模言語モデルは，スケールアップに基づく性能向上を遂げてきた[1,2]．しかし，発話に含まれる明示的な情報だけでなく発話者の意図や過去の文脈を考慮するなど，言外の意味を読み取る必要があるコミュニケーションにおいて十分な性能を発揮できていない[3,4,5]．例えば，「この部屋寒いね」という発話には，単に部屋が寒いという事実を述べているだけでなく，「空調を調整してほしい」といった言外の意味も含まれる場合がある．このようなコミュニケーションは語用論と呼ばれる言語学の分野で研究されており，皮肉や比喩といった表現もその一例である[6,7,8]．また，大規模言語モデルは心の理論における他者の意図などの心的状態を推定する能力が不十分という報告が多くある．例えば，Sally–Anne課題に代表される誤信念課題において，大規模言語モデルは信念と事実を適切に区別できず，誤信念を含む状況で性能が大きく低下することが指摘されている[9]．また，社会常識を要する推定においても，人間より大幅に性能が低い[10]．し（自己が思う）他者のIntention自己のIntention意図推定意図生成（自己が思う）他者のDesire（自己が思う）他者のBelief自己のDesire自己のBelief発話生成自己他者自己の発話他者の発話Aかし，誤信念課題を体系的に用いた評価において，課題の種類や条件によっては，大規模言語モデルが6歳児程度の性能を示すとの報告もある[11]．近年では誤信念処理の改善を図る試み[12]がなされているが，今後大規模言語モデルがスケールアップして性能向上するに従って，意図推定に関する能力も順当に向上するかは定かではない．一方で，人間は発達の過程で意図推定能力を向上させていることがよく知られている．3歳前後までは誤信念課題の正答が困難である一方，4歳ごろになると他者の誤った信念を理解できるようになる[14]．Bratmanは，人間の目標を達成するための行動選択を，信念(Belief)・願望(Desire)・意図(Intention)の3つの心的状態を通して説明する意図の理論[15]を提唱している．またGeorgeﬀらはこの意図の理論に基づき，信念・願望・意図の状態遷移を通して人間の行動選択や意思決定するBDIモデルを提案している[16]．このような人間の認知プロセスに関するモデルの総称を認知モデル[17,18]と呼ぶ．大規模言語モデルが行う2者間対話において，意図の理論Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).LWB破綻CEL破綻LEC破綻LWBCELLEC1.21.2LWB破綻CEL破綻LEC破綻LWBCELLEC11成功率と破綻率成功率と破綻率0.80.80.60.60.40.40.20.20000.51.0(default)1.5