プロンプトへのフレーム知識付与による推論タスクの性能向上

現在の大規模言語モデル(LLM)は，人間とは異なり身体的感覚や経験と結びついた知識を持っているわけではない[1]．その結果，共起や頻度に基づきアウトプットは生成できるが，出来事の背後にある意味を扱うことが難しい．FrameNet[2,3]は人間の経験に根ざした，人間の持つ言葉の意味に関する知識を記述した資源である．フレーム意味論[4,5]に基づいて，言葉の意味をフレーム知識(様々な出来事や行為に関する背景知識)として記述する．例えば英語の動詞buyとsellはいずれもCommercial_transactionフレーム（買い手と売り手が商品を貨幣と交換することに関する背景知識）を喚起すると捉える．現在のLLMはフレーム知識を部分的に内包している可能性が指摘されている[6]が，タスクにどのようなフレーム知識が有効かはまだ明らかになってはない．本研究は，フレーム意味論に基づくフレーム知識（フレーム名/フレーム要素/定義文）をプロンプトに埋め込み，LLMへのフレーム知識付与の有効性を検証する.具体的には，出来事の連続性や因果関係を判断する推論課題に対して，プロンプト内のフレーム知識の種類（フレーム名/要素/定義文）と付与範囲（主述語のみ/全内容語）を様々に変化させ，どの条件が出力の精度向上に貢献するかを調べた．本論文の貢献は以下の通りである．•フレーム知識をプロンプトに付与し，推論タスクでの有効性と，アノテーションの種類や範囲によって性能が変化することを示した．•構文情報やWordNetといった他の言語知識を付与する場合と比較して，フレーム知識の付与が高い推論性能をもたらすことを示した．