JSONFOL:JSON形式論理式によるニューロシンボリック推論

大規模言語モデル（LargeLanguageModel,LLM）は様々なタスクで高い性能を見せており[1,2,3,4]，これに伴って幅広い言語能力の基礎となる論理推論能力の向上も期待されている[5,6,7]．しかしながら，否定を含む推論や命題数の多い推論など複雑な推論で性能が低下する[8,9,10]，推論過程がブラックボックス的で説明性が低い等の課題もある．これを解決する方針の1つにニューロシンボリック手法がある[11,12,13]．論理推論タスクの最終的な正誤判定を外部の定理証明器に任せ，LLMには論理式のコードのみを生成させることで，既存手法よりも高い性能を記録している．ところがニューロシンボリック手法にも課題がある．LLMには定理証明器に関する専門的な知識が要求されるため，LLMの論理推論能力の公平な評価ができない．加えて既存研究では否定の有無や命題数など論理式単位での比較的荒い分析しか行われず，より局所的な部分論理式による影響の評価までは至っていない．本研究ではまず，公平な評価が可能なニューロシンボリック手法としてJSONFOLを提案する．JSONFOLは汎用的なスキーマであるJSONによって一階述語論理を表現できるため，言語モデルに専門的な知識の理解を要求せず論理推論能力を公平に評価できる．そして粒度の細かい分析のために，部分論理式単位での差分データを豊富に含むAAC[14]をデータセットとして使い分析を行った．実験の結果，通常の推論では対偶式の否定の位置や局所的な複雑性など，一部の部分論理式が最終的な判定の誤りの原因となると判明した．加えてJSONFOLの，最終的な判定をモデル内部では実行しない構造が，部分論理式による誤りの改善に貢献することも明らかになった．