JSONFOL:JSON形式論理式によるニューロシンボリック推論

言語モデルの基本的な能力である論理推論能力は，これまで様々な手法で評価および改善が図られてきた．その手法の1つであるニューロシンボリック手法では，最終的な判定を外部の定理証明器に任せることで，判定の性能および説明性を向上させる．ところが先行研究では定理証明器に関する専門的な知識が求められ，公平な評価が困難である．加えてエラー分析も論理式単位の荒い粒度のみと限定的だった．本研究では，まず公平な評価を実現するため，汎用的なスキーマであるJSONで論理を扱うJSONFOLを提案し，その上で項単位での詳細なエラー分析を行った．その結果，対偶式の否定の位置や，式の局所的な複雑性などの局所的な要因が最終的な判定誤りの原因となることを明らかにした．またJSONFOLでは最終的な判定を外部で行うため判定誤りを回避できることも判明した．