本研究は、セマンティックパージングで広く採用されている、Smatchをはじめとするグラフマッチングによる評価指標が、セマンティックパージングの主たる下流タスクのひとつである自然言語推論における性能を必ずしも保証しないということを示すものである。上記を示すために、ファインチューニングおよびIn-contextlearningに基づくパーザを構築し、グラフマッチングによる評価と自然言語推論を志向した評価をそれぞれのパーザに適用した。結果として、グラフマッチングによる評価と自然言語推論への応用可能性との間にはギャップがあるということを報告する。

セマンティックパージング(semanticparsing)は、自然言語表現をデータベースクエリや論理式などの構造化された表現に変換するタスクである。解析結果の活用先は文書分類[1]や質問応答[2]など多岐にわたり、自然言語推論もそのひとつである[3,4,5]。セマンティックパージングも他の自然言語処理タスクと同様、ニューラルネットワークを用いた手法が台頭している[6,7]。これらセマンティックパージングの手法の評価指標として、Smatch[8]が広く採用されている。Smatchは二つのグラフがどの程度一致しているかを測る指標であり、主にAbstructMeaningRepresentation(AMR)[9]に適用される。AMRは푅(푡1,푡2)の形式をとる原子命題の連言とみなすことができる。ある二つのAMRを푔1,푔2としたとき、푔1,푔2のSmatchは以下で計算される。