自然言語推論への応用を志向したセマンティックパージングの性能評価

本研究は、セマンティックパージングで広く採用されている、Smatchをはじめとするグラフマッチングによる評価指標が、セマンティックパージングの主たる下流タスクのひとつである自然言語推論における性能を必ずしも保証しないということを示すものである。上記を示すために、ファインチューニングおよびIn-contextlearningに基づくパーザを構築し、グラフマッチングによる評価と自然言語推論を志向した評価をそれぞれのパーザに適用した。結果として、グラフマッチングによる評価と自然言語推論への応用可能性との間にはギャップがあるということを報告する。