自然言語推論への応用を志向したセマンティックパージングの性能評価

セマンティックパージング(semanticparsing)は、自然言語表現をデータベースクエリや論理式などの構造化された表現に変換するタスクである。解析結果の活用先は文書分類[1]や質問応答[2]など多岐にわたり、自然言語推論もそのひとつである[3,4,5]。セマンティックパージングも他の自然言語処理タスクと同様、ニューラルネットワークを用いた手法が台頭している[6,7]。これらセマンティックパージングの手法の評価指標として、Smatch[8]が広く採用されている。Smatchは二つのグラフがどの程度一致しているかを測る指標であり、主にAbstructMeaningRepresentation(AMR)[9]に適用される。AMRは푅(푡1,푡2)の形式をとる原子命題の連言とみなすことができる。ある二つのAMRを푔1,푔2としたとき、푔1,푔2のSmatchは以下で計算される。