算術問題におけるニューラルモデルの構成的推論能力

未知の問題への汎化を達成する上で，問題の構成要素を捉え既知の知識を組み合わせる能力が重要となる．しかし，近年の言語モデルがどの程度構成性を捉えられているかは記号推論の文脈ではまだ明らかでない．そこで本研究は，多段算術記号推論データセットを用いた実験を行い，構成的推論能力の検証を行なう．具体的には，問題の複雑さを整理したスキルツリーを定義し統制的に分析する．実験の結果，言語モデルは体系性の習得が最も困難であり，単純な数式の組み合わせに対する汎化でさえ難しかった．また追加の分析から，入力系列に書かれない知識へのアクセスが必要な問題で，体系性に対する汎化が特に困難である明らかとなった．