算術問題におけるニューラルモデルの構成的推論能力

近年，ニューラルモデルに関する技術の発展により機械による自然言語理解は大きく進歩し，多くのタスクがニューラルモデルによって解決されるようになってきた．しかし，言語処理を行う上で必要な要素の1つである記号推論能力のニューラルモデルとの融合については，重要な目標の1つとして[1,2]調査が進行中である[3]．現状，ニューラルモデルがどの程記号推論を実現については相反する結果が報告されている．例えば，ニューラルモデルが多段推論をある程度解くことができると報告する研究もある一方[4]，単純な記号演算を行うことさえ困難であるとするものも存在し[5]，どのような観点・条件において，どの程度の推論が実現可能なのかといった統制的な分析が必要とされている．本研究では，多段算術記号推論データセットを用い，問題の複雑さを制御しながらニューラルモデルの多段推論能力を評価する．特に，未知の問題へのA=1+2,B=2+3,B=?A=1,B=2,B=?A=1+2,A=?体系性⽣産性A=1,B=A+1,C=B+2,C=?A=1,B=A+1,B=?代⼊可能性α=1,β=2,γ=?A=1,B=2,B=?(学習データ)(評価データ)汎化の際に重要となる構成性に焦点を当てて分析を行う．具体的には，図1に示すように，(i)体系性，(ii)生産性，(iii)代入可能性という3つの構成性を軸として調査を行い，単純な問題設定で学習したモデルが，そこで学習した要素を組み合わせ一段複雑な問題を解けるかという，言語モデルの構成的な汎化性能を評価する．モデルの能力を系統的に調査するために，図2に示すように，算術記号推論の複雑さを階層的に定義した構成性に関するスキルツリーを導入する．(スキルツリーは教育学の分野において，段階的な学習過程を可視化するための手法を示す用語である[6]．)この階層を足がかりに，ニューラル言語モデルの構成的なの限界を明らかにする．主な実験結果は以下の通りである．•3種類の構成性の中で体系性への汎化が最も困難であり，比較的単純な組み合わせであっても汎化を達成することが困難である．•特に，入力系列中に明示されていない知識を要する問題において体系性に対する汎化への困難度が増す．•本実験の範囲では，途中の推論過程をモデルに学習させた場合であっても，モデルが体系性を捉えることは困難であった．.