ニューラル記号推論における推論過程の教示方法

ニューラルネットワークという「柔らかい」道具立ての上で記号的推論が実現可能かについては，人工知能分野における根幹的な問いである．本研究では，ニューラル系列変換モデルで多段数量推論を実現できるのかという例題のもと，適切な推論過程の教示方法を選択することで，少なくとも我々の設定内では記号推論が実現可能であることを示す．近年，ニューラルモデルに推論過程を生成させることで，数量推論[1,2,3,4,5]，常識推論[1,6]，記号推論問題[1,3]など様々な設定において性能が向上することが示された．しかしながら，どの様に推論を行うかなどは暗黙的に決定されるなど，しばしば限定的な設定が課されている．実験では推論過程の教示方法について，出力戦略と推論戦略の2軸に分解し，ニューラルモデルに形式的な推論を行わせる際の適切な設定を調査する（図1）．出力戦略（§2.2）は，推論過程生成の粒度（一遍出力,ステップ出力,文字出力）を指す．既存研デルの多段推論の学習可能性に大きく影響する．究では様々な方法が採用されており，統制的な分析はなされていない．例えば，推論過程とそこから導かれる結論を一度に生成させる形式[1,3,4,5,6,7]，推論過程をある程度生成し，結論が出るまで繰り返す形式[8,9,10]，推論過程と共にサブゴールも繰り返し生成する形式などがある[11,12]．推論戦略（§2.3）は推論を行う順番・内容（最短経路,全探索経路,後向き＋最短経路）を指す．例えば，質問内容から逆向きに手がかりを探索し，見つけた手がかりを用いて推論を行う手法や（後向き＋最短経路）[9,13,14]，与えられた文脈に対して網羅的に推論を行う形式もある[10,11,15]．数量推論問題を通して，ニューラルモデルで記号推論を学習する際にどの様な戦略の組み合わせが有効を調査した．ただし，この形式言語によって構成された純粋な設定は自然言語上においても記号推論を行うための必要条件を明らかにする事を目的としている．実際，この純粋な数量推論問題が解けないモデルが，より複雑な問題で適切な汎化を達成するとは期待できない．実験の結果，各形式の選び方がニューラル系列変換モデルの記号推論性能に大きく影響することを発見し，少なくとも本実験設定範囲内では，推論の深さ方向の外挿に対してほぼ完璧な汎化を達成する戦略の組み合わせがある事を明らかにした．.(a)一遍出力:一度の入力に対して，推論過程全体と答えを出力する．ステップ出力:1つの推論ステップを繰り返し出力する．文字出力:1文字を繰り返し出力する．