事前学習済み言語モデルの知識に基づく演繹推論能力の調査

計算機を用いた論理推論の試みは，一階述語論理などの形式表現を用いたものに始まり，現代の自然言語処理分野に至るまで議論が続く重要な議題の1つである．自然言語処理分野では近年，インターネットの普及による大規模言語情報の蓄積やニューラルネットワークの実用化・大規模化に伴い，RNNやTransformer[1]といったニューラル言語モデル(以下，LM)の基盤となるアーキテクチャが実用化された．そして，それらの実用化に伴い，bAbItasks[2]などの自然言語で記述された推論問題を含むベンチマークに対し，高い性能を示すことを目的としたLMが複数提案されてきた[3,4,5]．なお，これらの提案では，訓練時に与えられた推論問題のデータをもとに推論のルールを学習し，評価時に入力された前提に対して推論を行うことができるといった推論能力をLMが獲得できることが前提として想定されている．しかしながら実際には，ブラックボックスであるLMによる推論の過程を追跡することは困難であり，ベンチマークにおける性能に関わらず，これまでに提案された言語モデルがそのような推論能力を実際に獲得できているかどうかは未だ明らかにされていない[6,7]．ここで，LMがベンチマークにおいて高い性能を示すにも関わらず，推論能力の獲得が十分でない可能性があると考える要因としては，(1)モデルに入力として与えられる問題・解答の偏りを用いたり，(2)入力文を推論訓練前の事前訓練によって獲得した知識と併用したりすることにより，適切な推論過程を経ずに解答を予測する「ショートカット」が発生することが挙げられる．本研究では図1に示すように，推論に必要な前提を，従来のベンチマークによる手法とは異なり，モデルへの入力ではなく事前学習した知識として与えた上で，結論に関するLMの振る舞いを観察する．すなわち，LMの推論能力のうち，ショートカットの問題が関与しない部分の調査を行うものとした．なお，本研究ではLMの推論能力を調査する足掛かりとして，演繹推論(Deductivereasoning,Deduction)に限定した調査を行った．ここで，演繹推論とは例えば「カラスは鳥である」「全ての鳥は卵を産む」という前提から「カラスは卵を産む」という結論を得る推論過程である．またこの推論過程では，帰納推論(Induction)やアブダクション(Abduction)1）などの他の論理推論過程と異なり，結論は与えられた前提のみを用いて断定的に導き出すことができる．したがって，推論訓練前の事前訓練(マスク穴埋めなど)において獲得した知識を必要としないため，ショートカットの発生と推論過程を切り分けることができる．