この論文では、「現在の大規模言語モデルが論理推論をどれくらい正確に行うことができるのか」という問いを、特に大規模言語モデルが人間と同様の推論バイアスを示すかどうかという点に着目して探究する。論理推論として、論理学だけでなく認知科学の中で人間が自然に行う演繹推論の形式として広く研究されている三段論法に注目し、NeuBAROCOという三段論法データセットを導入する。このデータセットは、もともと三段論法を用いて人間の推論能力を評価する心理実験のために設計されたもので、英語と日本語の三段論法推論を含んでいる。現在の代表的な大規模言語モデルで実験を行った結果、現行のモデルは人間と同様の推論バイアスを示し、特に含意関係が含意でも矛盾でもない推論問題で大きな改善の余地があることが示唆された。

大規模言語モデル（LargeLanguageModel,LLM）が一定の成功を収め、社会の変化に直結するような基盤技術として期待が高まる一方で、それが従来のAIに期待されてきたような正確な推論を自然言語上でどれくらい行うことができるのかはいまだ明らかではない。この論文では、人間の自然な演繹推論の形式として広く研究されている三段論法に注目し、LLMの推論能力を検証するためのNeuBAROCOデータセットを導入する。このデータセットは、もともと三段論法を用いて人間の推論能力を評価する心理実験のために設計されたもので[1]、これを転用して、LLMが人間と同様のエラー傾向、すなわち、推論バイアスを示すかどうかを検証する。推論の認知科学研究[2,3,4]では、人間が様々な推論バイアスを示すことが多様な実験を通して明らかにされているが、その知見を活用して機械学習モデルの評価にも利用できる推論データセットを構築する試みは十分に進展していない。NeuBAROCOは、日本語と英語のパラレル推論データセットであり、各問題についてどのような推論バイアスが関連しているのか、詳細なタグが付与されている。またその一部には一連の心理実験[5,1]に基づいて、人間の正解率が対応付けられている。以下では、言語処理での三段論法推論の関連研究を紹介し（2節）、NeuBAROCOデータセットの特徴について説明した上で（3節）、このデータセットを用いて、代表的なLLMの推論能力を検証したベースライン実験の結果について報告する（4節）。