NeuBAROCOデータセットによる大規模言語モデルの推論能力の検証

大規模言語モデル（LargeLanguageModel,LLM）が一定の成功を収め、社会の変化に直結するような基盤技術として期待が高まる一方で、それが従来のAIに期待されてきたような正確な推論を自然言語上でどれくらい行うことができるのかはいまだ明らかではない。この論文では、人間の自然な演繹推論の形式として広く研究されている三段論法に注目し、LLMの推論能力を検証するためのNeuBAROCOデータセットを導入する。このデータセットは、もともと三段論法を用いて人間の推論能力を評価する心理実験のために設計されたもので[1]、これを転用して、LLMが人間と同様のエラー傾向、すなわち、推論バイアスを示すかどうかを検証する。推論の認知科学研究[2,3,4]では、人間が様々な推論バイアスを示すことが多様な実験を通して明らかにされているが、その知見を活用して機械学習モデルの評価にも利用できる推論データセットを構築する試みは十分に進展していない。NeuBAROCOは、日本語と英語のパラレル推論データセットであり、各問題についてどのような推論バイアスが関連しているのか、詳細なタグが付与されている。またその一部には一連の心理実験[5,1]に基づいて、人間の正解率が対応付けられている。以下では、言語処理での三段論法推論の関連研究を紹介し（2節）、NeuBAROCOデータセットの特徴について説明した上で（3節）、このデータセットを用いて、代表的なLLMの推論能力を検証したベースライン実験の結果について報告する（4節）。