大規模言語モデルの規範的推論能力の評価:論理とリーズニングの観点から

一つまたは複数の前提から結論を導く推論は人間の言語実践において重要な役割を果たしており、自然言語処理においても重要なトピックである。推論にはさまざまな種類のものがあるが、そのひとつに規範的推論(normativereasoning)が挙げられる。規範的推論とは、義務や許容(許可)といった規範的・義務論的なモダリティが関与する推論である。例えば、以下のような推論は規範的推論の例である。P:私には質問に答える義務があるわけではない.C:私には質問に答えないことが許容されている.規範的推論には、道徳的・倫理的な義務や許容に関する推論や、法的な推論が含まれる[1]。また、対人関係や社会的な相互作用に基づく社会的推論はしばしば規範(社会規範)に関する推論を含み、この点で規範的推論は社会的推論にも関係している。自然言語処理の領域においては近年、様々な種類の推論タスクにおける大規模言語モデル(LLM)の性能や振る舞いが活発に研究されており、LLMにおける社会的推論への注目も高まっている[2,3,4]。また、LLMにおける規範的推論は、AIアライメントをはじめとするAIの安全性や倫理的AIの問題にも関わる[5,6]。しかしながら、LLMの規範的推論能力に関する研究はまだ十分に進展していない。規範的推論に対する研究アプローチとしては、規範的推論の論理的な構造が義務論理として研究されている。また、認知科学の領域では、規範的推論に関する人間の推論(リーズニング)やその能力についての実証的な研究も行われている。本論文では、LLMの規範的推論能力が持つ特徴を明らかにするために、論理的な妥当性や非妥当性との比較、人間のリーズニングとの比較という2つの観点からLLMの推論能力の評価と分析を行う。