言語モデルが有する時間的推論に関する事実知識の分析

ニューラル言語モデルの成功により,自然言語処理の分野は大きな飛躍を遂げた.現在の主流であるTransformer[1]を基盤としたLLMは,大量のWebテキストを用いた事前学習を行った後に,RLHF[2]などの強化学習によって人間の嗜好に合わせてアライメントされる.この過程でどのような知識や推論能力が獲得されるのかという問いは,言語モデル研究における重要な課題となっている.人間の基本的な認知能力の一つに時間的推論（TemporalReasoning）がある.時間的推論とは,時間的な概念を理解し,関係を推論する能力のことを指す.ChatGPTを含めた近年のLLM’sは,この能力を一定程度有していると報告されているものの,その能力には限界が存在し,依然として十分な時間的推論を行えていないという指摘も存在する[3][4].LLMの時間的推論を測定するためのデータセットとして,TIMEBENCH[5]が提案されている.TIMEBENCHは,3つの時間的な概念から総合的にLLMの時間的推論を測ることを目的として設計されている.しかし,これは時間的な事実知識そのものの評価ではなく,文脈に応じた時間的推論に主眼を置いたものとなっている.また,日本語においても時間的推論を測ることを目的としたデータセットは存在しているが[6],年代別の事象に焦点を当てて,それらの事実知識に関して言語モデルの体系的な調査を行った研究は確認できなかった.上記の背景を踏まえ,本研究では,言語モデルの時間的な事実知識の保有能力に焦点を当てた調査を行う.具体的には,「〈イベント〉は何年の何月何日？」という質問をLLMに入力し,モデルが正確に西暦と月日を回答できるかどうかを定量的に分析する.特に,年代と正答率の関係を明らかにするため,正答率を年代別に測定する.さらに,分析対象をモデルの出力だけでなく内部モジュールにも拡張し,一部モジュールを無効化した場合の出力変化についても調査を行う.実験を通して,以下の分析結果が得られた.•年号に関する知識の方が月日よりも定着している.•言語モデルはイベントの発生時期を実際よりも後の年代として予測しやすい傾向にある.•一部のMLPモジュールに集中して年月日の知識が蓄積されている可能性がある.