言語モデルが有する時間的推論に関する事実知識の分析

ニューラル言語モデルは,大量のテキストを用いた事前学習と指示チューニングによって,多様な知識と推論能力を獲得しているとされる.本研究では,言語モデルが有する時間に関する事実知識,特に過去の出来事の日付に関する知識について調査する.具体的には,過去の出来事が発生した年月日を回答するタスクのデータセットを構築し,言語モデルが出力する日付と実際の正解との間の誤差を分析する.実験の結果,言語モデルは年号に関する知識については,月日と比較してより正確に保持していることがわかった.また,年号を正確に認識できていない言語モデルは,実際の年よりも後の年代として推論しやすい傾向があることが示唆された.