言語モデルにおける既知性判断のメカニズム

自身の知識に対して誠実な言語モデル(LM)の構築に向けて，入力された知識文が自身が想起できるものか否か，すなわち知識の既知性を判断する仕組みを理解することは重要である．本研究では，LMが入力に対し内部的に想起した単語と実際の入力との整合性を手掛かりに既知性を判断しているという仮説を検証した．知識の想起を操作した介入実験の結果，この予測と入力の整合性がLMの既知性判断に寄与していることが示唆された．この結果は，LMの内省的挙動の理解に向けた知見を提供する．