言語モデルの学習における知識ニューロンの形成過程について

言語モデルが学習によって獲得した知識をどのようにモデル内に保存しているかについては様々な研究が行われているが，その中には言語モデル内に知識をエンコードしている“知識ニューロン”の存在を報告しているものがある．本研究では，そのような知識ニューロンが事前学習の経過に伴ってどのように形成されるかを調査した．調査の結果，知識ニューロンは学習中に特定の概念のみの知識を蓄えていくのではなく，学習初期の多くの概念の出力に影響を及ぼす状態から，学習が進むにつれて特定の概念の出力のみに影響を及ぼす状態に変化していく過程によって，特定の概念に特化した知識ニューロンとして形成される可能性があることが示された．