言語モデルが学習によって獲得した知識をどのようにモデル内に保存しているかについては様々な研究が行われているが，その中には言語モデル内に知識をエンコードしている“知識ニューロン”の存在を報告しているものがある．本研究では，そのような知識ニューロンが事前学習の経過に伴ってどのように形成されるかを調査した．調査の結果，知識ニューロンは学習中に特定の概念のみの知識を蓄えていくのではなく，学習初期の多くの概念の出力に影響を及ぼす状態から，学習が進むにつれて特定の概念の出力のみに影響を及ぼす状態に変化していく過程によって，特定の概念に特化した知識ニューロンとして形成される可能性があることが示された．

事前学習済み言語モデルの中には，“[MASK]はニャーと鳴く．”という穴埋め文が与えられた時に，穴埋め部分に“猫”が入ると予測できるものがある．猫についての知識がなければこの穴埋め部分を正しく予測することはできないため，このような言語モデルには，学習によって何らかの形で猫に関する知識が保存されていると考えられる．言語モデルにおける知識については，Daiら[1]や有山ら[2]によって，事前学習済みTransformerモデルのFeed-Forward層（以下，“FF層”と呼ぶ）に知識をエンコードしていると考えられるニューロン，すなわち“知識ニューロン”が存在することが報告されている．こうした背景を踏まえ，我々はそのような知識ニューロンが事前学習中にどのように言語モデルに形成されていくかを調査することにした（図1）．学習過程における調査を行うため，MultiBert[3]の各チェックポイントにDaiら[1]によって提案された知識ニューロンを探す手法を適用した．その結果を学習経過に沿って分析することで，知識ニューロンていくのか？の形成過程を調査した．その結果，学習初期には多くの概念1）の出力に影響を与える状態のニューロンが，学習の経過に伴って特定の概念の出力のみに影響を与える状態に変化していくことで，特定の概念の知識に特化した知識ニューロンとして形成されていく可能性があることを確かめた．