近年，言語モデルの高い性能を実現している仕組みを理解すべく様々な研究が行われているが，これらの研究の中には事前学習によって得られたモデルパラメータを“ニューロン”と見立て，入出力やタスク性能との関連を調べているものがある．本研究では，ニューロンとモデルの学習過程との関係に焦点を当て，ある単語に反応するニューロンが学習中にどのように形成されるのかを，その単語が持つ意味の側面と合わせて分析した．その結果，ある単語のニューロンの形成過程は，その単語と意味的に同類関係にある単語のニューロンの形成過程と類似する傾向が観察された．また，同類関係にある単語間では形成後のニューロンも共通する傾向が見られた．

近年の言語モデルの性能向上は目覚ましく，その性能の高さを達成しているダイナミクスを解釈するために様々な研究が行われている．これらの研究の中には，モデルパラメータに着目して入出力[1]やタスク[2]との関係を調査しているものがある．さらにChenら[3]やVoitaら[4]は，学習されたパラメータを“ニューロン”と捉え，言語モデルが持つ知識との関連やニューロンの役割を分析している．こうした背景を踏まえ，本研究ではニューロンと言語モデルの学習過程との関係に焦点を当てる．具体的には，ニューロンがモデルの事前学習中にどのように形作られているのかを，そのニューロンが反応する単語と関連付けて調べることにした．調査の結果，ある単語に反応するニューロンの形成過程は，その単語と同類関係にある単語（例えば，“Cat”に対する“Dog”のような動物グループなど）に反応するニューロンの形成過程と類似する傾向が見られることを確認した（図1）．さらに，学習によって形成されたニューロンについても，同類関過程を経る傾向が観察された．係にある単語間では共通するニューロンが多い傾向が観察された．なお，実験コードは全て公開する1）．