似た単語の知識ニューロンは似た形成過程を経る

近年，言語モデルの高い性能を実現している仕組みを理解すべく様々な研究が行われているが，これらの研究の中には事前学習によって得られたモデルパラメータを“ニューロン”と見立て，入出力やタスク性能との関連を調べているものがある．本研究では，ニューロンとモデルの学習過程との関係に焦点を当て，ある単語に反応するニューロンが学習中にどのように形成されるのかを，その単語が持つ意味の側面と合わせて分析した．その結果，ある単語のニューロンの形成過程は，その単語と意味的に同類関係にある単語のニューロンの形成過程と類似する傾向が観察された．また，同類関係にある単語間では形成後のニューロンも共通する傾向が見られた．