似た単語の知識ニューロンは似た形成過程を経る

近年の言語モデルの性能向上は目覚ましく，その性能の高さを達成しているダイナミクスを解釈するために様々な研究が行われている．これらの研究の中には，モデルパラメータに着目して入出力[1]やタスク[2]との関係を調査しているものがある．さらにChenら[3]やVoitaら[4]は，学習されたパラメータを“ニューロン”と捉え，言語モデルが持つ知識との関連やニューロンの役割を分析している．こうした背景を踏まえ，本研究ではニューロンと言語モデルの学習過程との関係に焦点を当てる．具体的には，ニューロンがモデルの事前学習中にどのように形作られているのかを，そのニューロンが反応する単語と関連付けて調べることにした．調査の結果，ある単語に反応するニューロンの形成過程は，その単語と同類関係にある単語（例えば，“Cat”に対する“Dog”のような動物グループなど）に反応するニューロンの形成過程と類似する傾向が見られることを確認した（図1）．さらに，学習によって形成されたニューロンについても，同類関過程を経る傾向が観察された．係にある単語間では共通するニューロンが多い傾向が観察された．なお，実験コードは全て公開する1）．