事前学習言語モデルのドメイン適応能力に関する分析：ドメイン特有ニューロンの検出と分析

本研究では，事前学習言語モデル（PLM）における専門ドメインに特化したニューロンの内部挙動を分析する．具体的には，金融ドメインと一般ドメインのテキストに対する，日本語のEncoderまたはDecoderのアーキテクチャをもつ複数のPLMのニューロンの挙動を比較し，ドメイン特有のニューロンを検出した．分析の結果，EncoderとDecoderの両アーキテクチャに共通して，ドメイン特有のニューロンは初期層に多く存在することがわかった．次に，DecoderモデルのMLPにはドメイン特有の性質が複数の層に分散して存在することが示唆された．また，金融ドメインで追加事前学習したモデルでは，中間層でドメイン特有の表現を獲得していることがわかった．