事前学習言語モデルのドメイン適応能力に関する分析：ドメイン特有ニューロンの検出と分析

Transformer構造を持つ事前学習言語モデル（Pre-trainedLanguageModel,PLM）の実用的な応用においては，特定の専門ドメインへの適応が不可欠となる場面が多い．例えば，金融，医療，法律といった専門分野へのPLMの適応のためには，専門ドメインの大規模テキストを用いた事前学習[1,2,3]や，専門ドメインのインストラクションデータを用いたチューニング[4,5,6]が近年主流となっている．しかし，これらの手法を用いてモデル全体をチューニングするのは計算コストが非常に高い[7]．ドメイン適応に必要なPLMの構成要素を絞ってチューニングすることで，計算コストを削減し効率的にドメインに適応できると考えられる．そのためには，PLMがドメイン特有の特徴を獲得する過程や適応に寄与するPLMの成分の把握が重要である．PLMの内部構造を理解する試みとして，ニューロンの活動に着目した研究が行われている[8,9]．これらの研究は，PLMが異なる性質を持つテキストを，どのように区別し内部で処理しているのかを理解する上で重要な知見を与えているものの，専門ドメインにおける議論は未だ十分とは言えない．本研究では，PLMがドメインの特徴をどのように表現しているのかを解明することを目的とする．先行研究における言語[10]やバイアス[11]に特有のニューロンを分析する手法をベースとしつつ，専門ドメインの分析に適用することを試みる．まず，金融ドメインと一般ドメインのテキストに対するモデルの出力から，テキストのドメインの差がニューロンに及ぼす反応の違いを分析する．次に，金融ドメインへの適応に用いられる，事前学習とインストラクションチューニングの2つの異なるアプローチがPLMに与える影響を，これらを施されたモデルとベースモデルの比較から検証する．日本語のEncoderまたはDecoderのアーキテクチャをもつ複数のPLMについての分析の結果，EncoderとDecoderの両アーキテクチャに共通して，ドメイン特有のニューロンは初期層に多く存在することがわかった．また，DecoderモデルのMLPにはドメイン特有の性質が複数の層に分散して存在することが示唆された．金融ドメインで事前学習したモデルでは，中間層でドメイン特有の表現を獲得していることがわかった．