大規模言語モデルのニューロン分析による効率的な多言語拡張

大規模言語モデル(LLM)の課題の一つとして，学習データが十分に確保できない低資源言語では，高資源言語に比べて性能が低下しやすいことが挙げられる[1]．これに対する解決策の一つとして，事前学習済みモデルの元言語（高資源言語）から対象言語（低資源言語）へとMixtureofExperts(MoE)アーキテクチャを利用して拡張する手法が提案されてきた[2,3,4,5]．特に層単位の配置戦略[6]（LayerMoE）では，各層における言語間のAttention層出力の類似度を測定し，類似度が低い層（言語間の処理が異なる層）には多くのエキスパートを，類似度が高い層（言語間の処理が似ている層）には少数のエキスパートを配置することで，パラメータ削減を実現している．しかし，言語間類似度に基づくエキスパート配置手法には課題がある．この手法はAttention層の出力の類似度のみを用いており，モデルパラメータの3分の2を占めるMLP層を考慮していない．そのため，MLP層における言語固有の処理パターンを捉えられず，より効率的な配置の可能性を見逃している可能性がある．一方，言語ニューロンに関する研究[7,8,9]では，Attention層とMLP層の両方において個々のニューロンが言語知識を符号化し，層間で不均一な分布（初期層と後期層に集中，中間層で疎）を示すことが明らかになっている．しかし，これらの知見を活用した応用研究は限定的である．本研究では，LLMの効率的な多言語能力の拡張に向けて，Transformerの全構成要素（Attention層とMLP層）における言語ニューロンの分布に基づいてMoEのエキスパート配置を決定する手法としてNeuronMoEを提案する．本研究では以下の2つの問題に取り組む．(1)ニューロンレベルの分析は，Attention層出力の類似度に基づく配置手法と比べて，より効率的なエキスパート配置を実現できるか．(2)多言語拡張時にMoEエキスパート内で言語ニューロンはどのような分布になっていくのか．問い(1)に対し，LLaMA-3.2-3B[10]での実験により，ニューロン配置が異なる低資源言語（ギリシャ語，トルコ語，ハンガリー語）で平均40%のパラメータ削減（47-50個vs84個のエキスパート）をNeuronMoEは達成しつつ，LayerMoEと同等の性能を実現した．問い(2)に対する分析では，対象言語のエキスパートは高資源言語と類似した言語ニューロンの分布パターン(初期層と後期層への集中)をもつすることが明らかになった．