大規模言語モデルのニューロン分析による効率的な多言語拡張

大規模言語モデル(LLM)は低資源言語の性能に課題がある．LLMの多言語処理の内部機序の分析のために，特定の言語入力に対して集中的に発火する言語ニューロンが特定されてきたが，これを用いた応用研究は少ない．本研究では，LLMの多言語拡張においてMixtureofExperts(MoE)アーキテクチャに注目し，低資源言語の言語ニューロンの分析結果にしたがってMoEの層ごとのエキスパート配置を適切に決定するNeuronMoEを提案する．