MoEアーキテクチャによる破滅的忘却の抑制効果の評価

近年の大規模言語モデル（LLM）では，計算効率の向上を目的としてSparsely-GatedMixture-of-Experts（MoE）アーキテクチャが広く採用されている．本研究では，MoEモデルが標準的なDenseモデルと比較して，事前学習時の破滅的忘却を抑制する効果がある可能性を定量的に示す．具体的には，言語モデルが事前学習時にエンティティに関する事実を学んでいると仮定して，その周辺情報の再現性を指標として忘却量を測定した．その結果，MoEのようなFFN層の重みの一部のみを利用する構造的特性が，既存知識への干渉を低減し，事前学習時の効率化に寄与する可能性を示す．