MoEアーキテクチャによる破滅的忘却の抑制効果の評価

破滅的忘却（CatastrophicForgetting）[1]は，ニューラルネットワークにおける根源的な課題であり，大規模言語モデル（LLM）に限らず多くの学習モデルにおいて回避すべき問題として位置づけられてきた．特にLLMの文脈においては，教師ありファインチューニング（SFT）や強化学習（RL）といった，複数のデータセットを用いた逐次的な学習プロセスにおいてその影響が広く議論されている[2]．しかし，破滅的忘却はこうした段階的な学習に限らず，単一のデータセットを用いた学習過程においても生じ得るものであり，学習全体を通じてモデルの知識獲得の効率を低減する要因となっている[3]．現在，LLMの開発においては，事前学習に投入するデータ量を増大させることが性能向上の鍵とされている[4,5]．しかし，インターネット上の高品質なデータには限界が見え始めており[6]，今後は限られたデータ量から効率よく知識を記憶・定着させる「学習の質」が，性能向上の観点から極めて重要になると想定されている．こうした背景のもと，計算コストを抑えつつモデル容量を拡大する手法として，Sparsely-Gated入力トークンMixtureofExperts層干渉なしExpert1（知識A）トークンA知識A知識BExpert2Gate破滅的忘却の抑制Expert3（知識B）トークンBExpert4Mixture-of-Experts（MoE）アーキテクチャ[7,8,9]を採用するLLMが増加している[10,11,12,13]．MoEの主な採用理由は，推論・学習時の計算量を維持したままパラメータ数を増やし，知識容量を拡大できる点にある．本研究では，図1に示したような，MoEの「トークンごとに特定のExpert（FFN）のみを活性化させる」という構造的特性が，既存の知識への干渉を最小限に抑え，結果として破滅的忘却を抑制するのではないかという仮説を立てた．評価の結果，MoEモデルはDenseモデルと比較して学習過程における破滅的忘却を抑制できる可能性があることが示された．この成果は，パラメータをスパースに分散させ，更新範囲を限定するアーキテクチャが，単なる計算効率の向上に留まらず，知識の保持と定着において極めて効率的な学習を可能にすることを示唆している．