SvMoE:MoEルータの教師あり学習

Mixture-of-Expertsはそのパラメタ数に対して計算コストが小さく,大規模言語モデルの実用に向けて重要な技術である.しかし,エキスパートを選択するルーティングでは選択が偏り,効率的なパラメタの利用が難しいという問題がある.それに対して,エキスパート選択を均一にする追加損失が使われるが言語モデル性能に干渉することがわかっている.本研究では,TF-IDFを教師信号とした教師あり学習でMixture-of-Expertsのルーティングを訓練することを提案する.ケーススタディとして法律へのドメイン特化を扱い,追加損失なしの提案手法は追加損失を使用するベースラインに比肩する結果を得た.