大規模言語モデル（LLM）の進化は驚異的であるが、知識の管理には依然として課題が存在する。全パラメタの再学習には膨大なリソースが必要なため、LoRAという手法が採用されることが多い。さらに、複数モデルの出力を組み合わせること（MixtureofExperts;MoE）による性能向上が注目されている。本研究では、LoRAとMoEを組み合わせて、モデルのパラメタ増加を最小限に抑えつつ性能を向上させる方法を提案する。提案手法は、知識を専門家（expert）に依存させることで、知識をより効果的かつ局所的に管理する。CommonsenseQAデータセットを利用した評価によって提案手法の有効性を確認した。

大規模言語モデル(LLM)の進化は驚異的であり、対話形式で指示を入力すれば内容に応じた様々な応答を柔軟に生成することが可能となった。初期のDecoder-onlyモデルであるGPT[1]のパラメタ数は0.1B程度であったが、モデルのパラメタ数および学習データ量を増量することでモデルが様々なタスクを汎用的にこなせることが明らかになった[2]。その後、モデルのパラメタ数や学習データ量をさらに増やす傾向が進んだ。GPT-3[3]では175Bものパラメタを持つようになり、少数の回答例を入力に含めることで、これまでﬁne-tuningが必要であったタスクにおいてもパラメタを更新せずに回答可能になった。GPT-2[2]の学習には22GB程度1）のGPUメモリが必要となる。学習に使うデータや内部状態の容量も考慮すればさらに大規模なモデルを扱う場合一般的に用いられているGPUでは学習が難しい。そこでモデルの追加学習時に更新するパラメタを一部に絞ることで学習時に必要となるGPUメモリを大幅1）32bitでの学習を想定に減らす手法であるLoRA[4]が提案された。また、LLMの登場により単一のモデルで幅広いタスクへの対応が可能になり、モデルが想定する入力空間が膨大になる傾向が進んだ。そこで、expertと呼ばれる様々なモデルの出力を組み合わせることで、各々のexpertを入力空間の異なる部分に特化させるアプローチMixtureofExperts(MoE)[5]が注目されるようになった。これらの手法は、汎用モデルに追加の知識を付与する場合にも有効である。しかし、LoRA単体では追加知識が1組の追加パラメタに全て付与されるため、新たな知識や以前の学習で記録した知識を保持することが難しい。また、MoEを利用する場合はexpertごとに独立したモデルの出力を結合するため、expertで利用するモデルの大規模化がハードウェアの制約で難しくなる。本研究では、LoRAとMoEを組み合わせることで、追加知識の管理の煩雑化やパラメタの上昇を抑えつつ新たな知識を付与する手法を提案する。CommonsenseQAデータセットを利用した評価によって提案手法の有効性を確認した。