疎なパラメータを用いて大規模言語モデルを効率よくFine-Tuneする手法の提案

本稿では、疎なパラメータを用いて大規模言語モデルの部分的更新を行なうことで効率よくFine-Tuneする手法を提案する。大規模なコーパスで学習された事前学習済みの言語モデルを特定のタスクやドメインに対してFine-Tuneするには、事前学習済みモデルのパラメータを固定し、少量の追加パラメータのみを学習する手法(Parameter-EﬃcientFine-Tuning,PEFT)が主流である。しかし、通常のPEFTは学習時の計算リソースを抑える一方でパラメータをすべて更新するため、知識保持および編集が重要なタスクやドメインの性能が劣化したりモデル解釈性が失われたりする問題がある。そこで本稿では、疎なパラメータを用いることで計算リソースを抑えつつ、新たにモデル解釈性も備えた新しいPEFTを提案する。事前学習済みモデルとしてRoBERTaとLlama3-8Bに適用することで、言語理解と算術推論ベンチマークで性能が向上すること、およびモデル解釈が可能であることを示す。