モデル間転移へ向けた複数LLMの幾何構造に基づくソフトプロンプトチューニング

事前学習済み言語モデルは自然言語処理の幅広いタスクで高い性能を示し，様々な用途に活用されている．そのような汎用的な知識をもつ大規模モデルを下流タスクへ適応させる手段として，ファインチューニングが一般的に用いられているが，モデル規模の増加に伴い要する計算資源は日々増大している．この負担を緩和するため，モデル本体のパラメータを固定したまま埋め込み空間にベクトル形式の連続プロンプトを付加し，勾配法等で最適化するソフトプロンプトチューニング[1,2,3,4,5]が軽量な適応手法として用いられている．さらに，各モデルに対して個別にプロンプトチューニングを行うコストを削減するため，昨今ではソースモデルで最適化したソフトプロンプトをターゲットモデルに適用するソフトプロンプト転移[6,7]が提案されている．しかしながら，先行研究で提案された転移手法の性能はターゲットモデル上で直接最適化した場合に及ばないことが多く，依然として改善の余地が残る．そこで本研究では，転移を前提としたソフトプロンプトを設計し，既存のプロンプト転移に対し性能の向上を目指す．