モデル間転移へ向けた複数LLMの幾何構造に基づくソフトプロンプトチューニング

ソフトプロンプトチューニングは事前学習済み言語モデルのパラメータを固定したまま，付加した少数の連続プロンプトのみを最適化することで下流タスクへ効率的に適応させる手法である．昨今，ソースモデルで最適化したソフトプロンプトをターゲットモデルに適用するソフトプロンプト転移により新たなモデルに対するプロンプトチューニングのコスト削減が試みられている．しかし，転移したプロンプトは依然としてターゲットモデル上での直接の最適化に比べて性能が劣り，改善の余地がある．そこで本研究では転移を前提としたソフトプロンプトを設計することで，プロンプト転移性能の向上を目指す．具体的にはソフトプロンプトチューニングを複数モデルで同時に行うとともに，モデル間で共通する語彙の埋め込みと各モデルのソフトプロンプトの相対的な幾何構造が一致するような最適化制約を導入する．実験の結果，提案手法は転移性能を改善しうる一方で，改善量はソースモデルとタスクの組み合わせに依存することが判明した．