モデル間転移へ向けた複数LLMの近傍構造に基づくハードプロンプトチューニング

ハードプロンプトチューニングは，事前学習済み言語モデルのパラメータを固定したまま，入力に付与する文字列形式のプロンプトを最適化して下流タスクへ適応させる手法である．近年，ソースモデル上で最適化したプロンプトをターゲットモデルに適用するハードプロンプト転移が試みられているが，ターゲットモデル上で直接プロンプトチューニングを行った場合の性能には依然として及ばず，転移性能には改善の余地が残されている．本研究ではこの課題に対し，ハードプロンプトチューニングで選択される語彙を予め複数のソースモデル間で埋め込み空間における近傍構造が類似する対象に制限することを提案する．実験の結果，提案手法で最適化したプロンプトは転移性能を向上させるのみならず，プロンプトチューニングにおいても性能向上をもたらす傾向が確認された．