モデル間転移へ向けた複数LLMの近傍構造に基づくハードプロンプトチューニング

現在，ファインチューニングを用いた大規模言語モデルの下流タスクへの適応が広く行われており，モデル規模の増加に伴う計算資源の増大は喫緊の課題である．これに対し，モデル本体のパラメータを固定したまま学習可能なトークン列を調整するハードプロンプトチューニング[1,2,3,4,5]がパラメータ効率の高い適応手法の1つとして注目されている．しかしながら，モデルの規模や種類が増大する昨今，モデルごとに個別にプロンプトチューニングを実施すること自体が，新たな計算コストの要因となりつつある．この問題に対処するため，ソースモデル上で最適化したプロンプトをターゲットモデルに適用するプロンプト転移[5,6,7]が提案されている．しかしながら，既存のハードプロンプトチューニング手法で得られたプロンプトは転移後の性能がターゲットモデル上で直接プロンプトチューニングを行った場合の性能に及ばないことが多く，依然として改善に値する課題である．本研究では図1に示すようにハードプロンプトチューニングの際，予め複数モデルで構造が類似した語彙を抽出する処理を提案する．これにより特定のモデルのみに有効な語彙をプロンプトの候補から排除し，ハードプロンプト転移性能の向上を図る．