ハードプロンプトチューニングは，事前学習済み言語モデルのパラメータを固定したまま，入力に付与する文字列形式のプロンプトを最適化して下流タスクへ適応させる手法である．近年，ソースモデル上で最適化したプロンプトをターゲットモデルに適用するハードプロンプト転移が試みられているが，ターゲットモデル上で直接プロンプトチューニングを行った場合の性能には依然として及ばず，転移性能には改善の余地が残されている．本研究ではこの課題に対し，ハードプロンプトチューニングで選択される語彙を予め複数のソースモデル間で埋め込み空間における近傍構造が類似する対象に制限することを提案する．実験の結果，提案手法で最適化したプロンプトは転移性能を向上させるのみならず，プロンプトチューニングにおいても性能向上をもたらす傾向が確認された．

現在，ファインチューニングを用いた大規模言語モデルの下流タスクへの適応が広く行われており，モデル規模の増加に伴う計算資源の増大は喫緊の課題である．これに対し，モデル本体のパラメータを固定したまま学習可能なトークン列を調整するハードプロンプトチューニング[1,2,3,4,5]がパラメータ効率の高い適応手法の1つとして注目されている．しかしながら，モデルの規模や種類が増大する昨今，モデルごとに個別にプロンプトチューニングを実施すること自体が，新たな計算コストの要因となりつつある．この問題に対処するため，ソースモデル上で最適化したプロンプトをターゲットモデルに適用するプロンプト転移[5,6,7]が提案されている．しかしながら，既存のハードプロンプトチューニング手法で得られたプロンプトは転移後の性能がターゲットモデル上で直接プロンプトチューニングを行った場合の性能に及ばないことが多く，依然として改善に値する課題である．本研究では図1に示すようにハードプロンプトチューニングの際，予め複数モデルで構造が類似した語彙を抽出する処理を提案する．これにより特定のモデルのみに有効な語彙をプロンプトの候補から排除し，ハードプロンプト転移性能の向上を図る．