プロンプトエンジニアリング
「テキストから画像」モデルでは、「テキスト反転」(textual inversion)が最適化処理を実行し、一組の用例画像に基づいて新しい単語埋め込みを作成する。この埋め込みベクトルは、例の内容や様式を表現するためにプロンプトに含めることができる「擬似単語」(pseudo-word)として機能する。
「プリフィックス・チューニング」(接頭辞チューニング)、または「プロンプト・チューニング」は、勾配降下法によって浮動小数点値のベクトルを直接探索し、出力の対数確率を最大化する。
形式的には、 E = { e 1 , ... , e k } {\displaystyle \mathbf {E} =\{\mathbf {e_{1}} ,\dots ,\mathbf {e_{k}} \}} をソフトプロンプトトークン(調整可能な埋め込み)の集合とし、 X = { x 1 , ... , x m } {\displaystyle \mathbf {X} =\{\mathbf {x_{1}} ,\dots ,\mathbf {x_{m}} \}} と Y = { y 1 , ... , y n } {\displaystyle \mathbf {Y} =\{\mathbf {y_{1}} ,\dots ,\mathbf {y_{n}} \}} をそれぞれ入力と出力のトークン埋め込みとする。訓練中に、調整可能な埋め込み、入力トーク、出力トークンは単一の列 concat ( E ; X ; Y ) {\displaystyle {\text{concat}}(\mathbf {E} ;\mathbf {X} ;\mathbf {Y} )} に連結され、大規模言語モデル(LLM)に供給される。