プロンプトエンジニアリング
損失は Y {\displaystyle \mathbf {Y} } トークンに対して計算される。勾配はプロンプト固有のパラメータに逆伝播される。これは、プレフィックス・チューニングでは、各層のプロンプトトークンに関連付けられたパラメータであり、プロンプト・チューニングでは、単に語彙に追加されたソフトトークンである。
より数学的に言えば、LLMを L L M ( X ) = F ( E ( X ) ) {\displaystyle LLM(X)=F(E(X))} と書くことができ、 X {\displaystyle X} は言語トークンの列、 E {\displaystyle E} はトークンからベクトルへの関数、 F {\displaystyle F} はモデルの残りの部分である。プリフィックス・チューニングでは、入出力ペア { ( X i , Y i ) } i {\displaystyle \{(X^{i},Y^{i})\}_{i}} の集合を与え、勾配降下法を使用して arg  max Z ~ ∑ i log  P r [ Y i | Z ~ ∗ E ( X i ) ] {\displaystyle \arg \max _{\tilde {Z}}\sum _{i}\log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]} を探索する。
2023年、MetaのAI研究所は、プロンプトによって画像セグメンテーションを実行できるコンピュータビジョンモデルであるSegment Anythingをリリースした。テキストプロンプトの代替として、Segment Anythingは、境界ボックス、セグメンテーションマスク、全景点・背景点を受け付けることができる。
思考連鎖プロンプトは、数多くあるプロンプト・エンジニアリング手法のひとつにすぎない。他にもいくつかの手法が提案されている。
言い換えれば、 log  P r [ Y i | Z ~ ∗ E ( X i ) ] {\displaystyle \log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]} は、モデルが最初に入力 X i {\displaystyle X^{i}} をベクトル E ( X i ) {\displaystyle E(X^{i})} に符号化し、次にそのベクトルの先頭に「前置きベクトル」 Z ~ {\displaystyle {\tilde {Z}}} を付加したものに、 F {\displaystyle F} を適用した場合の出力 Y i {\displaystyle Y^{i}} の対数尤度である。
先の結果は、勾配降下探索と同じ考え方を使用しているが、BERTのようなマスク化言語モデル用に設計されており、数値ベクトルではなくトークン列のみを探索する。形式的には、 arg  max X ~ ∑ i log  P r [ Y i | X ~ ∗ X i ] {\displaystyle \arg \max _{\tilde {X}}\sum _{i}\log Pr[Y^{i}|{\tilde {X}}\ast X^{i}]} を探索し、 X ~ {\displaystyle {\tilde {X}}} はある長さのトークン列の範囲である。
テキストから画像への変換では、プロンプトは通常、芸術の主題(例:鮮やかなオレンジ色のポピー)、希望する媒体(例:デジタルペインティングや写真など)、様式(例:ハイパーリアリスティックやポップアートなど)、照明(例:リム照明や薄明光線など)、色、質感などの説明が含まれる。
Midjourneyのドキュメントでは、短く説明的なプロンプトを推奨している。「カリフォルニアポピーがたくさん咲いている写真を見せてください、明るく鮮やかなオレンジ色にして、色鉛筆でイラスト風に描いてください」ではなく、「色鉛筆で描いた鮮やかなオレンジ色のカリフォルニアポピー」というのが効果的なプロンプトかもしれない。
「テキストから画像」へのプロンプトの出力に対し、語順が影響する。プロンプトの先頭に近い単語がより強調される。
最小から最大へのプロンプト(least-to-most prompting)は、まず、ある問題に対する部分問題を列挙し、その後、これらを順番に解くようにモデルに要求する。