大規模言語モデル
OpenAIのInstructGPTプロトコルでは、人間が作成したプロンプトと応答の組からなるデータセットによる教師ありファインチューニングと、それに続く、人間のフィードバックによる強化学習(RLHF)を伴っている。この場合、人間の好みを反映したデータセットを用いて報酬関数を教師あり学習し、その後、この報酬モデルを使用した近位方策最適化(英語版)によってLLM自体を訓練する。
GPT-3によって普及したプロンプトパラダイムでは、解決すべき問題はテキストプロンプト(回答を促す指示)で定式化され、モデルは(推論して)補完を生成することによってそれを解決しなければならない。「少数ショットプロンプト」(英: few-shot prompting)の場合、プロンプトには類似した組(問題、解決)の少数の例が含まれる。たとえば、映画レビューに対する感情をラベル付けする感情分析タスクは、次のような例で回答が促される。
もしモデルが「ポジティブ」と出力すれば、正しくタスクが解決されたことになる。一方、「ゼロショットプロンプト」(英: zero-shot prompting)の場合、解決例を提供しない。同じ感情分析タスクに対するゼロショットプロンプトの例は、『映画レビューに関連するセンチメントは「この映画は素晴らしい!」』である。
LLMにおける少数ショットの性能は、NLPタスクで競争力のある結果を達成することが示されており、ときには先行する最先端のファインチューニング手法を凌ぐことさえある。このようなNLPタスクの例としては、翻訳、質問応答、穴埋め(英語版)、マス埋めパズル、文中の新語検出などがある。優れたプロンプトを作成し、最適化することをプロンプトエンジニアリングと呼ぶ。