プロンプトエンジニアリング
既定では、言語モデルの出力に不確実性の推定値が含まれないことがある。モデルは、根拠となるトークン予測の尤度スコアが低くても、自信を持っているように見えるテキストを出力することがある。GPT-4のような大規模言語モデルは、トークン予測の尤度スコアを正確に調整(英語版)することができるため、トークン予測の尤度スコアを取り出すことで、モデル出力の不確実性を直接推定することができる。
しかし、そのようなスコアが利用できない場合は(たとえば、制限されたAPIを介してモデルにアクセスしている場合)、不確実性を推定してモデル出力に含めることができる。簡単な方法の1つは、単語を使用して不確実性を推定するようモデルに指示することである。もう1つは、入力が条件を満たさない場合、標準化された方法での回答を拒否するようにモデルに指示することである。
方向性刺激プロンプト(directional-stimulus prompting)は、言語モデルを望ましい出力に導くために、たとえば望ましいキーワードのようなヒントや手がかりを与えるものである。