プロンプトエンジニアリング
自然言語のテキストプロンプトを非テキスト入力で拡張したり置き換えたりする方法もある。
複雑さに基づく手法(complexity-based technique)は、CoTの思考経路探索をいくつか実行し、その後、最も長い思考連鎖を持つ経路を選択し、その中から最も多く到達した結論を選択する。
プロンプト・エンジニアリング技術は、コンテキスト内学習(in-context learning)によって可能になる。コンテキスト内学習そのものが、モデル規模の創発的特性であり、すなわち下流のスケーリング法則が「破綻」し、大規模モデルは小規模モデルとは異なる速度で、その能力を増大する。
固有のタスクに応じた訓練やファインチューニングが永続的なものであるのに対し、コンテキスト内学習による学習は一時的である。一時的なコンテキストやバイアスは、(事前)訓練データセットにすでに存在するものを除き、会話から会話へと持ち越されることはない。トランスフォーマー層内における「メサ最適化(mesa-optimization)」のこの結果は、メタ学習または「学習する学習(learning to learn)」の一形態である。