人間のフィードバックによる強化学習
明確なアルゴリズムによる解決策を定義することは難しいが、AIの出力の品質を人間が容易に判断できるようなタスクにおいて、RLHFが使用される。たとえば、説得力のあるストーリーを生成するタスクの場合、人間はAIが生成したさまざまなストーリーの品質を評価して、AIはそのフィードバックを利用してストーリー生成の技量を向上することができる。
RLHFは、会話エージェント、テキスト要約、自然言語理解など、さまざまな自然言語処理の領域に応用されている。通常の強化学習では、エージェントは「報酬関数」に基づいて自らの行動から学習するが、特に人間の価値観や嗜好に関わる複雑なタスクを扱う場合、報酬の定義や測定が難しいことが多いため、自然言語処理タスクに適用するのは難しい。RLHFを使用すると、言語モデルがこのような複雑な価値観に合致した回答を提供したり、より詳細な回答を生成したり、不適切な質問やモデルの知識空間の外にある質問を拒否したりできるようになる。RLHFで訓練された言語モデルの例としては、OpenAIのChatGPTやその前身であるInstructGPT、およびDeepMindのSparrow(英語版)などがある。RLHFは、ビデオゲームボットの開発など、他の分野にも応用されている。たとえば、OpenAIとDeepMindは、人間の好みに基づいてAtariゲームをプレイするエージェントを訓練した。エージェントはテストされた多くの環境で強力な性能を発揮し、しばしば人間の成績を上回った。