人間のフィードバックによる強化学習
機械学習では、人間のフィードバックによる強化学習(RLHF)は、人間のフィードバック(反応)から直接に「報酬モデル」を訓練し、そのモデルを報酬関数として使用して、近位方策最適化(英語版)などの最適化アルゴリズムによる強化学習(RL)を介してエージェントの方策を最適化する技術である。報酬モデルは、特定の出力が良い(報酬が高い)か悪い(報酬が低い)かを予測するために、最適化される方針に合わせて事前に訓練される。RLHFは、特に報酬関数が疎であったりノイズ(英語版)が多い場合に、強化学習エージェントのロバスト性(堅牢性)(英語版)と探索性を向上できる。
人間のフィードバックは、エージェントの行動の実例をランク付けするよう人間に依頼して収集するのが最も一般的である。これらのランキングは、たとえばイロ・レーティングシステムなどで、成績をスコア化するために使用することができる。嗜好判断は広く使用されているが、数値フィードバック、自然言語フィードバック、編集率など、より豊富な情報を提供する別の種類の人間によるフィードバック方法もある。
簡単に言うと、RLHFは、「できばえ」に関する人間の反応から学習することで、人工知能(AI)モデルを訓練するものである。AIモデルが誤った予測や、最適とは言えない行動をとった場合、人間のフィードバックを利用して誤りを修正したり、より良い対応を提案したりすることができる。これによって、モデルは時間の経過とともに学習し、その応答を改善することができる。