人間のフィードバックによる強化学習
RLHFの主な課題の1つは、教師なし学習と比較して時間とコストがかかるという、人間のフィードバックのスケーラビリティである。また、人間によるフィードバックの品質と一貫性は、タスク、インターフェース、個人的嗜好によっても異なることがある。仮に人間によるフィードバックが実現可能であっても、RLHFモデルは人間によるフィードバックでは捕らえられない望ましくない行動を示したり、報酬モデルの弱点を突いたりする可能性があり、アライメント(整合性)とロバスト性(英語版)の課題が浮き彫りになる。
RLHFの有効性は、人間のフィードバックの品質に依存する。フィードバックが公平性や一貫性を欠いていたり、誤りを含んでいると、AIは間違ったことを学習してしまう可能性があり、これはAIバイアスとして知られている。また、AIが受け取ったフィードバックに過剰適合してしまうリスクもある。たとえば、特定の層からのフィードバックが多かったり、特定の偏見が反映されたりすると、AIはこうしたフィードバックから過度に一般化することを学習する可能性がある。
機械学習では、過剰適合(オーバーフィッティング)とは、AIモデルが訓練データを学習しすぎることを指す。これは、データの本質的なパターンだけでなく、ノイズや異常値も学習してしまうことを意味している。