人間のフィードバックによる強化学習
こうして訓練データの特異性に適応しすぎてしまうと、非構造化データ(未知データや、まだ整理されていない新しいデータ)に対する性能が低下する。 フィードバックへの過剰適合は、モデルがユーザーのフィードバックに基づいて訓練され、意図された一般的な修正や改善だけでなく、フィードバックに含まれる特殊性、偏向、不必要な意見も学習してしまう場合に起こる。
言い換えれば、モデルは受け取った特定のフィードバックに基づいてその応答を過度に適応させ、その結果、より一般的な文脈や、あるいは異なる文脈において、最適な性能を発揮しない可能性がある。
たとえば、あるモデルが、特定のフレーズや俗語を一貫して使用するユーザーからのフィードバックに基づいて訓練され、そのフィードバックにモデルが過剰適合した場合、不適切な文脈でそのフレーズを使い始めるかもしれない。この場合、モデルは訓練データからそのフレーズがよく使われていることを学んだものの、その使い方の文脈的な妥当性を十分に理解しなかった。
さらに、AIの報酬が人間のフィードバックにのみ基づいている場合、AIが純粋に性能を向上させる代わりに、より高い報酬を得るためにフィードバックプロセスを不正に操作したり、システムを操作(英語版)することを学習する危険性があり、これは報酬関数の欠陥があることを示すものである。