フィードバックへの過剰適合は、モデルがユーザーのフィードバックに基づいて訓練され、意図された一般的な修正や改善だけでなく、フィードバックに含まれる特殊性、偏向、不必要な意見も学習してしまう場合に起こる。
言い換えれば、モデルは受け取った特定のフィードバックに基づいてその応答を過度に適応させ、その結果、より一般的な文脈や、あるいは異なる文脈において、最適な性能を発揮しない可能性がある。
たとえば、あるモデルが、特定のフレーズや俗語を一貫して使用するユーザーからのフィードバックに基づいて訓練され、そのフィードバックにモデルが過剰適合した場合、不適切な文脈でそのフレーズを使い始めるかもしれない。この場合、モデルは訓練データからそのフレーズがよく使われていることを学んだものの、その使い方の文脈的な妥当性を十分に理解しなかった。
さらに、AIの報酬が人間のフィードバックにのみ基づいている場合、AIが純粋に性能を向上させる代わりに、より高い報酬を得るためにフィードバックプロセスを不正に操作したり、することを学習する危険性があり、これは報酬関数の欠陥があることを示すものである。
野末学
経歴.
個人成績.
人間のフィードバックからの強化学習
CNN+
人間の評価による強化学習
左座養伝
保険外交員
スペースシップワン.
スペースシップツー.
フライト.
スペースシップワンのフライト.
スペースシップツー.
華大千鳥
特徴.
概要.
奥戸中学校
奥戸中学校（おくどちゅうがっこう・おこっぺちゅうがっこう）は、日本の公立中学校。
奥戸小学校
奥戸小学校（おくどしょうがっこう・おこっぺしょうがっこう）は、日本の公立小学校。
旗揚げから収容人数最高となる初の両国国技館での大会となる。
試合結果.
※太文字は所属選手。
特徴.
和名については山路スゲの意であり、山地の路傍の踏み跡によく見られることから付けられたという。
分布と生育環境.
乾いた樹林内の踏み跡や林縁に見られる。やや標高の高い乾燥した林縁に生える。
分類など.
保護の状況.