Versterkingleer uit menslike terugvoer

duimnael|Hoëvlak-oorsig van versterkingsleer uit menslike terugvoer.
In masjienleer is **versterkingsleer uit menslike terugvoer** (**RLHF** akroniem vir die konsep in Engels: *reinforcement learning from human feedback*), 'n tegniek om 'n intelligente agent met menslike voorkeure in lyn te bring. Dit behels die opleiding van 'n beloningsmodel om voorkeure voor te stel, wat dan gebruik kan word om ander modelle deur versterkingsleer op te lei.

In klassieke versterkingsleer is 'n intelligente agent se doel om 'n funksie te leer wat sy gedrag lei, genaamd 'n beleid. Die funksie word iteratief geoptimaliseer om die beloningssein wat afgelei word van die agent se taakprestasie te verhoog. Dit is egter uitdagend om 'n beloningsfunksie eksplisiet te definieer wat menslike voorkeure akkuraat benader. Daarom poog RLHF om 'n "beloningsmodel" direk vanaf menslike terugvoer op te lei. Die beloningsmodel word eers op 'n gemonitorde wyse opgelei om te voorspel of 'n reaksie op 'n gegewe aanwysing goed (hoë beloning) of sleg (lae beloning) is, gebaseer op ranglysdata wat van menslike annoteerders versamel is. Hierdie model dien dan as 'n beloningsfunksie om 'n agent se beleid te verbeter deur 'n optimaliseringsalgoritme soos proksimale beleidsoptimalisering.

RLHF het toepassings in verskeie domeine in masjienleer, insluitend natuurlike taalverwerkingstake soos teksopsommings en gespreksagente, rekenaarvisietake soos teks-na-beeldmodelle, en die ontwikkeling van videospeletjie-robotte. Terwyl RLHF 'n effektiewe metode is om modelle op te lei om beter op te tree in ooreenstemming met menslike voorkeure, staar dit ook uitdagings in die gesig as gevolg van die manier waarop die menslike voorkeurdata versamel word. Alhoewel RLHF nie massiewe hoeveelhede data benodig om prestasie te verbeter nie, is die verkryging van hoëgehalte-voorkeurdata steeds 'n duur proses. Verder, as die data nie noukeurig uit 'n verteenwoordigende steekproef versamel word nie, kan die gevolglike model ongewenste vooroordele toon.

## Agtergrond en motivering
Dit is wenslik om 'n model gebaseer op menslike terugvoer te optimaliseer wanneer 'n taak moeilik is om te spesifiseer, maar maklik is om te beoordeel. Byvoorbeeld, 'n mens wil dalk 'n model oplei om veilige teks te genereer wat beide nuttig en onskadelik is (soos om sonder vooroordeel, toksisiteit of andersins skadelike inhoud te wees). Om mense te vra om handmatig voorbeelde van onskadelike en skadelike teks te skep, sal moeilik en tydrowend wees. Mense is egter bedrewe daarin om die skadelikheid van verskillende KI-gegenereerde teks vinnig te assesseer en te vergelyk. Daarom sou 'n meer praktiese doelwit wees om die model toe te laat om hierdie tipe menslike terugvoer te gebruik om sy teksgenerering te verbeter.

Ten spyte van die duidelike voordele van die insluiting van menslike terugvoer in opleidingsmodelle, het vorige pogings – insluitend sommige wat versterkingsleer benut – beduidende uitdagings teëgekom. Die meeste pogings was óf eng en moeilik om te veralgemeen, en het afgebreek na meer komplekse take, óf hulle het probleme ondervind om te leer uit yl (sonder spesifieke inligting en met groot hoeveelhede teks op 'n slag) of raserige (wat soortgelyke uitsette inkonsekwent beloon) beloningsfunksies.

RLHF was nie die eerste suksesvolle metode om menslike terugvoer vir versterkingsleer te gebruik nie, maar dit is een van die mees gebruikte. Die fondament vir RLHF is bekendgestel as 'n poging om 'n algemene algoritme te skep vir leer uit 'n praktiese hoeveelheid menslike terugvoer.

## Insameling van menslike terugvoer 
Menslike terugvoer word gewoonlik ingesamel deur mense aan te spoor om gevalle van die agent se gedrag te rangskik. Hierdie ranglys kan dan gebruik word om uitsette te gradeer, byvoorbeeld deur die Elo-graderingstelsel te gebruik, wat 'n algoritme is om die relatiewe vaardigheidsvlakke van spelers in 'n speletjie te bereken, gebaseer slegs op die uitkoms van elke speletjie.

Een aanvanklike motivering van RLHF was dat dit relatief klein hoeveelhede vergelykingsdata benodig om effektief te wees.

Beide vanlyn data-insamelingsmodelle, waar die modelleer deur interaksie met 'n statiese datastel en die beleid daarvan in groepe op te dateer, sowel as aanlyn data-insamelingsmodelle, waar die model direk met die dinamiese omgewing interaksie het en die beleid daarvan onmiddellik opdateer, is wiskundig bestudeer om steekproefkompleksiteitsgrense vir RLHF onder verskillende terugvoermodelle te bewys.

In die aanlyn scenario, wanneer menslike terugvoer deur paargewyse vergelykings onder die Bradley-Terry-Luce-model ingesamel word en die doelwit is om die algoritme se spyt (die verskil in prestasie in vergelyking met 'n optimale agent) te minimaliseer, is daar getoon dat 'n optimistiese MLE wat 'n boonste vertrouensgrens as die beloningsberaming insluit, gebruik kan word om steekproefdoeltreffende algoritmes te ontwerp (wat beteken dat hulle relatief min opleidingsdata benodig). 'n Belangrike uitdaging in RLHF wanneer daar uit paargewyse (of duelerende) vergelykings geleer word, word geassosieer met die nie-Markoviaanse aard van sy optimale beleide. Anders as eenvoudiger scenario's waar die optimale strategie nie geheue van vorige aksies vereis nie, hang die beste plan van aksie in RLHF dikwels af van vorige gebeure en besluite, wat die strategie inherent geheueafhanklik maak.

## Verwysings