Versterkingleer uit menslike terugvoer

In masjienleer is versterkingsleer uit menslike terugvoer (RLHF akroniem vir die konsep in Engels: reinforcement learning from human feedback), 'n tegniek om 'n intelligente agent met menslike voorkeure in lyn te bring. Dit behels die opleiding van 'n beloningsmodel om voorkeure voor te stel, wat dan gebruik kan word om ander modelle deur versterkingsleer op te lei.

In klassieke versterkingsleer is 'n intelligente agent se doel om 'n funksie te leer wat sy gedrag lei, genaamd 'n beleid. Die funksie word iteratief geoptimaliseer om die beloningssein wat afgelei word van die agent se taakprestasie te verhoog. Dit is egter uitdagend om 'n beloningsfunksie eksplisiet te definieer wat menslike voorkeure akkuraat benader. Daarom poog RLHF om 'n "beloningsmodel" direk vanaf menslike terugvoer op te lei. Die beloningsmodel word eers op 'n gemonitorde wyse opgelei om te voorspel of 'n reaksie op 'n gegewe aanwysing goed (hoë beloning) of sleg (lae beloning) is, gebaseer op ranglysdata wat van menslike annoteerders versamel is. Hierdie model dien dan as 'n beloningsfunksie om 'n agent se beleid te verbeter deur 'n optimaliseringsalgoritme soos proksimale beleidsoptimalisering.

RLHF het toepassings in verskeie domeine in masjienleer, insluitend natuurlike taalverwerkingstake soos teksopsommings en gespreksagente, rekenaarvisietake soos teks-na-beeldmodelle, en die ontwikkeling van videospeletjie-robotte. Terwyl RLHF 'n effektiewe metode is om modelle op te lei om beter op te tree in ooreenstemming met menslike voorkeure, staar dit ook uitdagings in die gesig as gevolg van die manier waarop die menslike voorkeurdata versamel word. Alhoewel RLHF nie massiewe hoeveelhede data benodig om prestasie te verbeter nie, is die verkryging van hoëgehalte-voorkeurdata steeds 'n duur proses. Verder, as die data nie noukeurig uit 'n verteenwoordigende steekproef versamel word nie, kan die gevolglike model ongewenste vooroordele toon.

Agtergrond en motivering
Dit is wenslik om 'n model gebaseer op menslike terugvoer te optimaliseer wanneer 'n taak moeilik is om te spesifiseer, maar maklik is om te beoordeel. Byvoorbeeld, 'n mens wil dalk 'n model oplei om veilige teks te genereer wat beide nuttig en onskadelik is (soos om sonder vooroordeel, toksisiteit of andersins skadelike inhoud te wees). Om mense te vra om handmatig voorbeelde van onskadelike en skadelike teks te skep, sal moeilik en tydrowend wees. Mense is egter bedrewe daarin om die skadelikheid van verskillende KI-gegenereerde teks vinnig te assesseer en te vergelyk. Daarom sou 'n meer praktiese doelwit wees om die model toe te laat om hierdie tipe menslike terugvoer te gebruik om sy teksgenerering te verbeter.

Ten spyte van die duidelike voordele van die insluiting van menslike terugvoer in opleidingsmodelle, het vorige pogings – insluitend sommige wat versterkingsleer benut – beduidende uitdagings teëgekom. Die meeste pogings was óf eng en moeilik om te veralgemeen, en het afgebreek na meer komplekse take, óf hulle het probleme ondervind om te leer uit yl (sonder spesifieke inligting en met groot hoeveelhede teks op 'n slag) of raserige (wat soortgelyke uitsette inkonsekwent beloon) beloningsfunksies.

RLHF was nie die eerste suksesvolle metode om menslike terugvoer vir versterkingsleer te gebruik nie, maar dit is een van die mees gebruikte. Die fondament vir RLHF is bekendgestel as 'n poging om 'n algemene algoritme te skep vir leer uit 'n praktiese hoeveelheid menslike terugvoer. Die algoritme soos dit vandag gebruik word, is deur OpenAI bekendgestel in 'n artikel oor die verbetering van teksvoortsetting of opsomming gebaseer op menslike terugvoer, en dit het gewildheid begin kry toe dieselfde metode hergebruik is in hul artikel oor InstructGPT. Daar is ook getoon dat RLHF die robuustheid van RL-agente en hul kapasiteit vir eksplorasie verbeter, wat lei tot 'n optimaliseringsproses wat meer bedrewe is in die hantering van onsekerheid en die doeltreffende verkenning van sy omgewing op soek na die hoogste beloning.

 Insameling van menslike terugvoer 
Menslike terugvoer word gewoonlik ingesamel deur mense aan te spoor om gevalle van die agent se gedrag te rangskik. Hierdie ranglys kan dan gebruik word om uitsette te gradeer, byvoorbeeld deur die Elo-graderingstelsel te gebruik, wat 'n algoritme is om die relatiewe vaardigheidsvlakke van spelers in 'n speletjie te bereken, gebaseer slegs op die uitkoms van elke speletjie. Terwyl rangskikking van uitsette die mees algemeen aanvaarde vorm van terugvoer is, het onlangse navorsing ander vorme ondersoek, soos numeriese terugvoer, natuurlike taalterugvoer en die aanvra van direkte wysigings aan die model se uitset. 

Een aanvanklike motivering van RLHF was dat dit relatief klein hoeveelhede vergelykingsdata benodig om effektief te wees. Daar is getoon dat 'n klein hoeveelheid data tot vergelykbare resultate met 'n groter hoeveelheid kan lei. Boonop is die verhoging van die hoeveelheid data geneig om minder effektief te wees as die proporsionele verhoging van die grootte van die beloningsmodel. Nietemin kan 'n groter en meer diverse hoeveelheid data van kritieke belang wees vir take waar dit belangrik is om vooroordeel van 'n gedeeltelik verteenwoordigende groep annoteerders te vermy.

Wanneer daar van menslike terugvoer geleer word deur paarsgewyse vergelyking onder die Bradley-Terry-Luce-model (of die Plackett-Luce-model vir K-gewyse vergelykings oor meer as twee vergelykings), is getoon dat die maksimum waarskynlikheidsberamer (MLE) vir lineêre beloningsfunksies konvergeer as die vergelykingsdata gegenereer word onder 'n goed gespesifiseerde lineêre model. Dit impliseer dat, onder sekere omstandighede, as 'n model opgelei word om te besluit watter keuses mense tussen pare (of groepe) keuses sou verkies, dit noodwendig sal verbeter om toekomstige voorkeure te voorspel. Hierdie verbetering word verwag solank die vergelykings waaruit dit leer gebaseer is op 'n konsekwente en eenvoudige reël.

Beide vanlyn data-insamelingsmodelle, waar die modelleer deur interaksie met 'n statiese datastel en die beleid daarvan in groepe op te dateer, sowel as aanlyn data-insamelingsmodelle, waar die model direk met die dinamiese omgewing interaksie het en die beleid daarvan onmiddellik opdateer, is wiskundig bestudeer om steekproefkompleksiteitsgrense vir RLHF onder verskillende terugvoermodelle te bewys.

In die aanlyn scenario, wanneer menslike terugvoer deur paargewyse vergelykings onder die Bradley-Terry-Luce-model ingesamel word en die doelwit is om die algoritme se spyt (die verskil in prestasie in vergelyking met 'n optimale agent) te minimaliseer, is daar getoon dat 'n optimistiese MLE wat 'n boonste vertrouensgrens as die beloningsberaming insluit, gebruik kan word om steekproefdoeltreffende algoritmes te ontwerp (wat beteken dat hulle relatief min opleidingsdata benodig). 'n Belangrike uitdaging in RLHF wanneer daar uit paargewyse (of duelerende) vergelykings geleer word, word geassosieer met die nie-Markoviaanse aard van sy optimale beleide. Anders as eenvoudiger scenario's waar die optimale strategie nie geheue van vorige aksies vereis nie, hang die beste plan van aksie in RLHF dikwels af van vorige gebeure en besluite, wat die strategie inherent geheueafhanklik maak.

 Verwysings 

Kategorie:Kunsmatige intelligensie