Mësimi përforcues

Në të mësuarit  mekinerik dhe kontrollin optimal, të mësuarit përforcues (MPA) merret me mënyrën se si një agjent inteligjent duhet të ndërmarrë veprime në një mjedis dinamik në mënyrë që të maksimizojë një sinjal shpërblimi. Të mësuarit përforcues është një nga tre paradigmat themelore të të mësuarit makinerik, së bashku me të mësuarit e mbikëqyrur dhe të mësuarit pa mbikëqyrje.

Ndërsa algoritmet e të mësuarit të mbikëqyrur dhe të të mësuarit pa mbikëqyrje përpiqen përkatësisht të zbulojnë modele në të dhënat e etiketuara dhe të paetiketuara, të mësuarit përforcues përfshin trajnimin e një agjenti përmes ndërveprimeve me mjedisin e tij. Për të mësuar të maksimizojë shpërblimet nga këto ndërveprime, agjenti merr vendime midis përpjekjes për veprime të reja për të mësuar më shumë rreth mjedisit (eksplorim), ose përdorimit të njohurive aktuale të mjedisit për të ndërmarrë veprimin më të mirë (shfrytëzim). Kërkimi për ekuilibrin optimal midis këtyre dy strategjive njihet si dilema e eksplorimit-shfrytëzimit.

Mjedisi zakonisht deklarohet në formën e një procesi vendimmarrjeje Markov, pasi shumë algoritme të të mësuarit përforcues përdorin teknika të programimit dinamik. Dallimi kryesor midis metodave klasike të programimit dinamik dhe algoritmeve të të mësuarit përforcues është se këto të fundit nuk supozojnë njohuri të një modeli të saktë matematik të procesit të vendimmarrjes Markov, dhe ato synojnë procese të mëdha vendimmarrjeje Markov ku metodat e sakta bëhen të parealizueshme.

 Parimet 
Për shkak të përgjithësisë së tij, të mësuarit përforcues studiohet në shumë disiplina, të tilla si teoria e lojërave, teoria e kontrollit, kërkimi i operacioneve, teoria e informacionit, optimizimi i bazuar në simulim, sistemet me shumë agjentë, inteligjenca e tufës dhe statistikat . Në literaturën e kërkimit dhe kontrollit të operacioneve, RL quhet programim dinamik i përafërt, ose programim neuro-dinamik. Problemet me interes në RL janë studiuar edhe në teorinë e kontrollit optimal, e cila merret kryesisht me ekzistencën dhe karakterizimin e zgjidhjeve optimale, dhe algoritmet për llogaritjen e tyre të saktë, dhe më pak me të mësuarit ose përafrimin (veçanërisht në mungesë të një modeli matematik të mjedisit).

Mësimi i përforcimit bazë modelohet si një proces vendimmarrjeje Markov :

 Një grup gjendjesh mjedisi dhe agjentësh (hapësira e gjendjeve),  ;
 Një grup veprimesh (hapësira e veprimeve), , e agjentit;
 , probabiliteti i tranzicionit (në kohën  ) nga gjendja  ne gjendjen  nën veprim  .
 , shpërblimi i menjëhershëm pas kalimit nga  për  nën veprim  .

Qëllimi i të mësuarit përforcues është që agjenti të mësojë një politikë optimale (ose afër-optimale) që maksimizon funksionin e shpërblimit ose sinjalin tjetër përforcues të ofruar nga përdoruesi që grumbullohet nga shpërblimet e menjëhershme. Kjo është e ngjashme me proceset që duket se ndodhin në psikologjinë e kafshëve. Për shembull, truri biologjik është i programuar për të interpretuar sinjale të tilla si dhimbja dhe uria si përforcime negative, dhe për të interpretuar kënaqësinë dhe marrjen e ushqimit si përforcime pozitive. Në disa rrethana, kafshët mësojnë të përvetësojnë sjellje që optimizojnë këto shpërblime. Kjo sugjeron që kafshët janë të afta për të mësuar përforcues.

Një agjent bazë i të mësuarit përforcues bashkëvepron me mjedisin e tij në hapa diskretë kohor. Në çdo hap kohor t, agjenti merr gjendjen aktuale  dhe shpërblim . Pastaj zgjedh një veprim  nga grupi i veprimeve të disponueshme, i cili më pas i dërgohet mjedisit. Është përcaktuar se mjedisi kalon në një gjendje të re  dhe shpërblimi  të lidhura me tranzicionin . Qëllimi i një agjenti të të mësuarit përforcues është të mësojë një politikë :që maksimizon shpërblimin kumulativ të pritur.

Formulimi i problemit si një proces vendimmarrjeje Markov supozon se agjenti vëzhgon drejtpërdrejt gjendjen aktuale mjedisore; në këtë rast, problemi thuhet se ka vëzhgueshmëri të plotë. Nëse agjenti ka qasje vetëm në një nëngrup gjendjesh, ose nëse gjendjet e vëzhguara janë të korruptuara nga zhurma, agjenti thuhet se ka vëzhgueshmëri të pjesshme, dhe formalisht problemi duhet të formulohet si një proces vendimmarrjeje Markov pjesërisht i vëzhgueshëm. Në të dyja rastet, grupi i veprimeve në dispozicion të agjentit mund të kufizohet. Për shembull, gjendja e një bilanci llogarie mund të kufizohet të jetë pozitive; nëse vlera aktuale e gjendjes është 3 dhe tranzicioni i gjendjes përpiqet ta ulë vlerën për 4, tranzicioni nuk do të lejohet.

Kur performanca e agjentit krahasohet me atë të një agjenti që vepron në mënyrë optimale, diferenca në performancë jep nocionin e pendesës. Për të vepruar pothuajse në mënyrë optimale, agjenti duhet të arsyetojë rreth pasojave afatgjata të veprimeve të tij (domethënë, të maksimizojë shpërblimet e ardhshme), megjithëse shpërblimi i menjëhershëm i lidhur me këtë mund të jetë negativ.

Kështu, mësimi përforcues është veçanërisht i përshtatshëm për problemet që përfshijnë një kompromis midis shpërblimeve afatgjata dhe afatshkurtëra. Është aplikuar me sukses në probleme të ndryshme, duke përfshirë ruajtjen e energjisë, kontrollin e robotëve, gjeneratorët fotovoltaikë, tavëllin, damën, Go ( AlphaGo ), dhe sistemet autonome të drejtimit.

Dy elemente e bëjnë të fuqishëm mësimin përforcues: përdorimi i mostrave për të optimizuar performancën, dhe përdorimi i përafrimit të funksionit për t'u marrë me mjedise të mëdha. Falë këtyre dy komponentëve kryesorë, RL mund të përdoret në mjedise të mëdha në situatat e mëposhtme:

 Një model i mjedisit është i njohur, por një zgjidhje analitike nuk është e disponueshme;
 Jepet vetëm një model simulimi i mjedisit (lënda e optimizimit të bazuar në simulim );
 E vetmja mënyrë për të mbledhur informacion rreth mjedisit është të bashkëveproni me të.

Dy problemet e para mund të konsiderohen probleme planifikimi (meqenëse ekziston një formë modeli), ndërsa i fundit mund të konsiderohet si një problem i vërtetë i të mësuarit. Megjithatë, mesimi përforcues i shndërron të dy problemet e planifikimit në probleme të mësimit makinerik.

 Eksplorim 
Kompromisi midis eksplorimit dhe shfrytëzimit është studiuar më plotësisht përmes problemit multi-armed bandit dhe për proceset e vendimmarrjes Markov me hapësirë gjendjesh të fundme të Burnetas dhe Katehakis (1997).

Mësimi përforcues kërkon mekanizma të zgjuar eksplorimi; zgjedhja e veprimeve në mënyrë rastësishme, pa iu referuar një shpërndarjeje të vlerësuar të probabilitetit, tregon performancë të dobët. Rasti i proceseve të vendimmarrjes Markov (të vogla) të fundme është relativisht i kuptuar mirë. Megjithatë, për shkak të mungesës së algoritmeve që shkallëzohen mirë me numrin e gjendjeve (ose shkallëzohen në probleme me hapësira të pafundme gjendjesh), metodat e thjeshta të eksplorimit janë më praktiket.

Një metodë e tillë është  -greedy, ku  është një parametër që kontrollon sasinë e eksplorimit kundrejt shfrytëzimit. Me probabilitet , zgjidhet shfrytëzimi, dhe agjenti zgjedh veprimin që beson se ka efektin më të mirë afatgjatë (lidhjet midis veprimeve prishen në mënyrë uniforme rastësisht). Nga ana tjetër, me probabilitet , zgjidhet eksplorimi dhe veprimi zgjidhet në mënyrë uniforme në mënyrë të rastësishme.  zakonisht është një parametër fiks por mund të rregullohet ose sipas një orari (duke e bërë agjentin të eksplorojë më pak në mënyrë progresive), ose në mënyrë adaptive bazuar në heuristikë.

 Algoritmet për të mësuarit me kontroll 
Edhe nëse çështja e eksplorimit shpërfillet dhe edhe nëse gjendja ishte e vëzhgueshme (e supozuar më poshtë), problemi mbetet ai i përdorimit i përvojës së kaluar për të zbuluar se cilat veprime çojnë drej shpërblimeve kumulative më të larta.

 Kriteri i optimalitetit 

 Politika 
Përzgjedhja e veprimit të agjentit modelohet si një hartë e quajtur politikë : Harta e politikave tregon probabilitetin e marrjes së veprimit  kur ndodhet në gjendje . Ekzistojnë gjithashtu politika deterministe  për të cilën  tregon veprimin që duhet të kryhet në gjendjen .

 Funksioni gjendje-vlerë 
Funksioni gjendje-vlerë  përkufizohet si, kthim i pritur i zbritur duke filluar me gjendjen , d.m.th , dhe duke ndjekur vazhdimisht politikën . Prandaj, thënë përafërsisht, funksioni i vlerës vlerëson "sa mirë" është të jesh në një gjendje të caktuar.ku ndryshorja e rastësishme  tregon kthimin e skontuar, dhe përkufizohet si shuma e shpërblimeve të skontuara në të ardhmen:ku  është shpërblimi për kalimin nga gjendja  për   është norma e zbritur.  është më pak se 1, kështu që shpërblimet në të ardhmen e largët peshohen më pak se shpërblimet në të ardhmen e afërt.

Algoritmi duhet të gjejë një politikë me kthimin maksimal të pritur të zbritur. Nga teoria e proceseve të vendimmarrjes Markov dihet se, pa humbur përgjithësinë, kërkimi mund të kufizohet në bashkësinë e të ashtuquajturave politika stacionare . Një politikë është stacionare nëse shpërndarja e veprimit që ajo kthen varet vetëm nga gjendja e fundit e vizituar (nga historia e agjentit të vëzhgimit). Kërkimi mund të kufizohet më tej në politikat stacionare deterministe. Një politikë stacionare deterministe zgjedh në mënyrë deterministe veprimet bazuar në gjendjen aktuale. Meqenëse çdo politikë e tillë mund të identifikohet me një hartëzim nga bashkësia e gjendjeve në bashkësinë e veprimeve, këto politika mund të identifikohen me hartëzime të tilla pa humbur përgjithësinë.

 Forcë brutale 
Qasja e forcës brutale përfshin dy hapa:

 Për çdo politikë të mundshme, mostra kthehet duke e ndjekur atë
 Zgjidhni politikën me kthimin më të madh të pritur të zbritur

Një problem me këtë është se numri i politikave mund të jetë i madh, ose edhe i pafund. Një problem tjetër është se varianca e kthimeve mund të jetë e madhe, gjë që kërkon shumë mostra për të vlerësuar me saktësi kthimin e zbritur të secilës politikë.

Këto probleme mund të përmirësohen nëse supozojmë një strukturë dhe lejojmë që mostrat e gjeneruara nga një politikë të ndikojnë në vlerësimet e bëra për të tjerat. Dy qasjet kryesore për ta arritur këtë janë vlerësimi i funksionit të vlerës dhe kërkimi i drejtpërdrejtë i politikave.

 Funksioni i vlerës 
Qasjet me funksioni vlere përpiqen të gjejnë një politikë që maksimizon kthimin e zbritur duke mbajtur një sërë vlerësimesh të kthimeve të pritshme të zbritura  për ndonjë politikë (zakonisht ose atë "aktuale" [në politikë] ose atë optimale [jashtë politikës]).

Këto metoda mbështeten në teorinë e proceseve të vendimmarrjes Markov, ku optimaliteti përcaktohet në një kuptim më të fortë se ai i mësipërm: Një politikë është optimale nëse arrin kthimin më të mirë të pritshem të zbritur nga çdo gjendje fillestare (domethënë, shpërndarjet fillestare nuk luajnë asnjë rol në këtë përkufizim). Përsëri, një politikë optimale mund të gjendet gjithmonë midis politikave stacionare.

Për të përcaktuar optimalitetin në një mënyrë formale, përcaktoni vlerën e gjendjes së një politike  ngaku  qëndron për kthimin e zbritur të lidhur me sa vijon  nga gjendja fillestare . Përcaktimi  si vlera maksimale e mundshme e gjendjes së , ku  lejohet të ndryshojë,Një politikë që arrin këto vlera optimale të gjendjes në secilën gjendje quhet optimale. Qartë, një politikë që është optimale në këtë kuptim është gjithashtu optimale në kuptimin që maksimizon kthimin e pritshëm të zbritur, meqenëse , ku  është një gjendje e marrë rastësisht nga shpërndarja  të gjendjeve fillestare (pra 

Edhe pse vlerat e gjendjes mjaftojnë për të përcaktuar optimalitetin, është e dobishme të përcaktohen vlerat e veprimit. Duke pasur një gjendje , një veprim  dhe një politikë , vlera e veprimit për çiftin  nën  përkufizohet si:ku  tani qëndron për kthimin e zbritur të rastësishëm të i cili  lidhet me marrjen fillimisht të veprimit  në gjendje  dhe ndjekjen e politikes , më pas.

Teoria e proceseve të vendimmarrjes Markov pohon se nëse  është një politikë optimale, ne veprojmë në mënyrë optimale (ndërmarrim veprimin optimal) duke zgjedhur veprimin nga  me vlerën më të lartë të veprimit në secilen gjendje, . Funksioni i vlerës së veprimit të një politike të tillë optimale (  ) quhet funksioni optimal i vlerës së veprimit dhe zakonisht shënohet me . Si përmbledhje, vetëm njohja e funksionit optimal të vlerës së veprimit mjafton për të ditur se si të veprohet në mënyrë optimale.

Duke supozuar njohuri të plota të procesit të vendimmarrjes Markov, dy qasjet themelore për të llogaritur funksionin optimal të vlerës së veprimit janë përsëritja e vlerës dhe përsëritja e politikës. Të dy algoritmet llogaritin një sekuencë funksionesh  (  ) që konvergojnë në

. Llogaritja e këtyre funksioneve përfshin llogaritjen e pritjeve mbi të gjithë hapësirën e gjendjes, gjë që është jopraktike për të gjitha proceset e vendimmarrjes Markov, përveç atyre më të vogla (të fundme). Në metodat e të mësimit përforcues, pritshmëritë afrohen duke perdorur mesatare mbi mostrat dhe duke përdorur teknika të përafrimit të funksionit për t'u përballur me nevojën për të përfaqësuar funksionet e vlerës mbi hapësira të mëdha gjendje-veprim.

 Metodat Monte Karlo 
Metodat Monte Karlo përdoren për të zgjidhur problemet e të mësuarit përforcues duke marrë mesatare të kthimeve nga mostrat. Ndryshe nga metodat që kërkojnë njohuri të plotë të dinamikës së mjedisit, metodat Monte Karlo mbështeten vetëm në përvojën aktuale ose të simuluar – sekuenca të gjendjeve, veprimeve dhe shpërblimeve të marra nga bashkëveprimi me një mjedis. Kjo i bën ato të zbatueshme në situata ku dinamikat e plota janë të pa panjohura. Të mësuarit nga përvoja aktuale nuk kërkon njohuri paraprake të mjedisit dhe prapë mund të çojë në sjellje optimale. Kur përdoret përvoja e simuluar, kërkohet vetëm një model i aftë të gjenerojë tranzicione të mostrës, në vend të një specifikimi të plotë të probabiliteteve të tranzicionit, i cili është i nevojshëm për metodat e programimit dinamik .

Metodat Monte Karlo zbatohen për detyrat episodike, ku përvoja ndahet në episode që në fund përfundojnë. Përditësimet e politikës dhe funksionit të vlerës ndodhin vetëm pas përfundimit të një episodi, duke i bërë këto metoda inkrementale në bazë episod pas episodi, edhe pse jo në mënyre hap pas hapi (online). Termi "Monte Karlo" në përgjithësi i referohet çdo metode që përfshin marrjen e mostrave të rastësishme; megjithatë, në këtë kontekst, ai i referohet specifikisht metodave që llogaritin mesataret nga kthimet e plota, në vend të kthimeve të pjesshme .

Këto metoda funksionojnë në mënyrë të ngjashme me algoritmet bandit, në të cilat kthimet llogariten mesatarisht për secilin çift gjendje-veprim. Dallimi kryesor është se veprimet e ndërmarra në një gjendje ndikojnë në kthimet e gjendjeve pasuese brenda të njëjtit episod, duke e bërë problemin jo-stacionar. Për të adresuar këtë jo-stacionaritet, metodat Monte Karlo përdorin kornizën e iteracionit të përgjithshëm të politikave (GPI). Ndërsa programimi dinamik llogarit funksionet e vlerës duke përdorur njohuri të plota të procesit të vendimmarrjes Markov, metodat Monte Karlo i mësojnë këto funksione përmes kthimeve të mostrave. Funksionet e vlerës dhe politikat bashkëveprojnë në mënyrë të ngjashme me programimin dinamik për të arritur optimalitetin, së pari duke adresuar problemin e parashikimit dhe më pas duke e zgjeruar drejt përmirësimit të politikës dhe kontrollit, të gjitha bazuar në përvojën e marrë nga mostrat.

 Metodat e ndryshimit kohor 

Problemi i parë korrigjohet duke lejuar që procedura të ndryshojë politikën (në disa ose të gjitha gjendjet) përpara se vlerat të stabilizohen. Edhe kjo mund të jetë problematike pasi mund të parandalojë konvergjencën. Shumica e algoritmeve aktuale e bëjnë këtë, duke krijuar klasën e algoritmeve të përsëritjes së politikave të përgjithësuara. Shumë metoda aktor-kritik i përkasin kësaj kategorie.

Çështja e dytë mund të korrigjohet duke lejuar që trajektoret të kontribuojnë në çdo çift gjendje-veprim që ato përmbajnë. Kjo gjithashtu mund të ndihmojë në një farë mase me problemin e tretë, megjithëse një zgjidhje më e mirë kur kthimet kanë variancë të lartë janë metodat e ndryshimit kohor (TD) të Sutton-it që bazohen në ekuacionin rekursiv të Bellman-it. Llogaritja në metodat TD mund të jetë inkrementale (kur pas çdo tranzicioni memoria ndryshohet dhe tranzicioni hidhet tutje), ose në grup (kur tranzicionet grumbullohen dhe vlerësimet llogariten një herë bazuar në grup). Metodat në grup, siç është metoda e ndryshimit kohor të katrorëve më të vegjël, mund ta përdorin më mirë informacionin në mostra, ndërsa metodat inkrementale janë zgjedhja e vetme kur metodat në grup janë të parealizueshme për shkak të kompleksitetit të tyre të lartë kompjuterik ose të memories. Disa metoda përpiqen të kombinojnë të dy qasjet. Metodat e bazuara në ndryshime kohore gjithashtu kapërcejnë çështjen  e katërt.

Një problem tjetër specifik për TD vjen nga mbështetja e tyre në ekuacionin rekursiv të Bellman-it. Shumica e metodave TD kanë të ashtuquajturin parametrin    që mund të ndërmjetësoj vazhdimisht midis metodave Monte Karlo që nuk mbështeten në ekuacionet e Bellman-it dhe metodave bazë TD që mbështeten plotësisht në ekuacionet Bellman-it. Kjo mund të jetë efektive në zgjidhjen e këtij problemi.

 Metodat e përafrimit të funksionit 
Për të adresuar çështjen e pestë, përdoren metodat e përafrimit të funksionit. Përafrimi linear i funksionit fillon me një pasqyrim  që i cakton një vektor me dimension të fundëm secilit çift gjendje-veprim. Pastaj, vlerat e veprimit të një çifti gjendje-veprim  merren duke kombinuar në mënyrë lineare komponentët e  me disa pesha Algoritmet më pas rregullojnë peshat, në vend që të rregullojnë vlerat e shoqëruara me çiftet individuale gjendje-veprim. Janë eksploruar metoda të bazuara në ide nga statistikat joparametrike (të cilat mund të shihen se ndërtojnë karakteristikat e tyre).

Iteracioni i vlerës mund të përdoret gjithashtu si pikënisje, duke i dhënë shkas algoritmit Q-learning dhe varianteve të shumta të tij. Duke përfshirë metodat e Deep Q-learning kur një rrjet nervor përdoret për të përfaqësuar Q, me zbatime të ndryshme në problemet stokastike të kërkimit.

Problemi me përdorimin e vlerave të veprimit është se ato mund të kenë nevojë për vlerësime shumë të sakta të vlerave të veprimit konkurrues, të cilat mund të jenë të vështira për t'u marrë kur kthimet janë të zhurmshme, megjithëse ky problem zbutet deri diku nga metodat e ndryshimit kohor. Përdorimi i të ashtuquajturës metodë përafrimi të funksionit të pajtueshëm kompromenton përgjithësinë dhe efikasitetin.

 Kërkim i drejtpërdrejtë i politikave 
Një metodë alternative është kërkimi direkt në (disa nëngrupe të) hapësirës së politikave, në të cilin rast problemi bëhet rast i optimizimit stokastik . Dy qasjet e disponueshme janë metodat e bazuara në gradient dhe metodat pa gradient.

Metodat e bazuara në gradient ( metodat e gradientit të politikave ) fillojnë me një pasqyrim nga një hapësirë (parametër) me dimensione të fundme në hapësirën e politikave: duke pasur parasysh vektorin e parametrave ,  le të tregojë politikën e lidhur me . Përcaktimi i funksionit të performancës duke  në kushte të buta ky funksion do të jetë i diferencueshëm si një funksion i vektorit të parametrit . Nëse gradienti i  ishte i njohur, mund të përdoret ngritja e gradientit. Meqenëse një shprehje analitike për gradientin nuk është e disponueshme, vetëm një vlerësim i zhurmshëm është i disponueshëm. Një vlerësim i tillë mund të ndërtohet në shumë mënyra, duke dhënë shkas për algoritme të tilla si metoda REINFORCE e Williams  (e cila njihet si metoda e raportit të gjasës në literaturën e optimizimit të bazuar në simulim ).

Një klasë e madhe metodash shmang mbështetjen në informacionin e gradientit. Këto përfshijnë pjekjen e simuluar, kërkimin e entropisë kryq ose metodat e llogaritjes evolucionare. Shumë metoda pa gradient mund të arrijnë (në teori dhe në limit) një optimum global.

Metodat e kërkimit të politikave mund të konvergojnë ngadalë kur dhënat janë të zhurmshme. Për shembull, kjo ndodh në problemet episodike kur trajektoret janë të gjata dhe varianca e kthimeve është e madhe. Metodat e bazuara në funksionin e vlerës që mbështeten në ndryshimet kohore mund të ndihmojnë në këtë rast. Në vitet e fundit, metodat aktor-kritik janë propozuar dhe kanë funksionuar mirë në probleme të ndryshme.

Metodat e kërkimit të politikave janë përdorur në kontekstin e robotikës. Shumë metoda të kërkimit të politikave mund të ngecin në optimumet lokale (pasi ato bazohen në kërkimin lokal).

 Algoritmet e bazuara në model 
Së fundmi, të gjitha metodat e mësipërme mund të kombinohen me algoritme që së pari mësojnë një model të procesit të vendimmarrjes Markov, probabilitetin e secilës gjendje tjetër të dhënë nga një veprim i ndërmarrë nga një gjendje ekzistuese. Për shembull, algoritmi Dyna mëson një model nga përvoja dhe e përdor atë për të ofruar më shumë tranzicione të modeluara për një funksion vlere, përveç tranzicioneve reale. Metoda të tilla ndonjëherë mund të zgjerohen në përdorimin e modeleve jo-parametrike, siç është kur tranzicionet thjesht ruhen dhe "ripërseriten" në algoritmin e të mësuarit.

Metodat e bazuara në model mund të jenë më intensive në aspektin kompjuterik sesa qasjet pa model, dhe dobia e tyre mund të kufizohet nga shkalla në të cilën mund të mësohet procesi i vendimmarrjes Markov.

Ka mënyra të tjera për të përdorur modelet përveç përditësimit të një funksioni vlere. Për shembull, në kontrollin parashikues të modelit, modeli përdoret për të përditësuar sjelljen drejtpërdrejt.

 Teori 
Si sjelljet asimptotike ashtu edhe ato me mostër të fundme të shumicës së algoritmeve kuptohen mirë. Algoritmet me performancë të mirë në internet (që adresojnë çështjen e eksplorimit) janë të njohura.

Një eksplorim efikas i proceseve të vendimmarrjes Markov është dhënë në Burnetas dhe Katehakis (1997). Kufijtë e performancës në kohë të kufizuar janë shfaqur gjithashtu për shumë algoritme, por këto kufij pritet të jenë mjaft të gjerë dhe për këtë arsye nevojitet më shumë punë për të kuptuar më mirë avantazhet dhe kufizimet relative.

Për algoritmet inkrementale, çështjet e konvergjencës asimptotike janë zgjidhur. [ <span title="What are the issues that have been settled? (January 2020)">nevojitet sqarim</span> ]  Algoritmet e bazuara në ndryshime kohore konvergojnë në një grup më të gjerë kushtesh sesa ishte e mundur më parë (për shembull, kur përdoren me përafrim arbitrar, të funksionit të lëmuar).

 Hulumtim 
Temat e kërkimit përfshijnë:

 arkitekturë aktor-kritik
 arkitekturë aktor-kritik-peizazh
 metoda adaptive që funksionojnë me më pak (ose aspak) parametra nën një numër të madh kushtesh
 zbulimi i gabimeve në projektet softuerike
 mësim i vazhdueshëm
 kombinime me korniza të bazuara në logjikë (p.sh., specifikime logjike kohore, makina shpërblimi, dhe argumentim probabilistik).
 eksplorimi në proceset e mëdha të vendimmarrjes Markov
 mësim përforcues i bazuar në entitete
 reagime njerëzore
 ndërveprimi midis të mësuarit implicit dhe eksplicit në përvetësimin e aftësive
 motivim i brendshëm që dallon sjelljet kërkuese të informacionit, të tipit kuriozitet nga sjelljet e varura nga detyrat dhe të drejtuara nga qëllimet; vlerësime empirike në shkallë të gjerë.
 hapësira të mëdha veprimi (ose të vazhdueshme)
 mësimi përforcues modular dhe hierarkik
 Mësimi përforcues me shumëagjente/të shpërndara është një temë me interes. Zbatimet po zgjerohen.
 kontroll i përqendruar te banori
 optimizimi i burimeve kompjuterike
 informacion i pjesshëm (p.sh., duke përdorur përfaqësimin parashikues të gjendjes )
 funksion shpërblimi bazuar në maksimizimin e informacionit të ri
 planifikim i bazuar në mostra (p.sh., bazuar në  Monte Karlo tree search ).
 tregtia e letrave me vlerë
 transferimi i të mësuarit
 Mësimi TD që modelon të mësuarit e bazuar në dopaminë në tru. Projeksionet dopaminergjike nga substantia nigra në funksionin e ganglioneve bazale janë gabimi i parashikimit.
 metodat e kërkimit të funksionit të vlerës dhe politikave

 Krahasimi i algoritmeve kryesore 
Tabela e mëposhtme rendit algoritmet kryesore për të mësuar një politikë në varësi të disa kritereve:

 Algoritmi mund të jetë on-policy(kryen përditësime të politikave duke përdorur trajektore të marra si mostër nëpërmjet politikës aktuale)cf.  ose off-policy.
 Hapësira e veprimit mund të jetë diskrete (p.sh. hapësira e veprimit mund të jetë "lart", "majtas", "djathtas", "poshtë", "qëndrim") ose e vazhdueshme (p.sh. lëvizja e krahut me një kënd të caktuar).
 Hapësira e gjendjes mund të jetë diskrete (p.sh. agjenti mund të jetë në një qelizë në një rrjetë) ose e vazhdueshme (p.sh. agjenti mund të jetë i vendosur në një pozicion të caktuar në plan).

Algoritmi Përshkrimi Politika Hapësirë veprimi Hapësira e gjendjes Operatori Monte Karlo Çdo vizitë në Monte Karlo Ose Diskrete Diskrete Mesataret e mostrës së vlerave të gjendjes ose vlerave të veprimit Mësimi i TD Gjendje–veprim–shpërblim–gjendje Jashtë politikës Diskrete Diskrete Vlera e gjendjes Q-learning Gjendje–veprim–shpërblim–gjendje Jashtë politikës Diskrete Diskrete Vlera e veprimit SARSA Gjendje–veprim–shpërblim–gjendje–veprim Në politikë Diskrete Diskrete Vlera e veprimit DQN Rrjeti i Thellë Q Jashtë politikës Diskrete I vazhdueshëm Vlera e veprimit DDPG Gradient i thellë i politikave deterministe Jashtë politikës I vazhdueshëm I vazhdueshëm Vlera e veprimit A3C Algoritmi i Aktorit-Kritik me Avantazh Asinkron Në politikë Diskrete I vazhdueshëm Avantazhi (=vlera-e-veprimit – vlera-e-gjendjes) TRPO Optimizimi i Politikës së Rajonit të Besimit Në politikë I vazhdueshëm ose diskret I vazhdueshëm Avantazhi PPO Optimizimi i Politikës Proksimale Në politikë I vazhdueshëm ose diskret I vazhdueshëm Avantazhi TD3 Gradient i Politikës Deterministe të Thellë me Vonesë të Dyfishtë Jashtë politikës I vazhdueshëm I vazhdueshëm Vlera e veprimit SAC Aktor-Kritik i Butë Jashtë politikës I vazhdueshëm I vazhdueshëm Avantazhi DSAC Kritik i Aktorit të Butë të Shpërndarjes Jashtë politikës I vazhdueshëm I vazhdueshëm Shpërndarja e vlerës së veprimit

 Mësimi përforcues invers 
Detyrat e të mësuarit përforcues asociativ kombinojnë aspekte të detyrave të automatave stokastike të të mësuarit dhe detyrave të klasifikimit të modeleve të të mësuarit të mbikëqyrur. Në detyrat e të mësuarit përforcues asociativ, sistemi i të mësuarit bashkëvepron në një unazë të mbyllur me mjedisin e tij.

 Mësim përforcues i thellë 
Kjo qasje e zgjeron mësimin përforcues duke përdorur një rrjet të thellë nervor dhe pa dizajnuar në mënyrë eksplicite hapësirën e gjendjes. Puna mbi mësimin e lojërave ATARI nga Google DeepMind rriti vëmendjen ndaj mësimit përforcues të thellë ose mësimit përforcues end-to-end.

 Mësimi përforcues i thellë kundërshtar 
Mësimi përforcues i thellë kundërshtar është një fushë aktive kërkimore në mësimin përforcues duke u përqendruar në dobësitë e politikave të mësuara. Në këtë fushë kërkimore, disa studime fillimisht treguan se politikat e mësimit përforcues janë të ndjeshme ndaj manipulimeve të pakuptueshme kundërshtare. Ndërsa janë propozuar disa metoda për të kapërcyer këto ndjeshmëri, në studimet më të fundit është treguar se këto zgjidhje të propozuara janë larg ofrimit të një përfaqësimi të saktë të dobësive aktuale të politikave të mësimit përforcues të thellë.

 Mësim përforcues i paqartë (fuzzy) 
Duke futur inferencën fuzzy në të mësuarit përforcues, përafrimi i funksionit vlerë gjendje-veprim me rregulla fuzzy në hapësirë të vazhdueshme bëhet i mundur. Forma IF – ELSE e rregullave fuzzy e bën këtë qasje të përshtatshme për shprehjen e rezultateve në një formë afër gjuhës natyrore. Zgjerimi i FRL me Interpolimin e Rregullave Fuzzy lejon përdorimin e bazave të rregullave fuzzy të rralla me madhësi të reduktuar për të theksuar rregullat kryesore (vlerat më të rëndësishme gjendje-veprim).

 Mësimi përforcues invers 
Në të mësuarit përforcues invers (IRL), nuk jepet asnjë funksion shpërblimi. Në vend të kësaj, funksioni i shpërblimit nxirret duke pasur parasysh një sjellje të vëzhguar nga një ekspert. Ideja është të imitohet sjellja e vëzhguar, e cila shpesh është optimale ose afër optimales. Një paradigmë e njohur IRL quhet të mësuarit përforcues invers me entropi maksimale (MaxEnt IRL). MaxEnt IRL vlerëson parametrat e një modeli linear të funksionit të shpërblimit duke maksimizuar entropinë e shpërndarjes së probabilitetit të trajektoreve të vëzhguara, të nënshtruara ndaj kufizimeve që lidhen me përputhjen e pritshmërisë së numrit të karakteristikave. Kohët e fundit është treguar se MaxEnt IRL është një rast i veçantë i një kuadri më të përgjithshëm të quajtur të mësuarit përforcues invers me dobi të rastësishme (RU-IRL). RU-IRL bazohet në teorinë e dobisë së rastësishme dhe proceset e vendimmarrjes Markov. Ndërsa qasjet e mëparshme IRL supozojnë se sjellja e dukshme e rastësishme e një agjenti të vëzhguar është për shkak të ndjekjes së një politike të rastësishme nga ana e tij, RU-IRL supozon se agjenti i vëzhguar ndjek një politikë deterministe, por rastësia në sjelljen e vëzhguar është për shkak të faktit se një vëzhgues ka vetëm akses të pjesshëm në tiparet që agjenti i vëzhguar përdor në vendimmarrje. Funksioni i dobisë modelohet si një ndryshore e rastësishme për të llogaritur injorancën e vëzhguesit në lidhje me tiparet që agjenti i vëzhguar në të vërtetë i merr në konsideratë në funksionin e tij të dobisë.

 Mësim përforcues me shumë objektiva 
Mësimi përforcues me shumë objektiva (MORL) është një formë e mësimit përforcues që merret me alternativa konfliktuale. Ai dallohet nga optimizimi me shumë objektiva në atë që merret me agjentë që veprojnë në mjedise.,

 Mësim përforcues i paqartë (fuzzy) 
Mësimi përforcues i sigurt  (SRL) mund të përkufizohet si procesi i  të mësuarit të politikave  që maksimizojnë pritshmërinë e kthimit në problemet në të cilat është e rëndësishme të sigurohet performancë e arsyeshme e sistemit dhe/ose të respektohen kufizimet e sigurisë gjatë proceseve të të mësuarit dhe/ose vendosjes. Një qasje alternative është të mësuarit përforcues kundër rrezikut, ku në vend të kthimit të pritur, optimizohet një masë rreziku e kthimit, siç është vlera e kushtëzuar në rrezik (CVaR). Përveç zvogëlimit së rrezikut, objektivi CVaR rrit qëndrueshmërinë për të modeluar pasiguritë. Megjithatë, optimizimi CVaR në RL kundër rrezikut kërkon kujdes të veçantë, për të parandaluar paragjykimin e gradientit dhe verbërinë ndaj suksesit.

 Mësimi vetëpërforcues 
Mësimi vetëpërforcues (ose vetë-mësimi) është një paradigmë mësimore që nuk përdor konceptin e shpërblimit të menjëhershëm  pas kalimit nga  për  me veprim . Nuk përdor një përforcim të jashtëm, por përdor vetëm vetëpërforcimin e brendshëm të agjentit. Vetëpërforcimi i brendshëm sigurohet nga mekanizmi i ndjenjave dhe emocioneve. Në procesin e të mësuarit, emocionet përhapen nga një mekanizëm i përforcimit dytësor. Ekuacioni i të msuarit nuk përfshin shpërblimin e menjëhershëm, por vetëm vlerësimit e gjendjes.

Algoritmi i vetë-përforcimit përditëson një matricë memorieje  të tillë që në çdo përsëritje ekzekuton rutinën e mëposhtme të të mësuarit makinerik:

 Në situatë  kryej veprimin .
 Pranoni një situatë pasojash .
 Vlerësimi i gjendjes së llogaritur  se sa mirë është të jesh në situatën e pasojave .
 Përditëso memorien e shiritit të kryqëzuar  .

Kushtet fillestare të memories merren si të dhëna hyrëse nga mjedisi gjenetik. Është një sistem me vetëm një të dhënë hyrëse (situatë) dhe vetëm një të dhënë dalëse (veprim ose sjellje).

Vetëpërforcimi (vetëmësimi) u prezantua në vitin 1982 së bashku me një rrjet nervor të aftë për të mësuar vetëpërforcim, të quajtur Crossbar Adaptive Array (CAA). CAA llogarit, në një mënyrë të kryqëzuar, si vendimet në lidhje me veprimet ashtu edhe emocionet (ndjenjat) në lidhje me gjendjet e pasojave. Sistemi drejtohet nga bashkëveprimi midis njohjes dhe emocionit.

 Mësimi përforcues në Përpunimin e Gjuhës Natyrore 
Në vitet e fundit, të mësuarit përforcues është bërë një koncept i rëndësishëm në përpunimin e gjuhës natyrore (NLP), ku detyrat shpesh janë vendimmarrje sekuenciale dhe jo klasifikim statik. Të mësuarit përforcues është kur një agjent ndërmerr veprime në një mjedis për të maksimizuar akumulimin e shpërblimeve. Ky kuadër është më i përshtatshmi për shumë detyra NLP, duke përfshirë gjenerimin e dialogut, përmbledhjen e tekstit, dhe përkthimin makinerik, ku cilësia e rezultatit varet nga optimizimi i qëllimeve afatgjata ose të përqendruara te njeriu dhe jo nga parashikimi i një etikete të vetme të saktë.

Zbatimi i hershëm i RL në NLP u shfaq në sistemet e dialogut, ku biseda u përcaktua si një seri veprimesh të optimizuara për rrjedhshmëri dhe koherencë. Këto përpjekje të hershme, duke përfshirë gradientin e politikave dhe teknikat e trajnimit në nivel sekuence, hodhën themelet për zbatimin më të gjerë të të mësuarit përforcues në fusha të tjera të NLP-së.

Një përparim i madh ndodhi me futjen e të mësuarit përforcues nga reagimet njerëzore (RLHF), një metodë në të cilën vlerësimet e reagimeve njerëzore përdoren për të trajnuar një model shpërblimi që udhëzon agjentin RL. Ndryshe nga sistemet tradicionale të bazuara në rregulla ose të mbikëqyrura, RLHF u lejon modeleve të përshtasin sjelljen e tyre me gjykimet njerëzore në detyra komplekse dhe subjektive. Kjo teknikë u përdor fillimisht në zhvillimin e InstructGPT, një model gjuhe efektiv i trajnuar për të ndjekur udhëzimet njerëzore dhe më vonë në ChatGPT i cili përfshin RLHF për përmirësimin e përgjigjeve të daljes dhe sigurimin e sigurisë.

Së fundit, studiuesit kanë eksploruar përdorimin e RL offline në NLP për të përmirësuar sistemet e dialogut pa nevojën e ndërveprimit të drejtpërdrejtë njerëzor. Këto metoda optimizojnë angazhimin, koherencën dhe diversitetin e përdoruesit bazuar në regjistrat e bisedave të kaluara dhe modelet e shpërblimit të para-trajnuara.

Një shembull është DeepSeek-R1, i cili përfshin të dhëna trajnimi shumëfazëshe dhe nisjeje të ftohtë para RL. DeepSeek-R1 arrin performancë të krahasueshme me OpenAI-o1-1217 në detyrat e arsyetimit. Ky model u trajnua nëpërmjet të mësuarit përforcues në shkallë të gjerë (RL) pa rregullim të imët të mbikëqyrur (SFT) si një hap paraprak.

 Krahasimi statistikor i algoritmeve të të mësuarit përforcues 
Krahasimi efikas i algoritmeve RL është thelbësor për kërkimin, vendosjen dhe monitorimin e sistemeve RL. Për të krahasuar algoritme të ndryshme në një mjedis të caktuar, një agjent mund të trajnohet për secilin algoritëm. Meqenëse performanca është e ndjeshme ndaj detajeve të zbatimit, të gjithë algoritmet duhet të zbatohen sa më afër njëri-tjetrit. Pasi të përfundojë trajnimi, agjentët mund të ekzekutohen në një mostër episodesh testimi dhe rezultatet (kthimet) e tyre mund të krahasohen. Meqenëse episodet zakonisht supozohet të jenë i.i.d, mjetet standarde statistikore mund të përdoren për testimin e hipotezave, siç është testi T dhe testi i permutacionit. Kjo kërkon grumbullimin e të gjitha shpërblimeve brenda një episodi në një numër të vetëm-kthimin episodik. Megjithatë, kjo shkakton një humbje informacioni, pasi hapa të ndryshëm kohor mesatarizohen së bashku, ndoshta me nivele të ndryshme zhurme. Sa herë që niveli i zhurmës ndryshon gjatë episodit, fuqia statistikore mund të përmirësohet ndjeshëm, duke i peshuar shpërblimet sipas zhurmës së tyre të vlerësuar.

 Sfidat dhe Kufizimet 
Pavarësisht përparimeve të rëndësishme, të mësuarit përforcues (RL) vazhdon të përballet me disa sfida dhe kufizime që pengojnë zbatimin e tij të gjerë në skenarë të botës reale.

 Joefikasiteti i mostrës 
Algoritmet RL shpesh kërkojnë një numër të madh ndërveprimesh me mjedisin për të mësuar politika efektive, duke çuar në kosto të larta kompjuterike dhe kohë intensive për të trajnuar agjentin. Për shembull, roboti Dota i OpenAI përdori mijëra vjet lojë të simuluar për të arritur performancë në nivel njerëzor. Teknika si riprodhimi i përvojës dhe mësimi i kurrikulës janë propozuar për të zvogëluar joefikasitetin e mostrës, por këto teknika shtojnë më shumë kompleksitet dhe nuk janë gjithmonë të mjaftueshme për aplikimet e botës reale.

 Çështjet e Stabilitetit dhe Konvergjencës 
Modelet e trajnimit RL, veçanërisht për modelet e bazuara në rrjete të thella nervore, mund të jenë të paqëndrueshme dhe të prirura ndaj divergjencës. Një ndryshim i vogël në politikë ose mjedis mund të çojë në luhatje ekstreme në performancë, duke e bërë të vështirë arritjen e rezultateve të qëndrueshme. Kjo paqëndrueshmëri përforcohet më tej në rastin e hapësirës së veprimit të vazhdueshëm ose me dimensione të larta, ku hapi i të mësuarit bëhet më kompleks dhe më pak i parashikueshëm.

 Përgjithësimi dhe Transferueshmëria 
Agjentët e RL të trajnuar në mjedise specifike shpesh kanë vështirësi të përgjithësojnë politikat e tyre të mësuara në skenarë të rinj, të paparë. Ky është pengesa kryesore që pengon zbatimin e RL në mjedise dinamike të botës reale ku përshtatshmëria është thelbësore. Sfida është të zhvillohen algoritme të tilla që mund të transferojnë njohuri nëpër detyra dhe mjedise pa ritrajnim të gjerë.

 Çështjet e Paragjykimit dhe Funksionit të Shpërblimit 
Dizajni i funksioneve të përshtatshme të shpërblimit është kritik në RL sepse funksionet e shpërblimit të dizajnuara dobët mund të çojnë në sjellje të paqëllimshme. Përveç kësaj, sistemet RL të trajnuara mbi të dhëna të anshme mund të përjetësojnë paragjykimet ekzistuese dhe të çojnë në rezultate diskriminuese ose të padrejta. Të dyja këto çështje kërkojnë shqyrtim të kujdesshëm të strukturave të shpërblimit dhe burimeve të të dhënave për të siguruar drejtësi dhe sjellje të dëshiruara.

 Shih edhe 

 Mësimi aktiv (mësimi makinerik)
 Mësimi praktik
 Mësimi i bazuar në gabime
 Pa model (mësimi përforcues)
 Mësimi përforcues me shumë agjentë
 Kontrolli optimal
 Mësimi Q
 Mësimi përforcues nga reagimi i njeriut
 Gjendje-veprim-shpërbilm-gjendje-veprim (SARSA)
 Mësimi me ndryshime kohor

 Lexime të mëtejshme 













 Lidhje të jashtme 
Analiza e të Mësuarit me Përforcim – Seri postimesh në blog mbi të mësuarit me përforcime me kod Python
 Një Vështrim (i Gjatë) në Mësimin Përforcues

 Referime