Mësimi përforcues

djathtas|parapamje|Korniza tipike e një skenari të të mësuarit përforcues (RL): një agjent ndërmerr veprime në një mjedis, i cili interpretohet në një shpërblim dhe një përfaqësim gjendjeje, të cilat i kthehen agjentit.
Në të mësuarit  mekinerik dhe kontrollin optimal, **të mësuarit përforcues** (**MPA**) merret me mënyrën se si një agjent inteligjent duhet të ndërmarrë veprime në një mjedis dinamik në mënyrë që të maksimizojë një sinjal shpërblimi. Të mësuarit përforcues është një nga tre paradigmat themelore të të mësuarit makinerik, së bashku me të mësuarit e mbikëqyrur dhe të mësuarit pa mbikëqyrje.

Ndërsa algoritmet e të mësuarit të mbikëqyrur dhe të të mësuarit pa mbikëqyrje përpiqen përkatësisht të zbulojnë modele në të dhënat e etiketuara dhe të paetiketuara, të mësuarit përforcues përfshin trajnimin e një agjenti përmes ndërveprimeve me mjedisin e tij. Për të mësuar të maksimizojë shpërblimet nga këto ndërveprime, agjenti merr vendime midis përpjekjes për veprime të reja për të mësuar më shumë rreth mjedisit (eksplorim), ose përdorimit të njohurive aktuale të mjedisit për të ndërmarrë veprimin më të mirë (shfrytëzim). Kërkimi për ekuilibrin optimal midis këtyre dy strategjive njihet si dilema e eksplorimit-shfrytëzimit.

Mjedisi zakonisht deklarohet në formën e një procesi vendimmarrjeje Markov, pasi shumë algoritme të të mësuarit përforcues përdorin teknika të programimit dinamik. Dallimi kryesor midis metodave klasike të programimit dinamik dhe algoritmeve të të mësuarit përforcues është se këto të fundit nuk supozojnë njohuri të një modeli të saktë matematik të procesit të vendimmarrjes Markov, dhe ato synojnë procese të mëdha vendimmarrjeje Markov ku metodat e sakta bëhen të parealizueshme.

## Parimet 
Për shkak të përgjithësisë së tij, të mësuarit përforcues studiohet në shumë disiplina, të tilla si teoria e lojërave, teoria e kontrollit, kërkimi i operacioneve, teoria e informacionit, optimizimi i bazuar në simulim, sistemet me shumë agjentë, inteligjenca e tufës dhe statistikat . Në literaturën e kërkimit dhe kontrollit të operacioneve, RL quhet *programim dinamik i përafërt*, ose *programim neuro-dinamik.* Problemet me interes në RL janë studiuar edhe në teorinë e kontrollit optimal, e cila merret kryesisht me ekzistencën dhe karakterizimin e zgjidhjeve optimale, dhe algoritmet për llogaritjen e tyre të saktë, dhe më pak me të mësuarit ose përafrimin (veçanërisht në mungesë të një modeli matematik të mjedisit).

Mësimi i përforcimit bazë modelohet si një proces vendimmarrjeje Markov :

* Një grup gjendjesh mjedisi dhe agjentësh (hapësira e gjendjeve), \mathcal{S} ;
* Një grup veprimesh (hapësira e veprimeve), \mathcal{A}, e agjentit;
* P_a(s,s') = \Pr(S_{t+1}{=}s' \mid S_t{=}s, A_t{=}a), probabiliteti i tranzicionit (në kohën t ) nga gjendja s ne gjendjen s' nën veprim a .
* R_a(s,s'), shpërblimi i menjëhershëm pas kalimit nga s për s' nën veprim a .

Qëllimi i të mësuarit përforcues është që agjenti të mësojë një politikë optimale (ose afër-optimale) që maksimizon funksionin e shpërblimit ose sinjalin tjetër përforcues të ofruar nga përdoruesi që grumbullohet nga shpërblimet e menjëhershme. Kjo është e ngjashme me proceset që duket se ndodhin në psikologjinë e kafshëve. Për shembull, truri biologjik është i programuar për të interpretuar sinjale të tilla si dhimbja dhe uria si përforcime negative, dhe për të interpretuar kënaqësinë dhe marrjen e ushqimit si përforcime pozitive. Në disa rrethana, kafshët mësojnë të përvetësojnë sjellje që optimizojnë këto shpërblime. Kjo sugjeron që kafshët janë të afta për të mësuar përforcues.

Një agjent bazë i të mësuarit përforcues bashkëvepron me mjedisin e tij në hapa diskretë kohor. Në çdo hap kohor t, agjenti merr gjendjen aktuale S_t dhe shpërblim R_t. Pastaj zgjedh një veprim A_t nga grupi i veprimeve të disponueshme, i cili më pas i dërgohet mjedisit. Është përcaktuar se mjedisi kalon në një gjendje të re S_{t+1} dhe shpërblimi R_{t+1} të lidhura me *tranzicionin* (S_t,A_t,S_{t+1}). Qëllimi i një agjenti të të mësuarit përforcues është të mësojë një *politikë* :\begin{align}
&\pi: \mathcal{S} \times \mathcal{A} \to [0,1] \\
&\pi(s,a) = \Pr(A_t{=}a \mid S_t{=}s)
\end{align}që maksimizon shpërblimin kumulativ të pritur.

Formulimi i problemit si një proces vendimmarrjeje Markov supozon se agjenti vëzhgon drejtpërdrejt gjendjen aktuale mjedisore; në këtë rast, problemi thuhet se ka *vëzhgueshmëri të plotë*. Nëse agjenti ka qasje vetëm në një nëngrup gjendjesh, ose nëse gjendjet e vëzhguara janë të korruptuara nga zhurma, agjenti thuhet se ka *vëzhgueshmëri të pjesshme*, dhe formalisht problemi duhet të formulohet si një proces vendimmarrjeje Markov pjesërisht i vëzhgueshëm. Në të dyja rastet, grupi i veprimeve në dispozicion të agjentit mund të kufizohet. Për shembull, gjendja e një bilanci llogarie mund të kufizohet të jetë pozitive; nëse vlera aktuale e gjendjes është 3 dhe tranzicioni i gjendjes përpiqet ta ulë vlerën për 4, tranzicioni nuk do të lejohet.

Kur performanca e agjentit krahasohet me atë të një agjenti që vepron në mënyrë optimale, diferenca në performancë jep nocionin e pendesës. Për të vepruar pothuajse në mënyrë optimale, agjenti duhet të arsyetojë rreth pasojave afatgjata të veprimeve të tij (domethënë, të maksimizojë shpërblimet e ardhshme), megjithëse shpërblimi i menjëhershëm i lidhur me këtë mund të jetë negativ.

Kështu, mësimi përforcues është veçanërisht i përshtatshëm për problemet që përfshijnë një kompromis midis shpërblimeve afatgjata dhe afatshkurtëra. Është aplikuar me sukses në probleme të ndryshme, duke përfshirë ruajtjen e energjisë, kontrollin e robotëve, gjeneratorët fotovoltaikë, tavëllin, damën, Go ( AlphaGo ), dhe sistemet autonome të drejtimit.

Dy elemente e bëjnë të fuqishëm mësimin përforcues: përdorimi i mostrave për të optimizuar performancën, dhe përdorimi i përafrimit të funksionit për t'u marrë me mjedise të mëdha. Falë këtyre dy komponentëve kryesorë, RL mund të përdoret në mjedise të mëdha në situatat e mëposhtme:

* Një model i mjedisit është i njohur, por një zgjidhje analitike nuk është e disponueshme;
* Jepet vetëm një model simulimi i mjedisit (lënda e optimizimit të bazuar në simulim );
* E vetmja mënyrë për të mbledhur informacion rreth mjedisit është të bashkëveproni me të.

Dy problemet e para mund të konsiderohen probleme planifikimi (meqenëse ekziston një formë modeli), ndërsa i fundit mund të konsiderohet si një problem i vërtetë i të mësuarit. Megjithatë, mesimi përforcues i shndërron të dy problemet e planifikimit në probleme të mësimit makinerik.

## Eksplorim 
Kompromisi midis eksplorimit dhe shfrytëzimit është studiuar më plotësisht përmes problemit multi-armed bandit dhe për proceset e vendimmarrjes Markov me hapësirë gjendjesh të fundme të Burnetas dhe Katehakis (1997).

Mësimi përforcues kërkon mekanizma të zgjuar eksplorimi; zgjedhja e veprimeve në mënyrë rastësishme, pa iu referuar një shpërndarjeje të vlerësuar të probabilitetit, tregon performancë të dobët. Rasti i proceseve të vendimmarrjes Markov (të vogla) të fundme është relativisht i kuptuar mirë. Megjithatë, për shkak të mungesës së algoritmeve që shkallëzohen mirë me numrin e gjendjeve (ose shkallëzohen në probleme me hapësira të pafundme gjendjesh), metodat e thjeshta të eksplorimit janë më praktiket.

Një metodë e tillë është \varepsilon -greedy, ku 0  është një parametër që kontrollon sasinë e eksplorimit kundrejt shfrytëzimit. Me probabilitet 1-\varepsilon, zgjidhet shfrytëzimi, dhe agjenti zgjedh veprimin që beson se ka efektin më të mirë afatgjatë (lidhjet midis veprimeve prishen në mënyrë uniforme rastësisht). Nga ana tjetër, me probabilitet \varepsilon, zgjidhet eksplorimi dhe veprimi zgjidhet në mënyrë uniforme në mënyrë të rastësishme. \varepsilon zakonisht është një parametër fiks por mund të rregullohet ose sipas një orari (duke e bërë agjentin të eksplorojë më pak në mënyrë progresive), ose në mënyrë adaptive bazuar në heuristikë.

## Algoritmet për të mësuarit me kontroll 
Edhe nëse çështja e eksplorimit shpërfillet dhe edhe nëse gjendja ishte e vëzhgueshme (e supozuar më poshtë), problemi mbetet ai i përdorimit i përvojës së kaluar për të zbuluar se cilat veprime çojnë drej shpërblimeve kumulative më të larta.

### Kriteri i optimalitetit 
#### Politika 
Përzgjedhja e veprimit të agjentit modelohet si një hartë e quajtur *politikë* : \begin{align}
&\pi: \mathcal{A} \times \mathcal{S} \to [0,1] \\
&\pi(a,s) = \Pr(A_t{=}a \mid S_t{=}s)
\end{align}Harta e politikave tregon probabilitetin e marrjes së veprimit a kur ndodhet në gjendje s. Ekzistojnë gjithashtu politika deterministe \pi për të cilën \pi(s) tregon veprimin që duhet të kryhet në gjendjen s.

#### Funksioni gjendje-vlerë 
Funksioni gjendje-vlerë V_\pi(s) përkufizohet si, *kthim i pritur i zbritur* duke filluar me gjendjen s, d.m.th S_0 = s, dhe duke ndjekur vazhdimisht politikën \pi. Prandaj, thënë përafërsisht, funksioni i vlerës vlerëson "sa mirë" është të jesh në një gjendje të caktuar.V_\pi(s) = \operatorname \mathbb{E}[G\mid S_0{=}s] = \operatorname \mathbb{E}\left[\sum_{t=0}^\infty \gamma^t R_{t+1} \mid S_0{=}s\right],ku ndryshorja e rastësishme G tregon **kthimin e skontuar**, dhe përkufizohet si shuma e shpërblimeve të skontuara në të ardhmen:G = \sum_{t=0}^\infty \gamma^t R_{t+1}=R_1 + \gamma R_2 + \gamma^2 R_3 + \cdots,ku R_{t+1} është shpërblimi për kalimin nga gjendja S_t për {{Nowrap|S_{t+1},}} 0 \le \gamma është norma e zbritur. \gamma është më pak se 1, kështu që shpërblimet në të ardhmen e largët peshohen më pak se shpërblimet në të ardhmen e afërt.

Algoritmi duhet të gjejë një politikë me kthimin maksimal të pritur të zbritur. Nga teoria e proceseve të vendimmarrjes Markov dihet se, pa humbur përgjithësinë, kërkimi mund të kufizohet në bashkësinë e të ashtuquajturave politika *stacionare* . Një politikë është *stacionare* nëse shpërndarja e veprimit që ajo kthen varet vetëm nga gjendja e fundit e vizituar (nga historia e agjentit të vëzhgimit). Kërkimi mund të kufizohet më tej në politikat stacionare *deterministe.* Një politikë *stacionare deterministe* zgjedh në mënyrë deterministe veprimet bazuar në gjendjen aktuale. Meqenëse çdo politikë e tillë mund të identifikohet me një hartëzim nga bashkësia e gjendjeve në bashkësinë e veprimeve, këto politika mund të identifikohen me hartëzime të tilla pa humbur përgjithësinë.

### Forcë brutale 
Qasja e forcës brutale përfshin dy hapa:

* Për çdo politikë të mundshme, mostra kthehet duke e ndjekur atë
* Zgjidhni politikën me kthimin më të madh të pritur të zbritur

Një problem me këtë është se numri i politikave mund të jetë i madh, ose edhe i pafund. Një problem tjetër është se varianca e kthimeve mund të jetë e madhe, gjë që kërkon shumë mostra për të vlerësuar me saktësi kthimin e zbritur të secilës politikë.

Këto probleme mund të përmirësohen nëse supozojmë një strukturë dhe lejojmë që mostrat e gjeneruara nga një politikë të ndikojnë në vlerësimet e bëra për të tjerat. Dy qasjet kryesore për ta arritur këtë janë vlerësimi i funksionit të vlerës dhe kërkimi i drejtpërdrejtë i politikave.

### Funksioni i vlerës 
Qasjet me funksioni vlere përpiqen të gjejnë një politikë që maksimizon kthimin e zbritur duke mbajtur një sërë vlerësimesh të kthimeve të pritshme të zbritura \operatorname \mathbb{E}[G] për ndonjë politikë (zakonisht ose atë "aktuale" [në politikë] ose atë optimale [jashtë politikës]).

Këto metoda mbështeten në teorinë e proceseve të vendimmarrjes Markov, ku optimaliteti përcaktohet në një kuptim më të fortë se ai i mësipërm: Një politikë është optimale nëse arrin kthimin më të mirë të pritshem të zbritur nga *çdo* gjendje fillestare (domethënë, shpërndarjet fillestare nuk luajnë asnjë rol në këtë përkufizim). Përsëri, një politikë optimale mund të gjendet gjithmonë midis politikave stacionare.

Për të përcaktuar optimalitetin në një mënyrë formale, përcaktoni vlerën e gjendjes së një politike \pi nga V^{\pi} (s) = \operatorname \mathbb{E}[G\mid s,\pi],ku G qëndron për kthimin e zbritur të lidhur me sa vijon \pi nga gjendja fillestare s. Përcaktimi V^*(s) si vlera maksimale e mundshme e gjendjes së V^\pi(s), ku \pi lejohet të ndryshojë,V^*(s) = \max_\pi V^\pi(s).Një politikë që arrin këto vlera optimale të gjendjes në secilën gjendje quhet *optimale*. Qartë, një politikë që është optimale në këtë kuptim është gjithashtu optimale në kuptimin që maksimizon kthimin e pritshëm të zbritur, meqenëse V^*(s) = \max_\pi \mathbb{E}[G\mid s,\pi], ku s është një gjendje e marrë rastësisht nga shpërndarja \mu të gjendjeve fillestare (pra 

Edhe pse vlerat e gjendjes mjaftojnë për të përcaktuar optimalitetin, është e dobishme të përcaktohen vlerat e veprimit. Duke pasur një gjendje s, një veprim a dhe një politikë \pi, vlera e veprimit për çiftin (s,a) nën \pi përkufizohet si:Q^\pi(s,a) = \operatorname \mathbb{E}[G\mid s,a,\pi],ku G tani qëndron për kthimin e zbritur të rastësishëm të i cili  lidhet me marrjen fillimisht të veprimit a në gjendje s dhe ndjekjen e politikes \pi, më pas.

Teoria e proceseve të vendimmarrjes Markov pohon se nëse \pi^* është një politikë optimale, ne veprojmë në mënyrë optimale (ndërmarrim veprimin optimal) duke zgjedhur veprimin nga Q^{\pi^*}(s,\cdot) me vlerën më të lartë të veprimit në secilen gjendje, s. *Funksioni i vlerës së veprimit* të një politike të tillë optimale ( Q^{\pi^*} ) quhet *funksioni optimal i vlerës së veprimit* dhe zakonisht shënohet me Q^*. Si përmbledhje, vetëm njohja e funksionit optimal të vlerës së veprimit mjafton për të ditur se si të veprohet në mënyrë optimale.

Duke supozuar njohuri të plota të procesit të vendimmarrjes Markov, dy qasjet themelore për të llogaritur funksionin optimal të vlerës së veprimit janë përsëritja e vlerës dhe përsëritja e politikës. Të dy algoritmet llogaritin një sekuencë funksionesh Q_k ( k=0,1,2,\ldots ) që konvergojnë në

Q^*. Llogaritja e këtyre funksioneve përfshin llogaritjen e pritjeve mbi të gjithë hapësirën e gjendjes, gjë që është jopraktike për të gjitha proceset e vendimmarrjes Markov, përveç atyre më të vogla (të fundme). Në metodat e të mësimit përforcues, pritshmëritë afrohen duke perdorur mesatare mbi mostrat dhe duke përdorur teknika të përafrimit të funksionit për t'u përballur me nevojën për të përfaqësuar funksionet e vlerës mbi hapësira të mëdha gjendje-veprim.

#### Metodat Monte Karlo 
Metodat Monte Karlo përdoren për të zgjidhur problemet e të mësuarit përforcues duke marrë mesatare të kthimeve nga mostrat. Ndryshe nga metodat që kërkojnë njohuri të plotë të dinamikës së mjedisit, metodat Monte Karlo mbështeten vetëm në përvojën aktuale ose të simuluar – sekuenca të gjendjeve, veprimeve dhe shpërblimeve të marra nga bashkëveprimi me një mjedis. Kjo i bën ato të zbatueshme në situata ku dinamikat e plota janë të pa panjohura. Të mësuarit nga përvoja aktuale nuk kërkon njohuri paraprake të mjedisit dhe prapë mund të çojë në sjellje optimale. Kur përdoret përvoja e simuluar, kërkohet vetëm një model i aftë të gjenerojë tranzicione të mostrës, në vend të një specifikimi të plotë të probabiliteteve të tranzicionit, i cili është i nevojshëm për metodat e programimit dinamik .

Metodat Monte Karlo zbatohen për detyrat episodike, ku përvoja ndahet në episode që në fund përfundojnë. Përditësimet e politikës dhe funksionit të vlerës ndodhin vetëm pas përfundimit të një episodi, duke i bërë këto metoda inkrementale në bazë episod pas episodi, edhe pse jo në mënyre hap pas hapi (online). Termi "Monte Karlo" në përgjithësi i referohet çdo metode që përfshin marrjen e mostrave të rastësishme; megjithatë, në këtë kontekst, ai i referohet specifikisht metodave që llogaritin mesataret nga kthimet *e plota*, në vend të kthimeve *të pjesshme* .

Këto metoda funksionojnë në mënyrë të ngjashme me algoritmet bandit, në të cilat kthimet llogariten mesatarisht për secilin çift gjendje-veprim. Dallimi kryesor është se veprimet e ndërmarra në një gjendje ndikojnë në kthimet e gjendjeve pasuese brenda të njëjtit episod, duke e bërë problemin jo-stacionar. Për të adresuar këtë jo-stacionaritet, metodat Monte Karlo përdorin kornizën e iteracionit të përgjithshëm të politikave (GPI). Ndërsa programimi dinamik llogarit funksionet e vlerës duke përdorur njohuri të plota të procesit të vendimmarrjes Markov, metodat Monte Karlo i mësojnë këto funksione përmes kthimeve të mostrave. Funksionet e vlerës dhe politikat bashkëveprojnë në mënyrë të ngjashme me programimin dinamik për të arritur optimalitetin, së pari duke adresuar problemin e parashikimit dhe më pas duke e zgjeruar drejt përmirësimit të politikës dhe kontrollit, të gjitha bazuar në përvojën e marrë nga mostrat.

#### Metodat e ndryshimit kohor 
Problemi i parë korrigjohet duke lejuar që procedura të ndryshojë politikën (në disa ose të gjitha gjendjet) përpara se vlerat të stabilizohen. Edhe kjo mund të jetë problematike pasi mund të parandalojë konvergjencën. Shumica e algoritmeve aktuale e bëjnë këtë, duke krijuar klasën e algoritmeve *të përsëritjes së politikave të përgjithësuara*. Shumë metoda aktor-kritik i përkasin kësaj kategorie.

Çështja e dytë mund të korrigjohet duke lejuar që trajektoret të kontribuojnë në çdo çift gjendje-veprim që ato përmbajnë. Kjo gjithashtu mund të ndihmojë në një farë mase me problemin e tretë, megjithëse një zgjidhje më e mirë kur kthimet kanë variancë të lartë janë metodat e ndryshimit kohor (TD) të Sutton-it që bazohen në ekuacionin rekursiv të Bellman-it. Llogaritja në metodat TD mund të jetë inkrementale (kur pas çdo tranzicioni memoria ndryshohet dhe tranzicioni hidhet tutje), ose në grup (kur tranzicionet grumbullohen dhe vlerësimet llogariten një herë bazuar në grup). Metodat në grup, siç është metoda e ndryshimit kohor të katrorëve më të vegjël, mund ta përdorin më mirë informacionin në mostra, ndërsa metodat inkrementale janë zgjedhja e vetme kur metodat në grup janë të parealizueshme për shkak të kompleksitetit të tyre të lartë kompjuterik ose të memories. Disa metoda përpiqen të kombinojnë të dy qasjet. Metodat e bazuara në ndryshime kohore gjithashtu kapërcejnë çështjen  e katërt.

Një problem tjetër specifik për TD vjen nga mbështetja e tyre në ekuacionin rekursiv të Bellman-it. Shumica e metodave TD kanë të ashtuquajturin parametrin \lambda  (0\le \lambda\le 1) që mund të ndërmjetësoj vazhdimisht midis metodave Monte Karlo që nuk mbështeten në ekuacionet e Bellman-it dhe metodave bazë TD që mbështeten plotësisht në ekuacionet Bellman-it. Kjo mund të jetë efektive në zgjidhjen e këtij problemi.

#### Metodat e përafrimit të funksionit 
Për të adresuar çështjen e pestë, përdoren *metodat e përafrimit të funksionit*. *Përafrimi linear i funksionit* fillon me një pasqyrim \phi që i cakton një vektor me dimension të fundëm secilit çift gjendje-veprim. Pastaj, vlerat e veprimit të një çifti gjendje-veprim (s,a) merren duke kombinuar në mënyrë lineare komponentët e \phi(s,a) me *disa pesha* Q(s,a) = \sum_{i=1}^d \theta_i \phi_i(s,a).Algoritmet më pas rregullojnë peshat, në vend që të rregullojnë vlerat e shoqëruara me çiftet individuale gjendje-veprim. Janë eksploruar metoda të bazuara në ide nga statistikat joparametrike (të cilat mund të shihen se ndërtojnë karakteristikat e tyre).

Iteracioni i vlerës mund të përdoret gjithashtu si pikënisje, duke i dhënë shkas algoritmit Q-learning dhe varianteve të shumta të tij. Duke përfshirë metodat e Deep Q-learning kur një rrjet nervor përdoret për të përfaqësuar Q, me zbatime të ndryshme në problemet stokastike të kërkimit.

Problemi me përdorimin e vlerave të veprimit është se ato mund të kenë nevojë për vlerësime shumë të sakta të vlerave të veprimit konkurrues, të cilat mund të jenë të vështira për t'u marrë kur kthimet janë të zhurmshme, megjithëse ky problem zbutet deri diku nga metodat e ndryshimit kohor. Përdorimi i të ashtuquajturës metodë përafrimi të funksionit të pajtueshëm kompromenton përgjithësinë dhe efikasitetin.

### Kërkim i drejtpërdrejtë i politikave 
Një metodë alternative është kërkimi direkt në (disa nëngrupe të) hapësirës së politikave, në të cilin rast problemi bëhet rast i optimizimit stokastik . Dy qasjet e disponueshme janë metodat e bazuara në gradient dhe metodat pa gradient.

Metodat e bazuara në gradient ( *metodat e gradientit të politikave* ) fillojnë me një pasqyrim nga një hapësirë (parametër) me dimensione të fundme në hapësirën e politikave: duke pasur parasysh vektorin e parametrave \theta, \pi_\theta le të tregojë politikën e lidhur me \theta. Përcaktimi i funksionit të performancës duke \rho(\theta) = \rho^{\pi_\theta} në kushte të buta ky funksion do të jetë i diferencueshëm si një funksion i vektorit të parametrit \theta. Nëse gradienti i \rho ishte i njohur, mund të përdoret ngritja e gradientit. Meqenëse një shprehje analitike për gradientin nuk është e disponueshme, vetëm një vlerësim i zhurmshëm është i disponueshëm. Një vlerësim i tillë mund të ndërtohet në shumë mënyra, duke dhënë shkas për algoritme të tilla si metoda REINFORCE e Williams  (e cila njihet si metoda e raportit të gjasës në literaturën e optimizimit të bazuar në simulim ).

Një klasë e madhe metodash shmang mbështetjen në informacionin e gradientit. Këto përfshijnë pjekjen e simuluar, kërkimin e entropisë kryq ose metodat e llogaritjes evolucionare. Shumë metoda pa gradient mund të arrijnë (në teori dhe në limit) një optimum global.

Metodat e kërkimit të politikave mund të konvergojnë ngadalë kur dhënat janë të zhurmshme. Për shembull, kjo ndodh në problemet episodike kur trajektoret janë të gjata dhe varianca e kthimeve është e madhe. Metodat e bazuara në funksionin e vlerës që mbështeten në ndryshimet kohore mund të ndihmojnë në këtë rast. Në vitet e fundit, *metodat aktor-kritik* janë propozuar dhe kanë funksionuar mirë në probleme të ndryshme.

Metodat e kërkimit të politikave janë përdorur në kontekstin e robotikës. Shumë metoda të kërkimit të politikave mund të ngecin në optimumet lokale (pasi ato bazohen në kërkimin lokal).

### Algoritmet e bazuara në model 
Së fundmi, të gjitha metodat e mësipërme mund të kombinohen me algoritme që së pari mësojnë një model të procesit të vendimmarrjes Markov, probabilitetin e secilës gjendje tjetër të dhënë nga një veprim i ndërmarrë nga një gjendje ekzistuese. Për shembull, algoritmi Dyna mëson një model nga përvoja dhe e përdor atë për të ofruar më shumë tranzicione të modeluara për një funksion vlere, përveç tranzicioneve reale. Metoda të tilla ndonjëherë mund të zgjerohen në përdorimin e modeleve jo-parametrike, siç është kur tranzicionet thjesht ruhen dhe "ripërseriten" në algoritmin e të mësuarit.

Metodat e bazuara në model mund të jenë më intensive në aspektin kompjuterik sesa qasjet pa model, dhe dobia e tyre mund të kufizohet nga shkalla në të cilën mund të mësohet procesi i vendimmarrjes Markov.

Ka mënyra të tjera për të përdorur modelet përveç përditësimit të një funksioni vlere. Për shembull, në kontrollin parashikues të modelit, modeli përdoret për të përditësuar sjelljen drejtpërdrejt.

## Teori 
Si sjelljet asimptotike ashtu edhe ato me mostër të fundme të shumicës së algoritmeve kuptohen mirë. Algoritmet me performancë të mirë në internet (që adresojnë çështjen e eksplorimit) janë të njohura.

Një eksplorim efikas i proceseve të vendimmarrjes Markov është dhënë në Burnetas dhe Katehakis (1997). Kufijtë e performancës në kohë të kufizuar janë shfaqur gjithashtu për shumë algoritme, por këto kufij pritet të jenë mjaft të gjerë dhe për këtë arsye nevojitet më shumë punë për të kuptuar më mirë avantazhet dhe kufizimet relative.

Për algoritmet inkrementale, çështjet e konvergjencës asimptotike janë zgjidhur. &#x5B; ''* &#x5D;  Algoritmet e bazuara në ndryshime kohore konvergojnë në një grup më të gjerë kushtesh sesa ishte e mundur më parë (për shembull, kur përdoren me përafrim arbitrar, të funksionit të lëmuar).

## Hulumtim 
Temat e kërkimit përfshijnë:

* arkitekturë aktor-kritik
* arkitekturë aktor-kritik-peizazh
* metoda adaptive që funksionojnë me më pak (ose aspak) parametra nën një numër të madh kushtesh
* zbulimi i gabimeve në projektet softuerike
* mësim i vazhdueshëm
* kombinime me korniza të bazuara në logjikë (p.sh., specifikime logjike kohore, makina shpërblimi, dhe argumentim probabilistik).
* eksplorimi në proceset e mëdha të vendimmarrjes Markov
* mësim përforcues i bazuar në entitete
* reagime njerëzore
* ndërveprimi midis të mësuarit implicit dhe eksplicit në përvetësimin e aftësive
* motivim i brendshëm që dallon sjelljet kërkuese të informacionit, të tipit kuriozitet nga sjelljet e varura nga detyrat dhe të drejtuara nga qëllimet; vlerësime empirike në shkallë të gjerë.
* hapësira të mëdha veprimi (ose të vazhdueshme)
* mësimi përforcues modular dhe hierarkik
* Mësimi përforcues me shumëagjente/të shpërndara është një temë me interes. Zbatimet po zgjerohen.
* kontroll i përqendruar te banori
* optimizimi i burimeve kompjuterike
* informacion i pjesshëm (p.sh., duke përdorur përfaqësimin parashikues të gjendjes )
* funksion shpërblimi bazuar në maksimizimin e informacionit të ri
* planifikim i bazuar në mostra (p.sh., bazuar në  Monte Karlo tree search ).
* tregtia e letrave me vlerë
* transferimi i të mësuarit
* Mësimi TD që modelon të mësuarit e bazuar në dopaminë në tru. Projeksionet dopaminergjike nga substantia nigra në funksionin e ganglioneve bazale janë gabimi i parashikimit.
* metodat e kërkimit të funksionit të vlerës dhe politikave

## Krahasimi i algoritmeve kryesore 
Tabela e mëposhtme rendit algoritmet kryesore për të mësuar një politikë në varësi të disa kritereve:

* Algoritmi mund të jetë on-policy(kryen përditësime të politikave duke përdorur trajektore të marra si mostër nëpërmjet politikës aktuale) ose off-policy.
* Hapësira e veprimit mund të jetë diskrete (p.sh. hapësira e veprimit mund të jetë "lart", "majtas", "djathtas", "poshtë", "qëndrim") ose e vazhdueshme (p.sh. lëvizja e krahut me një kënd të caktuar).
* Hapësira e gjendjes mund të jetë diskrete (p.sh. agjenti mund të jetë në një qelizë në një rrjetë) ose e vazhdueshme (p.sh. agjenti mund të jetë i vendosur në një pozicion të caktuar në plan).

### Mësimi përforcues invers 
Detyrat e të mësuarit përforcues asociativ kombinojnë aspekte të detyrave të automatave stokastike të të mësuarit dhe detyrave të klasifikimit të modeleve të të mësuarit të mbikëqyrur. Në detyrat e të mësuarit përforcues asociativ, sistemi i të mësuarit bashkëvepron në një unazë të mbyllur me mjedisin e tij.

### Mësim përforcues i thellë 
Kjo qasje e zgjeron mësimin përforcues duke përdorur një rrjet të thellë nervor dhe pa dizajnuar në mënyrë eksplicite hapësirën e gjendjes. Puna mbi mësimin e lojërave ATARI nga Google DeepMind rriti vëmendjen ndaj mësimit përforcues të thellë ose mësimit përforcues end-to-end.

### Mësimi përforcues i thellë kundërshtar 
Mësimi përforcues i thellë kundërshtar është një fushë aktive kërkimore në mësimin përforcues duke u përqendruar në dobësitë e politikave të mësuara. Në këtë fushë kërkimore, disa studime fillimisht treguan se politikat e mësimit përforcues janë të ndjeshme ndaj manipulimeve të pakuptueshme kundërshtare. Ndërsa janë propozuar disa metoda për të kapërcyer këto ndjeshmëri, në studimet më të fundit është treguar se këto zgjidhje të propozuara janë larg ofrimit të një përfaqësimi të saktë të dobësive aktuale të politikave të mësimit përforcues të thellë.

### Mësim përforcues i paqartë (fuzzy) 
Duke futur inferencën fuzzy në të mësuarit përforcues, përafrimi i funksionit vlerë gjendje-veprim me rregulla fuzzy në hapësirë të vazhdueshme bëhet i mundur. Forma IF – ELSE e rregullave fuzzy e bën këtë qasje të përshtatshme për shprehjen e rezultateve në një formë afër gjuhës natyrore. Zgjerimi i FRL me Interpolimin e Rregullave Fuzzy lejon përdorimin e bazave të rregullave fuzzy të rralla me madhësi të reduktuar për të theksuar rregullat kryesore (vlerat më të rëndësishme gjendje-veprim).

### Mësimi përforcues invers 
Në të mësuarit përforcues invers (IRL), nuk jepet asnjë funksion shpërblimi. Në vend të kësaj, funksioni i shpërblimit nxirret duke pasur parasysh një sjellje të vëzhguar nga një ekspert. Ideja është të imitohet sjellja e vëzhguar, e cila shpesh është optimale ose afër optimales. Një paradigmë e njohur IRL quhet të mësuarit përforcues invers me entropi maksimale (MaxEnt IRL). MaxEnt IRL vlerëson parametrat e një modeli linear të funksionit të shpërblimit duke maksimizuar entropinë e shpërndarjes së probabilitetit të trajektoreve të vëzhguara, të nënshtruara ndaj kufizimeve që lidhen me përputhjen e pritshmërisë së numrit të karakteristikave. Kohët e fundit është treguar se MaxEnt IRL është një rast i veçantë i një kuadri më të përgjithshëm të quajtur të mësuarit përforcues invers me dobi të rastësishme (RU-IRL). RU-IRL bazohet në teorinë e dobisë së rastësishme dhe proceset e vendimmarrjes Markov. Ndërsa qasjet e mëparshme IRL supozojnë se sjellja e dukshme e rastësishme e një agjenti të vëzhguar është për shkak të ndjekjes së një politike të rastësishme nga ana e tij, RU-IRL supozon se agjenti i vëzhguar ndjek një politikë deterministe, por rastësia në sjelljen e vëzhguar është për shkak të faktit se një vëzhgues ka vetëm akses të pjesshëm në tiparet që agjenti i vëzhguar përdor në vendimmarrje. Funksioni i dobisë modelohet si një ndryshore e rastësishme për të llogaritur injorancën e vëzhguesit në lidhje me tiparet që agjenti i vëzhguar në të vërtetë i merr në konsideratë në funksionin e tij të dobisë.

### Mësim përforcues me shumë objektiva 
Mësimi përforcues me shumë objektiva (MORL) është një formë e mësimit përforcues që merret me alternativa konfliktuale. Ai dallohet nga optimizimi me shumë objektiva në atë që merret me agjentë që veprojnë në mjedise.

### Mësim përforcues i paqartë (fuzzy) 
Mësimi përforcues i sigurt  (SRL) mund të përkufizohet si procesi i  të mësuarit të politikave  që maksimizojnë pritshmërinë e kthimit në problemet në të cilat është e rëndësishme të sigurohet performancë e arsyeshme e sistemit dhe/ose të respektohen kufizimet e sigurisë gjatë proceseve të të mësuarit dhe/ose vendosjes. Një qasje alternative është të mësuarit përforcues kundër rrezikut, ku në vend të kthimit *të pritur*, optimizohet një *masë rreziku'' e kthimit, siç është vlera e kushtëzuar në rrezik (CVaR). Përveç zvogëlimit së rrezikut, objektivi CVaR rrit qëndrueshmërinë për të modeluar pasiguritë. Megjithatë, optimizimi CVaR në RL kundër rrezikut kërkon kujdes të veçantë, për të parandaluar paragjykimin e gradientit dhe verbërinë ndaj suksesit.

### Mësimi vetëpërforcues 
Mësimi vetëpërforcues (ose vetë-mësimi) është një paradigmë mësimore që nuk përdor konceptin e shpërblimit të menjëhershëm R_a(s,s') pas kalimit nga s për s' me veprim a. Nuk përdor një përforcim të jashtëm, por përdor vetëm vetëpërforcimin e brendshëm të agjentit. Vetëpërforcimi i brendshëm sigurohet nga mekanizmi i ndjenjave dhe emocioneve. Në procesin e të mësuarit, emocionet përhapen nga një mekanizëm i përforcimit dytësor. Ekuacioni i të msuarit nuk përfshin shpërblimin e menjëhershëm, por vetëm vlerësimit e gjendjes.

Algoritmi i vetë-përforcimit përditëson një matricë memorieje W = \|w(a,s)\| të tillë që në çdo përsëritje ekzekuton rutinën e mëposhtme të të mësuarit makinerik:

# Në situatë s kryej veprimin a.
# Pranoni një situatë pasojash s'.
# Vlerësimi i gjendjes së llogaritur v(s') se sa mirë është të jesh në situatën e pasojave s'.
# Përditëso memorien e shiritit të kryqëzuar w'(a,s) = w(a,s) + v(s') .

Kushtet fillestare të memories merren si të dhëna hyrëse nga mjedisi gjenetik. Është një sistem me vetëm një të dhënë hyrëse (situatë) dhe vetëm një të dhënë dalëse (veprim ose sjellje).

Vetëpërforcimi (vetëmësimi) u prezantua në vitin 1982 së bashku me një rrjet nervor të aftë për të mësuar vetëpërforcim, të quajtur Crossbar Adaptive Array (CAA). CAA llogarit, në një mënyrë të kryqëzuar, si vendimet në lidhje me veprimet ashtu edhe emocionet (ndjenjat) në lidhje me gjendjet e pasojave. Sistemi drejtohet nga bashkëveprimi midis njohjes dhe emocionit.

### Mësimi përforcues në Përpunimin e Gjuhës Natyrore 
Në vitet e fundit, të mësuarit përforcues është bërë një koncept i rëndësishëm në përpunimin e gjuhës natyrore (NLP), ku detyrat shpesh janë vendimmarrje sekuenciale dhe jo klasifikim statik. Të mësuarit përforcues është kur një agjent ndërmerr veprime në një mjedis për të maksimizuar akumulimin e shpërblimeve. Ky kuadër është më i përshtatshmi për shumë detyra NLP, duke përfshirë gjenerimin e dialogut, përmbledhjen e tekstit, dhe përkthimin makinerik, ku cilësia e rezultatit varet nga optimizimi i qëllimeve afatgjata ose të përqendruara te njeriu dhe jo nga parashikimi i një etikete të vetme të saktë.

Zbatimi i hershëm i RL në NLP u shfaq në sistemet e dialogut, ku biseda u përcaktua si një seri veprimesh të optimizuara për rrjedhshmëri dhe koherencë. Këto përpjekje të hershme, duke përfshirë gradientin e politikave dhe teknikat e trajnimit në nivel sekuence, hodhën themelet për zbatimin më të gjerë të të mësuarit përforcues në fusha të tjera të NLP-së.

Një përparim i madh ndodhi me futjen e të mësuarit përforcues nga reagimet njerëzore (RLHF), një metodë në të cilën vlerësimet e reagimeve njerëzore përdoren për të trajnuar një model shpërblimi që udhëzon agjentin RL. Ndryshe nga sistemet tradicionale të bazuara në rregulla ose të mbikëqyrura, RLHF u lejon modeleve të përshtasin sjelljen e tyre me gjykimet njerëzore në detyra komplekse dhe subjektive. Kjo teknikë u përdor fillimisht në zhvillimin e InstructGPT, një model gjuhe efektiv i trajnuar për të ndjekur udhëzimet njerëzore dhe më vonë në ChatGPT i cili përfshin RLHF për përmirësimin e përgjigjeve të daljes dhe sigurimin e sigurisë.

Së fundit, studiuesit kanë eksploruar përdorimin e RL offline në NLP për të përmirësuar sistemet e dialogut pa nevojën e ndërveprimit të drejtpërdrejtë njerëzor. Këto metoda optimizojnë angazhimin, koherencën dhe diversitetin e përdoruesit bazuar në regjistrat e bisedave të kaluara dhe modelet e shpërblimit të para-trajnuara.

Një shembull është DeepSeek-R1, i cili përfshin të dhëna trajnimi shumëfazëshe dhe nisjeje të ftohtë para RL. DeepSeek-R1 arrin performancë të krahasueshme me OpenAI-o1-1217 në detyrat e arsyetimit. Ky model u trajnua nëpërmjet të mësuarit përforcues në shkallë të gjerë (RL) pa rregullim të imët të mbikëqyrur (SFT) si një hap paraprak.

## Krahasimi statistikor i algoritmeve të të mësuarit përforcues 
Krahasimi efikas i algoritmeve RL është thelbësor për kërkimin, vendosjen dhe monitorimin e sistemeve RL. Për të krahasuar algoritme të ndryshme në një mjedis të caktuar, një agjent mund të trajnohet për secilin algoritëm. Meqenëse performanca është e ndjeshme ndaj detajeve të zbatimit, të gjithë algoritmet duhet të zbatohen sa më afër njëri-tjetrit. Pasi të përfundojë trajnimi, agjentët mund të ekzekutohen në një mostër episodesh testimi dhe rezultatet (kthimet) e tyre mund të krahasohen. Meqenëse episodet zakonisht supozohet të jenë i.i.d, mjetet standarde statistikore mund të përdoren për testimin e hipotezave, siç është testi T dhe testi i permutacionit. Kjo kërkon grumbullimin e të gjitha shpërblimeve brenda një episodi në një numër të vetëm-kthimin episodik. Megjithatë, kjo shkakton një humbje informacioni, pasi hapa të ndryshëm kohor mesatarizohen së bashku, ndoshta me nivele të ndryshme zhurme. Sa herë që niveli i zhurmës ndryshon gjatë episodit, fuqia statistikore mund të përmirësohet ndjeshëm, duke i peshuar shpërblimet sipas zhurmës së tyre të vlerësuar.

## Sfidat dhe Kufizimet 
Pavarësisht përparimeve të rëndësishme, të mësuarit përforcues (RL) vazhdon të përballet me disa sfida dhe kufizime që pengojnë zbatimin e tij të gjerë në skenarë të botës reale.

### Joefikasiteti i mostrës 
Algoritmet RL shpesh kërkojnë një numër të madh ndërveprimesh me mjedisin për të mësuar politika efektive, duke çuar në kosto të larta kompjuterike dhe kohë intensive për të trajnuar agjentin. Për shembull, roboti Dota i OpenAI përdori mijëra vjet lojë të simuluar për të arritur performancë në nivel njerëzor. Teknika si riprodhimi i përvojës dhe mësimi i kurrikulës janë propozuar për të zvogëluar joefikasitetin e mostrës, por këto teknika shtojnë më shumë kompleksitet dhe nuk janë gjithmonë të mjaftueshme për aplikimet e botës reale.

### Çështjet e Stabilitetit dhe Konvergjencës 
Modelet e trajnimit RL, veçanërisht për modelet e bazuara në rrjete të thella nervore, mund të jenë të paqëndrueshme dhe të prirura ndaj divergjencës. Një ndryshim i vogël në politikë ose mjedis mund të çojë në luhatje ekstreme në performancë, duke e bërë të vështirë arritjen e rezultateve të qëndrueshme. Kjo paqëndrueshmëri përforcohet më tej në rastin e hapësirës së veprimit të vazhdueshëm ose me dimensione të larta, ku hapi i të mësuarit bëhet më kompleks dhe më pak i parashikueshëm.

### Përgjithësimi dhe Transferueshmëria 
Agjentët e RL të trajnuar në mjedise specifike shpesh kanë vështirësi të përgjithësojnë politikat e tyre të mësuara në skenarë të rinj, të paparë. Ky është pengesa kryesore që pengon zbatimin e RL në mjedise dinamike të botës reale ku përshtatshmëria është thelbësore. Sfida është të zhvillohen algoritme të tilla që mund të transferojnë njohuri nëpër detyra dhe mjedise pa ritrajnim të gjerë.

### Çështjet e Paragjykimit dhe Funksionit të Shpërblimit 
Dizajni i funksioneve të përshtatshme të shpërblimit është kritik në RL sepse funksionet e shpërblimit të dizajnuara dobët mund të çojnë në sjellje të paqëllimshme. Përveç kësaj, sistemet RL të trajnuara mbi të dhëna të anshme mund të përjetësojnë paragjykimet ekzistuese dhe të çojnë në rezultate diskriminuese ose të padrejta. Të dyja këto çështje kërkojnë shqyrtim të kujdesshëm të strukturave të shpërblimit dhe burimeve të të dhënave për të siguruar drejtësi dhe sjellje të dëshiruara.

## Shih edhe 
* Mësimi aktiv (mësimi makinerik)
* Mësimi praktik
* Mësimi i bazuar në gabime
* Pa model (mësimi përforcues)
* Mësimi përforcues me shumë agjentë
* Kontrolli optimal
* Mësimi Q
* Mësimi përforcues nga reagimi i njeriut
* Gjendje-veprim-shpërbilm-gjendje-veprim (SARSA)
* Mësimi me ndryshime kohor

## Lexime të mëtejshme 
* 
* 
* 
* 
* 
* 
* 

* 
* 
* 

## Lidhje të jashtme 
*Analiza e të Mësuarit me Përforcim – Seri postimesh në blog mbi të mësuarit me përforcime me kod Python
* Një Vështrim (i Gjatë) në Mësimin Përforcues

## Referime