# Ամրապնդման ուսուցում

Ուժեղացված ուսուցման (RL) սցենարի բնորոշ կառուցվածքը. գործակալը գործողություններ է կատարում միջավայրում, որոնք մեկնաբանվում են որպես պարգև և վիճակի ներկայացում, որոնք հետադարձվում են գործակալին
**«Ամրապնդման ուսուցումը»** (անգլ.՝ Reinforcement learning)
Մեքենայական ուսուցման և օպտիմալ կառավարման մեջ ուժեղացված ուսուցումը (ԱՈՒ) ուսումնասիրում է, թե ինտելեկտուալ գործակալը ինչպիսի գործողություններ պետք է ձեռնարկի դինամիկ միջավայրում՝ պարգևատրման ազդանշանը մաքսիմումի հասցնելու համար: Ուժեղացված ուսուցումը մեքենայական ուսուցման երեք հիմնական մոդելներից մեկն է՝ վերահսկվող ուսուցման և չվերահսկվող ուսուցման հետ մեկտեղ։

Մինչ վերահսկվող և չվերահսկվող ուսուցման ալգորիթմները համապատասխանաբար փորձում են հայտնաբերել օրինաչափություններ պիտակավորված և չպիտակավորված տվյալներում, ուժեղացված ուսուցումը ենթադրում է գործակալի մարզում իր միջավայրի հետ փոխազդեցությունների միջոցով: Որպեսզի սովորի այս փոխազդեցություններից ստացվող օգուտները մաքսիմումի հասցնել, գործակալը ընտրություն է կատարում՝ կամ նոր գործողություններ փորձի՝ միջավայրի մասին ավելին իմանալու համար (հետազոտություն), կամ շրջակա միջավայրի վերաբերյալ առկա գիտելիքներն օգտագործի՝ լավագույն գործողությունը կատարելու (շահագործում) համար։ Այս երկու տարբերակների միջև օպտիմալ հավասարակշռության որոնումը հայտնի է որպես ուսումնասիրություն-շահագործում դիլեմա:

Մովորաբար միջավայրը ներկայացվում է Մարկովյան որոշումների գործընթացի տեսքով, քանի որ շատ ուժեղացված ուսուցման ալգորիթմներ օգտագործում են դինամիկ ծրագրավորման տեխնիկաներ: Դասական դինամիկ ծրագրավորման մեթոդների և ուժեղացված ուսուցման ալգորիթմների միջև հիմնական տարբերությունն այն է, որ վերջիններս չեն ենթադրում Մարկովյան որոշումների գործընթացի ճշգրիտ մաթեմատիկական մոդելի իմացություն և թիրախավորում են մեծ Մարկովյան որոշումների գործընթացներ, որտեղ ճշգրիտ մեթոդները դառնում են անիրագործելի

## Սկզբունքներ

Իր ընդհանրության շնորհիվ, ուժեղացված ուսուցումը ուսումնասիրվում է բազմաթիվ բնագավառներում, ինչպիսիք են խաղերի տեսությունը, կառավարման տեսությունը, գործողությունների հետազոտությունը, ինֆորմացիոն տեսությունը, սիմուլյացիայի վրա հիմնված օպտիմալացումը, բազմագործակալ համակարգերը, խմբային ինտելեկտը և վիճակագրությունը: Գործողությունների հետազոտությունների և կառավարման գրականության մեջ ամրապնդման ուսուցումը կոչվում է մոտավոր դինամիկ ծրագրավորում կամ նեյրոդինամիկ ծրագրավորում: RL-ին հետաքրքրող խնդիրները ուսումնասիրվել են նաև օպտիմալ կառավարման տեսության մեջ, որը հիմնականում վերաբերում է օպտիմալ լուծումների գոյությանը և բնութագրմանը, ինչպես նաև դրանց ճշգրիտ հաշվարկման ալգորիթմներին, և ավելի քիչ՝ ուսուցմանը կամ մոտավորությանը (հատկապես միջավայրի մաթեմատիկական մոդելի բացակայության դեպքում):

Հիմնական ամրապնդող ուսուցումը մոդելավորվում է որպես Մարկովյան որոշումների գործընթաց.

* Միջավայրի և գործակալի վիճակների բազմություն (վիճակի տարածություն), WIKINIUM\_MATH\_PH\_0 ;
* Ագենտի գործողությունների բազմություն (գործողության տարածություն),, WIKINIUM\_MATH\_PH\_2 ;
* WIKINIUM\_MATH\_PH\_4 , WIKINIUM\_MATH\_PH\_6 գործողության ներքո, WIKINIUM\_MATH\_PH\_8 վիճակից WIKINIUM\_MATH\_PH\_10 վիճակ անցման հավանականությունը ( WIKINIUM\_MATH\_PH\_12 ժամին)
* WIKINIUM\_MATH\_PH\_14 , WIKINIUM\_MATH\_PH\_16 գործողության ներքո WIKINIUM\_MATH\_PH\_18 վիճակից WIKINIUM\_MATH\_PH\_20 վիճակին անցումից հետո, անմիջական պարգևատրում։

Ուժեղացված ուսուցման նպատակն է, որ գործակալը սովորի օպտիմալ (կամ գրեթե օպտիմալ) քաղաքականություն, որը մեծացնում է պարգևատրման ֆունկցիան կամ օգտատիրոջ կողմից տրամադրված այլ ուժեղացման ազդանշանը, որը կուտակվում է անմիջական պարգևներից: Սա նման է կենդանիների հոգեբանության մեջ տեղի ունեցող գործընթացներին: Օրինակ, կենսաբանական ուղեղները ծրագրավորված են ցավի և քաղցի նման ազդանշանները մեկնաբանելու որպես բացասական ուժեղացումներ, իսկ հաճույքը և սննդի ընդունումը՝ որպես դրական ուժեղացումներ: Որոշ դեպքերում կենդանիները սովորում են ընդունել վարքագծեր, որոնք օպտիմալացնում են այդ պարգևները: Սա ենթադրում է, որ կենդանիները ունակ են ուժեղացման ուսուցման։

Ամրապնդող ուսուցման հիմնական գործակալը փոխազդում է իր միջավայրի հետ դիսկրետ ժամանակային քայլերով: Յուրաքանչյուր ժամանակային քայլում WIKINIUM\_MATH\_PH\_22 գործակալը ստանում է ընթացիկ WIKINIUM\_MATH\_PH\_23 վիճակը և պարգևատրումը WIKINIUM\_MATH\_PH\_25 -ը: Այնուհետև հասանելի գործողությունների հավաքածուից այն ընտրում է WIKINIUM\_MATH\_PH\_27 գործողությունը, որը հետագայում ուղարկվում է միջավայր: Միջավայրը անցնում է նոր WIKINIUM\_MATH\_PH\_29 վիճակի և որոշվում է «անցման» WIKINIUM\_MATH\_PH\_31 հետ կապված WIKINIUM\_MATH\_PH\_33 - պարգևատրումը: Ամրապնդող ուսուցման գործակալի նպատակն է սովորել «*քաղաքականություն*»։

 WIKINIUM\_MATH\_PH\_35

որը առավելագույնի է հասցնում է սպասվող կուտակային պարգևը։

Խնդրի ձևակերպումը w8pes Մարկովյան որոշման գործընթաց, ենթադրում է, որ գործակալը անմիջականորեն հետևում է շրջակա միջավայրի վիճակը. այս դեպքում ասում են, որ խնդիրն ունի լիարժեք դիտարկելիություն: Եթե գործակալը հասանելի է միայն վիճակների ենթաբազմություն, կամ եթե դիտարկվող վիճակները աղավաղված են աղմուկով, ասում են, որ գործակալն ունի մասնակի դիտարկելիություն, և խնդիրը պետք է ձևակերպվի որպես մասնակիորեն դիտարկելի Մարկովյան որոշման գործընթաց: Երկու դեպքում էլ գործակալի համար հասանելի գործողությունների ամբողջությունը կարող է սահմանափակվել:

Երբ գործակալի արդյունավետությունը համեմատվում է օպտիմալ գործող գործակալի արդյունավետության հետ, արդյունավետության տարբերությունը ծնում է զղջման հասկացությաուը: Օպտիմալին մոտ գործելու համար գործակալը պետք է դատողություններ անի իր գործողությունների երկարաժամկետ հետևանքների մասին (այսինքն՝ մեծացնի ապագա պարգևները), չնայած դրան կապված անմիջական պարգևը կարող է բացասական լինել։

### ԱՈՒ օրինակ

Robot example
Խնդիրը հետևյալն է. մենք ունենք գործակալ և պարգև, որոնց միջև կան բազմաթիվ խոչընդոտներ։ Գործակալը պետք է գտնի մրցանակին հասնելու լավագույն հնարավոր ճանապարհը։ Հաջորդող օրինակը ավելի հեշտությամբ է բացատրում խնդիրը։

Վերոնշյալ պատկերը ցույց է տալիս ռոբոտը, ադամանդը և կրակը։ Ռոբոտի նպատակն է ստանալ պարգևը, որը ադամանդն է և խուսափել կրակի խոչընդոտներից։ Ռոբոտը սովորում է՝ փորձելով բոլոր հնարավոր ուղիները, այնուհետև ընտրելով այն ճանապարհը, որը նրան պարգևատրում է նվազագույն խոչընդոտներով։ Յուրաքանչյուր ճիշտ քայլ ռոբոտին պարգև կտա, իսկ յուրաքանչյուր սխալ քայլը կհանի ռոբոտի պարգևը։ Ընդհանուր պարգևը կհաշվարկվի, երբ այն հասնի վերջնական նպատակին։

Խնդրի ձևակերպումը, որպես որոշումների ընդունման Մարկովյան գործընթաց, ենթադրում է, որ գործակալը անմիջականորեն դիտարկում է շրջակա միջավայրի ընթացիկ վիճակը. այս դեպքում ասում են, որ խնդիրն ունի լիարժեք դիտարկելիություն: Եթե գործակալը հասանելիություն ունի միայն վիճակների ենթաբազմության, կամ եթե դիտարկվող վիճակները աղավաղված են աղմուկով, ասում են, որ գործակալն ունի մասնակի դիտարկելիություն, և խնդիրը պարզապես պետք է ձևակերպվի որպես մասնակիորեն դիտարկելի Մարկովյան որոշումների ընդունման գործընթաց: Երկու դեպքում էլ գործակալի համար հասանելի գործողությունների բազմությունը կարող է սահմանափակվել: Օրինակ, հաշվի մնացորդի վիճակը կարող է սահմանափակվել դրական լինելով. եթե վիճակի ընթացիկ արժեքը 3 է, և վիճակի անցումը փորձում է նվազեցնել արժեքը 4-ով, անցումը թույլատրելի չի լինի:

Երբ գործակալի արդյունավետությունը համեմատվում է օպտիմալ գործող գործակալի արդյունավետության հետ, արդյունավետության տարբերությունը ծնում է զղջման հասկացությունը: Օպտիմալին մոտ գործելու համար գործակալը պետք է դատողություններ անի իր գործողությունների երկարաժամկետ հետևանքների մասին (այսինքն՝ առավելագույնի հասցնի ապագա պարգևները), թեև անմիջական պարգևը կարող է բացասական լինել։

Այսպիսով, ամրապնդող ուսուցումը հատկապես հարմար է այն խնդիրների համար, որոնք հանդուրժում են երկարաժամկետ և կարճաժամկետ պարգևատրման փոխզիջում: Այն հաջողությամբ կիրառվել է տարբեր խնդիրների լուծման համար, ներառյալ էներգիայի կուտակումը, ռոբոտների կառավարումը, ֆոտովոլտային գեներատորները, նարդին, շաշկին, Go-ն (AlphaGo) և ինքնավար վարորդական համակարգերը:

### ԱՈՒ օգտագործման ոլորտներ

* Համակարգչային խաղեր

ԱՈՒ-ի հայտնիության հիմնական գրավականը դա սովորական ալգորիթմ է, որն օգտագործվում է տարբեր խաղեր լուծելու և երբեմն գերմարդկային կատարողականության հասնելու համար։

* Համակարգչային կլաստերներում ռեսուրսների կառավարում

Տարբեր առաջադրանքներին սահմանափակ ռեսուրսներ բաշխելու ալգորիթմների նախագծումը դժվար է և պահանջում է մարդու կողմից ստեղծված էվրիստիկա։

* Վեբ համակարգերի կոնֆիգուրացիա

Վեբ համակարգում կան 100-ից ավելի կարգավորելի պարամետրեր, և պարամետրերի ճշգրտման գործընթացը պահանջում է որակավորված օպերատոր և որոշ թեստեր։

* Քիմիա

ԱՈՒ-ն կարող է կիրառվել նաև քիմիական ռեակցիաներն օպտիմալացնելու համար։ Հետազոտողները ցույց են տվել, որ իրենց մոդելը գերազանցել է ժամանակակից ալգորիթմը և ընդհանրացվել է տարբեր հիմքում ընկած մեխանիզմների վրա՝ «Քիմիական ռեակցիաների օպտիմիզացում խորը ամրապնդման ուսուցմամբ» հոդվածում։

### Ծանոթագրություններ

### Արտաքին հղումներ

* Reinforcement Learning: An Introduction Արխիվացված 2021-09-21 Wayback Machine
* Resource Management with Deep Reinforcement Learning
* Reinforcement Learning Specialization

### Գրականություն

* Recent Advances in Reinforcement Learning: Sertan Girgin, Manuel Loth, Rémi Munos, Philippe Preux, Daniil Ryabko
* Design of Experiments for Reinforcement Learning: Christopher Gatti
* Deep Reinforcement Learning: Frontiers of Artificial Intelligence: Mohit Sewak
* Recent Advances in Reinforcement Learning: Pack Kaelbling