Inimtagasisidest lähtuv stiimulõpe

**Inimtagasisidest lähtuv stiimulõpe** (inglise keeles *reinforcement learning from human feedback*, lühend RLHF) on juhendatud masinõppe meetod, mis kasutab inimese tagasisidet, et optimeerida tehisintellekti agendi käitumist. 

Stiimulõpe koos inimtagasisidega on stiimulõppe haru, mis kasutab inimestelt kogutud andmeid preemiafunktsiooni defineerimiseks, ilma seda käsitsi disainimata. Tehisintellekti agendi eesmärk on lähtestada oma funktsioon võimalikult lähedale abstraktsele inimväärtustega kooskõlas olevale preemiafunktsioonile  ja seejärel maksimeerida selle väljundit . Valdkond on tihedalt seotud nii tehisintellekti kui ka inimese ja arvuti interaktsiooni valdkonnaga.  Preemia- ja eesmärkfunktsioonid eksisteerivad selleks, et aidata tehisintellekti süsteemil tabada inimese või disaineri tegelik tahe ülesande teostamiseks . Oma olemuselt on RLHF naturaalsem lähenemine tehisaru agentide loomisele, kuna agent peab ise välja mõtlema optimaalse strateegia vastavalt keskkonna dünaamikale ja oma käitumise tagasisidele. See sarnaneb ka pärismaailmaga, kus inimesed peavad ise otsustama, milliste eesmärkide poole püüelda. 

## Ajalugu
Paljudes stiimulõpet kasutavates masinõppeülesannetes on ajalooliselt preemiafunktsioon defineeritud käsitsi. Näiteks 2015. aastal treenisid Google DeepMindi teadlased stiimulõpet kasutades tehisintellekti süsteemi mängima lauamängu Go, defineerides preemiafunktsiooni mängu lõpus +1 võidu ja –1 kaotuse korral . Päriselu ülesannetes on käsitsi preemiafunktsiooni disainimine keeruline ülesanne. Näiteks kui anda humanoidrobotile ülesanne koristada aed ära, pole kohe triviaalne, kuidas preemiafunktsiooni matemaatiliselt defineerida. See võib viia olukorrani, kus autonoomsed süsteemid teevad ettearvamatuid otsuseid. Konflikt traditsiooniliste stiimulõppe süsteemide eesmärkfunktsioonide ja reaalsete inimväärtuste vahel on tõstatanud joondamise probleemi küsimuse (ingl *alignment problem*).   

## Metoodika
Stiimulõppe oluliseks osaks on keskkond, kus agent saab oma tegevuste põhjal preemiat. Sellisele õppekeskkonnale on karakteristlik järjestikuste otsuste tegemine, mida saab formaalselt kirjeldada Markovi otsustusprotsessidega (MDP). Preemiafunktsioon pole teada ja seda õpitakse läbi inimese tagasiside . Märgendaja on inimene, kes saab anda informatsiooni preemia kohta agendile. Saadud andmete põhjal õpib agent ligikaudselt lähendama preemiafunktsiooni koos stiimulõppe poliitikaga .

## Rakendused
Keelemudelid on masinõppe mudelid, mida treenitakse suure koguse teksti peal, et ennustada etteantud teksti põhjal järgmist sõna või sümbolit. Kasutajasõbra väljundi saavutamiseks kasutatakse RLHF-i keelemudelite arhitektuuris , mis on teadaolevalt ka rakenduse ChatGPT edu võti .

RLHF-i on kasutatud ka isesõitvates autodes turvalise käitumispoliitika loomiseks . 

## Väljavaated ja probleemid
Märgenduste käsitsi kogumine teeb RLHF-i suurtes rakendustes kasutamise kalliks ja ajamahukaks. Selle probleemi lahendamiseks on Anthropic ja Bai et al.  välja pakkunud lahenduse kasutada tehisintellekti ise, et juhendada tuleviku süsteeme ilma inimesi kui märgendajaid kasutamata. Nad näitasid, et olemasolevaid keelemudelit saab efektiivselt kasutada kahjulike väljundite tuvastamisel .

Kvaliteetsete andmete kogumine inimestelt on osaliselt piiratud, kuna inimeste eelistused muutuvad ajas, sõltuvad eelarvamustest, küsimuse raamingust ning kognitiivsest seisundist. Näiteks näitasid Hosking *et al.* , kuidas suure keelemudeli peenhäälestamisel eelistasid märgendajad enesekindlaid vastuseid märkimisväärselt rohkem kui faktipõhiseid. Tõesete ja eelarvamusteta eelistuste mõõtmine inimestelt on sotsiaalteaduses käimasolev uurimisprobleem psühhomeetria valdkonnas. 

## Viited