Zero-shot ikaskuntza

Zero-shot ikaskuntza edo Zero-shot learning (ZSL) ikaskuntza sakoneko arazo-eredu bat da; bertan, proba-fasean, ikasleak entrenamenduan behatu ez diren klaseetako laginak jasotzen ditu, eta lagin horiek zein klaseri dagozkion aurreikusi behar du. Izena hitz-joko bat da, one-shot ikaskuntza kontzeptu zaharragoan oinarritua; izan ere, kasu horretan sailkapena adibide bakar batetik edo adibide gutxi batzuetatik ikas dezake.

Zero-shot metodoek, oro har, behatutako eta behatu gabeko klaseak elkarren artean lotzen dituzte informazio lagungarriaren bidez; informazio horrek objektuen propietate bereizgarri behagarriak kodetzen ditu. Adibidez, sailkatu beharreko animalien irudi-multzo bat emanda, eta animalien itxurari buruzko testu-deskribapen lagungarriekin batera, zaldiak ezagutzeko entrenatu den baina inoiz zebra baten irudirik jaso ez duen adimen artifizialeko eredu batek zebra bat identifikatu dezake, baldin eta badaki zebrak marradun zaldiak bezalakoak direla. Arazo hau oso aztertua izan da ikusmen artifizialean, hizkuntzaren prozesamenduan eta pertzepzio artifizialean.
 Historia 
Hizkuntzaren prozesamenduan zero-shot ikaskuntzari buruzko lehen artikulua 2008an argitaratu zuten Chang, Ratinov, Roth eta Srikumarrek AAAI’08 konferentzian; hala ere, bertan ikasketa-paradigma horri data gabeko klasifikazioa (ingelesez: dataless classification) izena eman zioten. Ikusmen artifizialaren arloan zero-shot ikaskuntzari buruzko lehen lana konferentzia berean agertu zen, zero-data ikaskuntza izenpean. Zero-shot ikaskuntza terminoa bera lehen aldiz 2009an agertu zen literaturan, Palatucci, Hinton, Pomerleau eta Mitchellek NIPS’09 konferentzian aurkeztutako artikulu batean. Terminologia hori geroago beste ikusmen artifizialeko lan batean ere erabili zen, eta zero-shot ikaskuntza terminoa hedatu egin zen, urte batzuk lehenago ikusmen artifizialean sartutako one-shot ikaskuntza kontzeptuaren jarraipen edo hitz-joko gisa.

Ikusmen artifizialean, zero-shot ikaskuntza ereduek ikusitako klaseetarako parametroak ikasten dituzte, haien klase-errepresentazioekin batera, eta klase-etiketen arteko antzekotasun errepresentazioalean oinarritzen dira; horri esker, inferentzian, instantziak klase berrietara sailkatu daitezke.

Hizkuntzaren prozesamenduan, garatutako norabide tekniko nagusia etiketak “ulertzeko” gaitasunean oinarritzen da, hau da, etiketak sailkatu beharreko dokumentuen espazio semantiko berean errepresentatzean. Horrek aukera ematen du adibide bakar baten sailkapena egiteko, inolako datu etiketaturik behatu gabe, zero-shot sailkapenaren formarik garbienean. Jatorrizko artikuluak Explicit Semantic Analysis (ESA) errepresentazioa erabili zuen, baina ondorengo lanek beste errepresentazio batzuk erabili zituzten, tartean errepresentazio dentsoak (ingelesez: dense representations). Hurbilketa hori domeinu eleaniztunetara ere hedatu zen, baita entitateen tipifikazio zehatzera (ingelesez: fine entity typing) eta beste arazo batzuetara ere. Gainera, errepresentazioetan soilik oinarritu beharrean, ikuspegi konputazionala beste ataza batzuetatik egindako transferentzian oinarritzera zabaldu da, hala nola testu-inplikazioan (ingelesez: textual entailment) eta galdera-erantzun sistemetan.

Jatorrizko artikuluak azpimarratzen du, halaber, adibide bakar baten sailkapenaz harago, adibide-multzo bat ematen denean (eta denak banaketa beretik datozela suposatuta), errendimendua hobetu daitekeela modu erdi-gainbegiratuan (ingelesez: semi-supervised)  baten antzera edo ikasketa transduktiboaren bidez.

Ikasketa automatikoan ohiko den orokortzearekin alderatuta, non sailkatzaileek entrenamenduan dagoeneko ikusitako klaseetako lagin berriak zuzen sailkatzea espero den, zero-shot ikaskuntzean ez zaio entrenamenduan klase berrietako laginik ematen sailkatzaileari. Horregatik, domeinu-egokitzapenaren (ingelesez: domain adaptation) muturreko kasu gisa har daiteke.

 Zero-shot ikaskuntzeko klaseen baldintzak 
Jakina, zero-shot klase horiei buruzko informazio lagungarriren bat eman behar da, eta informazio mota hori askotarikoa izan daiteke.

 Atributuen bidezko ikaskuntza: klaseak aurrez definitutako deskribapen egituratuekin batera ematen dira. Adibidez, hegaztien deskribapenetan “buru gorria” edo “moko luzea” bezalako atributuak ager daitezke. Atributu horiek askotan modu konposizional eta egituratuan antolatuta daude, eta egitura hori kontuan hartzeak ikaskuntza hobetzen du. Hurbilketa hau batez ere ikusmen artifizialean erabili izan da, baina hizkuntzaren prozesamenduan ere badaude adibide batzuk.

 Testu-deskribapenetik ikastea: aurretik adierazi bezala, hau izan da hizkuntzaren prozesamenduan jarraitu den norabide tekniko nagusia. Kasu honetan, klase-etiketek esanahi bat dutela onartzen da, eta askotan definizioekin edo hizkuntza naturalean idatzitako testu libreko deskribapenekin osatzen dira. Horren adibide izan daiteke klase baten Wikipediako deskribapena.

 Klaseen arteko antzekotasuna: ikuspegi honetan, klaseak espazio jarrai batean txertatzen dira. Zero-shot sailkatzaile batek aurresan dezake lagin bat espazio horretako posizio jakin bati dagokiola, eta hurbilen dagoen klase txertatua erabiltzen da aurreikusitako klase gisa, nahiz eta entrenamenduan halako laginik ez den behatu.

 Zero-shot ikaskuntza orokortua 
Aurreko zero-shot ikaskuntza ezarpenak suposatzen du proba-garaian zero-shot laginak soilik ematen direla, hau da, ikusi gabeko klase berrietako laginak. Zero-shot ikaskuntza orokortuan (ingelesez: Generalized Zero-shot Learning, GZSL), ordea, proba-garaian klase berrietako zein klase ezagunetako laginak ager daitezke. Horrek erronka berriak sortzen dizkie sailkatzaileei inferentzian, izan ere, oso zaila da lagin jakin bat klase berri batekoa den ala ezaguna den zehaztea.

Egoera horri aurre egiteko proposatutako hurbilketa batzuk hauek dira:

 Konporta-modulu bat (ingelesez: gating module), zeina lehenik entrenatzen den lagin jakin bat klase berri batekoa ala zahar batekoa den erabakitzeko; ondoren, inferentzian, erabaki gogor bat ematen du, edo erabaki probabilistiko leun bat.

 Modulu sortzaile bat (ingelesez: generative module), ikusi gabeko klaseen ezaugarri-errepresentazioak sortzeko entrenatzen dena; horren ondoren, sailkatzaile estandar bat entrenatu daiteke klase guztietako laginekin, bai ikusitakoekin bai ikusi gabekoekin.

 Abantailak eta mugak 

 Abantailak 
Zero-shot ikaskuntzaren abantaila nagusietako bat da klase berrietara egokitzeko gaitasuna, entrenamendu-fasean klase horietako adibiderik izan gabe. Horri esker, datu etiketatuen beharra nabarmen murrizten da, bereziki etiketatzea garestia edo zaila den arloetan. Gainera, ikuspegi honek eskalagarritasun handiagoa eskaintzen du, sistema bera berriro entrenatu beharrik gabe klase berriak txertatzea ahalbidetzen baitu. Halaber, aurretik ikasitako ezagutza semantikoa berrerabiltzen duenez, ezagutza-transferentzia eraginkorra sustatzen du hainbat ataza eta domeinuren artean.

 Mugak 
Hala ere, zero-shot ikaskuntzak hainbat muga ere baditu. Errendimendua neurri handi batean informazio lagungarriaren kalitatearen menpe dago; atributu semantikoak edo testu-deskribapenak zehaztugabeak edo osatu gabeak badira, sailkapenaren zehaztasuna nabarmen jaisten da. Gainera, ohikoa da domain shift edo banaketa-aldaketa arazoa agertzea, entrenamenduko datuen eta proba-datuen arteko desberdintasunek ereduaren errendimendua kaltetzen baitute. Beste muga garrantzitsu bat da, oro har, zero-shot ikaskuntzak zehaztasun txikiagoa lortzen duela ikasketa gainbegiratu tradizionalarekin alderatuta, batez ere ikusitako klaseetan. Azkenik, zero-shot ikaskuntza orokortuaren egoeretan, zaila da ereduak behar bezala orekatzea klase ikusien eta ikusi gabekoen artean, eta horrek joera sor dezake klase ezagunak lehenesteko.

 Aplikazioak 
Zero-shot ikaskuntza hainbat esparruetan erabili izan da:
 Ikusmen artifiziala. 
 Hizkuntzaren prozesamendua. 
 Irudi sorkuntza.
 Irudi klasifikazioa.
 Biologia konputazionala.

 Harremana beste ikaskuntza-paradigmekin 

 Few-shot ikaskuntza: Few-shot ikaskuntzan klase bakoitzerako adibide gutxi batzuk daude eskuragarri, zero-shot ikaskuntzan ez bezala, non adibiderik ez dagoen.
 Transferentzia ikaskuntza (ingelesez: Transfer learning): Transfererentzia ikaskuntzak aurretik ikasitako ereduak ataza berrietara egokitzen ditu, baina normalean gutxienez adibide batzuk behar ditu.
 Meta-ikaskuntza: Meta-ikaskuntzak ikasten ikastea du helburu, eta hainbat kasutan zero-shot edo few-shot egoerak hobetzeko erabiltzen da.

 Erreferentziak 

Kategoria:Ikasketa automatikoa
Kategoria:Adimen artifiziala
Kategoria:Hizkuntzaren prozesamendua