Trasfhoirmeoir (ailtireacht domhainfhoghlama)

Is éard is trasfhoirmeoir ann ná ailtireacht domhainfhoghlama, bunaithe ar an gcoincheap tábhachtach sa mheaisínfhoghlaim ar a dtugtar “aird” (Béarla: attention) a bhí molta sa bhliain 2017 i bpáipéar eolaíochta dar teideal "Attention Is All You Need". Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017-06-12). "Attention Is All You Need"  Níl aon aonad athfhillteach ann, agus mar sin teastaíonn níos lú ama traenála uaidh ná mar a bhí i gcás ailtireachtaí néaracha athfhillteacha a bhí chun tosaigh sna 2010idí, ar nós cuimhne fhada ghearrthéarmach. Sa lá atá inniu ann, úsáidtear an trasfhoirmeoir go forleathan chun ollsamhlacha teanga a thraenáil, ag baint úsáide as corpais mhóra téacs, mar shampla corpas na Vicipéide nó an Common Crawl. Roinntear an téacs ionchuir ina n-ghramanna atá ionchódaithe mar théacschomharthaí agus tiontaítear gach téacschomhartha ina veicteoir trí thábla leabaithe focal a cheadú. Sa pháipéar a thug an trasfhoirmeoir in 2017, baineadh úsáid as an meicníocht airde softmax a mhol Bahdanau et. al. in 2014 i gcomhthéacs an ríomhaistriúcháin, agus an Fast Weight Controller, ailtireacht cosúil leis an trasfhoirmeoir, a moladh in 1992.

Cosúil le líonraí néaracha athfhillteacha (LNA nó RNN i mBéarla), deartar trasfhoirmeoirí chun sonraí seicheamhacha a phróiseáil, amhail teanga nádúrtha, le feidhmchláir ar thascanna ar nós ríomhaistriúcháin agus achoimriú téacs. Murab ionann agus LNAcha, áfach, próiseálann trasfhoirmeoirí an t-ionchur iomlán ar fad ag an am céanna. Soláthraíonn an mheicníocht airde comhthéacs d’aon suíomh sa seicheamh ionchurtha. Mar shampla, i gcás teanga nádúrtha, ní gá don trasfhoirmeoir aon fhocal amháin a phróiseáil sa mhullach ar fhocal eile. Ceadaíonn sé seo comhthreomhaireacht níos mó ná LNAcha agus dá bhrí sin laghdaítear amanna traenála.

 Tagairtí 

Catagóir:Ailtireachtí an líonra néaraigh