Loro estokastiko

Ikasketa automatikoan, loro estokastiko terminoa metafora bat da, Emily M. Benderrek eta haren kideek 2021eko artikulu batean sortua. Hizkuntza-eredu handiek testua benetan ulertu gabe estatistikoki testu bat sortzen dutela adierazten du, benetan ulertu gabe. Terminoak konnotazio negatiboa du. Zentzu filosofikoan John Searleren txinatar gelaren esperimentuaren baliokidea da.

 Sorrera eta definizioa 
Bender, Timnit Gebru, Angelina McMillan-Major eta Margaret Mitchellren «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜» (Loro estokastikoen arriskuei buruz: hizkuntza ereduak handiegiak izan daitezke? 🦜) artikuluan erabili zen terminoa lehen aldiz. Bertan argudiatzen zen hizkuntza-eredu handiek (LLM) hainbat arrisku dituztela, hala nola, ingurumen eta finantza kostuak, joera arriskutsu ezezagunetara daraman opakutasuna eta engainu potentziala, eta ezin dituztela ulertu ikasten dutenaren azpian dauden kontzeptuak.

Estokastiko hitza, antzinako grezierazko «στοχαστικός» hitzetik dator (stokhastikos, «aieruetan oinarritua»). Probabilitatearen teoriako termino bat da, eta «ausaz zehaztua» esan nahi du. «Loro» hitzak loroek beren esanahia ulertu gabe giza hizketa imitatzeko duten gaitasunari egiten dio erreferentzia.

Artikuluan diotenez, LLMek «hizkuntza-formen sekuentziak elkartzen dituzte... entrenamendu-datu zabaletan behatuak, konbinatzeko moduari buruzko informazio probabilistikoaren arabera, baina esanahiari buruzko inolako erreferentziarik gabe». Beraz, «loro estokastiko» huts gisa etiketatzen dira. Lindholm, Wahlström, Lindsten eta Schön ikasketa automatikoko profesionalen arabera, analogiak funtsezko bi muga nabarmentzen ditu:
 LLMak entrenatzeko erabiltzen diren datuek mugatzen dituzte, eta datu-multzoen edukia modu estokastikoan errepikatzera mugatzen dira.
 Entrenamendu-datuetan oinarritutako emaitzak bakarrik sortzen dituztenez, LLMek ez dute ulertzen zerbait oker edo desegoki esaten ari diren.
Lindholmen taldeak adierazi zuenez, kalitate txarreko datu-multzoekin eta beste muga batzuekin, ikasteko makina batek emaitza «arriskutsuki okerrak» eragin litzake.

Googlek Gebruri eskatu zion artikulua kentzeko edo Googleko langileen izenak kentzeko. Jeff Deanen arabera, artikuluak «ez zituen argitaratzeko gure baldintzak betetzen». Gebruk ez zuen atzera egin, eta kaleratu zuten.

 Erreferentziak 

 Kanpo estekak 

Kategoria:Txatbotak
Kategoria:Hizkuntzaren filosofia
Kategoria:Gogamenaren filosofiako kontzeptuak
Kategoria:Ikasketa sakona
Kategoria:Hizkuntza Eredu Handiak
Kategoria:Kontzeptu gutxiesgarriak
Kategoria:Psittacidae