Prompt ingeniaritza

**Prompt ingeniaritza** arloan adimen artifizial sortzaileko (AAS) eredu batek interpretatu eta uler dezakeen irakaspen bat egituratzeko elkarrizketa-prozesuak aztertzen dira. Prompt bat hizkuntza natural batez idatzitako testu bat da, AA (Adimen Artifizial) batek bete beharko lukeen zeregina deskribatzen duena. Testu-testu eredu baterako prompt bat kontsulta bat izan daiteke, hala nola, "Zer da Fermaten teorema txikia?", "Edgar Allan Poeren estiloko poema bat idatzi, erortzen diren hostoei buruz", edo adierazpen luzeago bat, testuingurua eta historia barne.

Prompt Ingeniaritzak zehaztu dezake nola egin kontsulta bat, estilo bat zehaztea, edo AA-ari eginkizun bat esleitzea, hala nola "frantses hiztun gisa jardutea".

Testu-irudi batekin edo testu-audio eredu batez ari garenean (testu bat ematea hortik irudi bat edo audio bat bat eskatzeko), prompt bat irteera desiratu baten deskribapena da, hala nola "zaldi gainean doan astronauta baten kalitate handiko argazkia" edo "Lo-fi slow BPM electro hotzikara lagin organikoekin". Testu-irudi eredu bat erabiltzerakoan berarekin ekar dezake nahi den gaia, estiloa, maketazioa, argiztapena eta estetika zehaztu behar izatea.

## Historia 
2018an, ikertzaileek lehen aldiz saiatu ziren  testuzko galdera gisa proposatzen ordura arte Hizkuntzaren Prozesamenduaren arloan (HPan) ebazten ziren zeregin guztiak, horrela  elkarrizketa baten barruan bideratu ahal izateko. Gainera, zeregin horietarako eredu bateratu bat prestatu zuten; ordura arte banakako zereginetarako 12 eredu zirenak orduan zeregin anizkoitzerako eredu bateratu bakar berri horrekin adierazi ahal izateko. Adibidez, honelako galderak eginez: "Zein da sentipena?", “Esaldi hau alemanera itzuli" edo "Nor da lehendakaria?" bezalako galderei erantzuteko.

2021ean, ikertzaileek HPko 12 zeregin egiteko gauza zen generikoki simulatutako eredu bat (T0) prestatu zuten (62 dataset erabiliz, zeregin bakoitzak hainbat dataset  baitzuen). Modeloak eginkizun berrietan errendimendu ona izan zuen, zeregin bakar batean trebatuta zeuden ereduen emaitzak hobetzen zituela. Ereduak zeregin horietako bat ebazteko, T0 ereduari zeregin bat ematen zioten  egituratutako prompt gisa:  `baldin``egiazkoa bada,  ere egiazkoa da? ||| .`  Adibidez, premisa egiazkoa bada, hipotesia ere egia da.

2022ko otsailean promptak biltzen zituen errepositorio batek jakinarazi zuen bazirela 170 datu multzorako 2.000tik gora prompt publiko. 2022an Googleko ikertzaileek *chain-of-thought* teknika proposatu zuten. 2023an baziren  publikoki erabilgarri testu-testu eta irudi-irudi motako zenbait prompt datu-base.

## Testu-testu 
### **Chain of thought** 
Google-k dio *Chain-of-thought* teknikak (CoT) hizkuntza-eredu handiei (LLM, HEH) arazo bat konpontzeko aukera ematen diela. 2022an, Googlek *chain-of-thought* teknikak arrazoitzeko gaitasuna hobetzen duela adierazi zuen, eta eredua hainbat ta problema bat erantzutera bultzatzen duela,  *train of thought* bat imitatzen duten arrazoiketa mota aplikatzen. Pentsamendu-teknika hipotetikoek hizkuntza-eredu handiei zailtasunak gainditzeko aukera ematen diete pentsamendu logikoa behar duten arrazoiketa lan batzuekin eta ebatzi beharreko urrats anitzekin, hala nola aritmetika edo zentzuzko arrazoiketa galderekin, Googleren eta Amazonen iragarkien arabera.

Adibidez, hurrengo galdera daukagula: "Q: kafetegiak 23 sagar zituen. Bazkaria egiteko 20 erabiltzen badituzte eta 6 gehiago erosten badituzte, zenbat sagar dituzte? ", Googlek dioenez, CoT prompt batek LLMari lagunduko dio hau erantzutera: " A: Kafetegiak 23 sagar zituen jatorriz. 20 erabiltzen dituzte bazkaria egiteko. Orduan, 23- 20 = 3 dituzte. 6 sagar gehiago erosi dituzte, beraz, 3 + 6 = 9 dituzte. Ondorioz, erantzuna 9 da.”

Adibide bat, CoT prompting:
    Q: {galdera}
    A: Let's think step by step.
Googlerena den PaLM hizkuntza ereduari buruz ari garenean, 540B parametroko hizkuntza eredu hori, Googlek dio CoTk ereduari nabarmen lagundu ziola, hainbat atazatan zeregin zehatzetarako sintonizatutako modeloekin alderatuta ondo funtzionatzeko aukera ematen diola garai hartan punta-puntako emaitzak lortuz GSM8K arrazoibide matematikoko erreferentean. Googleren arabera, CoT arrazoiketari buruzko ereduak doitu daitezke, gaitasun hori areagotzeko eta hobeto interpretatzeko.

## Beste teknika batzuk 
*Chain-of-thought* teknika prompt ingeniaritzaren tekniketako bat da, baina ez bakarra. Gai honetaz, 2024an baziren 29 teknika ezberdin argitaratuta, horietako batzuk hauek dira:
### **Chain-of-Symbol (CoS) Prompting** 
Westlake Unibertsitatea, Hong Kongeko Unibertsitatea eta Edinburgoko Unibertsitateak egindako ikerketa baten arabera, **chain-of-symbol (CoS) prompting-a** eta **chain-of-thought (CoT) prompting-a** konbinatuta, hizkuntza-ereduen (LLM) espazio-argudioen ulermena hobetzen dute. Metodo honetan, sinbolo arbitrarioak (adibidez, “/”) erabiltzen dira testuko espazioen antolaketa egokitzeko, eta horrek argumentuak garatzeko eta ereduaren errendimendua hobetzeko balio du.

**Adibidea**:

:**Sarrera:**
:Adreilu batzuk daude. C adreilu horia E adreiluaren gainean dago. D adreilu horia A adreiluaren gainean dago. E adreilu horia D adreiluaren gainean dago. A adreilu zuriak B adreiluaren gainean dago. B adreiluaren kolorea zuria da. Orain, adreilu bat hartu behar dugu. Adreiluak goitik beherantz hartu behar dira, eta beheko adreilua hartu behar bada, lehenik goiko adreilua kendu behar da. Nola lor daiteke D adreilua?
:B/A/D/E/C
:C/E
:E/D
:D
:**Irteera:**
:Beraz, emaitza C, E, D da.
:----

### **Few-shot learning** 
**Few-shot ikaskuntza** teknikan, prompt batean hainbat adibide gehitzen dira, modeloa ataza jakin bat burutzen ikas dezan, adibidez, "maison → house, chat → cat, chien →" (espero den erantzuna "dog" izanik) bezalako prompt baten bidez. Ikaskuntza mota honi few-shot ikaskuntza deitzen zaio.
----

### **Generated knowledge prompting** 
Teknika honetan, promptari erantzuteko beharrezko ezagutzak lehenik sortzen dira, eta gero prompta osatzen da. Horrela, LLMak gaiari buruzko datu garrantzitsuetan oinarrituta erantzuten du.

**Adibidea**:

**Sarrera:** "Zer da ekosistema bat?"

**Ezagutza:** Ekosistema organismo biziak eta beren ingurune ez-bizia barne hartzen dituen sistema da. Organismoak elkarrekin eta beren ingurunearekin elkarrekintzan aritzen dira bizirauteko.
----

### **Least-to-most prompting** 
Teknika honek arazo nagusia osatzen duten azpiproblemak banan-banan ebaztea proposatzen du. Horrela, azpiproblema bakoitza aurrekoaren erantzunean oinarritzen da.'***

**Adibidea:  Exekuzioen artean alde handiak badaude, erabiltzaileak irizpide zuzena aztertzeko aukera izan dezake.
----

### **Konplexutasunean oinarritutako prompting-a** 
Teknika honek hainbat chain-of-thought exekutatzen ditu eta prozesu logiko konplexuena duen exekuzioa hautatzen du. Horri esker, erantzun koherente eta sakonagoa lor daiteke.
----

### **Self-refine teknika** 
**Self-refine teknikan**, LLM-ak erantzun bat sortzen du lehenik, ondoren erantzun horri buruz hausnartzen du eta iritzia ematen dio. Hausnarketa horren arabera, promptari berriro erantzuten dio. Prozesua hainbat aldiz errepikatzen da, erantzunaren kalitatea hobetzeko.

Prompt: "Hemen kode bat dago. Emango zenuke hobekuntza bat kodearen irakurgarritasuna hobetzeko?"

Iritzia: "Kodea blokeen bidez antolatzen da hobeto ulertzeko."
----

### **Tree-of-thought prompting** 
Teknika honek chain-of-thought teknika zabaltzen du, ideien “urrats posibleak” sortuz. Erantzunaren koherentzia bermatzeko hainbat ildo zabaltzen ditu.
----

### **Maieutic prompting** 
**Maieutic prompting teknika**, *tree-of-thought prompting''-en antzekoa, LLMak erantzun bat ematera eta azalpen bat gehitzera bultzatzen du. Ondoren, azalpen horren koherentzia aztertzen da, eta ez-errentagarriak diren ildoak baztertzen dira. Adibidez, “ekologia,” “ingurugiroa,” eta “aldaketa klimatikoa” hitzak erantsiz, modeloa gai horietan oinarritzen da.

Gako-hitzak: Ekologia, ingurugiroa, aldaketa klimatikoa.

## Ziurgabetasuna zabaltzen 
Hizkuntza-ereduen irteerak ez du beti ziurgabetasuna modu esplizituan adierazten. Hala ere, OpenAI GPT-4 bezalako modeloek token bakoitzaren probabilitatea zehaztasunez kalkulatu dezakete. Metodo alternatibo batek Hizkuntza Handiko Ereduari (LLM) irteeraren ziurgabetasuna hitzez azaltzeko eskatzea proposatzen du (Eliot, 2023).

### **Sorkuntza automatiko azkarra** 
#### **Sorkuntza areagotua berreskuratzea** 
Berreskuratze bidezko sorkuntza areagotua (RAG) bi faseko prozesua da, eta dokumentuak berreskuratzea eta erantzunak formulatzea eskatzen du, Hizkuntza Handiko Eredu baten bidez (LLM). Hasierako fasean, inkrustazio trinkoak erabiltzen dira dokumentuak berreskuratzeko. Berreskuratze hori, datu-baseen formatu desberdinetan oinarritu daiteke, erabilera-kasuaren arabera, hala nola datu-base bektorial batean, laburpen-indizean, zuhaitz-indizean edo gako-hitzen taula-indizean.

Kontsulta bati erantzunez, berreskuratze-dokumentu batek dokumentu garrantzitsuenak hautatzen ditu. Garrantzi hori zehazteko, lehenik kontsulta eta dokumentuak bektoretan kodetzen dira, eta, gero, bektoreetatik hurbilen dauden bektoreak dituzten dokumentuak identifikatzen dira. Dokumentuak berreskuratu ondoren, LLMak irteera bat sortzen du, kontsultako zein berreskuratutako dokumentuetako informazioa jasotzen duena. Metodo hori bereziki onuragarria da patentatutako informazioa edo informazio dinamikoa maneiatzeko eta eredua prestatzeko. RAG ere nabarmentzen da "tiro" ikaskuntzaren erabilerarengatik, non ereduak adibide gutxi batzuk erabiltzen dituen, sarritan automatikoki datu-base batetik berreskuratuak, bere emaitzen berri emateko.

#### **Berreskuratze grafikoen sorkuntza ebaluatua** 
GraphRAG  (Microsoft Research-ek sortua) teknika bat da, RAG zabaltzen duena ezagutza-grafiko bat erabiliz (normalean, LLMk sortua), ereduak informazio-pieza desberdinak konektatzeko, ideiak sintetizatzeko eta datu-bilduma handiei buruzko kontzeptu semantiko laburtuak holistikoki ulertzeko aukera ematen duena.

Zenbait datu multzotan eraginkorra zela frogatu zen, hala nola Albiste Artikuluetako Indarkeriazko Gertakariei buruzko Informazioan (VIINA). LLMk sortutako ezagutza-grafikoak makina grafikoen ikaskuntzarekin konbinatzean, GraphRAGek nabarmen hobetzen du sentsibilizazio globaleko galderetarako sortutako zehaztasuna eta erantzunen aniztasuna.

Aurreko lanek erakutsi zuten oso eraginkorra dela ezagutza-grafiko bat erabiltzea galderei erantzuteko. Teknika horiek konbinatu egin daitezke egituratu eta egituratu gabeko datuak bilatzeko, testuinguru zabaldua eta sailkapen hobea emanez.

### **Ikaskuntza testuinguruan** 
Baliteke ingeniaritza azkarra are gehiago gaitu ahal izatea testuinguruan ikasiz, hau da, eredu batek adierazpenetatik aldi baterako ikasteko duen gaitasunaz. Testuinguruko ikaskuntzarako gaitasuna hizkuntza eredu handien goranzko gaitasuna da. Testuinguruko ikaskuntza ereduen eskalaren propietate emergentea da, eta horrek esan nahi du beheranzko eskalako legeetan gertatzen diren hausturak halako moldez gertatzen direla, non haien eraginkortasuna tasa ezberdin batera handitzen baita eredu handiagoetan txikiagoetan baino.

Zeregin espezifiko bakoitzerako prestakuntzan eta egokitzapen onean ez bezala, horiek ez baitira aldi baterakoak, ikaskuntzan zehar testuinguruan ikasitakoa aldi baterakoa da. Ez ditu denbora-testuinguruak edo alborapenak erabiltzen, elkarrizketa batetik bestera datu-multzoan (aurre-prestakuntzan) daudenak izan ezik. Transformadorearen geruzen barruko "optimizazio anizkoitzaren" emaitza, meta-ikaskuntza edo "ikasten ikasteko" modu bat da.

### **Prompt formatuak** 
Testu-irudiaren sinbolo batek, normalean, honako hauek deskribatzen ditu: artearen gaia (mitxoleta laranja distiratsuak, adibidez), nahi den ingurunea (pintura digitala edo argazkia, adibidez), estiloa (hiperrealista edo popa, adibidez), argiztapena (ertzeko argiztapena edo izpi krepuskularrak, adibidez), kolorea eta testura.

Midjourneyren dokumentazioak mezu labur eta deskribatzaileak sustatzen ditu: "Erakutsi Kaliforniako mitxoleta loretsu askoren irudia, egin itzazu distiratsu eta laranja dardaratiak, eta koloretako arkatzez ilustratutako estilo batean marraztu" ordez, adierazle eraginkorra izan liteke "Kaliforniako mitxoleta laranja distiratsuak koloretako arkatzez marraztuta".

## Erreferentziak 
## Kanpo estekak