DijanaGjonaj/Inxhinieri e udhëzimeve

**Inxhinieri e udhëzimeve** është procesi i strukturimit ose krijimit të një udhëzimi me qëllim që të prodhohen rezultate më të mira nga një model i inteligjencës artificiale gjenerative (AI).

Një udhëzim është tekst në gjuhë natyrore që përshkruan detyrën që duhet të kryejë një AI. Një udhëzim për një model gjuhësor tekst-në-tekst mund të jetë një pyetje, një komandë ose një deklaratë më e gjatë që përfshin kontekstin, udhëzimet dhe historikun e bisedave. Inxhinieria e udhëzimeve mund të përfshijë formulimin e një pyetjeje, specifikimin e një stili, zgjedhjen e fjalëve dhe gramatikës, ofrimin e kontekstit të rëndësishëm, ose përshkrimin e një personazhi që AI duhet ta imitojë. ose "BPM i ngadaltë elektro-çlodhës Lo-fi me mostra organike".Udhëzimi i një modeli tekst-në-imazh mund të përfshijë shtimin, heqjen ose theksimin e fjalëve për të arritur një subjekt, stil, paraqitje, ndriçim dhe estetikë të dëshiruar.

## Historia 
Në vitin 2018, studiuesit propozuan për herë të parë që të gjitha detyrat e ndara në procesimin e gjuhës natyrore (NLP) mund të paraqiteshin si një problem pyetje-përgjigje mbi një kontekst. Përveç kësaj, ata trajnuan modelin e parë të vetëm, të përbashkët dhe me shumë detyra i cili do t'i përgjigjej çdo pyetjeje të lidhur me detyrën, si p.sh. "Cili është sentimenti" ose "Përkthejeni këtë fjali në gjermanisht" ose "Kush është presidenti?"

Shpërthimi i inteligjencës artificiale solli një rritje të përdorimit të "teknikës së udhëzimit" për ta bërë modelin të japë rezultatin e dëshiruar dhe për të shmangur rezultatin absurd, një proces i karakterizuar nga metoda e provës dhe gabimit . Pas publikimit të ChatGPT në vitin 2022, inxhinieria e udhëzimeve u pa shpejt si një aftësi e rëndësishme biznesi, megjithëse me një të ardhme ekonomike të pasigurt. Në vitin 2023, disa baza të dhënash për udhëzime tekst-në-tekst dhe tekst-në-imazh u bënë të disponueshme publikisht.  Grupi i të dhënave të Personalizuara të Imazhit-Prompt (PIP), një grup i të dhënave imazh-tekst i gjeneruar që është kategorizuar nga 3,115 përdorues, është bërë gjithashtu i disponueshëm publikisht në vitin 2024.

## Tekst-në-tekst 
Një studim gjithëpërfshirës i vitit 2024 identifikoi mbi 50 teknika të dallueshme të udhëzimit me bazë teksti dhe rreth 40 variante multimodale, duke treguar një diversifikim të shpejtë në strategjitë e udhëzimeve. Studimi gjithashtu dokumentoi një fjalor të kontrolluar prej 33 termash të përdorur në të gjitha kërkimet mbi udhëzimin, duke theksuar nevojën në rritje për standardizim.

Anketa zbuloi se performanca e modeleve të mëdha gjuhësore është shumë e ndjeshme ndaj zgjedhjeve të tilla si renditja e shembujve, cilësia e etiketave të demonstrimit dhe madje edhe ndryshime e vogla në formulim. Në disa raste, rirenditja e shembujve në një udhëzim solli ndryshime saktësie prej më shumë se 40 përqind, duke theksuar rëndësinë e ndërtimit metodik të udhëzimeve.

### Zinxhir mendimesh 
Sipas Google Research, udhëzimi *zinxhiror i mendimit* (CoT) është një teknikë që u mundëson modeleve të mëdha gjuhësore (LLM) të zgjidhin një problem përmes një serie hapash ndërmjetës përpara se të japin një përgjigje përfundimtare. Në vitin 2022, Google Brain raportoi se udhëzimi zinxhiror i mendimit përmirëson aftësinë e arsyetimit duke e nxitur modelin t'i përgjigjet një problemi me shumë hapa me hapa arsyetimi që imitojnë një zinxhir mendimi.  Teknikat e zinxhirit të mendimit u zhvilluan për të ndihmuar LLM-të të trajtojnë detyra arsyetimi me shumë hapa, të tilla si pyetje aritmetike ose ato të arsyetimit të përbashkë.  

Për shembull, duke pasur parasysh pyetjen "Q: Mensa kishte 23 mollë. Nëse përdorën 20 për të përgatitur drekën dhe blenë 6 të tjera, sa mollë kanë?", udhëzimi i CoT e shtyu një LLM të përgjigjej "A: Mensa kishte 23 mollë fillimisht. Ata përdorën 20 për të përgatitur drekën. Pra, ata kishin 23 - 20 = 3. Ata blenë 6 mollë të tjera, kështu që kanë 3 + 6 = 9. Përgjigja është 9."  Kur u aplikua në PaLM, një model gjuhe me 540 miliardë parametra, sipas Google, udhëzimi i CoT ndihmoi ndjeshëm modelin, duke i lejuar atij të performonte në mënyrë të krahasueshme me modelet e stërvituara posaçërisht për detyra të caktuara në disa detyra, duke arritur rezultate të nivelit me te larte te kohes në piketimin e arsyetimit matematik GSM8K. 

Siç u propozua fillimisht nga Google, çdo udhëzim CoT shoqërohet nga një sërë shembujsh hyrës/dalës - të quajtur *ekzemplarë* - për të treguar se çfarë lloj përgjigjeje pritet nga modeli, duke e bërë atë një teknikë udhëzuese *me pak shembuj*. Megjithatë, sipas një punimi të mëvonshëm nga studiuesit të Google dhe Universitetit e Tokios, thjesht shtimi i fjalëve "Le të mendojmë hap pas hapi" rezultoi të ishte efektiv, gjë që lejoi që CoT të përdoret si një teknikë *pa asnj*ë *shembull*.

Një shembull i formatit të udhëzimit të CoT me pak *shembuj* brenda kontekstit:
   Q: {pyetja shembull 1}
   A: {përgjigjja shembull 1}
   ...
   Q: {pyetja shembull *n*}
   A: {përgjigjja shembull *n*}
   
   Q: {pyetja}
   A: {Dalja LLM}
Një format shembull për teknikën e udhëzimit pa shembuj me CoT: një qasje e quajtur *mësim me pak shembuj*.

Mësimi në kontekst është një aftësi emergjente e modeleve të mëdha gjuhësore. Është një veti emergjente e shkallës së modelit, që do të thotë se ndodhin shkelje në ligjet e shkallës në rrjedhën e poshtme, duke çuar në rritjen e efikasitetit të tij me një ritëm të ndryshëm te modelet më të mëdha krahasuar me modelet më të vogla. Modelet e trajnimit për të kryer të mësuarit në kontekst mund të shihen si një formë e meta-mësimit, ose "mësimi për të mësuar".

### Vetë-konsistencë 
*Vetë-konsistenca* kryen disa zbatime të zinxhirit të arsyetimit, pastaj zgjedh përfundimin e arritur më shpesh nga të gjitha zhvillimet. 

### Pemë arsyetimi 
*Udhëzimi me pemë arsyetimi e zgjeron* zinxhirin e arsyetimit duke gjeneruar linja të shumta arsyetimi paralelisht, me mundësinë për t'u rikthyer pas ose për të eksploruar rrugë të tjera. Ai mund të përdorë algoritme kërkimi në pemë si "kërkim në gjerësi", "kërkim në thellësi" ose "rreze". Sintaksa klauzuale, për shembull, përmirëson qëndrueshmërinë dhe zvogëlon pasigurinë në marrjen e njohurive. Kjo ndjeshmëri vazhdon te ekzistoj edhe për modelet më të mëdha, me shembuj të tjerë ose pas përshtatjes së udhëzimeve.

Për të adresuar ndjeshmërinë e modeleve dhe për t'i bërë ato më të qëndrueshme, janë propozuar disa metoda. Përhapja e Formateve mundëson analizën sistematike duke vlerësuar një gamë formatesh të mundëshme të udhëzimeve, duke ofruar një interval performance më të plotë. Po ashtu, vlerësimi i udhëzimeve vlerëson shpërndarjet e performancës përmes udhëzimeve të ndryshme, duke mundësuar metrika të forta siç janë kuintilet e performancës dhe vlerësime të sakta nën buxhete të kufizuara.

### Krijimi automatik i udhëzimeve 
Kërkimet e fundit kanë shqyrtuar inxhinierinë e udhëzimit të automatizuar, duke përdorur algoritme optimizimi për të krijuar ose rafinuar udhëzime pa ndërhyrjen e njeriut. Këto qasje të automatizuara synojnë të identifikojnë modele efektive të udhëzimeve duke analizuar gradientët e modeleve, reagimet e përforcimit ose proceset evolutive, duke zvogëluar nevojën për eksperimentim manual.

#### Gjenerimi i pasuruar me rikuperim 
 
Gjenerimi i pasuruar me rikuperim (RAG) është një teknikë që u mundëson modeleve të inteligjencës artificiale gjeneruese (Gen AI) të rikuperojnë dhe inkorporojnë informacion të ri. Ajo modifikon ndërveprimet me një LLM në mënyrë që modeli t'u përgjigjet udhëzimeve të përdoruesit duke iu referuar një grupi të caktuar dokumentesh, duke përdorur këtë informacion për të plotësuar të dhënat e tij të mëparshme të trajnimit. Kjo u lejon LLM-ve të përdorin informacion specifik për një fushë të caktuar dhe/ose informacion të përditsuar.

RAG përmirëson modelet e mëdha gjuhësore duke përfshirë rikthimin e informacionit përpara se të gjenerojë përgjigje. Ndryshe nga LLM-të tradicionale që mbështeten në të dhëna statike trajnimi, RAG tërheq tekstin përkatës nga bazat e të dhënave, dokumentet e ngarkuara ose burimet e internetit. Sipas  , "RAG është një mënyrë për të përmirësuar performancën e LLM-së, duke kombinuar procesin e LLM-së me një kërkim në internet ose procese të tjera që përmbahen në fakte." Kjo metodë ndihmon në reduktimin e halucinacioneve të AI-së, të cilat kanë shkaktuar probleme të botës reale, si p.sh. biseduesit virtual që shpikin politika ose avokatët që citojnë raste ligjore joekzistente. Duke rikthyer në mënyrë dinamike informacionin, RAG i mundëson AI-së të ofrojë përgjigje më të sakta pa pasur nevojë për trajnime të shpeshta.

#### Gjenerim i pasuruar me rikuperim grafik 
parapamje|GraphRAG me një grafik njohurie që kombinon modelet e aksesit për të dhëna të pastrukturuara, të strukturuara dhe të përziera
GraphRAG (i shpikur nga Microsoft Research ) është një teknikë që zgjeron RAG-un me përdorimin e një grafiku njohurie (zakonisht të gjeneruar nga LLM) duke i mundësuar modelit që të lidhë pjesë të ndryshme informacioni, të sintetizojë njohuri dhe të kuptojë në mënyrë holistike konceptet semantike të përmbledhura mbi koleksione të mëdha të të dhënave. Ajo u tregua efektive në grupe të dhënash si "Informacioni mbi Incidentet e Dhunës nga Artikujt e Lajmeve (VIINA). 

Punimet e mëparshme treguan efektivitetin e përdorimit të një grafiku njohurie për përgjigjen e pyetjeve duke gjeneruar pyetje nga teksti. Këto teknika mund të kombinohen për të kërkuar në të dhëna të pastrukturuara dhe të strukturuara, duke ofruar kontekst të zgjeruar dhe renditje të përmirësuar.

#### Përdorimi i modeleve të gjuhës për të gjeneruar udhëzime 
LLM-të mund të përdoren për të komponuar udhëzime për LLM-të.  Algoritmi *i inxhinierisë automatike të udhëzimeve* përdor një LLM për të realizuar kërkimin me rreze mbi udhëzime për një LLM tjetër: 

* Ekzistojnë dy LLM. Njëra është LLM që është objekt i synuar dhe tjetra është LLM që jep udhëzimet.
* LLM që jep udhëzime paraqitet me shembuj të grupeve hyrje-dalje dhe i kërkohet të gjenerojë udhëzime që mund të kishin bërë që një model, duke ndjekur udhëzimet, të gjenerojë daljet, duke pasur parasysh hyrjet.
* Secili prej udhëzimeve të gjeneruara përdoret për të stimuluar LLM-në e synuar, e ndjekur nga secili prej inputeve. Probabilitetet logaritmike të daljeve merren dhe shtohen. Ky është rezultati i udhëzimit.
* Udhëzimet me pikët më të larta i jepen LLM-së që jep udhëzime për variacione të mëtejshme.
* Përsëriteni derisa të arrihen disa kritere ndalimi, pastaj nxirrni udhëzimet me rezultatin më të lartë.

Shembujt e CoT mund të gjenerohen nga vetë LLM. Në "auto-CoT", një bibliotekë pyetjesh shndërrohet në vektorë nga një model si BERT . Vektorët e pyetjeve grupohen në klasterë. Pyetjet që janë më afër qendrës së qdo klasteri përzgjidhen, në mënyrë që të ketë një nëngrup pyetjesh të ndryshme. Një LLM krijon CoT me zero pikë për secilën pyetje të përzgjedhur. Pyetja dhe përgjigjja përkatëse e CoT shtohen në një grup të dhënash demonstrimesh. Këto demonstrime të ndryshme mund të shtohen më pas në udhëzime për të mësuar me pak pikë.

#### Optimizimi automatik i udhëzimeve 
Teknikat automatike të optimizimit të udhëzimeve përmirësojne udhëzimet për LLM-të duke përdorur grupe të dhënash testimi dhe metrika krahasimi për të përcaktuar nëse ndryshimet rrisin performancën. Metoda të tilla si MiPRO (Optimizimi i Udhëzimeve me Ndryshim Minimal) përditësojnë udhëzimet me modifikime minimale, ndërsa GEPA (Shtimi i Udhëzimeve të Bazuara në Gradient) aplikon sinjale gradienti mbi probabilitetet e modelit. Ekzistojnë gjithashtu implementime me burim të hapur të këtyre algoritmeve në kuadro si DSPy dhe Opik.

### Inxhinieria e kontekstit 
Inxhinieria e kontekstit është një term në zhvillim, i orientuar drejt praktikës, që përshkruan disiplinën e dizajnimit, përzgjedhjes dhe administrimit të elementeve që shoqërojnë udhëzimet e përdoruesit. Kjo përfshin udhëzimet e sistemit, njohuritë e rikuperuara, përkufizimet e mjeteve, përmbledhjet e bisedave dhe metadatat e detyrave për të përmirësuar besueshmërinë, origjinën dhe efikasitetin e përdorimit të tokenëve në sistemet e LLM-ve në prodhim. 

Koncepti thekson praktikat operacionale siç janë buxhetimi i tokenëve, etiketat e prejardhjes, versionimi i artefakteve të kontekstit, vëzhgueshmëria (regjistrimi i kontekstit të dhënë) dhe testet e regresionit të kontekstit për të siguruar që ndryshimet në kontekstin e dhënë të mos e ndryshojnë në heshtje sjelljen e sistemit. Një sondazh i korrikut 2025 paraqet një taksonomi formale të përbërësve të inxhinierisë së kontekstit (rikuperimi/gjenerimi i kontekstit, përpunimi i kontekstit dhe menaxhimi i kontekstit) dhe argumenton për trajtimin e dritares së kontekstit si një sipërfaqe inxhinierike e menaxhuar, dhe jo vetëm si një burim pasiv i dokumenteve të rikthyera.

## Tekst-në-imazh 
Në vitin 2022, modelet tekst-në-imazh si DALL-E 2, Stable Diffusion dhe Midjourney u publikuan. Këto modele marrin udhëzime tekstuale si hyrje dhe i përdorin ato për të gjeneruar imazhe. Si alternativë, udhëzimet *negative* lejojnë përdoruesin të tregojë, në një udhëzim të veçantë, se cilët terma *nuk* duhet të shfaqen në imazhin e rezultuar. Teknika të tilla si vendosja e udhëzimit normal në një problem modelimi gjuhe sekuencë-për-sekuencë mund të përdoren për të gjeneruar automatikisht një rezultat për udhëzimin negativ.

Një udhëzim tekst-në-imazh zakonisht përfshin një përshkrim të subjektit të artit, mediumit të dëshiruar (si *pikturë dixhitale* ose *fotografi*), stilit (si *hiperrealist* ose *pop-art*), ndriçimit (si *ndriçim anësor* ose *rrezet e agimit*), ngjyrës dhe strukturës. Renditja e fjalëve ndikon gjithashtu në rezultatin e një udhëzimi tekst-në-imazh. Fjalët më afër fillimit të udhëzimit mund të theksohen më shumë.

Dokumentacioni i Midjourney inkurajon përdorimin e udhëzimeve të shkurtra dhe përshkruese: në vend të "Më trego një foto me shumë lulëkuqe të Kalifornisë në lulëzim, bëji ato portokalli të ndritshme dhe të gjalla dhe vizatoji në një stil të ilustruar me lapsa me ngjyra", një udhëzim efektiv mund të jetë "Lulëkuqe të Kalifornisë portokalli të ndritshme të vizatuara me lapsa me ngjyra". Artistë të famshëm si Vincent van Gogh dhe Salvador Dalí janë përdorur gjithashtu për stilim dhe testim.

## Udhëzime jo-tekstuale 
Disa qasje shtojnë ose zëvendësojnë udhëzimet me tekst natyral me hyrje jo-tekstuale.

### Inversimi tekstual dhe përfaqësimet vektoriale 
Për modelet tekst-në-imazh, inversimi *tekstual* kryen një proces optimizimi për të krijuar një përfaqësim vektorial të ri të një fjale bazuar në një grup imazhesh shembull. Ky perfaqesim vektorial vepron si një "fjalë pseudo" e cila mund të përfshihet në një udhëzim për të shprehur përmbajtjen ose stilin e shembujve.

### Nxitja e imazhit 
Në vitin 2023, kërkimi i Meta-s në fushën e inteligjencës artificiale publikoi Segment Anything, një model të vizionit kompjuterik që mund të kryejë segmentimin e imazheve përmes udhëzimeve. Si alternativë ndaj udhëzimeve tekstuale, Segment Anything mund të pranojë kuti kufizuese, maska segmentimi, dhe pikat e parësorit/sfondit.

### Përdorimi i zbërthimit gradient për të kërkuar udhëzime 
Në "akordimin e prefiksit", "akordimin e udhëzimit" ose "sugjerimin e butë", vektorët me vlera me pikë lundruese kërkohen drejtpërdrejt me anë të zbritjes gradiente për të maksimizuar shpërndarjen logaritmike të mundësisë në rezultate.

Formalisht, le të jetë \mathbf{E} = \{\mathbf{e_1}, \dots, \mathbf{e_k}\} një grup tokenësh të butë (vendosje të akordueshme), ndërsa \mathbf{X} = \{\mathbf{x_1}, \dots, \mathbf{x_m}\} dhe \mathbf{Y} = \{\mathbf{y_1}, \dots, \mathbf{y_n}\} të jenë përkatësisht përfaqësime të tokeneve të hyrjes dhe daljes. Gjatë trajnimit, vendosjet e akordueshme, tokenat e hyrjes dhe daljes bashkohen në një sekuencë të vetme. \text{concat}(\mathbf{E};\mathbf{X};\mathbf{Y}), dhe u jepet LLM-ve. Humbjet llogariten vetem mbi tokenet \mathbf{Y} ; gradientët kthehen mbrapsht në parametra specifikë të udhëzimit: në akordimin e prefiksit, ato janë parametra të lidhur me tokenet e udhëzimeve në secilën shtresë; në akordimin e udhëzimit, ato janë thjesht tokenat e butë të shtuar në fjalor.

Më formalisht, ky është akordim i udhëzimit. Le të shkruhet një LLM si LLM(X) = F(E(X)) , ku X është një sekuencë e tokenëve gjuhësorë, E është një funksion që i shëndrron tokenët në vektor, dhe F është pjesa tjetër e modelit. Në akordimin e prefikseve, ofrohet një grup çiftesh hyrje-dalje \{(X^i, Y^i)\}_i, dhe pastaj përdoret zbritja gradiente për të kërkuar për \arg\max_{\tilde Z} \sum_i \log Pr[Y^i | \tilde Z \ast E(X^i)] Me fjalë, \log Pr[Y^i | \tilde Z \ast E(X^i)] është logaritmi i mundësisë për të gjeneruar Y^i, nëse modeli së pari kodon të dhënat hyrëse X^i në vektorin E(X^i), pastaj i shton para vektorit "prefiksin vektor" \tilde Z, pastaj aplikon F. Për akordimin e prefiksit, është e ngjashme, por "vektori i prefiksit" \tilde Z është shtohet gjendjeve të fshehura në çdo shtresë të modelit. 

Një rezultat i mëparshëm përdor të njëjtin koncept të kërkimit me zbritje gradiente, por është dizajnuar për modele të maskuara gjuhësore si BERT, dhe kërkon vetëm mbi sekuencat e tokenëve, në vend të vektorëve numërorë. Formalisht, ai kërkon për \arg\max_{\tilde X} \sum_i \log Pr[Y^i | \tilde X \ast X^i] ku \tilde X luhatet mbi sekuencat e tokenëve me një gjatësi të caktuar.

## Kufizimet 
Ndërsa procesi i shkrimit dhe përmirësimit të një udhëzimi për një LLM ose AI ka disa përparësi të ngjashme me një proces përsëritës të dizajnit inxhinierik, si përmes zbulimit të "parimeve më të mira" për t'u ripërdorur dhe zbulimi përmes eksperimentimit të riprodhueshëm, parimet dhe aftësitë reale të mësuara varen shumë nga modeli specifik që po përdoret dhe jo nga përgjithësimi në të gjithë fushën e modeleve gjeneruese të bazuara në udhëzim. Modele të tilla janë gjithashtu të paqëndrueshme dhe shfaqin rezultate dukshëm të ndryshme nga ndryshimet në dukje të parëndësishme të udhëzimit.  Sipas *The Wall Street Journal* në vitin 2025, profesioni i inxhinierit të udhëzimit ishte një nga më i kerkuari në vitin 2023, por është bërë i tejkaluar për shkak të modeleve që kuptojne më mirë qëllimin e përdoruesit dhe trajnimeve të kompanisë.

## Injektimi i udhëzimit 
Injektimi i udhëzimit është një formë shfrytëzimi i sigurisë kibernetike në të cilën kundërshtarët krijojnë hyrje që duken të ligjshme, por janë të dizajnuara për të shkaktuar sjellje të padëshiruara në modelet e të mësuarit makinerik, veçanërisht në modelet e mëdha gjuhësore. Ky sulm përfiton nga paaftësia e modelit për të dalluar midis udhëzimeve të përcaktuara nga zhvilluesit dhe hyrjeve të përdoruesit, duke u lejuar kundërshtarëve të anashkalojnë masat mbrojtëse dhe të ndikojnë në sjelljen e modelit. Ndërsa LLM-të janë të dizajnuara për të ndjekur udhëzime të besueshme, ato mund të manipulohen për të kryer përgjigje të padëshiruara përmes hyrjeve të formuluara me kujdes. 

## Referime