Mësimi i pambikëqyrur

**Mësimi i pambikëqyrur** është një kornizë në mësimin makinerik ku, ndryshe nga mësimi i mbikëqyrur (ang. supervised learning), algoritmet mësojnë modelet vetëm nga të dhënat e paetiketuara. Korniza të tjera brenda spektrit të mbikëqyrjes përfshijnë mbikëqyrjen e dobët ose gjysmë-mbikëqyrjen (ang. weak- or semi-supervision), ku një pjesë e vogël e të dhënave është e etiketuar, si dhe vetë-mbikëqyrjen (self-supervision). Disa studiues e konsiderojnë mësimin e vetë-mbikëqyrur si një formë të mësimit të pambikëqyrur.

Konceptualisht, mësimi i pambikëqyrur ndahet në disa aspekte: të dhënat, trajnimin, algoritmin dhe aplikimet përfundimtare. Zakonisht, të dhënat mblidhen lirshëm  "në natyrë", për shembull korpuse të mëdha tekstesh (ang. text corpus) të marra përmes kërkimit në internet (ang. web crawling), me vetëm pak filtrime (si Common Crawl). Kjo krahasohet pozitivisht me mësimin e mbikëqyrur, ku seti i të dhënave (siç është ImageNet1000 ) zakonisht ndërtohet manualisht, gjë që është shumë më e kushtueshme.

Ekzistojnë algoritme të dizajnuara posaçërisht për mësimin e pambikëqyrur, si algoritmet e grupimit (ang. clustering algorithms) të tilla si k-means, teknikat e reduktimit të dimensioneve (ang. dimensionality reduction) si analiza e komponentëve kryesorë (ang. principal component analysis (PCA)), mësimi me makinat Boltzmann dhe autoenkoderët (ang.autoencoders). Pas rritjes së ndikimit të mësuarit të thellë, pjesa më e madhe e mësimit të pambikëqyrur në shkallë të gjerë është kryer duke trajnuar arkitektura të rrjeteve nervore me qëllim të përgjithshëm me anë të zbritjes gradient (ang. gradient descent), të përshtatura për mësim të pambikëqyrur duke dizajnuar një procedurë të përshtatshme trajnimi.

Ndonjëherë një model i trajnuar mund të përdoret ashtu siç është, por më shpesh ai modifikohet për aplikime përfundimtare. Për shembull, metoda e para-trajnimit gjenerues (ang. generative pretraining) e trajnon një model për të gjeneruar një grup të dhënash tekstuale, përpara se të përsoset për aplikime të tjera, si klasifikimi i tekstit. Si një shembull tjetër, autoenkoderët trajnohen për të prodhuar tipare të mira (ang. good features), të cilat më pas mund të përdoren si modul për modele të tjera, si për shembull në një model difuzioni latent (ang. latent diffusion model).
majtas|parapamje|300x300px|Tendenca e një detyrë për të përdorur metoda të mbikëqyrura kundrejt atyre të pambikëqyrura. Emrat e detyrave që shtrihen nëpër kufijtë e rrethit janë vendosur qëllimisht. Kjo tregon se ndarja klasike e detyrave imagjinative (majtas), të cilat përdorin metoda të pambikëqyrura, është zbehur në skemat e sotme të të nxënit.
Detyrat shpesh kategorizohen si diskriminuese (njohje) ose gjeneruese (imagjinatë). Shpesh, por jo gjithmonë, detyrat diskriminuese përdorin metoda të mbikëqyrura dhe detyrat gjeneruese përdorin metoda të pambikëqyrura (shih diagramin Venn); megjithatë, kjo ndarje është shumë e paqartë. Për shembull, njohja e objekteve zakonisht favorizon mësimin e mbikëqyrur, por mësimi i pambikëqyrur mund t'i grupojë objektet në grupe. Për më tepër, ndërsa progresi ecën përpara, disa detyra përdorin të dyja metodat, dhe disa detyra kalojnë nga njëra në tjetrën. Për shembull, njohja e imazhit filloi si shumë e mbikëqyrur, por u bë hibride duke përdorur para-trajnim të pambikëqyrur, dhe më pas kaloi përsëri drejt mbikëqyrjes me shfaqjen e braktisjes (ang. dropout), ReLU dhe shkallëve të të mësuarit adaptiv (ang. adaptive learning rates).

Një detyrë tipike gjeneruese është si vijon: në çdo hap, merret një pikë e të dhënave si mostër nga grupi i të dhënave, një pjesë e saj hiqet dhe modeli duhet të përfundoj pjesën që është hequr. Kjo është veçanërisht e qartë për autoenkoderët për heqjen e zhurmës (ang. denoising autoencoders) dhe BERT .

## Arkitekturat e rrjeteve nervore 
### Trajnimi 
Gjatë fazës së të mësuarit, një rrjet i pambikëqyrur përpiqet të imitojë të dhënat që i jepen dhe përdor gabimin në rezultatin e imituar për t'u korrigjuar vetë (pra, për të korrigjuar peshat dhe paragjykimet e tij). Ndonjëherë gabimi shprehet si një probabilitet i ulët që të ndodhë një rezultat i gabuar, ose mund të shprehet si një gjendje e paqëndrueshme me energji të lartë në rrjet.

Në dallim nga përdorimi dominues i  përhapjes prapa (ang.backpropagation nga metodat e mbikëqyrura, të mësuarit pa mbikëqyrje përdor edhe metoda të tjera, duke përfshirë: rregullin e të mësuarit Hopfield, rregullin e të mësuarit Boltzmann, Divergjencën Kontrastuese (ang. Contrastive Divergence), Gjumin e Zgjuar (ang. Wake Sleep), Inferencën Variacionale (ang. Variational Inference), Gjasat Maksimale (ang. Maximum Likelihood), Maximum A Posteriori, Mostrën Gibbs (ang.Gibbs Sampling) .dhe gabimet e rindërtimit të përhapjes prapa ose riparametrimet e gjendjes së fshehur. Shihni tabelën më poshtë për më shumë detaje.

### Energjia 
Një funksion energjie është një masë makroskopike e gjendjes së aktivizimit të një rrjeti. Tek makinat Boltzmann, ai luan rolin e funksionit të kostos. Kjo analogji me fizikën është frymëzuar nga analiza e Ludwig Boltzmann-it mbi energjisë makroskopike të një gazi nga probabilitetet mikroskopike të lëvizjes së grimcave. p \propto e^{-E/kT}, ku k është konstantja e Boltzmannit dhe T është temperatura. Në rrjetin RBM relacioni është  p = e^{-E} / Z ,  ku p dhe E ndryshojnë në çdo model të mundshëm aktivizimi dhe \textstyle{Z = \sum_{\scriptscriptstyle{\text{All Patterns}}} e^{-E(\text{pattern})}} Për të qenë më të saktë, p(a) = e^{-E(a)} / Z, ku a është një model aktivizimi i të gjitha neuroneve (të dukshme dhe të fshehura). Për këtë arsye, disa rrjete nervore të hershme mbajnë emrin Makina Boltzmann. Paul Smolensky e quan -E\, *Harmonia* . Një rrjet kërkon energji të ulët e cila është Harmoni e lartë.

### Rrjetat 
Kjo tabelë tregon diagramet e lidhjes së rrjeteve të ndryshme të pambikëqyrura, detajet e të cilave do të jepen në seksionin Krahasimi i Rrjeteve. Rrathët janë neurone dhe skajet midis tyre janë peshat e lidhjes. Ndërsa ndryshon dizajni i rrjetit, shtohen veçori për të mundësuar aftësi të reja ose hiqen për ta bërë të mësuarit më të shpejtë. Për shembull, neuronet ndryshojnë midis deterministikës (Hopfield) dhe stokastike (Boltzmann) për të mundësuar një dalje të fuqishme, peshat hiqen brenda një shtrese (RBM) për të shpejtuar të mësuarit, ose lidhjet lejohen të bëhen asimetrike (Helmholtz).

Nga rrjetet që mbanin emrat e njerëzve, vetëm Hopfield ka punuar drejtpërdrejt me rrjetet nervore. Boltzmann dhe Helmholtz ishin para rrjeteve nervore artificiale, por puna e tyre në fizikë dhe fiziologji frymëzoi metodat analitike që u përdorën.

### Historia 
### Rrjete specifike 
Këtu, ne theksojmë disa karakteristika të rrjeteve të zgjedhura. Detajet e secilit prej tyre jepen në tabelën krahasuese më poshtë.

Rrjeti Hopfield (ang.Hopfield Network)
Ferromagnetizmi frymëzoi rrjetet Hopfield. Një neuron korrespondon me një domen hekuri me momente magnetike binare Lart dhe Poshtë, dhe lidhjet nervore korrespondojnë me ndikimin e një domeni mbi tjetrin. Lidhjet simetrike mundësojnë një formulim global të energjisë. Gjatë inferencës, rrjeti përditëson çdo gjendje duke përdorur funksionin standard të aktivizimit. Peshat simetrike dhe funksionet e duhura të energjisë garantojnë konvergjencë drejt një modeli stabil aktivizimi. Peshat asimetrike janë të vështira për t'u analizuar.Rrjetet Hopfield përdoren si Kujtesa të Aksesueshme me Përmbajtje (ang. Content Addressable Memories (CAM)).
Makina Boltzmann (ang. Boltzmann Machine)
Këto janë rrjete Hopfield stokastike. Vlera e gjendjes së tzre merret nga ky funksion densiteti probabiliteti (ang. probability density function (pdf)) në këtë mënyrë: supozojme që një neuron binar aktivizohet me probabilitetin Bernoulli p(1) = 1/3 dhe pushon me p(0) = 2/3. Një vlerë merret duke zgjedhur një numër rastësor y të shpërndarë në mënyrë uniforme dhe duke e futur në funksionin e shpërndarjes kumulative të anuluar (ang. cumulative distribution function), që në këtë rast është funksioni i aktivizimit me prag 2/3. Funksioni i anuluar = { 0 nëse x  2/3 }.

Rrjeti i Besimit Sigmoid (ang. Sigmoid Belief Net)
E prezantuar nga Radford Neal në 1992, ky rrjet aplikon ide nga modelet grafike probabilistike tek rrjetet nervore. Një dallim kyç është se nyjet në modelet grafike kanë kuptime të paracaktuara, ndërsa veçoritë e neuronëve të Belief Net përcaktohen pas trajnimit. Rrjeti është një graf i drejtuar aciklik me lidhje të rralla, i përbërë nga neuronë binarë stokastikë. Rregulli i të nxënit vjen nga Likelihood Maksimal mbi p(X): Δwij ∝ sj * (si – pi), ku pi = 1 / (1 + e^(peshat e inputeve në neuronin i)). Sj-të janë aktivizime nga një mostër e paanshme e shpërndarjes pasuese dhe kjo është problematike për shkak të problemit 'Explaining Away' të ngritur nga Judea Pearl. Metodat Variacionale Bayesiane (ang. Variational Bayesian methods) përdorin një shpërndarje pasuese zëvendësuese dhe injorojnë në mënyrë të dukshme këtë kompleksitet.

Rrjeti i Besimit të Thellë (ang. Deep Belief Network)
E  prezantuar nga Hinton, ky rrjet është një hibride e RBM-së dhe Rrjetit të Besimit Sigmoid. Dy shtresat e sipërme janë një RBM, ndërsa shtresa e dytë dhe më poshtë formojnë një rrjet besimi sigmoid. Ai trajnohet me metodën e RBM-ve të grumbulluara dhe pastaj hiqen peshat e njohjes poshtë RBM-së së sipërme. Që nga viti 2009, duket se 3-4 shtresa janë thellësia optimale.
Makina Helmholtz (ang. Helmholtz machine)
Këto janë frymëzime të hershme për Variational Auto Encoders. Dy rrjetet e tij janë të kombinuara në një – peshat përpara kryejnë njohjen dhe peshat mbrapa implementojnë imagjinatën. Ai është ndoshta rrjeti i parë që bën të dyja. Helmholtz nuk ka punuar në mësimin e makinerive, por ai frymëzoi konceptin e një "motori inferencash statistikore që funksionon për të nxjerrë shkaqet e mundshme të inputeve sensory". Neuroni binar stokastik jep një probabilitet që gjendja e tij të jetë 0 ose 1. Inputi i të dhënave zakonisht nuk konsiderohet një shtresë, por në modalitetin e gjenerimit të Helmholtz machine, shtresa e të dhënave merr input nga shtresa e mesme dhe ka peshat e veçanta për këtë qëllim, kështu që konsiderohet një shtresë. Prandaj ky rrjet ka tre shtresa.
Autoenkoder variacional (ang. Variational autoencoder)
Këto janë të frymëzuara nga Helmholtz machines dhe kombinojnë rrjetet probabilistike me rrjetet nervore. Një Autoencoder është një rrjet CAM me tre shtresa, ku shtresa e mesme supozohet të jetë një përfaqësim i brendshëm i modeleve të inputit. Rrjeti nervor i encoder-it është një shpërndarje probabilistike qφ(z dhënë x), dhe rrjeti i decoder-it është pθ(x dhënë z). Peshat quhen phi dhe theta në vend të W dhe V si tek Helmholtz, një ndryshim thjesht kozmetik. Këto dy rrjete mund të jenë plotësisht të lidhura ose të përdorin një skemë tjetër rrjeti nervor.

### Mësimi Hebbian, ART, SOM 
Shembulli klasik i mësimit të pambikëqyrur në studimin e rrjeteve nervore është parimi i Donald Hebb, domethënë, neuronet që aktivizohen së bashku lidhen së bashku.  Në mësimin Hebbian (ang. Hebbian learning), lidhja përforcohet pavarësisht nga ndonjë gabim, por është ekskluzivisht një funksion i rastësisë midis potencialeve të veprimit midis dy neuroneve.  Një version i ngjashëm që modifikon peshat sinaptike merr në parasysh kohën midis potencialeve të veprimit ( plasticiteti i varur nga koha e kulmit (ang. spike-timing-dependent plasticity) ose STDP). Mësimi Hebbian është hipotezuar se qëndron në themel të një sërë funksionesh njohëse, të tilla si njohja e modelit (ang. pattern recognition) dhe të mësuarit nga përvoja.

Ndër modelet e rrjeteve nervore (ang. neutral network), harta vetëorganizuese (ang. self-organizing map SOM) dhe teoria e rezonancës adaptive (ang. adaptive resonance theory ART) përdoren zakonisht në algoritmet e mësimit të pambikëqyrur. SOM është një organizim topografik në të cilin vendndodhjet e afërta në hartë përfaqësojnë të dhëna hyrëse me veti të ngjashme. Modeli ART lejon që numri i grupeve të ndryshojë me madhësinë e problemit dhe i lejon përdoruesit të kontrollojë shkallën e ngjashmërisë midis anëtarëve të të njëjtave grupe me anë të një konstante të përcaktuar nga përdoruesi të quajtur parametri i vigjilencës. Rrjetet ART përdoren për shumë detyra të njohjes së modelit, të tilla si njohja automatike e objektivit (ang. automatic target recognition) dhe përpunimi i sinjalit sizmik.

## Metodat probabilistike 
Dy nga metodat kryesore të përdorura në të mësimin e pambikëqyrur janë analiza e komponentëve kryesorë (ang. principal component) dhe analiza e grupimeve (ang. cluster analysis). Analiza e grupimeve përdoret në mësimin e pambikëqyrur për të grupuar ose segmentuar grupe të dhënash me tipare të përbashkëta në mënyrë që të ekstrapolohen marrëdhëniet algoritmike.  Analiza e grupimeve është një degë e të mësuarit automatik që grupon të dhënat që nuk janë etiketuar (ang. labelled), klasifikuar ose kategorizuar. Në vend që t'i përgjigjet reagimeve, analiza e grupimeve identifikon ngjashmëritë në të dhëna dhe vepron bazuar në praninë ose mungesën e ngjashmërive të tilla në çdo pjesë të re të të dhënave. Kjo qasje ndihmon në zbulimin e pikave të të dhënave anomale që nuk përshtaten në asnjërin grup.

Një aplikim qendror i të mësimit të pambikëqyrur është në fushën e vlerësimit të dendësisë (ang. density estimation)në statistikë,  megjithëse mësimi i pambikëqyrur përfshin shumë fusha të tjera që lidhen me përmbledhjen dhe shpjegimin e karakteristikave të të dhënave. Ai mund të krahasohet me të mësimin e mbikëqyrur duke thënë se ndërsa mësimi i mbikëqyrur synon të nxjerrë një shpërndarje të probabilitetit të kushtëzuar (ang. conditional probability distribution) bazuar në etiketën e të dhënave hyrëse, mësimi i pambikëqyrur synon të nxjerrë një shpërndarje të probabilitetit a priori (ang. a priori probability).

### Qasja 
Disa nga algoritmet më të zakonshme të përdorura në mësimin e pambikëqyrur përfshijnë: (1) Grumbullimin, (2) Zbulimin e anomalive, (3) Qasjet për të mësuar modelet e variablave latente. Çdo qasje përdor disa metoda si më poshtë:

* Metodat e grupimit (ang. clustering) përfshijnë: grupimin hierarkik (ang. hierarchial clustering),  k-means,  modelet e përzierjes (ang. mixture models), grupimin e bazuar në model (ang. model-based clustering), DBSCAN dhe algoritmin OPTICS (ang. OPTICS algorithm)
* Metodat e zbulimit të anomalive (ang. anomaly detection) përfshijnë: Faktorin Lokal të Jashtëzakonshëm (ang. Local Outlier Factor) dhe Pyllin e Izolimit (ang. Isolation Forest)
* Qasje për të mësuar modelet e variablave latente (ang. latent variable models) siç janë algoritmi i maksimizimit të pritjes (ang. Expectation-maximization algorithm EM), metoda e momenteve (ang. method of moments) dhe teknikat e ndarjes së sinjalit të verbër (ang. blind signal separaation)  (analiza e komponentëve kryesorë, analiza e komponentëve të pavarur (ang. independent component analysis), faktorizimi i matricës jo-negative (ang. non-negative matrix), dekompozimi i vlerës singulare (ang. singular value decomposition) )

### Metoda e momenteve 
Një nga qasjet statistikore për mësimin e pambikëqyrur është metoda e momenteve (ang. method of moments). Në metodën e momenteve, parametrat e panjohur (të interesit) në model lidhen me momentet e një ose më shumë variablave të rastësishme, dhe kështu, këta parametra të panjohur mund të vlerësohen duke pasur parasysh momentet. Momentet zakonisht vlerësohen nga mostrat empirikisht. Momentet bazë janë momentet e rendit të parë dhe të dytë. Për një vektor rastësor, momenti i rendit të parë është vektori mesatar (ang. mean), dhe momenti i rendit të dytë është matrica e kovariancës (ang. covariance matrix) (kur mesatarja është zero). Momentet e rendit më të lartë zakonisht përfaqësohen duke përdorur tenzorë të cilët janë përgjithësimi i matricave në rend më të lartë si vargje shumëdimensionale.

Në veçanti, metoda e momenteve tregohet të jetë efektive në mësimin e parametrave të modeleve të variablave latente (ang. latent variable models). Modelet e variablave latente janë modele statistikore ku përveç variablave të vëzhguara, ekziston edhe një grup variablash latente që nuk vëzhgohen. Një shembull shumë praktik i modeleve të variablave latente në të mësuarit makinerik është modelimi i temave (ang. topic modeling), i cili është një model statistikor për gjenerimin e fjalëve (variablat e vëzhguara) në dokument bazuar në temën (variablin latente) të dokumentit. Në modelimin e temave, fjalët në dokument gjenerohen sipas parametrave të ndryshëm statistikorë kur tema e dokumentit ndryshohet. Tregohet se metoda e momenteve (teknikat e dekompozimit të tensorit) rikuperon vazhdimisht parametrat e një klase të madhe modelesh të variablave latente nën disa supozime.

Algoritmi i maksimizimit të pritjes (ang. expectation-maximization algorithm EM) është gjithashtu një nga metodat më praktike për të mësuar modelet e variablave latente. Megjithatë, ai mund të ngecë në optimumet lokale dhe nuk është e garantuar që algoritmi do të konvergojë te parametrat e vërtetë të panjohur të modelit. Në të kundërt, për metodën e momenteve, konvergjenca globale është e garantuar në disa kushte.

## Shiko edhe 
* Mësim automatik i makinës (ang. Automated machine learning)
* Analiza e klasterit (ang. Cluster analysis)
* Grumbullimi i bazuar në model (ang. Model-based clustering)
* Zbulimi i anomalive (ang. Anomaly detection)
* Algoritmi i maksimizimit të pritjes (ang. Expectation-maximization algorithm)
* Hartë topografike gjenerative (ang. Generative topographic map)
* Meta-mësim (shkencë kompjuterike) (ang. Meta-learning (computer science))
* Analiza shumëvariabël (ang. Multivariate analysis)
* Rrjeti i funksioneve bazë radiale (ang. Radial basis function network)
* Mbikëqyrje e dobët (ang. Weak supervision)

## Referime 
## Lexime të mëtejshme 
 
* 

* 

* 

*