Sailkatzaile lineala

Sailkatzaile linealak ikaskuntza automatikoko eta estatistikoko ereduak dira, eta kategoriak edo etiketak esleitzen dizkiete behaketei, beren ezaugarrien konbinazio linealetan oinarrituta. Eredu horiek funtzio lineal bat zehazten dute, hiperplano bat bezala, ezaugarrien espazioan datu mota desberdinak bereizten dituena. Haien sinpletasunak, eraginkortasun konputazionalak eta interpretatzeko gaitasunak bereziki baliagarri egiten ditu sailkapen bitarreko eta multiklaseko arazoetan, bai eta erabakiak nola hartzen diren ulertzea garrantzitsua den agertokietan ere.

Sailkatzaile linealek metodo estatistiko klasikoak hartzen dituzte, hala nola erregresio lineala eta analisi diskriminatzaile lineala (LDA), baita ikaskuntza automatikoko algoritmoak ere, hala nola pertzeptroia eta euskarri bektorialeko makinak (SVM). Estatistikaren eta ikasketa automatikoaren arteko lotura zuzen horri esker, sailkatzaile linealek tresna praktiko gisa balio dute sailkatzeko eredu konplexuagoak garatzeko esparru kontzeptual gisa.

Ikaskuntza automatikoaren eremuan, gainbegiratutako ikaskuntzaren helburua objektu baten ezaugarriak erabiltzea da, zer motatakoa (edo taldetakoa) den identifikatzeko. Sailkatzaile lineal batek bere ezaugarrien konbinazio lineal baten balioan oinarritutako sailkapen-erabakia hartuz lortzen du hori. Objektu baten ezaugarriak *ezaugarri-bektore* izeneko bektore batean aurkeztu ohi dira.

## Historia 
Sailkatzaile linealak funtsezko metodoak dira estatistikan eta ikaskuntza automatikoan, funtzio linealen bidez kategorietan datuak bereizteko erabiltzen direnak. Bere sustraiak XIX. mendean daude,Carl Friedrich Gauss bezalako matematikariek gutxieneko karratuen metodoa garatu zutenean aldagaien arteko erlazio linealak doitzeko, eta Francis Galtonek kontzeptu horiek erregresio eta korrelazio azterketetan aplikatu zituenean.

1936an, Ronald A. Fisherrek azterketa diskriminatzaile lineala (LDA) egin zuen, datuak espazio lineal batean proiektatzen dituen metodo estatistikoa, klaseak ahalik eta bereizien gera daitezen, sailkatzaile lineal modernoen oinarriak ezarriz.

1950eko hamarkadan, adimen artifizialaren ikuspegiak neurozientzian inspiratutako ereduak sartu zituen. Frank Rosenblattek pertzeptroia aurkeztu zuen, klaseak linealki bereizten ikasteko gai den sailkatzaile lineala, pisuen doikuntza iteratiboko algoritmo baten bidez.

Ondoren, 1990eko hamarkadan, Vladimir Vapnik eta Alexey Chervonenkis euskarri bektorialeko makinak (SVM) garatu zituzten, sailkatzaile linealak gehieneko marjinaren kontzeptuaren bidez orokortuz eta orokortzearen berme teorikoak eskainiz ikaskuntzaren teoria estatistikotik abiatuta.

2000. urtean, Andrew Ngek  sailkatzaile diskriminatzaileak eta sortzaileak alderatu zituzten, eta erakutsi zuten erregresio logistikoa eta Gaussiako sailkatzaile lineala esparru teoriko beraren barruan azter zitezkeela, eredu linealen ulermena eta aplikagarritasuna indartuz sailkapen-arazo modernoetan.

Gaur egun, sailkatzaile linealak asko erabiltzen dira sinpletasuna, konputazio-eraginkortasuna eta interpretazio-gaitasuna direla eta. Funtsezko abiapuntua dira sailkapen bitarreko eta multiklaseko arazoetarako, eta oraindik ere eredu konplexuenen oinarria dira ikaskuntza automatikoan eta datu-zientzian.

## Definizioa 
Sailkatzailearen sarrera {\displaystyle {\vec {x}}} ezaugarri errealeko bektorea bada, irteera-emaitza hurrengoa da: {\displaystyle y=f({\vec {w}}\cdot {\vec {x}})=f\left(\sum _{j}w_{j}x_{j}\right)}

Non {\displaystyle {\vec {w}}} pisu-bektore erreala da, eta *f* bi bektoreen puntuz puntuko produktua nahi den irteera bihurtzen duen funtzioa da. {\displaystyle {\vec {w}}} pisu-bektoreak entrenamendu-lagin multzo batetik ikasten du. Askotan, *f* funtzio sinple bat da, balio guztiak atalase jakin batetik gora mapeatzen dituena lehen klasera, eta gainerakoak bigarren klasera. *f* konplexuagoak lagin bat klase jakin batekoa izateko probabilitatea eman dezake.

Bi motako arazo baterako, sailkatzaile lineal baten eragiketa bistaratu daiteke, sarrerako dimentsionaltasun handiko espazioaren zatiketa gisa, hiperplano batekin: hiperplanoaren alde bateko puntu guztiak "bai" gisa sailkatzen dira, eta gainerakoak, berriz, "ez" gisa. 

Sailkatzaile linealak sailkapenaren abiadura garrantzitsua den egoeretan erabiltzen dira, askotan sailkatzaile azkarrena izaten baita, bereziki x sakabanatua denean. Hala ere, erabaki-zuhaitzak azkarragoak izan daitezke.

Gainera, sailkatzaile linealek sarritan oso ondo funtzionatzen dute {\displaystyle {\vec {x}}}-ren dimentsio-kopurua handia denean, dokumentuen sailkapenean bezala, non {\displaystyle {\vec {x}}}-en elementu bakoitza dokumentu batean hitz baten agerpen-kopurua den. Kasu horietan, sailkatzaileak ondo erregularizatuta egon behar du.

## Eredu sortzaile vs. eredu diskriminatzaile 
Bi ikuspegi nagusi daude {\displaystyle {\vec {w}}} sailkatzaile lineal baten parametroak zehazteko. Lehen klaseko metodoak baldintza-dentsitateko funtzioak {\displaystyle P({\vec {x}}|{\rm {class}})} erabiltzen dituzte. Jarraian, horrelako algoritmoen adibideak daude:

* Azterketa dizkriminatzaile lineala (edo Fisherren diskriminatzaile lineala) (Linear Discriminant Analysis, LDA): baldintzapeko dentsitateko eredu gaussiarrak onartzen ditu.
* Bayes sailkatzaile tolesgabea: baldintzazko dentsitate binomial independenteko ereduak onartzen ditu.
Bigarren metodo-multzoak eredu diskriminatzaileak barne hartzen ditu, gaikuntza-multzo baten emaitzen gehienezko kalitatea lortzen saiatzen direnak. Gaikuntza-kostuaren funtzioaren termino gehigarriek erraz egin dezakete amaierako ereduaren erregularizazioa. Hona hemen sailkatzaile linealen entrenamendu diskriminatzailearen adibideak:

* Erregresio logistikoa: {\displaystyle {\vec {w}}}  -ren gehienezko probabilitatearen zenbatespena, behatutako entrenamendu-multzoa sailkatzailearen irteeraren araberako eredu binomial batek sortu zuela onartuta.
* Perzeptroia: entrenamendu-taldean aurkitutako akats guztiak zuzentzen saiatzen den algoritmoa.
* Euskarri-makina bektoriala (Support vector machine, SVM): gehienezko erabaki-hiperplanoaren eta entrenamendu-multzoaren adibideen arteko tartea duen algoritmoa.

## Propietateak eta errendimendua 
Sailkatzaile linealek sinpletasuna eta eraginkortasun konputazionala dute ezaugarri, eta horrek bereziki baliagarri egiten ditu datu-multzo handietan edo dimentsionaltasun handiko multzoetan. Bere egiturak emaitzak erraz interpretatzea ahalbidetzen du, ereduaren koefizienteek ezaugarri bakoitzak sailkapenean duen garrantzi erlatiboa adierazten baitute.

Hala ere, muga handiak dituzte. Linealki bereiz daitezkeen datuak bakarrik bereiz ditzakete behar bezala, eta outlier-en edo ezohiko balioen eragina jasan dezakete sarrera-ezaugarrietan.

Orokortze- eta gaindoitze-analisia (overfitting) funtsezkoa da sailkatzaile linealetan. Bere sinpletasuna gorabehera, eredu lineal bat gehiegi doitu daiteke garrantzirik gabeko ezaugarri gehiegi sartzen badira, eta horrek murriztu egiten du datu berriak behar bezala iragartzeko gaitasuna. Arazo hori arintzeko, erregularizazio-teknikak erabiltzen dira, hala nola Ridge edo Lassoren erregresioa, koefiziente handiegiak zigortzen dituztenak.

## Erabilera 
Sailkatzaile linealak hainbat arlotan aplikatzen dira, gainbegiratutako ikaskuntzaren barruan. Testua sailkatzeko erabiltzen dira maiz, sentimenduen analisia eta spam-aren detekzioa barne, baita irudi eta seinale biomedikoetan patroi errazak ezagutzeko ere.

Bioinformatikan eta medikuntzan, arriskuak aurreikusteko edo ezaugarri genetiko edo klinikoetan oinarritutako lagin biologikoak sailkatzeko erabiltzen dira. Gainera, sailkatzaile linealek eredu konplexuagoetarako oinarri gisa balio dute, hala nola euskarri bektorialeko makinak (Support vector machine) kernel ez-linealekin eta neurona-sare modernoak (Neural network), non ezaugarrien konbinazio linealaren printzipioa oraindik ere elementu zentrala den.

## LDA ez da sailkatzaile lineala 
Bere izena arren, LDA ez da taxonomia honetako eredu diskriminatzaileen motakoa. Hala ere, bere izenak zentzua du LDA dimentsionaltasun lineala murrizteko beste algoritmo nagusiarekin alderatzen dugunean: Osagai Nagusien Azterketa (Principal Components Analysis, PCA). LDA gainbegiratutako ikaskuntza-algoritmo bat da, datuen etiketak erabiltzen dituena; PCA, berriz, gainbegiratu gabeko ikaskuntza-algoritmo bat da, etiketak kontuan hartzen ez dituena. 

Laburbiltzeko, izena tresna historiko bat da. (117. orria) entrenamendu diskriminatzaileak, askotan, baldintza-dentsitateko funtzioen modelaketak baino zehaztasun handiagoa eragiten du. Hala ere, falta diren datuak erabiltzea baldintzapeko dentsitate ereduekin maiz errazagoa da.

Lehen zerrendatutako sailkatzaile linealaren algoritmo guztiak espazio desberdin {\displaystyle \varphi ({\vec {x}})} batean lan eginten dituzten algoritmo ez-linealetan bihur daitezke, kernelaren trikimailua erabiliz (kernel trick)

## Erreferentziak 
## Kanpo estekak 
# Y. Yang, X. Liu, "A re-examination of text categorization", Proc. ACM SIGIR Conference, pgs. 42-49, (1999). paper @ citeseer
# R. Herbrich, "Learning Kernel Classifiers: Theory and Algorithms," MIT Press, (2001). ISBN 0-262-08306-X