Anomalien detekzioa

Datuen analisian, **anomalien detekzioa** [balio atipikoen detekzioa ere esaten zaio (Ingelesez: *outlier detection*)] eta, batzuetan, bitxikerien detekzioa (*novelty detection*), datu gehienetatik modu esanguratsuan desbideratzen diren eta portaera normalaren nozio ongi definitu batera egokitzen ez diren elementu, gertakari edo behaketa ezohikoen identifikaziotzat hartzen da. Horrelako adibideek susmoa piztu dezakete mekanismo desberdin batek sortu dituela, edo datu-multzo horretako gainontzekoekin bat ez datozela dirudi.

Anomaliak hautemateak eremu askotan du aplikazioa, hala nola zibersegurtasunean, medikuntzan, ikusmen artifizialean, estatistikan, neurozientzian, legearen aplikazioan eta finantza-iruzurrean, batzuk bakarrik aipatzearren. Hasiera batean, anomaliak datuetatik argi eta garbi baztertzeko bilatzen ziren, analisi estatistikoa errazteko, adibidez batez bestekoa edo desbiderapen estandarra kalkulatzeko. Erregresio lineala bezalako ereduen iragarpenak hobetzeko ere ezabatzen ziren eta, duela gutxira arte, horiek ezabatzeak ikasketa automatikoko algoritmoen errendimendua hobetzen laguntzen du. Hala ere, aplikazio askotan, anomaliak berak interesgarriak dira, eta datu-multzo osoaren behaketa desiragarrienak dira, trafikotik edo balio atipiko hutsaletatik identifikatu eta bereizi behar direnak.

Anomaliak detektatzeko hiru teknika-kategoria handi daude.
* T behaketa ditugula banaketa gaussiar unibariant batetik eta O T-ko puntu bat dela. Orduan, O-ren z-puntuazioa aurrez ezarritako atalase bat baino handiagoa da eta soilik eta soilik O anomalia bada.

## Aplikazioak 
Anomalien detekzioa oso eremu ugari eta askotarikoetan aplikagarria da, eta ikaskuntza automatiko ez-gainbegiratuaren azpi-arlo garrantzitsu bat da. Horrela, aplikazioak ditu zibersegurtasunean sarrera-intrusen detekzioan (adibidez, IDSetan), iruzurren detekzioan, akatsen detekzioan, sistemaren osasun-zaintzan, sentsore-sareetako gertaeren detekzioan, ekosistemetako nahasmenduen detekzioan, ikusmen artifizialaren bidez irudietako akatsen detekzioan, diagnostiko medikoan eta legearen aplikazioan.

Anomalien detekzioa Dorothy Denningek proposatu zuen 1986an intrusio-detekzio-sistematan (IDS). IDSetarako anomalien detekzioa normalean atalaseak eta estatistikak erabiliz egiten da, baina *soft computing* bidez eta ikasketa induktiboa erabiliz ere egin daiteke. 1999an proposatutako estatistika-moten artean zeuden erabiltzaileen profilak, lan-estazioak, sareak, urruneko hostak, erabiltzaile-taldeak eta maiztasunetan, batezbestekoetan, bariantzan, kobariantzan eta desbideratze estandarretan oinarritutako programak. Anomalien detekzioaren kontrako ikuspegia, intrusio-detekzioan, erabilera desegokiaren detekzioa da.

Askotan erabiltzen da aurreprozesamenduan datu multzotik datu anomaloak kentzeko. Hori hainbat arrazoirengatik egiten da. Datuetako estatistikak, hala nola batezbestekoa eta desbideratze estandarra, zehatzagoak dira anomaliak kendu ondoren, eta datu-bistaratzea ere hobetu daiteke. Ikaskuntza gainbegiratuan, datu anomaloak kentzeak normalean zehaztasunaren igoera estatistikoki esanguratsua eragiten du. Anomaliak ere sarritan datuetan aurkitu behar diren behaketa garrantzitsuenak izaten dira, esaterako intrusioen detekzioan edo irudi medikoetan anomalien detekzioan.

## Teknika ezagunak 
Literaturan anomaliak detektatzeko teknika asko proposatu dira. Teknikarik ezagunenetako batzuk honako hauek dira:

* Estatistikak (unitate tipifikatua, Tukey-ren tarte-proba eta Grubbs-en proba)
* Dentsitatean oinarritutako teknikak (k auzorik hurbilenak, faktore gainerakor lokala, isolamendu-basoa, eta kontzeptu honen bestelako aldakuntza ugari)
* Azpiespazioan, korrelazioan eta tentsorean oinarritutako balio gainerakorren detekzioa dimentsio handiko datuetarako
* Klase bakarreko euskarri-bektore makinak (SVM)
* Sare neuronal errepikatzaileak, autokodeatzaileak (*autoencoders*), aldaera-automodulatzaileak (VAE), eta aldi laburreko memoriadun sare neuronalak (LSTM).
* Sare bayestarrak
* Markov eredu ezkutuak (HMM)
* Gutxieneko kobariantza-determinantea
* Taldekatzea: talde-analisiaren bidezko balio gainerakorren detekzioa
* Elkartze-arauen eta item multzo maizen desbideratzeak
* Logika difusoan oinarritutako balio gainerakorren detekzioa
* Talde-teknikak: *feature bagging*, puntuazioen normalizazioa eta dibertsitate-iturri desberdinak erabiltzen dituzten teknikak

Metodoen errendimendua datu-multzoaren eta parametroen araberakoa da, eta, oro har, metodoek ez dute abantaila sistematiko handirik besteekiko datu-multzo eta parametro askoren gainean alderatuta.

## Anomalien azaltzeko moduko detekzioa 
Aipatutako metodo askok anomalia-puntuazioaren aurreikuspena baino ez dute eskaintzen, eta hori erabiltzaileei azal dakieke puntua datuen dentsitate txikiko eremu batean dagoela (edo auzoen dentsitateekin alderatuta dentsitate erlatiboki txikian). Hala ere, azalgarritasunaren arloan (adimen artifiziala), erabiltzaileek azalpen-ahalmen handiagoko metodoak eskatzen dituzte. Metodo batzuek azalpen zehatzagoak eskaintzen dituzte:

* Azpiespazioko Balio Gainerakorren Gradua (*Subspace Outlier Degree*, SOD) lagin bat zein atribututan den normala identifikatzen du, eta zein atribututan desbideratzen den espero den portaeratik.
* Balio Gainerakorren Korrelazio Probabilitateak (*Correlation Outlier Probabilities*, COP) lagin batek kokapen espero batetik zenbateraino desbideratzen den adierazten duen errore-bektore bat kalkulatzen dute; hori kontrafaktual gisa interpreta daiteke: lagina normala izango litzateke kokapen horretara eramango balitz.

## Softwarea 
* ELKI Java bidezko kode irekiko datu-meatzaritza tresna-multzo bat da, anomaliak detektatzeko algoritmo ugari eta hauek azkartzeko indizeak barne hartzen dituena.
* PyOD Python bidezko kode irekiko liburutegi bat da, bereziki anomaliak detektatzeko garatua.
* Scikit-learn Python bidezko kode irekiko liburutegi bat da, anomalia ez-gainbegiratuen detekziorako algoritmo batzuk eskaintzen dituena.
* Wolfram Mathematica-k datu mota anitzetan oinarritutako anomalia ez-gainbegiratuen detekzio-funtzionalitatea eskaintzen du.

## Datu-multzoak 
* Anomalien detekziorako erreferentzia-datuen biltegia, Ludwig-Maximilians-Universität München unibertsitateak arretaz hautatutako datu-multzoekin; Mirror São Pauloko Unibertsitatean ere eskuragarri.
* ODDS – Balio gainerakorren detekziorako publikoan eskuragarri dauden datu-multzoen bilduma handia, hainbat domeinutan egiaztatutako errealitatearekin (*ground truth*).
* Unsupervised Anomaly Detection Benchmark Harvard Dataverse-n: anomalia ez-gainbegiratuen detekziorako datu-multzoak, errealitate egiaztatua dutela.
* KMASH Data Repository Research Data Australia plataforman, 12.000 datu-multzo baino gehiago biltzen dituena, guztiek egiaztatutako errealitatea dutelarik.

## Erreferentzia 

*