Anomalien detekzioa

Datuen analisian, anomalien detekzioa [balio atipikoen detekzioa ere esaten zaio (Ingelesez: outlier detection)] eta, batzuetan, bitxikerien detekzioa (novelty detection), datu gehienetatik modu esanguratsuan desbideratzen diren eta portaera normalaren nozio ongi definitu batera egokitzen ez diren elementu, gertakari edo behaketa ezohikoen identifikaziotzat hartzen da. Horrelako adibideek susmoa piztu dezakete mekanismo desberdin batek sortu dituela, edo datu-multzo horretako gainontzekoekin bat ez datozela dirudi.

Anomaliak hautemateak eremu askotan du aplikazioa, hala nola zibersegurtasunean, medikuntzan, ikusmen artifizialean, estatistikan, neurozientzian, legearen aplikazioan eta finantza-iruzurrean, batzuk bakarrik aipatzearren. Hasiera batean, anomaliak datuetatik argi eta garbi baztertzeko bilatzen ziren, analisi estatistikoa errazteko, adibidez batez bestekoa edo desbiderapen estandarra kalkulatzeko. Erregresio lineala bezalako ereduen iragarpenak hobetzeko ere ezabatzen ziren eta, duela gutxira arte, horiek ezabatzeak ikasketa automatikoko algoritmoen errendimendua hobetzen laguntzen du. Hala ere, aplikazio askotan, anomaliak berak interesgarriak dira, eta datu-multzo osoaren behaketa desiragarrienak dira, trafikotik edo balio atipiko hutsaletatik identifikatu eta bereizi behar direnak.

Anomaliak detektatzeko hiru teknika-kategoria handi daude. Anomaliak detektatzeko teknika ikaskuntza gainbegiratuek "normal" eta "anormal" gisa etiketatutako datu-multzo bat behar dute, eta sailkatzaile baten entrenamendua eskatzen dute. Hala ere, ikuspegi hori oso gutxitan erabiltzen da anomaliak detektatzeko, etiketatutako datuen eskuragarritasun orokorragatik eta klaseen berezko izaera desorekatuagatik. Anomaliak antzemateko teknika semi-gainbegiratuen arabera, datuen zati bat etiketatuta dago. Datu normalen edo anomaloen edozein konbinazio izan daiteke, baina ohikoena da teknikek portaera normala irudikatzen duen eredu bat eraikitzea, entrenamenduko datu normalen multzo jakin batean oinarrituta, eta, hortik abiatuta, modeloak proba-instantzia bat sortzeko probabilitatea egiaztatzea. Anomaliak detektatzeko teknika ez-gainbegiratuen arabera, datuak ez daude etiketatuta. Gehien erabiltzen direnak dira, aplikazio zabalagoa eta egokiagoa dutelako.

 Definizioak 
Estatistika eta informatika komunitateetan hainbat saiakera egin dira anomalia bat definitzeko. Ohikoenak honako hauek dira:

 Balio gainerakorra beste behaketa guztietatik hainbeste urruntzen den behaketa bat da, ezen susmoa pizten baitu mekanismo desberdin batek sortu duela.
 Anomaliak datu multzoan oso gutxitan agertzen diren kasuak edo datu multzoak dira, eta haien ezaugarriak nabarmen ezberdinak dira datu gehienekin alderatuta.
 Balio gainerakorra datu multzo horren gainerakoarekin koherentea ez dirudien behaketa bat (edo behaketen azpimultzo bat) da.
 Anomalia dimentsio anitzeko ezaugarri-espazio batean beste puntu batzuetatik nahiko urrun dagoen puntu bat edo puntu multzo bat da.
 Anomaliak datuetan agertzen diren eta portaera normalaren nozio ondo definitu bati egokitzen ez zaizkion ereduak dira.
 T behaketa ditugula banaketa gaussiar unibariant batetik eta O T-ko puntu bat dela. Orduan, O-ren z-puntuazioa aurrez ezarritako atalase bat baino handiagoa da eta soilik eta soilik O anomalia bada.

 Aplikazioak 
Anomalien detekzioa oso eremu ugari eta askotarikoetan aplikagarria da, eta ikaskuntza automatiko ez-gainbegiratuaren azpi-arlo garrantzitsu bat da. Horrela, aplikazioak ditu zibersegurtasunean sarrera-intrusen detekzioan (adibidez, IDSetan), iruzurren detekzioan, akatsen detekzioan, sistemaren osasun-zaintzan, sentsore-sareetako gertaeren detekzioan, ekosistemetako nahasmenduen detekzioan, ikusmen artifizialaren bidez irudietako akatsen detekzioan, diagnostiko medikoan eta legearen aplikazioan.

Anomalien detekzioa Dorothy Denningek proposatu zuen 1986an intrusio-detekzio-sistematan (IDS). IDSetarako anomalien detekzioa normalean atalaseak eta estatistikak erabiliz egiten da, baina soft computing bidez eta ikasketa induktiboa erabiliz ere egin daiteke. 1999an proposatutako estatistika-moten artean zeuden erabiltzaileen profilak, lan-estazioak, sareak, urruneko hostak, erabiltzaile-taldeak eta maiztasunetan, batezbestekoetan, bariantzan, kobariantzan eta desbideratze estandarretan oinarritutako programak. Anomalien detekzioaren kontrako ikuspegia, intrusio-detekzioan, erabilera desegokiaren detekzioa da.

Askotan erabiltzen da aurreprozesamenduan datu multzotik datu anomaloak kentzeko. Hori hainbat arrazoirengatik egiten da. Datuetako estatistikak, hala nola batezbestekoa eta desbideratze estandarra, zehatzagoak dira anomaliak kendu ondoren, eta datu-bistaratzea ere hobetu daiteke. Ikaskuntza gainbegiratuan, datu anomaloak kentzeak normalean zehaztasunaren igoera estatistikoki esanguratsua eragiten du. Anomaliak ere sarritan datuetan aurkitu behar diren behaketa garrantzitsuenak izaten dira, esaterako intrusioen detekzioan edo irudi medikoetan anomalien detekzioan.

 Teknika ezagunak 
Literaturan anomaliak detektatzeko teknika asko proposatu dira. Teknikarik ezagunenetako batzuk honako hauek dira:

 Estatistikak (unitate tipifikatua, Tukey-ren tarte-proba eta Grubbs-en proba)
 Dentsitatean oinarritutako teknikak (k auzorik hurbilenak, faktore gainerakor lokala, isolamendu-basoa, eta kontzeptu honen bestelako aldakuntza ugari)
 Azpiespazioan, korrelazioan eta tentsorean oinarritutako balio gainerakorren detekzioa dimentsio handiko datuetarako
 Klase bakarreko euskarri-bektore makinak (SVM)
 Sare neuronal errepikatzaileak, autokodeatzaileak (autoencoders), aldaera-automodulatzaileak (VAE), eta aldi laburreko memoriadun sare neuronalak (LSTM).
 Sare bayestarrak
 Markov eredu ezkutuak (HMM)
 Gutxieneko kobariantza-determinantea
 Taldekatzea: talde-analisiaren bidezko balio gainerakorren detekzioa
 Elkartze-arauen eta item multzo maizen desbideratzeak
 Logika difusoan oinarritutako balio gainerakorren detekzioa
 Talde-teknikak: feature bagging, puntuazioen normalizazioa eta dibertsitate-iturri desberdinak erabiltzen dituzten teknikak

Metodoen errendimendua datu-multzoaren eta parametroen araberakoa da, eta, oro har, metodoek ez dute abantaila sistematiko handirik besteekiko datu-multzo eta parametro askoren gainean alderatuta.

 Anomalien azaltzeko moduko detekzioa 
Aipatutako metodo askok anomalia-puntuazioaren aurreikuspena baino ez dute eskaintzen, eta hori erabiltzaileei azal dakieke puntua datuen dentsitate txikiko eremu batean dagoela (edo auzoen dentsitateekin alderatuta dentsitate erlatiboki txikian). Hala ere, azalgarritasunaren arloan (adimen artifiziala), erabiltzaileek azalpen-ahalmen handiagoko metodoak eskatzen dituzte. Metodo batzuek azalpen zehatzagoak eskaintzen dituzte:

 Azpiespazioko Balio Gainerakorren Gradua (Subspace Outlier Degree, SOD) lagin bat zein atribututan den normala identifikatzen du, eta zein atribututan desbideratzen den espero den portaeratik.
 Balio Gainerakorren Korrelazio Probabilitateak (Correlation Outlier Probabilities, COP) lagin batek kokapen espero batetik zenbateraino desbideratzen den adierazten duen errore-bektore bat kalkulatzen dute; hori kontrafaktual gisa interpreta daiteke: lagina normala izango litzateke kokapen horretara eramango balitz.

 Softwarea 

 ELKI Java bidezko kode irekiko datu-meatzaritza tresna-multzo bat da, anomaliak detektatzeko algoritmo ugari eta hauek azkartzeko indizeak barne hartzen dituena.
 PyOD Python bidezko kode irekiko liburutegi bat da, bereziki anomaliak detektatzeko garatua.
 Scikit-learn Python bidezko kode irekiko liburutegi bat da, anomalia ez-gainbegiratuen detekziorako algoritmo batzuk eskaintzen dituena.
 Wolfram Mathematica-k datu mota anitzetan oinarritutako anomalia ez-gainbegiratuen detekzio-funtzionalitatea eskaintzen du.

 Datu-multzoak 

 Anomalien detekziorako erreferentzia-datuen biltegia, Ludwig-Maximilians-Universität München unibertsitateak arretaz hautatutako datu-multzoekin; Mirror São Pauloko Unibertsitatean ere eskuragarri.
 ODDS – Balio gainerakorren detekziorako publikoan eskuragarri dauden datu-multzoen bilduma handia, hainbat domeinutan egiaztatutako errealitatearekin (ground truth).
 Unsupervised Anomaly Detection Benchmark Harvard Dataverse-n: anomalia ez-gainbegiratuen detekziorako datu-multzoak, errealitate egiaztatua dutela.
 KMASH Data Repository Research Data Australia plataforman, 12.000 datu-multzo baino gehiago biltzen dituena, guztiek egiaztatutako errealitatea dutelarik.

 Erreferentzia