DavidErikMollberg/kennsluromur huggingface dataset:
Þá sem sagt sendið það bæði á á mig og Magnús
og svo er sem sagt gefið sem sagt fyrir þessa fjóra hluta
hversu vel þið þekkið efnið hversu vel þið kynnið efnið
því þið eigið líka að búa til dæmi sem að hinir nemendarnir eiga að leysa á dæmatímablöðum
Þannig þið eigið að búa til dæmi þar sem er verið að nota random forest til dæmis
Þannig að það er ekki nóg bara með því að kynna fyrir hinum hérna eitthvað eitthvað
topic þið eigið líka að búa til verkefni sem hinir eiga að leysa þannig að allir geti lært
Og svo þessir sem eru að spyrja spurninga bara
Eins og stendur hérna að við erum að leita eftir því að þið sýnið að þið þekkið efnið
og þið getið gert það á einn af þessum fjóra vegu sem stendur hér
sem sagt að leiðrétta eitthvað sem var sagt vitlaust í kynningunni til dæmis
að að útskýra eitthvað sem var minnst á í kynningunni
benda á og tala um einhvern ákveðinn hluta sem var ekki talað um í kynningunni
eitthvað svona aukalega til dæmis og hvernig er hægt að nota þessa aðferð
í raunveruleikanum eða hvernig hún er notuð í raunveruleikanum og og hérna og svo kannski einhver svona sniðug aðferð
sem hægt er að nota þegar maður er að vinna með þessa aðferð í Python Til dæmis ef maður er að tune a einhverja parametra eða eitthvað þið komið eitthvað sniðugt insight í það hvernig gott er að tune a parametra fyrir random forests eitthvað svoleiðis
eða þú veist eitthvað sem maður þarf að passa sig á þegar maður er að búa til decision tree hvað þú veist er það sem getur farið úrskeiðis þar til dæmis þannig að þetta er svona ýmislegt sem maður getur haft í huga þegar maður er að er að finna góðar spurningar og svo að lokum
fyrir lokaverkefnið þannig þið vinnið í hópum tvö til þrjú að einhverri ákveðinni topic i sem þið veljið sjálf Þá er þetta hérna hvernig við munum gefa fyrir það það er sem sagt cleaning and wrangling hvernig þið hreinsið upp gagnasafnið ykkar
Og svo snýst þetta um að maður sé sem sagt að segja einhverja sögu í þessu í þessu hérna notebook i sem þið skilið inn og er sagan sem þið segið meikar hún eitthvað sense Og svo sem sagt hvort þið séuð að nota myndræna framsetningu á
réttan og og hérna réttan hátt og á þann hátt að það sem sagt bæti framsetninguna eruð þið er ykkar myndræna framsetning að að enhance a allt allt verkefnið þannig að hafið þetta í huga líka þegar þið vinnið að lokaverkefninu Og ég bara vill hérna minna ykkur á það að byrja fyrr en síðar að þetta mun taka meiri tíma heldur en heldur en þið haldið
Ókei eru einhverjar spurningar varðandi kynningar eða verkefni eða skil Er þetta allt saman ljóst Ókei Og allir eru með á hreinu hvenær þeir eiga að spyrja spurninga Og þeir sem eru með fyrstu tvær kynningarnar eru með það á hreinu Ókei
Heyrðu ok þá ætlum við að fara að tala um það að að sem sagt hreinsa gögn og hvað snýst það um Já það er sem sagt minnst hérna á á fjóra mismunandi þætti sem sem hérna maður á að hugsa um þegar maður er að hreinsa gögn
Í fyrsta lagi að sem sagt já laga raunverulega format ið og og samræma format á mismunandi gögnum af því þegar það er verið að save a gögn og færa þau á milli mismunandi staða þá gerist það oft að það verða svona hérna inconsistencies eins og til dæmis með tíma eitthvað sem
er að er að hérna vinna með gögn í þú veist Asíu og á Íslandi þá eru náttúrulega mismunandi tíma zone þannig að kannski að að hérna samræma tímann þar með að þú veist draga einhverja klukkutíma af eða eitthvað eða hérna til dæmis líka bara með með svona fjárhæðir Fólk sem er að vinna í Bandaríkjunum fólk sem er að vinna í Evrópu er náttúrlega er að nota mismunandi hérna gjaldmiðla dollar a og evrur þannig að það þarf að samræma það líka
þannig það er svona það sem við tölum um að um að samræma þessi þessi formöt og svo það sem gerist líka mjög gjarnan að það eru gögn sem vantar það getur verið margar ástæður fyrir því af hverju gögnin vantar En við þurfum að gera eitthvað við það Það gæti bara hreinlega gerst þegar við erum að sameina mismunandi gögn úr mörgum töflum og það verða til auðir auðir reitir
eða að það bara vantar hreinlega mælingar fyrir ákveðnar ákveðnar observation ir þannig að hérna maður þarf að pæla aðeins í því hvernig er best að fylla inn þessi þessi hérna göt í gögnunum og svo sem sagt getur líka gerst náttúrlega að að það eru röng gögn í töflunni að að hérna kannski er einhver sem er skráður með aldurinn mínus hundrað eða einhver sem er skráður með aldurinn hérna
fimm þúsund Og það er náttúrulega eitthvað sem er bara getur ekki verið auðvitað og það getur þá verið vegna þess að einhver sem var að slá inn þessar tölur hann bara gerði það vitlaust og þess vegna verður til svona hérna villa í gögnunum og og þá þarf að þarf að laga það og svo líka hérna sem er mjög algengt vandamál það er það sem heitir að standardizing categories til dæmis þegar að fólk er að skrá inn lönd Bandaríkin þá geturðu skrá það inn sem u s a
Ókei hvað hérna hvað sáum við Hvað var þetta UNK Þetta er sem sagt tól sem að hérna er fyrir fólk kannski sem er ekkert voðalega gott í því að forrita eða í að nota Python þannig að þú ert með þetta svona alltaf svona visual hérna platform i þar sem þú gast
tekið raunverulega hérna einhverja töflu og komið henni á svona format sem hentar vel fyrir áframhaldandi analísu af því að gögn er best að vinna með á einhvers konar svona form Þar sem þú ert með sem sagt observations í raun og veru öll sem sagt gildin sem eru mæld sem sagt í sama hérna unit i og
variables sem eru sem sagt eða breytur sem eru þá sem sagt þessir eiginleikar sem við erum að að mæla og það er á þessu formi sem við viljum yfirleitt vera að vinna með gögn sem hann var að gera í þessu tóli var að taka þessi gögn sem voru svona frekar unstrúkteruð og og kannski erfitt að vinna með og koma þeim á einhvers konar svona form þar sem þú ert með sem sagt observations og variables eða eða features og
það er oft talað um sem sagt tvennskonar data formöt annars vegar long og hins vegar wide data formöt þar sem að svona löng gögn eru með hérna sem sagt eina observation og eina measurement í hverri röð Þar sem þetta verður þá það svona hérna Já langt niður og það er mjög gott þegar maður er að plotta einhvers konar summary og svona alls konar að svo ertu líka með eitthvað sem heitir wide data format þar sem að hver hérna mæling fyrir hverja observation er í sem sagt er í einstakri röð og það er yfirleitt format ið sem við erum að vinna með gögn
sérstaklega í svona predictive modeling að þá ertu með allar sem sagt observation irnar þínar og gildið fyrir hvern fyrir hverja hverja breytu fyrir sig og ef við skoðum þetta myndrænt Þá mundi þetta vera sem sagt langt data format það sem við erum með þið sjáið Afganistan kemur oft fyrir og svo ertu með hérna árin í næsta dálki og svo ertu með hérna key og svo ertu með gildið í lokin þannig að þetta er svona gott þegar þú ert að summerize a gögn
af því að þú ert með breyturnar raunverulega svona niður og og hérna en en observations in þau svona eru ná yfir kannski margar línur meðan á móti þegar þú ert með svona breytt format þá ertu með mælingarnar í hverri röð Þannig að nú sjáum við til dæmis að að hérna Afganistan er bara í tveimur röðum meðan að hérna þá varð það alveg í fjórum röðum og það er vegna
þess að raunverulega sem við viljum vera að mæla hér er þetta er þetta value og við viljum hafa öll value in í sér dálki Og við erum með sem sagt eitt value fyrir cases og eitt value fyrir population þannig að með því að búa til dálk sem heitir cases og dálk sem heitir population þá fáum við þetta á svona breiðara format þar sem að mældu gildin
eru sem sagt í hverri röð Þannig að til þess að ná þessu þessum já þessum gullna standard að vera eitthvað sem heitir hrein gögn þá þurfum við sem sagt að hafa þetta svona að sérhver breyta er í dálk
og inniheldur gildi og sérhver hérna observation myndar röð og hver sem sagt hvert unit myndar gögn og þetta er það sem kallast gagnasafnsfræðinni þriðja normal form þannig að ef þið munið eftir því úr gagnasafnsfræði þá er þetta það sem heitir þetta þriðja normal form Og það er sem sagt þessi þessi hérna status sem við viljum oft ná út frá gögnunum okkar
meðaltal allra sem fengu treatment b og meðaltal allra sem fengu treatment a á miklu auðveldari hátt heldur en í töflu hérna í efri töflunni og nota bene þetta náttúrulega er bara einföld dæmi um leið og þú ert kominn með tíu þúsund hundrað þúsund raðir þá náttúrlega er ekkert voðalega auðvelt að sjá skiljið þið já þetta er bara svona Þú veist af því þetta er svo lítið en um leið og við komum einhvern fjölda af af mælingum þá náttúrlega verður þetta allt mjög óyfirstíganlegt að ætla bara að horfa á þetta Þannig að er mjög gott að að kunna að sem sagt
að hérna umbreyta gögnunum Ókei og hvernig ætlum við svo að hreinsa þessi gögn Nokkur dæmi í þessu í þeirri töflu þá sjáum við erum með sem sagt einhvers konar þetta eru trúarbrögð og svo er þetta hérna innkoma miðað við trúarbrögð þannig að við sjáum það að tuttugu og sjö agnostic people eru með hérna minna en tíu þúsund dollara í laun Og ef við horfum á þessa töflu þá sjáum við að í dálkunum er
eru upplýsingar í dálkaheitunum þarna efst eru upplýsingar sem við kannski myndum vilja geta notað Og þetta er eitt dæmi um um sem sagt tilfelli þar sem að gögnin eru ekki hrein af því þegar þau eru svona þá getum við ekki notað upplýsingarnar sem er í dálka heitunum þannig að við þurfum að við þurfum að sem sagt laga það Og það er gert með því að ég geri eitthvað sem heitir
unpivot eða eða melt þar sem við tökum raunverulega dálkaheitin og búum til eigin dálk úr þeim og svo fáum við í þriðja dálkinn hérna sem sagt fjöldann Þannig að ef þið horfið á þetta þá erum við með hérna agnostic minna en tíu þúsund tuttugu og sjö Og það er það sem var í efsta reitnum þarna þannig að við erum búin að svona umbreyta töflunni þannig að hún er
það er auðveldara að skilja hana við erum búin að taka hana hún var sem sagt wide og við erum búnir að gera hana langa Og þetta getum við gert með því að nota fall í í hérna pandas sem heitir melt það sem að þið sjáið sem sagt kóðann hér að við erum með hérna töfluna okkar og við köllum þetta melt og hérna við viljum sem sagt að religion haldi sér trúin á að vera kjur þarna en við viljum
við viljum hérna taka við viljum taka þennan hérna næsta dálk annan dálkinn sem að var nei fyrirgefðu Við viljum taka sko já Sem sagt við erum með religion á að halda sér allir hinir dálkarnir eiga að breytast og verða að einum dálki Og sá dálkur á að heita income og og hérna það sem á að koma inn í röðina fyrir þetta income á að heita frequency
þannig að eftir að við erum búin að kalla á þetta falla þá mun það líta svona og við sjáum þetta í Python notebook inu á eftir hvernig þetta virkar nákvæmlega En ókei og hér er annað dæmi þar sem við erum með gögn sem eru með vandræði að við erum með sem sagt margskonar einingar í sem sagt einni einni töflu þannig að hérna erum við með sem sagt einhver lög sem voru á einhverjum hérna sem sagt topplista
í í hérna einhverjum svona billboard lista og hérna erum við bæði með sem sagt já tvær sem sagt einingar í einni töflu og það er yfirleitt dálítið slæmt að hafa það þannig að við viljum búa til tvær töflur úr þessari einu þar sem önnur heldur utan um lögin og hin heldur utan um rank in á þessum lögum
Ókei og svo erum við hérna dæmi um það að við erum með margar breytur geymdar í einum dálk þannig að þetta gagnasafn hér það segir til um það hvað voru mikið af tilfellum um berkla í einhverju ákveðnu landi
eftir sem sagt aldri og kyni og þannig að þið sjáið hérna ef þið horfið á þetta við erum með ókei Hérna eru löndin og hérna er árið
en svo erum við bara með einhverjar tölur Og ef þið horfið á dálkaheitin hérna vitið þið hvað þeir standa fyrir M ið hérna er male núll þýðir frá núll til fjórtán þannig að þetta er hérna í landinu a d árið tvö þúsund var enginn karlmaður á aldrinum núll til fjórtán ára með berkla og svo framvegis þannig að þið sjáið að það er rosalega miklar upplýsingar geymdar í hérna dálkaheitunum
hvernig það að mælingar vanti sé táknað þannig að til þess að breyta þessu þá á sama hátt notum við aftur þetta melt fall með því að melt a saman kyni og aldri inn í hérna mismunandi dálka og þannig við fáum sem sagt þrjá nýja dálka úr þessum sem við melt uðum sem að voru þá sem sagt kyn
Þannig að þetta er kannski ekki ideal format fyrir þessi gögn enda sjáum við að við erum með sem sagt þetta er sem sagt mælitæki og svo erum við með árið hérna svo erum við með mánuðinn og bara númerið á mánuðinum þetta er engin dagsetning heldur bara hérna mánuður eitt Og svo erum við með sem sagt max hitan og min hitan og já og svo er sem sagt hérna dálkarnir þeir tákna dagana þannig að við getum séð hérna tvö þúsund og tíu í febrúar annan febrúar þá var minnsta hitastig í fjórtán komma fjórar mesta hitastigið í tuttugu og sjö komma þrír
En en þetta er náttúrulega kannski ekki alveg besta í heimi Þannig að hérna er annað sem við viljum hérna laga í þessu tilfelli þá erum við með breytur sem eru geymdar bæði í röðum og dálkum En þegar við erum búin að hreinsa þetta upp þá lítur þetta svolítið betur út þá erum við með mælitækið við erum með dagsetninguna sem heila dagsetningu og svo erum við með max hitann og min hitann svo þetta lítur svolítið betur út Ókei
og svo er annað dæmi hérna þar sem við verðum með algengustu barna nöfn í Illinois annars vegar árið tvö þúsund og fjórtán og hins vegar árið tvö þúsund og fimmtán og þessi gögn eru geymd í tveimur mismunandi fælum og eina leiðin til að vita hvort árið við erum að tala um er sem sagt í heitinu á skránni Við segjum Ókei hérna Alexander hann var með frequency ið sjö hundruð og þrír en þá þurfum við að kíkja á
á hérna hvað fællinn heitir til þess að vita sem sagt hvort það var tvö þúsund og fimmtán eða tvö þúsund og fjórtán þannig að hérna í þessu tilfelli þá eru gögnin dreifð út um mismunandi fæla Og þessi mikilvæga breyta ártalið sjálft kemur bara fram í nafninu á fælnum þannig að þetta er annað dæmi þar sem
Ókei hérna í Python notebook inu er farið í gegnum sem sagt allt hérna allan kóðann á bak við þetta og ég ætla að gera það á eftir En fyrst ætla ég að tala aðeins um hérna það sem heitir data preprocessing Það er ekki nóg bara að að hérna möndla gögnin þannig að þau komi á svona ákveðið form sem ég gat dílað við heldur þurfum við líka að kíkja á
gildin í töflunni okkar til að sjá hvort það sé eitthvað óeðlilegt við þau hvort það sé eitthvað sem við þurfum að laga Þannig að af hverju þurfum við að að preprocess a þessi gögn Við þurfum kannski að finna eitthvað gott orð yfir að preprocessa einhverjar hugmyndir Undirbúa undirbúa gögnin Af hverju þurfum við að gera það Nú eins og ég er búinn að nefna þá eru gögnin full af noise i það er fullt af villum sem bara verða til við gagnaöflun til dæmis að einhver sem er að skrái inn aldur skrifar inn óvart inn negatífan aldur
eða kannski bætir óvart við einu núlli Þann að einstaklingur sem er tuttugu ára er allt í einu orðin tvö hundruð ára Og þetta eru bara náttlega mannleg mistök sem gerast enda þetta er ekki bara fólk þetta gerist líka bara í mælitækjum og alls konar þannig að þetta er svona eitthvað sem þurfum að hafa augun opin fyrir og að auki þá erum við með sem sagt svona inconsistency eins og við töluðum um með hérna USA áðan eða þá að kannski sumir setja inn núll í gæsalöppum í staðinn fyrir að hafa bara venjulegt núll eða bara autt þegar að þegar mælingin er núll
og svo kannski eða einhvers konar könnun í gangi og fólk er spurt hvað það er með í laun Þá vill það ekki gefa það upp þá og ertu bara með autt gildi í í þeim dálki Og svo þegar þú ert að sameina töflur þegar þú ert merge a töflur
þannig að við þurfum líka að hafa hérna opin augun fyrir því að vera ekki með dálka sem eru með tvöföldum upplýsingum og svo hérna vil ég hamra á því að til þess að geta byggt gott módel þarf að leggja mikla vinnu í þetta þennan undirbúning gagnanna í þetta preprocessing af því að ef við erum með gögn sem eru skítug
þá verður módelið líka bara rangt Og það er oft talað um hérna þetta garbage in garbage out ef þið setjið eitthvað sem er rusl inn í módelið ykkar þá bara fáið þið rusl út úr módelinu ykkar Þannig að hafið þetta í huga að að hérna ekki ekki gleyma þessu mikilvæga skrefi þó að það taki ógeðslega langan tíma og sé hundleiðinlegt
Ég hef alveg verið þar sko En hérna það er ekkert skemmtilegt og en samt bráðnauðsynlegt eins og taka lýsi Hérna ókei sem sagt þegar við erum að vinna með undirbúa gögnin okkar þá þurfum við byrja á því að
díla við gögn sem vantar og þá spyr maður sig af hverju vantar gögnin Getur náttúrlega bara verið að hérna bara mælingin sé ekki til staðar til dæmis ef þú vilt vita hversu mikið einhver svikari svindlaði út úr tryggingafyrirtækinu þá ef einstaklingurinn er ekki svikari þá náttúrulega er hann ekki búinn að svindla neitt og þá náttúrulega ertu bara með tómt þar
eða í einhverri könnun einhver vill ekki gefa upp launin sín þá bara vantar það og svo eins og ég sagði líka að það verða til error ar þegar þú ert að sameina gögn og þegar þú ert með missing values þá hefurðu sem sagt þrennt sem þú getur gert Þú getur bara látið þetta vera eins og það er og sagt sem svo ókei það að þetta vanti það þýðir eitthvað og þá geturðu bara búið til sem sagt nýjan hérna dálk fyrir það sagt hérna
þú veist einn dálkur sem heitir upplýsinga vantar og þá bara ertu með einn og núll þar til dæmis og þá veistu bara að ákveðnar upplýsingar vantar ókei Eða þú getur eytt út þeim röðum eða þeim dálkum þar sem vantar breytur og þá er það bara eitthvað sem maður ákveður í bara hvert skipti eins og til dæmis ef einhver er að svara könnun og hann ákveður bara að svara ekki ógeðslega mörgum spurningunum
þá kannski er sú mæling niðurstöðurnar frá þessum einstaklingi þær eru óáreiðanlegar kannski svaraði hann bara einni spurningu af tíu og þá kannski bara best að sleppa þeim alveg bara eyða honum út úr gögnunum eða þú ert með einhverja einhverja breytu sem að hérna rosalega fáir svöruðu þá mundirðu bara sleppa þeirri breytu líka bara
eyða henni út úr gagnasafninu En svo það sem er algengt að gera Er sem sagt að replace a þessi missing value en notið einhverja aðferð til þess að meta hvað ætti að koma þarna í staðinn Og það sem maður þarf að passa sig á í þessu öllu saman er að vera sem sagt samkvæmur sjálfum sér þegar maður er að díla við þessi gögn sem vantar
og gera það alltaf eins í ákveðnum gagnasafni ekki sem sagt þú veist þú ert að greina einhver gögn og svo bara skiptirðu allt í einu um skoðun um það hvernig þú vilt díla við þessi gildi þú verður að gera það eins í öllu öllu verkefninu
Hérna sjáum við til dæmis dæmi það sem ég nefndi áðan þið sjáið til dæmis hérna í línu sex hvað munduð þið gera við þennan einstakling Hann er með voða fáar upplýsingar Myndum við fylla inn gildin hans eða myndum við gera eitthvað annað við hann Eyða honum er það ekki Hann svaraði voðalega fáu En hvað með hérna í í hérna hvað eigum við að segja Í
þannig að það er líklegast að hann sé single En svo náttlega getum við alveg flokkað þetta og séð miðað við aldur hvað er algengast að vera og þá tekið aldurinn hans til greina þegar við ákveðum hvað hann á að vera en svona naive aðferðin mundi segja að að hann væri að hann væri single held ég Ókei og svo eins hérna með þennan dálk credit bureau score Þið sjáið það eru bara þrír sem eru með eitthvað þar
Þannig að ef við ætlum að fara að fylla inn hérna með því að nota meðaltalið eða eitthvað þá sjáum við það að allir þessir einstaklingar mundu hafa sama gildi sem þýðir það að þessi dálkur myndi ekki vera neitt voðalega hérna voðalega góður hann mundi ekki vera neitt voðalega representative þannig að þetta kannski bara dálkur sem væri ágætt ágætt að eyða alveg út
Ókei þannig að þegar við erum að replace a þessi þessi hérna gildi sem vantar Þá höfum við nokkrar nokkrar hérna leiðir Þegar við erum með sem sagt samfelldar breytur þá er mjög algengt að setja inn annaðhvort meðaltalið eða miðgildið það er betra að nota miðgildi ef maður er með mikið af sem sagt outlier um
Af því að það er samfelld breyta En svo erum við með categorical breytur og þá mundum við bara setja inn eins og við gerðum hérna áðan algengasta gildið Einhverjar spurningar Nei Ókei svo erum við fyrirgefðu Svo erum við outlier a og það eru sem sagt svona mælingar sem eru
já mjög fjarlægar hinum mælingunum er einhvers konar einhvern hátt öðruvísi og og hérna stundum þá náttlega erum við að reyna að finna svoleiðis hérna mælingar þar er kannski markmiðið okkar eins og til dæmis í svindli þegar við töluðum um þarna seinast að við viljum finna þessar
mælingar sem eru extreme og öðruvísi en oft þá valda þessar mælingar bara skekkju í módelunum okkar Og þess vegna viljum við finna þær og gera eitthvað við þær Við viljum einhvern veginn henda þeim út eða laga þær til eða eitthvað og og hérna dæmi um sem sagt útlaga
er til dæmis mælingar sem eru alveg alveg réttar eins og til dæmis í fyrirtæki þar sem allir eru bara forritarar og eru með hérna hvað fimm hundruð þúsund á mánuði segjum að við séum með tíu þannig og svo um einn hérna einn sem sagt yfir mann sem er með eina og hálfa milljón þá er hann miðað við alla þessa forritara hann er náttúrlega útlagi af því að hann er með miklu miklu hærri laun En þetta er samt alveg mæling sem að er í lagi
Hún er ekkert hún er ekki ólögleg hún bara bara er svona af því að hann er með hærri laun heldur en allir hinir Og þá hérna sem sagt getur maður dílað við það einhvern veginn eða maður getur verið með mælingar sem eru bara ómögulegar eins og til dæmis negatífan aldur eða of háan aldur eða neikvæða þyngd eða þú veist einhver maður er sex metrar á hæð eitthvað svoleiðis það mundi vera sem sagt invalid
mæling En til þess að sjá þessa útlaga þá er oft gott að nota sem sagt myndræna framsetningu annars vegar með einni breytu og hins vegar með fleiri en einum breytum eins og ég ætla að sýna ykkur hérna á næstu glæru En en fyrst kannski með útlaganna að alveg eins og með gögnin sem vantar
þá getur maður annaðhvort sem sagt eytt þeim út eða dílað einhvern veginn við það bara fer eftir því hérna í hvert skipti hvað hentar best maður þarf bara að meta það í hvert sinn En hérna sjáum við hvernig við getum reynt að finna útlaga Hérna erum við með í sem sagt multivariate setting þar sem við erum með tvær breytur annars vegar innkomu og hins vegar aldur og þið sjáið til dæmis hérna að sem sagt það er einhver hérna sem er
hvað sextíu og fjögurra ára og hann er með fjögur hundruð þúsund Þetta gæti verið litið á sem útlagi og eins þarna þessi efsti sem er með hvað tuttugu og tveggja og hvað er þetta fjórar milljónir Það gæti hérna verið kannski eitthvað óeðlilegt þar í gangi En þessir útlagar hér maður hefði aldrei séð þá ef maður hefði bara skoðað innkomuna eða bara skoðað aldurinn
Af því að aldurinn er ekkert óeðlilegur og innkoman er ekkert óeðlileg En saman þetta kannski óeðlilegt þannig að í þessu tilfelli þá þurftum við að skoða þessar tvær breytur saman til þess að taka eftir þessum útlögum og svo hérna hins vegar til þess að finna þessa univariate útlaga bara með einni breytu aldri hérna Þá getum við gert svona histogram til dæmis og þá sjáum við að einn hérna á bilinu núll til fimm
þá notar maður eitthvað sem heitir truncation og þá erum við með nokkrar mismunandi aðferðir sem sagt við erum truncation með héna z score um og með IQR og svo getur maður notað meira advanced aðferðir líka en ég ætla að tala um tvær af þessum aðferðum annars vegar með z score um sem við töluðum um seinasta föstudag sem okkur til um það hversu
þá tökum við breytuna og bara færum hana inn að þessum mörkum Já þannig að maður býr til svona efri og neðri mörk sem allt þarf að vera inn fyrir og þetta er í notebook inu líka sem ég ætla að fara í gegnum og svo erum við með outlier detection með hérna IQR eða interquartile range sem byggir á
svona svona boxplottum Svona boxplott eru gjarnan notuð til þess að skoða dreifingu gagna Þannig við reiknum fimm gildi út úr gögnunum okkar Við erum með miðgildið við erum með fyrsta og þriðja quartile minimum og maxinum maximum og þá getum við
teiknað upp þessa hérna mynd þannig að þessi lína hér er miðgildið sem sagt fyrir neðan þetta er helmingurinn af gögnunum og fyrir ofan það er hinn helmingurinn Þessi lína hér er Q einn er sem sagt fyrsta quartile þannig að fyrir neðan það eru tuttugu og fimm prósent og hinn sama hátt þá er þessi hérna lína Q þrír þannig að fyrir ofan það er tuttugu og fimm prósent og svo er þetta bil hérna