DavidErikMollberg/kennsluromur huggingface dataset:
Þannig að þið sjáið að ef við nýtum okkur þessar reglur að þá getum við gert ágætlega
fylki hér eða þessa ákveðu hér og meðhöndla hana með þessum reglum hér
að þá er ákveðan margfeldið af þessari röð hér einn sex tuttugu og fimm þriðju og viti menn það gefur mér auðvitað fimmtíu
sinnum ákveðan af B
Og þá alveg á sama hátt ef við erum með fjórum sinnum fylkið A ákveðan af A að þá er ég með fjórir í þriðja sinnum ákveðan af A sem var þrír Það er að segja þetta gefur mér hundrað níutíu og tveir
Hún er þá þrír
sem á ensku heitir
Ég er búin að sýna ykkur þessa aðferð án þess að segja ykkur hvaða hvað hvað hún heitir Það er að segja þegar við vorum að finna ákveðuna af þrisvar sinnum þrír fylki og brutum hana niður í tvisvar sinnum tveir fylki
a i n C i n
Ókei hvað meina ég með þessu
og svo a i nei þetta á að a einn
a einn j mínus einn
fylgiþáttafylkið út frá því
og ég fæ núll sinnum fylgiþáttafylkið nú er ég alveg að klára plássið
fylgiþáttafylkið það er þetta núll hér
En ef að fylkið á sér andhverfu þá gildir þetta hér Ef ég margfalda fylkið við andhverfu sína
Og ég ætla að taka hérna eitt dæmi
og ég ætla að margfalda það við fylki sem er hálfur mínus einn fjórði
Og ef ég margfalda saman þessi tvö fylki
hálfur og hálfur mínus einn fjórði mínus einn fjórði mínus þrír tíundu mínus þrír tíundu plús einn fjórði og plús einn fjórði hér
og þá þurfum við að sjá
sinnum ákveðan
það þýðir að ákveðan af A
áðan eða fyrr að er ákveðan núll eða er hún ekki núll Það skiptir öllu máli þegar við viljum finna andhverfu Ef andhverfan er núll er andhverfan ekki til
Gefum okkur
Þannig ef X er andhverfan við A
ef I er líka andhverfa
Og ykkur grunar kannski en en það er alveg rétt að þið þekkið aðferðina
x y z w
þannig ég er með a x plús b z er jafnt og einn
er á forminu
ákveðan af A er auðvitað bara a d mínus b c Þannig að ég er alls staðar að deila með ákveðunni af A
Og þá í rauninni höfum við það
og hin línan skiptir um formerki
Finnum andhverfuna af henni
Og ég ætla að bylta því
þá þarf ég byrja á því að finna ákveðuna og hún kemur hérna einn á móti síðan tek ég fylkið A
og þrír þrír og tveir og fjórir einn og fjórir
fyrstu línu
og svo kemur fjórum sinnum fjórir sinnum tveir er átta
plássið mjög vel
Og þá tek ég hérna C einn einn
ég tek út fyrstu línu
Og þá er ég með tek ég út fyrstu línu þriðja dálk fjórir einn og þrír og tveir
Jú
Og ég og C tveir þrír og þá fæ ég mínus
þriðja lína annar dálkur tveir og fjórir fjórir og einn
Og svo er það hérna átta
og þá er það hér C einn einn þá tek ég út fyrstu línu og fyrsta dálk
Hérna tek ég út fyrstu línu annan dálk fyrstu línu annan dálk og margfalda með mínus einn í veldinu einn plús tveir það er að segja mínus einn í þriðja veldi sem gefur mér þá mínus
Nú
Þannig að hér er ég með fylkið A hér er ég með einingarfylkið
þannig að þið fáið I hérna megin og þá er þetta A í mínus fyrsta hérna megin Og það sem þið getið þá gert er að margfalda saman þetta og þetta og þá eigið þið að fá út einingarfylkið og það stemmir
Og ég finn ekki nýjan
og setja upptökuna bara í loftið í fyrramálið
Þannig að við ætlum að finna vörpunarfylki
Við köllum það v
Og það er alltaf þannig að það sem við gerum fyrst það er aftast
Við erum bara með núll núll núll núll og einn
í tilfelli snúningsins Og svo
Þannig að þá er ég hérna með einn núll
Nú getum við margfaldað upp úr
og það sem gerist er að við fáum
og það er það sem við ræddum bara lítillega í lok síðasta tíma
svona En að lokum átti svo að
hliðrum fyrst hérna
og að lokum þá hliðrum við til baka
Þannig að það er þessi aðgerð það er sem sagt færsla um mínus fjóra á x ás
og mínus fimm á ypsilonás
Þannig að þá er það fylki sem að
lítur svona út kósínus af þrjátíu gráðum sinus af þrjátíu mínus sinus
af þrjátíu
núll
og einn
Svona
Sjá
fimm komma þrír
Pínulítið skakkt hjá mér svona
Og núna er markmiðið sem sagt að snúa um punktinn fjóra komma fimm
Ókei svo ætlum við þá að taka þetta fylki
Svo var þrír komma núll þrír sex
Það var hérna núll núll einn
Og við getum haldið inni svona skilrúmum
sem að hérna
og svo líka þrír komma núll þrír sex sinnum einn
sex fjórir
Það er sem sagt einhvers staðar hérna
Og síðasti punkturinn einn komma einn þrír fjórir
í dag og förum svo í allt aðra sálma á í næsta tíma Takk fyrir tímann
og task ið er þá hvað þú vilt læra út úr þessu gagnasafni eins og til dæmis að að spá fyrir um einhverja útkomu til dæmis kyn eða eða svik eða einkunn kannski einkunn hún tengist kannski hversu vel maður mætir í tíma og einkunnin sem maður fær úr skilaverkefnunum og svoleiðis og þá mundi já þetta ætti náttúrulega að vera p
Og svo í unsupervised learning þá erum við með sem sagt tvo flokka líka annars vegar clustering þar sem við erum að erum að sem sagt hópa gögnin okkar saman
Það gæti verið fraud það gæti verið ýmislegt annað og en við viljum nota gagnasafnið breyturnar í gagnasafninu til þess að læra einhvers konar reglur og þá notar maður það sem heitir training data til þess að byggja þetta módel og maður þarf að passa sig þegar maður er að búa til þetta módel að ekki overtrain a
En en svona í grófum dráttum þá sjáum við hér ef maður er með einhver gögn og maður plot ar þetta svona að þá er þetta einhvers konar hegðun sem að er fylgir ekki norminu
Á sama tíma þá er náttúrlega ef einhver nær að svindla út þér helling af peningum þá náttúrlega er mikill hérna skaði fyrir fyrirtækið þitt
Þannig að kannski gæti það verið grunsamlegt eða eitthvað slíkt
Annars segi ég bara góða helgi
En maður sér svona ýmislegar ýmsar upplýsingar um hérna þá þjónustu sem þeir eru að nota sér og ýmislegt
Og það sem þetta snýst um í þessum þessum marketing bransa er að reyna að halda í þessa viðskiptavini sem eru að fara að hætta
En allavegana þá erum við með þetta gagnasafn hér og svo hérna er bara svona alls konar preprocessing við erum að breyta þessum dálkum í hérna svona dummy breytur til þess að nota í classifier num okkar og eyða út hérna N As og alls konar
Og það er engin engin hérna föst regla um það nákvæmlega hversu stórt það á að vera
Og svo ef við tjá sjáum hvað þetta er stórt þá sjáið þið það að þjálfunarsafnið okkar þetta á að vera test hérna
Og þá þurfum við að búa til svona k fold object þar sem við segjum hversu mörg split við viljum við viljum tíu split
Þannig að við tökum þá þetta predicted target og true target
Og þá getum við reiknað út accuracy ið eins og við gerðum líka áðan bara með því að telja hversu oft módelið hafði rétt fyrir sér og deila með heildarfjölda mælinga í test settinu okkar og fáum út hérna núll komma átta níu sjö
Þannig að flatarmálið undir þessari gulu línu hérna er núll komma átta fimm níu
Og við byrjum á því hérna að bara búa til eitthvað random gagnasafn
Eins og hérna þetta er gagnasafn sem maður getur notað í svona classification algóriþmum
Þannig að það sem við fáum út úr þessu er gagnasafn sem er mjög óbalansað það er mikið ójafnvægi þarna af því að eins og við sögðum þeim þá vildum við að það væru þrjú prósent í öðrum og níutíu og sjö prósent í hinum
Þetta er svona gott fyrir validation í í svona þessum vísindaheimi og þegar að fólk er að reyna að búa til betri aðferðir
Já sem er þá hér
Þannig að við keyrum það kemur meira að segja error af því það er allt bara núll en þið sjáið það að accuracy ið er bara nokkuð gott níutíu og sex prósent
Sem þýðir það að þetta er ekkert voðalega gott módel af því að það finnur ekki hérna þennan minority klassa
Það finnst ekki
Ókei
Fenguð örugglega email um það fyrir helgi er það ekki
Endilega svara kennslukönnuninni
Og því hærri sem líkurnar á einhverjum atburði eru því náttúrulega öruggara er að að sá atburður muni gerast Þetta er svona leið fyrir
og við vitum nákvæmlega fyrir fram hverjar mögulegar útkomur eru
og það er sem sagt líkurnar á því að eitthvað gerist gefið að eitthvað annað gerist
líkurnar á sem sagt öðrum sinnum líkurnar á A gefið B
hlutfallið á milli líkunum á sniðmenginu og líkunum á B
og við viljum vita líkurnar á að eitthvað annað gerist þá líka gefið að eitthvað annað gerðist
Til dæmis hér
við erum með hérna að draga spil
Þannig að ég segi ykkur það ég dró spil af handahófi það er spaði Hverjar eru líkurnar á því að það sé ás Þetta myndi vera dæmi um skilyrt líkindi
eru líkurnar á sniðmenginu deilt með líkunum á spaðanum
En sem er oft mjög hjálplegt samt er að teikna myndir bara til þess að átta sig á því hvernig landið liggur
Ókei þannig að ef við erum með atburði sem eru ekki samhangandi
á því að annar hvor þeirra vinni
Svo erum með óháða atburði og það er mjög þægilegt þegar maður með óháða atburði þá getur maður sagt að líkurnar á sem sagt sniðmenginu eru þær sömu og að margfalda saman líkurnar á hvorum atburði fyrir sig
þannig að við einfaldlega leggjum saman þessar tvær líkur
draga annaðhvort ás eða spaða
og þetta eru sem sagt samhangandi atburðir af því að það er eitt spil í stokknum sem er bæði ás og spaði
við erum með einhverja breytu sem að hérna tekur gildi tekur slembin gildi Við sem sagt vitum ekki fyrir fram hvaða gildi hún tekur og við erum með annars vegar með strjálar líkinda
Þegar við erum með sem sagt
þannig að þú hefur þriðjungslíkur á því að vinna bílinn
og segir stjórnandinn við þig ókei núna
Þannig að eins og þú segir sem sagt ef við gerum gengum út frá því að hann valdi sem sagt hurð númer eitt
en þetta eru náttúrulega möguleikarnir sem eru í boði
sem sagt þessar og þetta eru líkur sem við vitum þannig að við getum bara sett hérna inn í og vitað hversu miklar líkurnar eru
við erum með eitthvað A
Og hérna er sem sagt annað
að þrjár séu bláar tvær séu hvítar og ein sé rauð finna þesar líkur
Og þá veit hann að það eru tuttugu og þrír mismunandi tuttugu og þrjár mismunandi kúlur í krukkunni
það stendur hérna að sem sagt
Þannig að eins og ég segi ég hvet ykkur til bara að rúlla í gegnum þetta
Þannig að ef þið hafið gaman af þessu endilega rúllið í gegnum það líka af því þetta er útskýrt á mjög skemmtilegan hátt og sett upp á mjög skemmtilegan hátt
um sem sagt innkomu og trúarbrögð
Sjáum það þetta sem við sáum áðan
dálkana og aðeins bara umturna þeim þannig að við förum úr þessu format i og í þetta langa format í þessu tilfelli
Já og svo ætlum við að skipta þessu líka í tvær töflur
og já artist ann lagið tímann og genre an og svo hérna
að við erum með kynið
Þannig að þið sjáið sem sagt að
og svo viljum við
það er hvort eð er alltaf það sama þannig að við getum alveg eins hent því í burtu
breytum þessu í í þetta
Þannig að ef við skoðum þetta núna
og þá fáum við út eitthvað sem lítur svona út
Ókei og svo vorum við með baby names in illinois þið munið eftir því Það voru sem sagt tvær mismunandi töflur í tveimur mismunandi skrám
búum til þennan hérna þessa hérna breytu sem heitir all files sem er með path inn á skránni og svo getur skráin heitið mismunandi sjáið hérna erum við með svona expression þar sem við getum sett inn mismunandi gildi fyrir skráarheitið og svo bara lúppum við yfir alla fælana í þessari hérna möppu
Ókei eru einhverjar spurningar um melt og pivot og svona breiðar og og hérna mjóar töflur
sem sagt einhver missing value hvort það vanti einhverstaðar eitthvað og þetta er einfaldasta kall til þess
Þannig að við sjáum hérna núna mjög skýrt og greinilega að í dálkinum low q eru tíu þúsund fimmtíu og fimm
Ókei en við getum líka impute að við getum bætt inn sem sagt þessum missing gildum í staðinn fyrir að henda þeim í burtu
eitthvað annað líka
Svona þá sjáið þið það er ekkert missing lengur
fylla na með meðaltalinu af þessum dálk og þá lítur þetta svona út
þá erum við með gagnasafn sem er innbyggt í scikit learn pakkann í Python
univariate útlögum með því að nota boxplot
já gæti maður ímyndað sér að það til dæmis þessi hér er útlagi eða þessi þarna uppi
jákvæða gildið Hvað heitir það Abs absolute value Hvað heitir það Tölugildi er það ekki Já
og svo getum við hreinlega bara
fyrir alla dálkanna hvað interquartile range ið er
og svo getum við tékkað í töflunni okkar
hvaða gildi eru með inter eða eru sem sagt útlagar samkvæmt okkar skilgreiningu á útlögum að vera ákveðið langt fyrir neðan q einn og ákveðið langt fyrir ofan q einn og svo þegar við erum búin að tékka á þessu þá bara getum við hreinlega hent þeim í burtu og þið sjáið núna að við erum með svolítið minna
Þetta er ekki rétt
þessar staðhæfingar með því að setja þær upp sem sagt á þennan hátt
Og eins og ég segi líka þá erum við alltaf að reyna að sem sagt afsanna þessa núlltilgátu
Og það er sem sagt sem gefur svona tilfinninguna fyrir því hversu örugg við erum með þessa staðhæfing staðhæfingu Þá notum við þetta sem sagt significance level sem yfirleitt kallað alfa
tölfræðivinnslu þá yfirleitt ákveður maður fyrir fram hvaða hérna significance level maður vill vera með hvort maður sé að vinna með níutíu og fimm prósent
þær fái jafn mikla sól og það sé jafnmikill mikið vatn og svona þannig að hann þarf aðeins að pæla líka í hvernig hann setur upp tilraunina sína
niðurstöðurnar passi ekki við núlltilgátuna séu níutíu og sex prósent
En en sem sagt í þessu tilfelli þá hafnar þessi maður sinni núlltilgátu
af því að hann fær út þetta níutíu og sex prósent hérna test statistic
alfað okkar
z gildi út frá úrtakinu okkar og þetta z gildi er það sem kallar test statistict
þá er sem sagt erum við með sem sagt
eitthvað úrtak úr úr þýði þar sem þýðið hefur meðaltalið mu og staðalfrávikið sigma þá getum við tekið hérna
úrtakið okkar og reiknað meðaltalið á því
en þegar við erum búin að
flett upp þessum líkum hversu mikið svæði er undir kúrfunni eða það er hægt að muna þessar þumalputtareglur hér að
Ókei og svo ef við tökum einn bíl af handahófi
eru hverjar eru líkurnar á því
og þetta er eitthvað sem við getum bara flett upp í töflum eða við getum reiknað það
ghostname ið hans eða þannig
maður notar hana þegar maður veit ekki staðalfrávik þýðisins af því oft þannig líka að þegar maður er í þessum tölfræðipælingum að
t dreifing með fáum degrees of freedom og svo aukast þær eftir því sem toppurinn eykst og svo þegar n stefnir óendanlegt þá verður þetta
hann segir ekkert um staðalfrávikið Hann bara segir þetta Þetta er meðaltalið
og sem sagt staðalfrávik úrtaksins eru þrjátíu dollarar
og það gerum við eins og áður með því að fletta upp þessu gildi
Degrees of freedom er alltaf einn
Einu minna heldur en stærð úrtaksins og við vorum með úrtakastærð níu þannig að við erum með átta gráður hér
Þar sem við reiknum út aftur þetta test statistics
og með þessum hætti þar sem þetta o og e byggir á þessari töflu sem þið sjáið hér
Og svo á sama hátt aftur þá finnum við p gildið
Þessar tvær breytur
og svo framvegis og leggjum það allt saman saman
á milli skoðunar og stjórnmálaflokks
og svo ber maður p gildið saman við significance ið sem maður er að sem sagt er búinn að ákveða fyrir fram að eigi að vera
meðaltalið með þessari jöfnu hér við erum með meðaltal úrtaksins
já hann er að gera einhverjar efnafræðitilraunir Hann er að mæla sem sagt suðumark á einhverjum vökva og hann mælir þessi hérna gildi Og h
og athugið það að svona öryggisbil þau eru líka alltaf háð sem sagt þessu significance level i hversu
af því til þess að vera hundrað prósent örugg um að talan sé í bilinu þá náttúrulega þurfum við að hafa allan allar rauntölurnar með
Meðaldreifing er náttúrulega er þessi hérna punktalína
og þá erum við með sem sagt type eitt error
Fimm mínútur
Og svo ætlum við að fara í sem sagt svona aðferðir
En ókei af hverju ætlum við að hérna sem sagt mæla módelin okkar Af hverju ætlum við að gera það
og það fer inn í einhvern machine learning algoritma hérna og það kemur eitthvað út
en vitum ekkert hérna
og er að spá fyrir um það hvort email in sem við erum að fá í inbox ið okkar séu hérna bara venjuleg email eða hvort þau séu spam
Þetta mundi vera dæmi fyrir classification
módel og í þessu gagnasafni þá eru allir annaðhvort svona grænt x eða gulur hringur
ér er annað dæmi fyrir sem sagt ef maður er með hérna regression ef þú ert að búa til módel fyrir regression sem þú vilt að falli að einhverjum svona samfelldum gögnum
en en samt sérhver punktur er ekkert mjög langt frá
módelið sem við búum til módelið sem við þjálfum úr gögnum hversu gott er það í því
en svo ef við tökum þetta módel sem við erum að búa til með því að við erum að þjálfa á
og svo tökum við módelið sem við erum búin að þjálfa og bæt sem sagt
eins og við búin að nefna er þetta notað til þess
og hinn hlutinn heitir test set og eins og nöfnin benda til þá munum við nota þjálfunar settið til þess að þjálfa módelið okkar á og svo notum við test set ið
hérna hvað hvað target ið er fyrir hverja einustu hérna mælingu
yfirleitt training safnið haft stærra annaðhvort sextíu sjötíu eða áttatíu prósent af heildarsafninu og þá er test safnið sem sagt restin þannig þú skiptir safninu í sextíu fjörutíu prósent sjötíu þrjátíu prósent eða áttatíu tuttugu prósent
Þá erum við með hérna fimm einstaklinga og þeir eru með einhverja innkomu og sumir þeirra hafa sem sagt
Og við sjáum til dæmis það að Emma hérna hún fær score ið núll komma fjörutíu og fjórir þannig að hún er
Ég vil ekkert gefa neinar concrete tölur
En þetta sem sagt felst í því að maður skiptir gagnasafninu í n hluta og oft er miðað við tíu hluta
ef við erum með gagnasafnið okkar
Núna í fyrstu ítrun þá erum við að train a hérna á fyrstu níu og testum á þessum tíunda
Og auk þess af því að við fáum svona meðaltal yfir performance inn
en en hérna ég myndi segja að sem sagt
Þannig að ef við berum saman þennan hérna dálk og þennan hérna dálk þá sjáum við það að fyrsta mælingin er núll af því að hún er minna en hálfur
í staðinn fyrir að vera með núll komma fimm þá er það núll komma sjö Þá breytist spáða target ið þá breytist spágildið
Og svo erum við með sem sagt eitt sem heitir recall sem að hérna
raunverulegra sannra gilda
hérna það sem heitir harmonic mean af precision og recall og þá sem sagt það er sem sagt tala á milli núll og eins sem að sem sagt segir manni hversu gott módelið er
En takið eftir því að sem sagt allar þessar
öll þessi gildi þau eru háð cut off inu sem ákvörðuðum
Þannig að fyrir hvert gildi af cut off inu reiknum við þessar tvær stærðir
módel sem að spáir bara randomly hvort að emailið sé spam eða ekki spam
þannig að það mundi allt sem er fyrir neðan þessa línu er mjög slæmt
Og þá gefur þessi tala svona hérna svona mat á því hversu já
og eftir því sem bæði eru hærri þá náttúrulega verður kúrfan lengra upp þarna í hægra horninu
en það sem er langmest notað er náttúrlega accuracy af því það er bara hversu oft spáir þú rétt
min squared error þar sem maður er búinn að setja þau öll í annað veldi Maður er með absolute error þar sem maður tekur tölugildið og svo framvegis
og hérna við sem sagt apply um sem sagt
Níutíu og níu Nákvæmlega þannig að ef við setjum þetta upp í confusion matrix ið okkar þá erum við með hérna
Og það er vegna þess að það hefur verið þjálfað á gagnasafni sem að er sem sagt imbalanced
þegar það er verið að þjálfa módelið þá bara dominate a þær
eitt er tíu prósent
og við ætlum að koma þessu gagnasafni á jafnvægi með því að nota þetta sem heitir under sampling
þannig að hérna ef við mundum duplicate a nokkrar af þessum hérna línum sem að eru í með target ið einn þá
hérna vægi fyrir minority klassann
mælingar
Hún er ekki bara nákvæmlega eins heldur er aðeins meira svona variation í í gildunum
skilvirk og góð aðferð til þess að balance a gagnasafn
við ykkur um dagskrána hjá okkur
Þannig að þetta átti að vera tveir fyrirlestrar En út af þessu hérna endurskipulagi þá hérna þurfum við að velja annaðhvort
við förum úps klúðraði ég einhverju Nei
Ef við förum sem sagt hingað
þannig að þið hafið öll á hreinu hérna hvenær þið eigið að vera að kynna
og á sama hátt þá er sem sagt er ykkur assign að ákveðið topic til að spyrja spurninga um
og aðeins nánar um kynningarnar að
og hversu góð dæmi þið gefið og hversu góð verkefni þið búið til
svona smá hérna já punktar fyrir þá
eða U punktur S punktur A punktur eða U S eða United States eða United States of America Allt er þetta nákvæmlega það sama en skrifað á mismunandi hátt og ef þú ætlar að bara taka þennan dálk með þessum löndum og nota sem sem sagt faktor í þinni greiningu þá muntu mun allt þetta flokkast sem mismunandi flokkur þó það sé raunverulega sami flokkurinn
Og þess vegna þarf að fara í gegnum þennan flokk og og sem sagt sjá til þess að þetta sé allt táknað á sama hátt þannig að þetta valdi ekki neinum neinum hérna misskilningi þegar maður byrjar að vinna úr gögnunum þannig að það þarf að fara í gegn og passa sig á því að allt sem er einhver týpa af þessu er það sama Já þetta getur gerst til dæmis með kyn og og ýmislegt annað Ókei og svo sem sagt
þegar maður er búinn að pæla í þessum hlutum þá þarf maður líka að pæla í því hvernig taflan manns lítur út og það snýst þá um að svona færa til gögnin þannig að þau séu já á hentugu formi fyrir analísuna og það sem sagt snýst um það kannski að vera með svona víða töflu og gera hana svona að langri töflu með því að taka dálka og búa til raðir og ýmislegt en ég ætla að sýna ykkur hérna smá myndband
sem þýðir það eins og áðan að við getum raunverulega ekki unnið með upplýsingarnar sem eru í þessum dálkaheitum og þetta er sem sagt annað dæmi um það þar sem við viljum breyta töflunni og svo er annað að við erum með sem sagt hérna NaN sem sagt ekki neitt svo erum við líka með núll þannig að það er líka misræmi á milli þess
neðra sem sagt neðri mörkin á aldursbilinu og svo efri mörkin á aldursbilinu og eins á eftir þá mun fara í gegnum Python notebook ið hvernig þetta er gert Ókei Og hérna er annað dæmi einhver sem var að mæla hvað er þetta hitastig í Mexíkó Og og hérna ókei ef þið horfið á þessa töflu hvað er svona það fyrsta sem þið takið eftir Hvað stingur svolítið í augun hér UNK Það er svolítið mikið af tómu nákvæmlega
við þurfum aðeins að taka til og í þessu tilfelli Það er raunverulega bara að loop a yfir allar mögulegar töflur í þessu tilfelli þessa tvo fæla sem við erum með og sameina gögnin og svo að færa þau aðeins til þannig að við séum með sem sagt hérna við erum með sem sagt hvar í röðinni það er hversu algengt þetta var nafnið er hversu oft það kom fyrir hvort það sé karlkyns eða kvenkyns nafn og svo árið þannig að ef við myndum scroll a niður í þessari töflu þá mundi bráðum byrja birtast hérna tvö þúsund og fimmtán í ár dálkinum
þá verða bara til tóm gildi það bara gerist og þess vegna verða NA og NaNs og bara sem sagt tómir reitir í töflunum okkar já og svo líka duplicate data eins og ég minntist á seinast held ég að aldur og fæðingarár segir nákvæmlega það sama Þetta er þær breytur sem hérna hafa nákvæmlega sömu upplýsingar að geyma
marital status Hvað mundum við segja einstaklingur eitt sé út frá þessu Hvað er líklegast að hann sé UNK Single Af hverju Ef við horfum bara á þennan eina dálk þá sjáum við það að single kemur oftast fyrir
En en það er bara svona já maður metur það bara svona fyrir hvert dæmi hvað maður hvað maður vill nota eða ef maður er með sem sagt æi fyrirgefðu Þannig að það var það sem við mundum gera hérna með með income ið til dæmis mundu þið setja þar inn annaðhvort miðgildið eða meðaltalið
mörkin Ókei og svo stundum þurfum við oft þurfum við að staðla gögnin okkar Af því að margir af þessum algoritmum sem við notum þeir hérna er ekkert voðalega glaðir þegar gögnin eru á mismunandi skölum þetta á sérstaklega við um hérna support vector machines Þær vilja að öll gögn séu á sama skala
Stundum þá líta lítur dreifing einhverrar breytu svona út En algoritmarnir þeir díla miklu betur við eitthvað sem er svona normaldreift þannig að til þess að breyta þessu í þetta þá bara tökum við logran af þessu hér
er hérna í þessum hérna notebook um sem hann
Já og þetta er kannski eitt svona mjög fundamental hérna
erum við alltaf að mæla þessar breytur eða skrá þær af því að við viljum
gott representation af öllum nemendum nei fyrirgefðu af öllum Íslendingum þá er ekkert endilega mjög gott að fara bara í HR og spyrja nemendur þar af því að nemendur í HR eru að einhverju leyti frábrugnir öllum Íslendingum
þá er ekki endilega sá þannig að sá sem er í fyrsta sæti sé helmingi betri en sá sem er í öðru sæti hann er bara betri
tuttugu stiga hiti er ekkert endilega tvöfalt heitara heldur en tíu stiga hiti
Þannig að það er það er röðun En það er ekkert absolute núll og þess vegna geturðu ekki sagt að eitthvað sé svona miklu betra en eitthvað annað
raða þeim og taka þau saman á einhvern hátt til þess að lýsa því sem þú ert með í þínu í þínu þýði eða þínu úrtaki
Í fyrsta lagi þá þurfa hérna allar líkurnar að vera stærri eða jafnt og núll Þú getur aldrei verið með neikvæðar líkur