DavidErikMollberg/kennsluromur huggingface dataset:
Þetta kannast allir við Við erum með sem sagt sniðmengi það eru atburðirnir sem gerast bæði eða sem sagt í A og B á sama tíma
sem sagt A og B Og svo erum við með sammengið þar sem annaðhvort A eða B gerist eða báðir náttúrulega Það myndi vera sammengi
Fyllimengi það er sem sagt líkurnar á því að atburðurinn gerist ekki
Og svo erum við með það sem heitir skilyrtrar líkur
Og ef tveir atburðir eru ekki óháðir
þá sem sagt eru líkurnar á sniðmenginu
Þannig að sem sagt við getum táknað líkurnar á A gefið B sem
Þannig að þið getið ímyndað ykkur hugsað þetta sem svo að hérna
við vitum að eitthvað gerðist
úr spilastokknum fimmtíu og tveimur spilum og við viljum finna líkurnar á því að spilið sé ás gefið að það sé spaði
Og við notum þessa sem sagt jöfnu til þess að reikna þetta Við vitum að líkurnar á því að fá ás eru fjórir á móti fimmtíu og tveimur og líkurnar á því að fá spaða eru hérna einn fjórði líkurnar á því að fá spaðaásinn eru náttúrulega bara einn á móti fimmtíu og tveimur af því það er bara einn spaðaás í stokknum
Og þá vitum við líka að líkurnar á því að fá ás gefið að við drógum spaða
Ókei og svo erum við með sem sagt atburði sem eru hérna
Hvað heitir það á íslensku
Það kemur Sem sagt þeir geta ekki gerst á sama tíma
Ekkert spil getur verið bæði spaði og hjarta
það er bara annaðhvort Þannig að það myndi vera dæmi um atburði sem eru ekki samhangandi
Og svo hins vegar erum við með óháða atburði eða independent events
þar sem að útkoman úr öðrum hefur ekki áhrif á útkomuna úr hinum
Og ef þeir eru sem sagt ekki samhangandi þá getum við skrifað líkurnar af af sem sagt sammenginu sem summu af af tveimur atburðum
Að ef þeir eru hérna ekki samhangandi
þá eru þeir einfaldlega svona þannig að A og B
þá er P af A eða B einfaldlega P af A plús P af B
A og þetta er B þá er P af A eða B
líkurnar á
plús líkurnar á B En svo þurfum við að draga frá sniðmengið af því að við erum búin að telja það tvisvar
En við töldum það einu sinni þegar við reiknuðum A
En þetta þekki þið náttúrulega alveg
til dæmis hér við erum með einhverja miða fyrir einhverja sýningu
einn maður kaupir tíu miða annar maður kaupir tuttugu miða og svo erum við eitthvað svona hérna happadrætti
þannig að einn miði er valinn sem vinningsmiðinn og við viljum vita líkurnar á því að hverjar sem sagt hverjar eru líkurnar á því að annaðhvort Smith eða Chris vinni þetta happadrætti
og af því að þeir eru með sem sagt sitthvort mengið af miðum þá er þetta ekki samhangandi
Þannig að við getum einfaldlega lagt saman líkurnar
Dæmi hér er við erum með spilastokk með fimmtíu og tveimur spilum og við viljum vita líkurnar á því
Og hérna sem sagt
já þetta er nú eiginlega á vitlausum stað þetta dæmi Allavegana
líkurnar á því að draga kóng eru einn á móti þrettán líkurnar á því að draga ás eru einn á móti þrettán og þetta eru ekki samhangandi atburðir Ekkert spil getur verið bæði kóngur og ás
þannig að líkurnar á því að draga annaðhvort kóng eða ás eru tveir á móti þrettán
myndin sem ég teiknaði og við erum með sem sagt
samhangandi atburði
þannig að við erum að draga frá líkurnar á sniðmenginu
Þessu tilfelli þá erum við með sem sagt líkurnar á því að hérna
Sem sagt svo erum við með líkindadreifingar þar sem að
strjálar slembistærðir og hins vegar
samfelldar slembistærðir sem að hérna geta tekið óendanlega mörg gildi bara sem sagt á einhverju bili Getur verið tala á milli núll og eins eða það getur bara verið einhver rauntala
Já sem sagt
samfelld breyta gæti verið tíminn sem það tekur að hlaupa hundrað metra og strjál slembibreyta gæti verið hérna
hver vinnur í einhverju hérna kapphlaupi
slembistærðir
þá hérna gildir þetta law of large numbers
þannig að ef við tökum nóg eða þú veist ef við endurtökum einhverja tilraun nógu oft og mælum sem sagt eitthvað gildi sem við viljum vita þá nálgast
væntigildið Þannig að ef við erum alltaf að mæla eitthvað aftur og aftur og aftur fyrir sömu tilraunina þá
hérna nálgast gildið þetta væntigildi
sem er reiknað á á þennan hátt
þar sem við leggjum einfaldlega saman gildin og líkurnar á því að gildið komi upp
Svo erum við með það sem heitir tvíkosta slembistærð þar sem við erum með sem sagt einhverja slembistærð sem getur tekið eitt af tveimur gildum annaðhvort sem sagt success eða failure
og líkurnar eru þannig að að ef líkurnar á því að þetta heppnist eru P þá eru líkurnar á því að það mistakist einn mínus P
og hérna og í svona tvíkosta
tilraun þá erum við með ákveðinn fjölda af af hérna
tilraunum kannski tíu tilraunir og í hvert skipti eru jafnmiklar líkur á að þetta heppnist og þetta heppnist ekki Þannig þið getið ímyndað ykkur til dæmis ef þið eruð í krossaprófi þar sem eru alltaf fimm möguleikar þá eru alltaf tuttugu prósent líkur á því að þið giskið á réttan kross
Þannig að ef þið eruð með tíu krossaspurningar á þessu prófi
þá myndi þetta vera mjög gott dæmi um tvíkosta líkindadreifingu
og þið eruð með ákveðinn sem sagt fastan fjölda af af hérna tilraunum
Og þá getur maður notað sem sagt
eins og þið sjáið hér Og kannist þið við Monty Hall vandamálið
Nei ókei þá skulum við spjalla aðeins um það Það er mjög skemmtilegt
Það er ímynið ykkur svona spurningaleik þar sem þú ert með þrjár
dyr þrennar þrennar dyr og hérna sem sagt
Þáttastjórnandinn hann segir þér að bak við eina hurðina er bíll en bak við hinar tvær er ekki neitt
ef þú velur einar dyr af handahófi Ókei og svo velur þú einhverjar dyr bara eitthvað númer eitt til dæmis
ætla ég að hérna opna eina af hinum dyrunum
og þegar þú ert búinn að sjá hvað er á bak við
þá máttu skipta um skoðun og velja hinar dyrnar
Þannig að þú sem sagt með þrennar dyr þú velur eina stjórnandinn opnar eina af hinum og gefur þér val um það hvort þú eigir að skipta um skoðun eða ekki
Á maður að skipta um skoðun eða á maður að halda sig við hurðina sem maður valdi upphaflega
Nákvæmlega
og stjórnandinn
opnar dyr þar sem er ekki neitt
eða sem sagt hann hann náttúrulega hann er neyddur til þess að opna dyrnar þar sem er ekki neitt
Nei fyrirgefðu hann er neyddur til að velja að opna
dyrnar þar sem bíllinn er ekki Hann myndi al
stjórnandinn myndi aldrei opna hurðina þar sem bíllinn þannig að stjórnandinn hann er skilyrtur til þess að opna
hurð þar sem er ekki bíll Ef hann myndi
jú það er það er sama sko
þannig að þið sjáið að
hérna þá myndi sem sagt ef hann skiptir þá myndi hann vinna þannig að það er betra raunverulega að skipta
af því það eru meiri líkur á því að hann
að hann vinni ef hann ef hann skiptir
Og þetta er sem sagt hægt að reikna líka með sem sagt svona skilyrtum líkum
Þannig að þið getið sem sagt já sem sagt þið eruð með
dyr eitt opna tvö dyr þrjú opna tvö og þá eru líkurnar á því að bíllinn er á bak við dyr eitt gefið að hann opnaði dyr tvö
með því að nota reglur base
sem segir okkur það að við getum sem sagt skipt þessu upp í svona hlutmengi þannig að við erum með raunverulega hérna líkurnar á einhverjum hlutatburði
Þar sem öll þessi A eru sem sagt allir mutually exclusive þannig að sem sagt
það myndi vera A og svo getum við skipt því upp í svona nokkra þetta myndi vera A eitt A tvö og A n
Þá getum við hérna
skipt líka þessum þessum hérna skilyrtu líkum upp í
svona herna hlut hlutatburði
Og sem sagt þeir nota þessa þessa reglu til þess að reikna þetta
annað dæmi um base reglu er að maður með sem sagt hausverk og illt í hálsinum er ég þá með flensu
Og við vitum út frá tölfræðinni að fólk sem er með flensu
það hérna er yfirleitt eða sem sagt í níutíu prósent tilfella er það með hausverk og illt í hálsinum
En líkurnar á því að hafa flensu eru bara fimm prósent
Og sem sagt við vitum það að tuttugu prósent af þýðinu í gefnu ári eru sem sagt sem eru með hausverk og hálsbólgu eru tuttugu prósent
Þannig að getum sem sagt skipt þessu upp í
upp svona sem sagt við erum búin að við erum í raun búin að umskrifa
umskrifa líkurnar
þannig í staðinn fyrir að vera með flue given symptoms þá erum við með symptoms given flue
Og við vitum hvert symptoms given flue er
og við vitum hvað flue er og hvað symptoms er og þess vegna getum við reiknað þetta út
En þó við hefðum ekki er vitað nákvæmlega hvað þetta er er ég með flensu gefið að ég er með þessi einkenni Við vissum það ekki en með því að umskrifa þetta svona með reglu base þá getum við reiknað þetta
Þannig að við raunverulega erum að varpa þessum yfir í þennan
og þá náttúrulega fáum við einhverja aukahluti þarna með sem við vitum líka sem betur fer
Og þess vegna getum við reiknað þetta
Og þetta er það sem er svona beisísk tölfræði snýst um Það er að er að snúa við sem sagt þessum þessum líkum á þennan hátt
Já ég ætla aðeins að byrja á notebook inu ef að ykkur sama bara til að sýna ykkur það og svo getum haldið aðeins áfram með það næst
Af því að það er nefnilega svolítið flott og það fylgir með alveg svona svolítil saga um líkindafræði hvernig hún þróaðist af því að í upphafi þegar líkindafræðin var að þróast þá voru þetta bara einhverjir tveir karlar sem voru að svona pæla eitthvað í sko líkum á hinu og þessu einhverjum svona fjárhættuspilum Þú veist ef að hérna við erum að spila þetta fjárhættu
Þú veist ef að hérna við erum að spila þetta fjárhættuspil
og og hérna þú veist
Voru að þú veist skrifast á með einhver vandamál og leysa vandamál hvor fyrir annan og svona
Þannig að þetta er mjög þetta er skemmtileg lesning sko ef þið bara farið í gegnum þetta Og og þessi maður sem að bjó þetta til
hann sem sagt er með hérna
líkindafall þar sem þú ert með atburðinn þinn og útkomurúmið
Og svo er þetta sett upp sem sagt svona að
að hérna eins og til dæmis hér með teninginn og þá er maður með sem sagt sex mögulega atburði
og þetta er eða sem sagt sex mögulegar útkomur og svo erum við með atburð sem er slétt tala
og þá reiknar hann út hérna P af þessum event og þessu hérna útkomurúmi
Og svo kemur er þetta sett fram bara sem svona fraction þannig að í staðinn fyrir að það standi núll komma fimm þá stendur bara einn tveir og þá vitið þið það að þetta á að vera einn deilt með tveimur En hann setur þetta upp svona til þess að forðast það að vera með einhver endalaus brot Það er oft ágætt að horfa á þetta sem heilar tölur
þegar maður er að svona velta þessu fyrir sér
En hérna en ég bara hvet ykkur til að fara í í gegnum þetta
hann byrjar hérna bara á einföldu sem sagt teningakasti
og svo hérna til dæmis þá er hann með
já hann sem sagt er með hérna
en líkurnar samt haldast þær sömu af því að þú ert að taka raunverulega hlutmengið af af hérna
atburðarúminu
Og svo fer hann í gegnum svona það sem svona kúlur í krukku vandamál þar sem þú ert með hérna
einhverja krukku og í þessari krukku eru kúlur sem sagt átta eru má ég sjá
Og og hérna og þá sem sagt skilgreinir hann earn ið sitt sem sagt krukkuna sína Hann býr til krukkuna með þessu cross falli hérna
Það er náttúrulega átta plús hvað var það átta plús sex plús níu Og svo hérna
getur hann fundið allar mögulegar útkomur ef þú dregur sex kúlur úr þessari krukku
Þá getur þú listað hérna allar mögulegar útkomur sem sagt
ein hvít eða þú veist ein tvær þrjár hvítar nei fyrirgefið þetta eru fimm hvítar ein blá
Og og hérna og svo er sem sagt er hann að reikna líkurnar á því til dæmis að fá sex rauðar
kúlur og þá er það fjórir á móti fjögur þúsund átta hundruð og sjö og svo framvegis
Þetta var sem sagt þetta kúluvandamál og svo er hann með spilavandamál líka hann er sem sagt að draga spil úr stokk og hann reiknar þetta allt sem sagt með þessu P falli sem að hann skilgreinir þarna í byrjuninni
Og og fer svona aðeins í gegnum nákvæmlega söguna á bak við þetta
Og hérna er hann með sem sagt M og M
hvað var það Fyrir níutíu og fimm voru engin blá M og M Í M og M i
og svo byrjuðu þeir á að hafa blá M og M og þið getið séð sem sagt að fyrir níutíu og fimm þá voru hvað þrjátíu prósent brún tuttugu prósent gul tuttugu prósent rauð tíu prósent græn og tíu prósent appelsínugul og tíu prósent tan
Og svo hérna settu þeir blátt og hættu að vera með tan
hérna og svo er einhver sem velur eitt M og M úr öðrum hvorum pokanum af handahófi og við viljum vita úr hvorum pokanum er líklegra að þetta M og M kom
Þannig að þarna er verið að simulate a þessa reikninga líka
Hérna ég get haldið aðeins áfram með það næst ef þið viljið en ég held að þetta sé komið ágætt í dag
Og svo er annað líka að hérna það er sem sagt eitthvað hérna sem heitir second part þar sem er verið að fara inn í svona paradoxes af líkindafræði
svona mótsagnir
Þannig að það er já ykkur til yndisauka
eru inni á Canvas tvö notebook
Ég ætla að fara bara í gegnum annað ég hvet ykkur til að kíkja á hitt
Það er svona annar fókus í því
en en hérna hérna er þetta sem við erum búin að vera að tala um í dag
og svo hins vegar ýmiss konar hérna skipanir til þess að díla við missing values og útlaga og og slíkt
Þannig að ef við bara byrjum hérna að keyra sem sagt
þetta sem við þurfum og þið sjáið við erum með allt þetta sama og venjulega
pandas og numpy Við erum með eitthvað sem heitir datetime sem við notum til að díla við hérna díla við dagsetningar og svo náttúrulega plottið
Og þessi gögn finnið þið líka inni á Canvas í zip skrá
Þannig að byrjum á að lesa inn hérna þessi gögn frá Pew Research Center
í hérna í glærunum
þarna erum við sem sagt með
fjölda eftir trúarbrögðum
miðað við tekjur
Þannig að við erum með dálkarnir tákna mismunandi tekjumörk
Svo sjáum við fjöldann
sem sagt tekjutölurnar hérna
Og þetta eru upplýsingar sem við mundum vilja nota
hafa meira UNK
Við viljum geta notað þessar upplýsingar á einhvern hátt
Hérna það sem eins og við nefndum áðan að við tökum töfluna okkar
við viljum halda eftir þessum religion dálki Hann á að halda sér
en við ætlum að gera eitthvað við alla hina sem sagt fyllimengið af dálkum
já og og hérna og nýi dálkurinn á að heita
Og hérna og svo er hann bara eitthvað að sort a þetta eftir trúarbrögðum
Hérna það er voðalega gott bara að stara á þetta Þetta alveg svoldið svona
smá hérna flókið stundum að þú veist fatta nokkuð hvað er að gerast en hérna sem sagt
ég fann ágætis útskýringu hérna ég skal setja þá linkinn inn á þetta á sem sagt Canvas líka
það sem er verið að tala um muninn á pivot og melt og hvernig það virkar
En basically það sem við erum að gera við erum að taka þessa hérna
Og hérna erum við með lögin vinsældalistann
Ef við lesum það inn þá lítur þetta svona út og þið sjáið þetta er svona
alveg svolítið skrýtið af því að við erum með hérna hvenær það kom inn á listann og hvenær það var hæst á listanum og svo erum með hérna sjáið þið dálkaheitin hérna
x first week x second week
svo erum við bara með fullt af einhverjum NaN þannig að þetta eru svona eitthvað eitthvað svona ekki ideal
Þannig að hérna aftur ætlum við að nota melt
Og við byrjum á að ákveða
hvaða breytur
melt fallið á að sem sagt halda og við viljum halda þessum dálkum hérna year artist inverted bla bla bla track time genre date entered og date peaked Þeir allir eigi að halda sér kjurir en restin á að varpast svona á að melt ast
Og og hérna þannig að ef við bara keyrum þetta
já og svo bætir hann líka við hérna
nei fyrirgefðu hann sem sagt bara melt ar þetta Hann heldur þessum dálkum sem eru nefndir hérna í þessu id vars
og svo melt ar hann og þá lítur hún svona út þannig að þið sjáið
að þessir dálkar sem við vildum halda þeir eru hérna allir nema allt sem var í restinni sem að var sem sagt héðan
allt sem er hér
er bara núna orðið að tveimur dálkum
það er að segja annar dálkurinn heitir week
Þetta hérna first week second week sem við sáum sem við sáum og seinasti dálkurinn hann heitir rank
þar sem að tölurnar í þessum dálkum eru núna komnar
Og svo getum náttlega tekið þetta og tekið aðeins til í þessu
af því þið sjáið að sem sagt
gildin hérna í þessum week dálki er náttúrlega svolítið ljót við getum ekki hérna
gert neitt við þetta svona þetta er svolítið skrítið
Þannig að það sem við gerum til dæmis er að nota svona regular expression
til þess að taka út bara töluna
og svo erum við aðeins að manipulate a líka dagsetninguna
Búa til hérna nýjan dálk sem heitir date og aðeins að möndla hann þannig að við fáum út eitthvað sem lítur svona út
Já ég veit ekki af hverju þetta er svona skrítið hér þetta á ekki að vera svona Þetta ætti raunverulega bara að enda hér
Skrítið jæja
Það er bara talan sjálf
Aðra sem er bara með lögunum og hin sem er síðan bara með í hvaða sæti þau voru
Þannig að við getum hérna í fyrsta lagi búið til
töfluna með bara með lögunum Hún mundi líta svona út
Þannig að við veljum bara dálkanna sem við viljum
Við droppum duplicates af því þið sjáið náttúrulega hér
að sama lagið er að koma rosalega oft fyrir
Við bara pössum það að hvert entry kemur bara fyrir einu sinni
og og hérna búum til sem sagt hérna id dálk og eitthvað
og þá mundi hin taflan sem er með hérna því sæti sem lögin eru í líta svona út þar sem við veljum þá árið
breytum við þessu hérna
Ókei og svo erum við með berkladæmið okkar sem við sáum líka í glærunum þar sem við vorum með fjölda berklasjúklinga í mismunandi löndum mismunandi árum eftir kyni og aldri og þið munið að hérna erum við líka mjög flók flókna samsetningu af kyni og aldri
í dálka heitunum
og aftur notuð við melt þannig að melt er svona frekar mikið galdra fall hér
að við viljum halda eftir country og year en við viljum breyta öllu hinu við viljum við viljum varpa því öllu
þeir heiti cases og gildin heiti sex and age
Þannig að við byrjum á að breyta þessu
Takið eftir því value name og var name Og þá lítur þetta svona út nema ennþá er náttúrulega þetta hérna þessi dálkur sex and age svolítið ómeðfærilegur þannig að við notum
regular expressions sjáið þið hérna hérna extract a eitthvað út úr honum til þess að breyta þessum hérna dálki í einn dálk sem er bara með kyni
og dálk sem er með sem sagt aldrinum
Þannig að við keyrum þetta
Nei ekki þetta Ég ætla að byrja upp á nýtt Sorry Svona og svona
Þennan ætla ég að keyra Ókei
Þá sjáið þið hérna
Við erum með lægri mörkin á aldrinum efri mörkin á aldrinum og sem sagt aldurs raunverulega bilið þannig að þessir age lower og age upper er sem sagt
temp data frame
er bara sex and age dálkurinn
úr þessum hann er bara þessi hérna dálkur
og og hlutina úr honum og búum til þá sem sagt nýja þrjá nýja dálka sem líta svona út
Og svo getum við bætt honum aftur við upprunalegu töflunna
svona Þannig að við erum aftur komin með sem sagt landið árið fjöldann og svo sem sagt kyn og aldur
Þannig núna lítur þetta út á svona einhverju formi sem er svolítið þægilegra
og þið munið líka hérna þá vorum við sem sagt árið og svo voru með mánuðinn og svo vorum dagana hérna í dálka heitunum sem er náttúrulega hálfkjánalegt en þetta getur náttúrulega bara verið að þessir sem eru að eru að safna þessum gögnum að fyrir hann er best að hafa þetta svona og þess vegna vinnur hann þetta svona En en fyrir okkur sem viljum svo vinna eitthvað upp úr þessu
þá er þetta alveg vonlaust þannig að við við förum í það að að hérna umturna þessu
Aftur notum við melt
og við viljum að halda id year month og element
en við viljum
varpa hérna þessum
Varpa restinni
Þannig að day raw sjáið þið hérna er þessi
nöfn hérna
og við erum ekki með neitt value name
sem þýðir það að við bara fáum default gildi hérna sem er bara value þannig að value name er bara value það er sem sagt í default ið
út úr þessu hérna extract a bara einn inn af því það er dagurinn við erum ekki þetta d skiptir engu máli
Þannig að við notum regular expression til að henda d inu í burtu
og við látum hérna
Sem sagt að id ið er bara sem sagt þessi Þetta er alltaf það sama Þetta var sem sagt mælitæki sem þeir notuðu eða eitthvað
Og svo það sem við erum að gera hér
nota svona lambda expression til þess að breyta þessum strengjum þetta eru strengir í
í numeric
sem sagt pd to numeric þannig að þetta er allt saman allt saman
strengir og við viljum þetta séu tölur
þá sjáið þið hérna að við erum komin með þetta er núna sem sagt
já breytist ekkert ekkert hér en við sjáum að hérna day er bara einn
í staðin fyrir að vera D einn þá er það bara einn
og svo sjáum við
já þetta er svo bara tölur hérna Við sjáum það hér
En svo að gera hér er að taka þessa þrjá dálka year month og day og búa til date Við viljum að sé bara date sem sagt að data type ið sé date þannig við getum reiknað með þeim eins og þeir séu dagar en þá getur maður sagt þú ert ein dagsetning mínus öðrum dagsetning og fengið út fjöldann á dögum milli
hentugt að vera með þetta sem date
Þannig að við skrifum hérna lítið fall sem að hérna breytir þessum tveimur dálkum í einn dálk sem heitir dagsetning
Þannig að við erum með hérna mælitækið við erum með max hibben minn hitann og gildi sem að mældist á þessum degi
Og svo þegar við erum búin að þessu þá viljum við unmelt a þetta
Og andstaðan við melt heitir pivot Í melt þá erum við að breyta töflum og gera þær langar og þegar við erum að pivot a erum við að gera þær breiðar
Þannig að það virkar svipað eða þú veist bara andstætt
Í þessu tilfelli þá viljum við halda eftir æti í beit
að við fáum út sem sagt að töfluna sem lítur svona út Við erum með mælitæki um dagsetninguna og erum með tvo dálka hérna t Max og t min þannig að í staðinn fyrir að vera með
hérna tvö mismunandi gildi alltaf hér í element
þá breytast þeir í tvo nýja dálka
Þannig að eins og ég segi þetta pivot er svona andstæð aðgerð við melt Það gerir töflurnar breiðar á meðan melt gerir töflurnar langar
og við viljum sameina þær
Skrifum hérna smá lítið fall sem að hérna extract ar árið úr úr úr hérna skráarheitinu
og finnum allar alla fæla sem hafa þetta format
sem heita eitthvað
sem sagt eru á þessu format i og í okkar möppu erum við með sem sagt tvær skrár annars vegar tvö þúsund og fjórtán og hins vegar tvö þúsund og fimmtán
og þannig að þessi for loop a finnur báðar þær skrár
sem sagt hérna concat og og hérna sem sagt og þetta þá mundi vera
byrjunin á þeirri skrá
Þetta er mjög sniðugt hérna að nota þetta hérna sem sagt eitthvað svona regular expression og svo loop a yfir allar skrár í möppunni ef þú ert með margar skrár sem eru mjög svipaðar sem
sem er mjög oft
það sem við erum að díla við þá er þetta mjög góð lausn til þess
Eins og ég segi þá er bara gott að aðeins stara á þetta til þess að átta sig á því hvernig þetta virkar
En annars þá eru nokkur orð um data preprocessing
Ég ætla að nota hérna sem sagt þetta wheat prices sem við vorum með á seinasta föstudag
observation ir og átta
breytur
Svo getum við tékkað hvort það sé einhver hérna
En þið sjáið það að UNK ef við lesum það inn þá bara fáum við út töfluna með logical gildum
góð aðferð þannig að við getum beitt öðrum aðferðum Þið sjáið til dæmis hérna Ef við erum með þetta is null aftur á hérna data frame inu okkar
svo við gerum punktur values punktur ravel punktur sum þá fáum við einfaldlega út fjöldann af missing gildum í þessari töflu
Ef við sleppum þessu values ravel og gerum bara punktur sum þá gætum við séð eftir dálkum hvað eru mörg missing gildi
tíu þúsund fimm hundruð fimmtíu og sjö missing gildi
Ókei og svo getum við ef við viljum bara sem sagt fjarlægt þessi missing gildi úr töflunni okkar
þar sem að axis stendur fyrir
hvort við eigum að gera eftir röðum eða dálkum þannig að axis jafnt og núll eru raðir axis jafnt einn eru dálkar
Og svo erum þetta how sem getur annað hvort verið any eða all
og sem sagt ef við erum með all hérna
En við vitum það að það er bara NA hjá okkur í low q þannig að það er hvergi það ástand að öll röðin er NA það er bara getur bara verið í þessum hérna dálki
Þannig að við setjum inn any í staðinn fyrir all
það þýðir bara að eitthvert af gildunum þarf að vera NA og
þá hendum við út allri röðinni
Eins ef við mundum setja hérna inn einn í staðin fyrir núll
Þá erum við að segja honum að þú átt að henda út öllum dálkum þar sem er eitthvað missing value
En ég ætla að gera þetta svona af því að ég vil ekki henda út dálkinum
og eins og ég segi það er bara eitthvað sem maður verður að ákveða í hvert skipti hvað maður ætlar að gera Ákvörðun sem maður tekur byggir bara á gagnasafninu og hvernig við ætlum að nota það
Ókei og þá sjáið þið
þegar við erum búin að henda þeim öllum í burtu þá erum við með tólf þúsund raðir eftir en við vorum með tuttugu og tvö þúsund raðir við erum búin að henda burtu
þessum hérna tíu þúsund röðum
og þá höfum við fallið sem heitir fill na sem tekur hérna argument
hvað við viljum fylla inn þannig að hérna ef við viljum fylla inn núll í staðinn fyrir það sem vantar þá myndum við setja hérna núll Við getum sett inn
til dæmis mean eða median eða hvað sem er þannig að við getum sett inn núll til dæmis
En ef við reiknum út meðaltalið á öllum dálkunum
Nei þetta er ekki það sem ég vildi gera
Já djók Sem sagt hérna