DavidErikMollberg/kennsluromur huggingface dataset:
Þannig að ef við erum til dæmis með með eins og hérna stendur með kyn og hversu hérna empathetic fólk er
þá getum við séð hvort það sé einhver fylgni á milli þessara tveggja breyta Það er kannski oft að sagt að konur hafi svona meira empathy heldur en menn og þetta var sem sagt þetta próf sem maður getur notað til þess að prófa þessa staðhæfingu
Key squared dreifingin eða key kvaðrat hún lítur svona út Hún er líka byggð á mismunandi
sem sagt degrees of freedom Hérna sjáið þið nokkrar sem sagt variation ir fyrir mismunandi degrees of freedoms en hún sem sagt er ekki svona
symmetrísk eins og bæði t og normaldreifingin
Hún er hérna svona já feit hérna á einum stað svo er hún með hala í aðra áttina en ekki í báðar áttir sem sagt bara tekur bara jákvæð gildi
Og key kvaðrat sem sagt test statistic ið er reiknað svona
Ég skal fara aðeins á næstu glæru til að útskýra þetta
Í þessu tilfelli þá erum við sem sagt með fimm hundruð einstaklinga í Bandaríkjunum valdir af handahófi
og þeir eru spurðir út í sitt álit á einhvers konar hérna já svona tax reform bill
og svo sjáið þið niðurstöðurnar
að demókratar þeir eru hérna
mikið hlynntir þessum breytingum
Það eru sem sagt einhverjir sem er alveg sama og ekkert voðalega margir sem eru á móti á meðan repúblikanar þeir eru akkúrat öfugir Það eru færri sem eru samþykkir þessu heldur en eru sem sagt mótfallnir þessu
Þannig ef við horfum bara á þessa töflu
þá getum sem sagt við gert okkur í hugarlund að það sé munur á skoðunum fólks
í þessum tveimur flokkum
Að vera hlynntur alveg sama og á móti
þar sem að hérna þessir grænu eru republicans og þessir rauðu eru demókratarnir
og þið sjáið bara ef þið horfið á þessa mynd að það eru svona eiginlega alveg merki um það að að það sé sem sagt
fylgni á milli þessara tveggja breyta skoðunarinnar og stjórnmálaflokksins
Þannig að o er það sem er observed þar sem við mælum á meðan expected er það sem við mundum búast við
með því að finna sem sagt gildi úr úr töflunni þar sem að degrees of freedom er r mínus einn sinnum c mínus einn þar sem r stendur fyrir rows og sé stundum fyrir columns þannig að hversu margar raðir í töflunni erum við með og hversu marga dálka í töflunni erum við með
Þannig að í þessu tilfelli
við getum sem sagt UNK sleppi ég að spá í þessu totals því við erum bara búin að reikna út heildarfjöldann ef við spáum bara í sem sagt
Þá sjáum við það að við erum með tvær raðir og þrjá dálka
Þannig að hvað mundum við vera með margar degrees of freedom í þessu tilfelli ef það er n mínus einn sinnum c mínus einn
R mínus einn er einn og c mínus einn er
Af því við erum með þrjá dálka
Og í þessu dæmi þá mundi þetta vera sem sagt núlltilgátan okkar
party og view sem sagt hvaða stjórnmálaflokki þú fylg fylgir og hvaða skoðun þú hefur
Núlltilgátan er sú að þessar tvær breytur séu óháðar sem sagt ef önnur hún fylgir ekki hinni
og ef að h núll er raunverulega rétt ef að hún stenst þá mundu við búast við því að niðurstöðurnar væru þessar hér
ekki satt
þær eru saman innan þessara tveggja flokka
Dreifingin er sú sama
En það sem við mældum þegar við fórum og spurðum fólk var þetta hérna
Þannig að þið sjáið alveg að það er greinilegur munur
á því sem maður myndi búast við og því sem við mældum Og þetta er í raun veru það tvennt sem við erum að bera saman í þessu tilfelli
Það sem við búumst við og það sem við mældum
Er að við tökum raunverulega bara
heildargildin sem sagt hversu margir í heildina voru hérna
Tvö hundruðu áttatíu og fimm sem eru þessi tvö hundruð áttatíu og fimm sinnum tvöhundruð og tveir deilt með fimm hundruð Þannig að þetta er það sem við myndum búast við
að fá ef það væri engin fylgni á milli
og við gerum það sem sagt fyrir alla reitina
Og svo bara fyllum við inn í formúluna fyrir key kvaðrat test gildið okkar
Þannig að við tökum raunverulega en sjáið þarna fyrsta það mundi vera hundrað þrjátíu og átta sem að er þessi hundrað þrjátíu og átta hérna democrat favor
og við drögum frá
hundrað og fimmtán komma fjórtán sem að er
expected value fyrir democrat in favor
Þá fáum við út test gildið okkar og svo flettum við upp gildinu í töflu eða notum Python og hérna sjáiði hvernig við gerum þetta í Python þá erum við með þessa key tveir cdf af þessu gildi
mjög stóra tölu eða það er þessa tölu sem er mjög nálægt einum en við þurfum svo að draga einn sem sagt draga hana frá einum til þess að fá líkurnar útaf því við erum sem sagt að finna
út úr þessu kemur
núll komma núll núll einn og og hérna og við getum hafnað
núlltilgátunni og við getum sagt eins og við vorum búin að sjá út frá gögnunum að það er fylgni
hérna í í í
Jupyter eða þú veist í work notebook inu sem er á á Canvas þá er farið í gegnum það hvernig maður getur reiknað þetta líka bara í því að nota staðlaðar aðferðir í Python
En alla vegana sama hvað þið eruð að prófa þá eru þetta yfirleitt sama sama aðferðin
að maður reiknar út
test statistic út frá úrtakinu sínu Maður notar það test statistic
til að finna út p gildi p gildið er háð dreifingunni sem við erum að nota
Þannig að þetta eru þessi þrjú skref og þegar maður ber saman
test nei p gildið og significance level ið út frá því ákveður maður hvort maður hafni núlltilgátunni eða ekki
Ókei svo aðeins um öryggisbil þau eru sem sagt aðferð til þess að mæla hérna
Þannig að ímyndum okkur sem svo að við viljum vita hver meðalhraði bíla af Miklubrautinni er
og við tökum úrtak við mælum hraðann hjá hundrað bílum
og við ætlum að nota þetta sem sem sagt mælikvarða á
meðaltala meðaltal þýðisins Og þá getum við reiknað út öryggisbil fyrir þetta meðaltal sem við reiknum í úrtakinu okkar
Og þá getum við sagt þú veist að níutíu og fimm prósent viss um það að hið sanna meðaltal liggi inni í þessu bili
þannig að þetta lítur einhvern veginn svona út að við erum með sem sagt
þýði með óþekkt meðaltal En við vitum hvað staðalfrávikið er
þá reiknum við út
öryggisbil fyrir
og svo leggjum við og drögum frá sitt hvoru megin annars vegar
hérna z gildið sinnum staðalfrávikið deilt með stærð úrtaksins kvaðratrótina af því og drögum frá þannig að þið getið ímyndað ykkur það ef
ef hérna meðaltalið er hér einhvers staðar
þá erum við að leggja
við erum að taka þessa tölu sitthvoru megin við þetta meðaltal ég ætla að fá út einhvers konar bil
tilfelli þá erum við með einhvern nemanda sem er að
Og hann vill reikna öryggisbil fyrir suðumark
þessa vökva út frá gögnunum sínum og þá notar hann sem sagt þessa aðferð
Og þá fær hann út sjáið þið
bil hérna meðaltalið er hundrað og einn komma tveir svo plús mínus einn komma sex fjórir fimm sinnum núll komma fjörutíu og níu
Þannig að meðaltalið liggur þá hérna á þessu bili
örugg við erum um það að að hérna talan liggur þarna og athugið það líka
eftir því sem við erum minna örugg því
minna verður bilið
Þannig að ef við erum því öryggari sem við erum því stærra er bilið og því minna örugg sem við erum því minna getur bilið verið
Þetta er svolítið hérna flott síða sem ég bendi ykkur á að kíkja á þar sem maður sér svona á myndrænan hátt ýmiss konar
tölfræðileg atriði sem við erum búnir að tala um Þannig ef við förum til dæmis hérna í chapters og ég ætla að fara í þennan hér
ið förum í
hérna í sem sagt öryggisbila estimation þá getum við hérna til þess að meta öryggisbilin þá getum byrjað á því að velja okkur hvaða dreifingu við viljum þannig að við erum með normaldreifinguna
Ég er að sýna ykkur eitthvað já Sorry
Ég ætlaði að sýna ykkur Já hérna fyrirgefðu Ég ætla að fara bara aftur á á hérna
Já sem sagt við erum með hérna
hvar er þetta Já sem sagt normaldreifinguna og hvað viljum við stór stórt úrtak
hvað er significance level ið okkar
og þá sem sagt sjáið þið að við erum með
dreifinguna
og það kemur alltaf úrtak af stærð níu úr þessari dreifingu
Og við sjáum hversu vel þetta úrtak er að meta meðaltal dreifingarinnar
þetta mu
og þið sjáið það að stundum þá fellur öryggisbilið fyrir utan
en yfirleitt þá fellur þar fyrir innan
og við erum með þarna alpha sem er núll komma níu
Þannig að þið getið ímyndað ykkur að að hérna
sem sagt í eitt pró nei fyrirgefðu í tíu prósent tilfella þá mundi öryggisbilið falla fyrir utan
af því að þeir eru sem sagt níutíu prósent líkur á því að meðaltalið sé í úrtakinu
og þá tíu prósent líkur á því að það sé ekki í úrtakinu
Ókei þannig að ég ætla bara að stoppa þetta og
og ef við kíkjum svo aðeins áfram
Á sem sagt týpur af error þegar við erum að hafna og ekki hafna núlltilgátum þá eru sem sagt mismunandi möguleikar Það getur verið að við séum að hafna núll núlltilgátunni þegar að hérna hún er sönn Þegar við ættum ekki að hafna henni
Og svo hins vegar getur verið að við höfnum henni ekki þegar hún er röng Og þá gerum við error af týpu tvö
og hérna sem sagt erum við með
false positive hérna erum við með false negative
en svo í hinum tilfellunum þegar við erum með núlltilgátu
höfnum ekki og hún er rétt þá erum við með eitthvað sem er rétt gert og eins ef við höfnum rangri tilgátu þá er það líka rétt
Þannig að mér finnst mjög ágætt að horfa á þessa mynd þegar ég er að velta þessu fyrir mér að sem sagt hérna eru
einhverjir sem eru í sem sagt ólettuprófi og annars vegar erum við með hérna
false positive þessi karl hérna hann fékk
niðurstöðurnar úr sínu prófi að hann væri ófrískur á meðan konan hérna hinum megin
sem er komin þú veist sjö mánuði á leið
hún fór í óléttupróf og fékk niðurstöðurnar að hún væri ekki ólétt
Þannig að það mundi vera false negative
Og svona finnst mér finnst mér ágætt að ágætt að muna þetta
Ókei einhverjar spurningar
Þá skulum taka okkur taka pásu og hérna
svo tölum aðeins um machine learning þegar við komum til baka
Sem sagt hérna við ætlum í dag að tala um það hvernig maður
metur hversu góð sem sagt módelin manns eru þar sem að machine learning model sem maður er að búa til
hérna skiptir náttúrulega miklu máli að vita þú veist hvort þeir séu að gera það sem maður vill að þau geri og það gerir maður með því að sem sagt mæla performance inn hjá þeim í þeim
sem maður notar til þess að mæla þau sem sagt svona sampling aðferðir hvernig maður getur sem sagt splittað gagnasafninu sínu til þess að mæla hversu vel þau eru að spá
og svo ætlum við að tala um það hérna hvernig við mælum sem sagt einhvers konar mál eða measures sem getur notað til að mæla performance inn
Og svo ætla ég að tala aðeins líka um hérna gagnasöfn sem eru ekki balönsuð
sem sagt ekki í jafnvægi þar sem er mikill munur
á hérna fjölda fjöldans sem sagt í í target breytunni okkar
sem sagt þegar maður er að reyna að spá einhverri target breytu
Og það kemur stundum fyrir eins til dæmis þegar þú ert með fraud að það er mjög mikill imbalance í þessum þessari fraud breytu
af því það eru svo rosalega fá fraud miðað við ekki fraud
Og þá skiptir miklu máli að sem sagt að búa til jafnvægi í gagnasafninu áður en maður byrjar að spá fyrir um eitthvað
Við náttúrulega þurfum að vita hvort að hérna þau séu að gera það sem við viljum þau geri Af því við erum með einhver gögn
hvort að þetta sem kemur út sé raunverulega það sem við viljum Kannski er módelið bara að spá því að allir séu fraud eða allir séu ekki fraud Og þá náttúrulega er það kannski ekki mjög gott módel ef að módelið nær ekki að finna einstaklingana sem eru fraud eða observation irnar sem eru fraud Og þ
Og þess vegna viljum við
sem sagt já eins og ég segi komast að því hvort að hvort að þetta sé að gera það sem við erum að gera Til dæmis
þar sem við erum með hérna eitthvað módel sem er að taka email
Og þá mundi þessi classifier hérna vera kannski að að skoða þú veist hvað hérna
title ið af á emailinu er eða eða sem sagt emailið er svona ekki þeim sem eru að senda og þetta eru svona indicator ar um það hvort að emailið sé spam eða ekki
Og við náttúrulega viljum að þetta módel hér þessi classifier hérna sé að spá rétt Við viljum ekkert fá spam í inboxið okkar við viljum að allt spam ið fari í spam folder inn og við viljum líka öll venjuleg email in sem eru ekki spam fari í inboxi ið okkar
og hérna þannig að þið hafið verið að train a þennan classifier hér
Þá viljum við
train a hann þannig að þjálfa hann þannig að hann classify i rétt
venjulegu email in og spam email in
og við náttúrlega gert það með því að telja hversu mörg spam email lenda í inbox inu og hversu mörg venjuleg email lenda í spam folder inum Það mundi vera mjög hérna
já basic aðferð til að meta það hvort þessi classifier hérna sé að standa sig eða ekki hvort við þurfum kannski að bæta hann eða ekki
Og sem sagt þegar við erum að meta þessi módel okkar
þá gerir það okkur kleift að bera saman mismunandi módel til dæmis til þess að velja hvaða machine learning aðferð við viljum nota af því að sem sagt mismunandi aðferðir virka vel fyrir mismunandi tilf tilvik
Við getum líka reynt að sem sagt gera þetta til þess að bæta módelið sem við erum með það er hægt að bæta módelið á ýmsan hátt til dæmis með því að eins og ég er rebalance data gagnasafnið að bæta við breytum og svo framvegis og þá getum við byrjað með eitthvert eitt módel og svo reynt að bæta það með því að mæla hversu mikil aukningin er í
í hérna þessum performance og svo að lokum til þess að forðast það að overfitt a gögnin okkar overfitting er mjög algengt vandamál
í þessu í machine learning af því að í staðinn fyrir að módelið læri einhver mynstur í gögnunum þá bara lærir það gögnin sjálf sem það er að nota sem input
þannig að það veldur því að þegar maður gefur þú sem sagt ert að þjálfa módel á gagnasafni og módelið það bara lærir gögnin þannig að ef þú gefur þeim eitthvað nýtt gagnasafn
þá getur það ekki fundið neitt í þessu nýja gagnasafni af því að það er búið að overfitt a
eins og þið sjáið hér
markmiðið okkar hér er að búa til einhvers konar skil á milli þessara tveggja flokka
Og þið sjáið hérna á fyrstu myndinni þar sem við erum með underfitting þar sem við erum bara með beina línu á milli þeirra
Þar eru rosalega margir gulir punktar á græna svæðinu og hérna græn x á gula svæðinu
ranginr sem hann er að spá
svo í miðjunni þar sem við erum með eitthvað sem heitir að appropriate fitting þar erum við með grade sem sagt þá erum við með þessi mörk sem eru búin að aðlaga sig aðeins betur að gagnasafninu
klössun á gagnasafni en svo ertu með hérna hinum megin þar sem þú ert over fitta gögnin þín
þar erum við búin að búa til boundary sem er rosalega hérna flókið
og og svo flókið að þegar þú ætlaðir að byrja henda inn nýjum punktum
ef þú kæmir méð nýjan punkt sem væri kannski hérna gulur
Þannig að við erum búin að búa til sem sagt mörk á milli sem eru bara hreinlega of flókin
meðan hérna megin eru mörkin of einföld og við viljum fá einhvern svona gullinn meðalveg
bara alls ekkert að spá neitt voðalega vel fyrir það er ekkert að laða sig neitt voðalega vel að gögnunum hér
Af því að þið sjáið að línan hún er langt frá því að fylgja þessum punktum og
svo í miðjunni þar sem við erum með gott fit þá sjáið þið að hún svona fylgir nokkurn veginn Ókei punktarnir eru allir svolítið frá þessari línu
Þannig að error in hérna myndu ekkert vera neitt voðalega mikill
hérna lengst til hægri þar sem við erum að overfit a gögnin við erum að láta línuna fara á milli punktana alveg
þar erum við búin að hérna
overfit a
af því að þetta módel er of of specific það er of hérna miklir detail ar í því
Þannig að aftur þá viljum við fylgja hérna einhverjum gullnum meðalvegi
Og þegar við erum að tala um þetta performance þá erum við að reyna að meta hversu hérna
að spá fyrir þegar það er með ný gögn
Af því að maður er alltaf að þjálfa sem sagt módelið á einu gagnasafni og svo viljum við beita því á nýtt gagnasafn
Og það sem við þurfum að gera til þess að mæla þetta er í fyrsta lagi að sem sagt skipta gagnasafninu upp í upp í einhverja hluta og það eru nokkrar aðferðir til þess sem ég ætla að fara í núna á eftir
En hérna eru taldir upp nokkrir það er bara skipta því í tvennt og svo er hægt að skipta því í marga hluta og gera svona cross validation
og svo að lokum þá viljum við líka ákveða hvaða hvernig við viljum mæla skekkjuna eða hversu oft módelið sem sagt hefur rétt fyrir sér
Og þá erum við með mismunandi svona performance measure
sem ég mun fara líka í núna á eftir En ef við tölum eðeins meira um overfitting
þá hérna finnst mér þetta svoldið góð mynd hérna Kannski hafið þið séð hana
Hefur einhver séð svona mynd svipaða Þið sjáið það að við erum með hérna
eitthvað módel
og módelið það getur verið mjög einfalt eða það getur verið mjög flókið
og eftir því sem það er hérna
flóknara módelið og munið við erum að byrja að vera með eitthvað training gagnasafn Við erum með eitthvað gagnasafn sem við erum að þjálfa módelið á
Og við byrjum með mjög einfalt módel og þá verður sem sagt error in mjög hár en eftir því sem módelið okkar verður flóknara og lærir betur mynstrin í gagnasafninu
sem sagt þjálfunar gagnasafninu
og beitum því á eitthvað svona test gagnasafn
þá gerist þetta líka að fyrst eftir því sem að hérna módelið verður flóknara þá minnkar error in í þessu test gagnasafni en svo á einhverjum tímapunkti
í test safninu eru hérna
observation ir með einhverja eiginleika sem eru ekki fyrir hendi í þjálfunarsafninu
zf því að módelið okkar er búið að læra það hvernig punktarnir í þjálfunarsafninu líta út
og vita ekkert hvað þeir eiga gera við punkta sem þeir hafa aldrei séð áður
tengist þetta líka hvernig gagnasafnið stækkar
Ef við erum með lítið gagnasafn þá erum við oft með hérna
þá sem sagt er þjálfunarskekkjan hún eykst svona þangað til að hún nær einhverju jafnvægi eftir því sem gagnasafnið stækkar
en fyrir test safnið þá minnkar
skekkjan eftir því sem að gagnasafnið stækkar
og hérna og hérna í upphafi
þegar við erum með lítið gagnasafn þá erum við oft með mikið overfitting í gangi af því að það er svo mikill munur á þjálfunar og test
gagnasöfnunum
Við vorum búin að fara í þessa mynd um daginn um sem sagt þessa hluti af machine learning sem við ætlum að tala um hér í þessu námskeiði
við ætluðum aðallega að fókusa á munið þið supervised learning og unsupervised learning
og í dag þá ætla ég sem sagt að hérna
já fókusa á þá hluta nema hvað að unsupervised learning það er hluti af hérna einni nemendakynningu sem verður annan mars
þannig að ég ætla bara að leyfa þeim hópi sem eru að tala þar að kynna fyrir okkur
hvernig maður metur
mælir sem sagt performance unsupervised módela af því að það er hluti af þessu K means og svona
hvernig maður metur það hversu góðir cluster arnir manns eru Þannig að ég ætla ekki að neitt spoil a neitt það neitt hér
Og þið bara bíðið spenntir eftir þeim fyrirlestri
en ég ætla hins vegar að tala um supervised learning
af því að það er töluvert algengara heldur en unsupervised learning
og kannski svona meira intuitive líka og þar að auki ætlið þið sem sagt að kynna marga mismunandi algóritma fyrir unsupervised learning
þannig að það er kannski bara ágætt að við núna í dag tölum um það hvernig maður metur það hversu góðir svoleiðis algóritmar eru
En í supervised learning þá það sem við viljum gera er að læra þessar reglur á milli
input sins og output sins Output ið það sem kallast target
já annað hvort classification þar sem við erum að með hérna
við erum með endanlegt sett af einhverjum svona kategoríum sem getur verið þá fraud eða spam email eða litur eða kyn
Og hins vegar þá erum við með regression
aðferðir þar sem að target breytan er samfelld eins og til dæmis
innkoma eða aldur eða einkunn og svo framvegis
Og markmiðið í þessu er að læra sem sagt einhvers konar reglur á milli input breytanna sem getur verið alls konar getur verið hérna
aldur hæð þyngd innkoma hvað sem er og við viljum nota þessar input breytur til að spá fyrir um target ið þar sem target ið mundi þá vera fraud eða eða eitthvað annað
eða í tilfellinu þar sem við vorum með email in og við viljum nota hérna
subject line ið við viljum nota hérna email adressuna til þess að spá fyrir um það hvort að emailið sé venjulegt eða spam email Það mundi vera classification supervised learning
sem sagt application
og í þessu tilfelli þá notum við sem sagt eitthvað svona þjálfunar gagnasafn til þess að þjálfa módelið
beitum því á gögn sem við höfum ekki séð áður
og mælum hversu vel það er perform ar
og hérna og aftur til þess að hamra á því að ef við ofþjálfum módelið þá munum við vera með overfitting
og sem þýðir það að módelið mun ekki höndla það vel að sjá að sem sagt spá fyrir um target á gögnum sem það hefur ekki séð áður
við erum með sem sagt þetta mundi vera classification við erum með eitthvað training data af eplum og og möffins
og er við þjálfum eitthvað módel þarna í miðjunni
Og svo tökum við hérna
eina observation
hérna sem er sem sagt sem módelið hefur ekki séð áður og módelið veit ekki hvort þetta sé möffins eða epli
Þannig að svona mundi þetta virka gróft á litið
Og svo með sem sagt classification supervised learning þá er binary classification langalgengast
þar sem að hérna markmiðið er að skilja á milli tveggja flokka
fraud eða ekki fraud fall eða eða ekki fall spam eða ekki spam
og þá er markmiðið líka oft sem sagt að finna þennan þennan flokk sem er
já maður lítur á hann sem svona undesirable eða eða jafnvel desirable En eins og til dæmis hér þá mundirðu vilja finna þá sem eru fraud Þú mundir vilja finna það sem er spam
Það fer náttúrulega eftir því hvernig þú lítur á það en en það er oft litið á það þannig
Svo til dæmis kannski hérna með með það að finna hverjir eru að ná kúrsinum og hverjir eru ekki að ná kúrsinum
Hvað hvað veldur því að nemendur falla til dæmis Hvaða breytur eru hafa mikið spágildi fyrir það að falla
Þetta er svona hérna dæmi um þetta binary classification
og þegar við erum að þjálfa módel til þess að spá fyrir um þetta
er output ið úr módelinu annað hvort
sem sagt kategorían sem að observation ið er sem sagt er hluti af annað hvort núll eða einn þar sem að kannski núll mundi standa fyrir venjulegt email og eitt mundi standa fyrir spam
eða núll mundi standa fyrir ekki fraud og einn mundi standa fyrir fraud
þú veist að að hérna
observation in tilheyri öðrum hvorum þessum klössum Þannig að í tilfellinu hérna með fraud þá mundi það vera líkurnar á því að þessi einstaklingur sé fraud eða að líkurnar á því að þetta email sé spam
Þannig að þetta er svona tvenns konar output sem maður getur fengið út úr módelinu
og þegar við verðum að gera þetta í Python þá einfaldlega sem sagt segir maður hérna python hvort maður vilji fá sem sagt kategoríuna sjálfa eða hvort maður vilji fá líkurnar á því að vera sem sagt kategorían
Og svo um það hvernig maður sem sagt skiptir upp gögnunum til þess að búa til þetta þjálfunar og þetta test set
að komast hjá því að vera að overfit a gögnin sín og til þess að mæla hversu góð módelin eru
Það sem að í fyrsta lagi split sample er einfaldlega þannig að við tökum gagnasafnið okkar sem við erum að vinna með við bara skiptum því í tvennt í tvo hluta
og sem sagt og það heitir annar hlutinn heitir training set eða þjálfunarsett
til þess að mæla hversu gott módelið er
það þarf að vita hvort að email in séu spam eða eða ekki spam
og svo tökum við hérna sem sagt test gagnasafnið okkar
og við fjarlægjum hérna target ið
og við setjum gagnasafnið inn í módelið og módelið spáir fyrir um það hvort hvað sem sagt hvaða flokki hver mæling tilheyrir hvort sé spam eða ekki
og svo berum við saman við þessi raunverulegu gildi sem við héldum í burtu
og og hérna og þegar verið að splitta þessu svona þá er oft hérna sem sagt er
þetta er náttúrulega ekkert heilagt þú getur alveg gert sjötíu og fimm tuttugu og fimm bara eins og hentar í hvert skipti
og þetta eru oft bara svona random þá skipt bara randomly
nema hérna það sem er stundum er gert líka að það er notað svona stratification
og þér er bara verið að passa upp á það að það sé sama dreifing á báðum hérna klössunum í sem sagt training og test
söfnunum Þannig að ef við skoðum þetta á gífurlega fallegri mynd
þá erum við með hérna gögnin okkar
og við skiptum því í tvennt Við erum með train
og test og við tökum train gögnin okkar til að byggja módelið Svo tökum við módelið og beitum því á testið Og þá fáum við hérna út
einhvers konar score
sem er þá líkurnar á því að að hérna
í þessu tilfelli að vera sem sagt þetta einn sem stendur fyrir good og núll stundum fyrir bad Þetta mundi vera hérna gögn úr til dæmis svona credit scoring
þegar er verið að spá fyrir um hérna
greiðslugetu
ekki borgað aftur hérna lánin sín á meðan aðrir gerðu það þannig að þessir góðu þeir borguðu til baka meðan þessir
þessir vondu þeir default uðu af lánunum sínum
og hérna og svo beitum við þessu á sem sagt nýja gagnasafnið
sem sagt fjörutíu og fjögur prósent líkur á því að hún sé góð