Naive Bayes sailkatzaile

Datu meatzaritzan, **Naive Bayes sailkatzailea** Bayes-en teoreman eta aldagaien arteko independentziaren hipotesian oinarritzen den sailkatzaile probabilistiko bat da. Aldagaiak independente direla suposatzeak eragiten duen sinplifikazioagatik hartzen du, hain zuzen ere, *Naive* izena.

## Sarrera 
Naive Bayes sailkatzailean suposatzen da, ezaugarriak elkarren artean independenteak direla, klase aldagaia emanda. Adibidez, fruta bat sagarra dela esan genezake gorria bada, biribila, eta gutxi gorabehera 7 cm-ko diametroa badu. Naive Bayes sailkatzailearen arabera, ezaugarri horietako bakoitzak modu independentean eragiten du sagar izateko probabilitatean. Koloreari buruzko ezaugarriak, formari buruzkoak eta diametroari buruzko informazioa ematen duten aldagaien artean Korrelaziorik ez dela existitzen suposatzen da, hortaz.

Aldagaien independentziaren hipotesiak eragiten duen sinplifikazioari esker, sailkapena egiteko behar diren parametroak estimatzeko datu kopuru txikia behar da entrenamenduan, eta hori abantaila handia da.

## Kontzeptu probabilistikoa 
Naive bayes sailkatzailea eredu probabilistiko bat da: \mathbf{x} = (x_1, \dots, x_n) bektorearen bidez adierazitako kasu berria izanik,

:p(C_k \vert x_1,\dots,x_n)\,

probabilitateak kalkulatuko ditu C klase-aldagaiaren C_k balio bakoitzerako. x_1, \dots, x_n balioek n aldagai iragarleri edo ezaugarriri buruzko informazioa ematen dute, Cren iragarpenean aldagai horiek independenteak direla suposatuz. Ereduaren formulazio horrek duen arazoa da, aldagai iragarle kopurua handia denean edo aldagaiek har ditzaketen balio kopurua handia denean, eredua probabilitateen taula batean oinarritzea bideraezina gertatzen dela. Bideragarria izan dadin, ereduaren beste formulazio bat ematen da.

Bayesen teorema erabiliz, baldintzazko probabilitatea horrela idatz daiteke:

:p(C_k \vert x_1,\dots,x_n) = \frac{p(C_k) \ p(x_1,\dots,x_n\vert C_k)}{p(x_1,\dots,x_n)}. \,

Adierazpen horretan, garrantzi handiena duen balioa zenbakitzailea da. Izan ere, izendatzaileak ez du C klase aldagaiarekiko mendekotasunik, eta beraz, konstantea da. Zenbakitzailea baterako probabilitatearen bidez adieraz daiteke:

:p(C_k, x_1, \dots, x_n)\,

Katearen erregela aplikatuz eta baldintzazko probabilitatearen definizioa behin eta berriz erabiliz, adierazpena honela berridatz daiteke:

:p(C_k, x_1, \dots, x_n)\,

::= p(C_k) \ p(x_1,\dots,x_n\vert C_k)

::= p(C_k) \ p(x_1\vert C_k) \ p(x_2,\dots,x_n\vert C_k, x_1)

::= p(C_k) \ p(x_1\vert C_k) \ p(x_2\vert C_k, F_1) \ p(x_3,\dots,x_n\vert C_k, x_1, x_2)

::= p(C_k) \ p(x_1\vert C_k) \ p(x_2\vert C_k, x_1) \ p(x_3\vert C_k, x_1, x_2) \ p(x_4,\dots,x_n\vert C_k, x_1, x_2, x_3)

eta horrela guztietarako. Orain, aldagaien arteko baldintzazko independentzia "naïve" edo sinplea hartuko da kontuan. Aintzat hartuko dugu aldagai iragarle guztiak independenteak direla beraien artean, ez dutela elkarrekiko eraginik, hau da, edozein x_i independentea izango dela beste edozein x_j-rekiko, j\neq i izanik. Beraz,

:p(x_i \vert C_k, x_j) = p(x_i \vert C_k)\,

izanik, probabilitate konposatua horrela adieraz daiteke:

:p(C_k, x_1, \dots, x_n)
= p(C_k) \ p(x_1\vert C_k) \ p(x_2\vert C_k) \ p(x_3\vert C_k) \ \cdots\,

:= p(C_k) \prod_{i=1}^n p(x_i \vert C_k).\,

Hortaz, C klase aldagaiaren baldintzazko banaketa horrela adierazita geratuko da:

:p(C_k \vert x_1,\dots,x_n) = \frac{1}{Z}  p(C_k) \prod_{i=1}^n p(x_i \vert C_k),

non Z-ren balioa aldagai iragarleen araberakoa den soilik; beraz, x_i balioak ezagunak direnean Z = p(\mathbf{x}) = p(x_1,\dots,x_n) = \sum_k p(C_k) \ p(\mathbf{x} \mid C_k) konstantea da.

## Eredu probabilistikotik sailkatzailea eraikitzea 
Aurreko atalean, Bayesen teorematik eta aldagai iragarleen independentziaren hipotesitik Naive Bayes eredu probabilistikoa garatu da.

Naive Bayes sailkatzailea eraikitzeko, eredu hori erabakitze-erregela batekin konbinatzen da. Normalean probabilitate handieneko hipotesia aukeratzen da, ingelesez *Maximum a posteriori estimation* edo *MAP* izenez ezagutzen dena. Horren arabera, Naive Bayes sailkatzaileak \hat{y} = C_k klasea esleituko dio C klase-aldagaiari, non
:\hat{y} = \underset{k \in \{1, \dots, K\}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \mid C_k).

## Probabilitateen estimazioen zuzenketa 
 p(x_i\mid C) probabilitateen estimazioak entrenamendurako datu-base batean oinarrituz egiten direnean, kontatu egiten da C klasekoak diren kasuen artean zenbatetan hartzen duen aldagai iragarleak x_i balioa, hau da,

:p(x_i \vert C) = \frac{N(x_i, C)} {N(C)},

non, N(x_i, C) den C klaseko kasuen artean zenbatek duten dagokion aldagai iragarlean x_i balioa, eta N(C) den C klasekoa den kasu kopurua.

Baina, gerta daiteke bilatutako balioa datu-basean ez aurkitzea. Hori arazo bat da, biderkatzean probabilitatearen estimazio osoa zero bihurtzen delako, hau da:
: \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \mid C_k)=0.

Arazo hori ekiditeko, ohikoa da estimazioen zuzenketa egitea. Probabilitate teorian, probabilitateen estimazioen zuzenketak egiteko Pierre-Simon Laplace matematikariak proposatutako formula erabili ohi da. Ingelesez *Rule of succession* izenez ezagutzen da, eta diotenez, Laplacek eguzkia zeruertzetik ateratzeko zegoen probabilitatearen bila ari zenean eman zuen.

Zuzenketa aplikatuta, probabilitatearen estimazioa horrela kalkulatzen da:

:p(x_i \vert C) = \frac{N(x_i, C) +1} {N(C) +m}

non,
:N(x_i, C): C klaseko kasuen artean zenbatek duten x_i balioa aldagai iragarlean
:N(C): C klaseko kasu kopurua
:m: aldagai iragarlearen balio kopurua

## Eztabaida 
Nahiz eta irismen handiko sailkatzaileak askotan oso zehatzak ez izan, Naive Bayes sailkatzailea, dituen hainbat ezaugarriri esker, praktikan oso erabilgarria gertatzen da. Aldagaiak independenteak direla suposatzeari esker, probabilitateak modu independentean estima daitezke. Horrela, ezaugarri kopurua handitzearekin batera esponentzialki haziko litzatekeen datu kopuruaren beharra arintzea lortzen da.

Naive Bayes sailkatzaileak probabilitateen estimazio zehatza itzultzen ez duen arren, aplikazio askotan hori ez da beharrezkoa gertatzen. Izan ere, Naive Bayes sailkatzailearen iragarpena MAP erabakitze-erregelaren arabera egiteko, nahikoa da \hat{y} = C_k handieneko klasea aukeratzea. Iragarpena egokia izango da eta sailkatzailea sendoa, nahiz eta probabilitatearen balio zehatza ez eman, proportzionala den balio bat baizik.

## Erreferentziak 
Artikulu honetako edukia wikipediako gaztelerazko :es:Clasificador bayesiano ingenuo artikulutik itzuli da.

## Kanpo estekak 
* With Perl Document Classification Using Naive Bayes Classifier

## Ikus, gainera 
Bayesen teorema
Datu-meatzaritza
Ikasketa automatiko