Erregresio-analisi

[thumb|[Karratu txikienen erregresio zuzena.

Lerro gorriak datu-multzoaren doikuntza optimoa adierazten du, esta puntu urdinek benetako behaketak. Helburua puntuen eta lerroen arteko distantzia bertikalen karratuen batura minimizatzea da.

]]Estatistikan, **erregresio-analisia** aldagai batek beste aldagai batekiko duen mendekotasuna adierazten duen prozedura da.  Adibidez, pertsona baten adinak bere soldatari nola eragiten dion ulertu nahi bada, erregresioa erabil daiteke bi aldagaien arteko erlazio bat aurkitzeko. Laburbilduta, erregresioa da bi aldagairen arteko harremana erakusten duen grafiko batean marrazten den lerro bat, datuen joera orokorra islatzen duena. 

Erregresio-analisiak mendeko aldagaiaren aldaketa adierazten du aldagai independentearen arabera. Bestela esanda, mendeko aldagaiaren batez besteko balioa estimatzen du aldagai independenteak finkatuta daudenean; prozesu honen helburua **erregresio funtzio** bat lortzea da. Era berean, mendeko aldagaiaren aldaketa zehaztea eta hori erregresio-funtzioarekiko nola desbideratzen den aztertzea du xede, desbideratze hori probabilitate-banaketa baten bidez deskribatuta baitago. 

Erregresio-analisia oso erabilia da aurreikuspenerako. Bere sinpletasunagatik, ikasketa automatikoaren eremuan erabiltzen den lehenengo tresna matematikoetako bat da. Erregresioa erabiltzen da, halaber ulertzeko zer lotura duten aldagai independenteek mendeko aldagaiarekin..  

Erregresioa aztertzeko modurik ohikoena erregresio lineala da, non irizpide matematiko zehatz baten arabera datuetara gehien hurbiltzen den lerroa (edo konbinazio lineal konplexuago bat) aurkitzen den.

## Historia 
Ezagutzen den erregresio linealaren lehen forma **Isaac Newton**-en lan batean ikusi zen, 1700.urtean; lan horrek ekinokzioak aztertzen zituen (hots, eguzkia ekuatorean dagoen momentua, egunaren eta gauaren iraupena berdina duena mundu osoan). Lan horri esker, erregresio linealaren hasiera egotzi zitzaion Newtoni, Tobias Mayer-ek baino 50 urte lehenago datu multzo baten batezbestekoa egiteaz gain, hondarrak batuz eta emaitza osoa zerora berdintzean, erregresioaren lerroa batez besteko puntutik pasatzera behartu baitzuen. Gainera, aurretik, batez besteko puntua lortzeko metodo bat erabili zuen 1671ko bere lanean, non Newtonen eraztunak aztertzen baitzituen; eta horrek ez zuen aurrekaririk garai hartan.

Karratu txikienen metodoa Legendre-k eta Gauss-ek argitaratu zuten 1805ean eta 1809an, hurrenez hurren. Biek metodoa aplikatu zioten Eguzkiaren inguruko gorputzen orbitak zehatzeko problemari. Geroago, 1821ean, Gaussek  karratu txikienen teoriaren garapen bat argitaratu zuen, Gauss-Markov teoremaren bertsio bat barne.

“Erregresio” terminoa Francis Galton-ek eskaini zuen XIX. mendean, fenomeno biologiko bat deskribatzeko. Fenomeno horren arabera, arbaso altuen ondorengoen altuerek batezbesteko normal batera itzultzeko joera dute ( ere esaten zaio). Galtonentzat, erregresioak esanahi biologikoa baino ez zuen, baina aurrerago Udny Yule-k eta Karl Pearson-ek testuinguru estatistiko orokorrago batera zabaldu zuten. Zabalpen horretan suposatzen da **mendeko aldagaiaren** eta **aldagai independentearen** banaketa bateratua gausiarra dela, baina R.A. Fisher-ek hipotesi hori ahuldu egin zuen 1922an eta 1925ean egindako lanekin. Fisherrek onartu zuen **mendeko aldagaiaren** baldintzazko banaketa gausiarra dela, baina ikusi zuen banaketa bateratuak ez duela zertan izan.  

1950eko eta 1960ko hamarkadetan, ekonomialariek mahai gaineko kalkulagailu elektromekanikoak erabiltzen zituzten erregresioak kalkulatzeko. Garai hartan, ez zen arraroa hogeita lau ordu behar izatea erregresio baten emaitza jakiteko. 

Gaur egun, erregresio-metodoek ikerketa-eremu aktiboa izaten jarraitzen dute. Azken hamarkadan metodo berriak garatu dira erregresio mota askotarako, erregresio sendoetatik hasi eta behaketak baino aldagai iragarle gehiago dituzten erregresioetaraino. 

Erregresio-analisi modernoa, normalean, ordenagailuetako estatistika-softwareko paketeekin eta kalkulu-orriekin egiten da, baita kalkulagailu zientifiko eta kalkulagailu grafiko eramangarrietan ere. Teknologiaren aurrerapenak asko lagundu du horien kalkulua azkarragoa eta errazagoa izaten. 

## Erregresio-analisi motak 
### Erregresio lineala: 
Estatistikan, erregresio lineala edo doikuntza lineala eredu matematiko bat da, mendeko aldagai baten (Y) eta m aldagai independenteren  (X_i) arteko mendekotasun-harremana hurbiltzeko  erabiltzen dena, \epsilon ausazko termino baten laguntzarekin (non m \in Z^{+} eta \epsilon ausazko termino bat den). Metodo hau oso erabilgarria da hainbat egoeratan, bi aldagairen edo gehiagoren arteko harremanak aztertzeko edo portaera baten aurreikuspena egiteko, baita teknologiarekin zuzenean loturarik ez duten kasuetan ere. Bestalde, azterlan batean erregresio-eredua aplikagarria ez denean, ondorioztatzen da aldagaien artean ez dagoela korrelaziorik. Erregresio linealaren eredua honela adieraz daiteke:thumb|Erregresio linealaren adibidea|ezkerrera**Y=\beta_0+\beta_1X_1+...\beta_mX_m + \epsilon**

non: 

**Y**: mendeko aldagaia den. **Aurreikusi** edo **azaldu** nahi duguna.

X_1+X_2...+X_m: aldagai independenteak. Emaitzan **eragina** duten baldintzak, gertaerak…

**\beta_1+\beta_2+...\beta_m:** ereduaren parametroak dira, eta haien bidez neurtzen da aldagai independenteek mendeko aldagaian (Y-n) duten eragina.  

Erregresio linealaren eredua  aldagai independentea (X) jarraitua den egoeretan erabiltzen da. Eredu linealak mendeko aldagaiaren (Y) eta m aldagai erregresoreren edo aldagai independenteen (X_j) arteko erlazioa ezartzen du, non j = 1, 2, ... , m den.  Bestela, \beta_i parametro ezezagunak erabiliz, erlazio hori hiperplano baten bidez adieraz daiteke, X_j aldagaien eraldaketen bidez lortua: 

Y=\beta_0+\beta_1X_1+...\beta_mX_m + \epsilon

=\beta_0 + \sum_{j=1}^{m} \beta_j X_j+\epsilon

   

ε ausazko aldagaia da, eta honek benetako errealitatean kontrolaezinak edo behagarriak ez diren faktore guztiak biltzen ditu. Faktore horiek, beraz, zorizko osagaitzat hartzen dira eta ereduaren azalpenetik kanpo geratzen dira. 

Erregresioaren arazoa honako honetan datza:  **\beta_j** parametro ezezagunei balio egokiak esleitzean, ekuazioa erabat zehaztuta gera dadin. Horretarako, beharrezkoa da behatze multzo bat edo eredu horretatik eratorritako lagin estatistiko bat izatea; honen  bidez parametro horiek estimatu eta eredua doitu ahal izango da. 
thumb|358x358px|Anscombeko laukoteko datu-multzoak gutxi gorabehera erregresio linealeko lerro bera izateko diseinatuta daude baina grafikoki oso desberdinak dira. Horrek agerian uzten du aldagaien arteko erlazioa ulertzeko doitutako eredu batean soilik oinarritzeak sortzen dituen eragozpenak.
**Erregresio linealetarako zenbakizko metodoak:**

* **Erregresio sinplea:** Erregresio lineal sinpleko eredua bi aldagaik soilik osatzen dute, hau da, X eta Y aldagaiek. Aldagai independente bakarra, X, hartzen da kontuan, eta mendeko aldagai bat, Y. Bi aldagai horien arteko harremana lineala dela suposatzen da.

Y=\beta_0+\beta_1X_1+ \epsilon

* **Erregresio lineal anizkoitza:**  Erregresio linealak, bi aldagai aztertu ez ezik, aldagai anitzen arteko harremana aztertzeko aukera ere ematen du ekuazioen bidez; azken honi erregresio anizkoitza edo erregresio lineal anizkoitza deritzo. Ikerketa estatistikoaren praktikan maiz gertatzen da zenbait aldagai elkarri lotuta egotea; horregatik, posible da aldagai bat beste aldagai batzuen funtzio gisa adierazi ahal izatea matematikoki.  Eredu honek zenbait aldagai erregresore ditu eta, ondorioz, zenbait parametro ere bai. Erregresio lineal anizkoitzaren kasuan, Y mendeko aldagaia X_0, X_1, ..., X_m aldagai erregresoreekin erlazionatuta dagoela suposatzen da, honako erlazio funtzionalaren bidez:

Y=\beta_0+\beta_1X_1+...\beta_mX_m + \epsilon

### Erregesio ez-lineala 
Estatistikan, erregresio ez-lineala interferentzia-metodo bat da, hurrengo eredu mota baterako:

Y=f(X,\theta),

non f(X,\theta)  parametro ezezagunen mendeko funtzio ez lineala den. 

Metodo honetan, gutxienez, doikuntza-kurbarik onenarekin lotutako parametroen balioak lortu nahi dira, normalean, karratu txikienen metodoaren bidez. Eredua egokia den zehazteko, beharrezkoa izan daiteke inferentzia estatistikoaren kontzeptuak erabiltzea, hala nola parametroetarako konfiantza-tarteak eta doikuntzaren egokitasun probak.thumb|Erregresio ez-lineal baten adibidea|ezkerrera|266x266pxKasu bakoitzean, erregresio ez-linealaren beharra argitu daiteke erregresio polinomikoaren kasua kontuan hartzean; izan ere, batzuetan hobe da erregresio ez-linealtzat ez hartzea. Zehazki, f funtzioak ondorengo forma hartzen duenean:  

f(X)=aX^{2}+bX+c

f funtzioa ez-lineala izango x-en funtzio gisa, baina lineala a, b eta c parametro ezezagunekiko. Horixe da erregresio estatistikoaren testuinguruan “lineal” terminoak duen esanahia. Erregresio polinomikorako prozedura konputazionalak erregresio linealeko (anizkoitzeko) prozedurak dira; kasu honetan, bi aldagai aurresale dituzte: X eta X^2. Hala ere, batzuetan aditzera ematen da erregresio ez-lineala polinomioak doitzeko ere beharrezkoa dela. Interpretazio txar honen ondorio praktikoek optimizazio-prozedura ez-lineal bat erabiltzera eraman dezakete, erregresio linealeko emaitza eskuragarri egonda ere.  

#### Erregresio ez-linealetarako zenbakizko metodoak: 
##### Erregresio esponentziala 
Esperimentu jakin batzuetan, gehienak biologikoak, X eta Y aldagaien arteko mendekotasuna esponentziala da. Kasu horietan, mota honetako funtzio bat doitu nahi zaio puntuen hodeiari:

Y=a\cdot e^{bX}

Transformazio lineal baten bidez, logaritmoak hartuz, erregresio linealeko problema bihurtzen da; hau da, logaritmoak hartuz, hurrengo hau lortzen da:

\ln(Y)=\ln(a)+bX

#### Adibidea 
Datu zenbakia:  n=8  

X-ren batezbestekoa: 

 \bar{x} = \frac{1}{n} \sum_{i=1}^{n} a_i = \frac{20,9}{8}= 2,6125  

Y-ren batezbestekoa: 

 \overline{\ln(y)} = \frac{1}{n} \sum_{i=1}^{n} a_i=\frac{11,4628}{8}=1,43285 

Erregresio esponentzialaren forma lineala erabilita:
 
 b=\frac {\sum x\ln(y) - \overline{\ln(y)}\sum x}{\sum x^2 - \bar{x}\sum x }  =  \frac{32,7614-1,43285(20,9)}{67,63-2,6125(20,9)} = 0,216047 

 a = e^{\overline{ln(y)} - b \bar{x}} = e^{1,43285 - 0,216047*2,6125} = e^{0,868427} = 2,38316 

Sistema modelatzen duen ekuazioa hau da: 

 \hat{y} = 2,3831597  \; e^{0,216047x} 

##### Erregresio logaritmikoa 
Y=a\cdot \ln(X)+b kurba logaritmikoa ere zuzena da, baina X eta Y jatorrizko aldagai gisa adierazita egon beharrean, \ln(X) eta Y aldagaiekiko dago.

#### Adibidea 
 a=\frac{\sum\ln(x)y - \bar{y}\sum\ln(x)}{\sum(\ln(x))^2 - \bar{\ln(x)}\sum\ln(x) }=\frac{34,5581-4,5(6,5779)}{7,7798-0,8222(6,5779)}=2,090513 

 b=\bar{y} - (a \overline{ln(x)})=4,5 - (2,090513)(0,8222) = 2,78117 

Sistema modelatzen duen ekuazioa hau da: 

 \hat{y} = 2,090513  \; ln(x) + 2,78117 
##### Erregresio polinomikoa 
Batzuetan, mendeko aldagaien eta aldagai independenteen arteko erlazioa ez-lineala denean, erabilgarria da termino polinomikoak sartzea,  mendeko aldagaiaren aldaketa azaltzen laguntzeko.

Erregresio polinomikoak hainbat terminorekin doi ditzake aldagai independentea.
: y = a + b \; x + c \; x^2  \longleftarrow \text{Bigarren maila} 
: y = a + b \; x + c \; x^2 + d \; x^3 \longleftarrow \text{Hirugarren maila}  y = a_0 + a_1 \; x + a_2 \; x^2 +. . .  a_n \; x^n \longleftarrow \text{ Ekuazio orokorra edozein mailarako}

Koefiziente bakoitzarekiko deribatuz, ekuazio sistema bat ematen digu planteamenduak*:*thumb|Erregresio polinomikoa|262x262px
    \mathbb{S} = \;
   \begin{Bmatrix}
      am & b\sum x & c\sum x^2 & d\sum x^3 & \cdots\ & = &\sum y \\
      a\sum x & b\sum x^2 & c\sum x^3 & d\sum x^4 & \cdots\ & = &\sum xy \\
      a\sum x^2 & b\sum x^3 & c\sum x^4 & d\sum x^5 & \cdots\ & = &\sum x^2y \\
      a\sum x^3 & b\sum x^4 & c\sum x^5 & d\sum x^6 & \cdots\ & = &\sum x^3y \\
      \vdots & \vdots & \vdots & \vdots & \vdots &\vdots & \vdots \\
   \end{Bmatrix}

    \mathbb \;
   \begin{bmatrix}
      m & \sum x & \sum x^2 & \sum x^3 & \cdots \\
      \sum x & \sum x^2 & \sum x^3 & \sum x^4 & \cdots \\
      \sum x^2 & \sum x^3 & \sum x^4 & \sum x^5 & \cdots \\
      \sum x^3 & \sum x^4 & \sum x^5 & \sum x^6 & \cdots\ \\
      \vdots & \vdots & \vdots & \vdots & \vdots \\
   \end{bmatrix}
\times
    \mathbb \;
   \begin{bmatrix}
      a \\
      b \\
      c \\
      d \\
      \vdots \\
   \end{bmatrix}
=
    \mathbb \;
   \begin{bmatrix}
      \sum y \\
      \sum xy \\
      \sum x^2y \\
      \sum x^3y \\
      \vdots \\
   \end{bmatrix}

## Erreferentziak 
## Bibliografia 
* Canavos, George C.; *Probabilidad y Estadística. Aplicaciones y Métodos.* McGraw-Hill. México. ISBN 9684518560.
* Devore, Jay L.; *Probabilidad y Estadística para Ingeniería y Ciencias*. International Thomson Editores. México. ISBN 9706864571.
* Walpole, Ronald E.; Raymond, H.; Myers, Sharon L.; *Probabilidad y Estadística para Ingenieros*. Prentice-Hall Hispanoamericana, S.A. México. ISBN 9701702646.

* G.A.F Seber and C.J. Wild. *Nonlinear Regression*. New York: John Wiley and Sons, 1989.
* R.M. Bethea, B.S. Duran and T.L. Boullion. *Statistical Methods for Engineers and Scientists*. New York: Marcel Dekker, Inc 1985 ISBN 0-8247-7227-X

## Kanpo estekak