Regreso (statistiko)

**Regreso** estas unu el aro da statistikaj metodoj tre uzataj por analizi rilaton de dependa variablo al unu aŭ pluraj aliaj nedependaj variabloj. Pli specife, regreso helpas komprenigi, kiel tipa valoro de dependa variablo ŝanĝas, kiam unu el la nedependaj variabloj varias, dum la aliaj nedependaj variabloj restas senŝanĝaj.

Regresanalizo estas vaste uzata por prognozo kaj antaŭvido, kiam la laborkampo proksimiĝas al artefarita intelekto.

Granda aro da teĥnikoj por trakti analizojn estis realigitaj. Konataj metodoj, kiel la lineara regreso kaj la metodo de kvadrataj minimumoj, estas *parametraj* regresoj, ĉar ilia *regresofunkcio*, kiu bildigas la problemon, estas difinita per finia nombro da nekonataj parametroj, kiuj estas laŭtaksataj el la datenoj. *Neparametraj* regresoj estas malpli konataj, kaj rilatas al teĥnikoj, kiuj permesas regresojn ligitajn al specifa aro da funkcioj, kun okazeble nefiniaj dimensioj.

## Historio 
La plej frua formo de regreso estis la metodo de kvadrataj minimumoj (france: *méthode des moindres carrés*), kiu estis publikigita fare de la matematikistoj Adrien-Marie Legendre en 1805, kaj de Carl Friedrich Gauss en 1809 . Li ambaŭ uzis la metodon por la problemo kiel determini, el astronomiaj observaĵoj, la orbitojn de korpoj ĉirkaŭ la suno. Gauss publikigis pluevoluigon de la teorio de kvadrataj minimumoj en 1821.

La termino "regreso" estis kreita de la brita scienculo *Francis Galton*, en la deknaŭa jarcento, por priskribi biologian fenomenon. Tia fenomeno estis la observado kiel la alto de posteuloj de altaj prapatroj tendencas regresi (malkreski) al normala meznombro (fenomeno ankaŭ konata kiel *regreso al laŭnorma*).
Por Galton, regreso havis nur tiun biologian signifon, sed lia laboro estis poste etendita fare de *Udny Yule* and *Karl Pearson* al pli ĝenerala statistika kunteksto. En la laboro de Yule kaj Pearson, la komuna distribuo de la respondo kaj de la eksplikvariabloj estas supozita esti gaŭsa. Tiu supozo estis malfortigita fare de Ronald A. Fisher en liaj verkoj de 1922 kaj 1925. Fisher supozis, ke la kondiĉa distribuo de la respondovariablo estu gaŭsa, sed ne estu la komuna distribuo. Laŭ tiu aspekto, la supozo de Fisher estas pli proksima al la 1821-a formulado de Gauss.

Regresmetodoj daŭre estas areo da aktiva esplorado. En lastatempaj jardekoj, novaj metodoj estis evoluigitaj por *fortika regreso*: regreso kiu implicas korelaciitajn respondojn, kiel ekzemple temposerioj kaj kreskokurboj, regreso pri kiu prognozilo aŭ respondovariabloj estas kurboj, bildoj, grafeoj aŭ aliaj kompleksaj datumobjektoj, regresmetodoj alĝustigante diversajn specojn de mankaj datenoj, neparametra regreso, *Bayesaj metodoj* (laŭ la nomo de matematikisto *Thomas Bayes*), regresoj en kiuj la prognozilovariabloj estas laŭmezuraj kun eraroj, regreso kun pli da prognozilovariabloj ol observaĵoj, kaj kaŭza inferenco kun regreso.

## Regresomodeloj 
Regresomodeloj implicas la sekvantajn variablojn:
* La **nekonataj parametroj**, notataj **β**, kiuj povas esti skalaro aŭ vektoro.
* La **nedependaj variabloj**, **X**.
* La **dependa variablo**, *Y*.

En diversaj kampoj, malsamaj terminologioj estas uzitaj anstataŭ *dependaj kaj nedependaj variabloj*.

Regresomodelo rilatigas *Y* al funkcio de **X** kaj **β**.

:Y \approx f (\mathbf {X}, \boldsymbol{\beta} )

La aproksimado estas kutime formaligita tiel *E*(*Y*&nbsp;|&nbsp;**X**)&nbsp;=&nbsp;*f*(**X**, **β**). Por trakti regresanalizon, la formo de la funkcio *f* devas esti precizigita. Foje la formo de tiu funkcio estas bazita sur scio pri la rilato inter *Y* kaj **X**, kiu ne originas de la datenoj. Se tia scio ne haveblas, fleksiĝema kaj oportuna formo por *f* estas elektita.

Supozu nun, ke la vektoro de nekonataj parametroj **β** estas je longo *k*. Por plenumi la regresanalizon la uzanto devas konsideri informojn pri la dependa variablo *Y*:
* Se *N* datenparoj (*Y*,**X**) estas observitaj, kie *N*  *k* datenparoj estas observitaj. Pri tia kazo, ekzistas sufiĉe da informoj en la datenoj por taksi unikajn valorojn al **β**, kiuj plej bone kongruas kun la datenoj, kaj la regresomodelo, kiam aplikata al la datenoj, povas esti rigardata kiel *superdeterminita* sistemo pri **β**.

Rilate la lastan kazon, regreso disponigas ilojn por:
# trovi solvon por nekonataj parametroj **β**, kiuj, ekzemple, minimumigas la ekartojn inter la laŭmezuraj kaj antaŭdiritaj valoroj de la dependa variablo *Y* (ankaŭ konata kiel metodo de kvadrataj minimumoj);
# sub apartaj supozoj, la regreso uzas la kroman informon por trakti statistikan informon pri la nekonataj parametroj **β**, kaj pri la antaŭdiritaj valoroj de la dependa variablo *Y*.

### Necesa nombro da nedependaj mezuroj 
Konsideru regresomodelon, kiu havas tri nekonatajn parametrojn, β0, β1, kaj β2. Supozu, ke eksperimentisto traktas 10 mezurojn, ĉiujn kun precize la sama valoro de la nedependa variablovektoro **X** (kiu enhavas la nedependajn variablojn *X*1, *X*2, kaj *X*3). Pri tiu kazo, la regresanalizo ne donas unikan aron da laŭtaksaj valoroj por la tri nekonatoj parametroj; la eksperimentisto ne akiris sufiĉe da informoj. La nura plej bona traktado estu taksi la mezvaloron kaj la norman diferencon de la dependa variablo *Y*. Simile, se mezuroj kun du malsamaj valoroj de **X** donus sufiĉe da datenoj pri regreso kun du nekonataĵoj, ili ne sufiĉus pri tri aŭ pli nekonataĵoj. Se la eksperimentisto estus traktinta mezurojn kun tri malsamaj valoroj de la nedependa variablovektoro **X**, tiam la regresanalizo disponigus unikan aron da taksoj por la tri nekonataj parametroj de **β**.

Koncerne ĝeneralan *linearan regreson*, ĉiusupra deklaro estas ekvivalenta al la neprigo, ke la matrico X^TX estu inversigebla (X^T estas la transponita matrico de la matrico X, kies elementoj estas la aro de la *N* vektoroj **X**).

### Statistikaj supozoj 
Kiam la nombro de mezuroj, *N*, estas pli granda ol la nombro de nekonataj parametroj, *k*, kaj la mezureraroj \epsilon_i estas normale distribuitaj, tiam *la eksceso de informoj* enhavita en la kromaj (*N* - *k*) mezuroj permesas fari statistikajn prognozojn pri la nekonataj parametroj. Tiu eksceso da informoj estas referencata kiel la gradoj de libereco de la regreso.

## Subestantaj supozoj 
Klasikaj supozoj por regresanalizo inkludas la sekvantajn.
* La specimeno valide reprezentas la loĝantaron por inferencoprognozo.
* La eraro estas hazarda variablo kun averaĝa nul-kondiĉo sur la eksplikvariabloj.
* La nedependaj variabloj estas mezuritaj kun neniu eraro. (Notu: se tio ne estas tiel, modeligado povas esti farita anstataŭe per uzo de taŭgaj *modeloj pri variabloj kun eraroj*).
* La prognoziloj estas lineare nedependaj, tio estas, ne eblas esprimi ajnan prognozilon per lineara kombinaĵo de la aliaj.
* La eraroj estas ne-korelaciitaj, t.e. la matrico de varianco-kunvarianco de la eraroj estas diagonala, kaj ĉiu ne-nula elemento estas la varianco de la eraro.
* La varianco de la eraro estas konstanta por ĉiu observita variablo. (Notu: se ne, oni povas anstataŭe trakti la metodon de *laŭpezaj kvadrataj minimumoj* aŭ aliajn metodojn).

Ili estas sufiĉaj kondiĉoj al la prognozo per la kvadrataj minimumoj por permesi dezirindajn trajtojn, aparte, tiaj supozoj implicas, ke la parametrotaksoj estos senantaŭjuĝaj, koheraj, kaj efikaj en klaso de linearaj senantaŭjuĝaj prognozo. Gravas noti, ke faktaj datenoj malofte konformiĝas al la supozoj; tio estas, la metodo estas uzata eĉ se la supozoj ne veras. Vario de la supozoj povas foje esti utiligata por taksi la plej taŭgan solvon. Raportoj pri statistikaj analizoj kutime inkludas analizojn de testoj pri la specimenaj datenoj kaj metodologion pri la utileco de la modelo.

## Lineara regreso 
eta|dekstra|300ra|Bildigo de lineara regreso pri datenaro per polinomo de unua grado.
eta|300ra|Bildigo de lineara regreso pri datenaro per polinomo de dua grado.
En lineara regreso, la modelospecifo estas, ke la dependa variablo,  y_i , estas lineara kombinaĵo de la *parametroj* (sed malnepre estu lineara en la *nedependaj variabloj*). Ekzemple, pri la lineara *polinoma regreso* por modeligado de n datenpunktoj ekzistas unu-dependa variablo x_i , kaj m+1 parametroj \beta_0 ĝis \beta_m, kaj rezultas:

:y_i = \beta_0 + \beta_1 x_i + \cdots + \beta_{m - 1} x_i^{m - 1} + \beta_m x_i^m +\varepsilon_i,\quad i=1,\dots,n.\!

(Notu: en multobla lineara regreso, estas pluraj nedependaj variabloj aŭ pluraj funkcioj de nedependaj variabloj).

La plej simplaj linearaj regresoj estas:

:rekton: y_i=\beta_0 +\beta_1 x_i +\varepsilon_i,\quad i=1,\dots,n;\!

per aldono de unu termo de grado 2, *xi*2, al la antaŭa regreso rezultas

:parabolon: y_i=\beta_0 +\beta_1 x_i +\beta_2 x_i^2+\varepsilon_i,\ i=1,\dots,n.\!

Tiu kvadrata funkcio estas ankoraŭ lineara regreso; malgraŭ ke la esprimo enhavas kvadratan termon rilatante al la sola nedependa variablo x_i, ĝi estas lineara pri la parametroj \beta_0, \beta_1 kaj \beta_2.

Pri ambaŭ kazoj, \varepsilon_i estas erartermo, kaj la indico i indikas apartan observon.

Konsiderante hazardan specimenon el loĝantaro, ni taksas la loĝantarparametrojn, kaj tiel akiras la specimenan linearan regresomodelon:

:  \widehat{y_i} = \widehat{\beta}_0 + \widehat{\beta}_1 x_i. 

La restaĵo, \widehat{\varepsilon_i} = y_i - \widehat{y}_i , estas la diferenco inter la valoro de la dependa variablo antaŭdirita fare de la modelo,  \widehat{y_i}, kaj la observita valoro de la dependa variablo, y_i. Unu metodo de taksado estas la ordinara metodo de kvadrataj minimumoj. Ĝi akiras la parametrojn, kiuj minimumigas la sumon de kvadrataj restaĵoj, SKR ,:

:SKR=\sum_{i=1}^n {\widehat{\varepsilon_i}}^2. \, 

Minimumigo de tia funkcio gvidas al aro da ekvacioj, kiuj estas solvitaj por doni la parametrotaksojn: \widehat{\beta}_0 kaj \widehat{\beta}_1.

Koncerne simplan regreson, la formuloj por la taksoj per la plej malgrandaj kvadratoj estas:

: \begin{align}
  \widehat\beta & = \frac{ \sum_{i=1}^{n} (x_{i}-\bar{x})(y_{i}-\bar{y}) }{ \sum_{i=1}^{n} (x_{i}-\bar{x})^2 }
              = \frac{ \sum_{i=1}^{n}{x_{i}y_{i}} - \frac1n \sum_{i=1}^{n}{x_{i}}\sum_{j=1}^{n}{y_{j}}}{ \sum_{i=1}^{n}({x_{i}^2}) - \frac1n (\sum_{i=1}^{n}{x_{i}})^2 } \\[6pt]
            & = \frac{ \overline{xy} - \bar{x}\bar{y} }{ \overline{x^2} - \bar{x}^2 }
              = \frac{ \operatorname{cov}(X,Y) }{ \operatorname{var}(X) }
              = r_{xy} \frac{s_y}{s_x}, \\[6pt]
 \widehat{\beta_0} & = \bar{y} - \widehat{\beta_1}\,\bar{x} \ ,
\end{align}

:\widehat{\beta_1}=\frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2}\text{ and }\widehat{\beta_0}=\bar{y}-\widehat{\beta_1}\bar{x} \  ,

kie \bar{x} estas la meznombro (averaĝo) de la x valoroj, kaj \bar{y} estas la meznombro de la y valoroj, r_{xy} estas la specimena korelaciokoeficiento rilate al x kaj y, s_x estas la specimena varianca devio de x, and s_y estas respektive la specimena varianca devio de y. Horizontala baro super variablo signas specimenan averaĝon de tiu variablo; ekzemple, \overline{xy} = \tfrac{1}{n}\textstyle\sum_{i=1}^n x_iy_i\ .

Anstataŭante la ĉisuprajn esprimojn pri \hat{\beta_0} and \hat{\beta_1} en la ekvacio de la rekto

:  y = \hat{\beta_0} + \hat{\beta_1} x, \,

kondukas al:
: \frac{ y-\bar{y}}{s_y} = r_{xy} \frac{ x-\bar{x}}{s_x} \ . 

Tio indikas la rolon, kiun r_{xy} ludas pri la regresrekto.

Sub la supozo, ke la termo de eraro pri la loĝantaro havas konstantan variancon, la takso de la varianco estas kalkulata per:

:  \hat{\sigma}^2_\varepsilon = \frac{SKR}{n-2}.\,

Tiu estas nomita *averaĝa kvadrata eraro* de la regreso.

La *normaj eraroj* de la taksoj de parametroj estas kalkulataj per:

:\hat\sigma_{\beta_0}=\hat\sigma_{\varepsilon} \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum(x_i-\bar x)^2}}

:\hat\sigma_{\beta_1}=\hat\sigma_{\varepsilon} \sqrt{\frac{1}{\sum(x_i-\bar x)^2}} \, .

Sub la plia kondiĉo, ke la termo de eraro pri la loĝantaro estas normale distribuita, esplorlaboranto povas uzi tiajn laŭtaksajn normajn erarojn, por krei fidointervalojn kaj implici hipotezotestojn pri la parametroj de la loĝantaro.

### Ĝenerala lineara modelo 
Pri pli ĝenerala multobla regresomodelo, estas *p* nedependaj variabloj:

:  y_i = \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_p x_{ip} + \varepsilon_i, \, 

kie x_{ij} estas la *i*-a observo de la *j*-a nedependa variablo, kaj kie la unua nedependa variablo valoras 1 por ĉiu *i* (nur \beta_1 kiel unua termo) .

La takso de la parametroj per la plej malgrandoj kvadratoj akiriĝas per *p* normalaj ekvacioj; eblas skribi la restaĵoj tiel:

:\widehat{\varepsilon_i}=y_i -  \widehat\beta_1 x_{i1} - \cdots - \widehat\beta_p x_{ip}.

Por tio, oni elektas la sekvantan funkcion:

:S(\boldsymbol{\beta}) = \sum_{i=1}^{n}\bigl| y_i - \sum_{j=1}^{p}x_{ij}\beta_j\bigr|^2 = \bigl\|\mathbf y - \mathbf X \boldsymbol \beta \bigr\|^2 ,

kiun oni minimumigas per kalkulo de ĝia derivaĵo. La kialo por elekti tiun kriterion estas, ke la problemo, kondiĉe ke la *n* kolumnoj de la matrico X estu lineare nedependaj, kondukas al unika solvo de la sekvantaj **normalajn ekvaciojn**:

:\sum_{i=1}^n \sum_{k=1}^pxX_{ij}x_{ik}\hat \beta_k=\sum_{i=1}^n x_{ij}y_i,\  j=1,\dots,p; \,

laŭ matrica skribado, ili estas formulataj tiel:

:\mathbf{(X^\top X )\widehat{\boldsymbol{\beta}}= {}X^\top Y},\,

kie la *ij* elemento de X estas x_{ij}, la *i* elemento de la kolumna vektoro Y estas y_{ij}, kaj la *j* elemento de \widehat \beta estas \widehat \beta_j. Tial la respektivaj dimensioj de X, Y kaj \widehat \beta estas *n*×*p*, *n*×1 kaj *p*×1. Kaj la solvo estas:

:\mathbf{\widehat{\boldsymbol{\beta}}= {}(X^\top X )^{-1}X^\top Y} \, .\,

## Interpolado kaj ekstrapolado 
dekstra|eta|270ra|La blua linio prezentas la linearan interpolon inter la ruĝaj punktoj.
eta|dekstra|270ra|Ekzemplo de ekstrapolado, kiu taksas pli probablan valoron (vidu la bluan kvadraton), por x=7, laŭ donitaj ruĝaj punktoj.

Regresomodeloj antaŭdiras valoron de la *Y* variablo koncerne konatajn valorojn de la *X* variablo. Prognozo *ene de* la intervalo de valoroj en la datenaro, kiuj estas uzitaj por alĝustiga modelo estas konata neformale **interpolado**. Prognozo *ekster* tiu vico de datenoj estas konata kiel **ekstrapolado**.

La plej konataj interpolaj metodoj estas la lineara interpolo kaj la polinoma interpolo, sed estas aliaj nelinearaj interpoloj (ekz. splina interpolo, kurbo de Bézier, polinomo de Lagrange, ktp).

Estas ĝenerale konsilite, ke, dum traktado de ekstrapolado, oni akompanu la laŭtaksan valoron de la dependa valoro kun prognozintervalo, kiu limigas la necertecon. Tiaj intervaloj tendencas disetendiĝi rapide kiam la valoroj de la nedependa(j) variablo(j) eksteriĝas el la intervalo de la observitaj datenoj.

Efikeco de la ekstrapolado forte dependas de la regresosupozoj. Ju pli la ekstrapolado iras ĝis fore ekster la datenaro, des pli estas risko de la modelo malsukcesi, pro diferencoj inter la supozoj kaj la specimenaj datenoj aŭ la veraj valoroj.

Pro tiaj kialoj kaj aliaj, iuj tendencas diri ke estu malprudenta entrepreni ekstrapoladon.

Tamen, tio ne kovras la tutan aron de erarmodeligado, kiu eblas: aparte, la supozo de speciala formo por la rilato inter *Y* kaj *X*. Konvene kondukita regresanalizo inkludos takson de kiom bone la supozita formo kongruas kun la observitaj datenoj, sed oni povas nur fari tion ene de la intervalo de valoroj de la nedependaj variabloj fakte disponeblaj. Tiu scio inkludas la fakton, ke la dependa variablo ne povas estis ekster aparta vico da valoroj. Tielmaniere, ĉia ekstrapolado aparte fidas al la antaŭsupozoj pri la struktura formo de la regresrilato. La implicoj de tiu paŝo por elekti taŭgan funkcian formon de la regreso povas esti bonegaj, kiam ekstrapolado estas entreprenata. Minimume, tio certigas, ke tia ekstrapolado ekestiĝanta de alĝustigita modelo estas *realisma* (aŭ en akordo kun kio estas konita).

## Nelineara regreso 
Kiam la procezo ne estas lineara rilate al la parametroj, (la parametroj estas funkcioj dependaj de *X* aŭ ne, ekz. \beta^2, e^{\beta x}, ktp), modelofunkcio aproksimiĝas per tia ŝajna lineara funkcio:
: f(x_i,\boldsymbol\beta)\approx f^0+\sum_j J_{ij}\beta_j  ,
kie J_{ij}=\frac{\partial f(x_i,\boldsymbol\beta)}{\partial \beta_j}.
La nelinearaj regresoj estas kalkulitaj kvazaŭ linearaj regresoj, pri kiuj **X** anstataŭiĝis per **J**, variablo dependa de ambaŭ **X** kaj \boldsymbol\beta.

Algoritmoj por trovi solvon de nelineara regreso necesas elektadon de iniciatitaj parametrovaloroj (kio ne necesas pri lineara regreso).
Konsekvente, la parametroj estas alĝustigitaj per ripeta procedo:
:\beta_j \approx {\beta_j}^{k+1}={\beta_j}^k+\Delta \beta_j,
*k* estas ripeta nombro kaj \Delta \beta_j\, la vektoro de aldonitaĵoj.

Pri kelkaj komunaj algoritmoj, en ĉiu *k*-a kalkulo la modelo estas lineare aproksimata per serio de Taylor de unua ordo rilate al  \boldsymbol \beta^k\!:

:
\begin{align}
f(x_i,\boldsymbol \beta) & \approx f(x_i,\boldsymbol \beta^k) +\sum_{j=1}^{m} \frac{\partial f(x_i,\boldsymbol \beta^k)}{\partial \beta_j} \left(\beta_j-{\beta_j^k} \right) \\
& \approx f(x_i,\boldsymbol \beta^k) +\sum_{j=1}^{m} J_{ij} \Delta\beta_j.
\end{align}
\ .

La Jakobia matrico, **J**, estas funkcio de konstantoj, nedependaj variabloj *kaj* parametroj, do ĝi ŝanĝas de unu ripeta kalkulo al la sekvanta. La restaĵoj estas donitaj per:

:r_i=y_i- f(x_i,\boldsymbol \beta^k)- \sum_{j=1}^{m} J_{ij}\Delta\beta_j=\Delta y_i- \sum_{j=1}^{m} J_{ij}\Delta\beta_j.

Por minimumigi la sumon de la kvadratoj de r_i, la ekvacio de la derivaĵo estas nuligita por  \Delta \beta_j\!:

:-2\sum_{i=1}^{n}J_{ij} \left( \Delta y_i-\sum_{j=1}^{m} J_{ij}\Delta \beta_j \right)=0,

kio, post aranĝo, iĝas *m* samtempaj linearaj ekvacioj, la **normalaj ekvacioj**.

:\sum_{i=1}^{n}\sum_{k=1}^{m} J_{ij}J_{ik}\Delta \beta_k=\sum_{i=1}^{n} J_{ij}\Delta y_i \qquad (j=1,\ldots,m)\,

La normalaj ekvacioj estas formulataj laŭ matrica skribado tiel:

:\mathbf{\left(J^TJ\right)\Delta \boldsymbol \beta=J^T\Delta y}.\,

Kontraŭe al linearaj regresoj, eblas ke ekzistas pluraj solvoj por la parametroj, kiuj nuligas la ĉisupra ekvacio de la derivaĵo.

Alia regresometodo estas segmenti la tutan studodomajnon; tiel oni elektas taŭgajn parametrojn en ĉiu segmento, kaj traktas linearan regreson por tiaj konsideritaj segmentoj (vidu ĉisupran interpoladon).

## Vidu ankaŭ 
* Analizo al precipaj konsisteroj
* Korelacio
* Kunvarianco
* Prognozo
* Proksimuma kalkulado

## Referencoj 
Kategorio:Ekonometrio
Kategorio:Scienca metodo
Kategorio:Statistiko