Máxima verosimilitud

En estadística, la estimación por **máxima verosimilitud** (conocida tamién como **EMV** y, n'ocasiones, **MLE** poles sos sigles n'inglés) ye un métodu habitual p'afaer un modelu y envalorar los sos parámetros.

## Historia

Foi encamentáu, analizáu y popularizáu por R. A. Fisher ente 1912 y 1922, anque fuera utilizáu antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele y Francis Edgeworth.

## Fundamentu
Supóngase que se tien una muestra *x*1, *x*2, …, *x**n* de *n* observaciones independientes ya idénticamente distribuyíes estrayíes d'una función de distribución desconocida con función de densidá (o función de probabilidá) *f*0(·). Sábese, sicasí, que *f*0 pertenez a una familia de distribuciones }, llamada modelu paramétrico, de manera que *f*0 correspuende a , que ye'l *verdaderu valor* del parámetru. Deseyar atopar el valor \scriptstyle\hat\theta (o *estimador*) que tea lo más próximo posible al verdaderu valor *θ*0.

Tanto *x**i* como *θ* pueden ser vectores.

La idea d'esti métodu ye la d'atopar primero la función de densidá conxunta de toles observaciones, que so condiciones d'independencia, ye :

 f(x_1,x_2,\ldots,x_n\;|\;\theta) = f(x_1|\theta)\cdot f(x_2|\theta)\cdots f(x_n|\theta)\, 
 
Reparando esta función so un ángulu llixeramente distintu, puede suponese que los valores reparaos *x*1, *x*2, …, *x**n* son fixos ente que *θ* puede variar llibremente. Esta ye la función de verosimilitud:
: 
 \mathcal{L}(\theta\,|\,x_1,\ldots,x_n) = \prod_{i=1}^n f(x_i|\theta).
 

Na práutica, suelse utilizar el llogaritmu d'esta función:
: 
 \hat\ell(\theta\,|\,x_1,\ldots,x_n) = \ln\mathcal{L} = \sum_{i=1}^n \ln f(x_i|\theta).
 

El métodu de la **máxima verosimilitud** envalora *θ*0 buscando'l valor de *θ* que maximiza \scriptstyle\hat\ell(\theta|x). Este ye'l llamáu **estimador de máxima verosimilitud** (**MLE**) de *θ*0:
: 
 \hat\theta_\mathrm{mle} = \underset{\theta\in\Theta}{\operatorname{arg\,max}}\ \hat\ell(\theta\,|\,x_1,\ldots,x_n).
 

N'ocasiones esti estimador ye una función esplícita de los datos reparaos *x*1, …, *x**n*, pero munches vegaes hai que recurrir a optimizaciones numbériques. Tamién puede asoceder que'l máximu nun sía únicu o nun esista.

Na esposición anterior asumióse la independencia de les observaciones, pero nun ye un requisitu necesariu: basta con poder construyir la función de probabilidá conxunta de los datos pa poder aplicar el métodu. Un contestu nel qu'esto ye habitual ye'l del analís de series temporales.

## Propiedaes del estimador de máxima verosimilitud

En munchos casos, el estimador llográu por máxima verosimilitud tien un conxuntu de propiedaes asintóticas curioses:
* consistencia, *
normalidá asintótica, *
eficiencia, *
ya inclusive eficiencia de segundu orde en corrixendo'l sesgu.

### Consistencia
So ciertes condiciones bastante habituales, el estimador de máxima verosimilitud ye consistente: si'l númberu d'observaciones *n* tiende a infinitu, el estimador \scriptstyle\hat\theta converxe en probabilidá al so valor verdaderu:
: 
 \hat\theta_\mathrm{mle}\ \xrightarrow{p}\ \theta_0\ .
 
So condiciones daqué más fuertes, la converxencia ye casi segura:
: 
 \hat\theta_\mathrm{mle}\ \xrightarrow{a.s.}\ \theta_0\ .
 

### Normalidá asintótica

Si les condiciones pa la consistencia cumplir y, amás, # 
\theta_0 \in interior(\theta) ;
# f(x|\theta) > 0 y ye dos veces de cutio diferenciable al respective de *θ* en dalguna redolada *N* de *θ*0;
# ∫ sup*θ*∈*N*||∇*θ**f*(*x*|*θ*)||d*x* *θ*∈*N*||∇*θθ**f*(*x*|*θ*)||d*x* *θ*ln*f*(*x*|*θ*0) ∇*θ*ln*f*(*x*|*θ*0)′] esiste y nun ye singular;
# Y[sup_{\theta \in N}\parallel\bigtriangledown_{\theta\theta} \ln (f(x|\theta))\parallel] ,

entós el estimador de máxima verosimilitud tien una distribución asintótica normal:
: 
 \sqrt{n}\big(\hat\theta_\mathrm{mle} - \theta_0\big)\ \xrightarrow{d}\ \mathcal{N}(0,\,I^{-1}).
 

### Invariancia funcional
Si \widehat{\theta} ye'l EMV de *θ* y *g(*θ*)* ye un tresformamientu de *θ*, entós el EMV de *α* = *g*(*θ*) ye

:\widehat{\alpha} = g(\widehat{\theta}).\,\!

Amás, el EMV ye invariante frente a ciertos tresformamientos de los datos. N'efeutu, si Y=g(X) y g una aplicación biyectiva que nun depende de los parámetros que s'envaloren, entós la función de densidá de Y ye

:f_Y(y) = f_X(x)/|g'(x)|

Esto ye, les funciones de densidá de X y Y difieren namái nun términu que nun depende de los parámetros. Asina, por casu, el EMV pa los parámetros d'una distribución lognormal son los mesmos que los d'una distribución normal afecha sobre'l llogaritmu de los datos d'entrada.

### Otres propiedaes
El EMV ye √*n*-consistente y asintóticamente eficiente. En particular, esto significa que'l sesgu ye cero hasta l'orde *n*−1/2. Sicasí, al llograr los términos de mayor orde de la espansión de Edgeworth de la distribución del estimador, *θ*emv tien un sesgu d'orde −1. Esti sesgu ye igual a
: 
 b_s \equiv \operatorname{Y}[(\hat\theta_\mathrm{mle} - \theta_0)_s]
 = \frac1n \cdot I^{si}I^{jk} \big( \tfrac12 K_{ijk} + J_{j,ik} \big), 
 
fórmula onde s'adoptó la convención d'Einstein pa espresar sumes; *I* *jk* representa la *j,k*-ésima componente de la inversa de la matriz d'información de Fisher y :

 \tfrac12 K_{ijk} + J_{j,ik} = \operatorname{Y} \bigg[\;
 \frac12 \frac{\partial^3 \ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_j\,\partial\theta_k} +
 \frac{\partial\ln f_{\theta_0}(x_t)}{\partial\theta_j} \frac{\partial^2\ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_k}
 \;\bigg].
 

Gracies a estes fórmules ye posible envalorar el sesgu de segundu orde del estimador y correxilo por aciu substracción:
: 
 \hat\theta^*_\mathrm{mle} = \hat\theta_\mathrm{mle} - \hat b .
 
Esti estimador, insesgado hasta l'orde *n*−1, llámase **estimador de máxima verosimilitud con correición del sesgu**.

## Exemplos
### Distribución uniforme discreta

Supóngase que *n* boles numberaes de 1 a *n* asitiar nuna urna y que una d'elles estrayer al azar. Si desconozse *n*, el so EMV ye'l númberu *m* qu'apaez na bola estrayida: la función de verosimilitud ye 0 pa *n*&nbsp;\hat{n} , ye (*n*&nbsp;+&nbsp;1)/2. De resultes, el EMV de *n* infravalorará el verdaderu valor de *n* por (*n*&nbsp;−&nbsp;1)/2.

### Distribución discreta con parámetros discretos
Supóngase que se llanza una moneda sesgada al aire 80 vegaes. La muestra resultante pue ser daqué según *x*1&nbsp;=&nbsp;H, *x*2&nbsp;=&nbsp;T, ..., *x*80&nbsp;=&nbsp;T, y cúntase el númberu de cares, "H". La probabilidá de que sala cara ye *p* y la de que sala cruz, 1&nbsp;−&nbsp;*p* (de cuenta que *p* ye'l parámetru *θ*). Supóngase que se llogren 49 cares y 31 cruces. Imaxínese que la moneda estrayer d'una caxa que contenía trés d'elles y que éstes tienen probabilidaes *p* iguales a 1/3, 1/2 y 2/3 anque nun se sabe cuál d'elles ye cuál.

A partir de los datos llograos del esperimentu puede llograse saber cuál ye la moneda cola máxima verosimilitud. Usando la función de probabilidá de la distribución binomial con una muestra de tamañu 80, númberu d'ésitos igual a 49 y distintos valores de *p*, la función de verosimilitud toma trés valores siguientes:

:
\begin{align}
\Pr(\mathrm{H} = 49 \mid p =1/3) & = \binom{80}{49}(1/3)^{49}(1-1/3)^{31} \approx 0.000, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p =1/2) & = \binom{80}{49}(1/2)^{49}(1-1/2)^{31} \approx 0.012, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p =2/3) & = \binom{80}{49}(2/3)^{49}(1-2/3)^{31} \approx 0.054.
\end{align}


La verosimilitud ye máxima cuando *p*&nbsp;=&nbsp;2/3 y ésti ye, poro, el EMV de *p*.

## Aplicaciones
El estimador de máxima verosimilitud úsase dientro d'un gran númberu de modelos estadísticos:
* modelos lliniales los modelos lliniales xeneralizaos;
* Analís factorial, tanto exploratorio como confirmatorio;
* analís d'ecuaciones estructurales;
* y otres munches situaciones nel contestu de los tests estadísticos

## Ver tamién
* Función de verosimilitud
* Algoritmo esperanza-maximización

## Referencies

## Referencies
* 
* Anderson, Erling B. 1970. "Asymptotic Properties of Conditional Maximum Likelihood Estimators". *Journal of the Royal Statistical Society* **B** 32, 283-301.
* Andersen, Erling B. 1980. *Discrete Statistical Models with Social Science Applications*. North Holland, 1980.
* Debabrata Basu. *Statistical Information and Likelihood : A Collection of Critical Essays by Dr. D. Basu* ; J.K. Ghosh, editor. *Lecture Notes in Statistics* Volume 45, Springer-Verlag, 1988.
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 

## Enllaces esternos
* Tutorial 
* Implementación de la estimación por máxima verosimilitud usando R
* Tutorial on maximum likelihood estimation nel Journal of Mathematical Psychology