Máxima verosimilitude

En estatística, a estimación por **máxima verosimilitude** ou **máxima verosemellanza** (coñecida tamén como **EMV** e, en ocasións, **MLE** polas súas siglas en inglés) é un método habitual para axustar un modelo e estimar os seus parámetros.

## Historia 
dereita|miniatura|308x308px|Ronald Fisher en 1913
O método foi recomendado, analizado e popularizado por R. A. Fisher entre 1912 e 1922, aínda que fora utilizado antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele e Francis Edgeworth.

## Fundamento 
Supóñase que se ten unha mostra *x*1, *x*2, …, *x**n* de *n* observacións independentes e identicamente distribuídas extraídas dunha función de distribución descoñecida con función de densidade (ou función de probabilidade) *f*0(·). Sábese, con todo, que *f*0 pertence a unha familia de distribucións {{nowrap|{ *f*(·*θ*), *θ* ∈ Θ }}}, chamada modelo paramétrico, de maneira que *f*0 corresponde a , que é o *verdadeiro valor* do parámetro. Deséxase atopar o valor \scriptstyle\hat\theta (ou *estimador*) que estea o máis próximo posible ao verdadeiro valor *θ*0.

Tanto *x**i* como *θ* poden ser vectores.

A idea deste método é a de atopar primeiro a función de densidade conxunta de todas as observacións, que baixo condicións de independencia, é
: 
   f(x_1,x_2,\ldots,x_n\;|\;\theta) = f(x_1|\theta)\cdot f(x_2|\theta)\cdots f(x_n|\theta)\,
 
Observando esta función baixo un ángulo lixeiramente distinto, pódese supor que os valores observados *x*1, *x*2, …, *x**n* son fixos mentres que *θ* pode variar libremente. Esta é a función de verosimilitude:
: 
  \mathcal{L}(\theta\,|\,x_1,\ldots,x_n) = \prod_{i=1}^n f(x_i|\theta).
 

Na práctica, adóitase utilizar o logaritmo desta función:
: 
   \hat\ell(\theta\,|\,x_1,\ldots,x_n) = \ln\mathcal{L} =  \sum_{i=1}^n \ln f(x_i|\theta).
 

O método da máxima verosimilitude estima *θ*0 buscando o valor de *θ* que maximiza \scriptstyle\hat\ell(\theta|x). Este é o chamado **estimador de máxima verosimilitude** (**MLE**) de *θ*0:
: 
   \hat\theta_\mathrm{mle} = \underset{\theta\in\Theta}{\operatorname{arg\,max}}\ \hat\ell(\theta\,|\,x_1,\ldots,x_n).
 

En ocasións este estimador é unha función explícita dos datos observados *x*1, …, *x**n*, pero moitas veces hai que recorrer a optimizacións numéricas. Tamén pode ocorrer que o máximo non sexa único ou non exista.

Na exposición anterior asumiuse a independencia das observacións, pero non é un requisito necesario: abonda con poder construír a función de probabilidade conxunta dos datos para poder aplicar o método. Un contexto no que isto é habitual é o da análise de series temporais.

## Propiedades do estimador de máxima verosimilitude 
En moitos casos, o estimador obtido por máxima verosimilitude posúe un conxunto de propiedades asintóticas atractivas:
* consistencia,
* normalidade asintótica,
* eficiencia,
* e mesmo eficiencia de segunda orde tras corrixir o nesgo.

### Consistencia 
Baixo certas condicións bastante habituais, o estimador de máxima verosimilitude é consistente: se o número de observacións *n* tende a infinito, o estimador \scriptstyle\hat\theta converxe en probabilidade ao seu valor verdadeiro:
: 
   \hat\theta_\mathrm{mle}\ \xrightarrow{p}\ \theta_0\ .
 

Baixo condicións algo máis fortes,
: 
   \sqrt{n}\big(\hat\theta_\mathrm{mle} - \theta_0\big)\ \xrightarrow{d}\ \mathcal{N}(0,\,I^{-1}).
 

### Invariancia funcional 
Se \widehat{\theta} é o EMV de *θ* e *g(*θ*)* é unha transformación de *θ*, entón o EMV de *α* = *g*(*θ*) é
:\widehat{\alpha} = g(\widehat{\theta}).\,\!

Ademais, o EMV é invariante fronte a certas transformacións dos datos. En efecto, se Y=g(X) e g é unha aplicación bixectiva que non depende dos parámetros que se estiman, entón a función de densidade de Y é
:f_Y(y) = f_X(x)/|g'(x)|

É dicir, as funcións de densidade de X e Y difiren unicamente nun termo que non depende dos parámetros. Así, por exemplo, o EMV para os parámetros dunha distribución lognormal son os mesmos que os dunha distribución normal axustada sobre o logaritmo dos datos de entrada.

### Outras propiedades 
O EMV é √n-consistente e asintóticamente eficiente. En particular, isto significa que o nesgo é cero até a orde *n*−1/2. Con todo, ao obter os termos de maior orde da expansión de Edgeworth da distribución do estimador, *θ*emv ten un nesgo de orde −1. Este nesgo é igual a
: 
   b_s \equiv \operatorname{E}[(\hat\theta_\mathrm{mle} - \theta_0)_s]
       = \frac1n \cdot I^{si}I^{jk} \big( \tfrac12 K_{ijk} + J_{j,ik} \big),
 

fórmula onde se adoptou a convención de Einstein para expresar sumas; *I* *jk* representa a *j,k*-ésima compoñente da inversa da matriz de información de Fisher e
: 
   \tfrac12 K_{ijk} + J_{j,ik} = \operatorname{E} \bigg[\;
            \frac12 \frac{\partial^3 \ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_j\,\partial\theta_k} +
            \frac{\partial\ln f_{\theta_0}(x_t)}{\partial\theta_j} \frac{\partial^2\ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_k}
            \;\bigg].
 

Grazas a estas fórmulas é posible estimar o nesgo de segunda orde do estimador e corrixilo mediante subtracción:
: 
   \hat\theta^*_\mathrm{mle} = \hat\theta_\mathrm{mle} - \hat b .
 
Este estimador, non nesgado até a orde *n*−1, chámase estimador de máxima verosimilitud con corrección do nesgo.

## Exemplos 
### Distribución uniforme discreta 
Supóñase que *n* bólas numeradas de 1 a *n* se colocan nunha urna e que unha delas se extrae ao azar. Se se descoñece *n*, o seu EMV é o número *m* que aparece na bóla extraída: a función de verosimilitude é 0 para *n*&nbsp;\hat{n}, é (*n*&nbsp;+&nbsp;1)/2. Como consecuencia, o EMV de *n* infravalorará o verdadeiro valor de *n* por (*n*&nbsp;−&nbsp;1)/2.

### Distribución discreta con parámetros discretos 
Supóñase que se lanza unha moeda nesgada ao aire 80 veces. A mostra resultante pode ser *x*1&nbsp;=&nbsp;H, *x*2&nbsp;=&nbsp;T, ..., *x*80&nbsp;=&nbsp;T, e cóntase o número de caras, "H". A probabilidade de que saia cara é *p* e a de que saia cruz, 1&nbsp;−&nbsp;*p* (de modo que *p* é o parámetro *θ*). Supóñase que se obteñen 49 caras e 31 cruces. Imaxínese que a moeda se extraeu dunha caixa que contiña tres delas e que estas teñen probabilidades *p* iguais a 1/3, 1/2 e 2/3 aínda que non se sabe cal delas é cal.

A partir dos datos obtidos do experimento pódese saber cal é a moeda coa máxima verosimilitude. Empregando a función de probabilidade da distribución binomial cunha mostra de tamaño 80, número de éxitos igual a 49 e distintos valores de *p*, a función de verosimilitude toma os tres valores seguintes:
:
\begin{align}
\Pr(\mathrm{H} = 49 \mid p =1/3) & = \binom{80}{49}(1/3)^{49}(1-1/3)^{31} \approx 0.000, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p =1/2) & = \binom{80}{49}(1/2)^{49}(1-1/2)^{31} \approx 0.012, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p =2/3) & = \binom{80}{49}(2/3)^{49}(1-2/3)^{31} \approx 0.054.
\end{align}

A verosimilitude é máxima cando *p*&nbsp;=&nbsp;2/3 e este é, polo tanto, o EMV de *p*.

## Aplicacións 
O estimador de máxima verosimilitude úsase dentro dun gran número de modelos estatísticos:
* modelos lineares xeneralizados
* análise factorial
* análise de ecuacións estruturais
* tests estatísticos

##  Notas 
## Véxase tamén 
### Bibliografía 
* Aldrich, John (1997). 
* Anderson, Erling B. 1970. "Asymptotic Properties of Conditional Maximum Likelihood Estimators". *Journal of the Royal Statistical Society* **B** 32, 283-301.
* Andersen, Erling B. 1980. *Discrete Statistical Models with Social Science Applications.* North Holland, 1980.
* Debabrata Basu. *Statistical Information and Likelihood* : A Collection of Critical Essays by Dr. D. Basu ; J.K. Ghosh, editor. *Lecture Notes in Statistics* Volume 45, Springer-Verlag, 1988.
* Cox, D.R.; Snell, E.J. (1968). 
* , F.E. (Sep de 1908).  ()
* , F.E. (Dec de 1908).  ()
* Ferguson, Thomas S (1996). 
* Hald, Anders (1998). 
* Hald, Anders (1999). 
* Kano, E. (1996). 
* Lle Cam, Lucien (1990). 
* Lle Cam, Lucien; O Yang, Grace (2000). 
* Lle Cam, Lucien (1986). 
* , E.L.; Casella, G. (1998). 
* Newey, Whitney K.; McFadden, Daniel (1994). 
* Pratt, John W. (1976). 
* Savage, Leonard J. (1976). 
* Stigler, Stephen M. (1978). 
* Stigler, Stephen M. (1986). 
* Stigler, Stephen M. (1999). 
* van der Vaart, A.W. (1998). 

### Outros artigos 
* Función de verosimilitude
* Algoritmo esperanza-maximización
### Ligazóns externas 
* Tutorial
* Introdución da estimación por máxima verosimilitud usando R
* Tutorial on maximum likelihood estimation no Journal of Mathematical Psychology