Función de verosimilitude

Unha **función de verosimilitude** (normalmente chamada simplemente **verosimilitude**) mide o éxito co que un modelo estatístico explica un conxunto de datos observados calculando a probabilidade de ter xerado tales datos a partir de distintos valores dos parámetros do modelo. Constrúese a partir da distribución de probabilidade conxunta da variable aleatoria que (presuntamente) xerou as observacións. Deste xeito, ao avaliarse nos datos observados convértese nunha función que depende unicamente dos parámetros do modelo.

Na estimación por máxima verosimilitude, o argumento que maximiza a función de verosimilitude serve como un estimador puntual do parámetro descoñecido. Ademais, a través da información de Fisher podemos obter unha aproximación da precisión do estimador.

Pola contra, na estatística bayesiana, o interese céntrase no inverso da verosimilitude, coñecido como a probabilidade posterior do parámetro en función dos datos observados, que se calcula mediante a aplicación do teorema de Bayes.

## Definición 
A función de verosimilitude, dada en función dun parámetro \theta (ou vector de parámetros), defínese de xeito diferente segundo traballemos con distribucións de probabilidade discretas ou continuas. Dada unha función de densidade ou unha función de masa de probabilidade

x \mapsto f(x | \theta),

onde x é a realización da variable aleatoria X, a función de verosimilitude é

\theta \mapsto f (x|\theta),

tamén escrita habitualmente como \mathcal{L}(\theta | x).

Noutras palabras, cando f(x|\theta) se ve como unha función de x con \theta fixo, é unha función de densidade de probabilidade, e cando se ve como unha función de \theta con x fixado, é unha función de verosimilitude. No paradigma frecuentista, a notación f(x|\theta) adoita evitarse empregando no seu lugar f(x;\theta) ou f(x, \theta) para indicar que \theta é unha cantidade descoñecida, pero fixa, en lugar dunha variable aleatoria condicionante.

A función de verosimilitude *non* especifica que a probabilidade de que \theta sexa o verdadeiro parámetro, dada a mostra observada X=x. Tal interpretación é un erro común, con potenciais consecuencias desastrosas (ver a falacia da frecuencia base).

### Distribución de probabilidade discreta 
Sexa X é unha variable aleatoria discreta con función de masa de probabilidade p dada polo parámetro \theta. A función

\mathcal L (\theta | x) = p_\theta = P_ \theta (X = x),

como función de \theta é a función de verosimilitude, dada a observación x, da variable aleatoria X. En ocasións a probabilidade de "obter o valor x de X dado o valor do parámetro \theta" escríbese como P (X = x | \theta) ou P(X = x ; \theta). A verosimilitude é a probabilidade de que un posible resultado x se observe cando o valor verdadeiro do parámetro é \theta, equivalente á masa de probabilidade sobre x. É importante sinalar que isto non define unha densidade de probabilidade sobre \theta, que está fixo. Tampouco debe de confundirse a verosimilitude, \mathcal L (\theta | x), coa probabilidade a posteriori de \theta dado x, P(\theta | x).

#### Exemplo 
miniatura|Figura 1.  Función de verosimilitude (p_H^2) para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HH" 

miniatura|Figura 2.  Función de verosimilitude (p_H^2(1-p_H)) para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HHT" 

Consideremos un modelo estatístico simple, tirar unha moeda ao aire. Este vén dado por un único parámetro p_H que determina a probabilidade de que a moeda caia coa "cara" para arriba ao lanzar a moeda (H). Polo tanto, p_H \in [0.0, 1.0]. Se a moeda fose "legal" (non estivese trucada), teríamos que p_H = 0.5.

Lanzamos a moeda dúas veces e en ambas sae cara ("HH"). Supoñendo que cada lanzamento é i.i.d., entón a probabilidade de observar "HH" é

P(HH|p_H = 0.5) = 0.5^2 = 0.25.

Do mesmo xeito, a función de verosimilitude de observar "HH" supoñendo p_h = 0.5 é

\mathcal L(p_H = 0.5 | HH )  = 0.25,

o que non equivale a dicir que P(p_H = 0.5 | HH) = 0.25. Para poder calcular dita probabilidade teríamos que empregar o teorema de Bayes

P(p_H = 0.5 | HH) = \underbrace{P(HH | p_H = 0.5)}_{0.25} \cdot \frac{P(p_H = 0.5)}{P(HH)}.

Se agora consideramos unha moeda trucada, con p_H = 0.3. Entón a probabilidade de obter cara dúas veces é 

P(HH|p_H=0.3) = 0.3^2 = 0.09. 

Polo tanto, \mathcal L(p_H = 0.3 | HH)=0.09. Na Figura 1 represéntase o resultado de calcular, para cada valor de p_H, a verosimilitude correspondente. Mentres, na Figura 2 realízase unha representación similar para o caso no que a moeda teña caído dúas veces de cara e unha de cruz ("HHT"). 

### Distribución de probabilidade continua 
Sexa X unha variable aleatoria cunha seguindo unha distribución de probabilidade (absolutamente) continua con función de densidade f_\theta. A función

\mathcal L(\theta | x) = f_ \theta(x),

como función de \theta, é a *función de verosimilitude* (de \theta, dada a observación X = x). Igualmente, cabe recalcar que \mathcal L non define unha función de densidade ou de masa de probabilidade sobre \theta.

#### Relación entre a verosimilitude e as funcións de densidade de probabilidade 
O uso da densidade de probabilidade para especificar a función de verosimilitude ten a seguinte xustificación. Dada unha observación x_j, a verosimilitude no intervalo [x_j, x_j+h], onde h > 0 é *constante*, e vén dada por \mathcal L (\theta | x \in [x_j, x_j+h]). Obsérvase que

\mathop\operatorname{arg\,max}_\theta \mathcal{L}(\theta\mid x \in [x_j, x_j + h]) = \mathop\operatorname{arg\,max}_\theta \frac{1}{h} \mathcal{L}(\theta\mid x \in [x_j, x_j + h]) ,xa que h é positivo e constante. Tense que

\mathop\operatorname{arg\,max}_\theta \frac 1 h \mathcal{L}(\theta\mid x \in [x_j, x_j + h])
= \mathop\operatorname{arg\,max}_\theta \frac 1 h \Pr(x_j \leq x \leq x_j + h \mid \theta)
 = \mathop\operatorname{arg\,max}_\theta \frac 1 h \int_{x_j}^{x_j+h} f(x\mid \theta) \,dx,

onde f(x \mid \theta) é a función de densidade de probabilidade. Empregando o primeiro teorema fundamental do cálculo chégase a que

\lim_{h \to 0^{+}} \frac 1 h \int_{x_j}^{x_j+h} f(x\mid\theta) \,dx = f(x_j \mid \theta).

Logo, tendo en conta todo o anterior

\begin{align}
\mathop\operatorname{arg\,max}_\theta \mathcal{L}(\theta\mid x_j)
&= \mathop\operatorname{arg\,max}_\theta \left[ \lim_{h\to 0^{+}} \mathcal{L}(\theta\mid x \in [x_j, x_j + h]) \right] \\[4pt]
&= \mathop\operatorname{arg\,max}_\theta \left[ \lim_{h\to 0^{+}} \frac{1}{h} \int_{x_j}^{x_j+h} f(x\mid\theta) \,dx \right] \\[4pt]
&= \mathop\operatorname{arg\,max}_\theta f(x_j \mid \theta).
\end{align}

Chegando a que: \mathop\operatorname{arg\,max}_\theta \mathcal{L}(\theta\mid x_j) = \mathop\operatorname{arg\,max}_\theta f(x_j \mid \theta), polo que maximizar a densidade de probabilidade en x_j leva a que esteamos maximizando a verosimilitude dada a observación x_j.

## Razón de verosimilitudes e verosimilitude relativa 
### Razón de verosimilitudes 
Unha *razón de verosimilitudes* é o cociente de calquera dúas verosimilitudes, dado por

\Lambda(\theta_1:\theta_2 \mid x) = \frac{\mathcal{L}(\theta_1 \mid x)}{\mathcal{L}(\theta_2 \mid x)}.

A razón de verosimilitudes é un concepto central da análise estatística. A lei da verosimilitude establece que o grao no que uns datos (considerados como unha evidencia) sosteñen un valor dun parámetro respecto doutro mídese a través da razón de verosimilitudes.

Na inferencia frecuentista, a razón de verosimilitudes é a base para un test estatístico, levando o nome de *test de razón de verosimilitudes*. Pódese comprobar, mediante o lema de Neyman-Pearson, que este é o test máis potente para comparar dúas hipóteses simples dado un nivel de significación. Moitos outros tests poden verse como tests de razón de verosimilitudes ou como aproximacións dos mesmos. A distribución asintótica da razón de log-verosimilitudes, considerada como un test estatístico, vén dada polo teorema de Wilks.

A razón de verosimilitude tamén ten unha importancia capital na inferencia bayesiana, onde se coñece como o factor de Bayes, que se usa na regra de Bayes. Expresada en termos de probabilidades, a regra de Bayes afirma que as probabilidades "posteriores" de dúas alternativas, A_1 e A_2, dado un evento B, son as probabilidades "a priori", multiplicadas pola razón de verosimilitude. Isto é  

O(A_1:A_2 \mid B) = O(A_1:A_2) \cdot \Lambda(A_1:A_2 \mid B). 

A razón de verosimilitude non se usa directamente nas estatísticas baseadas no AIC. En cambio, o que se usa é a verosimilitude relativa dos modelos (que se trata máis abaixo).

Na medicina baseada na evidencia, as razóns de verosimilitude empréganse nas probas diagnósticas para avaliar o valor de realizas.  

### Función de verosimilitude relativa 
Dado que o valor real da función de verosimilitude depende da mostra, a miúdo é conveniente traballar cunha medida estandarizada. Supoñamos que a estimación de máxima verosimilitude para o parámetro \theta é \hat{\theta}. As verosimilitudes relativas doutros valores de \theta pódense obter comparando as verosimilitudes deses outros valores coa verosimilitude de \hat{\theta}. A *verosimilitude relativa* de \theta defínese como

R(\theta) = \frac{\mathcal{L}(\theta \mid x)}{\mathcal{L}(\hat{\theta} \mid x)}.

Así, a verosimilitude relativa é a razón de verosimilitude (mencionada anteriormente) co denominador fixo  \mathcal{L}(\hat{\theta}). Isto correspondese coa estandarización da verosimilitude para que teña un máximo de 1.

#### Rexión de verosimilitude 
Unha *rexión de verosimilitude* é o conxunto de todos os valores de  cuxa verosimilitude relativa é maior ou igual a un limiar determinado. En termos de porcentaxes, unha «*rexión de* p\% *de verosimilitude* para \theta defínese como

\left\{\theta : R(\theta) \ge \frac p {100} \right\}.

Se \theta consta dun único parámetro real, unha rexión de verosimilitude de p% normalmente comprenderá un intervalo de valores reais. Se a rexión comprende un intervalo, entón chámase «intervalo de verosimilitude».

Os intervalos de verosimilitude, e máis xeralmente as rexións de verosimilitude, empréganse para a estimación de intervalos dentro das estatísticas baseadas na verosimilitude: son similares aos intervalos de confianza nas estatísticas frecuentistas e aos intervalos de cribles nas estatísticas bayesianas. Os intervalos de verosimilitude interprétanse directamente en termos de verosimilitude relativa, non en termos de probabilidade de cobertura (frecuentismo) ou probabilidade posterior (bayesianismo).

Dado un modelo, os intervalos de verosimilitude pódense comparar cos intervalos de confianza. Se \mathbf{\theta} é un único parámetro real, entón, baixo certas condicións, un intervalo de verosimilitude do 14,65% (aproximadamente unha verosimilitude de 1:7) para \theta será o mesmo que un intervalo de confianza do 95% (probabilidade de cobertura de 19:20). Estas abordaxes tamén son útiles cando unha superficie de verosimilitude de alta dimensionalidade precisa ser reducida a un ou dous parámetros de interese de xeito que sexa posible representala graficamente.

### Verosimilitude perfil 
É posible reducir as dimensións concentrando a función de verosimilitude para un subconxunto de parámetros, expresando os parámetros molestos como funcións dos parámetros de interese e substituíndoos na expresión da función de verosimilitude. En xeral, para unha función de verosimilitude que depende do vector de parámetros \mathbf{\theta} que se pode dividir en \mathbf{\theta} = \left( \mathbf{\theta}_{1} : \mathbf{\theta}_{2} \right), e onde se pode determinar explicitamente unha relación \mathbf{\hat{\theta}}_{2} = \mathbf{\hat{\theta}}_{2} \left( \mathbf{\theta}_{1} \right), a concentración reduce a carga computacional do problema de maximización orixinal.

Por exemplo, nunha regresión lineal con erros distribuídos normalmente, \mathbf{y} = \mathbf{X} \beta + u, o vector de coeficientes podería particionarse en \beta = \left[ \beta_{1} : \beta_{2} \right] (e, en consecuencia, a matriz de deseño \mathbf{X} = \left[ \mathbf{X}_{1} : \mathbf{X}_{2} \right]). Maximizar con respecto a \beta_{2} produce unha función onde o valor óptimo séguese de

\beta_{2} (\beta_{1}) = \left( \mathbf{X}_{2}^{\mathsf{T}} \mathbf{X}_{2} \right)^{-1} \mathbf{X}_{2}^{\mathsf{T}} \left( \mathbf{y} - \mathbf{X}_{1} \beta_{1} \right).

Empregando este resultado, o estimador de máxima verosimilitude para \beta_{1} pódese derivar como 

\hat{\beta}_{1} = \left( \mathbf{X}_{1}^{\mathsf{T}} \left( \mathbf{I} - \mathbf{P}_{2} \right) \mathbf{X}_{1} \right)^{-1} \mathbf{X}_{1}^{\mathsf{T}} \left( \mathbf{I} - \mathbf{P}_{2} \right) \mathbf{y},

onde \mathbf{P}_{2} = \mathbf{X}_{2} \left( \mathbf{X}_{2}^{\mathsf{T}} \mathbf{X}_{2} \right)^{-1} \mathbf{X}_{2}^{\mathsf{T}} é a matriz de proxección de \mathbf{X}_{2}. Este resultado coñécese como o teorema de Frisch-Waugh-Lovell.

Dado que graficamente o procedemento de concentración é equivalente a cortar a superficie de verosimilitude ao longo da crista de valores do parámetro de molestia \beta_{2} que maximiza a función de verosimilitude, creando un perfil isométrico da función de verosimilitude para un \beta_{1} dado, o resultado deste procedemento tamén se coñece como *verosimilitude perfil.* Ademais de representarse graficamente, a probabilidade de perfil tamén se pode usar para calcular intervalos de confianza que a miúdo teñen mellores propiedades en mostras pequenas que os baseados en erros estándar asintóticos calculados a partir da verosimilitude total.

### Verosimilitude condicional 
Ás veces é posible atopar un estatístico suficiente para os parámetros molestos de forma que, condicionando respecto deste estatístico, se obteña unha verosimilitude que non depende dos parámetros molestos.

## Produtos de probabilidades 
A probabilidade, dados dous ou máis eventos independentes, é o produto das probabilidades de cada un dos eventos individuais: 

\Lambda(A \mid X_1 \land X_2) = \Lambda(A \mid X_1) \cdot \Lambda(A \mid X_2).

Isto é particularmente importante cando os eventos proveñen de variables aleatorias independentes e identicamente distribuídas, como observacións independentes ou observacións obtidas mediante mostraxe con substitución. Nunha situación deste tipo, a función de probabilidade factorízase nun produto de funcións de verosimilitude individuais.

## Log-verosimilitude 
A "función logarítmica de verosimilitude" é o logaritmo da función de verosimilitude, a miúdo denotada por unha  ou  minúscula, en contraste coa  ou \mathcal{L} maiúscula para a verosimilitude. Dado que os logaritmos son funcións estritamente crecentes, maximizar a verosimilitude é equivalente a maximizar a verosimilitude logarítmica. Pero para fins prácticos é máis conveniente traballar coa función de log-verosimilitude na estimación de máxima verosimilitude, en particular porque a maioría das distribucións de probabilidade habituais, especialmente a familia exponencial, son só logaritmicamente cóncavas, e a concavidade da función obxectivo xoga un papel fundamental na maximización da mesma.

Un logaritmo dunha razón de verosimilitude é igual á diferenza das verosimilitudes logarítmicas: 

\log \frac{\mathcal{L}(A)}{\mathcal{L}(B)} = \log \mathcal{L}(A) - \log \mathcal{L}(B) = \ell(A) - \ell(B).

Do mesmo xeito que a verosimilitude, dado ningún evento, é 1, a verosimilitude logarítmica, dado ningún evento, é 0, o que corresponde ao valor da suma baleira: sen ningún dato, non hai soporte para establecer ningún modelo.

### Gráfico 
O gráfico da verosimilitude logarítmica chámase *curva de soporte* (no caso univariante). No caso multivariante, o concepto xeneralizase nunha *superficie de soporte* sobre o espazo de parámetros. Ten relación co soporte dunha distribución, pero é distinto del.

O termo foi acuñado por A. W. F. Edwards Un resultado similar pódese establecer empregando o teorema de Rolle.

A segunda derivada avaliada en \hat{\theta}, coñecida como información de Fisher, determina a curvatura da superficie de verosimilitude, e, polo tanto, indica a precisión da estimación.

### Familias exponenciais 
A verosimilitude logarítmica tamén é particularmente útil para familias exponenciais de distribucións, que inclúen moitas das distribucións de probabilidade paramétricas habituais. A función de distribución de probabilidade (e, polo tanto, a función de verosimilitude) para familias exponenciais contén produtos de factores que implican a exponenciación. O logaritmo dunha función deste tipo é unha suma de produtos, de novo máis fácil de diferenciar que a función orixinal.

Unha familia exponencial é aquela cuxa función de densidade de probabilidade ten a forma (para algunhas funcións, escribindo \langle -, - \rangle para o produto interno):

 p(x \mid \boldsymbol \theta) = h(x) \exp\Big(\langle \boldsymbol\eta({\boldsymbol \theta}), \mathbf{T}(x)\rangle -A({\boldsymbol \theta}) \Big).

Cada un destes termos ten unha interpretación, pero simplemente cambiando de probabilidade a verosimilitude e tomando logaritmos obtense a suma:

 \ell(\boldsymbol \theta \mid x) = \langle \boldsymbol\eta({\boldsymbol \theta}), \mathbf{T}(x)\rangle - A({\boldsymbol \theta}) + \log h(x).

As funcións \boldsymbol \eta(\boldsymbol \theta) e h(x) corresponden cada unha a un cambio de coordenadas, polo que nestas coordenadas, a verosimilitude logarítmica dunha familia exponencial vén dada pola fórmula simple:

 \ell(\boldsymbol \eta \mid x) = \langle \boldsymbol\eta, \mathbf{T}(x)\rangle - A({\boldsymbol \eta}).

Noutras palabras, a verosimilitude logarítmica dunha familia exponencial é o produto interno do parámetro natural  e o estatístico suficiente {{tmath|\mathbf{T}(x)}}, menos o factor de normalización (función de partición logarítmica) {{tmath|A({\boldsymbol \eta})}}. Así, por exemplo, a estimación de máxima verosimilitude pódese calcular tomando derivadas do estatístico suficiente 
T
 e da función de partición logarítmica 
A
.

#### Exemplo: a distribución gamma 
A distribución gamma é unha familia exponencial con dous parámetros, \alpha e \beta. A súa función de verosimilitude é

\mathcal{L} (\alpha, \beta \mid x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}.

Atopar a estimación de máxima verosimilitude de \beta para un único valor observado x parece bastante desalentador. O seu logaritmo é moito máis sinxelo de manexar:

\log \mathcal{L}(\alpha,\beta \mid x) = \alpha \log \beta - \log \Gamma(\alpha) + (\alpha-1) \log x - \beta x. \, 

Para maximizar a verosimilitude logarítmica, primeiro tomamos a derivada parcial con respecto a \beta:

\frac{\partial \log \mathcal{L}(\alpha,\beta \mid x)}{\partial \beta} = \frac{\alpha}{\beta} - x.

Se hai varias observacións independentes x_1, \ldots, x_n, entón a verosimilitude logarítmica conxunta será a suma das verosimilitudes logarítmicas individuais, e a derivada desta suma será unha suma das derivadas de cada verosimilitude logarítmica individual:

\begin{align}
& \frac{\partial \log \mathcal{L}(\alpha,\beta \mid x_1, \ldots, x_n)}{\partial \beta} \\
&= \frac{\partial \log \mathcal{L}(\alpha,\beta \mid x_1)}{\partial \beta} + \cdots + \frac{\partial \log \mathcal{L}(\alpha,\beta \mid x_n)}{\partial \beta} \\
&= \frac{n \alpha} \beta - \sum_{i=1}^n x_i.
\end{align}

Para completar o procedemento de maximización da verosimilitude logarítmica conxunta, a ecuación iguálase a cero e resólvese para \beta:

\widehat\beta = \frac{\alpha}{\bar{x}}.

Aquí \widehat\beta denota a estimación de máxima verosimilitude e \textstyle \bar{x} = \frac{1}{n} \sum_{i=1}^n x_i é a media mostral das observacións.

## Notas 
## Véxase tamén 
### Outros artigos 
* Probabilidade condicionada