Función de verosimilitude

Unha función de verosimilitude (normalmente chamada simplemente verosimilitude) mide o éxito co que un modelo estatístico explica un conxunto de datos observados calculando a probabilidade de ter xerado tales datos a partir de distintos valores dos parámetros do modelo. Constrúese a partir da distribución de probabilidade conxunta da variable aleatoria que (presuntamente) xerou as observacións. Deste xeito, ao avaliarse nos datos observados convértese nunha función que depende unicamente dos parámetros do modelo.

Na estimación por máxima verosimilitude, o argumento que maximiza a función de verosimilitude serve como un estimador puntual do parámetro descoñecido. Ademais, a través da información de Fisher podemos obter unha aproximación da precisión do estimador.

Pola contra, na estatística bayesiana, o interese céntrase no inverso da verosimilitude, coñecido como a probabilidade posterior do parámetro en función dos datos observados, que se calcula mediante a aplicación do teorema de Bayes.

 Definición 
A función de verosimilitude, dada en función dun parámetro  (ou vector de parámetros), defínese de xeito diferente segundo traballemos con distribucións de probabilidade discretas ou continuas. Dada unha función de densidade ou unha función de masa de probabilidade

onde  é a realización da variable aleatoria , a función de verosimilitude é

tamén escrita habitualmente como .

Noutras palabras, cando  se ve como unha función de  con  fixo, é unha función de densidade de probabilidade, e cando se ve como unha función de  con  fixado, é unha función de verosimilitude. No paradigma frecuentista, a notación  adoita evitarse empregando no seu lugar  ou  para indicar que  é unha cantidade descoñecida, pero fixa, en lugar dunha variable aleatoria condicionante.

A función de verosimilitude non especifica que a probabilidade de que  sexa o verdadeiro parámetro, dada a mostra observada . Tal interpretación é un erro común, con potenciais consecuencias desastrosas (ver a falacia da frecuencia base).

 Distribución de probabilidade discreta 
Sexa  é unha variable aleatoria discreta con función de masa de probabilidade  dada polo parámetro . A función

como función de  é a función de verosimilitude, dada a observación , da variable aleatoria . En ocasións a probabilidade de "obter o valor  de  dado o valor do parámetro " escríbese como  ou . A verosimilitude é a probabilidade de que un posible resultado  se observe cando o valor verdadeiro do parámetro é , equivalente á masa de probabilidade sobre . É importante sinalar que isto non define unha densidade de probabilidade sobre , que está fixo. Tampouco debe de confundirse a verosimilitude, , coa probabilidade a posteriori de  dado , .

 Exemplo 
miniatura|Figura 1.  Función de verosimilitude () para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HH" 

miniatura|Figura 2.  Función de verosimilitude () para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HHT" 

Consideremos un modelo estatístico simple, tirar unha moeda ao aire. Este vén dado por un único parámetro  que determina a probabilidade de que a moeda caia coa "cara" para arriba ao lanzar a moeda (H). Polo tanto, . Se a moeda fose "legal" (non estivese trucada), teríamos que .

Lanzamos a moeda dúas veces e en ambas sae cara ("HH"). Supoñendo que cada lanzamento é i.i.d., entón a probabilidade de observar "HH" é

Do mesmo xeito, a función de verosimilitude de observar "HH" supoñendo  é

o que non equivale a dicir que . Para poder calcular dita probabilidade teríamos que empregar o teorema de Bayes

Se agora consideramos unha moeda trucada, con . Entón a probabilidade de obter cara dúas veces é 



Polo tanto, . Na Figura 1 represéntase o resultado de calcular, para cada valor de , a verosimilitude correspondente. Mentres, na Figura 2 realízase unha representación similar para o caso no que a moeda teña caído dúas veces de cara e unha de cruz ("HHT"). 

 Distribución de probabilidade continua 
Sexa  unha variable aleatoria cunha seguindo unha distribución de probabilidade (absolutamente) continua con función de densidade . A función

como función de , é a función de verosimilitude (de , dada a observación ). Igualmente, cabe recalcar que  non define unha función de densidade ou de masa de probabilidade sobre .

 Relación entre a verosimilitude e as funcións de densidade de probabilidade 
O uso da densidade de probabilidade para especificar a función de verosimilitude ten a seguinte xustificación. Dada unha observación , a verosimilitude no intervalo , onde  é constante, e vén dada por . Obsérvase que

xa que  é positivo e constante. Tense que

onde  é a función de densidade de probabilidade. Empregando o primeiro teorema fundamental do cálculo chégase a que

Logo, tendo en conta todo o anterior

Chegando a que: , polo que maximizar a densidade de probabilidade en  leva a que esteamos maximizando a verosimilitude dada a observación .

 Razón de verosimilitudes e verosimilitude relativa 

 Razón de verosimilitudes 
Unha razón de verosimilitudes é o cociente de calquera dúas verosimilitudes, dado por

A razón de verosimilitudes é un concepto central da análise estatística. A lei da verosimilitude establece que o grao no que uns datos (considerados como unha evidencia) sosteñen un valor dun parámetro respecto doutro mídese a través da razón de verosimilitudes.

Na inferencia frecuentista, a razón de verosimilitudes é a base para un test estatístico, levando o nome de test de razón de verosimilitudes. Pódese comprobar, mediante o lema de Neyman-Pearson, que este é o test máis potente para comparar dúas hipóteses simples dado un nivel de significación. Moitos outros tests poden verse como tests de razón de verosimilitudes ou como aproximacións dos mesmos. A distribución asintótica da razón de log-verosimilitudes, considerada como un test estatístico, vén dada polo teorema de Wilks.

A razón de verosimilitude tamén ten unha importancia capital na inferencia bayesiana, onde se coñece como o factor de Bayes, que se usa na regra de Bayes. Expresada en termos de probabilidades, a regra de Bayes afirma que as probabilidades "posteriores" de dúas alternativas,  e , dado un evento , son as probabilidades "a priori", multiplicadas pola razón de verosimilitude. Isto é  



A razón de verosimilitude non se usa directamente nas estatísticas baseadas no AIC. En cambio, o que se usa é a verosimilitude relativa dos modelos (que se trata máis abaixo).

Na medicina baseada na evidencia, as razóns de verosimilitude empréganse nas probas diagnósticas para avaliar o valor de realizas.  

 Función de verosimilitude relativa 

Dado que o valor real da función de verosimilitude depende da mostra, a miúdo é conveniente traballar cunha medida estandarizada. Supoñamos que a estimación de máxima verosimilitude para o parámetro  é . As verosimilitudes relativas doutros valores de  pódense obter comparando as verosimilitudes deses outros valores coa verosimilitude de . A verosimilitude relativa de  defínese como

Así, a verosimilitude relativa é a razón de verosimilitude (mencionada anteriormente) co denominador fixo . Isto correspondese coa estandarización da verosimilitude para que teña un máximo de 1.

 Rexión de verosimilitude 
Unha rexión de verosimilitude é o conxunto de todos os valores de  cuxa verosimilitude relativa é maior ou igual a un limiar determinado. En termos de porcentaxes, unha «rexión de  de verosimilitude para  defínese como

Se  consta dun único parámetro real, unha rexión de verosimilitude de % normalmente comprenderá un intervalo de valores reais. Se a rexión comprende un intervalo, entón chámase «intervalo de verosimilitude».

Os intervalos de verosimilitude, e máis xeralmente as rexións de verosimilitude, empréganse para a estimación de intervalos dentro das estatísticas baseadas na verosimilitude: son similares aos intervalos de confianza nas estatísticas frecuentistas e aos intervalos de cribles nas estatísticas bayesianas. Os intervalos de verosimilitude interprétanse directamente en termos de verosimilitude relativa, non en termos de probabilidade de cobertura (frecuentismo) ou probabilidade posterior (bayesianismo).

Dado un modelo, os intervalos de verosimilitude pódense comparar cos intervalos de confianza. Se  é un único parámetro real, entón, baixo certas condicións, un intervalo de verosimilitude do 14,65% (aproximadamente unha verosimilitude de 1:7) para  será o mesmo que un intervalo de confianza do 95% (probabilidade de cobertura de 19:20). Nunha formulación lixeiramente diferente, axeitada para o uso de log-verosimilitudes (véxase o teorema de Wilks), o estatístico de contraste é o dobre da diferenza nas log-verosimilitudes e a distribución de probabilidade do estatístico de contraste é aproximadamente unha distribución khi cadrado con graos de liberdade iguais á diferenza dos graos de liberdade dos dous modelos (polo tanto, o % intervalo de verosimilitude é o mesmo que o intervalo de confianza ao 95,4%; asumindo que a diferenza nos graos de liberdade é 1).

 Verosimilitude para eliminar parámetros molestos 
En moitos casos, a verosimilitude é función de máis dun parámetro, pero o interese céntrase na estimación dun só, ou como máximo duns poucos deles, considerándose os demais parámetros molestos. Desenvolvéronse varios enfoques alternativos para eliminar estes parámetros molestos, de xeito que unha verosimilitude pódese escribir como función só do parámetro (ou parámetros) de interese: os principais son as probabilidades de perfil, condicionais e marxinais. Estas abordaxes tamén son útiles cando unha superficie de verosimilitude de alta dimensionalidade precisa ser reducida a un ou dous parámetros de interese de xeito que sexa posible representala graficamente.

 Verosimilitude perfil 
É posible reducir as dimensións concentrando a función de verosimilitude para un subconxunto de parámetros, expresando os parámetros molestos como funcións dos parámetros de interese e substituíndoos na expresión da función de verosimilitude. En xeral, para unha función de verosimilitude que depende do vector de parámetros  que se pode dividir en , e onde se pode determinar explicitamente unha relación , a concentración reduce a carga computacional do problema de maximización orixinal.

Por exemplo, nunha regresión lineal con erros distribuídos normalmente, , o vector de coeficientes podería particionarse en  (e, en consecuencia, a matriz de deseño ). Maximizar con respecto a  produce unha función onde o valor óptimo séguese de

Empregando este resultado, o estimador de máxima verosimilitude para  pódese derivar como 

onde  é a matriz de proxección de . Este resultado coñécese como o teorema de Frisch-Waugh-Lovell.

Dado que graficamente o procedemento de concentración é equivalente a cortar a superficie de verosimilitude ao longo da crista de valores do parámetro de molestia  que maximiza a función de verosimilitude, creando un perfil isométrico da función de verosimilitude para un  dado, o resultado deste procedemento tamén se coñece como verosimilitude perfil. Ademais de representarse graficamente, a probabilidade de perfil tamén se pode usar para calcular intervalos de confianza que a miúdo teñen mellores propiedades en mostras pequenas que os baseados en erros estándar asintóticos calculados a partir da verosimilitude total.

 Verosimilitude condicional 
Ás veces é posible atopar un estatístico suficiente para os parámetros molestos de forma que, condicionando respecto deste estatístico, se obteña unha verosimilitude que non depende dos parámetros molestos.

 Produtos de probabilidades 
A probabilidade, dados dous ou máis eventos independentes, é o produto das probabilidades de cada un dos eventos individuais: 

Isto é particularmente importante cando os eventos proveñen de variables aleatorias independentes e identicamente distribuídas, como observacións independentes ou observacións obtidas mediante mostraxe con substitución. Nunha situación deste tipo, a función de probabilidade factorízase nun produto de funcións de verosimilitude individuais.

 Log-verosimilitude 
A "función logarítmica de verosimilitude" é o logaritmo da función de verosimilitude, a miúdo denotada por unha  ou  minúscula, en contraste coa  ou  maiúscula para a verosimilitude. Dado que os logaritmos son funcións estritamente crecentes, maximizar a verosimilitude é equivalente a maximizar a verosimilitude logarítmica. Pero para fins prácticos é máis conveniente traballar coa función de log-verosimilitude na estimación de máxima verosimilitude, en particular porque a maioría das distribucións de probabilidade habituais, especialmente a familia exponencial, son só logaritmicamente cóncavas, e a concavidade da función obxectivo xoga un papel fundamental na maximización da mesma.

Un logaritmo dunha razón de verosimilitude é igual á diferenza das verosimilitudes logarítmicas: 

Do mesmo xeito que a verosimilitude, dado ningún evento, é 1, a verosimilitude logarítmica, dado ningún evento, é 0, o que corresponde ao valor da suma baleira: sen ningún dato, non hai soporte para establecer ningún modelo.

 Gráfico 
O gráfico da verosimilitude logarítmica chámase curva de soporte (no caso univariante). No caso multivariante, o concepto xeneralizase nunha superficie de soporte sobre o espazo de parámetros. Ten relación co soporte dunha distribución, pero é distinto del.

O termo foi acuñado por A. W. F. Edwards no contexto dos contrastes de hipóteses estatísticas, é dicir, se os datos "apoian" ou non unha hipótese (ou valor do parámetro) que se está a probar en maior medida que calquera outra.

A función de verosimilitude logarítmica que se está a representar utilízase no cálculo da score (o gradiente da verosimilitude logarítmica) e a información de Fisher (a curvatura da verosimilitude logarítmica). Polo tanto, o gráfico ten unha interpretación directa no contexto da estimación de máxima verosimilitude e dos contrastes de razón de verosimilitudes.

 Ecuacións de verosimilitude 
Se a función logarítmica de verosimilitude é suave, o seu gradiente con respecto ao parámetro, coñecido como score e escrito como , existe e permite a aplicación do cálculo diferencial. A forma básica de maximizar unha función diferenciable é atopar os seus puntos estacionarios (os puntos onde a derivada é cero); dado que a derivada dunha suma é só a suma das derivadas, pero a derivada dun produto require da regra do produto, é máis doado calcular os puntos estacionarios da verosimilitude logarítmica de eventos independentes que para a verosimilitude de eventos independentes.

As ecuacións definidas polo punto estacionario da función de score serven como ecuacións de estimación para o estimador de máxima verosimilitude

Nese sentido, o estimador de máxima verosimilitude defínese implicitamente polo valor en  da función inversa , onde  é o espazo euclidiano de dimensión d e  é o espazo de parámetros. Mediante o teorema da función inversa pódese demostrar que  está ben definido nunha veciñanza aberta arredor de  cunha probabilidade de un, e  é unha estimación consistente de . En consecuencia, existe unha secuencia  tal que  asintoticamente con converxencia case segura, e . Un resultado similar pódese establecer empregando o teorema de Rolle.

A segunda derivada avaliada en , coñecida como información de Fisher, determina a curvatura da superficie de verosimilitude, e, polo tanto, indica a precisión da estimación.

 Familias exponenciais 

A verosimilitude logarítmica tamén é particularmente útil para familias exponenciais de distribucións, que inclúen moitas das distribucións de probabilidade paramétricas habituais. A función de distribución de probabilidade (e, polo tanto, a función de verosimilitude) para familias exponenciais contén produtos de factores que implican a exponenciación. O logaritmo dunha función deste tipo é unha suma de produtos, de novo máis fácil de diferenciar que a función orixinal.

Unha familia exponencial é aquela cuxa función de densidade de probabilidade ten a forma (para algunhas funcións, escribindo  para o produto interno):

Cada un destes termos ten unha interpretación, pero simplemente cambiando de probabilidade a verosimilitude e tomando logaritmos obtense a suma:

As funcións  e  corresponden cada unha a un cambio de coordenadas, polo que nestas coordenadas, a verosimilitude logarítmica dunha familia exponencial vén dada pola fórmula simple:

Noutras palabras, a verosimilitude logarítmica dunha familia exponencial é o produto interno do parámetro natural  e o estatístico suficiente , menos o factor de normalización (función de partición logarítmica) . Así, por exemplo, a estimación de máxima verosimilitude pódese calcular tomando derivadas do estatístico suficiente  e da función de partición logarítmica .

 Exemplo: a distribución gamma 
A distribución gamma é unha familia exponencial con dous parámetros,  e . A súa función de verosimilitude é

Atopar a estimación de máxima verosimilitude de  para un único valor observado  parece bastante desalentador. O seu logaritmo é moito máis sinxelo de manexar:

Para maximizar a verosimilitude logarítmica, primeiro tomamos a derivada parcial con respecto a :

Se hai varias observacións independentes , entón a verosimilitude logarítmica conxunta será a suma das verosimilitudes logarítmicas individuais, e a derivada desta suma será unha suma das derivadas de cada verosimilitude logarítmica individual:

Para completar o procedemento de maximización da verosimilitude logarítmica conxunta, a ecuación iguálase a cero e resólvese para :

Aquí  denota a estimación de máxima verosimilitude e  é a media mostral das observacións.

 Notas 

 Véxase tamén 

 Outros artigos 

 Probabilidade condicionada

Categoría:Estatística