Máxima verosimilitude

En estatística, a estimación por máxima verosimilitude ou máxima verosemellanza (coñecida tamén como EMV e, en ocasións, MLE polas súas siglas en inglés) é un método habitual para axustar un modelo e estimar os seus parámetros. Historia
O método foi recomendado, analizado e popularizado por R. A. Fisher entre 1912 e 1922, aínda que fora utilizado antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele e Francis Edgeworth. Fundamento
Supóñase que se ten unha mostra x1, x2, …, xn de n observacións independentes e identicamente distribuídas extraídas dunha función de distribución descoñecida con función de densidade (ou función de probabilidade) f0(·). Sábese, con todo, que f0 pertence a unha familia de distribucións { f(·|θ), θ ∈ Θ }, chamada modelo paramétrico, de maneira que f0 corresponde a θ θ0, que é o verdadeiro valor do parámetro. Deséxase atopar o valor θ ^ {\displaystyle \scriptstyle {\hat {\theta }}} (ou estimador) que estea o máis próximo posible ao verdadeiro valor θ0.
Tanto xi como θ poden ser vectores.
A idea deste método é a de atopar primeiro a función de densidade conxunta de todas as observacións, que baixo condicións de independencia, é f ( x 1, x 2, …, x n | θ )
f ( x 1 | θ ) ⋅ f ( x 2 | θ ) ⋯ f ( x n | θ ) {\displaystyle f(x_{1}, x_{2}, \ldots, x_{n}\; |\; \theta )
f(x_{1}|\theta )\cdot f(x_{2}|\theta )\cdots f(x_{n}|\theta )\, } Observando esta función baixo un ángulo lixeiramente distinto, pódese supor que os valores observados x1, x2, …, xn son fixos mentres que θ pode variar libremente. Esta é a función de verosimilitude: L ( θ | x 1, …, x n )
∏ i
1 n f ( x i | θ ). {\displaystyle {\mathcal {L}}(\theta \, |\, x_{1}, \ldots, x_{n})
\prod _{i
1}^{n}f(x_{i}|\theta ). } Na práctica, adóitase utilizar o logaritmo desta función: ℓ ^ ( θ | x 1, …, x n )
ln ⁡ L
∑ i
1 n ln ⁡ f ( x i | θ ). {\displaystyle {\hat {\ell }}(\theta \, |\, x_{1}, \ldots, x_{n})
\ln {\mathcal {L}}
\sum _{i
1}^{n}\ln f(x_{i}|\theta ). } O método da máxima verosimilitude estima θ0 buscando o valor de θ que maximiza ℓ ^ ( θ | x ) {\displaystyle \scriptstyle {\hat {\ell }}(\theta |x)}. Este é o chamado estimador de máxima verosimilitude (MLE) de θ0: θ ^ m l e
a r g m a x θ ∈ Θ ℓ ^ ( θ | x 1, …, x n ). {\displaystyle {\hat {\theta }}_{\mathrm {mle} }
{\underset {\theta \in \Theta }{\operatorname {arg\, max} }}\ {\hat {\ell }}(\theta \, |\, x_{1}, \ldots, x_{n}). } En ocasións este estimador é unha función explícita dos datos observados x1, …, xn, pero moitas veces hai que recorrer a optimizacións numéricas. Tamén pode ocorrer que o máximo non sexa único ou non exista.
Na exposición anterior asumiuse a independencia das observacións, pero non é un requisito necesario: abonda con poder construír a función de probabilidade conxunta dos datos para poder aplicar o método. Un contexto no que isto é habitual é o da análise de series temporais. Propiedades do estimador de máxima verosimilitude
En moitos casos, o estimador obtido por máxima verosimilitude posúe un conxunto de propiedades asintóticas atractivas: consistencia,
normalidade asintótica,
eficiencia,
e mesmo eficiencia de segunda orde tras corrixir o nesgo.
Consistencia
Baixo certas condicións bastante habituais, o estimador de máxima verosimilitude é consistente: se o número de observacións n tende a infinito, o estimador θ ^ {\displaystyle \scriptstyle {\hat {\theta }}} converxe en probabilidade ao seu valor verdadeiro: θ ^ m l e → p θ 0. {\displaystyle {\hat {\theta }}_{\mathrm {mle} }\ {\xrightarrow {p}}\ \theta _{0}\. } Baixo condicións algo máis fortes, a converxencia é case segura: θ ^ m l e → a. s. θ 0. {\displaystyle {\hat {\theta }}_{\mathrm {mle} }\ {\xrightarrow {a. s. }}\ \theta _{0}\. }
Normalidade asintótica
Se as condicións para a consistencia se cumpren e ademais θ 0 ∈ int ⁡ ( Θ ) {\displaystyle \theta _{0}\in \operatorname {int} (\Theta )}; f ( x | θ ) > 0 {\displaystyle f(x|\theta )>0} e é dúas veces continuamente diferenciable respecto a θ {\displaystyle \theta } nalgunha veciñanza N de θ 0 {\displaystyle \theta _{0}}; ∫ sup θ ∈ N ‖ ∇ θ f ( x | θ ) ‖ d x < ∞ {\displaystyle \int \sup _{\theta \in \mathbb {N} }\lVert \nabla _{\theta }f(x|\theta )\lVert dx<\infty } e ∫ sup θ ∈ N ‖ ∇ θ θ f ( x | θ ) ‖ d x < ∞ {\displaystyle \int \sup _{\theta \in \mathbb {N} }\lVert \nabla _{\theta \theta }f(x|\theta )\lVert dx<\infty } I
E [ ∇ θ ln ⁡ f ( x | θ 0 ) ∇ θ ln ⁡ f ( x | θ 0 ) ′ ] {\displaystyle I
\mathbb {E} \left[\nabla _{\theta }\ln f(x|\theta _{0})\nabla _{\theta }\ln f(x|\theta _{0})'\right]} existe e non é singular; E [ sup θ ∈ N ‖ ∇ θ θ ln ⁡ f ( x | θ ) ‖ ] < ∞ {\displaystyle \mathbb {E} \left[\sup _{\theta \in \mathbb {N} }\lVert \nabla _{\theta \theta }\ln f(x|\theta )\lVert \right]<\infty },
entón o estimador de máxima verosimilitude ten unha distribución asintótica normal: n ( θ ^ m l e − θ 0 ) → d N ( 0, I − 1 ). {\displaystyle {\sqrt {n}}{\big (}{\hat {\theta }}_{\mathrm {mle} }-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}(0, \, I^{-1}). }
Invariancia funcional
Se θ ^ {\displaystyle {\widehat {\theta }}} é o EMV de θ e g(θ) é unha transformación de θ, entón o EMV de α
g(θ) é α ^
g ( θ ^ ). {\displaystyle {\widehat {\alpha }}
g({\widehat {\theta }}). \, \! } Ademais, o EMV é invariante fronte a certas transformacións dos datos. En efecto, se Y
g ( X ) {\displaystyle Y
g(X)} e g {\displaystyle g} é unha aplicación bixectiva que non depende dos parámetros que se estiman, entón a función de densidade de Y é f Y ( y )
f X ( x ) / | g ′ ( x ) | {\displaystyle f_{Y}(y) f_{X}(x)/|g'(x)|} É dicir, as funcións de densidade de X e Y difiren unicamente nun termo que non depende dos parámetros. Así, por exemplo, o EMV para os parámetros dunha distribución lognormal son os mesmos que os dunha distribución normal axustada sobre o logaritmo dos datos de entrada.
Outras propiedades
O EMV é √n-consistente e asintóticamente eficiente. En particular, isto significa que o nesgo é cero até a orde n−1/2. Con todo, ao obter os termos de maior orde da expansión de Edgeworth da distribución do estimador, θemv ten un nesgo de orde −1. Este nesgo é igual a b s ≡ E ⁡ [ ( θ ^ m l e − θ 0 ) s ]
1 n ⋅ I s i I j k ( 12 K i j k + J j, i k ), {\displaystyle b_{s}\equiv \operatorname {E} [({\hat {\theta }}_{\mathrm {mle} }-\theta _{0})_{s}]
{\frac {1}{n}}\cdot I^{si}I^{jk}{\big (}{\tfrac {1}{2}}K_{ijk}+J_{j, ik}{\big )}, } fórmula onde se adoptou a convención de Einstein para expresar sumas; I jk representa a j, k-ésima compoñente da inversa da matriz de información de Fisher e 12 K i j k + J j, i k
E ⁡ [ 12 ∂ 3 ln ⁡ f θ 0 ( x t ) ∂ θ i ∂ θ j ∂ θ k + ∂ ln ⁡ f θ 0 ( x t ) ∂ θ j ∂ 2 ln ⁡ f θ 0 ( x t ) ∂ θ i ∂ θ k ]. {\displaystyle {\tfrac {1}{2}}K_{ijk}+J_{j, ik}
\operatorname {E} {\bigg [}\; {\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(x_{t})}{\partial \theta _{i}\, \partial \theta _{j}\, \partial \theta _{k}}}+{\frac {\partial \ln f_{\theta _{0}}(x_{t})}{\partial \theta _{j}}}{\frac {\partial ^{2}\ln f_{\theta _{0}}(x_{t})}{\partial \theta _{i}\, \partial \theta _{k}}}\; {\bigg ]}. } Grazas a estas fórmulas é posible estimar o nesgo de segunda orde do estimador e corrixilo mediante subtracción: θ ^ m l e ∗
θ ^ m l e − b ^. {\displaystyle {\hat {\theta }}_{\mathrm {mle} }^{*}
{\hat {\theta }}_{\mathrm {mle} }-{\hat {b}}. } Este estimador, non nesgado até a orde n−1, chámase estimador de máxima verosimilitud con corrección do nesgo. Exemplos
Distribución uniforme discreta
Supóñase que n bólas numeradas de 1 a n se colocan nunha urna e que unha delas se extrae ao azar. Se se descoñece n, o seu EMV é o número m que aparece na bóla extraída: a función de verosimilitude é 0 para n < m e 1/n para n ≥ m; que alcanza o seu máximo cando n m. A esperanza matemática de n ^ {\displaystyle {\hat {n}}}, é (n + 1)/2. Como consecuencia, o EMV de n infravalorará o verdadeiro valor de n por (n − 1)/2.
Distribución discreta con parámetros discretos
Supóñase que se lanza unha moeda nesgada ao aire 80 veces. A mostra resultante pode ser x1
H, x2
T, .. ., x80 T, e cóntase o número de caras, "H". A probabilidade de que saia cara é p e a de que saia cruz, 1 − p (de modo que p é o parámetro θ). Supóñase que se obteñen 49 caras e 31 cruces. Imaxínese que a moeda se extraeu dunha caixa que contiña tres delas e que estas teñen probabilidades p iguais a 1/3, 1/2 e 2/3 aínda que non se sabe cal delas é cal.
A partir dos datos obtidos do experimento pódese saber cal é a moeda coa máxima verosimilitude. Empregando a función de probabilidade da distribución binomial cunha mostra de tamaño 80, número de éxitos igual a 49 e distintos valores de p, a función de verosimilitude toma os tres valores seguintes: Pr ( H
49 ∣ p
1 / 3 )
( 8049 ) ( 1 / 3 ) 49 ( 1 − 1 / 3 ) 31 ≈ 0. 000, Pr ( H
49 ∣ p
1 / 2 )
( 8049 ) ( 1 / 2 ) 49 ( 1 − 1 / 2 ) 31 ≈ 0. 012, Pr ( H
49 ∣ p
2 / 3 )
( 8049 ) ( 2 / 3 ) 49 ( 1 − 2 / 3 ) 31 ≈ 0. 054. {\displaystyle {\begin{aligned}\Pr(\mathrm {H}
49\mid p
1/3)&
{\binom {80}{49}}(1/3)^{49}(1-1/3)^{31}\approx 0. 000, \\[6pt]\Pr(\mathrm {H}
49\mid p
1/2)&
{\binom {80}{49}}(1/2)^{49}(1-1/2)^{31}\approx 0. 012, \\[6pt]\Pr(\mathrm {H}
49\mid p
2/3)&
{\binom {80}{49}}(2/3)^{49}(1-2/3)^{31}\approx 0. 054. \end{aligned}}} A verosimilitude é máxima cando p 2/3 e este é, polo tanto, o EMV de p. Aplicacións
O estimador de máxima verosimilitude úsase dentro dun gran número de modelos estatísticos: modelos lineares xeneralizados
análise factorial
análise de ecuacións estruturais
tests estatísticos