Метад максімальнай праўдападобнасці

**Метад максімальнай праўдападобнасці** (**ММП**) — метад   меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца   такім чынам, каб згодна з меркаванай   былі найбольш праўдабадобнымі.  у , які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам .

Калі функцыя праўдападобнасці , можна прымяніць  для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка  для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй.

З пункту гледжання , ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная  з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У  метад максімальнай праўдападобнасці — асаблівы выпадак  з мэтавай функцыяй роўнай праўдападобнасці.

## Прынцыпы 
Набор назіранняў мадэлюецца як выпадковая  з невядомага супольнага размеркавання, якое задаецца наборам . Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар \; \theta = \left[ \theta_{1},\, \theta_2,\, \ldots,\, \theta_k \right]^{\mathsf{T}} \;, таму кажуць, што гэтае размеркаванне адносяцца да  \; \{ f(\cdot\,;\theta) \mid \theta \in \Theta \} \;, дзе \, \Theta \, — ''*, канечнамернае падмноства . Падстаўляючы назіранні \; \mathbf{y} = (y_1, y_2, \ldots, y_n) \; у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю
: \mathcal{L}_{n}(\theta) = \mathcal{L}_{n}(\theta; \mathbf{y}) = f_{n}(\mathbf{y}; \theta) \;,
якая называецца . Для , f_{n}(\mathbf{y}; \theta) можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:
: f_{n}(\mathbf{y}; \theta) =  \prod_{k=1}^n \, f_k^\mathsf{univar}(y_k; \theta) ~.

Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай:
: \hat{\theta} = \underset{\theta\in\Theta}{\operatorname{arg\;max}}\,\mathcal{L}_{n}(\theta\,;\mathbf{y}) ~.

Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне ~ \hat{\theta} = \hat{\theta}_{n}(\mathbf{y}) \in \Theta ~, якое максімізуе функцыю праўдападобнасці \, \mathcal{L}_{n} \,, называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе  \; \hat{\theta}_{n} : \mathbb{R}^{n} \to \Theta \;, то такая функцыя называецца  максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка.  ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на  параметраў. Для  \, \Theta \,, функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.

На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца :
: 
  \ell(\theta\,;\mathbf{y}) =  \ln \mathcal{L}_{n}(\theta\,;\mathbf{y}) ~.
  

Праз тое што лагарыфм — , максімум \; \ell(\theta\,;\mathbf{y}) \; дасягаецца пры тым самым значэнні \theta, што і максімум \, \mathcal{L}_{n} ~.. Калі \ell(\theta\,;\mathbf{y}) —  на \, \Theta \,, то  для максімуму (мінімуму) умовы
: \frac{\partial \ell}{\partial \theta_{1}} = 0, \quad \frac{\partial \ell}{\partial \theta_{2}} = 0, \quad \ldots, \quad \frac{\partial \ell}{\partial \theta_{k}} = 0 ~
называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі \, \widehat{\theta\,} \,, але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай . Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці. , матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум \, \widehat{\theta\,} \, лакальным:

: \mathbf{H}\left(\widehat{\theta\,}\right) = \begin{bmatrix} \left. \frac{\partial^2 \ell}{\partial \theta_1^2} \right|_{\theta=\widehat{\theta\,}} & \left. \frac{\partial^2 \ell}{\partial \theta_1 \, \partial \theta_2} \right|_{\theta=\widehat{\theta\,}} & \dots & \left. \frac{\partial^2 \ell}{\partial \theta_1 \, \partial \theta_k} \right|_{\theta=\widehat{\theta\,}} \\ \left. \frac{\partial^2 \ell}{\partial \theta_2 \, \partial \theta_1} \right|_{\theta=\widehat{\theta\,}} & \left. \frac{\partial^2 \ell}{\partial \theta_2^2} \right|_{\theta=\widehat{\theta\,}} & \dots & \left. \frac{\partial^2 \ell}{\partial \theta_2 \, \partial \theta_k} \right|_{\theta=\widehat{\theta\,}} \\ \vdots & \vdots & \ddots & \vdots \\ \left. \frac{\partial^2 \ell}{\partial \theta_k \, \partial \theta_1} \right|_{\theta=\widehat{\theta\,}} & \left. \frac{\partial^2 \ell}{\partial \theta_k \, \partial \theta_2} \right|_{\theta=\widehat{\theta\,}} & \dots & \left. \frac{\partial^2 \ell}{\partial \theta_k^2} \right|_{\theta=\widehat{\theta\,}} \end{bmatrix} ~.

Калі гесіян  ў \widehat{\theta\,}, то функцыя лакальна . Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці  — .

### Абмежаваная прастора параметраў 
Хаця звычайна абсяг вызначэння функцыі праўдападобнасці () — канечнамернае падмноства , часам на яго могуць накладацца дадатковыя . У такім выпадку прастору параметраў можна запісаць як
: \Theta = \left\{ \theta : \theta \in \mathbb{R}^{k},\; h(\theta) = 0 \right\} ~,
дзе \; h(\theta) = \left[ h_{1}(\theta), h_{2}(\theta), \ldots, h_{r}(\theta) \right] \; —  з \, \mathbb{R}^{k} \, у \; \mathbb{R}^{r} ~. Тады знайсці ацэнку максімальнай праўдападобнасці параметра \theta з мноства \Theta значыць знайсці \theta, для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў ~h(\theta) = 0 ~.

Тэарэтычна, самы натуральны падыход да гэтай задачы  — метад падстаноўкі. Гэта значыць дапаўненне ўмоў \; h_{1}, h_{2}, \ldots, h_{r} \; да мноства \; h_{1}, h_{2}, \ldots, h_{r}, h_{r+1}, \ldots, h_{k} \; такім чынам, што \; h^{\ast} = \left[ h_{1}, h_{2}, \ldots, h_{k} \right] \; — ін’екцыя з \mathbb{R}^{k} у \mathbb{R}^{k}, і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем \; \phi_{i} = h_{i}(\theta_{1}, \theta_{2}, \ldots, \theta_{k}) ~.. Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі. Напрыклад, для многавымернага нармальнага размеркавання  \, \Sigma \, мусіць быць ; гэта абмежаванне можна выканаць падстаноўкай \; \Sigma = \Gamma^{\mathsf{T}} \Gamma \;, дзе \Gamma — рэчаісная , а \Gamma^{\mathsf{T}} — транспанаваная \Gamma (гл.  для доказу ін’ектыўнасці).

На практыцы ўмовы звычайна накладаюцца , які прыводзіць да *раўнанняў абмежаванай праўдападобнасці*:
: \frac{\partial \ell}{\partial \theta} - \frac{\partial h(\theta)^\mathsf{T}}{\partial \theta} \lambda = 0 і h(\theta) = 0 \;,
дзе ~ \lambda = \left[ \lambda_{1}, \lambda_{2}, \ldots, \lambda_{r}\right]^\mathsf{T} ~ — вектар-слупок множнікаў Лагранжа, а \; \frac{\partial h(\theta)^\mathsf{T}}{\partial \theta} \; — матрыца Якобі частковых вытворных памеру . Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як .

## Уласцівасці 
Ацэнка максімальнай праўдападобнасці — , якая максімізуе па *θ*  \widehat{\ell\,}(\theta\,;x). Калі назіранні , маем
: 
    \widehat{\ell\,}(\theta\,;x)=\frac1n \sum_{i=1}^n \ln f(x_i\mid\theta),
  
што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці \ell(\theta) = \operatorname{\mathbb E}[\, \ln f(x_i\mid\theta) \,], узятага па сапраўднай шчыльнасці.

Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметру. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных : калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці:
* : паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння.
* Функцыянальная інварыянтнасць: Калі \hat{\theta} — ацэнка максімальнай праўдападобнасці для \theta, а g(\theta) — адвольнае пераўтварэнне над \theta, то ацэнка максімальнай праўдападобнасці для \alpha = g(\theta ) роўная \hat{\alpha} = g(\hat{\theta} ).
* : ацэнка дасягае ніжняй , калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай , чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая .
* Эфектыўнасць другога парадку пасля карэкцыі ўхілу.

### Слушнасць 
Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці . Гэта значыць, што калі даныя былі ўтвораны функцыяй f(\cdot\,;\theta_0) і мы маем дастаткова вялікую колькасць назіранняў n, то магчыма знайсці значэнне \theta_0 з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі n імкнецца да бесканечнасці, ацэнка \widehat{\theta\,}  да сапраўднага значэння:
: 
    \widehat{\theta\,}_\mathrm{mle}\ \xrightarrow{\text{p}}\ \theta_0.

Пры трохі стражэйшых умовах, ацэнка збягаецца  (або *моцна*):
: 
    \widehat{\theta\,}_\mathrm{mle}\ \xrightarrow{\text{a.s.}}\ \theta_0.

На практыцы, даныя ніколі не ўтвараюцца f(\cdot\,;\theta_0). Наадварот, f(\cdot\,;\theta_0) — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, *''. Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.

Для слушнасці дастаткова наступных умоў.

#  мадэлі: 
    \theta \neq \theta_0 \quad \Leftrightarrow \quad f(\cdot\mid\theta)\neq f(\cdot\mid\theta_0).
  Іншымі словамі, розным параметрам \theta адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне \theta_1, такое што \theta_0 і \theta_1 утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца .Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці \ell(\theta\mid\cdot) мае адзіны глабальны максімум у \theta_0.
# Кампактнасць: прастора параметраў \Theta мадэлі . Умова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як:
#* адначасовая  функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых , або
#* існаванне кампактнага  N для \theta_0, такога што па-за наваколлем N функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы \varepsilon > 0.
# Непарыўнасць: функцыя \ln f(x\mid\theta) непарыўная ў \theta для амаль усіх значэнняў x: 
    \operatorname{\mathbb P} \Bigl[\; \ln f(x\mid\theta) \;\in\; C^0(\Theta) \;\Bigr] = 1.
   Непарыўнасць можа быць замененая слабейшай умовай .
# Дамінантнасць: існуе інтэгравальная па размеркаванні f(x\mid\theta_0) функцыя D(x), такая што 
    \Bigl|\ln f(x\mid\theta)\Bigr|  Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці: 
    \sup_{\theta\in\Theta} \left|\widehat{\ell\,}(\theta\mid x) - \ell(\theta)\,\right|\ \xrightarrow{\text{p}}\ 0.
   Умова дамінантнасці можа быць выкарыстана ў выпадку . Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што \widehat{\ell\,}(\theta\mid x) .

Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці \widehat{\theta\,} збягаецца да \theta_0 , то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:
: 
    \sup_{\theta\in\Theta} \left\|\;\widehat{\ell\,}(\theta\mid x) - \ell(\theta)\;\right\| \ \xrightarrow{\text{a.s.}}\ 0.
  

Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй f(\cdot\,;\theta_0), пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці  к нармальнаму размеркаванню
: 
    \sqrt{n}\left(\widehat{\theta\,}_\mathrm{mle} - \theta_0\right)\ \xrightarrow{d}\ \mathcal{N}\left(0,\, I^{-1}\right)
  ,
дзе I — .

### Функцыянальная інварыянтнасць 
Калі \widehat{\theta\,} — ацэнка максімальнай праўдападобнасці для \theta, а g(\theta) — трансфармацыя над \theta, то ацэнка максімальнай праўдападобнасці для \alpha=g(\theta) роўная
: \widehat{\alpha} = g(\widehat{\theta}). \,

Яна максімізуе так званую :

: \bar{L}(\alpha) = \sup_{\theta: \alpha = g(\theta)} L(\theta). \, 

Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі y=g(x), дзе g — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае
: f_Y(y) = \frac{f_X(x)} 
і функцыі праўдападобнасці для X і Y адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.

Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.

## Крыніцы 
## Літаратура 
* 

Катэгорыя:Матэматычная статыстыка