**Метад максімальнай праўдападобнасці** (**ММП**) — метад ацэньвання[en] параметраў[en] меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца максімізацыяй[en] функцыі праўдападобнасці[en] такім чынам, каб згодна з меркаванай статыстычнай мадэллю[en] назіранні[en] былі найбольш праўдабадобнымі. Пункт[en] у прасторы параметраў[en], які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам статыстычнага высноўвання[en].

Калі функцыя праўдападобнасці дыферэнцавальная[en], можна прымяніць метад вытворнай[en] для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка звычайным метадам найменшых квадратаў[en] для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй.

З пункту гледжання баесаўскага высноўвання[en], ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная ацэнцы апастэрыёрнага максімуму[en] з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У частотным высноўванні[en] метад максімальнай праўдападобнасці — асаблівы выпадак экстрэмальнай ацэнкі[en] з мэтавай функцыяй роўнай праўдападобнасці.

Прынцыпы
--------

Набор назіранняў мадэлюецца як выпадковая выбарка[en] з невядомага супольнага размеркавання, якое задаецца наборам параметраў[en]. Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар {\displaystyle \;\theta =\left[\theta \_{1},\,\theta \_{2},\,\ldots ,\,\theta \_{k}\right]^{\mathsf {T}}\;}, таму кажуць, што гэтае размеркаванне адносяцца да параметрычнага сямейства[en] {\displaystyle \;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;}, дзе {\displaystyle \,\Theta \,} — *прастора параметраў[en]*, канечнамернае падмноства Еўклідавай прасторы[en]. Падстаўляючы назіранні {\displaystyle \;\mathbf {y} =(y\_{1},y\_{2},\ldots ,y\_{n})\;} у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю

{\displaystyle {\mathcal {L}}\_{n}(\theta )={\mathcal {L}}\_{n}(\theta ;\mathbf {y} )=f\_{n}(\mathbf {y} ;\theta )\;,}
якая называецца функцыяй праўдападобнасці[en]. Для незалежных і аднолькава размеркаваных выпадковых велічынь[en], {\displaystyle f\_{n}(\mathbf {y} ;\theta )} можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:

{\displaystyle f\_{n}(\mathbf {y} ;\theta )=\prod \_{k=1}^{n}\,f\_{k}^{\mathsf {univar}}(y\_{k};\theta )~.}
Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай:

{\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}\_{n}(\theta \,;\mathbf {y} )~.}
Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне {\displaystyle ~{\hat {\theta }}={\hat {\theta }}\_{n}(\mathbf {y} )\in \Theta ~}, якое максімізуе функцыю праўдападобнасці {\displaystyle \,{\mathcal {L}}\_{n}\,}, называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе вымерная функцыя[en] {\displaystyle \;{\hat {\theta }}\_{n}:\mathbb {R} ^{n}\to \Theta \;}, то такая функцыя называецца функцыяй ацэнкі[en] максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка. Дастатковая, але не неабходная[en] ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на кампактнай прасторы[en] параметраў. Для адкрытага мноства[en] {\displaystyle \,\Theta \,}, функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.

На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца лагарыфмам праўдападобнасці[en]:

{\displaystyle \ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}\_{n}(\theta \,;\mathbf {y} )~.}
Праз тое што лагарыфм — манатонная функцыя[en], максімум {\displaystyle \;\ell (\theta \,;\mathbf {y} )\;} дасягаецца пры тым самым значэнні {\displaystyle \theta }, што і максімум {\displaystyle \,{\mathcal {L}}\_{n}~.}. Калі {\displaystyle \ell (\theta \,;\mathbf {y} )} — дыферэнцавальная функцыя[en] на {\displaystyle \,\Theta \,}, то неабходныя[en] для максімуму (мінімуму) умовы

{\displaystyle {\frac {\partial \ell }{\partial \theta \_{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta \_{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta \_{k}}}=0~}
называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі {\displaystyle \,{\widehat {\theta \,}}\,}, але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай лікавай аптымізацыі[en]. Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці. Гесіян[en], матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум {\displaystyle \,{\widehat {\theta \,}}\,} лакальным:

{\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{1}^{2}}}\right|\_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{1}\,\partial \theta \_{2}}}\right|\_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{1}\,\partial \theta \_{k}}}\right|\_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{2}\,\partial \theta \_{1}}}\right|\_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{2}^{2}}}\right|\_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{2}\,\partial \theta \_{k}}}\right|\_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{k}\,\partial \theta \_{1}}}\right|\_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{k}\,\partial \theta \_{2}}}\right|\_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta \_{k}^{2}}}\right|\_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~.}
Калі гесіян адмоўна паўвызначаны[en] ў {\displaystyle {\widehat {\theta \,}}}, то функцыя лакальна ўвагнутая[en]. Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці экспанентавае сямейства[en] — лагарыфмічна ўвагнутыя[en].

### Абмежаваная прастора параметраў

Хаця звычайна абсяг вызначэння функцыі праўдападобнасці (прастора параметраў[en]) — канечнамернае падмноства Еўклідавай прасторы[en], часам на яго могуць накладацца дадатковыя абмежаванні[en]. У такім выпадку прастору параметраў можна запісаць як

{\displaystyle \Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}
дзе {\displaystyle \;h(\theta )=\left[h\_{1}(\theta ),h\_{2}(\theta ),\ldots ,h\_{r}(\theta )\right]\;} — вектар-функцыя[en] з {\displaystyle \,\mathbb {R} ^{k}\,} у {\displaystyle \;\mathbb {R} ^{r}~}. Тады знайсці ацэнку максімальнай праўдападобнасці параметра {\displaystyle \theta } з мноства {\displaystyle \Theta } значыць знайсці {\displaystyle \theta }, для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў {\displaystyle ~h(\theta )=0~}.

Тэарэтычна, самы натуральны падыход да гэтай задачы ўмоўнай аптымізацыі[en] — метад падстаноўкі. Гэта значыць дапаўненне ўмоў {\displaystyle \;h\_{1},h\_{2},\ldots ,h\_{r}\;} да мноства {\displaystyle \;h\_{1},h\_{2},\ldots ,h\_{r},h\_{r+1},\ldots ,h\_{k}\;} такім чынам, што {\displaystyle \;h^{\ast }=\left[h\_{1},h\_{2},\ldots ,h\_{k}\right]\;} — ін’екцыя з {\displaystyle \mathbb {R} ^{k}} у {\displaystyle \mathbb {R} ^{k}}, і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем {\displaystyle \;\phi \_{i}=h\_{i}(\theta \_{1},\theta \_{2},\ldots ,\theta \_{k})~.}. Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі. Напрыклад, для многавымернага нармальнага размеркавання матрыца каварыяцыі[en] {\displaystyle \,\Sigma \,} мусіць быць дадатна вызначанай матрыцай[en]; гэта абмежаванне можна выканаць падстаноўкай {\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;}, дзе {\displaystyle \Gamma } — рэчаісная верхнетрохвугольная матрыца[en], а {\displaystyle \Gamma ^{\mathsf {T}}} — транспанаваная {\displaystyle \Gamma } (гл. раскладанне Халецкага[en] для доказу ін’ектыўнасці).

На практыцы ўмовы звычайна накладаюцца метадам множнікаў Лагранжа[en], які прыводзіць да *раўнанняў абмежаванай праўдападобнасці*:

{\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0} і {\displaystyle h(\theta )=0\;,}
дзе {\displaystyle ~\lambda =\left[\lambda \_{1},\lambda \_{2},\ldots ,\lambda \_{r}\right]^{\mathsf {T}}~} — вектар-слупок множнікаў Лагранжа, а {\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;} — матрыца Якобі частковых вытворных памеру k × r. Натуральна, калі абмежаванні не ўплываюць на максімум, множнікі Лагранжа маюць быць роўнымі нулю. Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як тэст множнікаў Лагранжа[en].

Уласцівасці
-----------

Ацэнка максімальнай праўдападобнасці — ацэнка экстрэмуму[en], якая максімізуе па *θ* мэтавую функцыю[en] {\displaystyle {\widehat {\ell \,}}(\theta \,;x)}. Калі назіранні незалежныя і аднолькава размеркаваныя[en], маем

{\displaystyle {\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum \_{i=1}^{n}\ln f(x\_{i}\mid \theta ),}
што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці {\displaystyle \ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x\_{i}\mid \theta )\,]}, узятага па сапраўднай шчыльнасці.

Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметру. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных абмежавальных уласцівасцей[en]: калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці:

* Слушнасць[en]: паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння.
* Функцыянальная інварыянтнасць: Калі {\displaystyle {\hat {\theta }}} — ацэнка максімальнай праўдападобнасці для {\displaystyle \theta }, а {\displaystyle g(\theta )} — адвольнае пераўтварэнне над {\displaystyle \theta }, то ацэнка максімальнай праўдападобнасці для {\displaystyle \alpha =g(\theta )} роўная {\displaystyle {\hat {\alpha }}=g({\hat {\theta }})}.
* Эфектыўнасць[en]: ацэнка дасягае ніжняй мяжы Крамера-Раа[en], калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай сярэднеквадратычнай памылкі[en], чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая асімптатычная нармальнасць[en].
* Эфектыўнасць другога парадку пасля карэкцыі ўхілу.

### Слушнасць

Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці слушная[en]. Гэта значыць, што калі даныя былі ўтвораны функцыяй {\displaystyle f(\cdot \,;\theta \_{0})} і мы маем дастаткова вялікую колькасць назіранняў {\displaystyle n}, то магчыма знайсці значэнне {\displaystyle \theta \_{0}} з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі {\displaystyle n} імкнецца да бесканечнасці, ацэнка {\displaystyle {\widehat {\theta \,}}} збягаецца паводле імавернасці[en] да сапраўднага значэння:

{\displaystyle {\widehat {\theta \,}}\_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta \_{0}.}
Пры трохі стражэйшых умовах, ацэнка збягаецца амаль напэўна[en] (або *моцна*):

{\displaystyle {\widehat {\theta \,}}\_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta \_{0}.}
На практыцы, даныя ніколі не ўтвараюцца {\displaystyle f(\cdot \,;\theta \_{0})}. Наадварот, {\displaystyle f(\cdot \,;\theta \_{0})} — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, *усе мадэлі хібныя[en]*. Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.

Для слушнасці дастаткова наступных умоў.

1. Ідэнтыфікавальнасць[en] мадэлі: 

θ
≠

θ

0

⇔

f
(
⋅
∣
θ
)
≠
f
(
⋅
∣

θ

0

)
.

{\displaystyle \theta \neq \theta \_{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta \_{0}).}

{\displaystyle \theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).}Іншымі словамі, розным параметрам {\displaystyle \theta } адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне {\displaystyle \theta \_{1}}, такое што {\displaystyle \theta \_{0}} і {\displaystyle \theta \_{1}} утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца назіральна эквівалентнымі[en].  
Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці {\displaystyle \ell (\theta \mid \cdot )} мае адзіны глабальны максімум у {\displaystyle \theta \_{0}}.
2. Кампактнасць: прастора параметраў {\displaystyle \Theta } мадэлі кампактная[en].   
Умова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).  
Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як:
	* адначасовая ўвагнутасць[en] функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых мностваў узроўню[en], або
	* існаванне кампактнага наваколля[en] {\displaystyle N} для {\displaystyle \theta \_{0}}, такога што па-за наваколлем {\displaystyle N} функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы {\displaystyle \varepsilon >0}.
3. Непарыўнасць: функцыя {\displaystyle \ln f(x\mid \theta )} непарыўная ў {\displaystyle \theta } для амаль усіх значэнняў {\displaystyle x}: 


P

⁡

[

ln
⁡
f
(
x
∣
θ
)

∈

C

0

(
Θ
)

]

=
1.

{\displaystyle \operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.}

{\displaystyle \operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.} Непарыўнасць можа быць замененая слабейшай умовай верхняй паўнепарыўнасці[en].
4. Дамінантнасць: існуе інтэгравальная па размеркаванні {\displaystyle f(x\mid \theta \_{0})} функцыя {\displaystyle D(x)}, такая што 


|

ln
⁡
f
(
x
∣
θ
)

|

<
D
(
x
)

∀
θ
∈
Θ
.

{\displaystyle {\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad \forall \theta \in \Theta .}

{\displaystyle {\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad \forall \theta \in \Theta .} Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці: 

sup

θ
∈
Θ

|


ℓ

^

(
θ
∣
x
)
−
ℓ
(
θ
)

|

 

→

p

 
0.

{\displaystyle \sup \_{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.}

{\displaystyle \sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.} Умова дамінантнасці можа быць выкарыстана ў выпадку незалежных аднолькава размеркаваных велічынь[en]. Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што {\displaystyle {\widehat {\ell \,}}(\theta \mid x)} стахастычна роўнаступенна непарыўная[en].

Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці {\displaystyle {\widehat {\theta \,}}} збягаецца да {\displaystyle \theta \_{0}} амаль напэўна[en], то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:

{\displaystyle \sup \_{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}
Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй {\displaystyle f(\cdot \,;\theta \_{0})}, пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці збягаецца паводле размеркавання[en] к нармальнаму размеркаванню

{\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}\_{\mathrm {mle} }-\theta \_{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)},
дзе {\displaystyle I} — матрыца інфармацыі Фішэра[en].

### Функцыянальная інварыянтнасць

Калі {\displaystyle {\widehat {\theta \,}}} — ацэнка максімальнай праўдападобнасці для {\displaystyle \theta }, а {\displaystyle g(\theta )} — трансфармацыя над {\displaystyle \theta }, то ацэнка максімальнай праўдападобнасці для {\displaystyle \alpha =g(\theta )} роўная

{\displaystyle {\widehat {\alpha }}=g({\widehat {\theta }}).\,}
Яна максімізуе так званую профільную праўдападобнасць[en]:

{\displaystyle {\bar {L}}(\alpha )=\sup \_{\theta :\alpha =g(\theta )}L(\theta ).\,}
Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі {\displaystyle y=g(x)}, дзе {\displaystyle g} — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае

{\displaystyle f\_{Y}(y)={\frac {f\_{X}(x)}{|g'(x)|}}}
і функцыі праўдападобнасці для {\displaystyle X} і {\displaystyle Y} адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.

Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.

Крыніцы
-------

1. ↑  Rossi, Richard J. (2018). *Mathematical Statistics : An Introduction to Likelihood Based Inference*. New York: John Wiley & Sons. p. 227. ISBN 978-1-118-77104-4.
2. ↑  Hendry, David F.; Nielsen, Bent (2007). *Econometric Modeling: A Likelihood Approach*. Princeton: Princeton University Press. ISBN 978-0-691-13128-3.
3. ↑  Chambers, Raymond L.; Steel, David G.; Wang, Suojin; Welsh, Alan (2012). *Maximum Likelihood Estimation for Sample Surveys*. Boca Raton: CRC Press. ISBN 978-1-58488-632-7.
4. ↑  Ward, Michael Don; Ahlquist, John S. (2018). *Maximum Likelihood for Social Science : Strategies for Analysis*. New York: Cambridge University Press. ISBN 978-1-107-18582-1.
5. ↑  Press, W.H.; Flannery, B.P.; Teukolsky, S.A.; Vetterling, W.T. (1992). "Least Squares as a Maximum Likelihood Estimator". *Numerical Recipes in FORTRAN: The Art of Scientific Computing* (2nd ed.). Cambridge: Cambridge University Press. pp. 651–655. ISBN 0-521-43064-X.
6. ↑  Myung, I.J. (2003). "Tutorial on maximum likelihood Estimation". *Journal of Mathematical Psychology*. **47** (1): 90–100. doi:10.1016/S0022-2496(02)00028-7.
7. ↑  Gourieroux, Christian; Monfort, Alain (1995). *Statistics and Econometrics Models*. Cambridge University Press. p. 161. ISBN 0-521-40551-3.
8. ↑  Kane, Edward J. (1968). *Economic Statistics and Econometrics*. New York, NY: Harper & Row. p. 179.
9. ↑  Small, Christoper G.; Wang, Jinfang (2003). "Working with roots". *Numerical Methods for Nonlinear Estimating Equations*. Oxford University Press. pp. 74–124. ISBN 0-19-850688-0.
10. ↑  
Kass, Robert E.; Vos, Paul W. (1997). *Geometrical Foundations of Asymptotic Inference*. New York, NY: John Wiley & Sons. p. 14. ISBN 0-471-82668-5.
11. ↑  
*Papadopoulos, Alecos*. Why we always put log() before the joint pdf when we use MLE (Maximum likelihood Estimation)? **(нявызн.)**. *Stack Exchange* (25 верасня 2013).
12. 1 2  Silvey, S. D. (1975). *Statistical Inference*. London, UK: Chapman and Hall. p. 79. ISBN 0-412-13820-4.
13. ↑  Olive, David (2004). *Does the MLE maximize the likelihood?* (PDF).
14. ↑  Schwallie, Daniel P. (1985). "Positive definite maximum likelihood covariance estimators". *Economics Letters*. **17** (1–2): 115–117. doi:10.1016/0165-1765(85)90139-9.
15. ↑  Magnus, Jan R. (2017). *Introduction to the Theory of Econometrics*. Amsterdam: VU University Press. pp. 64–65. ISBN 978-90-8659-766-6.
16. ↑  Pfanzagl 1994, p. 206.
17. ↑  Тэарэма 2.5 у Newey, Whitney K.; McFadden, Daniel (1994). "Chapter 36: Large sample estimation and hypothesis testing". In Engle, Robert; McFadden, Dan (рэд-ры). *Handbook of Econometrics, Vol.4*. Elsevier Science. pp. 2111–2245. ISBN 978-0-444-88766-5.
18. ↑  Тэарэма 3.3 у Newey, Whitney K.; McFadden, Daniel (1994). "Chapter 36: Large sample estimation and hypothesis testing". In Engle, Robert; McFadden, Dan (рэд-ры). *Handbook of Econometrics, Vol.4*. Elsevier Science. pp. 2111–2245. ISBN 978-0-444-88766-5.
19. ↑  Zacks, Shelemyahu (1971). *The Theory of Statistical Inference*. New York: John Wiley & Sons. p. 223. ISBN 0-471-98103-6.

Літаратура
----------

* Pfanzagl, Johann (1994). *Parametric Statistical Theory* [англійская]. Walter de Gruyter. pp. 207–208. doi:10.1515/9783110889765. ISBN 978-3-11-013863-4. MR 1291393.

|  |  |
| --- | --- |
| ⚙️   Слоўнікі і энцыклапедыі | Вялікая кітайская · Вялікая кітайская · Вялікая кітайская · Вялікая кітайская · Вялікая кітайская · Вялікая расійская (старая версія) |
| Нарматыўны кантроль | Microsoft: 49781872 |