Метад максімальнай праўдападобнасці

Метад максімальнай праўдападобнасці (ММП) — метад   меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца   такім чынам, каб згодна з меркаванай   былі найбольш праўдабадобнымі.  у , які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам .

Калі функцыя праўдападобнасці , можна прымяніць  для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка  для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй.

З пункту гледжання , ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная  з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У  метад максімальнай праўдападобнасці — асаблівы выпадак  з мэтавай функцыяй роўнай праўдападобнасці.

 Прынцыпы 

Набор назіранняў мадэлюецца як выпадковая  з невядомага супольнага размеркавання, якое задаецца наборам . Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар , таму кажуць, што гэтае размеркаванне адносяцца да  , дзе  — , канечнамернае падмноства . Падстаўляючы назіранні  у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю

якая называецца . Для ,  можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:


Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай:


Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне , якое максімізуе функцыю праўдападобнасці , называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе  , то такая функцыя называецца  максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка.  ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на  параметраў. Для  , функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.

На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца :


Праз тое што лагарыфм — , максімум  дасягаецца пры тым самым значэнні , што і максімум . Калі  —  на , то  для максімуму (мінімуму) умовы

называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі , але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай . Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці. , матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум  лакальным:



Калі гесіян  ў , то функцыя лакальна . Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці  — .

 Абмежаваная прастора параметраў 
Хаця звычайна абсяг вызначэння функцыі праўдападобнасці () — канечнамернае падмноства , часам на яго могуць накладацца дадатковыя . У такім выпадку прастору параметраў можна запісаць як

дзе  —  з  у . Тады знайсці ацэнку максімальнай праўдападобнасці параметра  з мноства  значыць знайсці , для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў .

Тэарэтычна, самы натуральны падыход да гэтай задачы  — метад падстаноўкі. Гэта значыць дапаўненне ўмоў  да мноства  такім чынам, што  — ін’екцыя з  у , і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем . Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі. Напрыклад, для многавымернага нармальнага размеркавання   мусіць быць ; гэта абмежаванне можна выканаць падстаноўкай , дзе  — рэчаісная , а  — транспанаваная  (гл.  для доказу ін’ектыўнасці).

На практыцы ўмовы звычайна накладаюцца , які прыводзіць да раўнанняў абмежаванай праўдападобнасці:
  і 
дзе  — вектар-слупок множнікаў Лагранжа, а  — матрыца Якобі частковых вытворных памеру . Натуральна, калі абмежаванні не ўплываюць на максімум, множнікі Лагранжа маюць быць роўнымі нулю. Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як .

 Уласцівасці 
Ацэнка максімальнай праўдападобнасці — , якая максімізуе па θ  . Калі назіранні , маем

што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці , узятага па сапраўднай шчыльнасці.

Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметру. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных : калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці:
 : паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння.
 Функцыянальная інварыянтнасць: Калі  — ацэнка максімальнай праўдападобнасці для , а  — адвольнае пераўтварэнне над , то ацэнка максімальнай праўдападобнасці для  роўная .
 : ацэнка дасягае ніжняй , калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай , чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая .
 Эфектыўнасць другога парадку пасля карэкцыі ўхілу.

 Слушнасць 
Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці . Гэта значыць, што калі даныя былі ўтвораны функцыяй  і мы маем дастаткова вялікую колькасць назіранняў , то магчыма знайсці значэнне  з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі  імкнецца да бесканечнасці, ацэнка   да сапраўднага значэння:


Пры трохі стражэйшых умовах, ацэнка збягаецца  (або моцна):


На практыцы, даныя ніколі не ўтвараюцца . Наадварот,  — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, . Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.

Для слушнасці дастаткова наступных умоў.Тэарэма 2.5 у 

  мадэлі: Іншымі словамі, розным параметрам  адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне , такое што  і  утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца .Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці  мае адзіны глабальны максімум у .
 Кампактнасць: прастора параметраў  мадэлі . 240px|rightУмова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як:
 адначасовая  функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых , або
 існаванне кампактнага   для , такога што па-за наваколлем  функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы .
 Непарыўнасць: функцыя  непарыўная ў  для амаль усіх значэнняў :  Непарыўнасць можа быць замененая слабейшай умовай .
 Дамінантнасць: існуе інтэгравальная па размеркаванні  функцыя , такая што  Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці:  Умова дамінантнасці можа быць выкарыстана ў выпадку . Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што  .

Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці  збягаецца да  , то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:


Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй , пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці  к нармальнаму размеркаваннюТэарэма 3.3 у 
 ,
дзе  — .

 Функцыянальная інварыянтнасць 
Калі  — ацэнка максімальнай праўдападобнасці для , а  — трансфармацыя над , то ацэнка максімальнай праўдападобнасці для  роўная


Яна максімізуе так званую :



Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі , дзе  — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае

і функцыі праўдападобнасці для  і  адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.

Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.

 Крыніцы 

 Літаратура 


Катэгорыя:Матэматычная статыстыка