Лінейны дыскрымінантны аналіз

**Лінейны дыскрымінантны аналіз** (), **нармальны дыскрымінантны аналіз** (), або **аналіз дыскрымінантнай функцыі** () — абагульненне **лінейнага дыскрымінанта Фішэра**, метаду, які выкарыстоўваецца ў статыстыцы і іншых навуках, каб знайсці  прыкмет, якая характарызуе або падзяляе два ці больш класы аб’ектаў або падзей. Атрыманая камбінацыя можа выкарыстоўвацца ў якасці  або, часцей, для  перад наступнай класіфікацыяй.

LDA цесна звязаны з  (ANOVA) і , якія таксама спрабуюць выразіць адну залежную зменную як лінейную камбінацыю іншых прыкмет або вымярэнняў. Аднак ANOVA выкарыстоўвае  незалежныя зменныя і  залежную зменную, у той час як дыскрымінантны аналіз мае непарыўныя незалежныя зменныя і катэгарыяльную залежную зменную (г.зн. метку класа).  і  больш падобныя да LDA, чым ANOVA, бо яны таксама тлумачаць катэгарыяльную зменную значэннямі непарыўных незалежных зменных. Гэтым метадам аддаецца перавага, калі нельга меркаваць, што незалежныя зменныя маюць нармальнае размеркаванне, што з’яўляецца фундаментальным дапушчэннем метаду LDA.

LDA таксама цесна звязаны з  (PCA) і  у тым, што яны ўсе шукаюць лінейныя камбінацыі зменных, якія лепш за ўсё тлумачаць даныя. LDA відавочна спрабуе змадэляваць розніцу паміж класамі даных. PCA, наадварот, не ўлічвае ніякай розніцы ў класе, а фактарны аналіз стварае камбінацыі прыкмет на аснове адрозненняў, а не падабенстваў. Дыскрымінантны аналіз таксама адрозніваецца ад фактарнага аналізу тым, што ён не з’яўляецца метадам узаемазалежнасці: неабходна адрозніваць незалежныя зменныя і залежныя зменныя (таксама называныя крытэрыяльнымі зменнымі).

LDA працуе, калі вымярэнні незалежных зменных для кожнага назірання прадстаўлены непарыўнымі велічынямі. Адпаведная методыка пры працы з катэгарыяльнымі незалежнымі зменнымі — дыскрымінантны аналіз адпаведнасці.

Дыскрымінантны аналіз выкарыстоўваецца, калі групы вядомыя апрыёры (у адрозненне ад ). Кожны выпадак павінен мець ацэнку аднаго або некалькіх колькасных прэдыктыўных вымярэнняў і ацэнку групавога вымярэння. Кажучы простымі словамі, аналіз дыскрымінантнай функцыі гэта класіфікацыя — акт размеркавання рэчаў на групы, класы або катэгорыі аднаго тыпу.

## Гісторыя 
Арыгінальны  дыскрымінантны аналіз быў распрацаваны Рональдам Фішэрам у 1936 годзе. Ён адрозніваецца ад  і , якія выкарыстоўваюцца для прагназавання адной (ANOVA) або некалькіх (MANOVA) непарыўных залежных зменных паводле адной або некалькіх незалежных катэгарыяльных зменных. Аналіз дыскрымінантнай функцыі карысны для вызначэння таго, ці эфектыўны набор зменных для прагназавання прыналежнасці да катэгорыі.

## Дапушчэнні 
Дапушчэнні дыскрымінантнага аналізу такія ж, як і для MANOVA. Аналіз вельмі адчувальны да выкідаў, і памер найменшай групы павінен быць большы за колькасць прэдыктарных зменных, а таксама было паказана, што дыскрымінантны аналіз усё яшчэ можа быць надзейным пры выкарыстанні бінарных зменных (дзе часта парушаецца многавымерная нармальнасць).

## LDA для двух класаў 
Разгледзім набор назіранняў  { \vec x }  (таксама званых прыкметамі, атрыбутамі, зменнымі або вымярэннямі) для кожнага аб’екта або падзеі з вядомым класам y \in \{0, 1\}. Гэты набор аб’ектаў завецца . Праблема класіфікацыі заключаецца ў тым, каб знайсці добры крытэрый аднясення да класа y любога аб’екта з аналагічным размеркаваннем (неабавязкова з трэніровачнага набору) як функцыю толькі ад назірання  \vec x .

LDA падыходзіць да праблемы з дапушчэннем, што функцыі шчыльнасці ўмоўнай імавернасці p(\vec x|y=0) і p(\vec x|y=1) адпавядаюць многавымернаму нармальнаму размеркаванню з сярэднім і матрыцай каварыяцыі \left(\vec \mu_0, \Sigma_0\right) і \left(\vec \mu_1, \Sigma_1\right) адпаведна. Згодна з гэтым дапушчэннем, аптымальнае рашэнне заключаецца ў аднясенні пунктаў да класа 1, калі лагарыфм суадносін праўдападобнасцяў большы за некаторае парогавае значэнне T:

:  (\vec x- \vec \mu_0)^\mathrm{T} \Sigma_0^{-1} ( \vec x- \vec \mu_0) + \ln|\Sigma_0| - (\vec x- \vec \mu_1)^\mathrm{T} \Sigma_1^{-1} ( \vec x- \vec \mu_1) - \ln|\Sigma_1| \ > \ T 

Без дадатковых дапушчэнняў атрыманы класіфікатар называецца  (QDA).

Аднак LDA робіць дадатковае спрашчальнае дапушчэнне  (г.зн. што каварыяцыі класаў аднолькавыя, таму \Sigma_0 = \Sigma_1 = \Sigma) і што матрыцы каварыяцыі незвыродныя. У гэтым выпадку некалькі складнікаў скарачаюцца:

:  {\vec x}^\mathrm{T} \Sigma_0^{-1} \vec x = {\vec x}^\mathrm{T} \Sigma_1^{-1} \vec x
: {\vec x}^\mathrm{T} {\Sigma_i}^{-1} \vec{\mu}_i = {\vec{\mu}_i}^\mathrm{T}{\Sigma_i}^{-1} \vec x, бо \Sigma_i — сіметрычная матрыца

і прыведзены вышэй крытэрый прымае наступную форму:

:  {\vec w}^\mathrm{T} \vec x > c 

для некаторай парогавай канстанты c, дзе (для T=0, што эквівалентна метаду максімальнай праўдападобнасці):

: \vec w = \Sigma^{-1} (\vec \mu_1 - \vec \mu_0)
:  c = \frac12 \, {\vec w}^\mathrm{T} (\vec \mu_1 + \vec \mu_0)

Гэта значыць, што крытэрый таго, што аб’ект  \vec{ x } належыць класу y гэта функцыя лінейнай камбінацыі вядомых назіранняў.

Часта бывае карысна паглядзець на гэта з геаметрычнага пункта гледжання: крытэрый таго, што  \vec{ x } належыць класу y гэта функцыя праекцыі пункта мнагамернай прасторы  \vec{ x } на вектар  \vec{ w } (такім чынам, мы ўлічваем толькі кірунак  \vec{ w }). Іншымі словамі, назіранне належыць да y, калі адпаведны  \vec{ x } знаходзіцца на пэўным баку гіперплоскасці, артаганальнай  \vec{ w }. Размяшчэнне плоскасці вызначаецца парогавым значэннем c.

## Правілы дыскрымінацыі 
* Максімальная праўдападобнасць: прысвойвае x групе, для якой шчыльнасць f_i(x) размеркавання незалежных зменных у пункце x найбольшая.
* Баесаўскае правіла дыскрымінацыі: прысвойвае x групе, якая максімізуе \pi_i f_i(x), дзе \pi_i уяўляе сабой  i-й групы, а f_i(x) адлюстроўвае шчыльнасць размеркавання незалежных зменных. Такое абагульненне прапанаваў . Дапусцім, што кожны з C класаў мае сярэдняе  \mu_i  і аднолькавую каварыяцыю  \Sigma . Тады роскід паміж класамі можа быць вызначаны выбаркавай каварыяцыяй сярэдніх класаў

:  \Sigma_b = \frac{1}{C} \sum_{i=1}^C (\mu_i-\mu) (\mu_i-\mu)^\mathrm{T} 

дзе  \mu  — сярэдняе значэнне класа. Падзел класаў у кірунку  \vec w  у гэтым выпадку будзе зададзены як

:  S = \frac{{\vec w}^\mathrm{T} \Sigma_b \vec w}{{\vec w}^\mathrm{T} \Sigma \vec w} 

Гэта значыць, што калі  \vec w  — уласны вектар  \Sigma^{-1} \Sigma_b , падзел S будзе роўны адпаведнаму ўласнаму значэнню.

Калі  \Sigma^{-1} \Sigma_b  можна дыяганалізаваць, зменлівасць паміж прыкметамі будзе ўтрымлівацца ў падпрасторы, ахопленай уласнымі вектарамі, адпаведнымі найбольшым уласным значэнням *C*&nbsp;−&nbsp;1 (бо  \Sigma_b  мае ранг не большы за *C*&nbsp;-&nbsp;1). Гэтыя ўласныя вектары як правіла выкарыстоўваюцца для скарачэння колькасці прыкмет, як у . Уласныя вектары, якія адпавядаюць меншым уласным значэнням, будуць вельмі адчувальныя да дакладнага выбару навучальных даных, таму часта бывае неабходна прымяняць рэгулярызацыю.

Калі патрабуецца класіфікацыя, замест  існуе шэраг альтэрнатыўных метадаў. Напрыклад, класы могуць быць згрупаваныя і стандартны дыскрымінант Фішэра або LDA выкарыстоўвацца для класіфікацыі ўнутры кожнай групы. Тыповы прыклад гэтага — метад «адзін супраць астатніх», калі аб’екты з аднаго класа дадаюцца ў адну групу, а ўсё астатняе — у другую, а пасля прымяняецца LDA. Такім чынам можна атрымаць C класіфікатараў, вынікі якіх аб’ядноўваюцца. Іншы распаўсюджаны метад — папарная класіфікацыя, пры якой новы класіфікатар ствараецца для кожнай пары класаў (агулам даючы *C*(*C*&nbsp;−&nbsp;1)/2 класіфікатараў), з аб’яднаннем асобных класіфікатараў для атрымання канчатковай класіфікацыі.

## Інкрэментны LDA 
Тыповая рэалізацыя метаду LDA патрабуе, каб усе даныя былі даступныя загадзя. Аднак бываюць сітуацыі, калі ўвесь набор даных недаступны, а даныя паступаюць у выглядзе патоку. У гэтым выпадку пажадана, каб алгарытм LDA меў магчымасць абнаўляць параметры мадэлі шляхам назірання толькі за новымі аб’ектамі без запуску алгарытму на ўсім наборы даных. Напрыклад, у многіх выпадках працы ў рэжыме рэальнага часу, такіх як мабільная робататэхніка або распазнаванне твараў, важна абнаўляць параметры LDA, як толькі будуць даступныя новыя назіранні. Алгарытм, які можа абнаўляць параметры LDA шляхам назірання за новымі аб’ектамі называецца інкрэментным LDA, і шырока вывучаецца на працягу апошніх двух дзесяцігоддзяў. Чатэрджы і Ройчаўдхуры прапанавалі інкрэментны самаарганізаваны алгарытм LDA для абнаўлення параметраў. У іншай працы Дэмір і Озмехмет прапанавалі анлайн-алгарытм лакальнага навучання для паступовага абнаўлення параметраў LDA з выкарыстаннем карэкцыі памылак і правілаў навучання Хеба. Пазней Аліяры і інш. вынайшлі хуткі інкрэментны алгарытм для абнаўлення параметраў LDA. Іншая стратэгія для працы з невялікім памерам выбаркі заключаецца ў выкарыстанні  каварыяцыйнай матрыцы, якую можна выразіць матэматычна як

:  \Sigma = (1-\lambda) \Sigma+\lambda I\,

дзе  I  — адзінкавая матрыца, а  \lambda  — «інтэнсіўнасць сціскання» або «параметр рэгулярызацыі». Гэта прыводзіць да метаду рэгулярызаванага дыскрымінантнага аналізу або сціснутага дыскрымінантнага аналізу.

Акрамя таго, у многіх практычных выпадках лінейныя дыскрымінанты не пасуюць задачы. LDA і дыскрымінант Фішэра могуць быць пашыраны для выкарыстання ў нелінейнай класіфікацыі з дапамогай . Тут арыгінальныя назіранні эфектыўна адлюстроўваюцца ў нелінейную прастору большай памернасці. Лінейная класіфікацыя ў гэтай нелінейнай прасторы тады эквівалентная нелінейнай класіфікацыі ў зыходнай прасторы. Найбольш часта выкарыстальным прыкладам гэтага ёсць .

## Параўнанне з лагістычнай рэгрэсіяй 
Лінейны дыскрымінантны аналіз вельмі падобны да , і абодва алгарытмы могуць быць выкарыстаны для адказу на адны і тыя ж пытанні даследавання. У адрозненне ад лагістычнай рэгрэсіі, дыскрымінантны аналіз можна выкарыстоўваць для невялікіх памераў выбаркі. Было паказана, што пры роўных памерах выбаркі і аднастайнасці дысперсіі/каварыяцыі дыскрымінантны аналіз больш дакладны. Нягледзячы на ўсе гэтыя перавагі, лагістычная рэгрэсія, тым не менш, стала больш распаўсюджанай, бо дапушчэнні дыскрымінантнага аналізу рэдка выконваюцца.

Катэгорыя:Статыстычная класіфікацыя