Авторегресивен процес

Авторегресивниот процес е модел кој ја покажува зависноста на вредностите на временската низа од своите минати вредности и е надополнување на идејата на регресијата за моделирање на линеарната зависност помеѓу две променливи. Моделот на простата регресија го објаснува развојот на променливата y со помош на друга променлива x, како линеарна функција:
y= b<sub><sub>0</sub></sub> + b<sub>1</sub>x + e
Каде што b<sub><sub>0</sub></sub> и b<sub>1</sub> се константи коишто треба да се определат, а e претставува случајна променлива која следи нормален распоред со средина која е еднаква на нула и константна варијанса. Ако во моделот се направи замена и тоа наместо y се користи y<sub>t</sub> и наместо x се користи y<sub>t-1</sub>, се добива нов модел на зависност кој се нарекува авторегресивен модел од прв ред.
1 Авторегресивен процес од прв ред
Авторегресивниот процес од прв ред, се означува AR(1), е следниот:
y<sub>t</sub> = ф<sub>0</sub> + ф<sub>1</sub>y<sub>t-1</sub> + e<sub>t</sub>
каде што ф<sub><sub>0</sub></sub> и ф<sub>1</sub> се константи, а e<sub><sub>t</sub></sub> е процес на бел шум кој следи нормален распоред со средина еднаква на нула и варијанса δ<sup>2</sup><sub>e</sub>. Формулата покажува дека во AR(1) процесот однесувањето на y<sub>t</sub> во најголема мера зависи од нејзината вредност во претходниот период. Промеливите e<sub>t</sub> го претставуваат ефектот на факторите што не се вклучени во процесот (различни од y<sub>t-1</sub>) врз y<sub><sub>t</sub></sub>.. Тие се нарекуваат случајни шокови. Случајниот шок е вредноста за која се претпоставува дека случајно е избрана од нормален распоред со средина еднаква на нула и варијанса која е иста за секој временски период t. Дополнително, се претпоставува и дека случајните шокови e<sub>1</sub>, e<sub>2</sub>, e<sub><sub>3</sub></sub> … од различни временски периоди се статистички независни меѓу себе. Во литературата случајните шокови може да се сретнат и под името иновации, бидејќи ја претставуваат новата информација која се додава на процесот во секоја временска точка.
Очекувана вредност на AR(1) процесот е:
Ε(y<sub>t</sub>) = µ = ϕ<sub><sub>0</sub></sub>/1-ϕ<sub><sub>1</sub></sub>
Овој резултат има две импликации за y<sub><sub>t</sub></sub>. Прво, средината на y<sub>t</sub> постои ако ф<sub>1</sub> ≠ 1. Второ, средината на y<sub>т</sub> е нула ако и само ако ф<sub>0</sub> = 0. Затоа кај стационарен AR(1) процес, Константата ф<sub>0</sub> е поврзана со просечната вредност на y<sub>t</sub> и ф<sub>0</sub> = 0, што значи Ε(y<sub><sub>t</sub></sub>) = 0.
Варијанса на AR(1) процесот, поради претпоставка за стационарност (константна варијанса) var (y<sub>t</sub>) = var (y<sub>t-1</sub>), следува:
var (y<sub>t</sub>) = δ<sup><sup>2</sup></sup><sub>e</sub>/1-ф<sup>2</sup><sub>1</sub>
Од изразот за варијансата AR(1) процесот, следува дека ф<sup>2</sup><sub>1</sub> < 1. Барањето ф<sup>2</sup><sub>1</sub> < 1 доаѓа од фактот што варијансата на случајна променлива треба да биде ненегативна. Дополнително, -1 < ф<sub>1</sub> < 1 е неопходен у слов AR(1) процесот да биде стационарен. Ако |ф<sub>1</sub>| > 1, тогаш y<sub>t</sub> ќе има тенденција од период во период сè повеќе да се зголемува и серијата ќе биде експлозивна.
Информацијата за линеарната зависност меѓу променливите на временската низа е содржана во функцијата Автоковаријанса.
y<sub>k</sub> = ф<sub>1</sub>y<sub>k-1</sub>
Автокорелациите ја содржат истата информација како и коваријансите, но имаат предност затоа што не зависат од мерните единици. Како што е веќе познато, p<sub>k</sub> е корелација меѓу опсервациите што се оддалечени k периоди, односно автокорелацијата за временското задоцнување од k, која е дефинирана како:
p<sub>k</sub> = y<sub>k</sub>/y<sub>0</sub>
Бидејќи p<sub>0</sub> = 1 може да се заклучи дека
p<sub><sub>k</sub></sub> = ф<sup>k</sup><sub>1</sub>
Од овој израз произлегува дека функцијата на автокорелација на AR(1) процесот опаѓа експоненцијално со стапка ф<sub>1</sub>, и притоа нејзината вредност p<sub>0</sub> = 1. Дополнително, ако параметарот ф<sub><sub>1</sub></sub> е позитивен, линеарната зависност на сегашните од минатите вредности (p<sub>k</sub>) е постојано позитивна ( и притоа екпоненцијално опаѓа), додека ако параметарот ф<sub><sub>1</sub></sub> е негативен, p<sub>k</sub> е позитивна за парните вредности на k, односно негативна за непарните вредности на k.
2 Авторегресивен процес од втор ред
Авторегресивен процес од втор ред или AR(2) процесот претпоставува дека y<sub>t</sub> е линеарно зависна не само од y<sub>t-1</sub>, туку и од y<sub><sub>t-2</sub></sub>. Неговиот математички израз е:
y<sub><sub>t</sub></sub> = ф<sub>0</sub> + ф<sub>1</sub>y<sub>t-1</sub> + ф<sub>2</sub>y<sub>t-2</sub> + e<sub>t</sub>
Очекуваната вредност на AR(2) процесот е:
E(y<sub>t</sub>) = µ = ф<sub>0</sub>/1-ф<sub>1</sub>-ф<sub>2</sub>
Автоковаријанса на AR(2) процесот:
y<sub>k</sub> = ф<sub>1</sub>y<sub>k-1</sub> + ф<sub>2</sub>y<sub>k-2</sub>, за k > 0
Со користење на овој израз може да се дојде до формулата за варијансата на AR(2) процесот:
var(y<sub>t</sub>) = y<sub>0</sub> = (1-ф<sub>2</sub>)δ<sup>2</sup><sub>e</sub>/(1+ф<sub>2</sub>)(1-ф<sub>1</sub>-ф<sub>2</sub>)(1+ф<sub>1</sub>-ф<sub>2</sub>)
Може да биде докажано дека вредностите на параметрите кои го прават AR(2) процесот стационарен (со варијанса секогаш позитивна) се тие кои се вклучени во областа:
-1<Ф<1, ф<sub>1</sub>+ф<sub>2</sub><1 и ф<sub>2</sub>-ф<sub>1</sub><1.
Со делење на равенката за автоковаријанса со var(y<sub>t</sub>) се добива функцијата на автокорелација на процесот:
p<sub>k</sub> = ф<sub>1</sub>p<sub>k-1</sub> + ф<sub>2</sub>p<sub>k-2</sub>, за k > 0
Со цел да се утврдат одликите на функцијата на автокорелација потребно е претходното равенство да се запише со помош на операторот на временско задоцнување L при што се добива полином од втор ред ( 1 - ф<sub>1</sub>x - ф<sub>2</sub>x<sup>2</sup> = 0 ) чии решенија се x1 и x2.Инверзните вредности на двете решенија на полиномот од втор ред се нарекуваат карактеристични корени на AR(2) процесот. Карактеристичните корени се означуваат со G1 и G2. Според карактеристичното равенство, коефициентите на автокорелација (p<sub>к</sub>) ќе бидат помали или еднакви на нула ако |G<sub>1</sub>| < 1 и |G<sub>2</sub>| < 1, што претставува и услов за стационарност на AR(2) процесот. Притоа постојат две можности:
1) Двата карактеристични корени G<sub>1</sub> и G<sub>2</sub> се реални броеви. Во овој случај опаѓањето на p<sub>к</sub> претставува збир на две експоненцијални опаѓања. Ова значи дека AR(2) процесот може да се разгледа како еден AR(1) процес кој опстојува над друг AR(1) процес. Обликот на функцијата на автокорелација зависи од тоа дали G<sub>1</sub> и G<sub>2</sub> имаат исти или слични знаци.
2) Двата карактеристични корени, G<sub>1</sub> и G<sub>2</sub> се комплексни броеви. Во овој случај функцијата на автокорелација опаѓа синусоидно.
3 Општ авторегресивен процес
Општ авторегресивен процес е оној каде што тековната вредност на променливата y зависи само од вредностите што ги имала во претходните периоди плус иновациите на моделот (e<sub>t</sub>). Авторегресивниот процес од p-ти ред, се означува AR(p), математички се претставува со:
y<sub>t</sub> = ф<sub>0</sub> + ф<sub>1</sub>y<sub>t-1</sub> + ф<sub>2</sub>y<sub>t-2</sub> + ... + ф<sub>p</sub>y<sub>t-p</sub> + e<sub>t</sub>
каде што ф<sub>i</sub>(i = 0,1,...,p) се константи, а e<sub>t</sub> е процес на бел шум со средина еднаква на нула и варијанса δ<sup>2</sup><sub>e</sub>.
Карактеристично равенство на AR(p) процесот е :
ф<sub>p</sub>(L) = 0
Ова равенство има p решенија: G<sub>1</sub>-¹,...,G<sub>p</sub>-¹, и притоа коефициентите G<sub>i</sub> се фактори (карактеристични корени) на карактеристичното равенство. AR(p) процесот е стационарен ако |G<sub>i</sub>| < 1, за секое i.
Функцијата на автокорелација на AR(p) процесот е следната:
p<sub>k</sub> = ф<sub>1</sub>p<sub>k-1</sub> + ... + ф<sub>p</sub>P<sub>k-p</sub>, за к > 0
Коефициентите на автокорелација го задоволуваат истото равенство како и процесот:
ф<sub>p</sub>(L)p<sub>k</sub> = 0, k > 0
Решението на оваа равенка е:
p<sub>k</sub> = ΣA<sub>i</sub>G<sub>i</sub><sup>k</sup>
каде што A<sub>i</sub> се константи кои треба да бидат определени од почетните состојби, а G<sub>i</sub> се фактори на карактеристичното равенство, кои како што е веќе кажано, мораат во апсолутна вредност да бидат помали од 1 за процесот да биде стационарен. Како доказ за ова тврдење може да послужи условот |p<sub>k</sub>| < 1 , кој бара ниту еден G<sub>i</sub> да не биде поголем од 1, бидејќи во тој случај со зголемувањето на k изразот G<sub>i</sub><sup>k</sup> ќе се зголемува без ограничување. Дополнително, процесот да биде стационарен G<sub>i</sub> не може да биде ниту 1, бидејќи во тој случај со зголемувањето на k изразот Gi^k нема да се намалува и коефициентите pk нема да тежнеат кон нула. Еден AR(p) процес да биде стационарен, коефициентите наавтокорелација треба геометриски да опаѓаат до нула.
Ако во равенството за автокорелација се замени k=1,...,p, се добива систем со p равенства кој се нарекува Јул-Вокер систем:
p<sub>1</sub> = ф<sub>1</sub> + ф<sub>2</sub>p<sub>1</sub> + ... +Ф<sub>p</sub>p<sub>p-1</sub>
p<sub>2</sub> = ф<sub>1</sub>p<sub>1</sub> + Ф<sub>2</sub> + ... +ф<sub>p</sub>p<sub>p-2</sub>
.
.
.
p<sub>p</sub> = ф<sub>1</sub>p<sub>p-1</sub> + ф<sub>2</sub>p<sub>p-2</sub> + ... + ф<sub>p</sub>
Овој систем се користи за да се пресметаат коефициентите на автокорелација од параметрите на процесот.
Според теоремата за декомпозиција на Волд секоја стационарна серија може да биде прикажана како збир на два дела, односно два неповрзани модели: детерминистички и стохастички. Детерминистичкиот дел одговара на просечната вредност на моделот, додека стохаститчкиот дел е еден MA модел. Поради тоа AR(p) процесот чија средина е еднаква нанула може да се претстави како модел на подвижни средини од бесконечен ред. Веќе е покажано дека AR(1) и AR(2) процесите, кога се напишани во форма на девијации од средината, може да се претстават како MA процеси.
AR(p) процесот претставен како збир на иновациите, односно во облик на МА го има следниот математички израз:
ỹ<sub>t</sub> = Ψ(L)e<sub>t</sub>
MA обликот на AR(p) процесот запишан без користење на операторот на временското заостанување е следниот:
ỹ<sub>t</sub> = e<sub>t</sub> + Ψe<sub>t-1</sub> + Ψe<sub>t-2</sub>+ ... = Σ Ψ<sub>i</sub>e<sub>t-1</sub>
Важноста на теоремата на декомпозиција на Волд најдобро се гледа од претходното равенство. AR(p) процесот е претставен како збир на иновациите, односно збир на стационарните процеси. Теоремата гарантира дека секој стационарен процес може да се претстави како линеарна функција. Коефициентите на автокорелација, p<sub>k</sub>, и коефициентите на MA структурата не се идентични.
4 Функција на парцијалната автокорелација
Со помош на функцијата на автокорелација тешко може да се определи редот на AR процесот. За да се разликуваат АR процесите од различен ред, се користи функцијата на парцијална автокорелација. Оваа функција ги содржи коефициентите на парцијална автокорелација за различни временски заостанувања.
Концептот на коефициентот на парцијална автокорелација е аналоген на концептот на коефициентот на парцијална корелација. Во статистиката е чест счучај корелацијата меѓу две променливи да е резултат на нивната корелираност со трета променлива. Затоа се користи коефициентот на парцијална корелација како мерка на "нето" зависноста меѓу две променливи по елиминирање на влијанието на третата променлива. Слично, во анализатаа на временските низи се користи коефициентот на парцијална автокорелација од ред k, со ознака p<sub>kk</sub>, за да се мери корелацијата меѓу опсервациите на временската низа кои се оддалечени k периоди, а притоа ја елиминира корелацијата на временските заостанувања кои се помали од k. Со други зборови, коефициентот на парцијалната автокорелација ја претставува корелацијата меѓу y<sub>t</sub> и y<sub>t-k</sub>, откако ќе се отстрани влијанието (ефектот) на опсервациите меѓу нив. Коефициентот на парцијална автокорелација ред k (временско заостанување k), p<sub>kk</sub>, е парцијалниот регресиски коефициент во авторегресијата од ред k:
y<sub>t</sub> = p<sub>k1</sub>y<sub>t-1</sub> + p<sub>k2</sub>y<sub>t-2</sub> + ... + p<sub>kk</sub>y<sub>t-k</sub> + e<sub>t</sub>
Коефициентите на парцијалната автокорелација за AR процесите се следните:
AR(1) процес: p<sub>11</sub> = p<sub>1</sub> = ф<sub>1</sub>, a p<sub>kk</sub> = 0 за k > 1
AR(2) процес: p<sub>11</sub> = p<sub>1</sub> = ф<sub>1</sub>/1-ф<sub>2</sub>, p<sub>22</sub> = p<sub>2</sub>-p<sup>2</sup><sub>1</sub>/1-p<sup>2</sup><sub>1</sub> = ф<sub>2</sub>, а p<sub>kk</sub> = 0 за k > 2
AR(p) процес: p<sub>11</sub> = p<sub>1</sub>, p<sub>22</sub> ≠ 0,..., p<sub>pp</sub> ≠ 0 а p<sub>kk</sub> = 0 za к > p.
Може да се заклучи дека коефициентите на парцијална автокорелација се еднакви на нула за временско заостанување поголемо од редот на авторегресивниот процес. Во случајот на AR(1) процесот, само коефициентот на парцијална автоткорелација за временското заостанување од 1 е поголем од 0, додека сите останати коефициенти се пеомали од 0. Во случајот на AR(2) процесот, само коефициентите на парцијална автокорелација за временски заостанувањаа од 1 и 2 се поголеми од 0, а сите останати коефициенти се помали од 0. Дополнително, кај AR(p) процесот последниот коефициент на парцијална автокорелација p<sub>pp</sub> е еднаков на последниот авторегресивен коефициент ф<sub>p</sub>. Ова е полезно својство кое се користи во постапката на идентификација на соодветниот AR модел.
Функцијата на парцијална автокорелација на примерокот се пресметува со помош на Дурбиновата рекурзивна формула:
p<sub>kk</sub> = p<sub>k</sub> - Σ p<sub>k-1</sub>,<sub>j</sub>p<sub>k-j</sub>/1 - Σ p<sub>k-1</sub>,<sub>j</sub>p<sub>j</sub>; p<sub>kj</sub> = p<sub>k-1</sub>,<sub>j</sub>-p<sub>kk</sub>p<sub>k-1</sub>,<sub>k-j</sub>; j = 1,2,..., k-1.