# ARMA-Modell

ARMA-Modelle (ARMA, Akronym für: AutoRegressive-Moving Average, deutsch autoregressiver gleitender Durchschnitt, oder autoregressiver gleitender Mittelwert) bzw. autoregressive Modelle der gleitenden Mittel und deren Erweiterungen (ARMAX-Modelle und ARIMA-Modelle) sind lineare, zeitdiskrete Modelle für stochastische Prozesse. Sie werden zur statistischen Analyse von Zeitreihen besonders in den Wirtschafts-, Sozial- und Ingenieurwissenschaften eingesetzt. Die Spezifikation, Schätzung, Validierung und praktische Anwendung von ARMA-Modellen werden im Box-Jenkins-Ansatz behandelt. Als wichtigste Anwendung gilt die kurzfristige Vorhersage. Diese Modelle haben die Form von linearen Differenzengleichungen und dienen dazu, lineare stochastische Prozesse abzubilden bzw. komplexere Prozesse zu approximieren.

## Mathematische Darstellung

Fließen in ein ARMA-Modell sowohl vergangene Rauschterme als auch vergangene Werte der Zeitreihe selbst ein, spricht man auch von einem gemischten ARMA-Modell. Sind es nur aktuelle und vergangene Rauschterme, handelt es sich um ein (reines) Moving-Average- oder MA-Modell. Wenn neben dem aktuellen Rauschterm nur vergangene Werte der Zeitreihe selbst einfließen, handelt es sich um ein (reines) autoregressives oder AR-Modell.

### Moving-Average- oder MA-Modell

    $y_{t}=c+\varepsilon _{t}+\sum _{j=1}^{q}b_{j}\varepsilon _{t-j}$
Das zu modellierende Signal $y_{t}$ ist durch ein gewichtetes, gleitendes Mittel (Moving Average) von Rauschtermen $\varepsilon _{t-j},j=1,...,q,$ in der aktuellen und den $q$ Vorperioden sowie einer Konstanten $c$ gegeben. Die sogenannten MA-Koeffizienten $b_{j},j=1,\ldots ,q,$ geben an, mit welchem Gewicht der Rauschterm in das Signal einfließt.
Bezüglich der Rauschterme $\varepsilon _{t}$ wird angenommen, dass sie zeitlich voneinander unabhängig und identisch (meist Gauß-)verteilt sind, mit Erwartungswert 0 und der Varianz $0<\sigma ^{2}<\infty$.

### Autoregressives oder AR-Modell

    $y_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}a_{i}y_{t-i}$
Das Signal setzt sich aus einer Konstanten, einem Rauschterm und einem gewichteten, gleitenden Mittel der $p$ vorhergehenden Signalwerte zusammen, wobei die AR-Koeffizienten $a_{i},i=1,\ldots ,p,$ die Gewichte sind.

### ARMA-Modell

    $y_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}a_{i}y_{t-i}+\sum _{j=1}^{q}b_{j}\varepsilon _{t-j}$
Dieses Modell wird auch als ARMA(p, q)-Modell bezeichnet, wobei p und q, jeweils die autoregressive und die Moving-Average-Ordnung des Prozesses angeben. Reine AR(p)- bzw. MA(q)-Modelle sind also spezielle ARMA-Modelle mit q=0 bzw. p=0.
Mit Hilfe des sogenannten Verschiebungs- oder Lag-Operators $L$ (von lag, „Zeitverschiebung“)
    $L^{d}x_{t}=x_{t-d}$
schreibt man kürzer auch
    $a(L)y_{t}=c+b(L)\varepsilon _{t}$
wobei $a(\cdot )$ und $b(\cdot )$ jeweils Polynome (der Grade p und q) sind
    $a(x)=1-a_{1}x-\cdots -a_{p}x^{p}$,
    $b(x)=1+b_{1}x+\cdots +b_{q}x^{q}$.

### Alternative Darstellungen
#### Reine MA-Darstellung

Haben $a$ und $b$ keine gemeinsamen Nullstellen, so kann man einen ARMA-Prozess genau dann als einen MA($\infty$)-Prozesses auszudrücken, wenn $|z|>1$ für alle Nullstellen $z\in \mathbb {C}$ von $a$. Das heißt, unter diesen Voraussetzungen hat der Prozess eine Darstellung der Form
    $y_{t}={\frac {c}{a(L)}}+{\frac {b(L)}{a(L)}}\varepsilon _{t}=\mu +\sum _{j=0}^{\infty }c_{j}\varepsilon _{t-j}$
wobei der Erwartungswert von $y_{t}$ durch $\mu =c/a(L)$ und die Koeffizienten der reinen MA-Darstellung $c_{j}$ durch das Polynom $c(L)=b(L)/a(L)$ gegeben sind.

#### Reine AR-Darstellung

Analog zur reinen MA-Darstellung ist die reine AR-Darstellung. Sie erfordert, dass der Prozess invertierbar ist, also die Nullstellen des MA-Polynoms $b(L)$ größer eins sind. Dann gilt
    $d(L)y_{t}={\frac {a(L)}{b(L)}}y_{t}={\frac {c}{b(L)}}+\varepsilon _{t}$
bzw.
    $y_{t}=\nu +\varepsilon _{t}+\sum _{j=1}^{\infty }d_{j}y_{t-j}$

## Spezialfälle
### Weißes Rauschen

Einen ARMA(0,0)-Prozess $y_{t}=c+\varepsilon _{t}$, wobei es sich bei $y_{t}$ um den Rauschterm (möglicherweise plus einer Konstanten) handelt, nennt man Weißes Rauschen.

### Random Walk

Ein Random Walk ist ein AR-Prozess erster Ordnung (p=1), bei dem der AR-Koeffizient den Wert 1 hat, also
    $y_{t}=c+y_{t-1}+\varepsilon _{t}$
Gilt für die Konstante $c\neq 0$, dann spricht man auch von einem Random Walk mit Drift, andernfalls von einem Random Walk ohne Drift. Ein Random Walk ist stets integriert von der Ordnung 1.

## Modellierung

Die ARMA-Modellierung folgt in der Praxis meist der Box-Jenkins-Methode, die aus den Schritten Modellidentifikation, -schätzung, -validierung und -anwendung besteht.

### Identifikation

Ziel der Identifikation ist es, die ARMA-Spezifikationsparameter d, p und q zu bestimmen. Zur Bestimmung von d, der notwendigen Differenzenordnung, können Einheitswurzeltests verwendet werden. Für die ARMA-Ordnungen p und q werden häufig die Autokorrelationsfunktion (AKF) und die partielle Autokorrelationsfunktion herangezogen sowie Kriterien zur Modellselektion, wie das Akaike-Informationskriterium oder das bayessche Informationskriterium.

### Schätzung

Die Schätzung der Modellparameter erfolgt meist durch Maximum-Likelihood-Schätzung oder Kleinste-Quadrate-Schätzung. Im Fall von reinen AR-Modellen ist der Kleinste-Quadrate-Schätzer ein linearer Schätzer; ansonsten ist eine nichtlineare Kleinste-Quadrate-Schätzung erforderlich.

### Validierung

Um die Geeignetheit eines geschätzten Modells zu beurteilen, können verschiedene Kriterien herangezogen werden. In der Regel wird geprüft, ob die Residuen, also die geschätzten $\varepsilon _{t}$ unkorreliert sind und sich wie weißes Rauschen verhalten. Darüber hinaus kann auch die Prognosegüte evaluiert werden. Erscheint ein Modell nicht adäquat, kann ein erneutes Durchlaufen des Identifikations- und Schätzschrittes ggf. Abhilfe schaffen.

### Anwendung

Nach erfolgreicher Validierung kann die Modellanwendung betrieben werden. Häufig ist das die Kurzfristprognose. Eine Einschritt-Prognose erhält man zum Beispiel, indem man die Differenzengleichung des geschätzten ARMA-Modells eine Periode in die Zukunft schiebt und den bedingten Erwartungswert berechnet. Für Mehrschritt-Prognosen kann dies rekursiv wiederholt werden.

## Erweiterungen

ARMA-Modelle werden in Anwendungen typischerweise als Modelle für stationäre stochastische Prozesse und von diesen erzeugten Zeitreihen verwendet. Verschiedene Erweiterungen dienen der Modellierung nicht-stationärer stochastischer Prozesse oder multivariater stochastischer Prozesse. Stationarität bedeutet in diesem Zusammenhang, dass Erwartungswert und Varianz zeitunabhängig sind.

### ARIMA-Modell

Bei nicht-stationären Zeitreihen kann unter Umständen durch Differenzenbildung Stationarität induziert werden. Die erste Differenz von $y_{t}$ ist durch $\Delta y_{t}=y_{t}-y_{t-1}$ definiert, wobei $\Delta =1-L$ der sogenannte Differenzen-Operator ist. Modelliert man nicht $y_{t}$, sondern die d-te Differenz $\Delta ^{d}y_{t}$ als ARMA(p, q)-Modell, dann spricht man von einem integrierten ARMA-Modell der Ordnungen p, d, und q, oder kurz: einem ARIMA(p,d,q)-Modell. Werte für die ursprüngliche, undifferenzierte Zeitreihe erhält man durch d-faches Integrieren („Anti-Differenzenbildung“) von $\Delta ^{d}y_{t}$.

### ARMAX-Modell

Werden eine oder mehrere exogene Variablen benötigt, um die Zeitreihe $y_{t}$ zu modellieren, dann spricht man von einem ARMAX-Modell. Im Falle einer exogenen Variable $x_{t}$ gilt dann:
    $a(L)y_{t}=c+b(L)\varepsilon _{t}+e(L)x_{t}$
wobei das Polynom $e(L)$ die Lag-Struktur beschreibt, mit der die exogene Variable $x_{t}$ die zu erklärende Variable $y_{t}$ beeinflusst.

### Saisonale ARMA- und ARIMA-Modelle

In Wirtschafts- aber auch anderen Zeitreihen treten häufig saisonale Effekte auf. Beispiele sind monatliche Arbeitslosenzahlen, quartalsweise Einzelhandelsumsätze etc. Um diese zu berücksichtigen, können zusätzlich saisonale AR- bzw. MA-Komponenten spezifiziert werden. Liegen Daten mit einer saisonalen Spanne $s$ (z. B. $s=12$ für Monatsdaten und $s=4$ für Quartalsdaten) vor, dann hat das saisonale ARMA-Modell die Form
    $a_{S}(L^{s})a(L)y_{t}=c+b_{S}(L^{s})b(L)\varepsilon _{t}$
wobei
    $a_{S}(L^{s})=1-a_{S,1}L^{s}-\cdots -a_{S,P}L^{Ps}$
das saisonale AR-Polynom der Ordnung $P$ ist und
    $b_{S}(L^{s})=b_{S,0}+b_{S,1}L^{s}+\cdots +b_{S,Q}L^{Qs}$
das saisonale MA-Polynom der Ordnung $Q$.
In Kurzform: ${\text{ARMA}}(p,q){\text{x}}(P,Q,s)$. Die Kombination von ARIMA-Modellen mit saisonalen Modellen führt zu SARIMA-Modellen.

### VARMA-Modell

VARMA-Modelle sind eine mehrdimensionale Verallgemeinerung der ARMA-Modelle. VAR-Modelle sind lineare, zeitdiskrete Modelle für stochastische Prozesse mit $N$ endogenen Variablen: Jede Variable hängt von $p$ vorhergehenden Signalwerte zusammen ab. VMA-Modelle sind die Verallgemeinerung von MA-Modellen und sie sind nützlich für Impuls-Antwort-Funktion-Analyse. Ein VAR-Modell (Ordnung $p$) ist
    ${\vec {y}}_{t}={\vec {c}}+{\vec {u}}_{t}+\sum _{i=1}^{p}A_{i}{\vec {y}}_{t-i}$
mit ${\vec {c}}$ als einem konstanten Vektor, ${\vec {u}}_{t}$ als einem Vektor aus weißem Rauschen und $A_{1},A_{2},\dotsc ,A_{p}$ als $(N\times N)$-Matrizen.
Die Erweiterung eines ARMA-Modells durch beobachtbare exogene Variablen führt zu VARMAX-Modellen.