system: [SYSTEM]

user: 2. 模型简述 2.1. ARMA模型 将任意一个时间序列经过预处理后，变成蕴含相关信息的平稳非白噪声序列，这时就可以用ARMA模型对此序列进行拟合，提取出关键信息。ARMA为自回归移动平均模型，可细分为AR模型，MA模型，和ARMA模型三大类，分别具有如下形式： x t = ϕ 0 + ϕ 1 x t − 1 + ⋯ + ϕ p x t − p + ε t (1) x t = μ + ε t − θ 1 ε t − 1 − θ 2 ε t − 2 − ⋯ − θ p ε t − p (2) x t = ϕ 0 + ϕ 1 x 1 + ⋯ + ϕ p x t − p + ε t − θ 1 ε t − 1 − θ 2 ε t − 2 − ⋯ − θ p ε t − p (3) AR模型有偏自相关函数截尾的性质；MA模型有相关函数截尾的性质。有些因果线性时间序列有与AR和MA类似的表现，但是不能在低阶实现偏自相关函数截尾或者相关函数截尾。ARMA模型结合了AR和MA模型，在对数据拟合优度相近的情况下往往可以得到更简单的模型，而且不要求偏自相关函数截尾也不要求相关函数截尾。在式(3)中， ε t 为独立同分布零均值白噪声序列， ε t 与 x t − 1 ， x t − 2 ， ⋯ 独立。 1 − ϕ 1 x − ⋯ − ϕ p x p 称为特征多项式，特征多项式的根都在单位圆外，这个条件称为可逆条件。两个多项式没有公共根，否则统一模型可能会有不同的表示。 2.2. ARCH模型 在经济研究领域，经常发现有在消除确定性非平稳因素后，残差序列大部分时段是平稳的但在某一时段会有较大波动，某一时段会有较小波动，具有异方差波动特征，存在波动聚集的现象，不满足时间序列建模的同方差的假设，也就无法使用时间序列的分析方法分析问题，于是Engle (1982)提出了ARCH模型(自回归条件异方差模型)，这是对波动率定义为条件标准差，第一次提出的波动率的理论模型，基本思想是：1) 资产收益率的扰动序列 a t = r t − E ( r t | F t − 1 ) 是前后不相关的，但是前后不独立；2) a t 的不独立性，描述为 V a r ( r t | F t − 1 ) = V a r ( a t | F t − 1 ) 可以用 a t 2 的滞后值的线性组合表示。 具体的ARCH (m)模型为： a t = σ t ε t (4) σ t 2 = α 0 + α 1 a t − 1 2 + ⋯ + α m a t − m 2 (5) 其中 ε t 是零均值单位方差的独立同分布的白噪声， α 0 > 0 ， α j ≥ 0 ， j = 1 ， 2 ， ⋯ ， m 。 α j 还需要满足一些条件使得 V a r ( a t ) 有限，类似于 AR ( p ) 序列的平稳性的特征根条件。 ARCH模型实质就是构造一个模型，利用历史波动信息，得到条件方差信息，采取自回归形式刻画波动的变化。如下式所述： V a r ( ε t | ε t − 1 ， ε t − 2 ， ⋯ ) = E ( ε t 2 | ε t − 1 ， ε t − 2 ， ⋯ ) = ω + ∑ j = 1 q     λ j ε t − j 2 (6) 对于一个时间序列来说，不同时刻包含不同历史信息，所以有不同的条件方差，用ARCH模型可以很好的刻画时间序列的这种波动特征。 2.3. GARCH模型 ARCH模型实质是用残差平方序列的移动平均来拟合当期的异方差数值，通常只适用于短期自相关过程，对于有长期自相关性的残差序列(ARCH模型具有较高的滞后阶数)，使用ARCH模型会增加它待估参数的难度和估计精确度，于是引入GARCH (广义自回归条件异方差)模型。对于一个对数收益率序列 r t ，令 a t = r t − μ t = r t − E ( R t | F t − 1 ) 为其新息序列，称 a t 服从 GARCH ( m ， s ) 模型，如果 a t 满足： α t = σ t ε t σ t 2 = α 0 + ∑ i = 1 m α i α t − i 2 + ∑ j = 1 s β j σ t − j 2 (7) 其中为零均值单位方差的独立同分布白噪声序列， α 0 > 0 ， α i ≥ 0 ， β j ≥ 0 ， 0 < ∑ i = 1 m α i + ∑ j = 1 s β j < 1 ，最后一个条件是用来保证模型的 a t 的无条件方差有限且不变，而条件方差 σ t 2 可以随时间t的变化而变化。 2.4. EGARCH模型 由于GARCH模型在处理时间序列中没有考虑到股票收益率的非对称效应，Christie (1982)的研究认为，当股票价格下降时，资本结构当中附加在债务上的权重增加，如果债务权重增加的信息泄漏以后，资产持有者和购买者就会产生未来资产收益率将导致更高波动性的预期，从而导致该资产的股票价格波动。因此，对于股价反向冲击所产生的波动性，大于等量正向冲击产生的波动性，这种“利空消息”作用大于“利好消息”作用的非对称性。为了克服GARCH模型处理时间序列上的问题，Nelson (1991)考虑了加权的新息，由此提出了EGARCH或指数(Exponential) GARCH模型。 r t = ϕ 0 + ϕ 1 x t + α t ， α t = σ t ε t ， g ( ε t ) = θ ε t + γ ( | ε t | − E | ε t | ) ， ln ( σ t 2 ) = α 0 + ∑ j = 1 s β j ln ( σ t − i 2 + ∑ i = 1 m α i | α t − i | + γ i α t − i σ t − i ) (8) 其中 θ 和 γ 是实常数。 ε t 和 | ε t | − E | ε t | 都分别是零均值独立同分布白噪声，分别为连续分布，易知 E g ( ε t ) = 0 。 g ( ε t ) = { ( θ + γ ) ε t − γ E | ε t | ，     ε t ≥ 0 ( θ − γ ) ε t − γ E | ε t | ，     ε t < 0 (9) 根据上式可见 g ( ε t ) 的分布是非对称的。当 ε t ~ N ( 0 ， 1 ) 时， EGARCH ( m ， s ) 模型可以用滞后算子的形式写成： α t = σ t ε t ， ln ( σ t 2 ) = α 0 + 1 + β 2 B + ⋯ + β s B s − 1 1 − α 1 B − ⋯ − α m B m g ( ε t ) (10) 其中 α 0 为常数，其中B是滞后算子，多项式 1 + β 2 B + ⋯ + β s B s − 1 和 1 − α 1 B − ⋯ − α m B m 的根都在单位圆外且两个多项式没有公因子。记 ξ t = ln ( ε t 2 ) ，则上式给出的 ξ t 为一个平稳线性 ARMA ( m ， s − 1 ) 序列，以 零均值独立同分布白噪声 g ( ε t − 1 ) 为新息；但是， ln ε t 2 通过 ε t − 1 = α t − j σ t − j ，序列依赖。原始的GARCH模型 的 ε t 2 直接依赖于 α t − j 2 的， ± α t − j 对 σ t 2 影响相同。易知， E ln ( σ t 2 ) = α 0 。EGARCH与GARCH模型的区别还有：1) 使用条件方差的对数建模，因为对数值可正可负，这就取消了GARCH模型对系数必须非负的 限制；2) g ( ε t − j ) = g ( α t − j σ t − j ) 的使用使得波动率对 α t − j 的依赖关系与 α t − j 的正负号有关，可以用来描述正负收益率的不同的影响。 此外对于序列 ε t 拟合GARCH模型有一个基本要求即需为零均值，纯随机，异方差序列。但有时 f ( t ， x t − 1 ， x t − 2 ， ⋯ ) 不能充分提取原序列相关信息， ε t 就不具有纯随机性。这时需要考虑AR-GARCH模型，具有如下形式： x t = f ( t ， x t − 1 ， x t − 2 ， ⋯ ) + ε t ， ε t = ∑ k = 1 m β k ε t − k + ν t ， ν t = h t e t ， h t = ω + ∑ i = 1 p η i h t − i + ∑ j = 1 q λ j ν t − j 2 (11) 这就是先对 ε t 拟合自回归模型，再考虑 μ t 的方差齐性，如具有异方差，对此拟合GARCH模型，称为AR(m)-GARCH(p， q)模型。 2.5. 神经网络模型 人工神经网络(Artificial Neural Network， ANN)简称神经网络(ANN)，是基于生物学中神经网的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。ANN是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。这些处理单元我们称作人工神经元。人工神经网络便可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。 机器学习中的神经网络结构由输入层、隐含层、输出层组成。假设有N个任意样本集 ( x j ， y j ) ， j = 1 ， 2 ， ⋯ ， N 其中 x i = [ x j 1 ， x j 2 ， ⋯ ， x j n ] T ∈ R n y i = [ y j 1 ， y j 2 ， ⋯ ， y j n ] T ∈ R n (12) 通过神经网络可以自动找寻x与y之间的非线性映射关系。对于具有L个隐含结点的单隐层神经网络的输出 t i 可以表示为 ∑ i = 1 L θ i g ( ω i T x j + b i ) = t j ，   j = 1 ， 2 ， ⋯ ， N (13) 式(13)中，g为激活函数，一般为σ函数。 ω i = [ ω i 1 ， ω i 2 ， ⋯ ， ω i n ] T 为第i个隐层单元的输入权重，i为第i个隐层单元的偏置， θ i = [ θ i 1 ， θ i 2 ， ⋯ ， θ i m ] T 为第i个隐层单元的输出权重。 t j = [ t j 1 ， t j 2 ， ⋯ ， t j m ] T 为神经网络的输出值。上式的矩阵形式为 H B = H ( ω 1 ， ω w ， ⋯ ， ω L ， b 1 ， b 2 ， ⋯ ， b L ， x 1 ， x 2 ， ⋯ ， x N ) B = T (14) 其中， H = [ g ( ω 1 T x 1 + b 1 ) ⋯ g ( ω L T x 1 + b L ) ⋮ ⋮ g ( ω 1 T x N + b N ) ⋯ g ( ω L T x N + b L ) ] N × L B = [ θ 1 T ⋮ θ L T ] L × m T = [ t 1 T ⋮ t N T ] N × m 单隐层神经网络对输入的N个样本集 ( x j ， y j ) ， j = 1 ， 2 ， ⋯ ， N 进行自我学习，通过最小化输出值与是机智的误差平方和估计参数 ω ^ i ， b ^ i ， θ ^ i ，得到x与y之间的非线性映射关系： min ω ， b ， β ‖ Y − T ‖ = min ω ， b ， β ‖ Y − H ( ω i ， b i ) B ‖ (15) 式(11)等价于最小化损失函数： E = ∑ j = 1 N ( ∑ i = 1 L y i − θ i g ( ω i T x j + b i ) ) 2 (16) 式(15)无解析解，采用梯度下降法可得到模型参数估计。