system: [SYSTEM]

user: 3. 基于似然比扫描 (LRS)方法的多变点估计 结合AR过程的计算优势和强稳健性，考虑将原始序列通过合理分割变为分段平稳AR过程，即将原始序列的多变点估计变为局部单变点估计。 3.1. 基本假设 假设观测值 { X t } t = 1 ， ⋯ ， n 可以划分为 m + 1 个平稳过程。第j段序列观测值 X j = { X τ j − 1 + 1 ， ⋯ ， X τ j } ∈ M ( θ j ) ，其中 j = 1 ， ⋯ ， m ， τ j 是第j个变点，即在 τ j 处第j段AR过程 AR ( p j ) 发生突变，变为第 j + 1 段AR过程 AR ( p j + 1 ) 。令 τ 0 ≜ 0 ， τ m + 1 ≜ n 。记 J = ( τ 1 ， ⋯ ， τ m ) 为变点的集合。定义 λ j 为第j个变点的相对位置，使得 τ j = ⌊ λ j n ⌋ ， j = 0 ， ⋯ ， m + 1 ，且满足当 ϵ λ > 0 时 min j = 0 ， ⋯ ， m ( λ j + 1 − λ j ) > ϵ λ 。 3.2. 基于似然比扫描统计量的多变点检测步骤 本节，主要介绍了LRS方法检测多变点的三个步骤，其变点估计及渐近性质将在下节讨论。 第一步：使用似然比扫描统计量获得所有变点集合 分别定义扫描窗口及其相应的观测值为 W t ( h ) = { t − h + 1 ， ⋯ ， t + h } ， X W t ( h ) = { X t − h + 1 ， ⋯ ， X t + h } 其中 t = h ， ⋯ ， n − h ，h称为窗口半径， h = h ( n ) 依赖于样本量n。定义扫描窗口 W t ( h ) 的似然比扫描统计量 S h ( t ) = 1 h L 1 h ( t ， θ ^ 1 ) + 1 h L 2 h ( t ， θ ^ 2 ) − 1 h L ⋅ h ( t ， θ ^ ) L 1 h ( t ， θ ^ 1 ) ， L 2 h ( t ， θ ^ 2 ) ， L ⋅ h ( t ， θ ^ ) 分别是相应观测序列 { X s } t − h + 1 ， ⋯ ， t ， { X s } t + 1 ， ⋯ ， t + h ， { X s } W t ( h ) 的条件似然函数。具体地说，样本 z = { z 1 ， ⋯ ， z n } 的条件似然函数为 L ( θ ) = ∑ t = 1 n l t ( θ ) ≡ ∑ t = 1 n log f θ ( z t | z t − 1 ， z t − 2 ， ⋯ ) 其中 f θ ( z t | z t − 1 ， z t − 2 ， ⋯ ) 是给定过去观测值的条件密度函数，且当 s ≤ 0 时 z s = 0 。 接下来，使用扫描统计量 S h ( t ) 对序列进行扫描，从而获得一组似然比扫描统计量值的序列 ( S h ( h ) ， S h ( h + 1 ) ， ⋯ ， S h ( n − h ) ) ，如果t是变点， S h ( t ) 往往会较大。若 2 h < n ϵ λ ，则每个扫描窗口内至多存在一个变点。因此 S h ( ⋅ ) 的局部最大值构成一组变点估计，记局部变点估计如下 J ^ ( 1 ) = { m ∈ { h ， h + 1 ， ⋯ ， n − h } : S h ( m ) = max t ∈ ( m − h ， m + h ) S h ( t ) } 当 t ∉ [ h ， ⋯ ， ( n − h ) ] 时 S h ( t ) ≜ 0 。即如果 S h ( m ) 是扫描窗口 [ m − h + 1 ， m + h ] 内的最大值，则m就是该扫描窗口的局部变点估计。记 m ^ 为估计变点的数目，表示 中的元素个数。 第二步：通过模型选择得到变点一致估计 寻找m， J 的最佳集合即为模型选择问题。从上一步获得的局部变点估计集合 J ^ ( 1 ) 通常会存在过估计问题，即将一些正常值也识别为变点，使得 J ^ ( 1 ) 内不仅包含所有真实变点集合，还包含一些非变点。为了更准确地检测到真实变点，进一步利用合适的信息准则从 J ^ ( 1 ) 中选取最佳的子集作为变点估计。最小描述长度(MDL)准则已经在很多实证研究中体现出显著的优势(如Davis et al. (2006， 2008))，本文选取MDL准则进行模型选择过程。给定一组变点估计 J = ( τ 1 ， ⋯ ， τ m ) ，MDL准则定义为 式中 L j ( θ ^ j ; X j ) 是第j段的似然函数， n 1 ， ⋯ ， n j 是每段分割的长度， d j 是 θ j 的维数， ζ j ， 1 ， ⋯ ， ζ j ， c j 是整数值参数，分别确定第j段分割的模型参数 [ 5 ] [ 9 ] 。考虑本文将各段分为AR过程，整数值参数只有AR过程阶数 p j ；又 θ j = ( ϕ j ， 0 ， ϕ j ， 1 ， ⋯ ， ϕ j ， p ， σ ϵ 2 ) ，故 d j = p j + 2 。所以针对AR过程，其MDL表达式为 给定局部变点估计 J ^ ( 1 ) ，可以通过下式精确估计变点 ( m ^ ( 2 ) ， J ^ ( 2 ) ) = a r g m i n m = | J | ， J ⊆ J ^ ( 1 ) MDL ( m ， J ) 因为 J ^ ( 1 ) 所包含的因素已经远远少于样本容量，所以在 J ^ ( 1 ) 上优化MDL使计算的复杂度大大降低，提高计算效率。本文采用Yao (1984)和Jackson (2005)提到的最优分割(OP)算法对MDL进行优化 [ 10 ] [ 11 ] 。 第三步：最终估计和置信区间构造 定义新扩展的局部窗口 E j ( h ) 和第j个变点估计 τ ^ j ( 2 ) ∈ J ^ ( 2 ) 的相应观测值 X E j (h) E j ( h ) = { τ ^ j ( 2 ) − 2 h + 1 ， ⋯ ， τ ^ j ( 2 ) + 2 h } ， X E j ( h ) = { X τ ^ j ( 2 ) − 2 h + 1 ， ⋯ ， X τ ^ j ( 2 ) + 2 h } 这保证了每个真实变点在相应扩展局部窗口 E j ( h ) 的 ( 1 4 ， 3 4 ) 内的概率接近于1。设 L j ( τ ， θ 1 ， θ 2 ) = ∑ t = τ ^ j ( 2 ) − 2 h + 1 τ l t ( θ 1 ) + ∑ t = τ + 1 τ ^ j ( 2 ) + 2 h l t ( θ 2 ) ，定义最终变点估计为 τ ^ j ( 3 ) = arg max τ ∈ ( τ ^ j ( 2 ) − h ， τ ^ j ( 2 ) + h ] L j ( τ ， θ ^ j ， θ ^ j + 1 ) 其中 θ ^ j = θ ^ j ( τ ) = a r g m a x θ 1 ∑ t = τ ^ j ( 2 ) − 2 h + 1 τ l t ( θ 1 ) ， θ ^ j + 1 类似定义。此时，可利用2.1中的结论来获得每个最终的变点估计 τ ^ j ( 3 ) 的置信区间。 在最初扫描步骤中， W j ( h ) 的大小为2h，对给定h，每个时刻t的 S h ( t ) 的计算复杂度为 O ( h ) 。在第二步中，使用Jackson (2005)最优分割算法优化MDL时，最小化MDL需要 O ( ( m ^ ( 1 ) ) 2 n ) 的计算复杂度。 在第三步中，由于计算被限制在扩展的局部窗口上，所以计算复杂度为 O ( m ^ ( 2 ) h 2 ) 。综上，由于 m ^ ( 1 ) 和 m ^ ( 2 ) 都是有限的，因此整个检测到最终变点估计过程的总计算复杂度为 O ( n h + h 2 ) 。当h较小时，例如 h = O { log ( n ) } ，则完整的三步LRS方法需要使用动态规划算法(最优分割算法)的计算复杂度为 O { n log ( n ) } ，明显低于 O { n 2 } 的数量级。如3.3节所示，窗口半径h作为调整参数，其值选取对定理3.1是至关重要的，其中d未知的。但如果h的阶数大于 O { log ( n ) } ，例如 h = O ( d 2 log ( n ) 2 ) ，那 d 2 的取值不会影响到LRS方法的一致性。因此，随着样本量的增加，这个h的选择在理论上是合理的。经过大量模拟及实证研究发现通常 d = 2 时，各种模型和样本有较好的结果，因此建议当 n > 800 时使用 max { 50 ， 2 log ( n ) 2 } ，当 n ≤ 800 时使用 max { 25 ， 2 log ( n ) 2 } 作为h的经验选择。 3.3. 渐近性质 本节主要讨论似然比扫描方法的渐近性质，给出相应定理以保证变点估计数目、位置、置信区间的一致性。 假设3.1. 对任意两个连续的分段 X j = { X τ j − 1 + 1 ， ⋯ ， X τ j } ， X j + 1 = { X τ j + 1 ， ⋯ ， X τ j + 1 } ，当 k ∈ { τ j − 1 + 1 ， ⋯ ， τ j } ，条件似然函数的期望 E [ l k ( θ ) ] 在 θ = θ j 0 处取得唯一的极大值，同理当 k ∈ { τ j + 1 ， ⋯ ， τ j + 1 } ， E [ l k ( θ ) ] 在 θ = θ j + 1 0 处取得唯一的极大值，且 θ j 0 ≠ θ j + 1 0 。此外有 { E [ l k ( θ j + 1 0 ) ] < E [ l k ( θ j 0 ) ] k ∈ { τ j − 1 + 1 ， ⋯ ， τ j } E [ l k ( θ j + 1 0 ) ] > E [ l k ( θ j 0 ) ] k ∈ { τ j + 1 ， ⋯ ， τ j + 1 } 假设3.2. 在任意一个分段中， l k ( θ ) 是关于 { X t } 的连续可测函数，且关于 θ 几乎处处二阶可微。 假设3.3. 令 Y k ( θ ) = l k ( θ ) − E [ l k ( θ ) ] 。对任意 θ ∈ Θ ，存在 K > 0 使得 Ε ( e | Y k ( θ ) | ) ≤ K ，   k ∈ ℕ 成立。 假设3.4. 对任意 θ j ∈ Θ j ，均存在可积函数 G ( X t ) ，使得 E ( G ( X t ) ) < ∞ ， | l t ( θ j ) | ≤ G ( X t ) 。 下面定理3.1确保了所有变点都可以在 J ^ ( 1 ) 的h邻域中确定。 定理3.1. 记真实变点集合为 J 0 = ( τ 1 0 ， ⋯ ， τ m 0 0 ) ，通过第一步扫描统计量得到的局部变点集合为 J ^ ( 1 ) = ( τ ^ 1 ( 1 ) ， ⋯ ， τ ^ m ^ ( 1 ) ( 1 ) ) ，其中 m ^ ( 1 ) = | J ^ ( 1 ) | 。若假设3.1~3.4成立，且 2 h < n ϵ λ ( ϵ λ > 0 ) ，则存在 d > 0 ，当 h ≥ d log ( n ) 时有 P ( m a x m i n τ ∈ J 0 ， k = 1 ， ⋯ ， m ^ ( 1 ) | τ − τ ^ k ( 1 ) | < h ) → 1 由于变点之间的最小距离为 n ϵ λ = O ( n ) ，所以真实变点数目 m 0 是有限的。但此时并不能保证 m ^ ( 1 ) 等于 m 0 。也就是说，变点的数量可能被高估，存在过估计问题。接下来定理3.2阐述了基于MDL准则模型选择方法产生的变点数量和位置的一致性。 定理3.2. 定理3.1成立条件下，当 ϵ λ > 0 时，有 m ^ ( 2 ) → p m 0 。此外，若 m ^ ( 2 ) = m 0 ，则有 P ( m a x j = 1 ， ⋯ ， m 0 | τ ^ ( 2 ) − τ j 0 | < h ) → 1 由于 h ≥ d log ( n ) ，定理3.2意味着 m a x j = 1 ， ⋯ ， m 0 | τ ^ j ( 2 ) − τ j 0 | = O p ( h ) ，与经典收敛速率 O p ( 1 ) 相比，显然是不理想的。不过尽管如此，区间 [ τ ^ j − h + 1 ， τ ^ j + h ] 覆盖真实变点 τ j 0 的概率接近依然1，这使扩展的局部窗口产生变点一致最终估计和置信区间变得可行。 定理3.3. 定理3.2成立条件下，若 3 h < n ϵ λ ，同时假设3.4成立，则有 τ ^ j ( 3 ) − τ j 0 → d arg max τ ∈ ℤ W j ， τ 其中 W j ， τ 是一个随机游走如下所示 W τ = { ∑ t = τ j 0 + 1 τ j 0 + τ ( l t ( θ j 0 ) − l t ( θ j + 1 0 ) ) ，       τ > 0， 0 ，   τ = 0， ∑ t = τ j 0 + τ + 1 τ j 0 ( l t ( θ j + 1 0 ) − l t ( θ j 0 ) ) ， τ < 0 . 特别地，此时 τ ^ j ( 3 ) − τ j 0 = O p ( 1 ) 。 由于变点之间的最小距离远大于窗口半径h，即 n ϵ λ / h → ∞ ，扩展的局部窗口 E j ( h ) 之间的距离亦趋于无穷，所以在一些弱相依条件下，构造的CI是渐近独立的。此时可将2.2中获得单变点置信区间的方法直接应用至多变点模型(其实质也是局部单变点问题)。