system: [SYSTEM]

user: 3. 理论推导 3.1. 改进广义岭估计理论推导 线性模型拟合中，对于参数的估计最常用的的是最小二乘估计，但是在遇到设计阵存在多重共线性的时候，往往最小二乘估计不是最好的，所以A.E.Hoerl提出了岭估计，引入岭参数 k I p × p 来解决多重共线性问题，后来广义岭估计的提出又定义了岭参数 k 1 ~ k p 可以不相同来减小拟合结果的均方误差。叶、朱(1998) [ 2 ] 提出了奇异值分解的解法。本节在前人建立的广义岭估计的基础上又提出对于若干异常值较大情况的一种广义岭估计的修正方法，改进广义岭估计。先对广义岭估计进行回顾， 岭估计参数 β ^ 的估计方法： β ^ ( k ) = ( X ′ X + k I p × p ) − 1 X ′ Y = ( X ′ X + k I p × p ) − 1 ( X ′ X ) β ^ ， 建立典则方程： Y = α 0 1 + Z α + ε ， 典则回归系数的岭估计： α ^ ( k ) = ( Λ + k I p × p ) − 1 Z ′ Y = ( Λ + k I ) − 1 Λ α ^ ， 其中 α ^ = ( Λ ) − 1 Z ′ Y ， Λ = ϕ ′ ( X ′ X ) ϕ = diag ( λ 1 ， ⋯ ， λ p ) ， ϕ = ( φ 1 ， ⋯ ， φ p ) 是 λ i 对应的特征根， Z = X ϕ ， α ^ = ϕ ′ β ^ 。定义 K = diag ( k 1 ， ⋯ ， k p ) ， k i 是不必全相等的岭参数，于是定义该模型广义岭估计的典则参数和平差参数估计如下： α ^ ( K ) = ( Z ′ Z + K ) − 1 Z ′ Y = ( Λ + K ) − 1 Z ′ Y = ( Λ + K ) − 1 Λ α ^ = ( Λ + K ) − 1 C ， β ^ ( K ) = ϕ α ^ ( K ) = ϕ ( Λ + K ) − 1 Λ ϕ ′ β ^ = ϕ ( Λ + K ) − 1 ϕ ′ X ′ Y = ( X ′ X + ϕ K ϕ ′ ) X ′ Y ， (A) 当 K = k I p × p 时，广义岭估计就简化成为了一般的岭估计。 由于实际数据或许存在若干较大异常值情况，故提出修正参数对广义岭估计进行改进： γ i j = 1 − I { | x i j − x ¯ j | > Q j a } ( x i j − x j ¯ ) ， 其中 I { x i j > Q j a } 为示性函数， Q j a 为对应设计阵X的第j列进行中心化并求绝对值后的a%分位数， x j ¯ 为对应设计阵X的第j列的均值。提出修正参数 γ i j ，将消除由于自变量中存在若干较大异常值对模型拟合的影响。 相应的，加入修正参数后的典则方程和平差方程如下： α ^ ( K ) = [ ( Z γ i j ) ′ ( Z γ i j ) + K ] − 1 ( Z γ i j ) ′ Y ， β ^ ( K ) = [ ( X γ i j ) ′ ( X γ i j ) + ϕ K ϕ ′ ] − 1 ( X γ i j ) ′ Y ， 令 Z R = Z γ i j ， X R = X γ i j 得： α ^ ( K ) = [ Z R ′ Z R + K ] − 1 Z R ′ Y ， β ^ ( K ) = [ X R ′ X R + ϕ K ϕ ′ ] − 1 X R ′ Y ， 易证 MSE [ α ^ ( K ) ] = MSE [ β ^ ( K ) ] ，这里略去证明过程，于是可以通过 α ^ ( K ) 来作为评价 β ^ ( K ) 估计值好坏的指标。 MSE [ α ^ ( K ) ] = MSE [ β ^ ( K ) ] = σ 2 ∑ i = 1 p − 1 λ i ( λ i + k i ) 2 + ∑ i = 1 p − 1 k i 2 α i 2 ( λ i + k i ) 2 . 3.2. 改进广义岭估计解法介绍 对于岭参数的估计，将是建立合理的线性模型的至关重要的一点，虽然前人已经提出了各种确定岭参数的方法和准则，但是到目前为止，并没有一种公认的非常稳健的方法，所以本文将采用游、王和刘(2002) [ 1 ] 提出的广义岭估计的直接解法DSGRE (derct solution to generalized ridge estimate)，其内容如下： 由于 λ i 和 α i 与 k i 没有关系且 α i 是非随机的，为了求得最小的 MSE [ α ^ ( K ) ] ，故对 MSE [ α ^ ( K ) ] 关于 k i 进行一阶求导： f ′ ( k i ) = dMSE [ α ^ ( K ) ] d k i = − 2 σ 2 ∑ i = 1 p − 1 λ i ( λ i + k i ) 3 + 2 ∑ i = 1 p − 1 k i λ i α i 2 ( λ i + k i ) 3 ， 令 f ′ ( k i ) = 0 ， 解得： k i = σ 2 α i 2 ，     i = 1 ， 2 ， ⋯ ， p − 1 ， 由于真实的 σ 2 和 α i 2 是未知的，故用 σ 2 的估计值 σ 2 ^ 以及 α i 的迭代值 α i ^ ( j ) 来对 k i 进行迭代求解： k i ^ ( j ) = σ 2 ^ α i ^ ( j ) α i ^ ( j ) ， (B) 那么就可以用第j次 α i ^ ( j ) 的迭代值来估计与之相同次数的岭参数 k i ，由式(A)可知，第 j + 1 次估计为： α i ^ ( j + 1 ) = c i λ i + k i ^ ( j ) ， 带入式(B)可知： α i ^ ( j + 1 ) = c i λ i + σ 2 ^ α i ^ ( j ) α i ^ ( j ) = c i α i ^ ( j ) α i ^ ( j ) λ i α i ^ ( j ) α i ^ ( j ) + σ 2 . (C) 3.3. 解的存在性证明 薛、梁(2002) [ 3 ] 给出了参数的迭代算法。结合已有的证明过程，对改进广义岭估计的解的存在性予以证明。如果 α i ^ ( j + 1 ) 是一致收敛的，那么经过 j + 1 次迭代过程，必然能够求解出 α i ^ ( j + 1 ) 的数值解，故下证 α i ^ ( j + 1 ) 的一致收敛性： 证明：若 c i > 0 ，根据 α i ^ ( j + 1 ) 的形式知： α i ^ ( 0 ) = c i λ i > 0 ，由于 σ 2 > 0 ⇒ α i ^ ( 0 ) > α i ^ ( 1 ) > ⋯ > α i ^ ( ∞ ) > 0 ，故 α i ^ ( j + 1 ) 在 j ∈ ( 0 ， ∞ ) 上市有界并且单调的，有Dieichlet判别法可知， α i ^ ( j + 1 ) 在 j ∈ ( 0 ， ∞ ) 上是一致收敛的。 若 c i < 0 ，根据 α i ^ ( j + 1 ) 的形式知： α i ^ ( 0 ) = c i λ i < 0 ，由于 σ 2 > 0 ⇒ α i ^ ( 0 ) < α i ^ ( 1 ) < ⋯ < α i ^ ( ∞ ) < 0 ，故 α i ^ ( j + 1 ) 在 j ∈ ( 0 ， ∞ ) 上是有界并且单调的，有Dieichlet判别法可知， α i ^ ( j + 1 ) 在 j ∈ ( 0 ， ∞ ) 上是一致收敛的。 综上所知： α i ^ ( j + 1 ) 在 j ∈ ( 0 ， ∞ ) 上是一致收敛的，迭代式 α i ^ ( j + 1 ) 必然有解。 于是，令 α i ^ ( ∞ ) = α i ^ ，则式(C)可以写成如下形式： α i ^ = c i α i ^ 2 λ i α i ^ 2 + σ 2 ， (D) 解式(D)得： α i ^ = { 0 ，                                               c i = 0 或 c i 2 − 4 λ i σ 2 ≥ 0 ， c i + c i 2 − 4 λ i σ 2 2 λ i ，     c i > 0 ， c i 2 − 4 λ i σ 2 ≥ 0 ， c i + c i 2 − 4 λ i σ 2 2 λ i ，     c i < 0 ， c i 2 − 4 λ i σ 2 ≥ 0. 又因为 β ^ = ϕ α ^ ，故该方法直接给出了直接解改进广义岭估计参数的方式。本节将游、王和刘(2002) [ 1 ] 提出的DSGRE在改进广义岭估计中应用，推导过程验证，也是适用的。