system: [SYSTEM]

user: 3. 统计诊断分析 3.1. 数据删除模型 数据删除是统计诊断中最基本的方法，比较未删除模型和删除模型相应的参数估计量之间的差异，能得出一定的结论。缺失数据下均值方差模型的数据删除模型可以表示为： { δ i y i ~ N ( μ i ， σ i 2 ) μ i = x i T β log ( σ i 2 ) = z i T λ i = 1 ， 2 ， ⋯ ， n ， i ≠ j (3) 对于模型(2)和(3)，为了解第j个数据点 ( x j ， y j ) 在整个数据集中的作用和影响，可通过比较第j个数据点 ( x j ， y j ) 删除前后统计推断结果的变化，来判断这个点是否是异常点或强影响点，其中，统计推断结果的变化可以通过一些诊断统计量来表述，统计诊断量的具体计算见下文。删除第j个数据点之后的模型称之为数据删除模型，本文研究的数据删除模型为模型(3)。 3.2. 完全数据下的极大似然估计 对于模型(1)，假设 ( y i ， x i ， z i ) 为数据集中的第i个数据点。由模型(1)可知其似然函数为： l ( β ， λ ) = ∏ i = 1 n 1 2 π exp ( z i T λ ) exp [ − ( y i − x i T β ) 2 exp ( z i T λ ) ] (4) 对式(4)取自然对数，得其对数似然函数为： l ( β ， λ ) = − 1 2 ∑ i = 1 n ln ( 2 π ) − 1 2 ∑ i = 1 n z i T λ − 1 2 ∑ i = 1 n ( y i − x i T β ) 2 exp ( z i T λ ) (5) 由于极大化该对数似然函数(5)无法获得未知参数的极大似然估计的显示表达式，因此主要采用Gauss-Newton迭代计算算法。 为了方便，令 θ = ( β T ， λ T ) T ，则 l ( β ， λ ) = l ( θ ) ，因此： U ( θ ) = ∂ l ( θ ) ∂ θ = ( U 1 T ( β ) ， U 2 T ( λ ) ) T 其中 U 1 ( β ) = ∂ l ( β ， λ ) ∂ β ， U 2 ( β ) = ∂ l ( β ， λ ) ∂ λ ， ∂ l ( β ， λ ) ∂ β = ∑ i = 1 n ( y i − x i T β ) x i exp ( z i T λ ) ∂ l ( β ， λ ) ∂ λ = − 1 2 ∑ i = 1 n z i + 1 2 ∑ i = 1 n ( y i − x i T β ) 2 z i exp ( z i T λ ) 另外，令 H ( θ ) = ( ∂ 2 l ( θ ) ∂ β ∂ β T ∂ 2 l ( θ ) ∂ β ∂ λ T ∂ 2 l ( θ ) ∂ β T ∂ λ ∂ 2 l ( θ ) ∂ λ ∂ λ T ) ，其中： ∂ 2 l ( β ， λ ) ∂ β ∂ β T = − ∑ i = 1 n x i x i T exp ( z i T λ ) ， ∂ 2 l ( β ， λ ) ∂ λ ∂ λ T = − 1 2 ∑ i = 1 n ( y i − x i T ) 2 z i z i T exp ( z i T λ ) ， ∂ 2 l ( β ， λ ) ∂ β ∂ λ T = − ∑ i = 1 n ( y i − x i T ) 2 z i x i T exp ( z i T λ ) ， ∂ 2 l ( β ， λ ) ∂ β T ∂ λ = − ∑ i = 1 n ( y i − x i T ) 2 x i z i T exp ( z i T λ ) 。 最后，将以上几个式子带入式(6)进行迭代计算： θ 1 = θ 0 − ( H ( θ ) ) − 1 U ( θ ) | θ = θ 0 (6) 直到 | θ 1 − θ 0 | < δ ，即认为 θ 1 为极大似然估计 θ ^ 的近似值，其中 δ 为预先给定的充分小的正数，如 δ = 10 − 6 。 最后给出以下获得模型(1)中未知参数的极大似然估计的具体迭代计算算法与步骤。 步骤1：首先给定未知参数的初始值 。 步骤2：给定当前值 θ ( m ) = ( ( β ( m ) ) T ， ( λ ( m ) ) T ) T ，代入下式进行更新迭代： θ ( m + 1 ) = θ ( m ) − ( H ( θ m ) ) − 1 U (θm) 步骤3：重复步骤2，直到迭代收敛。 3.3. 基于回归插补法的缺失数据下参数估计 回归插补法的主要思想是依据响应变量y和与之对应的解释变量x之间的关系建立回归模型，即 y ^ i = x i T β ^ 。然后根据已知的解释变量x的数据信息，对相应的响应变量y进行插补。 在缺失数据下均值方差模型(2)中，对 ( y i ， x i ， z i ) ， i ∈ s r 根据完全数据下极大似然估计的方法得到均值模型中未知参数的估计 β ^ 0 ，然后令缺失值 y i * = x i T β ^ 0 ， i ∈ s m ，记补全后的“完全数据”为 y i 1 = δ i y i + ( 1 − δ i ) y i * 。接着使用Gauss-Newton迭代计算算法就可获得基于回归插补法缺失数据下均值方差模型中未知参数的极大似然估计值。 3.4. 基于随机回归插补法的缺失数据下参数估计 回归插补是从确定性的角度出发，然后对缺失值进行插补的一种常用的缺失数据处理方法。即插补是依据某种确定的函数关系获得一个确定的插补值，其表达式可写成 y i = f ( x i ) 。然而随机回归插补法是指在确定性插补方法的基础上给插补值增加一个随机项，即 y i = f ( x i ) + e i 。进而可以把回归插补写成为 y i = x i T β ^ + e i ，这样的回归插补就被称作随机回归插补法。该随机项反应所预测的值的不确定性影响。在正态回归模型中，该随机项是取服从均值为零和方差为回归中剩余方差的正态分布。 在缺失数据下均值方差模型(2)中，对 ( y i ， x i ， z i ) ， i ∈ s r 根据完全数据下极大似然估计的方法得到均值模型中未知参数的估计 β ^ 0 及方差模型中未知参数的估计 γ ^ 0 ，然后令缺失值 y i * = x i T β ^ 0 + e i ， i ∈ s m ，其中 e i ~ N ( 0 ， exp ( z i T γ ^ 0 ) ) ， i ∈ s m 。记补全后的“完全数据”为 y i 2 = δ i y i + ( 1 − δ i ) y i * 。接着使用Gauss-Newton迭代计算算法就可获得基于随机回归插补法缺失数据下均值方差模型中未知参数的极大似然估计值。 3.5. 基于数据删除模型的统计诊断量 在数据删除模型的基础上，这里将主要介绍诊断统计量似然距离的计算方法和表达式，以及诊断结果的解释说明。 由韦博成等 [ 10 ] 的《统计诊断》可知，对于本文中的未删除模型及其删除模型，第i个数据点的似然距离定义为： L D ( i ) = 2 { L ( θ ^ ) − L ( θ ^ ( i ) ) } (7) 由于 L ( θ ^ ) 为全局最大值，因此恒有 L D ( i ) ≥ 0 。似然距离 L D ( i ) 反映了第i个数据点 ( x i ， y i ) 对参数 θ 的极大似然估计的影响。对于远大于其极大似然距离的点，说明删除该点对参数估计值影响较大，即该点为强影响点或异常点。 针对本文中的模型，似然距离没有显式解，因此需要用近似计算得出其数值解。 根据韦博成等 [ 10 ] 的《统计诊断》，对 L D ( i ) = 2 { L ( θ ^ ) − L ( θ ^ ( i ) ) } 在 θ ^ 处进行Taylor展开可得： L D ( i ) = 2 { L ( θ ^ ) − L ( θ ^ ( i ) ) } = − 2 { L ( θ ^ ( i ) ) − L ( θ ^ ) } ≈ − 2 { L ˙ ( θ ^ ) ( θ ^ ( i ) − θ ^ ) + 1 2 ( θ ^ ( i ) − θ ^ ) T L ¨ ( θ ^ ) ( θ ^ ( i ) − θ ^ ) } 又因为 L ˙ ( θ ^ ) = 0 ，从而可以得到似然距离 L D ( i ) 的近似表达式为： L D I ( i ) = ( θ ^ − θ ^ ( i ) ) T [ − L ¨ ( θ ^ ) ] ( θ ^ − θ ^ (i) ) 或 L D I ( i ) = ( θ ^ − θ ^ ( i ) ) T [ I ( θ ^ ) ] ( θ ^ − θ ^ (i) ) 其中 I ( θ ^ ) 为Fisher信息阵，应用Gauss-Newton迭代法可得到参数的估计值 θ ^ 和 θ ^ ( i ) 。为了计算简便，本文主要使用Fisher信息阵计算似然距离。