system: [SYSTEM]

user: 2. 模型(1)与三种扰动模型下LIU估计的关系 引理 1 [ 8 ]：设 A = ( A 11 A 12 A 21 A 22 ) 可逆。若 | A 11 | ≠ 0 ，则 A − 1 = ( A 11 A 12 A 21 A 22 ) − 1 = ( A 11 − 1 + A 11 − 1 A 12 A 22.1 − 1 A 21 A 11 − 1 − A 11 − 1 A 12 A 22.1 − 1 − A 22.1 − 1 A 21 A 11 − 1 A 22.1 − 1 ) 若 | A 22 | ≠ 0 ，则 A − 1 = ( A 11 A 12 A 21 A 22 ) − 1 = ( A 11.2 − 1 − A 11.2 − 1 A 12 A 22 − 1 − A 22 − 1 A 21 A 11.2 − 1 A 22 − 1 + A 22 − 1 A 21 A 11.2 − 1 A 12 A 22 − 1 ) 其中 A 22.1 = A 22 − A 21 A 11 − 1 A 12 ， A 11.2 = A 11 − A 12 A 22 − 1 A 21 。 引理 2 [ 8 ]：若矩阵A， D可逆，则 ( A + B D B ′ ) − 1 = A − 1 − A − 1 B ( B ′ A − 1 B + D − 1 ) − 1 B ′ A − 1 ( A − B C ) − 1 = A − 1 + A − 1 B ( I − C A − 1 B ) − 1 C A − 1 2.1. 数据删除扰动 定理1模型(1)与模型(3)的LIU估计 β ^ R d 与 β ^ R d ( i ) 有如下关系： β ^ R d ( i ) = β ^ R d − ( I − S − 1 M ) K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ i − ( I − S − 1 M )     ∗ S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i S − 1 M [ β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ ]     − ( I − S − 1 M ) K − 1 x i [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ K − 1 S d − I ] S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ′ ^     + ( I − S − 1 M ) K − 1 x i ( 1 − h ¯ i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ β ^ d − β ^ o l ] 其中 h ¯ i i = x ′ i K − 1 x i ， h i i = x ′ i S − 1 x i ， e ^ ′ i = y ′ i − x ′ i β ^ o l ， M = R ′ ( R S − 1 R ′ ) − 1 R ， N = x ′ i S − 1 M S − 1 x i 。 证明：由模型(4)和约束LIU估计的定义给出 β ^ R d ( i ) 的表达式如下： β ^ R d ( i ) = β ^ d ( i ) − S ( i ) − 1 R ′ ( R S ( i ) − 1 R ′ ) − 1 R β ^ d ( i ) (5) 其中 β ^ d ( i ) = K ( i ) − 1 S d ( i ) S ( i ) − 1 X ′ ( i ) Y ( i ) ，我们根据 K ( i ) − 1 = ( X ′ ( i ) X ( i ) + I ) − 1 = ( X ′ X + I − x i x ′ i ) − 1 ， S d ( i ) = X ′ ( i ) X ( i ) + d I = X ′ X + d I − x i x ′ i ， S ( i ) − 1 = ( X ′ ( i ) X ( i ) ) − 1 = ( X ′ X − x i x ′ i ) − 1 ， X ′ ( i ) Y ( i ) = X ′ Y − x i y ′ i 。由引理2可将 β ^ d ( i ) 表达成如下形式： β ^ d ( i ) = ( K − 1 + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i K − 1 ) ( S d − x i x ′ ) ( S − 1 + S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 ) ( X ′ Y − x i y ′ i ) = [ K − 1 S d + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i ( K − 1 S d − I ) ] [ β ^ o l − S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i ] = β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i [ β ^ d − β ^ o l ]     − K − 1 x i x ′ ( K − 1 S d − I ) S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ^ ′ i 注意到 I − N ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 = [ I + N ( 1 − h i i ) − 1 ] − 1 ，由 β ^ R d ( i ) = ( I − S ( i ) − 1 R ′ ( R S ( i ) − 1 R ′ ) − 1 R ) β ^ d ( i ) ，故而有： S ( i ) − 1 R ′ ( R S ( i ) − 1 R ′ ) − 1 R = [ S − 1 + S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 ] R ′ [ R S − 1 R ′ + R S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 R ′ ] − 1 R = [ S − 1 + S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 ] { M − M S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M } = S − 1 M + ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M (6) 把(6)式及 β ^ d ( i ) 代入(5)式得 β ^ R d ( i ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M } β ^ d ( i ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M }     ∗ { β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i [ β ^ d − β ^ o l ]     − K − 1 x i x ′ ( K − 1 S d − I ) S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ^ ′ i } = ( I − S − 1 M ) β ^ d − ( I − S − 1 M ) K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i     − ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M [ β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ ]     + ( I − S − 1 M ) K − 1 x i ( 1 − h ¯ i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 { x ′ i [ β ^ d − β ^ o l ] − x ′ ( K − 1 S d − I ) S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i } 化简上式可得模型(1)与模型(2)的约束LIU估计 β ^ R d 与 β ^ R d ( i ) 间的关系式，定理1得证。 2.2. 协方差扰动 定理 2模型(1)与模型(3)的LIU估计 β ^ R d 与 β ^ R d ( G ) 有如下关系： β ^ R d ( G ) = β ^ R d − ( I − S − 1 M ) K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1     ∗ [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M [ β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ]     + ( I − S − 1 M ) K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 { X [ β ^ d − β ^ o l ] + ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ }     − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M K − 1 X ′ G ¯     ∗ ( I − H k G ¯ ) − 1 { X [ β ^ d − β ^ o l ] + ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ } 其中记 G ¯ = I − G ， K = X ′ X + I ， S d = X ′ X + d I ， S = X ′ X ， M = R ′ ( R S − 1 R ′ ) − 1 R ， N = X S − 1 M S − 1 X ′ ， H = X S − 1 X ′ ， H k = X K − 1 X ′ ， H d = X K − 1 S d S − 1 X ′ ， e ^ = Y − X β ^ 。。 证明：由LIU估计的定义可以给出在线性模型协方差扰动下的LIU估计为： β ^ d ( G ) = K G − 1 S d ， G β ^ ( G ) (7) 同理，模型(2)在协方差扰动下的约束LIU估计为： β ^ R d ( G ) = β ^ d ( G ) − S G − 1 R ′ ( R S G − 1 R ′ ) − 1 R β ^ d ( G ) (8) 其中 K G − 1 = ( X ′ G X + I ) − 1 ， S d ， G = X ′ G X + d I ， S G − 1 = ( X ′ G X ) − 1 ， β ^ ( G ) = S G − 1 X ′ G Y 。 由引理2得到 K G − 1 = ( X ′ G X + I ) − 1 = ( K − X ′ G ¯ X ) − 1 = K − 1 + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X K − 1 (9) S d ， G = X ′ G X + d I = S d − X ′ G ¯ X (10) S G − 1 = ( X ′ G X ) − 1 = ( S − X ′ G ¯ X ) − 1 = S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) X S − 1 (11) β ^ ( G ) = S G − 1 X ′ G Y = S G − 1 ( X ′ Y − X ′ G ¯ Y ) (12) 将式(9)至(12)代入(7)整理得 β ^ d ( G ) = ( K − 1 + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X K − 1 ) ( S d − X ′ G ¯ X ) ( S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 ) ( X ′ Y − X ′ G ¯ Y ) = [ K − 1 S d + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X ( K − 1 S d − I ) ] [ β ^ − S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ] = β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X [ β ^ d − β ^ o l ]     + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ (13) 又由(8)式得 β ^ R d ( G ) = { I − ( X ′ G X ) − 1 R ′ [ R ( X ′ G X ) − 1 R ′ ] − 1 R } β ^ d ( G ) ，注意到 I − N G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 = [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 故 ( X ′ G X ) − 1 R ′ [ R ( X ′ G X ) − 1 R ′ ] − 1 R = [ S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 ] R ′ [ R S − 1 R ′ + R S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 R ′ ] − 1 R = [ S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 ] { M − M S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M } = S − 1 M + ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M 从而有 β ^ R d ( G ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M } β ^ d ( G ) 把(13)式代入上式得到 β ^ R d ( G ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M } ∗ { β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X [ β ^ d − β ^ o l ] + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ } = ( I − S − 1 M ) β ^ d − ( I − S − 1 M ) K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ − ( I − S − 1 M ) ∗ S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M [ β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ]   + { I − S − 1 M − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M }   ∗ K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 { X [ β ^ d − β ^ o l ] + ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ } 化简上式可得模型(1)与模型(3)的约束LIU估计 β ^ R d 与 β ^ R d ( G ) 间的关系式，定理2得证。 2.3. 均值漂移扰动 定理3 记 Z = ( X D ) ， α = ( β η ) ，模型(4)可改写成 Y = Z α + ε ，参数 α 的最小二乘估计为 α ^ η = ( β ^ η η ^ ) = ( Z ′ Z ) − 1 Z ′ Y ，若 | I m − X 1 ( X ′ X ) − 1 X ′ 1 | 可逆，则 β ^ η = β ^ − ( X ′ X ) − 1 X ′ 1 [ I m − X 1 ( X ′ X ) − 1 X ′ 1 ] − 1 ξ 1 其中 X ′ 1 = X ′ D ， Y 1 = D ′ Y ， I m = D ′ D ， ξ 1 = Y 1 − X 1 β ^ ， β ^ = ( X ′ X ) − 1 X ′ Y 。 证明：因为 Z ′ Z = ( X ′ D ′ ) ( X D ) = ( X ′ X X ′ D D ′ X D ′ D ) = ( X ′ X X ′ 1 X 1 I m ) ，由引理1得 α 的最小二乘估计为： α ^ η = ( Z ′ Z ) − 1 Z ′ Y = ( X ′ X X ′ 1 X 1 I m ) − 1 ( X ′ Y D ′ Y ) = ( S − 1 + S − 1 X ′ 1 H − 1 X 1 S − 1 − S − 1 X ′ 1 H − 1 − H − 1 X 1 S − 1 H − 1 ) ( X ′ Y D ′ Y ) = ( β ^ − S − 1 X ′ 1 H − 1 ξ 1 H − 1 ξ 1 ) 其中 H = I m − X 1 S − 1 X ′ 1 ，则有 β ^ η = β ^ − S − 1 X ′ 1 H − 1 ξ 1 ，该定理给出了最小二乘估计与均值漂移后参数 β 间的关系，且定理3得证。 定理4 若 H k 可逆，则有 β ^ d ( η ) = β ^ d − K − 1 S d S − 1 X ′ 1 H − 1 ξ 1 + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 )     + K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1 证明：因为 α ^ d ( η ) = K η − 1 S d ， η α ^ η ，由引理1有 K η − 1 = ( X ′ X + I p X ′ 1 X 1 2 I m ) − 1 = ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 − K − 1 X ′ 1 H k − 1 − H k − 1 X 1 K − 1 H k − 1 ) ， S d ， η = ( X ′ X + d I p X ′ 1 X 1 ( d + 1 ) I m ) 其中 H k = 2 I m − X 1 K − 1 X ′ 1 ，把 K η − 1 ， S d ， η ， α ^ η 代入 α ^ d ( η ) = K η − 1 S d ， η α ^ η 整理得 α ^ d ( η ) = ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 − K − 1 X ′ 1 H k − 1 − H k − 1 X 1 K − 1 H k − 1 ) ( X ′ X + d I p X ′ 1 X 1 ( d + 1 ) I m ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 H − 1 ξ 1 ) = ( ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 ) ( X ′ X + d I p ) − K − 1 X 1 ′ H k − 1 X 1 ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 ) X ′ 1 − K − 1 X ′ 1 H k − 1 ( d + 1 ) I m − H k − 1 X 1 K − 1 ( X ′ X + d I p ) + H k − 1 X 1 − H k − 1 X 1 K − 1 X ′ 1 + H k − 1 ( d + 1 ) I m ) ∗ ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 H − 1 ξ 1 ) = ( β ^ d − K − 1 S d S − 1 X ′ 1 H − 1 ξ 1 + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 ) + K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1 # ) (注：由于只考虑 β 的相关情况，非相关项用#省略)。 定理4得证。 定理5 模型(1)与模型(4)的约束LIU估计 β ^ R d 与 β ^ R d ( η ) 有如下关系 β ^ R d ( η ) = β ^ R d + ( I − S − 1 M ) { K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1 − K − 1 S d S − 1 X ′ 1 H − 1 ξ 1 + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 ) } 证明：根据约束LIU估计的定义，给出模型(4)的约束LIU估计的表达式： β ^ R d ( η ) = ( I − S − 1 M ) β ^ d ( η ) (14) 这里的M与前文的定义一样。 把定理4代入(14)式化简就可以得到定理5，证毕。 当模型(2)中 R = 0 时，型(1)与模型(2)的LIU估计 β ^ R d 与 β ^ R d ( i ) 退化为不带约束 β ^ d 与 β ^ d ( i ) 间的关系式 β ^ d ( i ) = β ^ d − K − 1 S d S − 1 x i e ^ ′ i / ( 1 − h i i ) − K − 1 x i x ′ i [ K − 1 S d − I ] S − 1 x i e ^ ′ i / ( 1 − h ¯ i i ) ( 1 − h i i )     + K − 1 x i x ′ i [ β ^ d − β ^ o l ] / ( 1 − h ¯ i i ) 与张莉莉和张尚立 [ 9 ] 的结论相同，同理，模型(2)和模型(3)退化后的结论也与之相同。