system: [SYSTEM]

user: 2. 惩罚ZIGe回归模型 2.1. 惩罚ZIGe回归模型的变量选择 对每一个个体 i = 1 ， 2 ， ⋯ ， n ，定义其响应变量 Y i 之间是相互独立的。零膨胀几何分布是退化零分布和几何分布构成的混合分布，那么 Y i 的概率密度函数为： P ( Y i = y i ) = { p i + ( 1 − p i ) ( 1 − θ i ) ， y i = 0 ( 1 − p i ) ( 1 − θ i ) θ i y i ， y i = 1 ， 2 ， ⋯ (1) 其中参数 p i ( 0 ≤ p ≤ 1 ) 为容纳过多零的混合概率参数，参数 θ i 表示几何分布中事件发生的概率。当 p = 0 时，ZIGe分布退化为标准的几何分布；当 p > 0 时，表明存在零膨胀。 p 越大，说明数据中零的比例越大，非几何分布的数据所占的比例也就越大。在ZIGe回归模型中，混合概率 p i 和事件发生概率 θ i 都是通过logistic回归模型建立连接关系： { l o g i t ( p i ) = W i T γ l o g i t ( θ i ) = X i T β (2) 其中 W i T = ( 1 ， W i 1 ， W i 2 ， ⋯ ， W i q ) 和 X i T = ( 1 ， X i 1 ， X i 2 ， ⋯ ， X i p ) 均是协变量随机变量； γ = ( γ 0 ， γ 1 ， γ 2 ， ⋯ ， γ q ) T 和 β = ( β 0 ， β 1 ， β 2 ， ⋯ ， β p ) T 均是可估的未知回归系数， β 0 和 γ 0 是截距项。假设 { ( Y i ， X i ， W i ) ， i = 1 ， 2 ， ⋯ ， n } 独立观测的样本量， φ = ( β ， γ ) 是未知的 p + q 维系数。观测样本的对数似然函数为： l ( φ ; y i ， x i ， w i ) = ∑ i = 1 n log { I ( y i = 0 ) [ p i ( 1 − p i ) + ( 1 − θ i ) ] ( 1 − p i ) + I ( y i > 0 ) [ θ i y i ( 1 − θ i ) ] ( 1 − p i ) } = ∑ i = 1 n log ( exp ( W i T γ ) + ( 1 + exp ( X i T β ) ) − 1 ) − log ( 1 + exp ( W i T γ ) ) + ∑ i = 1 n I ( y i > 0 ) [ y i X i T β − ( y i + 1 ) ( 1 + exp ( X i T β ) ) − 1 ] (3) 其中 θ 可直接最大化 l ( θ ) 或者EM算法进行估计。值得注意的是，文章只考虑了logistic回归部分和几何分布回归部分具有相同协变量的情况，但是所提出的方法可以很容易地扩展到对于两个回归部分具有不同协变量的情况。 关于变量选择，考虑如下的惩罚零膨胀几何模型： p l ( φ ; y i ， x i ， w i ) = l ( φ ; y i ， x i ， w i ) − p ( β ， γ ) (4) 其中非负罚函数由下式给出： p ( β ， γ ) = n ∑ j = 1 p 1 p a j | β j | − n ∑ k = 1 p 2 p b k | γ k | (5) 其中 p a j ( ⋅ ) 和 p b k ( ⋅ ) 是惩罚函数， a j ， b k 是调节参数。回归系数 β j ， γ k 可以有不同的惩罚项。Fan [ 17 ] 所提出的SCAD惩罚定义如下： p λ ( ξ ) = { λ | ξ | ， | ξ | ≤ λ ( a 2 − 1 ) λ 2 − ( | ξ | − a λ ) 2 2 ( a − 1 ) ， λ < | ξ | ≤ a λ ( a + 1 ) λ 2 2 ， | ξ | > a λ (6) 即当 | θ | 较小时，惩罚函数为线性函数；当 | θ | 较大时，为二次惩罚；而当 | θ | 很大时，惩罚项为常数。 a ， λ 均为调节参数， λ 控制所选模型的复杂度，当 n → ∞ ， λ 趋于0。通常情况下，设置 a = 3.7 。SCAD惩罚函数关于 ϕ 的一阶导函数为： p ′ λ ( ξ ) = { λ ， | ξ | ≤ λ a λ − ξ a − 1 ， λ < | ξ | ≤ a λ 0 ， | ξ | > a λ = λ { I ( ξ ≤ λ ) + ( a λ − ξ ) + ( a − 1 ) λ I ( ξ > λ ) } (7) Zhang [ 19 ] 提出的MCP惩罚函数定义如下： p λ ， γ ( a ， c ) = ∑ i = 1 n ( ρ ( | a i | ; λ ， γ ) + ρ ( | c i | ; λ ， γ ) ) ， λ > 0 ， γ > 0 (8) ρ ( | ξ | ; λ ， γ ) = { λ | ξ | − ξ 2 2 γ ， | ξ | ≤ λ γ 1 2 λ 2 γ ， | ξ | > λ γ ， λ ≥ 0 ， γ > 1 ， ξ = ( a ， c ) (9) 其一阶导数为： ρ ( | ξ | ; λ ， γ ) = λ ( 1 − | ξ | γ λ ) + sgn ( | ξ | ) (10) Lasso惩罚定义如下： p ( λ ; | ξ | ) = λ | ξ | ， λ ≥ 0 (11) 图1展示了 a = 3.7 ， λ = 1 时的LASSO和SCAD函数及其导数图。左边是函数 p λ | β | ，右边是函数的一阶导数。非凸SCAD惩罚的吸引力在于：当 | β | 增加时，它们不会过度惩罚导数为零的较大系数。 Fan和Li [ 16 ] (2001)中通过相应定理的直接应用，可以推出惩罚零膨胀几何回归模型的ORACLE性。因此，如果 λ G e ， n = 0 ， λ B I ， n = 0 ， n λ G e ， n → ∞ ， n λ B I ， n → ∞ ，则ZIGe-MCP，ZIGe-SCAD具有神谕性：在概率趋于1时，无效应系数的估计量为0，有效应系数的估计量具有渐近正态分布，均值为非零系数的真值，方差为非零系数对应的费希尔信息矩阵的子矩阵。 图1. λ = 1， a = 3.7时的LASSO、MCP和SCAD惩罚 2.2. EM算法 根据Lambert (1992)的文章，零膨胀几何模型可以通过EM算法进行最大似然估计拟合。当 Y i 来自于零部分时，定义未观测到的随机变量 B i = 1 。当 Y i 来自于二项部分时， B i = 0 。因为 B = ( B 1 ， B 2 ， ⋯ ， B n ) T 是不可观测的，它通常被视为缺失数据。EM算法就可以极好的处理缺失数据问题。如果完整数据 ( Y i ， B i ) 是可得到的，那么完整函数的对数似然函数为： l c ( φ ; y i ， z i ) = ∑ i = 1 n { B i W i T γ − log ( 1 + e W i T γ ) + ( 1 − B i ) [ y i X i T β − ( y i + 1 ) log ( 1 + e X i T β ) ] } (12) 则惩罚完全数据的对数似然函数为： p l c ( φ ; y i ， z i ) = ∑ i = 1 n { B i W i T γ − log ( 1 + exp ( W i T γ ) ) } − n ∑ k = 1 p 1 p a j | β j | + ∑ i = 1 n ( 1 − B i ) [ y i X i T β − ( y i + 1 ) log ( 1 + e X i T β ) ] − n ∑ k = 1 p 2 p b k | γ k | (13) 因此，惩罚对数似然函数可看作是关于 B i 的线性函数， p l c ( γ ; y i ， z i ) 和 p l c ( β ; y i ， z i ) 分别用logistic回归和加权几何回归求得最大值。利用EM算法：E步通过给定观测数据和先前参数估计 φ ( m ) 来计算条件期望 δ 的条件期望；M步求使 l c ( φ ; y i ， z i ) 极大化的 φ ，确定第i + 1次迭代的参数估计值 φ ( i + 1 ) = ( β i + 1 ， γ i + 1 ) 。当 φ 收敛时，迭代停止。从初始值 φ ( 0 ) = ( β ( 0 ) ， γ ( 0 ) ) 开始，EM算法在以下三个步骤中迭代进行，直到收敛： 1) E步：给定观测数据并假设当前的估计 φ ( m ) 提供模型的真实参数，迭代m次时 δ 的条件期望由下式给出： B ^ i ( m ) = { ( ( 1 + exp ( W i T γ ^ ( m ) ) − 1 ) ( 1 + exp ( X i T β ^ ( m ) ) ) − 1 ) − 1 ， y i = 0 0 ， y i > 0 (14) 因此，可以计算完整数据对数似然的期望值： Q ( φ | φ ^ ( m ) ) = E ( p l c ( φ ; y i ， z i ) | y i ， φ ^ ( m ) ) = Q 1 ( γ | φ ^ ( m ) ) + Q 2 ( β | φ ^ ( m ) ) (15) 其中： Q 1 ( γ | φ ^ ( m ) ) = ∑ i = 1 n B ^ i ( m ) W i T γ − log ( 1 + exp ( W i T γ ) ) − n ∑ k = 1 p 1 p a j | β j | (16) Q 2 ( β | φ ^ ( m ) ) = ∑ i = 1 n ( 1 − B ^ i ( m ) ) [ y i X i T β − ( y i + 1 ) log ( 1 + e X i T β ) ] − n ∑ k = 1 p 2 p b k | γ k | (17) 2) M步(关于 γ )： γ ^ ( m + 1 ) = arg max ︸ γ Q ( γ | γ ^ ( m ) ) (18) 3) M步(关于 β ) β ^ ( m + 1 ) = arg max ︸ β Q ( β | β ^ ( m ) ) (19) Q 1 ( γ | θ ( k ) ) 是一个加权惩罚逻辑对数似然函数， Q 2 ( β | θ ( k ) ) 是一个惩罚逻辑回归对数似然函数，重复E步和M步直到收敛。 2.3. 调整参数的选择 惩罚参数 ( a j ， b k ) 由BIC准则选取： B I C = − 2 l ( φ ^ ; a j ， b k ) + log ( n ) d f (20) 其中 φ ^ 是估计参数； ( a j ， b k ) 是调整参数； l ( ⋅ ) 是对数似然函数； d f = ∑ j = 0 q 1 I ( β j ≠ 0 ) + ∑ k = 0 q 2 I ( γ k ≠ 0 ) 是自由度。首先基于成对的收缩参数构造一个解路径，算法生成两个递减序列： a j ( 1 ) > a j ( 2 ) > ⋯ > a j ( M ) 和 b k ( 1 ) > b k ( 2 ) > ⋯ > b k ( M ) 。然后对序列进行配对： ( a j ( 1 ) ， b k ( 1 ) ) ， ⋯ ， ( a j ( M ) ， b k ( M ) ) 。原则上选择大的值 ( a j ( 1 ) ， b k ( 1 ) ) 使得除了截距项外的所有系数都趋于零；而一种改进的方法表明最小值 ( a j ( 1 ) ， b k ( 1 ) ) 可从LASSO惩罚的数据中计算得到。关于SCAD惩罚和MCP惩罚，本文也遵循这种策略。