system: [SYSTEM]

user: 1. 几种EN的讨论 1.1. 经典LASSO 针对高维数据的特殊性质，Tibshirani (1996)受到Frank (1993)提出的bridge regression和Breiman (1995)提出的non-negative garrote思想启发，提出了LASSO (least absolute shrinkage and selection operator)变量选择方法。Non-negative garrote比其他子集选择方法的预测误差小，而且当回归系数中有很多较小非零系数时，non-negative garrote方法也比ridge regression的预测误差小。Non-negative garrote方法在变量选择方面有很好的性质，但是它在进行参数估计时会过度依赖OLS估计值的符号和大小，LASSO方法避免了由于OLS估计带来的负面影响，所以LASSO估计在高维数据变量选择方面得到了广泛的应用，之后也有ALASSO、RLASSO、GLASSO等“优化”后的LASSO方法提出，LASSO估计定义为： β ^ l a s s o = a r g m i n ( ∑ i = 1 n ( y i − ∑ j = 1 p β j x i j ) 2 ) ， s t ∑ j = 1 p | β j | ≤ λ (1) 其中 λ ≥ 0 为惩罚参数，可以用来控制参数的压缩量。选择适当的λ可以使得一些回归系数缩小并趋向于0，且可依据高维数据的特殊结构，不要求设计矩阵为满秩。 LASSO继承了non-negative garrote 的在变量选择方面的优良性质，同时改进了其缺点，之后Bradley Efron等提出的最小角回归(LARS)算法又解决了LASSO的计算问题，使得LASOO在高维数据变量选择方面得到广泛的应用 [ 1 ]。当变量间存在共线性的情况时，LASSO的效果不如岭回归，所以结合岭回归的优势，提出了和LASSO相似，能够进行变量选择(可解释的预测规则)和收缩(防止过度拟合)的EN (Elastic Net)，而且EN还能以组的形式选入或者选出模型，这一思想也可以应用于图像识别处理技术上 [ 2 ]。 1.2. EN估计 Zou等提出了Elastic Net方法 [ 3 ]，且说明了在具有共线性变量的时候EN效果会优于LASSO，高维数据中的协变量通常具有复共线性 [ 4 ]。LASSO分析在面对有多个强相关变量的时候，会选择只保留一个变量，而EN会全部保留。EN和LASSO一样，借鉴了NEN (Naive Elastic Net)的思想，折中了岭回归和LASSO回归 [ 5 ]，通过混合比控制，其表达式可表现为： J ( θ ) = M S E ( θ ) + r α ∑ i = 1 n | θ i | + 1 − r 2 α ∑ i = 1 n   θ i 2 (2) 当r = 0时，EN方法与岭回归方法同表达式；当r = 1时，EN方法与LASSO方法同表达式。NEN原本对具有共线性变量的数据就有很好的建模性质，克服了LASSO在针对共线性变量选择的不足后，也综合了岭回归在处理共线性变量问题上的优势，EN估计定义为： β ^ E N = a r g m i n ( ∑ i = 1 n ( y i − ∑ j = 1 p   β j x i j ) 2 + λ 1 ‖ β ‖ 1 + λ 2 ‖ β ‖ 2 ) (3) 其中， ‖ β ‖ 2 = ∑ k = 1 p   β k 2 ， ‖ β ‖ 1 = ∑ k = 1 p | β k | 。 λ 1 和 λ 2 为调和参数且均非负，当 λ 2 = 0 时就是LASSO回归， λ 1 = 0 时就是岭回归，岭回归以增大模型的偏差作为代价，通过压缩模型的系数来减少模型的预测方差，但不会将系数压缩为0，因此达不到变量选择的理想效果。惩罚项 λ 1 ‖ β ‖ 1 能得到稀疏模型， 也就能控制模型的稀疏度； λ 2 ‖ β ‖ 2 允许变量具有共线性，虽然会增大模型的偏差但是会使得预测方差变小，后两项就可以达到通过变量影响力降维的目的。 1.3. AEN估计 针对LASSO估计在某些情况下不相合的问题，Zou于2006年提出了具有Oracle性质的Adaptive LASSO方法 [ 6 ] [ 7 ] [ 8 ]，很好的缓和了LASSO的不足。AEN针对变量共线性的性质在Cox模型上有很好的体现，即强相关变量得到的系数估计大致相同，这是呈递了EN的优点，但Elastic Net估计不具有Oracle性质，而Zou和Zhang在Elastic Net的基础上，结合Adaptive LASSO的Oracle性质，对一阶范数惩罚部分加权，提出了具有Oracle性质的Adaptive Elastic Net (Adaptive LASSO & Elastic Net)方法 [ 9 ]，对应的，当建造的模型具有Oracle性质时说明选取的权重是合适的，AEN估计定义为： β ^ A E N = a r g m i n ( ∑ i = 1 n ( y i − ∑ k = 1 p   β i T X i j ) 2 + λ 1 ∑ k = 1 p   ω ^ k | β k | + λ 2 ∑ k = 1 p   β k 2 ) (4) 其中 ω ^ k = ( | β ^ ( E N ) k | ) − γ 。 EN和AEN都能处理共线性问题，但是在遇到数据具有组效应时，AEN的表现会明显优于EN，相应的算法也会更加复杂一些。 1.4. WEN估计 高维数据会涉及很多的变量，且这些变量间不可避免的存在相关关系，有些变量甚至来自于同一个组类，然而对于决策者而言，需要知道的是最重要的哪几个变量。通常我们只想将重要的组，或者组中重要的变量选择出来(双重变量选择)，在一定程度上可以解决LASSO中惩罚过度的情况 [ 10 ]，此时对存在的重要变量需要赋予更高的权重，那么WEN (weight Elastic Net)就是很好的维数约简方法。当相关性较高时Fan和Li提出非凸罚函数SCAD (smoothly clipped absolute deviation)和MCP (minimax concave penalty)就有很好的表现，SCAD估计器具有许多理想的属性(比如oracle性质)，而WEN中主要包含的就是SCAD与EN的结合Snet以及MCP与EN的结合Mnet。 1.4.1. Snet SCAD结合岭回归和LASSO回归的思想， Zeng和Xie提出当变量相互相关且都与响应变量或者残差高度相关的时候，可以将变量归为同一组获取关于分组的信息，且通过以下方法在保证模型稀疏性质的同时减少预测误差 [ 11 ]，SCAD可以解决LASSO情况下惩罚过度问题，其估计的定义为： β ^ S n e t = a r g m i n ( ∑ i = 1 n ( y i − ∑ j = 1 p   β j x i j ) 2 + ∑ j = 1 p   f λ 1 ， α S C A D ( β j ) + λ 2 ∑ j = 1 p   β j 2 ) (5) 其中 α > 2 ，对应的SCAD函数为 f λ ， α S C A D ( β ) = { λ | β | ， 0 ≤ | β | < λ − β 2 − 2 a λ | β | + λ 2 2 ( a − 1 ) ， λ ≤ | β | < a λ ( a + 1 ) λ 2 / 2 ， o t h e r (6) 1.4.2. Mnet Mnet和Snet的约简思想相似，以提供一种惩罚函数用来处理高维数据中具有高度相关数据，Mnet估计定义为： β ^ m n e t = a r g m i n ( ∑ i = 1 n ( y i − ∑ j = 1 p   β j x i j ) 2 + ∑ j = 1 p   f λ 1 ， α M C P ( | β j | ) + 1 2 λ 2 ∑ j = 1 p   β j 2 ) (7) 其中MCP函数为 f λ ， α M C P ( θ ) = { λ θ − θ 2 2 α ， θ ≤ α λ α λ 2 2 ， θ > α λ (8) 从函数表达式可知，选取合适的惩罚参数后 | β | ≤ α λ 时， | β | 越大， L M C P 增大越缓慢； | β | > α λ 时， L M C P 不变化，也就不惩罚对应的系数，这将改善模型中对较大系数的过度惩罚。