Lasso方法像子集选择法一样可以得到解释性良好的模型,同时它继 承了岭回归稳定性的优点。简单容易理解的想法,高效快速的求解算法使 得Lasso成为一种流行的变量选择的技术。 在某些情形下,Lasso的变量选择是不相合的,于是,学者Zou提出了适 应性的Lasso(Adaptive Lasso),该方法是对Lasso的一种改进,并且能够 证明它满足Oracle性质。 JI其中厦nit是初始的估计量,是己知的。高维情形下,通常第一步采用Lasso方法进行变量选择,把得到的p的估计量作为适应性Lasso的初始估计量届i。ito 适应性Lasso相当于对Lasso的惩罚项做一次加权,如果I履。it'一比较大,则 适应Lasso对第i个系数屈施加了比较小的惩罚,即比较小的收缩,这样得 到的展也会比较大,从而偏差比较小;类似地,如果I厦。it’t|f艮小,则适应 的Lasso对第i个系数鼠施加很大的惩罚,最后得到的厦会很小。这样看来, 适应Lasso方法会得到一个稀疏解,它会减少第一步Lasso方法得到口估计量 中的无关参数,这是一个很好的性质。 2001年,Fan和“提出了变量选择的SCAD(Smoothly Clipped Absolute Deviation)方法: 山东大学硕士学位论文其中m(1反1)为惩罚项,胁和Li给出的惩罚项的一阶导数为: 通过数值模拟和实证分析等方法,Fan和Li建议a取3.7,A通过Cross-Validation方法求最优值。 为了对Lasso进行改进,克服它的一些缺点,2005年,Zou和Hastie提出 了Elastic Net变量选择方法,它是Lasso和岭回归方法的一个结合,表达式 如下: 声。ajve,EN=argmin{(Y—xp)T(y—x卢)+A1II卢111+A2《p幢} 口Rp k’其中,入1,A2是两个非负的正则化参数,悃眩=厨。Zou和Hastie取: pEN=(1+入2)月。aive,EN 如果一组自变量之间相关性很强,Lasso很可能从中选取一个而不管这些变 量的其他所有的变量。从模型稀疏性的角度看,这正是我们所希望的,然而,从模型的可解释性来讲,我们希望把相关程度很高的变量都选到模型里 来。于是,基于这样的考虑,Zou和Hastie在Lasso的基础上加上了L2惩罚 2005年,Candes和Tao提出了高维数