降维

在机器学习和统计学领域，降维（dimensionality reduction）是指在某些限定条件下，降低随机变量个数，得到一组“不相关”主变量的过程。 降维可进一步细分为变量选择和特征提取两大方法。

变量选择

变量选择假定数据中包含大量冗余或无关变量（或称特征、属性、指标等），旨在从原有变量中找出主要变量。现代统计学中对变量选择的研究文献，大多集中于，其中最具代表性的方法包括：
 Lasso算法 (Robert Tibshirani提出)
  (和提出)
 SCAD (范剑青和提出)
 SURE screening (范剑青和吕金翅提出)
 PLUS (张存惠提出)

特征提取

特徵提取可以看作变量选择方法的一般化：变量选择假设在原始数据中，变量数目浩繁，但只有少数几个真正起作用；而特征提取则认为在所有变量可能的函数(比如这些变量各种可能的线性组合)中，只有少数几个真正起作用。有代表性的方法包括：
 主成分分析(PCA)
 因子分析
 核方法(教科书中称为“Kernel method”或“Kernel trick”，常与其他方法如PCA组合使用)
 基于距离的方法，例如：
 多维尺度分析

 (理论依据是约翰逊-林登斯特劳斯定理)

参见
 变量选择
 特徵提取
 约翰逊-林登斯特劳斯定理

参考文献

Category:统计学