system: [SYSTEM]

user: 3. 主成分分析 3.1. 主成分分析的基本思想 研究某一事物的整体情况时，我们需要对该事物的各个指标都进行考虑，这就使得问题变得复杂化。而主成分分析正是解决这种复杂问题比较好的途径之一，该方法是研究如何通过原始变量的少数几个线性组合来解释原来变量绝大部分信息的一种多元统计方法，从而达到降维的目的 [ 4 ] 。本文采用SPSS软件和R语言对某镇2016~2017学年度第二学期期末质量调研测试学生成绩进行主成分分析。 3.2. 主成分分析的数学模型 对于一个样本资料，观测p个变量 X 1 ， X 2 ， ⋯ ， X p ，n个样品的数据资料阵为 X = [ x 11 x 12 ⋯ x 1 p x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 ⋯ x n p ] = [ X 1 ， X 2 ， ⋯ ， X p ] ， x j = [ x 1 j x 2 j ⋮ x n j ] ， j = 1 ， 2 ， ⋯ ， p 主成分分析就是将p个观测变量综合成为p个新的变量(综合变量)，即 { F 1 = γ 11 X 1 + γ 12 X 2 + ⋯ + γ 1 p X p F 2 = γ 21 X 1 + γ 22 X 2 + ⋯ + γ 2 p X p                                       ⋮ F p = γ p 1 X 1 + γ p 2 X 2 + ⋯ + γ p p X p 简写为： F j = γ j 1 X 1 + γ j 2 X 2 + ⋯ + γ j p X p 且 V a r ( F j ) = λ j C o v ( F i ， F j ) = 0 其中， λ j 是样本资料阵X的协方差矩阵的特征根，由大到小排列，即 λ 1 ≥ λ 2 ≥ ⋯ ≥ λ p ， γ j = ( γ 1 j ， γ 2 j ， ⋯ ， γ p j ) ′ 为 λ j 对应的标准正交特征向量。于是，称 F 1 为第一主成分， F 2 为第二主成分，依次类推，一共有p个主成分，主成分又叫主分量。 上述模型可用矩阵表示为 F = γ X 其中， F = [ F 1 F 2 ⋮ F p ] ，   γ = ( γ 1 ， γ 2 ， ⋯ ， γ p ) γ为主成分系数矩阵。 主成分分析可以得到p个主成分，主成分的贡献率越大，说明该主成分所包含的原始变量的信息越多。但是，由于各个主成分的方差是递减的，包含的信息量也是递减的，所以实际分析时，一般不是选取p个主成分，而是根据累积贡献率选取前k个主成分，使得累积贡献率达到85%以上，才能保证综合变量能包括原始变量的绝大多数信息，即 ∑ j = 1 k λ j ∑ j = 1 p λ j ≥ 85 % 这里累积贡献率就是指前k个主成分的方差和占全部方差总和的比重 [ 5 ] 。 3.3. 主成分分析模型的应用 以为 X 1 ， X 2 ， ⋯ ， X 12 这12个指标为变量，以上述每个学校中各个年级的平均成绩为样本，一共28个样本，用SPSS软件的因子分析模块做主成分分析 [ 6 ] ，输出结果如下。 表1显示了各主成分解释原始变量总方差的情况，前6个主成分的解释总方差为85.477%，即这6个主成分集中了12个原始变量信息的85.477%，因此保留前6个主成分。由图1也可以看出第六个和第七个特征根变化的趋势已经开始平缓，取前6个或前7个主成分都可以，但是为了更好地达到降维的目的，所以这里取前6个主成分。 表2的成分矩阵表示的是因子载荷矩阵而不是主成分系数矩阵，因此要对成分矩阵中第j列的每个元素分别除以第j个特征根的平方根 λ j 就可以得到主成分分析的系数矩阵，即 γ j i = a i j λ j ， a i j 为成分矩阵中的元素，称为因子载荷，所得结果如表3所示，则主成分就可写成由原始变量表示的线性表达式： F 1 = 0.411417 x 1 + 0.412534 x 2 + 0.160213 x 3 + 0.434863 x 4 + 0.309819 x 5 − 0.16245 x 6               − 0.30982 x 7 − 0.18868 x 8 + 0.334381 x 9 − 0.24227 x 10 − 0.12337 x 11 + 0.080385 x 12 F 2 = 0.235393 x 1 + 0.313423 x 2 + 0.05007 x 3 + 0.25425 x 4 + 0.103391 x 5 − 0.45648 x 6               + 0.446076 x 7 + 0.269206 x 8 − 0.14761 x 9 + 0.122248 x 10 + 0.439573 x 11 + 0.242546 x 12 F 3 = − 0.07099 x 1 + 0.140462 x 2 + 0.415279 x 3 + 0.000763 x 4 − 0.31833 x 5 − 0.247335 x 6               − 0.08779 x 7 + 0.558795 x 8 + 0.176341 x 9 − 0.30459 x 10 − 0.17787 x 11 − 0.40536 x 12 F 4 = 0.111978 x 1 + 0.177146 x 2 + 0.610374 x 3 − 0.12483 x 4 − 0.12391 x 5 − 0.16246 x 6               + 0.238643 x 7 − 0.15695 x 8 − 0.31758 x 9 + 0.301975 x 10 − 0.44791 x 11 + 0.228546 x 12 F 5 = − 0.21108 x 1 − 0.04242 x 2 + 0.220397 x 3 + 0.191425 x 4 + 0.548406 x 5 − 0.18004 x 6               + 0.169696 x 7 + 0.023799 x 8 − 0.03208 x 9 + 0.339391 x 10 + 0.112785 x 11 − 0.61359 x 12 F 6 = 0.139163 x 1 + 0.143512 x 2 − 0.10655 x 3 − 0.09459 x 4 − 0.28159 x 5 + 0.278327 x 6               − 0.06849 x 7 − 0.19026 x 8 + 0.541432 x 9 + 0.646892 x 10 − 0.05219 x 11 − 0.16743 x 12 各主成分的意义是由各线性组合中权数较大的几个指标的综合意义来确定，例如，由上述6个表达式可以看出第一主成分 F 1 中， X 1 ， X 2 ， X 4 这3个指标的系数较大，所以第一主成分主要就是 X 1 ， X 2 ， X 4 这3个指标的综合反映，第二主成分 F 2 主要是 X 7 和 X 11 的综合反映，第三主成分 F 3 主要是 X 8 这一个指标的反映。 我们将标准化后的原始数据代入上述6个表达式就可以计算出各样品的主成分得分，如表4所示，只取前两个主成分就能把样品的主成分得分在直角坐标系中描出来，然后可进行样品分类，由于计算量较大，主成分得分使用R软件来计算 [ 7 ] ，输出结果如图2所示。 得分的正负仅表示该样品与平均水平的关系，由于原始数据已经过标准化处理，所以这里的平均水平为0。 Table 1 Interpretation of the total varianc 组件 初始特征值 提取载荷平方和 总计 方差百分比 累积% 总计 方差百分比 累积% 1 3.209 26.739 26.739 3.209 26.739 26.739 2 2.365 19.709 46.449 2.365 19.709 46.449 3 1.716 14.297 60.745 1.716 14.297 60.745 4 1.187 9.893 70.638 1.187 9.893 70.638 5 0.934 7.787 78.425 0.934 7.787 78.425 6 0.846 7.052 85.477 0.846 7.052 85.477 7 0.519 4.323 89.800 0.519 4.323 89.800 8 0.479 3.995 93.795 0.479 3.995 93.795 9 0.278 2.316 96.111 0.278 2.316 96.111 10 0.224 1.868 97.979 0.224 1.868 97.979 11 0.157 1.306 99.286 0.157 1.306 99.286 12 0.086 0.714 100.000 0.086 0.714 100.000 表1. 总方差解释 图1. 碎石图 Table 2 Matrix of component 组件 1 2 3 4 5 6 7 8 9 10 11 12 x 1 0.737 0.362 −0.093 0.122 −0.204 0.128 0.283 −0.340 −0.050 0.181 0.045 0.106 x 2 0.739 0.482 0.184 0.193 −0.041 0.132 −0.176 0.027 0.001 −0.160 −0.272 0.032 x 3 0.287 0.077 0.544 0.665 0.213 −0.098 0.223 0.165 −0.099 −0.116 0.135 −0.017 x 4 0.779 0.391 0.001 −0.136 0.185 −0.087 −0.262 −0.218 0.142 −0.037 0.154 −0.139 x 5 0.555 0.159 −0.417 −0.135 0.530 −0.259 −0.059 0.300 −0.056 0.146 −0.002 0.091 x 6 −0.291 0.702 0.324 −0.177 −0.174 0.256 −0.271 0.136 −0.284 0.086 0.099 0.011 x 7 −0.555 0.686 −0.115 0.260 0.164 −0.063 0.169 −0.015 0.024 0.198 −0.133 −0.150 x 8 −0.338 0.414 0.732 −0.171 0.023 −0.175 −0.002 0.044 0.316 0.071 0.013 0.106 x 9 0.599 −0.227 0.231 −0.346 −0.031 0.498 0.243 0.294 0.099 0.080 −0.008 −0.084 x 10 −0.434 0.188 −0.399 0.329 0.328 0.595 −0.094 −0.024 0.161 −0.053 0.070 0.068 x 1 1 −0.221 0.676 −0.233 −0.488 0.109 −0.048 0.341 −0.015 −0.049 −0.262 0.026 0.012 x 1 2 0.144 0.373 −0.531 0.249 −0.593 −0.154 −0.015 0.301 0.153 −0.024 0.077 −0.004 表2. 成分矩阵 Table 3 The coefficient matrix of the principal componen F 1 F 2 F 3 F 4 F 5 F 6 X 1 0.411417 0.235393 −0.07099 0.111978 −0.21108 0.139163 X 2 0.412534 0.313423 0.140462 0.177146 −0.04242 0.143512 X 3 0.160213 0.05007 0.415279 0.610374 0.220397 −0.10655 X 4 0.434863 0.25425 0.000763 −0.12483 0.191425 −0.09459 X 5 0.309819 0.103391 −0.31833 −0.12391 0.548406 −0.28159 X 6 −0.16245 0.45648 0.247335 −0.16246 −0.18004 0.278327 X 7 −0.30982 0.446076 −0.08779 0.238643 0.169696 −0.06849 X 8 −0.18868 0.269206 0.558795 −0.15695 0.023799 −0.19026 X 9 0.334381 −0.14761 0.176341 −0.31758 −0.03208 0.541432 X 10 −0.24227 0.122248 −0.30459 0.301975 0.339391 0.646892 X 11 −0.12337 0.439573 −0.17787 −0.44791 0.112785 −0.05219 X 12 0.080385 0.242546 −0.40536 0.228546 −0.61359 −0.16743 表3. 主成分系数矩阵