标题：主元分析与偏最小二乘法
图书信息
作者：王桂增、叶昊 [1]  
定价：29元
印次：1-1
装帧：平装
印刷日期：2012-7-13
图书简介
主元分析与偏最小二乘法能较好地解决自变量之间存在的相关性问题，最大限度地概括自变量空间的数据变化信息与自变量对因变量的解释作用，因而被广泛用于解决科学计算、工业控制和信号处理中的特征提取、数据拟合、系统辨识和参数估计等问题。
本书从系统自变量的相关性、系统特性的非线性和时变性等实际问题出发，介绍线性与非线性主元分析方法、线性主元回归及其递推算法、线性与非线性偏最小二乘法及其递推算法、核主元分析与核偏最小二乘法等
； 最后还介绍了主元分析和偏最小二乘法在数据处理、软测量建模和过程监控等方面的应用案例。
本书可作为高等学校自动化类专业的高年级本科生和研究生的教学参考书，所述内容对从事统计数据处理、软测量建模与过程监控的科研人员和工程技术人员也具有参考价值。
前言
最小二乘（least squares，LS）方法最早是由Karl Gauss为进行行星轨迹预测的研究而提出来的一种数据处理方法[1]。随着计算机的普遍使用，最小二乘算法被广泛用于解决科学计算、工业控制和信号处理中的特征提取、数据拟合、系统辨识和参数估计等问题，成为数据拟合、系统建模和过程监控的一个重要数学工具。
在实际应用中，用于参数估计的自变量之间往往存在一定程度的相关性（线性相关性也称为共线性），采用普通最小二乘方法估计参数将会出现病态解。1901年，K.Pearson首先提出了主元分析（principal component analysis，PCA）和主元回归（principal component regression，PCR）方法[2]，其基本思想是先对存在相关性的自变量进行主元分析，提取自变量空间中相互正交的主元，然后建立因变量和主元之间的回归模型（称为主元回归模型），较好地解决了共线性的问题。
但在主元回归中，主元的选取以最大限度地概括自变量空间数据的变化信息为准则，并没有考虑主元对于因变量的解释作用，而未被选取的次要主元有可能包含对回归有益的信息，已被选取的主元也有可能包含对于回归无益的噪声。针对这一问题，H. Wold于20世纪60年代提出了偏最小二乘 （partial least squares，PLS）方法[3]，并应用于计量经济学。20世纪70年代，H.Wold的儿子S. Wold和挪威化学计量学家H. Martens将偏最小二乘法应用于化学计量学和化工领域。
PLS方法综合考虑如何最大限度地概括自变量空间的数据变化信息和自变量对应变量的解释作用，将具有线性相关的数据从高维空间投影到低维特征空间，得到正交的特征向量，再建立特征向量间的线性回归关系。与主元回归相比，PLS不仅有效地克服了普通最小二乘回归的共线性问题，同时将多元回归问题转化为若干个一元回归问题，适用于样本数较少而变量数较多的过程建模，具有较好的鲁棒性和预测稳定性，广泛地用于过程建模和过程监控领域。
实际系统往往具有非线性的特性，为适应非线性系统的建模和过程监控的需求，Hastie等于1989年提出了基于主元曲线的非线性主元分析方法[32]。主元曲线是一条通过数据团的平滑曲线，它使所有数据点到主元曲线的距离之和最小，这些数据点在主元曲线上的投影则称为非线性主元。1991年和1995年Kramer和Tan等分别提出了基于自相关神经元网络和基于输入训练神经元网络的非线性主元分析方法[59，60]。1989
年S.Wold等提出非线性PLS方法[9]。非线性PLS方法的基本思路有两种，一种方法是用回归模型中的原始变量的非线性项对输入矩阵进行扩展，然后对扩展的输入矩阵和因变量数据矩阵实施线性PLS回归； 另一种方法是保留PLS方法的线性外部模型，而采用非线性内部模型来描述自变量
与因变量数据的特征向量之间的非线性关系[33]。
Scholkopf B[29]和Rosipal R[30]分别于1998年和2003年提出了核主元分析（kernel principal component analysis，KPCA）和核偏最小二乘 (kernel partial least squares，KPLS) 方法，统称核分析方法[29，30]。核分析方法是一种新的非线性特征提取方法，它通过非线性映射将自变量映射到高维特征空间，并在高维特征空间中进行基于线性运算的特征提取。由于实际系统的非线性映射函数往往未知，因而无法得到自变量在高维空间中的映射及提取特征所需的协方差阵。核分析方法在映射空间构造映射数据的内积函数和以内积函数为元素的内积矩阵，并用原始自变量空间的核函数去代替内积函数，这样的内积矩阵称为核矩阵。在高维空间对核矩阵进行主元提取，称为核主元分析。而以最大化自变量映射与因变量的互相关为目标，对应变量数据矩阵和核矩阵进行综合分析，称为核偏最小二乘方法。
为使模型适应系统的时变特性，以及为了适应在线建模的需要，要求建模的算法能进行递推计算。Weihua Li等提出了PCA的递推算法[48]，Martens H.，Helland K.和Qin S.J.提出了PLS递推算法[4,5，6]。文献[4]首先构建一个相对于原来的数据集合小得多的集合，利用PLS方法建立模型，然后用所得到的结果和新数据对PLS模型进行更新。文献[5]利用原模型中的自变量、因变量数据的负荷向量矩阵及回归因子矩阵，与新的数据块组合，构成在线训练的数据矩阵。这类处理方法以压缩的形式保留旧数据的信息，避免在学习新数据的过程中对旧数据重复建模，提高了PLS模型的在线更新速度。文献[6]在Helland的基础上提出了一种块式递推偏最小二乘算法。
鉴于标准PLS算法需要对原始自变量数据矩阵进行缩减，以求取相应的权值矩阵和得分矩阵，而权值矩阵很难从概念上将得分矩阵与原始自变量数据矩阵之间的关系描述清楚，S.de.Jong提出了一种直接由原始自变量数据矩阵计算得分矩阵的算法 [69]。
由于原始自变量数据矩阵中包含一些与因变量数据矩阵无关的信息，Trygg等提出O?PLS（orthogonal PLS）算法，该算法首先对原始自变量数据矩阵进行正交预处理，然后建立PLS模型[80]。
本书从系统自变量的相关性、系统特性的非线性和时变性等实际系统的特点出发，介绍线性与非线性主元分析方法、线性主元回归及其递推算法、线性与非线性偏最小二乘法及其递推算法、核主元分析与核偏最小二乘法等； 最后还介绍了主元分析和偏最小二乘法在数据处理、软测量建模和过程监控等方面的应用案例。
本书可作为高等学校自动化类专业的高年级本科生和研究生的教学参考书，所述内容对从事统计数据处理、软测量建模与过程监控的科研人员和工程技术人员也具有参考价值。
图书目录
第1章随机过程的基本知识
1.1基本概念
1.1.1事物变化过程的分类
1.1.2随机过程的样本与状态
1.1.3集合（总体）平均
1.1.4时间平均
1.2随机过程的数字特征
1.2.1数学期望
1.2.2方差
1.2.3相关函数
1.2.4功率谱密度函数
1.3随机过程的分类
1.3.1连续型随机过程和离散型随机过程
1.3.2连续时间参数随机过程和离散时间参数随机过程
1.3.3平稳随机过程与非平稳随机过程
1.3.4尔格过程（各态遍历性过程）
1.3.5独立随机过程
1.4白噪声过程及其性质
第2章最小二乘法及其递推算法
2.1最小二乘算法及其基本性质
2.1.1最小二乘法
2.1.2最小二乘法估计的基本性质
2.2递推最小二乘算法
2.2.1基本算法
2.2.2初值a^（0）和P（0）的选择
第3章主元分析与主元回归
3.1主元分析
3.1.1主元分析的基本思想
3.1.2主元的性质
3.2主元计算
3.2.1通过求特征值和特征向量计算主元
3.2.2通过奇异值分解计算主元
3.2.3通过迭代算法计算主元
3.3主元回归
第4章主元分析的递推算法
4.1数据协方差矩阵的递推计算
4.1.1规范化数据矩阵的递推计算
4.1.2自协方差矩阵的递推计算
4.2基于矩阵的秩1修正的递推主元分析
4.2.1矩阵的秩1修正
4.2.2基于矩阵的秩1修正的主元递推计算
4.3基于子空间跟踪的递推主元分析
4.3.1子空间跟踪方法
4.3.2基于子空间跟踪的主元递推计算
4.4主元回归的递推算法
4.4.1互协方差矩阵的递推计算
4.4.2主元回归的递推计算流程
第5章线性偏最小二乘法
5.1引言
5.2基于目标优化的偏最小二乘模型的计算
5.2.1偏最小二乘法建模的准则函数
5.2.2偏最小二乘的基本算法
5.2.3偏最小二乘的简化算法
5.3基于矩阵奇异值分解的偏最小二乘模型的计算
5.3.1矩阵的奇异值分解
5.3.2基于奇异值分解的模型计算
5.3.3矩阵奇异值的不等式性质
5.4基于迭代算法的偏最小二乘模型的计算
5.4.1偏最小二乘迭代算法
5.4.2偏最小二乘迭代算法的数值计算性质
5.5偏最小二乘算法的正交性
5.5.1wi与ti的正交性质
5.5.2p与w的相互关系
5.6偏最小二乘特征向量选取的几何意义
5.6.1X和Y的正交旋转变换
5.6.2正交变换阵OX和OY的选择
5.7偏最小二乘回归模型
5.7.1偏最小二乘回归方法
5.7.2基于得分矩阵的模型输出Y^=TB的计算
5.7.3基于X的模型输出Y^=XBPLS的计算
5.8偏最小二乘法与普通最小二乘法的比较
5.9正交信号修正的偏最小二乘法
5.9.1正交信号的提取
5.9.2带正交信号修正的偏最小二乘法
第6章线性偏最小二乘的递推算法
6.1引言
6.2偏最小二乘的递推算法
6.2.1两个预备定理
6.2.2递推算法
6.2.3块式递推算法
第7章非线性主元分析
7.1主元曲线与主元曲面
7.2自相关神经元网络
7.3输入训练神经元网络
第8章非线性偏最小二乘法
8.1引言
8.2线性外部模型与非线性内部模型相结合的NLPLS?I模型
8.2.1基于二次多项式的非线性PLS模型
8.2.2基于神经元网络的非线性PLS模型
8.3基于扩展输入矩阵的NLPLS?Ⅱ模型
8.3.1RBFPLS的基本思路
8.3.2RBFPLS的递推算法
8.4基于非线性成分提取的NLPLS?Ⅲ模型
8.4.1非线性成分的提取
8.4.2自变量和因变量数据的非线性重构
8.4.3计算步骤
第9章核主元分析与核主元回归 
9.1引言
9.2核函数介绍
9.3核主元分析方法
9.3.1协方差阵与内积矩阵的特征向量间的关系
9.3.2基于特征分解的核主元分析
9.3.3核主元分析的迭代算法
9.4核主元回归 
9.5主元分析与核主元分析的比较
9.5.1主元与核主元方向对比
9.5.2模型效果比较
第10章核偏最小二乘法
10.1引言
10.2核偏最小二乘算法
10.2.1核偏最小二乘法的实现准则
10.2.2KΦ和F的缩减与相应的迭代算法
10.2.3KΦ和KY的缩减与相应的迭代算法
10.3基于新准则函数的核偏最小二乘算法
10.3.1一种新的核偏最小二乘法实现准则
10.3.2两种准则函数等价
10.4核偏最小二乘回归模型
第11章应用案例
11.1在统计数据分析中的应用
11.2在软测量建模中的应用
11.2.1引言
11.2.2基于偏最小二乘法的聚丙烯熔融指数的软测量建模
11.3在统计质量控制中的应用
11.3.1引言
11.3.2基于主元分析的统计过程监控
附录A英汉名词对照
参考文献