|  |
| --- |
| 统计学系列条目 |
| 迴歸分析 |
|  |
| 
模型 |
| * 線性回歸
* 简单线性回归（英语：）
* （OLS）
* 多项式回归
* 一般线性模型
 |
| * 廣義線性模式
* 离散选择（英语：）
* 对数几率回归
* 多项罗吉特（英语：）
* 混合罗吉特
* 波比（英语：）
* 多项式波比（英语：）
* 排序性模型（英语：）
* 有序波比（英语：）
* 泊松回归
 |
| * 等级线性模型
* 固定效应（英语：）
* 随机效应（英语：）
* 混合模型（英语：）
 |
| * 非线性回归
* 非
* 半
* 稳健
* 分位数迴歸
* 保序回归
* 主成分
* 最小角
* 局部（英语：）
* 分段
 |
| * 含误差变量（英语：）
 |
| 
估计 |
| * 
* 
* 线性
* 偏最小二乘回归
* （英语：）
* 广义
* 加权
* 非线性
* 非负（英语：）
* 重复再加权（英语：）
* 脊迴歸（嶺迴歸）
* LASSO
 |
| * 最小绝对值导数法（英语：）
* 贝叶斯（英语：）
* 贝叶斯多元（英语：）
 |
| 
背景 |
| * 回归模型检验（英语：）
* 平均响应和预测响应（英语：）
* 误差和残差
* 拟合优度
* 学生化残差（英语：）
* 
 |
| * 概率与统计主题
 |
| * 
* 论
* 编
 |

**偏最小二乘回归（英語：， PLS回归）**是一种统计学方法，与主成分回归有关系，但不是寻找响应和独立变量之间最小方差的超平面，而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。因为数据*X*和*Y*都会投影到新空间，PLS系列的方法都被称为双线性因子模型。當Y是分类數據時有「偏最小二乘判别分析（英語：， PLS-DA）」，是PLS的一个变形。

偏最小二乘用于查找两个矩阵（*X*和*Y*）的基本关系，即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到*X*空间的多维方向来解释*Y*空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量，以及*X*的值中有多重共线性的时候。相比之下，标准的回归在这些情况下不见效（除非它是吉洪诺夫正则化）。

偏最小二乘算法被用在偏最小二乘路径建模中， 一个建立隐变量（原因不能没有实验和拟实验来确定，但一个典型的模型会基于之前理论假设（隐变量影响衡量指标的表现）的隐变量模型）这种技术是结构方程模型的一种形式，与经典方法不同的是基于组件而不是基于协方差。

偏最小二乘来源于瑞典统计学家Herman Wold，然后由他的儿子Svante Wold发展。偏最小二乘的另一个词（根据Svante Wold）是*投影到潜在结构*，但偏最小二乘法依然在许多领域占据着主导地位。尽管最初的应用是在社会科学中，偏最小二乘回归今天被广泛用于化学计量学和相关领域。它也被用于生物信息学，sensometrics，神经科学和人类学。而相比之下，偏最小二乘回歸最常用于社会科学、计量经济学、市场营销和战略管理。

底层模型
----

偏最小二乘的一般多元底层模型是

X = T P^{\top} + E
Y = U Q^{\top} + F
其中X是一个n\times m的预测矩阵，Y是一个n \times p的响应矩阵；T和U是n \times l的矩阵，分别为X的投影（"X分数"、"组件"或"因子"矩阵）和Y的投影（"Y分数"）；P和Q分别是m \times l和p \times l的正交*载荷*矩阵，以及矩阵E和F是错误项，假设是独立同分布的随机正态变量。对X和Y分解来最大化T和U之间的协方差。

算法
--

偏最小二乘的许多变量是为了估计因子和载荷矩阵T, U, P和Q。它们中大多数构造了X和Y之间线性回归的估计Y = X \tilde{B} + \tilde{B}\_0。一些偏最小二乘算法只适合Y是一个列向量的情况，而其它的算法则处理了Y是一个矩阵的一般情况。算法也根据他们是否估计因子矩阵T为一个正交矩阵而不同。 
最后的预测在所有不同最小二乘算法中都是一样的，但组件是不同的。

### PLS1

PLS1是一个Y是向量时广泛使用的算法。它估计T是一个正交矩阵。以下是伪代码（大写字母是矩阵，带上标的小写字母是向量，带下标的小写字母和单独的小写字母都是标量）：

```
 1  **function** PLS1(X, y, l)
 2  X^{(0)} \gets X
 3  w^{(0)} \gets X^T y/||X^Ty||, an initial estimate of w.
 4  t^{(0)} \gets X w^{(0)} 
 5  **for** k = 0 **to** l
 6      t\_k \gets {t^{(k)}}^T t^{(k)} (note this is a scalar)
 7      t^{(k)} \gets t^{(k)} / t\_k
 8      p^{(k)} \gets {X^{(k)}}^T t^{(k)}
 9      q\_k \gets {y}^T t^{(k)} (note this is a scalar)
10      **if** q\_k = 0
11          l \gets k, **break** the **for loop**
12      **if** k < l
13          X^{(k+1)} \gets X^{(k)} - t\_k t^{(k)} {p^{(k)}}^T
14          w^{(k+1)} \gets {X^{(k+1)}}^T y 
15          t^{(k+1)} \gets X^{(k+1)}w^{(k+1)}
16  end **for**
17  **define** W to be the matrix with columns w^{(0)},w^{(1)},...w^{(l-1)}.
    Do the same to form the P matrix and q vector.
18  B \gets W {(P^T W)}^{-1} q
19  B\_0 \gets q\_0 - {P^{(0)}}^T B
20  **return** B, B\_0
```

这种形式的算法不需要输入X和Y定中心，因为算法隐式处理了。这个算法的特点是收缩于X （减去t\_k t^{(k)} {p^{(k)}}^T），但向量y不收缩，因为没有必要（可以证明收缩y和不收缩的结果是一样的）。用户提供的变量l是回归中隐藏因子数量的限制；如果它等于矩阵X的秩，算法将产生B和B\_0的最小二乘回归估计。

扩展
--

2002年，一个叫做正交投影（英語：， OPLS）的方法提出。在OPLS中，连续变量数据被分为预测的和不相关的信息。这有利于改进诊断，以及更容易解释可视化。然而，这些变化只是改善模型的可解释性，不是预测能力。 L-PLS通过3个连接数据块扩展了偏最小二乘回归。 同样，OPLS-DA（英語：， 判别分析）可能被应用在处理离散变量，如分类和生物标志物的研究。

软件实现
----

大多数统计软件包都提供偏最小二乘回归。[來源請求]
R中的‘pls’包提供了一系列算法。

参见
--

* 特征提取
* 数据挖掘
* 机器学习
* 回归分析
* 典型相关
* Deming regression
* 多线性子空间学习
* 主成分分析
* 总平方和

扩展阅读
----

* Kramer, R.. Marcel-Dekker. 1998. ISBN 0-8247-0198-4.
* Frank, Ildiko E.; Friedman, Jerome H.. Technometrics. 1993, **35** (2): 109–148  [2015-09-28]. doi:10.1080/00401706.1993.10485033. （原始内容存档于2013-02-03）.
* Haenlein, Michael; Kaplan, Andreas M.. Understanding Statistics. 2004, **3** (4): 283–297. doi:10.1207/s15328031us0304\_4.
* Henseler, Joerg; Fassott, Georg.. 2005.
* Lingjærde, Ole-Christian; Christophersen, Nils.. Scandinavian Journal of Statistics. 2000, **27** (3): 459–473. doi:10.1111/1467-9469.00201.
* Tenenhaus, Michel.. 1998.
* Rosipal, Roman; Kramer, Nicole. : 34–51. 2006.
* Helland, Inge S.. Scandinavian Journal of Statistics. 1990, **17** (2): 97–114. JSTOR 4616159.
* Wold, Herman.. Krishnaiaah, P.R. (编).. New York: Academic Press. 1966: 391–420.
* Wold, Herman.. Amsterdam: North Holland. 1981.
* Wold, Herman.. Kotz, Samuel; Johnson, Norman L. (编).  **6**. New York: Wiley. 1985: 581–591.
* Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W.J.. SIAM Journal on Scientific and Statistical Computing. 1984, **5** (3): 735–743. doi:10.1137/0905052.
* Garthwaite, Paul H.. Journal of the American Statistical Association. 1994, **89** (425): 122–7. JSTOR 2291207. doi:10.1080/01621459.1994.10476452.
* Wang, H. (编).. 2010. ISBN 978-3-540-32825-4.
* Stone, M.; Brooks, R.J.. Journal of the Royal Statistical Society, Series B. 1990, **52** (2): 237–269. JSTOR 2345437.
* Wan Mohamad Asyraf Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.

参考文献
----

1. ↑  Tenenhaus, M.; Esposito Vinzi, V.; Chatelinc, Y-M.; Lauro, C.  (PDF). Computational Statistics & Data Analysis. January 2005, **48** (1): 159–205. doi:10.1016/j.csda.2004.03.005. [永久]
2. ↑  Vinzi, V.; Chin, W.W.; Henseler, J.; Wang, H. (编).. 2010. ISBN 978-3-540-32825-4.
3. ↑  Tenenhaus, M.  (PDF). 2008  [2015-09-28]. （原始内容 (PDF)存档于2013-11-03）.
4. ↑  Wold, S; Sjöström, M.; Eriksson, L.. Chemometrics and Intelligent Laboratory Systems. 2001, **58** (2): 109–130  [2015-09-28]. doi:10.1016/S0169-7439(01)00155-1. （原始内容存档于2017-09-09）.
5. ↑  Lindgren, F; Geladi, P; Wold, S.. J. Chemometrics. 1993, **7**: 45–59  [2015-09-28]. doi:10.1002/cem.1180070104. （原始内容存档于2017-06-07）.
6. ↑  de Jong, S.; ter Braak, C.J.F.. J. Chemometrics. 1994, **8** (2): 169–174  [2015-09-28]. doi:10.1002/cem.1180080208. （原始内容存档于2016-07-13）.
7. ↑  Dayal, B.S.; MacGregor, J.F.. J. Chemometrics. 1997, **11** (1): 73–85  [2015-09-28]. doi:10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#. （原始内容存档于2016-07-04）.
8. ↑  de Jong, S.. Chemometrics and Intelligent Laboratory Systems. 1993, **18** (3): 251–263. doi:10.1016/0169-7439(93)85002-X.
9. ↑  Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S.. J. Chemometrics. 1994, **8** (2): 111–125  [2015-09-28]. doi:10.1002/cem.1180080204. （原始内容存档于2016-10-17）.
10. ↑  Abdi, H.. Wiley Interdisciplinary Reviews: Computational Statistics. 2010, **2**: 97–106. doi:10.1002/wics.51.
11. ↑  Trygg, J; Wold, S.. Journal of Chemometrics. 2002, **16** (3): 119–128. doi:10.1002/cem.695.
12. ↑  Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, A.H.; Martens, H.. Chemometrics and Intelligent Laboratory Systems. 2008, **91** (2): 121–132. doi:10.1016/j.chemolab.2007.10.006.
13. ↑   (PDF).  [2015-09-28]. （原始内容存档 (PDF)于2020-12-09）.

外部链接
----

* imDEV （页面存档备份，存于） free Excel add-in for PLS and PLS-DA
* PLS in Brain Imaging
* on-line PLS （页面存档备份，存于） regression (PLSR) at Virtual Computational Chemistry Laboratory
* Uncertainty estimation for PLS （页面存档备份，存于）
* A short introduction to PLS regression and its history （页面存档备份，存于）

|  |  |  |
| --- | --- | --- |
| 

|  |  |
| --- | --- |
| 规范控制 編輯維基數據鏈接 | 
* GND: 4591652-4
* J9U: 987007560510905171
* LCCN: sh85075570

 |

 |