偏最小二乘迴歸

偏最小二乘迴歸（Partial least squares regression， PLS迴歸）是一種統計學方法，與主成分迴歸有關係，但不是尋找響應和獨立變量之間最小方差的超平面，而是通過投影預測變量和觀測變量到一個新空間來尋找一個線性迴歸模型。因為數據X和Y都會投影到新空間，PLS系列的方法都被稱為雙線性因子模型。當Y是分類數據時有「偏最小二乘判別分析（Partial least squares Discriminant Analysis， PLS-DA）」，是PLS的一個變形。
偏最小二乘用於查找兩個矩陣（X和Y）的基本關係，即一個在這兩個空間對協方差結構建模的隱變量方法。偏最小二乘模型將試圖找到X空間的多維方向來解釋Y空間方差最大的多維方向。偏最小二乘迴歸特別適合當預測矩陣比觀測的有更多變量，以及X的值中有多重共線性的時候。相比之下，標準的迴歸在這些情況下不見效（除非它是吉洪諾夫正則化）。
偏最小二乘算法被用在偏最小二乘路徑建模中， 一個建立隱變量（原因不能沒有實驗和擬實驗來確定，但一個典型的模型會基於之前理論假設（隱變量影響衡量指標的表現）的隱變量模型）這種技術是結構方程模型的一種形式，與經典方法不同的是基於組件而不是基於協方差。
偏最小二乘來源於瑞典統計學家Herman Wold，然後由他的兒子Svante Wold發展。偏最小二乘的另一個詞（根據Svante Wold）是投影到潛在結構，但偏最小二乘法依然在許多領域佔據著主導地位。儘管最初的應用是在社會科學中，偏最小二乘迴歸今天被廣泛用於化學計量學和相關領域。它也被用於生物信息學，sensometrics，神經科學和人類學。而相比之下，偏最小二乘回歸最常用於社會科學、計量經濟學、市場營銷和戰略管理。

**底層模型**
偏最小二乘的一般多元底層模型是


其中是一個的預測矩陣，是一個的響應矩陣；和是的矩陣，分別為的投影（“X分數”、“組件”或“因子”矩陣）和的投影（“Y分數”）；和分別是和的正交載荷矩陣，以及矩陣和是錯誤項，假設是獨立同分布的隨機正態變量。對和分解來最大化和之間的協方差。

**算法**
偏最小二乘的許多變量是為了估計因子和載荷矩陣和。它們中大多數構造了和之間線性迴歸的估計。一些偏最小二乘算法只適合是一個列向量的情況，而其它的算法則處理了是一個矩陣的一般情況。算法也根據他們是否估計因子矩陣為一個正交矩陣而不同。 
最後的預測在所有不同最小二乘算法中都是一樣的，但組件是不同的。

**PLS1**
PLS1是一個是向量時廣泛使用的算法。它估計是一個正交矩陣。以下是偽代碼（大寫字母是矩陣，帶上標的小寫字母是向量，帶下標的小寫字母和單獨的小寫字母都是標量）：
1  function PLS1()
2  
3  , an initial estimate of .
4   
5  for  = 0 to 
6       (note this is a scalar)
7      
8      
9       (note this is a scalar)
10      if  = 0
11          , break the for loop
12      if 
13          
14          
15          
16  end for
17  define  to be the matrix with columns .
Do the same to form the  matrix and  vector.
18  
19  
20  return 
這種形式的算法不需要輸入和定中心，因為算法隱式處理了。這個算法的特點是收縮於 （減去），但向量不收縮，因為沒有必要（可以證明收縮和不收縮的結果是一樣的）。用戶提供的變量是迴歸中隱藏因子數量的限制；如果它等於矩陣的秩，算法將產生和的最小二乘迴歸估計。

**擴展**
2002年，一個叫做正交投影（Orthogonal Projections to Latent Structures， OPLS）的方法提出。在OPLS中，連續變量數據被分為預測的和不相關的信息。這有利於改進診斷，以及更容易解釋可視化。然而，這些變化只是改善模型的可解釋性，不是預測能力。 L-PLS通過3個連接數據塊擴展了偏最小二乘迴歸。 同樣，OPLS-DA（Discriminant Analysis， 判別分析）可能被應用在處理離散變量，如分類和生物標誌物的研究。

**軟件實現**
大多數統計軟件包都提供偏最小二乘迴歸。
R中的‘pls’包提供了一系列算法。

**參見**
特徵提取
*數據挖掘
*機器學習
*迴歸分析
*典型相關
*Deming regression
*多線性子空間學習
*主成分分析
*總平方和

**擴展閱讀**
isbn=0-8247-0198-4 
*access-date=2015-09-28 
*doi=10.1207/s15328031us0304_4 - year=2005 
*doi=10.1111/1467-9469.00201 - year=1998- year=2006
*jstor=4616159
*pages=391–420 
*year=1981 
*volume=6
*issue=3 
*cite journal |last=Garthwaite |first=Paul H. |title=An Interpretation of Partial Least Squares |url=https://archive.org/details/sim_journal-of-the-american-statistical-association_1994-03_89_425/page/122 |journal=Journal of the American Statistical Association |volume=89 |pages=122–7 |year=1994 |jstor=2291207 |doi=10.1080/01621459.1994.10476452 |issue=425
*isbn=978-3-540-32825-4 
*cite journal |last1=Stone |first1=M. |last2=Brooks |first2=R.J. |title=Continuum Regression: Cross-Validated Sequentially Constructed Prediction embracing Ordinary Least Squares, Partial Least Squares and Principal Components Regression |url=https://archive.org/details/sim_journal-of-the-royal-statistical-society-series-b_1990_52_2/page/237 |journal=Journal of the Royal Statistical Society, Series B |volume=52 |issue=2 |pages=237–269 |year=1990 |jstor=2345437
*Wan Mohamad Asyraf  Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.

**參考文獻**

**外部鏈接**
 imDEV date=20200509125807  free Excel add-in for PLS and PLS-DA- PLS in Brain Imaging- on-line PLS date=20200505202521  regression (PLSR) at Virtual Computational Chemistry Laboratory- Uncertainty estimation for PLS date=20201025155050 - A short introduction to PLS regression and its history date=20190713083031