偏最小二乘回歸

偏最小二乘回歸（Partial least squares regression， PLS回歸）是一種統計學方法，與主成分回歸有關係，但不是尋找響應和獨立變量之間最小方差的超平面，而是通過投影預測變量和觀測變量到一個新空間來尋找一個線性回歸模型。因為數據X和Y都會投影到新空間，PLS系列的方法都被稱為雙線性因子模型。當Y是分類數據時有「偏最小二乘判別分析（Partial least squares Discriminant Analysis， PLS-DA）」，是PLS的一個變形。

偏最小二乘用於查找兩個矩陣（X和Y）的基本關係，即一個在這兩個空間對協方差結構建模的隱變量方法。偏最小二乘模型將試圖找到X空間的多維方向來解釋Y空間方差最大的多維方向。偏最小二乘回歸特別適合當預測矩陣比觀測的有更多變量，以及X的值中有多重共線性的時候。相比之下，標準的回歸在這些情況下不見效（除非它是吉洪諾夫正則化）。

偏最小二乘演算法被用在偏最小二乘路徑建模中，一個建立隱變量（原因不能沒有實驗和擬實驗來確定，但一個典型的模型會基於之前理論假設（隱變量影響衡量指標的表現）的隱變量模型）這種技術是結構方程模型的一種形式，與經典方法不同的是基於組件而不是基於協方差。

偏最小二乘來源於瑞典統計學家Herman Wold，然後由他的兒子Svante Wold發展。偏最小二乘的另一個詞（根據Svante Wold）是投影到潛在結構，但偏最小二乘法依然在許多領域占據著主導地位。儘管最初的應用是在社會科學中，偏最小二乘回歸今天被廣泛用於化學計量學和相關領域。它也被用於生物資訊學，sensometrics，神經科學和人類學。而相比之下，偏最小二乘回歸最常用於社會科學、計量經濟學、市場營銷和戰略管理。

## 底層模型

偏最小二乘的一般多元底層模型是

$$X = T P^{\top} + E$$

$$Y = U Q^{\top} + F$$

其中$X$是一個$n \times m$的預測矩陣，$Y$是一個$n \times p$的響應矩陣；$T$和$U$是$n \times l$的矩陣，分別為$X$的投影（「X分數」、「組件」或「因子」矩陣）和$Y$的投影（「Y分數」）；$P$和$Q$分別是$m \times l$和$p \times l$的正交載荷矩陣，以及矩陣$E$和$F$是錯誤項，假設是獨立同分布的隨機正態變量。對$X$和$Y$分解來最大化$T$和$U$之間的協方差。

## 演算法

偏最小二乘的許多變量是為了估計因子和載荷矩陣$T, U, P$和$Q$。它們中大多數構造了$X$和$Y$之間線性回歸的估計$Y = X \tilde{B} + \tilde{B}_0$。一些偏最小二乘演算法只適合$Y$是一個列向量的情況，而其它的演算法則處理了$Y$是一個矩陣的一般情況。演算法也根據他們是否估計因子矩陣$T$為一個正交矩陣而不同。

最後的預測在所有不同最小二乘演算法中都是一樣的，但組件是不同的。

### PLS1

PLS1是一個$Y$是向量時廣泛使用的演算法。它估計$T$是一個正交矩陣。以下是偽代碼（大寫字母是矩陣，帶上標的小寫字母是向量，帶下標的小寫字母和單獨的小寫字母都是標量）：

```
 1  '''function''' PLS1(<math>X, y, l</math>)
 2  <math>X^{(0)} \gets X</math>
 3  <math>w^{(0)} \gets X^T y/||X^Ty||</math>, an initial estimate of <math>w</math>.
 4  <math>t^{(0)} \gets X w^{(0)}</math> 
 5  '''for''' <math>k</math> = 0 '''to''' <math>l</math>
 6      <math>t_k \gets {t^{(k)}}^T t^{(k)}</math> (note this is a scalar)
 7      <math>t^{(k)} \gets t^{(k)} / t_k</math>
 8      <math>p^{(k)} \gets {X^{(k)}}^T t^{(k)}</math>
 9      <math>q_k \gets {y}^T t^{(k)}</math> (note this is a scalar)
10      '''if''' <math>q_k</math> = 0
11          <math>l \gets k</math>, '''break''' the '''for loop'''
12      '''if''' <math>k < l</math>
13          <math>X^{(k+1)} \gets X^{(k)} - t_k t^{(k)} {p^{(k)}}^T</math>
14          <math>w^{(k+1)} \gets {X^{(k+1)}}^T y </math>
15          <math>t^{(k+1)} \gets X^{(k+1)}w^{(k+1)}</math>
16  end '''for'''
17  '''define''' <math>W</math> to be the matrix with columns <math>w^{(0)},w^{(1)},...,w^{(l-1)}</math>.
    Do the same to form the <math>P</math> matrix and <math>q</math> vector.
18  <math>B \gets W {(P^T W)}^{-1} q</math>
19  <math>B_0 \gets q_0 - {P^{(0)}}^T B</math>
20  '''return''' <math>B, B_0</math>
```

這種形式的演算法不需要輸入$X$和$Y$定中心，因為演算法隱式處理了。這個演算法的特點是收縮於$X$ （減去$t_k t^{(k)} {p^{(k)}}^T$），但向量$y$不收縮，因為沒有必要（可以證明收縮$y$和不收縮的結果是一樣的）。使用者提供的變量$l$是回歸中隱藏因子數量的限制；如果它等於矩陣$X$的秩，演算法將產生$B$和$B_0$的最小二乘回歸估計。

### 舉例

10個變量（V1-V10）解釋身高，PLS取前三個成分（C1-C3），數據集N=100。

- 取得第一個成分C1：對10個變量賦予「內部權重」，既能解釋10個變量，又能解釋身高（最大協方差）。C1 = w1_v1*V1 + w1_v2*V2 + ... + w1_v10*V10（C1就是這100人每人一個值）
- 移除（deflate）第一個成分C1對因變量的解釋，重複此過程。獲得C2、C3。
- 用回歸（如OLS）得出這三組值對身高的解釋係數（係數_C1-C3）：預測身高 ≈ 截距_中間 + (係數_C1
- C1) + (係數_C2
- C2) + (係數_C3
- C3)
- 預測身高 ≈ 截距_中間 + 係數_C1
- (w1_v1*V1 + ... + w1_v10*V10) + 係數_C2
- (w2_v1*V1 + ... + w2_v10*V10) + 係數_C3
- (w3_v1*V1 + ... + w3_v10*V10)把這個式子展開，然後把所有包含 V1 的項合併，所有包含 V2 的項合併，以此類推：預測身高 ≈ 截距_中間 + (係數_C1*w1_v1 + 係數_C2*w2_v1 + 係數_C3*w3_v1)
- V1 + (係數_C1*w1_v2 + 係數_C2*w2_v2 + 係數_C3*w3_v2)
- V2 + ... + (係數_C1*w1_v10 + 係數_C2*w2_v10 + 係數_C3*w3_v10)
- V10V1 前面的括號 (係數_C1*w1_v1 + 係數_C2*w2_v1 + 係數_C3*w3_v1) 就是最終得到的 V1 的最終權重，以此類推。

PLS模型的結果是一套權重（每個變量分別對應1個權重，共10個數字），外加截距。在預測時，使用它們對觀察到的加權進行預測。

## 擴展

2002年，一個叫做正交投影（Orthogonal Projections to Latent Structures， OPLS）的方法提出。在OPLS中，連續變量數據被分為預測的和不相關的資訊。這有利於改進診斷，以及更容易解釋可視化。然而，這些變化只是改善模型的可解釋性，不是預測能力。L-PLS通過3個連接數據塊擴展了偏最小二乘回歸。同樣，OPLS-DA（Discriminant Analysis，判別分析）可能被應用在處理離散變量，如分類和生物標誌物的研究。

## 軟體實現

大多數統計軟體包都提供偏最小二乘回歸。

R中的『pls』包提供了一系列演算法。

## 擴展閱讀

- Wan Mohamad Asyraf Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.

## 外部連結

- imDEV free Excel add-in for PLS and PLS-DA
- PLS in Brain Imaging
- on-line PLS regression (PLSR) at Virtual Computational Chemistry Laboratory
- Uncertainty estimation for PLS
- A short introduction to PLS regression and its history