吉洪諾夫正則化得名於安德烈尼古拉耶維奇吉洪諾夫，是在自變數高度相關的情景下估計多元迴歸模型係數的方法。它已被用於許多領域，包括計量經濟學、化學和工程學。吉洪諾夫正則化為非適定性問題的正則化中最常見的方法。在統計學中，本方法被稱為脊迴歸或嶺迴歸；在機器學習領域則稱為權重衰減或權值衰減。因為有不同的數學家獨立發現此方法，此方法又稱做吉洪諾夫－米勒法、菲利浦斯－圖米法、受限線性反演，或線性正規化。此方法亦和用在的萊文貝格－馬夸特方法相關。它對於緩解線性迴歸中的多重共線性問題特別有用，這常見於有大量引數的模型中。總的來說，這種方法提高了引數估計的效率，但也有可容忍的偏差（見偏差 方差權衡）。 該理論於 1970 年由 Hoerl 與 Kennard 發表在《技術計量學》上的文章《嶺迴歸：非正交問題的偏估計》及《嶺迴歸：非正交問題中的應用》中首次提出。 This was the result of ten years of research into the field of ridge analysis 嶺迴歸是透過建立嶺迴歸估計量（RR）實現的。當線性迴歸模型具有多重共線（高度相關）的自變數時，嶺迴歸對於最小二乘估計的不精確性是一種可能的解決方案。這提供了更精確的嶺引數估計，因為它的方差和均方估計量通常小於先前推導的最小二乘估計量。 當求解超定問題（即 A_m times n xb m n）時， 矩陣 A 的協方差矩陣 AH A 奇異或接近奇異時，利用最小二乘方法求出的結果 hat x_LSAH A1 AH b 會出現發散或對 x 不合理的逼近。為了解決這一問題，吉洪諾夫於 1963 年提出了利用正則化項修改最小二乘的代價函式的方法，修改後的代價函式如下： J xfrac 12lVert Axb rVert2_2 lambda lVert x rVert _22 式中 lambda ge 0 稱為正則化引數，這種方法被稱為吉洪諾夫正則化。 概覽 在最簡單的情況下，向主對角線新增正元素可以緩解近奇異矩量矩陣 mathbf Xmathsf Tmathbf X 問題，減少條件數。類似於最小二乘估計量，簡單嶺估計量可定義為 hat beta_R mathbf Xmathsf T mathbf X lambda mathbf I1 mathbf Xmathsf T mathbf y 其中 mathbf y 是迴歸子，mathbf X 是設計矩陣，mathbf I 是單位矩陣，嶺引數 lambda geq 0 則是矩量矩陣對角線的恆定位移。關於實踐中 lambda 的選擇，參可以證明這個估計量是約束為 betamathsf Tbeta c 的最小二乘問題的解，可表達為拉格朗日形式： min_beta mathbf y mathbf X betamathsf Tmathbf y mathbf X beta lambda betamathsf Tbeta c 其說明，lambda 不過是約束的拉格朗日乘數。通常要根據啟發式準則選擇 lambda，以便不完全滿足約束。特別是在約束 lambda 0，即非約束約束（nonbinding constrain），嶺估計量退化為普通最小二乘法。下面討論一種更通用的吉洪諾夫正則化方法。 歷史 吉洪諾夫正則化是在許多不同背景下獨立發明的。 安德烈吉洪諾夫 Translated in 和 David L Phillips 最早使用了這種方法。 有限維情形由採用統計方法的 Arthur E Hoerl 和 Manus Foster 完成，後者將其解釋為克里金法濾子。自 Hoerl 之後，這種方法在統計學文獻中被稱為嶺迴歸，以沿單位矩陣對角線的形狀命名。 吉洪諾夫正則化 假設對已知矩陣 A 和向量 mathbf b，我們希望找到向量 mathbf x 使 Amathbf x mathbf b 標準方法是普通最小二乘法線性迴歸。但若沒有 mathbf x 滿足方程或超過一個 mathbf x 滿足（即解不唯一），則待研究問題為不適定問題，普通最小二乘估計會導致方程組過定或欠定。大多數現實世界的現象在前向問題中都具有低通濾性質，其中 A 將 mathbf x 對映到 mathbf b。因此在解決逆問題時，逆對映作為高通濾波器，具有放大噪聲的不良趨勢（特徵值 奇異值在逆對映中最大，在正對映中最小）。此外，普通最小二乘隱式地消除了位於 A 的零空間的 mathbf x 的重建版本的每個元素，而非允許將模型用作 mathbf x 的先驗。 普通最小二乘尋找最小化殘差平方和，可以緊湊地寫作 Amathbf x mathbf b_22 其中 cdot_2 是歐幾里得範數。 為優先選擇具有所需性質的特定解，可在最小化中包含正則化項： Amathbf x mathbf b_22 Gamma mathbf x_22 其中吉洪諾夫矩陣 Gamma 需要適當選取，許多時候選為單位矩陣的標量倍數（Gamma alpha I），並優先考慮範數較小的解；這叫做正則化。這之外，若認為基礎向量幾乎連續，則可使用高通運算（如遞推關係式或加權離散傅立葉變換）以實現平滑。這種正則化改進了問題條件，從而實現了直接的數值求解。顯式解表示為 hat x，是這樣得到： hat x Atop A Gammatop Gamma1 Atop mathbf b 正則化的效果可能因矩陣 Gamma 的尺度而異。若擇 Gamma 0，如 ATA1 存在，則簡化為非正則化最小二乘解。 除線性迴歸外，正則化還有許多應用場景，如邏輯斯諦迴歸或支援向量機分類，以及矩陣分解。 廣義吉洪諾夫正則化 對於 x 和資料誤差的多元正態分佈，c 可以應用變數的變換來簡化上述情況。等價地，可以尋求最小化 x： Ax b_P2 x x_0_Q2 其中 x_Q2 表示加權範數平方 xtop Q x（比較馬哈拉諾比斯距離）。在貝葉斯解釋中，P 是 b 的逆協方差矩陣；x_0 是 x 的期望；Q 是 x 的逆協方差矩陣。吉洪諾夫矩陣為矩陣 Q Gammatop Gamma 的分解（如科列斯基分解），可視作白化變換器。 這個推廣問題有最優解 x，可以使用公式顯式地寫為 x Atop PA Q1 Atop Pb Qx_0 或等效地，當 Q 非空： x x_0 Atop PA Q1 Atop P b Ax_0 拉夫連季耶夫正則化 有時可以避免使用 Atop，這由米哈伊爾拉夫連季耶夫指出。例如，若 A 是對稱正定矩陣，即 A Atop 0，則其逆 A1 可以用來在廣義吉洪諾夫正則化中構造加權範數平方 x_P2 xtop A1 x，則有最小化 Ax b_A12 x x_0_Q2 或等價地由常數項， xtop AQ x 2 xtop b Qx_0 該最小化問題有最優解 x，可以緊湊地寫作公式 x A Q1 b Qx_0 是廣義吉洪諾夫問題的解，其中 A Atop P1。 拉夫連季耶夫正則化對原吉洪諾夫正則化有利，因為拉夫連季耶夫矩陣 A Q 的條件數比吉洪諾夫矩陣 Atop A Gammatop Gamma 小。 希爾伯特空間中的正則化 典型的離散線性非適定問題由積分方程的離散化引起，可以在原始的無窮維背景中實現吉洪諾夫正則化。上面，我們可以將 A 解釋為希爾伯特空間上的緊運算元，x、b 為 A 的域與範圍上的元素。A A Gammatop Gamma 是自伴隨有界可逆運算。 與奇異值分解和維納濾波器的關係 有 Gamma alpha I 這個最小二乘解可用奇異值分解以特殊的方式分析。給定奇異值分解 A U Sigma Vtop ，奇異值 sigma _i，則吉洪諾夫正則解可表為 hat x V D Utop b 其中 D 的對角值為 D_ii frac sigma_isigma_i2 alpha2 其餘地方都是 0。這表明吉洪諾夫引數對正則化問題條件數的影響。對於廣義情況，可以使用廣義奇異值分解推匯出類似的表示。 最後，其與維納濾波有關： hat x sum _i1q f_i frac u_itop bsigma_i v_i 其中維納權為 f_i frac sigma _i2sigma_i2 alpha2；q 是 A 的秩。 確定吉洪諾夫因子 最佳正則化引數 alpha 一般未知，在實踐中常常臨時確定。一種可能的方法依賴於下面描述的貝葉斯解釋。其他方法包括偏差原理、交叉驗證、L 曲線法、P C Hansen The Lcurve and its use in the numerical treatment of inverse problems 約束最大似然法和無偏預測風險估計。Grace Wahba 證明，這種最優引數用留一交叉驗證最小 G frac operatorname RSStau2 frac X hat beta y2operatorname TrI X XT X alpha2 I1 XT2 其中 operatorname RSS 是殘差平方和，tau 是自由度。 用前面的 SVD 分解，可以簡化上述表示式： operatorname RSS left y sum_i1q u_i b u_i right2 left sum _i1q frac alpha2sigma_i2 alpha2 u_i b u_i right2 operatorname RSS operatorname RSS_0 left sum_i1q frac alpha2sigma_i2 alpha2 u_i b u_i right2 ； tau m sum_i1q frac sigma_i2sigma_i2 alpha2 m q sum_i1q frac alpha2sigma _i2 alpha2 與機率表述的關係 逆問題的機率公式引入了（當所有不確定量都為正態量時）表示模型引數先驗不確定性的協方差矩陣 C_M，以及表示觀測引數不確定性的協方差矩陣 C_D。當它們都是對角各向同性矩陣（ C_M sigma_M2 I ），且 C_D sigma_D2 I ，則逆理論方程簡化為上述方程，且 alpha sigma_Dsigma_M 。 貝葉斯解釋 雖然選擇這個正則化問題的解可能看起來是人為的，而且矩陣 Gamma 似乎相當武斷，但從貝葉斯的角度來看，這個過程是合理的。注意，不適定問題必須引入額外假設才能得到唯一解。在統計學中，x 的先驗分佈有時被認為是多元正態分佈。為簡單起見，此處做出以下假設：均值為零；組分獨立；組分標準差均為 sigma _x。資料也受誤差影響，並且假設 b 中的誤差獨立，均值為零，標準差為 sigma _b。在這些假設下，根據貝葉斯定理，吉洪諾夫正則化解是給定資料和 x 的先驗分佈的最可能的解。 若正態性假設被同方差和無關誤差假設代替，且若假設均值仍是零，則高斯 馬爾可夫定理意味著解是最小 無偏線性估計量。 另見 Lasso 演算法是統計學中另一種正則化方法。 彈性網路正則化 矩陣正則化 註釋 參考文獻 閱讀更多 Category 線性代數 Category 估計方法 Category 迴歸分析