機器學習中，流形正則化（Manifold regularization）是一種利用資料集形狀以約束應在資料集上被學習的函式的技術。在很多機器學習問題中，待學習資料不能涵蓋整個輸入空間。例如，人臉識別系統不需要分類所有影像，只需分類包含人臉的影像。流形學習技術假定相關資料子集來自流形，是一種具有有用屬性的數學結構；且待學習函式是光滑的，即不同標籤的資料不應靠在一起，即在有大量資料的區域，標籤函式不應快速變化。這樣，流形正則化演算法便可利用無標資料，透過推廣的吉洪諾夫正則化推斷哪些區域允許待學習函式快速變化，哪些區域不允許。流形正則化演算法可將監督學習演算法推廣到半監督學習和轉導，因為當中有無標資料。流形正則化技術已被應用於醫學成像、大地成像與物體識別等領域。 流形正則器 動機 流形正則化是正則化的一種。正則化是透過懲罰複雜解，以減少過擬合、確保問題良置的一系列技術。具體說，流形正則化擴充套件了應用於再生核希爾伯特空間（RKHSs）的吉洪諾夫正則化。在 RKHS 的標準吉洪諾夫正則化下，學習演算法試圖從函式 mathcal H 的假設空間中學習函式 f。假設空間是 RKHS，就是說與核 K 相關聯，於是候選函式 f 都有範數 left f right_K，代表候選函式在假設空間中的複雜度。演算法會考慮候選函式的範數，以懲罰複雜函式。 形式化：給定一組有標訓練資料 x_1 y_1 ldots x_ell y_ell，其中 x_i in X y_i in Y，以及損失函式 V。基於吉洪諾夫正則化的學習演算法將試圖求解 underset f in mathcal Hargmin frac 1ell sum_i1ell V f x_i y_i gamma left f right_K2 其中 gamma 是超引數，用於控制演算法對簡單函式與更能擬合數據的函式的偏好。 流形正則化在標準吉洪諾夫正則化的環境正則項（ambient regularizer）上增加了第二個正則化項 內蘊正則項（intrinsic regularizer）。在流形假設下，資料不是來自整個輸入空間 X，而是來自非線性流形 Msubset X。流形（即內蘊空間）的幾何用於確定正則化範數。 拉普拉斯範數 內蘊正則項 left f right_I 有很多選擇。如流形上的梯度 nabla_M ，可以衡量目標函式的光滑程度。光滑函式應在輸入資料密集處變化較慢，即梯度 nabla_M f x 與邊際機率密度（marginal probability density）mathcal P_X x （隨機選定的資料點落在 x 處的機率密度）呈負相關。這就為內蘊正則項提供了合適的選擇： left f right_I2 int_x in M left nabla_M f x right2 d mathcal P_X x 實踐中，由於邊際機率密度 mathcal P_X 未知，無法直接計算範數，但可根據資料進行估計。 基於圖的拉普拉斯範數 將輸入點間距解釋為圖，圖的拉普拉斯矩陣就可幫助估計邊際分佈。假設輸入資料包括 ell 個有標例子（輸入 x 與標籤 y 的點對）、u 個無標例子（無對應標籤的輸入）。定義 W 為圖的邊權重矩陣，W_ij 是資料點 x_i x_j 間的距離。定義 D 為對角矩陣，其中 D_ii sum_j1ell u W_ij。L 是拉普拉斯矩陣 DW。則，隨著資料點數 ell u 增加，L 將收斂於拉普拉斯 貝爾特拉米運算元 Delta_M，其是梯度 nabla_M 的散度。則若 mathbf f 是 f 在資料處的值向量，mathbf f f x_1 ldots f x_lumathrm T，則就可估計內蘊範數： left f right_I2 frac 1ellu2 mathbf fmathrm T L mathbf f 隨著資料點數 ell u 增加， left f right_I2 的經驗定義會收斂到已知 mathcal P_X 時的定義。 基於圖的方法解正則化問題 用權重 gamma_A gamma_I 作為環境正則項和內蘊正則項，最終的待解表示式變為 underset f in mathcal Hargmin frac 1ell sum_i1ell V f x_i y_i gamma_A left f right_K2 frac gamma_Iellu2 mathbf fmathrm T L mathbf f 與其他核方法類似，mathcal H 可能是無限維空間。因此，若正則化表示式無法明確求解，就不可能在整個空間中搜索解；相反，表示定理表明，在選擇範數 left f right_I 的特定條件下，最優解 f 必須是以每個輸入點為中心的核的線性組合：對某些權重 alpha_i fx sum_i1ell u alpha_i K x_i x 利用這結果，可在 alpha_i 的可能選擇定義的有限維空間中搜索最優解 f。 拉普拉斯範數的泛函方法 圖拉普拉斯之外的想法是利用鄰域估計拉普拉斯量。這種方法類似於區域性平均法，但眾所周知處理高維問題時擴充套件性很差。事實上，圖拉普拉斯函式會受到維數災難影響。 幸運的是，透過更先進的泛函分析，可利用函式的預期光滑性進行估算：由核導數估計拉普拉斯運算元的值 partial_1 j K x_i x，其中 partial_1j 表示對第一個變數第 j 個座標的偏導數。 這第二種方法與無網格法有關，同 PDE 中的有限差分法形成對比。 應用 選擇適當的損失函式 V、假設空間 mathcal H，流形正則化可推廣到各種可用吉洪諾夫正則化表達的演算法。兩個常用例子是支援向量機和正則化最小二乘法。（正則化最小二乘包括嶺迴歸；相關的 LASSO、彈性網正則化等演算法可被表為支援向量機。）這些演算法的推廣分別稱作拉普拉斯正則化最小二乘（LapRLS）和拉普拉斯支援向量機（LapSVM）。 拉普拉斯正則化最小二乘（LapRLS） 正則化最小二乘（RLS）是一類迴歸分析演算法：預測輸入 x 的值 y f x，目標是使預測值接近資料的真實標籤。RLS 的設計目標是在正則化的前提下，最大限度減小預測值與真實標籤之間的均方誤差。嶺迴歸是 RLS 的一種形式，一般來說 RLS 與結合了核方法的嶺迴歸是一樣的。在吉洪諾夫正則化中，損失函式 V 的均方誤差是 RLS 問題陳述的結果： f underset f in mathcal Hargmin frac 1ell sum_i1ell f x_i y_i2 gamma left f right_K2 根據表示定理，解可寫作在資料點求值的核的加權和： fx sum_i1ell alpha_i K x_i x 解 alpha 可得 alpha K gamma ell I1 Y 其中 K 定義為核矩陣，K_ij K x_i x_j，Y 是標籤向量。 為流形正則化新增拉普拉斯項，得到拉普拉斯 RLS 的表達： f underset f in mathcal Hargmin frac 1ell sum_i1ell f x_i y_i2 gamma_A left f right_K2 frac gamma_Iellu2 mathbf fmathrm T L mathbf f 再根據流形正則化的表示定理，可知 fx sum_i1ell u alpha_i K x_i x 這就得到了向量 alpha 的表示式。令 K 是上述核矩陣，Y 是資料標籤向量，J 是 ell u times ell u 分塊矩陣 begin bmatrix I_ell 0 0 0_u end bmatrix ： alpha underset alpha in mathbf Rell uargmin frac 1ell Y J K alphamathrm T Y J K alpha gamma_A alphamathrm T K alpha frac gamma_Iell u2 alphamathrm T K L K alpha 解是 alpha left JK gamma_A ell I frac gamma_I ellell u2 L K right1 Y LapRLS 已被用於感測器網路、 醫學成像、 物體檢測、 光譜學、 文件分類、 藥物 蛋白質相互作用、 壓縮影像與影片等問題。 拉普拉斯支援向量機（LapSVM） 支援向量機（SVMs）是一系列演算法，常用於資料分類。直觀說，SVM 在類間畫出邊界，使最接近邊界的資料儘量遠離邊界。這可直接表為線性規劃問題，但也等同於帶鉸鏈損失的吉洪諾夫正則化，即 V f x y max 0 1 yf x： f underset f in mathcal Hargmin frac 1ell sum_i1ell max 0 1 y_if x_i gamma left f right_K2 將內蘊正則化項加進去，就得到了 LapSVM 問題的陳述： f underset f in mathcal Hargmin frac 1ell sum_i1ell max 0 1 y_if x_i gamma_A left f right_K2 frac gamma_Iellu2 mathbf fmathrm T L mathbf f 同樣，表示定理允許用在資料點得值的核表示解： fx sum_i1ell u alpha_i K x_i x 將問題重寫為線性規劃問題、求解對偶問題就可得到 alpha。令 K 是核矩陣、J 是分塊矩陣 begin bmatrix I_ell 0 0 0_u end bmatrix ，則解可寫作 alpha left 2 gamma_A I 2 frac gamma_Iell u2 L K right1 Jmathrm T Y beta 其中 beta 是對偶問題的解 begin align beta max_beta in mathbf Rell sum_i1ell beta_i frac 12 betamathrm T Q beta text subject to sum_i1ell beta_i y_i 0 0 le beta_i le frac 1ell i 1 ldots ell end align Q 的定義是 Q YJK left 2 gamma_A I 2 frac gamma_Iell u2 L K right1 Jmathrm T Y LapSVM 已被應用於大地成像、 醫學成像、 人臉識別、 機器維護、 腦機介面等問題。 侷限 流形正則化假定不同標籤的資料不在一起，這樣就能從無標資料中提取資訊。但這隻適用於一部分問題。根據資料結構不同，可能要用不同的半監督或轉導學習演算法。 某些資料集中，函式的內蘊範數 left f right_I 可能非常接近環境範數 left f right_K：例如，若資料由位於垂直線上的兩類組成，則內蘊範數將等於環境範數。這時，即便資料符合光滑分離器假設，無標資料也無法對流形正則化學習到的解產生影響。與聯合訓練相關的方法已用於解決這一限制。 若有大量無標資料，則核矩陣 K 將變得極大，計算時間可能非常久。這時線上演算法與流形的稀疏近似可能有所幫助。 另見 流形學習 流形假設 半監督學習 轉導 機器學習 譜圖論 再生核希爾伯特空間 吉洪諾夫正則化 微分幾何 參考文獻 外部連結 軟體 ManifoldLearn 庫 與 Primal LapSVM 庫 在 MATLAB 中實現了 LapRLS 和 LapSVM。 C 的 Dlib 庫 包含線性流形正則化函式。 Category 機器學習