維數災難（，又名維度的詛咒）是一個最早由美國應用數學家理查德貝爾曼在考慮最佳化問題時首次提出來的術語 Republished ，用來描述當（數學）空間維度增加時，分析和組織高維空間（通常有成百上千維），因體積指數增加而遇到各種問題場景。這樣的難題在低維空間中不會遇到，如物理空間通常只用三維來建模。 舉例來說，100 個平均分佈的點能把一個單位區間以每個點距離不超過 001 取樣；而當維度增加到 10 後，如果以相鄰點距離不超過 001 小方格取樣一單位超正方體，則需要 1020 個取樣點：所以，這個 10 維的超正方體也可以說是比單位區間大 1018 倍。（這個是理查德貝爾曼所舉的例子） 在很多領域中，如取樣、組合數學、機器學習和資料探勘都有提及到這個名字的現象。這些問題的共同特色是當維數提高時，空間的體積提高太快，因而可用資料變得很稀疏。稀疏性對於任何要求有統計學意義的方法而言都是一個問題，為了獲得在統計學上正確並且有可靠的結果，用來支撐這一結果所需要的資料量通常隨著維數的提高而呈指數級增長。而且，在組織和搜尋資料時也有賴於檢測物件區域，這些區域中的物件透過相似度屬性而形成分組。然而在高維空間中，所有的資料都很稀疏，從很多角度看都不相似，因而平常使用的資料組織策略變得極其低效。 維數災難 通常是用來作為不要處理高維資料的無力藉口。然而，學術界一直都對其有興趣，而且在繼續研究。另一方面，也由於的存在，其概念是指任意低維資料空間可簡單地透過增加空餘（如複製）或隨機維將其轉換至更高維空間中，相反地，許多高維空間中的資料集也可削減至低維空間資料，而不必丟失重要資訊。這一點也透過眾多降維方法的有效性反映出來，如應用廣泛的主成分分析方法。針對距離函式和最近鄰搜尋，當前的研究也表明除非其中存在太多不相關的維度，帶有維數災難特色的資料集依然可以處理，因為相關維度實際上可使得許多問題（如聚類分析）變得更加容易。另外，對於許多方法因為維數過高而處理棘手的資料集上，像馬爾科夫蒙特卡洛或共享最近鄰搜尋方法可以表現得很好。 組合學 在一些問題中，每個變數都可取一系列離散值中的一個，或者可能值的範圍被劃分為有限個可能性。把這些變數放在一起，則必須考慮很多種值的組合方式，這後果就是常說的。即使在最簡單的二元變數例子中，可能產生的組合總數就已經是在維數上呈現指數級的 O 2d。一般而言，每個額外的維度都需要成倍地增加嘗試所有組合方式的影響。 取樣 當在數學空間上額外增加一個維度時，其體積會呈指數級的增長。如，點間距離不超過 102001，102100 個均勻間距的樣本點足夠取樣到一個單位區間（一個維度的立方體）；一個 10 維單元超立方體的等價取樣，其相鄰兩點間的距離為 102001 則需要 1020 個樣本點。一般而言，點距為 10n 的 10 維超立方體所需要的樣本點數量，是 1 維超立方體這樣的單元區間的 10n 101 倍。在上面的 n2 的例子中：當樣本距離為 001 時，10 維超立方體所需要的樣本點數量會比單元區間多 1018 倍。這一影響就是上面所述組合學問題中的組合結果，距離函式問題將在下面介紹。 最佳化 當用數值解決動態最佳化問題時，目標函式針對每個可能的組合都必須計算一遍，當狀態變數的維度很大時，這是極其困難的。 機器學習 在機器學習問題中，需要在高維特徵空間（每個特徵都能夠取一系列可能值）的有限資料樣本中學習一種 自然狀態（可能是無窮分佈），要求有相當數量的訓練資料含有一些樣本組合。給定固定數量的訓練樣本，其預測能力隨著維度的增加而減小，這就是所謂的 Hughes 影響或 Hughes 現象（以 Gordon F Hughes 命名）。Hughes GF 1968 On the mean accuracy of statistical pattern recognizers IEEE Transactions on Information Theory IT145563Not to be confused with the unrelated but similarly named Hughes effect in electromagnetism named after Declan C Hughes which refers to an asymmetry in the hysteresis curves of laminated cores made of certain magnetic materials such as permalloy or mumetal in alternating magnetic fields 貝葉斯統計 在貝葉斯統計中維數災難通常是一個難點，因為其通常都包含著許多引數。 然而，這一問題在基於模擬的貝葉斯推理（尤其是適應於很多實踐問題的馬爾科夫蒙特卡洛方法）出現後得到極大地克服，當然，基於模擬的方法收斂很慢，因此這也並不是解決高維問題的靈丹妙藥。 距離函式 當一個度量，如歐幾里德距離使用很多座標來定義時，不同的樣本對之間的距離已經基本上沒有差別。 一種用來描述高維歐幾里德空間的巨型性的方法是將維數 d 且半徑 r 的內接超球體體積，和相同維數但邊長為 2r 的超立方體體積相比較。 這樣一個球體的體積計算如下： V_mathrm hyperspherefrac 2rdpid2dGamma d2 在 n 維歐氏空間裡，半徑 R 的球體之 n 維體積為 其中 Gamma 表示 Γ 函式。因此根據 半徑 r 維數 d 的球體體積為 Γ 函式的遞迴公式為 將 的 x 以 d2 取代 將 代入 得到 立方體的體積計算如下： V_mathrm hypercube2rd 隨著空間維度 d 的增加，相對於超立方體的體積來說，超球體的體積就變得微不足道了。這一點可以從當 d 趨於無窮時比較前面的比例清楚地看出： frac V_mathrm hypersphereV_mathrm hypercube frac pid2d2d1Gamma d2rightarrow 0 當 d rightarrow infty。 因此，在某種意義上，幾乎所有的高維空間都遠離其中心，或者從另一個角度來看，高維單元空間可以說是幾乎完全由超立方體的 邊角 所組成的，沒有 中部，這對於理解卡方分佈是很重要的直覺理解。 給定一個單一分佈，由於其最小值和最大值與最小值相比收斂於 0，因此，其最小值和最大值的距離變得不可辨別。 lim_d to infty frac operatorname dist_max operatorname dist_minoperatorname dist_min to 0 這通常被引證為距離函式在高維環境下失去其意義的例子。 最近鄰搜尋 最近鄰搜尋在高維空間中影響很大，因為其不可能使用其中一個座標上的距離下界來快速地去掉一個候選項，因為該距離計算需要基於所有維度。R B Marimont and M B Shapiro Nearest Neighbour Searches and the Curse of Dimensionality Journal of the Institute of Mathematics and its Applications 24 1979 5970E Chavez et al Searching in Metric Spaces ACM Computing Surveys 33 2001 273321 然而，最近的研究表明僅僅一些數量的維度不一定會必然導致該問題，因為相關的附加維度也能增加其相反項。另外，結果排序的方法仍然有助於辨別近處和遠處的鄰居。然而，不相關（噪聲）維度也如期望一樣會減少相反項，在時間序列分析中，資料一般都是高維的，只要信噪比足夠高的話，其距離函式也同樣能夠可靠地工作。 k 近鄰分類 高維度在距離函式的另一個影響例子就是 k 近鄰（kNN）圖，該圖使用一些距離函式從資料集構造。當維度增加時，kNN 有向圖的入度分頁將會向右傾斜，從而導致中心的出現，很多的資料例項出現在其他許多例項（比預期多得多）的 kNN 列表中。這一現象對很多技術，如分類（包括最近鄰居法、半監督學習，和聚類分析都有很大的影響。，同時它也對資訊檢索問題有影響。 延伸閱讀 降維 動態規劃 貝爾曼方程 主成分分析 最小二乘法 聚類分析 小波分析 時間序列 奇異值分解 注釋 參考資料 Bellman RE 1957 Dynamic Programming Princeton University Press Princeton NJ Republished 2003 Dover ISBN 0486428095 Bellman RE 1961 Adaptive Control Processes Princeton University Press Princeton NJ Powell Warren B 2007 Approximate Dynamic Programming Solving the Curses of Dimensionality Wiley ISBN 0470171553 Category 數值分析 Category 動態規劃 Category 機器學習