維數災難

維數災難 ( 又名維度的詛咒 ） 是一個最早由理查德 · 貝爾曼 （ Richard E. Bellman ） 在考慮優化問題時首次提出來的術語 ， 用來描述當 （ 數學 ） 空間維度增加時 ， 分析和組織高維空間 （ 通常有成百上千維 ） ， 因體積指數增加而遇到各種問題場景 。 這樣的難題在低維空間中不會遇到 ， 如物理空間通常只用三維來建模 。 舉例來說 ， 100個平均分佈的點能把一個單位區間以每個點距離不超過 0.01 採樣 ； 而當維度增加到10後 ， 如果以相鄰點距離不超過 0.01 小方格採樣一單位超正方體 ， 則需要1020 個採樣點: 所以 ， 這個10維的超正方體也可以說是比單位區間大1018倍 。 （ 這個是理查德 · 貝爾曼所舉的例子 ） 在很多領域中 ， 如採樣 、 組合數學 、 機器學習和數據挖掘都有提及到這個名字的現象 。 這些問題的共同特色是當維數提高時 ， 空間的體積提高太快 ， 因而可用數據變得很稀疏 。 稀疏性對於任何要求有統計學意義的方法而言都是一個問題 ， 爲了獲得在統計學上正確並且有可靠的結果 ， 用來支撐這一結果所需要的數據量通常隨着維數的提高而呈指數級增長 。 而且 ， 在組織和搜索數據時也有賴於檢測對象區域 ， 這些區域中的對象通過相似度屬性而形成分組 。 然而在高維空間中 ， 所有的數據都很稀疏 ， 從很多角度看都不相似 ， 因而平常使用的數據組織策略變得極其低效 。 “ 維數災難 ” 通常是用來作爲不要處理高維數據的無力藉口 。 然而 ， 學術界一直都對其有興趣 ， 而且在繼續研究 。 另一方面 ， 也由於的存在 ， 其概念是指任意低維數據空間可簡單地通過增加空餘 （ 如複製 ） 或隨機維將其轉換至更高維空間中 ， 相反地 ， 許多高維空間中的數據集也可削減至低維空間數據 ， 而不必丟失重要信息 。 這一點也通過衆多降維方法的有效性反映出來 ， 如應用廣泛的主成分分析方法 。 針對距離函數和最近鄰搜索 ， 當前的研究也表明除非其中存在太多不相關的維度 ， 帶有維數災難特色的數據集依然可以處理 ， 因爲相關維度實際上可使得許多問題 （ 如聚類分析 ） 變得更加容易 。 另外 ， 一些如馬爾科夫蒙特卡洛或共享最近鄰搜索方法經常在其他方法因爲維數過高而處理棘手的數據集上表現得很好 。