在統計學和機器學習中，整合學習方法透過組合多種學習演算法來獲得比單獨使用任何一種演算法更好的預測效能。與統計力學中通常是無限的系綜不同，機器學習中的整合學習由有限的一組模型組成，但這些模型之間通常允許存在更靈活的結構。 概述 監督學習演算法通常被描述為在假設空間中搜索，以找到一個能夠對特定問題做出良好預測的假設。即使假設空間包含非常適合特定問題的假設，找到一個好的假設也可能很困難。整合學習結合多個假設，形成一個（希望）更好的假設。術語整合通常保留用於使用相同基礎學習器生成多個假設的方法。多分類器系統的更廣泛術語還包括由非相同基礎學習器得到的假設的結合。這種方法和現象也被另一個術語 群智 所描述，該術語來自多個 DREAM 生物醫學資料科學挑戰。 評估整合學習的預測通常需要比評估單個模型的預測花費更多的計算，因此整合可以被認為是透過執行大量額外計算來補償偏差的學習演算法的方式。諸如決策樹之類的快速演算法通常用於集合方法（如隨機森林），儘管較慢的演算法也可以從整合方法中受益。 透過類比，整合技術也已用於無監督學習場景中，如共識聚類或異常檢測。 整合理論 整合學習本身是一種監督學習演算法，因為它可以被訓練然後用於進行預測。因此，訓練後的整合模型代表了一個假設，但這個假設不一定被包含在構建它的模型的假設空間內。因此，可以證明整合學習在它們可以表示的功能方面具有更大的靈活性。理論上，這種靈活性使他們能夠比單一模型更多地過擬合訓練資料，但在實踐中，一些整合演算法（如 Bagging 演算法）傾向於減少對訓練資料過擬合相關的問題。 根據經驗，當模型之間存在顯著差異時，整合往往會產生更好的結果。KunchevaL 和 WhitakerC 措施的多樣性中的分類器的合奏， 學習機，51pp181207，2003 年 SollichP 和克羅，A 學習合唱團：如何過擬合可能是有用的，先進的神經資訊處理系統，第 8 卷，pp190196 之，1996 年。因此，許多整合方法試圖促進它們組合的模型之間的多樣性。BrownG 和 WyattJ 和 HarrisR 和 Yao，X、多樣化創作方法：調查和分類 資訊的融合，6 個 1，第 520，2005 年。準確性和多樣性樂團的文 Categorisers 的。 JJGarcía AdevaUlises Cerviño，RCalvoCLEI JournalVol 8No2pp112 月，2005 年。儘管可能不是直觀的，更隨機的演算法（如隨機決策樹）可用於產生比非常有意識的演算法（如熵減少決策樹）更強大的整合模型。嗬，T 隨機決定的森林， 訴訟程式的第三次國際會議檔案的分析和認識，pp278282，1995 年。然而，使用各種強大的學習演算法已被證明是比使用試圖愚弄模型以促進多樣性的技術更有效。GashlerM 和吉羅的載體，C 和 MartinezT 決定樹團：小型異構是更好的比較大的均勻 ，第七次國際會議上學習機和應用程式，2008 年，pp900905 DOI101109ICMLA 的。2008 年。154 整合模型大小 雖然整合中的組成分類器的數量對預測的準確性具有很大影響，但是解決該問題的研究數量有限。先驗地確定整合模型的大小以及大資料流的體積和速度使得這對於線上整合分類器來說更加重要，其中大多數統計測試被用於確定適當數量的元件。最近，理論框架表明對於整合模型存在理想數量的分類器，具有多於或少於該數量的分類器將使精度變差，這被稱為 整合構建效果遞減規律。理論框架表明，使用與類標籤數相同的獨立分類器可以達到最高的準確度。 常見的整合型別 貝葉斯最優分類器 貝葉斯最優分類器是一種分類技術，它是假設空間中所有假設的集合。平均而言，沒有其他整合模型可以超越它。湯姆 MMitchell 機學習，1997 年，第 175 樸素貝葉斯最優分類器假定資料在類上有條件地獨立並使計算更可行，如果該假設為真，則對每個假設進行投票，該投票與從系統取樣訓練資料集的可能性成比例。為了促進有限大小的訓練資料，每個假設的投票也乘以該假設的先驗機率。貝葉斯最優分類器可以用以下等式表示： yunderset c_j in Cmathrm argmax sum_h_i in HP c_jh_i P Th_i P h_i 其中 y 是預測標籤， C 是所有可能類的集合， H 是假設空間， P 是機率， T 是訓練資料。 作為整合，貝葉斯最優分類器表示不一定在 H 中的假設。然而，由貝葉斯最優分類器表示的假設是集合空間中的最優假設（所有可能的集合的空間僅由 H 中的假設組成）。 這個公式可以用貝葉斯定理重新表述，貝葉斯定理表明後驗與先驗的可能性成正比： P h_iT propto P Th_i P h_i 因此， yunderset c_j in Cmathrm argmax sum_h_i in HP c_jh_i P h_iT Bootstrap 聚合（Bagging） Bootstrap 聚合（Bootstrap Aggregating，Bagging）使整合模型中的每個模型在投票時具有相同的權重。為了降低不穩定過程如樹的方差，Bagging 對 B 個 比如說，B 使用與類標籤數相同的數量 bootstrap datasets 上的模型求平均，從而降低其方差並導致預測效能的改善。例如，隨機森林演算法將隨機決策樹與 Bagging 相結合，以實現更高的分類準確度。Breiman，L，裝袋預測， 學習機，24 2，pp123140，1996 年。 Boosting Boosting 透過在訓練新模型例項時更注重先前模型錯誤分類的例項來增量構建整合模型。在某些情況下，Boosting 已被證明比 Bagging 可以得到更好的準確率，不過它也更傾向於對訓練資料過擬合。目前比較常見的增強實現有 AdaBoost 等演算法。 貝葉斯引數平均 貝葉斯引數平均（Bayesian Parameter Averaging，BPA）是一種整合方法，它試圖透過對假設空間中的假設進行抽樣來近似貝葉斯最優分類器，並使用貝葉斯定律將它們組合起來。與貝葉斯最優分類器不同，貝葉斯模型平均（Bayesian Model Averaging，BMA）可以實際實現。通常使用諸如 MCMC 的蒙特卡羅方法對假設進行取樣。例如，可以使用吉布斯取樣來繪製代表分佈 P TH 的假設。已經證明，在某些情況下，當以這種方式繪製假設並根據貝葉斯定律求平均時，該演算法具有預期誤差，該誤差被限制為貝葉斯最優分類器的預期誤差的兩倍。大衛 Haussler，邁克爾 柯恩斯和羅伯特 E Schapire 的。 邊界在這樣複雜的貝學習使用資訊理論和 VC 尺寸的。 學習機，1483113，1994 年儘管這種技術理論正確，但早期工作中的實驗結果表明，與簡單的整合方法如 Bagging 相比，該方法促進了過擬合併且表現更差； however these conclusions appear to be based on a misunderstanding of the purpose of Bayesian model averaging vs model combination 然而，這些結論似乎是基於對目的的誤解貝葉斯模型平均與模型組合。此外，BMA 的理論和實踐取得了相當大的進展，最近的嚴格證明證明了 BMA 在高維設定中變數選擇和估計的準確性，並提供了實驗證據，強調了 BMA 中的稀疏執行先驗在緩解過擬合方面的作用。 貝葉斯模型組合 貝葉斯模型組合（BMC）是對貝葉斯模型平均（BMA）的演算法校正。 它不是單獨對整體中的每個模型進行取樣，而是從可能的集合空間中進行取樣（模型權重從具有均勻引數的 Dirichlet 分佈中隨機抽取） 這種修改克服了 BMA 趨向於將所有權重賦予單個模型的趨勢 儘管 BMC 在計算上比 BMA 更昂貴，但它往往會產生顯著更好的結果 BMC 的結果顯示平均值優於（具有統計顯著性）BMA 和 Bagging。 使用貝葉斯定律來計算模型權重需要計算給定每個模型的資料的機率，通常整合中的模型都不是生成訓練資料的分佈，因此對於該項，它們都正確地接收到接近於零的值。如果整合足夠大以對整個模型空間進行取樣，這將很有效，但這種情況很少發生。因此，訓練資料中的每個模式將使整合權重朝向最接近訓練資料分佈的集合中的模型移動，這實質上減少了用於進行模型選擇的不必要的複雜方法。 整合的可能權重可以看作是躺在單面上，在單形的每個頂點處，所有權重都被賦予整合中的單個模型。BMA 會聚到最接近訓練資料分佈的頂點。相比之下，BMC 匯聚到這種分佈投射到單純形態的點上。換句話說，它不是選擇最接近生成分佈的一個模型，而是尋找最接近生成分佈的模型的組合。 BMA 的結果通常可以透過使用交叉驗證從一系列模型中選擇最佳模型來近似。同樣地，可以透過使用交叉驗證來近似來自 BMC 的結果，以從可能的權重的隨機取樣中選擇最佳的整合組合。 桶模型 桶模型（英語：bucket of models）是一種使用模型選擇演算法為每個問題選擇最佳模型的整合方法。當僅使用一個問題進行測試時，一組模型不會產生比整合中的最佳模型更好的結果，但是當針對許多問題進行評估時，它通常會產生比整合中的任何模型更好的結果。 最常見的方法用於模型的選擇是交叉驗證。它用以下虛擬碼描述： For each model m in the bucket Do c times where c is some constant Randomly divide the training dataset into two datasets A and B Train m with A Test m with B Select the model that obtains the highest average score 交叉驗證選擇可以概括為：使用訓練集嘗試所有選擇，並選擇最有效的方法。肯定 Dzeroski，伯納德善光，可 是相結合的分類更好於選擇最好的一個 機學，2004pp255273 門控是交叉驗證選擇的一般化。它涉及訓練另一種學習模型，以確定桶中哪些模型最適合解決問題。通常，感知器被應用於門控模型。它可用於選擇 最佳 模型，或者可用於為桶中每個模型的預測提供線性權重。 當使用具有大量問題的桶模型時，可能希望避免需要花費很長時間訓練的一些模型。地標學習是一種尋求解決這一問題的元學習方法，它涉及僅訓練桶中的快速（但不精確）演算法，然後使用這些演算法的效能來幫助確定哪種慢（但準確）演算法最有可能做得最好。BensusanHilan 和吉羅載 Christophe G 發現任務區透過里程碑式的學習表演，PKDD00 訴訟程式的第 4 次歐洲會議關於原則的資料探勘和知識發現，SpringerVerlag，2000 年，第 325 頁 330 Stacking 堆疊（英語：Stacking）（有時稱為堆疊泛化）涉及訓練學習演算法以組合其他幾種學習演算法的預測。首先，使用可用資料訓練所有其他演算法，然後訓練組合器演算法以使用其他演算法的所有預測作為附加輸入進行最終預測。如果使用任意組合器演算法，那麼堆疊理論上可以表示本文中描述的任何集合技術，但實際上，通常用邏輯斯諦迴歸模型作為組合器。 Stacking 通常比任何一個經過訓練的模型都能產生更好的效能，沃伯特，D， 堆疊的概括。的， 神經網路，5 2pp241259 1992 年它已成功用於監督學習任務（如迴歸、Breiman L Stacked Regression Machine Learning 24 1996 分類和距離學習 ）和無監督學習（如密度估計）。史密斯，P 和沃伯特，DH 的直線相結合的密度估計透過疊，機器 學習的期刊，365983，1999 年 Stacking 也被用於評估 Bagging 的錯誤率。沃伯特，D，和麥克瑞德，WG， 一個有效的方法來估計裝袋的概括錯誤、學習機雜誌，354155 來，1999 年 據報道，它的表現超過了貝葉斯模型的平均值。克拉克，B Bayes 模型平均和堆疊當的模式近似的錯誤不可忽視，Journal of 機學習的研究，pp683712，2003 年在 Netflix 競賽中兩個表現最好的人使用混合方法（英語：Blending），這可以被認為是一種 Stacking 形式。 實現庫 R：至少有三個軟體包提供貝葉斯模型平均工具，包括 BMS（貝葉斯模型選擇）包、BAS（貝葉斯自適應取樣的首字母縮寫）包、和 BMA 包。H2O 包提供了許多機器學習模型，包括一個整合模型，也可以使用 Spark 進行訓練。 Python：Scikitlearn，一個用於 Python 機器學習的軟體包，提供用於整合學習的軟體包，包括用於 Bagging 和平均方法的軟體包。 MATLAB：分類整合在統計和機器學習工具箱中實現。 整合學習應用 近年來，由於計算能力不斷提高，允許在合理的時間範圍內訓練大型整合模型，其應用數量也越來越多。整合分類器的一些應用包括： 遙感 土地覆蓋測繪 土地覆蓋測繪是地球觀測衛星感測器的主要應用之一，利用遙感和地理空間資料識別位於目標區域表面的材料和物體。一般來說，目標材料的類別包括道路、建築物、河流、湖泊和植被。基於人工神經網路、核主成分分析（KPCA）、Boosting 決策樹、隨機森林和自動設計多分類器系統等不同的整合學習方法可以有效識別土地覆蓋物。 變化的檢測 變化檢測是一種影像分析問題，識別土地覆蓋隨時間變化的地方。變化檢測廣泛應用於城市發展、森林和植被動態、土地利用和災害監測等領域。整合分類器在變化檢測中的最早應用是透過多數投票、貝葉斯平均和最大後驗機率設計的。 計算機安全 分散式拒絕服務 分散式拒絕服務攻擊是網際網路服務提供商可能遭受的最具威脅性的網路攻擊之一。透過組合單個分類器的輸出，整合分類器減少了檢測和區分此類攻擊與 Slashdot 效應的總誤差。 惡意軟體檢測 使用機器學習技術對計算機病毒、計算機蠕蟲、特洛伊木馬、勒索軟體和間諜軟體等惡意軟體程式碼進行分類，其靈感來自文字分類問題。 整合學習系統在這方面已經顯示出適當的功效。 入侵檢測 入侵檢測系統監控計算機網路或計算機系統，以識別入侵者程式碼，如異常檢測過程。整合學習成功地幫助這種監控系統減少了它們的總誤差。 人臉識別 人臉識別最近已經成為最受歡迎的模式識別研究領域之一，它透過他 她的數字影像來處理人的識別或驗證。 基於 Gabor Fisher 分類器和獨立分量分析預處理技術的分層整合是該領域中最早使用的一些整合方法。 情感識別 語音識別主要基於深度學習，因為谷歌、微軟和 IBM 這一領域的大多數業內人士都表示，他們的語音識別的核心技術是基於這種方法。基於語音與整合學習的情感識別也可以有令人滿意的表現。 它也被成功用於面部情緒識別。 欺詐檢測 欺詐檢測涉及銀行欺詐的識別，例如洗錢、信用卡欺詐和電信欺詐，它們具有廣泛的機器學習研究和應用領域。由於整合學習提高了正常行為建模的穩健性，因此有人提出將其作為檢測銀行和信用卡系統中此類欺詐案件和活動的有效技術。 金融決策 預測業務失敗的準確性是財務決策中非常關鍵的問題。因此，不同的整合分類器被提出用於預測金融危機和財務困境。此外，在基於交易的操縱問題中，交易者試圖透過買賣活動來操縱股票價格，整合分類器需要分析股票市場資料的變化並檢測股票價格操縱的可疑症狀。 醫學生 整合分類器已成功應用於腦 機介面、蛋白質組學和醫學診斷，例如基於 MRI 資料集的神經認知障礙（即阿爾茨海默氏症或肌強直性營養不良）檢測。 參考文獻 Category 機器學習 Category 有未審閱翻譯的頁面