Boosting

Boosting tidak dibatasi dengan secara algoritme. prosedur Boosting cukup sederhana. Misalkan "weak learners" akan bekerja pada distribusi data apa pun yang diberikan, dan mengambil biner tugas klasifikasi sebagai contoh. sebagian besar algoritma Boosting terdiri dari iteratif learning pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke penggolong kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dengan beberapa cara yang biasanya terkait dengan ketepatan "weak learners". Setelah "weak learners" ditambahkan, data akan ditulis ulang: contoh yang salah dikuatkan dan contoh yang diklasifikasi dengan benar menurunkan berat badan. Dengan demikian, "weak learners" nantinya lebih fokus pada contoh-contoh bahwa "weak learners" sebelumnya salah klasifikasi. AdaBoost sangat populer dikarnakan dapat beradaptasi dengan "weak learners".
"Freund dan Schapire (1996) dan Hastie et al. (2008)" memaparkan algoritma AdaBoost.M1 dengan cara penulisan yang agak berbeda. Misalkan data yang kita miliki terdiri atas "n", dengan "y" sebagai peubah respon yang memiliki "k" kelas. Selanjutnya kita ingin membuat pohon gabungan menggunakan algoritma Boosting dari sebanyak "M" iterasi. Secara ringkas, tahapan algoritma tersebut dapat dituliskan sebagai berikut: