Gw mau tau Sejarah dari Random forest

Metode umum dari random decision forest pertama kali diusulkan oleh Ho pada tahun 1995,Tin Kam Ho yang menetapkan bahwa pohon-pohon keputusan di random forest membelah diri dengan hyperplanes yang miring, jika secara acak dibatasi untuk peka hanya pada dimensi fitur yang dipilih, maka dapat memperoleh akurasi ketika pohon-pohon keputusan tumbuh tanpa terlalu banyak berlatih.Sebuah karya berikutnya  pada tema yang sama  menyimpulkan bahwa metode pemisahan lain, selama pohon-pohon keputusan secara acak dipaksa tidak peka terhadap beberapa dimensi fitur, berperilaku sama. Perhatikan bahwa pengamatan terhadap pengklasifikasi yang lebih kompleks (hutan yang lebih besar) yang semakin akurat hampir secara monoton sangat kontras dengan keyakinan umum bahwa kompleksitas penggolongan hanya dapat tumbuh pada tingkat akurasi tertentu sebelum disakiti dengan overfitting. Penjelasan tentang perlawanan metode hutan terhadap overtraining dapat ditemukan dalam teori Kleinberg tentang diskriminasi stokastik.

Awal mula perkembangan gagasan Breiman tentang random forest dipengaruhi oleh karya Amit dan Geman  yang memperkenalkan gagasan pencarian lebih dari satu subset acak dari keputusan yang tersedia ketika memisahkan sebuah simpul, dalam konteks menumbuhkan satu pohon. Gagasan pemilihan subruang acak dari Ho  juga berpengaruh dalam desain random forest. Dalam metode ini, hutan pepohonan ditanam, dan variasi di antara pepohonan diperkenalkan dengan memproyeksikan data pelatihan ke dalam subruang yang dipilih secara acak, sebelum memasang setiap pohon atau setiap simpul. Kemudian, jadilah ide pengoptimalan node acak, di mana keputusan di setiap node dipilih dengan prosedur acak, dari optimasi deterministik yang pertama kali diperkenalkan oleh Dietterich.

Random forest pertama kali di publikasikan dengan beberapa persiapan ialah melalui makalah oleh Leo Breiman Makalah ini menjelaskan metode membangun hutan pohon yang tidak berkorelasi menggunakan prosedur seperti CART (Classification And Regression Trees), dikombinasikan dengan pengoptimalan simpul acak dan bagging. Selain itu, makalah ini menggabungkan beberapa bahan, beberapa sebelumnya dikenal dan beberapa novel, yang membentuk dasar dari praktik modern hutan acak, khususnya:

Menggunakan out-of-bag error sebagai perkiraan kesalahan generalisasi.

Mengukur variabel penting melalui permutasi.

Laporan ini juga menawarkan hasil teoretis pertama untuk random forest dalam bentuk batas pada kesalahan generalisasi yang tergantung pada kekuatan pohon di hutan dan korelasinya.