Judul: Development of Ensemble Variable Importance for Several Machine Learning Models Using Metaheuristic Algorithm
Abstrak: Variable importance adalah salah satu output dari model machine learning. Ada tiga metode variable importance yang dikenal luas saat ini, yaitu variable importance permutasi, shapley additive explanations feature importance (SHAP-FI), dan leave out covariate (LOCO). Setiap model machine learning akan menghasilkan variable importance yang berbeda meskipun metode dan datanya identik. Misalkan, variable importance dari random forest berbeda dengan variable importance dari extreme gradient boosting. Hal ini akan menimbulkan kesulitan interpretasi dalam menentukan tingkatan pentingnya peubah prediktor. Oleh karena itu, penelitian ini mengembangkan metode untuk menggabungkan beberapa variable importance menjadi hanya satu variable importance. Gabungan variable importance ini disebut juga ensemble variable importance. Beberapa metode penggabungan variable importance yang tersedia saat ini adalah rata-rata atau modus variable importance dan variable importance terboboti. Penelitian ini mengembangkan metode penggabungan dengan menggunakan algoritma metaheuristik. Algoritma metaheuristik yang terkenal saat ini antara lain local search, genetics algorithm, simulated annealing, cuckoo search, dan tabu search. Penelitian ini menggunakan algoritma simulated annealing sebagai kajian 1, simulated annealing yang dimodifikasi sebagai kajian 2, dan cuckoo search sebagai kajian 3. Algoritma-algoritma ini mempunyai fungsi objektif yang dapat mengidentifikasi apakah solusi sudah mencapai optimal. Algoritma simulated annealing menggunakan solusi awal variable importance dari angka acak. Algoritma simulated annealing yang dmodifikasi menggunakan solusi awalnya rataan atau modus. Modifikasi ini diharapkan bisa memperpendek iterasi dalam mencapai nilai objektif optimal. Adapun algoritma cuckoo search adalah metode alternatif dengan solusi awal lebih dari satu. Data penelitiannya adalah data simulasi dan empiris. Data simulasi dibagi menjadi tiga skenario. Skenario tersebut adalah tidak ada korelasi, korelasi sedang, dan korelasi tinggi antar peubah prediktor. Data simulasi terdiri atas 24 peubah prediktor yang mempunyai sebaran normal ganda. Peubah responnya mempunyai dua kelas (0 dan 1). Banyaknya amatan adalah 1.000 sedangkan ulangannya sebanyak 100 kali. Adapun data empiris adalah data keluarga rawan pangan yang bersumber dari survey sosial ekonomi nasional (SUSENAS) 2020, Badan Pusat Statistik (BPS) Jawa Barat. Data ini memiliki 24 peubah prediktor yang berskala nominal, ordinal, dan rasio. Data tersebut terdiri atas 24.769 keluarga yang berskala biner (0 = keluarga tidak rawan pangan, 1 = keluarga rawan pangan). Banyaknya keluarga tidak rawan pangan adalah 19.418 keluarga sedangkan banyaknya keluarga rawan pangan adalah 5.351 keluarga. Data simulasi digunakan untuk mengidentifikasi karakterisitk dari ensemble variable importance sedangkan data empiris digunakan untuk penerapan metode dan evaluasinya. Banyaknya kelas pada data empiris diseimbangkan dengan metode SMOTE sebelum data tersebut digunakan. Selanjutnya, variable importance random forest, XGBoost, neural network, dan support vector machine dibangun dengan metode variable importance permutasi. Variable importance dari model machine learning ini mempunyai akurasi yang tinggi karena hyperparameter yang optimal dipilih dengan bantuan perangkat lunak python. Kemudian, empat variable importance tersebut digabungkan dengan menggunakan simulated Annealing sebagai kajian 1, simulated annealing yang dimodifikasi sebagai kajian 2, dan algoritma cuckoo search sebagai kajian 3. Ensemble variable importance mempunyai akurasi tinggi dan nilai objektif optimal ketika antar peubah prediktornya tidak ada atau rendah korelasinya. Nilai objektif disebut optimal jika nilainya sudah konvergen mendekati satu. Ensemble variable importance lebih unggul dibandingkan dengan variable importance penyusunnya. Iterasi simulated annealing lebih panjang dibandingkan algoritma simulated annealing yang solusi awalnya dimodifikasi. Ensemble variable importance mencapai nilai
Keyword: cuckoo search, FIES data, machine learning, simulated annealing, variable importance