Enhancing Tuberculosis Diagnosis: Effective Naive Bayes Classification using SMOTE and Tomek Links for Imbalanced Data
Authors: Faulina Naflah , Nisa Khoirin , Warsono Warsono 
Published: December 2024

Naive Bayes classification, grounded in Bayes' theorem, is a well-established probabilistic and statistical method. However, it often faces challenges when dealing with datasets that have skewed class distributions. A common issue with unbalanced data is that the classifier tends to predict the majority class more accurately, leading to high accuracy for the majority class but low accuracy for the minority class. Resampling techniques such as oversampling, undersampling, or a combination of both can be employed to address this. This research introduces a novel approach to balancing training data using a hybrid method that combines SMOTE (Synthetic Minority Oversampling Technique) and Tomek Links by applying this method to tuberculosis (TB) diagnosis data from Mayjend HM Ryacudu Kotabumi Hospital. We evaluate the Naive Bayes classifier's performance on the original and newly balanced data.  We used 826 patient data for training and 207 for testing out of 1,033. Of the 826 records in the training dataset, 306 patients had a TB diagnosis, whereas 520 patients did not. To achieve a better balance between the majority and minority classes, we oversampled 214 data in the minority class to match the number in the majority class. If necessary, we also reduce 214 data from the majority class. The results demonstrate that this hybrid approach significantly enhances the performance of the Naive Bayes model in terms of data balancing and overall accuracy. Specifically, the hybrid method achieves an average specificity of 96%, sensitivity of 88%, false positive fraction (FPF) of 4%, and false negative fraction (FNF) of 12%. These findings highlight the effectiveness of combining SMOTE and Tomek Links, providing a robust solution for improving classification performance in unbalanced datasets.Keywords: Naive Bayes classification; SMOTE; Tomek Links; SMOTE+Tomek Links; tuberculosis. AbstrakKlasifikasi Naive Bayes, yang didasarkan pada Teorema Bayes, adalah metode probabilistik dan statistik yang sudah mapan. Namun, metode ini sering menghadapi tantangan ketika berhadapan dengan kumpulan data yang memiliki distribusi kelas yang miring (tidak seimbang). Masalah umum pada data yang tidak seimbang adalah bahwa pengklasifikasi cenderung memprediksi kelas mayoritas dengan lebih akurat, yang mengarah pada akurasi tinggi untuk kelas mayoritas namun menghasilkan akurasi rendah untuk kelas minoritas. Untuk mengatasi masalah ini, teknik resampling seperti oversampling, undersampling, atau kombinasi keduanya dapat digunakan. Penelitian ini memperkenalkan pendekatan baru untuk menyeimbangkan data pelatihan menggunakan metode hibrida yang menggabungkan SMOTE (Synthetic Minority Oversampling Technique) dan Tomek Links. Dengan menerapkan metode ini pada data diagnosis tuberculosis (TB) dari Rumah Sakit Mayjend HM Ryacudu Kotabumi. Kami mengevaluasi kinerja pengklasifikasi Naive Bayes pada data yang tidak seimbang asli dan data yang sudah seimbang. Kami menggunakan 826 data pasien untuk pelatihan dan 207 untuk pengujian dari total 1.033. Dari 826 catatan dalam dataset pelatihan, 306 pasien didiagnosis dengan TB, sedangkan 520 pasien tidak. Untuk mencapai keseimbangan yang lebih baik antara kelas mayoritas dan minoritas, kami melakukan oversampling sebanyak 214 data pada kelas minoritas agar jumlahnya seimbang dengan kelas mayoritas. Selain itu, kami juga mengurangi 214 data dari kelas mayoritas. Hasilnya menunjukkan bahwa pendekatan hibrida ini secara signifikan meningkatkan kinerja model Naive Bayes dalam hal keseimbangan data dan akurasi keseluruhan. Secara spesifik, metode hibrida ini mencapai spesifisitas rata-rata sebesar 96%, sensitivitas sebesar 88%, fraksi positif palsu (FPF) sebesar 4%, dan fraksi negatif palsu (FNF) sebesar 12%. Temuan ini menyoroti efektivitas penggabungan SMOTE dan Tomek Links, serta memberikan solusi yang tangguh untuk meningkatkan kinerja klasifikasi di tengah kumpulan data yang tidak seimbang.Kata Kunci: klasifikasi Naive Bayes; SMOTE; Tomek Links; SMOTE+Tomek Links; tuberkulosis. 2020MSC: 68T05, 62R07.