PERBANDINGAN METODE KLASIFIKASI NAÏVE BAYES, DECISION TREE, RANDOM FOREST TERHADAP ANALISIS SENTIMEN KENAIKAN BIAYA HAJI
2023 PADA MEDIA SOSIAL YOUTUBE

## Muhammad Yasir ¹, Robertus Suraji²
Fakultas Ilmu Komputer, Universitas Bhayangkara Jakarta Raya Email: muhammad.yasir@dsn.ubharajaya.ac.id, robertus.suraji@dsn.ubharajaya.ac.id

## ABSTRAK
Kata kunci:
Analisis  Sentimen,biaya haji, youtube, naïve bayes, decision tree, random forest Euforia Penyelenggaraan ibadah haji tahun 2023 menjadi trending perbincangan yang  ramai  di  media  sosial,  salah  satunya  pada  media  youtube.  Pemerintah kerajaan  arab  saudi  menerapkan  kebijakan  untuk  menurunkan  biaya  paket  haji sebersar 30% dari tahun sebelumnya dan tidak ada pembatasan usia jemaah haji bahkan  mendapatkan  penambahan  kuota  sebanyak  221.000  jemaah  haji  untuk indonesia. Bertolak belakang dengan kebijakan pemerintah arab saudi, kementrian agama membuat suatu wacana yang kontradiktif dengan mengusulkan kenaikan biaya  haji  dengan  komposisi  pembiayaan  menjadi  70%  biaya  perjalanan  haji (BIPIH) dan 30% nilai manfaat pada usulan biaya haji tahun 2023. Usulan biaya haji tersebut di sahkan menjadi suatu kebijakan melalui Kepres Nomor 7 Tahun 2023 tentang biaya penyelenggaraan ibadah haji tahun 1444 hijriah/2023. Hal ini menimbulkan  berbagai  respon  masyarakat  terhadap  kebijakan  tersebut.  Tujuan penelitian  ini  melakukan  analisis  sentimen  masyarakat  dengan  cara  melakukan klasifikasi  komentar  positif  dan  negatif  pada  media  sosial  youtube  terhadap kebijakan  kenaikan  biaya  perjalan  haji  2023.  Penelitian  ini  melakukan perbandingan  hasil  akurasi  terhadap  beberapa  metode  klasifikasi  seperti naïve bayes, decision tree dan random forest. Dari penelitian ini didapatkan hasil akurasi naïve  bayes  sebesar  90%, Decision  Tree sebesar  83%, Random  Forest sebesar 87%. Diharapkan dengan adanya analisis sentimen klasifikasi komentar youtube ini dapat memberikan gambaran bagi  pemerintah melihat respon  penilaian dari masyarakat dalam membuat suatu kebijakan.
ABSTRACT Keywords: Sentiment analysis, pilgrimage costs, youtube,  naïve  bayes, decision  tree,  random forest Euphoria The implementation of the 2023 Hajj pilgrimage has become a trending topic  of  conversation  on  social  media,  one  of  which  is  on  YouTube.  The government of the Kingdom of Saudi Arabia implemented a policy to reduce the cost of Hajj packages by 30% from the previous year and there was no age limit for  pilgrims  and  even  received  an  additional  quota  of  221,000  pilgrims  for Indonesia. Contrary to the policy of the Saudi Arabian government, the Ministry of  Religion  created  a  contradictory  discourse  by  proposing  an  increase  in  the costs of the Hajj with the composition of the financing being 70% of the costs of the Hajj trip (BIPIH) and 30% of the value of the benefits in the proposed Hajj costs  in  2023.  The  proposed Hajj  costs  were  ratified  become  a  policy  through Presidential  Decree  Number  7  of  2023  regarding  the  costs  of  organizing  the pilgrimage in 1444 hijriah/2023. This gave rise to various public responses to the policy. The purpose of this study was to analyze public sentiment by classifying
positive and negative comments on YouTube social media regarding the policy of increasing  the  cost  of  the  2023  Hajj  pilgrimage.  This  research  compared  the results  of  the  accuracy  of  several  classification  methods  such  as  naïve  bayes, decision  trees  and  random  forest.  From  this  research,  the  accuracy  of  naïve Bayes was obtained by 90%, Decision Tree by 83%, Random Forest by 87%. It is  hoped  that  with  the  sentiment  analysis  of  the  classification  of  YouTube comments, it can provide an overview for the government to see the response of the public's assessment in making a policy.

## PENDAHULUAN
Euforia Penyelenggaraan ibadah haji tahun 2023 menjadi trending perbincangan yang ramai di  media  sosial,  salah  satunya  pada  media  youtube.  Dimana  pemerintah  yang  diwakili  oleh kementrian  agama  telah  menandatangani  kesepakatan  dengan  kerajaan  arab  saudi  terkait penyelenggaraan  ibaadah  haji  1444  H  /  2023  Masehi,  kesepatan  tersebut  ditanda  tangani  oleh Menteri Agama Yaqut Cholil Qoumas bersama Menteri Haji Dan Umrah Arab Saudi Tawfiq F Al Rabiah di Jeddah (Kemenag, 2023b).
Hasil kesepakatan kerjasama tersebut, pemerintah kerajaan arab saudi memberikan relaksasi usia  berhaji  pada  Indonesia  yaitu  tidak  ada  pembatasan  usia  jemaah  haji  seperti  tahun-tahun sebelumnya.  Kemudian  Indonesia  juga  mendapatkan  kuota  haji  sebanyak  221.000  jemaah  haji, kuota itu terdiri atas 203.320 jemaah haji reguler, dan 17.680 jemaah haji khusus, artinya kuota keberangkatan  jemaah  haji  indonesia  naik  100%  dibanding  dengan  tahun  2022.  Akan  tetapi kementrian agama mengusulkan kenaikan biaya perjalanan haji (BIPIH) dari Rp39.886.009 tahun 2022 menjadi Rp69.193.734 sebagai usulan tahun 2023 dengan dalih pengalokasian  komposisi pembiayaan menjadi 70% Bipih dan 30% nilai manfaat pada usulan biaya haji tahun 2023, dan di sahkan  menjadi  suatu  kebijakan  melalui  Kepmenag  Nomor  352  Tahun  2023  tentang  biaya perjalanan haji reguler tahun 1444 H/ 2023 M dan penggunaan nilai manfaat, serta Keppres Nomor 7  Tahun  2023  tentang  biaya  penyelenggaraan  ibadah  haji  tahun  1444  hijriah/2023  (Kemenag, 2023a).
Dampak  dari  wacana  usulan  kenaikan  biaya  haji  tersebut  menjadi  trending  topik perbincangan di dunia maya, salah satunya pada media sosial youtube. Dimana diketahui indonesia merupakan pengguna media sosial youtube terbesar ke 3 di dunia(Mahmudan, 2011). Oleh karena itu, diperlukanlah suatu analisa data dalam menilai dan mengklasifikasi berbagai respon komentar masyarakat dengan melakukan analisis sentimen masyarakat terhadap usulan kenaikan biaya haji tahun  2023  di  media  sosial  youtube  (Hidayat,  2015).  Tujuan  penelitian  ini  melakukan  analisis sentimen  dengan  cara  melakukan  klasifikasi  komentar  positif  dan  negatif  pada  media  sosial youtube  terhadap  kebijakan  kenaikan  biaya  perjalan  haji  1444  H/  2023  Masehi.  Penelitian  ini menggunakan data komentar yotube yang di crawling dari salah satu channel berita nasional, hasil
crawling tersebut  berhasil  mendapatkan  1014  komentar.  Penelitian  ini  melakukan experiment research menggunakan  beberapa  metode  seperti naïve  bayes,  decision  tree dan random  forest dalam melakukan klasifikasi komentar youtube kemudian melakukan perbandingan hasil akurasi terbaik dari proses klasifikasi tersebut. Diharapkan dengan adanya penelitian analisis sentimen ini ini dapat memberikan gambaran bagi  pemerintah melihat respon  penilaian dari masyarakat dalam membuat suatu kebijakan  (Fiarni et al., 2016).

## METODE
Dalam penelitian ini penulis menggunakan metodologi CRISP-DM, dalam perkembangannya, CRISP-DM diakui sebagai metodologi data mining yang komprehensif untuk kebutuhan suatu proyek bisnis, dan telah menjadi salah satu metode yang paling banyak digunakan dalam bidang ilmu data. CRISP-DM telah menjadi standar de facto untuk proyek-proyek analisis, penambangan data, dan ilmu data (Schröer et al., 2021).
Gambar 1. Tahapan CRISP-DM (Schröer et al., 2021)
Tahapan penelitan menggunakan CRISP-DM sebagai berikut:

## A. Bussiness Understanding
Tahapan ini dimulai dengan memahami tujuan dan persyaratan proyek dari berbagai sudut pandang dan mengubah pengetahuan yang di peroleh menjadi definisi masalah dan rencana awal yang dirancang untuk mencapai tujuan (Tyagi & Tripathi, 2019).
B. Data Understanding
Pada  tahapan  ini,  Proses  pemahaman  data  dimulai  dengan  pengumpulan  data  dan dilanjutkan  dengan  mengidentifikasi  data,  mengidentifikasi  masalah  kualitas  data,  atau menemukan subset menarik dari data tersembunyi untuk membentuk hipotesis.
C. Data Preparation
Tahap persiapan data mencakup semua kegiatan untuk membangun kumpulan data akhir dari  data  mentah  asli.  seperti  memilih  tabel,  record  dan  atribut,  preprocessing  data, membuat atribut baru dan mengubah data untuk pemodelan.

## D. Modeling
Pada  tahapan  ini,  berbagai  teknik  pemodelan  dipilih  dan  diterapkan,  dan  parameter dikalibrasi  ke  nilai  optimal,  dalam  penelitian  ini,  pemodelan  menggunakan  metode klasifikasi naïve bayes, decision tree dan random forest
E. Evaluation
Pada  tahapan  ini,  sudah  membangun  suatu  model  analisis  data,  sebelum  lanjut  ke implemantasi  akhir,  model  dilakukan  evaluasi  untuk  memastikan  bahwa  modelyang dibangun  mencapai  tujuan  bisnis  dengan  benar.  Dalam  penelitian  ini,  evaluasi  model menggunakan confusion matriks
F. Deployment
Pada  tahapan  ini,  penulis  melakukan  pengujian  model  dan  membuat  visualisasi  dari kumpulan data

## HASIL DAN PEMBAHASAN
Pada  tahap  ini  menjelaskan  mengenai  pembahasan  dan  langkah-langkah  peneliti  dalam melakukan  analisis  sentimen  terhadap  kebijakan  kenaikan  biaya  perjalan  haji  1444  H/  2023 Masehi sebagai berikut:

## 1. Bussiness Understanding
Tahap  ini  berfokus  pada  pemahaman  tujuan  dan  persyaratan  dan  kemudian  mengubah pengetahuan ini menjadi definisi masalah. Dalam hal ini, peneliti melakukan riset dan observasi melakukan  pencarian  trending  topik  di  media  sosial  youtube,  kemudian  melakukan  ekperimen membangun model analisis sentimen dengan menggunakan berbagai metode klasifikasi, kemudian melakukan  komparasi  dengan  penelitian  sebelumnya  dengan  mempelajari  studi  pustaka,  studi literatur sejenis.

## 2. Data Understanding
Tahap  ini  berfokus  pada  pengumpulan  data  awal.  Dalam  hal  ini  peneliti  melakukan pengumpulan data komentar youtube terkait dengan isu wacana kenaikan ibadah haji 2023, peneliti melakukan crawling data sebanyak 1.014 komentar yang didapatkan dari channel berita nasional Metro TV ( https://www.youtube.com/watch?v=wKQR7q_lNDU ).
Proses crawling menggunakan google  colab  python mendapatkan  data  sebanyak  1.014 komentar, peneliti melakukan pembersihan dari data yang missing value, redudance dan duplicate.
Pada tahap ini juga peneliti berkoordinasi dengan ahli bahasa ( anator ) untuk membantu melabeli dataset (positif/negatif) yang telah dikumpulkan agar siap di olah ke proses selanjutnya Tujuannya adalah ahli atau pakar bahasa tersebut lebih memahami pemaknaan dari setiap teks yang tertulis (Hadna  et  al.,  2016).  Pembersihan  dan  pelabelan  data  tersebut  didapatkan  hasil  sebanyak  666 komentar yang terdiri dari 346 komentar negatif dan 320 komentar positif.

## 3. Data Preparation
Tahap persiapan data mencakup semua kegiatan untuk membangun dataset akhir. Setelah pengumpulan  dan  pelabelan  dataset,  Pada  tahap  ini  dilakukan text  preprocessing data  adalah sebagai berikut :
a. Tokenize
Tahap Tokenize merupakan proses memisahkan teks menjadi potongan-potongan kata yang menyusunnya. Dengan menggunakan  nltk.word_tokenize pada python.
df['tokenize'] = df.apply(lambda row: nltk.word_tokenize(row['Text']), axis=1)

## Perbandingan Metode Klasifikasi Naïve Bayes, Decision Tree, Random Forest Terhadap Analisis Sentimen Kenaikan Biaya Haji 2023 Pada Media Sosial Youtube

## b. Remove Punctuation
Pada  tahap  ini,  penulis  mengubah  semua  kata  dalam  kalimat  menjadi  huruf  kecil menggunakan  fungsi  " lower  case "  python.  Sedangkan  Tahap Remove  Punctuation merupakan Proses menghilangkan tanda baca atau simbol yang ada dalam data
#Case folding & remove punctuation def clean_text(text): text = text.lower() #lowercase atau case folding text = re.sub('@[^\s]+', '', text) #remove username text = re.sub('\[.*?\]', '', text) # remove square brackets text = re.sub('((www\.[^\s]+)|(https?://[^\s]+))', '', text) # remove URLs text = re.sub('[%s]' % re.escape(string.punctuation), '', text) # remove punctuation text = re.sub('\w*\d\w*', '', text) text = re.sub('[‘’“”…]', '', text) text = re.sub('\n', '', text) return text
remove_karakter = lambda x: clean_text(x)

## c. Stemming
Pada Tahap Stemming , Proses mengubah kata berimbuhan menjadi kata dasar. Pada tahap ini menggunakan library Python Sastrawi untuk menghilangkan kata-kata imbuhan dalam bahasa Indonesia ke bentuk dasarnya.
from Sastrawi.Stemmer.StemmerFactory import StemmerFactory
factory = StemmerFactory() stemming = factory.create_stemmer()
output = [(stemming.stem(token)) for token in text]

## d. Modeling
Setelah  dilakukan  preprocessing  data,  pada  tahap  ini  peneliti  membangun  suatu  model klasifikasi analisis sentimen dengan memperbandingkan 3 model metode klasifikasi yaitu naïve bayes, decision tree, random forest.
Dari klasifikasi tersebut menghasilkan akurasi sebagai berikut :
Metode Hasil Akurasi Naïve Bayes 90% Decision Tree 83% Random Forest 87%

## e. Evaluation
Tahapan evaluation ini  merupakan  tahap  laporan  evaluasi  model  dengan  menggunakan confusion matrix untuk mengukur performa klasifikasi dari ketiga metode sebagai berikut:

## 1) Confusion Matrix Naïve Bayes
Tabel Confusion Matrix Metode Naïve Bayes
Confusion Matrix Predicted Class Observed Class Positif Negatif Positif TP = 60 FN = 10 Negatif FP = 3 TN = 61 Akurasi : 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 = 60+61
60+10+3+61 = 121 134 = 0,9029
2) Confusion Matrix Decision Tree
Tabel Confusion Matrix Metode Decision Tree Confusion Matrix Predicted Class Observed Class Positif Negatif Positif TP = 58 FN = 12 Negatif FP = 11 TN = 53 Akurasi : 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 = 58+53
58+12+11+53 = 121 134 = 0,8283

## Perbandingan Metode Klasifikasi Naïve Bayes, Decision Tree, Random Forest Terhadap Analisis Sentimen Kenaikan Biaya Haji 2023 Pada Media Sosial Youtube
3) Confusion Matrix Random Forest
Confusion Matrix
Predicted Class Observed Class Positif Negatif Positif TP = 64 FN = 6 Negatif FP = 12 TN = 52 Akurasi : 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 = 64+52 64+6+12+52 = 116
134 = 0,86567

## f. Deployment
Setelah  peneiliti  membangun  dan  mengevaluasi  model  analisis  sentimen  yang  dibangun, pada  tahap  ini  dilakukan  pengujian  atau  uji  prediksi  suatu  data  teks.  Dan  visualiasasi  teks menggunakan wordcloud.

## Perbandingan Metode Klasifikasi Naïve Bayes, Decision Tree, Random Forest Terhadap Analisis Sentimen Kenaikan Biaya Haji 2023 Pada Media Sosial Youtube

## 1) Pengujian Data Teks
Pada model berikut, dilakukan pengujian data teks dengan menginputkan teks yang bernada sentimen negatif terhadap kebijakan kenaikan biaya haji 1444 H/ 2023 Masehi. Dan ketiga metode klasifikasi  naïve  bayes,  decision  tree,  random  forest  memprediksi  dengan  benar  data  teks bersentimen negatif
Pada model berikut, dilakukan pengujian data teks dengan menginputkan teks yang bernada sentimen positif terhadap kebijakan kenaikan biaya haji 1444 H/ 2023 Masehi. Dan ketiga metode klasifikasi  naïve  bayes,  decision  tree,  random  forest  memprediksi  dengan  benar  data  teks bersentimen positif.

## 2) Visualiasi Wordcloud
Word  cloud adalah  visualisasi  data  teks  yang  menampilkan  kata-kata  dari  kumpulan  data teks di suatu model yang sudah dibangun. Visualisasi tersebut menjelaskan bahwa semakin besar ukuran suatu kata maka kata-kata tersebut yang frekuensi kemunculannya lebih banyak atau sering muncul dari suatu data teks.

## Word cloud Positif

## Word cloud Negatif

## KESIMPULAN
Penelitian  ini  melakukan  analisis  sentimen  dengan  cara  melakukan  klasifikasi  komentar positif dan negatif pada komentar di media sosial youtube mengenai kebijakan kenaikan ongkos biaya haji 1444 H / 2023 Masehi.  Penelitian ini melakukan perbandingan hasil akurasi terhadap beberapa metode klasifikasi seperti naïve bayes, decision tree dan random forest. Dari penelitian ini didapatkan hasil akurasi naïve bayes sebesar 90%, Decision Tree sebesar 83%, Random Forest sebesar 87%. Diharapkan dengan adanya analisis sentimen klasifikasi komentar youtube ini dapat memberikan gambaran bagi pemerintah melihat respon penilaian dari masyarakat dalam membuat suatu kebijakan.

## DAFTAR PUSTAKA
Fiarni, C., Maharani, H., & Pratama, R. (2016). Sentiment analysis system for Indonesia online retail shop review using hierarchy Naive Bayes technique. 2016 4th International Conference on Information and Communication Technology (ICoICT) , 1–6.
Hadna, M.  S., Santosa, P. I., &  Winarno, W. W. (2016). Studi Literatur Tentang Perbandingan Metode Untuk Proses Analisis Sentimen Di Twitter. Seminar Nasional Teknologi Informasi Dan Komunikasi , 2016 (Sentika), 57–64.
Hidayat,  A.  N.  (2015).  Analisis  Sentimen  Terhadap  Wacana  Politik  Pada  Media  Masa  Online Menggunakan  Algoritma  Support  Vector  Machine  Dan  Naive  Bayes. Jurnal  Elektronik Sistem Informasi Dan Komputer , 1 (1), 12–18. Kemenag. (2023a). Keputusan Menteri no 352 th 2023 . 4.
Kemenag. (2023b). Kuota Haji 2023 Sebanyak 221 Ribu, Tidak Ada Pembatasan Usia . Mahmudan, A. (2011). Pengguna Youtube Indonesia Terbesar Ketiga di Dunia pada 2022 . Schröer, C., Kruse, F., & Gómez, J. M. (2021). A systematic literature review on applying CRISP- DM process model. Procedia Computer Science , 181 (2019), 526–534. https://doi.org/10.1016/j.procs.2021.01.199
Tyagi, P., & Tripathi, R. C. (2019). A review towards the sentiment analysis techniques for the analysis  of  twitter  data. Proceedings  of  2nd  International  Conference  on  Advanced Computing and Software Engineering (ICACSE) .