KLIK: Kajian Ilmiah Informatika dan Komputer ISSN 2723-3898 (Media Online) Vol 4, No 3, Desember 2023, Hal 1578-1584 DOI 10.30865/klik.v4i3.1457 https://djournals.com/klik

## Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier
Hertati * , Elin Haerani, Novriyanto, Fadhilah Syafria
Fakultas Sains Dan Teknologi, Teknik Informatika, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, Indonesia Email: 1,* 11751202147@students.uin-suska.ac.id, 2 elin.haerani@uin-suska.ac.id, 3 novriyanto@uin-suska.ac.id,
4 fadhilah.syafria@uin-suskka.ac.id Email Penulis Korespondensi : 11751202147@students.uin-suska.ac.id
Abstrak− Pemerintah  indonesia  melalui i rapat i Kementerian i Agama i dan i Komisi i VIII i DPR-RI menyepakati i besaran i Biaya Penyelenggaraan i Ibadah i Haji i (BPIH) i 1444 i H/2023 i M rata-rata i Rp90.050.637,26 i per i jemaah i haji i reguler. Namun kebijakan ini menimbulkan  berbagai  respon  masyarakat, i Adapun i respon i masyarakat i tentang kenaikan i biaya i haji i tahun 2023 terdapat  pada media sosial i Twitter. Pada penelitian ini melakukan klasifikasi analisis sentimen terhadap Tweets untuk mengetahui opini masyarakat terhadap  kenaikan  biaya  haji  tahun  2023  menggunakan  metode  naïve  bayes  classifier  karena  metode  ini  cenderung  sederhana  dan mudah digunakan. Data set yang digunakan 3000 tweets dengan jumlah data positif 1866 data positif, data negatif 415. Pada penelitian ini menghasilkan nilai akurasi 81,46% pada pembagian data 70:30, pada pembagian data 80:20 yaitu 80,74% dan pada pembagian data 90:10 yaitu 79,04.  Pada penelitian ini terdapat lebih banyak respon positif dari masyarakat hal ini membuktikan bahwa kenaikan biaya haji  tahun  2023  dapat  diterima  oleh  masyarakat.  Akurasi  tertinggi  pada  penelitian  ini  yaitu  81,46%  pada  pembagian  data  70:30. Penelitian selanjutnya disarankan menggunakan algoritma lain untuk melihat perbandingan hasil dari algoritma yang berbeda dalam klasifikasi sentimen masyarakat terhadap kenaikan biaya haji tahun 2023.
Kata kunci: Kenaikan Biaya Haji Tahun 2023; Twitter; Klasifikasi; Analisis Sentimen; Naïve Bayes Classifier
Abstract− The Indonesian government through a meeting of the Ministry of Religion and Commission IVIII of the DPR-RI agreed on the  cost  of  organizing  the  Hajj  pilgrimage  (BPIH)  i1444  iH/2023  iM,  an  average  of  IDR  90,050,637.26  per  irregular  pilgrimage. However, this policy gave rise to various public responses. The public's anger regarding the increase in Hajj fees in 2023 was found on the social media iTwitter. In this study, we conducted a sentiment classification analysis of Tweets to determine public opinion regarding the increase in Hajj costs in 2023 using the naïve Bayes classifier method because this method tends to be simple and easy to use. The data set used was 3000 tweets with a total of 1866 positive data, 415 negative data. This research resulted in an accuracy value of 81.46% in the 70:30 data division, in the 80:20 data division, namely 80.74% and in the data division. 90:10 which is 79.04. In this research, there were more positive responses from the public, this proves that the increase in Hajj costs in 2023 can be accepted by the public. The highest accuracy in this study was 81.46% with a 70:30 data split. It is recommended that further research use other algorithms to see a comparison of the results of different algorithms in classifying public sentiment regarding the increase in the cost of Hajj in 2023.
Keywords: Increase In Hajj Costs In 2023; Twitter; Classification; Sentiment Analysis; Naïve Bayes Classifief

## 1. PENDAHULUAN
Berbagai i respon i masyarakat i muncul i karena i adanya i kebijakan i pemerintah i tentang i kenaikan biaya i haji i tahun i 2023. Pemerintah i melalui i rapat i Kementerian i Agama i dan i Komisi i VIII DPR-RI i menyepakati i besaran i Biaya Penyelenggaraan i Ibadah i Haji i (BPIH) i 1444 i H/2023 i M i rata-rata i Rp90.050.637,26 i per i jemaah i haji i reguler. i Biaya ini i ditetapkan i dalam i Rapat i Panitia i Kerja (Panja) i Komisi VIII i DPR i dan i Kementerian i Agama pada Rabu i (15/2/2023). i Nilai i ini i terdiri i atas dua i komponen, i yaitu i Biaya i Perjalanan i Ibadah i Haji i (Bipih) i yang ditanggung i jemaah i dengan rata-rata i Rp i 49.812.700,26 i (55,3%) i Biaya i Perjalanan i tersebut i digunakan i untuk i biaya penerbangan, i biaya i hidup, i dan i sebagian i biaya i paket i layanan i masyair i haji. i Kemudian i sebesar Rp i 40.237.937 (44,7%) i digunakan i untuk i nilai i manfaat i (optimalisasi) i per i Jemaah i yang i akan dikelola i Badan i Pengelola i Keuangan Haji i (BPKH)[1]. i Adapun i respon i masyarakat i tentang kenaikan i biaya i haji i tahun i 2023 i di i twitter i berbagai i ragam, terdapat i dalam i bentuk i positif i dan juga i negatif. i Hal i ini i menjadikan i Twitter i menjadi i sumber i data i yang i besar berpotensi i untuk dijadikan i media i analisis i sentimen i mengenai i suatu i topik i karena i Banyaknya i respon i atau komentar dari pengguna i Twitter. Analisis i sentimen i merupakan i suatu i proses i memahami, i mengekstrak i dan memproses data berbasis i teks i secara otomatis, i proses i ini i dilakukan i untuk memperoleh i sebuah informasi sentimen i yang i tersirat i dari i suatu i opini. Sentimen yang i diberikan i dapat berupa i sentimen i positif dan i negatif i [2][3][4]. i Hasilnya i bisa digunakan i untuk menganalisis i beberapa i kata i sentimen masyarakat i terhadap kenaikan i biaya i haji i tahun 2023 i serta i menghasilkan informasi i berupa persentasi sentimen i positif i dan i negatif. adapun metode yang biasa digunakan pada  klasifikasi untuk melihat tanggapan masyarakat di dalam text mining salah satunya adalah metode naïve bayes classifier.
Naive Bayes adalah sebuah pengklasifikasian atau penggolongan data yang menghitung kemungkinan dari dataset yang tersedia Naive Bayes merupakan metode klasifikasi yang menghitung probabilitas kumpulan data yang tersedia [5]. Naive  Bayes  memiliki  waktu  klasifikasi  yang  singkat,  sehingga  mempercepat  proses  sistem  analisis  sentimen.  Naive Bayes terbukti menjadi algoritma yang paling terkenal untuk melakukan analisis sentimen dari sebuah teks  [6]. Naïve Bayes  mengatasi  algoritma  pengklasifikasi/pembelajaran  mesin  lainnya  seperti  K-Nearest  Neighbor  dan  Decision Tree[7]. Hal ini bisa didilihat dengan adanya beberapa riset yang terkait dengan pengklasian menggunakan metode naive Bayes.
Hertati, Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier
Adapun salah satu penelitian terkait yang diteliti oleh Meylan Wongkar dan Apriandy Angdresey tentang “Analisis Sentimen Untuk Twetts Terhadap Calon Presiden  RI 2019, Pada penelitian ini dilakukan perbandingan menggunakan metode naïve bayes, svm dan K-Nearest Neighbor (K-NN) yang diuji menggunakan RapidMiner dengan menghasilkan nilai akurasi naïve bayes sebesar 75,58%, nilai akurasi svm sebesar 63,99% dan Nilai akurasi K-NN sebesar 73,34%”[8]. “Analisis sentimen terhadap sara, hoaks, dan radikal pada media sosial twiitter pada tahun 2020 menggunakan metode naïve  bayes  dengan hasil  akurasi  99,62%”[9].  “Analisis  sentimen  terhadap  provider  by.u  menggunakan  metode  naïve bayes dengan hasil akurasi 90%”[10]. “Analisis  Sentimen  Pengguna  Youtube  Terhadap  Tayangan #Matanajwamenantiterawan Dengan Metode Naïve Bayes dengan hasil akurasi 90.36%”[11]. “Analisis Sentimen Opini Masyarakat Terhadap Vaksinasi Booster COVID19 Dengan Perbandingan Metode Naive Bayes, Decision Tree dan SVM tahun 2022 dan memperoleh hasil akurasi pada metode SVM 75.40% dan metode naïve bayes 83.81%”[12].
Jadi, pada penelitian ini melakukan analisis sentimen dengan menggunakan metode Naive Bayes Classifier untuk melihat pandangan masyarakat tentang kebijakan pemerintah terhadap kenaikan biaya haji tahun 2023 dengan cara meng- crawling  data  twitter  dan    membersihkan  data  ganda  ( Double )  kemudian  melabelkan  data,  apakah  data  tersebut mengandung sentimen positif atau negatif. Setelah dilakukan pelabelan, untuk mencari hasil akurasi dilakukan pengujian mengguanakan library pyhton dan confusion matrix untuk melihat hasil akurasinya. Pada penelitian ini juga bermanfaat untuk mengumpulkan aspirasi dan respon dari opini masyarakat yang bertanggapan positif dan negatif terhadap kenaikan biaya haji tahun 2023.

## 2. METODOLOGI PENELITIAN
Adapun langkah-langkah yang dilakukan pada penelitian ini sbagai berikut:
Gambar 1. Desain Penelitian

## 2.1 Pengumpulan Data
Data i pada i penelitian ini dilakukan dengan mengcrawling data . Tahap crawling merupakan proses mengumpulkan tweets menggunakan Twitter API (Application Programing i Interface) i yang diambil i langsung i dari i media sosial i Twitter. Data tweets yang diambil menggunakan kata kunci atau keyword biaya haji dan kenaikan biaya haji tahun 2023.

## 2.2 Pelabelan Data
Selanjutnya tahap labeling data berupa lebel atau kelas positif dan negatif  yang di lakukan oleh tenaga pakar yaitu guru bahasa indonesia. Label positif adalah Teks yang mengandung pujian, kepuasan, atau persetujuaan terhadap subjek atau topik yang  dibahas. Label negatif adalah Teks yang biasanya mengandung kritik, ketidakpuasan, atau ketidaksetujuan terhadap subjek atau topik yang dibahas[13].

## 2.3 Text Pre-Processing
Text Preprocessing proses mengubah data awal yang belum berurutan menjadi data yang berurutan atau terstruktur untuk dianalisis dalam penelitian[14]. Text Preprocessing dapat dibagi menjadi beberapa proses yaitu:
Hertati, Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier
a. Cleaning yaitu proses membuang atribut yang tidak diperlukan seperti membersihkan kata, menghapuskan simbol, angka dan emotikon
b. Case Folding proses mengubah semua huruf dalam teks menjadi huruf kecil atau huruf besar
c. Tokenizing yaitu proses Membagi atau memecahkan teks menjadi "token" atau unit-unit kecil, seperti kata-kata atau frasa.
d. Stopwordremoval yaitu proses menghapus atau membuang kata-kata tidak penting atau relevan dari hasil tokenizing
e. Stemming yaitu proses menghapus akhiran kata untuk mengembalikan kata ke bentuk dasarnya

## 2.4 Pembobotan TF-IDF
TF-IDF,  singkatan  dari Term  Frequency-Inverse  Document  Frequency ,  merupakan  suatu  proses  mengkonversi sekumpulan teks menjadi data numerik agar dapat memberikan bobot pada setiap kata atau fitur. TF-IDF adalah metrik statistik  yang  digunakan  untuk  menilai  tingkat  signifikansi  sebuah  kata  dalam  suatu  dokumen.  Faktor  "TF"  ( Term Frequency )  mengukur  seberapa  sering  kata  tersebut  muncul  dalam  dokumen  tertentu,  mencerminkan  pentingnya  kata tersebut  dalam  dokumen  tersebut.  Sementara  itu,  faktor  "DF"  ( Document  Frequency )  mengindikasikan  seberapa umumnya kata tersebut muncul dalam seluruh koleksi dokumen. [15]. Metode TF-IDF dirumuskan sebagai berikut :
IDF = 𝑙𝑜𝑔 𝐷 𝐷𝐹 (1) TF-IDF = 𝑡𝑓∗𝑖𝑑𝑓 (2) Catatan: D : Jumlah dokumen dalam kumpulan data
DF : Jumlah dokumen yang mengandung kata tersebut TF : Frekuensi Kemunculan Kata (Term Frequency)
Idf : Inves Frekuensi Dokumen ”

## 2.5 Naïve Bayes Classifier
Menurut  seorang  ilmuan  inggris  Thomas  Bayes  lgoritma  Naïve  Bayes  merupakan  salah  satu  metode  klasifikasi  yang menggunakan  metode probabilitas  dan  metode  statistik  [16].  Naïve bayes  adalah  metode  yang  menggunakan teorema Bayes dan berasumsi  bahwa nilai  antar  veriabel  pada  suatu  nilai  output[17].  Klasifikasi  Naïve  Bayes  diakui  memiliki kinerja  yang  sangat  baik  jika  dibandingkan  dengan  metode  klasifikasi  lainnya,  terutama  dalam  hal  akurasi,  yang cenderung lebih tinggi daripada metode klasifikasi alternatif.[18]. Rumus algoritma naïve bayes classifier dapat dilihat pada persamaan berikut:
P(X) = P(C)P(c) P(x) (3)
“ X : Data yang memiliki kelas yang belum diketahui C : Hipotesis data yang merujuk pada kategori tertentu P(C|X)  : Probabilitas kelas (C) yang diberikan atribut atau fitur (X). P(c) : Probabilitas awal (prior) dari kelas C P(x|c)  : Probabilitas kemungkinan (likelihood) fitur X dalam kelasC.
P(x) : Probabilitas awal (prior) dari fitur X ”

## 2.6 Confusion matrix
Confusion  matrix  merupakan  suatu  tabel  yang  menggambarkan  perincian  klasifikasi  jumlah  data  uji  yang  benar  dan jumlah data uji yang salah[19]. Tabel dalam confusion matrix mencantumkan jumlah data uji yang telah diklasifikasikan dengan benar dan jumlah data uji yang keliru diklasifikasikan, dilakukan perhitungan untuk mendapatkan akurasi, presisi, recall, dan F1-score. Formulasi dari rumus akurasi, presisi, recall, dan F1-score adalah sebagai berikut:
Akurasi = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+ 𝐹𝑁 ∗ 100 %
(4)
Presisi = 𝑇𝑃 𝑇𝑃+𝐹𝑃 ∗ 100 % (5)
Recal = 𝑇𝑃 𝑇𝑃 𝐹𝑁 ∗ 100 % (6)
skor F1 = 2 ∗ 𝑃𝑟𝑒𝑠𝑖𝑠𝑖∗𝑅𝑒𝑐𝑎𝑙
𝑃𝑟𝑒𝑠𝑖𝑠+𝑅𝑒𝑐𝑎𝑙 (7)

## 3. HASIL DAN PEMBAHASAN
Hertati, Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier

## 3.1 Pembahasan
Dataset yang dikumpulkan berjumlah 3000 tweets. Kemudin dilakukan pembersihan  seperti menghapus data yang ganda sehingga  tersisa sebanyak 2281.  Kemudian melakukan pelabelan data yang divalidasi oleh pakar guru bahasa indonesia yang hasilnya pada gambar brikut.
Gambar 2. Diagram Perbandingan Dataset
Pada gambar 2 merupakan hasil dari dari proses pelabelan tweet yang termasuk kedalam kelas positif sebanyak 1866 dan kelas negatif sebanyak 415 tweet.
Setelah  proses  pelabelan,  kemudian  dilakukan  pengolahan  data  dengan  google  colab  menggunakan  bahasa pemprograman python. Adapun salah satu contoh hasil dari tahap text preprocessing pada tabel berikut:

## Tabel 1. Preprocessing
Komentar awal b’Biaya haji tahun 2023 kenaikan tinggi dibandingkan sebelumnya, yaitu total Rp 84 juta – Rp 96 juta. Dari jumlah itu, Rp 44,3 juta – Rp 55,9 juta ditanggung langsung jemaah. Biaya mahal ini mesti diikuti peningkatan layanan. \nhttps://t.co/0DKmJjhmQk\n\n#Opini #AdadiKompas’
Cleaning b Biaya haji tahun kenaikan tinggi dibandingkan sebelumnya yaitu total Rp juta Rp juta Dari jumlah itu Rp juta Rp juta ditanggung langsung jemaah Biaya mahal ini mesti diikuti peningkatan layanan n Casefolding b biaya haji tahun kenaikan tinggi dibandingkan sebelumnya yaitu total rp juta rp juta dari jumlah itu rp juta rp juta ditanggung langsung jemaah biaya mahal ini mesti diikuti peningkatan layanan n
Tokenisasi ‘b, biaya, haji, tahun, kenaikan, tinggi, dibandingkan, sebelumnya, yaitu, total, rp, juta, rp, juta, dari, jumlah,  itu,  rp,  juta,  rp,  juta,  ditanggung,  langsung,  jemaah,  biaya,  mahal,  ini,  pasti,  diikuti, peningkatan, layanan, dan, Stopword removal biaya, haji, tahun, kenaikan, tinggi, dibandingkan , total, rp, juta, rp, juta  rp, juta, rp, juta, ditanggung jemaah, biaya, mahal , diikuti, peningkatan, layanan Stemming biaya, haji, tahun, naik, tinggi, banding , total, rp, juta, rp, juta  rp, juta, rp, juta, tanggung jemaah, biaya, mahal , ikut, tingkat, layan
Pada  tabel  1  merupakan  hasil  dari preprocessing yang  diolah  dengan  google  colab  menggunakan  bahasa pemprograman python yang  dimulai  dari  data  awal  kemudian  melalui proses  cleaning,  Case  Folding,  Tokenisasi, Stopword removal dan Steming.
Selanjutnya dilakukan pembobotan kata menggunakan TF-IDF yang mengubah data teks menjadi data numerik agar dapat memberikan bobot pada setiap kata atau fitur.
1866 415 0 500 1000 1500 2000 Positif Negatif Perbandingan Label Dataset
Hertati, Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier
Pada Gambar 3, dapat dilihat program ini mengonversi kumpulan teks ( fitur ) menjadi representasi numerik menggunakan metode TF-IDF dengan bantuan TfidfVectorizer dari scikit-learn . Digunakan untuk melatih model machine learning dalam pengklasifikasian teks sentimen.

## 3.2 Hasil
Dari 2281 data, dilakukan pengujian dengan membagi data menjadi dua model yaitu data training (data latih) dan data testing (data uji). Pada penelitian ini menggunakan tiga kali percobaan pembagian data yang berbeda, yaitu yang pertama 30% data uji dan 70% data latih, yang kedua 20% data uji dan 80% data latih, yang ketiga 10% data uji dan 90% data latih. Kemudian dilakukan tahapan pengujian kinerja menggunakan algoritma naïve bayes classifier.
Gambar 4. Program Naïve Bayes
Pada gambar, program ini dapat dipecah menjadi beberapa langkah:
a. Pertama,  data  dibagi  menjadi  data  latih  dan  data  uji.  Data  X  (fitur)  dan  kelas  (label)  digunakan  sebagai  input. Pembagian data uji ditentukan dengan test_size=0.3 , yang berarti 70% data digunakan untuk pelatihan dan 30% untuk pengujian.
b. Kemudian,  model  klasifikasi  Naive  Bayes  (MultinomialNB)  diinisialisasi  dan  dilatih  menggunakan  data  pelatihan dengan MultinomialNB (). Fit (x_train, y_train).
c. Model yang telah dilatih digunakan untuk melakukan prediksi pada data uji dengan model_naive. Predict (x_test).
d. Hasil  prediksi  tersebut  diukur  akurasinya  dengan  menggunakan  metrik  akurasi  (accuracy)  dari  sklearn  melalui accuracy_score(predicted_naive, y_test).
e. Hasil  akurasi  adalah  sekitar  81.46%,  yang  berarti  model  Naive  Bayes  mampu  memprediksi  dengan  benar  sekitar 81.46% dari data uji.
Setelah  melakukan  pengujian  dengan  google  colab  menggunakan  bahasa  pemprograman python dari  tiga  kali percobaan dengan membagi data uji dan data latih, diperoleh hasil akurasi tertinggi pada percobaan pertama yaitu 70:30 dengan akurasi 81,46%.
Pada gambar 5 merupakan hasil akurasi yang didapatkan pada tiap percobaan yaitu 81,46% pada pembagian data 70:30, pada pembagian data 80:20 yaitu 80,74% dan pada pembagian data 70:30 yaitu 79,04%.
81,46% 80,74% 79,04% 77,00% 78,00% 79,00% 80,00% 81,00% 82,00% 70:30 80:20 90:10 Grafik Perbandingan Akurasi Pada Tiap
Pembagian Data
Hertati, Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier
Evaluasi dilakuakn dengan melihat confusion matrix dengan menghitung nilai accuracy, precision, recall dan F1- Score.  Dapat dilihat pada gambar  6 dan 7.

## Gambar 6. Confussion Matrix
Pada gambar 6 dengan percobaan pertama dengan pembagian data 70:30 diperoleh hasil confusion matrix dengan nilai TP (True Positif) 557, Nilai TN (True Negatif) 1, Nilai FP (false Positif) 125 dan FN (False Negatif) 2.
Tabel 2. Confusion Matrix True Positif 557 True Negatif 1 False Positif 125 False Negatif 2 Total 685
a. True Positive (TP): Merupakan jumlah sampel yang seharusnya diklasifikasikan sebagai positif dan juga benar-benar diklasifikasikan sebagai positif oleh model.
b. True Negative (TN): Merupakan jumlah sampel yang seharusnya diklasifikasikan sebagai negatif dan memang benar- benar diklasifikasikan sebagai negatif oleh model
c. False  Positive  (FP):  Merupakan  jumlah  sampel  yang  seharusnya  diklasifikasikan  sebagai  negatif  tetapi  salah diklasifikasikan sebagai positif oleh model.
d. False  Negative  (FN):  Merupakan  jumlah  sampel  yang  seharusnya  diklasifikasikan  sebagai  positif  tetapi  salah diklasifikasikan sebagai negatif oleh model.
Bedasarkan tabel 2, kemudian dilakukan perhitungan menggunakan rumus 4 untuk melihat akurasi pada percobaan pertama.
Akurasi = 557+1 557+1+125+ 2 ∗ 100 %
Akursi = 558 685 ∗ 100 = 81,46%
Hail akurasi menggunakan rumus 4 pada percobaan pertama perbandiangan data 70:30 yaitu 81,46%.
Gambar 7. Evaluasi
Penilaian dilakukan dengan melihat confusion matrix berdasarkan hasil yang diperoleh dari persamaan 4, 5, 6, dan 7 dan diperoleh nilai Akurasi 81,46, nilai Precision 81,67 nilai Recall 99,64 dan nilai F1-Score 89,77 seperti digambar 5.
81,46 81,67 99,64 89,77 0,00 20,00 40,00 60,00 80,00 100,00 Akurasi Precision Recall F1-Score Evaluasi
Hertati, Analisis Sentimen Masyarakat  Terhadap Kenaikan Biaya Haji Tahun 2023 Menggunakan Metode Naïve Bayes Classifier

## 4. KESIMPULAN
Berdasarkan hasil penelitian, analisis sentimen masyarakat terhadap kenaikan biaya haji tahun 2023 menggunakan metode naïve bayes classifier dengan dataset 3000 tweets dan data bersih sebanyak 2281. Hasil dari pelabelan data Positif 1866 dan data Negatif 415, dan menghasilkan nilai akurasi 81,46% pada pembagian data 70:30, pada pembagian data 80:20 yaitu 80,74% dan pada pembagian data 90:10 yaitu 79,04.  Pada penelitian ini terdapat lebih banyak respon positif dari masyarakat hal ini membuktikan bahwa kenaikan biaya haji tahun 2023 dapat diterima oleh masyarakat. Sementara nilai akurasi tertinggi pada penelitian ini yaitu 81,46% pada pembagian data 70:30.

## REFERENCES
[1] A.  J.  Showail,  “Solving  Hajj  and  Umrah  Challenges  Using  Information  and  Communication  Technology:  A Survey,” IEEE Access , vol. 10, no. May, pp. 75404–75427, 2022, doi: 10.1109/ACCESS.2022.3190853.
[2] F. Sidik, I. Suhada, A. H. Anwar, and F. N. Hasan, “Analisis Sentimen Terhadap Pembelajaran Daring Dengan Algoritma Naive Bayes Classifier,” J. Linguist. Komputasional , vol. 5, no. 1, p. 34, 2022, doi: 10.26418/jlk.v5i1.79.
[3] M.  F.  Muzakki,  J.  Jondri,  and  U.  R.  Febrian,  “Analisis  Sentimen  Mahasiswa  Terhadap  Fasilitas  Universitas  Telkom Menggunakan Metode Jaringan Saraf Tiruan Dan Tf-Idf,” e-Prodeceeding Eng. , vol. 6, no. 2, pp. 8608–8616, 2019.
[4] O. I. Gifari, M. Adha, F. Freddy, and F. F. S. Durrand, “Analisis Sentimen Review Film Menggunakan TF-IDF dan Support Vector Machine,” J. Inf. Technol. , vol. 2, no. 1, pp. 36–40, 2022, doi: 10.46229/jifotech.v2i1.330.
[5] S. J. S. Tyas, M. Febianah, F. Solikhah, A. L. Kamil, and W. A. Arifin, “Analisis Perbandingan Algoritma Naive Bayes Dan C.45 Dalam Klasifikasi Data Mining Untuk Memprediksi Kelulusan,” J. Teknol. Inf. Dan Komun. , vol. 8, no. 1, pp. 86–99, 2021, [Online]. Available: https://jurnal.plb.ac.id/index.php/tematik/article/view/576/365
[6] B. Gunawan, H. S. Pratiwi, and E. E. Pratama, “Sistem Analisis Sentimen pada Ulasan Produk Menggunakan Metode Naive Bayes,” J. Edukasi dan Penelit. Inform. , vol. 4, no. 2, p. 113, 2018, doi: 10.26418/jp.v4i2.27526.
[7] Aldinata,  A.  M.  Soesanto,  V.  C.  Chandra,  and  D.  Suhartono,  “Sentiments  comparison  on  Twitter  about  LGBT,” Procedia Comput. Sci. , vol. 216, pp. 765–773, 2023, doi: 10.1016/j.procs.2022.12.194.
[8] M. Wongkar and A. Angdresey, “Sentiment Analysis Using Naive Bayes Algorithm Of The Data Crawler: Twitter,” Proc. 2019 4th Int. Conf. Informatics Comput. ICIC 2019 , pp. 1–5, 2019, doi: 10.1109/ICIC47613.2019.8985884.
[9] F. E. Purwiantono and A. Aditya, “Klasifikasi Sentimen Sara, Hoaks Dan Radikal Pada Postingan Media Sosial Menggunakan Algoritma Naive Bayes Multinomial Text,” J. Tekno Kompak , vol. 14, no. 2, p. 68, 2020, doi: 10.33365/jtk.v14i2.709.
[10]  I. Verawati and B. S. Audit, “Algoritma Naïve Bayes Classifier Untuk Analisis Sentiment Pengguna Twitter Terhadap Provider By.u,” J. Media Inform. Budidarma , vol. 6, no. 3, p. 1411, 2022, doi: 10.30865/mib.v6i3.4132.
[11]  M.  Hudha,  E.  Supriyati,  and  T.  Listyorini,  “Analisis  Sentimen  Pengguna  Youtube  Terhadap  Tayangan #Matanajwamenantiterawan Dengan Metode Naïve Bayes Classifier,” JIKO (Jurnal Inform. dan Komputer) , vol. 5, no. 1, pp. 1– 6, 2022, doi: 10.33387/jiko.v5i1.3376.
[12]  R.  T.  Aldisa  and  P.  Maulana,  “Analisis  Sentimen  Opini  Masyarakat  Terhadap  Vaksinasi  Booster  COVID-  19  Dengan Perbandingan Metode Naive Bayes , Decision Tree dan SVM,” Build.  Informatics,  Technol. Sci. , vol.  4, no. 1,  pp. 106–109, 2022, doi: 10.47065/bits.v4i1.1581.
[13]  F.  Wulandari,  E.  Haerani,  M.  Fikry,  and  E.  Budianita,  “Analisis  sentimen  larangan  penggunaan  obat  sirup  menggunakan algoritma naive bayes classifier,” vol. 4, no. 1, pp. 88–96, 2023.
[14]  A. Aziz, “Analisis Sentimen Identifikasi Opini Terhadap Produk, Layanan dan Kebijakan Perusahaan Menggunakan Algoritma TF-IDF dan SentiStrength,” J. Sains Komput. Inform. (J-SAKTI , vol. 6, no. 1, p. 115, 2022.
[15]  J.  A.  Septian,  T.  M.  Fachrudin,  and  A.  Nugroho,  “Analisis  Sentimen  Pengguna  Twitter  Terhadap  Polemik  Persepakbolaan Indonesia Menggunakan Pembobotan TF-IDF dan K-Nearest Neighbor,” J. Intell. Syst. Comput. , vol. 1, no. 1, pp. 43–49, 2019, doi: 10.52985/insyst.v1i1.36.
[16]  T. Sanubari, C. Prianto, and N. Riza, Odol (One Desa One Product Unggulan Online) Penerapan Metode Naïve Bayes Pada pengembangan Aplikasi E-Comerce Menggunakan Codeigniter . Bandung: Kreatif Industri Nusantara, 2020.
[17]  I. W. Saputro and B. W. Sari, “Uji Performa Algoritma Naïve Bayes untuk Prediksi Masa Studi Mahasiswa,” Creat. Inf. Technol. J. , vol. 6, no. 1, p. 1, 2020, doi: 10.24076/citec.2019v6i1.178.
[18]  D. A. Pratiwi, R. M. Awangga, and M. Y. H. Setyawan, Seleksi Calon Kelulusan Tepat Waktu Mahasiswa Teknik Informaika Menggunakan Metode Naive Bayes , Pertama. Bandung: Kreatif Industri Nusantara, 2020.
[19]  D. Normawati and S. A. Prayogi, “Implementasi Naïve Bayes Classifier Dan Confusion Matrix Pada Analisis Sentimen Berbasis Teks  Pada  Twitter,” J.  Sains  Komput.  Inform.  (J-SAKTI ,  vol.  5,  no.  2,  pp.  697–711,  2021,  [Online].  Available: https://ejurnal.tunasbangsa.ac.id/index.php/jsakti/article/view/369/348