Analisis Sentimen Terhadap Program Kampus Merdeka Menggunakan Algoritma Naive Bayes Classifier Di Twitter
Elisa Febriyani 1,* , Herny Februariyanti 2
1 Fakultas Teknologi Informasi dan Industri, Sistem Informasi, Universitas Stikubank, Semarang, Indonesia Email: 1,* elisafebriyani22@gmail.com, 2 hernyfeb@edu.unisbank.ac.id
Abstrak− Program kampus  merdeka atau merdeka belajar kampus  merdeka (MBKM)  merupakan kebijakan baru yang diluncurkan pada bulan januari 2019 oleh kementerian pendidikan, kebudayaan, riset, dan teknologi republik Indonesia. Kebijakan  ini  merupakan  strategi  pemerintah  dalam  meningkatkan  kualitas  mahasiswa  untuk  menjawab  kebutuhan  zaman seiring dengan perubahan teknologi, dunia kerja, sosial, dan budaya yang signifikan. Sebagai suatu terobosan baru pada dunia perguruan tinggi, program ini sangat ramai diperbincangkan di media sosial. Saat ini, masyarakat banyak menggunakan media sosial  twitter  untuk  memberikan  tanggapan  atau  opini  terhadap  suatu  kebijakan  pemerintah  maupun  tren  yang  sedang berkembang. Program kampus merdeka ini sudah menuai pro dan kontra dari masyarakat khususnya pada media sosial twitter sejak awal kemunculannya. Penelitian ini bertujuan menganalisis sentimen opini publik terhadap program kampus merdeka di twitter untuk mengetahui tingkat akurasi pada metode serta persentase sentimen sebagai evaluasi pada algoritma, kinerja dan program kampus merdeka ini sendiri. Pengumpulan data menggunakan website vicinitas.io dilakukan secara realtime dengan #kampus merdeka  dan #mbkm dari tweet dan retweet  pengguna twitter selama bulan November 2021 sampai  Maret 2022. Analisis terhadap 501 data tweet dilakukan dengan mengklasifikasikan teks dalam bentuk negatif dan positif  menggunakan algoritma naive  bayes  classifier .  Pengimplementasian  klasifikasi  pada  algoritma naive  bayes dilakukan  dengan  beberapa tahapan yaitu text preprocessing, perhitungan TF-IDF, perhitungan klasifikasi, dan K-fold cross validation . K-fold digunakan untuk mengevaluasi algoritma yang dipakai agar mendapatkan hasil akurasi lebih maksimal. Program dibuat dengan bahasa pemrograman python pada tools google colab yang disediakan google. Visualisasi hasil yang ditampilkan pada penelitian ini berupa word  cloud dengan  hasil  kata  paling  dominan  muncul  pada  sentimen  positif  yaitu  kampus,  merdeka,  mbkm,  dan program,  sedangkan  pada  sentimen  negatif  yaitu  kampus,  uang,  saku,  dan  konversi.  Berdasarkan  hasil  penelitian, pengklasifikasian  yang dapat dilakukan oleh sistem mendapatkan hasil klasifikasi sentimen positif sebanyak 272 opini dan sentimen negatif sebanyak 229 opini dengan rata-rata akurasi 60%, presisi 64%, recall 58% dan f1-score 58%.
Kata Kunci: Kampus Merdeka, Text Mining, Sentimen, Naive Bayes, K-Fold Cross Validation
Abstract− The  independent  campus  program  or  independent  learning  campus  independence  (MBKM)  is  a  new  policy launched in January 2019 by the ministry of education, culture, research, and technology of the republic of Indonesia. This policy  is  the  government's  strategy  in  improving  the  quality  of  students  to  respond  to  the  needs  of  the  times  along  with significant  changes  in  technology,  the  world  of  work,  social  and  culture.  As  a  new  breakthrough  in  the  world  of  higher education, this program is very much discussed on social media. Currently, many people use social media Twitter to provide feedback or opinions on a government policy or trend that is developing. This independent campus program has reaped the pros and cons of the community, especially on Twitter social media since its inception. This study aims to analyze the sentiment of public opinion  on the independent campus program  on twitter to  determine the level of accuracy  in the  method and the proportion of sentiment as an evaluation of the algorithm, performance and program of the independent campus itself. Data collection  using  the  vicinitas.io  website  was  carried  out  in  real  time  with  #kampus  merdeka  and  #mbkm  from  tweets  and retweets of twitter users during November 2021 to March 2022. Analysis of 501 tweet data was carried out by classifying text in  negative and positive forms using the  naive bayes classifier algorithm.  . The implementation  of the  classification  in the Naive  Bayes  algorithm  is  carried  out  in  several  stages,  namely  text  preprocessing,  TF-IDF  calculations,  classification calculations, and K-fold cross validation. K-fold is used for applications that are used to get maximum accuracy results. The program is made in the python programming language on the google colab tools provided by google. The visualization of the results displayed in this study is a word cloud with the most dominant word results appearing on positive sentiments, namely campus, merdeka, mbkm, and programs, while on negative sentiments, namely campus, money, pocket, and conversion. Based on the results of the research, the classification that can be done by the system gets 272 positive sentiment classification results and 229 negative sentiment opinions with an average accuracy of 60%, precision 64%, recall 58% and f1-score 58%.
Keywords : Independent Campus, Text Mining, Sentiment, Naive Bayes, Cross Validation K-Fold

## 1. PENDAHULUAN
Pesatnya  perkembangan  teknologi  pada  internet  banyak  mengubah  proses  komunikasi  antar  individu maupun  kelompok  dalam  aspek  kehidupan.  Hadirnya  internet  membuat  banyaknya platform-platform  digital semakin  berkembang  termasuk  sosial  media.  Sosial  media  merupakan  media  digital  yang  digunakan  untuk mempresentasikan  diri,  berbagi  informasi,  berinteraksi,  maupun  bekerja  sama  dengan  orang  lain.[1]  Pengguna internet di Indonesia pada  bulan  maret 2021 mencapai 76,8 persen yang berarti sebanyak 212,35 juta dari total populasi  sebanyak  276,2  juta  jiwa.[2]  Selain  itu,  Indonesia  merupakan  urutan  ke-15  di  Asia  pada  tahun  2021 dengan penetrasi internet tertinggi.[2] Salah satu aplikasi media sosial yang popular di Indonesia yaitu twitter. Di
Indonesia, twitter tidak hanya digunakan sebagai media untuk mengungkapkan perasaan tetapi juga sebagai media dalam  memberikan saran  maupun kritik terhadap suatu objek, layanan atau kebijakan pemerintah.[3] Pengguna twitter juga memberikan opini mereka terhadap suatu kebijakan dan dijadikan trending topic. Pada penelitian ini, peneliti  memanfaatkan  data  pada  media  social  twitter  untuk  klasifikasi  teks  berbahasa  Indonesia  terhadap kebijakan publik di bidang pendidikan. Salah satu topik yang menjadi perbincangan akhir-akhir ini yaitu kebijakan program kampus merdeka.
Program  kampus  merdeka  merupakan  kebijakan  baru  Kementerian  Pendidikan,  Kebudayaan,  Riset  dan Teknologi  Republik  Indonesia  (Kemendikbud  Ristek  RI)  dengan  tujuan  menunjang  persiapan  kompetensi mahasiswa untuk menjawab kebutuhan zaman seiring perubahan dunia kerja, sosial, budaya, dan teknologi yang signifikan.[4]  Kampus  merdeka  memiliki  3  program  unggulan  yaitu  program  kampus  mengajar,  program pertukaran  mahasiswa  merdeka,  serta  program  magang  dan  studi  independen  bersertifikat.  Sejak  awal kemunculanya  kebijakan  kampus  merdeka  ini  cukup  menuai  pro  dan  kontra,  masyarakat  menggunakan  tagar #kampusmerdeka dan #merdekabelajar untuk  menuliskan opini  mereka ditwitter secara bebas. Dengan adanya platform  media  sosial  yang  mampu  mewadahi  ribuan  opini  publik,  dapat  dimanfaatkan  untuk  mencari  sebuah informasi terkait program kampus merdeka dengan menganalisis opini-opini publik dengan analisis sentimen.
Analisis sentimen berguna untuk menentukan komentar atau opini memiliki kecenderungan sentimen negatif atau  positif  yang  dapat  dijadikan  sebagai  acuan  dalam  peningkatan  suatu  layanan,  ataupun  kualitas  produk.[5] Pengumpulan  data  dilakukan  menggunakan  website  Vicinitas.io  untuk  membantu  melacak  dan  mendapatkan tweet  real-time maupun historis dari twitter.  Vicinitas.io  merupakan sebuah website untuk membantu melacak dan  menganalisis  tweet  secara  real-time  maupun  historical  dari  kampanye  dan  merek  media  social  di  twitter. Vicinitas.io  berguna  untuk  menarik  data  berdasarkan hashtag/keyword  tweets , user  tweets dan user  followers dengan maksimal penarikan data 1.000.000 tweets untuk pengguna yang berlangganan dan memberikan free tools untuk  penarikan  data  secara  real-time  maksimal  2000  tweets  dengan  jangka  waktu  tweet  7  hari.  Data  yang didapatkan dari website vicinitas.io berupa file excel atau (.xlsx). Pada analisis sentimen ini peneliti menggunakan algoritma naïve bayes classifier (NBC) untuk pengelolahan text miningnya.
Penelitian terdahulu yang berkaitan dengan analisis sentimen diantaranya adalah penggunaan naïve bayes untuk  menganalisis  pendapat  masyarakat  terhadap  vaksinasi  covid-19  di  Indonesia,  penelitian  tersebut menyatakan bahwa penggunaan algoritma naïve bayes sudah sangat baik dengan hasil akurasi 93%.[2] Penelitian lain  dengan  metode naïve  bayes dan support  vector  mechine digunakan  untuk    menganalisis  sentimen  pada program acara televisi mendapatkan akurasi sebesar 88,57%.[6] Pengujian dengan k-fold cross validation pada algoritma naïve  bayes juga  digunakan  unntuk  evaluasi  penilaian  kinerja  pada  pemerintahan  kota  makassar, penelitian tersebut mendapatkan tingkat akurasi sebesar 91%.[3] Selain  itu, algoritma naïve bayes juga pernah digunakan dalam menganalisis penilaian terhadap suatu film dengan hasil akurasi 90%[7].
Berdasarkan  permasalahan  diatas,  peneliti  menganalisis  sentimen  positif  dan  negatif  dari  opini  publik terhadap program kampus merdeka dengan algoritma naive bayes classifier untuk menghasilkan penelitian berupa tingkat  akurasi  dari  metode  serta  persentase  masing-masing  sentimen  yang  nantinya  dapat  digunakan  untuk meningkatkan kualitas program kampus merdeka.

## 2. METODE PENELITIAN

## 2.1 Tahap Penelitian
Metode  ini  menjelaskan  bagaimana  prosedur  pengolahan  data  yang  dikumpulkan  penulis  menjadi  sebuah informasi pengklasifikasian. Gambar 1 merupakan flowchart dari penelitian.
Gambar 1 . Flowchart Penelitian

## A. Pengumpulan Data
Data opini yang digunakan berasal dari tweet dan komentar yang ada di media social Twitter. Pengambilan data tweet dilakukan melaui website Vicinitas.io secara realtime setiap minggu sekali dengan query atau kata kunci yang  dibutuhkan.  Data  pada  penelitian  ini  dikumpulkan  dari  unggahan  tweet  dan  komentar  pengguna  twitter. Rentang waktu pencarian data dari tgl 1 November 2021  – 30 Maret 2022. Kriteria pengumpulan data terdapat pada kata kunci “kampus  merdeka” atau “merdeka belajar kampus  merdeka” dalam unggahan, teks berbahasa Indonesia, dan  mengandung opini.  Dalam  tahap pengumpulan data, didapatkan data sejumlah 3890 data opini. Metode dalam pengumpulan data menghasilkan 16 atribut data, yang terdiri dari:
1. tweet_id 2. text 3. name 4. screen_name 5. utc 6. created_at 7. favorites 8. retweets 9. language 10. client 11. tweet_type 12. Urls 13. Hashtags 14. Mentions 15. media_type 16. media_url

## B. Analisis Data
Setelah  pengumpulan  data,  dilakukan  analisa  data  karena  didapati  data  yang  sama  atau  duplikasi  data.  Tujuan analisis data untuk menghindari terjadinya duplikasi data dan menghapus data yang tidak sesuai dengan kriteria yang dibutuhkan. Tahap analisis data ini dilakukan oleh peneliti dengan mengidentifikasi dan melabeli data secara manual agar data yang didapatkan lebih akurat.
1. Identifikasi Data
Peneliti  menentukan atribut  tweet_id dan text sebagai parameter untuk mengidentifikasi  duplikat  dan data opini. Sehingga dari 3890 data hasil scraping pada website Vicinitas.io didapatkan jumlah data akhir yang layak digunakan dalam penelitian yaitu 501 data opini. Tahap pengumpulan data menghasilkan output yang disimpan
dalam dokumen berformat CSV (Comma Separated Values). Potongan data hasil identifikasi dapat dilihat pada table 1.
Tabel 1. Potongan Data Identifikasi Tweet_Id Text godadamn.io dan terjadi lagi, fulltime berkedok internn. Sampis bgt mending cabut DarmajayaBest Merdeka  Belajar  Kampus  Merdeka  (MBKM)  dibuat  Kemendikbudristek  dan  secara online agar semua mahasiswa di seluruh Indonesia mendapat kesempatan yg sama baik Magang  Bersertifikat,  Kampus  Mengajar,  Pertukaran  Mahasiswa  Merdeka  dll #kampusmerdeka https://t.co/O7QmcIcvm5
mahadika_alam  RT  @MagangStudi  :  Tolong  Kami 😭🙏 Masalah  Uang  Saku  Mahasiswa  Magang Kampus Merdeka Masih Belum Selesai! Ini sudah 4-5 bulan kerja bagi para mahasiswa, seharusnya sudah terima 4-5x pencairan uang  saku  tapi  sampai  sekarang  baru  2x  bahkan  masih  ada  yg  baru  1x #CairkanUangSakuMSIB #KampusMerdeka https://t.co/5AYwpZlv0f nurlaailaaa Manfaat dari program kampus merdeka salah satunya memperluas relasi dan menambah pengalaman #SilaturahmiMerdekaBelajar #KampusMerdeka https://t.co/hT6kMJQSw
hahazelnude excited bgt magang  kampus merdeka uda buka lagi
2. Pelabelan Data
Pelabelan data dilakukan oleh peneliti secara manual pada data hasil indentifikasi dengan menyesuaikan data opini terhadap sentimen positif dan negatif. Sentimen positif dilabelkan pada data yang mengandung kalimat  atau opini  baik  dan  membangun,  sedangkan  sentimen  negatif  dilabelkan  pada  data  yang  mengandung  kalimat  atau opini  buruk  dan  menjatuhkan.  Atribut data yang selanjutnya akan dilakukan dalam penelitian  ini  hanya atribut text yang diubah menjadi Tweet dan atribut Sentimen dari hasil pelabelan peneliti Potongan hasil data opini yang telah dilakukan pelabelan dapat dilihat pada tabel 2.
Table 2. Potongan Data Pelabelan
Tweet Sentimen dan terjadi lagi, fulltime berkedok internn. Sampis bgt mending cabut Negatif Merdeka  Belajar  Kampus  Merdeka  (MBKM)  dibuat  Kemendikbudristek  dan  secara online agar semua mahasiswa di seluruh Indonesia mendapat kesempatan yg sama baik
Magang  Bersertifikat,  Kampus  Mengajar,  Pertukaran  Mahasiswa  Merdeka  dll
#kampusmerdeka https://t.co/O7QmcIcvm5
Positif
RT  @MagangStudi  :  Tolong  Kami 😭🙏 Masalah  Uang  Saku  Mahasiswa  Magang Kampus Merdeka Masih Belum Selesai! Ini sudah 4-5 bulan kerja bagi para mahasiswa, seharusnya sudah terima 4-5x pencairan uang  saku  tapi  sampai  sekarang  baru  2x  bahkan  masih  ada  yg  baru  1x #CairkanUangSakuMSIB #KampusMerdeka https://t.co/5AYwpZlv0f Negatif Manfaat dari program kampus merdeka salah satunya memperluas relasi dan menambah pengalaman #SilaturahmiMerdekaBelajar #KampusMerdeka https://t.co/hT6kMJQSw Positif excited bgt magang  kampus merdeka uda buka lagi Positif

## C. Text Preprocessing
Sebelum pengklasifikasian pada data tweet , dilakukan tahapan text preprocessing untuk mendapatkan data teks terstruktur. Gambar 2 merupakan tahapan yang dilakukan pada text preprocessing .
Gambar 2. Tahapan Preprocessing
1. Case folding adalah tahapan untuk menyetarakan seluruh  huruf  menjadi  huruf kecil ( lowercase ), sehingga mempermudah mesin untuk mengidentifikasi huruf yang sama dengan makna yang sama
2. Tokenizing adalah  tahapan  untuk  memecah  kalimat  menjadi  komponen  kata  terpisah.  Tahap  ini  juga digunakan untuk menghapus nomor, tanda baca, whitespace , huruf tunggal pada kalimat dan karakter tweet special (tab, baris baru, link , back slice , emoticon, mention, hashtag, dan url ).
3. Filtering adalah tahapan untuk menghapus kata yang sering muncul, tidak bermakna deskriptif dan tidak ada kaitannya dengan makna dari topik. Sehingga menghasilkan kata-kata yang penting saja.
4. Stemming adalah tahapan untuk menghapus awalan ( prefix) dan akhiran ( suffix) kata pada data opini  yang bertujuan untuk mendapatkan kata dasar yang sesuai. [6]

## D. TF-IDF (Term Frequency-Inverse Dense Frequency)
Setelah tahap preprocessing selesai, maka dilakukan tahap menghitung bobot kata dengan pendekatan TF-IDF. TF-IDF  merupakan  perhitungan  untuk  mengukur  seberapa  penting  kata  ( term )  pada  dokumen  dan  korpus.[8] Proses ini dilakukan untuk menilai term atau bobot kata dari sebuah dokumen terhadap seluruh dokumen pada korpus. TF-IDF (Term Frequency-Inverse Document Frequency) dihitung menggunakan rumus berikut:
TF-IDF = TF*IDF = TF*log(n/df) ( 1)
Dimana:
TF = Teks frekuensi
IDF = Teks frekuensi dalam dokumen
n = Jumlah dokumen

## E. Implementasi Naïve Bayes Classifier
Tahap pengklasifikasian naïve bayes menggunakan jumlah kemunculan kata pada dataset dari setiap kelas. Ciri utama naïve  bayes adalah  mengansumsikan  fitur  bersifat  independen  antara  satu  dengan  lainnya.[9]  data  yang akan diklasifikasikan dengan algoritma naïve bayes yaitu data hasil preprocessing yang sudah diberi label sesuai dengan sentimen data opini. Pelabelan ini dilakukan secara manual untuk memaksimalkan keakuratan sentimen. Data  dalam  bentuk teks  akan  muncul  dua  hasil  teks  yang  mengandung positif dan negativ .  Berikut  ini  adalah langkah-langkah perhitungan algoritma naïve bayes classifier :
1. menghitung probabilitas kelas data trining.
2. memprediksi label untuk mendapatkan nilai akurasi model yang dibuat pada proses training dengan data set pada proses testing. Proses klasifikasi dilakukan dengan proses pelatihan (training) dan tahap klasifikasi. Pada tahap training data dilakukan proses analisis pada dokumen untuk memilih kata yang kemungkinan muncul dalam dokumen sample menjadi representasi dokumen untuk selanjutnya dilakukan penentuan probabilitas setiap sentimen berdasarkan dokumen sample.[10]

## F. K-Fold Cross Validation
Tahap ini dilakukan untuk mengetahui performa algoritma dengan percobaan klasifikasi sebanyak 5 kali dengan parameter yang sama sehingga  mendapatkan hasil akurasi  yang  maksimal. Tahapan percobaan  yang dilakukan dalam pengujian k-fold cross validation yaitu:
1. Membuat partisi pertama menjadi data testing dan partisi lainnya menjadi data training.
2. Membuat partisi kedua data testing dan partisi lainnya menjadi data training.
3. Membuat partisi ketiga menjadi data testing dan partisi lainnya menjadi data training dan seterusnya.[11]
Dari  tahapan  percobaan  diatas  selanjutnya  dilakukan  catatan  nilai  atau  evaluasi  performa  dari  algoritma  naive bayes classifier menggunakan confussion matrix . Tahapan ditentukan dengan nilai rata-rata di setiap percobaan untuk menentukan suatu percobaan yang dapat menjadi acuan pada penggunaan model algoritma yang dipilih.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengolahan Data
Dibantu tools Google Colab yang disediakan oleh google dengan bahasa pemrograman python dalam melakukan pengolahan data opini, Pengolahan data opini dikerjakan dalam 3 workspace (lembar kerja) yang terdiri dari: 1. preprocessing .py, lembar kerja ini mengerjakan tahapan text preprocessing .
2. tf-idf & k-fold.py, dalam lembar kerja ini adalah tahapan setelah dilakukannya text preprocessing yaitu tahap pembobotan kata (TF-IDF) dan tahap evaluasi dari algoritma yang dipakai .
3. algoritma.py,  dalam  lembar  kerja  ini  terdapat  tahapan  utama  dilakukannya  penelitian  ini  yaitu pengklasifikasian data opini.
Penelitian  ini  menghasilkan  pengklasifikasian  501  data  opini  pengguna  media  social  twitter  yang  didapat secara real-time dari website vicinitas.io. Tahap pengumpulan data menghasilkan dokumen Data_opini.csv yang berisi dua field data yaitu Tweet dan Sentimen. Gambar 3 merupakan tampilan import dataset yang siap dilakukan preprocessing .

## Gambar 3. Data Opini
Berdasarkan  4  (empat)  Tahapan  preprocessing  yang  telah  dilakukan  pada  501  data  opini,  akan menghasilkan data yang lebih terstruktur dengan masing-masing fungsi tahapan. Berikut hasil tahapan preprocessing.

## 1. Case Folding
Tahapan  ini  menghasilkan  data  opini  dengan  huruf  yang  telah  disamaratakan  menjadi  huruf  kecil. Gambar 4 merupakan hasil tahapan case folding .

## Gambar 4. Hasil Case Folding

## 2. Tokenizing
Pada proses ini menghasilkan data per kalimat menjadi data dengan bentuk perkata dan data yang sudah bersih dari berbagai karakter imbuhan. Gambar 5 menunjukkan hasil tahapan tokenizing .
Gambar 5. Hasil Tokenizing

## 3. Filtering
Dari tahap filtering ini menghasilkan data teks yang sudah sesuai dengan kamus besar bahasa Indonesia. Gambar 6 menunjukkan hasil tahapan filtering .
Gambar 6. Hasil Filtering

## 4. Stemming
Tahapan ini menghasilkan kata yang ada pada data diubah menjadi kata dasar tanpa imbuhan. Gambar 7 merupakan hasil dari tahap stemming .
Gambar 7. Hasil Stemming
Tahap preprocessing ini mendapatkan data baru yang selanjutnya dilakukan perhitungan bobot kata atau TF-IDF. Gambar 8 menunjukkan hasil perhitungan rank dari term pada 501 data opini. Hasil perhitungan rank mendapatkan nilai rank atau bobot kata tertinggi sebesar 22.197327 pada kata mbkm.

## 3.2 Pemodelan Naïve Bayes
Tahap pengklasifikasian naïve bayes menggunakan jumlah kemunculan kata pada dataset dari setiap kelas.[12] Data yang diklasifikasikan dengan algoritma naïve bayes yaitu data hasil preprocessing yang sudah diberi label sesuai dengan sentimen data opini. Hasil pengklasifikasian akan mendapatkan probabilitas sebagai berikut :
1. Precision atau perbandingan antara banyaknya data yang diprediksi positif dengan true positive (TP).
2. Recall atau perbandingan antara banyaknya data yang sebenarnya positif dengan true positif (TP).
3. F1-score atau perbandingan rata-rata antara recall dan precision . 4. Akurasi atau tingkat keakuratan model pada suatu data.
5. Confusion Matriks atau pengukuran performa untuk model learning dari klasifikasi naïve bayes. [10]
Pemodelan naive bayes classifier dilakukan dengan membagi 501 data opini menjadi 70% data training dan 30% data testing. Pembagian data training dan testing dapat dilihat pada tabel 3.
Tabel 3. Pembagian Data
Data Training (70%) Data Testing (30%) 350 151
Berdasarkan  tabel  3  menunjukkan  bahwa  pembagian  data  didapatkan  350  data training dan  151  data testing .  Selanjutnya  dilakukan  pengklasifikasian  pada  data testing dengan  algoritma naive  bayes untuk mengetahui probabilitas sentimen. Hasil pengklasifikasian dapat dilihat pada gambar 9.
Gambar 9. Hasil Klasifikasi
Hasil pengklasifikasian yang didapatkan pada pemodelan naive bayes classifier ini adalah 65 data dengan sentimen  negatif  dan  86  data  dengan  sentimen  positif.  Dengan  nilai  akurasi  57%,  penelitian  ini  mendapatkan precision sebesar  0.00  pada  data  sentimen  negatif  dan  0.57  pada  sentimen  positif, recall sebesar  0.00  pada sentimen negatif dan 1.00 pada sentimen positif, dan f1-score sebesar 0.00 pada data sentimen negatif dan 0.73 pada sentimen positif.

## 3.3 K-Fold Cross Validation
Tahap ini dilakukan untuk mengevaluasi kinerja dari algoritma naïve bayes classifier.[1] K-fold cross validation dijalankan dengan membagi 5 bentuk bagi atau k=5  dengan perbandingan data testing dan training 20-80 pada 501 data opini untuk mendapatkan hasil akurasi yang maksimal. Sehingga diperoleh 501 data dengan 101 dan 100 data testing dengan perbandingan data training 400 di masing-masing pengujian. Pengujian dilakukan dengan data yang  dipartisi  sebanyak  5  kali  (k=5)  dengan  letak  data  tes  yang  berbeda  di  setiap  iterasinya.  Pembagian  data testing dan gambaran iterasi k-fold dapat dilihat pada tabel 4 berikut:
Tabel 4. Iterasi pembagian data k-fold Iteration Total Samples Iteration 1/5 101 Iteration 2/5 100
Iteration 3/5 100 Iteration 4/5 100 Iteration 5/5 100
Untuk pengujian fold ke-1 jumlah data tes yang dipakai adalah 101 data, sedangkan untuk pengujian fold ke-2 sampai ke-5 jumlah data tes yang dipakai adalah 100 data disetiap pengujiannya. Gambar 10-14 merupakan hasil dari K-Fold Cross Validation.
Gambar 10. Hasil pengujian fold ke-1
Pada gambar 10 Menunjukkan hasil K-fold cross validation mendapatkan 33 data dengan sentimen negatif dan 68 data sentimen positif. Pengujian pertama mendapatkan precision sebesar 0.62 pada data sentimen negatif dan 0.77 pada sentimen positif, recall sebesar 0.45 pada sentimen negatif dan 0.87 pada sentimen positif, dan f1- score sebesar  0.53  pada  data  sentimen  negatif  dan  0.81  pada  sentimen  positif.  Akurasi  yang  didapatkan  pada klasifikasi ini yaitu 0.73 atau 73% dan confusion matriks dengan true negatif 15 data, true positif 59 data, false negatif 9 data, dan false positif 18 data.
Gambar 11. Hasil pengujian fold ke-2
Pada gambar 11 menunjukkan hasil k-fold cross validation kedua setelah didapatkan 52 data dengan sentimen negatif dan 48 data sentimen positif. Pengujian kedua mendapatkan precision sebesar 0.74 pada data sentimen negatif dan 0.53 pada sentimen positif, recall sebesar 0.27 pada sentimen negatif dan 0.90 pada sentimen positif, dan f1-score sebesar 0.39 pada data sentimen negatif dan 0.67 pada sentimen positif. Akurasi yang didapatkan pada klasifikasi ini yaitu 0.57 atau 57% dan confusion matriks yaitu true negatif 14 data, true positif 43 data, false negatif 5 data, dan false positif 38 data.
Gambar 12. Hasil pengujian fold ke-3
Pada gambar 12 menunjukkan hasil K-fold cross validation ketiga mendapatkan precision sebesar 0.92 pada data sentimen negatif dan 0.40 pada sentimen positif, recall sebesar 0.17 pada sentimen negatif dan 0.97 pada sentimen positif, dan f1-score sebesar 0.29 pada data sentimen negatif dan 0.56 pada sentimen positif. Akurasi yang didapatkan pada klasifikasi ini yaitu 0.46 atau 46% dan confusion matriks yaitu t rue negatif 11 data, true positif 35 data, false negatif 1 data, dan false positif 53 data.
Gambar 13. Hasil pengujian fold ke-4
Pada gambar 13 menunjukkan hasil K-fold cross validation keempat didapatkan 38 data dengan negatif dan 62 data sentimen positif. Pengujian keempat mendapatkan precision sebesar 0.65 pada data sentimen negatif dan 0.72 pada sentimen positif, recall sebesar 0.45 pada sentimen negatif dan 0.85 pada sentimen positif, dan f1-score sebesar 0.53 pada data sentimen negatif dan 0.78 pada sentimen positif. Akurasi yang didapatkan pada klasifikasi ini yaitu 0.70 atau 70% dan confusion matriks yaitu true negatif 17 data, true positif 53 data, false negatif 9 data, dan false positif 21 data.
Gambar 14. Hasil pengujian fold ke-5
Pada  gambar  14  menunjukkan  hasil K-fold  cross  validation kelima  didapatkan  41  data  dengan  sentimen negatif dan 59 data sentimen positif. Pengujian kelima mendapatkan precision sebesar 0.44 pada data sentimen negatif dan 0.61 pada sentimen positif, recall sebesar 0.37 pada sentimen negatif dan 0.68 pada sentimen positif, dan f1-score sebesar 0.40 pada data sentimen negatif dan 0.64 pada sentimen positif. Akurasi yang didapatkan pada klasifikasi ini yaitu 0.55 atau 55% dan confusion matriks yaitu true negatif 15 data, true positif 40 data, false negatif 19 data, dan false positif 26 data.
Dari kelima pengujian diatas, didapatkan rata-rata akurasi 60%, presisi 64%, recall 58%, dan F1-score 58%.
Gambar 15. Rata-Rata K-Fold Cross Validation
Untuk hasil pengujian keseluruhan fold dapat dilihat pada Tabel 5 dan Gambar 16 berikut :
Tabel 5. Hasil Pengujian K-Fold Cross Validation Fold Akurasi (%) Presisi (%) Recall (%) F1-Score (%) I 73 72 73 72 II 57 64 57 53 III 46 73 46 39 IV 70 69 70 69 V 55 54 55 54 Rata-Rata 60 64 87 58
Gambar 16. Grafik hasil pengujian K-fold Cross Validation
Pada  grafik  diatas  menjelaskan  bahwa  pada  pengujian  k-fold  sebanyak  5  kali  didapatkan  hasil  akurasi tertinggi yaitu 73% pada percobaan fold ke-1, presisi tertinggi yaitu 73% pada percobaan fold ke-3, recall tertinggi yaitu 73% pada percobaan fold ke-1, dan F1-Score tertinggi yaitu 72 pada percobaan fold ke-1.

## 3.4 Visualisasi Hasil
Pada penelitian ini visualisasi merupakan representasi dari suatu data yang menampilkan kelompok kata paling sering muncul dank kata penting dari data opini dalam sentimen positif dan negatif.[13] Tujuan visualisasi ialah menampilkan hasil setiap sentiment dalam bentuk word cloud . Besar kecil ukuran dalam word cloud berpengaruh dengan frekuensi kemunculan kata dalam data opini.
0 10 20 30 40 50 60 70 80 Akurasi Presisi Recall F1-Score K-Fold Cross Validation Fold 1
Fold 2 Fold 3
Fold 4 Fold 5
Pada  gambar  17  Menunjukkan  hasil word  cloud dari  data  opini  yang  bersentimen  positif. word  cloud ini didominasi dengan kata kampus, merdeka, mbkm, mahasiswa dan program.
Gambar 18. Word Cloud Sentimen Negatif
Pada  gambar  18  Menunjukkan  hasil word  cloud dari  data  opini  yang  bersentimen  negatif. word  cloud ini didominasi dengan kata kampus, merdeka, mbkm, uang, saku, cair dan konversi.

## 3. KESIMPULAN
Dari hasil analisis dan pengujian yang telah dilakukan dapat disimpulkan beberapa hal yaitu  dalam proses analisis sentimen dilakukan dengan proses scraping data, text preprocessing, perhitungan TF-IDF, implementasi algoritma naïve bayes classifier dan validasi dengan k-fold. Proses scraping didapatkan data sejumlah 501 yang selanjutnya dilakukan text preprocessing menggunakan case folding, tokenizing, filtering, dan stemming. Hasil data  preprocessing  untuk  pembobotan  kata  dengan  tf-idf  mendapatkan nilai rank atau  bobot  kata  tertinggi sebesar  22.197327  pada  kata  mbkm .  Pengklasifikasian  501  data  opini public terhadap  program  kampus merdeka  dengan  naïve  bayes  classifier  mendapatkan  hasil  klasifikasi  sentimen  positif  sebanyak  272 opini  dan sentimen negatif sebanyak 229 opini dengan akurasi sebesar 57%. Dari hasil akurasi tersebut menjelaskan bahwa tingkat  akurasi  yang  dicoba  dengan  pemodelan  naive  bayes  cukup  kurang.  Sedangkan  evaluasi  terhadap pemodelan klasifikasi yang diimplementasikan pada k-fold cross validation dengan membagi dataset menjadi 5- fold mendapatkan rata rata akurasi 60%, presisi 64%, recall 58%, dan f1-score 58% yang berarti hasil evaluasi dengan k-fold  mendapatkan  jumlah akurasi  lebih  tinggi.  Visualisasi  hasil  yang ditampilkan pada penelitian  ini berupa  word  cloud  dengan  hasil  kata  paling  dominan  muncul  pada  sentimen  positif  yaitu  kampus,  merdeka, mbkm,  dan  program,  sedangkan  pada  sentimen  negatif  yaitu  kampus,  uang,  saku,  dan  konversi. Klasifikasi menggunakan  algoritma naïve  bayes  classifier yang  digunakan  pada  penelitian  ini  mendapatkan  hasil  kurang memuaskan  dikarenakan  jumlah  data  yang  sedikit,  namun  evaluasi  pemodelan  menggunakan  k-fold  cross validation pada penelitian ini cukup efektif digunakan untuk mendapatkan hasil akurasi lebih maksimal.

## UCAPAN TERIMAKASIH
Penulis  banyak  mengucapkan  terima  kasih  kepada  Universitas  stikubak  semarang,  dosen  pembimbing,  serta seluruh  pihak  yang  telah  memberikan  semangat  dan  selalu  mendukung  penulis  untuk  bisa  menyelesaikan penelitian dan publikasi jurnal ini.

## REFERENCES
[1] D. G. Nugroho, Y. H. Chrisnanto, and A. Wahana, “Analisis Sentimen Pada Jasa Ojek Online ... (Nugroho dkk.),” pp. 156–161, 2015.
[2] W. Yulita et al. , “Analisis Sentimen Terhadap Opini Masyarakat Tentang Vaksin Covid-19 Menggunakan Algoritma Naïve Bayes Classifier,” Jdmsi , vol. 2, no. 2, pp. 1–9, 2021.
[3] R. Rosdiana, T. Eddy, S. Zawiyah, and N. Y. U. Muhammad, “Analisis Sentimen pada Twitter terhadap Pelayanan Pemerintah Kota Makassar,” Proceeding SNTEI , no. June 2020, pp. 87–93, 2019.
[4] D. F. Zhafira, B. Rahayudi, and I. Indriati, “Analisis Sentimen Kebijakan Kampus Merdeka Menggunakan Naive Bayes dan Pembobotan TF-IDF Berdasarkan Komentar pada Youtube,” J. Sist. Informasi, Teknol. Informasi, dan Edukasi Sist. Inf. , vol. 2, no. 1, pp. 55–63, 2021, doi: 10.25126/justsi.v2i1.24.
[5] S. Suryono and E. Taufiq Luthfi, “Analisis sentimen pada Twitter dengan menggunakan metode Naïve Bayes Classifier,”
Jnanaloka , pp. 81–86, 2021, doi: 10.36802/jnanaloka.2020.v1-no2-81-86.
[6] M. N. Ardhiansyah, R. Umar, and Sunardi, “Analisis Sentimen pada Twitter Menggunakan Metode Support Vector Machine,” Semin. Nas. Teknol. Fak. Tek. Univ. Krisnadwipayana , vol. 1, no. 1, pp. 739–742, 2019, [Online]. Available: https://jurnal.teknikunkris.ac.id/index.php/semnastek2019/article/view/343/342.
[7] F. Ratnawati, “Implementasi Algoritma Naive Bayes Terhadap Analisis Sentimen Opini Film Pada Twitter,” INOVTEK Polbeng -
Seri Inform. , vol. 3, no. 1, p. 50, 2018, doi: 10.35314/isi.v3i1.335.
[8] A. Sari, F. V., & Wibowo, “Analisis Sentimen Pelanggan Toko Online Jd. Id Menggunakan Metode Naïve Bayes Classifier Berbasis Konversi Ikon Emosi,” Simetris J. Tek. Mesin, Elektro dan Ilmu Komput. , vol. 2, no. 2, pp. 681–686, 2019, [Online]. Available: https://jurnal.umk.ac.id/index.php/simet/article/view/3487.
[9] “BELAJAR PADA JEJARING SOSIAL TWITTER MENGGUNAKAN METODE NAÏVE BAYES DENGAN SELEKSI FITUR INFORMATION GAIN SKRIPSI Oleh : MOHAMMAD ROBIH THUULUZ ZAMAN,” 2020.
[10] N. Ruhyana, “Analisis Sentimen Terhadap Penerapan Sistem Plat Nomor Ganjil / Genap Pada Twitter Dengan Metode Klasifikasi Naive Bayes,” J. IKRA-ITH Inform. , vol. 3, no. 1, pp. 94–99, 2019.
[11] F. Tempola, M. Muhammad, and A. Khairan, “Perbandingan Klasifikasi Antara KNN dan Naive Bayes pada Penentuan Status Gunung Berapi dengan K-Fold Cross Validation,” J. Teknol. Inf. dan Ilmu Komput. , vol. 5, no. 5, p. 577, 2018, doi: 10.25126/jtiik.201855983.
[12] Samsir, Ambiyar, U. Verawardina, F. Edi, and R. Watrianthos, “Analisis Sentimen Pembelajaran Daring Pada Twitter di Masa Pandemi COVID-19 Menggunakan Metode Naïve Bayes,” J. Media Inform. Budidarma , vol. 5, pp. 157–163, 2021, doi: 10.30865/mib.v5i1.2604.
[13] M. F. A. Bashri, “Analisis sentimen menggunakan latent dirichlet allocation dan visualisasi topic polarity wordcloud,” Semarang Univ. Diponegoro , 2017.