ISSN: 2337-7631 (Printed) ISSN: 2654-4091 (Online)

## ANALISIS SENTIMEN PENGGUNAAN APLIKASI MERDEKA MENGAJAR DENGAN PENDEKATAN NAIVE BAYES DAN SUPPORT VECTOR MACHINE
Muhammad Farhan 1 , Muhammad Davin Ramayuda 2 , Yova Ruldeviyani 3
1,2, 3 Fakultas Ilmu Komputer, Universitas Indonesia, Kota Depok, Indonesia Email 1* : muhammad.farhan111@ui.ac.id Email 3 : yova@cs.ui.ac.id

## ABSTRAK
Dalam rangka memberikan solusi untuk kondisi learning loss yang terjadi pada dunia pendidikan di  Indonesia  sejak  pandemi  COVID-19,  Kementerian  Pendidikan,  Kebudayaan,  Riset,  dan  Teknologi (Kemendikbudristek) merilis kurikulum Merdeka. Untuk membantu guru dalam mendapatkan referensi, inspirasi, dan pemahaman mengenai kurikulum M erdeka, Kemendikbudristek merilis platform “Merdeka Mengajar” yang dapat diunduh di Google Play Store. Namun pemanfaatan aplikasi tersebut masih belum mencapai target jumlah pengguna yang diharapkan sehingga diperlukan analisis untuk mengetahui faktor- faktor  yang  menyebabkan  belum  tercapainya  target.  Untuk  mengetahui  ketercapaian  jumlah  pengguna dilakukan  tahapan  proses  analisis  yaitu  pengumpulan  data,  pra-pemrosesan  data  ( pre-processing ), pelabelan data ( labelling ), ekstraksi kata, klasifikasi, evaluasi klasifikasi, analisis sentimen menggunakan model naïve Bayes dan Support Vector Machine (SVM). Hasil penelitian menggunakan implementasi n- gram pada model naïve Bayes dan SVM, menunjukkan bahwa tingkat akurasi yang dihasilkan oleh masing- masing  model  adalah  86%  dan  91%.  Pengukuran  sentimen  menunjukkan  bahwa  ulasan  pengguna bersentimen positif berjumlah 3.225 (57%), sedangkan ulasan bersentimen negatif berjumlah 2.421 (43%). Secara  keseluruhan  dapat  disimpulkan  bahwa  sentimen  pada  penggunaan  aplikasi  Merdeka  Mengajar bernilai positif. Beberapa faktor yang menyebabkan pengguna memberikan ulasan negatif adalah kendala pada  saat  melakukan  aktivasi,  modul  pembelajaran  kurang  lengkap,  dan  meminta  pihak  terkait  untuk merilis aplikasi di IOS.
Kata kunci: Merdeka Mengajar, Analisis Sentimen, Naïve Bayes, SVM

## ABSTRACT
To provide a solution to the learning loss that has occurred in the education sector in Indonesia since  the  COVID-19  pandemic,  the  Ministry  of  Education,  Culture,  Research,  and  Technology (Kemendikbudristek)  released  the  "Merdeka"  curriculum.  To  assist  teachers  in  obtaining  references, inspiration, and understanding of the "Merdeka" curriculum, Kemendikbudristek launched the "Merdeka Mengajar" platform, which can be downloaded from the Google Play Store. However, the utilization of this application has not yet reached the target number of users expected. To determine the achieved number of users,  the  analysis  process  stages  are  carried  out,  namely  data  collection,  data  pre-processing  (pre- processing), data labeling (labeling), word extraction, classification, classification evaluation,  sentiment analysis using the naïve Bayes model, and Support Vector Machine (SVM). The research results, using n- gram implementation with the naive Bayes and SVM models, show that the accuracy level generated by each model is 86% and 91%, respectively. Sentiment analysis indicates that 3,225 (57%) user reviews are positive, while 2,421 (43%) are negative. Overall, it can be concluded that the sentiment regarding the use of the independent teaching application is positive. Meanwhile, several factors causing users to provide negative reviews include difficulties during activation, incomplete learning modules, and requests to release the application on IOS.
Keywords: Merdeka Mengajar, Sentiment Analysis, Naïve Bayes, SVM

## 1. PENDAHULUAN
Selama  kurun  waktu  tiga  tahun  terakhir  sejak  pandemi  COVID-19,  kondisi  pendidikan  di Indonesia  mengalami learning  loss atau  ketertinggalan  pembelajaran  [ 1 ].  Kementerian  Pendidikan, Kebudayaan,  Riset,  dan  Teknologi  (Kemendikbudristek)  mencanangkan  Kurikulum  Merdeka  sebagai bentuk solusi atau pemecahan masalah atas kondisi tersebut [ 2 ]. Kurikulum Merdeka atau yang sebelumnya disebut sebagai kurikulum prototype diluncurkan oleh Kemendikbudristek pada tanggal 11 Februari 2022. Kurikulum Merdeka memiliki fokus akan kebutuhan siswa, di mana kurikulum tersebut akan memberikan kesempatan kepada para siswa untuk dapat mengasah bakat dan minatnya sejak dini [ 3 ]. Pada kurikulum
Merdeka,  tersedia platform Merdeka  Mengajar. Platform tersebut  sangat  direkomendasikan  karena memberikan  kesempatan  bagi  para  tenaga  pengajar  khususnya  guru  di  Indonesia  untuk  belajar  serta mendapatkan  banyak  hal  seperti  mendapatkan  referensi,  inspirasi,  serta  memberikan  penguatan  akan pemahaman dan keterampilan para guru dalam menerapkan kurikulum merdeka untuk perkembangan dunia pendidikan di Indonesia [ 2 ][ 3 ]. Penerapan kurikulum merdeka diharapkan dapat ditunjang dengan adanya platform Merdeka  Mengajar  [ 4 ].  Pentingnya platform Merdeka  Mengajar  ini  memperluas  peluang  bagi setiap tenaga pendidik untuk  dapat  terus belajar serta memperkaya dan meningkatkan kompetensi yang dimiliki tanpa mengenal tempat dan waktu [ 5 ].
Hingga tahun ajaran 2022/2023 terdapat 3,37 juta guru yang ada di Indonesia [ 5 ]. Jumlah tersebut mengalami kenaikan sebesar 2,70% jika dibandingkan dengan tahun ajaran sebelumnya yaitu sejumlah 3,28 juta.  Data  jumlah  guru  tersebut  tidak  sejalan  dengan  jumlah  pengguna  aplikasi  Merdeka  Mengajar  di Google Play Store, yang mana per tanggal 15 Agustus 2023 jumlah pengunduh aplikasi Merdeka Mengajar di  Google  Play  Store  baru  berjumlah  1,6  juta  pengguna.  Jumlah  tersebut  masih  memiliki  selisih  jika dibandingkan  dengan  target  pengguna  yang  dicanangkan  oleh  Kemendikbudristek  melalui  surat  edaran Kemendikbudristek  pada  tanggal  19  April  2022  bahwa  seluruh  guru  di  Indonesia  dianjurkan  untuk mengunduh  aplikasi  Merdeka  Mengajar  [ 6 ].  Aplikasi Merdeka  Mengajar  dapat  diakses  melalui web browser dan  aplikasi  berbasis  Android.  Para  pengguna  yaitu  guru,  dapat  mengunduh  aplikasi  Merdeka Mengajar  secara  gratis  di  Google  Play  Store.  Pengguna  yang  telah  menggunakan  aplikasi  Merdeka Mengajar dapat memberikan komentar serta rating (1-5) di Google Play Store seperti pada Gambar 1 .
Gambar 1 . Rating Aplikasi Merdeka Mengajar Gambar 2 . Persentase Sentimen Aplikasi Merdeka Mengajar
*Sumber: Pengolahan data rating Aplikasi Merdeka Mengajar 2 November 2021 hingga 1 Agustus 2023 Rating yang diberikan oleh pengguna aplikasi Merdeka Mengajar dalam rentang waktu 2 November 2021 hingga 1 Agustus 2023 (Gambar 1 ), terdapat 2.214 (40%) pengguna memberikan rating 1, kemudian sebanyak 299 (4,5%) pengguna memberikan rating 2, rating 4 diberikan oleh 316 (5,5%) pengguna, dan 2.817 (50%) pengguna memberikan rating 5. Berdasarkan rating tersebut, cukup banyak pengguna yang memberikan rating rendah (1 dan 2) yang menunjukkan adanya kekecewaan terhadap aplikasi Merdeka Mengajar. Terdapat juga beberapa ulasan yang tidak sesuai dengan rating yang diberikan, seperti “sudah mencoba upload bukti Karya Saya, tetapi tidak bisa”. Ulasan tersebut menunjukkan adanya kekecewaan pengguna terhadap aplikasi, namun pengguna memberikan rating 4. Persentase ulasan negatif dan positif pada aplikasi merdeka mengajar dapat dilihat pada Gambar 2 setelah dilakukan pelabelan manual pada data komentar aplikasi Merdeka Mengajar.
Analisis  sentimen  terhadap  suatu  isu  di  media  sosial,  ulasan  produk,  serta  layanan  aplikasi  dapat diterapkan  dengan  menggunakan  pendekatan  algoritma machine  learning [ 7 ] . Algoritma  yang  dapat digunakan untuk melakukan analisis sentimen diantaranya adalah Naïve Bayes dan Support Vector Machine (SVM)  seperti  pada  penelitian  ini.  Kedua  algoritma  tersebut  merupakan  algoritma  yang  paling  banyak digunakan untuk klasifikasi teks dengan berbagai kinerja, bergantung dengan jumlah varian, fitur, serta banyaknya  data  yang  dikumpulkan. Naïve Bayes memiliki  kinerja  yang  sangat  baik  dalam  melakukan klasifikasi teks dengan jumlah data dan dokumen yang sedikit. Sedangkan untuk SVM merupakan salah satu  algoritma  klasifikasi  yang  paling  kuat  dan  tangguh  serta  memiliki  kinerja  yang  sangat  baik  dalam melakukan klasifikasi teks dengan jumlah data yang relatif banyak atau dokumen yang lengkap. Selain itu SVM  juga  telah  terbukti  memiliki  keunggulan  jika  dibandingkan  dengan  beberapa  metode  dalam supervised  learning lainnya.  Berdasarkan  beberapa  kelebihan  tersebut,  SVM  telah  menjadi  salah  satu metode klasifikasi yang paling banyak digunakan dalam beberapa tahun terakhir [ 8 ][ 9 ].
Penelitian tentang analisis sentimen terhadap suatu topik permasalahan di media sosial merupakan jenis penelitian yang sudah banyak dilakukan sebelumnya. Penelitian sebelumnya dilakukan pada tahun 2021  untuk  mengetahui  sentimen  publik  terhadap  kebijakan lockdown pemerintah  Jakarta.  Analisis
dilakukan menggunakan algoritma SVM, menghasilkan data positif sebanyak 1100 data, sedangkan untuk data negatif sebanyak 275 data dengan tingkat akurasi sebesar 74% [ 10 ]. Penelitian lain tentang analisis sentimen dilakukan menggunakan algoritma Naïve Bayes dan Decision Tree untuk mengetahui sentimen terhadap penularan virus COVID-19 ke penumpang commuter line . Hasil akhir menunjukkan bahwa Naïve Bayes memberikan tingkat akurasi lebih tinggi jika dibandingkan dengan Decision Tree, di mana Naïve Bayes  memiliki  tingkat  akurasi  mencapai  73,82%  sedangkan Decision  Tree memiliki  tingkat  akurasi sebesar 58,24% [ 11 ]. Penelitian lainnya dilakukan untuk mengetahui sentimen pada media sosial twitter terhadap kebijakan baru pemerintah Indonesia (Omnibus Law). Analisa dilakukan menggunakan algoritma Naïve Bayes , SVM, dan Decision  Tree . Dari algoritma yang digunakan, SVM memiliki tingkat  akurasi paling tinggi jika dibandingkan dengan Naïve Bayes dan Decision Tree. Tingkat akurasi SVM mencapai 91,80%, sedangkan Naïve Bayes (89,75%) dan Decision Tree (73,60%). Hasil akhir menunjukkan bahwa sebanyak 3.047 tweet memiliki sentimen positif dan 5.297 memiliki sentimen negatif [ 12 ].
Penelitian  lain  dilakukan  untuk  mengetahui  sentimen  terhadap  data  Twitter  Badan  Meteorologi, Klimatologi, dan Geofisika (BMKG) Nasional. Penelitian ini dilakukan dengan menggunakan algoritma Naïve Bayes dan menghasilkan tingkat akurasi sebesar 69,97% [ 13 ]. Penelitian tersebut bertujuan untuk memperoleh  gambaran  umum  persepsi  masyarakat  tentang  pelayanan  BMKG  Nasional.  Penelitian  lain dilakukan  untuk  mengetahui  sentimen  positif  dan  negatif  suatu  komentar  pada  media  sosial  YouTube dengan  menggunakan  klasifikasi Naïve  Bayes – Support  Vector  Machine (NBSVM).  Kombinasi Naïve Bayes dan SVM menghasilkan nilai precision sebesar 91%, nilai recall sebesar 83%, dan F 1 - score sebesar 87% [ 9 ]. Penelitian lain dilakukan untuk mengetahui sentimen terhadap kebijakan PPKM pada tahun 2021. Penelitian ini dilakukan dengan menerapkan N-Gram menggunakan algoritma Random Forest dan Naïve Bayes Classifier. Hasil penelitian menunjukkan bahwa nilai accuracy terbaik dari penggunaan unigram didapatkan ketika pengklasifikasian Random Forest dengan nilai accuracy sebesar 99,5% [ 14 ]. Penelitian  ini  bertujuan  untuk  menemukan  faktor-faktor  yang  mempengaruhi  pengguna  dalam memberikan  ulasan  positif  dan  negatif  terhadap  aplikasi  Merdeka  Mengajar  dengan  analisis  sentimen pengguna melalui ulasan atau komentar yang ditulis di Google Play Store dengan metode Naïve Bayes dan SVM. Hasil analisis yang dilakukan akan diproses kembali untuk memperoleh faktor yang dirasakan oleh pengguna  pada  saat  menggunakan  aplikasi  Merdeka  Mengajar.  Dari  penelitian  ini  diharapkan  dapat dijadikan  sebagai  bahan  masukan  kepada  Kemendikbudristek  untuk  meningkatkan  kualitas  aplikasi Merdeka  Mengajar  di  Indonesia.  Keterbaharuan  penelitian  ini  dapat  dilihat  dari  segi  segmentasi  yang memperhatikan  kelompok  guru  dalam  mengeksplorasi  ilmu  pengetahuan  secara  gratis  pada  aplikasi Merdeka  Mengajar.    Aplikasi  ini  memiliki  penerapan  nasional  atau  regional  yang  mempertimbangkan faktor-faktor kontekstual lokal maupun nasional sehingga dapat mempengaruhi sentimen terhadap aplikasi. Dampak penelitian ini menjadi tolak ukur bagi developer maupun pemerintah dalam mengukur efektivitas aplikasi untuk mencapai tujuan pendidikan yang berbeda dengan penelitian sebelumnya.

## 2. MATERI DAN METODE
Pada  penelitian  ini  terdapat  beberapa  tahapan  yang  dilakukan  seperti  Gambar 3 .  Tahapan  tersebut adalah pengumpulan data, pra-pemrosesan data ( pre-processing ), pelabelan data ( labelling ), ekstraksi kata, klasifikasi, evaluasi klasifikasi, analisis sentimen, dan kesimpulan.

## Pengumpulan Data
Pada tahapan ini, dilakukan pengambilan data yang bersumber dari ulasan pengguna aplikasi Merdeka Mengajar di Google Play Store dengan menggunakan metode scraping menggunakan pustaka Google-Play- Scraper pada pemrograman Python [ 15 ].

## Pra-pemrosesan Data
Langkah pertama yang dilakukan dalam mengklasifikasi teks adalah pra-pemrosesan data [ 16 ]. Pra- pemrosesan memiliki beberapa tahap yaitu:
1. Lowercasing / Case Folding, proses ini akan mengubah semua huruf dalam teks menjadi huruf kecil.
2. Remove Punctuations, proses ini akan menghapus tanda baca, URL, emoji, dan angka.
3. Remove Stopwords
Proses  ini  akan  menghilangkan  kata-kata  yang  dianggap  tidak  memiliki  arti  dengan  tujuan  untuk meningkatkan kecepatan eksekusi dan akurasi [ 17 ]. Kata-kata yang dianggap tidak memiliki arti mengacu pada basis data stopwords bahasa Indonesia [ 18 ].
4. Stemming
Proses ini akan mengubah semua kata dalam teks menjadi bentuk kata dasar dengan menghilangkan awalan dan akhiran kata.
5. Tokenization
Proses ini akan memecah kalimat dalam tweet menjadi kata-kata, dari proses tersebut dapat dihitung jumlah masing-masing dari kata yang muncul.
Filtering / Pelabelan Data
Data yang sudah dilakukan pra-pemrosesan akan menghasilkan data bersih yang dapat diproses lebih lanjut. Selanjutnya, data bersih tersebut diberikan label positif atau negatif secara manual. Data hasil filtering atau  pelabelan  akan  berbentuk  dokumen  dengan  format Comma  Separated  Value (CSV).  Pada  proses pelabelan data, ulasan aplikasi Merdeka Mengajar yang digunakan sudah memiliki rating 1-5. Namun, data ulasan  tersebut  seringkali  tidak  sesuai  dengan rating yang  diberikan.  Terdapat  beberapa  data  yang memberikan ulasan dengan sentimen positif namun memberikan rating 1-2. Begitupun sebaliknya, terdapat beberapa  ulasan  yang  memiliki  sentimen  negatif  namun  memberikan  rating  4-5.  Untuk  meminimalisir kesalahan pelabelan data tersebut apabila melakukan pelabelan data secara otomatis menggunakan python , maka dilakukan pelabelan manual. Pelabelan data pada tahapan ini dilakukan oleh dua orang dengan latar belakang pendidikan teknologi informasi.

## Ekstraksi Kata
Tahapan selanjutnya akan dilakukan ekstraksi fitur dari suatu kata dengan menggunakan metode Term Frequency-Inverse  Document  Frequency (TF-IDF).  Pada  saat  menghitung  frekuensi  kata,  masalah  yang paling umum terjadi adalah mulai banyaknya istilah kata yang terus berulang sehingga mendominasi teks. TF-IDF digunakan untuk melakukan evaluasi tentang pentingnya sebuah kata dalam suatu dokumen. Term frequency (TF) mewakili banyaknya frekuensi kata yang muncul dalam suatu dokumen. Inverse document frequency (IDF)  merupakan  suatu  metrik  untuk  mengukur  makna  suatu  kata  [ 19 ].  Untuk  mengetahui pentingnya suatu kata mewakili suatu kalimat, akan dilakukan pembobotan atau  perhitungan. Pemberian skor dalam TF-IDF didasarkan pada frekuensi munculnya kata dalam dokumen [ 20 ].
𝑇𝐹(𝑡, 𝑑) = 𝑁(𝑡,𝑑) 𝑇 ()
Persamaan 1 menjelaskan tentang perhitungan 𝑇𝐹(𝑡, 𝑑) merupakan frekuensi kata dari kata 𝑡 dalam dokumen 𝑑 , 𝑁(𝑡, 𝑑) adalah jumlah kata 𝑡 yang muncul dalam dokumen 𝑑 , dan 𝑇 merupakan total kata dalam dokumen.
𝐼𝐷𝐹(𝑡) =   log( 𝑁 𝑁(𝑡) ) ()
Persamaan 2 menjelaskan tentang perhitungan 𝐼𝐷𝐹(𝑡) yang menggambarkan jarangnya suatu kata muncul dalam dokumen, 𝑁 merupakan jumlah dokumen, dan 𝑁(𝑡) adalah jumlah dokumen dengan kata 𝑡 . 𝑇𝐹‐ 𝐼𝐷𝐹 = 𝑇𝐹(𝑡, 𝑑) ∗ 𝐼𝐷𝐹(𝑡) ()
Persamaan 3 digunakan untuk melakukan perhitungan TF-IDF, di mana dilakukan perkalian antara TF dengan IDF [ 19 ].

## Klasifikasi
Tahapan  yang  selanjutnya  melakukan  proses  klasifikasi  dengan  algoritma Naïve Bayes  dan  SVM. Tahapan ini dilakukan dengan menggunakan bahasa pemrograman Python melalui pustaka yang bernama scikit-learn. Scikit-learn merupakan pustaka machine learning yang paling komprehensif dan bersifat open source [ 21 ] . Untuk mendapatkan hasil akurasi tertinggi diantara dua model klasifikasi yang digunakan, maka tahapan klasifikasi ini dilakukan secara terpisah. Pada tahap ini, dibutuhkan data latih yang bersumber dari dataset yang digunakan [ 22 ]. Pada penelitian ini, klasifikasi dilakukan dengan perbandingan 90% data latih
Vol. 12 No. 1, Maret 2024, pp. 64~74 DOI: 10.35508/jicon.v12i1.14303
dan 10% data uji dari total dataset. Perbandingan data latih dan data uji 90:10 memiliki nilai akurasi paling tinggi untuk melakukan klasifikasi [ 23 ].

## Evaluasi Pemodelan Klasifikasi
Setelah  melakukan  pemodelan  klasifikasi  pada  tahap  sebelumnya,  pada  tahap  ini  dilakukan pengukuran  evaluasi  pada  kinerja  pemodelan  klasifikasi machine  learning .  Tahap  ini  dilakukan  untuk melakukan  perbandingan  keefektifan  dan  kinerja  kedua  pemodelan  klasifikasi machine  learning yang digunakan. Teknik yang digunakan pada tahap ini adalah dengan menggunakan confusion matrix . Confusion matrix merupakan matriks yang digunakan untuk merangkum total hasil klasifikasi yang benar dan salah [ 24 ]. Confusion matrix dapat dilihat  pada Tabel 1 . Berdasarkan kombinasi dari nilai True Positive (TP), False Negative (FN), False Positive (FP), dan True Negative (TN) akan didapatkan empat hasil pengukuran. Empat  hasil  tersebut  adalah accuracy , precision,  recall ,  dan  F 1 - score .  Nilai accuracy didapatkan menggunakan  Persamaan 4 ,  nilai precision menggunakan  Persamaan 5 , recall didapatkan  menggunakan Persamaan 6 , dan nilai F 1 - score menggunakan Persamaan 7 [ 25 ].
Tabel 1. Confusion Matrix Prediction Actual Positive Negative Positive True Positive (TP) False Positive (FP) Negative False Negative (FN)  True Negative (TN) 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁 () 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 () 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+𝐹𝑁 ()
𝐹 1 ‐ 𝑆𝑐𝑜𝑟𝑒 = 2 × 𝑟𝑒𝑐𝑎𝑙𝑙 × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑟𝑒𝑐𝑎𝑙𝑙 + 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ()

## Analisis Sentimen
Tahap selanjutnya adalah melakukan analisis sentimen dengan menghitung frekuensi kata positif dan negatif yang muncul  pada ulasan pengguna  dengan  menggunakan fitur n-gram . N-gram digunakan untuk melakukan penggabungan kata-kata penting yang sering muncul untuk menunjukkan suatu sentimen pada dokumen atau ulasan [ 14 ]. 3. HASIL DAN PEMBAHASAN

## Hasil Anotasi Data
Data ulasan pengguna aplikasi Merdeka Mengajar yang didapatkan pada tahapan ini berjumlah 5.646 data, di mana data tersebut berasal dari rentang waktu 2 November 2021 hingga 1 Agustus 2023. Data tersebut diambil dengan metode scraping menggunakan bantuan Google-Play-Scraper. Data ulasan yang diambil merupakan ulasan pengguna dengan nilai rating yang beragam dari nilai 1 sampai 5. Anotasi dilakukan secara manual untuk mengelompokkan ulasan ke dalam 2 kelompok sentimen, yakni positif dan negatif. Data hasil anotasi disimpan ke dalam dokumen CSV untuk diproses pada tahapan selanjutnya. Hasil Pra pemrosesan Data
Pada tahap prapemrosesan data, dokumen CSV hasil anotasi akan dilakukan proses sebanyak lima tahap.  Tahapan  tersebut  adalah case  folding,  remove  punctuation,  remove  stopwords,  stemming, dan tokenizing. Hasil dari tahap pra pemrosesan dapat dilihat pada Tabel 2 .
Tabel 2. Hasil Prapemrosesan Data Tahap Hasil Scraping data Terima  kasih  adanya  kurikulum  Merdeka  Mengajar.  Memudahkan  saya belajar. Dan bukunya juga lengkap sangat memuaskan!! Case folding terima  kasih  adanya  kurikulum  Merdeka  Mengajar.  memudahkan  saya belajar. dan bukunya juga lengkap sangat memuaskan!! Remove punctuation terima  kasih  adanya  kurikulum  Merdeka  Mengajar  memudahkan  saya belajar dan bukunya juga lengkap sangat memuaskan Remove stopwords terima kasih kurikulum Merdeka Mengajar memudahkan belajar bukunya lengkap memuaskan Stemming terima kasih kurikulum merdeka ajar mudah ajar buku lengkap puas Tokenizing terima | kasih | kurikulum merdeka | ajar | mudah | ajar buku | lengkap | puas

## Pembagian Dataset untuk Pemodelan Klasifikasi
Pemodelan  klasifikasi  pada  tahapan  ini  yang  digunakan  adalah Naïve Bayes dan  SVM  yang menggunakan data latih untuk menghasilkan model prediksi sentimen analisis. Untuk melakukan evaluasi hasil prediksi oleh model klasifikasi maka digunakan data uji dari dataset . Perbandingan untuk data latih dan data uji pada penelitian ini adalah 90:10 yang dapat memberikan hasil terbaik dalam evaluasi [ 23 ]. Sedangkan untuk metode Naïve Bayes perbandingan data latih 90 dan data uji 10 menghasilkan tingkat akurasi terbaik 92,47% dalam pemodelan klasifikasi [ 7 ]. Pembagian tersebut dihasilkan melalui pustaka scikit-learn . Pada penelitian ini, pembagian data latih dan data uji dapat dilihat pada Tabel 3 .
Tabel 3. Data Latih dan Data Uji Label Data Latih Data Uji Negatif 2401 259 Positif 2680 219 Jumlah 5081 478 Hasil Evaluasi Pemodelan Klasifikasi Untuk mendapatkan nilai accuracy , precision, recall, dan F 1 - score untuk model klasifikasi pada penelitian ini, perlu dilakukan evaluasi dengan menggunakan confusion matrix [ 24 ]. Hasil confusion matrix dari model Naïve Bayes dapat dilihat pada Gambar 4 dan hasil confusion matrix dari model SVM dapat dilihat pada Gambar 5 .
Gambar 4. Confusion Matrix dari Naïve Bayes Gambar 5. Confusion Matrix dari SVM
Berdasarkan 478 data yang digunakan sebagai data uji untuk kedua sentimen dari Gambar 4 , nilai kombinasi yang didapatkan adalah sebagai berikut:
• True Positive menunjukkan hasil sebesar 38,28%, hasil tersebut menunjukkan bahwa sebanyak 183 data dengan ulasan positif diprediksi dengan benar oleh Naïve Bayes sebagai ulasan positif.
• True Negative menunjukkan hasil sebesar 47,08%, hasil tersebut menunjukkan bahwa sebanyak 225 data dengan ulasan negatif diprediksi dengan benar oleh Naïve Bayes sebagai ulasan negatif.
• False Positive menunjukkan hasil sebesar 7,11%, hasil tersebut menunjukkan bahwa sebanyak 34 data dengan ulasan negatif salah diprediksi oleh Naïve Bayes sebagai label positif.
• False Negative menunjukkan hasil sebesar 7,53%, hasil tersebut menunjukkan bahwa sebanyak 36 data dengan ulasan positif salah diprediksi oleh Naïve Bayes sebagai label negatif.
• Berdasarkan  478  data  yang  digunakan  sebagai  data  uji  untuk  kedua  sentimen  dari  Gambar 5 ,  nilai kombinasi yang didapatkan adalah sebagai berikut:
• True positive menunjukkan hasil sebesar 43,10%, hasil tersebut menunjukkan bahwa sebanyak 206 data dengan ulasan positif diprediksi dengan benar oleh SVM sebagai ulasan positif.
• True negative menunjukkan hasil  sebesar 46,44%, hasil  tersebut  menunjukkan bahwa sebanyak  222 data dengan ulasan negatif diprediksi dengan benar oleh SVM sebagai ulasan negatif.
• False positive menunjukkan hasil sebesar 7,74%, hasil tersebut menunjukkan bahwa sebanyak 37 data dengan ulasan negatif salah diprediksi oleh SVM sebagai label positif.
• False negative menunjukkan hasil sebesar 2,72%, hasil tersebut menunjukkan bahwa sebanyak 13 data dengan ulasan positif salah diprediksi oleh SVM sebagai label negatif. Hasil evaluasi pemodelan klasifikasi dengan menggunakan confusion matrix menunjukkan bahwa model klasifikasi Naïve Bayes memprediksi dengan benar sebanyak 408 data yang terdiri atas 183 data dengan sentimen positif dan 225 data dengan sentimen negatif. Untuk data yang salah diprediksi dengan model klasifikasi Naïve Bayes berjumlah 70 data yang terdiri atas 34 data dengan sentimen negatif dan 36 data dengan sentimen positif.  Untuk pemodelan dengan klasifikasi SVM, jumlah data yang dapat diprediksi
dengan benar berjumlah 428 data. Jumlah tersebut terdiri atas 206 data dengan sentimen positif dan 222 data dengan sentimen negatif. Untuk jumlah data yang salah diprediksi dengan model klasifikasi  SVM berjumlah 50 data yang terdiri atas 37 data dengan sentimen negatif dan 13 data dengan sentimen positif. Setelah melakukan pengukuran evaluasi klasifikasi pemodelan, dapat diperoleh nilai precision, recall, dan F 1- score dari masing-masing model klasifikasi [ 26 ]. Hasil nilai tersebut dapat dilihat pada Tabel 4 . Tabel 4. Nilai Precision , Recall , dan F 1 -Score Model Klasifikasi Label Precision  Recall  F 1 - Score Naïve Bayes Positif 0,84 0,83 0,84 Negatif 0,86 0,87 0,86 SVM Positif 0,85 0,94 0,89 Negatif 0,94 0,86 0,90 Berdasarkan  Persamaan 4 ,  nilai accuracy yang  dihasilkan  oleh  model  klasifikasi Naïve Bayes adalah sebesar 0,8535 atau 85,35%. Sedangkan untuk model klasifikasi SVM adalah sebesar 0,8954 atau 89,54%. Berdasarkan data tersebut, dapat disimpulkan bahwa model klasifikasi SVM memiliki nilai akurasi lebih tinggi jika dibandingkan dengan model klasifikasi Naïve Bayes untuk penelitian sentimen analisis aplikasi Merdeka Mengajar. Nilai akurasi SVM lebih tinggi dikarenakan algoritma SVM mengunakan dua kernel yaitu kernel polynomial dan Radial Basis Function (RBF) yang tidak ada dalam algoritma Naïve Bayes.
Setelah dilakukan perhitungan dengan menggunakan  model klasifikasi Naïve Bayes dan SVM, selanjutnya  adalah  menambahkan  fitur n-gram pada  kedua  model  tersebut  [ 13 ][ 16 ].  Hasil  klasifikasi kalimat baru menggunakan Naïve Bayes dan SVM dapat dilihat pada Tabel 5 dan Tabel 6 . Tabel 5 . Hasil Klasifikasi Kalimat Baru dengan Naïve Bayes Kalimat NB NB+ Unigram NB+ Bigram NB+ Trigram Aktivasi tidak bisa langsung login Pos (+) Pos (+) Neg (-) Neg (-) Aplikasi bagus, namun belum ada di IOS Neg (-) Pos (+) Pos (+) Neg (-) Tabel 6 . Hasil Klasifikasi Kalimat Baru dengan SVM Kalimat SVM SVM+ Unigram SVM+ Bigram SVM+ Trigram Aktivasi tidak bisa langsung login Pos (+) Pos (+) Neg (-) Neg (-) Aplikasi bagus, namun belum ada di IOS Neg (-) Pos (+) Pos (+) Neg (-)
Setelah melalui  tahap klasifikasi pada kalimat, tahapan selanjutnya  adalah melakukan  evaluasi dengan  menggunakan n-gram dan  akan  dibandingkan  dengan  hasil  pada  tahapan  sebelumnya . Hasil evaluasi dari masing-masing model dapat dilihat pada Tabel 7 dan Tabel 8 . Tabel 7 . Hasil Evaluasi Klasifikasi dengan Naive Bayes dan N-Gram Evaluasi NB NB+ Unigram NB+ Bigram NB+ Trigram Accuracy 0,85 0,87 0,82 0,86 Recall 0,85 0,83 0,81 0,82 Precision 0,86 0,87 0,86 0,86 F 1 - score 0,85 0,87 0,86 0,86 Tabel 8. Hasil Evaluasi Klasifikasi dengan SVM dan N-Gram Evaluasi SVM SVM+ Unigram SVM+ Bigram SVM+ Trigram Accuracy 0,89 0,91 0,89 0,90 Recall 0,90 0,92 0,91 0,91 Precision 0,89 0,88 0,89 0,88 F 1- score 0,89 0,88 0,89 0,90 Berdasarkan evaluasi model Naïve Bayes dan SVM dengan menambahkan n-gram , yang bertujuan untuk  mencari  kata  yg  paling  sering  keluar  per  1  kata,  2  kata,  dst.  Nilai  akurasi Naïve Bayes sebelum ditambahkan n-gram yaitu 0,85 atau 85% dan meningkat menjadi 0,86 atau 86% saat ditambahkan dengan n-gram . Sedangkan untuk model SVM memiliki nilai akurasi awal sebesar 0,89 atau 89% dan meningkat menjadi  0,91 atau 91% saat  ditambahkan dengan n-gram . Hasil  evaluasi model Naïve Bayes dan SVM dengan menambahkan n-gram , menunjukkan bahwa sebanyak 3.225 (57%) ulasan bersifat positif dan 2421 (43%) ulasan bersifat negatif pada aplikasi Merdeka Mengajar.

## Analisis Hasil Sentimen
Tahap selanjutnya dilakukan perhitungan frekuensi kata yang paling sering muncul dalam ulasan pengguna aplikasi Merdeka Mengajar. Frekuensi kata tersebut digunakan untuk mengetahui faktor-faktor yang  memengaruhi  pengguna  dalam  memberikan  ulasan  positif  atau  negatif  pada  aplikasi  Merdeka Mengajar. Perhitungan frekuensi kata positif dan negatif yang paling sering muncul pada ulasan pengguna dilakukan dengan menggunakan n-gram , frekuensi kata tersebut dibagi ke dalam 3 bagian yaitu per 1 kata ( unigram ), per 2 kata ( bigram ), dan per 3 kata ( trigram ) . Ulasan negatif yang diberikan oleh pengguna aplikasi Merdeka Mengajar dapat dilihat pada Gambar 6 .
Gambar 6. Frekuensi Kata Negatif dengan
Unigram
Gambar 7. Frekuensi Kata Negatif dengan
Bigram
Gambar 8. Frekuensi Kata Negatif dengan Trigram
Pada  Gambar 6 menunjukkan  frekuensi  kata  negatif  dalam  ulasan  pengguna  pada  aplikasi Merdeka Mengajar. Kata “IOS” menjadi kata yang paling sering muncul pada ulasan dengan jumlah 328 kata. Kata tersebut diklasifikasikan dengan ulasan negatif karena merupakan satu kalimat dengan kata yang lain sehingga diklasifikasikan sebagai kata negatif. Selanjutnya diikuti dengan kata “ajar”, dan “aplikasi” dengan jumlah kata masing-masing 293 dan 278 kata. Selanjutnya pada Gambar 7 menunjukkan frekuensi kata negatif per 2 kata ( bigram ). Kata bigram dengan sentimen negatif yang paling sering muncul pada ulasan pengguna adalah “rilis IOS” dengan total 237 kata, kemudian “ bug login ” dengan total 176 kata dan “versi IOS” dengan total 155 kata. Pada Gambar 8 terdapat frekuensi kata negatif per 3 kata ( trigram ) pada ulasan aplikasi Merdeka Mengajar yang telah dituliskan oleh pengguna. Kata yang paling sering muncul adalah “rilis IOS tolong” sejumlah 102 kata, selanjutnya terdapat kata “bug login baik” dengan total 93 kata dan kata “aplikasi bagus IOS” dengan ju mlah 91 kata.
Berdasarkan  frekuensi  kata  negatif  yang  muncul  pada unigram,  bigram, dan trigram dapat diketahui  faktor-faktor  yang  mempengaruhi  pengguna  dalam  memberikan  ulasan  negatif  pada  aplikasi Merdeka  Mengajar  [ 2 ][ 6 ].  Faktor  tersebut  diantaranya  adalah  belum  tersedianya  aplikasi  Merdeka Mengajar dalam versi IOS sehingga aplikasi tersebut belum dapat dimanfaatkan oleh para pengguna IOS. Selain  itu,  terdapat  kata  “bug  login”  yang  menunjukkan  masih  terdapat bug atau error pada  aplikasi Merdeka Mengajar ketika pengguna mencoba untuk melakukan login ke dalam aplikasi. Terdapat beberapa kata yang memiliki makna positif pada ulasan negatif yang diberikan oleh pengguna, kata-kata tersebut seperti “baik” dan “bagus”. Namun, kata tersebut digunakan oleh pengguna untuk menuliskan komentar seperti “tolong diperbaiki” yang memiliki makna negatif. Kata “baik” muncul sebagai bagian dari hasil proses stemming pada kata “diperbaiki” yang dilakukan pada tahapan pre-processing data. Kata “bagus” didapatkan dari ulasan pengguna seperti “aplikasi bagus, namun masih terdapat bug pada bagian modul”, sehingga kata “bagus” memiliki makna negatif.
Ulasan negatif tersebut menunjukkan adanya kekurangan pada aplikasi Merdeka Mengajar seperti kesulitan pada saat login setelah melakukan aktivasi, pihak Kemendikbudristek perlu melakukan update pada aplikasi terbaru sehingga dapat membersihkan aplikasi dari error atau bug . Ulasan lain ialah belum
tersedianya  aplikasi  Merdeka  Mengajar  untuk  IOS,  pihak  Kemendikbudristek  diharapkan  dapat mempertimbangkan untuk merilis aplikasi Merdeka Mengajar versi IOS untuk mengakomodasi para tenaga pengajar yang menggunakan IOS agar dapat ikut merasakan manfaat aplikasi Merdeka Mengajar. Ulasan positif yang diberikan oleh pengguna aplikasi Merdeka Mengajar dapat dilihat pada Gambar 9 .
Gambar 9. Frekuensi Kata Positif dengan
Unigram
Gambar 10. Frekuensi Kata Positif dengan
Bigram
Gambar 11. Frekuensi Kata Positif dengan Trigram
Terdapat beberapa kata yang paling sering muncul pada ulasan positif yang diberikan seperti pada Gambar 9 terdapat frekuensi 1 kata ( unigram ) yang paling sering muncul adalah kata “bantu” sejumlah 596 kata,  diikuti  dengan  kata  “ajar”  sebanyak  425  kata  dan  “bagus”  dengan  282  kata. Pada  Gambar 10 menunjukkan frekuensi 2 kata ( bigram ) yang paling sering muncul dalam ulasan, kata yang paling sering muncul adalah “bantu  ajar” dengan 203 kata, diikuti oleh kata  “aplikasi  bagus” sejumlah 167 kata dan “aplikasi manfaat” dengan 143 kata. Selanjutnya pada Gambar 11 terdapat frekuensi 3 kata ( trigram ) yang paling  sering  muncul.  Terdapat  kata  “bantu  ajar  guru”  sebagai  kata  yang  paling  sering  muncul  dengan jumlah sebanyak 113 kata, kemudian “aplikasi bagus bantu” sebanyak 101 kata, dan “aplikasi manfaat ajar” sebanyak 93 kata.
Berdasarkan frekuensi kata-kata positif unigram, bigram, dan trigram yang paling sering muncul pada ulasan, dapat diketahui faktor-faktor yang memengaruhi pengguna dalam memberikan ulasan positif pada aplikasi Merdeka Mengajar. Kata “bantu ajar guru” menjadi kata dengan frekuensi terbanyak yang muncul dalam ulasan. Kata tersebut mengindikasikan bahwa aplikasi Merdeka Mengajar membantu guru dalam  kegiatan  belajar  mengajar  di  sekolah,  selain  kata  tersebut,  terdapat  kata  “aplikasi  bagus  bantu”, “aplikasi manfaat ajar”, dan “modul ajar guna”. Kata tersebut didapatkan dari pengguna yang memberikan ulasan seperti “aplikasi Merdeka Mengajar bermanfaat dalam kegiatan belajar mengajar”, dan “modul yang ada bermanfaat dan berguna dalam kegiatan belajar dan mengajar”. Hal ini menunjukkan dampak positif yang dirasakan oleh pengguna ketika menggunakan aplikasi Merdeka Mengajar.
Berdasarkan  frekuensi  kata  yang  paling  sering  muncul,  dapat  disimpulkan  alasan  mengapa pengguna  memberikan  ulasan  positif  pada  saat  menggunakan  aplikasi  Merdeka  Mengajar  [ 6 ].  Alasan tersebut  antara  lain  seperti  aplikasi  Merdeka  Mengajar  membantu  guru  dalam  mempersiapkan  bahan pelajaran, aplikasi Merdeka Mengajar memberikan manfaat bagi para guru, dan aplikasi Merdeka Mengajar mempermudah  kegiatan  belajar  mengajar  [ 1 ].  Sebaliknya,  untuk  ulasan  negatif  yang  diberikan  oleh pengguna disebabkan oleh beberapa faktor seperti belum tersedianya aplikasi Merdeka Mengajar dalam versi IOS, aplikasi masih mengalami error atau bug , dan aplikasi belum memuat modul pelajaran yang dibutuhkan oleh guru secara lengkap [ 4 ]. Untuk dapat meningkatkan pelayanan serta manfaat dari aplikasi Merdeka Mengajar, pihak kemendikbudristek diharapkan dapat melakukan update dan maintenance untuk aplikasi  Merdeka  Mengajar  agar  dapat  terhindar  dari  permasalahan  seperti error atau bug ,  menambah kelengkapan  modul  ajar  pada  aplikasi  Merdeka  Mengajar,  dan  agar  pihak  kemendikbudristek mempertimbangkan untuk segera merilis aplikasi Merdeka Mengajar untuk versi IOS dengan harapan dapat
mengakomodir para guru yang menggunakan IOS agar dapat ikut merasakan manfaat aplikasi Merdeka Mengajar [ 2 ][ 4 ][ 6 ].
4. KESIMPULAN DAN SARAN
Berdasarkan review dan rating sejak tanggal 2 November 2021 hingga 1 Agustus 2023, terdapat sebanyak 5.646 ulasan yang dituliskan oleh pengguna aplikasi Merdeka Mengajar di Google Play Store. Hasil sentimen ulasan tersebut menunjukkan bahwa terdapat 3.225 (57%) ulasan bersifat positif dan 2421 (43%)  ulasan  bersifat  negatif.  Pemodelan  klasifikasi  dengan  menggunakan Naïve Bayes  menghasilkan tingkat akurasi sebesar 85,35% sedangkan pemodelan dengan menggunakan SVM menghasilkan tingkat akurasi  sebesar  89,54%.  Setelah  dilakukan  evaluasi  dengan  menambahkan n-gram ,  nilai  akurasi Naïve Bayes  menjadi  86%  dan  nilai  akurasi  SVM  menjadi  91%  sehingga  dapat  disimpulkan  ulasan  aplikasi Merdeka Mengajar bernilai positif. Penelitian ini menghasilkan faktor-faktor yang memengaruhi pengguna dalam memberikan ulasan positif atau negatif pada aplikasi Merdeka Mengajar. Faktor penyebab pengguna memberikan ulasan positif antara lain aplikasi Merdeka Mengajar merupakan aplikasi yang bagus serta dapat membantu guru dalam kegiatan belajar mengajar. Sedangkan faktor penyebab pengguna memberikan ulasan  negatif  pada  aplikasi  Merdeka  Mengajar  antara  lain  meminta  agar  versi  IOS  segera  dirilis  dan terdapat beberapa bug atau error dalam aplikasi. Saran untuk penelitian selanjutnya adalah menambahkan teknik sentiment  scoring untuk  mengklasifikasikan  kalimat  ke  dalam  kelas  positif,  negatif,  atau  netral dengan  sistem scoring sesuai  dengan  nilai  tiap  kata  dalam  kalimat  agar  dapat  meminimalisi  kesalahan pelabelan  sentimen.  Selain  itu,  peneliti  selanjutnya  dapat  menambahkan  karakter n-gram dengan  n=4 (quadgram) sebagai salah satu pembanding untuk penerapan unigram , bigram , dan trigram .

## DAFTAR PUSTAKA
[1] E. Susilawati, S. Sarifudin, and S. Muslim, “Internalisasi Nilai Pancasila Dalam Pembelajaran Melalui Penerapan Profil Pelajar Pancasila Berbantuan Platform Merdeka Mengajar,” J. Teknodik , vol. 25, pp. 155 – 167, 2021, doi: 10.32550/teknodik.v25i2.897 .
[2]  A. Silvi Lisvian Sari, C. Pramesti, and R. R. Suliana, “ Sosialisasi Platform Merdeka Mengajar Sebagai Wadah Belajar Dan Berkreasi Guru ,” J. Penamas Adi Buana , vol. 6, no. 01, pp. 63 – 72, 2022. [Online]. Available: http://jurnal.unipasby.ac.id/index.php/penamas.
[3] A. Arnes, M. Muspardi, and Y. Yusmanila, “Analisis Pemanfaatan Platform Merdeka Mengajar Oleh Guru PPKn untuk Akselerasi Implementasi Kurikulum Merdeka,” Edukatif  J. Ilmu Pendidik. , vol. 5, no. 1, pp. 60 – 70, 2023, doi: 10.31004/edukatif.v5i1.4647 .
[4] D.  Marisana,  S.  Iskandar,  and  D.  T.  Kurniawan,  “Penggunaan  Platform  Merdeka  Mengajar  untuk Meningkatkan Kompetensi Guru di Sekolah Dasar,” J. Basicedu , vol. 7, no. 1, pp. 139 – 150, 2023, doi: 10.31004/basicedu.v7i1.4363 .
[5] D. A. K. Arisanti, “Analisis Kurikulum Merdeka Dan Platform Merdeka Belajar Untuk Mewujudkan Pendidikan  Yang  Berkualitas,” J.  Penjaminan  Mutu ,  vol.  8,  no.  02,  pp.  243 – 250,  2022,  doi:
10.25078/jpm.v8i02.1386 .
[6] A. Ketaren, F. Rahman, H. P. Meliala, N. Tarigan, and R. Simanjuntak, “Monitoring dan Evaluasi Pemanfaatan  Platform  Merdeka  Mengajar  pada  Satuan  Pendidikan  Aswinta,” J.  Pendidik.  dan Konseling , vol. 4, no. 6, pp. 10340 – 10343, 2022, doi: 10.31004/jpdk.v4i6.10030 .
[7]  R. I. Alhaqq, I M. K. Putra, and Y. Ruldeviyani, “Analisis Sentimen terhadap Penggunaan Aplikasi MySAPK BKN di Google Play Store,” J. Nas. Tek. Elektro dan Teknol. Inf. , vol. 11, no. 2, pp. 105 – 113, 2022, doi: 10.22146/jnteti.v11i2.3528 .
[8]  J. Cervantes, F. Garcia-Lamont, L. Rodríguez- Mazahua, and A. Lopez, “A comprehensive survey on support  vector  machine  classification:  Applications,  challenges  and  trends,” Neurocomputing ,  vol. 408, no. xxxx, pp. 189 – 215, 2020, doi: 10.1016/j.neucom.2019.10.118 .
[9] A. N. Muhammad, S. Bukhori, and P. Pandunata, “Sentiment Analysis of Positive and Negative of YouTube Comments Using Naïve Bayes- Support Vector Machine (NBSVM) Classifier,” Proc. - 2019 Int. Conf. Comput. Sci. Inf. Technol. Electr. Eng. ICOMITEE 2019 , vol. 1, pp. 199 – 205, 2019, doi: 10.1109/ICOMITEE.2019.8920923 .
[10] A. R. Isnain, A. I. Sakti, D. Alita, and N. S. Marga, “Sentimen Analisis Publik Terhadap Kebijakan Lockdown Pemerintah Jakarta Menggunakan Algoritma Svm,” J. Data Min. dan Sist. Inf. , vol. 2, no. 1, p. 31, 2021, doi: 10.33365/jdmsi.v2i1.1021 .
[11] I. C. Sari and Y. Ruldeviyani, “Sentiment Analysis of the Covid -19 Virus Infection in  Indonesian Public Transportation on Twitter Data: A Case Study of Commuter Line Passengers,” 2020 Int. Work. Big Data Inf. Secur. IWBIS 2020 , pp. 23 – 28, 2020, doi: 10.1109/IWBIS50925.2020.9255531 .
[12]  E.  A.  Sukma,  A.  N.  Hidayanto,  A.  I.  Pandesenda,  A.  N.  Yahya,  P.  Widharto,  and  U.  Rahardja, “Sentiment Analysis of the New  Indonesian Government  Policy (Omnibus Law) on Social  Media
Vol. 12 No. 1, Maret 2024, pp. 64~74 DOI: 10.35508/jicon.v12i1.14303
Twitter,” Proc. - 2nd Int. Conf. Informatics, Multimedia, Cyber, Inf. Syst. ICIMCIS 2020 , no. July 2017, pp. 153 – 158, 2020, doi: 10.1109/ICIMCIS51567.2020.9354287 .
[13] D. Darwis, N. Siskawati, and Z. Abidin, “Penerapan Algoritma Naive Bayes Untuk Analisis Sentimen Review  Data  Twitter  Bmkg  Nasional,” J.  Tekno  Kompak ,  vol.  15,  no.  1,  p.  131,  2021,  doi: 10.33365/jtk.v15i1.744 .
[14] P. P. E. Indarbensyah and N. Rochmawati, “Penerapan N -Gram menggunakan Algoritma Random Forest dan Naïve Bayes Classifier pada Analisis Sentimen Kebijakan PPKM 2021,” J. Informatics Comput. Sci. , vol. 2, no. 04, pp. 235 – 244, 2021, doi: 10.26740/jinacs.v2n04.p235-244 .
[15] R. M. Amir Latif, M. Talha Abdullah, S. U. Aslam Shah, M. Farhan, F. Ijaz, and A. Karim, “Data scraping from google play store and visualization of its content for analytics,” 2019 2nd Int. Conf. Comput. Math. Eng. Technol. iCoMET 2019 , no. July, 2019, doi: 10.1109/ICOMET.2019.8673523 .
[16] D. Effrosynidis, S. Symeonidis, and A. Arampatzis, “A Comparison Of Pre-Processing Techniques For Twitter Sentiment Analysis ,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics) , vol. 10450 LNCS, no. September, pp. 394 – 406, 2017, doi: 10.1007/978- 3-319-67008-9_31 .
[17] J.  Kaur,  “Stopwords  Removal  and  Its  Algorithms  Based  on  Different  Methods,” Int.  J.  Adv.  Res. Comput. Sci. , vol. 9, no. 5, pp. 81 – 88, 2018, doi: 10.26483/ijarcs.v9i5.6301 .
[18] F.  Z.  Tala,  “A  Study  of  Stemming  Effects  on  Information  Retrieval  in  Bahasa  Indonesia,” M.Sc. Thesis,  Append.  D ,  vol.  pp,  pp.  39 – 46,  2003.  [Online].  Available:  https://eprints.illc.uva.nl/ id/eprint/740
[19] A. S. Neogi, K. A. Garg, R. K. Mishra, and Y. K. Dwivedi, “ Sentiment Analysis And Classification Of Indian Farmers’ Protest Using Twitter Data,” Int. J. Inf. Manag. Data Insights , vol. 1, no. 2, p. 100019, 2021, doi: 10.1016/j.jjimei.2021.100019 .
[20] A.  M.  Pravina,  I.  Cholissodin,  and  P.  P.  Adikara,  “Analisis  Sentimen  Tentang  Opini  Maskapai Penerbangan pada Dokumen Twitter Menggunakan Algoritma Support Vector Machine (SVM),” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 3, pp. 2789 – 2797, 2019. [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/4793 .
[21] J. Hao and T. K. Ho, “Machine Learning Made Easy: A Review of Scikit -learn Package in Python Programming  Language,” J.  Educ.  Behav.  Stat. ,  vol.  44,  no.  3,  pp.  348 – 361,  2019,  doi:
10.3102/1076998619832248 .
[22]  S. Al-Saqqa, G. Al- Naymat, and A. Awajan, “A large -scale sentiment data classification for online reviews under apache spark,” Procedia Comput. Sci. , vol. 141, no. November, pp. 183 – 189, 2018, doi: 10.1016/j.procs.2018.10.166 .
[23] M. R. Nadhif, D. Wisnu Brata, and B. Rahayudi, “Analisis Sentimen Data Ulasan Pengguna Aplikasi TIX ID di Indonesia pada Google Play Store menggunakan Support Vector Machine,” J. Pengemb. Teknol.  Inf.  dan  Ilmu  Komput. ,  vol.  6,  no.  8,  pp.  3932 – 3937,  2022.  [Online].  Available: https://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/11477 .
[24] I. Markoulidakis, I. Rallis, I. Georgoulas, G. Kopsiaftis, A. Doulamis, and N. Doulamis, “Multiclass Confusion  Matrix  Reduction  Method  and  Its  Application  on  Net  Promoter  Score  Classification Problem,” Technologies , vol. 9, no. 4, 2021, doi: 10.3390/technologies9040081 .
[25] S. Rajalakshmi, S. Asha, and N. Pazhaniraja, “A comprehensive survey on sentiment analysis,” 2017 4th  Int.  Conf.  Signal  Process.  Commun.  Networking,  ICSCN  2017 ,  no.  June,  2017,  doi: 10.1109/ICSCN.2017.8085673 .
[26] A. Polyvyanyy, A. Solti, M. Weidlich, C. Di Ciccio, and J. Mendling, “Monotone Precision and Recall Measures for Comparing Executions and Specifications of Dynamic Systems,” ACM Trans. Softw. Eng. Methodol. , vol. 29, no. 3, Jun. 2020, doi: 10.1145/3387909 .