## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012

## Pengaruh Oversampling dan Cross Validation Pada Model Machine Learning Untuk Sentimen Analisis Kebijakan Luaran Kelulusan Mahasiswa
Mufida Rahayu, Ardytha Luthfiarta * , Lailatul Cahyaningrum, Alya Nurfaiza Azzahra
Fakultas Ilmu Komputer, Teknik Informatika, Universitas Dian Nuswantoro, Semarang, Indonesia Email: 1 mufidarahayu2002@gmail.com, 2,* ardytha.luthfiarta@dsn.dinus.ac.id, 3 lailacahya22@gmail.com,
4 alyaanurfaizaa20@gmail.com Email Penulis Korespondensi: ardytha.luthfiarta@dsn.dinus.ac.id
Abstrak− Menteri  Pendidikan,  Kebudayaan,  Riset  dan  Teknologi  mengeluarkan  kebijakan  baru  tentang  standar  kelulusan mahasiswa S1 dan D4. Kebijakan ini disampaikan tanggal 29 Agustus 2023 pada live streaming youtube kemendikbudristek di seminar Merdeka Belajar episode 26 : Transformasi Standar Nasional dan Akreditasi Pendidikan Tinggi. Kebijakan tersebut menimbulkan  berbagai  macam  tanggapan  positif  dan  negatif  dimasyarakat.  Berdasarkan  permasalah  tersebut  penelitian  ini melakukan analisis sentimen bagaimana sikap dan tanggapan masyarakat terkait hal tersebut, sehingga dapat berguna untuk masyarakat kedepannya. Penelitian ini menggunakan dua algoritma Naïve Bayes Classifier (NBC) dan K-Nearest Neighbor (KNN) dengan pengumpulan data yang dilakukan melalui komentar video youtube mendapatkan jumlah dataset sebanyak 1085 data. Setelah itu  masuk pada pre-processing  data  yang  kemudian  dilakukan pelabelan  menggunakan  metode  Lexicon-based dengan  metode  stemming  Sastrawi.  Dataset  dikelompokkan  menjadi  sentimen  positif  dan  sentimen  negatif  di  mana  hasil pelabelan  menunjukkan  data  label  yang  tidak  seimbang.  Maka  dilakukan  metode  oversampling  Synthetic  Minority  Over- sampling  Technique  (SMOTE)  supaya  data  dapat  seimbang  dan  menghasilkan  akurasi  yang  baik. Hasil  pengujian  setelah dilakukan  teknik  SMOTE  menunjukkan  algortima  NBC  memiliki  akurasi  tertinggi  dibandingkan  dengan  KNN.  Hasil akurasinya  yaitu  74%,  precision  74.6%,  recall  74%  dan  f1-score  73.9%.  Sementara  KNN  menghasilkan  akurasi  50.2%, precision 75.2%, recall 50.2% dan f1-score 34.5 %.
Kata Kunci: Standar Kelulusan; Analisis Sentimen; Naïve Bayes Classifier; K-Nearest Neighbor; Lexicon-based; Youtube; SMOTE
Abstract− The  Minister  of  Education,  Culture,  Research  and  Technology  issued  a  new  policy  on  graduation  standards  for undergraduate  and  postgraduate  students.  This  policy  was  delivered  on  August  29,  2023,  on  live  streaming  YouTube Kemendikbudristek at the Merdeka Belajar seminar episode 26: Transformation of National Standards and Higher Education Accreditation. The policy has caused various kinds of positive and negative responses in the community. Based on this problem, this research analyzes the sentiment of how the attitude and response of the community regarding this matter, so that it can be useful  for  the  community  in  the  future.  This  research  uses  two  algorithms  Naïve  Bayes  Classifier  (NBC)  and  K-Nearest Neighbor (KNN) with data collection done through YouTube video comments getting a total dataset of 1085 data. After that, enter  the  data  pre-processing  which  is  then  labeled  using  the  Lexicon-based  method  with  the  stemming  Sastrawi  method. Datasets are grouped into positive sentiment and negative sentiment where the labeling results show unbalanced label data. Then the oversampling method Synthetic Minority Over-sampling Technique (SMOTE) is performed so that the data can be balanced and produce good accuracy. The test results after the SMOTE technique show that the NBC algorithm has the highest accuracy  compared  to  KNN.  The  accuracy  results  are  74%,  precision  74.6%,  recall  74%  and  f1-score  73.9%.  While  KNN produces an accuracy of 50.2%, precision of 75.2%, recall of 50.2%, and f1-score of 34.5%.
Keywords :  Graduation  Standards;  Sentiment  Analysis;  Naïve  Bayes  Classifier;  K-Nearest  Neighbor;  Lexicon-based; YouTube; SMOTE

## 1. PENDAHULUAN
Skripsi atau tugas akhir merupakan persyaratan yang harus dipenuhi mahasiswa untuk memperoleh gelar sarjana sebagai  bukti  mampu  menyelesaikan  akademiknya  dalam  melakukan  penelitian  sesuai  dengan  bidang  studinya [1]. Menteri Pendidikan, Kebudayaan, Riset dan Teknologi (Mendikbudristek) telah mengeluarkan kebijakan baru mengenai standar kelulusan mahasiswa S1 dan D4 yang diatur dalam Peraturan Mendikbudristek Nomor 53 Tahun 2023 tentang Penjamin Mutu Pendidikan Tinggi [2], salah satunya tidak diwajibkannya  menyusun  skripsi  bagi mahasiswa  sebagai  syarat  wajib  mendapatkan  gelar  sarjana.  Kebijakan  ini  resmi  diumumkan  pada  video  live streaming Youtube Kemendikbudristek RI di seminar Merdeka Belajar Episode 26: Transformasi Standar Nasional dan Akreditasi Pendidikan Tinggi tanggal 29 Agustus 2023 [3]. Adanya kebijakan tersebut memunculkan berbagai macam opini setuju dan kurang setuju di masyarakat. Saat ini belum ada penelitian yang secara khusus membahas dan  menganalisis  kebijakan  tidak  diwajibkannya  untuk  menyusun  skripsi.  Oleh  karena  itu,  penelitian  ini  ingin melakukan analisis sentimen terkait dengan kebijakan tersebut.
Analisis sentimen adalah suatu proses  yang menggunakan metode komputasi seperti metode statistik dan machine learning untuk menggali opini atau pendapat seseorang dalam bentuk teks. Metode ini dapat digunakan untuk mengidentifikasi aspek-aspek tertentu dalam sebuah teks seperti subjektivitas, kategori sentimen, kategori emosi,  pola  sikap,  kepribadian,  dan  lain-lain  [4].  Terdapat  beberapa  algoritma  yang  digunakan  dalam  analisis sentimen,  namun pada penelitian  ini  hanya  menggunakan dua  algoritma  Naïve Bayes  Classifier (NBC) dan  K- Nearest Neighbor (KNN).

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012
Kedua algortima tersebut banyak digunakan oleh penelitian lain karena menghasilkan akurasi model yang baik [5]. Seperti penelitian yang dilakukan oleh Citra dkk yaitu membandingkan kedua algoritma NBC dan KNN pada  sentimen  review  aplikasi  mobile  JKN  menghasilkan  akurasi  NBC  61,15%  dan  KNN  87,59%  [6].  Pada penelitian Naufal dkk tentang analisis sentimen terhadap isu resesi tahun 2023 di Indonesia menggunakan metode NBC menghasilkan akurasi sebesar 77%. Penelitian yang dilakukan oleh Harry dan Ilka yaitu analisis sentimen pada pembatalan Indonesia sebagai tuan rumah Piala Dunia FIFA U-20 menggunakan Naïve Bayes menghasilkan akurasi sebesar 84% [7]. Kemudian penelitian yang dilakukan oleh Antonius, dkk untuk analisis sentimen ulasan aplikasi tripadvisor dengan metode Support Vector Machie (SVM), K-Nearest Neighbor (KNN) dan Naïve Bayes (NB)  mendapatkan  hasil  akurasi  pada  algoritma  KNN  sebesar  89,02%  dan  NBC  sebesar  88,65%  [8].  Pada penelitian yang dilakukan Dede dkk yaitu analisis sentimen terhadap elektabilitas Ganjar Pranowo di Tahun Politik 2024 menggunakan algoritma KNN menghasilkan akurasi 99% dan NBC menghasilkan hasil akurasi 97% [9].
Berdasarkan penelitian-penelitian terkait sebelumnya, penelitian ini menggunakan dua algoritma NBC dan KNN  untuk  membandingkan  algortima  mana  yang  paling  baik  dalam  melakukan  pengujian.  Algoritma  NBC memiliki kelebihan menganggap setiap kata atau token di dalam dokumen ada fitur  yang masing-masing berdiri sendiri  [10].  Namun,  seiring  dengan  adanya  penambahan  jumlah  fitur,  perhitungan  probabilitas  bersyaratnya semakin sulit dilakukan dengan cepat. Algoritma KNN merupakan salah satu metode yang mudah dipelajari, cukup fleksibel ketika bekerja untuk fungsi kesamaan dan ketidaksamaan karena prediksi label dapat dihitung di antara k tetangga terdekat [11]. Namun jika data train  yang digunakan besar, waktu komputasinya tinggi, sebab setiap data test dihitung jaraknya.
Pengumpulan data pada penelitian ini melalui ulasan komentar pada video youtube menggunakan API yang disediakan dengan keyword search ‘skripsi tidak  diwajibkan’, ‘skripsi ditiadakan’, dan ‘skripsi diganti  jurnal’, serta  menambahkan  id  video  mendapatkan  1085  data.  Setelah  pengumpulan  data,  langkah  selanjutnya  yaitu pelabelan  data  menggunakan  metode  lexicon-based.  Metode  ini  termasuk  metode  yang  sederhana,  praktis  dan mudah  dalam  analisis  sentimen,  karena  pelabelan  yang  dilakukan  dinilai  berdasarkan  nilai  polaritasnya  untuk mengetahui  apakah  termasuk  sentimen  positif,  netral  atau  negatif  [12].  Kemudian  setelah  pelabelan  data, didapatkan data yang tidak seimbang maka digunakan metode oversampling Synthetic Minority Over-sampling Technique (SMOTE) untuk melakukan balancing terhadap data yang dikumpulkan.
Berdasarkan  latar  belakang  tersebut  penelitian  ini  bertujuan  untuk  mengetahui  hasil  dari  analisis  yang dilakukan terhadap kepuasan masyarakat dalam kebijakan terkait dengan tidak diwajibkan skripsi bagi mahasiswa S1 dan D4 serta menjadi saran dan perbaikan untuk pemerintah khususnya Kemendikbudristek.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahapan  penelitian  digunakan  untuk  mengidentifikasi,  mengolah  dan  menganalisis  sebuah  data  dengan  tujuan membantu  peneliti  dalam  menyusun  tahapan  -  tahapan  kerangka  kerja  supaya  terstruktur  dan  logis.  Tahapan penelitian bisa dilihat pada Gambar 1 berikut.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012

## 2.2 Pengumpulan Data
Pengumpulan data diambil dari komentar video youtube yang menyinggung tentang kebijakan baru Kemendikbud terkait tidak diwajibkannya skripsi bagi mahasiswa S1 dan D4 dengan teknik scrapping menggunakan python pada google colab. Total data yang didapatkan sebanyak 1085 data.

## 2.3 Pre-processing
Pre-processing  merupakan  proses  pemilihan  informasi  pada  setiap  dokumen  dengan  tujuan  menghapus  data, mengurangi  kosa  kata  yang  berlebihan,  dan  membersihkan  dari  kata  yang  kurang  efektif  [13].  Tahapan  pre- processing dilakukan setelah memperoleh data, diantaranya:

## 2.3.1 Cleaning
Proses cleaning yaitu menghapus karakter khusus maupun tanda baca yang tidak diperlukan, seperti titik, koma, tanda seru, tanda tanya, menghapus emoji, angka, hastag, url dan mention yang tidak relevan [13]. Agar data lebih bersih dan dapat diproses secara mudah pada tahap berikutnya.

## 2.3.2 Case Folding
Case folding digunakan untuk menyamakan kata pada dataset menjadi huruf kecil atau besar sesuai dengan aturan [14]. Tujuannya untuk memastikan konsisten kata-kata apabila ada kata yang serupa, namun beda satu huruf saja, tidak memiliki arti yang berbeda. Misalnya “Skripsi” dan “skripsi” dianggap sama.

## 2.3.3 Tokenization
Tokenization merupakan proses memecah kalimat pada dataset menjadi kata supaya memudahkan dalam proses selanjutnya [15]. Misalnya “Menulis dengan pensil” maka dipecah menjadi “Menulis”, “dengan”, “pensil”.

## 2.3.4 Filtering
Filtering merupakan proses untuk menghilangkan kata-kata yang tidak memiliki arti seperti kata imbuhan, supaya tidak mempengaruhi proses analisis pada penelitian [16].

## 2.3.5 Stemming
Stemming merupakan proses  menghapus imbuhan awal dan akhir pada sebuah kata supaya menjadi kata dasar. Stemming pada penelitian ini menggunakan library Sastrawi pada python [15].

## 2.4 Labeling Data
Setelah pengumpulan data dan pre-processing, dilakukan pelabelan pada dataset yang sudah diproses. Pemberian label ini digunakan untuk mengkategorikan apakah kalimat tersebut memiliki makna positif, netral atau negatif. Hal  ini dilakukan untuk  memudahkan dalam  melakukan  proses  analisis dan pengambilan keputusan. Pelabelan dataset  pada  penelitian  ini  menggunakan  kamus  lexicon,  di  mana  kamus  ini  berbasis  lexicon  based  yang memberikan  nilai  bobot  pada  kata  berdasarkan  skor  polaritas.  Lexicon  based  memiliki  dua  kamus  dalam pengkategorian yaitu kamus positif dan negatif [7]. Ketika proses sortir data, total dari bobot data menghasilkan positif, negatif atau netral maka diberikan bobot pada data tersebut.

## 2.5 Pembobotan TF-IDF
Term  Frequency-Inverse  Document  Frequency  (TF-IDF)  merupakan  metode  statistik  yang  digunakan  dalam pemrosesan bahasa alami dan pengambilan informasi. TF-IDF merupakan kombinasi dari dua proses TF dan IDF, yang digunakan untuk mengubah atau mentranformasi data teks menjadi vektor (angka). TF menghitung jumlah kata  yang  sering  muncul  dalam  sebuah  kalimat  atau  bahasan,  sedangkan  IDF  mengukur  seberapa  pentingnya sebuah kata dalam dokumen [14]. Jika frekuensi kemunculan suatu kata semakin tinggi, maka pembobotan TF- IDF semakin besar. Namun apabila ada kata lain yang masuk, dan semakin sering muncul maka pembobotannya menurun [17]. Rumus pembobotan kata TF-IDF dapat dilihat pada nomor 1, nomor 2 dan nomor 3 berikut ini :
tf = 0,5 + 0,5 x tf max (tf)
(1)
idf t = log N dft (2)
W t,d = tf t,d x idf t (3)
Keterangan :
𝑡𝑓 : banyaknya kata yang dicari pada sebuah dokumen 𝑚𝑎𝑥 (𝑡𝑓) : jumlah kemunculan terbanyak term pada dokumen yang sama 𝑁 : jumlah semua dokumen 𝑑𝑡𝑓 : jumlah dokumen yang mengandung term

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012
𝑖𝑑𝑓
: inversed document frequency (log2 (D/df)) 𝑑 : dokumen ke-d 𝑡
: kata ke-t dari data kunci 𝑊 : bobot dokumen ke-d terhadapt kata ke-t 2.6 Balancing Data
Balancing  data  merupakan  proses  menyeimbangkan  data  pada  setiap  kelas  dalam  dataset.  Tujuannya  untuk meningkatkan akurasi dari hasil analisis yang dilakukan. Penelitian ini menggunakan salah satu metode balancing yaitu  SMOTE.  SMOTE  merupakan  metode  yang  membuat  sampel  sintetik  dari  kelas  minoritas  dengan  cara mengambil  sampel  dari  kelas  minoritas  dan  menggabungkan  sampel  tersebut  dengan  sampel  terdekat  untuk membuat sampel sintetik baru [18].

## 2.7 Analisis Model
Pemodelan klasifikasi yang digunakan adalah NBC dan KNN di mana untuk mendapatkan hasil accuracy, recall, precision,  dan  f1_score  yang  maksimal  diantara  kedua  model  tersebut,  pengujiannya  dilakukan  secara terpisah dengan dataset yang sama. Selain itu juga untuk membandingkan hasil akurasi dari kedua model.

## 2.7.1 Naïve Bayes Classifier (NBC)
NBC merupakan algoritma yang berdasar pada teorema Bayes. Algoritma NBC termasuk algoritma paling umum digunakan untuk klasifikasi karena penggunaannya sederhana, efisien, dan mudah untuk dipahami [19]. Klasifikasi yang digunakan pada metode NBC adalah probabilitas dan statistik dengan memprediksi peluang di masa depan berdasarkan pengalaman dari data-data sebelumnya [20]. Bentuk umum dari perhitungan NBC dapat dilihat pada Persamaan nomor 4 berikut :
𝑃(𝐻|𝑋) = 𝑃( 𝑋 | 𝐻 ).𝑃(𝐻)
𝑃(𝑋) (4) Keterangan : 𝑋 : data dengan class yang belum diketahui 𝐻
: hipotesis data X merupakan suatu class spesifik 𝑃(𝐻|𝑋) : probabilitas hipotesis H berdasar kondisi X (posteriori probability) 𝑃(𝐻) : probabilitas hipotesis H (prior probability) 𝑃(𝑋|𝐻) : probabilitas X berdasar kondisi hipotesis H 𝑃(𝑋) : probabilitas dari X

## 2.7.2 K-Nearest Neighbor (KNN)
K-NN  merupakan  salah satu algoritma klasifikasi dari 10 algortima teratas  yang digunakan dalam  data mining [21]. KNN digunakan pada berbagai aplikasi seperti pattern recognition, computer vision dan machine learning. KNN terdiri dari operasi-operasi independen [22] yang digunakan untuk mengelompokkan data baru berdasarkan jarak k terdekatnya. Cara kerjanya dengan mencari jumlah k terdekat dan paling mirip diantara semua data train pada  semua  kelas  yang  dimasukkan,  kemudian  menentukan  kelas  data  baru  dengan  keputusan  yang  diambil berdasarkan hasil dari mayoritas label dari jumlah k yang dimasukkan [11].

## 2.8 Evaluasi
Tahap ini digunakan untuk menilai seberapa baik model klasifikasi dalam menghasilkan akurasi pada percobaan sebelumnya,  di  mana  pengukuran  nilai  digunakan  untuk  membandingkan  seberapa  efisien  dari  kinerja  kedua model. Untuk mengetahui seberapa efisien model dalam kinerjanya digunakan confusion matrix. Confusion matrix merupakan salah satu metode machine learning yang menggunakan matriks 2 x 2 untuk mengevaluasi efektivitas suatu  model  dan  menampilkan  semua  hasil  klasifikasi  benar  dan  salah.  Variable  yang  diukur  terdiri  dari  true positive (TP), false positive (FP), true negative (TN) dan false negative (FN). Dari pengukuran confusion matrix dapat  menentukan  nilai  accuracy, recall, precision, dan  f1_score. Tampilan  confusion  matrix  dapat dilihat pada tabel 1.
Tabel 1. Confusion Matrix
Actual Values
P re d ict ed Valu es Positive
Negative
P os it ive
True Positive False Positive
Ne gat ive
False Negative
True Negative

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012

## 3. HASIL DAN PEMBAHASAN
Setelah tahap preprocessing dan perhitungan TF-IDF, selanjutnya dilakukan pengujian model. Data train dan data test  yang  digunakan  untuk  menguji  semua  dataset  dimulai  dari  60%  -  90%  (data  train)  10%  -  40%  (data  test). Model yang pertama kali diuji adalah NBC.

## 3.1 Pengumpulan Data
Dataset  pada  penelitian  ini  berasal  dari  ulasan  komentar  video  youtube  dengan  teknik  pengambila  data  yaitu scrapping  menggunakan  python  pada  google  colab.  Pengampilan  data  ini  menggunakan  API  youtube  dan memasukkan id video yang ingin diambil datanya. Kata kunci yang digunakan adalah  ‘skripsi tidak diwajibkan’. ‘skripsi ditiadakan’, dan ‘skripsi diganti jurnal’. Scrapping dilakukan dalam kurun waktu 2 bulan dari semenjak Kemendikbud mengeluarkan kebijakan luaran tidak wajib skripsi dan mendapatkan jumlah total 1085 data. Setiap kali  melakukan  scrapping,  jumlah  data  yang  didapatkan  berbeda.  Pertama  kali  melakukan  scrapping  hanya mendapatkan 14 data, lalu 500 data hingga scrapping yang terakhir mendapatkan 1085.

## 3.2 Pre-processing
Tahapan  pre-processing  dilakukan  setelah  scrapping  data  untuk  dibersihkan  datanya  dari  noise  supaya  dalam pemrosesan menjadi lebih mudah dan cepat. Hasil dari pre-processing dapat dilihat pada tabel 2.
Tabel 2. Pre-processing Cleaning Alur Pre- processing Sebelum Sesudah Cleaning '@Kemdikbud_RI  ingin  berikan  keleluasaan  pd perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya. Tak hrs berupa skripsi KemdikbudRI  ingin  berikan  keleluasaan  pd perguruan tinggi menentukan syarat kelulusan mahasiswanya Tak hrs berupa skripsi Tabel 3. Pre-processing Case Folding Case Folding KemdikbudRI  ingin  berikan  keleluasaan  pd perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya Tak hrs berupa skripsi kemdikbudri  ingin  berikan  keleluasaan  pd perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya tak hrs berupa skripsi Tabel 4. Tahapan Pre-processing Tokenization, Filtering dan Stemming Alur Pre- processing Sebelum Sesudah Tokenizing kemdikbudri  ingin  berikan  keleluasaan  pd perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya tak hrs berupa skripsi kemdikbudri,  ingin,  berikan,  keleluasaan,  pd, perguruan, tinggi, menentukan, syarat, kelulusan, mahasiswanya, tak, hrs, berupa, skripsi Filtering kemdikbudri  ingin  berikan  keleluasaan  pd perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya tak hrs berupa skripsi kemdikbudri  ingin  berikan  keleluasaan  pada perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya tak harus berupa skripsi Stemming kemdikbudri  ingin  berikan  keleluasaan  pada perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya tak harus berupa skripsi kemdikbudri  ingin  beri  leluasa  pada  guru  tinggi tentu  syarat  lulus  mahasiswa  tak  harus  rupa skripsi
Setelah pre-processing selesai dengan jumlah 1085 data mentah, selanjutnya dilakukan pengecekan apakah data ada yang duplikat. Dari 1085 menjadi 1076 data yang siap untuk diproses pada tahap berikutnya.

## 3.3 Labeling Data
Data yang sudah bersih dibagi kedalam dua kategori yaitu positif dan negatif. Pelabelan ini berdasarkan kamus lexicon  sehingga  proses  dilakukan  secara  sistem.  Proses  ini  menggunakan  algortima  stemming  Sastrawi. Ketentuan dalam pelabelan ini jika nilai polaritas lebih besar sama dengan 0 maka diberi label sentimen positif dan jika nilai polaritas kurang dari 0 maka diberi label sentimen negatif. Hasil dari pelabelan metode lexicon dapat dilihat pada tabel 4 berikut:
Tabel 5. Hasil labeling data menggunakan metode Lexicon Based
Text Nilai Polaritas Sentimen dibalik perbincangan hangat mengenai skripsi yang tidak diwajibkan sebagai syarat lulus seorang mahasiswa ternyata banyak manfaat bagi sistem pendidikan di indonesia 7 Positif acak  acakan  bapak  ini  skripsi  sebagai  ujian  terahir  bagi  mahasiswa  kok  malah  tidak diwajibkan -11 Negatif skripsi yang menjadi syarat kelulusan bagi mahasiswa s dan d kini tidak lagi diwajibkan nadiem mengatakan ketentuan itu tertuang dalam peraturan menteri pendidikan -2 Negatif

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012
Text Nilai Polaritas Sentimen setuju dong tapi ya kembali lagi bahwa skripsi jangan dihapuskan 0 Positif ingin  berikan  keleluasaan  pd  perguruan  tinggi  menentukan  syarat  kelulusan mahasiswanya tak hrs berupa skripsi 3 Positif

## 3.4 Pembobotan TF-IDF
Setelah dilakukan pelabelan maka selanjutnya proses pembobotan dokumen berbentuk teks menjadi vektor dengan TF-IDF. Hasil dari pembobotannya dapat dilihat pada tabel 5 berikut :
Tabel 6. Pembobotan dengan TF-IDF Urutan pada dokumen TF-IDF (0, 1875) 0.15278314955519526 (0, 995) 0.0943034437623798 (0, 3876) 0.16033331444667887 (0, 4777) 0.1981291948548959 (0, 299) 0.19501604745831816
Kolom 1 (0, 1875) pada baris pertama, angka 0 merupakan dokumen pertama, angka 1875 adalah urutan kata yang berada dalam penggabungan kata. Penjelasan yang ada pada kolom TF-IDF yaitu 0.15278314955519526 merupakan hasil pembobotan kata dengan TF-IDF pada kolom pertama.

## 3.5 Balancing Data
Balancing  data  pada  penelitian  ini  digunakan  SMOTE  untuk  menghasilkan  model  yang  baik.  Karena  terjadi ketidakseimbangan data atau imbalance data dari tahap pelabelan menggunakan lexicon yang dapat menyebabkan performa dari akurasi model buruk. Pelabelan menggunakan lexicon menghasilkan nilai tabel negatif lebih tinggi daripada positif, maka dari itu perlu adanya peningkatan pada label positif supaya mendapatkan hasil model yang baik. Hasil oversampling menggunakan SMOTE dapat dilihat pada tabel berikut.
Tabel 7. Hasil Setelah Oversampling SMOTE
Label Sebelum Oversampling Setelah Oversampling SMOTE Positif 489 587 Negatif 587 587

## 3.6 Pengujian model
Pada pengujian model ini dilakukan pada dataset sebelum dilakukan SMOTE untuk mengetahui model mana yang memiliki performa dan hasil akurasi yang baik. Penelitian ini menggunakan dua model yaitu NBC dan KNN. Data train dan data test yang digunakan dimulai dari 60% - 90% (data train) 10% - 40% (data test).

## 3.6.1 Pengujian dengan Naïve Bayes Classifier (NBC)
Pada  pengujian  NBC  dilakukan  sebanyak  3  kali  menggunakan  random  split,  stratified  dan  juga  k-fold  cross validation. Dari pengujian tersebut mendapatkan hasil ujinya yang dapat dilihat pada tabel 7, tabel 8 dan tabel 9 berikut.
Tabel 8. Hasil Pengujian NBC Random Split Training Testing Accuracy Precision Recall F1_score 60% 40% 0.675 0.676 0.675 0.675 70% 30% 0.681 0.679 0.681 0.669 80% 20% 0.676 0.672 0.676 0.657 90% 10% 0.640 0.634 0.640 0.603
Hasil pengujian  menggunakan  random  split didapatkan akurasi paling tinggi 68.1%  pada  data train  70% data  test  30%.  Untuk  meningkatkan  hasil  akurasi  tersebut,  diuji  kembali  menggunakan  stratified  dengan  hasil akurasi pada tabel 8.
Tabel 9. Hasil Pengujian NBC Random Stratified Training Testing Accuracy Precision Recall F1_score 60% 40% 0.636 0.691 0.636 0.586 70% 30% 0.638 0.695 0.638 0.588 80% 20% 0.634 0.676 0.634 0.589 90% 10% 0.648 0.685 0.648 0.612

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012
Pada pengujian stratified didapatkan hasil tertinggi adalah 64.8% pada data train 90% dan data test 10%. Selanjutnya  diuji  kembali  menggunakan  k-fold  cross  validation  untuk  memaksimalkan  hasil  akurasi,  k  yang digunakan yaitu k = 2 hingga k = 10.
Tabel 10. Hasil Pengujian NBC k-Fold Cross Validation
k Rata-rata Accuracy 2 0.621 3 0.645 4 0.664 5 0.660 6 0.648 7 0.656 8 0.657 9 0.660 10 0.657
Pengujian pada k-fold cross validation  mendapatkan hasil akurasi tertinggi  yaitu di k = 4 dengan akurasi 66,4%. Dari pengujian random split, random stratified dan k-fold cross validation didapatkan hasil akurasi tertinggi menggunakan random split yaitu 68,1% dengan data train 70% dan data test 30%.

## 3.6.2 Pengujian dengan K-Nearest Neighbor (KNN)
Pengujian KNN juga dilakukan sebanyak 3 kali menggunakan random split, stratified dan k-fold cross validation. Pada pengujian KNN menggunakan nilai k = 7. Hasil pengujinya dapat dilihat pada tabel 11, tabel 12 dan tabel 13 berikut.
Tabel 11. Hasil Pengujian KNN Random Split Training Testing Accuracy Precision Recall F1_score 60% 40% 0.606 0.629 0.606 0.608 70% 30% 0.607 0.618 0.607 0.609 80% 20% 0.630 0.636 0.630 0.632 90% 10% 0.620 0.625 0.620 0.622
Hasil pengujian menggunakan random split didapatkan akurasi paling tinggi 63% pada data train 80% data test 20%. Untuk meningkatkan hasil akurasi tersebut, diuji kembali menggunakan stratified untuk hasil akurasinya bisa dilihat pada tabel 11.
Tabel 12. Hasil Pengujian KNN Random Stratified Training Testing Accuracy Precision Recall F1_score 60% 40% 0.626 0.628 0.626 0.627 70% 30% 0.625 0.630 0.625 0.626 80% 20% 0.569 0.573 0.569 0.570 90% 10% 0.546 0.547 0.546 0.547
Pada pengujian stratified didapatkan hasil tertinggi adalah 62.6% pada data train 60% dan data test 40%. Selanjutnya  diuji  kembali  dengan  menggunakan  k-fold  cross  validation  untuk  memaksimalkan  hasil  akurasi,  k yang digunakan yaitu k = 2 hingga k = 10
Tabel 13. Hasil Pengujian KNN k-Fold Cross Validation
k Rata-rata Accuracy 2 0.544 3 0.555 4 0.559 5 0.551 6 0.559 7 0.560 8 0.560 9 0.566 10 0.571
Pengujian menggunakan k-fold cross validation mendaaptkan hasil akurasi tertinggi yaitu di k = 10 dengan akurasi 57,1%. Dari pengujian random split, random stratified dan k-fold cross validation didapatkan hasil akurasi tertinggi menggunakan random split yaitu 63% dengan data train 80% dan data test 20%.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012

## 3.7 Pengujian Dataset setelah di SMOTE
Hasil  pengujian  dataset  yang  tidak  menggunakan  oversampling  SMOTE  paling  tinggi  di  68%  random  split menggunakan NBC pada data train 70% data test 30%. Setelah dilakukan SMOTE mendapatkan hasil akurasi yang lebih baik dari sebelumnya. Hasilnya dapat dilihat pada tabel 14 dan tabel 15 berikut:
Tabel 14. Hasil NBC setelah SMOTE Training Testing Accuracy Precision Recall F1_score 60% 40% 0.730 0.739 0.730 0.727 70% 30% 0.722 0.729 0.722 0.720 80% 20% 0.740 0.746 0.740 0.739 90% 10% 0.678 0.716 0.678 0.672
Pada tabel 13 hasil akurasi tertinggi dari model NBC setelah oversampling menggunakan SMOTE adalah 74,6% pada data train 80% dan data test 20%.
Tabel 15. Hasil KNN setelah SMOTE Training Testing Accuracy Precision Recall F1_score 60% 40% 0.500 0.250 0.500 0.333 70% 30% 0.501 0.751 0.501 0.338 80% 20% 0.502 0.752 0.502 0.345 90% 10% 0.466 0.754 0.466 0.306
Sedangkan  pada  tabel  14  hasil  akurasi  tertinggi  dari  model  KNN  setelah  oversampling  menggunakan SMOTE adalah 50,2% pada data train 80% dan data test 20%.

## 3.8 Visualisasi Wordcloud
Hasil dari sentimen positif dan negatif pada kebijakan baru Mendikbudristek tentang tidak diwajibkannya skripi bagi mahasiswa S1 dan D4 belum diketahui kata-kata yang termasuk dalam kelas sentimen positif dan sentimen negatif.  Maka  dari  itu,  wordcloud  diperlukan  untuk  membantu  dalam  bertukar  opini  apakah  masuk  kategori sentimen positif atau negatif. Visualisasi dari wordcloud dapat dilihat pada gambar 2 berikut:
Sentimen Positif Sentimen Negatif
Gambar 2. Visualisasi Wordcloud
Frekuensi kata yang sering muncul pada sentimen positif dan sentimen negative dapat dilihat pada gambar 2. visualisasi wordcloud. Semakin besar dan tebal warnanya maka semakin sering frekuensi kata tersebut muncul. Untuk kata sentimen positif yang paling sering muncul adalah skripsi, yang, tapi dan setuju. Sedangkan sentimen negatif kata yang paling sering muncul adalah skripsi, itu, yang dan dihapuskan.

## 3.9 Evaluasi
Pada  tahapan  ini  hasil  pengujian  akurasi  menggunakan  metode  NBC  dan  KNN  divisualisasikan  dalam  bentuk confusion  matrix  ukuran  2  x  2.  Hasil  yang  ditunjukkan  merupakan  hasil  akurasi  tertinggi  setelah  melakukan oversampling  dari kedua  metode yaitu NBC  dengan akurasi  74.6%  dan  KNN dengan  akurasi 50,2% pada  data train 80% dan data test 20%. Visualisasinya dapat dilihat pada gambar berikut :

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012
Pada  visualisasi  matrix  angka  22  menunjukkan  True  Positive  (TP),  80  True  Negative  (TN),  94  False Positive  (FP)  dan  39  False  Negative  (FN).  Hasil  confusion  matrix  direpresentasikan  dalam  nilai  accuracy, precision, recall dan f1-score pada gambar 4 berikut :
Gambar 4. Confusion Matrix pada nilai Accuracy, Precision, Recall dan f1-score pada NBC
Hasil klasifikasi dari metode NBC dengan oversampling menggunakan SMOTE menghasilkan akurasi  tertinggi 74%  dari  semua  pengujian  menggunakan  data  train  60%  -  90%  dan  data  test  10%  -  40%.  Sentimen  negatif menghasilkan  precision  0.78,  recall  0.67,  dan  f1-score  0.72.  Kemudian  untuk  kategori  sentimen  positif menghasilkan precision 0.71, recall 0.81 dan f1-score 0.76.

## Gambar 5. Visualisasi Confusion Matrix KNN
Pada visualisasi matrix angka 0 menunjukkan True Positive (TP), 2 True Negative (TN), 116 False Positive (FP) dan 117 False Negative (FN). Hasil confusion matrix direpresentasikan dalam nilai accuracy, precision, recall dan f1-score pada gambar 6 berikut:
Gambar 6. Confusion Matrix pada nilai Accuracy, Precision, Recall dan f1-score pada KNN
Hasil  klasifikasi  dari  metode  KNN  dengan  oversampling  menggunakan  SMOTE  menghasilkan  akurasi tertinggi 50% dari semua pengujian menggunakan data train 60% - 90% dan data test 10% - 40%. Sentimen negatif menghasilkan  precision  1.00,  recall  0.02,  dan  f1-score  0.03.  Kemudian  untuk  kategori  sentimen  positif menghasilkan precision 0.50, recall 1.00 dan f1-score 0.66.

## 4. KESIMPULAN
Berdasarkan pengujian yang telah dilakukan pada kedua metode tersebut dengan jumlah dataset 1076 data clean sebelum  dilakukan  oversampling  SMOTE  menghasilkan  akurasi  tertinggi  dengan  menggunakan  random  split. NBC  menghasilkan  akurasi  68.1%,  precision  67.9%,  recall  68.1%  dan  f1-score  66.9%.  Kemudian  pada  KNN menghasilkan  akurasi  63%,  precision  63.6%,  recall  63%  dan  f1-score  63.2%.  Setelah  dilakukan  oversampling terdapat perubahan pada akurasi dari kedua metode. NBC menghasilkan akurasi tertinggi 74%, precision 74.6%, recall 74% dan f1-score 73.9%. Pada KNN menghasilkan akurasi 50.2%, precision 75.2, recall 50.2 dan f1-score 34.5.  Melihat  hasil  pengujian  tersebut,  dapat  disimpulkan  bahwa  metode  NBC  memberikan  hasil  lebih  baik daripada  KNN.  Harapan  untuk  penelitian  selanjutnya  bisa  mengembangkannya  menggunakan  algoritma  yang

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7012
berbeda  supaya  hasilnya  lebih  akurat  dan  maksimal  dalam  menganalisis  sentimen  seselain  dari  youtube. Diharapkan ketika scrapping data mencoba menggunakan media sosial lain seperti Facebook Instrgram dan Tiktok.

## REFERENCES
[1] H. D. Astuti, P. Meilina, N. Amri, and M. Hasbi, “Aplikasi Pengelompokkan Abstrak Skripsi Teknik Informatika,” Pros. Semnastek, no. November 2022, pp. 1–10, 2022, [Online]. Available:
https://jurnal.umj.ac.id/index.php/semnastek/article/view/14701.
[2] R. N. Sari, “Permendikbudristek No. 53 Tahun 2023 Tentang Penjaminan Mutu Pendidikan Tinggi,” kemendikbud.go.id, 2023. https://lldikti13.kemdikbud.go.id/2023/08/29/peraturan-terbaru-mengenai-penjaminan-mutu-pendidikan-tinggi/ (accessed Nov. 02, 2023).
[3] R.  L.  Pratama,  “Nadiem  Umumkan  Aturan  Baru,  Mahasiswa  S1  Kini  Tidak  Wajib  Buat  Skripsi,”  kompas.tv,  2023. https://www.kompas.tv/pendidikan/438914/nadiem-umumkan-aturan-baru-mahasiswa-s1-kini-tidak-wajib-buat- skripsi?page=all (accessed Oct. 30, 2022).
[4] B. M. Akbar, A. T. Akbar, and R. Husaini, “Analysis of Sentiments and Emotions about Sinovac Vaccine Using Naive Bayes,” Telematika, vol. 19, no. 2, p. 185, 2022, doi: 10.31315/telematika.v19i2.7601.
[5] J. Ortiz-Bejar, E. S. Tellez, M. Graff, D. Moctezuma,  and S. Miranda-Jimenez, “Improving  k  Nearest Neighbors and Naïve Bayes Classifiers through Space Transformations and Model Selection,” IEEE Access, vol. 8, pp. 221669–221688, 2020, doi: 10.1109/ACCESS.2020.3042453.
[6] D. A. M. Reza, A. M. Siregar, and Rahmat, “Penerapan Algoritma K-Nearest Neighbord Untuk Prediksi Kematian Akibat Penyakit Gagal Jantung,” Sci. Student J. Information, Technol. Sci. , vol. III, no. 1, pp. 105–112, 2022.
[7] H.  Setiawan  and  I.  Zufria,  “Analisis  Sentimen  Pembatalan  Indonesia  Sebagai  Tuan  Rumah  Piala  Dunia  FIFA  U-20 Menggunakan Naïve Bayes,” vol. 7, no. 3, pp. 1003–1012, 2023, doi: 10.30865/mib.v7i3.6144.
[8] A. M. Ndapamuri, D. Manongga, and A. Iriani, “Analisis Sentimen Ulasan Aplikasi Tripadvisor Dengan Metode Support Vector Machine, K-Nearest Neighbor, Dan Naive Bayes,” INOVTEK Polbeng - Seri Inform., vol. 8, no. 1, p. 127, 2023, doi: 10.35314/isi.v8i1.3260.
[9] D. Sandi, E. Utami, and K. Kusnawi, “Analisis Sentimen Publik Terhadap Elektabilitas Ganjar Pranowo di Tahun Politik 2024  di  Twitter  dengan  Algoritma  KNN  dan  Naïve  Bayes,”  J.  Media  …,  vol.  7,  pp.  1097–1108,  2023,  doi: 10.30865/mib.v7i3.6298.
[10]  S. Khomsah, “Jurnal Penelitian Pos dan Informatika Naive Bayes Classifier Optimization on Sentiment Analysis of Hotel Reviews Optimasi Naive Bayes Classifier Pada Sentiment Analysis Komentar Pelanggan Hotel,” vol. 10, no. 2, pp. 157– 168, 2020, doi: 10.17933/jppi.2020.100206.
[11]  W. Xing and Y. Bei, “Medical Health Big Data Classification Based on KNN Classification Algorithm,” IEEE Access, vol. 8, pp. 28808–28819, 2020, doi: 10.1109/ACCESS.2019.2955754.
[12]  D.  Hernikawati,  “Kecenderungan  Tanggapan  Masyarakat  Terhadap  Vaksin  Sinovac  Berdasarkan  Lexicon  Based Sentiment  Analysis,”  J.  Ilmu  Pengetah.  dan  Teknol.  Komun.,  vol.  23,  no.  1,  pp.  21–31,  2021,  [Online].  Available: http://dx.doi.org/10.33169/iptekkom.23.1.2021.21-31.
[13]  R. N.  Ikhsani and F. F.  Abdulloh, “Optimasi SVM dan Decision Tree Menggunakan SMOTE Untuk Mengklasifikasi Sentimen Masyarakat Mengenai Pinjaman Online,” vol. 7, pp. 1667–1677, 2023, doi: 10.30865/mib.v7i4.6809.
[14]  S.  Sumayah,  F.  Sembiring,  and  W.  Jatmiko,  “Analysis  of  Sentiment  of  Indonesian  Community  on  Metaverse  Using Support  Vector  Machine  Algorithm,”  J.  Tek.  Inform.,  vol.  4,  no.  1,  pp.  143–150,  2023,  doi: 10.52436/1.jutif.2023.4.1.417.
[15]  R. Puspitasari, Y. Findawati, M. A. Rosid, P. S. Informatika, and U. M. Sidoarjo, “Sentiment Analysis of Post-Covid-19 Inflation  Based  on  Twitter  Using  the  K-Nearest  Neighbor  and  Support  Vector  Machine  Analisis  Sentimen  Terhadap Inflasi Pasca Covid-19 Berdasarkan Twitter Dengan Metode Klasifikasi K-Nearest Neighbor Dan,” vol. 4, no. 4, pp. 1– 11, 2023.
[16]  J.  Muliawan,  E.  Dazki,  and  R.  D.  Kurniawan,  “SENTIMENT  ANALYSIS  OF  INDONESIA  ’  S  CAPITAL  CITY RELOCATION  USING  THREE  ALGORITHMS :  NAÏVE  BAYES  ,  KNN  ,  AND  RANDOM  FOREST  ANALISIS SENTIMEN PEMINDAHAN IBU KOTA NEGARA INDONESIA MENGGUNAKAN TIGA ALGORITMA : NAÏVE BAYES , KNN , DAN RANDOM,” vol. 4, no. 5, pp. 1227–1236, 2023.
[17]  S. Supangat, M. Z. Bin Saringat, and M. Y. F. Rochman, “Predicting Handling Covid-19 Opinion using Naive Bayes and TF-IDF for Polarity Detection,” MATRIK  J. Manajemen, Tek. Inform. dan Rekayasa Komput., vol. 22, no. 2, pp. 173– 184, 2023, doi: 10.30812/matrik.v22i2.2227.
[18]  I.  Alarab  and  S.  Prakoonwit,  “Effect  of  data  resampling  on  feature  importance  in  imbalanced  blockchain  data: Comparison  studies  of  resampling  techniques,”  Data  Sci.  Manag.,  vol.  5,  no.  2,  pp.  66–76,  2022,  doi: 10.1016/j.dsm.2022.04.003.
[19]  S. Ruan, H. Li, C. Li, and K. Song, “Class-specific deep feature weighting for naïve bayes text classifiers,” IEEE Access, vol. 8, pp. 20151–20159, 2020, doi: 10.1109/ACCESS.2020.2968984.
[20]  M.  Asfi  and  N.  Fitrianingsih,  “Implementasi  Algoritma  Naive  Bayes  Classifier  sebagai  Sistem  Rekomendasi Pembimbing  Skripsi,”  J.  Nas.  Inform.  dan    Teknol.  Jar.,  vol.  5,  pp.  45–50,  2020,  [Online].  Available: https://jurnal.uisu.ac.id/index.php/infotekjar/article/view/2536.
[21]  S. Zhang and J. Li, “KNN Classification With One-Step Computation,” IEEE Trans. Knowl. Data Eng., vol. 35, no. 3, pp. 2711–2723, 2023, doi: 10.1109/TKDE.2021.3119140.
[22]  H. Younes, A. Ibrahim, M. Rizk, and M. Valle, “An Efficient Selection-Based kNN Architecture for Smart Embedded Hardware  Accelerators,”  IEEE  Open  J.  Circuits  Syst.,  vol.  2,  no.  April,  pp.  534–545,  2021,  doi: 10.1109/ojcas.2021.3108835.