## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
No. 2 Agustus 2021

## Klasifikasi Kategori Permasalahan Akademik Mahasiswa Comdev Universitas Tanjungpura Menggunakan Algoritma Naive Bayes
Enda Esyudha Pratama #1
# Jurusan Informatika Fakultas Teknik, Universitas Tanjungpura Jalan Daya Nasional
1 enda@informatika.untan.ac.id
Abstrak —  Community  Development  &  Outreaching Universitas  Tanjungpura  merupakan  salah  satu  unit  di UNTAN yang bertugas mengelola beasiswa bagi mahasiswa. Sebagai  salah  satu  bentuk  pertanggungjawaban,  tiap semesternya  melakukan  pengisian  data  monitoring  dan evaluasi. Salah satu data yang perlu dikelola adalah kategori permasalahan akdemik yang tersedia dalam bentuk teks atau kalimat.  Penelitian  ini  menghasilkan  program  yang dilengkapi dengan model klasifikasi yang mampu mengklasifikasikan  permasalahan  akdemik  secara  otomatis. Model klasifikasi dibangun dengan  menggunakan algoritma Multinomial  Naive  Bayes.  Dari  hasil  evaluasi,  model klasifikasi  mempunyai  nilai  akurasi  dan  presisi  yang  cukup baik sebesar 82,14% dan 84,98%. Dari model yang dibangun, digunakan  untuk  implementasi  pada  data  uji.  Hasil implementasi menunjukan kategori permasalahan akademik yang  paling  sering  disampaikan  oleh  mahasiswa  adalah Sistem Perkuliahan dan Teknologi.
Kata kunci — comdev & outreaching untan , permasalahan akademik, klasifikasi, multinomial naive bayes

## I. P ENDAHULUAN
Community  Development  &  Outreaching  Universitas Tanjungpura atau disingkat
COMDEV &
OUTREACHING  UNTAN  merupakan  salah  satu  unit  di UNTAN  yang  bertugas  mengelola  dan  menyalurkan beasiswa kepada mahasiswa. Sebagai bentuk pertanggungjawaban  dari  dana  yang  dikelola,  pihak COMDEV  melakukan  kegiatan  monitoring  dan  evaluasi tiap  semester  terhadap  mahasiswa  yang  memperoleh beasiswa.  Dalam  kegiatan  tersebut,  mahasiswa  diminta untuk  memberikan saran dan usulan terkait permasalahan yang  mereka  hadapai  selama  menjalani  perkuliahan  di UNTAN.
Pada tiap semesternya, terdapat kurang lebih 2000 data permasalahan  akademik  mahasiswa  yang  dikumpulkan. Data  tersebut  bentuknya  berupa  teks  kalimat.  Pihak COMDEV  membutuhkan  data  tersebut  untuk  diolah menjadi  informasi.  Salah  satu  informasi  yang  dibutuhkan adalah  terkait  klasifikasi  kategori  permasalahan  yang
umumnya  dihadapi  oleh  mahasiswa.  Permasalahan  apa yang paling sering dihadapi mahasiswa.
Untuk mendapatkan data yang akurat, maka setiap data permasalahan  akademik  tersebut  harus  dikelompokan setiap  datanya  sesuai  dengan  kategori  yang  tepat.  Tentu menjadi hal yang menyulitkan jika hal ini dikerjakan oleh manusia.  Pada  saat  memasukan  data,  sebenarnya mahasiswa  sudah  diminta  untuk  memilih  kategori permasalahan yang dihadapai. Namun, dari data deskripsi yang  disampaikan,  mahasiswa  cenderung  masih  bingung dan  salah  dalam  memilih  kategori  permasalahan  yang mereka hadapi.
Berdasarkan permasalahan tersebut, dibutuhkan sebuah proses  klasifikasi  kategori  permasalahan  akademik mahasiswa  secara  otomatis  dengan  bantuan  program komputer.  Program  tersebut  membutuhkan  model  yang mampu  mengelompokan  data  sesuai  dengan  kelas  atau label yang telah ditentukan.
Model  klasifikasi  yang  digunakan  dalam  penelitian  ini adalah  Naive  Bayes.  Menurut  [1],  Naive  Bayes  memiliki tingkat  akurasi  yang  lebih  baik  dalam  kasus  klasifikasi. Kelebihan algoritma Naive Bayes adalah kecepatan proses dan  akurasi  yang  cukup  baik  untuk  digunakan  pada  tipe data  dengan  volume  yang  besar,  beragam,  dan  tidak terstrutkur seperti teks [2].
Beberapa  penelitian  terkait  klasifikasi  teks  telah dilakukan.  Penelitian  yang  dilakukan  oleh  Mulya  [3] membahas  tentang  klasfikasi  email  spam  dan  non-spam. Hasil  penelitian  menunjukan  data  teks  dari  email  dapat digunakan untuk proses klasifikasi secara otomatis. Selain itu, penelitian dari Pratama [4] mencoba mengklasifikasikan  data  berdasarkan  data  saran  dari kuesioner.  Dari  hasil  penelitian  tersebut  dapat  dilihat algoritma  klasifikasi  dapat  bekerja  dengan  akurasi  yang baik pada data teks.

## II. M ETODOLOGI P ENELITIAN
Secara  umum,  metodologi  yang  dilakukuan  pada penelitian ini dapat dilihat pada Gambar 1.

## Gambar. 1 Diagram alir metodologi penelitian
Terdapat  enam  tahapan  utama  dalam  melaksanakan penelitian ini yaitu: pengumpulan data, text-preprocessing, vectorizing,  pembentukan  model,  evaluasi  mode,  dan implementasi model.

## A. Pengumpulan Data
Pada data mining, proses pengumpulan data dikenal juga dengan  istilah  dataset.  Dataset  yang  digunakan  dalam penelitian dibagi menjadi 3 bagian yaitu: data latih, data validasi,  dan  data  uji [5] . Untuk  data  latih  dan  data validasi  menggunakan 1000  data dimana  untuk  setiap kelas atau kategori terdiri dari kurang lebih 250 data . Data latih dan validasi ini digunakan untuk membangun model. Sedangkan  untuk  data  uji,  menggunakan kurang  lebih 1500 data setiap semesternya . Data latih dan data validasi akan  dilakukan  proses  pelabelan  kelas  atau  kategori terlebih dahulu, sedangkan data uji tidak dilakukan proses pelabelan.  Untuk  klasfikasi  kategori  atau  kelas  data  uji nantinya  akan  dilakukan  secara  otomatis  oleh  sistem menggunakan model yang sudah dibangun.
Sedangkan untuk kelas atau label yang digunakan pada data latih dan data validasi terdiri dari: sistem perkuliahan, fasilitas,  layanan,  dan  teknologi .  Sistem  perkuliahan berkaitan dengan proses kegiatan belajar mengajar seperti dosen,  perkulihan,  nilai,  tugas,  dll.  Fasilitas  berkaitan dengan sarana dan prasarana fisik yang tersedia di kampus. Layanan berkaitan dengan jasa yang diberikan oleh pihak kampus.  Sedangkan  teknologi  berkaitan  dengan  internet, sistem  informasi  maupun  aplikasi-aplikasi  pendukung kegiatan adminitrasi dan perkulihan.
Format  data  yang  didapat  bersumber  dari  Microsoft Excel (.xlsx). Untuk dapat diolah dan digunakan ke dalam tools jupyter dengan bahasa python, maka format data akan disimpan terlebih dahulu dengan format comma separated values (.csv).

## B. Text Preprocessing
Tahapan  ini  bertujuan  untuk  mempersiapkan  data sebelum  diproses  kepada  tahap  selanjutnya.  Tahapan  ini penting  dilakukan  agar  dapat  lebih  meningkatkan  nilai akurasi  dari  suatu  model  nantinya  [6]. Terdapat  beberapa proses  yang  dilakukan  pada  tahap  ini  yaitu tokenizing, stemming dan filtering [7].
Tokenizing  merupakan  proses  memecah  kalimat menjadi  kata  atau  karakter.  Umumnya  di  dalam  sebuah kalimat terdapat beberapa  buah kata atau karakter. Setiap kata atau karakter ini akan diproses satu persatu. Setiap kata tersebut disimpan dalam bentuk array dalam variabel [8].
Tahap  selanjutnya  yaitu  stemming  bertujuan  untuk mengubah bentuk kata menjadi kata asli atau bentuk dasar.
Proses  stemming  pada  bahasa  Indonesia  sedikit  berbeda dengan  bahasa  Inggris.  Pada  bahasa  Indonesia,  terdapat kata  yang  memiliki  awalan  dan  akhiran.  Sedangkan  pada bahasa Inggris  hanya dilakukan pengecekan pada akhiran saja [9].
Proses lainnya yaitu filtering. Proses ini bertujuan untuk memilah kata. Kata yang akan dipilih adalah yang memiliki makna  dan  yang  tidak  [10].  Beberapa  kata  yang  umum cenderung tidak  memberikan arti atau  makna dari sebuah kalimat tersebut yang berguna pada proses pelabelan kelas. Kata-kata yang sering muncul seperti dan, atau, antara, dll merupakan  beberapa contoh kata dalam  bahasa Indonesia yang tidak memiliki makna.

## C. Vectorize (Text to Vector)
Untuk  dapat  diproses  pada  algoritma  klasifikasi,  maka data  teks  harus  diubah  terlebih  dahulu  ke  dalam  bentuk angka.  Algoritma  klasifikasi  merupakan  persamaan matematika  yang  hanya  dapat  memproses  angka.  Proses mengubah  dari  data  teks  menjadi  data  angka  disebut vectorize.  Bentuk  format  angka  dapat  diubah  dengan menggunakan  berbagai  macam  algoritma  salah  satunya TF-IDF [11].
TF-IDF  adalah  metode  pembobotan  kata  dengan menghitung  frekuensi  kemunculan  data  yang  dapat mencirikan  informasi  suatu  dokumen  [12].  Adapun  pada algoritma  ini  terdapat  dua  parameter  yang  manjadi  acuan dari dua aspek: (1) frekuensi sebuah term atau kata muncul dalam  sebuah  dokumen;(2)  inversed  document  frequency (IDF) yang berguna mengukur seberapa penting suatu term berdasarkan  nilai  inverse.  Dalam  TF,  tiap  term  dianggap sama  nilai  kepentingannya.  IDF  adalah  besarnya  nilai inverse dari sebuah term yang diimbangi dengan frekuensi suatu istilah yang muncul dalam dataset [13].

## D. Pembentukan Model Klasifikasi
Klasifikasi  merupakan  proses  penentuan  suatu  objek data  untuk  memasukkannya  ke  dalam  kelas  tertentu  dari sejumlah  kelas  yang  tersedia  [14].  Klasifikasi  merupakan salah  satu  metode  dalam  data  mining  untuk supervised learning . Dalam  melakukan proses klasifikasi dibutuhkan sebuah  aturan  atau  batasan  tertentu  yang  membedakan antara satu kelas dengan kelas lainnya. Aturan atau batasan tersebut  dalam  data  mining  dikenal  dengan  istilah  model [15].  Membangkitkan  model  dapat  dilakukan  dengan penerapan  algoritma  klasifikasi.  Salah  satu  algoritma klasifikasi yang sering digunakan adalah Naive Bayes.
Naive  bayes  menerapkan  metode  pengelompokan berdasarkan  kemungkinan  atau  probabilitas  sederhana dengan  pendekatan  pemahaman  antar  satu  kelas  dengan kelas yang lain tidak saling bergantung (independen). Pada klasifikasi Naïve Bayes, proses pembelajaran menekankan pada perhitungan kemungkinan sutau kejadian. Salah satu kelebihan dari algoritma Naive Bayes yaitu nilai error yang lebih kecil ketika digunakan pada dataset berjumlah besar [16].
Pada naive bayes, terdapat beberapa model yang secara spesifik  digunakan  berdasarkan  tipe  data  dari  dataset.
Untuk tipe data teks, model naive bayes yang paling cocok untuk  digunakan  adalah  Multinomial  Naive  Bayes  [17]. Pada  Multinomial  Naive  Bayes  Classifier,  kategori dokumen tidak hanya ditentukan dari munculnya suatu kata tetapi  juga  jumlah  kemunculannya  dalam  dokumen.  Pada tools jupyter yang digunkan, algoritma ini dapat digunakan pada library scikit-learn .
Cara kerja  multinomial  naive bayes, kategori dokumen tidak hanya ditentukan oleh kata yang  muncul tetapi  juga melihat  frekuensi  kemunculan  dari  kata  tersebut (kalokasari) [17]. Probabilistik dari dokumen d pada kelas c  dapat  dikomputasikan  dengan  menggunakan  persamaan (1).
𝑃 ( 𝑐 | 𝑑 ) ∝𝑃 ( 𝑐 )∏ 𝑃 ( 𝑡𝑘 | 𝑐 ) (1)
Dimana 𝑃 ( 𝑡𝑘 | 𝑐 )  adalah  nilai  probabilistik  konditional dari  term 𝑡𝑘 yang  muncul  dalam  sebuah  dokumen  pada kelas c .  Dalam  hal  ini, 𝑃 ( 𝑡𝑘 | 𝑐 )  dapat  diinterpretasikan sebagai  ukuran  seberapa  banyak  bukti 𝑡𝑘 berkontribusi terhadap c kelas yang benar. Sedangkan P(c) adalah prior probabilitas dari dokumen yang muncul pada kelas c, dan { 𝑡 1, 𝑡 2,..., 𝑡𝑛𝑑 }adalah  token  pada  d  yang  menjadi  bagian dari vocabulary yang  digunakan  untuk  klasifikasi. Sementara 𝑛𝑑 merupakan jumlah token pada d [17].

## E. Evaluasi Model Klasifikasi
Salah  satu  metode  teknik  pengujian  pada  kasus klasfikasi yang paling banyak digunakan adalah coffusion matrix .  Confussion  matrix  merupakan  metode  pengujian untuk  memperkirakan  data  yang  diklasifikasikan  secara benar  dan  salah  [18].  Untuk  permasalah  kasus  klasifikasi yang  melibatkan  lebih  dari  satu  kelas,  parameter pengukuran  yang  biasa    digunakan  adalah precision, recall,  dan  accuracy .  Sedangkan  F1-measure  untuk menghitung rata-rata dari precision dan recall. Untuk dapat menghitung nilai paramter tersebut, data harus dikelompokan menjadi ke dalam tabel seperti telrihat pada Tabel 1.
TABEL I T ABEL C ONFFUSION M ATRIX Hasil Prediksi
Positif Negatif
Kel a s D a ta set Positif True Positif (TP) False Negatif (FN) Negatif False Positif (FP) True Negatif (TN)
Nilai akurasi dihitung dari jumlah kasus diklasifikasikan secara benar pada data validasi dibagi dengan jumlah total kasus  dalam  data  validasi.  Jika  berdasarkan  tabel  acuan, maka nilai presisi merupakan penjumlahan dari TP dan TN dibagi dengan total seluruh data.
Precision  dan  recall  mengukur  seberapa  tepat  dan seberapa lengkap klasifikasi ini pada kelas yang sesuai [19]. Precision adalah rasio terjadinya secara aktual diklasifikasikan  sebagai  positif  untuk  semua  ketentuan yang  diklasifikasikan  sebagai      positif.  Nilai  presisi
dihitung dari jumlah data True Positif (TP) dibagi dengan jumlah  TP  ditambah  FP.    Recall  adalah  rasio  terjadinya secara aktual diklasifikasikan sebagai positif untuk semua ketentuan  positif.  Nilai  recall  dihitung  dari  (TP)  dibagi dengan  jumlah  (TP)  dan  (FN).  F-measure  yang didefinisikan sebagai rata-rata harmonik dari precision dan recall [20].

## III. H ASIL DAN A NALISA
Hasil  penelitian  ini  dilakukan  dengan  bantuan  tools Jupyter  menggunakan  bahasa  pemograman  Pyhton. Beberapa library Python  digunakan  untuk  beberapa tahapan proses seperti pandas, scikit-learn, dan nltk. Pandas digunakan  untuk  membaca  dataset  dan  membuat  data dalam  bentuk  yang  lebih  mudah  untuk  diproses  seperti array,  list, dan dataframe .  Scikit-learn  digunakan  untuk proses  klasifikasi.  Scikit-learn mempunyai library algoritma Multinomial Naive Bayes, sehingga tidak perlu menulis  kode  program  dari  awal.  Sedangakn  library  nltk digunakan  untuk  proses  text  preprocessing.  Library  ini mempunyai  fitur  seperti  list  kata  tidak  penting  ( wordlist ) yang digunakan saat proses stopword removal. Kemudian juga  terdapat  fitur  tokenize  untuk  memecah  kalimat menjadi kata.
Pada  tahap  awal,  data  akan  dibuat  kedalam  format comma  separated  value  (.csv).  Adapun  contoh  data  dapat dilihat pada Gambar 2.

## Gambar. 2 Bentuk data dalam format comma separated value (.csv)
Untuk  data  latih  dan  data  validasi,  di  dalam  file  harus disertakan  label  atau  kelas.  Seperti  terlihat  pada  gambar, label  atau  kelas  ditandai  pada  baris  pertama  dan  diberi nama  "kategori".  Sedangkan  untuk  data  diberi  tanda dengan  "Komentar".  Format  ini  dimaksudkan  agar  saat diproses, sistem dapat mengenali antara data dan kelas atau label target.
Selanjutnya  sistem  akan  membaca  data  tersebut  dan memetakannya  ke  dalam  bentuk  dataframe.  Dataframe merupakan bentuk tabel dalam bahasa python. Sebuah tabel akan  memiliki  baris  dan  kolom.  Dengan  memetakan  ke dalam  bentuk  baris  dan  kolom,  maka  sistem  akan  mudah mengidentifikasi  karakteristik  data  yang  digunakan. Adapun proses pembacaan data dapat dilihat pada Gambar 3.
Gambar. 3 Proses membaca dataset
Proses  selanjutnya  adalah  membagi  data  menjadi  dua bagian  yaitu  data  latih  dan  data  validasi.  Data  latih digunakan  untuk  membangun  model.  Sedangkan  data validasi  digunakan  untuk  mengevaluasi  model.  Rasio perbandingan  antara  data  latih  dan  data  validasi  dalam penelitian ini menggunakan tiga macam kombinasi yaitu : 90:10, 80:20, dan 70:30. Dari rasio perbandingan tersebut nantinya  akan  dilihat  mana  yang  menghasilkan  model dengan kinerja paling baik. Adapun proses pembagian data latih dan data validasi dapat dilihat pada Gambar 4.
Gambar. 4 Proses membagi dataset menjadi data latih dan data valdiasi
Untuk  menentukan  parameter  rasio,  dapat  dimasukan kedalam  variabel test-size .  Nilai  yang  dimasukan  dalam bentuk bilangan angka ( float ).
Selanjutnya  adalah  proses  text-preprocessing  atau praproses teks. Terdapat beberapa proses pada tahapan ini yaitu  tokenizing,  stemming,  dan  filtering.  Output  dari proses  ini  adalah  bentuk  teks  atau  kalimat  yang  sudah dibersihkan.  Adapun  hasil  dari  praporoses  teks  dapat dilihat pada Gambar 5.
Gambar. 5 Praproses teks
Proses vectorizing dan penggunaan algoritma klasifikasi multinomial naive bayes menggunakan library scikit-learn . Kedua proses ini dilakukan secara bersamaan dalam sebuah pipeline seperti terlihat pada Gambar 6.
Gambar 6.  Proses vectorize dan pembentukan model
Model  yang  terbentuk  dapat  mengklasifikasikan prediksi  label  atau  kelas  dari  suatu  data.  Hasil  klasifikasi dapat dilihat pada Gambar 7.

## Gambar 7.  Proses vectorize dan pembentukan model
Hasil  klasifikasi  akan  menampilkan  data  beserta  kelas atau  label  dari  data  asli  dan  hasil  prediksi.  Selanjutnya model  yang  sudah  terbentuk  akan  dievaluasi.  Evaluasi bertujuan  untuk  mengetahui  kinerja  model  terebut  dalam proses klasifkikasi. Paramter yang dijadikan acuan adalah precision, recall, f-measure, dan accuracy . Proses evaluasi model dapat dilihat pada Gambar 7.
Parameter ini akan dibandingkan pada setiap rasio data latih  dan  data  validasi  untuk  melihat  kinerja  paling  baik. Adapun hasil perbandingan dapat dilihat pada Tabel II.
Dari Tabel II dapat dilihat bahwa, model yang memiliki kinerja  paling  baik  pada  saat  rasio  data  latih  dan  data validasi sebesar 80% berbanding 20%. Maka model  yang dihasilkan  dari  rasio  ini  akan  disimpan  dan  digunakan untuk proses klasifikasi pada data uji.
Gambar 7.  Proses evaluasi model
TABEL II
P ERBANDINGAN K INERJA M ODEL T ERHADAP R ASIO D ATA Parameter Rasio (%) 90:10 80:20 70:30 Accuracy 78,57 82,14 68,29 Precision 79,46 84,98 73,14 Recall 78,57 82,14 68,29 F-Score 76,36 82,43 69,51
Model  klasifikasi  disimpan  ke  dalam  bentuk  suatu  file untuk kemudian digunakan kembali pada proses penentuan label atau kelas pada data uji. Adapun proses penyimpanan dan pemanggilan model dapat dilihat pada Gambar 8.

## Gambar 8. Proses penyimpanan dan pemanggilan model
Dengan model yang sudah terbentuk, maka ketika akan melakukan  proses  klasifikasi  kelas  pada  data  baru,  maka tidak perlu mengulang proses dari awal
Proses  selanjutnya  adalah  melakukan  klasifikasi kategori  pada  data  uji.  Terdapat  tiga  dataset  yang  akan diujikan. Dataset tersebut merupakan komentar mahasiswa pada  tiap  semesternya  yaitu:  semester  genap  T.A. 2019/2020,  semester  ganjil  T.A.  2020/2021,  semester genap T.A. 2020/2021. Hasil klasifikasi dapat dilihat pada Tabel III.
TABEL III
H ASIL K LASIFIKASI K ATEGORI P ERMASALAHAN AKADEMIK TIAP
SEMESTER Kategori Tahun Ajaran 19/20 Genap 20/21 Ganjil 20/21 Genap Sistem Perkuliahan 470 571 616 Fasilitas 404 167 165 Teknologi 395 688 699 Layanan 111 83 102
Dari data yang tersedia dapat divisualisasikan ke dalam bentuk  grafik  agar  dapat  dilihat  secara  akurat.  Grafik visualisasi dapat diihat pada Gambar 9.
Gambar 9. Grafik hasil klasifikasi tiap semester
Dari  visualisasi  grafik,  terdapat  beberapa  informasi penting  yang diperoleh. Kategori permasalahan akademik yang  paling  banyak  disampaikan  oleh  mahasiswa  pada semester  genap  2019/2020  terkait Sistem  Perkuliahan . Namun  pada dua  semester  berikutnya ,  kategori permasalahn  akademik  yang  paling  banyak  disampaikan adalah Teknologi .
Salah  satu  analisa  yang  dapat  dihasilkan  terkait  ini adalah penyebab terjadinya perubahan kategori permasalahan  yang  paling  banyak  disampaikan  oleh mahasiswa. Pendemi COVID-19 membuat proses kegiatan perkuliahan melarang proses tatap muka dan menggantinya dengan  perkuliahan  daring  (online).  Dari  informasi  yang tersedia,  dapat  terlihat  mahasiswa  banyak  mengomentari terkait perkuliahan online (daring) ini. Mahasiswa banyak mengeluhkan terkait permasalahan dalam proses perkuliahan  daring  ini,  salah  satunya  akses  internet  yang tidak  stabil  dan  merata  terutama  bagi  mahasiswa  yang berada  di  daerah  yang  jauh  dari  pusat  kota.  Sedangkan kategori  "Sistem  Perkuliahan"  juga  tetap  menjadi  isu penting  terkait  kategori  permasalahan  yang  dihadapi mahasiswa. Kategori ini secara konsisten menjadi isu yang penting  untuk  diperhatikan.  Pada  kategori  fasilitas  dan layanan berada pada ururtan ketiga dan keempat untuk tiap semesternya.
0 200 400 600 800 19/20 genap 20/21 ganjil 20/21 genap
Sistem Perkuliahan Fasilitas Teknologi Layanan

## IV. K ESIMPULAN
Dari  hasil  penelitian  yang  dilakukan,  telah  dihasilkan model  klasifikasi  dengan  algoritma  multinomial  naive bayes  dengan  menggunakan.  Model  klasifikasi  yang dibangun  mampu  memprediksi  kategori  permasalahan akademik  secara  otomatis.  Kinerja  model  diukur berdasarkan  parameter  accuracy,  precision,  recall,  dan  f- score.  Hasil  model  klasifikasi  menunjukan  kinerja  yang cukup baik dengan nilai sebesar 82,14%, 84,98%, 82,14%, 82,43%.
Implementasi model klasifikasi pada data uji yang berisi dataset  untuk tiga  semester terakhir  menunjukan  kategori permasalahan  akademik  yang  paling  sering  disampaikan oleh  mahasiswa.  Kategori  Teknologi  dan  Sistem Perkuliahan  menjadi  dua  kategori  yang  paling  sering disampaikan.  Sedangkan  kategori  Fasilitas  dan  Layanan secara  konsisten  menempati  urutan  ketiga  dan  keempat terkait kategori permasalahan akademik yang paling sering disampaikan oleh mahasiswa.

## R EFERENSI
[1] I.N. Purnama, Perbandingan Klasifikasi Website Secara Otomatis Menggunakan  Metode  Multilayer  Perceptron  dan  Naive  Bayes. Jurnal Sistem Komputer dan Informatika (JSON), 2021.
[2] R. Puspita, A. Widodo, Perbandingan Metode KNN, Decision Tree, dan Naïve Bayes Terhadap Analisis Sentimen Pengguna Layanan BPJS. Jurnal Informatika Universitas Pamulang, 2021.
[3] M.  Mulya,  K.  J.  Miraswan,  Pendeteksian  Email  Spam  dan  Non- Spam  dengan  Metode  Klasifikasi  Naive  Bayes.  Sriwijaya
University, 2020.
[4] E.  E.  Pratama,  H.  Muhardi,  F.  H.  Sajid,  M.  Muthahhari,  The Comparison  of  Data  Mining  Algorithms  for  Classification  of Suggestions  from  Computer-Based  Written  Exam  Participants. International  Conference  on  Data  and  Software  Engineering (ICoDSE). 2019.
[5] Nugroho, B. Agung, A. K. A. Pradana, and E. Nurfarida. Prediksi Waktu  Kedatangan  Pelanggan  Servis  Kendaraan  Bermotor Berdasarkan Data Historis menggunakan Support Vector Machine. JEPIN  (Jurnal  Edukasi  dan  Penelitian  Informatika)  7.1  2021:  25- 30.
[6] D. Ariyanti, K. Iswardani. Teks Mining untuk Klasifikasi Keluhan Masyarakat  Menggunakan  Algoritma  Naive  Bayes.  IKRA-ITH INFORMATIKA: Jurnal Komputer dan Informatika 4.3 2020: 125- 132.
[7] Wahyuni,  E.  Dyar,  A.  Arifiyanti.  Model  Klasifikasi  Teks  Produk Terlarang.  Jurnal  Informatika  dan  Sistem  Informasi  (JIFoSI)  1.2 2020: 563-572.
[8] S. Sari, Analisis Sentimen Terhadap Komentar Beauty Shaming Di Media  Sosial  Twitter  Menggunakan  Algoritma  SentiStrength: Sentiment Analysis Against Beauty Shaming Comments on Twitter Social  Media  Using  SentiStrength  Algorithm.  Indonesian  Journal of  Informatic  Research  and  Software  Engineering  (IJIRSE)  1.1 2021: 71-78.
[9] Wardana,  H.  Kusuma,  I.  Swanita,  B.  W.  Yohanes.  Sistem Pemeriksa Pola Kalimat Bahasa Indonesia berbasis Algoritme Left- Corner Parsing dengan Stemming. Jurnal Nasional Teknik Elektro dan Teknologi Informasi (JNTETI) 8.3 2019: 211-217.
[10] Naf'an,  M.  Zidny,  A.  Burhanuddin,  A.  Riyani.  Penerapan  Cosine Similarity dan Pembobotan  TF-IDF untuk Mendeteksi Kemiripan Dokumen. Jurnal Linguistik Komputasional 2.1 (2019): 23-27.
[11] Khomsah, Siti, A. S. Aribowo. Text-Preprocessing Model Youtube Comments  in  Indonesian.  Jurnal  RESTI  (Rekayasa  Sistem  Dan Teknologi Informasi) 4.4 2020: 648-654.
[12] P. H. Saputro, M. Aristin, and Dy. L. Tyas, Klasifikasi Lagu Daerah Indonesia  Berdasarkan  Lirik  Menggunakan  Metode  TF-IDF  dan Naive Bayes, J. Teknoloi Inform. dan Terap, 2017.
[13] Z.  Zhu,  J.  Liang,  D.  Li,  H.  Yu,  and  G.  Liu,  Hot  Topic  Detection Based on  a  Refined  TF-IDF Algorithm, IEEE  Access, vol.  7, pp. 26996–27007, 2019, doi: 10.1109/ACCESS.2019.2893980.
[14] Annur,  Haditsah.  "Klasifikasi  Masyarakat  Miskin  Menggunakan Metode Naive Bayes." ILKOM Jurnal Ilmiah 10.2 2018: 160-165.
[15] E. E. Pratama, H. Sastypratiwi. Analisis Kecenderungan Informasi Terkait  Covid-10  Berdasarkan  Big  Data  Sosial  Media  dengan Menggunakan Metode Data Mining. Jurnal Informatika Polinema 7.2 2021: 1-6.
[16] J.  Han,  M.  Kamber,  Data    Mining    Concepts    and    Techniques, second edition. California: Morgan Kaufman. 2006.
[17] A. H.  Setianingrum, D.  H.  Kalokasari, I. M. Shofi.  Implementasi Algoritma  Multinomial  Naive  Bayes  Classifier.  Jurnal  Teknik Informatika 10.2 2017: 109-118.
[18] B.  Liu,  Web  Data  Mining:  Exploring  Hyperlinks,  Contents,  and Usage Data, Second  Edition,  New  York: Spinger, 2011.
[19] P.  Cichosz,  Data  Mining  Algorithms:  Explained  Using  R, Chichester: John Wiley & Sons, 2014
[20] A.  Tripathy,  A.  Agrawal,  S.  K.  Rath,  Classification  of  Sentiment Reviews  using  N-Gram  Machine  Learning.  Expert  Systems  With Applications. 2016.