https://jurnal.itg.ac.id/index.php/algoritma DOI: 10.33364/algoritma/v.21-1.1514

## Analisis Sentimen Layanan Sistem Informasi Akademik Mahasiswa Menggunakan Algoritma Naive Bayes
Taupik Hidayat 1 , Rinda Cahyana 2 , Indri Tri Julianto 3
1,2,3 Institut Teknologi Garut, Indonesia
*email: indritrijulianto@itg.ac.id Info Artikel ABSTRAK Dikirim: 11 Oktober 2023 Diterima: 27 Oktober 2023 Diterbitkan: 18 Mei 2024 AISnet For Student adalah sebuah sistem informasi akademik yang dibangun  oleh  Institut  Teknologi  Garut  untuk  memberikan kemudahan kepada mahasiswa dalam menjalankan berbagai kegiatan administrasi akademik kampus secara online . Penelitian ini memiliki tujuan  untuk  melakukan  analisis  sentimen  terhadap  layanan akademik online di  Institut  Teknologi  Garut  dengan  melibatkan mahasiswa  sebagai  subjek  penelitian.  Analisis  sentimen  ini  akan dilakukan  menggunakan  Algoritma Naive  Bayes untuk  menggali pandangan  dan  pendapat  mahasiswa  terkait  dengan  layanan akademik  tersebut.  Penelitian  ini  dilakukan  dengan  tujuan  untuk mengidentifikasi  potensi  masalah  yang  mungkin  terjadi  dalam layanan  akademik online di  Institut  Teknologi  Garut.  Selain  itu, penelitian  ini  juga  bertujuan  untuk  memberikan  rekomendasi  yang dapat  membantu  dalam  meningkatkan  kualitas  layanan  tersebut. Penelitian menunjukkan bahwa mahasiswa memiliki sentimen positif terhadap  layanan  akademik  pada  kampus.  Tetapi,  ada  beberapa masalah  yang  perlu diatasi,  seperti  masalah  teknis  dan  kekurangan fitur dalam sistem tersebut. Solusi dalam mengatasi masalah tersebut yaitu dengan  mengembangkan sistem yang user-friendly , meningkatkan  kualitas  jaringan,  meningkatkan  fitur  sistem, melakukan  pelatihan  atau  sosialisasi  penggunaan  sistem  kepada mahasiswa,  dan  menerapkan  teknologi  dan  inovasi  terbaru  dalam layanan  sistem  akademik  mahasiswa online. Hasil  Penelitian  ini memiliki  potensi  untuk  memberikan  manfaat  bagi  lembaga pendidikan  dengan  cara  membantu  dalam  perbaikan  layanan akademik online yang  lebih  baik.  Hasilnya  diharapkan  dapat meningkatkan kepuasan dan kualitas layanan yang diberikan kepada mahasiswa. Selain itu, penelitian ini juga dapat menjadi acuan atau referensi  bagi  penelitian-penelitian  selanjutnya  yang  berkaitan dengan  analisis  sentimen  di  bidang  akademik  atau  bidang  lainnya. Dimana  Algoritma Naive  Bayes digunakan  untuk  menganalisis sentimen  mahasiswa  terhadap  layanan  akademik  pada  kampus Institut  Teknologi  Garut.  Hasil  akhir  menunjukan  bahwa  sentimen negatif  lebih  besar  ketimbang  sentimen  positif.  Dimana  sentimen negatif sebesar 54,75 % dan sentimen positif sebesar 45,24%, hal ini di  karnakan  pada  aplikasi  AISNet  pengguna  kebanyakan memberikan ulasan untuk update nya tidak real time berikut adalah hasil  akhir  dengan  mendapatkan accuracy 80,06%, percission sebesar 83,11 dan recall 75,21.

## Kata kunci:
AISnet For Student; Analisis Sentimen; Naïve Bayes ; Ulasan.

## 1. PENDAHULUAN
Analisis sentimen dapat digambarkan sebagai laporan komputasi yang mengkaji pandangan, opini, perasaan, dan emosi individu terhadap seseorang, peristiwa, atau titik yang menjadi dasar  subjek dalam penyelidikan. [1]. Analisis sentimen merupakan proses  penting untuk memahami sifat informasi yang diidentifikasi untuk kurasi data atau penggalian informasi dari sumber informasi literatur yang secara alami ada dalam jumlah besar [2]. Text  mining dan  penambangan  informasi  dipandang  sebagai  ilmu  serupa  karena  estimasi  serupa  dapat digunakan  dalam  kedua  konsep mining .  Bagaimanapun,  keduanya  berbeda  karena  dalam data  mining mencakup informasi yang terorganisir, sedangkan teks dikaitkan dengan sorotan tertentu dan sering kali tidak terstruktur  serta  memerlukan  pra-pemrosesan. Text  mining adalah  bidang  yang  berkaitan  erat  dengan pemrosesan  bahasa  alami  [3].  Institut  Teknologi  Garut  merupakan  salah  satu  perguruan  tinggi  di Indonesia yang  telah  membentuk  sistem  pembelajaran online bagi  mahasiswanya  yang  disebut  AISnet  for  Student. Mahasiswa  di  Institut  Teknologi  Garut  dapat  mengakses  informasi  dan  layanan  akademik  melalui  sistem tersebut.  Namun,  perlu  diketahui  sentimen  mahasiswa  terhadap  layanan  akademik  mahasiswa online pada kampus, karena dapat memberikan gambaran tentang kepuasan dan masalah yang terjadi pada suatu sistem mahasiswa online yang digunakan.
Tahap  pengumpulan  data  ini  dilakukan  dengan  teknik scraping dengan  bantuan  bahasa  program pyhton di google colab [4]. Google Collaboratory adalah instrumen yang berguna bagi mahasiswa. Karena koordinasinya dengan  GitHub,  ia  menikmati  manfaat  yang  dicatat  di  poin  sebelumnya,  dan  dengan  alasan  bahwa  ia menawarkan  aset  pemrosesan  penting  kepada  mahasiswa  dengan  cara  yang  sederhana,  ia  bekerja  dengan pergantian peristiwa dan pelaksanaan model non-kecil yang memungkinkan penggambaran strategi komputasi yang kompleks, dengan cara ini mengembangkan lebih lanjut persiapannya [5].
Penelitian  ini  didasarkan  pada  penelitian  sebelumnya,  yang  disebutkan  oleh  [6]  Pada  penelitian  ini menggunakan  model  Kano  untuk  mengungkap  kepuasan  mahasiswa  terkait  dengan  pemanfaatan  dan peningkatan inovasi data dalam administrasi data mahasiswa. [7] terhadap Sistem informasi akademik pada Institut Teknologi Garut, sistem yang digunakan adalah dengan mengumpulkan 35 komentar di Google Play dimana data yang dikumpulkan adalah data kependudukan atau data umum. Selanjutnya penelitian  [8], [9], [10], [11], [12] dimana penelitian SVM ini menggunakan dataset pada ulasan aplikasi di Google Play. Sehingga hasil  eksplorasi  menghasilkan  ketepatan  terbaik  dalam  mengarahkan  pemeriksaan  sentimen  dibandingkan dengan perhitungan karakterisasi lainnya. Dataset diperoleh dari Google Play menggunakan Webharvy . Jadi diasumsikan bahwa ulasan ini dapat didasarkan pada survei positif yang dilakukan oleh klien lain dan survei negatif akan memberikan kontribusi kepada organisasi sehingga dapat mengembangkan produknya [13].
Google Play memiliki komponen untuk melakukan analisis survei terkait aplikasi mengenai pernyataan yang sering muncul dalam ulasan. Ada juga tindakan perkiraan yang diklasifikasikan ke dalam perspektif seperti rencana, keamanan, profil, pemanfaatan aset, kecepatan, kekuatan, penyegaran, pencopotan pemasangan dan lain–lain. Kemudahan penggunaan aplikasi ini ideal untuk melakukan analisis sentimen dalam survei pengguna di  Google  Play,  membantu  pengguna  dalam  memperkenalkan  aplikasi  dan  membantu  desainer  dalam menguraikan aplikasi [14]. Penelitian selanjutnya yang di lakukan oleh [15], [4], [16], [17], [18] penelitian ini melakukan analisis sentimen menggunakan komputasi Naïve Bayes , suatu teknik pengelompokan berdasarkan hipotesis Bayes . Teknik ini cocok digunakan bila jumlah sumber informasi sangat banyak. Susunan ini disukai karena  cepat  dan  lugas  serta  mempunyai  keunggulan  dalam  analisis  sentimen.  Lebih  spesifiknya,  sebagai pemikiran  atau  penilaian  dalam  berbagai  bidang.  Perhitungan  ini  bekerja  dengan  mengkarakterisasi  kelas berdasarkan kemungkinan dasar dimana untuk situasi ini diterima bahwa setiap sifat dalam informasi saat ini sama sekali tidak berhubungan [19].
Pemeriksaan opini ini memungkinkan Anda mengumpulkan pesan penyempurnaan dalam sebuah kalimat atau laporan untuk memahami apakah peringkat survei itu positif atau negatif. Gunakan prapemrosesan teks untuk informasi yang akan digunakan saat meninjau WordCloud , Network Explorer , dan analisis sentimen. Dimana pemeriksaan ulasan informasi tersebut ditangani, maka hanya data-data penting yang terkandung di dalamnya yang  akan  diambil  [20].  Hasil  akhir  dari  penelitian  kemudian  dilakukan  pengujian  menggunakan confusion
matrix , dan diperoleh nilai dari Accuracy, Precision, Recall dan F1-Score dari ketiga semester. Setelah di rata- rata diperoleh nilai Accuracy, Precision, Recall , dan F1-Score sebesar 0.81 atau 81% [21]
Berdasarkan  penelitian sebelumnya banyak yang menggunakan algoritma pembelajaran mesin serta metode untuk meningkatkan akurasi yang di lakukan untuk mendapatkan hasil akhir pada sistem. dimana, dilakukan penelitian analisis sentimen layanan sistem informasi akademik online menggunakan algoritma Naive Bayes di Institut Teknologi Garut. untuk menganalisis sentimen mahasiswa terhadap layanan akademik mahasiswa online pada  kampus.  Penelitian  ini  bertujuan  untuk  memberikan  gambaran  mengenai  kepuasan  mahasiswa Institut Teknologi Garut terhadap layanan akademik online dan memberikan rekomendasi untuk meningkatkan kualitas layanan. Algoritma Naïve Bayes digunakan untuk menganalisis sentimen mahasiswa terhadap layanan pembelajaran online di kampus.

## 2. METODE PENELITIAN
Pada penelitian ini, metode KDD digunakan dengan tahapan yang dijelaskan secara rinci. Salah satu tahapan tersebut  adalah  pembuatan  diagram  yang  membantu  menjelaskan  berbagai  langkah  dalam  sistem  informasi akademik. Tahapan ini akan disajikan dalam bentuk  skema Work Breakdown Structure (WBS) seperti yang dijelaskan berikut:
Gambar 1. Work Breakdown Structure
Tahapan pertama adalah Data Selection, data dikumpulkan dari dua sumber utama: review pengguna di AISNet For  Student  di  Google  Play  dan  melalui  kuesioner  atau  survei  yang  disebarkan  melalui  Google  Forms, selanjutnya Preprocessing dimana menggunakan 6 aktivitas dalam memproses data yaitu cleaning, labeling, tokenize, case folding, stopword removal dan filtering . setelah tahapan preprocessing selesai tapan selanjutnya yaitu Trasformation dimana data teks yang digunakan diubah menjadi vektor bobot. Tahapan selnjutnya Data Mining dimana  data  diproses  dengan  menerapkan  pengklasifikasian  data  dengan  Algoritma Naive  Bayes . Langkah terakhir adalah Evaluation pada tahapan ini akan menggunakan aktivitas WordCloud dan Confusion Matrix untuk mengetahui performa dari Naïve Bayes dan kata apa yang sering muncul.

## 3. HASIL DAN PEMBAHASAN
Penelitian  ini  menggunakan  perhitungan Naive  Bayes untuk  melakukan  analisis  sentimen  sehingga menciptakan karakterisasi positif dan negatif pada setiap ulasan pada aplikasi AISNet For Student.

## 3.1 Hasil Penelitian
1) Data Selection
Pada  tahap  ini  menghasilkan  sebuah  dataset  yang  nantinya  di  gunakan  dalam  penelitian  analisis sentimen,  dengan  menggumpulkan  data  yang  di  ambil  dari  Teknik scrapping dan  penyebaran kuisioner ke mahasiswa di Institut Teknologi Garut. Data yang sudah terkumpul nantinya akan di hapus kata – kata yang tidak ada maknanya tetapi tidak terpengaruh pada kalimat.
a) Pengumpulan Data
Untuk  melakukan  pengumpulan  data  dilakukan  menggunakan  Bahasa Phyton dan Liblary Phyton Scrapper yang di jalankan di Google Collaboratory dan menyebarkan kuisioner kepada mahasiswa di Institut Teknologi garut.
Tabel 1. Hasil dari Teknik Scrapping No User Rating Tanggal Ulasan 1 User 1  5 6/10/2023 Bagus 2 User 2  2 3/23/2023 Jarang di update sistemnya hadeh 3 User 3  5 2/10/2023 Cakep 4 User 4  5 1/2/2023 Mantull 5 User 5  5 11/13/2022   Di hp sy banyak bug nya kak
Pada  Tabel  1  di  atas  merupakan  dataset  yang  di  ambil  dari  aplikasi  AISNet  For  Student  di Google Play dengan Teknik pengambilan Scrapping pada tanggal 5 juni 2023 dengan jumlah data 20 ulasan.
Tabel 2. Hasil dari Penyebaran Kuisioner
Pada Tabel 2 di atas merupakan dataset yang di ambil dari penyebaran kuisioner ke mahasiswa Institut Teknologi Garut, dataset di ambil dari tanggal 7 juni 2023 sampai dengan 8 agustus 2023, dengan jumlah data 304 ulasan.
b) Pemilihan Data
Data  yang  telah  dikumpulkan  kemudian  dipilih  dengan  menghilangkan  Atribut  yang berlebihan, dengan tujuan agar data yang didapat hanya sebagai ulasan dari aplikasi AISNet. Data yang di kumpulkan ialah sebuah teks dari pengguna AISNet dengan berjumlah 324 data dimana dari pengambilan dengan Teknik Scrapper berjumlah 20 data dan penyebaran kuisioner 304 data dengan rentan waktu dari tanggal 5 juni sampai 8 agustus 2023.
2) Prepocessing
Pada tahap ini di lakukan Prepocessing atau menyiapkan data ulasan dimana memperbaiki data dan menghapus kata yang tidak penting atau tidak ada maknanya sebelum melakukan klasifikasi. Tahap ini di bagi menjadi 6 bagian yaitu cleaning, labeling, tokenize, case folding, stopword removal dan filtering . berikut penjelasan dari tahapan prepocessing :
a. Cleaning
Berikut  adalah  proses cleaning yaitu  untuk  menghapus  simbol,  angka  dan  karakter  yang  di gunakan  di  beberapa  oprator.  Pada  proses cleaning ini  menggunakan software Rapidminer.
Dapat di lihat pada tabel 3 sebagai berikut:
No User Rating  Tanggal Ulasan
1 User 1   4
6/7/2023  Cukup puas dengan tampilan dan fungsi yang ada.
2 User 2  4 6/7/2023  Suka eror pas mau UTS atau UAS 3 User 3  4 6/7/2023 Membantu  pembelajaran  baik  untuk  dosen  maupun mahasiswa 4 User 4  4 6/7/2023 Untuk  interface  nya  sudah  baik,  mungkin  bisa  lebih dikembangkan dari segi fiturnya 5 User 5   5 6/7/2023  Puas dengan penyajiannya
Tabel 3: Hasil cleaning No Sebelum Sesudah 1 Tampilan bagus, fitur sudah lengkap. Semangat untuk TIM Developer. ðŸ¥³ Tampilan bagus, fitur sudah lengkap.  Semangat  untuk  TIM Developer.
2 Sangat mudah dipahami aplikasinya Sangat mudah dipahami aplikasinya
Pada Tabel 3 di atas adalah hasil dari tahapan Cleaning yaitu pembersihan dari kata yang ada noise nya disini kata atau karakter yang di hapus adalah “ðŸ¥³” dan karakter “ ” dan masih banyak lagi.
b. Labeling
Sesudah  semua  data  bersih  dari noise pada  tahap cleaning langkah  selanjutnya  adalah pelabelan data sebagian di lakukan secara manual dan sisanya akan di lakukan secara otomatis. Dapat di lihat pada Tabel 4 dan pelabelan otomatis pada Gambar 2.
Tabel 4: Pelabelan Manual No Ulasan Sentimen 1 Aplikasinya  mudah  dipahami  dan  informasi  didalamnya  sangat  jelas, terimakasi Positif 2 Untuk update harus di tingkatkan lagi Negatif
Tabel 4 di atas adalah hasil dari pelabelan manual yang di mana untuk menentukan nya yaitu menandai informasi dengan membaca informasi setiap review satu per satu, melihat kata-kata dengan emosi, akan ditandai dengan sentimen negatif, sebaliknya jika ada pujian akan ditandai dengan sentimen positif.
Gambar 2. Pelabelan otomatis
Pada  Gambar  2  ini  adalah  contoh  hasil  ulasan  yang  sudah  di  isi  secara  otomatis  dengan menggunakan Rapidminer dimana dapat di lihat pada kolom prediction (sentimen) sudah terisi ulasan yang tadi nya kosong dimana pada tingkat prediksi ini suka keliru yang harusnya pada ulasan itu positif menjadi negatif jadi di sarankan untuk pengisian secara otomatis ini harus mempunyai dataset yang banyak.
c. Tokenize
Tahap  selanjutnya  di  lakukan  tokenisasi  dimana  proses  pemecahan  kalimat  menjadi  sebuah bagian – bagian kata. dengan Dapat di lihat pada Tabel 3.
Tabel 3. Hasil Tokenize No  Sebelum Sesudah 1 Membantu  pembelajaran  baik  untuk dosen maupun mahasiswa Membantu – pembelajaran – baik – untuk – dosen – maupun – mahasiswa
2 Menurut  saya  fitur  aplikasi  aisnet sudah bagus semuanya Menurut  –  saya  –  fitur  –  aplikasi  -  aisnet sudah – bagus – semuanya
Pada Tabel 3 di atas ialah contoh hasil dari tokenize yaitu tahap perubahan sehingga interaksi tidak ditangani dalam kalimat, tetapi memproses kata demi kata.
d. Case Folding
Gambar 3. Hasil Case Folding
Pada  Gambar  di  atas  merupakan  contoh  dari Case  Folding dimana  semua  huruf  yang sebelumnya dalam bentuk huruf kapital diubah menjadi huruf kecil. Hal ini diperlukan karena dalam analisis teks, huruf kapital dan huruf kecil dianggap sebagai karakter yang berbeda dan mempengaruhi hasil pemrosesan teks
e. Stopword Removal
Gambar 4. Hasil Stopword Removal
Pada gambar di atas merupakan contoh dari filter stopword atau bisa di sebut dengan Stopword Removal ,  dimana  nantinya  akan  di  hapus  kata  –  kata  yang  tidak  ada  maknanya  tetapi  tidak terpengaruh pada kalimat.
f. Filtering
Gambar 5. Hasil Filtering
Pada gambar di atas adalah contoh hasil dari filtering , kata atau singkatan tertentu dihilangkan, ditentukan  jumlah  minimum  karakter  sebelum  digunakan.  Peneliti  mengatur  panjang  token minimal sebesar 4 karakter dan panjang maksimal sebesar 25 karakter.
Tabel 4. Hasil Preprocessing Teks
Data awal
Tampilan bagus, fitur sudah lengkap. Semangat untuk TIM Developer ðŸ¥³
No Tahapan Hasil 1 Cleaning Tampilan  bagus,  fitur  sudah  lengkap  Semangat  untuk  TIM Developer 2 Labeling Positif 3 Tokenize
[  “Tampilan”,  “bagus”,  “fitur”,  “sudah”,  “lengkap”, “semangat”, “untuk”, “TIM”, “developer”] 4 Case Folding tampilan  bagus,  fitur  sudah  lengkap  semangat  untuk  tim developer
5 Stopword Removal tampilan bagus, fitur sudah lengkap semangat tim developer
6 Filtering tampilan bagus, fitur lengkap semangat tim developer
Pada  Tabel  4  di  atas  merupakan  penjelasan  dari  hasil  masing  –  masing  proses  dari  tahapan preprocessing yaitu Cleaning,  Labeling,  Tokenize,  Case  Folding,  Stopword  Removal dan Filtering .
3) Trasformation
Setelah selesai pada tahap preprocessing dimana untuk mempersiapkan data Langkah selanjutnya adalah tahapan transformation. Dimana pada tahap ini akan di ubah menjadi data yang nantinya akan di  gunakan  dalam  proses data  mining ,  akan  di  lakukan  pembobotan  kata  dengan  menggunakan metode TF-IDF. Dapat di lihat pada Gambar 6.
Gambar 6. Hasil Term Frequency-Inverse Document Frequency
Pada  Gambar  6  di  atas  yaitu pembobotan kata  yang di  mana  mengubah  informasi  dari  informasi tekstual menjadi informasi matematis untuk membuat bobot pada setiap kata atau elemen.
4) Data Mining
Selanjutnya,  pada  tahap  ini  model  klasifikasi Naïve  Bayes diimplementasi  menggunakan Rapidminer, dimana digunakan  beberapa  operator  seperti  Read  CSV  untuk  menampung datanya. yang akan di proses nantinya lalu ada operator Set Role , yaitu untuk mengubah target role nya ke label.  Lalu  berikutnya  adalah  menerapkan  teknik  SMOTE  untuk  menyeimbangkan  data,  dan kemudian melakukan cross validation untuk menguji kinerja model klasifikasi Naive Bayes .

## Gambar 7. Proses Data Mining
Berdasarkan Gambar 7 di atas, hasil dari model Naïve Bayes di data training dengan jumlah 324 data  dapat  di  peroleh  klasifikasi  prediksi  sentimen  positif  sebanyak  154  teks,  prediksi  sentimen negatif  sebanyak  230  teks  dari  total  484  ulasan.  Kenapa  hasilnya  tidak  324  ulasan  karena  pada klasifikasi  model Naïve  Bayes saya  menggunakan  operator  SMOTE  dimana  operator  ini menyeimbangkan data yang sedang di olah dan data akan bertambah. Jadi hasil akhir nya yaitu 484 ulasan.

## Gambar 8. Diagram Model Naïve Bayes
Pada Gambar 8 ini, adalah hasil presentase dari sentimen positif dan negatif dari hasil akhir maka seluruh sentimen positif akan di bagi dengan seluruh dokumen dan sentimen negatif akan di bagi dengan seluruh dokumen. Lebih jelasnya kita akan hitung presentasi positif dan negatif di bawah ini:
Presentasi sentimen positif 219 484 X 100% = 45,24 %
Presentasi sentimen negatif 265 484 X 100% = 54,75 %
Di  peroleh  hasil  dari  presentasi  sentimen  negatif  lebih  besar  dari  pada  sentimen  positif  jumlah sentimen  negatif  sebesar  54,75  %  dan  jumlah  sentimen  positif  adalah  45,24  %.  Jadi  hasil  dari keseluruhan klasifikasi sentimen negatif lebih unggul dari pada sentimen positif.
5) Evaluation
Pada  tahap  evaluasi, confusion  matrix akan  digunakan  untuk  mengevaluasi  hasil  akhir  dari pemodelan menggunakan Naïve Bayes . Hal ini akan memberikan informasi tentang presisi, akurasi,
dan recall dari  model  tersebut  dan  di  visualisasikan  data  dengan Wordcloud. Berikut  adalah penjelasan yang telah di lakukan:
a. Confusion Matrix
Berdasarkan hasil dari evaluasi pembuatan model mendapatkan accuracy 80.06% dapat di liat pada Gambar 9.

## Gambar 9. Hasil Confusion Matrix
Berdasarkan  Gambar  9  di  atas,  hasil Confusion  Matrix dengan  menggunakan  dataset  dari aplikasi  AISNet  dan  penyebaran  kuisoner  dengan  menggunakan  Algoritma Naïve  Bayes sebagai pemroses data di dapatkan accuracy 80.06%, percission sebesar 83,11, recall 75,21. Adapun rumus Confusion Matrix bisa di lihat di bawah ini:
Accuracy TP+TN TP+TN+FP+FN = 182+205 182+205+37+60 = 387 484 X 100% = 79,95%
Precision TP TP+FP = 182 182+37 = 182 219 X 100% = 83,10%
Recall TP TP+FN = 182 182+60 = 182 242 X 100% = 75,20%
Keterangan: TP : True Positive TN : True Negative FP : False Positive FN : False Negative
Berdasarkan  contoh  rumus confusion  matrix di  atas,  terdapat  182  item  data  yang  sudah terklarifikasi benar, dan ada pula item data yang sudah terklarifikasi benar namun prediksinya negatif, sebanyak 205 item data, dan 37 data mempunyai prediksi yang salah. termasuk dalam sentimen negatif yang seharusnya positif, terdapat 60 data yang diprediksi secara salah masuk ke sentimen positif yang sebaliknya sentimen positif masuk ke negatif. Dari hasil perhitungan confusion  matrix di  atas  diperoleh  hasil  akurasi,  presisi,  dan recall ,  berbeda  sedikit  dengan perhitungan Rapidminer.
b. WordCloud
Pada tahap terakir yaitu visualisasi menggunakan WordCloud dimana nanti akan di tampilkan seberapa banyak kata yang keluar dari sentimen positif dan negatif, Dapat di lihat pada Gambar 12 dan 13 sebagai berikut:
a) WordCloud Sentimen Positif
Gambar 10. WordCloud Sentimen Positif
Pada Gambar 10 di atas menunjukan hasil dari sentimen positif dimana kata yang sering muncul adalah kata “aplikasinya” karena kata yang terlihat paling besar itu yang lebih banyak muncul, kemudian ada membantu, bagus, menarik, mudah, terbantu dan yang lain nya.
b) WordCloud Sentimen Negatif
Gambar 11. WordCloud Sentimen Negatif
Gambar  11  di  atas  menunjukan  bahwa  kata  yang  lebih  banyak  muncul  adalah “aplikasinya, update , perbaiki, aisnet”  kenapa  di dalam sentimen negatif terdapat  kata positif seperti “bagus, nyaman” karena pada pengisian sentimen ada yang di isi otomatis menggunakan  Rapidminer  dimana  tingakat  prediksi  ini  suka  keliru  yang  harusnya bernada positif ini masuk ke negatif, sebagaimana bisa di lihat pada Gambar 4 Contoh Ulasan Sentimen Otomatis.

## 3.2 Pembahasan Hasil
Berikut  ini  adalah  hasil  temuan  yang  sudah  di  lakukan  yang  merujuk  kepada  teori  pendapat  dan  penelitian sebelumnya.  Ada  dua  masalah  utama  yang  di  tuliskan  dalam  penelitian  ini  adalah:  bagaimana  melakukan analisis  sentimen  terhadap  sistem  informasi  akademik  mahasiswa  online  di  Institut  Teknologi  Garut,  dan bagaimana  mengukur  akurasi  dan  kinerja  sistem  analisis  sentimen  yang  diimplementasikan  pada  data mahasiswa Institut Teknologi Garut.
Dalam menjawab rumusan masalah pertama, yang berkaitan dengan cara melakukan analisis sentimen terhadap sistem informasi akademik mahasiswa online di Institut Teknologi Garut, langkah pertama adalah melakukan pengumpulan data, dimana pengumpulan data ini di lakukan dengan teknik scrapper yaitu teknik pengambilan data dari aplikasi AISNet For Student di Google Play, terkumpul sebanyak 20 ulasan dimana data dari aplikasi AISNet  ini  sedikit  maka  di  lakukan  penyebaran  kuisioner  ke  mahasiswa  institut  teknologi  garut,  dengan mendapatkan  ulasan  mengenai  AISNet  sebanyak  304  ulasan  jadi  dengan  terkumpulnya ulasan  dari  aplikasi AISNet  dan  penyebaran  kuisioner  yaitu  sebanyak  324  ulasan.  Setelah  selesai  dari  pengumpulan  data selanjutnya  yaitu  pembersihan  data  dengan  memanfaatkan software Rapidminer  dimana  menggunakan
operator reaplace, untuk  menghapus noise pada  data  tersebut.  Setelah  pembersihan  data  sudah  selesai selanjutnya di lakukan lah pelabelan data yang di mana pelabelan data ini sebagian di lakukan dengan manual dan sebagian nya lagi dilakuan secara otomatis dengan software Rapidminer dimana pelabelan secara manual 288 data dan pelabelan otomatis 36 data. Setelah pelabelan selesai selanjutnya dilakukan proses tokenize yang dimana  proses  pemecahan  kalimat  menjadi  beberapa  bagian  kata,  setelah  itu  dilakukan case  folding yaitu semua  huruf  kapital  di  ubah  menjadi  huruf  kecil,  selanjutnya  dilakukan stopword  removal yang  dimana nantinya akan di hapus kata – kata yang tidak ada maknanya tetapi tidak merubah arti dari kalimat tersebut, terus  di  lakukan  filtering  untuk  menghilangkan  kata  atau  singkatan  dari  kata  yang  telah  ditentukan  jumlah minimum karakternya. Selanjutnya dilakukan lah transformation yang dimana akan di ubah menjadi data yang nantinya  akan  di  gunakan  dalam  proses data  mining .  Selanjutnya  model  klasifikasi Naïve  Bayes diimplementasikan menggunakan Rapidminer, dimana digunakan beberapa operator seperti Read CSV untuk menampung datanya. yang akan di proses nantinya lalu ada operator Set Role , yaitu untuk mengubah target role nya ke label, lalu ada manfaat SMOTE, yaitu penyeimbangan data, dan kemudian cross validation yaitu pengujian Naïve Bayes . Di peroleh hasil dari presentasi sentimen negatif lebih besar dari pada sentimen positif jumlah  sentimen  negatif  sebesar  54,75  %  dan  jumlah  sentimen  positif  adalah  45,24  %.  Jadi  hasil  dari keseluruhan klasifikasi sentimen negatif lebih unggul dari pada sentimen positif. Dan tahapan terakhir yaitu evaluasi model untuk mengetahui performa dari model yang sudah dibuat yang mana hal ini akan di bahas pada rumusan masalah yang ke dua.
Dalam menjawab rumusan masalah yang kedua yaitu bagaimana mengukur akurasi dan kinerja sistem analisis sentimen  yang  diimplementasikan  pada  data  mahasiswa  Institut  Teknologi  Garut.  Pada  tahap  evaluasi, confusion  matrix digunakan  untuk  mengevaluasi  hasil  akhir  dari  proses  pemodelan  dengan  menggunakan algoritma Naïve Bayes . Hasil evaluasi ini mencakup akurasi, presisi, dan recall yang memberikan gambaran tentang kinerja model. Selain itu, juga dilakukan visualisasi data dokumen dengan menggunakan Wordcloud , yang membantu dalam memahami dan menampilkan pola kata-kata yang mencerminkan sentimen dalam data hasil  performa  dari  model  yang  sudah  di  evaluasi  dengan  menggunakan  dataset  dari  aplikasi  AISNet  dan penyebaran  kuisoner  dengan  menggunakan  Algoritma Naïve  Bayes sebagai  pemroses  data  di  dapatkan accuracy 80,06%, percission sebesar  83,11, recall sebesar  75,21,  dengan  akurasi  80,06  termasuk  ke  dalam kategori  baik.  Penelitian  ini  telah  menemukan  akurasi  dari Naïve  Bayes ,  dimana  penelitian  sebelumnya  [7] hanya sampai WordCloud .

## 4. KESIMPULAN
Rapidminer  berasil  mengklasifikasi  ulasan  pengguna  aplikasi  AISNet  For  Student  dengan  hasil  dominan negatif  dibandingkan  positif.  Ulasan  yang  di  ambil  pada  tanggal  5  juni  sampai  8  agustus  2023  dengan pengambilan scrapping data  dan  penyebaran  kuisioner  kepada  mahasiswa  Institut  Teknologi  Garut mendapatkan 324 ulasan yang dimana terdapat ulasan positif sebesar 45,24 %. dan negatif sebesar 57,75 %. Artinya  pengguna  banyak yang  memberikan ulasan  negatif  mungkin  itu dari  segi update aplikasi  nya  yang kurang real time dan tidak sedikit pula yang memberikan ulasan positif terhadap aplikasi AISNet ini. Hasil akhir dengan pemrosesan Naïve Bayes mendaptkan hasil dengan accuracy sebesar 80,06%, percission sebesar 83,11 dan recall sebesar 75,21.
Bagi pihak pengembang aplikasi AISNet, hasil dari informasi ulasan pengguna aplikasi AISNet terdapat ulasan negatif  yang  mana  pihak  pengembang  agar  memperbaiki  dan  dapat  di  jadikan  sebagai  gambaran  mengenai kepuasan mahasiswa terhadap layanan akademik dan memberikan rekomendasi untuk meningkatkan kualitas pada layanan aplikasi AISNet, dan bagi penelitian selanjutnya bisa menggunakan klasifikasi algoritma yang berbeda agar mendapatkan hasil akhir yang lebih baik sebagai perbandingan bagi penelitian sebelumnya.

## REFERENSI
[1] M.  Mauludin  Rohman  and  S.  Adinugroho,  “Analisis  Sentimen  pada  Ulasan  Aplikasi  Mobile  JKN Menggunakan Metode Maximum Entropy dan Seleksi Fitur Gini Index Text,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 5, no. 6, pp. 2646–2654, 2021.
[2] F. Fathonah and A. Herliana, “Penerapan Text Mining Analisis Sentimen Mengenai Vaksin Covid  - 19 Menggunakan Metode Naïve Bayes,” J. Sains dan Inform. , vol. 7, no. 2, pp. 155–164, 2021, doi: 10.34128/jsi.v7i2.331.
[3] A. K. Fauziyyah, “Analisis Sentimen Pandemi Covid19 Pada Streaming Twitter Dengan Text Mining Python,” J. Ilm. SINUS , vol. 18, no. 2, p. 31, 2020, doi: 10.30646/sinus.v18i2.491.
[4] M. K. Insan, “Analisis Sentimen Aplikasi Brimo Pada Ulasan Pengguna Di Google Play Menggunakan Algoritma Naive Bayes,” J. Mhs. Tek. Inform. , vol. 7, no. 1, pp. 478–483, 2023.
[5] J.  Aransay et  al. ,  “GitHub  y  Google  Colaboratory  para  el  desarrollo,  comunicación  y  gestión  de prácticas en los laboratorios de informática,” Actas las Jenui , vol. 7, p. 183, 2022.
[6] R. Cahyana, S. Rahayu, and E. Satria, “Revealing student satisfaction related to academic information services using the Kano model,” J. Phys. Conf. Ser. , 2019.
[7] I. T. Julianto, “Analisis Sentimen Terhadap Sistem Informasi Akademik Institut Teknologi Garut,” J. Algoritm. , vol. 19, no. 1, pp. 449–456, 2022, doi: 10.33364/algoritma/v.19-1.1112.
[8] M. D. Hendriyanto, A. A. Ridha, and U. Enri, “Analisis Sentimen Ulasan Aplikasi Mola Pada Google Play Store Menggunakan Algoritma Support Vector Machine,” INTECOMS J. Inf. Technol. Comput. Sci. , vol. 5, no. 1, pp. 1–7, 2022, doi: 10.31539/intecoms.v5i1.3708.
[9] U. Kulsum, M. Jajuli, and N. Sulistiyowati, “Analisis Sentimen Aplikasi WETV di Google Play Store Menggunakan Algoritma Support Vector Machine,” J. Appl. Informatics Comput. , vol. 6, no. 2, pp. 205–212, 2022, doi: 10.30871/jaic.v6i2.4802.
[10] L. Luthfiana, J. C. Young, and A. Rusli, “Implementasi Algoritma Support Vector Machine dan Chi Square untuk Analisis Sentimen User Feedback Aplikasi,” Ultimatics , vol. XII, no. 2, pp. 125–128, 2020.
[11] A. J. Putri, A. S. Syafira, M. E. Purbaya, and D. Purnomo, “Analisis Sentimen E-Commerce Lazada pada Jejaring Sosial Twitter Menggunakan Algoritma Support Vector Machine,” J. TRINISTIK J. Tek. Ind. Bisnis Digit. dan Tek. Logistik , vol. 1, no. 1, pp. 16–21, 2022, doi: 10.20895/trinistik.v1i1.447.
[12] D.  S.  Putri,  A.  Sentimen,  U.  Aplikasi,  and  T.  Ridwan,  “Analisis  Sentimen  Ulasan  Aplikasi  Pospay dengan Algoritma Support Vector Machine,” J. Ilm. Inform. , no. 2018, 2023.
[13] A.  D.  Adhi  Putra,  “Analisis  Sentimen  pada  Ulasan  pengguna  Aplikasi  Bibit  Dan  Bareksa  dengan Algoritma KNN,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi) , vol. 8, no. 2, pp. 636–646, 2021, doi: 10.35957/jatisi.v8i2.962.
[14] A. R. Rizqullah, A. Wedhasmara, R. I. Heroza, A. Putra, F. Fathoni, and P. Putra, “Analisis Masalah Pada  Data  Review  Aplikasi  Terhadap  Layanan  E-Commerce  Menggunakan  Metode  Text Classification,” J. Tekno Kompak , vol. 16, no. 1, p. 186, 2022, doi: 10.33365/jtk.v16i1.1448.
[15] R. Apriani et al. , “Analisis Sentimen dengan Naïve Bayes Terhadap Komentar Aplikasi Tokopedia,” J. Rekayasa Teknol. Nusa Putra , vol. 6, no. 1, pp. 54–62, 2019.
[16] W. Khofifah, D. N. Rahayu, and A. M. Yusuf, “Analisis Sentimen Menggunakan Naive Bayes Untuk Melihat Review Masyarakat Terhadap Tempat Wisata Pantai Di Kabupaten Karawang Pada Ulasan Google Maps,” J. Interkom J. Publ. Ilm. Bid. Teknol. Inf. dan Komun. , vol. 16, no. 4, pp. 28–38, 2022, doi: 10.35969/interkom.v16i4.192.
[17] B.  K.  Widodo,  N.  H.  Matondang,  and  D.  S.  Prasvita,  “Penerapan  Algoritma  Naive  Bayes  Untuk Analisis Sentimen Penggunaan Aplikasi Jobstreet,” Techno.Com , vol. 21, no. 3, pp. 523–533, 2022, doi: 10.33633/tc.v21i3.6361.
[18] J. E. Bororing and F. Faeruzah, “Analisis Sentimen Layanan Akademik Menggunakan Metode Naïve Bayes  Classifier  Pada  Komentar  Mahasiswa,” J.  Inf.  Interaktif ,  vol.  Vol  5,  no.  No  3,  pp.  129–135, 2020.
[19] O. Somantri, “Analisis Sentimen Penilaian Tempat Tujuan Wisata Kota Tegal Berbasis Text Mining,” Jepin , vol. 5, no. 2, pp. 191–196, 2019.
[20] H.  B.  Tambunan  and  T.  W.  D.  Hapsari,  “Analisis  Opini  Pengguna  Aplikasi  New  PLN  Mobile Menggunakan Text Mining,” Petir , vol. 15, no. 1, pp. 121–134, 2021, doi: 10.33322/petir.v15i1.1352.
[21] N.  S.  N.  Salam,  A.  A.  Supianto,  and  A.  R.  Perdanakusuma,  “Analisis  Sentimen  Opini  Mahasiswa Terhadap  Saran  Kuesioner  Penilaian  Kinerja  Dosen  dengan  Menggunakan  TF-IDF  dan  K-Nearest Neighbor,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 6, pp. 6148–6156, 2019.