## Klasifikasi Sentimen Terhadap Kualitas Aplikasi Bahan Ajar Digital Akademik Universitas Terbuka di Google Play
Rhini Fatmasari 1 , Windu Gata 2 , Nia Kusuma Wardhani 3 , *Kurnia Prayogi 4 , Modesta Binti Husna 5 1) Fakultas Keguruan dan Ilmu Pendidikan, Universitas Terbuka Jalan Cabe Raya, Pondok Cabe, Pamulang, Tangerang Selatan 15437
3) Fakultas Ekonomi dan Bisnis, Universitas Nusa Mandiri Jl. Meruya Selatan No.1, Meruya Sel., Kembangan, Kota Jakarta Barat 11650 2,4,5) Ilmu Komputer, Fakultas Teknologi Informasi, Universitas Nusa Mandiri Jl. Margonda No.545, Pondok Cina, Kecamatan Beji, Kota Depok, Jawa Barat 16424 Email: 1 riens@ecampus.ut.ac.id, 2 windu@nusamandiri.ac.id, 3 Nia.kusuma@mercubuana.ac.id, 4 kurniaaprayogii1@gmail.com,
5 desta001007@gmail.com

## ABSTRACT
Terbuka  University  is  a  leading  institution  that  implements  the  optimization  of  digital transformation,  especially  in  distance  learning  systems.  Terbuka  University  has  developed  the  Terbuka University Digital Learning Materials application. This application offers several learning modules that can be accessed through the Google Play Store. This research aims to classify data using different labels related to reviews of the Terbuka University Digital Learning Materials application using the Long Short- Term Memory classification algorithm. Evaluation is conducted to find accuracy, f1-score, precision, and recall  values.  The  research  results  show  that  classification  with  Long  Short-Term  Memory  achieves  an accuracy  of  76.72%  with  the  Vader  label,  and  the  accuracy  with  the  TextBlob  label  reaches  74.21%. Confusion matrix evaluation shows precision results of 0.91 and recall of 0.78, with an f1-score of 0.84 for the Vader label. For the TextBlob label, the precision is 0.96, recall is 0.45, and the f1-score is 0.61. This research contributes positively to understanding the evaluation and classification of reviews of the Terbuka University Digital Learning application. Implementing the Long Short-Term Memory algorithm with the Vader label can be an effective choice to improve service and learning quality through the application.
Keywords: terbuka university; long short-term memory; google play; vader; textblob

## ABSTRAK
Universitas  Terbuka  merupakan  perguruan  tinggi  terkemuka  yang  menerapkan  optimalisasi transformasi digitalisasi, khususnya dalam sistem belajar jarak jauh. Universitas Terbuka mengembangkan aplikasi Bahan Ajar Digital Universitas Terbuka. Aplikasi ini menyajikan beberapa modul pembelajaran yang dapat diakses melalui Google Play Store . Penelitian ini bertujuan untuk melakukan klasifikasi data menggunakan  label  yang  berbeda  terkait  ulasan  aplikasi  Bahan  Ajar  Digital  Universitas  Terbuka  yang menggunakan  algoritma  klasifikasi  deep  learning,  yaitu Long  Short-Term Memory.  Evaluasi  dilakukan untuk  mencari  nilai  accuracy,  f1-score,  precision,  dan  recall.  Hasil  penelitian  menunjukkan  bahwa klasifikasi dengan Long Short-Term Memory memberikan performa dengan nilai accuracy sebesar 76.72% dengan  label  Vader,  dan  hasil  accuracy  dengan  label  TextBlob  mencapai  74.21%.  Evaluasi  confusion matrix  menunjukkan  hasil precision sebesar 0.91, recall  0.78, dan  f1-score 0.84 pada  label Vader.  Pada label TextBlob, nilai precision mencapai 0.96, recall sebesar 0.45, dan f1-score sebesar 0.61. Penelitian ini memberikan kontribusi positif terhadap pemahaman tentang evaluasi dan klasifikasi ulasan aplikasi Bahan Ajar Digital Universitas Terbuka. Implementasi algoritma Long Short-Term Memory dengan label Vader dapat  menjadi  pilihan  yang  efektif  untuk  meningkatkan  pelayanan  dan  kualitas  belajar  melalui  aplikasi tersebut.
Kata Kunci: universitas terbuka; long short-term memory; google play; vader; textblob
ISSN 2088-1770 (Print)

## ISSN 2503-3247(Online)
Vol. 14 No.1 (2024) 48-60

## 1. PENDAHULUAN
Bahan  Ajar  Digital  Akademik merupakan  aplikasi  pelayanan  yang dikeluarkan  oleh  Universitas  Terbuka untuk  memenuhi  kebutuhan  mahasiswa dalam  mendukung  pembelajaran  yang terdapat  beberapa  modul  yang  bisa dipelajari  dimana  dan  kapan  saja.
Universitas  Terbuka  adalah  lembaga pendidikan  tinggi  yang  menekankan pada pembelajaran mandiri dan inisiatif.
Proses  pembelajaran  dilakukan  baik secara individu maupun dalam kelompok,  dengan  sumber  belajar  yang mencakup  perpustakaan,  panduan  dari internet,  siaran  radio,  televisi,  tutorial komputer,  serta  program  audio  atau video (Fatmasari et al., 2023).
Aplikasi  Bahan  Ajar  Digital Akademik Universitas Terbuka juga tak luput dari kekurangan, dengan rating 3.1
di Google Play Store membuat Universitas Terbuka berusaha memperbaiki  kualitas  aplikasi  demi
mendukung  pelayanan  terbaik  kepada mahasiswa. Google  Play  Store adalah platform  digital  yang  memungkinkan pengguna Android untuk mengakses dan smartphone mengunduh berbagai aplikasi  serta  produk  digital  lainnya, termasuk  e-book,  film,  permainan,  dan lain-lain, baik yang gratis maupun yang
berbayar  (Aditiya  et  al.,  2022).  Dengan rating  tersebut  yang  disertai  dari beberapa  kumpulan  ulasan  negatif  dan positif yang mengartikan bahwa pelayanan yang diberikan oleh
Universitas  Terbuka  belum  sepenuhnya memenuhi  harapan  dari  pengguna aplikasi tersebut. Oleh karena itu, upaya dalam  mengoptimalkan  aplikasi  Bahan Ajar  Digital  Akademik  Universitas Terbuka dapat diketahui dengan melakukan  klasifikasi  menggunakan metode  klasifikasi Long  Short-Term
Memory, dalam bentuk analisis sentimen ulasan dari pengguna aplikasi di Google
Play Store . Analisis sentimen
merupakan suatu proses pengolahan atau klasifikasi  sebuah  kata  atau  text  yang bersumber dari internet atau media sosial dengan tujuan mendapatkan respon atau opini  masyarakat  terkait  media  sosial (Kaburuan & Setiawan, 2023).
Penelitian  ini  juga  mengambil dari  beberapa  penelitian  terdahulu  yang menggunakan algoritma klasifikasi Long Short-Term Memory seperti pada penelitian  (Sri  Widagdo  et  al.,  n.d.), dimana  penelitian  ini  menggunakan metode  klasifikasi Long  Short-Term
Memory  dengan  data  testing  1640  data yang  menghasilkan  nilai  akurasi  63%, semuanya di atas 60% dan nilai roc_auc
sebesar  81%.  Berikutnya  diambil  dari penelitian (Dwi et al., n.d.),  dimana pada penelitian ini juga menggunakan metode
Long  Short-Term Memory,  dengan pengujian  pertama  menggunakan  data sebanyak  3.184  kalimat  mendapatkan nilai  f1-Score  pada  kelas  1  sebesar 0.9331.   Pada pengujian kedua terdapat penambahan data sebanyak 894 kalimat sehingga  total  data  menjadi  4.078 kalimat dengan rata-rata f1-score
0.8181.

## 2. METODE
Pada penelitian
ini akan
menggunakan metode kuantitatif dimana
metode  tersebut  menggunakan filsafat positivisme , untuk meneliti populasi atau sampel  tertentu  dengan  pengumpulan data menggunakan instrumen penelitian, analisis data bersifat kuantitatif (Riany & Testiana,  2023).  Dalam  penelitian  ini akan  menerapkan  metode  kuantitatif yang memanfaatkan fungsi dari klasifikasi Deep  Learning Long  Short-
Term Memory (LSTM)  yang  bertujuan
untuk  mengklasifikasikan  data  ulasan dari  pengguna  aplikasi  Bahan  Ajar Digital  Universitas  Terbuka  dengan mencari  nilai  yang  mengacu  pada accuracy, recall, f1-score , dan precision
sehingga  dapat  menarik  kesimpulan
bagaimana  Universitas  Terbuka  dalam meningkatkan  aplikasi  Bahan  Ajar Digital bagi mahasiswa.
Penelitian  ini  terdapat  beberapa tahapan,  adapun  tahapan  tersebut  dapat dilihat pada Gambar 1 berikut ini.

## Gambar 1. Tahapan Penelitian

## 2.1 Pengumpulan Dataset
Pengumpulan  data  dilakukan dengan Web  Scraping dengan  cara crawling  data menggunakan library google-play-scraper .  Teknik  ini  dapat
menemukan data komentar dari pengguna  aplikasi  Bahan  Ajar  Digital Akademik  Universitas  Terbuka  secara otomatis.
Tabel 1. Hasil Seleksi Dataset Ulasan Aplikasi

## Bahan Ajar Digital Universitas Terbuka
userName score at content 0 reda D 2 09/11/2023 21:16:18 tolong di update lagi, masa udah ganti semester modul yang semester baru ga ada, adanya cuma modul di semester sebelumnya
1 Friska Dwi 1 03/11/2023 20:08:59 Ayo dong ditingkatin, udah lama gabisa buku ba digital loading terus.
… … … … …
800 Pengguna Google 4 24/02/2017 18:23:11 Lapor , 1. Saat selesai download BA, aplikasi force close . 2. Ada jeda yg agak lama saat berpindah
halaman . 3. BA yg sudah di download tidak tersimpan di penyimpanan telepon. 4. Saat membaca apakah, harus selalu terhubung ke internet ? .
Laporan selesai , terima kasih !

## 2.2 Pre-Processing
Pre-processing data  merupakan tahapan  penting  dalam  persiapan  data untuk  analisis.  Proses  ini  dilakukan untuk  mengubah  data  mentah  menjadi data yang siap digunakan dalam analisis, sehingga dapat memperoleh hasil analisis  yang  akurat  dan  relevan (Khoiruddin  et  al.,  2023).  Dengan tahapan  tersebut  dibutuhkan  tahapan pendukung  seperti Text  mining dimana menganalisis
pencarian sebuah
informasi  yang  dianggap  penting  untuk sebuah  hasil  spesifik.  Dengan  prinsip dan  cara  data  mining  dilakukan  agar mengetahui pola yang ada di suatu teks (Aditiya et al., 2022).
Berdasarkan  data  yang  sudah didapatkan, pre -processing  memiliki beberapa tahapan seperti :
a. Data Selection
1) Translate Data
Tahapan  ini  dilakukan  untuk mempermudah  saat  memberikan label  pada  data.  Pada  python terdapat suatu library dari google translate  yaitu  google  trans.
(Fatariska, 2023) Google
translate merupakan  Layanan
terjemahan  yang  paling  sering digunakan  oleh  penutur  bahasa
Indonesia, terutama pada terjemahan bahasa Inggris- Indonesia.
2) Labelling Data
Tahapan  ini  akan  menggunakan dua  model  Teknik  analisis  yaitu label Vader dan  label TextBlob.
Vader (Valence Aware
Dictionary  Sentiment  Reasoner) adalah  alat  analisis  sentimen berbasis  leksikon  dan  aturan ( lexicon-  and  rule-based )  yang secara khusus disesuaikan
dengan sentimen yang
diungkapkan  di  media  sosial (Taufiq  Anwar  et  al.,  2023).
Sedangkan untuk TextBlob adalah library  python untuk memproses data tekstual. Textblob memiliki fitur-fitur dasar Natural Language
Processing (NLP), dalam penelitian  kali  ini  fitur  analisis sentiment digunakan untuk
melakukan  klasifikasi  terhadap data testing (Lestari et al., 2020).
b. Data Cleaning
Tahap Cleaning bertujuan
untuk mengurangi noise atau
gangguan dalam data dengan
menghilangkan kata-kata yang tidak relevan dan membersihkannya. contohnya  alamat  URL,  tanda  unik seperti  pagar  (#),  nama  pengguna (@username),  tanda  baca,  dan
alamat email (Kusuma & Nurramdhani Irmanda, 2022). c. Case Folding
Setelah menyelesaikan tahapan cleaning , penulis
melanjutkan  ke  tahap case  folding .
Pada langkah selanjutnya mengubah semua teks dalam data ke huruf kecil atau lowercase .
d. Tokenization
Tahap tokenization, juga dapat
disebut  sebagai Term  Frequency  -
Inverse  Document  Frequency (TF-
IDF), sebuah metode untuk mengubah  data  teks  menjadi  data numerik yang kemudian
memberikan  bobot  pada  setiap term atau kata (Husnina et al., 2023).
e. Stemming
Menyingkirkan imbuhan dari setiap kata yang akan menjadi istilah pokok,  dengan  maksud  mengurangi penggunaan  kata  yang  kurang  tepat
dalam kalimat (Nurhafida &
Sembiring, 2022).
f. Stopwords
Pada tahap ini, kata-kata yang tidak  memberikan  kontribusi  pada makna  kalimat  dihilangkan  tanpa mengurangi informasi yang disampaikan  oleh  kalimat  tersebut (Kulsum et al., 2022).
2.3 Long Short-Term Memory
Long Short-Term Memory (LSTM) merupakan sebuah evolusi dari
arsitektur  RNN,  dimana  pertama  kali diperkenalkan oleh Hochreiter &
Schmidhuber  (1997).  Hingga  penelitian ini  dilakukan banyak para peneliti yang terus  mengembangkan arsitektur LSTM di berbagai bidang seperti dalam bidang speech  recognition  dan  forecasting (ArFan & Lussiana ETP, 2019).
Pada  penelitian  (Tampubolon  et  al., 2023),  Long  Short-Term  Memory (LSTM)  merupakan  algoritma  Deep Learning yang populer untuk melakukan prediksi dan klasifikasi yang berkorelasi dengan  waktu.  Penggunaan  metode algoritma  ini  dapat  menyimpan  data
informasi  dalam  jangka  waktu  yang panjang, selain itu juga dapat digunakan untuk  mengolah,  meramalkan,  dan mengklasifikasikan suatu informasi berdasarkan deret waktu.
Pada Long
Short-Term Memory
(LSTM),  terdapat  kekhasan  cell  yang dikonfigurasikan  oleh  empat  buah gerbang  utama: input  gate , input modulation gate , forget gate , dan output
gate . Input  gate mengambil  poin  input
baru dari luar dan proses data yang baru.
Memory cell input gate mengambil input dari output  cell LSTM  pada  iterasi terakhir (Anisa et al., 2023).
Suatu keadaan tersembunyi dari memory cells ditunjukkan  oleh  perhitungan formula berikut (Anisa et al., 2023)
Tabel 2. Formula LSTM ( Gate )
Input = 𝜎 ( 𝑊 𝑖𝑥 𝑥 𝑡 + 𝑊 ℎℎ ℎ 𝑡−1 + 𝑊 𝑖𝑐 𝑐 𝑡−1 + 𝑏 𝑖
Forget = 𝜎 ( 𝑊 𝑥 𝑥 𝑡 + 𝑊 ℎℎ ℎ 𝑡−1 + 𝑊 𝑓𝑐 𝑐 𝑡−1 + 𝑏 𝑓
Output = 𝜎 ( 𝑊 𝑜𝑥 𝑥 𝑡 + 𝑊 ℎℎ ℎ 𝑡−1 + 𝑊 𝑜𝑐 𝑐 𝑡−1 + 𝑏 𝑜
Memory Cell ( 𝒄 𝒕 ) = 𝑓 𝑡 ∗ 𝑐 𝑡−1 + 𝑖 𝑡 ∗ 𝑔 ( 𝑊 𝑐𝑥 𝑥 𝑡 + 𝑊 ℎℎ ℎ 𝑡−1 + 𝑤 𝑐𝑐 𝑐 𝑡−1 + 𝑏 𝑐 2.4 Evaluasi Model
Hasil dari pengujian akan
dievaluasi  untuk  menguji  performa kinerja  dari  model  yang  terbentuk
menggunakan  algoritma Long  Short Term Memory dengan pengujian
menghitung nilai dari accuracy,
precision,  recall ,  dan specificity pada
confusion matrix.
a. TP  ( True  Positive )  merupakan jumlah data yang bernilai positif dan diprediksi benar.
b. TN  ( True  Negative )  merupakan jumlah data yang bernilai negatif dan diprediksi benar.
c. FP  ( False  Positive )  merupakan  data yang  diprediksi  memiliki  hasil positif,  akan  tetapi  kenyataannya negatif.
d. FN  ( False  Negative )  merupakan jumlah data yang diprediksi
memiliki  hasil  negatif,  akan  tetapi kenyataannya positif.
Tabel 3. Evaluasi Model Confusion Matrix
Actual Positive Negative Prediction Positive True Positive False Positive Negative  False Negative True Negative
Dengan menggunakan confusion matrix , kita  dapat  menghitung  nilai accuracy,
precision, recall, dan specificity menggunakan  persamaan  (1),  (2),  (3), (4).
Accuracy = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑁 + 𝐹𝑃 + 𝑇𝑁 (1)
Precision = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 (2)
Recall = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (3)
Specificity = 𝑇𝑁 𝑇𝑁 + 𝐹𝑃 (4)
Accuracy adalah hasil dari perbandingan prediksi  yang  benar  dengan  total  data yang ada, sementara itu untuk precisson adalah perbandingan prediksi yang benar positif dengan total prediksi positif yang dibuat. Recall adalah  perbandingan prediksi yang benar positif dengan total data  aktual  yang  positif,  dan specificity
adalah seimbang antara presisi dan recall (Kusuma  &  Nurramdhani  Irmanda,
2022) .

## 3. HASIL DAN PEMBAHASAN
3.1 Evaluasi Model
a. Scraping Data

## Gambar 2. Scraping Data
Melakukan Scraping data  dengan menggunakan google-play-scraper
yang  menghasilkan  jumlah  data sebanyak 800.
b. Translate Data
Gambar 3. Translate Data
Dataset yang sudah terkumpul, akan di terjemahkan menggunakan library
google-trans dari  bahasa  Indonesia ke bahasa inggris untuk mempermudah  dalam  pemrosesan label Vader dan TextBlob .

## Tabel 4. Hasil Translate Data
Content Translate Content tolong di update lagi, masa udah ganti semester modul yang semester baru ga ada, adanya cuma modul di semester sebelumnya Please update again, after changing semesters, there are no modules for the new semester, there are only modules in the previous semester
c. Labelling Data

## Gambar 4. Labelling Data
Data  yang  sudah  diterjemahkan  ke bahasa  inggris,  selanjutnya  akan dilakukan  proses  pelabelan.  Pada proses  ini,  pelabelan  menggunakan Vader dan TextBlob yang  membagi menjadi dua kelas yaitu kelas negatif dan kelas positif.
Tabel 5. Hasil Labelling Data Content Sentimen Ayo mohon diperbaiki, sudah lama sekali saya tidak bisa memuat buku digital terus menerus Positive
Aplikasinya sering error, kalau tidak niat update apknya hapus saja Negative

## 3.2 Pre-Processing
a. Data Cleaning
Pada  langkah  ini,  beberapa  proses dilakukan untuk menghilangkan nilai yang  hilang  pada  data,  menghapus simbol  karakter,  karakter  khusus,
dan angka.
Gambar 5. Cleaning Data
Tabel 6. Hasil Cleaning Data
Sebelum Cleaning Sesudah Cleaning How come this new semester's courses haven't appeared on
the BA DIGITAL UT account yet 😭 Even though it's already session 2 😭 Please fix it immediately How come this new semester courses haven appeared on the BA DIGITAL UT account yet Even though it already session Please fix it immediately
b. Case Folding
Gambar 6. Case Folding Data
Melakukan penormalan kata dengan mengubah semua huruf besar menjadi  huruf  kecil.  Langkah  ini bertujuan  untuk  mencegah  tidak terdeteksinya  kata  yang  sebenarnya sama  tetapi  memiliki  perbedaan dalam bentuk huruf.
Content Lowertext Come on, please improve it, it been a long time since I could keep loading digital books come on, please improve it, it been a long time since i could keep loading digital books

## c. Tokenizing
Proses tokenizing ,  dilakukan  untuk memisahkan  kata-kata  dari  kalimat pada  data  tinjauan  sebelumnya menjadi  satuan  kata  atau  kata penyusun.
Gambar 7. Tokenizing Data
Tabel 8. Hasil Tokenizing Data
Lowertext Tokenizing come on, please improve it, it been a long time since i could keep loading digital books ['come', 'on', ',', 'please', 'improve', 'it', ',', 'it', 'been', 'a', 'long', 'time', 'since', 'i', 'could', 'keep', 'loading', 'digital', 'books']
d. Stemming
Gambar 8. Stemming Data
Dalam  tahap Stemming ,  terjadi proses  pengubahan  kata-kata  pada data  ulasan  menjadi  kata  dasar dengan  cara  menghilangkan  dari imbuhan,  baik  di  awal,  di  tengah,
maupun di akhir kata.
Tabel 9. Hasil Stemming Data
Tokenizing Stemming ['can', 'use', ',', 'book', 'doesn', 'Terbuka'] ['can', 'use', '', 'book', 'doesn', 'Terbuka']
['it', 'very', 'difficult', 'to', 'log', 'in', ',', 'please', 'fix', 'it', 'immediately'] ['it', 'very', 'difficult', 'to', 'log', 'in', '', 'please', 'fix', 'it', 'immediately'] e. Stopwords Removal
Gambar 9. Stopwords Renova Data f. Penulis  melakukan  penghilangan terhadap kata-kata yang tidak bermakna,  namun  tidak  mengurangi makna  dari  informasi  suatu  kalimat tertentu.
Tabel 10 . Hasil Stopwords Removal Data Stemming Stopwords ['the', 'app', 'is', 'not', 'very', 'useful', '', 'it', 'can', 'read', 'online', '', 'it', 'better', 'for', 'pdfs']
app useful read online better pdfs

## 3.3 Pembobotan Kata
Melanjutkan dengan tahap pembobotan kata, dimana untuk memboboti  setiap  kata  menjadi  nilai fitur.
Gambar 10. Pembobotan Kata Pada Data

## 3.4 Klasifikasi Deep Learning
Pengujian  terakhir  yaitu  dengan menggunakan model deep learning Long Short  Term  Memory (LSTM),  dengan data yang sama tetapi dengan label yang berbeda.  Pada  pengujian  kali  ini melakukan epoch sebanyak  5  kali menggunakan  data  dengan  label Vader mendapatkan  akurasi  76.72%  dan  pada label TextBlob mendapatkan  akurasi 74.21%.  Pada  Tabel  perbandingan adalah  hasil  pengujian deep  learning
tersebut ditunjukkan pada Tabel
dibawah ini.
Tabel 11. Hasil Pengujian Epoch Long Short Term
Memory dengan label TextBlob Uji Epoch 1 2 3 4 5 Step(ms) 295 221 222 207 197 Loss 0.67 0.64 0.60 0.55 0.45 Accuracy 0.58 0.59 0.64 0.76 0.83 Val-Loss 0.63 0.59 0.66 0.58 0.52 Val- Accuracy 0.65 0.65 0.54 0.68 0.74 Tabel 12. Hasil Pengujian Epoch Long Short Term Memory dengan label Vader Uji Epoch 1 2 3 4 5 Step(ms) 256 193 212 207 214 Loss 0.68 0.63 0.54 0.39 0.28 Accuracy 0.60 0.66 0.78 0.87 0.90 Val-Loss 0.67 0.61 0.55 0.50 0.48 Val- Accuracy 0.65 0.66 0.75 0.78 0.76

## Tabel 13. Hasil Akurasi Deep Learning (LSTM)
Algoritma Nilai Akurasi Vader (%) Nilai  Akurasi TextBlob (%) Deep Learning 76.72 74.21

## 3.5 Evaluasi  Model Long  Short  Term

## Memory
Tahapan  berikutnya  dilakukan evaluasi  terhadap  model  yang  sudah dibuat  pada  tahap  sebelumnya.  Untuk Evaluasi model ini menggunakan metode confusion matrix yang berfungsi dalam  melakukan pengecekan performa dari  suatu  model  atau  algoritma.  Untuk dapat  melihat  tingkat  kesalahan  dari beberapa  algoritma  bisa  dilihat  melalui hasil confusion matrix yang menampilkan accuracy, precision,
recall, dan f1-score sebagai berikut :
Tabel 14. Evaluasi Klasifikasi Long Short Term
Memory Algoritma Precision Recall F1- Score Vader 0.91 0.78 0.84 TextBlob 0.96 0.45 0.61

## 3.6 Analisis  Hasil  Klasifikasi  Antar

## Label
Setelah  melakukan  klasifikasi ulasan  pada  aplikasi  menggunakan teknik text  mining dengan  label Vader dan TextBlob ,  maka  bisa dilanjutkan ke
tahap analisis dimana dari hasil
pengujian menggunakan beberapa algoritma salah satunya dengan
algoritma Long  Short  Term  Memory yang  berhasil  mencapai  kinerja  yang terbaik  menggunakan  label Vader ,
dengan accuracy sebesar  76.72%,
precision 0.91, recall 0.78, dan f1-score
0.84  sedangkan  dengan  label TextBlob mendapatkan accuracy 74.21%
precision 0.96, recall 0.45, dan f1-score
0.61    dengan  label TextBlob .  Namun,
dalam menganalisis suatu kesalahan saat melakukan  klasifikasi  memiliki  suatu hambatan, terutama pada saat menghadapi  ulasan  dengan  bahasa informal,  penggunaan  singkatan  dan emoticon .  Contohnya,  beberapa  ulasan menggunakan  singkatan  seperti  “plz”
( Please )  dan contoh lainnya yang dapat membingungkan algoritma tersebut
dalam  menentukan  sentimen  yang
sebenarnya.  Selain  itu,  dari  banyaknya ulasan yang mengandung bahasa informal  tetapi  menggunakan  bahasa formal  dalam  konteks  tertentu  juga menjadi  tantangan  tersendiri.  Melalui analisis  lebih  lanjut,  ditemukan  bahwa ulasan  positif  cenderung  mengarah dalam penggunaan aplikasi dan efisiensi pemakaian,  sementara  ulasan  negatif cenderung  mencakup  keluhan  terkait dengan bug atau  masalah  teknis  yang mengganggu.
Penggunaan  label Vader dan
TextBlob melalui  parameter Labelling data, bahwa untuk mencari accuracy dari pengujian  tersebut  dengan  label Vader lebih  baik  daripada  label TextBlob ,
dimana label Vader dalam hal meningkatkan accuracy sentimen ulasan yang  menjadi  pilihan  efektif  dalam upaya  meningkatkan  pelayanan  dan kualitas belajar melalui aplikasi.

## 4. KESIMPULAN
Berdasarkan  hasil  dari  beberapa tahapan penelitian yang telah  dilakukan dapat  disimpulkan  bahwa  pada  proses
deep learning dapat diterapkan dalam uji
sentimen  dari  aplikasi  Bahan  Ajar Digital  Universitas  Terbuka  dengan metode  klasifikasi Long Short  Term
Memory dalam menganalisis dan
mengelompokkan  dari  ulasan  aplikasi. Sehingga  dapat  memberikan  hasil  yang bervariatif  untuk  memprediksi  dan mengklasifikasi  ulasan  aplikasi  serta dapat menentukan model Labelling data mana yang memberikan performa paling baik  dalam  mengklasifikasi  data  ulasan dari  aplikasi  Bahan  Ajar  Digital Universitas Terbuka. Salah satu metode klasifikasi menggunakan algoritma Long Short Term Memory yang memiliki nilai akurasi  yang  terbaik  jika  dibandingkan dengan algoritma lainnya.
Melalui  analisis  ini,  tujuannya adalah  untuk  meningkatkan  kualitas klasifikasi ulasan dalam aplikasi di masa mendatang,  terutama  dalam  memahami variasi  ulasan  serta  makna  penggunaan aplikasi tersebut. Sehingga dapat melakukan peningkatan sistem dari hasil klasifikasi  yang  lebih  efektif  dan responsif terhadap kebutuhan pengguna. Dengan demikian, diharapkan pengguna dapat  mendapatkan  pengalaman  yang lebih  memuaskan  dan  relevan  saat menggunakan aplikasi tersebut.

## DAFTAR PUSTAKA
Aditiya,  P.,  Enri,  U.,  &  Maulana,  I. (2022). Analisis Sentimen Ulasan Pengguna Aplikasi Myim3  Pada  Situs  Google  Play Menggunakan  Support  Vector Machine. JURIKOM  (Jurnal
Riset  Komputer) , 9 (4),  1020.
https://doi.org/10.30865/jurikom .v9i4.4673
Anisa,  D.  F.  N.,  Mukhlash,  I.,  &  Iqbal, M. (2023). Deteksi Berita Online Hoax  Covid-19  Di  Indonesia Menggunakan  Metode  Hybrid Long  Short  Term  Memory  dan
Support Vector Machine. Jurnal
Sains  Dan  Seni  ITS , 11 (3). https://doi.org/10.12962/j233735 20.v11i3.83227 ArFan,  A.,  &  Lussiana  ETP.  (2019). Prediksi Harga Saham Di Indonesia Menggunakan Algoritma Long Short-Term Memory. Seminar Nasional Teknologi Informasi Dan Komunikasi STIK (SeNTIK) ,
3 (1), 2581–2327.
Dwi,  R.,  Santosa,  W.,  Arif  Bijaksana, M.,  &  Romadhony,  A.  (n.d.). Implementasi  Algoritma  Long
Short-Term  Memory  (LSTM) untuk  Mendeteksi  Penggunaan Kalimat  Abusive  Pada  Teks Bahasa  Indonesia.  In Jurnal Tugas Akhir Fakultas Informatika (Vol.  12,  Issue 2020). Fatariska,  I.  O.  (2023).  Teknik  dan Kualitas Terjemahan dalam Artikel  Berjudul  “Batik,  The Traditional  Fabric  of  Indonesia” Menggunakan Penejermahan Online. Jurnal El-Hamra: Kependidikan Dan Kemasyarakatan , 8 (1),  2721– 6047.
Husnina, D. N. N., Ratnawati,  D. E., & Rahayudi,  B.  (2023).  Analisis
Sentimen  Pengguna  Aplikasi RedBus  berdasarkan  Ulasan  di Google Play Store menggunakan Metode  Naïve  Bayes. Jurnal Pengembangan Teknologi
Informasi  Dan  Ilmu  Komputer , 7 (2), 737–743. https://j- ptiik.ub.ac.id/index.php/j- ptiik/article/view/12297%0Ahttp
s://j-ptiik.ub.ac.id/index.php/j- ptiik/article/download/12297/55 93
Khoiruddin, Y., Fauzi, A., & Siregar, A. M.  (2023).  Analisis  Sentimen
Gojek  Indonesia  Pada  Twitter Menggunakan  Algoritme  Naïve Bayes  Dan  Support  Vector Machine. Jurnal Ilmiah Komputer , 19 , 391–400.
Kulsum, U., Jajuli, M., & Sulistiyowati,
N.  (2022).  Analisis  Sentimen
Aplikasi  WETV  di  Google  Play Store  Menggunakan  Algoritma Support Vector Machine. Journal  of  Applied  Informatics and  Computing , 6 (2),  205–212. https://doi.org/10.30871/jaic.v6i 2.4802
Kusuma,  A.,  &  Nurramdhani  Irmanda,
H.  (2022). Analisis  Sentimen Pada Ulasan Aplikasi Indodax di Google Play Store Menggunakan Metode Support Vector Machine .
Lestari, N. A., Akhriza, M., & Yuniar, E. (2020).  Metode  Naïve  Bayes Classifier Dengan Textblob Untuk Analisis Sentimen Terhadap  Pelayanan  Indihome Dan First Media. Seminar Nasional  Teknologi  Informasi Dan Komunikasi STI&K (SeNTIK) , 4 (1), 283–288. https://t.co/Ws2wOyU5kz Nurhafida, S. I., & Sembiring, F. (2022). Analisis Sentimen Aplikasi Novel  Online  Di  Google  Play Store  Menggunakan  Algoritma Support Vector Machine (SVM). Jurnal Sains Komputer & Informatika (J-SAKTI , 6 (1), 317–
327.
Riany,  A.  F.,  &  Testiana,  G.  (2023).
Penerapan  Data  Mining  untuk Klasifikasi Penyakit Stroke Menggunakan  Algoritma  Naïve Bayes. Jurnal  SAINTEKOM , 13 (1), 42–54. https://doi.org/10.33020/saintek om.v13i1.352
Tampubolon,  D.  N.  M.,  Hulu,  V.  V.,
Sipahutar,  R.  O.,  &  Sihombing, O.  (2023).  Analisis  Prediksi Genre Film Pada Internet Movie Database Indonesia Menggunakan Metode Long Short  Term  Memory. Jurnal Tekinkom (Teknik Informasi Dan Komputer) , 6 (2), 290–298. https://doi.org/10.37600/tekinko m.v6i2.925
Taufiq  Anwar,  M.,  Riandhita  Arief
Permana,  D.,  STMI  Jakarta,  P., Sistem Informasi Industri Otomotif,  P.,  Letjen  Suprapto No,  J.,  &  Pusat,  J.  (2023). Analisis  Sentimen  Masyarakat Indonesia Terhadap Produk Kendaraan Listrik Menggunakan VADER. Jurnal Teknik Informatika Dan Sistem Informasi , 10 (1), 783–792.
http://jurnal.mdp.ac.id