## ANALISIS SENTIMENT ULASAN APLIKASI PEMBELAJARAN DUOLINGGO DI PLAY STORE MENGGUNAKAN DISTILBERT
Syindy Mauliddiyah 1) , M. Noer Fadli Hidayat 2) Fathur Rizal 3)
1,2,3 Fakultas Teknik, Universitas Nurul Jadid email: sindymaulidiyah00@gmail.com, fadli@unuja.ac.id, fathurrizal@unuja.ac.id

## Abstract
Learning media innovation is currently required to keep up with the development of science and technology. Duolingo is a free language learning application. Duolinggo has been downloaded more than 500 million times  and  recorded  more  than  21  reviews  in  the  commentscolumn  consisting  of  positive  and  negative comments.  Duolinggo  user  reviews  are  classified  into  two  sentimentts,  namely  positive  sentimentt  and negative sentimentt. Sentimentt analysis is an activity used to analyze a person's opinion or opinion on a topic, to support the classification, the algorithm used is DistilBERT. DistilBERT is a technique of how to make the BERT model smaller, but has similar qualities to a large model, distilBERT can be termed as 2 running models, namely the teacher model and the student model, the teacher model is a large model and is  trained  with  a  complete  range  of  features  such  as  the  base  (pre-trained  model)  The  results  of  the DistilBERT algorithm for classifying 1000 reviews of the Duolingo learning application produce precision, recall, f1-score values on class 1 labels are 74%, 96%, and 84%, indicating that this BERT algorithm is very good at predicting label classes. With the accuracy result obtained is 80% in 85 seconds.
Keywords: Analysis, Sentimentt, Application, Duolingo, DistilBERT.

## 1. PENDAHULUAN
Inovasi  media  pembelajaran  saat  ini dituntut  untuk  dapat  mengikuti  perkembangan ilmu  pengetahuan  dan  teknologi  yang  sedang berkembang.  Perkembangan  teknologi  mobile device  yang  berkembang  secara  pesat  mampu memberikan  peluang  dalam  pengembangan media mobile learning [1]. Pembelajaran seluler (M-Learning)  mengacu  pada  pembelajaran menggunakan  perangkat  komunikasi  seluler, seperti  telepon  seluler.  Pengguna  smartphone dengan  platform  Android  mendominasi  pasar global  Basis  pengguna  pada  Januari  2020 sebanyak dengan 69,3%, disusul IOS dibawahnya  dengan  jumlah  pengguna  sebanyak 29,76% (Mobile Operating System Market Share Worldwide  |  Statcounter  Global  Stats,  diakses pada bulan februari).
Duolingo  adalah  perangkat  lunak  yang menonjol  dalam  hal  gratis  dan  memungkinkan untuk  digunakan  dengan  ponsel,  tablet,  dan computer.  Dengan  salah  satunya  pembelajaran bahasa  jepang,  tentu  data  tersebut  mendukung fakta  bahwa  aplikasi  pembelajaran  seperti Duolingo  pada smartphone dapat  membantu dalam  pembelajaran  bahasa  Jepang,  untuk
meningkatkan keinginan dalam belajar dan untuk meningkatkan  pengetahuan  dengan  cara  yang lebih santai dan menyenangkan [2].
Duolingo  adalah  aplikasi  gratis  yang dibuat  oleh  Luis  Von  Ahn  dan  Severin  Hacker pada  bulan  November  2011.  Slogannya  adalah "Pendidikan  bahasa  gratis  untuk  dunia"  [3]. Duolingo  memiliki  banyak  bahasa  dimana pembelajar  bahasa  dapat  memilih  bahasa  apa yang akan dipelajari seperti bahasa Inggris, Arab, Spanyol,  Prancis,  Belanda,  dan  bahasa  lainnya. Duolingo  juga  menyediakan  data  seperti  poin yang diperoleh, tentu saja pohon ikhtisar, coretan, dan  waktu  yang  dihabiskan  [4].  Maka  dari  itu Aplikasi ini dilakukan penelitian karena, sebagai aplikasi  teknologi  yang  terus  berkembang, penelitian  tentang  Duolingo  dapat  memberikan wawasan  tentang  bagaimana  inovasi  teknologi mempengaruhi pendidikan .
Berdasarkan  data  di  situs  google  play pada  Bulan  Februari,  Duolinggo  telah  di download lebih  lebih  dari  500  juta  kali  dan memiliki rating 4,8. Pada situs google play juga tercatat  lebih  dari  21  ulasan  pengguna  dikolom komentar  Duolinggo.  Nilai  rating  menunjukkan evaluasi  keseluruhan  pengalaman  pengguna
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 503
menggunakan  skala  numerik,  namun  komentar tekstual  mampu  bercerita  lebih  mendalam. Review  dari  pengguna  di PlayStore,  terdiri  dari review positif dan negatif seperti keluhan, kritik, atau saran.
Pada penelitian ini dilakukan klasifikasi ulasan  pengguna  Duolinggo  ke  dalam  dua sentiment,  yaitu  sentiment positif  dan  sentiment negatif. Analisis sentiment adalah kegiatan yang digunakan  untuk  menganalisis  pendapat  atau opini seseorang tentang suatu topik. Tugas dasar Analisis  sentiment  adalah  mengklasifikasikan beberapa  teks  dari  dokumen,  kalimat  atau  fitur, kalimat  dari  fitur  tersebut  bisa  bersifat  positif, negatif dan netral [5]. Dalam melakukan analisis sentimentt diperlukan algoritma untuk menunjang klasifikasi, algoritma yang digunakan adalah algoritma yang sebelumnya dilatih dengan menyaring  algoritma Bidirectional  Encoder Representations  from  Transformers (BERT) yang telah dilatih sebelumnya yaitu DistilBERT.
BERT adalah algoritma deep learning yang dirancang untuk mengolah natural language  processing .  Penggunaan  algoritma BERT  ini  dapat  meningkatkan  akurasi  baseline, yaitu  akurasi  komputasi  menggunakan  machine learning atau deep learning saja tanpa dikombinasikan dengan algoritma lain [6]. BERT mempunyai  versi  yang  lebih  ringkas,  yaitu DistilBERT  yang  mempunyai  jumlah  layer transformer  yang  lebih  kecil  dibandingkan dengan  BERT .  DistilBERT  adalah  teknik bagaimana membuat model BERT menjadi lebih kecil,  tetapi  memiliki  kualitas  yang  serupa dengan  model  yang  besar,  distilBERT  dapat diistilahkan  seperti  2  model  yang  berjalan  yaitu model guru dan model siswa, model guru adalah model  yang  besar  dan  dilatih  dengan  berbagai macam  fitur  yang  lengkap  seperti  dasarnya (model  yang  telah  dilatih  sebelumnya)  [7]. DistilBERT membawa manfaat signifikan dalam percepatan  pelatihan  dan  penghematan  sumber daya  komputasi  tanpa  mengorbankan  kualitas pemrosesan Bahasa [8]. Tujuan dalam penelitian ini  adalah  untuk  mengetahui  tingkat  akurasi kinerja  algoritma  DistilBERT  untuk  klasifikasi sentiment ulasan aplikasi Duolingo.
Terdapat beberapa penelitian yang terkait dengan  algoritma  DistilBERT  ini,  diantaranya Penelitian  yang  dilakukan  oleh  Ekka  Pujo
Ariesanto  Akhmad  pada  Tahun  2023  [9]. Mengangkat  masalah  mengenai  banyaknya ulasan  membuat  analisis  menjadi  sulit  bagi perusahaan. oleh karena itu perlu perbaikan untuk meningkatkan  kualitas  aplikasi  ini.  Oleh  karena itu, analisis sentiment diperlukan untuk mengolah data  dan  menganalisis  ulasan  yang  ada  untuk mengklasifikasikannya  menjadi  ulasan  positif, netral, atau negatif secara otomatis. Tujuan dalam penelitian ini adalah Mengetahui tingkat akurasi dan  kinerja  IndoBERT  melakukan  analisis sentiment  ulasan  aplikasi  DLU  Ferry.  Dengan menggunakan  data  sebanyak  1575  ulasan  yang terdiri dari sentiment positif, netral, dan negatif. Penelitian ini akan mengukur performa algoritma BERT  dalam  melakukan  klasifikasi  sentiment menggunakan Pretrained model IndoBERT-base dengan teknik fine-tuning. Hasil pengujian pada penelitian  memperoleh  akurasi  sebesar  86% dengan  pemilihan  hyperparameter,  yaitu  batch size  32,  learning  rate  3e-6,  dan  epoch  5. Perbedaan  dengan  penelitian  ini  adalah  objek penelitian  dan  data  yang  digunakan  untuk melakukan klasifikasi.
Penelitian  yang  dilakukan  oleh  I  Made Juniandikaa,  Ida  Bagus  Made  Mahendra  Tahun 2023  [10].  Mengangkat  masalah  mengenai developer  tidak  bisa  mengklarifikasi  ulasan positif,  negatif,  dan  netral.  Tujuannya  untuk melakukan evaluasi pada peningkatan hal positif dan  memperbaiki  hal  negatif  dari  aplikasi  e- learning salah satunya yaitu aplikasi Zenius. data yang diambil dari Google Play Store dengan total 19892  data  ulasan  dengan  skor  1,2,3,4  dan  5. Data  diklasifikasikan  menggunakan  algoritma regresi  logistic  dengan  dua  kelas  label,  yaitu positif dan negatif. Hasil akurasi yang diperoleh dengan  menggunakan  algoritma  ini  adalah  90% dengan  hasil  klasifikasi  data  berlabel  positif sebanyak 51,17% dan data berlabel data berlabel negatif  sebanyak  48,83%.  Perbedaan  dengan penelitian ini adalah objek penelitian, data yang digunakan  dan  algoritma  yang  digunakan  untuk melakukan klasifikasi.
Penelitian  [11]  mengangkat  masalah tentang  Ulasan  pengguna  berupa  teks  dalam format data tidak terstruktur yang menimbulkan kerumitan saat bekerja dengan analisis sentiment. Hasil  percobaan  menunjukkan  bahwa  algoritma fine-tuned  IndoBERT  memiliki  akurasi  yang
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 504
lebih  baik  dalam  pelabelan  data  berbasis Textblob  dengan  akurasi  tertinggi  94  %  pada learning  rate  0.00002,  batch  size  32,  jumlah epoch  5,  dan  waktu  pelatihan  12  menit. Perbedaan  dengan  penelitian  ini  adalah  objek penelitian  dan  data  yang  digunakan  untuk melakukan klasifikasi.
Penelitian  [12]  mengangkat  masalah mengenai  adanya  bug  maupun  fitur  tambahan yang  ditemui  saat  update  aplikasi  seringkali membuat  pengguna  aplikasi  Duolingo  merasa kecewa dan tidak nyaman saat mengaksesnya, hal tersebut dibuktikan dengan ulasan yang beberapa diantaranya memuat  komentar  negatif,  sehingga perlu dilakukan analisis sentiment sebagai bahan pertimbangan pengguna dalam memilih platform belajar  online,  dan  sekaligus  bisa  digunakan untuk  evaluasi  developer  dalam  pengembangan aplikasi  tersebut.  Penelitian  ini  melakukan analisa  sentiment  pada  aplikasi  Duolingo berdasarkan  ulasan  terbaru  yang  diambil  di Google Play Store menggunakan algoritma Naïve Bayes  dan  Support  Vector  Machine  yang bertujuan  untuk  mengetahui  tendensi  sentiment dan  membandingkan  tingkat  akurasi  kedua algoritma  tersebut.  Algoritma  Naïve  Bayes memperoleh  nilai  accuracy  sebesar  81%, precision  80%,  recall  98%,  dan  f1-score  88%. Sedangkan  algoritma  Support  Vector  Machine menghasilkan  nilai  accuracy  85%,  precision 87%,  recall  94%,  dan  f1-score  90%.  Maka  dari perbandingan performa kedua algoritma tersebut, dapat  disimpulkan  bahwa  algoritma  Support Vector Machine memiliki tingkat accuracy yang lebih  baik.  Perbedaan  dengan  penelitian  ini adalah  algoritma  penelitian  dan  data  yang digunakan untuk melakukan klasifikasi.
Penelitian  [13]  mengangkat  masalah tentang  developer  belum  bisa  mengklasifikasi sentimentt dari ulasan aplikasi JOOX. Penelitian ini  bertujuan  untuk  mengetahui  orientasi komentar  pengguna  mengenai  aplikasi  JOOX tersebut  perlu  dilakukan  analisis  sentiment  atas aplikasi  JOOX  ini.  Hasil  analisis  sentiment  dari penelitian  ini  adalah  41,92%  true  (sentiment) positif,  1,01%  true  netral,  dan  35,95%  true negatif,  semuanya  dari  990  data  uji,  dengan akurasi  F1-score  berturut-turut  86%,  51%,  dan 76%  sementara  akurasi  baseline  adalah  83%, 79%,  dan  75%,  yang  berarti  ada  peningkatan
akurasi true positif sebesar 3,6% dan true negatif sebesar  1,3%.  Perbedaan  dengan  penelitian  ini adalah  objek  yang  diteliti  dan  data  yang digunakan untuk melakukan klasifikasi.
Berdasarkan  dari  bebe r rapa  penelitian terdahurlu  bisa  disimpu r lkan  perbedaan  antara penelitian terdahurlu dengan penelitian ini, antara lain  algoritma  yang  dipakai,  objek  yang  diteliti dan dataset yang digunakan. Dalam penelitian ini terdapat algoritma yang belum digunakan untuk meneliti  Aplikasi  Duolingo  dan  menggunakan dataset  terbaru  sehingga  ulasan-ulasan  lebih banyak dan bervariatif. Tujuan dari penelitian ini adalah seberapa  akurat  algoritma  ini  dalam mengidentifikasi  sentiment  ulasan.  Algoritma DistilBERT  akan  mampu  mengidentifikasi sentiment  ulasan  dengan  tingkat  akurasi  yang tinggi karena kemampuan model untuk memahami konteks kalimat secara efektif.

## 2. METODE PENELITIAN
Penelitian ini mencakup beberapa tahap, yaitu pengumpulan data, pelabelan data, pra pemrosesan  data,  pemodelan,  pelatihan  model, dan tahap terakhir adalah evaluasi hasil.
Gambar 1. Tahapan penelitian
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 505

## 2.1 Pengumpulan Data
Pengumpulan data sentiment dapat dilakukan dengan  dua  metode,  yakni  metode  prime  dan sekunder.  [15].  Data  yang  dikumpulkan  adalah komentar  review  terbaru  yang  diambil  pada tanggal 13 bulan Februari yang merupakan data terbaru  didapatkan  yaitu  1000  dengan score 1,2,3,4 dan 5.

## 2.2 Labeling Data
Proses  pelabelan  data  dapat  memudahkan model  untuk  mengklasifikasikan  emosi.  Input model  adalah  konteks  teks  ke  angka,  sehingga data teks harus diberi label terlebih dahulu [11]. Proses  labeling  menggunakan  sistem  Lexicon dengan  ketentuan score kurang  dari  0  termasuk ulasan  negatif, score sama  dengan  0  termasuk ulasan  netral  dan score lebih  dari  0  termasuk ulasan positif.

## 2.3 Processing Data
Data  yang  didapat  masih  belum  terstruktur. Oleh  karena  itu,  diperlukan  suatu  proses  yang dapat  mengubah  bentuk  data  yang    sebelumnya tidak  terstruktur    ke    dalam  bentuk  data  yang terstruktur [14] seperti disajikan pada gambar 2 .
Gambar 2. Tahapan Preprocessing

## 2.3.1 Normalisasi
Proses  normalisasi  teks  dilakukan  untuk menyeleksi  kata-kata  yang  kasar  pada  ulasan menggunakan slang. [16]. Slang adalah kata-kata dan ungkapan yang sangat informal yang umum digunakan  dalam  bahasa  lisan  dan  tidak  sesuai untuk situasi formal. [15].

## 2.3.2 Lemmatisasi
Lemmatisasi  adalah  proses  mereduksi  kata menjadi  bentuk  dasar,  tujuan  dari  Lemmatisasi adalah  mengubah  kata  menjadi  bentuk  kanonik atau  kamusnya  yang  membantu  mengurangi dimensi  data  dan  meningkatkan  akurasi  model NLP (Natural Language Processing) [17]. Proses ini menggunakan package nltk untuk melakukan lemmatisasi.

## 2.3.3 Stopwords
Stopword  adalah  kata-kata  umum  (Common words)  yang  sering  muncul,  yang  tidak memberikan  informasi  penting  (yang  biasanya tidak  diacuhkan  atau  dibuang  misalnya  dalam proses  pembuatan  indeks  atau  daftar  kata). Contohnya adalah “yang”, ”di”, “ke”.

## 2.4 Modeling
Data yang telah melalui proses preprocessing mendapatkan  data  bersih  sebesar  945  data  yang selanjutnya  dipakai  untuk  proses  modeling, dengan beberapa tahap diantaranya :

## 2.4.1 Label Encorder
Proses  pelabelan  adalah  proses  pemberian label  pada  dataset  ulasan  [18].  Mengubah  label sentiment  dengan  sentiment  0  adalah  negatif, sentiment 1 adalah netral dan sentiment 2 adalah sentiment positif.
2.4.2 Cross Validation Setelah data telah melakukan proses preprocessing didapatkan  data  bersih  sebanyak 945  yang  kemudian  dibagi  menjadi  tiga,  yaitu data train , testing ,  dan validation dengan  rasio 80:10:10.

## 2.4.3 Build Bert Transfer Learning
Setelah  melakukan  split  data,  kemudian bangun  model transfer  learning DistilBERT dengan mendownload model pretrained DistilBERT.

## 2.4.5 Tokenizer
Sebelum melakukan pembangunan algoritma BERT  data  harus  dilakukan  proses tokenizer . Tokenisasi  adalah  proses  pemisahan  teks  atau kalimat  menjadi  unit  yang  lebih  kecil,  yang disebut  "token."  Token  adalah  unit  dasar  dalam
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 506
pemrosesan  bahasa  alami  (NLP),  dan  biasanya merupakan  kata,  frasa,  atau  symbol [19], yang menjadi unit dasar dalam pemrosesan teks.

## 2.4.5 Penanganan Kelas Imbalance
Ketika  menangani  kelas imbalance ,  bisa melakukan  dengan  dua  cara,  yaitu  upsampling kelas  minoritas  atau downsampling kelas mayoritas. Agar tidak kehilangan informasi atau kelebihan  informasi  yang  berulang  dapat menggunakan  perhitungan  bobot  pada  masing- masing kelas yang nantinya bobot tersebut akan dimasukkan ke dalam loss function . Loss function akan menghitung loss dari masing-masing kelas sesuai dengan bobot yang telah diperhitungkan.

## 2.5 Pelatihan Model
Distillation BERT atau DistilBERT dirancang untuk  mengurangi  ukuran  dan  meningkatkan kecepatan  pelatihan  representasi  enkoder  dua arah dari algoritma transformer (BERT), dimana algoritma DistilBERT menggunakan pengetahuan  distilasi  (penyulingan)  yang  bisa meminimalkan  algoritma  parameter  BERT menjadi  sebesar  40%,  dan  membuat  inferensi menjadi 60% lebih cepat [20]. DistilBERT dalam penelitian  ini  berfungsi  untuk  membangun embeddings dan  menghitung  akurasi  sentiment ulasan Duolingo.
Gambar 3. Proses Klasifikasi Teks Menggunakan DistilBERT
Selama  proses  tokenisasi,  simbol  atau  token khusus (CLS) diperoleh untuk tujuan klasifikasi. Selanjutnya,  masukkan  input  ID  dan  attention
masknya  sebagai  masukan  pertama  ke  model. Saat dimasukkan ke arsitektur DistilBERT, setiap kata membuat vektornya sendiri yang berisi token khusus  [CLS].  Gunakan  hanya  vektor  yang dihasilkan  oleh  token  [CLS]  sebagai  masukan untuk  klasifikasi.  Vektor  mewakili  keseluruhan teks.

## Gambar 4. Layer Encorder
Algoritma  DistilBERT memiliki lapisan penting  yang  disebut  lapisan  Transformers. Lapisan  Transformers  sendiri  terdiri  dari  dua bagian: encoder yang mengekstrak fitur dari teks masukan,  dan  decoder  yang  menghasilkan keluaran dari fitur yang dihasilkan oleh encoder. Algoritma DistilBERT hanya memiliki 6 lapisan encoder.

## 2.6 Evaluasi Hasil
Evaluasi  hasil  merupakan  instrumen  penting untuk memastikan pencapaian tujuan dan sasaran dengan  efektif  dan  efisien.  Dengan  melakukan evaluasi dapat memperbaiki kinerja,
mengoptimalkan penggunaan, serta meraih hasil yang  lebih  baik. Setelah  data  melalui  pelatihan, dilakukan  proses Confusion matrix  digunakan untuk  memperoleh  nilai precision , recall ,  dan accuracy [21].

## 3. HASIL DAN PEMBAHASAN
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 507
Pada tahap ini akan membahas mengenai penelitian  yang  telah  dilakukan.  Sebelum melakukan modelling dan pelatihan, dataset akan dilakukan proses preprocessing terlebih dahulu.

## 3.1 Pengumpulan Data
Pada bagian ini akan dibahas terkait hasil penelitian  yang  telah  dilakukan,  Data  yang dikumpulkan  adalah  komentar  review  terbaru yang  diambil  pada  bulan  Februari  yang merupakan  data  terbaru  dihasilkan  yaitu  500 komentar review bisa dilihat pada tabel 1.
Tabel 1. Pengumpulan Data Sumber Data Jumlah Data Total Google PlayStore 1000 1000
Rincian  kolom  tidak  bisa  divisualisasikan karena  jumlah  kolom  tidak  cukup  dalam  artikel ini.  Selanjutnya,  karena  data  yang  diperoleh hanya  ada  review  dan  maka  dalam  proses selanjutnya  adalah  pemberian  label  agar  lebih mudah  untuk  menganalisis  komentar  review tersebut  masuk  kedalam  sentimentt  positif  atau sentiment negatif.

## 3.2 Labeling Data
Pada  proses  ini  data  akan  diberi  label menggunakan lexicon.
Tabel 2. Hasil Labeling Data Review Score Sentimentt Sangat membantu saya sebagai pemula. 0.6124 Positif Jelek -0.1280 Negatif Apknya Bagus tapi dulu kalua mau hatitak terbatas gak premium, sekarang premium. 0.0000 Netral Lumayan 0.0000 Netral
Data  yang  telah  diberi  label  kemudian digunakan untuk preprocessing data.

## 3.3 Preprocessing Data
Pada proses awal ini terdapat normalisasi teks atau  data.  Normalisasi  ini  menggunakan  slang untuk menormalisasi kata yang tidak baku. Bisa dilihat pada tabel 3.

## Tabel 3. Normalisasi
Username Review Sentimentt Hasil Normalisasi Arthasya F. Nurinda. Bagus, ak suka. Positif Bagus, aku suka. Nabila Rizky Bintang Suka bgtt. Negatif Suka Banget. Ramadhan Roy Cintung. Joss Tapi Diulang Mulu. Netral Jos tapi selalu diulang. M Rizky Gemeny a Sangat Luar Biasa. Positif Gamenya sangat Luar Biasa.
Pada  tabel  3  bisa  dilihat  untuk  komentar review  sebelum  Normalisasi  dan  setelah Normalisasi,  dari  kata  yang  terdapat  singkatan atau  terdapat  kata  tidak  baku  telah  dihapus  dan diganti  dengan  kata  yang  benar.  Setelah dilakukan  proses  Normalisasi  data  kemudian digunakan  untuk  proses  lemmatisasi  untuk mengganti kata menjadi ke bentuk dasarnya.
Tabel 4. Lemmatisasi Username Review Sentimentt Hasil Lemmatisasi Joel Nanariain Berjala n Positif Jalan Nurmila Pembe lajaran Negatif Belajar Lukman Nh Berbay ar Netral Bayar Yumi Omiya Diteliti Positif Teliti Proses lemmatisasi selesai dengan hasil yang bisa  dilihat  pada  tabel  4,  pada  tabel  review  dan hasil lemmatisasi terdapat perbedaan.
Sebenarnya,  kata-kata  tersebut  mengandung makna  yang  sama.  Oleh  karena  itu,  dilakukan proses lemmatisasi, yaitu teknik untuk mengubah kata  yang  mempunyai  imbuhan  menjadi  kata dasar.
Pada  tabel  2.  Data  telah  melakukan  proses pelabelan  score  menjadi  sentiment  positif  dan negatif. Sentiment tersebut akan divisualisasikan menggunakan WordCloud . WordCloud salah satu
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 508
metode untuk memvisualisasikan data teks secara visual. WordCloud populer  dalam text mining karena  mudah  dipahami(1838).  pada  proses  ini data  akan  diklasifikasi  menjadi Wordcloud positif, Wordcloud Netral dan Wordcloud negatif.
WordCloud Positif
Gambar 5. Visualisasi Wordcloud Positif
Berikut  ini  adalah  Wordcloud  positif  dari dataset Duolingo, Wordcloud diatas terdapat kata yang  menonjol  seperti  “Duolingo”,  “saya”, “bagus”,  “Bahasa  inggris”,  “belajar  bahasa”. Kalimat  tersebut  menggambarkan  rasa  suka terhadap aplikasi Duolingo.
WordCloud Negatif
Gambar 6. Visualisasi Wordcloud Negatif
Berikut adalah Wordcloud negatif dari dataset Duolingo,  Pada  wordcloud  diatas  terdapat  kata yang  menonjol  yaitu  “jelek”,“diperbaiki”,
“enggak”,”susah”.
Kalimat tersebut menggambarkan  tidak  puas  terhadap  aplikasi Duolingo.
WordCloud Netral
Gambar 7. Visualisasi Wordcloud Netral
Berikut  ini  adalah Wordcloud netral  dari dataset Duolingo, Wordcloud diatas terdapat kata yang  menonjol  seperti  “tapi”,  “nya”,  “waktu”, “setelah”, “bahasa”. Kalimat tersebut menggambarkan rasa suka tetapi juga memberikan  kritik  dan  saran  terhadap  aplikasi Duolingo.
Sebelum  masuk  ke modeling data  akan melalui  proses  selanjutnya  yaitu  diberikan  label encorder  dengan  menganti  sentiment  menjadi sebuah  angka  agar  mudah  untuk  proses klasifikasi. Dengan sentiment negatif diumpamakan angka 0 sentiment netral diumpamakan  angka  1  dan  sentiment  positif diumpamakan  angka  2.  Dan  dilakukan cross validation untuk  membagi  menjadi  data train , data test dan data val . Tabel 5. Hasil Cross Validation X_Train X_Test X_Val 756 95 94

## 3.4 Modeling
Pada tahap ini Semua eksperimen dijalankan di Google Colabs. untuk tugas analisis sentiment, data  telah  melalui  proses  tokenizer.  Selanjutnya melalui proses pembuatan algoritma DistilBERT pre-trained yang  bertujuan  memasukkan  data kedalam model untuk diuji dan dilatih.
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/
509
Gambar 8. Hasil set-up pre-trained algoritma DistilBERT
Setelah  proses  instalasi  sudah  benar,  setelah itu  dilakukan  komputasi  dengan  parameter sebagai berikut :
• Batch size : 32 (dibuat pada saat data loader)
• Learning rate(adam) : 2e-5
• Epoch : 5
Pada  pemodelan  ini,  peneliti  menggunakan batch  size  32  untuk  mendapatkan  akurasi  yang bagus.  Untuk  epoch  ditentukan  epoch  5  karena memastikan  tidak  ada underfitting (skenario dalam ilmu  data  dimana  model data tidak  dapat menangkap antar variable input dan output secara akurat) sehingga menghasilkan tingkat kesalahan yang tinggi baik pada set pelatihan dan berakhir dengan performa yang buruk.
Gambar 9. Hasil Epoch
Pada  gambar  6,  epoch  5  adalah  hasil  terbaik dari  pada  epoch  sebelumnya  yang  berarti algoritma DistilBERT baik dalam mengklasifikasi teks.

## 3.5 Evaluasi
Evaluasi  pada  tahap  ini  menggunakan confusion matrix pada gambar 10. Berikut adalah Confusion matrix  yang  divisualisasikan  untuk data yang disediakan:
• Ulasan  negatif  yang  diklasifikasi  dengan benar  oleh  model  adalah  50.  Ulasan  negatif yang diklasifikasi netral oleh model adalah 0 dan  ulasan  negatif  yang  diklasifikasi  positif oleh model adalah 1.
• Ulasan netral yang diklasifikasi dengan benar oleh  model  adalah  0.  Ulasan  netral  yang diklasifikasi negatif oleh model adalah 1 dan ulasan  netral  yang  diklasifikasi  positif  oleh model adalah 1.
• Ulasan positif yang diklasifikasi dengan benar oleh  model  adalah  16.  Ulasan  positif  yang diklasifikasi netral oleh model adalah 0 dan ulasan positif yang diklasifikasi negatif oleh model adalah 26.
Gambar 10. Confusion Matrix
Confusion matrix  menunjukkan  bahwa semua  data  telah  diklasifikasikan  dengan  benar, tanpa positif palsu, netral palsu atau negatif palsu. Hal  ini  menunjukkan  bahwa  label  sentiment dalam  kumpulan  data  diprediksi  dengan  benar untuk  semua  sampel  yang  diberikan. Dari confusion matrix  ini,  kita  dapat  melihat  bahwa model  memiliki  kinerja  yang  cukup  baik  dalam
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 510
mengklasifikasikan  sentiment  negatif  dengan akurasi tertinggi dari ketiga kelas.
Gambar 11. Hasil Evaluasi
Pada  evaluasi  diatas  bisa  dilihat  hasil  dari pemodelan BERT, dengan nilai precision , recall , f1- score pada label kelas 1 adalah 74%, 96%, dan 84%  itu  menandakan  model  BERT  ini  sangat baik  memprediksi  kelas  label.  Dengan  hasil akurasi yang diperoleh adalah 80% dalam waktu 85 seconds .

## 4. KESIMPULAN
Algoritma  DistilBERT  menghasilkan prediksi yang baik untuk mengklasifikasi ulasan pada  platform  Duolingo.  Dengan  hasil  dari algoritma DistilBERT mengklasifikasi 1000 data dari  Google  Play  Store,  menghasilkan  nilai precision, recall, dan f1-score pada label kelas 0 adalah 74%, 96%, dan 84%. Hal ini menunjukkan bahwa algoritma DistilBERT sangat baik dalam memprediksi  label  kelas.  Dengan  hasil  akurasi yang diperoleh adalah 80% dalam waktu 85 detik. Oleh karena itu, penelitian selanjutnya diharapkan  melakukan  perbandingan  antara algoritma DistilBERT dengan algoritma lain agar menghasilkan  nilai  sentiment  yang  tepat  dan akurasi yang lebih tinggi.

## 5. REFERENSI
[1] E.  G.  Pangalo,  “Pembelajaran  Mobile Learning  Untuk  Siswa  Sma,” J.  Teknol. Pendidik.  J.  Penelit.  dan  Pengemb. Pembelajaran , vol. 5, no. 1, p. 38, 2020,
doi: 10.33394/jtp.v5i1.2851.
[2] A.  M.  Fajar,  J.  Juangsih,  and  S.
Sugihartono, “Analisis Aplikasi Duolingo sebagai  Media  Pembelajaran  Tambahan untuk  Membantu  Pembelajaran  Bahasa
Jepang,” Pros.  Semin.  Nas.  Provinsi Sumatera  Selatan  dan  Univ.  PGRI Palembang, no.  November,  pp.  16–22,
2021. [3] M. Polatgil, “Analyzing Comments Made to The Duolingo Mobile Application with Topic  Modeling,” Int.  J.  Comput.  Digit. Syst. ,  vol.  13,  no.  1,  pp.  223–230,  2023, doi: 10.12785/ijcds/130118.
[4] S. Chohan, A. Nugroho, A. M. B. Aji, and W.  Gata,  “Analisis  Sentiment  Pengguna Aplikasi Duolingo Menggunakan Metode Naïve Bayes dan Synthetic Minority Over Sampling  Technique,” Paradig.  -  J. Komput.  dan  Inform. ,  vol.  22,  no.  2,  pp. 139–144, 2020, doi: 10.31294/p.v22i2.8251. [5] E.  Herlina,  A.  Yundayani, and  S.  Astuti,
“Penggunaan  Duolingo  sebagai  Media Pembelajaran  Berbasis  Teknologi  dalam Meningkatkan  Keterampilan  Berbicara Siswa,” Pengguna.  Duolingo  sebagai Media  Pembelajaran  Berbas.  Teknol. dalam Meningkat. Keterampilan Berbicara Siswa , no. 2012, pp. 244–253, 2021.
[6] J. U. S. Lazuardi and A. Juarna, “Analisis Sentiment  Ulasan  Pengguna  Aplikasi Joox Pada Android Menggunakan Metode Bidirectional  Encoder  Representation From Transformer (Bert),” J. Ilm. Inform. Komput. ,  vol.  28,  no.  3,  pp.  251–260, 2023, doi: 10.35760/ik.2023.v28i3.10090. [7] A.  Bert,  “Klasifikasi  Emosi  Pada  Data Text  Bahasa  Indonesia  Menggunakan,” vol.  8,  no.  April,  pp.  1160–1170,  2024, doi: 10.30865/mib.v8i2.7472.
[8] N. Azmi Verdikha, R. Habid, and A. Johar Latipah,  “Analisis  DistilBERT  dengan Support  Vector  Machine  (SVM)  untuk Klasifikasi Ujaran Kebencian pada Sosial Media Twitter,” Metik J. , vol. 7, no. 2, pp. 101–110, 2023, doi: 10.47002/metik.v7i2.583. [9] E.  P.  A.  Akhmad,  “Analisis  Sentiment
https://jurnal.murnisadar.ac.id/index.php/Tekinkom/ 511
Ulasan Aplikasi DLU Ferry Pada Google
Play  Store  Menggunakan  Bidirectional
Encoder Representations from Transformers,” J.  Apl.  Pelayaran  Dan
Kepelabuhanan ,  vol.  13,  no.  2,  pp.  104– 112, 2023, doi: 10.30649/japk.v13i2.94.
[10] P.  Studi  Informatika,  F.  Matematika  dan Ilmu Pengetahuan Alam, J. Raya Kampus Udayana, B. Jimbaran, K. Selatan, and B.
Indonesia,  “Analisis  Sentiment  Aplikasi Zenius  Menggunakan  Metode  Logistic Regression  I  Made  Juniandika  a1,  Ida Bagus Made Mahendra a2,” Jnatia , vol. 1, no. 4, pp. 1171–1178, 2023.
[11] A.  S.  P.  Braja  and  A.  Kodar, “Implementasi Fine-Tuning BERT untuk Analisis  Sentiment  terhadap  Review Aplikasi  PUBG  Mobile  di  Google  Play Store,” J  I  M  P  -  J.  Inform.  Merdeka Pasuruan , vol. 7, no. 3, p. 120, 2023, doi: 10.51213/jimp.v7i3.779.
[12] F.  Alifiana,  M.  F.  Asnawi,  I.  A. Ihsannudin,  M.  A.  M.  Baihaqy,  and  D. Asmarajati, “Analisis Sentiment Aplikasi Duolingo Menggunakan Algoritma Naïve Bayes  Dan  Support  Machine  Learning,”
Device , vol. 13, no. 2, pp. 223–230, 2023,
doi: 10.32699/device.v13i2.5905.
[13] M.  R.  Fahlevvi,  “Analisis  Sentiment Terhadap Ulasan Aplikasi Pejabat Pengelola  Informasi  Dan  Dokumentasi Kementerian  Dalam  Negeri  Republik Indonesia Di Google Playstore Menggunakan  Metode  Support  Vector
Machine,” J.  Teknol.  dan  Komun. Pemerintah. , vol. 4, no. 1, pp. 1–13, 2022, doi: 10.33701/jtkp.v4i1.2701.
[14] P.  T.  Anis,  “Slang  words  in  Instagram,” Unjversitas Sam Ratulangi , p. 18, 2017.
[15] F.  S.  Jumeilah,  “Penerapan  Support Vector Machine (SVM) untuk Pengkategorian  Penelitian,” J.  RESTI
(Rekayasa  Sist.  dan  Teknol.  Informasi) , vol.  1,  no.  1,  pp.  19–25,  2017,  doi: 10.29207/resti.v1i1.11.
[16] Z.  Efendy,  “Normalisasi  dalam  Desain
Database,” J. CoreIT , vol. 4, no. 1, pp. 34– 43, 2018.
[17] M.  Prasetya,  M.  Wulandari,  and  S.  A. Nikmah,  “Implementasi  NLP  (Natural
Language Processing) Dasar pada
Analisis  Sentimentt  Review  Spotify,”
Stain.  (Seminar  Nas.  Teknol.  Sains) ,  vol.
3, no. 1, pp. 145–153, 2024.
[18] Y. A. V. Gunawan, N. A. S. ER, I. B. M. Mahendra, I. M. Widiartha, I. G. N. A. C.
Putra,  and  I.  G.  A.  G.  A.  Kadyanan,
“Analisis  Sentiment  Ulasan  Aplikasi
Transportasi
Online Menggunakan Multinomial  Naïve  Bayes  dan  Query Expansion  Ranking,” JELIKU  (Jurnal Elektron.  Ilmu  Komput.  Udayana) ,  vol. 11, no. 1, p. 121, 2022, doi:
10.24843/jlk.2022.v11.i01.p13. [19] F.  Amin,  E.  Nur  Wahyudi,  and  B. Hartono, “Penerapan Kemiripan Dokumen pada Mesin Pencari Menggunakan  Metode  Hellinger,” J.
Rekayasa Ind. , vol. 5, no. 2, pp. 118–125, 2023, doi: 10.37631/jri.v5i2.985.
[20] M.  E.  Basiri,  S.  Nemati,  M.  Abdar,  S. Asadi,  and  U.  R.  Acharrya,  “A  novel fusion-based  deep  learning  model  for sentimentt analysis of COVID-19 tweets,”
Knowledge-Based  Syst. ,  vol.  228,  p. 107242, 2021, doi: 10.1016/j.knosys.2021.107242. [21] W. I. Rahayu, C. Prianto, and E. A. Novia,
“Perbandingan  Algoritma  K-Means  Dan
Naïve Bayes Untuk Memprediksi Prioritas  Pembayaran  Tagihan  Rumah Sakit  Bedasarkan  Tingkat  Kepentingan Pada  Pt.  Pertamina  (Persero),” J.  Tek. Inform. ,  vol.  13,  no.  2,  pp.  1–8,  2021,
[Online]. Available:
https://ejurnal.poltekpos.ac.id/index.php/i nformatika/article/view/1383
[22] M.  G.  Pradana,  “Penggunaan  Fitur Wordcloud  dan  Document  Term  Matrix dalam Text Mining,” J. Ilm. Inform. , vol.
8, no. 1, pp. 38–43, 2020.