## ANALISIS SENTIMEN APLIKASI DUOLINGO MENGGUNAKAN ALGORITMA NAÏVE BAYES DAN SUPPORT MACHINE LEARNING
Fatma Alifiana 1) , Muhamad Fuat Asnawi 2) , Iman Ahmad Ihsannudin 3) , Muhammad Alif Muwafiq Baihaqy 4) , Dian Asmarajati 5)
1,2,3,4,5) Universitas Sains Al-Qur’an Email : fatmafiana48@gmail.com 1) , fuatasnawi@unsiq.ac.id 2) , ahmadihsan@unsiq.ac.id 3) , aviq.baihaqy@gmail.com 4) , asmarajati@unsiq.ac.id 5)

## ABSTRAK
Keterbatasan  waktu,  tempat,  dan  biaya  menjadi  salah  satu  faktor  penyebab  kurangnya  pendidikan  pada seseorang. Selain itu, tidak variatif dan monotonnya model pembelajaran membuat seseorang malas belajar, namun tidak menutup kemungkinan untuk bisa belajar secara optimal di era modern ini, salah satunya melalui m-learning yang lebih fleksibel,  efektif,  dan  tentunya  lebih  menarik,  namun  adanya  bug  maupun  fitur  tambahan  yang  ditemui  saat  update aplikasi  seringkali  membuat  pengguna  aplikasi  Duolingo  merasa  kecewa  dan  tidak  nyaman  saat  mengaksesnya,  hal tersebut  dibuktikan  dengan  ulasan  yang  beberapa  diantaranya  memuat  komentar  negatif,  sehingga  perlu  dilakukan analisis  sentimen  sebagai  bahan  pertimbangan  pengguna  dalam  memilih  platform  belajar  online,  dan  sekaligus  bisa digunakan untuk evaluasi developer dalam pengembangan aplikasi tersebut. Penelitian ini melakukan analisa sentimen pada aplikasi Duolingo berdasarkan ulasan terbaru yang diambil di Google Play Store menggunakan  algoritma Naïve Bayes dan Support Vector Machine yang bertujuan untuk mengetahui tendensi sentimen dan membandingkan tingkat akurasi  kedua  algoritma  tersebut.  Algoritma Naïve  Bayes memperoleh  nilai accuracy sebesar 81%, precission 80%, recall 98%, dan f1-score 88%. Sedangkan metode Support Vector Machine menghasilkan nilai accuracy 85%, precission 87%, recall  94%, dan f1-score 90%. Maka  dari perbandingan  performa  kedua  algoritma tersebut,  dapat  disimpulkan bahwa algoritma Support Vector Machine memiliki tingkat accuracy yang lebih baik.
Kata Kunci : Aplikasi, Algoritma, Analisis Sentimen, Naïve Bayes, Support Vector Machine

## ABSTRACT
Limited time, place and costs are one of the factors causing a person's lack of education. Apart from that, the lack of  variety and monotony of learning models makes someone lazy about learning, but this does not rule out the possibility of being able to learn optimally in this modern era, one of which is through m-learning which is more flexible, effective,  and  of  course  more  interesting,  but  there  are  bugs  and  features  additions  encountered  when  updating  the application  often  make  Duolingo  application  users  feel  disappointed  and  uncomfortable  when  accessing  it,  this  is proven by reviews, some of which contain negative comments, so it is necessary to carry out sentiment analysis as a consideration  for  users  in  choosing  an  online  learning platform,  and  at  the  same  time  it  can  be used  for  developer evaluation  in  developing  the  application.  This  research  carries  out  sentiment  analysis  on  the  Duolingo  application based  on  the  latest  reviews  taken  on  the  Google  Play  Store  using  the  Naïve  Bayes  algorithm  and  Support  Vector Machine which aims to determine sentiment tendencies and compare the level of accuracy of the two algorithms.  The Naïve Bayes algorithm obtained an accuracy of 81%, precision of 80%, recall of 98%, and f1-score of 88%. Meanwhile, the Support Vector Machine method produces an accuracy value of 85%, precision 87%, recall 94%, and f1-score 90%. So  from  comparing  the  performance  of  the  two  algorithms,  it  can  be  concluded  that  the  Support  Vector  Machine algorithm has a better level of accuracy.
Keywords: application, algorithm, sentiment analysis, naïve bayes, support vector machine

## 1. PENDAHULUAN
Adanya
informasi mengenai perkembangan  teknologi,  tren  belajar  digital, dan  beberapa  keterbatasan  seperti  waktu, tempat, dan biaya  mengakibatkan kurangnya pendidikan  pada  seseorang . Selain  itu,  tidak variatif dan monotonnya model pembelajaran membuat  seseorang  malas  belajar,  Salah  satu platform  pembelajaran  seluler  yang  bisa dijadikan  alternatiif  belajar  secara  fleksibel adalah  aplikasi  Duolingo,  aplikasi  belajar Bahasa  gratis  yang  diciptakan  oleh  Luis  von Ahn  dan  Severin  Hacker  pada  tahun  2011, namun adanya fitur tammbahan dan terdeteksinya bug pada sistem membuat sistem berjalan  tidak  normal  atau  bahkan  terjadinya error  yang  mengakibatkan  terjadinya  pro  dan kontra  antar    pengguna.  Hal  ini  dibuktikan dengan  14  juta  ulasan  pada  bulan  Juni  2023, dimana sebagian pengguna menuliskan beberapa  komentar  buruk,  sehingga  perlu dilakukan  analisis  sentimen  yang  bertujuan untuk    mengetahui  kesimpulan  ulasan termasuk kedalam kategori positif atau negatif pada  salah  satu  aplikasi  belajar  online,  yakni Duolingo yang diharapkan dari hasil sentimen terbaik  dapat  dijadikan  sebagai  bahan pertimbangan  pengguna  agar  lebih  selektif dalam  memilih  aplikasi  yang  cocok  untuk digunakan.  Lebih  lanjut,  dari  hasil  tersebut diharapkan dapat membantu developer dalam pengembangan aplikasi Duolingo dengan tetap mempertahankan  kualitas  terbaiknya.  Tidak hanya  sebatas  mengetahui  tendensi  setimen saja,  namun  dalam  penelitian  ini  akan membandingkan akurasi menggunakan Algoritma Naïve  Bayes dan Support  Vector Machine dalam  mengklasifikasikan  data ulasan pengguna aplikasi Duolingo di Google Play Store (Fikri et al., 2020).
Analisis  Sentimen  adalah  aspek  atau bidang ilmu yang menganalisis opini seseorang,  sentimen  seseorang,  penilaian seseorang,  sikap  seseoang,  perasaan  atau emosi  seseorang  ke  dalam  bahasa  tersurat (Gunawan  et  al.,  2018).  Analisis  Sentimen sudah  banyak  mendapatkan  perhatian  sejak riset  Pang,  Turney,  Goldberg  dan  Zhu. Analisis Sentimen mempunyai banyak sebuah tantangan  yang  diantaranya  yaitu  penilaian
yang  dikeluarkan  dalam  suatu  dokumen  atau bagian dari dokumen diarahkan kepada objek atau subjek dan apakah opini yang disebutkan positif atau negatif. Selain hal itu, ada kalanya kekuatan opini seseorang dan sasarannya harus dicari diluar kalimat yang diberikan. Sentimen pada  suatu  teks  menjadi  cukup  krusial  di beberapa  aplikasi,  seperti  pengolahan  dan kesimpulan  komentar  seseorang  (Saputra, Adji, & Permanasari, 2015) .
Tahap  awal  penelitian,  penulis  perlu melakukan  pengkajian  terhadap  jurnal-jurnal untuk  dijadikan  sumber  acuan.  Penelitian pertama berjudul “Analisis Sentimen Aplikasi Duolingo Menggunakan Metode Naïve Bayes dan Syntetic Minority Over Sampling Technique .  Penelitian  tersebut  menerapkan optimasi dengan menggunakan Syntetic Minority Over Sampling Technique (SMOTE) yang  merupakan  suatu  pendekatan  untuk pengklasifikasian  dari  data  set  yang  tidak seimbang  dimana  kategori  klasifikasi  tidak dipresentaskan  secara  merata.  Hasil  dari  dua metode  dalam  penelitian  ini  menemukakan bahwa hasil tertinggi didapatkan menggunakan  algoritma  naïve  bayes  dengan Syntetic  Minority  Over  Sampling  Technique (SMOTE)  dimana  memiliki  tingkat  akurasi 91,95%  dan  AUC  sebesar  0.740  (Chohan, Nugroho, & Aji, 2020).
Penelitian  kedua  berjudul  “Komparasi Algoritma SVM dan Naïve  Bayes Untuk Klasifikasi Kestabilan Jaringan Listrik”. Dari hasil pengujian klasifikasi kestabilan jaringan listrik  yang  telah  dilakukan  menggunakan aplikasi WEKA 3.8.2. Metode Support Vector Machine (SVM) menunjukkan tingkat akurasi yang  lebih  baik  yaitu  sebesar  98.9%  jika dibandingkan  dengan  metode Naïve  Bayes yang  menghasilkan  nilai  akurasi  sebesar 97.64%  Hasil  akurasi  ini  akan  menunjukan hasil  yang  berbeda  tergantung  dengan  jenis data,  jumlah  instance, label  class dan Percentage  split  data yang  digunakan (Diantika, Gata, Nalatissifa, & Lase, 2021).
Penelitian  diatas  memiliki  kesamaan pada  algoritma  yang  digunakan,  namun memiliki perbedaan pada tool yang digunakan dan objek penelitiannya. Pada penelitian yang akan dilakukan adalah membandingkan
algoritma Naïve  Bayes dan Support  Vector Machine untuk klasifikasi data ulasan aplikasi Duolingo di Google Play Store dengan bantuan Google Colaboratory. Berdasarkan penjabaran diatas,  maka  penulis  mengambil  judul “Analisis  Sentimen  Aplikasi  Duolingo Menggunakan  Algoritma Naïve  Bayes dan Support Vector Machine”.
2. METODE
Naïve Bayes Classifier merupakan metode klasifikasi yang  berasal pada  teorema Bayes (Muhamad & Ashari, 2022) .  Metode pengklasifikasian dengan menggunakan metode  probabilitas  dan  statistik  yang dikemukakan  oleh  ilmuwan  Inggris  Thomas Bayes,  yaitu  memprediksi  peluang  di  masa mendatang  berdasarkan  pengalaman  di  masa sebelumnya sehingga dikenal sebagai Teorema Bayes. Ciri pokok dari Naïve Bayes Classifier ini adalah asumsi yang sangat kuat (naïf) akan independensi  dari  masing-masing  kondisi  / keadaan (Widianto, n.d.).
Berikut merupakan rumus persamaan teorema Bayes :
𝑃 (𝐻|𝑋) = 𝑃( 𝑋 | 𝐻 )×𝑃(𝐻) 𝑃(𝑋) (1)
Keterangan :
X : Data dengan class yang belum diketahui
H  :  Hipotesa  data  X  yang  merupakan  suatu class khusus
P(H|X) :  Nilai  probabilitas  pada  hipotessa  H berdasarkaan kondisi X P(H) : Nilai probabilitas pada hipotesa H P(X|H)  :  Nilai  probabilitas  pada  hipotessa  X berdasarkaan kondisi H P(X) : Nilai probabilitas pada hipotesa X
SVM ditemukan oleh Vladimir N. Vapnik dan  Alexey  Ya.  Chervonenkis  pada  tahun 1963.  Sejak  itu,  SVM  telah  digunakan  dalam klasifikasi teks, hiperteks dan gambar. Support Vector  Machine  atau  SVM  adalah  algoritma pembelajaran  mesin  yang  diawasi,  dapat dipakai  untuk  klasifikasi  dan  regresi.  Cara kerja  SVM  didasarkan  pada  SRM  atau Structural  Risk  Minimization yang  dirancang untuk  mengolah  data  menjadi Hyperplane
yang mengklasifikasikan ruang input menjadi dua  kelas.  Teori  SVM  diawali  dengan pengelompokan  kasus-kasus  linier  yang  bisa dipisahkan  dengan  hyperplane  dan  dibagi berdasarkan  kelasnya.  Konsep  SVM  diawali dengan masalah klasifikasi dua kelas sehingga membutuhkan  set  pelatihan  positif  dan negative.  SVM  akan  berupaya  memperoleh hyperplane (pemisah)  secara  maksimal  untuk memisahkan kedua kelas dan memaksimalkan margin kedua kelas tersebut (Binus University, 2022).
Pada penelitian ini, penulis menggunakan algoritma Naïve  Bayes dan Support  Vector Machine untuk dapat membandingkan algoritma mana yang tingkat akurasinya lebih baik  dalam  dalam  mengklasifikasikan  ulasan pengguna  aplikasi  Duolingo  di  play  store. Adapun  kerangka  berpikir  yang  digunakan dalam penelitian ini dapat dlihat pada gambar di bawah ini :
Dalam  penelitian  ini  populasinya adalah  seluruh  ulasan  aplikasi  Duolingo  di Google  Play  Store  yang  berjumlah  14  juta ulasan  per  Juni  2023,  dan  sampelnya menggunakan ulasan terbaru aplikasi Duolingo  dengan  jumlah  1500  data.  Metode yang  digunakan  untuk  pengumpulan  data dalam  penelitian  ini  adalah  Observasi,  pada tahap ini peneliti melakukan pengamatan pada Google  Play  Store  yang  mana  memuat komentar-komentar pengguna
terhadap aplikasi  Duolingo  dengan  maksud  untuk memahami kondisi/fenomena
yang belakangan ini terjadi supaya peneliti mendapatkan  informasi    yang  diperlukan. Metode  selanjutnya  adalah  Studi  Literatur, metode  ini  dilakukan  dengan  mengumpulkan bahan  materi  mengenai  penerapan  Algoritma Naïve  Bayes dan Support  Vector  Machine. Data  dan  informasi  diperoleh  dari  artikel, jurnal,  skripsi,  dan  buku  yang  dimanfaatkan sebagai acuan penelitian yang akan dilakukan.

## 3. HASIL DAN PEMBAHASAN
Bagian  ini  merupakan  bagian  utama artikel hasil penelitian dan biasanya merupakan  bagian  terpanjang  dari  suatu artikel.  Hasil penelitian  yang disajikan dalam bagian ini adalah hasil “bersih”. Proses analisis data  seperti  perhitungan  statistik  dan  proses pengujian  hipotesis  tidak  perlu  disajikan. Hanya  hasil  analisis  dan  hasil  pengujian hipotesis saja yang perlu dilaporkan. Tabel dan grafik  dapat  digunakan  untuk  memperjelas penyajian hasil penelitian secara verbal. Tabel dan grafik harus diberi komentar atau dibahas.
Penelitian ini melakukan analisis sentimen untuk  klasifikasi  menggunakan  algoritma naïve bayes dan support vector machine untuk melihat perbandingan tingkat akurasi berdasarkan  evaluasi  model  masing-masing algoritma.

## 3.1. Pengumpulan Data
Penelitian
ini diawali
dengan pengumpulan  data  menggunakan  teknik  web scrapping  di google  colaboratory pada  bulan Juni 2023 yang menghasilkan ulasan sejumlah
1500 data. Peneliti memilih jumlah 1500 data karena berdasarkan penelitian-penelitian sebelumnya
menyarankan untuk memperbanyak  jumlah  data  supaya  hasil akurasi dapat lebih maksimal, namun peneliti juga membatasi jumlah data yang ditentukan, karena  kemungkinan  terdapat  banyak  data yang  kotor  sehingga  perlu  dilakukan  proses filtering dimana jika terlalu banyak data, besar kemungkinan akan memperlambat text processing khususnya saat stemming .

## 3.2. Pelabelan Data
Tahap ini dilakukan pada setiap komentar untuk  menginisialisasikan  komentar  tersebut masuk ke dalam kategori sentimen positif atau negatif dengan memanfaatkan library transformers. Adapun  sebelum  menggunakan transformers ,  teks  akan  di  translate  ke  dalam Bahasa  Inggris  terlebih  dahulu  menggunakan google  trans,  kemudian  di  kembalikan  ke dalam Bahasa Indonesia lagi supaya penjumlahan  skor  ketika  pelabelan  menjadi lebih akurat. Pelabelan otomatis menggunakan library transformers menghasilkan data positif berjumlah  1120,  dan  data  negatif  berjumlah 380.

## 3.3. Preprocessing
Tahap  ini  adalah  proses  yang  berguna untuk  membersihkan  teks  sebelum  dilakukan pengolahan lebih jauh. Data teks mentah yang didapat  umumnya  tidak  terstruktur  dan  ada banyak  noise  seperti  tanda  baca,  imbuhan, angka,  karakter-karakter  khusus,  dan  lainnya. Pada  tahap  ini,  data  teks  akan  dibersihkan sehingga  tersisa  bentuk  dasar  per  kata  saja untuk keperluan analisis lebih dalam. Terdapat beberapa  tahapan  yang  dilakukan  dalam  fase preprocessing, maka data yang digunakan bisa siap untuk diolah pada fase berikutnya. Berikut beberapa tahapan dari text Preprocessing :
a. Cleaning dan Casefolding
Pada  tahap Casefolding sistem  akan merubah huruf kapital menjadi huruf kecil semua, sedangkan cleaning untuk menghapus  semua  karakter  tertentu seperti tanda baca, angka, seta menghapus kata selain huruf a-z.
Gambar 1. Alur Penelitian

## Tabel 1. Perbandingan sebelum dan sesudah cleaning dan casefolding
Sebelum Sesudah Bagus sangat membantu, tapi tolong  atasi  masalah yang  sesi  speaking. Kadang  kadang  pas sesi speaking di pencet  g  jadi.  Udah ada kalo salah hatinya  hilang  pula, padahal  itu  bug  dari sananya. Mohon segera diatasi bagus sangat membantu tapi tolong atasi masalah yang  sesi  speaking kadang  kadang  pas sesi speaking di pencet  g  jadi  udah ada kalo salah hatinya  hilang  pula padahal itu bug dari sananya mohon segera diatasi Bagus,  gratis,  bisa belajar sepuasnya! bagus  gratis  bisa belajar sepuasnya b. Stopword Removal
Setelah  melalui  tahap cleaning dan casefolding , selanjutnya dilakukan penghapusan kata-kata yang tidak relevan atau  kata  yang  tidak  penting  dan  tidak bermakna berdasarkan kata yang terdapat pada  database stopword, seperti  “dan”, “aku”,  “dari”,  dan  lain-lain.  Apabila terdapat  kata  sama  antara  data  ulasan dengan  kata  di  database,  maka  kata tersebut  akan  terhapus  secara  otomatis, namun  apabila  kata  berbeda  maka  kata pada  ulasan  tidak  akan  ikut  terseleksi, melainkan dibiarkan saja.

## Tabel 2. Perbandingan sebelum dan sesudah stopword removal
Sebelum Sesudah bagus sangat membantu  tapi  tolong atasi  masalah  yang sesi  speaking  kadang kadang pas sesi speaking  di  pencet  g jadi  udah  ada  kalo salah  hatinya  hilang pula  padahal  itu  bug dari  sananya  mohon segera diatasi
bagus  membantu tolong  atasi  sesi speaking kadang kadang  pas  sesi speaking  pencet  g udah ada kalo salah hatinya  hilang  bug dari sananya
mohon diatasi
bagus gratis bisa belajar sepuasnya bagus gratis belajar sepuasnya
c. Tokenizing
Tahap  berikutnya  adalah tokenizing, yang  bertujuan  untuk  memecah  text menjadi per kata agar membantu memudahkan ketika tahap stemming.

## Tabel 3. Perbandingan sebelum dan sesudah tokenizing
Sebelum Sesudah bagus membantu tolong  atasi  sesi speaking kadang kadang pas sesi speaking  pencet  g udah ada kalo salah hatinya  hilang  bug dari sananya mohon diatasi [bagus, membantu, tolong,  atasi,  sesi, speaking, kadang, kadang,  pas,  sesi, speaking,  pencet,  g, udah, ada, kalo, salah, hatinya,  hilang,  bug, dari, sananya, mohon, diatasi]
d. Stemming
Stemming  digunakan  untuk  merubah suatu kata menjadi kata dasar dengan cara menghilangkan kata yang terdapat imbuhan baik di awalan (prefiks) maupun akhiran  (sufiks).  Sebagai  contoh,  kata membantu, terbantu, dibantu, akan di stem ke root word nya yaitu ‘bantu’. Stemming dilakukan  dengan  memanfaatkan  library python sastrawi.

## Tabel 4. Perbandingan sebelum dan sesudah stemming
Sebelum Sesudah [bagus, membantu, tolong, atasi, sesi,
speaking, kadang, kadang, pas, sesi, speaking,  pencet,  g, udah, kalo, salah, hatinya,  hilang,  bug, dari,  sananya,  mohon,
diatasi] Bagus bantu tolong  atas  sesi speaking  kadang kadang  pas  sesi speaking pencet g udah  kalo  salah hati  hilang  bug sana atas
[bagus,  gratis,  belajar, sepuasnya] bagus gratis belajar puas

## 3.4. Split Data
Data dibagi menjadi  data latih  dan data uji  dengan  menggunakan  perbandingan  yang cukup  optimal  untuk  dataset  berukuran  kecil, yaitu 80:20 dari jumlah 1500 data, dimana data latih digunakan untuk melatih model, dan data uji digunakan untuk menguji hasil dari latihan yang sudah dilakukan terhadap model.
Untuk perhitungan manualnya sebagai berikut :
Data latih : 1500 100 %
× 80  = 1200
Data uji : 1500
100 % × 20 = 300
Dari 1500 data yang diterapkan menggunakan rasio  80:20,  maka  menghasilkan    data  latih berjumlah  1200  data  dan  data  uji  berjumlah 300 data

## 3.6. Pembobotan TF/IDF
TF/IDF ( Term Frequency Inverse Document  Frequency )  adalah    pendekatan
feature  selection yang  merupakan  peranan penting dalam text mining. TF/IDF digunakan untuk  menghitung  bobot  dari  kata  yang bertujuan untuk merepresentasikan setiap kata menjadi numerik.

## 3.7. Naïve Bayes
Tahap  selanjutnya  setelah  dilakukan pembagian data latih dan data uji
menggunaakan  perbandingan  80:20,  maka berikutnya melakukan
klasifikasi
menggunakan metode Naïve Bayes, kemudian untuk mengukur performa yaitu menggunakan evaluasi  dari confusion  matrix. Matriks konfusi atau confusion matrix sendiri merupakan tabel pencatat hasil kerja klasifikasi.  Kuantitas  matriks  konfusi  dapat diringkus menjadi dua nilai, yaitu akurasi dan laju  error.  Dengan  mengetahui  jumlah  data yang diklasifikasikan secara benar, kita dapat mengetahui akurasi hasil prediksi dan dengan mengetahui jumlah data yang diklasifikasikan secara salah, kita dapat  mengethaui laju error dari prediksi yang dilakukan. Dua kuantitas ini digunakan  sebagai  matrik  kinerja  klasifikasi. Untuk menghitung akurasi digunakan formula.
Accuracy = 𝑡𝑝+𝑡𝑛 (𝑡𝑝+𝑡𝑛+𝑓𝑝+𝑓𝑛)
Keterangan :
TP : True Positive TN : True Negative FP : False Positive FN : False Negative #test_size = 0.20 dan random state nya 0
from sklearn.model_selection import train_test_split
X_train,  X_test,  y_train,  y_test = train_test_split(data_clean[ 'text _steamindo' ], data_clean[ 'label' ], test_size  = 0.20 ,  random_state  = 0 )
#membagi data menjadi data training dan testing dengan
test_size = 0.20 dan random state nya 0
from
sklearn.model_selection
import train_test_split
X_train,  X_test,  y_train,  y_test = train_test_split(data_clean[ 'text ' ], data_clean[ 'label' ],
test_size = 0.20 ,
random_state = 0 )
#membagi data menjadi data
training dan testing dengan test_size = 0.20 dan random state nya 0
from
sklearn.model_selection
import train_test_split
X_train,  X_test,  y_train,  y_test = train_test_split(data_clean[ 'text
Gambar 2. Performa model naïve bayes
Gambar 3. Prediksi label naïve bayes
1. TN (True Negative), ketika kelas yang diprediksi  negatif,  dan  model  juga memprediksi negatif  : 22
2. FP  (False  Positive),  ketika  kelas  yang diprediksi  negatif,  namun  model memprediksi positif : 54
3. TP (True Positive),  ketika kelas yang diprediksi  positif,  dan  model  juga memprediksi positif  : 220
4. FN  (False  Negative),  ketika  kelas diprediksi positif, namun model
memprediksi negatif  : 4

## 3.8. Support Vector Machine
Setelah  dilakukan  pembagian  data  latih dan  data  uji  mennggunakan  perbandingan 80:20, selanjutnya  dilakukan  klasifikasi menggunakan  Algoritma Support  Vector Machine dan evaluasi menggunakan confusion matrix untuk mengukur performa model
1. TN (True Negative), ketika kelas yang diprediksi  negatif,  dan  model  juga memprediksi negatif  : 45
2. FP  (False  Positive),  ketika  kelas  yang diprediksi  negatif,  namun  model memprediksi positif : 31
3. TP  (True  Positive),  ketika  kelas  yang diprediksi  positif,  dan  model  juga memprediksi positif : 210
4. FN  (False  Negative),  ketika  kelas diprediksi positif, namun model memprediksi negatif : 14

## 3.9. Hasil Pengujian
Saat hasil analisis sentimen telah dilakukan, maka berikut akan disajikan contoh pengujian  menggunakan  data  baru  dengan algoritma Naïve  Bayes dan Support  Vector Machine ,  yang  mana  jika  model  bekerja dengan  baik  maka  akan  membuahkan  hasil yang sesuai dan akurat.
Berdasarkan hasil uji Naïve Bayes diatas dapat dikatakan model mengklasifikasi dengan baik, sebab  komentar  positif  diprediksi  positif, begitu pula komentar negatif benar diprediksi negatif.
Dari contoh hasil uji Support Vector Machine diatas,  model  mengklasifikasikan  komentar dengan  benar  kedalam  kategori  sentimen positif  dan  negatif,  maka  dapat  disimpulkan
text = [ 'sangat bagus bagi pemula mau belajar' , 'jelek' ] test = tfidf_vectorizer.transform(text) y_pred = nb.predict(test)
print (y_pred)
['POSITIVE' 'NEGATIVE']
text = [ 'bagus jadi lancar bahasa inggris' , 'lambat' ] dataUji = tfidf_vectorizer.transform(text) prediction = svm.predict(dataUji)
print (prediction)
['POSITIVE' 'NEGATIVE']
Gambar 4. Performa model support vector
machine Gambar 5. Prediksi label support vector machine
bahwa  model  dapat  mengklasifikasi  dengan baik.

## 4. PENUTUP

## 4.1. Kesimpulan
Berdasarkan  hasil  penelitian,  dataset berjumlah 1500 dari Google Play Store terkait aplikasi  Duolingo  menunjukkan,  melalui pelabelan otomatis sebelum tahap preprocessing  dengan  library  transformer, bahwa  komentar  positif  lebih  dominan daripada  komentar  negatif,  dengan  1120  data masuk ke sentimen positif dan 380 data masuk ke  sentimen  negatif.  Selanjutnya,  analisis sentimen  menggunakan  algoritma  Naïve Bayes  menghasilkan  akurasi  sebesar  81%, presisi  80%,  dan  recall  98%,  sementara algoritma  Support  Vector  Machine  mencapai akurasi  85%,  presisi  87%,  dan  recall  94%. Perbandingan  menunjukkan  bahwa  Support Vector Machine memiliki tingkat akurasi yang lebih  tinggi,  yakni  4%  lebih  tinggi  daripada Naïve Bayes.

## 4.2. Saran
Saran-saran  yang  dapat  dipertimbangkan berdasarkan keterbatasan dalam penelitian ini adalah sebagai berikut: pengembangan analisis sentimen  untuk  sistem  berbasis  website, peningkatan  jumlah  dataset  guna  variasi model, eksplorasi algoritma klasifikasi alternatif  seperti  Decision  Tree,  K-NN,  dan lainnya,  serta  penggunaan  dataset  dari platform sosial media lainnya seperti Twitter, Facebook,  Instagram,  dan  pengetesan  tools lain seperti WEKA, Rapidminer, Orange, dan Jupyter notebook.

## 5. DAFTAR PUSTAKA
Binus  University .  (2022,  Februari).  Diambil  kembali dari www.binus.ac.id:
https://sis.binus.ac.id/2022/02/14/support- vector-machine-algorithm/
Chohan, S., Nugroho, A., & Aji, A. M. (2020). Analisis Sentimen  Aplikasi  Duolingo  Menggunakan Metode  Naive  Bayes  dan  Synthetic  Minority Over  Sampling  Technique. Informatika  dan Komputer, 22 , 139-144.
Diantika,  S.,  Gata,  W.,  Nalatissifa,  H.,  &  Lase,  M. (2021). Komparasi Algoritma SVM Dan Naive Bayes  Untuk  Klasifikasi  Kestabilan  Jaringan Listrik. ILMIAH ELEKTRONIKA DAN KOMPUTER, 14 , 10-15.
Fikri, M. I., Sabrila, T. S., Azhar, Y., & Malang, U. M. (2020). Perbandingan Metode Naïve Bayes dan Support  Vector  Machine  pada  Analisis Sentimen Twitter. SMATIKA , 10 (2).
Gunawan,  B.,  Sasty,  H.,  #2, P.,  Esyudha, E.,  & #3,  P. (2018). Sistem Analisis Sentimen pada Ulasan Produk  Menggunakan  Metode  Naive  Bayes. JEPIN  (Jurnal  Edukasi  Dan  Penelitian
Informatika) , 4 (2), 17–29. www.femaledaily.com Hidayat,  T.  (2020,  Januari  29). TaufiqHdyt .  Dipetik Januari 29, 2020, dari https://www.taufiqhdyt.com
Muhamad,  A.  F.,  &  Ashari,  A.  P.  (2022).  BATUR
MENGGUNAKAN  ALGORITMA  NAIVE BAYES CLASSIFIER DALAM PENGKLASIFIKASIAN  DATA  LAPORAN
INFO  ARTIKEL  ABSTRAK. STORAGE  – Jurnal  Ilmiah  Teknik  Dan  Ilmu  Komputer ,
1 (3), 26–33. https://doi.org/10.55123
Pengarang,  N.  (2020). Judul Buku. Yogyakarta:  Nama Penerbit.
Saputra, N., Adji, T. B., & Permanasari, A. E. (2015).
Analisis  Sentimen  Data  Presiden  Jokowi dengan  Pre  Processing  Normalisasi  dan Stemming Menggunakan Metode Naive Bayes dan SVM. Dinamika Informatika .
Widianto, M. H. (t.thn.). BINUS UNIVERSITY . Diambil kembali dari www.binus.ac.id:
https://binus.ac.id/bandung/2019/12/algoritma -naive-bayes/