## Journal of Applied Informatics and Computing (JAIC)
Vol.6, No.2, Desember 2022, pp. 220~225 e-ISSN: 2548-6861
Analisis Sentimen Ulasan Pada Aplikasi E-Commerce Dengan Menggunakan Algoritma Naïve Bayes
Bintang Zulfikar Ramadhan 1 *, Ibnu Riza 2 *, Iqbal Maulana 3 * * Informatika, Universitas Singaperbangsa Karawang bintang.ramadhan18192@student.unsika.ac.id 1 , riza.adam@staff.unsika.ac.id 2 , iqbal.maulana@staff.unsika.ac.id 3
Article Info

## ABSTRACT
Article history: Received 2022-10-15 Revised 2022-11-24 Accepted 2022-11-28 The  rapid  development  of  E-commerce  has  given  rise  to  many  marketplaces  in Indonesia  such  as  Tokopedia,  Shopee,  Lazada.  Tokopedia,  Shopee  and  Lazada applications  are  applications  that  help  sellers  and  buyers  to  make  sales  and purchase  transactions  for  goods  and  services.  Until  now,  of  the  three  major  E-
Commerce  applications,  around  100  million  users  have  downloaded  the  three  E- Commerce  applications.  With  the  launch  of  some  of  these  applications,  it  has caused a lot of opinions and criticisms from the public. Based on this, a sentiment analysis  of  the  Naïve  Bayes  algorithm  was  carried  out  to  find  out  how  the sentiment  of  users  compares  to  the  E-Commerce  application  on  the  Google  Play Store.  This  research  uses  the  Knowledge  Discovery  in  Database  (KDD)  method which  consists  of  5  stages,  namely  data  selection,  preprocessing,  transformation, data  mining,  and  evaluation.  The  data  used  is  a  review  of  500  E-Commerce applications per each application. At the data mining stage, it is carried out with 3 scenarios data sharing is 80:20, 70:30 and 60:40. The best results were obtained in scenario  1  (80:20)  on  the  Shopee  application  using  the  Naïve  Bayes  algorithm which resulted in an accuracy of 92%, precision of 92.13%, recall of 98.8% and f1- score of 95.35%. Keyword: Sentiment Analysis, Naïve Bayes, E-Commerce
This is an open access article under the CC–BY-SA license.

## I. P ENDAHULUAN
Pesatnya  perkembangan E-commerce memunculkan banyaknya marketplace di  Indonesia  seperti  Tokopedia, Shopee, Lazada. Marketplace merupakan model bisnis yang memfasilitasi  para  pedagang  untuk  berjualan  dengan  media internet.  Konsep  dasarnya  sama  dengan  pasar  tradisional yang  di  mana  terdapat  berbagai  perdagangan  dalam  satu lingkungan  yang  sama  dalam  menjajakan  dagangannya, namun marketplace memfasilitasi  pedagang  dengan  cara online  menggunakan  media  internet.  Berkaitan  dengan  hal tersebut marketplace memberikan  konsumen  promosi  pasar yang  lebih  luas,  dengan  bantuan  internet  produk  yang didagangkan  dapat  dilihat  oleh  siapa  saja,  diwaktu  apapun itu dan dimana pun itu, tidak hanya di lokasi penjual tersebut berada  tetapi  pelanggan  bisa  datang  dari  mana  saja  bahkan sampai  ke  negara  lain  (Budiman,  Yulianto,  &  Saifi,  2020). Aplikasi Tokopedia, Shopee dan Lazada merupakan aplikasi yang membantu para penjual dan pembeli untuk melakukan
transaksi  penjualan  dan  pembelian  barang  maupun  jasa. Aplikasi  Tokopedia  diluncurkan  ditahun  2009,  Shopee diluncurkan  pada  tahun,  dan  Lazada  diluncurkan  ditahun 2012, hingga saat ini dari ke tiga aplikasi E-Commerce besar tersebut  sudah  sekitar  100jt  pengguna  yang  sudah mengunduh  ke  tiga  aplikasi E-Commerce tersebut.  Dengan diluncurkannya  beberapa  aplikasi  ini  banyak  menimbulkan opini  dan  kritikan  dari  masyarakat.  Karena  setiap  orang memiliki  pendapat  dan  pemikiran  yang  berbeda  maka banyak opini yang pro maupun kontra terhadap aplikasi ini. Oleh  karena  itu dapat  dilihat  dari  sisi  permasalahan  yang muncul,  dibutuhkannya  jalan  keluar  menggunakan  analisis sentimen  terhadap  ulasan  dari  komentar  para  penggunanya agar  bisa  diketahui  informasi  sentimennya  itu  sendiri  pada aplikasi  Tokopedia,  Shopee  dan  Lazada.  Agar  para penggunanya  mengetahui  perkembangan  dan  masalah- masalah  yang  dialaminya  untuk  mendapatkan  rekomendasi terbaik dari ke tiga aplikasi E-Commerce tersebut.
e-ISSN: 2548-6861
Analisis Sentimen Ulasan Pada Aplikasi E-Commerce Dengan Menggunakan Algoritma Naïve Bayes (Bintang Zulfikar Ramadhan, Ibnu Riza, Iqbal Maulana)
221
Analisis  sentimen  adalah  teknik  pembersihan  data  dari kata  dan simbol  yang tidak relevan dan  merubah data  yang bernilai  kualitatif  menjadi  data  kuantitatif,  kemudian  data ulasan  pengguna  akan  diklasifikasikan  untuk  mendapatkan ulasan yang bersifat positif dan negatif (Manik, Ernawati, & Nurlaili,  2021).  Saat  ini  analisis  sentimen  merupakan  salah satu  topik  yang  banyak  digunakan  para  peneliti,  yang memiliki  tujuan  untuk  menyediakan  informasi  dari  sebuah dataset  yang  tidak  terstruktur  (Arsi  &  Waluyo,  2021) Analisis sentimen ini juga bisa diterapkan pada opini semua bidang seperti ekonomi, politik, sosial dan hukum. Analisis sentimen ini juga dapat mengelompokkan polaritas dari teks untuk  mengetahui  apakah  opini  pada  dokumen  termasuk positif atau negatif (Rofiqoh, Perdana, & Fauzi, 2017).
Algoritma  Naïve  Bayes  adalah  algoritma  klasifikasi sederhana  yang  mana  menghitung  sekumpulan  probabilitas dengan  cara  menjumlahkan  dan  mengkombinasikan  nilai dari  dataset  yang  diberikan  (Hayuningtyas,  2019).  Metode Algoritma  Naïve  Bayes  akan  digunakan  pada  penelitian  ini dalam  proses  klasifikasi  opini  masyarakat  pada  aplikasi Tokopedia,  Shopee  dan  Lazada.  Dari  berbagai  referensi, Klasifikasi  Algoritma  Naïve  Bayes  lebih  banyak  disukai dikarenakan kesederhanaanya dan juga kecepatannya (Goel, Gautam,  &  Kumar,  2017).  Walaupun  klasifikasi  Algoritma Naïve  Bayes  bisa  dikatakan  klasifikasi  yang  sederhana, tetapi  hasil  yang  didapat  dari  klasifikasi  Algoritma  Naïve Bayes  ini  sering  sekali  mencapai  performa  yang  serupa dengan algoritma klasifikasi lainnya seperti Neural Network classifier  &  Decision  tree.  Klasifikasi  Algoritma  Naïve Bayes ini bisa memberikan akurasi yang tinggi juga cepat di dalam  memproses  data  yang  ada  di  dalam  jumlah  yang sangat banyak (Indrayuni, 2019).
Pada  penelitian  sebelumnya  (Apriani  &  Gustian,  2019) mencari nilai accuracy performance, class recall & juga nilai AUC  yang  telah  melakukan  analisis  sentimen  dengan menggunakan  aplikasi  Tokopedia  dengan  memakai algoritma  Naïve  Bayes  dengan  perolehan  nilai  precision  1 sementara  pada  class  recall  menghasilkan  nilai  95,49% (positive class: negative) dan nilai AUC 0,980. Ulasan yang didapat dari komentar yang mendapatkan sentimen negative sebanyak  63,53%  lebih  dari  pada  sentiment  positif  yang mendapatkan 36,37%. Tentu hal ini tidak sebanding dengan jumlah  banyaknya  rating  yang  didapatkan  oleh  aplikasi tokopedia  tersebut.  Pada  penelitian  lainnya  Algoritma Klasifikasi  Naïve  Bayes  untuk  Analisa  Sentimen  Aplikasi Shope.  Hasil  penelitian  untuk  Analisa  sentiment  pada aplikasi  shopee  dengan  menggunakan  algoritma  klasifikasi Naïve Bayes menghasilkan nilai akurasi sebesar 71.50% dan Nilai AUC (Area Under Curve) sebesar 0,500 (Masripah & Utami,  2020),  dan  pada  penelitian  lainnya  dilakukannya analisis  sentimen  Pada  Ulasan  “Lazada”  menggunakan  K- Nearest  Neighbor  (K-NN)  dengan  perolehan  hasil  accuracy sebesar 76 %  (Febrianti, 2018).
Berdasarkan  latar  belakang  tersebut,  maka  penelitian  ini akan  melakukan  analisis  sentimen  untuk  mengetahui  hasil penilaian  ulasan  pada  aplikasi  Tokopedia,  Shopee  dan
Lazada  dengan  menggunakan  metode  Algoritma  Naïve Bayes.  Yang  mana  nantinya  untuk  mengetahui  apakah  dari ketiga  aplikasi  E-Commerce  itu  mana  yang  lebih  tinggi tingkat  akurasinya  dalam  melakukan  klasifikasi  sebagai perbandingan untuk para pengguna E-Commerce selanjutnya.

## II. M ETODOLOGI P ENELITIAN
Metodologi  yang  digunakan  pada  penelitian  ini  yaitu Knowledge  Discovery  in  Database (KDD)  sendiri merupakan  suatu  teknik  untuk  mendapatkan  informasi  atau pengetahuan  dari  suatu  data  yang  telah  dipilih  (Siroj, Arwani,  &  Ratnawati,  2021).  Terdapat  5  tahapan  sebagai berikut Data Selection, Preprocessing, Transformation, Data Mining,  Evaluation.  Pada  gambar  1  merupakan  metodologi penelitian yang akan dilakukan.

## Gambar 1. Gambaran Tahapan Penelitian
Alur  penelitian  dilakukan  dengan  beberapa  tahapan- tahapan didalamnya sebagai berikut.

## 1. Data Selection
Pada  tahal  awal  ini  adalah  pengumpulan  data  dan pelabelan data. Data yang diambil menggunakan teknik web scrapping dengan menggunakan pemrograman phyton.

## 2. Preprocessing
Pada  tahap  ini  melakukan  analisis  semantik  (kebenaran arti)  dan  sintaktik  (kebenaran  susunan)  terhadap  teks. Tujuannya  untuk  mempersiapkan  teks  menjadi  data berkualitas  yang  akan  mengalami  pengolahan  lebih  lanjut. Di  tahap  ini  akan  dilakukan  beberapa  tahapan  diantaranya cleaning,  case  folding,  tokenizing,  filtering,  stemming, normalization.

## 3. Text Transformation
Transformasi  teks  atau  pembentukan  atribut  mengacu pada proses untuk mendapatkan representasi dokumen yang dibutuhkan.  Pada  tahap  transformasi  ini  penulis  melakukan ekstrasi fitur dengan TF-IDF.
222

## 4. Data Mining
Pada tahap ini dilakukan proses klasisfikasi sentimen pada data ulasan yang telah melalui tahap transformation dengan menggunakan  algoritma Naïve  Bayes .  Berikut  merupakan persamaan  dari  algoritma Naïve  Bayes. Berikut  merupakan rumus dari algoritma Naïve Bayes.
P (H│X ) = 𝑃 ( X | H )𝑃(𝐻) 𝑃 (𝑋)
Ketika  X  adalah  pembuktian,  H  adalah  hipotesis,  P  (H  | X)  adalah  probabilitas  bahwa  hipotesis  H  benar  untuk pembuktian  X  atau  dengan  kata  lain  P  (H  |  X)  merupakan probabilitas  posterior  H  dengan  syarat  X.  P(X|  H) merupakan probabilitas posterior X  dengan syarat  H. P (H) adalah  probabilitas  prior  hipotesis  H,  dan  P(X)  adalah probabilitas prior bukti X

## 5. Evaluation
Pada tahap terakhir ini dilakukan evaluasi terhadap model yang telah dibuat sebelumnya untuk mengukur hasil akurasi saat  melakukan  klasifikasi  dengan  algoritma Naïve  Bayes dan hasil akurasi dari 3 aplikasi E-Commerce .

## III. H ASIL DAN P EMBAHASAN

## A. Data Selection
Pada  tahal  awal  ini  adalah  pengumpulan  data  dan pelabelan data. Data yang diambil menggunakan teknik web scrapping dengan menggunakan pemrograman phyton. Data sampel  yang  diambil  merupakan  ulasan  pengguna  aplikasi E-Commerce  pada  Google  Play  Store,  data  ulasan  tersebut yang  diambil  pada  tanggal  16  Juli  s/d  15  Agustus  2022. Kemudian  data  ulasan  yang  sudah  terkumpul  maka  akan dilakukan pelabelan data  secara  manual  lalu divalidasi oleh ahli bahasa dengan 2 label yaitu positif dan negatif.

## B. Preprocessing
Di  tahap  preprocessing,  data  yang  sudah  terkumpul  dan memiliki label dilakukan preprocessing data dengan 6 proses agar  data  ulasan  tersebut  dapat  digunakan  pada  tahapan selanjutnya.  Ada  6  proses  yang  dilakukan  dalam  tahap preprocessing  ini  yaitu  cleaning,  case  folding,  tokenizing, normalization,  stopword  removal,  dan  stemming.  Proses preprocessing  ini  dilakukan  dengan  bantuan  tools  jupyter notebook dan bahasa pemrograman python.

## C. Transformasi Data
Tahap  transformasi  teks  atau  pembentukan  atribut mengacu  pada  proses  untuk  mendapatkan  representasi dokumen  yang  dibutuhkan.  Pada  tahaptransformasi  ini penulis  melakukan  ekstraksi  fitur  dengan  TF-IDF.  Proses pertama  pada  tahapan  ini  dilakukan  split  data  dengan  3 presentasi  skenario  yaitu  skenario  1  80%  data  training  dan 20%  data  testing.  Skenario  2  70%  data  training  dan  30%
data  testing.  Skenario  3  60%  data  training  dan  40%  data testing.

## D. Data Mining
Dalam  tahap  data  mining  ini  dilakukan  implementasi algoritma  Naïve  Bayes  dalam  melakukan  klasifikasi sentimen yang terdiri dari dua kelas yaitu positif dan negatif. Proses  implementasi  algoritma  Naïve  Bayes  ini  dilakukan dengan tiga skenario yaitu skenario 1 (80% data training dan 20%  data  testing),  skenario  2  (70%  data  training  dan  30% data  testing),  dan  skenario  3  (60%  data  training  dan  40% data testing).

## E. Evaluation
Tahap  evaluasi  merupakan  tahap  untuk  melakukan evaluasi  terhadap  performa  dari  implementasi  algoritma Naïve  Bayes  untuk  melakukan  klasifikasi  dengan menggunakan  confusion  matrix.  Dari  hasil  yang  didapat nantinya  akan  diketahui  mana  skenario  dengan  hasil Accuracy, precision , recall  dan f1-score.

## 1) Data Selection
Tahapan  pengumpulan  data  ini  dilakukan  dengan mengumpulkan  semua  data  ulasan  pengguna  aplikasi  E- Commerce  yang  ada  di  Google  Play  Store  menggunakan library  google  play  scraper.  Hasil  dari  proses  pengumpulan data ulasan aplikasi E-Commerce dengan teknik scraping ini terdiri  dari  5  atribut  yaitu  reviewId,  userName,  at,  content, dan  score.  Setelah  semua  data  terkumpul,  selanjutnya dilakukan  seleksi  data  yang  akan  digunakan  yaitu  pada  16 Juli  s/d  15  Agustus  2022.  Pada  gambar  2  merupakan  hasil dari proses scraping data ulasan yang telah disimpan dalam file berformat csv.
Gambar 2. Hasil Scraping Data Ulasan
Setelah  data  ulasan  terkumpul  maka  dilakukan penyeleksian  data  yang  akan  digunakan  pada  bulan  Maret 2022.  Atribut  yang  akan  digunakan  hanya  content  yang berisi  data  ulasan  para  pengguna  terhadap  aplikasi E-
e-ISSN: 2548-6861
223
Commerce .  Data  ulasan  aplikasi E-Commerce yang  sudah terseleksi berjumlah 500 data per masing-masing aplikasi E- Commerce dan  disimpan  dalam  file  berformat  csv.  Pada tabel 1 merupakan hasil seleksi data ulasan.
T ABEL 1 H ASIL S ELEKSI D ATA U LASAN
content saya suka ini Untuk  sekarang  ini  saya  sangat  puas  pesanan  slalu  sesuai  & barangnya ok sesuai poto bahannya tebal ok bgt trimakasih lajada semoga tetap amanah dan tetap sukses Aplikasi lazada

## 2) Pelabelan Data
Di  tahapan  ini  dilakukan  pelabelan  data  ulasan  yang sudah  terkumpul  ke  dalam  dua  kelas  yaitu  positif  dan negatif.  Pelabelan  dilakukan  secara  manual  oleh  penulis dengan membaca satu per satu ulasan pengguna aplikasi E- Commerce tersebut. Pada tabel 2 merupakan hasil pelabelan data ulasan.
T ABEL 2 H ASIL P ELABELAN D ATA U LASAN Ulasan Label belanja di lazada sangat memuaskan Positif Kurang  memuaskan  pelayanan  nya.lambat  terlalu banyak estimasi nya Negatif sy  sangat  suka  belanja  di  lazada  terimakasih lazada Positif

## 3) Preprocessing
Berdasarkan  hasil  pelabelan  data  yang  telah  dilakukan secara  manual  pada  data  ulasan  aplikasi  E-Commerce, dihasilkan  ulasan  berlabel  positif  sebanyak  358  ulasan  dan ulasan  yang  berlabel  negatif  sebanyak  147  ulasan  pada Shopee,  dihasilkan  ulasan  berlabel  positif  sebanyak  293 ulasan dan ulasan yang berlabel negatif sebanyak 207 ulasan pada  Tokopedia  dan  dihasilkan  ulasan  berlabel  positif sebanyak  408  ulasan  dan  ulasan  yang  berlabel  negatif sebanyak 92 ulasan pada Lazada.
T ABEL 3 H ASIL 6 T AHAP P ROCESSING S HOPEE Sebelum Stemming Setelah Stemming ['terbaik', 'terdepan'] ['baik', 'depan'] T ABEL 4 H ASIL 6 T AHAP P ROCESSING T OKOPEDIA Sebelum Stemming Setelah Stemming ['membantu', 'mencari', 'butuhkan', 'terpercaya', 'sukses', 'tokopedia'] ['bantu',  'cari',  'butuh',  'percaya', 'sukses', 'tokopedia'] T ABEL 5 H ASIL 6 T AHAP P ROCESSING L AZADA Sebelum Stemming Setelah Stemming ['sesuai', 'pesenan'] ['sesuai', 'pesan']

## 4) Transformation
Tahap  transformation  teks  atau  pembentukan  atribut mengacu  pada  proses  untuk  mendapatkan  representasi dokumen  yang  dibutuhkan.  Pada  tahap  transformasi  ini penulis  melakukan  ekstraksi  fitur  dengan  TF-IDF.  Proses pertama  pada  tahapan  ini  dilakukan  split  data  dengan  3 presentasi  skenario  yaitu  skenario  1  80%  data  training  dan 20%  data  testing.  Skenario  2  70%  data  training  dan  30% data  testing.  Skenario  3  60%  data  training  dan  40%  data testing.
T ABEL 6 J UMLAH H ASIL P EMBAGIAN D ATA Skenario Data Training Data Testing 80% data training dan 20% data testing 400 100 70% data training dan 30% data testing 350 150 60% data training dan 40% data testing 300 200
Setelah data berhasil dibagi menjadi data training dan data testing, selanjutnya dilakukan pembobotan kata dengan TF- IDF.

## 5) Data Mining
Dalam  tahap  data  mining  ini  dilakukan  implementasi algoritma  Naïve  Bayes  dalam  melakukan  klasifikasi sentimen yang terdiri dari dua kelas yaitu positif dan negatif. Proses  implementasi  algoritma  Naïve  Bayes  ini  dilakukan dengan tiga skenario yaitu skenario 1 (80% data training dan 20%  data  testing),  skenario  2  (70%  data  training  dan  30% data  testing),  dan  skenario  3  (60%  data  training  dan  40% data testing).

## Gambar 3. Proses klasifikasi menggunakan algoritma Naïve Bayes
Hasil  klasifikasi  data  ulasan  Shopee  pada  skenario  1 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  82  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 10 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  7  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 1 data.
Hasil  klasifikasi  data  ulasan  Shopee  pada  skenario  2 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  144  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar
224
sebanyak 20 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  14  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 2 data
Hasil  klasifikasi  data  ulasan  Shopee  pada  skenario  3 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  151  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 21 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  23  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 1 data.
Hasil  klasifikasi  data  ulasan  Tokopedia  pada  skenario  1 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak    57  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 25 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  10  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 8 data.
Hasil  klasifikasi  data  ulasan  Tokopedia  pada  skenario  2 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  79  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 42 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  19  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 10 data.
Hasil  klasifikasi  data  ulasan  Tokopedia  pada  skenario  3 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  109  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 58 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  23  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 10 data.
Hasil  klasifikasi  data  ulasan  Lazada  pada  skenario  1 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  74  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 1 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  25  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 0 data.
Hasil  klasifikasi  data  ulasan  Lazada  pada  skenario  2 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  166  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar sebanyak 1 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  33  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 0 data.
Hasil  klasifikasi  data  ulasan  pada  Lazada  skenario  3 menghasilkan ulasan yang berhasil diklasifikasikan ke dalam label  positif  dengan  benar  sebanyak  158  data,  ulasan  yang berhasil diklasifikasikan ke dalam label negatif dengan benar
sebanyak 1 data, ulasan yang tidak berhasil diklasifikasikan ke  dalam  label  positif  dengan  benar  sebanyak  41  data,  dan ulasan  yang  tidak  berhasil  diklasifikasikan  ke  dalam  label negatif dengan benar sebanyak 0 data.

## 5.     Evaluation
Tahap  evaluasi  merupakan  tahap  untuk  melakukan evaluasi  terhadap  performa  dari  implementasi  algoritma Naïve  Bayes  untuk  melakukan  klasifikasi  dengan menggunakan  confusion  matrix.  Dari  hasil  yang  didapat nantinya  akan  diketahui  mana  skenario  dengan  hasil Accuracy, Precision, Recall dan F1-score  yang terbaik. Pada tabel 7 merupakan hasil evaluasi algoritma Naïve Bayes.
Gambar 4. Proses evaluasi dengan confusin matrix

## T ABEL 7
H ASIL E VALUASI A LGORITMA N AÏVE B AYES Data Skenario Accuracy  Precision Recall F1- Score Shopee 80:20 92% 92,13% 98,8% 95,35% 70:30 89,33% 89,06% 98,28%  93,44% 60:40 88% 86,78% 99,34%  92,64% Tokopedia 80:20 82% 85,07% 87,69%  86,36% 70:30 80,67% 80,61% 88,76%  84,49% 60:40 83,5% 82,58% 91,6% 86,85% Lazada 80:20 75% 74,75% 100% 85.55% 70:30 78% 77,85% 100% 87,55% 60:40 79,5% 79,4% 100% 88,52%
Berdasarkan  hasil  perbandingan  evaluasi  pada  gambar  4 maka  dapat  dilihat  bahwa  hasil  klasifikasi  terbaik  pada aplikasi  Shopee  diperoleh  pada  skenario  1  dengan  rasio perbandingan 80:20 menghasilkan accuracy  92%, precision 92,13%, recall 98,8% dan f1-score 95,35%. Sedangkan hasil terendah  pada  Shopee  diperoleh  pada  skenario  3    dengan rasio perbandingan 60:40 yang menghasilkan accuracy 88%, precision 86,78%, recall 99,34% dan f1-score 92,64%. Hasil klasifikasi  terbaik  pada  aplikasi  Tokopedia  diperoleh  pada skenario  3  dengan  rasio  perbandingan  60:40  menghasilkan accuracy  83,5%,  precision  82,58%,  recall  91,6%  dan  f1- score  91,6%.  Sedangkan  hasil  terendah  pada  Tokopedia diperoleh pada skenario 2 dengan rasio perbandingan 70:30 menghasilkan  accuracy  80,67%,  precision  80,61%,  recall 88,76% dan f1-score 84,49%. Hasil klasifikasi terbaik pada aplikasi  Lazada  diperoleh  pada  skenario  3  dengan  rasio perbandingan  60:40  menghasilkan  accuracy  79,5%, precision  79,4%,    recall  100%  dan  f1-score  88,52%.
Analisis Sentimen Ulasan Pada Aplikasi E-Commerce Dengan Menggunakan Algoritma Naïve Bayes (Bintang Zulfikar Ramadhan, Ibnu Riza, Iqbal Maulana)
225
Sedangkan  hasil  terendah  pada  Lazada  diperoleh  pada skenario  1  dengan  rasio  perbandingan  80:20  menghasilkan accuracy 75%, precision 74,75%  recall  100%,  dan f1-score 85.55%.  Berdasarkan  tiga  skenario  rasio  pembagian  data berbeda  yang  telah  dilakukan  untuk  klasifikasi  sentimen dengan  menggunakan  algoritma  Naïve  Bayes,  hasil  terbaik diperoleh pada aplikasi Shopee pada skenario 1 dengan rasio perbandingan 80% data training dan 20% data testing  yang menghasilkan  accuracy    92%,  precision  92,13%,  recall 98,8%  dan  f1-score  95,35%.  Hasil  klasifikasi  terbaik  pada aplikasi  Tokopedia  diperoleh  pada  skenario  3  dengan  rasio perbandingan  60:40  menghasilkan  accuracy  83,5%, precision  82,58%,  recall  91,6%  dan  f1-score  91,6%.  Hasil klasifikasi  terbaik  pada  aplikasi  Lazada  diperoleh  pada skenario  3  dengan  rasio  perbandingan  60:40  menghasilkan accuracy 79,5%, precision 79,4%,  recall 100% dan f1-score 88,52%.

## IV. K ESIMPULAN
Hasil  visualisasi  word  cloud  terhadap  aplikasi  Shopee kata-kata yang sering muncul yaitu kata “bagus”, “belanja”, “shopee”,  dan  “aplikasi”.  Sedangkan  kata-kata  yang  sering muncul  dalam  ulasan  negatif  yaitu  kata  “aplikasi”,  “login”, dan  “error”.  Pada  aplikasi  Tokopedia  kata-kata  yang  sering
muncul  yaitu  kata  “bagus”,  “mantap”  dan  “tokopedia”. Sedangkan  kata-kata  yang  sering  muncul  dalam  ulasan negatif  yaitu  kata  “aplikasi”,  “tokopedia  dan  “biaya”.  Pada aplikasi  Lazada  kata-kata  yang  paling  sering  muncul  pada ulasan  positif  yaitu  kata  “lazada”,  “mantap”,  “bagus”,  dan “aplikasi”.  Sedangkan  kata-kata  yang  sering  muncul  dalam ulasan  negatif  yaitu  kata  “lazada”,  “aplikasi”,  dan “download”.
Hasil  evaluasi  algoritma  Naïve  Bayes  dengan  tiga skenario berbeda dalam klasifikasi sentimen ulasan aplikasi E-Commerce  menghasilkan  hasil  terbaik  pada  skenario  1 pada  aplikasi  Shopee  (80%  data  training  dan  20%  data testing)  yang  menghasilkan  accuracy    92%,  precision 92,13%,  recall  98,8%  dan  f1-score  95,35%.  Pada  aplikasi Tokopedia menghasilkan hasil terbaik pada skenario 3 (60% data  training  dan  40%  data  testing)  menghasilkan  accuracy 83,5%, precision 82,58%, recall 91,6% dan f1-score 91,6%. Pada  aplikasi  Lazada  menghasilkan  hasil  terbaik  pada skenario  pada  3  (60%  data  training  dan  40%  data  testing) menghasilkan  accuracy  79,5%,  precision  79,4%,    recall 100% dan f1-score 88,52%

## D AFTAR P USTAKA
[1] Arsi,  P.,  &  Waluyo,  R.  (2021).  Analisis  Sentimen  Wacana Pemindahan  Ibu  Kota  Indonesia  Menggunakan  Algoritma Support Vector Machine (SVM). Jurnal Teknologi Informasi Dan Ilmu Komputer, 8(1), 147. https://doi.org/10.25126/jtiik.0813944
[2] Budiman, A., Yulianto, E., & Saifi, M. (2020). Pengaruh E- Service  Quality  Terhadap  E-Satisfaction  Dan  E-Loyalty Nasabah  Pengguna  Mandiri  Online.  Jurnal  Profit|,  14(1),  1– 11.
Retrieved from https://doi.org/10.21776/ub.profit.2020.014.01.1 [3] Febrianti,  Y.  M.  (2018).  Analisis  Sentimen  Pada  Ulasan “Lazada”  Berbahasa  Indonesia  Menggunakan  K-Nearest Neighbor (K-Nn) Dengan Perbaikan Kata Menggunakan Jaro Wingker Distance. Universitas Brawijaya, Malang
[4] Fide, S., Suparti, S., & Sudarno, S. (2021). Analisis Sentimen Ulasan  Aplikasi  Tiktok  Di  Google  Play  Menggunakan Metode Support Vector Machine (Svm) Dan Asosiasi. Jurnal Gaussian,
10(3), 346–358. https://doi.org/10.14710/j.gauss.v10i3.32786
[5] Goel,  A.,  Gautam,  J.,  &  Kumar,  S.  (2017).  Real  time sentiment analysis of tweets using Naive Bayes. Proceedings on  2016  2nd  International  Conference  on  Next  Generation Computing Technologies, NGCT  2016, (October), 257–261. https://doi.org/10.1109/NGCT.2016.7877424
[6] Hayuningtyas,  R.  Y.  (2019).  Penerapan  Algoritma  Naïve Bayes  untuk  Rekomendasi  Pakaian  Wanita.  Jurnal
Informatika, 6(1), 18–22. https://doi.org/10.31311/ji.v6i1.4685
[7] Indrayuni, E. (2019). Klasifikasi Text Mining Review Produk Kosmetik  Untuk  Teks  Bahasa  Indonesia  Menggunakan Algoritma  Naive  Bayes.  Jurnal  Khatulistiwa  Informatika, 7(1), 29–36. https://doi.org/10.31294/jki.v7i1.1
[8] Kasmi, K., & Candra, A. N. (2017). Penerapan E-Commerce Berbasis  Business  To  Consumers  Untuk  Meningkatan Penjualan  Produk  Makanan  Ringan  Khas  Pringsewu.  Jurnal AKTUAL, 15(2), 109.
https://doi.org/10.47232/aktual.v15i2.27
[9] Manik,  G.,  Ernawati,  I.,  &  Nurlaili,  I.  (2021).  Analisis Sentimen  Pada  Review  Pengguna  E-Commerce  Bidang Pangan  Menggunakan  Metode  Support  Vector  Machine (  Studi  Kasus :  Review  Sayurbox  dan  Tanihub pada  Google Play  ).  Seminar  Nasional  Mahasiswa  Ilmu  Komputer  Dan Aplikasinya (SENAMIKA), (September), 64–74
[10] Rofiqoh, U., Perdana, R. S., & Fauzi, M. A. (2017). Analisis sentimen  tingkat  kepuasan  pengguna  penyedia  layanan telekomunikasi seluler indonesia pada twitter dengan metode support  vector  machine  dan  lexicon  based  features.  Jurnal Pengembangan  Teknologi  Informasi  Dan  Ilmu  Komputer, 1(12), 1725–1732. Retrieved from https://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/628/246
[11] Siroj, S. M., Arwani, I., & Ratnawati, D. E. (2021). Analisis Sentimen  Opini  Publik  pada  Twitter  terhadap  Efek Pembelajaran Daring di Universitas Brawijaya menggunakan Metode  K-Nearest  Neighbor.  Jurnal  Pengembangan Teknologi Informasi Dan Ilmu Komputer, 5(7), 3131–3140.
[12] Sirisuriya, S. (2015). A Comparative Study on Web Scraping. 8th International Research Conference, KDU, 135–140.