Volume 4, Nomor 1, Juni 2023, hlm 16-26 INFOTECH: Jurnal Informatika Teknologi p ISSN 2722-9378 | e ISSN 2722-9386 http://jurnal.sttmcileungsi.ac.id/index.php/infotech
Analisis  sentimen  ulasan  pada  e-commerce  shopee  menggunakan algoritma naive bayes dan support vector machine
Analysis of review sentiment on shopee e-commerce using the naive bayes algorithm and support vector machine
Tania Puspa Rahayu Sanjaya*, Ahmad Fauzi, Anis Fitri Nur Masruriyah * Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Buana Perjuangan Karawang.  Jl. Hs. Ronggo Waluyo, Teluk Jambe Karawang, Jawa Barat, Indonesia
Informasi Artikel Abstrak Article History: Submission: 30-12-2022 Revised: 09-01-2023 Accepted: 10-01-2023
Kata Kunci : E-commerce, Shopee, Analisis Sentimen, Klasifikasi.
Keywords: E-commerce, Shopee, Sentiment Analysis, Classification.
* Korespondensi:
Tania Puspa Rahayu Sanjaya if19.taniasanjaya@mhs.ubpkarawang.ac.id
Saat ini banyak pelaku bisnis, baik skala besar maupun ritel,  yang  melakukan  transisi  atau  pengembangan bisnisnya  ke  digital,  terutama  dalam  bentuk e- commerce . Salah satu aplikasi e-commercece yang paling sering  digunakan  oleh  masyarakata  yaitu  Shopee. Analisis  sentimen  digunakan  untuk  mengklasifikasi analasis  sentimen  terhadap Shopee menggunakan algoritma Naive Bayes dan Support Vector Machine . Pada pengujian ini menggunakan 2000 data terdiri dari 80% data  training  dan  20%  data  testing.  Hasil  pengujian akurasi,  penelitian  ini  menggunakan confusion  matrix , dalam  penelitian  ini  algoritma  Naive  Bayes  dapat melakukan  klasifikasi  yang  lebih  baik  akurasi  yang  di dapatkan  untuk  algoritma Naive  Bayes menghasilkan nilai accuracy 85%. Metode Naive Bayes menghasilkan hasil  akurasi  dan  AUC  yang  lebih  baik  dari  algoritma Support  Vector  Machine .  Algoritma Support  Vector Machine mendapatkan nilai akurasi 81%.

## Abstract
Currently, many business people, both large and retail, are transitioning  or  developing  their  business  to  digital, especially  in  the  form  of  e-commerce.  One  of  the  most frequently used e-commerce applications by the public is Shopee.  Sentiment  analysis is  used  to  classify sentiment analysis for Shopee using the Naive Bayes algorithm and the Support Vector Machine, In this test using 2000 data consisting  of 80% training  data  and 20% testing  data. The results of accuracy testing, this study uses a confusion matrix,  in  this  study  the  Naive  Bayes  algorithm  can perform  a  better  classification  of  the  accuracy  that  is obtained  for  the  Naive  Bayes  algorithm  to  produce  an accuracy value of 85% . The Naive Bayes method produces better accuracy and AUC results than the Support Vector Machine  algorithm  .  The  Support  Vector  Machine algorithm gets an accuracy value of 81% .

## 1. PENDAHULUAN.
Electronic Commerce merupakan sebuah proses yang dilakukan antara ke dua belah pihak penjual dan pembeli melalui internet [1] – [5] . Banyak pelaku bisnis, baik skala besar maupun ritel, yang  melakukan  transisi  atau  pengembangan  bisnisnya  ke  digital,  terutama  dalam  bentuk E- commerce [6] . E-commerce Mudah diakses kapan saja, di mana saja dalam bentuk website dan aplikasi smartphone , tidak dipungkiri bahwa E-commerce dapat mempermudah transaksi antara penjual  dan  pembeli [4] .  Pembeli  tidak  harus  langsung  mendatangi  penjual,  daerah  tidak menghalangi pembelian, toko online buka 24/7, tidak ada tawar menawar, dan banyak diskon, promosi, bahkan gratis ongkos kirim. Namun dengan kelebihan ini muncul beberapa kelemahan, di antaranya tidak jarang penipuan terjadi selama transaksi, penjual tidak mengirimkan produk yang dipesan, atau produk foto tidak sesuai dengan aslinya, paket rusak, atau warna tidak sesuai, Oleh karena itu, konsumen menggunakan media sosial untuk mengekspresikan perasaan mereka tentang  layanan  yang  ditawarkan  dan  disediakan  oleh  perusahan  pasar  online [4] .  Banyak bermunculan E-commerce yg membuat masyarakat resah untuk menentukan E-commerce yang dipercaya, Oleh karena itu dibutuhkan sebuah evaluasi yg bisa mengenali tingkatan kepopuleran E- commerce di indonesia bersumber pada analisa afeksi pada sosial alat yang dikatakan pada bacaan yg berbentuk pandangan positif ataupun minus [6] .
Shopee  menjadi  marketplace  yang  paling  banyak  dikunjungi  pengunjung  saat  ini  di Indonensia rata-rata pengunjung bulanan shopee mencapai 132,8 juta pada kuartal I 2022 oleh iPrice 2022. Shopee adalah aplikasi belanja dan jual beli yang dapat diunduh dari halaman Google Playstore. Halaman google playstore memiliki banyak pilihan fitur-fiturnya untuk peringkat dan ulasan. Peringkat dan fitur ini untuk pengguna menilai aplikasi [7] . Komentar adalah teks yang mengomentari  ide  atau  karya  orang  lain.  Dengan  bantuan  ulasan  pengguna  lama,  informasi tentang produk dan layanan yang baik menjadi semakin efektif, dan banyak pengguna Internet mempercayai rekomendasi dan pendapat yang telah digunakan oleh pengguna sebelumnya dalam bentuk  produk  atau  layanan [8] .  Belum  ada  metode  yang  sistematis  dan  tepat  dimana  suatu tinjauan  dapat  diklasifikasikan  sebagai  golongan  positif  serta  negatif.  Informasi  keterangan konsumen  bersumber  pada  tipe  afeksi  mempermudah  pengembang  dalam  memperoleh  data afeksi dari para konsumen aplikasi e- commerce [7] .
Analisis  sentimen  merupakan  bidang  studi  untuk  menganalisis  pendapat  orang  tentang entitas seperti layanan, produk, individu organisasi, masalah, peristiwa, dan topik [9] . Analisis sentimen sendiri berfungsi untuk menemukan sebuah pola teks dan selanjutnya dikelompokan ke  dalam  sentimen  positif  atau  negatif.  Analisis  sentimen  mempunyai  tiga  tahapan,  yaitu preprocessing, pembobotan, dan klasifikasi [10] .
Penelitian  terkait  analisis  sentimen  sebelumnya  telah  dilakukan  mengenai  opini  review produk online menggunakan Naive Bayes . Pada penelitian tersebut memperoleh nilai akurasi yang ditentukan oleh sistem analisis opini review produk online dengan menggunakan metode Naive Bayes menghasilkan nilai akurasi terendah pada pengujian 5 kelas. Menggunakan dataset 80 % latih dan 20% data uji sebesar 52.66%, sedangkan pada pengujian 3 kelas menggunakan dataset 90%  data  latih  dan  10%  data  uji  memiliki  akurasi  tertinggi  sebesar  77.78% [4] .  Kemudian penelitian  terhadap  sentimen  terhadap  toko  online  di  sosial  media  menggunakan  metode klasifikasi Naive Bayes . Hasil dari penelitian tersebut menyatakan Naive Bayes dapat dijadikan metode klasifikasi untuk analisis sentimen dengan keakuratan 93.7% [4] .
Penelitian  dalam  bidang  analisis  sentimen  ini  banyak  dilakukan  karena  topik  ini  sangat menarik  untuk  di  bahas.  Salah  satu  penelitian  di  bidang  ini  adalah  penelitian  tentang  analisis sentimen pelanggan toko online JD.ID menggunakan Naive Bayes Classifier berbasis ikon emosi. Pada penelitiannya didapatkan nilai akurasi NBC  tanpa pembobotan TF-IDF  dan konversi ikon emosi memiliki nilai akurasi 98% [11] . Penelitian selanjutnya tentang analisis sentimen tentang pinjaman online menggunakan algoritma SVM mendapatkan nilai akurasi 84.4% [12] . Berdasarkan  kasus  sebelumnya,  penelitian  ini  menggunakan  metode Naïve  Bayes dan Support Vector Machine untuk melakukan analisis sentimen. Algoritma Naïve Bayes dan Support Vector Machine umum dan mudah digunakan untuk proses klasifikasi  data opini google playstore yang baru yang tidak memiliki label kelas  untuk ditempatkan di kelas opini positif atau negatif.
Analisis sentimen ulasan pada e-commerce shopee menggunakan algoritma naive bayes dan support vector machine
Hasil penelitian Aplikasi E-commerce Shopee diharapkan dapat Memberikan hasil klasifikasi yang sangat baik dan akurat , dan informasi yang bermanfaat bagi pihak yang membutuhkan [13] .

## 2. METODE
Penelitian ini menggunakan 2000 dataset ulasan yang diambil dari aplikasi E-commerce Shopee pada website google playstore, kemudian dikelompokan menjadi dua kelas yaitu postingan positif dan postingan negatif. Berikut tahapan alur penelitian pada gambar 1.
Mulai Pre- processing Pengumpulan data Pembobotan data
Word cloud Hasil klasifikasi Selesai Evaluasi pengujian Gambar 1.Tahapan penelitian 2.1 Pengumpulan data
Persamaan Pengumpulan Data Pada penelitian ini menggunakan 2000 dataset yang diambil dari  ulasan  aplikasi  Shopee  yang  tersedia  pada  aplikasi Google  Play  Store dengan  cara  web scraping. Tahapan selanjutnya dilakukan pre-processing . untuk membersihkan dataset mentah, setelah data selesai dilakukan pre-processing , tahapan berikutnya adalah dilakukan labeling untuk mengetahui kelas positif dan negatif. Setelah itu dilakukan tahapan pembobotan TF-IDF untuk memberikan  bobot  pada  setiap  kata yang  terdapat  di  dalam  dokumen.  Selanjutnya,  dilakukan metode klasifikasi dengan menggunakan algoritma Naive Bayes dan Support Vector Machine.

## 2.2 Pre-processing data
Pada tahapan ini teks pada kalimat akan diseragamkan agar data bisa dilanjutkan ke tahap selanjutnya. Text processing meliputi case folding , tokenizing , filtering dan steamming.
- Case folding Case Folding adalah suatu cara buat mengganti graf aset jadi hruf lazim ataupun standar. Cara ini  memudahkan  pencarian,  disebabkan  tidak  seluruh  akta  bacaan  tidak  berubah-  ubah dengan huruf kapital [14] .
- Tokenization
Tokenization sebuah  proses  untuk  memecahkan  kalimat  menjadi  kata – kata  yang  akan menjadikan kalimat lebih bermakna [14] .
- Filtering Filtering proses membuang kata – kata kurang penting atau menyimpang dari kosa kata yang tidak memiliki arti [15] .
- Steamming
Steamming tahapan buat memperkecil jumlah indikator yang berlainan dari satu informasi alhasil tutur yang mempunyai suffix ataupun prefix hendak Balik ke wujud dasarnya [15] .

## 2.3 Pembobotan data
Pada tahapan Term Frequency - Inverse Document Frequency atau TF- IDF merupakan metode Algoritma yang umum digunakan untuk menghitung bobot setiap kata. Metode ini juga di kenal efisien,  sederhana  dan  akurat.  Metode  ini  akan  menghitung term  frequency (TF)  dan inverse document frequency (IDF).  Selain itu TF-IDF juga dapat mengetahui kata apa yang sering muncul pada sebuah dokumen.  Adapun rumus pembobotan data TF-IDF sebagai berikut:
𝑊𝑡 , 𝑑 = 𝑡𝑓𝑡 , 𝑑 x 𝑖𝑑𝑓𝑡 = 𝑡𝑓𝑡 , 𝑑 x log 𝑁 / 𝑑𝑓 t                                                                                                                          (1) Keterangan :
𝑊𝑡 , 𝑑 : Bobot TF-IDF 𝑡𝑓𝑡 , 𝑑 : Jumlah frekuensi kata
𝑖𝑑𝑓𝑡 : Jumlah inverse frekuensi dokumen tiap
Kata 𝑑𝑓 t  : Jumlah frekuensi dokumen tiap kata N      : Jumlah total dokumen

## 2.4 WordCloud
WorldCloud salah  satu  teknik  visualisasi  yang  menunjukan  hubungan  antara  jumlah  kata dengan memperbesar kata yang lebih sering digunakan dengan cepat [16] . Hal ini dikarenakan, kata-kata yang sering muncul di tampilkan dengan lebih besar, dan kata-kata tersebut dengan cepat menarik perhatian pembaca.

## 2.5 Klasifikasi menggunakan algoritma naive bayes
Proses klasifikasi dalam penelitian ini menggunakan python dan metode Naive Bayes . Naive Bayes merupakan salah satu metode yang digunakan dalam data mining yang bersifat survised learning . Naive  Bayes didasarkan  pada  teorema  Bayes  yang  memiliki  kemampuan  klasifikasi serupa  dengan decision tree dan neural network [17] .  Selain itu,  metode Naive  Bayes memiliki waktu klasifikasi yang singkat mempercepat proses sistem analisis sentimen [6]. Bentuk umum teorema bayes adalah sebagai berikut:
P(H|X) = P(H|X)×P(H) P(X) (1)
Keterangan:
X : data dengan class yang belum diketahui H : hipotesis data X merupakan suatu class spesifik P(H|X) : probabilitas hipotesis H berdasarkan kondisi X ( posteriori probability ) P(H) : probabilitas hipotesis H ( prior probability ) P(H|X) : probabilitas X berdasar kondisi hipotesis H P(X) : probabilitas dari X

## 2.6 Klasifikasi menggunakan algoritma support vector machine
Support  vector  machine (SVM)  merupakan  sebuah  metode supervised  learning yang digunakan  untuk  klasifikasi  dan  analisis,  yang  menganalisis  data  dan  mengenali  pola  [5],[10]. Support Vector Machine merupakan algoritma klasifikasi yang cukup banyak digunakan. Linear classifier merupakan  dasar  SVM  hanya  mengklasifikasikan  dua  kelas,  tetapi  kasus  pada  dunia nyata umumnya lebih dari dua kelas lalu dikembangkan agar bekerja pada masalah non-linear Dengan  kernel  trick  dan  memetakan  data  ke  dalam  ruang  berdimensi  tinggi  [10],  [13].  Pada algoritma SVM terdapat garis pemisah yang disebut hyperplane yang digunakan sebagai pemisah sentimen positif dan negatif. Rumus untuk perhitungan SVM: menggunakan persamaan :
(w. xi)+ b = 0 (3) Di dalam data xi , yang termasuk pada kelas -1 dapat dirumuskan seperti pada persamaan (w. xi+b) ≤ 1, yi= −1 (4) Sedangkan data xi yang termasuk pada kelas +1 dapat dirumuskan seperti pada persamaan (w. xi+b) ≥ 1, yi= 1 (5)

## 2.7 Evaluasi
Pengujian  pada  penelitian  ini  untuk  mengevaluasi  hasil  dari  algoritma  yang  digunakan. Metode  evaluasi  yang  digunakan Confusion  Matrix Metode  ini  cukup  membantu  untuk  proses analisis kualitas classifier .  Setelah Confusion matrix dilakukan maka nilai bisa dilihat dan dihitung nilai accuracy , recall , precission dan f1-score yang  akan  ditampilkan  dalam bentuk  presentase. Tabel confusion matrix dapat dilihat sebagai berikut
Tabel 1. Confusion matrix
Analisis sentimen ulasan pada e-commerce shopee menggunakan algoritma naive bayes dan support vector machine Class Predicted Class Predicted 1 0 Actual Class 1 True Positive False Positive 0 False Negative  True Negative 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = TP+TN TP+FN+FP+TN (6) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = TP TP+FP (7) 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 = 2 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 (8) Keterangan: TP = nilai True Positive FP = nilai False Positive FN = nilai False Negative TN = nilai True Negaitve

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan data
Pengumpulan data dalam riset ini memakai metode website scraping dari keterangan aplikasi Shopee. Informasi yang diperoleh dalam format .csv dan berjumlah 2000 data dengan 5 kolom. mengambil hasil Penelitian dataset seperti Tabel 2.
Tabel 2. Isi dataset Tanggal comment score Value 0 2022-11-28 18:13:58 Mantap 5 POSITIF 1 2022-11-28 18:12:33 Puas 5 POSITIF 2 2022-11-28 17:59:00 Rekomended banget 5 POSITIF 3 2022-11-28 17:56:18 Pengalaman luar biasa dgn Shopee. 4 POSITIF 4 2022-11-28 17:54:17 Makin pelit sama voucher gratis ongkir 1 NEGATIF ... ... ... ... ... 1873  2022-11-27 09:07:59 Mohon untuk pihak shopee buat teguran ke toko ... 4 POSITIF 1874  2022-11-27 09:06:34 Bagus 5 POSITIF 1875  2022-11-27 09:06:14 Aplikasi tolol dari dulu ampe sekarang lag - l... 1 NEGATIF 1876  2022-11-27 09:07:07 Aku suka shoppe 1 NEGATIF
1877  2022-11-27 09:06:07 Mantabh 5 POSITIF

## 3.2 Text pre-processing
Data ulasan konsumen aplikasi Shopee pada web google play store ialah informasi bacaan yang tidak tertata, alhasil bacaan butuh diolah supaya memperoleh data yang bermanfaat. Jenjang yang dilakukan pada cara ini, ialah cara case folding , tokenizing , filtering dan steaming

## 3.2.1 Case folding
Case  Folding adalah  sebuah  proses  yang  bertujuan  untuk  merubah  kata  menjadi  huruf  kecil ( lowercase) , dan menghapus semua kalimat selain text seperti tanda baca(. , ! $ dan lainnya), dan juga menghapus angka yang ada pada sebuah kalimat didalam dokumen. Berikut contoh hasil dari proses Case folding
Tabel 3. Hasil case folding Data Input Data Output Hadiah y tidak ada.. ! hadiah y tidak ada

## 3.2.2 Tokenizing
Tokenisasi bertujuan untuk menyusun setiap kata dan menjadikannya sebagai sebuah token agar bisa diproses pada tahap selanjutnya. Berikut contoh hasil dari proses tokenisasi .
Tabel 4. Hasil tokenisasi Data Input Data Output Ajg lelet banget, udah di masukin alamat malah... [ajg, lelet, banget, udah, di, masukin, alamat...

## 3.2.3 Filtering
Filtering proses mengambil kata-kata yang penting dan membuang kata-kata yang kurang penting dikarenakan dianggap tidak memiliki makna, pada tahap ini menggunakan library nltk . Berikut contoh hasil dari proses filtering
Tabel 5. Hasil filtering Data Input Data Output aplikasi nya bagus yang mau coba donlod dulu y... [aplikasi, nya, bagus, coba, donlod, ya###]

## 3.2.4 Steaming
Steaming merupakan  sebuah  proses  yang  bertujuan  untuk  menjadikan  sebuah  kalimat menjadi kata dasar, pada tahap ini juga kalimat yang asalnya berupa token digabungkan kembali menjadi  kalimat  biasa.  Pada  tahap  ini library yang  digunakan  adalah library sastrawi, library sastrawi merupakan library yang menerapkan algoritma berbasis nazief dan andriyani. Berikut contoh hasil dari proses steaming
Tabel 6. Hasil steaming Data Input Data Output Hadiah y tidak ada.. ! Shopee sangat membantu saya untuk mendapatkan ... mantap, no bad no good Ajg lelet banget, udah di masukin alamat malah... hadiah y shopee bantu barang butuh dana  makasih mantap no bad no good ajg lelet banget udah masukin alamat bilang alamat ajg ajg ajg
Analisis sentimen ulasan pada e-commerce shopee menggunakan algoritma naive bayes dan support vector machine

## 3.3 WordCloud
Setelah mengetahui setiap kata, proeses selanjutnya menampilkan visualisasi WordCloud . Terdapat pada Gambar 2. bahwa kata yang sering muncul terdapat pada “shopee” dan “ aplikasi”. Ukuran kata terbesar dipengaruhi oleh kata yang sering muncul.
Gambar 2. Hasil WordCloud

## 3.4 Pembobotan data
Setelah  melakukan  tahapan preprocessing data,  data  yang  dihasilkan  kemudian  dilakukan  tahap selanjutnya yaitu memberikan pembobotan data pada setiap kata dengan menggunakan metode TF-IDF dan selanjutnya melakukan klasifikasi menggunakan algoritma Naïve Bayes dan SVM sesuai gambar 3.
Gambar 3. Hasil TF-IDF

## 3.5 Klasifikasi
Setelah  melakukan preprocessing, kemudian  dilakukan  pengklasifikasian  dengan  menggunakan algoritma Naive  Bayes dan Support  Vector  Machine .  Hasil  dari  penelitian  pada  sebuah  model  yang memiliki pola untuk klasifikasi bisa digunakan untuk memprediksi label. Pada proses klasifikasi ini data yang di gunakan sebanyak 2000 data, dengan 80% digunakan sebagai data latih dan 20% data digunakan untuk data uji. Penelitian ini melakukan pengklasifikasian analisis sentimen Shopee.
Gambar 4. Hasil Klasifikasi
Berdasarkan  Gambar  4  sentimen  positif  memiliki  54.5%  dan  sentimen  negatif  memiliki 45.5%.  sehingga  dapat  disimpulkan  bahwa  hasil  dari  klasifikasi  yang  di  lakukan  lebih  banyak memiliki sentimen positif.

## 3.6 Evaluasi
Setelah  proses  pengklasifikasian  langkah  selanjutnya  yaitu  melakukan  perhitungan  untuk mengetahui nilai dari accuracy , precision , recall , dan F1-score pada model klasifikasi Naive Bayes . Adapun hasil dari perhitungan tersebut dapat dilihat pada Tabel 7
Tabel 7.Hasil pengujian Naive Bayes precision  recall f1-score support Positif 0.82 0.84 0.83 156 Negatif 0.88 0.87 0.88 217 Accuracy Macro avg 0.85 0.86 0.86 0.85 373 373
Dalam Tabel 7 hasil precision terhadap kelas negatif 82% sedangkan kelas positif 88%. Dari hasil tersebut dinyatakan bahwa skala label yang diklasifikasikan dengan benar dari keseluruhan klasifikasi  tinggi  terhadap  label  negatif.  Sedangkan  hasil  dari  keberhasilan  sistem  dalam menemukan kembali seluruh informasi atau di sebut recall pada label negatif 84%, sedangkan label  positif  87%.  Hasil  tersebut  menunjukan  bahwa  kinerja  dari  keberhasilan  sistem  untuk menemukan kembali informasi yang berlabelkan positif lebih tinggi di bandingkan label negatif. Penelitian  ini  pengklasifikasian  analisis  sentimen  Shopee menggunakan  algoritma Naive  Bayes nilai akurasi yang di dapatkan 86%.
Setelah  mendapatkan  hasil  pengujian  dengan  menggunakan confusion  matrix, kemudian dilakukan  evaluasi  terhadap  pengujian  tersebut.  Evaluasi  pengujian  bertujuan  untuk menghasilkan tabel confusion matrix dari hasil confusion matrix sebelumnya, untuk dihitung nilai akurasi secara manual.
Tabel 8. confusion matrix Naive Bayes
Analisis sentimen ulasan pada e-commerce shopee menggunakan algoritma naive bayes dan support vector machine Actual Class Class Predicted Positif Negatif Positif 131 25 Negatif 28 189
Dari tabel 8 pengujian mengklasifikasikan secara benar pada data positif ( True positif) sebesar 131dan  sedangkan  data  benar  negatif  ( True  negatif )  sebanyak  189.  Selain  itu  pengujian  juga menemukan data yang seharusnya kelas negatif (False positif) sebanyak 25 data, sedangkan, pada kelas  yang  seharusnya  positif(  False  negatif)  data  yang  ditemukan  yaitu  28  data.  Selanjutnya setelah  tabel confusion  matrix dilakukan  perhitungan  manual  untuk  mengetahui  akurasi  dari pengujian, perhitungan manual akurasi pengujian dapat dilihat sebagai berikut:
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 131 + 189 131 + 28 + 25 + 189 × 100 = 85% Tabel 9. Hasil pengujian support vector machine precision  recall f1-score support Positif 0.86 0.72 0.78 167 Negatif 0.80 0.90 0.85 206 Accuracy Macro acvg 0.83 0.81 0.82 0.81 373 373
Hasil dari kinerja pengklasifikasian analisis sentimen Shopee dapat di lihat di Tabel 8 memiliki nilai akurasi 85% untuk algoritma Naive Bayes dan untuk algoritma Supoort Vector Machine dapat di lihat di Tabel 9 memiliki nilai akurasi 81%.
Tabel 10. Confusion matrix Support Vector Machine Actual Class Class Predicted Positif Negatif Positif 120 47 Negatif 20 186 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 120 + 186 120 + 20 + 47 + 186 × 100 = 82%
Akurasi menjelaskan sejauh mana model pengujian bisa melakukan pengklasifikasian data dengan  benar.  Akurasi  diperoleh  dari  menghitung  rasio  antara  klasifikasi  kelas  yang  benar dengan total data yang di uji, bisa dikatakan tingkat kemampuan pengujian kinerja sistem  dalam tingkat pengklasifikasian untuk algoritma Naive Bayes yaitu 85% dan untuk algoritma Support Vector Machine 82%.
Berikut tampilan kurva ROC yang akan di hitung nilai AUC-nya. Pada Gambar 5 tampilan kurva ROC untuk  model Naive Bayes dan Supoort Vector Machine

## Gambar 5. Kurva ROC
Dalam  Gambar  5  kurva  ROC  untuk  model Naive  Bayes mendapatkan  nilai  AUC  sebesar  0.855 sedangkan  untuk  model  SVM  mendapatkan  nilai  AUC  sebesar  0.810. Naive  Bayes mendapatkan  niai akurasi dan AUC yang lebih baik dibandingkan dengan algoritma SVM

## 4. SIMPULAN
Berdasarkan hasil riset yang dicoba pada pengklasifikasian analisis sentimen pada Shopee menggunakan algoritma Naive Bayes dan Support Vector Machine terdapat beberapa tahapan yang  harus  dilakukan  seperti preprocessing, klasifikasi  dan  pengujian.  Pada  pengujian  dibagi menjadi  2  yaitu  80%  menggunakan  data  latih  20%  menggunakan  data  uji.  Kemudian  pada pengujian akurasi, penelitian ini menggunakan confusion matrix, dalam penelitian ini akurasi yang di dapatkan untuk metode Naive Bayes menghasilkan nilai accuracy sebesar 85%. Metode Naive Bayes menghasilkan hasil akurasi dan AUC yang lebih baik dari metode Support Vector Machine. Metode Support Vector Machine hanya mendapatkan nilai akurasi sebesar 81%. .

## DAFTAR PUSTAKA
[1] A. EH boyatzis, Richard; Mckee, “Journal E - Commerce,” J. Chem. Inf. Model. , vol. 53, no. 9, pp. 18 – 38, 2019.
[2] D. S. Cherry and J. Cairns, “Biological monitoring part V - Preference and avoidance studies,” Water Res. , vol. 16, no. 3, pp. 263 – 301, 1982, doi: 10.1016/0043-1354(82)90189-0.
[3] A. R. Putra, “STRATEGI E - COMMERCE,” no. December, pp. 1– 5, 2020.
[4] D. P.  Artanti,  A.  Syukur,  A. Prihandono,  and D.  R.  I.  M.  Setiadi, “Analisa  Sentimen  Untuk Penilaian Pe layanan Situs Belanja Online Menggunakan Algoritma Naïve Bayes,” pp. 8– 9, 2018.
[5] D.  Yosmita  Praptiwi,  “Analisis  Sentimen  Online  Review  Pengguna  E -Commerce Menggunakan Metode Support Vector Machine Dan Maximum Entropy,” 2018.
[6] A.  S.  Widagdo,  B.  S.  W.A ,  and  A.  Nasiri,  “Analisis  Tingkat  Kepopuleran  E -Commerce  Di Indonesia Berdasarkan Sentimen Sosial Media Menggunakan Metode Naïve Bayes,” J. Inf.  J. Penelit. dan Pengabdi. Masy. , vol. 6, no. 1, pp. 1 – 5, 2020, doi: 10.46808/informa.v6i1.159.
[7] J.  A.  Josen  Limbong,  I.  Sembiring,  K.  Dwi  Hartomo,  U.  Kristen  Satya  Wacana,  and  P. Korespondensi, “Analisis Klasifikasi Sentimen Ulasan Pada E -Commerce Shopee Berbasis Word  Cloud  Dengan  Metode  Naive  Bayes  Dan  K-Nearest  Neighbor  Analysis  of  Review Sentiment Classification on E-Commerce Shopee Word Cloud Based With Naïve Bayes and K- Nearest Neighbor Meth,” J. Teknol. Inf. dan Ilmu Komput. , vol. 9, no. 2, pp. 347 – 356, 2019, doi: 10.25126/jtiik.202294960.
[8] C. Cahyaningtyas, Y. Nataliani, and I. R. Widiasari, “Analisis Sentimen Pada Rating Aplikasi Shopee Menggunakan Metode Decision Tree Berbasis SMOTE,” Aiti , vol. 18, no. 2, pp. 173 –
Analisis sentimen ulasan pada e-commerce shopee menggunakan algoritma naive bayes dan support vector machine
184, 2021, doi: 10.24246/aiti.v18i2.173-184.
[9] J.  A.  Septian,  T.  M.  Fachrudin,  and  A.  Nugroho,  “Analisis  Sentimen  Pengguna  Twitter Terhadap Polemik Persepakbolaan Indonesia Menggunakan Pembobotan TF-IDF dan K- Nearest  Neighbor,” J.  Intell.  Syst.  Comput. ,  vol.  1,  no.  1,  pp.  43 – 49,  2019,  doi: 10.52985/insyst.v1i1.36.
[10] D. T. Lukmana, S. Subanti, and Y. Susanti, “Analisis Sentimen Terhadap Calon Presiden 2019 Dengan Support Vector Machine Di Twitter,” Semin. Nas. Penelit. Pendidik. Mat. 2019 UMT , no. 2002, pp. 154 – 160, 2019.
[11] F. V. Sari and A. Wibowo, “Analisis Sentimen Pelanggan Toko Online Jd.Id Menggunakan Metode Naïve Bayes Classifie r Berbasis Konversi Ikon Emosi,” J. SIMETRIS , vol. 10, no. 2, pp. 681 – 686, 2019.
[12] D.  S.  Utami  and  A. Erfina, “Analisis  Sentimen Pinjaman  Online  di  Twitter  Menggunakan Algoritma Support Vector Machine (SVM),” SISMATIK (Seminar Nas. Sist. Inf. dan Manaj. Inform. , vol. 1, no. 1, pp. 299 – 305, 2021.
[13] P. Studi, T. Informatika, F. I. Komputer, and U. M. Buana, “APLIKASI SHOPEE FOOD PADA TWITTER MENGGUNAKAN METODE NAÏVE BAYES DAN SUPPORT VECTOR MACHINE ( SVM ) MENGGUNAKAN METODE NAÏVE BAYES DAN SUPPORT VECTOR MACHINE ( SVM ),” 2022.
[14] I. P. Rahayu, A. Fauzi, and J. Indra, “Analisis Sentimen Terhadap Program Kampus Merdeka Menggunakan Naive Bayes Dan Support Vector Machine,” vol. 4, pp. 296– 301, 2022, doi: 10.30865/json.v4i2.5381.
[15]  A. S. Rahayu and A. Fauzi, “Komparasi Algoritma Naïve Bayes Dan Support Vector Machine (  SVM  )  Pada  Analisis  Sentimen  Spotify,”  vol.  4,  pp.  349– 354,  2022,  doi: 10.30865/json.v4i2.5398.
[16] I. T. Julianto, “Analisis Sentimen Terhadap Sistem Informasi Akademik Institut Teknolo gi Garut,” J. Algoritm. , vol. 19, no. 1, pp. 449 – 456, 2022, doi: 10.33364/algoritma/v.19-1.1112.
[17] Aminatuzzuhriyah  and  N.  Nafisah,  “Tingkat,  Klasifikasi  Mahasiswa,  Kepuasan Pembelajaran, Terhadap Daring, Secara Algoritma, Menggunakan Bayes, Naïve,” vol . 6, no. 2, p. 67, 2021.