## ANALISIS SENTIMEN ULASAN KONSUMEN PADA PRODUK PONSEL PINTAR MENGGUNAKAN METODE NAÏVE BAYES
Valensia Gaby Shintarani 1 , Rini Mayasari 2 , Mohamad Jajuli 3
Program Studi Informatika, Fakultas Ilmu Komputer Universitas Singaperbanga Karawang Email: 1 valensia.gaby18077@student.unsika.ac.id, 2 rini.mayasari@staff.unsika.ac.id,
3 mohamad.jajuli@unsika.ac.id

## ABSTRAK
Kata kunci: Analisis Sentimen, Klasifikasi  Naïve  Bayes, Shopee, Ulasan Di  era  modern  ini,  sentimen  atau  pendapat  masyarakat  semakin  banyak disebarluaskan dan diungkapkan secara bebas di berbagai media. Sentimen dapat menjadi potensi besar bagi perusahaan yang ingin mendengar umpan balik publik tentang  merek  mereka.  Belanja  online  atau  e-commerce  adalah  transaksi  yang dilakukan melalui media berupa jual beli online website atau jejaring sosial yang menyediakan  barang  atau  jasa  untuk  dipertukarkan.  Contoh  aplikasi  belanja online  yang  terkenal  di  Indonesia  adalah  Shopee.  Shopee  memiliki  fitur  yang dapat  digunakan  pengguna  untuk  memberikan  review,  seperti  dalam  bentuk rating  bintang  produk  atau  dapat  mengomentari  suatu  produk.  Pada  produk Samsung  Galaxy  A03  Black,  terdapat  ulasan  dan  penilaian  dari  berbagai pengguna  yang  telah  membeli  dan  mendapatkan  produk  smartphone  tersebut. Tujuan  dari  pengecekan  ulasan  data  ini  adalah  untuk  memverifikasi  sentimen yang diklasifikasikan oleh model machine learning. Data yang digunakan dalam penelitian ini adalah data ulasan produk ponsel pintar merk Samsung Galaxy A03 Black yang dijual secara online di Shopee Indonesia dan dikelola langsung oleh Offical  Samsung  Shop.  Data  yang  digunakan  berjumlah  3007  data.  Masing- masing  data  teks  yang  telah  dianalisis  memasuki  tahap  pemberian  skor  atau skoring  melalui  proses  perhitungan.  Klasifikasi  analisis  sentimen  yang dihasilkan  mendapat  sebuah  grafik  accuracy  dan  loss  menggunakan  Google Colaboratory, dimana pemberian review dengan data testing dan training sesuai dengan pemberian rating ulasan tersebut. Nilai akurasi tertinggi menunjukkan ke 0.87 atau setara dengan 87%, sedangkan nilai akurasi terendah meunjukkan 0,81 atau setara dengan 81%. ABSTRACT Keywords : Naïve Bayes Classification,  Reviews, Sentiment Analysis, Shopee In  this  modern  era,  people's  sentiments  or  opinions  are  increasingly  being disseminated and expressed freely in  various media. Sentiment  can be a great potential  for  companies  who  want  to  hear  public  feedback  about  their  brand.
Online shopping or e-commerce is a transaction carried out through the media in the form of online buying and selling websites or social networks that provide goods or services to be exchanged. An example of a well-known online shopping application  in  Indonesia  is  Shopee.  Shopee  has  features  that  users  can  use  to provide  reviews,  such  as  in  the  form  of  product  star  ratings  or  being  able  to comment  on a product. On the Samsung Galaxy A03 Black product, there are reviews  and  ratings  from  various  users  who  have  bought  and  obtained  the smartphone  product.  The  purpose  of  checking  this  review  data  is  to  verify  the sentiment classified by the machine learning model. The data used in this study is  the  review  data  of  Samsung  Galaxy  A03  Black  brand  smartphone  products sold online at Shopee Indonesia and managed directly by the Offical Samsung Shop.  The  data  used  amounted  to  3007  data.  Each  text  data  that  has  been analyzed enters the scoring stage through the calculation process. The resulting sentiment analysis classification gets an accuracy and loss graph using Google Collaboratory,  where  giving  reviews  with  testing  and  training  data  is  in accordance  with  the  rating  of  the  reviews.  The  highest  accuracy  value  shows
0.87  or  equivalent  to  87%,  while  the  lowest  accuracy  value  shows  0.81  or equivalent to 81%.

## PENDAHULUAN
Di era modern ini, sentimen atau pendapat masyarakat semakin banyak disebarluaskan dan diungkapkan secara bebas di berbagai media. Sentimen dapat menjadi potensi besar bagi perusahaan yang ingin mendengar umpan balik publik tentang merek mereka (Safitri et al., 2021). Merek telah dianggap sebagai salah satu aset tak berwujud yang paling berharga dan manajemen  merek  merupakan  prioritas  penting  untuk  menjalankan  bisnis  atau  organisasi (Gunawan  et  al.,  2018).  Belanja  online  atau e-commerce adalah  transaksi  yang  dilakukan melalui media berupa jual beli online website atau jejaring sosial yang menyediakan barang atau  jasa  untuk  dipertukarkan  (Anggraeni  &  Rizal,  2019).  Contoh  aplikasi  belanja  online yang  terkenal  di  Indonesia  adalah  Shopee.  Shopee  memiliki  fitur  yang  dapat  digunakan pengguna untuk memberikan review , seperti dalam bentuk rating bintang produk atau dapat mengomentari suatu produk (Harli et al., 2021). Review dari para pengguna ini secara umum dapat dijadikan sebagai referensi yang berguna dan efektif  untuk mencari informasi tentang suatu  produk.  Ulasan  pengguna  atau  ulasan    aplikasi e-commerce sering  kali  berisi rekomendasi  positif  tertulis  atau  keluhan    negatif  dan  secara  tidak  langsung  akan memengaruhi calon pelanggan lainnya (Qamal, 2021).
Analisis  ulasan  produk  dapat  dengan  mudah  dilakukan  dengan  melihat  peringkat bintang  yang  diberikan  oleh  pembeli,  tetapi  peringkat  bintang  tidak  dapat  mewakili  isi keseluruhan  ulasan.  Teks  lengkap  dari  komentar  ulasan  harus  ditinjau  untuk  memahami maksud  keseluruhan  dari  ulasan.  Ulasan  dapat  dianalisis  secara  manual  dengan menelusurinya satu per satu, tetapi jika sebuah produk memiliki banyak ulasan, akan lebih cepat jika menggunakan analisis sentimen  ini (Muktafin et al., 2020). Peneliti melakukan sentimen analisis terhadap review produk di e-commerce Shopee. Ulasan produk termasuk umpan balik teks bebas dan peringkat bintang 1 hingga 5. Umpan balik ulasan digunakan untuk  menemukan  informasi  yang  menjadi  fokus  pembeli  saat  mereka  memberikan peringkat.  Tanggapan  ulasan  dapat  berisi  beberapa  peringkat  atribut  produk,  sedangkan setiap ulasan hanya memiliki satu peringkat bintang, sehingga peringkat bintang tidak dapat mewakili setiap fitur produk yang dinilai oleh pembeli. Informasi yang disampaikan oleh pembeli  dapat  mengacu  pada  karakteristik  produk  seperti  harga,  kualitas,  bahan,  warna, bentuk,  ukuran,  rasa,  jumlah,  serta  layanan  yang  diberikan  seperti  pengepakan,  waktu pengiriman, dan tanggapan penjual (Muktafin et al., 2020).
Sistem analisis sentimen dibangun menggunakan algoritma klasifikasi Naive Bayes. Fitur  utama  dari  algoritma  Naïve  Bayes  adalah  asumsi  yang  sangat  kuat  (naif)  tentang independensi  setiap  kondisi  atau  peristiwa.  Kelebihan  dari  Naïve  Bayes  adalah  proses klasifikasi data dapat disesuaikan dengan sifat dan kebutuhan masing-masing.(Gunawan et al., 2018). Naïve Bayes Classifier adalah teknik klasifikasi yang didasarkan pada teorema Bayes  yang  ditemukan  oleh  ilmuwan  Inggris,  Thomas  Bayes  (Muhathir  et  al.,  2020). Teorema ini bekerja berdasarkan asumsi independen dari prediktor sehingga peluang di masa depan dapat diidentifikasi berdasarkan pengalaman sebelumnya (Suparyati & Fathurrahman, 2022).  Dalam  algoritma  Naïve  Bayes,  sejumlah  petunjuk  yang  disebut  atribut  diperlukan untuk membantu dalam membentuk kelas yang sesuai untuk sampel yang sedang dianalisis, di mana keberadaan fitur tertentu di dalam kelas tersebut tidak berhubungan dengan fitur lainnya (Watrianthos et al., 2019). Oleh karena itu, penulis akan menerapkan penelitian ini menggunakan teknik data mining menggunakan metode klasifikasi dengan algoritma Naïve Bayes untuk produk ponsel pintar yang dipasarkan di aplikasi e-commerce Shopee. Produk
smartphone yang akan diteliti saat ini yaitu Samsung Galaxy A03 Black yang telah terjual lebih dari 6.000 produk di toko online Samsung Official Shop. Jumlah produk yang terjual diikuti  dengan  jumlah  review  yang  sesuai  dengan  produk  tersebut.  Penulis  mengambil review  produk smartphone Samsung  Galaxy  A03  Black  ini  dikarenakan  melihat  dari penjualan perbulannya cukup besar pada saat stok masih tersedia. Tujuan dari penelitian ini adalah untuk menganalisis sentimen untuk mengetahui pendapat pelanggan tentang produk atau jasa yang telah diterima dengan baik oleh pelanggan.
Berdasarkan latar belakang diatas, penulis tertarik untuk melakukan penelitian dengan menganalisa sentimen pada sebuah produk smartphone pada e-commerce Shopee, sehingga peneliti mengambil judul “Analisis Sentimen Ulasan Konsumen Pada Produk Ponsel Pintar Menggunakan  Algoritma  Naïve  Bayes”.  Tujuan  utama  penelitian  ini  adalah  menerapkan analisis  sentimen  pada  data  ulasan  produk  ponsel  pintar  di  platform  e-commerce  Shopee untuk mengklasifikasikan ulasan menjadi kelas positif atau negatif, serta mengukur akurasi klasifikasi menggunakan metode Naïve Bayes. Manfaat dari penelitian ini terbagi menjadi manfaat teoritis, di mana hasilnya diharapkan memberikan pemahaman lebih dalam tentang bagaimana  analisis  sentimen  terhadap  ulasan  produk  ponsel  pintar  dapat  diklasifikasikan menjadi positif atau negatif, serta manfaat praktis, di mana hasil penelitian ini diharapkan dapat  memberikan  kontribusi  dalam  memecahkan  masalah  terkait  analisis  sentimen  pada produk.  Selain  itu,  hasil  penelitian  ini  dapat  menjadi  referensi  dalam  menyusun  analisis sentimen untuk produk ponsel pintar di platform e-commerce.
Peneliti saat ini berfokus pada analisis sentimen terhadap ulasan pengguna terhadap poduk  Samsung  Galaxy  A03  Black  yang  terdapat  di e-commerce shopee.  Teknik pengambilan data atau data scraping menggunakan software octoparse 8 dan implementasi algoritma  Naïve  Bayes  digunakan  dalam  melakukan  analisis  sentimen  yang  berupa klasifikasi sebuah sentimen sekaligus pembeda dari penelitian yang dilakukan sebelumnya.

## METODE PENELITIAN
Penelitian  ini  bertujuan  menganalisis  sentimen  ulasan  konsumen  terhadap  produk ponsel pintar menggunakan metode Naïve Bayes, dengan fokus pada Samsung Galaxy A03 Black yang memiliki tingkat penjualan lebih tinggi dibandingkan produk Samsung lainnya. Variabel  yang  dipelajari  adalah  analisis  sentimen  pada  ulasan  produk,  yang  kemudian diklasifikasikan  ke  dalam  tiga  kategori:  positif,  negatif,  dan  netral.  Metodologi  penelitian yang  digunakan  adalah  Data  Mining,  dengan  tahapan  pengumpulan  data,  data  scraping, preprocessing, dan klasifikasi. Preprocessing mencakup langkah-langkah seperti tokenisasi, filterisasi,  stemming,  dan  labelling.  Setelah  tahap  preprocessing,  dilakukan  klasifikasi menggunakan algoritma Naïve Bayes. Pengumpulan data dilakukan melalui studi observasi dengan  mengambil  ulasan  produk  dari  website  Shopee,  khususnya  pada  produk  Samsung Galaxy  A03  Black.  Studi  pustaka  dilakukan  untuk  mengumpulkan  dasar  teori  terkait algoritma  Naïve  Bayes.  Setelah  pengumpulan  data,  data  diolah  melalui  tahapan preprocessing seperti tokenisasi, filterisasi, stemming, dan labelling.
Proses  klasifikasi  menggunakan  algoritma  Naïve  Bayes  yang  merupakan  metode supervised  learning.  Setelah  klasifikasi,  hasil  polaritas  dan  akurasi  klasifikasi  dihasilkan, serta  matriks  skor  persepsi.  Pendekatan  penelitian  ini  adalah  kualitatif  dengan  tujuan memahami dan menggambarkan ulasan produk Samsung Galaxy A03 Black dengan label sentimen positif, negatif, dan netral. Alat analisis yang digunakan adalah Microsoft Excel dan Google Colaboratory.

## HASIL DAN PEMBAHASAN
Pada  produk  Shopee  manapun,  pasti  memiliki  fitur  berupa  ulasan  dan rating dari sebuah produk. Pada produk Samsung Galaxy A03 Black pun serupa, terdapat ulasan dan penilaian dari berbagai pengguna yang telah membeli dan mendapatkan produk smartphone tersebut. Tujuan dari pengecekan ulasan data ini adalah untuk memverifikasi sentimen yang diklasifikasikan oleh model machine learning.

## 1. Scraping Data
Data  yang  digunakan  dalam  penelitian  ini  adalah  data  ulasan  produk  ponsel  pintar merk Samsung Galaxy A03 Black yang dijual secara online di Shopee Indonesia dan dikelola langsung  oleh  Offical  Samsung  Shop.  Pengambilan  data  dilakukan  dengan  teknik  web scraping dibantu oleh software Octoparse 8 lalu disalin ke dalam file Microsoft Excel dan disimpan dalam file berformat .csv. Data yang telah dikumpulkan dari hasil scraper terdapat kolom nama pengguna (termasuk nama pengguna yang disensor), link akun pengguna yang tidak disensor, dan ulasan produk.
Tabel 1. Data yang sudah discraping menggunakan software Octoparse 8 Username user_links review_text erlinadeaputri https://shopee.co.id/s hop/49535567 Fitur Terbaik: baik, bagus Sepadan dengan Har... nisaaulia3105 https://shopee.co.id/s hop/308097988 Barang bagus no minus cuman pengiriman saja ag... elyyanasari_ https://shopee.co.id/s hop/241650948 Pelayanan  sangat  baik  dan  ramah  admin pun bisa... denns004 https://shopee.co.id/s hop/206549310 Mantap,, produk original Sudah Order yang ke ... Vitacyuu https://shopee.co.id/s hop/309332120 Pesanan diterima dengan baik. Pengiriman cepet... ... ... ... i*****7 NaN NaN jogjatasanyama n https://shopee.co.id/s hop/318225560 NaN wulanauliaram adhani17 https://shopee.co.id/s hop/145501511 NaN Sigitadipras https://shopee.co.id/s hop/77489665 NaN aseptia12 https://shopee.co.id/s hop/218808857 NaN
2. Preprocessing
a. Tokenisasi & Filterisasi
Data uji yang dihasilkan melalui empat langkah prapemrosesan, termasuk transformasi, pelabelan,  pemfilteran,  dan  N-Gram.  Transformasi  adalah  proses  mengubah  atau memodifikasi data mentah tadi menjadi data yang lebih koheren untuk mempermudah proses analisis. Beberapa proses konversi yang digunakan dalam penelitian ini antara lain sebagai berikut.
1) Lowercase :  berfungsi  untuk  mengubah  huruf  kapital  menjadi  huruf  kecil  untuk mempermudah proses dari analisis. Contohnya: MANTUL BOSKUH . TERIMA KASIH menjadi mantul boskuh . terima kasih.
2) Remove accents : berfungsi sebagai menghilangkan aksen yang berada di suatu kalimat menjadi tanpa huruf aksen. Contohnya: Naïve Bayes menjadi Naive Bayes.
3) Parse html : Penguraian HTML dalam proses konversi mencoba mendeteksi tag HTML dan  menguraikannya  ke  dalam  format  teks.  Contohnya:  <a  href  ...>  Produk  ori  sesuai pesanan... menjadi </a> Produk ori sesuai pesanan...
4) Remove urls: berfungsi untuk menghapus link url yang ada didata.
Proses selanjutnya pada tahap preprocessing adalah Tokenization, dimana teks dibagi menjadi bagian-bagian yang lebih kecil. Penyaringan menghilangkan komponen yang tidak penting dan hanya menyimpan yang dianggap penting untuk memudahkan proses analisis. Fitur yang digunakan dalam penelitian ini adalah:
1) Stop Word Removal : untuk menghapus kata yang tidak penting.
Tabel 2. Stop Word
Stop Word
inu, nya, aj, suks, ah, banget, pake, bable, d, du, yg, dgn,
kak, yaa, ya, em, trm, sih, dg, krn, mulu, nex, tgl, g, jg, sdh,
n, amn, bgt, deh, wa, tp, dr, gk, y, pa, udh, dl, mhon, sesui,
jls, sgat, dll.
2) Regular Expression : untuk menghapus tanda baca dan angka yang tidak penting dan tidak diinginkan.
Tabel 3. Regular Expression Filtering Regular Expression
\|.|,|:|;|!|\?|(|)|/|+|'|"|‘|’|“|”|'|’|…|\-|–|—|$|&|*|>|1|2|3|4|5|6|7|8|9|0
3) Most Frequent Token : untuk menyimpan token atau kata yang paling sering muncul pada keluruhan data.
4) Emoji Remover :  untuk menghapus emoji yang tidak diperlukan.

## Tabel 4. Filtering Emoji

## Filtering Emoji

## ❤
♡
Model  N-gram  untuk  memprediksi  kata  berikutnya,  memungkinkan  untuk digabungkan  berdasarkan  kata  sebelumnya.  N-gram  adalah  salah  satu  teknik  yang  paling banyak  digunakan  dalam  analisis  teks  karena  banyak  input  data  yang  ambigu.  Setelah
langkah pra-pemrosesan, data yang sudah selesai dapat dilihat sebagai visualisasi cloud kata yang menggunakan visualisasi Word Cloud yang terdapat di fitur add-in di Microsoft Excel.
Gambar 1. Word Cloud

## b. Stemming
Proses stemming ialah proses pengubahan kata ke dalam bentuk kata-kata dasar. Bentuk proses stemminng dapat diihat di tabel berikut.

## Tabel 5. Proses Stemming
No. Proses stemming
1. Fitur Terbaik: baik, bagus Sepadan dengan Harga: lumayan Bagus dan ori hpnya. Terima kasih reseller. Suka banget.
2. Barang bagus no minus cuman pengiriman agak lama, semoga kedepannya lebih diperbaiki, thanks samsung
3. Pelayanan sangat baik dan ramah admin pun bisa memberikan kesan terbaik untuk para pembelinya. terimakasih paketku telah mendarat dengan baik
4. Bagus, produk original Sudah Order yang ke-3 kali dan hasilnya memuaskan. Thanks samsung.
5. Pesanan diterima dengan baik. Pengiriman cepat. Barang mulus. Kardus juga tidak penyok. Terima kasih.

## c. Labelling
Peneliti melakukan pengecekan data dengan melakukan labelling secara otomatis fitur dari Add-ins di software Microsoft  Excel  yaitu  Azure Machine  Learning . Data  yang digunakan adalah data ulasan dari produk Shopee “Samsung Galaxy A03 Black” berjumlah 3007  data. Labelling sentimen  yang  diinput  terdapat positive,  negative,  neutral, dan unrelated sesuai data yang ada, dan dilakukan pengecekan manual dikarenakan tidak semua datanya  sesuai  dengan Labelling yang  dilakukan  secara  otomatis . Ulasan  yang  tidak mengandung  komentar  atau  kosong  akan  diberi label  unrelated,  dan akan  dihapus  hingga menyisakan label positive, negative, dan neutral.
Tabel 6. Total jumlah data yang telah diberi kelas sentimen Menggunakan Unrelated Unrelated dihapus Kelas Jumlah Kelas Jumlah Positive 1335 Positive 1335 Negative 61 Negative 61 Neutral 171 Neutral 171 Unrelated 1439 Total 3006 Total 1567

## 3. Klasifikasi Naïve Bayes
Klasifikasi analisis  sentimen  dilakukan  menggunakan algoritma  naïve  bayes.  Metode yang  digunakan  pada  penelitian  ini  adalah  metode  multiligual  sentiment  dengan menggunakan  Google  Colaboratory  dan  secara  manual  melalui  Microsoft  Excel. Masing- masing data teks yang telah dianalisis memasuki tahap pemberian skor atau skoring melalui proses perhitungan. Skor ini sebagai nilai dari data analisis yang telah dianalisa oleh Azure Machine  Learning.  Visualisasi  hasil  skoring  analisis  sentimen  dapat  dilihat  pada  tabel berikut.
Tabel 7. Hasil skoring Naïve Bayes Sentimen Review text Label Score Negative Barang diterima dengan kondisi baik tidak ada cacat.
Walau bubble wrap nya tipis. Cumaan, pengirimannya  sangat  lamaa.  Masih  di  area jabodetabek reguler masa sampai 5 hari. Saran diberi pilihan jasa kirim yang lain deh. Lama banget proses kirimnya jasa kirim yg itu. Negative 0.4402 Positive hp nya bagus  banget.... nyampe dengan selamat dan barang  nya  juga  berfungsi  dengan  baik  ...  baru pertama  kali  beli  hp  di  online  dan  ternyata memuaskan terima kasih.... Positive 0.8002 Neutral Mendarat  dengan  selamat  tdk  ada  cacat,  hanya pengiriman saja yg lama. Tengkyu Negative 0.6649
Ulasan  dengan  tag  positive  adalah  yang  paling  umum  yang  menunjukkan  bahwa produk dan layanan yang ditawarkan cukup baik. Namun, bisa dilihat dari grafik, masih ada review negatif, artinya masih ada review produk dan layanan jasa kirim memiliki cacat. Total untuk setiap label klasifikasi Naive Bayesian menghasilkan 1335 ulasan berlabel positif, 171 ulasan berlabel netral dan 61 ulasan dengan label negatif. Data tersebut kemudian disaring untuk  menentukan  apa  hanya  ulasan  pelanggan  dengan  catatan  negatif  yang  digunakan sebagai bahan evaluasi bagi manajer toko.
Tabel menunjukkan contoh ulasan pelanggan yang dikategorikan di header negatif dengan  algoritma  Naive  Bayes.  Sebagian  besar  data  dengan  label  negatif  menunjukkan kekecewaan  pelanggan  tentang  paket  yang  rusak  selama  transportasi,  kekurangan  pada barang dan pengiriman lama. Mengetahui kekurangan yang ada, pengelola toko diharapkan mampu meningkatkan dan mengoptimalkan produk dan layanan yang disediakan. Setelah evaluasi sentimen dan proses klasifikasi data tekstual menggunakan algoritma Naive Bayes, setelah itu visualisasi dapat dilakukan untuk hubungan antara jumah rating yang berasal dari konsumen dan hasil klasifikasi analisis yang diberikan melalui analisis sentimen.
Tabel 8. Hasil skoring Naïve Bayes Review Text Naive Bayes Untung  hpnya  tdk  knp2  soalnya  dusnya  penyok...  Bublenya  hanya selapis...seller sep.nya ngirit, apa krn hpnya yg 1jt an kli yaa jadi bublenya jg selapis kalo 3jt an mungkin bublenya agk tebal terima kasih samsung dan jg shopee Negative
Fitur  terbaik:  belum  di  nyalain  hp  nyasepadan  dengan  harga:  ya jujur aku kecewa sama pengemasannya aja. So far lumayan lah, tp gtw kalo nanti  di  nyalain,  gatau  ini  jauh  banget  dr  medan  padahal  di  officialnya  dr jakarta  ga  ngerti  deh.  Sejauh  itu  dengan  pengemasan  dibawah  standar,  apa gunanya sy bayar proteksi gadget kalo gitu. Kerdus hp penyok. Negative Bagus kok.. Harga terjangkau.. Dan aman.. Cuman bungkusnya agak penyok.. Mungkin dikrna diekspedisi, cuman aku ngeri liatnya..... Tai.. Its oke... Aman kokk Negative Fitur terbaik: ok sepadan dengan harga: ok kecewa karna dus penyok sampe ke dalam terus pengiriman juga lama seminggu lebih kondisi sperti di foto Negative Dusssnya peyok parah, mana lama sampainya untung aman  hpnya di dalam walau bubblewrapnya tipis banget Negative Minta  pengembalian  dana  tp  di tolak  dan  barang  dikirim  balik  ke  pembeli.. Trus di suruh bayar buat samsung yg cacat ini.. Beli hp baru tp sudah rusak... Di shopee mall jg.. Negative
Klasifikasi  analisis  sentimen  yang  dihasilkan  mendapat  sebuah  grafik accuracy menggunakan  Google  Colaboratory , dimana  pemberian  review  yang  tidak  begitu  relevan atau relate dengan pemberian rating ulasan tersebut.
Gambar  4.2  menunjukkan  perbandingan  antara  nilai  akurasi  proses  training  dan proses testing. Terlihat dari grafik bahwa nilai akurasi menunjukkan sedikit perbedaan yang signifikan pada proses training, pada skenario yang hanya menggunakan proses augmentasi, akurasi  data  training  selalu  lebih  rendah  dibandingkan  dengan  skenario  yang  tidak mengalami proses augmentasi (grafik berwarna  merah). Ini karena jumlah informasi yang akan dilatih lebih kecil, sehingga sistem cenderung salah mengklasifikasikan selama proses training.
Sebaliknya,  akurasi  proses  data  testing  menunjukkan  perbedaan  yang  jelas,  pada grafik berwarna biru mengalami peningkatan. Dalam proses testing, nilai akurasi skenario yang  menerapkan  augmentasi  selalu  jauh  lebih  baik  dibandingkan  dengan  skenario  tanpa penambahan.  Nilai  akurasi  tertinggi  menunjukkan  ke  0.87  atau  setara  dengan  87%, sedangkan nilai akurasi terendah meunjukkan 0,81 atau setara dengan 81%. Karena model hasil data training lebih baik dalam skenario augmentasi, karena informasi yang digunakan dalam training sistem mempelajari data yang diperbesar dengan variasi yang berbeda.
Gambar 2. Grafik accuracy.
Penelitian  ini  juga  menunjukkan  perbandingan  nilai  loss  dari  proses  training  dan testing seperti terlihat pada gambar 3 berikut ini.

## Gambar 3. Grafik loss
Gambar 3 menunjukkan bahwa nilai loss pada proses pelatihan relatif sama untuk setiap skenario, perbedaannya kecil yaitu pada skenario. Dengan proses penambahan, nilai training loss sedikit lebih tinggi (grafik berwarna biru), karena banyaknya data. lebih besar saat  membuat  gambar  baru,  posisi  telah  ditambahkan  dengan  penambahan.  Di  sisi  lain, terdapat  perbedaan  yang  antara  skenario  pada  loss  testing,  yaitu  skenario  tanpa  proses penambahan  biasanya  memiliki  nilai  loss  yang  rendah  (grafik  berwarna  merah),  karena jumlah data training lebih sedikit dibandingkan dengan skenario dengan proses penambahan, yang mana menerima lebih banyak data dengan yang berbeda pada data akibat penambahan.
Naïve Bayes adalah salah satu algoritma paling populer untuk melakukan klasifikasi apapun (Mahardhika & Zuliarso, 2018). Hal ini dapat dibuktikan dengan hasil penelitian saat ini    akurasi  cukup  baik.  Hasil  akurasi    juga  diperoleh  dari  tahap  teks  preprocessing  yang dilakukan terpengaruh. Konversi, tokenisasi, pemfilteran dan n-gram dapat menghilangkan noise dari data sehingga data tersebut berkontribusi pada arah yang lebih baik dari proses analisis. Namun, masih banyak informasi yang hilang menghasilkan nilai prediksi yang salah. Informasi  tentang  label  netral  sebenarnya  menyalahgunakan  informasi  rahasia.  Itu
dipengaruhi oleh kata yang sulit dikenali sebagai nilai perasaan netral. Secara umum, kalimat dengan makna netral memiliki varian kata yang lebih banyak variabel dan biasanya tidak memiliki kata-kata yang khas seperti nilai-nilai emosional lainnya sulit dideteksi. Perasaan hanya memiliki dua kategori yaitu metode positif dan negatif, yang masih belum dianggap benar  untuk  memprediksi  teks  dengan  nilai  emosional  yang  netral.  Klasifikasi  penelitian menggunakan  Naive  Bayes  memberikan  prediksi  berdasarkan  1335  ulasan  dengan  rating positif, 171 rating dengan rating netral dan 61 dengan rating negatif. Berdasarkan hasil yang didapat, terlihat  penjualan Samsung Galaxy A04 Black adalah kepuasan yang cukup tinggi. Namun,  ada  pelanggan  yang  tidak  terlalu  senang  dengan  hal  itu.  Beberapa  tanda ketidakpuasan  pelanggan  berfokus  pada  kemasan  yang  rusak  selama  pengiriman, kekurangan produk dan keterlambatan pengiriman. Nilai akurasi tertinggi pada data testing menunjukkan  ke  0.87  atau  setara  dengan  87%,  sedangkan  nilai  akurasi  terendah menunjukkan 0,81 atau setara dengan 81%. Hasil tersebut menjadi salah satu faktor yang menguatkan hasil penelitian sebelumnya yang menyangkut kepercayaan pelanggan terhadap niat  mereka  untuk  membeli  produk smartphone dari  Shopee  dari  Indonesia  yang    masih dianggap belum lengkap.

## KESIMPULAN
Pada produk Samsung Galaxy A03 Black, terdapat ulasan dan penilaian dari berbagai pengguna yang telah membeli dan mendapatkan produk smartphone tersebut. Tujuan dari pengecekan ulasan data ini adalah untuk memverifikasi sentimen yang diklasifikasikan oleh model  machine  learning.  Data  yang  digunakan  dalam  penelitian  ini  adalah  data  ulasan produk ponsel pintar merk Samsung Galaxy A03 Black yang dijual secara online di Shopee Indonesia dan dikelola langsung oleh Offical Samsung Shop. Data yang telah dikumpulkan dari hasil scraper terdapat kolom nama pengguna (termasuk nama pengguna yang disensor), link akun pengguna yang tidak disensor, dan ulasan produk. Data yang digunakan berjumlah 3007  data.  Beberapa  proses  konversi  yang  digunakan  dalam  penelitian  ini  antara  lain lowercase,  remove  accents,  parse  html,  dan  remove  urls:  Penyaringan  menghilangkan komponen  yang  tidak  penting  dan  hanya  menyimpan  yang  dianggap  penting  untuk memudahkan  proses  analisis.  Model  N-gram  untuk  memprediksi  kata  berikutnya, memungkinkan untuk digabungkan berdasarkan kata sebelumnya. Masing-masing data teks yang  telah  dianalisis  memasuki  tahap  pemberian  skor  atau  skoring  melalui  proses perhitungan. Skor ini sebagai nilai dari data analisis yang telah dianalisa oleh Azure Machine Learning.  Klasifikasi analisis  sentimen  yang  dihasilkan  mendapat  sebuah  grafik accuracy dan loss menggunakan Google Colaboratory, dimana pemberian review dengan data testing dan training sesuai dengan pemberian rating ulasan tersebut. Nilai akurasi pada data testing tertinggi  menunjukkan  ke  0.87  atau  setara  dengan  87%,  sedangkan  nilai  akurasi  terendah meunjukkan 0,81 atau setara dengan 81%.

## SARAN
Berdasarkan  hasil  penelitian  sebelumnya,  penulis  memahami  bahwa  penelitian  ini masih  memiliki  banyak  keterbatasan  dan  kekurangan.  Namun  demikian,  penelitian  ini diharapkan dapat memberikan kontribusi yang bermanfaat. Adapun saran berdasarkan pada penelitian ini yang menggunakan metode klasifikasi Naïve Bayes untuk menentukan analisis sentimen pada ulasan produk ponsel pintar Samsung Galaxy A03 Black, peneliti memberi saran  sebagai  berikut:  proses  pembelian  produk  Samsung  Galaxy  A03  Black  terdapat beberapa  kendala  seperti  pengiriman  yang  terlambat, packaging yang  kurang  baik,  dan produk  yang  sudah  rusak  tetapi  tetap  dikirim,  diharapkan  dapat  memberikan  kebijakan
dengan  upayamenarik  keputusan  pembelian  konsumen  dengan  tetap  memperhatikan package produk maupun kualitas produk dengan baik.
Bagi akademisi dan pembaca agar memperluas penelitian dengan mempertimbangkan variabel  lain  yang  mempengaruhi  keputusan  pembelian  seperti  lokasi,  persepsi  harga, promosi  penjualan  dan  lain-lain.  Dan  bagi  peneliti  selanjutnya  diharapkan    dapat menggunakannya sebagai sumber informasi dan sumber referensi penelitian, dan penelitian selanjutnya dilakukan  berdasarkan informasi yang lebih lengkap dan menyeluruh.

## DAFTAR PUSTAKA
Anggraeni,  R.  R.  D.,  &  Rizal,  A.  H.  (2019).  Pelaksanaan  Perjanjian  Jual  Beli  Melalui Internet (E-Commerce) Ditinjau Dari Aspek Hukum Perdataan. SALAM: Jurnal Sosial Dan Budaya Syar-I , 6 (3), 223–238.
Gunawan,  B.,  Sastypratiwi,  H.,  &  Pratama,  E.  E.  (2018).  Sistem  Analisis  Sentimen  pada Ulasan  Produk  Menggunakan  Metode  Naive  Bayes. JEPIN  (Jurnal  Edukasi  Dan Penelitian Informatika) , 4 (2), 113–118.
Harli, I. I., Mutasowifin, A., & Andrianto, M. S. (2021). Pengaruh online consumer review dan  rating  terhadap  minat  beli  produk  kesehatan  pada  e-marketplace  Shopee  selama masa pandemi COVID-19. INOBIS: Jurnal Inovasi Bisnis Dan Manajemen Indonesia , 4 (4), 558–572.
Mahardhika, Y. S., & Zuliarso, E. (2018). Analisis Sentimen Terhadap Pemerintahan Joko Widodo Pada Media Sosial Twitter Menggunakan Algoritma Naives Bayes Classifier . Muhathir,  M.,  Santoso,  M.  H.,  &  Muliono,  R.  (2020).  Analysis  NaÃ¯  ve  Bayes  In Classifying  Fruit  by  Utilizing  Hog  Feature  Extraction. Journal  of  Informatics  and Telecommunication Engineering , 4 (1), 151–160.
Muktafin,  E.  H.,  Kusrini,  K.,  &  Luthfi,  E.  T.  (2020).  Analisis  Sentimen  pada  Ulasan Pembelian Produk di Marketplace Shopee Menggunakan Pendekatan Natural Language Processing. Jurnal Eksplora Informatika , 10 (1), 32–42.
Qamal, M. (2021). Analisis Sentimen Toko Online Menggunakan Algoritma Naive Bayes Classifier. Jurnal Teknologi Terapan and Sains 4.0 , 2 (3), 641–650. Safitri,  R.,  Alfira,  N.,  Tamitiadini,  D.,  Dewi,  W.  W.  A.,  &  Febriani,  N.  (2021). Analisis Sentimen: Metode Alternatif Penelitian Big Data . Universitas Brawijaya Press. Suparyati,  S.,  &  Fathurrahman,  A.  (2022).  Analisis  Sentimen  Dengan  Klasifikasi  Naïve Bayes pada Review Hotel Tripadvisor. JURNAL ILMIAH INFORMATIKA , 10 (01), 20– 24.
Watrianthos, R., Suryadi, S., Irmayani, D., Nasution, M., & Simanjorang, E. F. S. (2019). Sentiment  analysis  of  traveloka  app  using  naïve  bayes  classifier  method. Int.  J.  Sci. Technol. Res , 8 (7), 786–788.

## This Work is Licensed under a
Creative Commons Attribution-ShareAlike 4.0 International License