## Analisis Sentimen Customer Feedback Tokopedia Menggunakan Algoritma Naïve Bayes
Aldian Umbu Tamu Ama * , Deva Nita Mulya, Yashinta Putri D Astuti, Ignatius Bias Galih Prasadhya
Bisnis Digital, Politeknik Bhakti Semesta, Salatiga, Indonesia Email: 1,* aldhian.umbu@gmail.com, 2 devanitamulya@gmail.com, 3 yashintaputrida@gmail.com,
4 biasgalihprasadhya@gmail.com Email Penulis Korespondensi: aldian.umbu@gmail.com Submitted: 02/09/2022 ; Accepted: 26/09/2022 ; Published: 30/09/2022
Abstrak –Produk dan pelanggan punya hubungan yang erat, oleh karena itu UMKM perlu membangun hubungan yang baik dengan  pelanggan.  Cara  yang  paling  umum  dilakukan  oleh  perusahaan  atau  UMKM  adalah  dengan  melihat  ulasan  yang diberikan, hal ini yang disebut dengan customer feedback. Hasil customer feedback kepada perusahaan atau UMKM dapat meningkatkan pelayanan dan kualitas produk. Permasalahan yang muncul adalah bagaimana mengolah banyak ulasan yang diberikan,  khususnya  ulasan  dari  marketplace  seperti  Tokopedia. Maka  dari  itu,  diperlukan  metode untuk  melihat  ulasan pengguna terhadap produk yang dijual , apakah positif atau negatif. Metode yang akan digunakan adalah analisis sentimen. Analisis sent imen adalah proses memahami dan mengekstrak serta melakukan pengolahan data secara otomatis berupa teks dan  dapat menghasilkan  informasi  sentimen  yang  tersirat  di  dalam  sebuah kalimat. Tahapan  yang  dilakukan  adalah pengambilan data ulasan pelangg an House of Smith di Tokopedia, pelabelan secara manual untuk mendapatkan data u lasan positif  dan  negatif,  data pr eprocessing,  pembobotan  TF-IDF  dan klasifikasi  menggunakan  algoritma  Naïve  Bayes . H asil pengujian analisis senti men menggunakan algoritma Naïve Bayes dengan pembobotan TF-IDF menghasilkan akurasi sebesar 83% dengan visualisasi persebaran kata yang paling banyak muncul adalah kata ‘bagus’, ‘nyaman’ dan ‘pakai’ untuk ulasan positif. Ulasan negatif kata yang paling banyak muncul adalah ‘bahan’ dan ‘tipis’ yang menunjukkan pembeli ada yang merasa produk memiliki bahan yang tipis.
Kata Kunci: Naïve Bayes; Analisis Sentimen; Customer Feedback; UMKM
Abstract– Products and customers have a close relationship, therefore UMKM need to build good relationships with customers. The most common way that companies or UMKM do is to look at the reviews given, this is called customer feedback. The results of customer feedback to companies or UMKM can improve service and product quality. The problem that arises is how to process the many reviews given, especially reviews from marketplaces like Tokopedia. Therefore, a method is needed to see user  reviews of  the products being sold, whether positive  or negative.  The  method  that  will  be used  is sentiment  analysis. Sentiment  analysis  is  the  process  of  understanding  and  extracting  and  automatically  processing  text  data  and  can  produce sentiments that are displayed in a sentence. The steps taken were taking House of Smith customer review data at Tokopedia, manual labeling to get positive and negative data reviews, data preprocessing, TF-IDF weighting and classification using the Naïve  Bayes  algorithm.  The  results  of  sentiment  testing  using  the  Naïve  Bayes  algorithm  with  TF-IDF  weighting  quality accuracy of 83% with visualization of the distribution of words that appear the most are the words 'good', 'comfortable' and 'use' for positive reviews. The most frequent negative reviews were 'material' and 'thin' which indicated that some buyers felt that the product had a thin material.
Keywords : Naive Bayes; Sentiment Analysis; Customer Feedback; UMKM

## 1. PENDAHULUAN
Perkembangan digitalisasi di Indonesia mendorong terciptanya ekosistem digital yang semakin baik. Pertumbuhan ekonomi  digital  Indonesia  banyak  ditopang  oleh  sektor  e-commerce,  yaitu  sekitar  34%  atau  setara  dengan  Rp 1.900  triliun  pada  tahun  2030.  Selain  itu,  pandemi  yang  melanda  Indonesia  sejak  awal  tahun  2020  telah meningkatkan  penggunaan  internet  dan  mempercepat  adopsi  digital  pada  kegiatan  sehari-hari.  Pemerintah  pun mendorong  masyarakat  untuk  dapat  beradaptasi  menggunakan  aplikasi  digital.  Salah  satunya  adalah  dengan program #BanggaBuatanIndonesia yang mendorong UMKM (Usaha Mikro, Kecil, dan Menengah)  untuk dapat go digital dan mulai berjualan menggunakan platform digital [1].
Program  pemerintah  tersebut  mendorong  brand-brand  lokal  untuk go  digital dengan  memanfaatkan platform  marketplace atau  pasar  dagang.  Lebih  spesifik  tentang platform  marketplace atau  pasar  dagang, Telkomsel menemukan bahwa platform pasar dagang online yang paling dipercaya oleh para pengusaha UMKM (Usaha Mikro, Kecil, dan Menengah) di Indonesia untuk aktivitas penjualan online mereka, secara berturut-turut adalah  Tokopedia  (76%),  Shopee  (75%),  Lazada (19%),  Bukalapak  (18%),  dan  Blibli  (14%)  [2].  Tentu  hal  ini perlu  dimanfaatkan  sebaik  mungkin  oleh  UMKM,  khususnya  produk  lokal  untuk  menggunakan platform marketplace atau pasar dagang dalam memasarkan produknya. Situasi  ini  juga  di  dukung  survei  " Mayoritas  Masyarakat  Indonesia  Pernah  Belanja  Online "  kolaborasi Katadata  Insight  Centre  dengan  Kementerian  Komunikasi  dan  Informatika  (Kominfo)  dengan  jumlah  10  ribu responden dari 34 propinsi, menunjukan hasil survei 37,9 persen responden belanja secara daring beberapa bulan sekali. Sekitar 27 persen responden mengaku belanja online sebulan sekali. Di tingkat yang lebih intens sekitar 14 responden  mengaku  belanja  online  dua  hingga  tiga  kali  sebulan.  Di  bawahnya,  ada  sekitar  delapan  persen responden yang mengaku belanja online seminggu sekali. Dan paling kecil, hampir dua persen responden mengaku
melakukannya setiap hari [3]. Ini menunjukkan mayoritas penduduk Indonesia pernah setidaknya belanja online melalui platform marketplace untuk memenuhi kebutuhan mereka.
Pemanfaatan  marketplace  atau  pasar  dagang  untuk  menjual  produk juga  perlu  mendorong  pelaku  bisnis untuk  mengetahui  kekurangan  maupun  keunggulan  dari  produk  yang  mereka  jual.  Tahapan  ini  bisa  dilakukan dengan pendekatan user’s voice , atau lebih dikenal dengan istilah customer feedback. Customer feedback sendiri adalah cara untuk mengetahui berbagai tanggapan pelanggan terhadap bisnis yang sedang dijalani, baik tanggapan terhadap aspek kualitas produk atau pelayanan yang diberikan [4].
Penelitian yang telah dilakukan oleh Eunil Park dkk berkaitan dengan analisis sentimen customer feedback industri  penerbangan  global.  Penelitian  ini  menyelidiki  determinan  potensial  dari  kepuasan  yang  dirasakan pelanggan  dengan  layanan  penerbangan  [5].  Kemudian  penelitian  oleh  Markus  Schuckert  dkk,  memanfaatkan customer feedback dari komentar di media sosial untuk mengkategorikan segmentasi pelanggan dan bagaimana hotel  bisa  membangun  strategi  untuk  meningkatkan  pelayanan  mereka  [6].  Penelitian  lain  berkaitan  dengan penggunaan algoritma Naïve Bayes dilakukan oleh Eka Afrianti dkk, dimana penelitian tersebut mengklasifikasi laporan pelanggan PT. PLN (Persero) WS2JB Palembang Area agar cepat ditanggapi [7].
Dikarenakan  tidak  banyak  penelitian  yang  melakukan  analisis  sentimen customer  feedback ,  khususnya pada platform  marketplace Tokopedia,  maka  dalam  penelitian  ini  akan  dilakukan  analisis  sentimen customer feedback khususnya  ulasan  pembeli  pada  salah  satu  brand  lokal  yang  ada  di  Tokopedia.  Penelitian  ini  akan menjelaskann  proses  dan  hasil  analisis  sentimen  dengan  menggunakan  algoritma  Naïve  Bayes  dengan menggunakan  bahasa  pemrograman  Python.  Bahasa  Pemrograman  Python  dipilih  karena  kemudahan  dalam penggunaannya dan telah memiliki banyak lybrary untuk mendukung analisis sentiman. Algoritma Naïve Bayes sendiri akan dimanfaatkan sebagai metode untuk menghasilkan prediksi terhadap ulasan pembeli, apakah dalam kategori positif atau negatif. Algoritma Naïve Bayes dipilih karena telah banyak digunakan pada proses text mining dengan hasil akurasi yang tinggi [8].

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahapan  yang  dilakukan  dalam  penelitian  ini  adalah  6  tahap,  pengumpulan  data,  pelabelan  manual,  data preprocessing,  pembobotan  TF-IDF,  pemisahan  data  dengan  tujuan  membuat  data  latih,  uji  dan  klasifikasi menggunakan algoritma Naïve Bayes [9].
Gambar 1 . Tahapan Penelitian

## 2.2 Klasifikasi Naïve Bayes
Klasifikasi  Naïve Bayes dapat  memprediksi  probabilitas keanggotaan suatu  kelas pekerja berdasarkan prediksi asumsi  independen  [10].  Dengan  demikian,  peluang  masa  depan  dapat  diidentifikasi  berdasarkan  pengalaman sebelumnya. Selain itu, algoritma Naïve Bayes memiliki akurasi yang relatif tinggi meskipun memiliki data latih yang sedikit. Secara umum rumus naïve bayes yang dipakai sebagai berikut [11]:
𝑃 ( 𝑋 𝑌 ) = 𝑃(𝑋)𝑃( 𝑌 𝑋 ) 𝑃(𝑌) (1)
Dimana : X = kelas khusus P(X/Y) = probabilitas pada hipotesis R yang didasarkan dengan kondisi S P(X) = probabilitas hipotesis dari nilai R P(Y/X) = probabilitas S berdasarkan dari nilai hipotesis R P(Y) = Nilai Probabilitas dari S Untuk  menentukan  kelas  yang  cocok  dengan  mengambil  petunjuk  dari  sampel  data  dengan  mengubah  rumus umum naïve bayes sebagai berikut
𝑃 ( 𝑋 𝑌1…𝑌𝑛 ) = 𝑃(𝑋)𝑃( 𝑌1….𝑌𝑛 𝑋 )
𝑃(𝑌1…𝑌𝑛) (2)
Pengambilan Data Pelabelan
Pembobotan TF-IDF Data Preprocessing Data latih dan Data uji
Klasifikasi Algoritma Naïve Bayes
X adalah variabel untuk mempresentasikan Class dan Y1…..Yn adalah class yang belum di ketahui sehingga akan melakukan proses untuk klasifikasi .

## 3. HASIL DAN PEMBAHASAN

## 3.1 Preprocessing dan Analisis Sentimen
Data yang digunakan dalam penelitian ini diambil dari ulasan produk lokal dari toko House of Smith seperti pada gambar 2 dibawah. House of Smith adalah produk retail fashion untuk pria dan anak-anak, didirikan pada tanggal 8 Januari 2010 di Bandung.
Gambar 2 . Contoh ulasan produk
Ulasan yang diambil sebanyak 226 ulasan, dari 4 produk terlaris yaitu House of Smith Varsity Jacket - New Chamsity, House of Smith Harrington Jacket - Hangor Black, House of Smith Boxer - Boxdol Black, dan House of  Smith  Long  Cargo  Pants  -  Carmith  Cream.  Ulasan  yang  diambil  kemudian  disimpan  dalam  file  excel  yang nantinya  diolah  menggunakan  Google  Colab  dengan  pendekatan  bahasa  pemrograman  Python.  Berikut  adalah gambar dataframe ulasan produk House of Smith.
Gambar 3 . Dataset pada Google Colab
Setelah dataset di panggil ke dalam google colab maka dilakukan pelabelan seperti pada gambar 3. Data review yang telah dikumpulkan akan diberi label positif atau negatif. Proses pelabelan dilakukan secara manual. Untuk memudahkan proses pelabelan rating review dengan bintang 5 diberi label positif, sedangkan dari review dengan rating 4-1 dilihat mana yang positif dan mana yang negatif.
Kemudian  dilakukan  tahap  Tahap  preprocessing  data  dilakukan  untuk  mempermudah  proses  analisis sentimen.  Preprocessing  data  memiliki  beberapa  tahapan  mulai  dari case  folding , tokenizing , normalization , filtering (Stopword Removal) , dan stemming [12]. Case  folding merupakan  tahapan  pengolahan  data  untuk  membuat  semua  huruf  menjadi  huruf  kecil. Tahapan case folding menggunakan fungsi str.lower() . Tahapan Tokenizing akan dilakukan proses penghilangan angka, penghilangan spasi, penghilangan tanda baca dan word_tokenize() untuk memecah string menjadi token [13]. Berikut contoh ulasan yang sudah di tokenize:
Gambar 4 . Proses tokenize
Berikutnya  dilakuakn  proses Normalisasi untuk  membersihkan  kata-kata  yang  berupa  kata  sehari- hari/kata slank yang masih  berantakan sehingga menjadi  kata bahasa Indonesia yang benar). Setelah dilakukan proses normalisasi, kata-kata akan di Filtering ( Stopword Removal ) dimana akan menggunakan stopword bahasa Indonesia yang diperoleh dari library NLTK untuk memfilter Dataframe . Proses terakhir adalah Stemming yaitu mencari kata dasar dan menghilangkan imbuhan. Berikut hasil filtering dan stemming [14].
Gambar 5 . Filtering dan S temming
Ulasan  yang  sudah  di stemming kemudian  digabungkan  kedalam  kolom  baru  bernama  ulasan_clean sehingga  kolom  terebut  dapat  dipakai  untuk  melakukan  perbandingan  jumlah  data  ulasan  positif  dan  negatif. Barang yang dijual brand House of Smith cenderung mendapatkan respon positif dari pengguna. Ini bisa dilihat dari visualisasi data yang sering  digunakan dalam ulasan. Visualisasi data ini dilakukan pada  keseluruhan data baik positif maupun negatif yang dibuat secara terpisah, kemudian disajikan dalam bentuk wordcloud .
Berdasarkan gambar 4 dapat dilihat visualisasi kata yang paling banyak muncul pada ulasan yang memiliki label sentimen negatif. Kata yang paling sering muncul dan mengarah ke ulasan negatif membahas seputar : bahan, tipis, kirim, kualitas, minus, panas, barang, resleting, kerah dan sebagainya.
Gambar 7 . Wordcloud ulasan positif
Sedangkan pada gambar 5 menunjukkan visualisasi sentimen positif dari ulasan yang diberikan. Kata yang paling sering muncul dan mengarah kepada ulasan positif adalah kata: bagus, mantap, sesuai, nyaman, kualitas dan sebagainya.
Setelah semua kata digabungkan, maka selanjutnya akan dilakukan pembobotan TF-IDF(term frequency– inverse document) untuk menghitung dengan menggunakan python pembobotan kata dalam dokumen data ulasan. TF-IDF  memungkinkan  transformasi  data  tekstual  menjadi  data  numerik.  Metode  TF-IDF  juga  dapat meningkatkan  akurasi  dalam  proses  analisis.  Proses  penghitungan  bobot  kata  pada  metode TF-IDF  merupakan hasil  dari  penggabungan  dua  konsep  yaitu  TermFrequence  (TF)  dan  Inverse  Document  Frequency  (IDF)  [15]. Proses penghitungan pembobotan TF-IDF menggunakan modul scikit-learn , yaitu TfidfVectorizer() . Hasil dari pembobotan tf-idf kemudian dilakukan pembagian data latih dan data uji untuk proses klasifikasi prediksi menggunakan model algoritma Naïve Bayes. Pembuatan data latih dan data uji bertujuan untuk membagi data  dari  data  preprocessing  menjadi  perbandingan  tertentu.  Proses  ini  menggunakan  library sklearn.model_selection dengan modul  train_test  _split  untuk  membagi  data training (X_train  dan y_train) dan data uji (X_test dan y_test) dengan persentase 75% data latih dan 25% data uji dan data pilih label yang merupakan variabel bebas. Kolom label akan digunakan sebagai parameter klasifikasi prediktif.
Penggunaan metode algoritma n aïve bayes untuk mengetahui sentimen ulasan pengguna dengan klasifikasi 2 kelas positif dan negative menghasilkan output sebagai berikut:
Gambar 8 . Hasil klasifikasi algoritma Naïve Bayes
Berdasarkan gambar 6, didapatkan hasil  model algoritma Naïve Bayes  yang memberikan akurasi  cukup baik sampari 83%. Dengan hasil akurasi yang mendekati 100%, yaitu sebesar 83% membuktikan cukup tingginya tingkat akurasi analisis sentimen menggunakan klasifikasi Naïve Bayes.

## 4. KESIMPULAN
Dari hasil penelitian di atas, yang dapat dilihat dari visualisasi persebaran kata yang paling banyak muncul adalah kata ‘bagus’, ‘nyaman’ dan ‘pakai’ untuk ulasan positif dimana kata ini merupakan kata ganti yang mendefinisikan produk yang dibeli.  Sedangkan ulasan negatif kata yang paling banyak muncul adalah ‘bahan’ dan ‘tipis’ yang menunjukkan pembeli ada yang merasa produk memiliki bahan yang tipis.  Selain itu ada juga sentimen negatif seperti ‘kirim’ yang mengarah kepada proses pelayanan toko maupun tokopedia sendiri. Hasil penelitian dengan menggunakan Naïve Bayes memperoleh skor tertinggi sebesar 83%, bisa dilihat kalau pembeli yang memberikan ulasan lebih banyak memberikan sentimen positif.

## REFERENCES
[1] Katadata  Insight  Center,  “Status  Literasi  Digital  di  Indonesia  Ringkasan  Eksekutif,”  2021,  [Online].  Available: https://katadata.co.id/StatusLiterasiDigital
[2] tSurvey.id,  “tSurvey.id  Rilis  Hasil  Survei  Pemanfaatan  eCommerce  Paling  Dipercaya  dan  Diandalkan  oleh  UMKM Indonesia 2022,” 2022. https://www.telkomsel.com/about-us/news/tsurveyid-rilis-hasil-survei-pemanfaatan- ecommerce-paling-dipercaya-dan-diandalkan
[3] D.  Hariyanti,  “Mayoritas  Masyarakat  Indonesia  Pernah  Belanja  Online,”  2021.  [Online].  Available: https://databoks.katadata.co.id/datapublish/2022/04/27/mayoritas-masyarakat-indonesia-pernah-belanja-online
[4] D. Mourtzis et al. , “Customer feedback gathering and management tools for product-service system design,” Procedia CIRP , vol. 67, pp. 577–582, 2018, doi: 10.1016/j.procir.2017.12.264.
[5] E. Park, Y. Jang, J. Kim, N. J. Jeong, K. Bae, and A. P. del Pobil, “Determinants of customer satisfaction with airline services: An analysis of customer feedback big data,” J. Retail. Consum. Serv. , vol. 51, no. June, pp. 186–190, 2019, doi: 10.1016/j.jretconser.2019.06.009.
[6] M. Schuckert, S. Liang, R. Law, and W. Sun, “How do domestic and international high-end hotel brands receive and manage  customer  feedback?,” Int.  J.  Hosp.  Manag. ,  vol.  77,  no.  February,  pp.  528–537,  2019,  doi: 10.1016/j.ijhm.2018.08.017.
[7] F. Fathoni, E. Afrianti, and R. I. Heroza, “Klasifikasi Teks dengan Naïve Bayes Classifier (NBC) untuk Pengelompokan Keterangan Laporan dan Durasi Recovery Time Laporan Gangguan Listrik PT. PLN (Persero) WS2JB Area Palembang,” JSI J. Sist. Inf. , vol. 12, no. 1, pp. 1955–1961, 2020, doi: 10.36706/jsi.v12i1.9586.
[8] A. P. Natasuwarna, “Analisis Sentimen Keputusan Pemindahan Ibukota Negara Menggunakan Klasifikasi Naive Bayes,” Semin. Nas. Sist. Inf. dan Tek. Inform. SENSITIF , pp. 47–53, 2019.
[9] R. Risnantoyo, A. Nugroho, and K. Mandara, “Sentiment Analysis on Corona Virus Pandemic Using Machine Learning Algorithm,” J. Informatics Telecommun. Eng. , vol. 4, no. 1, pp. 86–96, 2020, doi: 10.31289/jite.v4i1.3798.
[10]  F.  A.  D.  Aji  Prasetya  Wibawa,  Muhammad  Guntur  Aji  Purnama,  Muhammad  Fathony  Akbar,  “Metode-metode Klasifikasi,” Pros. Semin. Ilmu Komput. dan Teknol. Inf. , vol. 3, no. 1, p. 134, 2018.
[11]  D.  Tuhenay,  “Perbandingan  Klasifikasi  Bahasa  Menggunakan  Metode  Naïve  Bayes  Classifier  (NBC)  Dan  Support Vector  Machine  (SVM),” JIKO  (Jurnal  Inform.  dan  Komputer) ,  vol.  4,  no.  2,  pp.  105–111,  2021,  doi: 10.33387/jiko.v4i2.2958.
[12]  F. S. Jumeilah, “Penerapan Support Vector Machine (SVM) untuk Pengkategorian Penelitian,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi) , vol. 1, no. 1, pp. 19–25, 2017, doi: 10.29207/resti.v1i1.11.
[13]  M.  J.  S.  Keenan, Advanced  Positioning,  Flow,  and  Sentiment  Analysis  in  Commodity  Markets .  2019.  doi: 10.1002/9781119603849.ch1.
[14]  R. Dale, Classical approaches to natural language processing . 2010.
[15]  N. K. Widyasanti, I. K. G. Darma Putra, and N. K. Dwi Rusjayanthi, “Seleksi Fitur Bobot Kata dengan Metode TFIDF untuk Ringkasan Bahasa Indonesia,” J. Ilm. Merpati (Menara Penelit. Akad. Teknol. Informasi) , vol. 6, no. 2, p. 119, 2018, doi: 10.24843/jim.2018.v06.i02.p06.