## Analisis Sentimen Produk Kecantikan Jenis Serum Menggunakan Algoritma Naïve Bayes Classifier
Muhammad Hamka 1,* , Naila Alfatari 1 , Dhani Ratna Sari 2
1 Teknik Informatika, Universitas Muhammadiyah Purwokerto, Purwokerto, Indonesia
2 Bisnis Digital, Institut Teknologi dan Bisnis Muhammadiyah Purbalingga, Purbalingga, Indonesia Email: 1,* muhammadhamka@ump.ac.id, 2 alfatnaila440@gmail.com, 3 dhani_ratnasari@itbmp.ac.id Email Penulis Korespondensi: muhammadhamka@ump.ac.id Submitted: 24/08/2022 ; Accepted: 26/09/2022 ; Published: 30/09/2022
Abstrak –Peningkatan  konsumsi  produk  kecantikan  sebagai  salah  satu  gaya  hidup  mengakibatkan  meningkatnya  opini masyarakat terhadap produk kecantikan yang digunakan. Umumnya ulasan diberikan melalui tulisan di media sosial. Penelitian ini  membahas  klasifikasi  analisis  sentimen  terhadap  penggunaan  produk  kecantikan  jenis  serum  di  Twitter  menggunakan algoritma Naïve Bayes Multinomial. Analisis sentimen produk kecantikan jenis serum dilakukan untuk memberikan informasi dan  preferensi  kepada  masyarakat  mengenai  kualitas  suatu  produk.  Hasil  informasi  dan  preferensi  tersebut  menjadi  acuan pertimbangan pemilihan produk kecantikan serum yang sesuai.  Data yang digunakan dalam penelitian ini sebanyak 27.587 tweet dengan menggunakan tiga kata kunci yaitu “serum”, “serumwajah”, dan “serumkecantikan”. Data tweet  dibagi menjadi data latih dan data uji dengan jumlah data latih sebanyak 22.070 tweet dan data uji sebanyak 5.518 tweet. Data dikategorikan berdasarkan  nilai  polaritas  menggunakan kamus  lexicon  senticnet  7.  Hasil  analisis  sentimen  positif  sebesar 35%,  sentimen negatif sebesar 63,8% dan sentimen netral sebesar 1,2%. Hasil klasifikasi menggunakan Naïve Bayes Multinomial memperoleh nilai akurasi tertinggi sebesar 80%. Hasil Confusion Matrix mendapatkan nilai precision tertinggi sebesar 88%, recall tertinggi sebesar 81%, dan f1-Score tertinggi sebesar 86%.
Kata Kunci: Analisis Sentimen; Lexicon-Based; TF-IDF; Naïve Bayes Multinomial; Produk Kecantikan Serum
Abstract– The increased consumption of beauty products as a  lifestyle has increased public opinion on the beauty products used. Generally, reviews are given through posts on social media. This study discusses the classification of sentiment analysis on the use of serum beauty products on Twitter using the Naïve Bayes Multinomial algorithm. Sentiment analysis of serum beauty products is carried out to provide information and preferences to the public regarding the quality of a product. The results  of  the  information  and  preferences  become  a  reference  for  consideration  in  choosing  the  appropriate  serum  beauty product. The data used in this study were 27,587 tweets using three keywords, namely "serum," "face serum", and "beauty serum". Tweet data is divided into training data and test data with the number of training data as much as 22,070 tweets and test data as much as 5,518 tweets. The data is categorized using the lexicon senticnet 7 dictionary based on polarity values. The results  of  the  analysis  of  positive  sentiment  are  35%,  negative  sentiment  is  63.8%,  and  neutral  sentiment  is  1.2%.  The classification results using Naïve Bayes Multinomial obtain the highest accuracy value of 80%. The Confusion Matrix results get the highest precision value of 88%, the highest recall of 81%, and the highest f1-Score of 86%.
Keywords : Sentiment Analysis; Lexicon-Based; TF-IDF; Naïve Bayes Multinomial; Serum Beauty Products

## 1. PENDAHULUAN
Produk  kecantikan  adalah  produk  yang  digunakan  untuk  merawat  kesehatan  kulit  yang  berfungsi  untuk menonjolkan daya pikat. Penggunaan produk kecantikan saat ini sudah menjadi gaya hidup banyak [1]. Saat ini Indonesia  menjadi  pasar  terbesar  produk  skincare  sepanjang  tahun  2018.  Pasar  produk  Skincare  memberikan kontribusi  sebesar US$2.022 juta untuk produk kosmetik  dan US$5.502 juta untuk poduk perawatan tubuh  [2]. Hal  tersebut  berpengaruh  terhadap  jumlah  konsumen  yang  memberikan  review  untuk  produk  yang  mereka gunakan. Hasil review membantu konsumen lain yang sedang mempertimbangkan untuk membeli suatu produk dan memberikan daya tarik kepada masyarakat tentang suatu produk [3].
Seiring pertumbuhan jumlah pengguna media sosial di Indonesia, masyarakat dalam memberikan review terhadap  suatu  produk  biasanya  menggunakan  media  sosial.  Berdasarkan  data  Asosiasi  Penyelenggara  Jasa Internet Indonesia pada tahun 2022, media sosial merupakan konten internet yang paling sering diakses dengan jumlah mencapai 89,15 % [4].  Semntara itu, data dari We Are Social menunjukkan jumlah pengguna media sosial di Indonesia pada Februari 2022 mencapai 191,4 juta atau setara dengan 68,9% populasi penduduk Indonesia [5]. Sedangkan 3 (tiga) media sosial yang sering digunakan yaitu Facebook, Twitter dan Instagram [6]. Sedangkan di bulan Februari tahun 2021 Indonesia menjadi negara urutan ke lima pengguna Twitter terbanyak dengan jumlah sebanyak 63,6% [7]. Salah satu pemanfaatan data dari media sosial adalah analisis sentimen.  Analisis sentimen digunakan  untuk  menganalisis  klasifikasi  jenis  opini  dokumen,  ulasan,  atau  pendapat  berdasarkan  emosi  yang diungkapkan sehubungan dengan topik tertentu [8], [9]. Analisis sentimen banyak diterapkan di berbagai bidang untuk menilai suatu ulasan yang diberikan oleh masyarakat, baik melalui komentar di media sosial atau melalui komentar  suatu  produk.  Selain  untuk  mengetahui  kecenderungan  opini  masyarakat  terhadap  suatu  isu,  analisis sentimen juga digunakan untuk meningkatkan mutu suatu produk, memperbaiki layanan, menilai suatu kebijakan berdasarkan ulasan-ulasan yang diberikan oleh masyarakat [10], sebagai contoh untuk meningkatkan layanan e- commerce [11], tanggapan masyarakat terkait penyebaran virus COVID-19 [12], penggunaan Bitcoin [13], serta ulasan suatu produk [10].
Hadirnya media sosial membawa perubahan konsumen atau masyarakat pada cara memberikan opininya. Umumnya  masyarakat  atau  konsumen  mengekspresikan  pendapat  tentang  sebuah  produk,  orang  atau  tempat tertentu  melalui  komentar  di  media  sosial.  Penelitian  ini  membahas  analisis  sentimen  produk  kecantikan  jenis serum  dengan  data  bersumber  dari Twitter .  Analisis  sentimen  produk  kecantikan  jenis  serum  dilakukan  untuk memberikan  informasi  dan  preferensi  kepada  masyarakat  mengenai  kualitas  suatu  produk.  Hasil  informasi  dan preferensi tersebut menjadi acuan pertimbangan pemilihan produk kecantikan serum yang sesuai  [2]. Selain itu, 27% konsumen melakukan pembelian berdasarkan ulasan dari media sosial [14]
Penelitian terkait analisis sentimen produk kecantikan dilakukan oleh [1], [15]. Penelitian [1] menggunakan algoritma Random  Forest dan  Term  Frequency  (TF)  dan  Inverse  Document  Frequency  (IDF),  akurasi  hasil klasifikasi  sentimen  mencapai  90,48%,  sedangkan  hasil  akurasi  klasifikasi  sentimen  menggunakan  metode K- Nearest Neighbor (KNN) dan Information Gain (IG) yang dilakukan oleh [15] mencapai  74,21%. Penelitian yang dilakukan  bertujuan  meningkatkan  hasil  akurasi  klasifikasi  sentimen  dengan  jumlah  dataset  yang  sangat  besar. Algoritma yang digunakan dalam klasifikasi adalah Naïve Bayes serta pembobotan term menggunakan TF-IDF. Merujuk hasil penelitian  [16] [17], penggunaan TF-IDF dalam Naïve Bayes dapat meningkatkan akurasi mencapai 97% dan 98%. Adapun pelabelan komentar opini sebelum proses ekstraksi fitur menggunakan pendekatan lexicon . Kamus lexicon yang digunakan adalah Senticnet 7 [18]. Naïve Bayes merupakan salah satu algoritma yang dapat digunakan pada klasifikasi data khususnya pada klasifikasi  teks  [19].  Algoritma  tersebut  tersebut  terbukti  dapat  memperoleh  hasil  yang  cukup  memuaskan  jika digunakan untuk klasifikasi teks [20], [21]. Salah satu varian dari Naïve Bayes yang digunakan dalam klasifikasi teks  yaitu Naïve  Bayes  Multinomial .  Model  tersebut  dikenal  memiliki  tingkat  akurasi  yang  tinggi  dengan perhitungan  yang  sederhana  [22].  Proses  klasifikasi  menggunakan  algoritma Naïve  Bayes  Multinomial memerlukan beberapa tahapan, salah satunya adalah pelabelan sentimen opini. Pelabelan data dalam penelitian ini menggunakan pendekatan lexicon-based atau berbasis kamus [23]. Pelabelan menggunakan lexicon-based bekerja dengan  cara  memberikan  nilai  polaritas  berdasarkan  skor  yang  terdapat  pada  kamus  [24].  Beradasarkan  nilai polaritas tersebut dapat ditentukan jenis sentimen suatu komentar. Tahapan selanjutnya adalah pembobotan kata menggunakan Term Frequency (TF) dan Inverse Document Frequency (IDF). Pembobotan kata bertujuan  untuk mengetahui frekuensi kemunculan kata atau term di dalam dokumen. Pembobotan nilai suatu kata dan perhitungan frekuensi  kemunculan  kata  perlu  dilakukan  karena  algoritma Naïve  Bayes  Multinomial memperhitungkan kemunculan tiap kata dalam dokumen [25].

## 2. METODOLOGI PENELITIAN

## 2.1. Tahapan Penelitian
Penelitian ini meliputi proses pengumpulan data ulasan, preprocessing , pelabelan data, visualisasi data dalam pie chart dan WordCloud ,  ekstraksi  fitur  menggunakan Term  Frequency-Inverse  Document  Frequency (TF-IDF), pemodelan Naïve Bayes Multinomial , klasifikasi Naïve Bayes Multinomial serta evaluasi model. Alur penelitian ditunjukkan pada gambar 1.
Gambar 1. Alur Penelitian
Sesuai alur penelitian pada gambar 1, tahapan penelitian ini meliputi :
1. Pengumpulan data dari media sosial Twitter menggunakan metode crawling . 2. Preprocessing untuk membersihkan data.
3. Pelabelan data opini menggunakan pendekatan lexicon-based .
4. Visualisasi hasil sentimen ulasan.
5. Ekstraksi fitur melalui perhitungan bobot tiap kata dan perhitungan frekuensi kemunculan kata menggunakan TF-IDF.
6. Pembuatan model klasifikasi sentimen menggunakan Naïve Bayes Multinomial .
7. Pengukuran evaluasi dan performa model Naïve Bayes Multinomial .

## 2.2. Pengumpulan Data Opini
Data pada penelitian ini bersumber dari komentar atau ulasan pada media sosial Twitter . Metode cryang digunakan untuk  mengumpulkan  data  opini  adalah  metode crawling dengan  memanfaatkan Twitter API.  Kata  kunci  yang digunakan untuk proses pengumpulan data yaitu 1) “#serum”, 2) “#SerumKecantikan”, dan 3) “#SerumWajah”.
Pengambilan data dimulai dari tanggal 01 Januari 2021 hingga 31 Desember 2021. Data yang diambil yaitu tweet berbahasa Indonesia dengan menggunakan tiga kata kunci yang telah disebutkan sebelumnya.

## 2.3. Preprocessing Data
Data  yang  diperoleh  selanjutnya  dilakukan preprocessing untuk  membersihkan  data  dari  karakter  tidak  valid, mengubah kata menjadi bentuk baku, serta menghilangkan kata yang tidak memiliki pengaruh terhadap analisis sentimen  [26].  Proses preprocessing terdiri  dari  beberapa  tahap,  yaitu cleaning  text , casefolding , tokenizing , normalisasi  kata, filtering , stemming dan stopword  removing untuk  menghapus  kata-kata  yang  tidak  memiliki keterkaitan dalam analisis sentimen [27].

## 2.4. Pelabelan Data Opini
Tahap selanjutnya adalah pelabelan data untuk menentukan sentimen atau polaritas dari keseluruhan opini yang sudah  didapatkan.  Proses  pelabelan  data  menggunakan  pendekatan lexicon-based . Lexicon-based merupakan kamus  yang  berisikan  kata-kata  Bahasa  Indonesia.  Kamus lexicon yang  digunakan  dalam  penelitian  ini  yaitu Senticnet  7  [18]. Berdasarkan  bobot  tiap  kata  yang  terdapat  pada  kamus  lexicon,  dapat  ditentukan  nilai polaritasnya. Nilai polaritas tersebut menjadi dasar dalam penentuan jenis sentimen. Proses pelabelan data dibagi menjadi tiga kelas sentimen yaitu sentimen positif, sentimen negatif dan sentimen netral. Opini bersifat positif jika nilai  polaritasnya  >  1,  bersifat  negatif  jika  nilai  polaritasnya  <  0,  sedangkan  opini  bersifat  netral  jika  nilai polaritasnya bernilai = 0. Untuk menentukan nilai polaritas suatu ulasan, digunakan persamaan (1) [28].
𝑆𝑐𝑜𝑟𝑒 =   ∑ 𝑆𝑐𝑜𝑟𝑒 + 𝑊 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑊 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒 𝑛 𝑖=1 (1)
Score merupakan nilai polaritas sebuah opini Twitter , nilai tersebut diperoleh dari hasil penjumlah bobot tiap  kata  positif  dan  negatif  yang  masuk  ke  dalam  kamus  Senticnet7 lexicon .  Berdasarkan  nilai score ,  dapat ditentukan polaritas sentimen suatu ulasan menggunakan persamaan (2) [29].
𝑆𝑐𝑜𝑟𝑒  { 𝑃𝑜𝑠𝑖𝑡𝑖𝑓, 𝑗𝑖𝑘𝑎 𝑆𝑐𝑜𝑟𝑒 > 0
𝑁𝑒𝑡𝑟𝑎𝑙, 𝑗𝑖𝑘𝑎 𝑆𝑐𝑜𝑟𝑒 = 0 𝑁𝑒𝑔𝑎𝑡𝑖𝑓,   𝑗𝑖𝑘𝑎 𝑆𝑐𝑜𝑟𝑒 < 0 (2)

## 2.5. Visualisasi
Visualisasi  bertujuan  untuk  menunjukkan  hasil  perbandingan  klasifikasi  sentimen  opini.  Visualisasi  hasil klasifikasi sentimen ulasan ditampilkan dalam bentuk pie chart dan Word Cloud untuk menampilkan kata yang sering muncul pada tiap klasifikasi sentimen [30].

## 2.6. Ekstraksi Fitur dan Pembobotan Kata
Esktraksi fitur dan pembobotan kata adalah menghitung pembobotan kata untuk memberikan skor frekuensi setiap term dalam  sebuah  dokumen.  Pembobotan  dilakukan  menggunakan  algoritma  TF-IDF. Term  Frequency merupakan  konsep  pembobotan  yang  menentukan  seberapa  sering  (frekuensi) term muncul  dalam  dokumen. Document  Frequency merupakan  jumlah  dokumen  dimana  term  muncul  [31].  Penentuan  nilai  ekstraksi  fitur dihitung menggunakan persamaan (3), (4), dan (5).
T𝐹 − 𝐼𝐷𝐹(𝑑, 𝑡) = 𝑇𝐷(𝑑, 𝑡) ∗ 𝐼𝐷𝐹(𝑡) (3) 𝑇𝐹(𝑑, 𝑡) = 𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑎 𝑡 𝑝𝑎𝑑𝑎 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 𝑑 𝑡𝑜𝑡𝑎𝑙 𝑘𝑎𝑡𝑎 𝑝𝑎𝑑𝑎 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 𝑑 (4) 𝐼𝐷𝐹(𝑡) = 𝑙𝑜𝑔 𝑡𝑜𝑡𝑎𝑙 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 𝑚𝑒𝑛𝑔𝑎𝑛𝑑𝑢𝑛𝑔 𝑘𝑎𝑡𝑎 𝑡 (5)

## 2.7. Pemodelan Klasifikasi Naïve Bayes Multinomial
Setelah bobot  dan term frequency  dihitung , selanjutnya setiap kata diolah menggunakan distribusi  multinomial [32]. Dalam Naïve Bayes Multinomial , urutan kejadian munculnya sebuah kata pada dokumen tidak dipedulikan. Persamaan  multinomial  yang  digunakan  dalam  pembobotan  TF-IDF  ditunjukkan  pada  persamaan  (6)  [25]  [33] [34].
P(𝑡𝑛|c) = 𝑊ct+1 (∑𝑊 ′ €𝑉𝑊′𝑐𝑡)+B′ (6) Keterangan: P(𝑡𝑛|c) : Probabilitas kata ke-n dengan  diketahui kelas c 𝑊ct + 1
: Bobot TF-IDF term t pada dokumen dengan kategori c (∑𝑊 ′ €𝑉𝑊′𝑐𝑡) : Jumlah bobot TF-IDF seluruh term pada kelas c
B′ : Jumlah IDF seluruh term pada dokumen Langkah-langkah mengklasifikasi data dengan Naïve Bayes Multinomial adalah sebagai berikut :
1) Pertama, menentukan nilai term pada dokumen yang dikategori.
2) Kedua, menentukan jumlah seluruh term pada dokumen yang dikategori.
3) Ketiga, menentukan jumlah IDF pada seluruh term.

## 2.8. Evaluasi Model Klasifikasi Naïve Bayes Multinomial
Setelah  mengetahui  hasil  prediksi  dalam  proses  klasifikasi,  langkah  selanjutnya  adalah  pengujian.  Data  yang dihasilkan  diuji  akurasinya  disajikan  dalam tabel confusion  matrix. Hasil  tabel confusion  matrix berisi  akurasi, precision , serta recall .

## 3. HASIL DAN PEMBAHASAN

## 3.1. Hasil Pengumpulan Data Opini
Data  yang  didapatkan  melalui  proses  crawling  pada  media  sosial  Twitter  dengan  menggunakan  kata  kunci  1) “#serum”,  2)  “#SerumKecantikan”,  dan  3)  “#SerumWajah”  menghasilkan  32.538  tweet  ulasan.  Contoh  hasil pengumpulan data opini tweet terkait serum kecantikan ditunjukkan pada tabel 1.
Tabel 1. Hasil Tweet Opini Serum Kecantikan
No. Tweet Opini 1 [bb] guys jadi kan aku pake produk klinik kecantikan 4ir1n yaa tp aku skrg cuma make hydra toner, night cream sama ss nya doang, dan itu bkn racikan dokter. terus aku barusan mau b e l i exfo tonernya av0skin sama minta saran serum tp kata mbaâ€•nya ginii huhuu aku  (cont..) https://t.co/WrzKjSR7Xj
2 Semakin mudah belanja di Pondok BiP.
Cek aja, pasti ada yang kamu suka! Bisa COD loh! * #PondokBiP #SegerSnow #SegerBaby #Gliserin #Kemiri #UrangAring #Skincare #Serum #Pelembab #Kecantikan #AntiAging https://t.co/uJKnEy08Et 3 Banyaknya varian skincare dan makeup bisa bikin Bunda bingung. Untuk mengetahui produk- produk kecantikan terbaik sepanjang 2021, simak di sini ya, Bunda. https://t.co/na381rZ6h7
4 @ohmybeautybank Itu sebenarnya bukan bedak guys tapi serum yg berwarna aja, bukan berarti bedak di masukin kulit kokðŸ˜Š walaupun begitu untuk tingkat keamanannya tergantung kalian nglakuinnya di klinik kecantikan mana, yg jelas itu jg berpengaruh...
5 Selebgram: Ini aku gak pake makeup, asli cuma pake serum ini doang (produknya sendiri) udah secerah ini dong kulit aku.
Me: IYE PERCAYAAA SIS, emang paling jujur dah lu semua.
… …
32.534 akibat skincarean sambil ngelamun bisabisanya gue apply  serum yg beda gue mikirnya yg kedua tadi sleeping mask semoga kulit gue aman dah
32.535 @ohmybeautybank Moist garnier yg perfect brigth vit C serum nder. Ummi aku pake itu flek itemnya berkurang banget
32.536 suka sama vitc dari indoganic light gaa lengket belum up review pdhal udah habis wkwkw serum yg vitamin gitu aku pake vit b dari commonlabs enak bestie
32.537 @soulwithcolours Kalo toner atau essen gitu bisa juga kali ya? Soalnya pen yg lebih ringan TOnya dah serum. Tapi sama retinol bisa digabungkan yg penting?
32.538 Aku pribadi suka bgt sama serum ini karena dia ga jual packaging cantik aja, tapi ingredientsnya juga ga main2 &amp; untuk kulit berjerawatku she's such a miracle ðŸ¥ºðŸ–¤
Bikin jarang berjerawat, muka cerah &amp; bekas jerawat pun cepat pudar. Di aku Bakuchiol emg bisa pudarin bekas gitu
Hasil  pengumpulan  data  opini  pada  media  sosial Twitter menggunakan  metode crawling seperti ditunjukkan pada tabel  1  memili  banyak noise seperti hashtag, kata yang tidak baku,  alamat  web (URL),  serta simbol. Oleh karena itu hasil opini Twitter tersebut perlu dilakukan preprocessing untuk menghilangkan noise dan proses normalisasi untuk menghasilkan kata yang baku serta proses stemming untuk mendapatkan kata dasarnya.

## 3.2. Hasil Preprocessing Data Opini
Data  opini  yang  diperoleh  dilakukan proprocessing untuk  membersihkan  data,  termasuk  di  dalamnya menghilangkan karakter tidak valid, karakter simbol, hashtag, tokenizing untuk memisahkan kalimat menjadi tiap kata, stopword  removing untuk  menghilangkan  kata  yang  tidak  memiliki  pengaruh  terhadap  analisis  sentimen. Proses stopword removing menggunakan library NLP-ID [35]. Kemudian dilakukan pula proses stemming untuk mengubah  tiap  kata  dalam  kalimat  ulasan  menjadi  kata  dasar.  Hasil preprocessing ,  termasuk  di  dalamnya penghapusan data duplikasi didapatkan data bersih sejumlah 27.587 tweet .

## 3.3. Hasil Pelabelan dan Visualisasi Sentimen Opini
Berdasarkan  perhitungan  skor  polaritas  sebanyak  27.587  ulasan  menggunakan  persamaan  (1)  dapat  ditentukan pelabelan  jenis  sentimen  pada  kalimat  ulasan  menggunakan  persamaan  (2). Pelabelan  data  opini menghasilkan data sentimen positif sebanyak 8.644 tweet , sentimen negatif sebanyak 18.587 tweet, dan sentimen netral sebanyak 356  tweet.  Visualisasi  hasil  analisis  sentimen  dalam  bentuk  persentase  ditunjukkan  pada  gambar  2. Sedangkan frekuensi kemunculan kata pada opini positif dan negatif dalam bentuk WordCloud ditunjukkan pada gambar 3 dan 4.
Gambar 2. Persentase Sentimen Ulasan Serum Kecantikan
Gambar  3. WordCloud Sentimen Positif
Gambar 4. WordCloud Sentimen Negatif
Berdasarkan  gambar  2,  dapat  diketahui  bahwa  mayoritas  masyarakat  berpendapat  negatif  terhadap penggunaan produk kecantikan jenis serum dengan nilai persentase mencapai 63,8 %, sedangkan persentase ulasan positif sebesar 35 %, dan persentase komentar netral sebesar 1,2%. Sedangkan berdasarkan gambar 3 kata yang sering muncul pada sentimen positif meliputi 1) “pakai serum”, 2) “serum”, dan 3) “jerawat”.  Adapun 3 (tiga) kata yang memiliki frekuensi kemunculan tertinggi pada sentimen negatif adalah 1) “banget”, 2) “coba”, 3) “beli’ dan “toner”. Contoh kalimat kata “pakai serum” ditunjukkan pada Tabel 2.
Tabel 2. Kalimat Opini Kata “pakai serum”

## Tweet Sesudah Preprocessing
D1 manfaat pakai serum berikut penjelasannya
D2 okay saya tidak tahu it is match for your skin rekomen pakai serum anti acne bersihin muka pakai bersih wajah tuh masker muka rajin cuci muka habis sekolah kuliah kerja masker gampang jerawat deh D3 kulit kusam dan jerawat langsung hempas jauh jauh setelah pakai serum hauf ini ak seneng bgt wajah jadi mulus
D4 pakai serum wajah hasil maksimal
D5 kulit wajah ku gabanyak serum fungsi jaga kondisi kulit wajah ngomong-ngomong pakai serum ketiak hasil

## 3.4. Hasil Pembobotan Kata
Data sentimen opini digunakan sebagai masukan untuk membangun model klasifikasi menggunakan Naïve Bayes Multinomial. Sebelumnya dilakukan ekstraksi fitur menggunakan persamaan (3), (4), dan (5). Hasil perhitungan ekstraksi fitur ditunjukkan pada tabel 3.
Tabel 3. Hasil Perhitungan Ekstraksi Fitur Term DF IDF log ( 𝑵 𝑫𝑭 ) TF.IDF D1 D2 D3 Saran 1 0,477 0,095 0 0 Serum 4 -0,125 -0,025 -0,017 -0,031 Bagus 1 0,477 0,095 0 0 Wajah 3 0 0 0 0 Sensitif 1 0,477 0,095 0 0 Skincare 1 0,477 0 0,032 0 Ngefek 1 0,477 0 0,032 0 Banget 1 0,477 0 0,032 0 Tuh 1 0,477 0 0,032 0 Hanasui 1 0,477 0 0,032 0 Acne 1 0,477 0 0,032 0 Ganti 1 0,477 0 0,032 0 Formula 1 0,477 0 0,032 0 Cari 2 0,176 0 0,023 0 Nampol 1 0,477 0 0,032 0 Dompet 1 0,477 0 0,032 0 Hasil 1 0,477 0 0 0,119 Optimal 1 0,477 0 0 0,119
Berdasarkan hasil ekstraksi fitur menggunakan TF-IDF pada tabel 3 menunjukkan seberapa penting akata atau term pada tiap dokumen (D1,D2,dan D3). Beberapa contoh kata penting sesuai pembobotan TF-IDF adalah sensitif, skincare, acne, formula, cari, dompet, saran, hasil, optimal.

## 3.5. Pemodelan Klasifikasi Naïve Bayes Multinomial
Data ulasan yang digunakan sebagai data latih sejumlah 22.070 atau 80% dari jumlah keseluruhan data. Sedangkan data uji yang digunakan sejumlah 5.518 atau 20% dari total data. Data latih yang telah melewati seleksi fitur seperti pada tabel 4 kemudian digunakan sebagai bahan pembelajaran model Naïve Bayes Multinomial untuk menentukan proses pengujian model dalam penentuan suatu ulasan masuk pada jenis sentimen tertentu.

## 3.6. Evaluasi Model Klasifikasi Naïve Bayes Multinomial
Sesuai pembagian data latih dan data uji, dilakukan proses klasifikasi dan evaluasi menggunakan model klasifikasi teks Naïve  Bayes  Multinomial .  Hasil  evaluasi  digunakan  untuk  menilai  tingkat  akurasi  model Naïve  Bayes Multinomial .  Hasil  menggunakan confusion  matrix ditunjukkan  pada  tabel  4.  Sedangkan  evaluasi  performa hasilnya ditunjukkan pada gambar 5.
Tabel 4. Hasil Evaluasi Confusion Matrix Aktual Prediksi Negatif Positif Netral Negatif 3.077 0 409 Positif 57 6 14
Aktual Prediksi Negatif Positif Netral Netral 615 0 1.340
Gambar 5. Hasil Evaluasi Model
Hasil pengukuran confusion matrix seperti pada tabel 5 menunjukkan bahwa model dapat mengklasifikasi sentimen negatif sebesar 3.077 ulasan, adapun opini yang seharusnya diklasifikasikan sebagai negatif akan tetapi dikelompokkan  sebagai  netral  sebesar  409  ulasan.  Untuk  klasifikasi  sentimen  positif,  model  hanya  dapat mengkategorisasikan kalimat positif sejumlah 14 tweet dari total 71 opini. Berdasarkan hasil evaluasi confusion matrix,  dapat  ditentukan  tingkat  akurasi  model  80,4%.  Sehingga  model  klasifikasi  analisis  sentimen  produk kecantikan jenis serum menggunakan Naïve Bayes Multinomial disebut baik dalam melakukan klasifikasi.
Hasil  klasifikasi  pada  data  uji  seperti  ditunjukkan  gambar  5  menunjukkan  bahwa  model  dapat mengklasifikasi sentimen jenis negatif sebesar 82 %, 88 % untuk jenis sentimen netral, dan 76 % pada klasifikasi sentimen jenis positif. Sedangkan tingkat keberhasilan model dalam menemukan kembali sebuah informasi untuk kelas negatif sebesar 91%, untuk kelas netral sebesar 9%, dan kelas positif sebesar 60%. Artinya kinerja model keberhasilan sistem dalam menemukan kembali sebuah informasi yang bersifat netral dalam dokumen sangatlah rendah.

## 4. KESIMPULAN
Berdasarkan  hasil  yang  didapatkan  selama  proses  penelitian  dapat  disimpulkan  bahwa  mayoritas  masyarakat menilai penggunaan produk kecantikan serum tidak baik, hal ini terlihat dari jumlah ulasan negatif sejumlah 18.587 tweet  atau  68,3  %.  Adapun  opini  positif  sejumlah  8.644  ulasan  atau  35  %,  sedangkan  356  tweet  atau  1,2  % menganggap  netral  terhadap  penggunaan  produk kecantikan  jenis  serum.  Sesuai  hasil  pengujian  menggunakan confusion  matrix,  model  Naïve  Bayes  Multinomial  dianggap  baik  dalam  melakukan  klasifikasi  dengan  nilai akurasi  mencapai  80,4 %. Aspek kinerja model tertinggi  pada sentimen negatif, yaitu sebesar 91%. Sedangkan keberhasilan model dalam pencarian ulasan bersifat positif mencapai 60%.

## REFERENCES
[1] A. Y. Clara, Adiwijaya, and M. D. Purbolaksono, “Aspect Based Sentiment Analysis on Beauty Product Review Using Random Forest,” J. Data Sci. Its Appl. , vol. 3, no. 2, pp. 67–77, 2020, doi: 10.34818/JDSA.2020.3.58.
[2] N. F. Andriani and A. H. Setiawan, “Analisis Preferensi Konsumen Terhadap Penggunaan Produk Skincare Korea Selatan dan Lokal,” Diponegoro J. Econ. , vol. 9, no. 4, pp. 1–8, 2020.
[3] E. Y. Prastika, S. Al Faraby, and M. Dwifebri, “Analisis Sentimen pada Ulasan Produk Kecantikan Menggunakan K- Nearest Neighbor dan Information Gain,” vol. 8, no. 5, pp. 10091–10105, 2021.
[4] APJII, “Profil Internet Indonesia 2022,” 2022.
[5] We Are Social, “Digital 2022 Indonesia, February 2022.” We Are Social, New York, pp. 24–84, 2022.
[6] F.  D.  Ananda  and  Y.  Pristyanto,  “Analisis  Sentimen  Pengguna  Twitter  Terhadap  Layanan  Internet  Provider Menggunakan Algoritma Support Vector Machine,” Matrik J. Manajemen, Tek. Inform. dan Rekayasa Komput. , vol. 20, no. 2, pp. 407–416, 2021, doi: 10.30812/matrik.v20i2.1130.
[7] A. D. Riyanto, “Hootsuite (We are Social): Indonesian Digital Report 2021,” Andi.LInk , 2021. .
[8] M.  Hamka  and  D.  Ratna  Sari,  “Analisis  Sentimen  dan  Information  Extraction  Pembelajaran  Daring  Menggunakan Pendekatan Lexicon,” Djtechno J. Teknol. Inf. , vol. 3, no. 1, pp. 21–32, Jul. 2022, doi: 10.46576/djtechno.v3i1.2194.
[9] S. Raschka, Python Machine Learning . Birmingham: Packt Publishing, 2016.
[10]  F.  A.  Hirzani,  W.  Maharani,  and  M.  A.  Bijaksana,  “Analisis  Sentimen  Review  Produk  Menggunakan  Pendekatan Berbasis Kamus,” in e-Proceeding of Engineering , 2015, vol. 2, no. 2, pp. 5891–5898.
[11]  A. R. Pulakiang, I. M. N. Wiranatha, and J. R. Batmetan, “Analisis Kualitas Layanan E-Commerce Menggunana Twitter API (Studi Kasus :Tokopedia, Lazada dan Bukalapak),” Indones. J. Inf. Syst. , vol. 4, no. April, pp. 25–31, 2019.
[12]  A. K. Fauziyyah, “Analisis Sentimen Pandemi Covid19 Pada Streaming Twitter Dengan Text Mining Python,” J. Ilm. SINUS , vol. 18, no. 2, p. 31, 2020, doi: 10.30646/sinus.v18i2.491.
[13]  R. Parlika, S. I. Pradika, A. M. Hakim, and K. R. N. M, “Analisis Sentimen Twitter Terhadap Bitcoin dan Cryptocurrency Berbasis Python TextBlob,” J. Ilm. Teknol. Inf. dan Robot. , vol. 2, pp. 33–37, 2020.
[14]  R. A. Rangsang and H. Millayani, “The Effect Of Online Consumer Review On Customer Purchase Decision Process In The E-commerce Site Blibli. com,” in e-Proceeding of Management , 2021, vol. 8, no. 6, pp. 8501–8513.
[15]  E. Y. Prastika, S. Al Faraby, and M. D. P, “Analisis Sentimen pada Ulasan Produk Kecantikan Menggunakan K-Nearest Neighbor dan Information Gain,” in e-Proceeding of Engineering , 2021, vol. 8, no. 5, pp. 10091–10105.
[16]  D. F. Zhafira, B. Rahayudi, and I. Indriati, “Analisis Sentimen Kebijakan Kampus Merdeka Menggunakan Naive Bayes dan Pembobotan TF-IDF Berdasarkan Komentar pada Youtube,” J. Sist. Informasi, Teknol. Informasi, dan Edukasi Sist. Inf. , vol. 2, no. 1, pp. 55–63, 2021, doi: 10.25126/justsi.v2i1.24.
[17]  F.  V.  Sari  and  A.  Wibowo,  “Analisis  Sentimen  Pelanggan  Toko  Online  Jd.Id  Menggunakan  Metode  Naïve  Bayes Classifier Berbasis Konversi Ikon Emosi,” J. SIMETRIS , vol. 10, no. 2, pp. 681–686, 2019.
[18]  E.  Cambria,  Q.  Liu,  S.  Decherchi,  F.  Xing,  and  K.  Kwok,  “SenticNet  7:  A  Commonsense-based  Neurosymbolic  AI Framework for Explainable Sentiment Analysis,” in Proceedings of the Language Resources and Evaluation Conference , 2022, no. June, pp. 3829–3839.
[19]  R. Watrianthos, S. Suryadi, D. Irmayani, M. Nasution, and E. F. S. Simanjorang, “Sentiment analysis of traveloka app using naïve bayes classifier method,” Int. J. Sci. Technol. Res. , vol. 8, no. 7, pp. 786–788, 2019.
[20]  S. Afrizal, H. N. Irmanda, N. Falih, and I. N. Isnainiyah, “Implementasi Metode Naïve Bayes untuk Analisis Sentimen Warga Jakarta Terhadap,” Inform.  J. Ilmu Komput. , vol. 15, no. 3, pp. 157–168, 2019, doi: 10.52958/iftk.v15i3.1454.
[21]  R. Apriani et al. , “Analisis Sentimen dengan Naïve Bayes Terhadap Komentar Aplikasi Tokopedia,” J. Rekayasa Teknol. Nusa Putra , vol. 6, no. 1, pp. 54–62, 2019, doi: 10.52005/rekayasa.v6i1.86.
[22]  A. Sabrani, I. G. W. Wedashwara W., and F. Bimantoro, “Multinomial Naïve Bayes untuk Klasifikasi Artikel Online tentang Gempa di Indonesia,” J. Teknol. Informasi, Komputer, dan Apl. (JTIKA ) , vol. 2, no. 1, pp. 89–100, 2020, doi: 10.29303/jtika.v2i1.87.
[23]  O. Kolchyna, T. T. P. Souza, P. Treleaven, and T. Aste, “Twitter sentiment analysis: Lexicon method, machine learning method and their combination,” arXiv Prepr. arXiv1507.00955 , 2015.
[24]  D.  Musfiroh et al. , “Analisis Sentimen terhadap Perkuliahan Daring di Indonesia dari Twitter Dataset Menggunakan InSet Lexicon,” MALCOM Indones. J. Mach. Learn. Comput. Sci. , vol. 1, no. 1, pp. 24–33, 2021.
[25]  A. Rahman and A. Doewes, “Online News Classification Using Multinomial Naive Bayes,” ITSMART J. Ilm. Teknol. dan Inf. , vol. 6, no. 1, pp. 32–38, 2017.
[26]  R.  Cahyadi,  A.  Damayanti,  and  D.  Aryadani,  “Recurrent  Neural Network  (RNN)  dengan  Long  Short  Term Memory (LSTM)  untuk  Analisis  Sentimen  data  instagram,” J.  Inform.  dan  Komput. ,  vol.  5,  no.  1,  pp.  1–9,  2020,  doi: 10.26798/jiko.v5i1.407.
[27]  Y. N. Prasetya, D. Winarso, and Syahril, “Penerapan Lexicon Based Untuk Analisis Sentimen Pada Twiter Terhadap Isu Covid-19,” FASILKOM , vol. 11, no. 2, pp. 97–103, 2021.
[28]  E. W. Pamungkas and D. G. P. Putri, “An experimental study of lexicon-based sentiment analysis on Bahasa Indonesia,” in Proceedings  -  2016  6th  International  Annual  Engineering  Seminar,  InAES  2016 ,  2017,  pp.  28–31,  doi: 10.1109/INAES.2016.7821901.
[29]  L. Vu and T. Le, “A lexicon-based method for Sentiment Analysis using social network data,” in Int’l Conf. Information and Knowledge Engineering , 2017, no. September, pp. 10–16.
[30]  M. N. Muttaqin and I. Kharisudin, “Analisis Sentimen Pada Ulasan Aplikasi Gojek Menggunakan Metode Support Vector Machine dan K Nearest Neighbor,” UNNES J. Math. , vol. 10, no. 2, pp. 22–27, 2021.
[31]  W. Yulita, E. D. Nugroho, and M. H. Algifari, “Analisis Sentimen Terhadap Opini Masyarakat Tentang Vaksin Covid - 19 Menggunakan Algoritma Naïve Bayes Classifier,” JDMSI , vol. 2, no. 2, pp. 1–9, 2021.
[32]  S. Fanissa, M. A. Fauzi, and S. Adinugroho, “Analisis Sentimen Pariwisata di Kota Malang Menggunakan Metode Naive Bayes dan Seleksi Fitur Query Expansion Ranking,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 2, no. 8, pp. 2766– 2770, 2018.
[33]  C. Albon, Machine learning with Python cookbook : practical solutions from preprocessing to deep learning , 1st editio. California: O’Reilly Media, 2018.
[34]  D. P. Kroese, Z. I. Botev, T. Taimre, and R. Vaisman, Data Science and Machine Learning Mathematical and Statistical Methods . Florida: CRC Press, 2020.
[35]  Z. Juwantara, F. Eddy, D. H. Sasmita, T. N. Khoolish, and B. Aldiyansyah, “Kumparan NLP Library,” Feb. 2021, doi: 10.5281/ZENODO.4556870.