ANALISIS SENTIMEN REVIEW PUBLIK PENGGUNA GAME ONLINE PADA PLATFORM STEAM MENGGUNAKAN ALGORITMA NAÏVE BAYES
Adhi Pangestu 1 , Yoseph Tajul Arifin 2 , Rizky Ade Safitri 3
1,2 Program Studi Teknologi Informasi, Universitas Bina Sarana Informatika
3 Program Studi Teknologi Informasi, Universitas Nusa Mandiri rizky.rzs@nusamandiri.ac.id

## ABSTRAK
Keberadaan  pasar  industri  game  termasuk  sebagai  salah  satu  pasar  yang  berpotensi  dari  ekonomi  industri kreatif di Indonesia. Pada tahun 2017 pendapatan industri game tercatat telah mencapai level yang sangat tinggi yakni $880 juta USD. Perkembangan industri game di Indonesia dari awal tahun 2015 dapat dikatakan sangatlah tinggi, dan jangkauan pasar industri game sangat luas. Ada 43,7 juta konsumen game (gamer) aktif di Indonesia, Indonesia menempati urutan ke-16 dunia dalam hal pendapatan game. Oleh karena itu, analisis sentimen dibutuhkan untuk menjadi salah satu cara untuk mengambil keputusan dari sebuah ulasan tanpa perlu membaca ulasan secara keseluruhan,  serta  menjadikan  itu  sebagai  usaha  untuk  melakukan  riset  pasar  atas  ulasan  publik.  Penelitian  ini bertujuan untuk menganalisis sentimen ulasan pengguna di platform Steam menggunakan algoritma Naïve Bayes. Platform  gaming  seperti  Steam  menjadi  tempat  yang  populer  bagi  pengguna  untuk  berbagi  pengalaman  dan pendapat  mereka  tentang  game  yang  dimainkan.  Analisis  sentimen  memberikan  wawasan  berharga  bagi pengembang game dan pihak terkait untuk memahami respons pengguna terhadap produk mereka. Penelitian ini menggunakan data ulasan game dari Kaggle, dengan fokus pada tahun 2021, yang melalui proses filtering seperti case  folding,  tokenizing,  stopwords  removal,  dan  stemming  menggunakan  RapidMiner.  Data  kemudian  dibagi menjadi data training (1050 examples) dan data testing (494 examples) setelah proses filtering. Algoritma Naïve Bayes  diterapkan  pada data training  untuk  membentuk  model  klasifikasi.  Hasil  pengujian  menunjukkan  akurasi 80,97%,  recall  positif  78,49%,  dan  recall  negatif  86,67%.  Presisi  untuk  prediksi  positif  mencapai  93,10%, sedangkan presisi untuk prediksi negatif mencapai 63,73%. F1-Score, gabungan dari presisi dan recall, mencapai 84,68%.  Hasil  akurasi,  recall,  presisi,  dan  F1-  Score  menunjukkan  kemampuan  model  dalam  mengidentifikasi sentimen positif dan  negatif.  Hasil dari penelitian ini adalah, algoritma Naïve Bayes dapat  memberikan analisis sentimen  yang  baik  dalam  mengklasifikasikan  ulasan  pengguna  di  platform  Steam.  Penelitian  ini  juga  dapat memberikan  wawasan  berharga  bagi  pengembang  game  dan  pihak  terkait  dalam  meningkatkan  kualitas  produk mereka.
Kata kunci : Analisis Sentimen, Naive Bayes, Performance

## 1. PENDAHULUAN
Keberadaan  pasar  industri  game  termasuk sebagai salah satu pasar yang berpotensi dari ekonomi industri  kreatif  di  Indonesia.  Pada  tahun  2017 pendapatan industri game tercatat telah mencapai level yang sangat  tinggi yakni $880 juta USD. Perkembangan  industri  game  di  Indonesia  dari  awal tahun  2015  dapat  dikatakan  sangatlah  tinggi,  dan jangkauan  pasar  industri  game  sangat  luas.  Ada  43,7 juta  konsumen  game  (gamer)  aktif  di  Indonesia, Indonesia  menempati  urutan  ke-16  dunia  dalam  hal pendapatan  game  [1]. Namun,  game  sulit  menjadi populer  apabila  tidak  bergabung  dengan  sebuah platform.  Dibutuhkan  tempat  atau  platform  penyedia berbagai  macam  game  agar  bisa  terus  eksis  dalam persebarannya. Ada beberapa platform game ternama, salah satunya Steam.
Steam  adalah  platform  distribusi game  online yang  sangat  populer  di  seluruh  dunia  [2].  Di  Steam, pengguna dapat membeli dan memainkan game, serta memberikan  ulasan  tentang  game  komputer  yang mereka mainkan. Ulasan ini berisi opini dan pendapat pengguna  tentang  game  yang  dimainkan.  Sangat penting  bagi Developer game  untuk  mengetahui
bagaimana  game  mereka  diterima  oleh  pengguna melalui ulasan yang diberikan [3].
Seiring  berjalannya  waktu,  pengguna  game tersebut semakin bertumbuh. Komentar yang dihasilkan  akan  menjadi  semakin  acak.  Pemain  yang merasa  cocok  akan  mengekspresikan  sikap  positif mereka  terhadap  game  tersebut,  disisi  lain  ada  juga pemain  yang  merasa  tidak  cocok  dan  memberikan ulasan  buruk  yang  menurunkan  minat pemain  lain di game  tersebut.  Melihat  turunnya  popularitas  sebuah game  karena  ulasan  yang  buruk,  peneliti  akan menggunakan kolom komentar untuk menilai  apakah komunitas tersebut aktif atau tidak. Ada kemungkinan calon pemain langsung menilai game tersebut padahal hanya  membaca  1  hingga  5  ulasan  saja.  Disisi  lain, calon pemain tidak mungkin membaca seluruh ulasan yang ada, karena perlu memakan banyak waktu. Oleh karena  itu,  analisis  sentimen  dibutuhkan  untuk menjadi  salah  satu  cara  untuk  mengambil  keputusan dari sebuah ulasan tanpa perlu membaca ulasan secara keseluruhan, serta menjadikan itu sebagai usaha untuk melakukan riset pasar atas ulasan publik.
Sentiment  Analisis (SA);  juga  disebut opinion mining ;  salah  satu  kategori  utama  dalam  analisis
sentimen. Melibatkan penerapan pendekatan komputasi  untuk  membangun  sistem  yang  akan memeriksa  dan  mengkategorikan  pendapat  terhadap produk,  komentar,  dan  ulasan.  [4],  [5].   Sebagai contoh,  analisis  sentimen  berguna  bagi  bisnis  untuk memetakan opini konsumen mengenai produk mereka, dan  bagi  konsumen  untuk  memilih  produk  terbaik berdasarkan  opini  publik.  Tantangan  utama  pada analisis sentimen adalah opini umumnya ditulis dalam bahasa  sederhana,  serta  artikel  pendek  yang menunjukan  isyarat  tentang  sentimen  yang  terbatas dan  akronim.  Secara  umum  ada  beberapa  algoritma populer  yang  biasa  digunakan.  Algoritma  tersebut adalah  Naïve  Bayes  (Multinomial  dan  Bernoulli), Logistic  Regression ,  SGD  ( Stochastic  Gradient Descent ), Linear SVM (Support Vector Machine) dan Random Forest [6].
Pentingnya  analisis  sentimen  mencakup  banyak domain, dimana game platform merupakan salah satu bidang  yang  dapat  dimanfaatkan  oleh  SA  [4].  Salah satu algoritma yang populer digunakan dalam analisis sentimen  adalah  Algoritma  Naïve  Bayes.  Algoritma Naïve  Bayes  adalah  algoritma  pembelajaran  mesin yang  umum  digunakan  dalam  klasifikasi  teks  dan analisis sentimen. Algoritma ini didasarkan pada teori probabilitas Bayes dan menghitung probabilitas setiap kelas  sentimen  berdasarkan  kata-kata  yang  muncul dalam  teks  ulasan.  Algoritma  ini  adalah  metode klasifikasi statistik yang sederhana namun efektif yang digunakan  untuk  mengidentifikasi  sentimen  positif atau negatif, dari teks [5], [7].
Algoritma  naïve  bayes  cocok  membantu memecahkan masalah generalisasi dan spesialiasi data yang kompleks. Kelebihan Naïve Bayes adalah dapat digunakan  untuk  data  kuantitatif  dan  kualitatif,  tidak membutuhkan  banyak  data,  tidak  banyak  pelatihan data,  memiliki  perhitungan  yang  cepat  dan  efisien, serta  dapat  digunakan  untuk  klasifikasi  masalah dengan data biner atau multikelas [8].
Menurut  [9]  pada  penelitiannya  menganalisis kinerja 8 algoritma pengklasisfikasi diantaranya IBK, J48  Decision  Tree dan Naïve  Bayes,  zeroR,  simple cart,  multilayer  perceptron berdasarkan  dataset diabetes. Faktor kinerja seperti akurasi klasifikasi dan waktu  eksekusi  dibandingkan.  Dari  hasil  percobaan, ditemukan  bahwa  teknik naïve  bayes bekerja  lebik baik dari pada teknik lain.

## 2. TINJAUAN PUSTAKA
Dalam  tinjauan  pustaka  ini,  peneliti  melakukan eksplorasi  literatur  ilmiah,  jurnal-jurnal  terkait,  dan sumber-sumber  informasi  lainnya  yang  berkaitan dengan  penggunaan  algoritma  Naïve  Bayes  dalam menganalisis  sentimen  pada  platform  Steam.  Peneliti melakukan seleksi terhadap penelitian-penelitian yang memiliki  kualitas  dan  relevansi  yang  tinggi  guna memberikan  pemahaman  yang  komprehensif  terkait dengan topik penelitian.
Melalui  tinjauan  pustaka  ini,  diharapkan  dapat terungkap  perkembangan  terkini  dalam  analisis
sentimen pada platform Steam, penggunaan algoritma Naïve Bayes sebagai metode klasifikasi, serta temuan- temuan yang telah dicapai dalam penelitian-penelitian sebelumnya.  Tinjauan  pustaka  ini  menjadi  dasar peneliti dalam merumuskan kontribusi penelitian yang baru,  menemukan  celah  penelitian  yang  masih  perlu diisi, serta memperkuat pemahaman peneliti terhadap topik yang diteliti.
Tinjauan pustaka ini akan memberikan landasan yang  kuat  untuk  penelitian  selanjutnya,  membantu peneliti dalam mengidentifikasi kekurangan- kekurangan dalam penelitian-penelitian terdahulu, dan merumuskan  pendekatan  yang  lebih  inovatif  dan efektif dalam menganalisis sentimen ulasan pengguna di  platform  Steam  menggunakan  algoritma  Naïve Bayes.

## 2.1. Naïve Bayes
Naïve  Bayes  adalah  kumpulan  algoritma klasifikasi berdasarkan teorema Bayes. Pengklasifikasi Naïve Bayes memberi kita hasil yang sangat  baik  saat  menganalisis  data  teks.  Seperti pemrosesan  bahasa  alami.  Algoritma  Naïve  Bayes memungkinkan kita menganalisis kumpulan data yang diberikan kepada kita. Pengklasifikasi Naïve Bayesian digunakan  sebagai  pengklasifikasi  probabilistik. Klasifikasi  menggunakan  konsep  model  campuran. Model  campuran  dapat  mewakili  probabilitas komponen  yang  mengandung teorema Bayes  sebagai pengklasifikasi  probabilistik.  Nama  lain  yang  naïve bayes dikenal dengan simple bayes atau independence Bayes [10].

## 2.2. Data Mining
Data  mining  adalah  proses  pengumpulan  dan pemrosesan  data  untuk  mengekstraksi  informasi penting  dari  data  tersebut.  Data  mining  mengekstrak informasi  yang  berguna  dari  sejumlah  besar  data. Karena  banyaknya data  yang akan dianalisis,  metode tradisional  tidak  dapat  memenuhi  kebutuhan  analisis data  saat  ini  dan  sulit  untuk  mencapai  hasil  yang diharapkan.  Selain  itu,  informasi  tersebut  memiliki karakteristik  up-to-date.  Jika  proses  ekstraksi  terlalu lambat,  seringkali  tidak  mungkin  mendapatkan  data yang maksimal. Pada saat yang sama, future trends dan pengetahuan  yang  lebih  dalam  akan  sulit  di  prediksi [11].

## 2.3. Analisis Sentimen
Analisis Sentimen adalah proses penggunaan text analytics untuk  mendapatkan  berbagai  sumber  data dari internet dan beragam platform media sosial  [12]. Tujuannya  adalah  untuk  memahami  perasaan,  sikap, atau  pendapat  pengguna  terhadap  suatu  topik  atau entitas  tertentu.  Analisis  sentimen  menggunakan teknik  dan  algoritma  komputasional,  seperti machine learning ,  untuk  mengklasifikasikan  teks  menjadi sentimen  positif,  negatif,  atau  netral.  Hal  ini memungkinkan  organisasi  atau  individu  untuk memperoleh  wawasan  berharga  dari  data  ulasan  atau
komentar  pengguna,  baik  untuk  riset  pasar, pengambilan keputusan, atau manajemen merek.

## 2.4. Klasifikasi
Klasifikasi  adalah  proses  pengelompokkan  atau pengategorian  objek  atau  data  ke  dalam  kelas-kelas yang  sudah  ditentukan  berdasarkan  atribut-atribut yang dimiliki oleh objek tersebut  [13]. Tujuan utama dari  klasifikasi  adalah  untuk  mengidentifikasi  pola- pola  atau  karakteristik  yang  membedakan  satu  kelas dengan kelas lainnya, sehingga dapat digunakan untuk mengklasifikasikan  objek  baru  yang  belum  pernah dilihat sebelumnya.

## 2.5. Steam
Steam  adalah  platform  distribusi  game  digital, yang  dikembangkan  oleh  Valve  Corporation.  pada tahun 2016 steam dianggap sebagai salah satu platform distribusi digital terbesar untuk game PC, dengan lebih dari  8.000  game  tersedia  dan  lebih  dari  184  juta pengguna  aktif.  Steam  menawarkan  manajemen  hak digital  (DRM),  permainan  multipemain,  dan  layanan jejaring sosial, melalui dua komponen utama platform Steam: Steam Store, dan Steam Community [7].
User harus membeli game dari Steam Store yang dibeli  dari  pihak  ketiga  dan  kemudian  diaktifkan melalui platform Steam menggunakan aplikasi Steam agar dapat memainkan game. Steam akan  memeriksa kepemilikan  game  dan  secara  otomatis  menginstal pembaruan yang tersedia. Membutuhkan update game terbaru  untuk  memainkan  game  di  Steam.  Selain  itu, user dapat menikmati fitur mirip jejaring sosial seperti daftar  teman  melalui  Steam  Community.  Game Developer  dapat  menerbitkan  berita  tentang  sebuah video  game.  Meskipun  game  Developer  tidak diharuskan  untuk  mengunggah  pengumuman  update game, game Developer umumnya sering memposting pembaruan tentang game mereka agar pengguna tetap mengetahui berita terbaru dari game tersebut [7].

## 2.6. Penelitian Terdahulu
Peneliti  menyajikan  pemahaman  komprehensif tentang  penelitian  terkait,  menyoroti  kelebihan, kelemahan,  dan  temuan-temuan  penting yang ditemukan.  Adapun  3  penelitian  terkait  yang membahas  tentang  "Naïve  Bayes"  menjadi  acuan dalam penelitian ini:
Pertama,  menurut  [14]  dalam  jurnal  yang berjudul  " Analysis  sentiment  in  social  media  against election  using  the  method  Naïve  Bayes "  dalam penelitiannya  peneliti  menggunakan  metode  Naïve Bayes  yang  diterapkan  pada  pengklasifikasian  opini positif, negatif, dan netral. Pada penelitiannya dari 50 data  latih  dan  10  data  uji  diperoleh  akurasi  sebesar 90%.  Dan  hasilnya  diperoleh  persentase  sentimen positif  50%,  negatif  20%,  netral  10%.  Dengan kesimpulan hasil positif lebih banyak.
Kedua, menurut [15] dalam jurnal yang berjudul " Sentiment Analysis of Online Transportation Service using the Naïve Bayes Methods ". Peneliti
menggunakan  metode  Naïve  Bayes  yang  diterapkan pada  pengklasifikasian  opini  dengan  menggunakan 1000 examples komentar dari laman Instagram Gojek. Komentar  dari  halaman  tersebut  diolah  dengan melakukan text preprocessing kemudian diklasifikasikan  menggunakan  metode Naïve  Bayes Classifier (NBC) untuk mendapatkan nilai nilai publik terhadap  layanan transportasi online. Hasil penelitian dengan  menggunakan  metode  Naïve  Bayes  ini menghasilkan  nilai  akurasi  sebesar  81,00%  yang artinya  dari  seluruh  komentar  yang  ada  di  halaman Instagram  subjek  dengan  metode  NBC  dapat diklasifikasi  secara  akurat  sebesar  81,00%  apakah komentar tersebut negatif atau positif.
Ketiga,  menurut  [16]  dalam  penelitian  yang berjudul  “Analisis  Sentimen  Sinovac  pada  Twitter Menggunakan  Algoritma  Naïve  Bayes”.  Peneliti menggunakan  metode  Naïve  Bayes  yang  diterapkan pada  pengklasifikasian  opini  Twitter  tentang  Vaksin Sinovac.  Peneliti  menangkap  tweet  sebanyak  1.976 data  tweet  berbahasa  Inggris.  Peneliti  mendapatkan nilai  akurasi  tinggi  sebanyak  92.96%, Recall positif 78.68%, Recall negatif  79.86%.  Sedangkan  nilai akurasi  dari  presisi  untuk Pred.  Positif 96.65%,  dan Pred. Negatif 72,79%. Dengan hasil kesimpulan Naïve bayes memiliki nilai akurasi yang tinggi dengan hasil prediksi akurat.

## 3. METODE PENELITIAN
3.1. Pengumpulan Data

## Gambar 1: Alur penelitian
Peneliti  mengunduh  dataset  “Steam Review s” dari  Kaggle  yang  terdiri  dari  ulasan  pengguna  pada platform Steam. Lalu, peneliti akan melakukan seleksi data  yang  relevan  dengan  fokus  penelitian,  seperti ulasan pengguna yang terkait dengan game di platform Steam.
3.2. Pre-processing Data
Melakukan pembersihan data dengan menghilangkan karakter khusus, tanda baca, atau data yang  tidak  relevan.  Melakukan Case  Folding untuk menyamakan kata-kata dengan  variasi ortografi  yang berbeda. Langkah selanjutnya peneliti akan melakukan
stopwords removal (menghapus kata-kata umum yang tidak memberikan kontribusi signifikan dalam analisis sentimen)  dari  data.  Lalu  peneliti  akan  melakukan tokenizing untuk membagi teks menjadi unit-unit yang lebih kecil seperti kata-kata. dan terakhir, menerapkan stemming untuk  mengubah  kata-kata  menjadi  bentuk dasar mereka.

## 3.3. Pembangunan Model
Pembangunan  model  dilakukan  dengan  cara memisahkan  data  menjadi  set  pelatihan  (training  set) dan  set  pengujian  (testing  set).  Melatih  model  Naïve Bayes menggunakan set pelatihan untuk mengklasifikasikan sentimen ulasan pengguna menjadi  positif  atau  negatif.  Dan  peneliti  akan menyesuaikan parameter dan memilih fitur-fitur yang paling relevan untuk meningkatkan kinerja model.

## 3.4. Evaluasi Model
Peneliti akan menguji kinerja model menggunakan set pengujian yang belum pernah dilihat sebelumnya.  Menggunakan  metrik  evaluasi  seperti akurasi,  presisi, Recall , F1-score ,  dan  matriks kebingungan untuk mengevaluasi kinerja model Naïve Bayes.

## 3.5. Analisis Sentimen
Peneliti  akan  menganalisis  hasil  prediksi sentimen  dari  model  Naïve  Bayes  pada  data  ulasan pengguna game online pada platform Steam. Langkah selanjutnya peneliti  akan  menganalisis pola sentimen yang  muncul,  seperti  sentimen  positif  yang  dominan atau aspek-aspek tertentu yang seringkali mendapatkan ulasan negatif. Hasil penelitian ini akan menggali  wawasan  baru  tentang  preferensi  dan pendapat pengguna terhadap game di platform Steam.

## 3.6. Interpretasi dan Rekomendasi
Peneliti  akan  menginterpretasikan  hasil  analisis sentimen dan memberikan implikasi yang relevan. hal ini akan memberikan rekomendasi kepada perusahaan pengembang  game  dan  pengelola  platform  Steam untuk  meningkatkan  kualitas  game  dan  pelayanan berdasarkan  temuan  dari  analisis  sentimen.  dan menyajikan potensi penerapan hasil penelitian sebagai riset  pasar  dalam  pengambilan  keputusan  bisnis  dan pengembangan strategi pemasaran.
Tahapan  penelitian  ini  akan  memberikan pemahaman  yang  komprehensif  tentang  analisis sentimen  menggunakan  algoritma  Naïve  Bayes  pada data ulasan pengguna platform Steam dan menghasilkan wawasan yang berharga bagi perusahaan pengembang game dan pengelola platform Steam.
3.7. Instrument Penelitian
RapidMiner adalah perangkat lunak analitik yang kuat dan intuitif yang digunakan dalam penelitian  ini. RapidMiner  menyediakan  lingkungan  visual  yang memungkinkan peneliti untuk dengan mudah membangun aliran kerja analisis data kompleks tanpa
perlu menulis kode. Dalam penelitian ini, RapidMiner digunakan untuk mengolah data ulasan pengguna dari platform  Steam.  Melalui  fitur-fitur  yang  disediakan oleh  RapidMiner,  seperti  kemampuan  preprocessing data, ekstraksi fitur, pembangunan model, dan evaluasi model,  peneliti  dapat  dengan  efisien  dan  efektif menerapkan  algoritma  Naïve  Bayes  dalam  analisis sentimen.  Selain  itu,  RapidMiner  juga  menyediakan kemampuan  visualisasi  data  yang  membantu  peneliti untuk  memahami  pola,  tren,  dan  hasil  dari  analisis sentimen yang dilakukan. Dengan dukungan RapidMiner,  peneliti  dapat  mengoptimalkan  proses analisis  data  dan  memperoleh  wawasan  yang  lebih mendalam  mengenai  sentimen  pengguna  pada platform Steam.
Ekstensi  RapidMiner  dapat  menambahkan beberapa  set operator  ke  dalam  aplikasi  RapidMiner, yang  dapat  digunakan  dalam  proses  data  mining  dan digabungkan  dengan  operator  bawaan  RapidMiner, serta operator lainnya. Ekstensi bisa di dapatkan pada RapidMiner  Marketplace  yang  tersedia  pada  bar extension. Peneliti akan  menambah ekstensi  bernama Text Processing pada operator.

## 3.8. Metode Pengumpulan Data
Data  yang  digunakan  pada  penelitian  ini  adalah data yang diunduh dari website Kaggle dengan jumlah 3.940.529 examples .  Data  berjudul  “Steam Review s” dengan perubahan terakhir pada tanggal 29 November 2021.  Data  diunduh  pada  tanggal  11  mei  2023  dan dipergunakan sebagaimana mestinya.

## 3.9. Metode Analisis Data
Naïve  Bayes  merupakan  salah  satu  metode klasifikasi  yang  populer  dalam  analisis  sentimen. Metode ini didasarkan pada teorema Bayes dan asumsi naif ( Naïve Assumption ) bahwa semua  fitur atau kata dalam  teks  ulasan  adalah  independen  satu  sama  lain. Dalam konteks penelitian  ini, algoritma Naïve Bayes digunakan untuk mengklasifikasikan ulasan pengguna menjadi kategori sentimen positif atau negatif.
Menurut  [17]  Dasar  dari  Naïve  Bayes  yang dipakai  dalam  pemrograman  adalah  rumus  Bayes, yaitu  peluang  kejadian  X  sebagai  Y  ditentukan  dari peluang  Y  saat  X,  peluang  Y,  dan  peluang  X  seperti persamaan berikut.Sehingga  rumus yang  bisa digunakan adalah:
P(X|Y) = 𝑃( 𝑌 | 𝑋 ).𝑃(𝑋) 𝑃(𝑌) (1)
Keterangan:
Y : Data variabel tidak diketahui X : Hipotesis kelas data P(X|Y) : Probabilitas hipotesis X menurut kondisi Y (probabilitas posteriori) P(X)  :  Probabilitas  hipotesis  X  (probabilitas sebelumnya) P(Y|X) :  Probabilitas  Y  menurut  kondisi dalam hipotesis X P(Y)  : Probabilitas Y
Metode  analisis  data  menggunakan  algoritma Naïve  Bayes  dalam  penelitian  ini  memberikan pendekatan yang efektif dalam menganalisis sentimen ulasan pengguna. Metode ini  memungkinkan peneliti untuk memproses data dengan cepat, mengklasifikasikan  sentimen  secara  otomatis,  dan menghasilkan  pemahaman  yang  lebih  dalam  tentang persepsi pengguna terhadap game di platform Steam.

## 4. HASIL DAN PEMBAHASAN
Dalam penelitian ini, dilakukan analisis sentimen terhadap ulasan game online menggunakan algoritma Naïve Bayes. Proses penelitian meliputi pengumpulan data  dari  platform  Steam,  yaitu  dataset  "Steam Review" yang diambil pada tahun 2021. Data tersebut kemudian  dilakukan  proses  filtering  melalui  case folding, tokenizing, stopwords removal, dan stemming menggunakan  perangkat  lunak  RapidMiner.  Setelah proses  data  preprocessing,  dilakukan  pembentukan data  training  dan  data  testing  menggunakan  metode Split  Data  dengan  parameter  partitions  sebesar  0.68 dan  0.32  menggunakan  shuffled  sampling.  Data training  terdiri  dari  1050  examples,  sedangkan  data testing  terdiri  dari  494  examples.  Total  data  yang digunakan  setelah  proses  filtering  adalah  sebanyak 1544.  Selanjutnya,  model  klasifikasi  menggunakan algoritma  Naïve  Bayes  diterapkan  pada  data training untuk melakukan prediksi sentimen pada data testing.
Hasil  evaluasi  model  menunjukkan  akurasi sebesar  80.97%.  Selain  itu,  recall  positif  mencapai 78.49%  dan  recall  negatif  mencapai  86.67%. Sedangkan  presisi  untuk  prediksi  positif  adalah 93.10%,  sedangkan  presisi  untuk  prediksi  negatif adalah 63.73%. Selanjutnya, F1-score dihitung untuk masingmasing kategori sentimen. Dengan mempertimbangkan  recall  dan  presisi,  diperoleh  F1- score  yang  menyajikan  keseimbangan  antara  kedua metrik  tersebut.  Secara  keseluruhan,  penelitian  ini berhasil mengimplementasikan algoritma Naïve Bayes untuk  analisis  sentimen  ulasan  game  online.  Dengan akurasi  sebesar  80.97%,  model  ini  dapat  digunakan untuk  memprediksi  sentimen  ulasan  dengan  tingkat keberhasilan  yang  baik.  Meskipun  demikian,  perlu diingat bahwa evaluasi model tidak hanya bergantung pada  akurasi  saja,  tetapi  juga  mempertimbangkan metrik  lain seperti recall, presisi, dan F1-score. Hasil ini  dapat  memberikan  wawasan  yang  berguna  bagi para  pengembang  game  online  dalam  memahami tanggapan  dan  sentimen  pengguna  terhadap  produk mereka.
Tabel 1: Canvas Hasil True negatif True positif Class precision Pred. negatif 130 74 63,73% Pred. positif 20 270 93,10% Class recall 86,67% 78,49%
Akurasi  adalah  metrik  evaluasi  yang  mengukur sejauh  mana  model  klasifikasi  dapat  memprediksi dengan  benar.  Dalam  konteks  analisis  sentimen, akurasi  menggambarkan  seberapa  baik  model  dapat mengklasifikasikan ulasan menjadi positif atau negatif secara tepat.
Dalam  penelitian  ini,  akurasi  model  dihitung dengan  membandingkan  jumlah  prediksi  yang  benar ( True Positive dan True Negative ) dengan jumlah total data.  Dalam  hal  ini,  data  yang  digunakan  terdiri  dari data  training dan data  testing setelah  melalui  proses filtering  seperti case  folding,  tokenizing,  stopwords removal, dan stemming .
Dalam  konteks  penelitian  ini,  akurasi  dapat dihitung dengan rumus:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃 + 𝑇𝑁
𝑇𝑜𝑡𝑎𝑙 𝐷𝑎𝑡𝑎 × 100%
Di  sini,  TP  ( True  Positif )  adalah  jumlah  kasus positif  yang  berhasil  terdeteksi  dengan  benar  oleh model,  sedangkan  FP  ( False  Positif )  adalah  jumlah kasus  negatif  yang  salah  diklasifikasikan  sebagai positif oleh model.
Dengan data sebagai berikut:
TP ( True Positif ) = 270 TN ( True Negatif ) = 130 Total Data = 494 Dengan hasil sebagai berikut:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 270 + 130 494 × 100% = 80.97%
Setelah melakukan perhitungan, diperoleh akurasi  sebesar  80.97%.  Ini  berarti  model  berhasil mengklasifikasikan  sekitar  80.97%  ulasan  dengan benar. Akurasi yang tinggi menunjukkan bahwa model memiliki  kemampuan  yang  baik  dalam  mengenali sentimen ulasan dengan akurat.
Selain  akurasi  secara  keseluruhan,  penting  juga untuk melihat akurasi pada setiap kategori klasifikasi. Misalnya,  akurasi  dalam  mengenali  ulasan  positif ( True Positive ) dan ulasan negatif ( True Negative ). Hal ini  dapat  memberikan  gambaran  lebih  jelas  tentang kinerja  model  dalam  mengenali  sentimen  yang spesifik.
Dalam  penelitian  ini,  akurasi  untuk  prediksi positif  ( Pred.  Positif )  mencapai  93.10%,  sedangkan akurasi  untuk  prediksi  negatif  ( Pred.  Negatif ) mencapai 63.73%. Angka ini mengindikasikan bahwa model  memiliki  akurasi  yang  lebih  tinggi  dalam mengenali  ulasan  yang  positif  daripada  ulasan  yang negatif.  Namun,  penting  untuk  mencatat  bahwa
Gambar 2: Naïve Bayes
akurasi  yang  tinggi  tidak  selalu  berarti  model  secara keseluruhan  dapat  memberikan  prediksi  yang  baik. Oleh  karena  itu,  penting  juga  untuk  memperhatikan metrik evaluasi lainnya seperti presisi, recall, dan F1- score . Dalam keseluruhan, akurasi yang tinggi menunjukkan  bahwa  model  yang  digunakan  dalam penelitian  ini  memiliki  performa  yang  baik  dalam mengklasifikasikan  sentimen  ulasan.  Namun,  perlu diingat  bahwa  akurasi  tidak  memberikan  informasi tentang  keseimbangan  antara  prediksi  positif  dan negatif,  serta  kemungkinan  adanya  kesalahan  dalam prediksi. Oleh karena itu, penting untuk melihat metrik evaluasi lainnya guna mendapatkan pemahaman yang lebih  komprehensif  tentang  kinerja  model  dalam analisis sentimen

## 4.1. Presisi
Presisi,  juga  dikenal  sebagai  positive  predictive value,  adalah  metrik  evaluasi  yang  mengukur  sejauh mana model mengklasifikasikan kasus positif dengan benar  dibandingkan  dengan  kasus  positif  yang sebenarnya.  Presisi  memberikan  gambaran  tentang seberapa  akurat  model  dalam  mengidentifikasi  dan memprediksi dengan benar kasus positif.
Dalam  konteks  penelitian  ini,  presisi  dapat dihitung dengan rumus:
𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑃𝑜𝑠𝑖𝑡𝑖𝑓
= 𝑇𝑃 (𝑇𝑃 + 𝐹𝑃) 𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 = 𝑇𝑁 (𝑇𝑁 + 𝐹𝑁)
(3) Di  sini,  TP  ( True  Positif )  adalah  jumlah  kasus positif  yang  berhasil  terdeteksi  dengan  benar  oleh model,  sedangkan  FP  ( False  Positif )  adalah  jumlah kasus  negatif  yang  salah  diklasifikasikan  sebagai positif oleh model.
Dengan data sebagai berikut: TP ( True Positif ) = 270 FN ( False Negatif ) = 74 TN ( True Negatif ) = 130 FP ( False Positif ) = 20 Dengan hasil sebagai berikut:
𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑃𝑜𝑠𝑖𝑡𝑖𝑓 = 270
(270 + 20)
= 0.931 𝑎𝑡𝑎𝑢 93.1%
𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 = 130 (130 + 74)
= 0.637 𝑎𝑡𝑎𝑢 63.7%
Hasil  perhitungan  menunjukkan  bahwa  nilai presisi  untuk  klasifikasi  dalam  penelitian  ini  adalah sekitar 0.931 atau 93.1%. Hal ini menunjukkan bahwa model  memiliki  kemampuan  yang  tinggi  dalam mengklasifikasikan  dengan  benar  kasus  positif, dengan  sedikit  kesalahan  dalam  mengklasifikasikan kasus  negatif  sebagai  positif.  Presisi  yang  tinggi menunjukkan  bahwa  model  memberikan  hasil  yang
akurat  dan  dapat  diandalkan  dalam  mengenali  dan memprediksi sentimen positif.
Dalam  konteks  aplikasi  ini,  presisi  yang  tinggi akan  sangat berharga dalam  mengidentifikasi ulasan- ulasan  positif  yang  valid  dan  relevan  dari  pengguna game online . Hal ini memungkinkan perusahaan game untuk  mendapatkan  wawasan  yang  lebih  akurat tentang  pengalaman  pengguna  yang  positif  dan memperoleh  umpan  balik  yang  berharga  untuk perbaikan  dan  pengembangan  permainan  di  masa depan.  Dengan  presisi  yang  tinggi,  perusahaan  juga dapat  menghindari  kesalahan  dalam  mengambil tindakan berdasarkan ulasan yang salah diklasifikasikan sebagai positif, yang dapat mengarah pada  keputusan  yang  tidak  tepat  atau  penggunaan sumber daya yang tidak efisien.
Namun,  perlu  dicatat  bahwa  presisi  perlu dievaluasi  bersama  dengan  metrik  evaluasi  lainnya, seperti recall , akurasi, dan F1-score , untuk mendapatkan pemahaman yang komprehensif tentang kualitas keseluruhan model. Selain itu, penting untuk mempertimbangkan  tujuan  penelitian  atau  aplikasi tertentu  serta  karakteristik  dataset  yang  digunakan dalam mengevaluasi presisi.

## 4.2. Recall
Recall ,  juga  dikenal  sebagai  sensitivitas  atau True Positive rate, adalah metrik evaluasi yang penting dalam  pengukuran  kualitas  model  dalam  mendeteksi kasus  positif  yang  sebenarnya. Recall mengukur kemampuan model untuk mengenali dan mengklasifikasikan  dengan  benar  sejumlah  kasus positif yang ada dalam dataset.
Dalam  konteks  penelitian  ini, recall dapat dihitung dengan rumus:
𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑜𝑠𝑖𝑡𝑖𝑓
= 𝑇𝑃 (𝑇𝑃 + 𝐹𝑁) 𝑅𝑒𝑐𝑎𝑙𝑙 𝑁𝑒𝑔𝑎𝑡𝑖𝑓

## =
𝑇𝑁

## (𝑇𝑁 + 𝐹𝑃)
Di  sini,  TP  ( True  Positif )  adalah  jumlah  kasus positif  yang  berhasil  terdeteksi  dengan  benar  oleh model,  sedangkan  FN ( False Negatif ) adalah  jumlah kasus  positif  yang  tidak  terdeteksi  oleh  model  dan salah diklasifikasikan sebagai negatif.
Dengan data sebagai berikut: TP ( True Positif ) = 270 FN ( False Negatif ) = 74 TN ( True Negatif ) = 130 FP ( False Positif ) = 20 Dengan hasil sebagai berikut:
𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑜𝑠𝑖𝑡𝑖𝑓 = 270 (270 + 74) = 0.785 𝑎𝑡𝑎𝑢 78.5% 𝑅𝑒𝑐𝑎𝑙𝑙 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 = 130
(130 + 20)
= 0.867 𝑎𝑡𝑎𝑢 86.7%
Hasil  perhitungan  menunjukkan  bahwa  nilai recall untuk  klasifikasi  dalam  penelitian  ini  adalah sekitar  0.785  atau  78.5%.  Ini  berarti  model  memiliki kemampuan yang baik dalam mengenali sekitar 78.5%
dari total kasus sentimen positif yang ada. Recall yang tinggi menunjukkan bahwa model memiliki kemampuan  yang  baik  dalam  mendeteksi  sentimen positif secara akurat, mengurangi jumlah kasus positif yang salah diklasifikasikan sebagai negatif.
Dalam  konteks  aplikasi  ini, recall yang  tinggi akan bermanfaat dalam mengidentifikasi dan mengklasifikasikan dengan benar ulasan-ulasan positif dari  pengguna game  online .  Hal  ini  dapat  membantu perusahaan  game  untuk  mendapatkan  wawasan  yang lebih  akurat  tentang  sentimen  pengguna  dan mengambil  langkah-langkah  yang  tepat  dalam meningkatkan  pengalaman  pengguna  dan  kualitas permainan.  Selain  itu,  dengan recall yang  tinggi, perusahaan  juga  dapat  mengurangi  risiko  kehilangan ulasan-ulasan positif yang penting dalam membangun reputasi  dan  meningkatkan  penjualan  permainan mereka.
Penting  untuk  dicatat  bahwa recall perlu dievaluasi  bersama-sama  dengan  metrik  evaluasi lainnya,  seperti  presisi,  akurasi,  dan F1-score ,  untuk mendapatkan  gambaran  yang  komprehensif  tentang kualitas  keseluruhan  model.  Selain  itu,  perlu  diingat bahwa  nilai recall dapat  bervariasi  tergantung  pada karakteristik  dan  tujuan  spesifik  dari  penelitian  atau aplikasi yang sedang dilakukan.
4.3. F1-score
F1-score adalah metrik evaluasi yang digunakan untuk  mengukur  kinerja  model  klasifikasi  dengan mempertimbangkan presisi (precision) dan recall . F1- score berguna dalam konteks analisis sentimen karena memperhitungkan  keseimbangan  antara  kemampuan model dalam mengenali ulasan positif dan negatif.
Dalam  penelitian  ini, F1-score telah  dihitung untuk  masing-masing  kategori  klasifikasi,  yaitu klasifikasi  positif  dan  negatif. F1-score untuk klasifikasi positif diperoleh dengan menggunakan nilai presisi positif (PP) dan recall positif (RP), sedangkan F1-score untuk  klasifikasi  negatif  diperoleh  dengan menggunakan  nilai  presisi  negatif  (PN)  dan recall negatif (RN).
Dengan rumus sebagai berikut:
𝐹1 − 𝑆𝑐𝑜𝑟𝑒 = 2  ×   (𝑃𝑟𝑒𝑠𝑖𝑠𝑖  × 𝑅𝑒𝑐𝑎𝑙𝑙)
(𝑃𝑟𝑒𝑠𝑖𝑠𝑖 + 𝑅𝑒𝑐𝑎𝑙𝑙)
Dengan keterangan data sebagai berikut: Presisi Positif (PP) = 93.10%
Recall Positif (RP) = 78.49% Presisi Negatif (PN) = 63.73% Recall Negatif (RN) = 86.67%
Pada  klasifikasi  positif, F1-score diperoleh dengan rumus:
𝐹1 − 𝑆𝑐𝑜𝑟𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑓
= 2  ×   (𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑃𝑜𝑠𝑖𝑡𝑖𝑓  × 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑜𝑠𝑖𝑡𝑖𝑓) (𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑃𝑜𝑠𝑖𝑡𝑖𝑓 + 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑜𝑠𝑖𝑡𝑖𝑓)
Sementara  itu,  pada  klasifikasi  negatif, F1-score diperoleh dengan rumus:
𝐹1 − 𝑆𝑐𝑜𝑟𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑓
= 2  ×  (𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑁𝑒𝑔𝑎𝑡𝑖𝑓  × 𝑅𝑒𝑐𝑎𝑙𝑙 𝑁𝑒𝑔𝑎𝑡𝑖𝑓)
(𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 + 𝑅𝑒𝑐𝑎𝑙𝑙 𝑁𝑒𝑔𝑎𝑡𝑖𝑓)
Dengan hasil sebagai berikut:
𝐹1 − 𝑆𝑐𝑜𝑟𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑓 = 2  ×   (0,931  × 0,785)
(0,931  + 0,785)
= 0,851
𝐹1 − 𝑆𝑐𝑜𝑟𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 = 2  ×  (0,637  × 0,867) (0,637  + 0,687)
= 0,733
Setelah  menghitung  nilai  presisi  dan recall positif  serta  negatif  berdasarkan  data  hasil  evaluasi, kita  dapat  menggantikan  nilai-nilai  tersebut  pada rumus F1-score untuk  mendapatkan  nilai F1-score yang akhir.
Dalam penelitian  ini, F1-score untuk klasifikasi positif  diperoleh  sebesar  0.851,  sedangkan F1-score untuk klasifikasi negatif diperoleh sebesar 0.733. Nilai F1-score yang  tinggi  menunjukkan  keseimbangan yang  baik  antara  presisi  dan recall dalam  model klasifikasi. Artinya, model memiliki kemampuan yang baik dalam mengenali ulasan positif dan negatif secara konsisten dan akurat.
Dengan  menggunakan F1-score sebagai  metrik evaluasi,  penelitian  ini  memberikan  informasi  yang lebih  komprehensif  tentang  kinerja  model  dalam analisis  sentimen. F1-score memperhitungkan  baik presisi  maupun recall ,  sehingga  memastikan  model tidak  hanya  fokus  pada  salah  satu  aspek  klasifikasi saja.  Dalam  hal  ini,  nilai F1-score yang  tinggi menunjukkan  bahwa  model  yang  digunakan  dalam penelitian  ini  berhasil  mencapai  keseimbangan  yang baik antara akurasi dan konsistensi dalam mengklasifikasikan sentimen ulasan.

## 5. KESIMPULAN
Dalam penelitian ini, dilakukan analisis sentimen terhadap ulasan game online menggunakan algoritma Naïve Bayes. Proses penelitian meliputi pengumpulan data  dari  platform  Steam,  yaitu  dataset  "Steam Review" yang diambil pada tahun 2021. Data tersebut kemudian  dilakukan  proses  filtering  melalui  case folding, tokenizing, stopwords removal, dan stemming menggunakan  perangkat  lunak  RapidMiner.  Setelah proses  data  preprocessing,  dilakukan  pembentukan data  training  dan  data  testing  menggunakan  metode Split  Data  dengan  parameter  partitions  sebesar  0.68 dan  0.32  menggunakan  shuffled  sampling.  Data training  terdiri  dari  1050  examples,  sedangkan  data testing  terdiri  dari  494  examples.  Total  data  yang digunakan  setelah  proses  filtering  adalah  sebanyak 1544.  Selanjutnya,  model  klasifikasi  menggunakan algoritma  Naïve  Bayes  diterapkan  pada  data training untuk melakukan prediksi sentimen pada data testing. Hasil  evaluasi  model  menunjukkan  akurasi  sebesar 80.97%. Selain itu, recall positif mencapai 78.49% dan recall  negatif  mencapai  86.67%.  Sedangkan  presisi untuk  prediksi  positif  adalah  93.10%,  sedangkan
presisi  untuk  prediksi  negatif  adalah  63.73%. Selanjutnya,  F1-score  dihitung  untuk  masingmasing kategori sentimen. Dengan mempertimbangkan recall dan  presisi,  diperoleh  F1-  score  yang  menyajikan keseimbangan  antara  kedua  metrik  tersebut.  Secara keseluruhan, penelitian ini berhasil mengimplementasikan  algoritma  Naïve  Bayes  untuk analisis sentimen ulasan game online. Dengan akurasi sebesar  80.97%,  model  ini  dapat  digunakan  untuk memprediksi sentimen ulasan dengan tingkat keberhasilan  yang  baik.  Meskipun  demikian,  perlu diingat bahwa evaluasi model tidak hanya bergantung pada  akurasi  saja,  tetapi  juga  mempertimbangkan metrik lain seperti recall, presisi, dan F1-score. Secara keseluruhan, hasil dari penelitian ini adalah algoritma Naïve Bayes dapat memberikan analisis sentimen yang baik  dalam  mengklasifikasikan  ulasan  pengguna  di platform Steam. Penelitian ini juga dapat memberikan wawasan berharga bagi pengembang game dan pihak terkait dalam meningkatkan kualitas produk mereka.

## DAFTAR PUSTAKA
[1]  A.  Mulachela,  K.  Rizki,  and  Y.  A.  Wahyudin, “Analisis  Perkembangan  Industri  Game  di Indonesia  Melalui  Pendekatan  Rantai  Nilai Global (Global Value Chain),” 2020.
[2]  F.  T.  Pasaribu  and  A.  Kusnawan,  “Pengaruh Pemasaran  Secara  Digital,  Harga,  dan  Promosi Summer Sale di Platform Steam Pada Terhadap Keputusan Pembelian Steam E-Wallet,” 2022.
[3]  M.  Croissant  and  M.  Frister,  “A  data-driven approach  for  examining  the  demand  for relaxation  games  on  Steam  during  the  COVID- 19  pandemic,” PLoS  One ,  vol.  16,  no.  12
December, Dec. 2021, doi: 10.1371/journal.pone.0261328.
[4]  D.  Suleiman,  A.  Odeh,  and  R.  Al-Sayyed, “Arabic Sentiment Analysis Using Naïve Bayes and  CNN-LSTM,” Informatica  (Slovenia) ,  vol. 46, no. 6, pp. 79–86, 2022, doi: 10.31449/inf.v46i6.4199.
[5]  S. P. PM, S. B, Vellore Institute of Technology, Institute of Electrical and Electronics Engineers. Madras Section, IEEE Communications Society., and  Institute  of  Electrical  and  Electronics Engineers,  “Sentimental  Analysis  using  Naive Bayes  Classifier,”  in 2019  International Conference on Vision Towards Emerging Trends in  Communication  and  Networking  (ViTECoN) , 2019, pp. 1–5.
[6]  M. M. Islam and N. Sultana, “Comparative Study on Machine  Learning Algorithms  for Sentiment
Classification,” 2018.
[7]  R. Dehkharghani, H. Mercan, A. Javeed, and Y. Saygin, “Sentimental causal rule discovery from Twitter,” Expert  Syst  Appl ,  vol.  41,  no.  10,  pp.
4950–4958, 2014, doi:
10.1016/j.eswa.2014.02.024.
[8]  I.  Fadil,  M.  A.  Helmiawan,  F.  Supriadi,  A. Saeppani,  Y.  Sofiyan,  and  A.  Guntara,  “Waste Classifier  using  Naive  Bayes  Algorithm,”  in 2022  10th  International  Conference  on  Cyber and  IT  Service  Management,  CITSM  2022 ,
Institute of Electrical and Electronics Engineers Inc., 2022. doi:
10.1109/CITSM56380.2022.9935894.
[9]  A.  S.  Rani  and  S.Jyothi,  “Performance  analysis of  Classification  Algorithms  under  Different Datasets,” 2016, pp. 1584–1589.
[10]  R.  K.  Dwivedi,  A.  Kr.  Saxena,  Teerthanker Mahaveer  University.  College  of  Computing Sciences & Information Technology, Institute of Electrical  and  Electronics  Engineers.  Uttar Pradesh  Section,  and  Institute  of  Electrical  and Electronics  Engineers.,  “Comparison  of  Naive Bayes and SVM  Algorithm  based on Sentiment Analysis  Using  Review  Dataset,”  pp.  266–270, 2019.
[11]  Y. Wang, D. Zhu, B. Zhang, Q. Guo, F. Wan, and N. Ma, “Review of data scraping and data mining research,”  in Journal  of  Physics:  Conference Series ,  IOP  Publishing  Ltd,  Aug.  2021.  doi: 10.1088/1742-6596/1982/1/012161.
[12]  S.  Lestari  and  S.  Saepudin,  “ANALISIS SENTIMEN VAKSIN SINOVAC PADA TWITTER  MENGGUNAKAN  ALGORITMA NAIVE  BAYES,”  2021.  [Online].  Available: https://vaksin.kemkes.go.id/
[13]  A.  Octaviani  and  P.  Dewi,  “Big  Data  di Perpustakaan dengan Memanfaatkan Data Mining,” ANUVA ,  vol.  4,  no.  2,  pp.  223–230, 2020.
[14]  D. ,  P.  W.  P.  ,  N.  A. ,  &  T. T.  R.  Nurcahyono, “Analysis  sentiment  in  social  media  against election using  the  method naive Bayes,” J Phys Conf Ser , 2020.
[15]  M. , S. H. , N. R. , M. S. , & S. K. Tika Adilah, “Sentiment  Analysis  of  Online  Transportation Service using the Naïve Bayes Methods,” J Phys Conf Ser , 2020.
[16]  D. Normawati and S. A. Prayogi, “Implementasi Naïve  Bayes  Classifier  Dan  Confusion  Matrix Pada  Analisis  Sentimen  Berbasis  Teks  Pada Twitter,” 2021