JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9

## ANALISIS SENTIMEN TERHADAP APLIKASI GBWHATSAPP MENGGUNAKAN NAIVE BAYES CLASSIFIER DAN RANDOM FOREST CLASSIFIER
Andika Prasetyo 1 , Taufik Ridwan 2 , Apriade Voutama 3
1,2,3 Jurusan Sistem Informasi Fakultas Ilmu Komputer Universitas Singaperbangsa Karawang Jl. HS.Ronggo Waluyo, Puseurjaya, Telukjambe Timur, Karawang, Jawa Barat 41361
1 andika.prasetyo19004@student.unsika.ac.id
2 taufik.ridwan@cs.unsika.ac.id
3 apriade.voutama@staff.unsika.ac.id

## Abstrak
Era digital memicu perkembangan berbagai macam aplikasi termasuk pengiriman pesan. Kini layanan pengiriman pesan telah bergeser  menjadi  berbasis  internet,  salah  satunya  aplikasi  WhatsApp.  Namun  beberapa  pihak  mengembangkan  varian WhatsApp  yang  telah  dimodifikasi,  salah  satunya  adalah  GBWhatsApp.  GBWhatsApp  memiliki  lebih  kaya  fitur  dan  secara legalitas  merupakan  aplikasi  ilegal.  CNN  Indonesia  sudah  menjelaskan  sebelumnya  terkait  bahaya  menggunakan  aplikasi WhatsApp  modifikasi  pada channel YouTube.  Video  tersebut  mendapatkan  banyak  komentar  pro-kontra  mengenai  aplikasi GBWhatsApp.  Pada  18  Mei  2021,  GBWhatsApp  menjadi  salah  satu trending topik  di  Twitter.  Tidak  lama  pada  25  Oktober 2022, WhatsApp mengalami server down . Insiden ini memicu topik pembicaraan mengenai GBWhatsApp, termasuk di Twitter. Analisis  sentimen  dipakai  demi  mencari  informasi  berguna  yang  terdapat  pada  dokumen  yang  tidak  tersusun.  Penelitian  ini diharapkan  bisa  mengetahui  pendapat  pemakai  Twitter  dan  penonton  video  tersebut  terhadap  aplikasi  GBWhatsApp.  Tujuan dari  penelitian  ini  adalah  untuk  mengklasifikasi  sentimen  terhadap  aplikasi  GBWhatsApp  menggunakan  NBC  dan  RFC. Penelitian ini, menggunakan metode SEMMA yang terdiri dari tahapan sample , explore , modify , model , dan assess . Sentimen terbagi  menjadi  positif,  negatif,  dan  nonsentimen.  Data  yang  digunakan  yaitu  data  yang  berlabel  positif  dan  negatif  dari gabungan  data  YouTube  dan  Twitter  yang  berjumlah  1.686  data.  Data  yang  sudah  dibersihkan  berjumlah  1.545  data  yang terbagi  menjadi  90%  data training sebesar  1.391  data  dan  10%  data testing sebesar  154  data.  Hasil  penelitian  menunjukkan bahwa  performa  algoritma  NBC  lebih  unggul  dari  algoritma  RFC  dengan  akurasi  71,43%, precision 75,81%,  dan recall 61,84%, sedangkan algoritma RFC dengan akurasi 64,94%, precision 80,56%, dan recall 38,16%.
Kata kunci: Analisis Sentimen, Algoritma Naive Bayes , Algoritma Random Forest , GBWhatsApp

## I. P ENDAHULUAN
Era digital memicu perkembangan berbagai macam aplikasi termasuk  aplikasi  pengiriman  pesan.  Pengiriman  pesan  tidak lagi dilakukan melalui layanan short message service (SMS), namun  telah  bergeser  menjadi  berbasis  internet.  WhatsApp merupakan  salah  satu  aplikasi  yang  mendukung  pengiriman pesan antarpengguna melalui jaringan internet  [1]. WhatsApp memiliki  fitur  mengirim  serta  menerima  pesan  teks,  foto, video,  dokumen,  kontak,  emotikon,  dan  lokasi,  fitur melakukan  serta  menerima  panggilan  telepon  dan  video,  dan fitur  pengaturan  yang  berfungsi  untuk  mengubah  foto  profil,
pesan  status,  simpan  pesan,  tukar  nomor,  menjaga  keamanan akun, dan mengatur privasi pengguna [2].
Berdasarkan  fitur-fitur  yang  terdapat  pada  WhatsApp, beberapa pihak mengembangkan varian WhatsApp yang telah dimodifikasi,  salah  satunya  adalah  GBWhatsApp  (WA  GB). GBWhatsApp  dinilai  lebih  kaya  fitur  dibandingkan  aplikasi WhatsApp  [1].  Secara  legalitas,  GBWhatsApp  merupakan aplikasi  ilegal  [3].  GBWhatsApp  tidak  dapat  ditemukan melalui  layanan  distribusi  aplikasi  resmi  seperti  Google  Play Store [4] dan hanya dapat diunduh melalui pihak ketiga [3].
Mengenai  hal  tersebut  CNN  Indonesia  [5]  sudah menjelaskan  sebelumnya  terkait  bahaya  menggunakan aplikasi  WhatsApp  modifikasi  pada channel YouTube.
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
Aplikasi  GBWhatsApp  dikarenakan  ilegal  menjadi  sesuatu yang  dibicarakan  sampai  saat  ini  [6].  Video  tersebut mendapatkan  banyak  komentar  pro-kontra  mengenai  aplikasi GBWhatsApp.  Pada  18  Mei  2021,  GBWhatsApp  menjadi salah  satu trending topik  di  Twitter  [7].  Tidak  lama  pada  25 Oktober 2022, WhatsApp mengalami server down . Insiden ini memicu  topik  pembicaraan  mengenai  GBWhatsApp  [8], termasuk di Twitter.
Analisis sentimen dipakai demi mencari informasi berguna yang  terdapat  pada  dokumen  yang  tidak  tersusun  [9]. Penelitian  ini  diharapkan  bisa  mengetahui  pendapat  pemakai Twitter  dan  penonton  video  tersebut  terhadap  aplikasi GBWhatsApp.
Twitter  adalah  salah  satu  media  sosial  paling  populer  di kalangan pengguna internet [10]. Hal tersebut disebabkan oleh penggunaannya  yang  sederhana  dan  mudah,  serta  pemakai dapat  mengungkapkan  pendapat  atau  opini  mereka  dengan bebas  [9].  Peneliti  sebelumnya  yang  menggunakan  bahan penelitian dari Twitter dilakukan oleh Samsir et al.  [11] yang membahas  tentang  analisis  sentimen  pembelajaran  daring pada  Twitter  di  masa  pandemi  Covid-19  menggunakan metode Naive Bayes dengan hasil presisinya 97,15% [12].
YouTube  adalah  platform  untuk  berbagi  video  dan mengomentari  video  tersebut  [13].  Peneliti  sebelumnya  yang menggunakan  bahan  penelitian  dari  komentar  video  di YouTube  dilakukan  oleh  Afdhal  et  al.  [14]  yang  membahas analisis  sentimen  komentar  di  YouTube  tentang  islamofobia menggunakan  algoritma Random  Forest dengan  hasil akurasinya 79% [15].
Karena  adanya  perbedaan  pada  penelitian  sebelumnya, maka  mendorong  penulis  untuk  meneliti  lebih  lanjut  dengan menggunakan  teknik text  mining yang  membandingkan performa  metode/algoritma Naive  Bayes  Classifier dan Random Forest Classifier . Berdasarkan penelitian Permatasari et  al.  [16]  dalam  pengumpulan  data  yang  dilakukan menggunakan  dua  media  sosial  yaitu  Twitter  dan  Instagram, peneliti  akan  menggunakan  dua  platform  yaitu  Twitter  dan YouTube.  Platform  Twitter  digunakan  karena  aplikasi GBWhatsApp  pernah  menjadi trending topik  di  Twitter  dan platform  YouTube  digunakan,  karena  berdasarkan  hasil temuan  Delphia  &  Harjono  K  [17]  YouTube  mendapatkan peringkat kedua dalam akses penggunaan media sosial dengan persentase yaitu 72,3% pada tahun 2021.
Berdasarkan perbincangan di Twitter dan video yang dirilis oleh  CNN  Indonesia,  suatu  analisis  sentimen  mengenai aplikasi  GBWhatsApp  dapat  dilakukan  [18].  Analisis dilakukan  untuk  mengetahui  penilaian  publik  terhadap aplikasi  GBWhatsApp  sebagai  salah  satu  aplikasi  ilegal yang banyak  diperbincangkan.  Permasalahan  ini  diangkat  sebagai penelitian dengan judul “Analisis Sentimen terhadap Aplikasi GBWhatsApp  Menggunakan Naive  Bayes  Classifier dan Random Forest Classifier ”.

## II. M ETODOLOGI P ENELITIAN
Gambar 1 . Metodologi SEMMA
Metodologi penelitian yang digunakan dalam penelitian ini adalah  SEMMA  ( Sample , Explore , Modify , Model ,  dan Assess ).  Metodologi  penelitian  diterapkan  dalam  melakukan analisis sentimen. Implementasi SEMMA dimulai dari sample untuk  pengambilan  data, explore untuk  menerangkan  data, modify untuk modifikasi data, model untuk penggunaan model yang digunakan, dan terakhir assess untuk evaluasi dari model. Proses implementasi SEMMA selesai.

## III. H ASIL DAN P EMBAHASAN

## A. Hasil Penelitian
Hasil  penelitian  ini  menggunakan  sentimen  terhadap aplikasi  GBWhatsApp.  Data  sentimen  diambil  dari  dua platfrom  yaitu  YouTube  dan  Twitter.  Jumlah  data  pada penelitian  ini  sebanyak  5.982  data  yang  diambil  dengan  cara scraping dalam  rentang  waktu  1  Januari  2021  hingga  8 November 2022. Data sentimen yang didapatkan diklasifikasikan  berdasarkan  sentimen  positif,  negatif,  dan nonsentimen.  Data  digunakan  untuk  menghasilkan  model klasifikasi  sentimen  ialah  data  yang  bersentimen  positif  dan negatif  dan  diterapkan  kedalam  algoritma Naive  Bayes Classifier dan  algoritma Random  Forest  Classifier dengan metode SEMMA dengan tahapan sebagai berikut.

## 1)  Sample
Pengambilan  data  ( scraping )  dilakukan  di  Google  Colab menggunakan  bahasa  Python  dengan  bantuan library “ Youtube Coment Downloader ” untuk mendapatkan komentar dari  video  YouTube  CNN  Indonesia  dengan  judul  ‘Bahaya Menggunakan  Aplikasi  WhatsApp  Modifikasi’. Source  Code pengambilan  data  komentar  pada  video  tersebut  sebagai berikut.
!pip install https://github.com/egbertbouman/youtube-comment- downloader/archive/master.zip
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
!youtube-comment-downloader – url https://www.youtube.com/watch?v=qrhWaD2grVI --output youtube.json
Data yang diambil adalah data keseluruhan komentar yang ada pada video tersebut. Total data yang diperoleh berjumlah 2.982  data.  Data  yang  didapatkan  berformat  json  perlu diekspor dalam format Excel (.xlsx).
Pada  Twitter  pengambilan  data  ( scraping )  dilakukan  di Google  Colab  menggunakan  bahasa  Python  dengan  bantuan library “ Snscrape ”  untuk mendapatkan twit berdasarkan kata kunci “WA GB”. Source Code pengambilan data twit sebagai berikut.
!pip install snscrape
import snscrape.modules.twitter as sntwitter import pandas as pd
# Membuat daftar untuk menambahkan data tweet tweets = [] # Menggunakan TwitterSearchScraper untuk mengikis data
# dan menambahkan tweet ke daftar for i,tweet in enumerate( sntwitter.TwitterSearchScraper( 'WA GB since:2021-01-01 until:2022-11-08 lang:id' ).get_items() ): if i>2999: break tweets.append([ tweet.user.username, tweet.date, tweet.likeCount, tweet.sourceLabel, tweet.content ])
# Membuat kerangka data untuk memuat daftar tweets_df = pd.DataFrame(tweets, columns=[ "User", "Date Created", "Number of Likes",
"Source of Tweet", "Tweet" ])
tweets_df.to_csv('twitter.csv', index=False)
Data yang diambil ialah data twit berkata kunci “WA GB” dari tanggal 1 Januari 2021 sampai dengan 8 November 2022 yang  berbahasa  Indonesia.  Total  data  yang  diperoleh berjumlah 3.000 data dikarenakan i > 2999: break maka kode program akan berhenti. Hal tersebut dilakukan agar data pada platform Twitter seimbang dengan data yang didapatkan pada platform YouTube. Data yang didapatkan berformat csv perlu diekspor dalam format Excel (.xlsx).
Proses  selanjutnya  pada  tahap  ini  menggunakan  Microsoft Excel  untuk  memberikan  label  sentimen  terhadap  data  yang didapatkan  dengan  cara  manual  dan  telah  melalui  proses validasi  ahli  Bahasa  Indonesia.  Terdapat  tiga  label  yang diberikan yaitu positif (yang mengandung dukungan terhadap subjek  dan  rasa  puas  terhadap  subjek),  negatif  (yang mengandung umpatan dan ketidaknyamanan terhadap subjek), dan nonsentimen (tidak sesuai subjek).
Pelabelan manual terhadap data yang berasal dari platform YouTube  dengan  jumlah  2.982  data  mendapatkan  label
sentimen  positif  berjumlah  470  data,  label  sentimen  negatif berjumlah  333  data,  dan  label  sentimen  nonsentimen berjumlah  2.179  data.  Pelabelan  manual  terhadap  data  yang berasal  dari  platform  Twitter  dengan  jumlah  3.000  data mendapatkan label sentimen positif berjumlah 387 data, label sentimen  negatif  berjumlah  496  data,  dan  label  sentimen nonsentimen  berjumlah  2.117  data.  Keterangan  data  hasil pelabelan lebih jelasnya dapat dilihat pada Tabel 1.
Tabel 1 . Data Hasil Pelabelan Positif Negatif Nonsentimen Jumlah Youtube 470 333 2179 2982 Twitter 387 496 2117 3000 Jumlah 857 829 4296 5982

## 2)  Explore
Pada tahap ini sudah dilakukan eksplorasi dan mendapatkan informasi  terkait  data  dan  menganalisis  fenomena  data. Eksplorasi yang dilakukan terhadap atribut data menghasilkan informasi keterangan atribut yang berjumlah 18 atribut secara terperinci dapat dilihat pada Tabel 2.
Tabel 2 . Keterangan Atribut
No Atribut Keterangan 1 cid Code identitas dari komentar 2 text Isi komentar 3 time Waktu komentar yang diberikan ketika pengambilan data 4 author Nama user dari yang memberikan komentar 5 channel Code channel dari yang memberikan komentar 6 votes Banyaknya yang menyukai isi komentar 7 photo Foto user dari yang memberikan komentar 8 heart Isi komentar diberikan like atau tidak oleh pembuat video 9 reply Isi komentar pernah di replay atau tidak 10 times_parsed Waktu pengambilan data 11 waktu Waktu komentar yang diberikan 12 User Nama user dari yang memberikan twit 13 Date Created Waktu twit yang diberikan 14 Number of Likes Banyaknya yang menyukai isi twit 15 Source of Tweet Keterangan alat yang digunakan user ketika memberikan twit 16 Tweet Isi twit 17 sentimen Hasil pelabelan 18 platform Nama sosial media
Hasil  analisis  fenomena  data  dilakukan  melalui  visualisasi terhadap  data  yang  diubah  kedalam  bentuk  diagram  batang menggunakan  Looker  Studio.  Perbandingan  jumlah  sentimen berdasarkan  pelabelan  manual  dapat  melihat  Gambar  2  yang berbentuk diagram batang.
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
Gambar 2 . Perbandingan Jumlah Sentimen

## 3)  Modify
Tahap ini menggunakan RapidMiner Studio dan memiliki 2 cara  membersihkan  data  yaitu  dimodifikasi  dan  tidak dimodifikasi.  Cara  yang  tidak  dimodifikasi  jumlah  data terakhir yang siap diproses untuk pembuatan model berjumlah 1.682 data. Cara yang dimodifikasi jumlah data terakhir yang siap  diproses  untuk  pembuatan  model  berjumlah  1.546  data. Proses  yang  dilakukan  pada  tahap  ini  dapat  dilihat  pada Gambar 3.
Gambar 3 . Proses Modify
Dataset perlu  di  masukkan  kedalam  kanvas  RapidMiner Studio  dengan  cara  menggunakan  operator Read  Excel .  Pada dataset YouTube  operator Read  Excel diberi  penamaan “Youtube” dan atribut sentimen diubah role -nya menjadi label. Pada  dataset  Twitter  operator Read  Excel diberi  penamaan “Twitter” dan atribut sentimen diubah role -nya menjadi label. Eliminasi  atribut  menghasilkan  atribut  yang  berguna. Proses  ini  menggunakan  operator Select  Attributes dengan pilihan type  exclude  attributes dan  mengatur attribute  filter type menjadi a  subset ,  terakhir  memilih  atribut  yang  ingin dieliminasi.  Pada dataset YouTube  mengeliminasi  atribut sebanyak  sebelas  atribut  yaitu author , channel , cid , heart , photo ,  platform, reply , time , time_parsed , votes ,  dan  waktu. Pada eliminasi atribut menyisakan dua atribut yaitu atribut text
dan  sentimen.  Pada dataset Twitter  mengeliminasi  atribut sebanyak  lima  atribut  yaitu Date  Created , Number  of  Likes , platform, Source  of  Tweet ,  dan User .  Pada  eliminasi  atribut menyisakan dua atribut yaitu atribut Tweet dan Sentimen. Penggabungan  data  menggunakan  proses Join dengan parameter join  type  outer .  Penggabungan  data  berdasarkan dua atribut dari masing-masing platform yaitu atribut text dan atribut  sentimen  dari  platform  YouTube,  atribut Tweet dan atribut  sentimen  dari  platform  Twitter.  Jumlah  atribut digabung menjadi dua atribut yaitu text dan sentimen. Dataset dari  YouTube  berjumlah  2.982  data  dan dataset dari  Twitter berjumlah 3.000 data penggabungan data tersebut menghasilkan  5.982  data.  Jumlah  data  tersebut  akan  diproses pada tahap text pre-processing .
Proses ini menghasilkan data bersih yang sudah siap untuk diproses  dalam  pembentukan model .  Untuk  dapat  bisa  di proses  data  yang  sudah  digabungkan  perlu  diubah  menjadi type  data  text dengan  operator Nominal  to  Text .  Proses Subprocess  Remove terdapat  tiga  operator  yaitu Filter Examples , Remove  Duplicates ,  dan Replace .  Pada  proses  ini menggunakan  dua  operator Replace .  Lebih  jelasnya  dapat dilihat pada Gambar 4.
Gambar 4 . Proses Remove
Operator Filter  Examples untuk  menyaring  data  yang diperlukan  ataupun  tidak  diperlukan  melalui  penentuan parameter.  Data  sentimen  yang  berlabel  Nonsentimen  perlu adanya penghapusan menggunakan operator Filter Excamples . Operator Remove  Duplicates untuk  menghapus  data  yang ganda.  Operator  tersebut  menghapus  data  ganda  yang  ada pada  atribut text .  Operator Replace untuk  mengubah text pilihan.  Pada  operator  tersebut  digunakan  untuk  menghapus pranala  yang  ada  pada  atribut text .  Mengubah  nama  operator menjadi  “ Remove Http”.  Pada  operator Replace kedua digunakan  untuk  menghapus retweet pada  atribut text . Mengubah  nama  operator  menjadi  “ Remove RT”.  Setelah dilakukan subprocess remove data menjadi 1.683 data.
Proses  Dokumen  dari  Data  terdapat  tiga  operator  yaitu Tokenize , Transform  Cases ,  dan Stopwords .  Lebih  jelasnya dapat dilihat pada Gambar 5.
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
Gambar 5 . Proses Dokumen dari Data
Operator Tokenize untuk  memecah  kalimat  menjadi kumpulan  kata-kata.  Pada  operator  tersebut  digunakan  untuk memecah  kalimat  menjadi  kumpulan  kata-kata  terhadap  data yang  ada  di  atribut text .  Operator Transform  Cases untuk mengubah  kata  menjadi  huruf  kapital  maupun  kecil.  Pada operator  tersebut  digunakan  untuk  mengubah  kata  menjadi huruf  kecil.  Operator Stopwords untuk  menghapus  kata  yang berada  pada  suatu  file.  Pada  operator  tersebut  digunakan untuk menghapus kata tidak terlalu penting yang sudah dimuat dalam  satu  file  bernama  “stopwordindonesia.csv”.  File tersebut  mengambil  kata  tidak  penting  melalui  tautan http://static.hikaruyuuki.com/wp- content/uploads/stopword_list_tala.txt . Setelah dilakukan proses  dokumen  dari  data  jumlah  data  tidak  mengalami perubahan tetap 1.683 data.
Proses  Dokumen  dari  Data  yang  dimodifikasi  terdapat empat  operator  yaitu Tokenize , Transform  Cases , Stopwords , dan Filter Tokens . Lebih jelasnya dapat dilihat pada Gambar 6.
Gambar 6 . Proses Modifikasi Dokumen dari Data
Pada operator Stopwords digunakan untuk menghapus kata tidak  terlalu  penting  yang  sudah  dimodifikasi  dan  dimuat dalam  satu  file  bernama  “stopwordindonesiamodifikasi.csv”. Operator Filter Tokens untuk mengambil jumlah huruf dalam kata  yang  sudah  ditentukan  diluar  penentuan  itu  kata  akan dihapus.  Pada  operator  tersebut  digunakan  untuk  mengambil kata yang berjumlah 4 sampai dengan 25 huruf, kurang dari 4 dan  lebih  dari  25  huruf  dihapus.  Setelah  dilakukan  proses dokumen  dari  data  modifikasi  jumlah  data  tidak  mengalami perubahan tetap 1.683 data.
Selanjutnya  akan  menggunakan  operator Remove  Blank untuk  menghapus  data  kosong.  Pada  operator  tersebut digunakan  untuk  menghapus  data  kosong  pada  dataset  yang sudah dibersihkan. Setelah dilakukan proses penghapusan data kosong  jumlah  data  menjadi  1.682  data.  Setelah  dilakukan proses  penghapusan  data  kosong  modifikasi  jumlah  data menjadi 1.545 data.
Pembobotan  TF-IDF  dilakukan  menggunakan  operator process documents from data . Pada proses ini data berjumlah 1.682 data untuk yang tidak dimodifikasi dan 1.545 data untuk yang  menggunakan  modifikasi.  Proses  TF-IDF  tanpa modifikasi menghasilkan 3.937 regular attributes yang sudah termasuk dengan attribut sentimen. Proses TF-IDF modifikasi menghasilkan  2.951 regular  attributes yang  sudah  termasuk dengan attribut sentimen.

## 4)  Model
Penentuan model dilakukan  dengan  cara  membagi dataset menjadi  data training dan  data testing serta  menerapkan algoritma Naive  Bayes  Classifier (NBC)  dan  algoritma Random  Forest  Classifier (RFC).  Pembuatan model dengan cara  mengujicoba  pembagian  data  dan  penerapan  modifikasi. Hal  itu  memperoleh  10  percobaan  dalam  setiap  algoritma yang  digunakan.  Percobaan  pembuatan  model  dapat  dilihat pada Tabel 3.
Tabel 3 . Percobaan Pembuatan Model
Percobaan Modifikasi Pembagian Data Training : Testing 1 Tidak 90:10 2 80:20 3 70:30 4 60:40 5 50:50 6 1. Stopwords 2. Filter Tokens (4-25) 90:10 7 80:20 8 70:30 9 60:40 10 50:50
Dataset dengan  jumlah  1.682  data  tidak  dimodifikasi  dan 1.545 data yang dimodifikasi diproses untuk membuat model Naive Bayes Classifier (NBC) sentimen dengan 10 percobaan yang ada pada Tabel 3. Hasil dapat dilihat pada Tabel 4.
Tabel 4 . Hasil Percobaan Pemodelan NBC
Pe rc ob aa n Propor si Traini ng:Test ing Modifi kasi Pembagian Data Akura si (%) Precisi on (%) Recal l (%) Data Latih Data Uji 1 90:10 Tidak 1.513 169 68,64 75,38 56,98 2 80:20 1.346 336 65,48 71,32 53,80 3 70:30 1.177 505 62,77 66,51 54,09 4 60:40 1.010 672 63,99 67,24 57,02 5 50:50 841 841 62,54 66,67 52,80 6 90:10 - Stopwo rds - Filter Tokens (4-25) 1.391 154 71,43 75,81 61,84 7 80:20 1.236 309 67,31 71,07 56,58 8 70:30 1.082 463 65,23 68,11 55,26 9 60:40 927 618 62,78 65,42 51,64 10 50:50 773 772 65,41 67,71 56,84
Berdasarkan  Tabel  4,  model  klasifikasi  NBC  dengan akurasi  yang  terbaik  adalah  model  percobaan  6.  Percobaan  6 menghasilkan  model  dengan  akurasi  sebesar  71,43%  dengan
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
menerapkan proporsi 90:10 dengan cara modifikasi stopwords dan filter tokens (4-25).
Penerapan  modifikasi  pada  tahap Modify dalam  empat bentuk  proporsi  menaikkan  akurasi  model  dan  satu  bentuk proporsi menurunkan akurasi. Lebih jelas pengaruh modifikasi pada tahap Modify NBC dapat dilihat pada Tabel 5.
Tabel 5 . Pengaruh Modifikasi terhadap Tahap Modify NBC Proporsi Akurasi Tanpa Modifikasi (%) Akurasi Menggunakan Modifikasi (%) Pengaruh Modifikasi (%) 90:10 68,64 71,43 + 2,79 80:20 65,48 67,31 + 1,83 70:30 62,77 65,23 + 2,46 60:40 63,99 62,78 - 1,21 50:50 62,54 65,41 + 2,87
Dataset  dengan  jumlah  1.682  data  tidak  dimodifikasi  dan 1.545 data yang dimodifikasi diproses untuk membuat model Random  Forest  Classifier sentimen  dengan  10  percobaan yang ada pada Tabel 3. Hasil dapat dilihat pada Tabel 6.
Tabel 6 . Hasil Percobaan Pemodelan RFC
Pe rc ob aa n Propor si Traini ng:Test ing Modifi kasi Pembagian Data Akura si (%) Precisi on (%) Recal l (%) Data
Latih Data Uji
1 90:10 Tidak 1.513 169 60,95 56,85 96,51 2 80:20 1.346 336 63,39 59,30 89,47 3 70:30 1.177 505 62,18 57,75 95,72 4 60:40 1.010 672 61,61 57,39 95,32 5 50:50 841 841 60,05 56,80 89,72 6 90:10 - Stopwo rds - Filter Tokens (4-25) 1.391 154 64,94 80,56 38,16 7 80:20 1.236 309 63,75 85,71 31,58 8 70:30 1.082 463 61,77 77,42 31,58 9 60:40 927 618 60,52 73,08 31,25 10 50:50 773 772 58,94 75,61 24,47
Berdasarkan  Tabel  6,  model  klasifikasi  RFC  dengan akurasi  yang  terbaik  adalah  model  percobaan  6.  Percobaan  6 menghasilkan  model  dengan  akurasi  sebesar  64,94%  dengan menerapkan proporsi 90:10 dengan cara modifikasi stopwords dan filter tokens (4-25). Penerapan modifikasi pada tahap Modify dalam dua bentuk proporsi  menaikkan  akurasi  model  dan  tiga  bentuk  proporsi menurunkan  akurasi.  Lebih  jelas  pengaruh  modifikasi  pada tahap Modify RFC dapat dilihat pada Tabel 7.
Tabel 7 . Pengaruh Modifikasi terhadap Tahap Modify RFC Proporsi Akurasi Tanpa Modifikasi (%) Akurasi Menggunakan Modifikasi (%) Pengaruh Modifikasi (%) 90:10 60,95 64,94 + 3,99 80:20 63,39 63,94 + 0,55 70:30 62,18 61,77 - 0,41 60:40 61,61 60,52 - 1,09 50:50 60,05 58,94 - 1,11

## 5)  Assess
Tahap assess yaitu  tahap  evaluasi  kinerja  model  algoritma Naive  Bayes  Classifier dan Random  Forest  Classifier .  Tahap ini  menggunakan confusion  matrix dan  operator  yang digunakan  adalah Performance .  Hasil  pada  tahap  ini  adalah mendapatkan  nilai  akurasi, precision ,  dan recall pada  model yang terbaik di NBC dan RFC.
Pada model NBC klasifikasi sentimen yang dievaluasi yaitu model percobaan 6 dengan akurasi sebesar 71,43%. Confusion matrix dari  model  NBC  percobaan  6  dapat  dilihat  pada Gambar 7.

## Gambar 7 . Hasil Performa NBC
Berdasarkan  Gambar  7  dapat  diketahui  jumlah  data  uji yang  diprediksi  benar  adalah  110  data  dan  data  uji  yang diprediksi  salah  adalah  44  data.  Berikut  perhitungan  manual untuk memperoleh akurasi, precision , dan recall .
Akurasi = TP + TN TP + TN + FP + FN × 100% = 47 + 63 47 + 63 + 15 + 29 × 100% = 110 154 × 100% = 71,43% 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = TP (TP + FP) × 100% = 47 (47 + 15) × 100%
=
47 62 × 100% = 75,81%
𝑅𝑒𝑐𝑎𝑙𝑙 = TP (TP + FN) × 100% = 47
(47 + 29) × 100%
= 47 76 × 100% = 61,84%
Pada model RFC klasifikasi sentimen yang dievaluasi yaitu model percobaan 6 dengan akurasi sebesar 64,94%. Confusion matrix dari  model  RFC  percobaan  6  dapat  dilihat  pada Gambar 8.

## Gambar 8 . Hasil Performa RFC
Berdasarkan  Gambar  8  dapat  diketahui  jumlah  data  uji yang  diprediksi  benar  adalah  100  data  dan  data  uji  yang diprediksi  salah  adalah  54  data.  Berikut  perhitungan  manual untuk memperoleh akurasi, precision , dan recall .
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
Akurasi = TP + TN TP + TN + FP + FN × 100% = 29 + 71 29 + 71 + 7 + 47 × 100% = 100 154 × 100%
= 64,94% 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = TP (TP + FP) × 100% = 29 (29 + 7) × 100% = 29 36 × 100%
= 80,56%
𝑅𝑒𝑐𝑎𝑙𝑙 = TP (TP + FN) × 100% = 29 (29 + 47) × 100% = 29 76 × 100% = 38,16%

## B. Pembahasan
Data  sentimen  yang  digunakan  penelitian  ini,  diambil  dari platform  YouTube  dan  Twitter  dengan  cara scraping dengan rentang  waktu  1  Januari  2021  hingga  8  November  2022. Jumlah  data  yang  dihasilkan  dengan  cara scraping sebanyak 5.982  data  yang  terbagi  kedalam  2.982  data  dari  platform YouTube  dan  3.000  data  dari  platform  Twitter.  Dari  data tersebut  diberi  label  sentimen  (positif,  negatif,  dan nonsentimen)  dengan  cara  manual  dan  menghasilkan  jumlah sentimen positif yaitu 857 data, jumlah sentimen negatif yaitu 829 data, dan jumlah sentimen nonsentimen yaitu 4.296 data.
Pada  tahap explore ,  fenomena  data  yang  diperoleh memiliki like terbanyak  yaitu  data  sentimen  negatif  dari platfrom YouTube maupun Twitter.
Gambar 9 . Sentimen Like Terbanyak di Platform YouTube
Pada  Gambar  9  menjelaskan  bahwa  sentimen  dengan like terbanyak  ialah  sentimen  yang  berlabelkan  negatif  dengan maksud  isi  komentar  ialah  agar  pengguna  wa  gb  beralih  ke aplikasi  yang  lain  ataupun  jangan  sampai  pengguna  aplikasi lain  beralih  ke  aplikasi  wa  gb,  artinya  banyak  yang terwakilkan  atas  komentar  tersebut  yang  membuat  komentar tersebut mendapatkan like terbanyak.
Gambar 10 . Sentimen Like Terbanyak di Platform Twitter
Pada Gambar 10 menjelaskan bahwa sentimen dengan like terbanyak  ialah  sentimen  yang  berlabelkan  negatif  dengan maksud  isi  komentar  ialah  mencaci  maki  pengguna  wa  gb, artinya  banyak  yang  terwakilkan  atas  twit  tersebut  yang membuat  twit  tersebut  mendapatkan like terbanyak.  Pada
tahap  ini  pula  didapatkan  informasi  platform  yang  memiliki sentimen  positif  terbanyak  ada  pada  platform  YouTube  yang berarti  banyaknya  komentar  pada  video  YouTube  yang mendukung  terhadap  aplikasi  GBWhatsApp  dan  platform yang  memiliki  sentimen  negatif  terbanyak  ada  pada  platform Twitter  yang  berarti  banyaknya  twit  tidak  mendukung terhadap  aplikasi  GBWhatsApp.  Hal  tersebut  dapat  dilihat pada Gambar 11.
Gambar 11 . Perbandingan Sentimen terhadap Dua Platform
Pada  tahap modify ,  dilakukan  dengan  2  cara  tidak dimodifikasi  dan  dimodifikasi  yang  membedakannya  ialah pada  cara  modifikasi  menggunakan kata stopword yang  telah ditambahkan  dan  menambahkan filter  tokens (4-25).  Data yang  digunakan  ialah  data  yang  digabungkan  yang  telah melewati tahap eliminasi atribut dan hanya tersisa dua atribut yaitu text dan sentimen. Selanjutnya sentimen yang digunakan untuk membuat model yaitu sentimen yang berlabelkan Positif dan  Negatif  dan  perlu  membuang  sentimen  yang  berlabelkan Nonsentimen,  selanjutnya  perlu  pembuangan  data  ganda, pembuangan http, pembuangan RT, tokenize , transform cases , stopwords ( stopwords modifikasi  dan filter  tokens untuk modify modifikasi), pembuangan data kosong dan tahap akhir ialah TF-IDF. Perbandingan jumlah data sebelum dan setelah pre-processing terhadap  modifikasi  maupun  tidak  modifikasi dapat dilihat pada Tabel 8.
Tabel 8 . Perbandingan Jumlah Data Sebelum dan Sesudah Pre-processing
Tidak Modifikasi Modifikasi Sebelum Pre- processing Sesudah Pre- processing Sebelum Pre- processing Sesudah Pre- procesing 5.982 1.682 5.982 1.545
Data  bersih  yang  tidak  dimodifikasi  berjumlah  1.682  data dengan  sentimen  positif  berjumlah  856  data  dan  sentimen negatif  berjumlah  826  data.  Data  bersih  yang  dimodifikasi berjumlah  1.545  data  dengan  sentimen  positif  berjumlah  761 data  dan  sentimen  negatif  berjumlah  784  data.  Setelah  data bersih dilakukan perhitungan TF-IDF, dengan 1.682 dokumen dan  3.936  kata  untuk  yang  tidak  dimodifikasi  dan  1.545 dokumen dan 2.950 kata untuk yang dimodifikasi. Pada tahap ini  pula  mendapatkan  kata  yang  sering  muncul  yaitu,  privasi, chat , user , resmi, dan data yang dapat dilihat pada Gambar 12.
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
Gambar 12 . Wordcloud Kata Kemunculan Tertinggi
Pada  tahap model ,  diperoleh  hasil  pengaruh  modifikasi terhadap proses modify dengan akurasi dari setiap percobaan. Percobaan dapat dilihat pada Tabel 9.
Tabel 9 . Pengaruh Modifikasi terhadap Tahap Modify Akurasi Model Jumlah Total NBC RFC Naik 4 2 6 Turun 1 3 4 Total 5 5 10
Tabel  9  menjelaskan  bahwa  percobaan  paling  banyak adalah  percobaan  yang  membuat  akurasi  model  naik  setelah menerapkan  modifikasi  terhadap  proses modify dengan sebanyak  enam  percobaan.  Selanjutnya  dari  setiap  percobaan pada  algoritma  diambil  percobaan  yang  menghasilkan  nilai akurasi yang terbaik untuk dievaluasi menggunakan confusion matrix pada tahap assess . Pada  tahap assess ,  diperoleh  nilai  akurasi, precision ,  dan recall dari  model  terbaik  pada  algoritma Naive  Bayes Classifier dan Random Forest Classifier . Perbandingan antara kedua algoritma tersebut dapat dilihat pada Tabel 10.
Tabel 10 . Perbandingan NBC dan RFC
Algoritma Kriteria Naive Bayes Classifier Random Forest Classifier Model Terbaik Model Percobaan 6 Model Percobaan 6 Pembagian Data 90:10 90:10 Modifikasi Iya Iya Akurasi 71,43% 64,94% Precision 75,81% 80,56% Recall 61,84% 38,16%
Hasil  dari  perbandingan  model  klasifikasi  antara Naive Bayes  Classifier dan Random  Forest  Classifier yang  diuji menggunakan dataset yang  sama  dan  proses  yang  sama dengan menggunakan model terbaik dan pembagian data yang sama.  Model  terbaik  bagi  sentimen  terhadap  aplikasi GBWhatsApp  adalah  model  yang  menggunakan  algoritma Naive Bayes Classifier dengan nilai akurasi sebesar 71,43%.

## IV. K ESIMPULAN
Pada tahap sample , dilakukan pengumpulkan data sentimen sebanyak  5.982  data  dan  diberi  label  positif,  negatif,  dan nonsentimen  dengan  cara  manual.  Pada  tahap explore , dilakukan  eksplorasi  terhadap  penyebaran  data  sentimen berdasarkan bulan dan didapatkan penyebaran data terbanyak pada  bulan  November  2021  dan  bulan  Oktober  2022.  Pada tahap Modify ,  dilakukan  penghapusan  atribut,  penggabungan data, pembersihan data, dan pembobotan TF-IDF.  Pada tahap Model,  dilakukan  pembuatan  model Naive  Bayes  Classifier
(NBC)  dan Random  Forest  Classifier (RFC).  Kedua  model diuji  coba  melalui  skema  dengan  dan  tanpa  modifikasi  data serta  lima  skema  pembagian  data training dan  data testing , mulai dari 90:10 hingga 50:50. Model NBC dan RFC dengan akurasi  terbaik  diperoleh  pada  skema  yang  dimodifikasi dengan pembagian data training dan data testing 90:10. Pada tahap assess ,  dilakukan  evaluasi  terhadap  model  terbaik dengan cara confusion matrix . Performa  algoritma Naive  Bayes  Classifier dalam mengklasifikasikan  sentimen  terhadap  aplikasi  GBWhatsApp mendapatkan  akurasi  71,43%, precision 75,81%,  dan recall 61,84%. Performa algoritma Random Forest Classifier dalam mengklasifikasikan  sentimen  terhadap  aplikasi  GBWhatsApp mendapatkan  akurasi  64,94%, precision 80,56%,  dan recall 38,16%.  Percobaan  pembagian  data training dan  data testing yang  terbaik  adalah  90:10  dengan  tahap Modify yang  telah dimodifikasi. Performa sentimen terhadap aplikasi GBWhatsApp  lebih  unggul  menggunakan  algoritma Naive Bayes Classifier .

## V. S ARAN
Berdasarkan penelitian yang telah dilakukan, terdapat saran dan masukan bagi penelitian lebih lanjut, yaitu sebagai berikut: 1. Penambahan data terbaru.
2. Pengembangan  dalam  pemrosesan  pembersihan  data, seperti  menggunakan stemming dan  penyetaraan  kamus alay Bahasa Indonesia.
3. Analisis  sentimen  terhadap  aplikasi  GBWhatsApp  dapat dilakukan  menggunakan  metode  klasifikasi  dengan algoritma Support Vector Machine (SVM) atau K-Nearest Neighbor (KNN).
4. Alat  bantu  pemrosesan text  mining ,  seperti  WEKA, Orange, Rattle, atau KNIME.
Saran untuk pengguna aplikasi GBWhatsApp untuk beralih atau  menggunakan  aplikasi  yang  resmi  dan  legal.  Penelitian ini juga merekomendasikan tidak menggunakan aplikasi ilegal namun menggunakan aplikasi resmi dan legal.

## R EFERENSI
[1] B.  Santoso,  M.  A.  Ghofur,  and  J.  Kuswanto, “Analysis  of  WhatsApp  Mod  User  Awareness Information  Security  with  Static  Analysis  Methods and  Quantitative  Methods,” Pros.  Semin.  Nas.  Sains Teknol. dan Inov. Indones. , vol. 3, no. November, pp. 213–222, 2021, doi: 10.54706/senastindo.v3.2021.128.
[2] A.  Anjani,  I.  A.  Ratnamulyani,  and  A.  A. Kusumadinata,  “Penggunaan  Media  Komunikasi Whatsapp Terhadap Efektivitas Kinerja Karyawan,” J. Komun. ,  vol.  4,  no.  1,  pp.  41–50,  2018,  doi: 10.30997/jk.v4i1.1211.
[3] A.  R.  Lubis,  “Modifikasi  Aplikasi  Whatsapp  GB Menurut  Pasal  52  Undang  Undang  No  .  28  Tahun 2014  Tentang  Hak  Cipta,”  vol.  6,  pp.  1472–1473, 2022.
JSiI | Jurnal Sistem Informasi Vol.11 No.1 Maret 2024, Hal. 1-9
[4] Google  Play  Store,  “GB  WhatsApp  -  Android  Apps on Google Play,” 2022. https://play.google.com/store/search?q=GB
Whatsapp&c=apps (accessed Dec. 21, 2022).
[5] CNN  Indonesia,  “Bahaya  Menggunakan  Aplikasi Whatsapp  Modifikasi,”  2021.  [Online].  Available: https://www.youtube.com/watch?v=qrhWaD2grVI&t =1s
[6] N.  M.  Maghfur,  F.  Muhammad,  and  A.  Voutama, “Analysis  of  the  Relationship  between  Public Sentiment  on  Social  Media  and  Indonesian  Covid-19 Dynamics,” Systematics , vol. 3, no. 3, p. 336, 2021.
[7] L. Anggraeni, “Netizen Resah, WA GB Jadi Trending di Twitter,” medcom.id , 2021. https://www.medcom.id/teknologi/news- teknologi/ob3enp5K-netizen-resah-wa-gb-jadi- trending-di-twitter
[8] B.  Nikmatur,  “WA  GB  Curi  Perhatian  Netizen  Usai
WhatsApp Down,” Malang Times , 2022. https://www.malangtimes.com/baca/85902/20221031/ 100800/wa-gb-curi-perhatian-netizen-usai-whatsapp- down (accessed Dec. 21, 2022).
[9] A.  P.  Giovani,  A.  Ardiansyah,  T.  Haryanti,  L. Kurniawati, and W. Gata, “Analisis Sentimen Aplikasi Ruang  Guru  Di  Twitter  Menggunakan  Algoritma Klasifikasi,” J. Teknoinfo , vol. 14, no. 2, p. 115, 2020, doi: 10.33365/jti.v14i2.679.
[10] D.  W.  Ardras  and  A.  Voutama,  “Analisis  Sentimen Anti  Lgbt  Di  Indonesia  Melalui  Media  Sosial Twitter,” J. Tek. , vol. 15, no. 1, pp. 23–28, 2023, doi:
10.30736/jt.v15i1.926.
[11] Samsir,  Ambiyar,  U.  Verawardina,  F.  Edi,  and  R. Watrianthos, “Analisis Sentimen Pembelajaran Daring Pada Twitter di Masa Pandemi COVID-19 Menggunakan Metode Naïve Bayes,” J. Media Inform. Budidarma ,  vol.  5,  no.  1,  p.  157,  2021,  doi: 10.30865/mib.v5i1.2604.
[12] R.  Maulana,  A.  Voutama,  and  T.  Ridwan,  “Analisis Sentimen Ulasan Aplikasi MYPertamina pada Google Play Store Menggunakan Algoritma NBC,” J. Teknol. Terpadu ,  vol.  9,  no.  2,  pp.  42–48,  2023,  [Online]. Available: https://journal.nurulfikri.ac.id/index.php/jtt/article/do wnload/318/201
[13] M.  Alkaff,  A.  Rizky  Baskara,  and  Y.  Hendro Wicaksono, “Sentiment Analysis of Indonesian Movie Trailer  on  YouTube  Using  Delta  TF-IDF  and  SVM,”
2020  5th  Int.  Conf.  Informatics  Comput.  ICIC  2020 , 2020, doi: 10.1109/ICIC50835.2020.9288579.
[14] I. Afdhal, R. Kurniawan, I. Iskandar, R. Salambue, E. Budianita,  and  F.  Syafria,  “Penerapan  Algoritma Random  Forest  Untuk  Analisis  Sentimen  Komentar Di YouTube Tentang Islamofobia,” J. Nas. Komputasi dan  Teknol.  Inf. ,  vol.  5,  no.  1,  pp.  49–54,  2022,
[Online].
Available: http://ojs.serambimekkah.ac.id/jnkti/article/view/4004 /pdf
[15] A.  Fathiarahma,  A.  Voutama,  T.  Ridwan,  and  N. Heryana,  “Analisis  Text  Mining  Klasifikasi  Kegiatan Keluarga Menggunakan Orange dengan Metode Naive Bayes,” J.  Teknol.  Terpadu ,  vol.  9,  no.  1,  pp.  35–41, 2023, [Online]. Available: https://media.neliti.com/media/publications/493730- water-ph-and-turbidity-control-system-in- 0a553e14.pdf
[16] P.  A.  Permatasari,  L.  Linawati,  and  L.  Jasa,  “Survei Tentang  Analisis  Sentimen  Pada  Media  Sosial,” Maj. Ilm. Teknol. Elektro , vol. 20, no. 2, p. 177, 2021, doi: 10.24843/mite.2021.v20i02.p01.
[17] R.  Delphia  and  M.  Harjono  K,  “Persepsi  Masyarakat atas  Pelindungan  Data  Pribadi,” Survei  Nas.  Tahun 2021 , pp. 3–62, 2021.
[18] F.  Muhammad,  N.  M.  Maghfur,  and  A.  Voutama, “Sentiment  Analysis  Dataset  on  COVID-19  Variant News,” Sci. J. Inromation Syst. Informatics , vol. 4, no. 1, pp. 382–391, 2022.