Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal 282-285 http://jurnal.unidha.ac.id/index.php/jteksis

## Analisis Sentimen Komentar Youtube Konferensi Tingkat Tinggi G20 Menggunakan Metode Naive Bayes
Risav Arrahman Firsttama a , Amalia Anjani Arifiyanti b , Dhian Satria Yudha Kartika c abc Sistem Informasi, Ilmu Komputer, Universitas Pembangunan Nasional Veteran Jawa Timur
a 19082010071@student.upnjatim.ac.id , b Amalia_anjani.fik@upnjatim.ac.id , c dhian.satria@upnjatim.ac.id
Submitted: 18-01-2024, Reviewed: 29-01-2024, Accepted 17-04-2024 https://doi.org/10.47233/jteksis.v6i2.1263

## Abstract
In  the  ever-growing  digital  era,  social  media,  especially  YouTube,  has  become  a  source  of  information  that  is  easily accessible via cell phone. YouTube has a lot of video content spread around and there are often positive and negative reviews in  comments  or  opinions.  Irrelevant  2022  G20  Summit.  The  2022  G20  Summit  addresses  global  issues.  The  aim  of  this research is to find out YouTube users' responses to the 2022 G20 Summit. The research method in this study uses the Youtube API to obtain comment data, then Text Preprocessing is carried out, and Labeling with VADER and classification using Naive Bayes with a total of 19215 comment data and Cross Validation is 5-fold validation. Based on the results of testing with Naïve Bayes, the results obtained were an accuracy value of 77%, f1-score 76%, precision 85%, and recall 69%. It is hoped that these results will enable sentiment predictions in the future using the model that has been built. Keywords: Sentiment Analysis, VADER, Naive Bayes, Cross Validation

## Abstrak
Di era digital yang terus berkembang, media sosial khususnya Youtube telah menjadi sumber informasi yang mudah diakses melalui  telepon  seluler.  Youtube  memiliki  banyak  konten  video  yang  tersebar  dan  seringkali  terdapat  ulasan  positif  dan negatif  dalam  berkomentar  atau  beropini.  Konferensi  Tingkat  Tinggi  G20  2022  yang  tidak  relevan.  Konferensi  Tingkat Tinggi G20 2022 mengatasi isu-isu global. Tujuan penelitian ini dapat mengetahui tanggapan pengguna Youtube terhadap Konferensi  Tingkat  Tinggi  G20  2022.  Metode  penelitian  dalam  penelitian  ini  menggunakan  Youtube  API  untuk mendapatkan data komentar, selanjutnya dilakukan Text Preprocessing, dan Pelabelan dengan VADER dan pengklasifikasin menggunakan  Naive  Bayes  dengan  jumlah  data  sebanyak  19215  data  komentar  dan  Cross  Validation  sebanyak  5-fold validation. Berdasarkan hasil pengujian dengan Naïve Bayes hasil yang diperoleh adalah nilai accuracy 77%, f1-score 76%, Precision 85%,  dan Recall 69%.  Hasil  ini  diharapkan  agar  kedepannya  dapat  dilakukannya  prediksi  sentimen  dengan menggunakan model yang telah dibangun.
Keywords: Analisis Sentimen, VADER, Naive Bayes, Cross Validation
This work is licensed under Creative Commons Attribution License 4.0 CC-BY International license

## PENDAHULUAN
Pada  tahun  2022,  basis  pengguna  YouTube mencapai 2,56 miliar pengguna dari seluruh dunia dan  angka  ini  diproyeksikan  akan  tumbuh mencapai 2,85 miliar pengguna pada tahun 2025 [1].  Di  Indonesia  sendiri  pengguna  Youtube mencapai  139  juta  pengguna  pada  bulan  Januari 2022  [2].  Dengan  meningkatnya  pengguna  dan seiring dengan meningkat juga konten video yang diunggah  ke  Youtube  dapat  menimbulkan beragam opini dalam berkomentar ketika melihat video  yang  diunggah  sangat  memengaruhi reputasi  video  tersebut  yang  tidak  terlepas  dari opini dalam berkomentar [3].
Konferensi  Tingkat  Tinggi  G20  2022 merupakan  forum  utama  kerja  sama  ekonomi internasional  untuk  membangun  kemitraan  dan mengatasi masalah-masalah global [4]. Konferensi Tingkat Tinggi G20 2022 membahas isu-isu  global  seperti  Hubungan  Rusia  dengan Ukraina  yang  tak  kunjung  usai  dan  penanganan
pandemi  covid-19  yang  melanda  perekonomian global [5].
Metode  penelitian  yang  digunakan  dalam penelitian  ini  yaitu  menggunakan Naive  Bayes dan 5-fold  validation dengan  jumlah  data sebanyak  19215  komentar  yang  diolah.  Hasil yang diperoleh Naive Bayes dengan 5-fold Cross Validation sebesar 75.96% untuk global test . Hal ini dapat memberikan gambaran terkait pembuatan model dengan Naive Bayes .

## METODE PENELITIAN
Metode  penelitian  yang  digunakan  dalam penelitian  ini  dengan  mengumpulkan  data menggunakan Youtube  API pada  video  dengan kata  kunci  KTT  G20  2022  yang  kemudian dilakukan text  preprocessing dan  pelabelan  data secara otomatis menggunakan VADER Sentiment.  Selanjutnya  dilakukan  Pembobotan TF-IDF  dan  pembuatan  klasifikasi Naive  Bayes dari data yang diperoleh serta melakukan evaluasi
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal 282-285 http://jurnal.unidha.ac.id/index.php/jteksis
model klasifikasi menggunakan Confusion Matrix .

## 2.1. Youtube
Youtube merupakan salah satu situs jejaring sosial  yang  memuat  video  daring  yang  dapat diakses  oleh  siapapun  dan  dimanapun  selama terdapat  akses  ke  internet  [6].  Data  yang didapatkan  dari Youtube menggunakan Youtube API dengan  melakukan  pencarian  terhadap  kata kunci  yang  diperlukan  dan  mendapatkan  daftar video  yang  didapatkan.  Kemudian  dilakukan query komentar  terhadap  ID  dari  video  yang didapatkan sebelumnya.
2.2. Text Preprocessing
Text  preprocessing adalah  suatu  proses untuk  menyeleksi  data  teks  agar  menjadi  lebih terstruktur  dengan  melalui  serangkaian  tahapan, hasil dari text preprocessing adalah daftar-daftar kata  yang  mempunyai  arti  yang  penting  yang dapat  memberikan  arti  terhadap  konten  yang dokumen  atau  kumpulan  dari  dokumen  [7]  [8]. Tahapan  ini  merupakan  salah  satu  komponen dalam text mining agar data teks lebih terstruktur antara  lain  tahapan-tahapan  meliputi: case folding,  tokenizing,  stopword  removal, dan stemming [9].
2.3. VADER VADER atau Valence Aware Dictionary and Sentiment  Reasoner merupakan  alat  analisis sentimen  berbasis  aturan  yang  secara  khusus disesuaikan dengan sentimen yang diekspresikan. VADER  menggunakan  kombinasi  dari lexicon sentimen dalam daftar leximal , VADER menggunakan  nilai  antara  -1  (sangat  negatif) hingga 1 (sangat positif) [10].
2.4. K-Fold Cross Validation
K-Fold  Cross  Validation merupakan  salah satu  teknik  yang  digunakan  untuk  memilah  data menjadi train dan test data.  Teknik  ini  banyak digunakan  karena  dapat  mengurangi  bias  yang didapatkan  dalam  pengambilan  sampel. K-Fold Cross Validation berlaku berkelanjutan membagi data-data  menjadi train dan test data,  sehingga setiap data akan mendapatkan kesempatan untuk menjadi test data  [11].  Tabel  berikut  adalah ilustrasi  pembagian  data  dengan  metode K-Fold Cross Validation.
Gambar 1. Ilustrasi Cross Validation Sumber: ( https://scikit- learn.org/stable/_images/grid_search_cross_validation.png )
2.5. Algoritma Naive Bayes
Algoritma Naive  Bayes pada  dasarnya merupakan algoritma
yang
dapat mengklasifikasikan suatu variabel tertentu dengan menggunakan  metode  probabilitas  dan  statistik [12]. Naïve  Bayes diasumsikan  semua  variabel berkontribusi  terhadap  klasifikasi  yang  disebut class  conditional  independence yang  didasarkan dengan  teorema bayes tentang  kemungkinan kondisional  [13].  Algoritma Naive  Bayes dapat dinotasikan pada persamaan sebagai berikut.
𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴) × 𝑃(𝐴) 𝑃(𝐵) (1)
Metode Naive Bayes adalah algoritma yang berfungsi supaya mencari nilai untuk probabilitas tertinggi  atau  statistik bayesian sederhana  [13] dan mengklasifikasikan data uji terhadap kategori yang  paling  tepat. Naive  Bayes dapat  mengolah data  dalam  jumlah  besar  dengan  hasil  akurasi yang  tinggi.  Persamaan Naive  Bayes telah disesuaikan sebagai berikut.
𝑃(𝑊𝑘|𝐶𝑖) = |𝑛 𝑖 + 1| |𝑛 + 𝑘𝑜𝑠𝑎𝑘𝑎𝑡𝑎| (2)
Dimana n i merupakan  jumlah  kemunculan kata Wk dalam  teks  yang  berkategori Ci , sedangkan n merupakan banyaknya seluruh kata dalam  teks  dengan  kategori Ci dan  | kosakata | merupakan banyaknya kata dalam data train .

## HASIL DAN PEMBAHASAN
3.1. Analisis Data
Analisis  adalah  proses  yang  sangat  utama agar  mengetahui  tahapan  yang  berlaku  pada permasalahan yang akan dikaji. Didalam analisis data terdapat beberapa bagian yaitu sumber data, struktur  data,  dan  langkah  analisis  dari  data. Untuk  mengetahui  lebih  lanjut  dalam  analisis
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal 282-285 http://jurnal.unidha.ac.id/index.php/jteksis
maka  terlebih  dahulu  mengetahui  diagram  alir algoritma text  mining ,  diagram  alir text  mining pada gambar 1 adalah sebagai berikut.
Gambar 2. Diagram Alir Text Preprocessing
Dan setelah melakukan text preprocessing di dalam  algoritma text  mining ,  maka  selanjutnya akan dilakukan klasifikasi menggunakan algoritma Naive  Bayes untuk  mengetahui  nilai sentimen.  Diagram  alir  klasifikasi  menggunakan algoritma Naive Bayes seperti gambar 2 berikut.

## Gambar 3. Diagram Alir Klasifikasi
Data  yang  diperoleh  pada  penelitian  ini adalah  kumpulan  komentar  dari  berbagai  video youtube dengan kata kunci KTT G20 2022 pada tanggal  15  –  16  November  2022.  Data  tersebut didapat  dengan  menggunakan Youtube  API (Application  Programming  Interface)  sebanyak 19215  komentar.  Komentar  yang  telah  melalui text preprocessing akan dilakukan pelabelan data menggunakan  VADER  dengan  hasil  9891 komentar  atau  51.5%  mendapatkan  label  positif
dan  9324  komentar  atau  48.5%  mendapatkan label negatif.
3.2. Klasifikasi Naive Bayes
Data  yang  dimiliki  sebanyak  19215
komentar dipilah menjadi train data dan test data dengan  pembagian  90%:10%  menggunakan K- fold  Cross  Validation . K-fold  Cross  Validation berfungsi untuk menentukan data komentar yang layak  dijadikan  data testing dari  setiap  data training . Dimana ini bertujuan untuk mengurangi bias yang terjadi dalam pengambilan sampel.
K-fold  Cross  Validation adalah  metode untuk  memilah  data  menjadi train data  dan test data,  yang  berikutnya  akan  dilakukannya perhitungan  klasifikasi  guna  untuk  menentukan sentimen  dari  penggabungan train data  maupun test data. Berdasarkan hasil pengujian yang telah dilakukan dengan confusion matrix menggunakan Naive  Bayes hasil accuracy yang  diperoleh sebesar  76%, f1-score 76%, Precision 85%,  dan Recall 69%.

## SIMPULAN
Adapun hal yang didasari dari hasil Analisis Sentimen  Komentar  Video  Youtube  Konferensi Tingkat Tinggi G20 Menggunakan Metode Naive Bayes antara lain total komentar yang didapatkan 19215  data  komentar,  9891  data  komentar  atau 51.5% data komentar berlabel positif, sedangkan 9324  data  komentar  atau  48.5%  data  komentar berlabel  negatif.  Secara  umum,  penggunaan K- Fold  Cross  Validation sangat  membantu  dalam penentuan pembuatan
model karena
penggunaannya  yang  mudah  dan  cepat  dalam memberikan  hasil  akurasi  yang  dibutuhkan. Selain  itu,  penulis  berharap  di  penelitian kedepannya  dapat  menambahkan  fitur  text preprocessing yang dapat membenarkan teks atau kata yang kurang baku dalam berbagai bahasa.

## UCAPAN TERIMAKASIH
Segala  Puji  dan  Syukur  penulis  panjatkan kehadirat  Allah  SWT  yang  telah  melimpahkan rahmat-Nya.  Oleh  karena  itu,  penulis  ingin mengucapkan  terima  kasih  kepada  Orang  tua penulis  dan  Dosen  Pembimbing  di  Universitas Pembangunan Nasional Veteran Jawa Timur yang telah membantu dalam penyusunan karya tulis ini.

## DAFTAR PUSTAKA
[1]   L.  Ceci,  "YouTube  -  Statistics  &  Facts,"  31  Aug  2022.
[Online].
Available:
https://www.statista.com/topics/2019/youtube/#topicOver view.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal 282-285 http://jurnal.unidha.ac.id/index.php/jteksis
[2]   S.  Kemp,  "DIGITAL  2022:  INDONESIA,"  15  Februari
2022. [Online].
Available:
https://datareportal.com/reports/digital-2022-indonesia.
[3]   D.  Alita  and  A.  Rahman,  "Pendeteksian  Sarkasme  pada Proses  Analisis  Sentimen  Menggunakan  Random  Forest Classifier," Jurnal  Komputasi, vol.  8,  no.  2,  pp.  50-58, 2020.
[4]   Y.  M.  Samad  and  D.  A.  Permatasari,  "Diplomasi  Digital Menteri  Luar  Negeri  RI  Pada  Konferensi  Tingkat  Tinggi GROUP-20 Tahun 2021," Journal of International Studies, pp. 721-740, 2023.
[5]   R. N. Indah, "Sejarah Pendirian G20," 20 February 2022. [Online]. Available: https://www.djkn.kemenkeu.go.id/kpknl- singkawang/baca-artikel/14747/Apa-itu-G20-dan- Manfaatnya-untuk-Indonesia.html.
[6]   R. P. Tutiasri, N. K. Laminto and K. Nazri, "Pemanfaatan Youtube Sebagai Media Pembelajaran Bagi Mahasiswa di Tengah Pandemi Covid-19," Jurnal Komunikasi, Masyarakat  dan  Keamanan  (KOMASKAM), pp.  1-15, 2020.
[7]   F.  A.  Larasati,  D.  E.  Ratnawati  and  B.  T.  Hanggara, "Analisis Sentimen Ulasan Aplikasi Dana dengan Metode Random  Forest," Jurnal  Pengembangan  Teknologi Informasi dan Ilmu Komputer, pp. 4305-4313, 2022.
[8]   I.  Veritawati,  I.  Wasito  and  T.  Basaruddin,  "Text Preprocessing using Annotated Suffix Tree with Matching Keyphrase," International  Journal  of  Electrical  and Computer Engineering (IJECE), vol. 5, no. 3, pp. 409-420, 2015.
[9]   S.  Ramadhani,  D.  Azzahra  and  T.  Z,  "Comparison  of  K-
Means  and  K-Medoids  Algorithms  in  Text  Mining  based on  Davies  Bouldin  Index  Testing  for  Classification  of Student's  Thesis," Jurnal  Teknologi  Informasi  dan Komunikasi, vol. 13, no. 1, pp. 24-33, 2022.
[10]   E.  Effendi  and  R.  Noviana,  "Perancangan  Web  Aplikasi Analisis  Sentimen  Media  Sosial  Twitter  Dengan  Metode Valence  Aware  Dictionary  and  Sentiment  Reasoner (VADER)  Menggunakan  PHP  dan  MySQL  pada Pemerintah Kota Bekasi," Jurnal Ilmiah Komputasi, 2021.
[11]   T.  Ridwansyah,  "Implementasi  Text  Mining  Terhadap Analisis Sentimen Masyarakat Dunia Di Twitter Terhadap Kota  Medan  Menggunakan  K-fold  Cross  Validation  dan Naive Bayes Classifier," KLIK: Kajian Ilmiah Informatika dan Komputer, vol. 2, no. 5, pp. 178-185, 2022.
[12]   Adriyendi and Y. Melia, "KLASIFIKASI MENGGUNAKAN  NAIVE  BAYES DAN  K-NEAREST NEIGHBOR PADA MANAJEMEN LAYANAN
TEKNOLOGI  INFORMASI," Jurnal  Teknologi  Dan Sistem Informasi Bisnis, vol. 2, no. 2, pp. 99-107, 2020.
[13]   D.  Toresa,  I.  Hidayat,  Edriyansyah,  R.  Muzawi,  Taslim, Lisnawati  and  Yanto  F.,  "Perbandingan  Algoritma  C4.5 Dan  Naive  Bayes  Untuk  Mengukur  Tingkat  Kepuasan Mahasiswa Dalam Penggunaan Edlink," Jurnal Teknologi Dan  Sistem  Informasi  Bisnis, vol.  5,  no.  3,  pp.  250-256, 2023.