## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383

## Studi Komparasi Metode Analisis Sentimen Naïve Bayes, SVM, dan Logistic Regression Pada Piala Dunia 2022
Muhamad Zaki Anbari * , Bambang Sugiantoro
Fakultas Sains dan Teknologi, Magister Informatika, Universitas Islam Negeri Sunan Kalijaga, Yogyakarta, Indonesia Email: 1,* mzakianbari@gmail.com, 2 bambang.sugiantoro@uin-suka.ac.id Email Penulis Korespondensi: mzakianbari@gmail.com
Abstrak− Piala dunia merupakan gelaran olahraga paling popular di dunia. Piala dunia tahun 2022 dilaksanakan untuk pertama kalinya di timur tengah, tepatnya di negara Qatar. Pelaksanaannya diwarnai oleh berbagai kontroversi mulai dari isu HAM, isu LGBT+, isu minuman beralkohol, dan lain sebagainya yang begitu ramai di media-media mainstream. Berbagai sentimen dan opini pun bermunculan di media sosial terkait pelaksanaan piala dunia tersebut, ada yang beropini positif ada pula yang negatif. Analisis sentimen dilakukan untuk mengetahui opini utama yang berkembang di masyarakat berkaitan dengan piala dunia 2022, hasilnya kemudian dapat digunakan sebagai masukan dan bahan pertimbangan bagi para pemangku kebijakan.  Penelitian ini menggunakan library snscrape yang berjalan pada bahasa pemrograman python untuk mengumpulkan tweets terkait piala dunia 2022 di platform media sosial twitter pada hari pertama pelaksanaan piala dunia. data yang dikumpulkan kemudian masuk ke tahap  pre-processing,  splitting,  TF-IDF,  sebelum  kemudian  siap  digunakan  untuk  pemodelan.  Metode  yang  dipakai  pada penelitian ini adalah Bernouli Naïve Bayes, Support Vector Machine, dan Logistic Regression. Hasil evaluasi menunjukkan Metode  Bernouli  Naïve  Bayes  menghasilkan  nilai  parameter  presisi  adalah  71%,  parameter  recall  99%,  dan  akurasi  76%. Sedangkan  metode  Support  Vector  Classifier  menghasilkan  nilai  parameter  presisi  adalah  94%,  parameter  recall  93%,  dan akurasi 92%. Adapun metode Logistic Regression menghasilkan nilai parameter presisi adalah 93%, parameter recall 93%, dan akurasi 92%.
Kata Kunci: WorldCup2022; Bernouli Naïve Bayes; Support Vector Classifier; Logistic Regression; Sentiment Analysis
Abstract− The world cup is the most popular sporting event in the world. The 2022 World Cup will be held for the first time in the Middle East, in the country of Qatar to be precise. Its implementation was colored by various controversies ranging from human rights issues, LGBT+ issues, issues of alcoholic beverages, and so on which were so busy in the mainstream media. Various sentiments and opinions have emerged on social media regarding the implementation of the world cup, some have positive  opinions  and  some  have  negative  ones.  Sentiment  analysis  was  carried  out  to  find  out  the  main  opinions  that  are developing in society regarding the 2022 world cup, the results can then be used as input and consideration for policy makers. This study uses the snscrape library running on the Python programming language to collect tweets related to the 2022 World Cup on the Twitter social media platform on the first day of the World Cup. The collected data then enters the pre-processing, splitting, TF-IDF stage, before it is ready to be used for modeling. The method used in this research is Bernouli Naïve Bayes, Support Vector Machine, and Logistic Regression. The evaluation results show that the Bernouli Naïve Bayes method produces a precision parameter value of 71%, a recall parameter of 99%, and an accuracy of 76%. While the Support Vector Classifier method  produces  precision  parameter  values  of  94%,  93%  recall  parameters,  and  92%  accuracy.  The  Logistic  Regression method produces a precision parameter value of 93%, a recall parameter of 93%, and an accuracy of 92%.
Keywords : WorldCup2022; Bernouli Naïve Bayes; Support Vector Classifier; Logistic Regression; Sentiment Analysis

## 1. PENDAHULUAN
Gelaran Piala Dunia merupakan event besar yang sangat menyedot perhatian dunia. Pada tahun 2010 Qatar terpilih menjadi  tuan  rumah  untuk  gelaran  Piala  Dunia  FIFA  Tahun  2022.  Sejak  saat  itu  Qatar  mulai  mempersiapkan berbagai  infrastruktur  untuk mendukung  penyelenggaraan event  tersebut.  Namun  dalam  pelaksanaan persiapan infrastruktur tersebut banyak ditemui pelanggaran hak asasi manusia terhadap para pekerja migran yang terlibat dalam proyek infrastruktur untuk gelaran bergengsi tersebut. pelanggaran hak asasi manusia seperti pembatasan bergerak,  kontrak yang kurang adil, diskriminasi, dan pembatasan hak untuk mengakses keadilan, masih kerap terjadi. Hal tersebut terjadi akibat minimnya pengaturan tanggung jawab pihak swasta, tidak adanya pengadilan HAM regional di Asia, dan kesulitan yang dihadapi para pekerja dalam mencari perlindungan di tingkat nasional [1].
Selain pelanggaran HAM, gelaran piala dunia Qatar juga diwarnai berbagai kontroversi. Kontroversi yang pertama adalah tuduhan korupsi saat pemungutan suara dalam penentuan tuan rumah piala dunia pada tahun 2010. Kedua  adalah  masalah  LGBT+  dan  hak-hak  perempuan.  Homoseksualitas  merupakan  hal  yang  ilegal  di  Qatar mengingat  Qatar  merupakan  negara  muslim.  Beberapa  pemain  sepak  bola  telah  menyuarakan  protes  terutama individu dan wanita lesbian, gay, biseksual dan transgender (LGBT), yang menurut kelompok penggiat hak asasi manusia  telah    didiskriminasi  oleh  undang-undang  Qatar.  Ketiga  adalah  pelarangan  minuman  beralkohol Pelarangan ini berkaitan dengan status Qatar sebagai negara Islam yang melarang konsumsi minuman beralkohol [2].
Berbagai komentar bermunculan khususnya di jagat maya atau media sosial. Menurut data yang diperoleh dari  We Are Social dan Hootsuite, Twitter  memiliki 544 juta  pengguna aktif pada Oktober 2022. Hal tersebut menyebabkan  data atau informasi yang didapat dari twitter menjadi penting dan bermanfaat bagi masyarakat atau organisasi jika diolah. Salah satu pengolahan data   adalah dengan analisis sentimen. Dengan analisis sentimen, polaritas dari sebuah opini atau isu dapat digunakan untuk memprediksi suasana publik [3]. Selain itu hasil dari

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383
analisis sentiment dapat sangat berguna sebagai masukan atau bahan pertimbangan bagi para stakeholder dalam mengambil kebijakan.
Analisis  Sentimen  (SA),  juga  disebut  penggalian  opini  adalah  aktivitas  mengekstraksi  dan  menganalisis opini,  sentimen,  sikap,  persepsi  orang  terhadap  entitas  yang  berbeda  seperti  event,  topik,  produk,  dan  layanan. Sentimen analisis adalah salah satu penerapan dari teknologi NLP (Natural Language Processing) yang bertujuan untuk  menggali  sentimen  dan  opini  dari  teks,  juga  berperan  dalam  pengembangan  Artificial  Intelligence  (AI). Selain itu, analisis sentimen memiliki potensi besar bila diaplikasikan ke berbagai domain. Analisis sentimen dapat dianggap  sebagai  masalah  klasifikasi  teks  karena  prosesnya  mencakup  beberapa  proses  yang  berakhir  dengan mengelompokkan  apakah  suatu  teks  menunjukkan  sentimen  positif  atau  sentimen  negatif.  Analisis  sentimen mungkin terlihat sebagai proses yang mudah, namun faktanya analisis sentimen perlu mempertimbangkan  hal-hal seperti deteksi sarkasme dan subjektivitas dalam teks. Selain itu, teks yang diolah tidak selalu tersusun rapi seperti dalam  buku.  Hasil  pengambilan  data  dari  media  sosial  seperti  sosmed  biasnya  mengandung  banyak  kesalahan ortografi, ungkapan idiomatis atau singkatan. [4]
Kini  analisis  sentimen  telah  dipakai  tidak  hanya  di  kalangan  peneliti,  tetapi  juga  perusahaan  dan pemerintah. Meningkatnya pengguna internet telah membuat internet menjadi sumber informasi  yang universal dan sangat penting. Miliaran orang mengungkapkan opini dan sentimen mereka di berbagai platform berupa forum, blog, wiki, media sosial, dan lainnya.  Pendapat dan sentimen tersebut sangat relevan dengan kehidupan  aktual saat  ini.  Melalui  analisis  sentimen  dari  data  yang  dihasilkan  pengguna  media  sosial,  pihak-pihak  yang berkepentingan ini dapat memantau opini serta membantu pengambilan keputusan [5]
Penelitian sebelumnya tentang analisis sentimen pernah dilakukan terhadap vaksin AstraZeneca. Studi ini menggunakan metode Naïve Bayes dan SVM untuk menganalisis sentimen yang ada di media sosial Twitter. hasil penelitian  ini  menunjukkan  bahwa  Support  Vector  Machine  memiliki  akurasi,  presisi,  recall  dan  f1-score yang lebih besar yaitu 87.27%, 90.41%, 77,34% dan 83.37% dibandingkan Naïve Bayes yang memiliki akurasi, presisi, recall dan f1-score sebesar 76.81%, 72.40%, 70.70% dan 71.52% [3].
Penelitian tentang implementasi algoritma Naïve Bayes untuk klasifikasi teks pernah dilakukan pada tahun 2019. Penelitian ini mengklasifikasiskan tweet-tweet yang ada di platform media sosial Twitter yang mengandung ujaran  kebencian  yang  bermuatan  politis.  Penelitian  ini  diawali  dengan  crawling  data  di  twitter  menggunakan scrapper,  kemudian  data  hasil  crawling  di  filter  dan  dilabeli,  lalu  data  tersebut  diolah  menggunakan  software WEKA. Hasil penelitian menunjukkan algoritma Naïve Bayes yang digunakan untuk klasifikasi ujaran kebencian yang bermuatan politis menghasilkan akurasi 93.22% [6].
Penelitian tentang sentimen analisis pernah dilakukan pada Tahun 2019 yang meneliti tentang pendekatan yang  digunakan  untuk  melakukan  sentimen  analisis  pada  tweets  berbahasa  Azerbaijan.  Penelitian  ini menggunakan metode Logistic Regression, Naïve Bayes, dan Support Vector Machine dengan menggunakan teks vectorizer Bag of Words dan TF-IDF. Hasil penelitian ini menunjukkan bahwa  Bag of Words memberikan hasil akurasi yang lebih tinggi di ketiga metode analisis sentimen dibandingkan dengan TF-IDF [7].
Penelitian  lain  tentang  sentimen  analisis  pernah  dilakukan  pada  Tahun  2019  yang  meneliti  tentang perbandingan  metode-metode  machine  learning  yang  digunakan  untuk  analisis  sentimen.  Penelitian  ini membandingkan  Multinomial  Naïve  Bayes,  Logistic  Regression,  dan  Support  Vector  Machine  dengan menggunakan  model  bigram  dan  n-gram.  Hasil  penelitian  menunjukkan  bahwa  metode  logistic  regression menghasilkan nilai akurasi tertinggi yaitu 86% dengan menggunakan model bigram [8].
Aplikasi logistic regression untuk menganalisis sentimen peringkat layanan publik berbahasa arab pernah dilakukan pada tahun 2019. Penelitian dilakukan dengan mengambil data di negara Lebanon, dengan tujuan untuk mengklasifikasikan  review  berbahasa  arab  untuk  layanan  publik  seperti  restoran,  hotel,  dan  lain  sebagainya menggunakan logistic regression [9].
Penelitian  yang  dilakukan  oleh  [10]  menguji  tiga  metode  komputasi  sentimen  yaitu  Azure  Machine Learning, VADER, dan TextBlob untuk menganalisis keraguan vaksin COVID-19 di Amerika Serikat. Selain itu penelitian ini menggunakan lima algoritma pembelajaran yaitu Random Forest, Logistics Regression, Decision Tree,  LinearSVC,  dan  Naïve  Bayes  yang  dikombinasikan  dengan  metode  vektorisasi  teks    Doc2Vec, CountVectorizer,  dan  TF-IDF.  Hasil  penelitian  ini  menunjukkan  bahwa  kombinasi  TextBlob  +  TF-IDF  + LinearSVC memiliki performa paling baik dalam mengklasifikasikan sentimen dengan nilai akurasi 0.96752, nilai presisi 0.96921, nilai recall 0.92807, dan nilai F1 score sebesar 0.94702.
Penelitian  serupa  juga  dilakukan  oleh  [11]  yang  meneliti  tentang  sentimen  publik  mengenai  kebijakan pemerintah Indonesia yang mewajibkan vaksin COVID-19 sebagai syarat untuk mudik hari raya Idul Fitri tahun 2022. Penelitian ini menggunakan delapan model klasifikasi yaitu Naïve Bayes, Support Vector Machine (SVM), Decision  Tree,  Logistic  Regression,  Random  Forest,  K-Nearest  Neighbor,  AdaBoost,  dan  XGBoost.  Hasil penelitian ini menunjukkan bawah model klasifikasi terbaik adalah SVM yang memperoleh nilai akurasi  dan F1 Score 88%.
Penelitian  mengenai  sentimen  analisis  yang  dilakukan  [12]  bertujuan  mengevaluasi  model  klasifikasi sentimen popular seperti support vector machines (SVMs), Naive Bayes (NB), logistic regression (LR) and random forest  (RF).  Fokus  penelitian  ini  adalah  mengetahui  pengaruh  variasi  pipelines  NLP  terhadap  kualitas  prediksi sentimen.  Hasil  penelitian  ini  menunjukkan bahwa model klasifikasi  SVM  yang di  kombinasikan  dengan  NLP lemmatize dan knowledge-based n-gram menghasilkan peningkatan akurasi menjadi 90.43%.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383
Pada  penelitian  ini  penulis  akan  melakukan  studi  komparasi  menggunakan  3  metode  klasifikasi  yaitu Bernouli  Naïve  Bayes,  Support  Vector  Machine,  dan  Logistic  Regression.  Bernouli  Naive  Bayes  merupakan salahsatu jenis dari Naïve Bayes Classifier yang umum diterapkan untuk klasifikasi biner dan multiclass. Metode ini  menerapkan  teknik supervised klasifikasi  objek  dengan  menetapkan  label  kelas  ke instance  menggunakan probabilitas  bersyarat.  Probabilitas  bersyarat  adalah  ukuran  peluang  suatu  peristiwa  yang  terjadi  berdasarkan peristiwa  lain  yang  telah  terjadi  [13]. Support  Vector  Machine (SVM)  merupakan  salah  satu  metode dalam supervised  learning yang  biasanya  digunakan  untuk  .  Dalam  pemodelan  klasifikasi,  Support  Vector Machine  memiliki konsep yang lebih matang dan lebih jelas secara matematis dibandingkan dengan teknik-teknik klasifikasi lainnya. Support Vector Machine juga dapat mengatasi masalah klasifikasi dan regresi linear maupun nonlinear  [14].  Logistic  Regression adalah  jenis  analisis  statistik  yang  sering digunakan untuk  pemodelan  prediktif.  Dalam  pendekatan  analitik  ini,  variabel  dependennya  terbatas  atau kategoris,  bisa  berupa  A  atau  B  (regresi  biner)  atau  berbagai  opsi  (regresi  multinomial).  Jenis  analisis statistik digunakan  untuk  memahami  hubungan  antara  variabel  dependen  dan  variabel  independen  dengan memperkirakan  probabilitas  [15].  Komparasi  ketiganya  menjadi  menarik  untuk  diteliti  karena  pada  penelitian sebelumnya belum ada yang secara khusus meneliti Bernouli Naïve Bayes, sedangkan penerapan SVM dan LR pada penelitian ini digunakan sebagai pembanding saja. Selain itu kajian penelitian tentang metode-metode analisis sentimen tetap diperlukan khususnya mengenai konfigurasi model klasifikasinya.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Penelitian yang penulis lakukan terdiri dari beberapa tahap. Tahap-tahap tersebut adalah pengumpulan data, pre- processing  data,  analisis  data,  pembuatan  model,  dan  terakhir  evaluasi  model.  Diagram  alir  tahapan  penelitian dapat dilihat pada Gambar 1.
Gambar 1 . Diagram Alir Penelitian

## 2.2 Pengumpulan Data
Data yang digunakan pada penelitian ini merupakan data teks atau yang lebih dikenal dengan tweet dari media sosial  Twitter.  Pengumpulan  data  menggunakan  teknik  scrapping  yang  memanfaatkan  library  Snscrape  yang
Identifikasi  Masalah
Studi literatur Pengumpulan Data Pre-Processing Menganalisis Data
Data Splitting
TF - IDF

## Dataset Transforming
Klasifikasi dengan Naïve Bayes, Support Vector Machine, Logistic Regression
Perbandingan Hasil Akurasi

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383
menggunakan bahasa pemrograman Python. Tweet yang diambil merupakan tweet yang dikirim pada hari pertama pelaksanaan Piala Dunia Qatar Tahun 2022 yang mencantumkan tagar #WorldCup2022.

## 2.3 Pre-Processing Data
Pre-processing merupakan proses pengolahan data yang sebelumnya tidak terstruktur menjadi terstruktur dan siap digunakan  untuk  membuat  model  sentimen  analisis.  Adapun  bagian-bagian  dari  pre-processing  yang  penulis lakukan adalah mengonversi semua huruf ke huruf kecil (lower casing), mengganti teks yang berupa link URL menjadi ‘URL’, mengganti emoji menjadi teks yang merepresentasikan makna emoji tersebut, mengganti nama- nama user menjadi teks ‘user’, menghapus karakter non  alfabet, menghapus kata-kata yang kurang dari 2 kata, menghapus  kata  yang  tidak  berpengaruh  pada  makna  (stopword),  mengonversi  kata-kata  menjadi  bentuk  kata dasarnya atau dikenal dengan istilah lemmatizing [16].

## 2.4 Menganalisis Data
Pada  tahap  analisis  data  penulis  menggunakan  grafik  bar  untuk  melihat  persebaran  tweet  yang  menunjukkan sentimen positif dan tweet yang menunjukkan sentimen negatif. Kemudian data di bagi menjadi train data dan test data, di mana 95% data digunakan untuk train data, sementara 5% sisanya untuk test data.

## 2.6 TF – IDF
TF-IDF  adalah  kependekan  dari Term  Frequency  —  Inverse  Document  Frequency.  Sejatinya,  TF-IDF  adalah gabungan  dari  2  proses  yaitu Term  Frequency (TF) dan Inverse  Document  Frequency (IDF) .  TF-IDF digunakan  untuk  mengubah  data  teks  yang  tidak  dipahami  komputer  menjadi  vector  agar  teks  tersebut  dapat dipahami komputer. Selain itu, TF-IDF tetap memperhatikan apakah sebuah kata  bersifat informatif atau tidak. TF-IDF bekerja dengan memberikan nilai yang cenderung kecil kepada kata yang frekuensinya tinggi, sedangkan untuk  kata  yang  frekuensinya  rendah  akan  memiliki  nilai  yang  besar.  Kata  yang  sering  muncul  disebut juga Stopwords,  di  mana  kata  tersebut  tidak  terlalu  berpengaruh  pada  makna  teks.  [17].  TF-IDF  dirumuskan sebagai berikut.
𝑡𝑓 𝑡 , 𝑑 = 𝑛𝑡,𝑑 𝐽𝑢𝑚𝑙𝑎ℎ 𝑡𝑜𝑡𝑎𝑙 𝑡𝑒𝑟𝑚𝑠 𝑑𝑖 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 (1) 𝑖𝑑𝑓 𝑑 = 𝑙𝑜𝑔 ( 𝐽𝑢𝑚𝑙𝑎ℎ 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 𝐽𝑢𝑚𝑙𝑎ℎ 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 𝑑𝑒𝑛𝑔𝑎𝑛 𝑡𝑒𝑟𝑚 𝑡 ′ ′ ) (2)
tfidf t , d =  tf t , d ×  idf d (3)
di mana tf adalah frekuensi kemunculan kata pada sebuah dokumen, dan idf merupakan invers dokumen frekuensi.

## 2.8 Klasifikasi dengan Bernouli Naïve Bayes
Naive Bayes Classifier merupakan metode untuk klasifikasi yang didasarkan pada teorema Bayes yang diterapkan dengan asumsi yang sangat tinggi  (“naive”), yaitu kebebasan bersyarat antara setiap pasangan fitur yang diberi nilai variabel kelas yang ditunjukkan pada persamaaan (4) [18].
𝑃(𝑦|𝑥 1 , … , 𝑥 𝑛 ) = 𝑃(𝑦) ∏ 𝑝(𝑥𝑖|𝑦) 𝑛 𝑖=1 𝑃(𝑥1,…,𝑥𝑛) (4)
Algoritma Bernoulli Naive Bayes menerapkan klasifikasi untuk data yang didistribusikan sesuai dengan distribusi Bernoulli multivariat. Bernoulli multivariat dimungkinkan terdapat beberapa fitur tetapi masing-masing dianggap sebagai variabel bernilai biner (Bernoulli, boolean). Bernouli Naïve Bayes dirumuskan pada persamaan (5)
𝑃(𝑥 𝑖 |𝑦) = 𝑃(𝑖|𝑦)𝑥 𝑖 + (1 − 𝑃(𝑖|𝑦))(1 − 𝑥 𝑖 ) (5)

## 2.9 Klasifikasi dengan Support Vector Machine
Support Vector Classifier adalah pengembangan  dari maximal margin classiffer. Ide utama dari Support Vector Classifier    adalah  relaksasi  kendala  pada  maximal  margin  classifier  yang  mengasumsikan  bahwa  data  bersifat linearly  separable  dan  dipisahkan  secara  sempurna  [19].  Ide  support  vector  classifier  adalah  memperbolehkan beberapa data diklasifikasikan dengan salah. Selanjutnya Support Vector Classifier dirumuskan sebagai berikut.
𝑦 𝑖 (𝑥 𝑖 . 𝑤 + 𝑏)   ≥ 1(1 −   𝜖 𝑖 ) (6)
𝜖 𝑖 ≥ 0; ∑ 𝜖 𝑖 ≤ 𝐶
(7)

## 2.10 Klasifikasi dengan Logistic Regression
Linear Regression atau regresi linear merupakan jenis regresi yang paling sederhana karena hanya melibatkan satu variabel bebas atau variabel independen X. regresi linear bekerja dengan menyelaraskan garis lurus yang melewati data atau dikenal dengan istilah  fit the line guna memperoleh model regresi dengan error seminimal

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383
mungkin. Pada dasarnya konsep regresi linear ini berasal dari persamaan garis lurus. Secara sederhana dirumuskan sebagai berikut [20].
𝜃 1 = ∑ (𝑥1− 𝑥̅)(𝑦1− 𝑦)
̅̅̅ 𝑛 𝑖=1 ∑ (𝑥1− 𝑥̅)2 𝑛 𝑖=1 (8)
𝜃 0 =   𝑦̅ −   𝜃 1 𝑥̅ (9)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Data yang dikumpulkan berupa teks tweet yang dikumpulkan menggunakan teknik scrapping menggunakan library snscrape  python.  Snscrape  dipilih  karena  mudah  digunakan  dibandingkan  library  lain  yang  membutuhkan  API keys dari Twitter. Hasilnya data yang terkumpul sebanyak 10680 tweets yang disimpan dalam format csv.

## 3.2 Pre-Processing Data
Pre-processing data adalah proses untuk menyiapkan data agar sebelum dimasukkan ke dalam machine learning. hasil pengumpulan data biasanya masih banyak noise dan sulit dimengerti, sehingga data perlu untuk dibersihkan dan diseragamkan. Tabel 1 menunjukkan contoh data hasil pre-processing.
Tabel 1 . Data Hasil Pre-Processing

## 3.3 Analisa Data
Setelah  melewati  tahap  pembersihan,  data  selanjutnya  perlu  dianalisis  untuk  menentukan  proporsi  pembagian antara data train dan data test. Penulis menggunakan diagram bar untuk memudahkan dalam analisis data. Dapat dilihat pada Gambar 2 distribusi antar sentimen positif dan negatif hampir sama.
Gambar 2 . Diagram bar distribusi data

## 3.4 TF IDF
Setelah  data  telah  melewati  tahap  pre-processing  dan  analisis  data,  tahap  selanjutnya  adalah  ekstraksi  fitur menggunakan TF-IDF. TF-IDF adalah metode pembobotan dari hubungan suatu kata  dengan kata yang lain di dalam data. Dari tahap TF-IDF diperoleh term unik sebanyak 110.311 kata.
No Sentimen 1 Positif Amazing  CanadaSoccerEN  WorldCup2022  launch  video.  Shows how much the face of Canada and our menâ€ ™s national team have changed  since  our  last  World  Cup  entry  in.  Canâ€ ™t  wait  to  see these boys in action! This is Canada: FIFA World Cup Opening 2 Positif Worth reading while watching WorldCup2022 3 Positif Golden  Maknae  shinning  bright  JeonJungkook  Jungkook  JK GoldenMaknae    bunny    Kookie    Jungshook    BTS  WorldCup2022 FIFAKOOK BTS twt 4 Negatif If the BBC cares so much about human rights,  homosexual rights, and  women  rights  then  why  not  say  these  before  the  opening ceremony Why are they saying these during the opening ceremony Why did the BBC censor the  WorldCup2022 opening ceremony 5 Positif Amazing  CanadaSoccerEN    WorldCup2022  launch  video.  Shows how  much  the  face  of  Canada  and  our  men  national  team  have changed since our last World Cup entry in  Can wait to see these boys in action! This is Canada FIFA World Cup Opening Video

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383

## 3.5 Analisis Metode Klasfisikasi
Metode klasifikasi yang digunakan pada penelitian ini ada 3, yaitu Bernouli Naïve Bayes, Support Vector Machine, dan Logistic Rgeression. Rasio data training dan data testing yang digunakan pada penelitian ini adalah 95% data training  dan  5%  data  testing.  Kemudian  metode  di  evaluasi  menggunakan  confusion  matrix  sehingga  dapat diketahui nilai performa dari masing masing metode klasifikai. Adapun parameternya untuk mengukur performa tersebut adalah presisi, recall, dan akurasi [19].

## 3.5.1 Analisis Metode Bernaouli Naïve Bayes
Hasil pengujian metode bernaouli naïve bayes dapat dilihat pada Gambar 3.
Gambar 3 . Confusion Matrix Metode Bernouli Naïve Bayes
Gambar 3 menunjukkan consfusion matrix berukuran 2 x 2 yang merepresentasikan setiap kelas klasifikasi positif  dan  negatif.  Parameter  True  Neg  (True  Negative)  merupakan  data  negatif  yang  diprediksi  benar,  pada pengujian  ini  mendapatkan  nilai  17,37%.  Parameter  True  Pos  (True  Positive)  merupakan  data  positif  yang diprediksi benar, pada pengujian ini mendapatkan nilai 58,54%. Parameter False Pos (False Positive) merupakan data  negative  namun  diprediksi  sebagai  data  positif,  pada  pengujian  ini  mendapatkan  nilai  23,53%.  Parameter False Neg (False Negative) merupakan data positif namun diprediksi sebagai data negative, pada pengujian ini mendapatkan nilai 0,56%. Adapun nilai parameter presisi adalah 71%, parameter recall 99%, dan akurasi 76%.

## 3.5.2 Analisis Metode Support Vector Machine
Hasil pengujian metode Support Vector Machine dapat dilihat pada Gambar 4.
Gambar 4. Confusion Matrix Metode Support Vector Machine
Gambar 4. menunjukkan confusion matrix berukuran 2 x 2 yang merepresentasikan setiap kelas klasifikasi positif  dan  negatif.  Parameter  True  Neg  (True  Negative)  merupakan  data  negatif  yang  diprediksi  benar,  pada pengujian  ini  mendapatkan  nilai  37,25%.  Parameter  True  Pos  (True  Positive)  merupakan  data  positif  yang diprediksi benar, pada pengujian ini mendapatkan nilai 54,90%. Parameter False Pos (False Positive) merupakan data negatif namun diprediksi sebagai data positif, pada pengujian ini mendapatkan nilai 3,64%. Parameter False Neg  (False  Negative)  merupakan  data  positif  namun  diprediksi  sebagai  data  negative,  pada  pengujian  ini mendapatkan nilai 4,20%. Adapun nilai parameter presisi adalah 94%, parameter recall 93%, dan akurasi 92%.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383

## 3.5.3 Analisis Metode Logistic Regression
Hasil pengujian metode Losgistic Regression dapat dilihat pada Gambar 5.
Gambar 5. Confusion Matrix Metode Support Vector Classifier
Gambar 5 menunjukkan confusion matrix berukuran 2 x 2 yang merepresentasikan setiap kelas klasifikasi positif  dan  negatif.  Parameter  True  Neg  (True  Negative)  merupakan  data  negatif  yang  diprediksi  benar,  pada pengujian  ini  mendapatkan  nilai  36,69%.  Parameter  True  Pos  (True  Positive)  merupakan  data  positif  yang diprediksi benar, pada pengujian ini mendapatkan nilai 55,04%. Parameter False Pos (False Positive) merupakan data negatif namun diprediksi sebagai data positif, pada pengujian ini mendapatkan nilai 4,20%. Paramater False Neg  (False  Negative)  merupakan  data  positif  namun  diprediksi  sebagai  data  negative,  pada  pengujian  ini mendapatkan nilai 4,06%. Adapun nilai parameter presisi adalah 93%, parameter recall 93%, dan akurasi 92%.

## 4 KESIMPULAN
Kesimpulan dari penelitian ini adalah bahwa metode Bernouli Naïve Bayes, Support Vector Machine, dan Linear Regression  yang  digunakan  dalam  penelitian  ini  memiliki  tingkat  akurasi  yang  berbeda-beda.  Naive  Bayes menggunakan fitur untuk membuat prediksi pada variabel target. Perbedaan utamanya adalah bahwa Naive Bayes mengasumsikan  bahwa  fitur  tidak  saling  terhubung  satu  sama  lain.  Support  vector  classifier  adalah memperbolehkan beberapa data diklasifikasikan dengan salah. Regresi linear bekerja dengan menyelaraskan garis lurus  yang  melewati  data  atau  dikenal  dengan  istilah  fit  the  line guna  memperoleh  model  regresi dengan error seminimal  mungkin.  Metode  Bernaouli  Naïve  Bayes  menghasilkan  nilai  parameter  presisi  adalah 71%, parameter recall 99%, dan akurasi 76%. Sedangkan metode Support Vector Classifier menghasilkan nilai parameter  presisi  adalah  94%,  parameter  recall  93%,  dan  akurasi  92%.  Adapun  metode  Logistic  Regression menghasilkan nilai parameter presisi adalah 93%, parameter recall 93%, dan akurasi 92%.

## REFERENCES
[1] M. C. Ewers, A. Diop, K. T. Le, and L. Bader, “Migrant Worker Well-Being and Its Determinants: The Case of Qatar,” Soc. Indic. Res., vol. 152, no. 1, pp. 137–163, 2020, doi: 10.1007/s11205-020-02427-3.
[2] S. Sridhar, K. Ferris, and E. Osmond, “World Cup 2022: why is Qatar a controversial location for the tournament?,” 2022. https://www.reuters.com/lifestyle/sports/world-cup-2022-why-is-qatar-controversial-location-fifa-tournament- 2022-11-15/
[3] E. R. Indriyani, P. Paradise, and M. Wibowo, “Perbandingan Metode Naïve Bayes dan Support Vector Machine Untuk Analisis Sentimen Terhadap Vaksin Astrazeneca di Twitter,” J. Media Inform. Budidarma, vol. 6, no. 3, p. 1545, 2022, doi: 10.30865/mib.v6i3.4220.
[4] M. Birjali, M. Kasri, and A. Beni-Hssane, “A comprehensive survey on sentiment analysis: Approaches, challenges and trends,” Knowledge-Based Syst., vol. 226, p. 107134, 2021, doi: 10.1016/j.knosys.2021.107134.
[5] B. O’Connor, “The government’s response to people trafficking. Statement to the Australian Parliament,” pp. 1–8, 2010.
[6] R. Reza El Akbar, R. N. Shofa, M. I. Paripurna, and Supratman, “The Implementation of Naïve Bayes Algorithm for Classifying  Tweets  Containing  Hate  Speech  with  Political  Motive,”  ICSECC  2019  -  Int.  Conf.  Sustain.  Eng.  Creat. Comput. New Idea, New Innov. Proc., no. December 2018, pp. 144–148, 2019, doi: 10.1109/ICSECC.2019.8907208.
[7] H. Hasanli and S. Rustamov, “Sentiment  Analysis of Azerbaijani twits Using Logistic Regression, Naive Bayes and SVM,”  13th  IEEE  Int.  Conf.  Appl.  Inf.  Commun.  Technol.  AICT  2019  -  Proc.,  2019,  doi: 10.1109/AICT47866.2019.8981793.
[8] A. Poornima and K. S. Priya, “A Comparative Sentiment Analysis of Sentence Embedding Using Machine Learning Techniques,”  2020  6th  Int.  Conf.  Adv.  Comput.  Commun.  Syst.  ICACCS  2020,  pp.  493–496,  2020,  doi: 10.1109/ICACCS48705.2020.9074312.
[9] M. Al Omari, M. Al-Hajj, N. Hammami, and A. Sabra, “Sentiment classifier: Logistic regression for Arabic services’ reviews  in  Lebanon,”  2019  Int.  Conf.  Comput.  Inf.  Sci.  ICCIS  2019,  no.  2012,  pp.  1–5,  2019,  doi:

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i2.5383
10.1109/ICCISci.2019.8716394.
[10]  M.  Qorib,  T.  Oladunni,  M.  Denis,  E.  Ososanya,  and  P.  Cotae,  “Covid-19  vaccine  hesitancy:  Text  mining,  sentiment analysis and machine learning on COVID-19 vaccination Twitter dataset,” Expert Syst. Appl., vol. 212, no. January 2022, p. 118715, 2023, doi: 10.1016/j.eswa.2022.118715.
[11]  A. Pratama, R. I. Alhaqq, and Y. Ruldeviyani, “Sentiment Analysis of the Covid-19 Booster Vaccination Program As a Requirement for Homecoming During Eid Fitr in Indonesia,” J. Theor. Appl. Inf. Technol., vol. 101, no. 1, pp. 248–261, 2023.
[12]  M.  Maree,  M.  Eleyat,  S.  Rabayah,  and  M.  Belkhatir,  “A  hybrid  composite  features  based  sentence  level  sentiment analyzer,” IAES Int. J. Artif. Intell., vol. 12, no. 1, pp. 284–294, 2023, doi: 10.11591/ijai.v12.i1.pp284-294.
[13]  H. Zhang, L. Jiang, and L. Yu, “Attribute and instance weighted naive Bayes,” Pattern Recognit., vol. 111, p. 107674, Mar. 2021, doi: 10.1016/J.PATCOG.2020.107674.
[14]  K.  Gulati,  S.  Saravana  Kumar,  R.  Sarath  Kumar  Boddu,  K.  Sarvakar,  D.  Kumar  Sharma,  and  M.  Z.  M.  Nomani, “Comparative analysis of machine learning-based classification models using sentiment classification of tweets related to COVID-19 pandemic,” Mater. Today Proc., vol. 51, pp. 38–41, Jan. 2022, doi: 10.1016/j.matpr.2021.04.364.
[15]  S. Majumder, A. Aich, and S. Das, “Sentiment Analysis of People During Lockdown Period of COVID-19 Using SVM and Logistic Regression Analysis,” SSRN Electron. J., Mar. 2021, doi: 10.2139/SSRN.3801039.
[16]  Kaggle.com, “FIFA World Cup 2022 Tweets,” 2022. https://www.kaggle.com/datasets/tirendazacademy/fifa-world-cup- 2022-tweets
[17]  R. Ali et al., “Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents Text Mining: Use of TF- IDF to Examine the Relevance of Words to Documents Text Mining,” Artic. Int. J. Comput. Appl., vol. 181, no. 1, pp. 975–8887, 2018, doi: 10.5120/ijca2018917395.
[18]  M. Saraswati and D. Riminarsih, “Analisis Sentimen Terhadap Pelayanan Krl Commuterline Berdasarkan Data Twitter Menggunakan  Algortima  Bernoulli  Naive  Bayes,”  J.  Ilm.  Inform.  Komput.,  vol.  25,  no.  3,  pp.  225–238,  2020,  doi: 10.35760/ik.2020.v25i3.3256.
[19]  H.  Apriyani  and  K.  Kurniati,  “Perbandingan  Metode  Naïve  Bayes  Dan  Support  Vector  Machine  Dalam  Klasifikasi Penyakit  Diabetes  Melitus,”  J.  Inf.  Technol.  Ampera,  vol.  1,  no.  3,  pp.  133–143,  2020,  doi: 10.51519/journalita.volume1.isssue3.year2020.page133-143.
[20]  K.  Gulati,  S.  Saravana  Kumar,  R.  Sarath  Kumar  Boddu,  K.  Sarvakar,  D.  Kumar  Sharma,  and  M.  Z.  M.  Nomani, “Comparative analysis of machine learning-based classification models using sentiment classification of tweets related to COVID-19 pandemic,” Mater. Today Proc., vol. 51, no. xxxx, pp. 38–41, 2021, doi: 10.1016/j.matpr.2021.04.364.