Volume 6 Nomor 2, Desember 2023 e-ISSN : 2614-1574 p-ISSN : 2621-3249

## IMPLEMENTASI METODE NAÏVE BAYES UNTUK MENDETEKSI HATE SPEECH PADA TWITTER

## IMPLEMENTATION OF THE NAÏVE BAYES METHOD TO DETECT HATE SPEECH ON TWITTER
Untung Surapati 1 , Ali Yafi Zulkarnain 2
1,2 Sekolah Tinggi Ilmu Komputer Cipta Karya Informatika Jakarta Kisuro2003@gmail.com, Aliyafizulkarnain13@gmail.com

## ABSTRACT
Twitter is one of  the social media, microblogging-based applications. Microblogging is a type of social media that  facilitates  users  to  write  and  publish  activities  or  opinions  freely.  There  are  several  stages  to  conducting sentiment  analysis,  namely  data  collection  (crawling),  data  preprocessing  which  consists  of  data  cleaning, tokenization, stop remova and case folding, data splitting and data classification using the Naive Bayes Classifier method.  Research  With  social  media,  one  of  them  is  Twitter.  Everyone  can  just  share  information  with  other people without having to meet each other and also have the freedom to express opinions. But with social media users can also influence other users badly by creating and spreading information that is accusatory, slanderous, hoax news, or SARA, all of which fall into the category of hate speech. This research was conducted to find out the performance of the Naive Bayes Classifier algorithm in carry out the classification process based on tweets or the status of Twitter users. The data source in this study uses Twitter.
Keywords: Twitter, Hate Speechdan Naïve Bayes.

## ABSTRAK
Twitter adalah salah satu dari media sosial, aplikasi yang berbasis microblogging. Microblogging merupakan jenis media  sosial  yang  memfasilitasi  pengguna  untuk  menulis  dan  memublikasikan  aktivitas  atau  pendapat  secara bebas. Ada beberapa tahap untuk melakukan analisis sentimen , yaitu pengumpulan data (crawling), preporcessing data yang terdiri dari proses cleaning data, tokenization, stop remova dan case folding, splitting data dan klasifikasi data menggunakan metode Naive Bayes Classifier. Penelitian Dengan adanya media sosial, salah satunya adalah Twitter. Setiap orang  dapat  saja saling berbagi informasi  terhadap orang lain tanpa harus bertemu satu  dengan yang lainnya dan juga memiliki kebebasan untuk mengemukakan pendapat. Tetapi dengan media sosial pengguna juga dapat mempengaruhi hal buruk pengguna lain dengan membuat dan menyebarkan informasi yang bersifat tuduhan,  fitnah,  berita  hoax,  maupun  SARA,  semua  itu  masuk  kategori  ujaran  kebencian  atau  Hate Speech.Penelitian ini dilakukan untuk mengetahui performa algoritme Naive Bayes Classifier dalam melakukan proses klasifikasi berdasarkan twitt atau status pengguna Twitter. Sumber data pada penelitian ini menggunakan Twitter.
Kata Kunci : Twitter, Ujaran Kebencian dan Naïve Bayes.

## PENDAHULUAN
Perkembangan teknologi pada bidang informasi  telah  membuatan  berbagai aplikasi  media  sosial  bermunculan  seperti halnya  Facebook,  Twitter,  Instagram  dan lain-lain.  Menurut  Andreas  Kaplan  dan Michael  Heinlein,  mendefinisikan  “media sosial adalah suatu pengelompokan software  atau  perangkat  lunak  berbasis Internet yang berada di atas dasar ideologi dan  teknologi  Web  2.0,  serta  yang  dapat memungkinkan  user  atau  pengguna  untuk
penciptaan dan pertukaran “user-generated content”  (Kaplan  &  Haenlein,  2010). Terdapat beberapa jenis media sosial yang berkembang sampai saat ini dan penggunanya(user)  masih  terbilang  juga cukup  banyak  yang  aktif,  salah  satunya adalah situs
jejaring sosial Twitter.(Legianto, 2019)
Twitter adalah layanan jejaring sosial dan microblog daring yang memungkinkan penggunanya untuk mengirim dan membaca  pesan  berbasis  teks  hingga  140
karakter,  yang  dikenal  dengan  sebutan kicauan  (tweet).  Twitter  didirikan  pada bulan  Maret  2006  oleh  Jack  Dorsey,  dan situs  jejaring  sosialnya  diluncurkan  pada bulan Juli. Sejak diluncurkan, twitter telah menjadi salah satu dari sepuluh situs yang paling  sering  dikunjungi  di  internet,  dan dijuluki dengan pesan singkat dari internet . Di twitter, penguna tak terdaftar hanya bisa membaca  kicauan,  sedangkan  pengguna terdaftar  bisa  menulis  kicauan  melalui antarmuka situs web, pesan singkat (SMS) atau  melalui  berbagai  aplikasi  untuk perangkat seluler.(Fajar et al., n.d.)
Dengan adanya media sosial Twitter. Setiap  orang  dapat  saja  saling  berbagi informasi  terhadap  orang  lain  tanpa  harus bertemu satu dengan yang lainnya dan juga memiliki kebebasan untuk mengemukakan pendapat.  Dengan  media  sosial  pengguna juga  dapat  mempengaruhi  hal  buruk pengguna  lain  dengan  membuat  dan menyebarkan  informasi  yang  bersifat tuduhan,  fitnah,  berita  hoax,  maupun SARA. “Dalam media sosial dikenal istilah Ucapan  kebencian  atau  dikenal  dengan Hate Speech, yang makin populer saat ini, hal ini disebabkan gesekan atau perbedaan yang mewakili kelompok-kelompok tertentu  baik  Suku,  Agama,  Ras,  Etnis, Golongan.”  (Rohman,  2016).  Atas  dasar berbagai  permasalahan  di  media  sosial tersebut  akhirnya  pemerintah  Indonesia membuat aturan terkait berbagai kejahatan yang  terjadi  di  sosial  media.  (Pemerintah Indonesia, 2008).
Berdasarkan  permasalahan  di  atas peneliti  akan  membangun  sistem  untuk mengalasis sentiment tweet dan pengklasifikasian  atau  mengelompokkan tweet  tersebut  mengandung  hate  speech dengan menggunakan metode Naïve Bayes sebagai  pengklasifikasi.  Metode  Naïve Bayes  dapat  mengklasifikasi  dari  hasil Crawling  data  di  Twitter  dengan  Hate Specch  atau  perkataan  kebencian.  Dengan sistem tersebut diharapkan dapat bermanfaat  untuk  mengetahui  performa dari  algoritme  Naive  Bayes  Classifier sebagai  pengklasifikasi  pengguna  media
sosial  Twitter  terkait  Hate  Speech  dalam tweet pengguna Twitter.(Legianto, 2019)

## METODE Text Mining
Text  mining  merupakan  konsep terapan  dalam  teknik  data  mining  untuk mencari pola inti suatu teks, dengan tujuan mendapatkan  informasi  yang  terkandung dalam suatu teks yang dapat di manfaatkan dengan  tujuan  tertentu.  Dari  ketidak  ter aturan  suatu  data  teks  dan  banyaknya kandungan kata-kata imbuhan serta kiasan dalam  suatu  data  teks,  dalam  proses  text mining memerlukan tahapan-tahapan untuk mendapatkan data teks yang lebih terstruktur.  Tahapan  proses  yang  harus  di lewati text mining di bagi menjadi 5 bagian untuk  memperoleh  hasil  yang  diinginkan. Adapun  5  proses  tersebut  yang  harus dijalankan dalam text mining, yaitu :
1. Text Preprocessing
Tahapan awal dalam text mining adalah text prepocessing dengan tujuan mempersiapkan data teks yang nantinya akan  mengalami  pengolahan  data  teks berikutnya.  Selain  itu  biasanya  dalam proses  text  preprocessing  ini  juga menggunakan case folding, yaitu pengubahan  data  teks  pada  karakter huruf  besar  dalam  data  teks  menjadi huruf kecil.
2. Text Transformation Dalam tahap ini hasil yang di dapatkan dari  proses  text  preprocessing  akan dilakukan  proses  transformasi.  Proses transformasi  ini  dilakukan  dengan mengurangi  jumlah  dari  setiap  kata dalam data teks stop word removal dan mengubah kata-kata menjadi kata dasar dalam  data  teks  stemming.  Stop  word removal  adalah  suatu  kata  yang memiliki  keunikan  kata  dari  data  teks seperti  kata  sambung,  serta  kata kepunyaan  yang  nantinya  pada  proses transformasi  kata-kata  tersebut  tidak akan  dihitung.  Selain  itu  proses  stop word  removal  dapat  mengurangi  beban kinerja sistem, karena kata yang akan di ambil  adalah  kata-kata  yang  dianggap
penting.  Stemming  adalah  suatu  proses dalam teks transformasi yang digunakan sebagai  memproses  kata-kata  di  dalam data teks agar menjadi kata dasar.
3. Feature Selection
Dalam  tahapan  feature  selection  adalah tahapan  penting  dalam  text  mining. Karena dalam tahap ini dilakukan proses pembuangan  beberapa  term  atau  kata yang tidak terkait sehingga memperoleh term  atau  kata  penting  sebagai  wakil kumpulan  dokumen  yang  di  analisis. Dalam feature selection terdapat beberapa  metode  yang  digunakan, diantaranya adalah sebagai berikut:
1. Document Frecuency
2. Term Frecuency
3. Term Frecuency-Inverse Document Frecuency (TF-IDF)
4. Pattern Discovery Tahap  pattern  discovery  berguna  untuk menemukan  suatu  knowledge atau  pola dengan  menggunakan  beberapa  teknik data mining sebagai
contoh classification dan clustering.
5. Interpretation Tahapan  terakhir  ini  adalah  melakukan proses  interpretasi  ke  sebuah  bentuk kemudian di evaluasi
Naive Bayes Classifier Naïve Bayes Classifier adalah algoritme  yang  terdapat  dalam  teknik  data mining yang menerapkan teori Naïve Bayes dalam  klasifikasi,  semua  itu  mendasarkan pada  nilai  suatu  atribut  secara  kondisional saling  bebas  jika  diberikan  suatu  nilai output.  Naïve  Bayes  Classifier  yaitu  suatu metode  pengklasifikasian  berakar  pada teorema  bayes.  Teorema  bayes  adalah pendekatan  statistik  yang  fundamental dalam  pattern  recoginition  (pengenalan pola).  Keuntungan  menggunakan  metode Naïve  Bayes  Classifier  adalah  metode  ini hanya  memerlukan  nilai  atau  jumlah  data pelatihan  (Training  Data)  yang  kecil sebagai  penentu  estimasi  parameter  yang nantinya diperlukan dalam proses klasifikasi data.
Berikut adalah persamaan Tearoma Bayes
𝑃(𝐻|𝐸) = 𝑃(𝐸|𝐻). 𝑃(𝐻)

## 𝑃(𝐸)
Keterangan:
E  :  Suatu  data  yang  belum  di  ketahui classnya.
H : Suatu class spesifikasi hipotesis data E P(H|E) : Probabilitas posterior, probabilitas maka akan muncul H jika diketahui E P(E|H) : Probabilitas posterior, probabilitas maka akan muncul E jika diketahui H P(H)  :  Probabilitas  prior,  probabilitas kejadian H P(E)  :  probabilitas  prior,  probabilitas kejadian E Peraturan dari Naïve Bayes Classifier : Jika P(ℎ1|e) < P(ℎ2|e), maka e dapat diklasifikasikan h2. P(ℎ1|e) mengindentifikasi
probabilitas h1
berdasarkan  terjadi  pada  kondisi  e,  begitu pula  sebaliknya  dengan  h1.  Klasifikasikan dari  e  sesuai  dengan  probabilitas  terbesar antara probabilitas e dengan semua kelas.

## Croos Validation
Cross  Validation  adalah  salah  satu teknik  sebagai  penilaian  memvalidasi  kan keakuratan  dari  suatu  model  yang  dibuat berdasarkan  dataset  tertentu.  Pembuatan model  ini  biasanya  bertujuan  sebagai penentu prediksi maupun pengklasifikasian terhadap  suatu  data  baru  yang  dapat dikatakan  belum  pernah  muncul  di  dalam dataset.  Data  yang  dipergunakan  sebagai proses pembuatan model dapat disebut juga sebagai  data  latih  atau  data  training, sedangkan data yang akan sebagai validasi model disebut sebagai data test. Salah satu metode  Cross-  Validation  yang  paling banyak  digunakan  adalah  K-Fold  Cross Validation.  K-fold  bekerja  melipat  data sebanyak  K  dan  melakukan  proses mengulang sebanyak K juga.

## Performance Evaluation Measure
Performance  Evaluation  Measure (PEM)  atau  juga  bisa  disebut  sebagai pengukuran evaluasi performa. Pengukuran
evaluasi  performa  adalah  suatu  proses tahapan  yang  berguna  sebagai  pengukur
performa suatu sistem. Performance Evaluation Measure ini banyak di pergunakan  dalam  kasus  training  data. Dibuatnya  proses  ini  bertujuan  untuk mengevaluasi  model  yang  sudah  dibuat. Beberapa perhitungan yang terdapat dalam Performance  Evaluation  Measure  untuk menemukan  nilai  Performance  Evaluation Measure, biasanya diterapkan secara parsial ataupun  sebagai  kombinasi.  Beberapa perhitungan yang terdapat dalam Performance Evaluation Measure seperti :
1. Precision
Precision adalah tingkat ketepatan atau ketelitian  dari  hasil  antara  pengujian request  pengguna  dengan  jawaban system.
2. Recall Recall  adalah  ukuran  ketepatan  atau ketelitian  antara  informasi  yang  sama dengan  informasi  yang  sudah  pernah ada sebelumnya
3. Accuration Accuration adalah
sebagai pembanding  antara  informasi  yang dijawab  oleh  sistem  dengan  benar dengan keseluruhan informasi.
Rumus Precission (Pre) :
𝑃𝑟𝑒 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃
Rumus Recall (Rec):
𝑟𝑒𝑐 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁
Rumus accuration (Acc) :
𝑎𝑐𝑐 =

## 𝑇𝑃 + 𝑇𝑁

## 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁
Performance  Evaluation  Measure biasanya  digambarkan  dalam  bentuk  tabel atau confusion  matrix, tabel  ini  berisi  dari hasil  pengujian  model  yang  telah  melalui proses  perbandingan  dengan  dataset,  tabel ini  terdiri  dari  kelas  true  dan  false,  seperti pada tabel berikut :
Tabel 1. Confution Matrix
Class True Class Positive Negative Positive TP FN
Negative FP Tn
Keterangan :
TP  (True  Positive)  :  contoh  data  bernilai positif  yang  diprediksi  benar  sebagai positif.
TN  (True  Negative)  : contoh  data  bernilai negatif  yang  diprediksi  benar  sebagai negative.
EP  (False  Negative) :  contoh  data  bernilai negatif  yang  diprediksi  salah  sebagai positif.
FN (False Negative) : contoh data bernilai positif  yang  diprediksi  salah  sebagai negative

## HASIL DAN PEMBAHASAN Pengambikan Data
Pengambilan  data  ini  atau  proses crawling data Twitter ini menggunakan API Key  Twitter  dan  proses  pengambilan  data Twitter dibantu dengan bahasa pemrograman  phyton.  API  Key  Twitter adalah Application Programming Interface(API) dalam API ini suatu layanan berisi sekumpulan perintah, fungsi, komponen  dan  juga  protokol  yang disediakan untuk mempermudah programme  pada  saat  membangun  suatu sistem  perangkat  lunak.  API  Key  Twitter itu  sendiri  memiliki  suatu  consumer  keys, consumer  secret,  access  key,  dan  accsess secret.  Consumer  keys,  access  key,  dan accsess  secret  tersebut  digunakan  untuk mengakses  data  Twitter  yang  dibutuhkan oleh programme pada Gambar di bawah

## Gambar 1. API Key
Pada  saat  proses  pengambilan  data Twitter,  peneliti  mengambil  3  sumber Hastag  yang  ketika  proses  crawling  data berada  pada  posisi  tranding  topic  Twitter atau  pada  posisi  pembahasan  terbanyak pada tweet yaitu #andretaulanyhinarasulullah berjumlah 464 tweet pada tanggal 05/05/2019, #andretaulanykufurnikmat  berjumlah  417 tweet pada tanggal 05/05/2019,
#C1PlanoBabinsaAdalahKunci  berjumlah
445 tweet pada tanggal 05/05/2019, anjing berjumlah 499 tweet pada tanggal 26/08/2019, babi berjumlah 398 tweet pada tanggal  01/09/2019,  monyet  berjumalah 277 tweet pada tanggal 01/09/2019. Semua data yang diambil berjumlah 2500 tweet.
Setelah  proses  crawling  data  selesai dan  berhasil  disimpan  dalam  bentuk  file dokumen  excel,  selanjutnya  masuk  pada proses pelabelan data tweet. Dalam proses pelabelan data tweet ini peneliti menentukan  nilai  dari  tweet  pada  Twitter yang  bernilai  positif  dalam  artian  tweet tersebut mengandung kata-kata hate speech (kata-kata yang mengandung unsur hinaan atau  ujaran  kebencian,  berkata  kasar, membawa  suku,  ras,  dan  agama),  dan bernilai  negatif  tweet  tersebut  tidak mengandung  kata  hate  specch.  Dalam proses  labelling  data  ini  seharusnya  untuk menentukan  nilai  tersebut  dilakukan  oleh pakar bahasa atau yang terkait dibidangnya dan  juga  setidaknya  membutuhkan  dua orang  atau  lebih  untuk  menghindari perbedaan  pendapat  yang  sama  dalam menentukan  sentimen  tweet  yang  terdapat dari  hasil  data  crawling.  Namun  demikian disini  pada  saat  proses  labelling  peneliti hanya  dilakukan  dengan  tiga  orang mahasiswa  yang  bukan  pakar  dari  bahasa ataupun psikologi dibidangnya.
Konsekuensi  dari  penelitian  dalam proses labelkan data ini adalah terdapatnya beberapa  tweet  yang  tidak  sama  ataupun sesuai dengan sentimen analisis sebenarnya.  Karena  proses  pelabelan  data Twitter  ini  dilakukan  secara  manual,  dan juga  dalam  proses  pelabelan  ini  secara manual  membutuhkan  waktu  yang  tidak cepat, hal tersebut menjadi kelemahan pada saat  jumlah  data  yang  akan  di  proses pelabelan sangat banyak.

## Preprocesing
Pada  saat  proses  preprocessing  ini terdiri  dari  beberapa  tahapan  untuk menjadikan  kalimat  pada  tweet  menjadi bahasa yang baku, karena tidak sepenuhnya tweet tersebut hasil crawling menggunakan kata  baku.  Selain  itu  proses  ini  berguna
sebagai  untuk  menghilangkan  beberapa bagian dari kalimat yang tidak berguna.
Proses  preprocessing  ini  dikerjakan menggunakan  bantuan  dari  library  pada bahasa  pemrograman  Python  3.  Untuk mengerjakan proses preprocessing terdapat 4  tahapan  proses  untuk  memperoleh  hasil yang maksimal, sebagai berikut:
1. Cleaning Pada proses cleaning ini berguna untuk mengurangi  atau  membersihkan  data tweet  dari  kata  atau  kalimat  yang  tidak diperlukan  seperti  tanda  baca,  unicode, dan lain-lain.
2. Remove Stopward
Pada  proses  remove  stopword  ini berguna sebagai menghapus kata stopword  atau  biasa  disebut  juga  kata penghubung  dari  suatu  kalimat  seperti yang, dan, tetapi dan sebagainya. Dalam proses  penghapusan  stopword  ini, terlebih dahulu dilakukan mendefinisikan kata-kata yang nantinya akan terhapus ketika proses ini dijalankan. Dalam hal ini, seluruh kata- kata  yang  sudah  di  definisikan  tadi disimpan  di  dalam  sebuah  file  yang dengan  nama  stopword_id.  File  ini disimpan  pada  folder  corpora  yang terdapat  di  dalam  nltk_data.  Dalam proses penghapusan stopword ini dibantu  dengan  library  nltk  yang terdapat  pada  bahasa  pemrograman python3.
3. Tokenization Pada proses tokenization berguna sebagai pemisah kata, simbol, frase dan entias dari suatu teks. Dalam proses ini dilakukan  juga  menggunakan  bantuan library  nltk  pada  bahasa  pemrograman Python 3.
4. Stemming Pada  proses  stemming  berguna  sebagai penghapusan  kata  imbuhan  dari  setiap kata, baik kata imbuhan yang berada di depan  kata  ataupun  di  belakang  kata. Dalam  proses  stemming  dikerjakan menggunakan  bantuan  dari  library sastrawi  yang  terdapat  dalam  bahasa pemrograman python3.
Setelah  semua  proses  preprocessing dijalankan terhadap semua data, maka hasil dari preprocessing disimpan menjadi suatu file  baru  yang  nantinya  akan  dijadikan sebagai dataset dalam proses pengklasifikasian.

## Ekstraksi Fitur
Pada  proses  ekstraksi  fitur,  proses pertama yang dilakukan oleh sistem setelah tokenization  yaitu  mengubah  dataset menjadi  suatu  representasi  vector  dengan menggunakan library yang sudah disediakan  oleh  Phyton  yang  bernama library Count Vectorizer.

## Klaisfikasi Naïve Bayes
Pada proses ekstraksi fitur dan proses pengklasifikasian Naïve Bayes yang nantinya  akan  di  compres  menjadi  satu class pipeline vectorizer => transfomer => classifier. Proses pengklasifikasian tersebut berjalan  dengan  bantuan  library  pada bahasa pemrograman Python3 yang mempunyai nama library scikit-learn untuk proses pengklasifikasian, selain itu terdapat library  numpy  dan  juga  pandas  sebagai pembacaan data.
Untuk library scikit-learn disini yang digunakan adalah Pipeline, CountVectorizer, Naïve Bayes,
MultinomialNB, Confusion Matrix, TfidfTransformer,  dan  f1  Score.  Untuk langkah  awal  pengerjaan  proses  ekstraksi fitur dan klasifikasi adalah dilakukan proses menginstall library yang diperlukan. Selanjutnya setelah semua library terinstall maka  dilanjutkan  ke  proses  mendeklarasi semua  library  yang  akan  digunakan. Adapun kode program untuk deklarasi pada Gambar di bawah.

## Gambar 2. Proses Pendeklarasian Library Yang Di Gunakan
Setelah  selesai  mendeklarasi  library dilanjutkan  dengan  proses  mengambil dataset  yang  akan  dipergunakan  sebagai data training menggunakan library pandas.
Untuk kode program tersebut pada Gambar di bawah.

## Gambar 3. Proses Memanggil Dataset

## Uji Model
Untuk  mengetahui  tingkatan  dari performa  Algoritme  Naïve  Bayes,  maka peneliti  melakukan  pengujian  terhadap model. Hasil dari klasifikasi nantinya akan ditampilkan  dalam  bentuk  confusion matrix.  Tabel  yang  ditampilkan  di  dalam confusion  matrix  ini  terdiri  dari  kelas predicted dan juga kelas actual. Model dari confusion  matrix  ini  dapat  dilihat  pada Tabel berikut.
Tabel 2. Model Confusion Matrix
Predict class Class A Class B Actual Class Class A AA AB Class B BA BB
Untuk  mengetahui  nilai  dari  akurasi model  diperoleh  dari  banyak  jumlah  data yang  tepat  hasil  klarifikasi  dibagi  dengan total dari data, dengan rumus di bawah ini :
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 =

## 𝐴𝐴 + 𝐵𝐵 𝐴𝐴 + 𝐴𝐵 + 𝐵𝐴 + 𝐵𝐵

## Evaluasi Model
Dalam  proses  evaluasi  model  ini dilakukan  setelah  uji  model  telah  selesai dilakukan. Evaluasi model berguna sebagai menghitung  performa  dari  metode  yang dipilih.  Pada  proses  uji  model  ini  akan menghasilkan  confusion  matrix  dengan ukuran 2x2 yang dapat dilihat pada Tabel di bawah.
Tabel 3. Hasil Confusion Matrix
Predict Class Positive  Negative Actual Class Positive 358 96 Negative 143 228 Adapun peneliti membuat
perbandingan  antara  hasil  pengujian  dari tingkat accuracy,  precision,  recall,  dan  f1- score  terhadap  beberapa  model  yang berbeda seperti pada Tabel di bawah.
Tabel  4. Perbandingan Metode Penelitian Metode Fitur ekstraction Accura cy Precess ion Recal l F1- store
Naïve Bayes TF IDF,CountV ectorizer 0,710 0,704 0,615 0,657
Count Vectorizer 0,697 0,658 0,679 0,668 BI gram 0,676 0,720 0,458 0,560 TF-IDF,  Bi gram 0,680 0,742 0,442 0,554 Tri gram 0,642 0,740 0,315 0,442 TF-IDF,  Tri gram 0,651 0,798 0,299 0,435
TF-IDF, CountVector izer, Kfold 5 0,710 0,766 0,733 0,749 SVM TF- IDF,CountV ectorizer 0,710 0,714 0,592 0,648
Count Vectorizer 0,710 0,736 0,555 0,532 BI gram 0,670 0,759 0,390 0,616 TF-IDF,  Bi gram 0,678 0,733 0,444 0,553 Tri gram 0,649 0,797 0,296 0,432 TF-IDF,  Tri gram 0,651 0,798 0,299 0,435
TF-IDF, CountVector izer, Kfold 5 0,562 0,789 0,355 0,489 Logistic Regressi on TF- IDF,CountV ectorizer 0,709 0,739 0,544 0,627 Count Vectorizer 0,716 0,729 0,587 0,650 BI gram 0,674 0,768 0,393 0,521 TF-IDF,  Bi gram 0,674 0,765 0,396 0,522 Tri gram 0,650 0,797 0,297 0,432 TF-IDF,  Tri gram 0,650 0,797 0,297 0,432
TF-IDF, CountVector izer, Kfold 5 0,548 0,769 0,337 0,469
Pada Tabel di atas dapat dilihat hasil metode  dan  fitur  extraction  paling  besar terdapat pada metode Naïve Bayes dengan menggunakan  fitur  extraction  TF-IDF, CountVectorizer,  K  fold  5  yaitu  nilai Accuracy sebesar 0,710, Precession sebesar 0,766,  Recall  sebesar  0,733,  F1-  Score
0,749.  Hasil  metode  dan  fitur  extraction paling kecil terdapat pada metode Logistic Regression  dengan  menggunakan  fitur extraction  TF-IDF,  CountVectorizer,  K fold  5  yaitu  nilai  Accuracy  sebesar  0,548, Precession  sebesar  0,769,  Recall  sebesar 0,337, F1-Score 0,469.

## SIMPULAN
Berdasarkan dari tahapan proses yang dijelaskan  pada  bab  sebelumnya  maka diperoleh  hasil  pengujian  algoritme  Naïve Bayes  Classifier  yang  telah  dilakukan, beberapa hal yang dihasilkan:
1. Pada  penelitian  Implementasi  Text Mining Untuk Mendeteksi Hate Speech pada  Twitter  menggunakan  algoritme Naïve Bayes Classifier terbukti
algoritme  ini  yang  akurat  karena menghasilkan  nilai  akurasi  0,710  atau
71,0%.
2. Selain  menggunakan  algoritme  Naïve Bayes Classifier peneliti juga menggunakan algoritme Logistic
Regression  Model  sebagai  pembanding model  algoritme  mendapatkan  nilai akurasi sebesar 0,709 atau 70,9%.
3. Dalam  penelitian ini  untuk memastikan dari  hasil  penelitian,  maka  dilakukan juga proses pengujian dengan menggunakan  K-Fold  Cross  Validation dengan  menggunakan  nilai  dari  k sebesar  5  yang  menghasilkan  nilai  dari akurasi  sebesar  0,710  atau  71,0%. Mengalami  peningkatan  pada  nilai precision  keseluruhan  menjadi  76,7%, nilai recall keseluruhan menjadi 73,3%, dan juga nilai dari f1-score keseluruhan menjadi 74,9%.

## DAFTAR PUSTAKA
Agustina, D. A., Subanti, S., & Zukhronah, E. (2021). Implementasi Text Mining Pada  Analisis  Sentimen  Pengguna Twitter  Terhadap  Marketplace  di Indonesia  Menggunakan  Algoritma Support Vector Machine. Indonesian Journal  of  Applied  Statistics , 3 (2), 109.
https://doi.org/10.13057/ijas.v3i2.44 337 Aji  Andika,  L.,  &  Amalia  Nur  Azizah,  P. (2019). Analisis Sentimen
Masyarakat  terhadap  Hasil  Quick Count  Pemilihan  Presiden  Indonesia 2019  pada  Media  Sosial  Twitter Menggunakan  Metode  Naive  Bayes Classifier.
Budiman, A., Suryadibrata, A., & Young, J. C.  (2021).  Implementasi  Algoritma Naïve Bayes untuk Klasifikasi Konten  Twitter  dengan  Indikasi Depresi. 6(1).
Buntoro,  G.  A.  (2016).  Analisis  Sentimen Hatespeech  Pada  Twitter  Dengan Metode  Naïve  Bayes  Classifier  Dan Support  Vector  Machine. Jurnal
Dinamika Informatika , 5 (2), 1–13.
Duei Putri, D., Nama, G. F., & Sulistiono, W.  E.  (2022).  Analisis  Sentimen Kinerja  Dewan  Perwakilan  Rakyat (DPR)  Pada  Twitter  Menggunakan Metode  Naive  Bayes  Classifier.
Jurnal  Informatika  Dan  Teknik Elektro Terapan , 10 (1). https://doi.org/10.23960/jitet.v10i1.2 262
Fajar, R., Program, S., Rekayasa, P., Lunak,
N., & Bengkalis, R. (n.d.). Implementasi Algoritma Naive Bayes
Terhadap  Analisis  Sentimen  Opini Film Pada Twitter . 3 (1).
Handayani,  E.  T.,  &  Sulistiyawati,  A. (2021).  Analisis  Sentimen  Respon Masyarakat  Terhadap  Kabar  Harian
Covid-19  Pada  Twitter  Kementerian Kesehatan Dengan Metode Klasifikasi  Naive  Bayes. Jurnal Teknologi  Dan  Sistem  Informasi (JTSI) , 2 (3), 32–37. http://jim.teknokrat.ac.id/index.php/J TSI Informatika,  S.,  &  Polinema,  A.  (n.d.). Implementasi  Naive  Bayes  Dan  Pos Tagging Menggunakan Metode Hidden  Markov  Model  Viterbi  Pada Analisa  Sentimen  Terhadap  Akun Twitter  Presiden  Joko  Widodo  Di
Saat  Pandemi  Covid  -  19. Siap) ,
2020.
Legianto,  S.  (2019). Implementasi  Text Mining  Untuk  Mendeteksi  Hate Speech Pada Twitter . 60.
Lestari, S., & Saepudin, S. (2021). Analisis Sentimen  Vaksin  Sinovac  Pada
Twitter  Menggunakan  Algoritma
Naive Bayes. https://vaksin.kemkes.go.id/
Lisangan, E.  A.,  Gormantara,  A.,  Carolus, R. Y., Informatika, T., Informasi, T., Atma,  U.,  &  Makassar,  J.  (2022). Implementasi  Naive  Bayes  pada Analisis Sentimen Opini Masyarakat di  Twitter  Terhadap  Kondisi  New Normal di Indonesia (Vol. 2, Issue 1). Murni,  M.,  Riadi,  I.,  &  Fadlil,  A.  (2023). Analisis  Sentimen  HateSpeech  pada
Pengguna  Layanan  Twitter  dengan Metode  Naïve  Bayes  Classifier (NBC). JURIKOM  (Jurnal  Riset Komputer) , 10 (2), 566. https://doi.org/10.30865/jurikom.v10
i2.5984
Normawati,  D.,  &  Prayogi,  S.  A.  (2021).
Implementasi Naïve Bayes Classifier
Dan Confusion Matrix Pada Analisis Sentimen Berbasis Teks Pada
Twitter. In Jurnal Sains Komputer & Informatika  (J-SAKTI (Vol.  5,  Issue 2).
Nurul,  S.,  Fitriyyah,  J.,  Safriadi,  N., Esyudha,  E.,  &  #3,  P.  (n.d.). JEPIN (Jurnal  Edukasi  dan  Penelitian Informatika) Analisis Sentimen Calon Presiden Indonesia 2019 dari Media Sosial Twitter Menggunakan Metode Naive Bayes . http://dev.twitter.com. Prabowo,  W.  A.,  &  Wiguna,  C.  (2021). Sistem  Informasi  UMKM  Bengkel Berbasis Web Menggunakan Metode
SCRUM. JURNAL

## MEDIA
INFORMATIKA BUDIDARMA , 5 (1),
149.
https://doi.org/10.30865/mib.v5i1.26 04 Rodiyansyah, S. F., & Winarko, E. (2012). Klasifikasi Posting Twitter Kemacetan Lalu Lintas Kota Bandung Menggunakan Naive Bayesian Classification. IJCCS , 6 (1),
91–100. http://bit.ly/mHibqV
Suryono, S., Ha, E. M., & Luthfi, T. (n.d.).
Klasifikasi Sentim En Pada Tw It Ter Dengan Naive Bayes Cla Ssifier.