Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom

## Analisis Sentimen Hate Speech pada Pengguna Layanan Twitter dengan Metode Naïve Bayes Classifier (NBC)
Murni 1,* , Imam Riadi 2 , Abdul Fadlil 3,
1 Program Studi Magister Informatika, Universitas Ahmad Dahlan, Yogyakarta, Indonesia
2 Program Studi Sistem Informasi, Universitas Ahmad Dahlan, Yogyakarta, Indonesia
3 Program Studi Teknik Elektro, Universitas Ahmad Dahlan, Yogyakarta, Indonesia Email: 1,* murni2007048014@webmail.uad.ac.id, 2 imam.riadi@is.uad.ac.id, 3 fadlil@mti.uad.ac.id Email Penulis Korespondensi: murni2007048014@webmail.uad.ac.id Submitted 19-03-2023 ; Accepted 30-04-2023 ; Published 30-04-2023

## Abstrak
Pengguna Twitter pada bulan januari 2023 mengalami peningkatan signifikan sebesar 27,4% dibandingkan dengan tahun sebelumnya. Layanan media sosial Twitter umumnya digunakan untuk berbagi berbagai jenis informasi. Salah satu informasi yang sering dibagikan oleh  pengguna  adalah Hate  Speech . Hate  Speech melibatkan  penyebaran  pesan  yang  menumbuhkan  perasaan  kebencian  dan permusuhan terhadap individu atau kelompok tertentu, termasuk etnis, agama, ras, dan kategori lainnya. Bentuk-bentuk Hate Speech mencakup penghinaan, pencemaran nama baik, penistaan, provokasi, hasutan, dan penyebaran berita palsu.  Demi mengatasi potensi perpecahan dan ancaman terhadap kesatuan Indonesia, analisis sentimen yang mampu mengategorikan tweet sebagai Hate Speech atau Non - Hate Speech diperlukan. Penelitian ini bertujuan untuk melakukan analisis sentimen terhadap tweet Hate Speech yang diposting oleh pengguna Twitter menggunakan metode Naïve Bayes Classifier. Dataset terdiri dari 5000 samples yang diolah menggunakan bahasa  pemrograman  Python.  Tahapan  pengolahan  data  melibatkan preprocessing (termasuk case  folding , tokenization , stopword removal , normalization ,  dan stemming ), labeling ,  dan  pemberian  bobot  pada  kata  ( Term  Weighting )  menggunakan  metode Term Frequency (TF)  dan Inverse  Document  Frequency (IDF).  Data  kemudian  dibagi  menjadi  set training dan testing ,  dengan  tiga pembagian data yang berbeda yaitu data training 70% dan testing 30%, data training 30% dan testing 70%, serta data training 50% dan testing 50%. Evaluasi yang dilakukan menggunakan Confusion Matrix menghasilkan akurasi tertinggi sebesar 81%, presisi 81%, recall 100%, dan F1- score 90% pada pembagian data training 70% dan testing 30%.
Kata Kunci: Analisis Sentimen; Hate Speech ; Twitter; Naïve Bayes Classifier

## Abstract
In January 2023, Twitter users experienced a significant increase of 27.4% compared to the previous year. The social media platform Twitter is commonly used to share various types of information. One type of information frequently shared by users is Hate Speech. Hate Speech involves the dissemination of messages that nurture feelings of hatred and hostility towards specific individuals or groups, including ethnicity, religion, race, and other categories. Forms of Hate Speech encompass insults, defamation, blasphemy, provocation, incitement, and the spread of fake news. In order to address the potential for division and threats to Indonesia's unity, sentiment analysis capable of categorizing tweets as Hate Speech or Non-Hate Speech is necessary. This research aims to conduct sentiment analysis on Hate Speech tweets posted by Twitter users using the Naïve Bayes Classifier method. The dataset consists of 5000 samples processed using the Python programming language. Data processing stages involve preprocessing (including case folding, tokenization, stopword removal, normalization, and stemming), labeling, and assigning word weights (Term Weighting) using the Term Frequency (TF) and Inverse Document Frequency (IDF) methods. The data is then divided into training and testing sets, with three different data splits: 70% training and 30% testing, 30% training and 70% testing, and 50% training and 50% testing. Evaluation using the Confusion Matrix yields the highest accuracy of 81%, precision of 81%, recall of 100%, and F1-Score of 90% in the 70% training and 30% testing data split.
Keywords : Sentiment Analysis; Hate Speech ; Twitter; Naïve Bayes Classifier

## 1. PENDAHULUAN
Laporan We Are Social dan Hootsuite , terdapat 556 juta pengguna Twitter di seluruh dunia pada Januari 2023. Jumlah tersebut  meningkat  27,4%  dibandingkan  pada  periode  yang  sama  tahun  sebelumnya.  Berdasarkan  negara,  Indonesia berada  di  peringkat  lima  dengan  24  juta  pengguna  [1].  Twitter  adalah  layanan  jejaring  sosial  dan  mikroblog  dalam jaringan yang memungkinkan user untuk mengirim dan membaca pesan yang berbasis teks, gambar, video, dan audio.
Layanan Twitter telah dimanfaatkan untuk berbagai keperluan dalam berbagai aspek, contohnya sebagai  sarana kampanye politik, protes, sarana pembelajaran, dan sebagai media komunikasi darurat. Selain itu, layanan Twitter juga dimanfaatkan sebagai media untuk menyebarkan ujaran kebencian atau Hate Speech yang dapat menumbuhkan rasa benci dan permusuhan individu atau kelompok tertentu.
Jenis-jenis Hate Speech pada layanan Twitter berbagai macam dan didasari oleh motif-motif tertentu, seperti motif suku, agama, ras, dan antar golongan (SARA). Hate Speech tersebut dapat berupa penghinaan, pencemaran nama baik, penistaan, perbuatan tidak menyenangkan, provokasi, menghasut, dan menyebarkan berita bohong. Untuk menghindari perpecahan antargolongan dan memecah belah persatuan bangsa Indonesia masalah tersebut harus dapat ditangani dengan cepat  sebelum  berkembang  menjadi  sangat  besar  dan  luas.  Oleh  karena  itu  Analisis  Sentimen  terhadap Hate  Speech diperlukan untuk mengelompokkan tweet - tweet tersebut termasuk ke dalam Hate Speech atau Non-Hate Speech . Analisis sentimen terhadap Hate Speech yang dilakukan secara manual akan memakan waktu dan juga tenaga yang banyak, maka dari itu analisis sentimen terhadap Hate Speech secara otomatis diperlukan untuk mempermudah proses klasifikasi tersebut sehingga kedepannya dapat digunakan oleh pihak yang membutuhkan [2]. Analisis sentimen bertujuan
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
untuk menganalisis opini, sentimen dan emosi yang terdapat pada dokumen atau data. Tugas dasar dari analisis sentimen adalah untuk mengelompokan sifat dari teks yang ada di dalam kalimat maupun pendapat [3].
Memecahkan masalah tersebut dapat menggunakan metode dan algoritma tertentu, berbekal informasi-informasi yang  ada  sebelumnya,  komputer  dapat  diajarkan  untuk  dapat  menjadi  cerdas  dan  bisa  secara  otomatis  memberikan prediksi dan keputusan untuk suatu permasalahan. Inilah yang disebut dengan machine learning . Salah satu teknik dalam machine learing adalah data mining [4]. Terdapat beberapa teknik algoritma dalam penerapan data mining diantaranya Naïve Bayes classifier [5]. Algoritma yang diterapkan pada penelitian ini adalah metode Naive Bayes Classifier. Metode Naive  Bayes  Classifier  dipilih  karena  memiliki  kecepatan  dalam  pemprosesan  dan  akurasi  yang  cukup  tinggi  bila digunakan pada data yang banyak, besar, dan beragam [6].
Penelitian  terdahulu  yang  pernah  dilakukan  tentang  Analisis  Sentimen  menggunakan  Metode  Naïve  Bayes  di antaranya  adalah  [7]–[10]  Penggunaan  Metode  Naïve  Bayes  Classifier  pada  Analisis  Sentimen  Facebook  Berbahasa Indonesia yang menghasilkan tingkat akurasi yang tinggi [11]. Klasifikasi Ujaran Kebencian pada Cuitan dalam Bahasa Indonesia yang menghasilkan skor akurasi  sebesar 98%  [12]. Analisis Sentimen Dokumen Twitter Mengenai  Dampak Virus Corona Menggunakan Metode Naïve Bayes Classifier yang menghasilkan accuracy data sebesar 67% [13]. Analisis Sentimen Mengenai Covid-19 Menggunakan Metode Naïve Bayes dengan perolehan rata-rata 83,95% [14]–[19]. Analisis Sentimen Physical Distancing Menggunakan Algoritma Naïve Bayes Classifier dengan perolehan rata-rata 68,59% [20]– [22].  Analisis  Sentimen  Terhadap  Pemilu  Menggunakan  Naïve  Bayes  Classifier  dengan  perolehan  rata-rata  70,5% [23][24].
Penelitian ini bertujuan untuk  melakukan analisis sentimen Hate Speech [25]  pengguna layanan twitter dengan metode Naïve Bayes Classifier  berdasarkan 7 proses utama yaitu crawling , preprocessing , labeling , tf-idf, split data , klasifikasi dengan Multinomial Naïve Bayes, dan evaluasi menggunakan Confusion Matrix. Hasil dari penelitian ini dapat digunakan  sebagai  referensi  untuk  menentukan  pendekatan  optimal  dalam  pembagian  data  pada  Metode  Naive  Bayes Classifier,  dan  memberikan  pemahaman  yang  lebih  mendalam  tentang  klasifikasi tweet  Hate  Speech oleh  pengguna Twitter Indonesia.

## 2. METODOLOGI PENELITIAN

## 2.1 Hate Speech
Hate  Speech atau  Ujaran  Kebencian  mengacu  pada  kalimat  serangan  terhadap  kelompok  atau  individu  tertentu berdasarkan  karakteristik  yang  melekat  padanya dan  yang  dapat  mengancam  perdamaian  sosial. Hate  Speech bersifat diskriminatif  (bias,  fanatik  atau  tidak  toleran),  merendahkan,  dan  faktor-faktor  identitas  seperti  agama,  etnis, kewarganegaraan, ras, warna kulit, keturunan, dan jenis kelamin juga termasuk dalam kategori Hate Speech .

## 2.2 Metode Pengumpulan Data
Data  pada  penelitian  ini  bersumber  dari  cuitan  masyarakat  di  Layanan  Twitter. Developer Twitter  menyediakan Application  Programming  Interface (API)  [26]  untuk  pengambilan  data  tersebut.  Data  yang  berhasil  ditemukan  pada penelitian ini sebanyak 5000 tweet , yang terdiri dari tanggal, nama pengguna, dan tweet . Rentang waktu pengambilannya adalah dari tanggal 21 November 2022 hingga 13 Maret 2023.

## 2.3 Tahapan Penelitian
Alur dalam membuat program analisis dilakukan dalam beberapa tahap seperti terlihat pada Gambar 1:
Twitter Dataset Hate Speech Preprocessing Case Folding Tokenization Stopword Removal Normalization
Stemming Labeling TF-IDF Scenario Training & Testing Multinomial Naïve Bayes Classifier Evaluation with Confusion Matrix
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Penjelasan mengenai setiap tahapan alur penelitian pada Gambar 1:

## a. Twitter Crawling
Data yang dikumpulkan melalui pengambilan data dari Twitter menggunakan Python [27] dengan memanfaatkan fasilitas twitterscrapper, data yang ditemukan berupa komentar tweet berbahasa Indonesia sebanyak 5000 data yang diambil mulai dari 21 November 2022 hingga 13 Maret 2023 dengan kata kunci terkait Hate Speech dalam bentuk file .csv.
b. Preprocessing
Preprocessing adalah langkah awal dalam pemrosesan data yang melibatkan pembersihan, transformasi, dan penyaringan data mentah sebelum digunakan dalam analisis atau pemodelan. Tujuannya adalah menghilangkan informasi yang tidak relevan,  normalisasi,  dan  persiapan  data  sehingga  data  siap  untuk  diolah  lebih  lanjut  [28]. Preprocessing melibatkan langkah seperti case folding , tokenization , stopword removal , normalization , dan stemming [29]. Kualitas preprocessing penting karena berpengaruh pada akurasi hasil analisis dan model yang dihasilkan.
c. Labeling
Labeling merujuk  pada  proses  pemberian  kelas  atau  kategori  pada  data.  Proses  ini  penting  untuk  mengajarkan  model memprediksi hasil. Data yang diberi label digunakan untuk melatih model sehingga dapat memahami pola dan membuat prediksi pada data baru. Kualitas labeling mempengaruhi keberhasilan model.
d. Term Weighting
Term dalam konteks Natural Language Processing (NLP) merujuk pada kata atau frasa tertentu dalam sebuah dokumen atau korpus teks. Dalam analisis teks, istilah dapat merujuk pada kata tunggal seperti “kucing” atau “rumah”, atau dapat berupa frasa yang lebih panjang seperti “jaringan saraf tiruan” atau “teknologi informasi”. Istilah ini diidentifikasi dan diberi bobot dalam proses analisis teks untuk membantu menggambarkan makna dan konten dari dokumen atau korpus secara  lebih  akurat.  Metode Term  Weighting yang  paling  umum  digunakan  adalah  metode term  frequency  -  inverse document frequency (TF-IDF) yang mempertimbangkan baik frekuensi suatu istilah dalam sebuah dokumen atau dalam seluruh  korpus  untuk  menghitung  bobot  yang  mencerminkan  pentingnya  istilah  dalam  sebuah  dokumen  atau  korpus tersebut. Rumus yang digunakan untuk menghitung bobot ditunjukkan pada persamaan 1 dan 2.
𝑇𝐹 − 𝐼𝐷𝐹 = 𝑇𝐹 (𝑡,𝑑) 𝑥 𝐼𝐷𝐹 (𝑡) (1)
𝐼𝐷𝐹 (𝑡) =  𝑙𝑜𝑔(𝑁/𝑑𝑓 (𝑡) ) (2)
TF (t,d) = frekuensi kata dari suatu istilah tertentu dalam suatu dokumen IDF (t) = kebalikan frekuensi dokumen dari istilah tersebut. IDF (t) dihitung menggunakan log(N/df (t) ) dimana N adalah total jumlah dokumen dalam kumpulan data dan df (t) adalah jumlah dokumen yang mengandung istilah tersebut.
e. Metode Naïve Bayes Classifier
Metode  Naïve  Bayes  Classifier  adalah  jenis  algoritma  pembelajaran  mesin  yang  umumnya  digunakan  untuk  tugas klasifikasi  teks,  seperti  analisis  sentimen.  Tujuannya  adalah  untuk  mengidentifikasi  sentimen  atau  pendapat  yang terungkap dalam teks tertentu, seperti pada media sosial dan ulasan produk. Metode klasifikasi Naïve Bayes menggunakan prinsip teorema Bayes untuk menghitung probabilitas bahwa suatu teks tertentu termasuk dalam kategori klasifikasi yang sesuai  dengan  sentimennya.  Rumus  yang  digunakan  dalam  Metode  Naïve  Bayes  Classifier  untuk  analisis  sentimen didasarkan pada teorema bayes, seperti yang disajikan pada persamaan 3 [30][31].
P(C|X) = 𝑃(𝑋|𝐶) ∗ 𝑃(𝐶) 𝑃(𝑋) (3) P(C|X)  = probabilitas posterior dari kelas C yang diberikan masukan X P(X|C)  = probabilitas bersyarat dari masukan X yang diberikan kelas C
P(C) = probabilitas prior dari kelas C
P(X) = probabilitas prior dari masukan X
Masukan X dalam analisis sentimen biasanya berbentuk teks, dan kelas C mewakili kategori klasifikasi sentimen. Kemudian, rumus dapat disederhanakan sebagai persamaan 4.
𝑃(𝐶|𝑋)   =  𝑃(𝐶)   ∗  ∏ 𝑃(𝑋𝑖|𝐶)
(4)
∏ 𝑃(𝑋𝑖|𝐶) =  produk  dari  probabilitas  bersayarat  P(Xi|C)  untuk  setiap  fitur  dalam  kumpulan  data  pelatihan,  dan menggunakan probabilitas ini untuk mengklasifikasikan teks baru yang belum terlihat.
f. Confusion Matrix
Confusion Matrix adalah tabel dengan empat kombinasi berbeda dari nilai prediksi dan aktual [32][33]. Evaluasi kinerja ini  menggunakan  F1- score dan accuracy ,  F1- score adalah  perbandingan recall dan precision ,  sementara accuracy menggambarkan seberapa akurat model dalam mengklasifikasikan dengan benar [34]. Confusion Matrix disajikan pada Tabel 1.
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Tabel 1. Confusion matrix
Actual Class Predicted Class Hate Speech Non-Hate Speech Hate Speech True Positive (TP) False Negative (FN) Non-Hate Speech False Positive (FP) True Negative (TN)
Diperoleh empat nilai keluaran berdasarkan Tabel 1:
1. Accuracy
Hasil akurasi yang diklasifikasikan dengan data lainnya untuk mengetahui keakuratan model yang digunakan.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦  = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (5)
2. Recall
Perhitungan untuk mengetahui seberapa besar persentase kasus yang benar diidentifikasi sebagai Hate Speech .
𝑅𝑒𝑐𝑎𝑙𝑙  = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (6)

## 3. Precision
Perbandingan antara hasil aktual klasifikasi Hate Speech dengan semua prediksi Hate Speech .
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (7)
4. F1- score Perbandingan rata-rata precision dan recall yang dibobotkan.
𝐹1 − 𝑠𝑐𝑜𝑟𝑒  =  2 ∗ 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙
(8)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Data Crawling
Penelitian menggunakan metode Naïve Bayes Classifier yang pertama dihasilkan dari proses crawling yaitu mengambil tweet dengan kata kunci terkait Hate Speech . Data crawling dilakukan pada periode November 2022 hingga Maret 2023. Menurut  hasil crawling ,  terdapat  5000 tweet yang digunakan untuk training dan testing . Dataset 5000 tweet disajikan pada Tabel 2.
Tabel 2. Daftar Dataset No Date Username Text 0 2023-03-13 16:29:03+00:00 Arsy********** Di  masa  sekarang  sudah  benar  benar  muak  terhadap  orang  yang menyebar ujaran  kebencian dan kelemahan didepan orang banyak dan dipermalukan di banyak pikiran orang. Percaya sii hukum karma pasti ada. Buat kedepan harus hati hati. 1 2023-03-13 15:03:47+00:00 Faj******** Pemilu 2024, Boy Rafli: Polarisasi Sosial Terjadi Ketika Praktek Politik Identitas, SARA, Ujaran Kebencian, dan Hoaks Mudah Bertebaran di Tengah  Masyarakat  https://t.co/xheppSKml9  #BoyRafly  #headline #hoaks #Pemilu2024 2 2023-03-13 15:03:16+00:00 Bin***** Plus,  kalau  punya  social  media  manager  itu,  baca  dulu  Community Guidelines  napa.  Biar  brand  engga  pakai  bikin  ujaran  kebencian. https://t.co/Y7o9L3buDj 3 2023-03-13 14:36:36+00:00 Hyu********* go away anon. kalau gak suka bisa skip atau blok sekalian tanpa perlu ujaran kebencian gini. Udah mah baca gratis kagak suruh bayar malah timbal  balik  gini,  mikirlah  punya  otak  gak  digunain  sayang  banget. Minta  maaf  gak  lu  nonðŸ¤¬,  lu  gak  merasa  berasalah  tah  stlh  kirim gini? … … … 4996 2022-11-21 03:59:37+00:00 Sya****** Meme  tsb  termasuk  ujaran  kebencian  kepada  Ibu  Negara,  dapat  di proses tanpa pengaduan @PoldaJogja https://t.co/BKIeGpKWmf 4997 2022-11-21 03:54:39+00:00 Nye***** Harus dilaporkan !! Ujaran kebencian, erotisme, fitnah dan pencemaran nama  baik  ada  di  setiap  kontennya jelas  merusak  moral  anak  bangsa. @kemkominfo  @KPI_Pusat  @PlateJohnny  @KPAI_official  @SCTV @OfficialRCTI @Official_MNCTV @TRANSTV_CORP
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
#KominfoBlokirDenise https://t.co/CeBxizLMwF 4998 2022-11-21 03:45:09+00:00 Aly****** Save  generasi  bangsa  dari  konten2  porn*ografi,  porn*aksi  n  ujaran kebencian #KominfoBlokirDenise 4999 2022-12-23 00:50:53+00:00 Irm*********** * @Pencerah___ Wkwkw cebong tolol Lu kgk usah sebar hoax dan ujaran kebencian tolol dasar kaum bipang

## 3.2 Data Preprocessing
Dataset tweet masih berisi tag , hashtag , dan elemen lain yang memerlukan tahap preprocessing . Preprocessing terdiri dari 5 langkah, termasuk case folding yang digunakan untuk mengubah semua teks menjadi huruf kecil, tokenization yang melibatkan  pembagian  teks  menjadi  kata-kata  atau  token  individu, stopwords  removal atau  penghapusan stopwords seperti  ("dan",  "yang",  dan  "adalah")  yang  tidak  memberikan  arti  signifikan  untuk  analisis, normalization untuk mengubah teks ke format standar, dan stemming yang merupakan proses mengurangi kata-kata menjadi bentuk dasar atau akar kata. Langkah-langkah preprocessing ini bertujuan untuk meningkatkan kualitas data dan mempersiapkannya untuk analisis sentimen yang lebih akurat. Hasil dari tahap preprocessing ini disajikan dalam Tabel 4.
Tabel 4. Hasil Data Preprocessing No Date Username Text 0 2023-03-13 16:29:03+00:00 Arsy********** di masa sekarang sudah benar benar muak terhadap orang yang menyebar ujaran kebencian dan kelemahan didepan orang banyak dan dipermalukan di banyak pikiran orang percaya sii hukum karma pasti ada buat kedepan harus hati hati 1 2023-03-13 15:03:47+00:00 Faj******** pemilu  boy  rafli  polarisasi  sosial  terjadi  ketika  praktek politik  identitas  sara  ujaran  kebencian  dan  hoaks  mudah bertebaran di tengah masyarakat 2 2023-03-13 15:03:16+00:00 Bin***** plus  kalau  punya  social  media  manager  itu  baca  dulu community guidelines napa biar brand engga pakai bikin ujaran kebencian 3 2023-03-13 14:36:36+00:00 Hyu********* go away anon kalau gak suka bisa skip atau blok sekalian tanpa  perlu  ujaran  kebencian  gini  udah  mah  baca  gratis kagak suruh bayar malah timbal balik gini mikirlah punya otak gak digunain sayang banget minta maaf gak lu non lu gak merasa berasalah tah stlh kirim gini
… … … 4996 2022-11-21 03:59:37+00:00 Sya****** meme  tsb  termasuk  ujaran  kebencian  kepada  ibu  negara dapat di proses tanpa pengaduan 4997 2022-11-21 03:54:39+00:00 Nye***** harus  dilaporkan  ujaran  kebencian  erotisme  fitnah  dan pencemaran  nama  baik  ada  di  setiap  kontennya  jelas merusak moral anak bangsa pusat official mnctv corp 4998 2022-11-21 03:45:09+00:00 Aly****** save  generasi  bangsa  dari  konten  pornografi  pornaksi ujaran kebencian 4999 2022-12-23 00:50:53+00:00 Irm************ wkwkw  cebong  tolol  lu  kgk  usah  sebar  hoax  dan  ujaran kebencian tolol dasar kaum bipang

## 3.3 Data Labeling
Data yang telah melalui tahap preprocessing selanjutnya di labeling . Labeling adalah proses pemberian kategori sentimen pada data, dalam konteks ini, memisahkan antara Hate Speech dan Non-Hate Speech . Hate Speech merujuk pada bahasa yang bersifat  ofensif atau merugikan, sementara Non-Hate Speech mencakup bahasa netral  atau Non -ofensif.  Analisis sentimen seringkali diperlukan penentuan nilai numerik untuk mewakili sentimen yang terungkap. Konversi label Hate Speech diberikan nilai numerik (0), sedangkan Non-Hate Speech diberikan nilai numerik (1). Konversi ini memungkinkan algoritma atau metode beroperasi secara efektif dengan data yang telah diberi label. Berdasarkan proses pelabelan data didapatkan 3988 tweets Hate Speech dan 1012 tweets Non-Hate Speech .  Hasil dari proses pelabelan ini disajikan dalam Tabel 5.
Tabel 5. Hasil Data Labeling No Date Username Text Text Stemmed Label 0 2023-03-13 16:29:03+00 :00 Arsy***** ***** di  masa  sekarang  sudah  benar benar muak terhadap orang yang menyebar  ujaran  kebencian  dan kelemahan didepan orang ['muak',  'orang',  'sebar', 'ujar', 'benci', 'lemah', 'depan', 'orang', 'malu', 'pikir',  'orang',  'percaya', Non-Hate Speech
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
banyak  dan  dipermalukan  di banyak pikiran orang percaya sii hukum  karma  pasti  ada  buat kedepan harus hati hati 'sii', 'hukum', 'karma', 'depan', 'hati', 'hati'] 1 2023-03-13 15:03:47+00 :00 Faj****** ** pemilu boy rafli polarisasi sosial terjadi  ketika  praktek  politik identitas  sara  ujaran  kebencian dan  hoaks  mudah  bertebaran  di tengah masyarakat ['milu', 'boy', 'rafli', 'polarisasi', 'sosial', 'praktek', 'politik', 'identitas', 'sara', 'ujar', 'benci',  'hoaks',  'mudah', 'tebar', 'masyarakat'] Non-Hate Speech 2 2023-03-13 15:03:16+00 :00 Bin***** plus  kalau  punya  social  media manager itu baca dulu community guidelines napa biar brand  engga  pakai  bikin  ujaran kebencian ['plus', 'social', 'media', 'manager', 'baca', 'community',  'guidelines', 'napa', 'brand', 'engga', 'pakai', 'ujar', 'benci'] Non-Hate Speech 3 2023-03-13 14:36:36+00 :00 Hyu***** **** go  away  anon  kalau  gak  suka bisa  skip  atau  blok  sekalian tanpa perlu ujaran kebencian gini udah  mah  baca  gratis  kagak suruh  bayar  malah  timbal  balik gini  mikirlah  punya  otak  gak digunain  sayang  banget  minta maaf  gak  lu  non  lu  gak  merasa berasalah tah stlh kirim gini ['go',  'away',  'anon',  'suka', 'skip',  'blok',  'ujar',  'benci', 'gin',  'udah',  'mah',  'baca', 'gratis', 'kagak', 'suruh', 'bayar', 'timbal', 'gin', 'mikirlah', 'otak', 'digunain', 'sayang',  'banget',  'maaf', 'lu',  'non',  'lu',  'rasa',  'tah', 'stlh', 'kirim', 'gin'] Non-Hate Speech
…
… … … … … 4996 2022-11-21 03:59:37+00 :00 Sya****** meme  tsb  termasuk  ujaran kebencian  kepada  ibu  negara dapat di proses tanpa pengaduan ['meme', 'tsb', 'ujar', 'benci', 'negara', 'proses', 'adu'] Non-Hate Speech 4997 2022-11-21 03:54:39+00 :00 Nye***** harus dilaporkan ujaran kebencian  erotisme  fitnah  dan pencemaran  nama  baik  ada  di setiap  kontennya  jelas  merusak moral anak bangsa pusat official mnctv corp ['lapor', 'ujar', 'benci', 'erotisme',  'fitnah',  'cemar', 'nama',  'konten',  'rusak', 'moral',  'anak',  'bangsa', 'pusat',  'official',  'mnctv', 'corp'] Non-Hate Speech 4998 2022-11-21 03:45:09+00 :00 Aly****** save generasi bangsa dari konten pornografi  pornaksi    ujaran kebencian ['save',  'generasi',  'bangsa', 'konten', 'pornografi', 'pornaksi', 'ujar', 'benci'] Non-Hate Speech 4999 2022-12-23 00:50:53+00 :00 Irm****** ****** wkwkw cebong tolol lu kgk usah sebar hoax dan ujaran kebencian tolol dasar kaum bipang ['wkwkw',  'cebong',  'tolol', ['lu',  'kgk',  'sebar',  'hoax', 'ujar', 'benci', 'tolol', 'dasar', 'kaum', 'bipang'] Hate Speech

## 3.4 Naïve Bayes Classification dan Confusion Matrix
Data telah diberi label sebagai Hate Speech dan Non - Hate Speech , kemudian dikonversi ke dalam bentuk numerik untuk memfasilitasi  analisis  lebih  lanjut.  Selanjutnya,  data  diberikan  bobot  menggunakan  metode  TF-IDF,  yang  melibatkan library feature extraction Python bernama TfidfTransformer. Setelah proses tersebut, data diformat menjadi representasi yang sesuai untuk model klasifikasi Multinomial Naive Bayes. Kinerja model diukur secara mendalam melalui evaluasi dengan memanfaatkan Confusion Matrix. Rincian informasi tentang pembagian data pada penelitian ini disajikan dalam Tabel 6.
Tabel 6. Split Data No Training (%) Testing (%) 1 70 30 2 30 70 3 50 50
Pembagian data training dan testing yang digunakan dalam penelitian ini terbagi menjadi tiga yaitu, data training 70% dan testing 30%, data training 30% dan testing 70%, dan data training 50% dan testing 50%. Klasifikasi Multinomial Naïve bayes berdasarkan data training 70% dan testing 30% disajikan pada Tabel 7.
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Tabel 7. Hasil Confusion Matrix Data Training 70% dan Testing 30%
Tahapan pembagian data berdasarkan 5000 dataset, dibagi menjadi tiga pembagian data sehingga didapatkan hasil akurasinya. Hasil accuracy pada Tabel 7 didapatkan dengan persamaan 5, perhitungan akurasi terhadap data training 70% dan testing 30%, diketahui TP = 1210, TN = 12, FP = 276, dan FN = 2.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 1210  +  12 1210  +  12 +  276  +  2
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 1222
1500
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 0,81
Hasil  perhitungan  klasifikasi  Multinomial  Naïve  Bayes  tersebut  disajikan  ke  dalam  bentuk  Confusion  Matrix terhadap data training 70% dan testing 30% disajikan pada Gambar 2.
Gambar 2. Confusion matrix Ujaran Kebencian terhadap Data Training 70% dan Testing 30%
Klasifikasi Multinomial Naïve bayes berdasarkan data training 30% dan data testing 70% disajikan pada Tabel 8.
Tabel 8. Hasil Confusion Matrix Data Training 30% dan Testing 70%
Perhitungan akurasi pada Tabel 8 menggunakan persamaan 5 terhadap data training 30% dan data testing 70%, diketahui TP = 2807, TN = 0, FP = 693, dan FN = 0.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 2807  +  0 2807  +  0 +  693  +  0
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 2807 3500
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 0,80
Hasil  perhitungan  klasifikasi  Multinomial  Naïve  Bayes  tersebut  disajikan  ke  dalam  bentuk  Confusion  Matrix terhadap data training 30% dan testing 70% disajikan pada Gambar 3.
Precision Recall F1- Score Support 0 0,81 1,00 0,90 1212 1 0,86 0,04 0,08 288 Accuracy 0,81 1500 Macro Avg 0,84 0,52 0,49 1500 Weighted Avg 0,82 0,81 0,74 1500
Precision Recall F1- Score Support 0 0,80 1,00 0,89 2807 1 0,00 0,00 0,00 693 Accuracy 0,80 3500 Macro Avg 0,40 0,50 0,45 3500 Weighted Avg 0,64 0,80 0,71 3500
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Gambar 3. Confusion matrix Ujaran Kebencian terhadap Data Training 30% dan Testing 70%
Klasifikasi Multinomial Naïve bayes berdasarkan data training 50% dan data testing 50% disajikan pada Tabel 9.
Tabel 9. Hasil Confusion Matrix Data Training 50% dan Testing 50% Precision Recall F1- Score Support 0 0,81 1,00 0,89 2010 1 0,81 0,03 0,05 490 Accuracy 0,81 2500 Macro Avg 0,81 0,51 0,47 2500 Weighted Avg 0,81 0,81 0,72 2500
Perhitungan akurasi pada Tabel 9 menggunakan persamaan 5 terhadap data training 50% dan data testing 50%, diketahui TP = 2007, TN = 13, FP = 477, dan FN = 3.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 2007  +  13 2007  +  13 +  477  +  3
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 2020 2500
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 0,81
Hasil perhitungan klasifikasi  Multinomial  Naïve Bayes tersebut  disajikan ke dalam bentuk  Confusion  Matrix terhadap data training 50% dan testing 50% disajikan pada Gambar 4.
Gambar 4. Confusion matrix Ujaran Kebencian terhadap Data Training 50% dan Testing 50%
Evaluasi  dengan  menggunakan  Confusion  Matrix  berdasarkan  tiga  skenario  pembagian  data  yang  meliputi pembagian data menjadi training 70% dan testing 30%, training 30% dan testing 70%, serta training 50% dan testing 50%  disajikan  pada  Tabel  10.  Setiap  skenario  pembagian  data  memberikan  wawasan  yang  berbeda  terhadap  kinerja model. Hasil evaluasi ini mencakup akurasi dan nilai F1- score setiap skenario pembagian data.
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Tabel 10. Hasil Klasifikasi Multinomial Naïve Bayes
No Data (%) Training Testing Akurasi F1- score 1 70 30 81 90 2 30 70 80 89 3 50 50 81 89
Hasil pengujian terhadap Metode Multinomial Naïve Bayes Classifier di atas, didapatkan skenario terbaik adalah dengan menggunakan data training 70% dan testing 30% yang menghasilkan akurasi sebesar 81% dan F1- Score 90%. Selain itu, akurasi sebesar 81% juga dicapai  pada skenario  data training 50% dan testing 50% dengan F1- Score 89%, sementara pada skenario data training 30% dan testing 70%, akurasi yang didapat sebesar 80% dan F1- Score 89%.

## 4. KESIMPULAN
Penelitian analisis sentimen menggunakan metode Naïve Bayes Classifier dilakukan pada kumpulan data Twitter yang terdiri dari 5000 samples, dengan melakukan langkah-langkah preprocessing seperti case folding , tokenization , stopword removal, normalization ,  dan stemming .  Setelahnya,  data  diberi  label  dan  diberi  bobot  menggunakan  metode  TF-IDF. Langkah  berikutnya  adalah  pembuatan  model  menggunakan  metode  Multinomial  Naïve  Bayes  Classifier  dengan membagi data penelitian menjadi tiga kelompok data training dan testing , yakni data training 70% dan testing 30%, data training 30% dan testing 70%, serta data training 50% dan testing 50%. Kemudian mengevaluasi model menggunakan Confusion  Matrix,  ditemukan  hasil  akurasi  tertinggi  sebesar  81%,  presisi  81%,  recall  100%,  dan  F1- score 90%  pada pembagian data training 70% dan testing 30%. Berdasarkan hasil ini, dapat disimpulkan bahwa pembagian data optimal untuk Metode Naïve Bayes Classifier adalah data training 70% dan testing 30% dengan akurasi 81% dan F1- score 90%, diikuti oleh data training 50% dan testing 50% dengan akurasi 81% dan F1- score 89%, dan data training 30% dan testing 70% dengan akurasi 80% dan F1- score 89%.

## REFERENCES
[1] A. C. Mutia, “Pengguna Twitter di Indonesia Capai 24 Juta hingga Awal 2023, Peringkat Berapa di Dunia?,” Katadata Media Network , 2023. https://databoks.katadata.co.id/datapublish/2023/02/27/pengguna-twitter-di-indonesia-capai-24-juta- hingga-awal-2023-peringkat-berapa-di-dunia.
[2] M. Hakiem, M. A. Fauzi, and Indriati, “Klasifikasi Ujaran Kebencian pada Twitter Menggunakan Metode Naïve Bayes Berbasis N-Gram Dengan Seleksi Fitur Information Gain,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 3, pp. 2443–2451, 2019, [Online]. Available: http://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/4682.
[3] S. Afrizal, H. N. Irmanda, N. Falih, and I. N. Isnainiyah, “Implementasi Metode Naïve Bayes untuk Analisis Sentimen Warga Jakarta Terhadap,” Inform.  J. Ilmu Komput. , vol. 15, no. 3, p. 157, 2020, doi: 10.52958/iftk.v15i3.1454.
[4] I. Riadi, R. Umar, and Fitriah, “Analisis Data Mining Sistem Inventory Menggunakan Algoritma Apriori,” Decod. J. Pendidik. Teknol. Inf. , vol. 1, no. 1, pp. 33–42, 2021.
[5] A. Yudhana, I. Riadi, and M. R. Djou, “Pengembangan Layanan Kependudukan Dan Pencatatan Sipil Menggunakan Algoritma Naïve Bayes,” JURIKOM (Jurnal Ris. Komputer) , vol. 9, no. 4, p. 1062, 2022, doi: 10.30865/jurikom.v9i4.4515.
[6] S. Nurul, J. Fitriyyah, N. Safriadi, E. Esyudha, and P. #3, “JEPIN (Jurnal Edukasi dan Penelitian Informatika) Analisis Sentimen Calon Presiden Indonesia 2019 dari Media Sosial Twitter Menggunakan Metode Naive Bayes,” (Jurnal Edukasi dan Penelit. Inform. , vol. 5, no. 3, pp. 279–285, 2019, [Online]. Available: http://dx.doi.org/10.26418/jp.v5i3.34368.
[7] F. V. Sari and A. Wibowo, “Analisis Sentimen Pelanggan Toko Online Jd.Id Menggunakan Metode Naïve Bayes Classifier Berbasis Konversi Ikon Emosi,” Simetris J. Tek. Mesin, Elektro dan Ilmu Komput. , vol. 10, no. 2, pp. 681–686, 2019, [Online]. Available: https://jurnal.umk.ac.id/index.php/simet/article/view/3487.
[8] I. Riadi, R. Umar, and F. D. Aini, “Analisis Perbandingan Detection Traffic Anomaly Dengan Metode Naive Bayes Dan Support Vector Machine (Svm),” Ilk. J. Ilm. , vol. 11, no. 1, pp. 17–24, 2019, doi: 10.33096/ilkom.v11i1.361.17-24.
[9] Imam Riadi, Abdul Fadlil, and Izzan Julda D.E Purwadi Putra, “Mask Detection Analysis Using Haar Cascade and Naïve Bayes,” J. Teknol. Inf. Univ. Lambung Mangkurat , vol. 7, no. 2, pp. 105–114, 2022, doi: 10.20527/jtiulm.v7i2.135.
[10] D. Duei Putri, G. F. Nama, and W. E. Sulistiono, “Analisis Sentimen Kinerja Dewan Perwakilan Rakyat (DPR) Pada Twitter Menggunakan Metode Naive Bayes Classifier,” J. Inform. dan Tek. Elektro Terap. , vol. 10, no. 1, pp. 34–40, 2022, doi: 10.23960/jitet.v10i1.2262.
[11] P. S. M. Suryani, L. Linawati, and K. O. Saputra, “Penggunaan Metode Naïve Bayes Classifier pada Analisis Sentimen Facebook Berbahasa Indonesia,” Maj. Ilm. Teknol. Elektro , vol. 18, no. 1, p. 145, 2019, doi: 10.24843/mite.2019.v18i01.p22.
[12] K. Antariksa, Y. S. Purnomo WP, and E. Ernawati, “Klasifikasi Ujaran Kebencian pada Cuitan dalam Bahasa Indonesia,” J. Buana Inform. , vol. 10, no. 2, p. 164, 2019, doi: 10.24002/jbi.v10i2.2451.
[13] N. M. A. J. Astari, Dewa Gede Hendra Divayana, and Gede Indrawan, “Analisis Sentimen Dokumen Twitter Mengenai Dampak Virus Corona Menggunakan Metode Naive Bayes Classifier,” J. Sist. dan Inform. , vol. 15, no. 1, pp. 27–29, 2020, doi: 10.30864/jsi.v15i1.332.
[14] M. Syarifuddin, “Analysis of Public Opinion Sentiment Regarding Covid-19 on Twitter Using the Naïve Bayes and Knn Method,” Inti Nusa Mandiri , vol. 15, no. 1, pp. 23–28, 2020.
[15] W. R. Samsir, Ambiyar, Verawardina Unung, edi Firman, “Analisis Sentimen Pembelajaran Daring Pada Twitter di Masa Pandemi COVID-19 Menggunakan Metode Naïve Bayes,” J. Media Inform. Budidarma , vol. 5, no. 1, p. 149, 2021, doi:
Hal 566−575 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
10.30865/mib.v5i1.2604.
[16] F. Septianingrum, J. H. Jaman, and U. Enri, “Analisis Sentimen Pada Isu Vaksin Covid-19 di Indonesia dengan Metode Naive Bayes Classifier,” J. Media Inform. Budidarma , vol. 5, no. 4, p. 1431, 2021, doi: 10.30865/mib.v5i4.3260.
[17] N. P. G. Naraswati, R. Nooraeni, D. C. Rosmilda, D. Desinta, F. Khairi, and R. Damaiyanti, “Analisis Sentimen Publik dari Twitter Tentang Kebijakan Penanganan Covid-19 di Indonesia dengan Naive Bayes Classification,” Sistemasi , vol. 10, no. 1, p. 222, 2021, doi: 10.32520/stmsi.v10i1.1179.
[18] E. T. Handayani and A. Sulistiyawati, “Analisis Sentimen Respon Masyarakat Terhadap Kabar Harian Covid-19 Pada Twitter Kementerian Kesehatan Dengan Metode Klasifikasi Naive Bayes,” J. Teknol. dan Sist. Inf. , vol. 2, no. 3, pp. 32–37, 2021, [Online]. Available: http://jim.teknokrat.ac.id/index.php/JTSI.
[19] F. Fathonah and A. Herliana, “Penerapan Text Mining Analisis Sentimen Mengenai Vaksin Covid - 19 Menggunakan Metode Naïve Bayes,” J. Sains dan Inform. , vol. 7, no. 2, pp. 155–164, 2021, doi: 10.34128/jsi.v7i2.331.
[20] T. Krisdiyanto, “Analisis Sentimen Opini Masyarakat Indonesia Terhadap Kebijakan PPKM pada Media Sosial Twitter Menggunakan Naïve Bayes Clasifiers,” J. CoreIT J. Has. Penelit. Ilmu Komput. dan Teknol. Inf. , vol. 7, no. 1, p. 32, 2021, doi: 10.24014/coreit.v7i1.12945.
[21] N. Hardi, Y. Alkahfi, P. Handayani, W. Gata, and M. R. Firdaus, “Analisis Sentimen Physical Distancing pada Twitter Menggunakan Text Mining dengan Algoritma Naive Bayes Classifier,” Sistemasi , vol. 10, no. 1, p. 131, 2021, doi: 10.32520/stmsi.v10i1.1118.
[22] A. Aziz and I. Fitri, “Analisis Sentimen Terhadap Kebijakan Pemerintah Tentang Larangan Mudik Hari Raya Idulfitri di Indonesia Tahun 2021 Menggunakan Metode Naïve Bayes,” J. Sains Komput. Inform. (J-SAKTI , vol. 5, no. 2, p. 7806700, 2021.
[23] S. Juanita, “Analisis Sentimen Persepsi Masyarakat Terhadap Pemilu 2019 Pada Media Sosial Twitter Menggunakan Naive Bayes,” J. Media Inform. Budidarma , vol. 4, no. 3, p. 552, 2020, doi: 10.30865/mib.v4i3.2140.
[24] A. Perdana, A. Hermawan, and D. Avianto, “Analisis Sentimen Terhadap Isu Penundaan Pemilu di Twitter Menggunakan Naive Bayes Clasifier,” J. Sisfokom (Sistem Inf. dan Komputer) , vol. 11, no. 2, pp. 195–200, 2022, doi: 10.32736/sisfokom.v11i2.1412.
[25] A. R. Syaifullah and Y. Sibaroni, “ Hate Speech Hashtag Classification on Twitter Using the Hybrid Classifier Method,” JURIKOM (Jurnal Ris. Komputer) , vol. 9, no. 4, p. 828, 2022, doi: 10.30865/jurikom.v9i4.4548.
[26] I. Fahrur Rozi, A. Taufika Firdausi, and K. Islamiyah, “Analisis Sentimen Pada Twitter Mengenai Pasca Bencana Menggunakan Metode Naïve Bayes Dengan Fitur N-Gram,” J. Inform. Polinema , vol. 6, no. 2, pp. 33–39, 2020, doi: 10.33795/jip.v6i2.316.
[27] M. Hudha, E. Supriyati, and T. Listyorini, “Analisis Sentimen Pengguna Youtube Terhadap Tayangan #Matanajwamenantiterawan Dengan Metode Naïve Bayes Classifier,” JIKO (Jurnal Inform. dan Komputer) , vol. 5, no. 1, pp. 1–6, 2022, doi: 10.33387/jiko.v5i1.3376.
[28] F. Sidik, I. Suhada, A. H. Anwar, and F. N. Hasan, “Analisis Sentimen Terhadap Pembelajaran Daring Dengan Algoritma Naive Bayes Classifier,” J. Linguist. Komputasional , vol. 5, no. 1, p. 34, 2022, doi: 10.26418/jlk.v5i1.79.
[29] A. I. Tanggraeni and M. N. N. Sitokdana, “Analisis Sentimen Aplikasi E-Government pada Google Play Menggunakan Algoritma Naïve Bayes,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi) , vol. 9, no. 2, pp. 785–795, 2022, doi: 10.35957/jatisi.v9i2.1835.
[30] S. M. Salsabila, A. Alim Murtopo, and N. Fadhilah, “Analisis Sentimen Pelanggan Tokopedia Menggunakan Metode Naïve Bayes Classifier,” J. Minfo Polgan , vol. 11, no. 2, pp. 30–35, 2022, doi: 10.33395/jmp.v11i2.11640.
[31] M. A. Djamaludin, A. Triayudi, and E. Mardiani, “Analisis Sentimen Tweet KRI Nanggala 402 di Twitter menggunakan Metode Naïve Bayes Classifier,” J. JTIK (Jurnal Teknol. Inf. dan Komunikasi) , vol. 6, no. 2, pp. 161–166, 2022, doi: 10.35870/jtik.v6i2.398.
[32] Vynska Amalia Permadi, “Analisis Sentimen Menggunakan Algoritma Naive Bayes Terhadap Review  Restoran di Singapura,” J. Buana Inform. , vol. 11, pp. 141–151, 2020.
[33] N. S. Wardani, A. Prahutama, and P. Kartikasari, “Analisis Sentimen Pemindahan Ibu Kota Negara Dengan Klasifikasi Naïve Bayes Untuk Model Bernoulli Dan Multinomial,” J. Gaussian , vol. 9, no. 3, pp. 237–246, 2020, doi: 10.14710/j.gauss.v9i3.27963.
[34] R. Umar, I. Riadi, and P. Purwono, “Klasifikasi Kinerja Programmer pada Aktivitas Media Sosial dengan Metode Stochastic Gradient Descent,” JOINTECS (Journal Inf. Technol. Comput. Sci. , vol. 5, no. 2, p. 55, 2020, doi: 10.31328/jointecs.v5i2.1324.