## Sistem Klasifikasi Otomatis Dengan Konsep Machine Learning As
A Service (MLaaS) Pada Kasus Pesan Berindikasi Cyberbullying
Muhammad Raihan Satrio Putra Pamungkas 1,* , Mochamad Nurul Huda 2 , Daffa Almer Fauzan 3 , Ardi Hilal Itsna 4 , Fajar Muhammad Al-Hijri 5
Program Studi Rekayasa Perangkat Lunak, Universitas Pendidikan Indonesia, Indonesia
1 satriopamungkas@upi.edu; 2 mochamadnurulhuda16@upi.edu; 3 daffaalmerf@upi.edu; 4 ardi.hilal@upi.edu;
5 fajarmuhammad@upi.edu;
* corresponding author

## INFO ARTIKEL

## ABSTRAK
Sejarah Artikel Diterima: 15 November 2022 Direvisi: 15 Desember 2022 Diterbitkan: 20 Desember 2022 Informasi berupa pesan ataupun komentar yang tersebar di media sosial tentunya  perlu  disesuaikan  dan  diberi  batasan  sehingga  dapat  terhindar dari  adanya  informasi  yang  bersifat  menyerang  individu  ataupun mengganggu  kenyamanan  pengguna  lainnya.  Tindakan  tersebut  biasa disebut dengan istilah cyberbullying . Beberapa peneliti telah memberikan tanggapan  solusi  dengan  mengembangkan  model  klasifikasi  pesan. Namun  dalam  kasus  nyata,  diperlukannya  integrasi  dengan  aplikasi lainnya  supaya  dampak  dan  keberhasilannya  dapat  dirasakan.  Untuk memberikan kemudahan bagi pengguna ataupun pengembang, mutakhir ini  muncul  konsep Machine  Learning  as  a  Service (MLaaS)  sehingga model  klasifikasi  dapat  digunakan  dan  diintegrasikan  tanpa  perlu memikirkan  tahapan  pengembangan  model,  implementasi  hingga infrastrukturnya.  Penelitian  ini  dilakukan  dengan  pendekatan Design Science  Research (DSR).  Penelitian  ini  bertujuan  untuk  memberikan solusi  sebagai  kontribusi  baru  berupa  rancangan  sistem  klasifikasi otomatis dalam kasus pesan yang terindikasi cyberbullying menggunakan konsep MLaaS. Dataset yang digunakan merupakan kombinasi dari dua dataset  komentar  bahasa  Indonesia  yang  berasal  dari  dua  penelitian sebelumnya.  Adapun  model  klasifikasi  yang  berhasil  dikembangkan menggunakan algoritma Support Vector Machine (SVM) dengan akurasi terbaiknya  yaitu  86,9%.  Pengembangan  sistem  MLaaS  menggunakan bahasa  Python  dengan framework FastAPI  serta  PostgreSQL  sebagai basis data nya. Pengujian dilakukan melalui integrasi terhadap prototipe aplikasi  website  pesan  singkat  bernama  Vrede. Hasil  pengujian  dalam penelitian  ini  menunjukan  80%  keberhasilan  untuk  pesan  bersifat menyerang dan 100% keberhasilan untuk  pesan bersifat  normal. Selain itu  juga  penelitian  ini  menunjukan  bahwa  rancangan  sistem  ini  dapat diintegrasikan ke dalam aplikasi lainnya.
Kata Kunci cyberbullying design science research klasifikasi pembelajaran mesin support vector machine

## PENDAHULUAN
Pertukaran informasi yang terjadi antar manusia dapat terwujud dengan mengandalkan konektivitas  jaringan  internet.  Media  sosial  merupakan  salah  satu  media  pertukaran informasi  yang  digunakan  secara  masif  tanpa  mengenal  keterbatasan  usia  [1],  hal  ini didukung oleh survei yang dilakukan Hootsuite  pada tahun 2022 ini yang memperkirakan sekitar 191,4 juta masyarakat Indonesia merupakan pengguna aktif di media sosial. Bahkan rata-rata durasi penggunaannya bisa mencapai 3 hingga 3,5 jam per hari [2]. Dengan adanya kebebasan berpendapat dan keterbukaannya informasi secara publik di media sosial, ternyata dapat  memainkan  peranan  penting  dalam  menentukan  arah  kebermanfaatan  media  sosial.
Sehingga,  setiap  informasi  baik  berupa  pesan  atau  komentar  perlu  disesuaikan  dan  diberi batasan lebih lanjut untuk mengantisipasi informasi yang bersifat menyerang individu atau kelompok serta mengganggu kesejahteraan pengguna media sosial.
Jika  hal  tersebut  diabaikan,  maka  akan  timbul  perilaku  buruk  yang  dikenal  sebagai cyberbullying . Definisi dari cyberbullying yaitu perundungan di dunia maya yang dilakukan oleh  seorang  individu  atau  kelompok  terhadap  individu  atau  kelompok  lainnya  melalui sebuah  teks,  foto  ataupun  video  dalam  lingkup  perangkat  elektronik  dengan  tujuan mengintimidasi,  merendahkan  dan  melecehkan  korban  secara  berulang-ulang  [3].  Studi menunjukan  bahwa  salah  satu  tindakan cyberbullying yang  terjadi  seperti  berkomentar secara kasar pada konten milik pengguna lainnya [4]. Dampak yang dirasakan korban pada kasus usia remaja pun sangatlah fatal terutama pada aspek fisik, sosial serta psikologis [5]. Apalagi pengguna media sosial saat ini memiliki segmentasi usia yang beragam mulai dari anak-anak hingga dewasa [1].
Upaya  pencegahan  dapat  dilakukan  dengan  berbagai  cara,  seperti  dengan  proses pemilahan pesan yang dilakukan secara manual meskipun harus memerlukan sumber daya yang  besar  serta  waktu  yang  relatif  lama.  Alternatif  lainnya  yaitu  dengan  memanfaatkan teknologi  kecerdasan  buatan  dan  pembelajaran  mesin  yang  dapat  melakukan  pekerjaan repetitif secara otomatis [6]. Beberapa penelitian sebelumnya telah mengembangkan model prediksi  klasifikasi  informasi  atau  pesan  yang  mengandung  unsur  perundungan menggunakan  algoritma Naïve  Bayes [7],  [8].  Serta  terdapat  penelitian  serupa  yang menggunakan algoritma lainnya yaitu K-Nearest Neighbor [9], dan Support Vector Machine [10].  Penelitian-penelitian  tersebut  menjadi  tanggapan  serta  solusi  awal  dari  para peneliti terhadap  permasalahan  mengenai  tindakan cyberbullying yang  membutuhkan  proses pemilahan secara otomatis.
Dalam kasus nyata, model prediksi klasifikasi yang dikembangkan perlu diintegrasikan dengan  sistem  lainnya  untuk  membentuk  layanan  perangkat  lunak  yang  fungsional. Beberapa  penelitian  sebelumnya  juga  telah  mengembangkan  sistem  secara  fungsional. Pertama  yaitu  aplikasi  website  pendeteksi cyberbullying menggunakan  algoritma Naive Bayes dengan  jumlah  dataset  sebanyak  13000  data,  dalam  penelitian  ini  akurasi  yang dihasilkan yaitu sebesar 82,15 % [11], sedangkan penelitian lainnya dalam lingkup aplikasi website dengan algoritma yang sama dan jumlah dataset yang berbeda memiliki akurasi yang lebih tinggi yaitu sebesar 98,5 % [12]. Konsep dari Machine Learning as a Service (MLaaS) memberikan kemudahan bagi pengguna ataupun pengembang untuk menggunakan layanan machine leaarning dari manapun dan kapanpun tanpa harus memikirkan implementasi dan penggunaan sumber daya, melainkan hanya cukup fokus pada pengelolaan data [13]. Namun berdasarkan  penelusuran  peneliti  ternyata  tidak  banyak  penelitian-penelitian lainnya  yang telah mengembangkan sistem klasifikasi atau prediksi dengan konsep ini. Konsep MLaaS telah dikembangkan untuk klasifikasi atau prediksi bug pada perangkat lunak [14], selain itu juga konsep ini telah dicoba untuk layanan prediksi suar matahari ( solar flare ) yang dapat diakses secara publik [15].
Berdasarkan  hal  tersebut,  sejauh  ini  belum  ada  penelitian  lainnya  yang  telah mengimplementasikan  konsep  MLaaS  untuk  klasifikasi  pesan cyberbullying .  Sehingga dalam  penelitian  ini,  maka  peneliti  mengusulkan  rancangan  sistem  klasifikasi  sebagai kontribusi baru yang menerapkan konsep MLaaS secara  sederhana, mudah digunakan dan dapat diintegrasikan dengan aplikasi lainnya dalam kasus pesan berindikasi cyberbullying . Adapun  kebermanfaatan  yang  diharapkan  dari  penelitian  ini  yaitu  sebagai  rancangan sederhana yang dapat digunakan serta dikembangkan untuk keperluan penelitian lebih lanjut ataupun implementasi di ranah industri.
Vol. 4, No. 3, Desember 2022, Halaman 252-261

## METODE

## Desain dan Tahapan Penelitian
Desain  penelitian  ini  mengacu  pada  model  dari Design  Science  Research (DSR)  yang diusulkan  oleh  Peffers  sebelumnya,  adapun  proses  terdiri  dari  identifikasi  masalah, identifikasi  objek,  desain  dan  pengembangan,  evaluasi  dan  komunikasi  [16].  Pemilihan desain  penelitian ini  didasari  oleh  kesesuaian  konsep  dan  topik  penelitian  yang  berada  di dalam  rumpun  ilmu  komputer,  karena  DSR  mampu  bekerja  dengan  baik  terhadap  jenis pemecahan  masalah  sosial  dan  organisasi  melalui artifact yang  dihasilkan  [17].  Luaran dalam  penelitian  yaitu  sebuah  rancangan  atau  prototipe  sistem  yang  menjadi IT  artifact sesuai dengan desain penelitian ini. Gambaran dari desain penelitian DSR yang dapat dilihat pada Gambar 1. berikut ini

## Gambar 1. Desain Penelitian DSR
Tahapan  penelitian  yang  dilakukan  selanjutnya  disesuaikan  kembali  menjadi  4  bagian utama  yaitu  studi  literatur,  pengembangan  model  klasifikasi,  pengembangan  sistem  dan pengujian  sistem  sesuai  pada  Gambar  2.  Dimana  seluruh  tahapan  ini  tetap  mengacu  dan berprinsip pada model DSR yang diajukan oleh Peffers [16].
Gambar 2. Tahapan Penelitian
Pada  tahapan  studi  literatur,  identifikasi  permasalahan  dilakukan  dengan  mengangkat tindakan cyberbullying yang  terjadi  di  media  sosial  sebagai  latar  belakang  permasalahan.
Selain  itu,  solusi-solusi  digagaskan  sesuai  dengan  perkembangan  terkini  dari  penelitian sejenis  untuk  memperoleh  unsur  keterbaruan.  Pada  tahapan  pengembangan  model, dilakukan  proses  penghimpunan  dan  pemrosesan  dataset  yang  kemudian  dilatih menggunakan  suatu  algoritma  untuk  menghasilkan  model  prediksi.  Pada  tahapan pengembangan sistem, fungsionalitas dianalisis bersamaan dengan perancangan sistem yang kemudian dilanjutkan dengan konstruksi sistem. Terakhir yaitu tahapan pengujian sistem, dimana  diawali  dengan  pemilihan  prototipe  aplikasi  bernama  Vrede  untuk  diintegrasikan dengan sistem yang dikembangkan. Kemudian dilanjutkan dengan perancangan skenario uji dan eksekusi pengujian.

## Penelusuran Dataset dan Pengembangan Model Klasifikasi
Diperoleh  sebanyak  2  dataset  yang  tersedia  secara  terbuka  dan  publik  di  internet mengenai komentar-komentar pengguna yang telah dilabeli. Dataset pertama terdiri dari 650 baris data  yang dihimpun oleh Hanni  [18], sedangkan dataset kedua terdiri dari 400 baris data yang dihimpun oleh Luqyana, dkk. [19]. Masing-masing dataset kemudian disesuaikan kembali  dengan  memberikan  label  untuk  pesan  yang  terindikasi  tindakan cyberbullying dengan label positif dan tindakan bukan cyberbullying dengan label negatif. Total data yang diperoleh sebanyak 1050 baris data dengan penyebaran data secara seimbang yaitu 525 data berlabel  positif  dan  525  data  berlabel  negatif  seperti  pada  Tabel  1.  Selanjutnya  dataset diproses untuk dibersihkan dengan menghilangkan beberapa tanda baca yang tidak relevan seperti  tanda  kutip.  Selain  itu  juga  beberapa  kolom  dihilangkan  sehingga  hanya  tersisa  3 kolom yaitu nomor, komentar dan kategori seperti pada Tabel 2 mengenai penggalan dataset.
Tabel 1. Gambaran Dataset yang digunakan No. Dataset Jumlah Data  Label Positif Label Negatif 1 Dataset Cyberbullying Indonesia 650 325 325 2 Dataset Komentar Instagram Cyberbullying 400 200 200 Tabel 2. Penggalan Dataset yang telah Dihimpun dan Diolah Komentar Kategori Selamat tahun baru mbak semoga jadi pribadi yang lebih baik amin Non-bullying Di atm tinggal 150 ribu aja banyak gaya lu dugong Bullying

## Perancangan Sistem
Sistem yang dikembangkan merupakan back-end yang akan dihubungkan menggunakan Application  Programming  Interface (API)  pada  prototipe  aplikasi  di  bagian front-end . Konsep ini dikenal dengan istilah REST API. Dalam pengembangan sistem ini setidaknya diperlukan beberapa tools dan framework seperti FastAPI yang digunakan sebagai back-end framework berbasis Python, kemudian basis data PostgreSQL untuk menyimpan identitas, pesan, dan label. Serta Docker sebagai kontainer untuk mengemas seluruh sistem sehingga mudah dalam proses deployment ke server melalui pipeline Github Actions. Layanan hosting untuk  penelitian  ini  menggunakan  layanan  Azure  App  Service,  namun  tidak  menutup kemungkinan  sistem  ini  dapat  di hosting pada  layanan-layanan  sejenis  lainnya.  Diagram arsitektur serta relasi tabel dari sistem ini dapat dilihat pada Gambar 3. berikut ini.
Gambar 3. Diagram Arsitektur dan Relasi Tabel
Lebih  lanjutnya,  pertukaran  data  terjadi  melalui  protokol  HTTP  serta  data  dikemas dalam  format JavaScrip  Object  Notation (JSON).  Sehingga  terdapat  spesifikasi  API  dan endpoint URL yang dirancang pada sistem ini dapat dilihat pada Tabel 3. berikut ini.
Tabel 3. Spesifikasi API No. Fungsionalitas Metode HTTP Endpoint URL 1 Mengizinkan aplikasi lain atau pengguna untuk mengirimkan pesan beserta identitas untuk diprediksi label cyberbullying POST /pesan 2 Mengizinkan aplikasi lain atau pengguna untuk memperoleh pesan yang bukan terindikasi cyberbullying GET /pesan 3 Mengizinkan tim pengembang untuk mengetahui dokumentasi dari API sistem GET /dokumentasi

## Skenario Pengujian
Metode  pengujian  yang  dilakukan  yaitu  berjenis black-box atau  fungsionalitas. Pengujian harus dilakukan dari sisi klien atau front-end . Sehingga, dalam pengujian ini akan melibatkan  sebuah  prototipe  aplikasi chatting bernama  Vrede  yang  akan  diintegrasikan dengan sistem yang telah peneliti rancang. Terdapat dua jenis test case utama yang dilakukan untuk  kasus  pengecekan  pesan cyberbullying dan  kasus  pengecekan  pesan  yang  bukan tindakan cyberbulllying .  Masing-masing test-case memiliki  5  subtes  sehingga  secara akumulatif terdapat 10 subtes yang dilakukan.
Tabel 4. Skenario Pengujian No. Skenario Jumlah Subtes Input Ekspektasi 1 Mengirim pesan yang mengandung unsur cyberbullying (seperti kata-kata kasar dan mencela) 5 Kalimat  Muncul notifikasi pesan terindikasi cyberbullying dan pesan tidak muncul 2 Mengirim pesan yang tidak mengandung unsur cyberbullying (seperti kata-kata yang tidak mencela) 5 Kalimat Tidak ada notifikasi pesan dan pesan muncul

## HASIL DAN PEMBAHASAN

## Pemrosesan Lanjutan dan Penyesuaian Dataset
Sebelum  dataset  ini  dilatih,  terlebih  dahulu  dataset  dibagi  menjadi  dua  bagian  dengan proporsi 80% untuk data uji dan 20% untuk data latih.  Selanjutnya masing-masing bagian dataset ditransformasikan ke dalam bentuk matriks bilangan menggunakan metode Count Vectorizer .  Metode Count  Vectorizer merupakan  sebuah  metode feature  extraction yang merepresentasikan koleksi terminologi kata dalam bentuk dokumen matriks [20], sehingga dapat  menghitung  jumlah  kata  yang  ada  pada  dokumen  atau  koleksi  [21].  Output  yang diperoleh dari count vectorizer memiliki rumusan dan pola seperti Persamaan (1), dimana nilai x merupakan indeks kalimat pada dataset , nilai y merupakan indeks kata pada feature keseluruhan dan nilai z merupakan jumlah kata pada kalimat tersebut. Sebagai penjelasan, maka  digunakan  sampel  kalimat  dari  dataset  yaitu  ”Modelny  aja  murahan  apalagi barangnya” yang direpresentasikan pada Tabel 5.
𝑜𝑢𝑡𝑝𝑢𝑡 = (𝑥, 𝑦) 𝑧 (1)
Tabel 5. Input dan Output Proses Count Vectorizer Indeks Kata pada Kalimat 1 2 3 4 5 Input Kata Modelny aja murahan apalagi barangnya Output (1,2361) 1  (1,67) 1  (1,2421) 1  (1,176) 1 (1,339)  1 Indeks Kalimat pada Dataset ( x ) 1 1 1 1 1 Indeks Kata pada Feature ( y ) 2361 67 2421 176 339 Jumlah kata pada Kalimat ( z ) 1 1 1 1 1

## Model Klasifikasi
Kemudian, data latih divalidasi menggunakan teknik 10-fold cross-validation sehingga diperoleh  10  model  yang  berbeda  sebagaimana  terdapat  pada  Tabel  6. Algoritma  yang digunakan  dalam  model  klasifikasi  ini  adalah Support  Vector  Machine (SVM),  adapun keputusan  pemilihan  algoritma  ini  didasari  atas  studi  yang  menunjukan  bahwa  algoritma SVM memiliki keunggulan akurasi dibandingkan dengan algoritma klasifikasi lainnya [22]. Model  yang  telah  dikembangkan  kemudian  diuji  untuk  dicek  tingkat  akurasinya.  Secara komprehensif metrik dan nilai hasil pengujian dapat dilihat pada Tabel 6. berikut ini.
Tabel 6. Metrik Evaluasi Model Model Accuracy Precision Recall F1-Score  Accuracy on Test Data Model ke-1 0,833 0,795 0,875 0,833 0,838 Model ke-2 0,798 0,872 0,739 0,800 0,843 Model ke-3 0,821 0,810 0,829 0,819 0,857 Model ke-4 0,798 0,822 0,804 0,813 0,862
Vol. 4, No. 3, Desember 2022, Halaman 252-261 Model ke-5 0,821 0,816 0,795 0,805 0,857 Model ke-6 0,857 0,913 0,840 0,875 0,843 Model ke-7 0,833 0,864 0,826 0,844 0,857 Model ke-8 0,762 0,630 0,906 0,746 0,833 Model ke-9 0,750 0,756 0,738 0,747 0,833 Model ke-10 0,869 0,846 0,868 0,857 0,857
Model  yang  terbaik  diperoleh  dari  model  ke-10  dengan  memperhatikan  akurasi, f1- score, dan akurasi pada data pengujian. Metrik precision dan recall menjadi pertimbangan kedua mengingat bahwa dataset yang dimiliki bersifat seimbang.

## Implementasi Pada Prototipe Aplikasi
Sistem telah berhasil diintegrasikan dengan prototipe aplikasi Vrede. Adapun tampilan antarmuka dari aplikasi Vrede setelah diintegrasikan dapat dilihat pada Gambar 4. Terdapat dua antarmuka yaitu antarmuka dalam versi web mobile dan versi desktop . Dimana sebelum pengguna mengirimkan pesan, terdapat inputan identitas yang perlu diisikan terlebih dahulu. Selanjutnya  pesan  tersebut  akan  dikirim  ke  sistem  untuk  diklasifikasikan  unsur cyberbullying .  Pesan-pesan  yang  lolos  atau  tidak  termasuk  unsur cyberbullying sesuai prediksi  maka  akan  ditampilkan  secara  publik  pada  laman  Vrede  dalam  bentuk list yang berisi gambar profil, nama, identitas waktu serta isi pesan.
Gambar 4. Tampilan Antarmuka Prototipe Vrede yang Diintegrasikan

## Pengujian Fungsionalitas
Secara  umum  alur  fungsionalitas  sistem  diawali  dengan  penerimaan  respon  berisi identitas nama dan pesan. Pesan tersebut kemudian akan diolah dan dicek apakah termasuk pesan yang mengandung unsur cyberbullying ataupun bukan melalui sistem prediksi yang telah  dikembangkan.  Sehingga  akan  ada  dua  kondisi  yang  dapat  terjadi  dalam  kasus pengujian ini. Kondisi pertama, apabila pesan terindikasi mengandung unsur cyberbullying maka data akan disimpan ke dalam basis data namun data tidak akan diteruskan kembali ke pengguna.  Sehingga  pengguna  akan  memperoleh  notifikasi  bahwa  pesan  tersebut mengandung unsur cyberbullying . Kondisi kedua yaitu apabila pesan terindikasi bukanlah
tindakan cyberbullying maka  data  tetap  akan  disimpan  ke  dalam  database  dan  diteruskan kembali untuk ditampilkan secara publik pada prototipe aplikasi Vrede.
Gambar 5. Alur Fungsionalitas Sistem Klasifikasi
Berdasarkan dua kondisi tersebut, maka dilakukan pengujian sesuai skenario pada Tabel 4. diatas. Hasil yang diperoleh menunjukan bahwa sistem dapat memprediksi dengan benar jenis  pesan  yang  mengandung  unsur cyberbullying sebesar  80%  atau  4  dari  5  subtes. Sedangkan  sistem  dapat  memprediksi  dengan  benar  jenis  pesan  yang  tidak  mengandung unsur cyberbullying sebesar 100% atau 5 dari 5 subtes. Sampel pesan yang diuji dapat dilihat pada  Tabel  7.  untuk  kedua  skenario  uji  yang  dilakukan.  Jika  dianalisis  lebih  lanjut, ketidaktepatan prediksi pada skenario pesan yang mengandung unsur cyberbullying dapat disebabkan  oleh  model  prediksi  yang  dikembangkan.  Dimana  dalam  penelitian  ini  model yang digunakan belum memiliki akurasi yang tidak terlalu tinggi. Adapun rekapitulasi hasil pengujian  yang  diperoleh  dapat  dilihat  pada  Tabel  8.  Sedangkan  gambaran  pengujian  di aplikasi website dapat dilihat pada Gambar 6.
Tabel 7. Sampel Pesan yang Diuji No. Kode Skenario Skenario Sampel Pesan yang Diuji 1 SK-01 Mengirim pesan yang mengandung unsur cyberbullying (seperti kata-kata kasar dan mencela) Gendut banget kayak balon udara 2 SK-02 Mengirim pesan yang tidak mengandung unsur cyberbullying (seperti kata-kata yang tidak mencela) Selamat dan semoga sukses selalu Tabel 8. Rekapitulasi Hasil Pengujian No. Kode Skenario Jumlah Subtes Subtes Berhasil Subtes Gagal Persentase Keberhasilan 1 SK-01 5 4 1 80% 2 SK-02 5 5 5 100%

## Gambar 6. Gambaran Ketika Pengujian di Aplikasi

## KESIMPULAN
Rancangan sistem klasifikasi otomatis yang menerapkan konsep Machine Learning as a Service (MLaaS) secara sederhana telah berhasil diterapkan pada prototipe aplikasi website pesan  singkat  bernama  Vrede  untuk  memberikan  layanan  penyaringan  pesan  yang terindikasi cyberbullying .  Sehingga  aplikasi  lainnya  pun  dapat  diintegrasikan  dengan rancangan sistem ini melalui API. Meskipun hasil pengujian black-box masih menunjukan adanya  prediksi  label  pesan  yang  kurang  tepat,  karena  diperoleh  80%  keberhasilan  untuk pesan bersifat menyerang dan 100% keberhasilan untuk pesan bersifat normal. Hal tersebut dapat  diakibatkan  oleh  model  klasifikasi dengan  algoritma Support  Vector  Machine yang dikembangkan memiliki akurasi 86,9% sehingga belum memiliki akurasi yang cukup tinggi seperti pada penelitian lainnya. Terdapat rekomendasi terhadap penelitian selanjutnya untuk menggunakan  algoritma  dan  model  sejenis  maupun  lainnya  yang  memiliki  akurasi  lebih tinggi.  Serta  juga  dapat  memperbanyak  jumlah  dataset  untuk  meningkatkan  keakuratan. Langkah  yang  dilalui  pun  dapat  dilakukan  dengan  menambah  fitur  pada  sistem  untuk menerima feedback dari pengguna terkait ketepatan prediksi sehingga label dan data pada dataset  akan  semakin  bertambah  serta  akurat.  Terakhir  terdapat  rekomendasi  untuk memperhatikan  kebijakan  dan  regulasi  yang  berlaku  berkaitan  dengan  penghimpunan informasi  pada  basis  data  yang  cenderung  bersifat  pribadi,  seperti  yang  tercantum  pada Undang  Undang  No.  27  Tahun  2022  mengenai  Perlindungan  Data  Pribadi.  Terlebih rancangan sistem akan digunakan secara publik oleh pengguna internet di Indonesia.

## REFERENSI
[1] C.  M.  Annur,  “Berapa  Usia  Mayoritas  Pengguna  Media  Sosial  di  Indonesia?,” Katadata ,  2020. https://databoks.katadata.co.id/datapublish/2020/11/23/berapa-usia-mayoritas-pengguna-media- sosial-di-indonesia.
[2] Hootsuite, “Indonesian Digital Report 2022,” 2022.
[3] R. Marsinun and D. Riswanto, “Perilaku Cyberbullying Remaja di Media Sosial,” Anal.  J. Magister Psikol. UMA , vol. 12, no. 2, pp. 98–111, 2020, doi: https://doi.org/10.31289/analitika.v12i2.3704.
[4] R. R. Fitransyah and E. Waliyanti, “Perilaku Cyberbullying Dengan Media Instagram Pada Remaja Di Yogyakarta,” Indones. J. Nurs. Pract. , vol. 2, no. 1, pp. 36–48, 2018, doi: https://doi.org/10.18196/ijnp.2177.
[5] A. Sukmawati and A. P. B. Kumala, “Dampak Cyberbullying Pada Remaja,” Alauddin Sci. J. Nurs. , vol. 1, no. 1, pp. 55–65, 2020, doi: https://doi.org/10.24252/asjn.v1i1.17648.
[6] T.  P.  Utomo,  “Membangun  Profesionalisme  Sebagai  Strategi  Pustakawan  Menghadapi  Era  Society 5.0,” Bul. Perpust. Univ. Islam Indones. , vol. 2, no. 2, pp. 1–12, 2019.
[7] F. A. Maulana, I. Ernawati, P. Labu, and J. Selatan, “Analisa sentimen cyberbullying di jejaring sosial twitter dengan algoritma naïve bayes,” Semin. Nas. Mhs. Ilmu Komput. dan Apl. (SENAMIKA , pp. 529– 538, 2020, [Online]. Available: https://conference.upnvj.ac.id/index.php/senamika/article/view/619.
[8] J.  Pardede,  “Deteksi  Komentar  Cyberbullying  Pada  Media  Sosial  Berbahasa  Inggris  Menggunakan
Vol. 4, No. 3, Desember 2022, Halaman 252-261
Naïve Bayes Classification,” J. Inform. , vol. 7, no. 1, pp. 46–54, 2020, doi: 10.31311/ji.v7i1.6920.
[9] R. M. Candra and A. Nanda Rozana, “Klasifikasi Komentar Bullying pada Instagram Menggunakan Metode  K-Nearest  Neighbor,” IT  J.  Res.  Dev. ,  vol.  5,  no.  1,  pp.  45–52,  2020,  doi: 10.25299/itjrd.2020.vol5(1).4962.
[10] R. M. Kamal and E. Rainarli, “Analisis Sentimen Cyberbullying  Pada Komentar Facebook Dengan Metode Klasifikasi Support Vector Machine,” Univ. Komput. Indones. , 2019.
[11] R. Afrinza, “Deteksi Cyber Bullying pada Twitter Menggunakan Naive Bayes Classifier,” Universitas Telkom, 2019.
[12] A. S. Hutagalung, A. B. P. Negara, and E. E. Pratama, “Aplikasi Pendeteksi Cyberbullying Terhadap Komentar  Postingan  Media  Sosial  Instagram  dengan  Metode  Naïve  Bayes  Classifier  Berbasis Website,” J. Sist. dan Teknol. Inf. , vol. 9, no. 3, p. 364, 2021, doi: 10.26418/justin.v9i3.44843.
[13] M. Ribeiro, K. Grolinger, and M. A. M. Capretz, “MLaaS: Machine learning as a service,” Proc.  - 2015  IEEE  14th  Int.  Conf.  Mach.  Learn.  Appl.  ICMLA  2015 ,  no.  c,  pp.  896–902,  2016,  doi: 10.1109/ICMLA.2015.152.
[14] U. Subbiah, M. Ramachandran, and Z. Mahmood, “Software engineering approach to bug prediction models using machine learning as a service (MLaaS),” ICSOFT 2018 - Proc. 13th Int. Conf. Softw. Technol. , no. July 2018, pp. 879–887, 2019, doi: 10.5220/0006926308790887.
[15] Y. Abduallah, J. T. L. Wang, Y. Nie, C. Liu, and H. Wang, “DeepSun: Machine-learning-as-a-service for  solar  flare  prediction,” Res.  Astron.  Astrophys. ,  vol.  21,  no.  7,  2021,  doi:  10.1088/1674- 4527/21/7/160.
[16] K.  Peffers et  al. ,  “Design  Science  Research  Process:  A  Model  for  Producing  and  Presenting Information Systems Research,” ArXiv , vol. abs/2006.0, 2020.
[17] A. R. Hevner, S. T. March, J. Park, and S. Ram, “Design Science in Information Systems Research,” MIS Q. , vol. 28, no. 1, pp. 75–105, Dec. 2004, doi: 10.2307/25148625.
[18] C. T. Hanni, “Cyberbullying Bahasa Indonesia,” Kaggle Dataset , 2021. https://www.kaggle.com/datasets/cttrhnn/cyberbullying-bahasa-indonesia.
[19] W. A. Luqyana, I. Gholissodin, and R. S. Perdana, “Analisis Sentimen Cyberbullying Pada Komentar Instagram dengan Metode Klasifikasi Support Vector Machine,” J. Pengemb. Teknol. Inf. dan Ilmu Komput.  Univ.  Brawijaya ,  vol.  2,  no.  11,  pp.  4704–4713,  2018,  [Online].  Available:  https://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/3051.
[20] T. Turki and S. S. Roy, “Novel Hate Speech Detection Using Word Cloud Visualization and Ensemble Learning Coupled with Count Vectorizer,” Appl. Sci. , vol. 12, no. 13, 2022, doi: 10.3390/app12136611.
[21] S. Kaur, P. Kumar, and P. Kumaraguru, “Automating fake news detection system using multi-level voting model,” Soft Comput. , vol. 24, no. 12, pp. 9049–9069, 2020, doi: 10.1007/s00500-019-04436- y.
[22] Sudianto, A. D. Sripamuji, I. Ramadhanti, R. R. Amalia, J. Saputra, and B. Prihatnowo, “Penerapan Algoritma  Support  Vector  Machine  dan  Multi-Layer  Perceptron  pada  Klasifikasi  Topik  Berita,” JANAPATI  J. Nas. Pendidik. Tek. Inform. , vol. 11, no. 2, pp. 84–91, 2022.