## PENGGUNAAN SUPPORT VECTOR MACHINE UNTUK ANALISIS SENTIMEN ULASAN APLIKASI TRUECALLER DAN GETCONTACT
Salma Rita 1* , Didik Indrayana 2 , Agung Pambudi 3
1,2,3 Teknik Informatika, Fakultas Sains dan Teknologi, Universitas Muhammadiyah Email: 1 salmarita.kse@gmail.com, 2 didik.ind@ummi.ac.id, 3 agungpambd@ummi.ac.id
(*: Corresponding Author)
(Naskah masuk: 27 Juli 2023, diterima untuk diterbitkan: 22 Agustus 2023)

## Abstrak
Panggilan spam adalah panggilan apa pun yang dilakukan tanpa persetujuan penerima dan untuk alasan apa pun. Panggilan ini dapat berasal dari pemasaran, periklanan, pemberitahuan, atau penipuan.. Rata-rata orang Indonesia menerima 14 panggilan spam per hari. Hanya setengahnya yang berasal dari nomor buku kontak. Menurut Google Play  Store ,  aplikasi Truecaller dan Getcontact menawarkan  sejumlah  keuntungan  karena  masing-masing membantu mengidentifikasi penelepon dan mencegah spam. Namun, dalam hal ini, perangkat lunak pemblokiran panggilan spam memiliki sejumlah kelemahan, termasuk kesalahan dalam mengidentifikasi panggilan spam dan memblokir panggilan yang tidak berguna. Analisis sentimen dapat membantu pengguna dalam memilih aplikasi yang sesuai dengan kebutuhannya dan dalam penelitian ini bermaksud untuk menganalisis ulasan pada sentimen kedua aplikasi yaitu Truecaller dan Getcontact dengan menganalisis efektivitas berdasarkan pada ulasan aplikasi tersebut  Algoritma  klasifikasi Support  Vector  Machine yang  berisi  pedoman  mendasar  untuk  memaksimalkan batas hyperplane yang memisahkan dua dataset , digunakan dalam proses klasifikasi penelitian ini. Hasil penelitian menunjukkan bahwa aplikasi Truecaller pada 10- fold cross validation memiliki rata-rata akurasi sebesar 88,20% dan aplikasi Getcontact memiliki akurasi rata-rata sebesar 87,90%. Sementara itu, aspek sentimen pada aplikasi Truecaller memiliki nilai rata-rata akurasi sebesar 60,20%, sedangkan aplikasi Getcontact memiliki akurasi rata- rata 63,30%.
Kata kunci : Panggilan spam, Analisis sentimen, Support Vector Machine

## USING SUPPORT VECTOR MACHINE FOR SENTIMENT ANALYSIS OF TRUECALLER AND GETCONTACT APP REVIEWS

## Abstract
Spam calls are any calls made without the consent of the recipient and for any reason. These calls can originate from marketing, advertising, notifications, or fraud. The average Indonesian receives 14 spam calls per day. Only half of it comes from contact book numbers. According to the Google Play Store, the Truecaller and Getcontact apps offer a number of advantages as they each help identify callers and prevent spam. However, in this regard, spam call blocking software has a number of drawbacks, including identifying spam calls incorrectly and blocking useless calls. Sentiment analysis can help users choose applications that suit their needs and in this study intends to  analyze  reviews  on  the  sentiments  of  the  two  applications  namely  Truecaller:  Caller  Id  and  Getcontact  by analyzing effectiveness based on the application reviews Support Vector Machine classification algorithm which contains basic guidelines for maximizing hyperplane boundaries that separate the two datasets, are used in the classification process of this study. The results showed that the Truecaller application at 10-fold cross validation had  an  average  accuracy  of  88.20%  and  the  Getcontact  application  had  an  average  accuracy  of  87.90%. Meanwhile, the sentiment aspect of the Truecaller application has an average accuracy value of 60.20%, while the Getcontact application has an average accuracy of 63.30%.
Keywords: Spam calls, Sentiment analysis, Support vector machine

## 1. PENDAHULUAN
Kemajuan  dalam  bidang  teknologi  membuat semakin banyak informasi yang dicerna dan diterima masyarakat.  Dalam  kasus  ini,  fenomena  tersebut memiliki  efek  positif  dan  negatif  yang  tidak  dapat dihindari.  Salah  satu  dampak  positifnya  adalah kemudahan akses ke berbagai aplikasi atau sistem
yang  memudahkan  pekerjaan  manusia.  Namun,  ada efek negatifnya, terutama berkaitan dengan kejahatan siber yang akan merugikan penggunanya. Tidak bisa dipungkiri  bahwa  negara  peringkat  kedua  kejahatan siber di dunia adalah Indonesia, menunjukkan betapa seringnya  pencurian  data,  yang  menyebabkan penyalahgunaan data untuk mendapatkan keuntungan pribadi oleh karenanya industri sedang
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
memperhatikan  standar  keamanan  internasional. Pengguna  harus  berhati-hati  dengan  data  pribadi mereka  agar  orang  yang  tidak  bertanggung  jawab tidak dapat menyalahgunakannya [1] . Ada peningkatan  masalah  panggilan  spam  saat  ini  yang merupakan  salah  satu  contoh  penyalahgunaan  data pribadi.
Hasil  penelitian  menunjukkan  bahwa  Indonesia adalah  salah  satu  negara  dengan  jumlah  panggilan spam  tertinggi  di  dunia.  Data  ini  diambil  dari Truecaller Global  Spam Report 2021,  yang  dibuat oleh  perusahaan  penyedia  layanan  pemblokiran panggilan  spam  yang  menggunakan  nomor  telepon. Panggilan  telepon  yang  dibuat  tanpa  izin  penerima disebut panggilan spam. Panggilan ini dapat berasal dari  penipuan,  peringatan,  pemasaran,  atau  iklan. Rata-rata  orang  Indonesia  menerima  empat  belas panggilan  spam  setiap  hari.  Separuh  nomor  tidak berasal dari buku kontak. Selama proses pengumpulan  laporan, Truecaller mengenali  184,5 miliar panggilan dan 586 miliar pesan. Menurut  [2], 37.8 miliar panggilan dan 182 miliar email dianggap spam dan diblokir.
Panggilan spam dapat mengusik ketenangan dan produktivitas  pengguna  sehingga  pengguna  yang tidak  memahaminya  dapat  mengakibatkan  kerugian materi  karena  tidak  tahu  telepon  yang  berisi penipuan.  Oleh  karena  itu,  sangat  penting  untuk mengetahui  cara  mengatasi  panggilan  spam  ini. Seperti  yang  dilaporkan  oleh Google  Play  Store , aplikasi  pemblokiran  panggilan  spam  seperti Truecaller dan Getcontact memiliki banyak keunggulan  karena  kedua  aplikasi  ini  sangat membantu  dalam  mengidentifikasi  penelepon  dan melindungi panggilan spam. Ini termasuk memfilterkan  SMS,  pesan flash ,  dan  perekaman panggilan,  serta  memblokir  panggilan  yang  tidak diinginkan.  Selain  itu,  aplikasi  ini  memungkinkan pengguna  melaporkan  panggilan  dan  nomor  spam melalui daftar spam yang dikelola komunitas.
Namun  demikian,  beberapa  kelemahan  aplikasi Truecaller dan Getcontact termasuk kesalahan dalam mencegah panggilan spam dan memblokir panggilan yang  tidak  perlu  dihentikan.  Akibatnya,  evaluasi harus didasarkan pada perbandingan tingkat kepuasan  pengguna  pada  ulasan  pengguna  untuk kedua aplikasi Truecaller dan Getcontact di Google Play  Store .  Ini  dilakukan  sebagai  cara  bagi pengembang  aplikasi  untuk  meningkatkan  kualitas mereka untuk menawarkan solusi yang lebih efisien dan  akurat,  dan  juga  untuk  memberi  tahu  pengguna tentang  perbandingan  efektivitas  kedua  aplikasi dalam mengatasi panggilan spam.
Pengembang  dan  penyedia  layanan  dapat mengevaluasi  kinerja  aplikasi,  menemukan  area peningkatan, dan meningkatkan pengalaman pengguna  secara  keseluruhan  dengan  memahami pendapat  pengguna  tentang  aplikasi Truecaller dan Getcontact .  Analisis  sentimen  digunakan  untuk mendapatkan  informasi  dari  teks  informasi  tentang
sikap, opini, dan emosi. Tinjauan klasifikasi berbasis polaritas  adalah  fokus  utama  analisis  sentimen  [3]. Analisis  sentimen  bertujuan  untuk  menemukan  dan mengklasifikasikan  sentimen  seperti  positif  atau negatif dalam data teks. Selain itu, analisis sentimen dapat  membantu  pengguna  dalam  memilih  aplikasi yang sesuai dengan kebutuhan mereka dan penelitian ini  bermaksud  untuk  menganalisis  ulasan  sentimen untuk dua aplikasi Truecaller dan Getcontact , dengan melihat  seberapa  efektif  kedua  aplikasi  tersebut  di Google Play Store dalam memblokir spam.
Analisis sentimen berbasis aspek memungkinkan identifikasi sikap tertentu terhadap manfaat dan fitur dari  suatu  aplikasi.  Dalam  hal  ini,  metodologi berbasis  aspek  memungkinkan  pengguna  untuk menawarkan  berbagai  penilaian  terkait  elemen termasuk  keandalan  pengenalan  nomor,  kebenaran data, estetika antarmuka pengguna, dan kemampuan Truecaller dan Getcontact .  Oleh  karena  itu,  analisis sentimen  berbasis  aspek  dapat  memberikan  rincian lebih lanjut.
Penelitian  sebelumnya  dengan  judul  Analisis Sentimen  untuk  Aplikasi  Gojek,  penulis  tersebut menggunakan  pendekatan Support  Vector  Machine dan K-Nearest Neighbor penulis M. Nurul Muttaqin dan  Iqbal  Kharisudin  menghasilkan  nilai  akurasi sebesar  87,98%  dengan  presisi  sebesar  88,55%  dan recall sebesar 95,43% dengan menggunakan metode Support  Vector  Machine dan  nilai  akurasi  sebesar 82,14%, presisi 82,28% dan recall 95,48% dengan K- Nearest  Neighbor .  Untuk  mengkategorikan  analisis sentimen  pada  evaluasi  pengguna  aplikasi  Gojek  di Google Play Store , metode Support Vector Machine memiliki  performa  yang  lebih  baik  dibandingkan menggunakan metode K-Nearest Neighbors [4].
Penelitian  ini  dan  penelitian  sebelumnya memiliki perbedaan yaitu pada objek penelitian yang digunakan pada penelitian sebelumnya adalah ulasan pada aplikasi Gojek dengan perbandingan algoritma Support  Vector  Machine dan K-Nearest  Neighbors sementara  penelitian  ini  menggunakan  metode Support  Vector  Machine dengan  ulasan  yang digunakan adalah aplikasi Truecaller dan Getcontact . Selain  itu,  perbedaan  lainnya  adalah  terletak  pada hasil analisis sentimen pada penelitian ini membahas mengenai  aspek-aspek  yang  sering  muncul  pada ulasan  aplikasi Truecaller dan Getcontact yaitu terkait  dengan  aspek  manfaat  aplikasi,  fitur  aplikasi dan experience pengguna  pada  aplikasi  tersebut sementara  untuk  penelitian  sebelumnya  hanya membahas  mengenai  analisis  sentimen  positif  dan negatif pada aplikasi gojek pada pendekatan dengan menggunakan  metode Support  Vector  Machine dan K-Nearest Neighbors .
Atas  dasar  yang  telah  dijelaskan  sebelumnya maka, penelitian ini berfokus pada analisis sentimen berbasis  aspek  yang  didasarkan  pada  klasifikasi tingkat  kepuasan  pengguna  terhadap  aplikasi Truecaller  dan  Getcontact,  menggunakan  metode Support Vector Machine dengan data yang digunakan
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
adalah ulasan pengguna di Google Play Store sebagai sarana  kontribusi  terkait  dengan  memberikan gambaran  yang  lebih  lengkap  tentang  bagaimana pengguna merasakan dan menilai aplikasi Truecaller dan Getcontact sehingga  pihak  penyedia  layanan dapat  mengevaluasi  kinerja  aplikasi,  menemukan area  peningkatan,  dan  meningkatkan  pengalaman pengguna  secara  keseluruhan  dengan  memahami pendapat  pengguna  tentang  aplikasi Truecaller dan Getcontact .  Selain  itu,  hasil  dan  metodologi penelitian  ini  dapat  menjadi  acuan  untuk  penelitian serupa  di  masa  depan  yang  berfokus  pada  berbagai aspek aplikasi atau jenis ulasan yang berbeda.

## 2. METODE PENELITIAN

## 2.1 Pengumpulan Data
Mendapatkan  data  yang  diperlukan  untuk mendukung  penelitian  ini  merupakan  langkah  awal dalam  tahap  ini.  Data  dikumpulkan  dari  ulasan aplikasi Google Play Store untuk aplikasi Truecaller dan Getcontact .  Data  diperoleh  melalui  metode scraping dengan Google  Colab . Google  Colab memungkinkan pengguna untuk menjalankan aplikasi Python tanpa mengharuskan mereka melalui langkah  penginstalan  atau  penyiapan  apa  pun. Personalisasi dan pengaturan akan disimpan ke cloud [5]. dengan isian data termasuk username pengguna, skor atau rating ulasan aplikasi, tanggal, dan konten atau  ulasan  pengguna.  Sementara  itu,  metode scraping ini  sendiri  memiliki  pengertian  yaitu penggalian  informasi  dari  situs website .  Pada dasarnya  terdapat  dua  metode  umum  untuk melakukan ini yaitu sistem manual dengan menyalin dan  menempelkan  data  dari  situs website ;  yang lainnya otomatis dan melibatkan kode, aplikasi, atau dengan ekstensi browser [6].

## 2.2 Data Prepocessing
Data Prepocessing merupakan langkah mengubah  data  mentah  menjadi  format  yang  dapat dipahami  adalah  bagian  dari  teknik  penambangan data.  Masalah  seperti  data noisy ,  redundansi,  dan kehilangan nilai dapat diatasi dengan pra-pemrosesan data [7]. Cleaning, case folding, tokenizing, stopword, stemming ,  dan  formalisasi  adalah  beberapa  bagian dari tahap ini menurut [8].
1. Cleaning :  Proses  membersihkan  data  dari elemen  yang  tidak  penting,  seperti  kesalahan tata  bahasa,  konjungsi,  tanda baca,  dan  konten asing.
2. Case  folding :  metode  yang  mengubah  huruf besar  pada  kata  atau  kalimat  menjadi  huruf kecil.
3. Tokenizing :  proses  membagi  atau  memecah frase kata-kata yang awalnya terbentuk menjadi kata-kata individual.
4. Stopword : Seperti kata sambung dan kata ganti orang,  istilah-istilah  yang  tidak  memiliki  data yang diperlukan akan dihapus selama proses ini.
5. Stemming : proses dengan setiap kata bebas dari imbuhan.
6. Formalisasi:  cara  mengubah  data  mentah menjadi  struktur  dan  format  yang  diperlukan untuk pemodelan atau analisis data formalisasi disini menggunakan slangword .

## 2.3 Pembobotan Kata
TF-IDF  adalah  teknik  untuk  mengkonversi input  teks  menjadi  data  numerik,  memungkinkan setiap  kata  atau  fitur  diberi  nilai  yang  berbeda  [9]. Untuk meningkatkan kinerja model, pembobotan kata dengan  TF-IDF  adalah  langkah  pertama  dalam merepresentasikan data secara keseluruhan.
Term frequency menurut [10] ialah Istilah yang sering  digunakan  dalam  dokumen  diberi  nilai. Dengan persamaan term frequency sebagai berikut. ( ) ( ) , , k j k j TF t d
f t d = ………………………… (1)
Penggunaan  IDF,  term  dapat  tersebar  secara acak  dalam  sekumpulan  dokumen.  IDF  yang memiliki nilai pada suatu term menjadi lebih rendah apabila  term  tersebut  sering  muncul  di  banyak dokumen. IDF memiliki persamaan sebagai berikut.
( ) ( ) k D IDF t log df t = …………...…………..(2)
Oleh  karena  itu,  nilai  TF-IDF  dapat  dihitung sebagai berikut.
( ) ( ) , , ( )
* k j k j k
TF IDF t d TF t d IDF t − = .... (3) 2.4 Cosine Similarity Cosine  similarity adalah  metode  untuk mengukur  tingkat  kesamaan (similarity) antara  dua objek. Teknik ini biasanya dilandaskan pada ukuran kesetaraan  ruang  vector  [11].  Bayangkan  penulis memiliki  ulasan  pengguna  untuk  Truecaller  dan Getcontact dan ingin membandingkan seberapa mirip dokumen pada setiap ulasan.

## 2.5 Hasil Analisis Sentimen
Pada saat ini, hasil analisis sentimen terdiri dari jumlah sentimen positif dan negatif yang ditemukan dalam  ulasan  Truecaller  dan  Getcontact,  bersama dengan  detail  tentang  fitur  dengan  sentimen  positif, fitur  dengan  sentimen  negatif,  pengalaman  dengan sentimen  positif,  pengalaman  dengan  sentiment negatif,  manfaat  dengan  sentimen  negatif  dan manfaat dengan sentiment positif.
Pada  analisis  sentimen  ini  menggunakan metode Support  Vector  Machine ,  dimana  support vector  machine  ini  sendiri  merupakan  Aturan algoritma ini didasarkan pada memaksimalkan batas hyperplane yang  membagi  dua  dataset  [12]. Keunggulan dari algoritma Support Vector Machine ini adalah memberikan solusi lokal terbaik, memiliki tingkat  konversi  yang  rendah,  dan  memiliki keunggulan  dalam  menangani  masalah overfitting data dan juga memiliki kemampuan yang hebat untuk menggeneralisasi  dalam  kondisi  data  yang  sangat minim  [13].  Dengan  karakteristik  algoritma  sebagai berikut.
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
1. Metode Support  Vector  Machine adalah pengklasifikasi linier.
2. Data pada ruang masukan diubah menjadi ruang berdimensi  lebih  besar  untuk pengenalan  pola; dan
3. Implementasi  strategi  untuk  meminimalkan risiko struktural (SRM).
4. Menurut  konsep  operasi  dasar, Support  Vector Machine hanya dapat mengelola klasifikasi dua kelas [14].

## 2.6 Evaluasi
Model klasifikasi biasanya dievaluasi pada data uji  yang  memiliki  beberapa  ukuran  yang  tidak  ada dalam data pelatihan. Deretan data dipetakan dengan output dari kelas atau prediksi target dari data tersebut dalam  model  klasifikasi  yang  telah  dikembangkan [15].  Pada  langkah  evaluasi,  verifikasi  dilakukan dengan  mengukur  apakah  hasil  pengujian  sesuai dengan  harapan  dan  sesuai  dengan  standar  yang ditetapkan. Dengan menggunakan Confusion Matrix dan K-Fold  Cross-Validation, evaluasi  model  ini dilakukan.

## 2.6.1 Confusion Matrix
Confusion  Matrix menggambarkan  tabel  yang mencakup  persentase  data  tes  yang  akurat  dan persentase  hasil  positif  dan  negatif  [16].  Berikut  ini merupakan tabel dari Confusion Matrix adalah:
Gambar 1 Gambar Confusion Matrix
Sumber: [16] Dibawah ini merupakan keterangan berdasarkan pada gambar 2.1 sebagai berikut.
True  Positive (TP):  dokumen  kelas  1  yang  benar sebagai klasifikasi kelas 1.
True  Negative (TN):  dokumen  kelas  0  yang  benar sebagai klasifikasi kelas 0.
False  Positive (FP):  dokumen  kelas  0  yang  salah sebagai klasifikasi kelas 1.
False  Negative (FN):  klasifikasi  kelas  0  untuk dokumen yang tidak memenuhi standar kelas 1.
Confusion  Matrix memiliki  rumusan  untuk menghitung precision, recall, F1-score dan accuracy yaitu:
1. Precision merupakan  tingkat  akurasi  antara penemuan sistem dan data pengguna.
TP
Precision TP FP = + ………………... (4 )
2. Recall merupakan    kemampuan  suatu  sistem untuk berhasil mengambil data diukur[17].
TP
Recall TP FN = + ..……….............. (5)
3. F1-score merupakan  rata-rata precision dan recall yang disatukan.
* 1 2* precision recall F score
precision recall − = + ......…… (6) 4. Accuracy merupakan total berapa kali data yang diklasifikasikan dengan akurat [18].
TP TN Accuracy Total + = …………….. (7)
2.6.2 K-fold Cross Validation K-Fold Cross Validation adalah teknik validasi silang  yang  membagi  kumpulan  data  menjadi  k bagian berukuran identik.  [19]. Pada metode K-Fold Cross Validation , dataset dibagi secara acak menjadi beberapa  partisi.  Data  partisi  kemudian  diproses untuk  beberapa  percobaan  K,  dengan  data  partisi  K digunakan  sebagai  data  pengujian  dan  sisa  partisi digunakan  sebagai  data  pelatihan  untuk  setiap percobaan [20].

## 2.7 Visualisasi Data
Bergantung  pada  kebutuhan  bisnis  atau  orang yang akan menggunakan data, bagan dapat digunakan untuk  memvisualisasikan  data.  Akibatnya,  teknik visualisasi data termasuk wordcloud , peta interaktif, dan gaya grafik mini efektif untuk menampilkan hasil analitik [21]. Wordcloud adalah jenis visualisasi data di  mana  ukuran  setiap  kata  mewakili  frekuensinya dan digunakan untuk menggambarkan data teks [22]. Dalam  penelitian  ini worldcloud digunakan  sebagai bahan visualisasi data.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Pengumpulan data ini menghasilkan 3148 baris data  ulasan  pada  aplikasi  Truecaller  dan  aplikasi Getcontact  3148  baris  data  ulasan  pada  dari  bulan September  2022  hingga  Juli  2023,  dengan  1574 ulasan  negatif  dan  1574  ulasan  positif.  Data  awal ulasan dalam bentuk tabel yaitu Tabel 1.
Tabel 1 Tabel Data Awal Ulasan Username Score At Content Nanang Wijana 5 16/07/2023 10:36:41 Good  job,  sangat membantu sekali. Terimakasih
Setelah  data  didapatkan  seperti  pada  tabel  2, kemudian  data  diberi  label  dan  aspek.  Berikut  ini merupakan  data  yang  sudah  diberi  label  dan  aspek yaitu:
Tabel 2 Tabel Pelabelan Data Content Label Aspek Sangat Membantu 1 Manfaat Bisa  mengetahui  nama penelpon,dan  yg  telpon penjahat 1 Fitur Bagus  harus  digunakan banyak orang 1 Experience
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140

## 3.2 Data Prepocessing
1. Cleaning
Proses  membersihkan  data  dari  elemen  yang tidak  penting,  seperti  kesalahan  tata  bahasa, konjungsi,  tanda  baca,  dan  konten  asing,  dikenal sebagai pembersihan.
Tabel 3 Data Cleaning Sebelum Sesudah Bagus  harus  digunakan banyak orang Bagus harus digunakan banyak orang
2. Case Folding
Salah satu metode yang disebut " case folding " adalah  mengubah  semua  huruf  yang  ada  dalam dokumen atau kalimat menjadi huruf yang lebih kecil dengan  tujuan  meningkatkan  kemampuan  sistem untuk memproses kata-kata.
Tabel 4 Tabel Case Folding Sebelum Sesudah Bagus  harus  digunakan banyak orang bagus harus digunakan banyak orang

## 3. Tokenizing
Proses  membagi  sejumlah  karakter  ke  dalam kelompok  berdasarkan  spasi.  Ini  juga  dapat mencakup menghilangkan beberapa karakter, seperti tanda baca.
Tabel 5 Tabel Tokenizing Sebelum Sesudah bagus harus digunakan banyak orang 'bagus', 'harus', 'digunakan', 'banyak', 'orang'
4. Stopword
Dalam  proses  ini,  kata-kata  yang  tidak penting, seperti kata ganti orang, dan kata  sambung, dihilangkan.
Tabel 6 Tabel Stopword Sebelum Sesudah 'bagus', 'harus', 'digunakan',  'banyak', 'orang'
'bagus', 'orang'

## 5. Stemming
Proses  penghilangan  kata  imbuhan  di  awal atau  di  akhir  kalimat  sehingga  menjadi  kata  dasar yang terdaftar disebut stemming.
Tabel 7 Tabel Stemming Sebelum Sesudah 'bagus', 'orang' 'bagus', 'orang’
6. Formalisasi Metode
yang disebut "formalisasi" menunjukkan  cara  mengubah  data  mentah  menjadi struktur dan format yang diperlukan untuk pemodelan atau analisis data. Slangword digunakan dalam tahap ini.
Tabel 8 Tabel Formalisasi Sebelum Sesudah 'bagus', 'orang' 'bagus', 'orang'

## 3.3 Pembobotan Kata
Pada  tahap  ini,  TF-IDF  digunakan  untuk ekstraksi  fitur.  Dalam  proses  ini,  metode  TF-IDF dapat  menghasilkan  vektor  yang  memiliki  banyak term,  sehingga  setiap  kata  yang  dikenali  dihitung sebagai  satu  fitur.  Nilai  parameter  TF-IDF  untuk aplikasi Truecaller yang diterima memenuhi standar modul.  Bentuk  TF-IDF  yang  ditemukan  adalah (3129,  2022),  yang  berarti  ada  3129  baris  dokumen dan 2022 kata yang berbeda.
Sementara itu, untuk Getcontact memiliki nilai parameter  TF-IDF  sesuai  dengan  standar  modul. Bentuk TF-IDF yang diperoleh adalah (3129, 2101) yang artinya ada 3129 baris dokumen dan 2101 kata yang unik.

## 3.4 Cosine Similarity
Untuk  Truecaller  dokumen  yang  digunakan adalah sebagai berikut.
1. Dokumen 1: kira lacak posisi pengguna nomor tidak kenal padahal tidak,
2. Dokumen 2: kualitas truecaller
3. Dokumen  3:  lacak  nomor  bali  kalimantan muncul akurat.
Dokumen-dokumen tersebut menghasilkan nilai cosine similarity sebagai berikut.
Tabel 9 Tabel Nilai Cosine Similarity Truecaller
Cosine similarity d1-d2 0.0 d1-d3 0.13 d2-d3 0.0
Sementara  untuk  Getcontact  dokumen  yang digunakan adalah sebagai berikut.
1. Dokumen  1:  aplikasi  bagus  lihat  teman pakai nama saja.
2. Dokumen 2: oke bagus guna.
3. Dokumen 3: tidak lihat simpan
Dokumen-dokumen tersebut menghasilkan nilai cosine similarity sebagai berikut.
Tabel 10 Tabel Nilai Cosine Similarity Getcontact
Cosine similarity d1-d2 0.14 d1-d3 0.14 d2-d3 0.0
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140

## 3.5 Hasil Analisis Sentimen
Hasil  analisis  sentimen  menunjukkan  bahwa dua  aplikasi  Truecaller  dan  Getcontact  memiliki ulasan  pengguna  negatif  dan  positif  setelah  tahapan data prepocessing dengan nilai sentimen perbandingan  aspek  fitur,  manfaat,  dan experience adalah 3130. Dengan jumlah pembagian setiap aspek aplikasi Truecaller dan Getcontact sebagai berikut.
Gambar 2 Hasil Klasifikasi Aspek Truecaller
Berdasarkan  Gambar  2,  Hasil  Klasifikasi  Data Aspek  Truecaller  dengan  positif experience adalah 578  data  dengan  jumlah  aspek  negatif  experience adalah 502 data. Untuk aspek manfaat positif jumlah data  yang  diperoleh  adalah  534  dan  aspek  manfaat negative 503. Selanjutnya, aspek fitur positif jumlah data yang diperoleh adalah 453 dan aspek fitur negatif adalah 560.
Gambar 3 Hasil Klasifikasi Aspek Getcontact
Berdasarkan  Gambar  3,  Hasil  Klasifikasi  Data Aspek Aplikasi Getcontact dengan positif experience adalah  483  data  dengan  jumlah  aspek  negatif experience  adalah  500  data.  Untuk  aspek  manfaat positif  jumlah  data  yang  diperoleh  adalah  562  dan aspek manfaat negative 529. Selanjutnya, aspek fitur positif  jumlah  data  yang  diperoleh  adalah  516  dan aspek fitur negatif adalah 536.

## 3.6 Evaluasi
Untuk  melakukan  ini  evaluasi  data  dibagi menjadi dua bagian: 80% training data dan 20% test data. Hasilnya adalah 2504 training data and 626 test data untuk Truecaller dan 2504 training data and 626
test  data  untuk  Getcontact.  model  dievaluasi menggunakan Confusion  Matrix and K-fold  Cross Validation dengan  hasil  nilai  evaluasi  label  positif dan negatif dengan 10- fold adalah sebagai berikut.
Tabel 11 Tabel Nilai Akurasi Fold ke- Akurasi Truecaller:Id Penelepon Getcontact 1 89,00% 88,00% 2 92,00% 87,00% 3 90,00% 87,00% 4 89,00% 89,00% 5 88,00% 88,00% 6 91,00% 87,00% 7 85,00% 89,00% 8 82,00% 88,00% 9 89,00% 87,00% 10 87,00% 89,00%
Berdasarkan  pada  tabel  11,  aplikasi  Truecaller memiliki  nilai  akurasi  rata-rata  88,20%,  sedangkan aplikasi  Getcontact  memiliki  nilai  akurasi  87,90%. Oleh  karenanya,  nilai  akurasi  aplikasi  Truecaller lebih  tinggi  daripada  nilai  aplikasi  Getcontact. Sementara  itu  nilai  akurasi  untuk  analisis  sentimen aspek adalah sebagai berikut.
Tabel 12 Tabel Nilai Akurasi Berbasis Aspek
Fold ke- Akurasi Aspek Truecaller Getcontact 1 71,00% 66,00% 2 68,00% 63,00% 3 70,00% 68,00% 4 60,00% 56,00% 5 57,00% 60,00% 6 53,00% 63,00% 7 59,00% 64,00% 8 57,00% 67,00% 9 58,00% 69,00% 10 49,00% 63,00%
Berdasarkan pada tabel 12, aplikasi Truecaller memiliki  nilai  akurasi  aspek  rata-rata  60,20%, sedangkan aplikasi Getcontact memiliki nilai akurasi aspek rata-rata 63,90%. Oleh karenanya, nilai akurasi aplikasi Getcontact lebih tinggi daripada nilai aplikasi Truecaller. Selain akurasi didapat juga nilai rata-rata dari precision,  recall dan f1-score pada  aplikasi Truecaller dengan hasil sebagai berikut.
Tabel 13 Tabel Rata-rata Metrik Evaluasi Aplikasi Truecaller Berbasis Aspek Label Precision Recall F1- Score Fitur 0,58 0.66 0.61 Manfaat 0.65 0.55 0.60 Experience 0.59 0.60 0.59
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
Berdasarkan pada tabel 13, memiliki penjelasan dengan  nilai precision aspek  fitur  yaitu  0,58,  nilai recall aspek fitur yaitu 0,66, dan nilai f1-score aspek fitur yaitu  0,61.  Sementara  itu  selain  fitur,  didapat juga  nilai precision aspek  manfaat  yaitu  0,65,  nilai recall aspek  manfaat  yaitu  0,55,  dan  nilai f1-score aspek  manfaat yaitu  0,60  dan  untuk  nilai precision aspek  experience  yaitu  0,59,  nilai  recall  aspek experience yaitu  0,60,  dan  nilai f1-score aspek experience yaitu 0,59. Selain Truecaller, berikut merupakan nilai rata- rata precision,  recall dan f1-score pada  aplikasi Getcontact dengan hasil sebagai berikut.
Tabel 14 Tabel Rata-rata Metrik Evaluasi Aplikasi Getcontact Berbasis Aspek Label Precision Recall F1- Score Fitur 0.62 0.63 0.63 Manfaat 0.73 0.65 0.68 Experience 0.62 0.65 0.64
Berdasarkan pada tabel 14 memiliki penjelasan dengan  nilai  precision  aspek  fitur  yaitu  0,62,  nilai recall aspek fitur yaitu 0,63, dan nilai f1-score aspek fitur yaitu  0,63.  sementara  itu  selain  fitur,  didapat juga  nilai precision aspek  manfaat  yaitu  0,73,  nilai recall aspek  manfaat  yaitu  0,65,  dan  nilai f1-score aspek  manfaat yaitu  0,68  dan  untuk  nilai precision aspek experience yaitu  0,62,  nilai recall aspek experience adalah  0,65,  dan  nilai f1-score aspek experience yaitu 0,64.

## 3.7 Visualisasi Data
Worldcloud
digunakan
untuk
memvisualisasikan  data.  Visualisasi  data wordcloud menghasilkan  kata-kata  yang  biasa  muncul  pada dokumen yang telah dipelajari sebelumnya. Menggunakan  berbagai  ukuran font ,  data  penelitian digunakan untuk menggambarkan frekuensi perulangan istilah.
3.7.1 Visualisasi  Data  Aspek  Fitur  Truecaller dan Getcontact
1. Aplikasi Truecaller
Berikut ini merupakan visualisasi data aspek fitur aplikasi truecaller yaitu:
Gambar 4 Wordcloud Aspek Fitur Positif Truecaller
Berdasarkan  Gambar  4,  Pada  aspek  fitur  positif Truecaller  kata  yang  sering  muncul  adalah  kata aplikasi,  bagus,  nomor,  bantu,  telpon  menjelaskan
bahwa  aplikasi  fitur  dalam  aplikasi  banyak  bantu dalam  hal  identifikasi  panggilan  telepon.  Dengan wordcloud aspek fitur negatif sebagai berikut.
Gambar 5 Wordcloud Aspek Fitur Negatif Truecaller
Berdasarkan  Gambar  5,  Pada  aspek  fitur  negatif Truecaller kata yang sering muncul adalah kata tidak, aplikasi,  bagus,  nomor,  lokasi,  telepon  menjelaskan bahwa  aplikasi  fitur  kadang  tidak  akurat  dalam  hal lacak lokasi dan telepon.

## 2. Aplikasi Getcontact
Selain  truecaller  berikut  ini  merupakan  aspek Getcontact fitur yaitu:
Gambar 6 Wordcloud Aspek Fitur Positif Getcontact
Berdasarkan  Gambar  6,  Pada  aspek  fitur  positif Getcontact  kata  yang  sering  muncul  adalah  kata bantu,  nomor,  bagus,  tipu  menjelaskan  bahwa aplikasi  fitur  aplikasi  bantu  dalam  identifikasi panggilan  penipu.  Dengan wordcloud aspek  fitur negatif sebagai berikut.
Gambar 7 Wordcloud Aspek Fitur Negatif Getcontact
Berdasarkan Gambar 7, Pada aspek fitur negatif Getcontact kata yang sering muncul adalah kata tidak, verifikasi,  login,  nomor  menjelaskan  bahwa  fitur aplikasi sering mengalami sulit login dan verifikasi.
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
3.7.2 Visualisasi Data Aspek Manfaat Truecaller dan Getcontact
1. Aplikasi Truecaller Berikut  ini  merupakan  visualisasi  data aspek manfaat aplikasi truecaller yaitu:
Gambar 8 Wordcloud Aspek Manfaat   Positif Truecaller
Berdasarkan  Gambar  8,  Pada  aspek  manfaat positif  Truecaller  kata  yang  sering  muncul  adalah kata  aplikasi,  mantap,  bantu,  guna  menjelaskan bahwa  aplikasi  manfaat  aplikasi  dalam  bantu  dalam blokir  panggilan  spam.  Dengan wordcloud aspek manfaat negatif sebagai berikut.
Gambar 9 Wordcloud Aspek Manfaat Negatif Truecaller
Berdasarkan Gambar 3.8, Pada aspek manfaat negatif  Truecaller  kata  yang  sering  muncul  adalah kata tidak, aplikasi, bagus, nomor, lokasi menjelaskan bahwa  aplikasi  tidak  berguna  karena  salah  lacak lokasi dan nomor.

## 2. Aplikasi Getcontact
Selain  truecaller  berikut  ini  merupakan  aspek getcontact manfaat yaitu:
Gambar 10 Wordcloud Aspek Manfaat Positif Getcontact
Berdasarkan  Gambar  10,  Pada  aspek  manfaat positif  Getcontact  kata  yang  sering  muncul  adalah
kata aplikasi,  bagus, bantu,  tipu menjelaskan bahwa aplikasi  bantu  dalam  identifikasi  nomor  penipu. Dengan wordcloud aspek  manfaat  negatif  sebagai berikut
Gambar 11 Wordcloud Aspek Manfaat Negatif Getcontact
Berdasarkan  Gambar  11,  Pada  aspek  manfaat negatif  Getcontact  kata  yang  sering  muncul  adalah kata tidak, aplikasi, bagus, jelek, nomor menjelaskan bahwa aplikasi tidak begitu bermanfaat.
3.7.3 Visualisasi Data Aspek Experience
Truecaller dan Getcontact
1. Aplikasi Truecaller
Berikut  ini  merupakan  visualisasi  data aspek manfaat aplikasi truecaller yaitu
Gambar 12 Wordcloud Aspek Experience Positif Truecaller
Berdasarkan  Gambar  12,  Pada  aspek experience positif  Truecaller  kata  yang  sering  muncul  adalah kata  aplikasi,  bagus,  mantap,  bantu,  menjelaskan bahwa  aplikasi  fitur  dalam  aplikasi  memiliki pengalaman  yang  baik  bagi  pengguna.  Dengan wordcloud aspek experience negatif sebagai berikut.
Gambar 13 Wordcloud Aspek Experience Negatif Truecaller
Berdasarkan  Gambar  13,  Pada  aspek experience negatif  Truecaller  kata  yang  sering  muncul  adalah kata tidak, aplikasi nomor, masuk, sudah,
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
menjelaskan bahwa pengguna merasakan pengalaman bahwa dengan premium baru terasa baik penggunaan aplikasinya.

## 2. Aplikasi Getcontact
Selain  truecaller  berikut  ini  merupakan  aspek experience aplikasi Getcontact yaitu:
Gambar 14 Wordcloud Aspek Experience Positif Getcontact
Berdasarkan  Gambar  14,  Pada  aspek experience positif  Getcontact  kata  yang  sering  muncul  adalah kata aplikasi, bagus, bantu, tipu, menjelaskan bahwa aplikasi  fitur  dalam  aplikasi  memiliki  pengalaman yang  baik  bagi  pengguna  terhadap  nomor  penipu. Dengan wordcloud aspek experience negatif sebagai berikut.
Gambar 15 Wordcloud Aspek Experience Negatif Getcontact
Berdasarkan  Gambar  15,  Pada  aspek experience negatif  Truecaller  kata  yang  sering  muncul  adalah kata  tidak,  aplikasi  unduh,  sudah,  verifikasi menjelaskan bahwa pengguna merasakan pengalaman bahwa aplikasi terkadang sulit diunduh.

## 4. KESIMPULAN
Penelitian  ini  membagi  ulasan  pada  beberapa aspek  yaitu  fitur, experience ,  dan  manfaat.  Cluster sentimen pada aplikasi Truecaller banyak pembahasan  mengenai  aspek experience sementara aplikasi  Getcontact  banyak  pembahasan  mengenai aspek  manfaat.  Simpulan  dari  penelitian  ini  adalah sebagai berikut.
1. Aplikasi  Truecaller  nilai precision aspek  fitur yaitu 0,58, nilai recall aspek fitur yaitu 0,66, dan nilai f1-score aspek fitur yaitu 0,61. sementara itu selain  fitur,  didapat  juga  nilai precision aspek manfaat  yaitu  0,65, recall aspek  manfaat  yaitu 0,55, dan nilai f1-score aspek manfaat yaitu 0,60 dan untuk  nilai precision aspek experience yaitu
0,59, nilai recall aspek experience yaitu 0,60, dan nilai f1-score aspek experience yaitu  0,59. Dengan akurasi rata-rata sentimen adalah 88,20% dan akurasi rata-rata aspek adalah 60,20%.
2. Aplikasi  Getcontact  nilai precision aspek  fitur yaitu 0,62, nilai recall aspek fitur yaitu 0,63, dan nilai f1-score aspek fitur yaitu 0,63. sementara itu selain  fitur,  didapat  juga  nilai precision aspek manfaat  yaitu  0,73,  nilai recall aspek  manfaat yaitu 0,65, dan nilai f1-score aspek manfaat yaitu 0,68 dan untuk  nilai precision aspek experience yaitu  0,62,  nilai recall aspek experience adalah 0,65,  dan  nilai f1-score aspek experience yaitu 0,64.  Dengan  akurasi  rata-rata  sentimen  adalah 88,20%  dan  akurasi  rata-rata  aspek  adalah 60,20%.

## DAFTAR PUSTAKA
[1] Kominfo, “Indonesia Peringkat ke-2 Dunia Kasus Kejahatan Siber,” 2015. https://www.kominfo.go.id/index.php/content/det ail/4698/Indonesia-Peringkat-ke-2-Dunia-Kasus- Kejahatan-Siber/0/sorotan_media [2] P.  Rosmalia,  “Dibanjiri  Panggilan  Spam, Indonesia Rentan Penipuan,” 2022. https://mediaindonesia.com/weekend/477528/dib anjiri-panggilan-spam-indonesia-rentan-penipuan
[3] D. Duei Putri, G. F. Nama, and W. E. Sulistiono, “Analisis  Sentimen  Kinerja  Dewan  Perwakilan
Rakyat (DPR) Pada Twitter Menggunakan Metode
Naive  Bayes  Classifier,” J.  Inform.  dan  Tek. Elektro  Terap. ,  vol.  10,  no.  1,  pp.  34–40,  2022, doi: 10.23960/jitet.v10i1.2262.
[4] M.  N.  Muttaqin  and  I.  Kharisudin,  “Analisis Sentimen Pada Ulasan Aplikasi Gojek
Menggunakan  Metode  Support  Vector  Machine dan K Nearest Neighbor,” UNNES  J.  Math. , vol. 10,  no.  2,  pp.  22–27,  2021,  [Online].  Available: http://journal.unnes.ac.id/sju/index.php/ujm
[5] A. Sitio, A. Sindar, M. Marbun, D. Tiara, and A. Aswin,  “Pengenalan  Data  Scientist  Pada  Peserta PKBM AL HABIB Melalui Belajar Dasar Coding Python,” J.  Pengabdi.  Pada Masy. ,  vol.  7, no. 1, pp. 194–200, 2022, doi: 10.30653/002.202271.44.
[6] A.  Nayoan,  “Apa  itu  Web  Scraping?  Pengertian, Teknik, dan
Manfaatnya,”
2020. https://www.niagahoster.co.id/blog/web-scraping/
[7] B.  Gunawan,  H.  S.  Pratiwi,  and  E.  E.  Pratama, “Sistem  Analisis  Sentimen  pada  Ulasan  Produk Menggunakan  Metode  Naive  Bayes,” J.  Edukasi dan  Penelit.  Inform. ,  vol.  4,  no.  2,  p.  113,  2018, doi: 10.26418/jp.v4i2.27526.
[8] R.  Nanda,  E.  Haerani,  S.  K.  Gusti,  and  S. Ramadhani,  “Klasifikasi  Berita  Menggunakan Metode  Support  Vector  Machine,” J.  Nas. Komputasi dan Teknol. Inf. , vol. 5, no. 2, pp. 269– 278, 2022, doi: 10.32672/jnkti.v5i2.4193.
[9] J. A. Septian, T. M. Fachrudin, and A. Nugroho, “Analisis  Sentimen  Pengguna  Twitter  Terhadap Polemik Persepakbolaan Indonesia Menggunakan Pembobotan TF-IDF dan K-Nearest Neighbor,” J. Intell.  Syst.  Comput. ,  vol.  1,  no.  1,  pp.  43–49, 2019, doi: 10.52985/insyst.v1i1.36.
[10] C.  H.  Yutika,  A.  Adiwijaya,  and  S.  Al  Faraby, “Analisis Sentimen Berbasis Aspek pada Review
Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) Vol.20, No.2, September 2023,hlm.131-140
Female  Daily  Men15akan  TF-IDF  dan  Naïve Bayes,” J. Media Inform. Budidarma , vol. 5, no. 2, p. 422, 2021, doi: 10.30865/mib.v5i2.2845.
[11] H. Herlambang, J. Suwita, and B. Tiara, “Analisa Dan  Perancangan  Sistem  Pendeteksi  Plagiarisme
Skripsi Pada Stmik Insan
Pembangunan Menggunakan  Metode  Cosine  Similarity,” Insa. Pembang.  Sist.  Inf.  dan  Komput. ,  vol.  9,  no.  1,
2021, doi: 10.58217/ipsikom.v9i1.188.
[12] M. R. A. Nasution and M. Hayaty, “Perbandingan Akurasi  dan  Waktu  Proses  Algoritma  K-NN  dan SVM  dalam  Analisis  Sentimen  Twitter,” J. Inform. ,  vol.  6,  no.  2,  pp.  226–235,  2019,  doi: 10.31311/ji.v6i2.5129.
[13] V.  K.  S.  Que,  A.  Iriani,  and  H.  D.  Purnomo, “Analisis Sentimen Transportasi Online
Menggunakan  Support  Vector  Machine  Berbasis Particle  Swarm  Optimization,” J.  Nas.  Tek. Elektro dan Teknol. Inf. , vol. 9, no. 2, pp. 162–170, 2020, doi: 10.22146/jnteti.v9i2.102.
[14] Suhardjono,  G.  Wijaya,  and  A.  Hamid, “PREDIKSI
WAKTU KELULUSAN MAHASISWA MENGGUNAKAN SVM BERBASIS PSO,” Bianglala  Inform. ,  vol. 7, no. 2, pp. 97–101, 2019.
[15] D.  T.  Lukmana,  S.  Subanti,  and  Y.  Susanti, “Analisis Sentimen Terhadap Calon Presiden 2019 Dengan  Support  Vector  Machine  Di  Twitter,” Semin.  Nas.  Penelit.  Pendidik.  Mat.  2019  UMT , no. 2002, pp. 154–160, 2019.
[16] D. Normawati and S. A. Prayogi, “Implementasi Naïve  Bayes  Classifier  Dan  Confusion  Matrix Pada  Analisis  Sentimen  Berbasis  Teks  Pada Twitter,” J-SAKTI  (Jurnal  Sains  Komput.  dan Inform. , vol. 5, no. 2, pp. 697–711, 2021.
[17] R. Chairulloh, A. Bijaksana, and B. A. Wahyudi, “Analisis  Name  Matching  Untuk  Nama  Arab Menggunakan  Metode  N-gram  Dan  Jaccard Similarity,” E-Proceeding  Eng. ,  vol.  5,  no.  3,  p.
7450, 2018.
[18] I.  W.  Saputro  and  B.  W.  Sari,  “Uji  Performa Algoritma Naïve Bayes untuk Prediksi Masa Studi Mahasiswa,” Creat. Inf. Technol. J. , vol. 6, no. 1, p. 1, 2020, doi: 10.24076/citec.2019v6i1.178.
[19] F.  Tempola,  M.  Muhammad,  and  A.  Khairan, “Perbandingan Klasifikasi Antara KNN dan Naive Bayes  pada  Penentuan  Status  Gunung  Berapi dengan  K-Fold  Cross  Validation,” J.  Teknol.  Inf. dan Ilmu Komput. , vol. 5, no. 5, p. 577, 2018, doi: 10.25126/jtiik.201855983.
[20] R. R. R. Arisandi, B. Warsito, and A. R. Hakim, “Aplikasi  Naïve  Bayes  Classifier  (Nbc)  Pada Klasifikasi  Status  Gizi  Balita  Stunting  Dengan
Pengujian K-Fold Cross Validation,” J. Gaussian , vol.  11,  no.  1,  pp.  130–139,  2022,  doi: 10.14710/j.gauss.v11i1.33991.
[21] T.  Annisa,  “Mengenal  peran  sentiment  analysis beserta
cara kerjanya,” 2022. https://www.ekrut.com/media/sentiment-analysis- adalah
[22] Warnia  Nengsih,  M.  Mahrus  Zein,  and  Nazifa Hayati,  “Coarse-Grained  Sentiment  Analysis
Berbasis  Natural  Language  Processing  –  Ulasan Hotel,” J. Nas. Tek. Elektro dan Teknol. Inf. , vol.
10, no. 1, pp. 41–48, 2021, doi: 10.22146/jnteti.v10i1.548.