Vol. 5 No. 1 Januari 2024
Analisis Sentimen Ulasan Pengguna Tiktok  pada Google Play Store Berbasis TF-IDF dan Support Vector Machine
1 Sukirman, 2 Sajiah, 3 Nursuci Putri Husain, 4 Anastasya Febriana Syam, 5 Ragil Mustikosari
1,2,3,4,5 Program Studi Teknik Informatika, Fakultas Teknik, Universitas Islam Makassar
Jl. Perintis Kemerdekaan Km.9 No. 29 Makassar, Indonesia 90245
Email: sukirman.dty@uim-makassar.ac.id , sajiah.dty@uim-makassar.ac.id , nursuciputrihusain.dty@uim-makassar.ac.id , Anastasya08Syam@gmail.com , raaagilms@gmail.com

## Abstrak
Perkembangan pesat teknologi informasi dan komunikasi, terutama dalam platform media sosial, telah menciptakan lingkungan di mana pengguna secara aktif berbagi pengalaman dan pendapat mereka  terkait  berbagai  layanan  dan  aplikasi.  Salah  satu platform yang  telah  mendapatkan popularitas  signifikan  adalah  TikTok,  sebuah  aplikasi  berbagi  video  yang  telah  menjadi fenomena global. Dengan meningkatnya jumlah pengguna TikTok, ulasan pengguna di platform distribusi seperti Google Play Store menjadi sumber informasi yang penting. Analisis sentimen dari  ulasan  tersebut  dapat  memberikan  wawasan  mendalam  tentang  bagaimana  pengguna merespons  aplikasi,  sekaligus  memberikan  umpan  balik  yang  berharga  bagi  pengembang.. Penelitian  bertujuan  untuk  melakukan  analisis  sentimen  dari  ulasan  para  pengguna  aplikasi TikTok  pada Google  Play  Store dengan  bantuan  metode  pembobotan Term  Frequency  — Inverse Document Frequency (TF-IDF) dan algoritma Support Vector Machine (SVM) sebagai metode pengklasifikasian  untuk mendapatkan  hasil  terbaik . Terdapat  tiga  tahapan  utama,  tahap awal  terdiri  atas  pengumpulan  data  dan pre-processing data,  kemudian  tahap  pencarian  pola terdiri  atas  pembobotan  TF-IDF  dan  klasifikasi  SVM,  kemudian  tahap  terakhir  terdiri  atas evaluasi  dan analisis.  Klasifikasi  opini  yang akan  didapatkan ada  tiga  yaitu  positif,  negatif  dan netral.  Berdasarkan  hasil  evaluasi,  metode  yang  diusulkan  berhasil  mendapatkan  akurasi  yang tinggi  untuk  70-30%  training  testing  yaitu  84%.  Kesimpulan  dari  hasil  evaluasi  tersebut menunjukkan  bahwa  metode  yang  diusulkan  dapat  digunakan  dalam  proses  analisis  sentimen ulasan pengguna aplikasi Tiktok.
Kata Kunci: Analisis Sentimen, TikTok, TF-IDF, SVM

## Abstract
The  rapid  development  of  information  and  communication  technology,  particularly  in  social media platforms, has created an environment where users actively share their experiences and opinions related to various services and applications. One platform that has gained significant popularity is TikTok, a video-sharing application that has become a global phenomenon. With the  increasing  number  of  TikTok  users,  user  reviews  on  distribution  platforms  such  as  the Google  Play  Store  have  become  a  crucial  source  of  information.  Sentiment  analysis  of  these reviews can provide deep insights into how users respond to the application, while also offering valuable  feedback  for  developers.  The  research  aims  to  conduct  sentiment  analysis  of  TikTok user reviews on the Google Play Store using the Term Frequency-Inverse Document Frequency (TF-IDF)  weighting  method  and  the  Support  Vector  Machine  (SVM)  algorithm  as  a classification method to achieve optimal results. There are three main stages: the initial stage involves  data  collection  and  data  pre-processing,  followed  by  the  pattern  recognition  stage, which includes TF-IDF weighting and SVM classification. The final stage consists of evaluation and analysis. The opinion classification obtained includes three categories: positive, negative, and  neutral.  Based  on  the  evaluation  results,  the  proposed  method  successfully  achieved  high accuracy for the 70-30% training-testing split, reaching 84%. The conclusion drawn from these
evaluation results indicates that the proposed method can be utilized in the sentiment analysis process of TikTok user reviews.
Keywords: Sentiment Analysis, TikTok, TF-IDF, SVM

## 1. Pendahuluan
Perkembangan  teknologi  saat  ini  telah  mencapai  tingkat  kecanggihan  yang  tinggi, mempermudah  berbagai  aspek  seperti  telekomunikasi,  akses  informasi,  dan  proses  transaksi pembelanjaan.  Di  Indonesia,  tren  yang  sedang  populer  adalah  pemanfaatan  layanan  digital, termasuk  aplikasi  self  service,  yang  dipengaruhi  oleh  gaya  hidup  generasi  milenial  yang menginginkan segala sesuatu menjadi lebih praktis, efisien, dan tanpa kesulitan (Aditiya et al., 2022).
Ada  berbagai  platform  yang  dapat  digunakan  masyarakat  untuk  berbagi  informasi, dan  salah  satunya  adalah  TikTok.  Aplikasi  ini  memungkinkan  pengguna  untuk  membuat video singkat dan dinamis. Resmi diluncurkan pada tahun 2016 oleh Zhang Yiminy dari Cina, TikTok  juga  memacu  kreativitas  penggunanya  dalam  menciptakan  konten  video  yang menarik. Bahkan, popularitas TikTok semakin meningkat, terutama selama pandemi, dengan peningkatan  penggunaan  hingga  20%  dibandingkan  dengan  kondisi  normal  (Alfiah Zulqornain & Pandu Adikara, 2021).
Kemajuan  teknologi  saat  ini  semakin  memfasilitasi  banyak  individu  dalam mengekspresikan  pendapat  di  media  sosial  sebagai  respons  dan  tanggapan  terhadap  suatu peristiwa. Pendapat yang dinyatakan dapat dijadikan indikator utama untuk mengukur tingkat kepuasan masyarakat. Jenis informasi yang dapat diperoleh melibatkan pertanyaan, masukan, kritik, serta apresiasi. Oleh karena itu, diperlukan metode khusus yang dapat secara otomatis mengkategorikan opini tersebut ke dalam kelas positif, negatif, dan netral melalui penerapan analisis sentimen (Husada & Paramita, 2021).
Analisis  sentimen  merupakan  suatu  proses  mengidentifikasi  ekspresi  perasaan  dalam teks dengan menganalisis data teks untuk memahami sentimen yang terkandung di dalamnya. Analisis  sentimen  dapat  diterapkan  untuk  menganalisis  opini  yang  muncul  dalam  ulasan pengguna di Google Play Store melalui pengolahan informasi. Proses ini juga dikenal sebagai penambangan opini, yaitu cara menggali, mengekstrak, dan memproses informasi teks secara otomatis  untuk  mendapatkan  data  afektif  yang  mencerminkan  apakah  opini  bersifat  positif atau negatif (Friska Aditia Indriyani et al., 2023). Analisis sentimen diperlukan karena adanya permasalahan yang terkait dengan pemahaman dan penanggapan terhadap ulasan pengguna. Penggunaan  platform  seperti  TikTok  menghasilkan  volume  besar.  Permasalahan  muncul karena sulitnya mengelola dan memahami ulasan dalam jumlah besar secara manual.
Penelitian ini dilakukan dengan tujuan untuk  menganalisis sentimen dari ulasan para pengguna  aplikasi  TikTok  pada Google  Play  Store dengan  bantuan  Algoritma Term Frequency  —  Inverse  Document  Frequency (TF-IDF)  dan Support  Vector  Machine (SVM) sebagai  metode  pengklasifikasian  untuk  mendapatkan  hasil  terbaik.  Melalui  penelitian  ini, diharapkan dapat memberi kemudahan para pengguna untuk melihat dan membedakan opini positif, negatif, dan netral.

## 2. Tinjauan Pustaka

## 2.1 Analisis Sentimen
Analisis sentimen merupakan suatu  proses mengidentifikasi  ekspresi  perasaan dalam teks dengan menganalisis data teks untuk memahami sentimen yang terkandung di dalamnya. Penerapan  analisis  sentimen  dapat  diarahkan  untuk  menganalisis  opini  yang  muncul  dalam ulasan  pengguna  di  Google  Play  Store  melalui  proses  penambangan  informasi.  Istilah "analisis  sentimen"  juga  sering  dikenal  sebagai  penambangan  opini,  yaitu  suatu  cara
menguasai,  mengekstrak,  dan  memproses  informasi  bacaan  secara  otomatis  untuk memperoleh  data  afektif  yang  mencerminkan  apakah  opini  tersebut  bersifat  positif  atau negatif (Friska Aditia Indriyani et al., 2023).

## 2.2 TikTok
TikTok  merupakan  aplikasi  yang  dirancang  oleh ByteDance ,  sebuah  perusahaan teknologi kecerdasan buatan asal China. Pengguna dapat mengunduh TikTok melalui Google Play dan App  Store di  seluruh  dunia.  Aplikasi  ini  telah  diunduh  lebih  dari  500  juta  kali, dengan  pemirsa  video  harian  mencapai  10  miliar.  Sebanyak  150  juta  dari  jumlah  tersebut merupakan pengguna terbesar di Amerika Serikat dan Inggris (Fauzan et al., 2021).

## 2.3 Google Play Store
Google Play Store adalah platform resmi yang dimiliki oleh Google untuk perangkat yang  menjalankan  sistem  operasi  Android  maupun  web.  Di Google  Play  Store ,  terdapat bagian  ulasan  yang  berisi  pendapat  pengguna,  dan  ulasan  ini  diberi  rating  dari  1  hingga  5. Namun,  seringkali  terjadi  bahwa  rating  yang  diberikan  oleh  pengguna  tidak  selalu mencerminkan  ulasan  yang  mereka  sampaikan,  sehingga  hal  ini  mungkin  tidak  sepenuhnya mencerminkan  kualitas  aplikasi.  Ulasan  dalam  bentuk  kalimat  lebih  baik  dalam menggambarkan  respons  pengguna  terhadap  aplikasi,  dan  hal  ini  dapat  berpotensi memengaruhi  pengunjung  baru  yang  akan  mengunduh  aplikasi  tersebut.  Keanekaragaman dan  jumlah  ulasan  dapat  dijadikan  sebagai  objek  penelitian  dalam  bidang  data  mining. (Faadilah, 2020).

## 2.4 Support Vector Machine (SVM)
Support  Vector  Machine (SVM)  adalah  salah  satu  dari  banyak  algoritma  yang digunakan  untuk  klasifikasi  dan  termasuk  dalam  kategori  supervised  learning.  Metode  SVM baik  dalam  melakukan  klasifikasi  sentimen  ulasan  pengguna  TikTok  karena  kemampuannya menangani  data  berdimensi  tinggi,  seperti  teks  panjang  atau  vektor  kata-kata.  Prinsip  kerja SVM  melibatkan  pencarian hyperplane atau  garis  pemisah  optimal  untuk  memisahkan  dua kelas.  Untuk  mendapatkan hyperplane yang  optimal  dalam  memisahkan  kedua  kelas, dilakukan perhitungan margin hyperplane dan penemuan titik maksimal. (Husada & Paramita, 2021). Gambar 1 merupakan konsep kerja dari hyrperplane SVM.

## Gambar 1. Hyperplane SVM
Sumber: https://images.app.goo.gl/hC6494uW637VmYVW9

## 2.5 Term Frequency — Inverse Document Frequency (TF-IDF)
Term  Frequency-Inverse  Document  Frequency (TF-IDF)  adalah  suatu  teknik  dalam pemrosesan bahasa alami yang bertujuan untuk mengevaluasi tingkat kepentingan suatu kata dalam  suatu  dokumen  atau  kumpulan  dokumen,  yang  dikenal  sebagai  korpus.  Konsep  ini memperhitungkan dua faktor utama: Term Frequency (TF) dan Inverse Document Frequency (IDF). Term Frequency mengukur seberapa sering sebuah kata muncul dalam suatu dokumen, dengan membandingkan jumlah kemunculan kata tersebut dengan total kata dalam dokumen tersebut (Husada & Paramita, 2021). Sementara itu, Inverse Document Frequency mengukur seberapa  unik  atau  jarang  suatu  kata  muncul  di  seluruh  korpus  dokumen,  dengan
membandingkan  logaritma  dari  jumlah  total  dokumen  dengan  jumlah  dokumen  yang mengandung kata tersebut.
Rumus  TF-IDF  menggabungkan  kedua  faktor  ini  untuk  menghasilkan  skor  yang mencerminkan relevansi sebuah kata terhadap suatu dokumen dalam konteks seluruh korpus. Dengan  menggunakan  metode  ini,  kata-kata  yang  sering  muncul  dalam  suatu  dokumen namun juga umum di seluruh korpus akan mendapatkan bobot yang lebih rendah, sementara kata-kata  yang  muncul  jarang  dalam  suatu  dokumen  namun  unik  di  seluruh  korpus  akan mendapatkan  bobot  yang  lebih  tinggi.  TF-IDF  sering  diterapkan  dalam  ekstraksi  fitur  pada analisis teks, pengelompokan dokumen, serta dalam pengembangan sistem rekomendasi.

## 2.6 Visual Studio Code
Visual Studio Code , sering disingkat sebagai VS Code, adalah editor source code yang dirancang  oleh Microsoft untuk  mendukung  pengembangan  aplikasi  atau  situs web menggunakan  berbagai  bahasa  pemrograman.  VS  Code  bukan  hanya  sekadar text  editor , melainkan  juga  menyediakan  berbagai  fitur  yang  memudahkan  proses  penulisan  kode program.

## 3. Metode Penelitian

## 3.1 Research and Development (R&D)
Metode Research  and  Development (R&D)  adalah  suatu  pendekatan  sistematis  yang digunakan  dalam  konteks  penelitian  untuk  mengembangkan  dan  meningkatkan  produk, proses, atau inovasi. R&D melibatkan serangkaian kegiatan riset dan pengembangan dengan tujuan  menciptakan  solusi  baru,  meningkatkan  kinerja,  atau  memperkenalkan  inovasi  di berbagai  bidang,  termasuk  pendidikan,  teknologi,  dan  industri.  Metode  ini  biasanya melibatkan siklus yang terdiri dari tahap perencanaan, pelaksanaan riset,  pengembangan, uji coba,  dan  evaluasi.  R&D  sering  digunakan  untuk  memajukan  pengetahuan  dan  mencapai kemajuan dalam suatu domain tertentu.

## 3.2 Pengumpulan Data
Data ulasan pengguna TikTok pada Google Play Store diambil menggunakan metode web scraping dengan bantuan Data Miner extension di Google Chrome. Data tersebut berisi username , content ,  dan score sebanyak  200 records yang  disimpan  dalam  format Comma Separated Value (CSV).

## 3.3 Skema Analisis Sentimen
Sebelum  menginisiasi  proses  klasifikasi,  data  set  harus  menjalani  proses preprocessing . Proses pre-processing bertujuan untuk mengubah data yang awalnya bersifat tidak  terstruktur  atau  mengandung  banyak  noise  menjadi  data  yang  terstruktur  dan mempermudah  proses  analisis.  Setelah  tahap pre-processing ,  dilakukan  pembobotan kata/ term dengan  menggunakan  metode  TF-IDF.  Setelah  itu,  data  diproses  melalui  tahap klasifikasi  menggunakan  algoritma Support  Vector  Machine .  Skema  yang  diusulkan  dapat dilihat pada Gambar 2.

## Gambar 2. Skema Analisis Sentimen Algoritma SVM

## 3.4 Pre-processing Data
Tahapan  pre-processing  pada  analisis  sentimen  aplikasi  TikTok  melibatkan serangkaian  langkah-langkah  untuk  membersihkan  dan  mempersiapkan  data  teks  sebelum dilakukan  evaluasi  sentimen.  Tahap pre-processing data  ulasan  pengguna  TikTok  yang diusulkan dapat dilihat pada Gambar 3.
Gambar 3. Pre-processing Data
Dalam  melakukan  analisis  sentimen  pada  data  ulasan  TikTok,  langkah-langkah pre- processing menjadi  krusial  untuk  memastikan  data  yang  digunakan  dalam  analisis  tersebut bersih,  terstruktur,  dan  siap  untuk  tahap  analisis  berikutnya.  Tahapan  pertama  adalah case folding , di mana semua huruf dalam teks diubah menjadi huruf kecil atau besar agar analisis dapat dilakukan secara konsisten tanpa memperhitungkan perbedaan kapitalisasi. Selanjutnya, tahap cleansing dilakukan  untuk  menghilangkan  elemen-elemen  tidak  relevan  atau mengganggu, seperti karakter khusus, tanda baca, dan simbol.
Proses tokenizing memecah  teks  menjadi  unit-unit  kecil,  seperti  kata-kata  atau  frasa, yang  membantu  memahami  struktur  dan  makna  setiap  bagian  teks. Filtering melibatkan penghapusan stopwords dan  karakter  khusus  yang  tidak  diperlukan  untuk  analisis  sentimen. Terakhir,  penggabungan  kata  dilakukan  untuk  menyatukan  kata-kata  yang  memiliki  makna serupa  atau  sering  muncul  bersama,  mengurangi  variasi  kata  dan  meningkatkan  akurasi analisis.  Dengan  menerapkan  serangkaian  tahapan pre-processing ini,  data  ulasan  TikTok dapat diolah dengan lebih efektif dan hasil analisis sentimen dapat lebih dapat diandalkan.

## 3.5 Pembobotan TF-IDF
Proses  pembobotan  TF-IDF  dimulai  dengan  data  hasil pre-processing yang  telah disiapkan. Tahap awal dalam proses ini adalah mencari Term Frequency (TF), yang mengukur frekuensi  kemunculan setiap kata dalam dokumen. Dengan menggunakan rumus khusus,  TF memberikan indikasi seberapa sering suatu kata muncul dalam dokumen tertentu. Selanjutnya, kami  menghitung Inverse  Document  Frequency (IDF),  suatu  metrik  yang  memberi  bobot lebih pada kata-kata yang jarang muncul di seluruh korpus.
Rumus IDF memastikan bahwa kata-kata yang umum mendapatkan bobot yang lebih rendah, sementara kata-kata yang lebih spesifik atau jarang muncul mendapatkan bobot yang lebih  tinggi.  Setelah  memiliki  kedua  komponen  ini,  yaitu  TF  dan  IDF,  kami mengintegrasikannya  untuk  menghitung  skor  TF-IDF  untuk  setiap  kata  dalam  dokumen. Hasil  dari  proses  pembobotan  ini  adalah  matriks  TF-IDF,  yang  memberikan  representasi bobot relatif dari setiap kata dalam konteks dokumen dan korpus secara keseluruhan. Matriks ini,  dengan  bobotnya  yang  tepat,  memungkinkan  analisis  yang  lebih  mendalam  dan  akurat dari  teks,  memfasilitasi  aplikasi  seperti  klasifikasi  dokumen,  pencarian  informasi.  Tahap pembobotan TF-IDF dapat dilihat pada Gambar 4.
Gambar 4. Pembobotan TF-IDF

## 3.6 Klasifikasi Support Vector Machine (SVM)
Proses  klasifikasi  dengan  menggunakan Support  Vector  Machine (SVM)  untuk menentukan  tiga  kelas,  yaitu  positif,  negatif,  dan  netral,  biasanya  melibatkan  pendekatan multi-class  SVM one vs one .  Dalam  pendekatan  ini,  model  SVM  dibangun  untuk  setiap kombinasi  kelas,  sehingga  terbentuk  beberapa  model  biner  yang  membandingkan  dua  kelas sekaligus (Nursuci Putri Husain, 2017). Misalnya, terdapat model untuk membedakan antara kelas positif dan negatif, kelas positif dan netral, serta kelas negatif dan netral.
Setelah model-model ini terbentuk, proses klasifikasi pada suatu data baru melibatkan pembuatan  prediksi  oleh  setiap  model.  Selanjutnya,  suara  mayoritas  dari  model-model tersebut  akan  menentukan  kelas  akhir  untuk  data  tersebut.  Pendekatan  one  vs  one memungkinkan  penanganan  klasifikasi  dengan  lebih  efektif  dalam  konteks  multi-kelas,  di mana setiap model fokus pada perbandingan dua kelas tertentu. Pendekatan ini memberikan
fleksibilitas  dalam  menangani  masalah  klasifikasi  dengan  banyak  kelas  dan  umumnya memberikan hasil yang akurat dalam konteks analisis sentimen atau klasifikasi teks.
Kernel yang digunakan pada penelitian ini adalah kernel Radial Basis Function (RBF). Kernel ini cocok untuk data yang tidak dapat dipisahkan secara linier dan memiliki pola yang kompleks.  Kernel  RBF  umumnya  memberikan  hasil  yang  baik  dalam  kasus  data  non-linier. Nilai parameter utama untuk kernel RBF pada SVM adalah parameter γ (gamma). Parameter γ  mengontrol  bentuk  dari  fungsi  Gauss  yang  digunakan  dalam  kernel  RBF  dan  dapat mempengaruhi  seberapa  ketat  SVM  akan  menyesuaikan  data  pelatihan.  Nilai  parameter  γ yang digunakan adalah [0.1, 1, 10, 100].

## 3.7 Evaluasi
Penelitian ini mengadopsi pendekatan pembagian dataset  menjadi  dua bagian utama, yaitu  data training sebanyak  70%  dan  data testing sebanyak  30%.  Pembagian  ini  bertujuan untuk melatih model pada sebagian besar data dan menguji kinerjanya pada data yang tidak terlibat  dalam  proses  pelatihan.  Evaluasi  model  dilakukan  menggunakan confusion  matrix , suatu  metode  yang  memberikan  gambaran  rinci  tentang  kinerja  klasifikasi  (Nursuci  Putri Husain N. B., 2019 ). Confusion matrix menyediakan empat parameter utama untuk menilai kinerja  model  yaitu Accuracy (Akurasi), Precision (Presisi), Recall (atau  Sensitivitas),  dan F1-Score . Tabel confusion matrix dapat dilihat pada Tabel.1
Tabel 1. Confusion Matrix Data Aktual Data Prediksi True False True TP FN False FP TN
Keterangan:
• True Positive (TP): Jumlah instansi yang benar-benar termasuk dalam kelas positif dan diprediksi dengan benar oleh model.
• True Negative (TN): Jumlah instansi yang benar-benar termasuk dalam kelas negatif dan diprediksi dengan benar oleh model.
• False Positive (FP): Jumlah instansi yang sebenarnya termasuk dalam kelas negatif, tetapi diprediksi oleh model sebagai kelas positif.
• False Negative (FN): Jumlah instansi yang sebenarnya termasuk dalam kelas positif, tetapi diprediksi oleh model sebagai kelas negatif.

## 4. Hasil dan Pembahasan

## 4.1 Hasil Rancangan
Website analisis  sentimen  dibangun  berdasarkan  hasil  analisa  dan  perancangan terhadap  sistem  yang  telah  dibahas  pada  bab  sebelumnya.  Sistem  ini  digunakan  untuk mengelola data Analisis Sentimen dari ulasan pengguna media sosial TikTok sampai proses klasifikasi Algoritma Support Vector Machine.

## 4.1.1 Halaman Login
Halaman Login menampilkan form yang diisi menggunakan email dan password yang sudah  didaftarkan  sebelumnya  untuk  masuk  dan  menampilkan  halaman dashboard ,  dapat dilihat pada Gambar 5.
Gambar 5. Halaman Login

## 4.1.2 Halaman Dashboard
Halaman ini menampilkan jumlah data ulasan yang telah dianalisis, jumlah user yang terdaftar, dan hasil analisis terakhir yang dilakukan, dapat dilihat pada Gambar 6.
Gambar 6. Halaman Dashboard

## 4.1.3 Halaman Review Pengguna
Halaman  ini  menampilkan  daftar  ulasan  pengguna  beserta  nama  pengguna  dan  hasil analisis  sentimennya.  Ulasan  tersebut  dapat  dimasukkan  secara  manual  melalui  halaman Analisis  Sentimen  ataupun  mengunggah  dataset  dengan  forman  .csv  menggunakan  fitur upload  dataset .  Halaman review pengguna  dapat  dilihat  pada  Gambar  7,  Gambar  8,  dan Gambar 9.
Gambar 8. Halaman upload dataset
Gambar 9. Halaman hasil review pengguna

## 4.1.4 Halaman Analisis Sentimen
Halaman  ini  menampilkan form untuk  menginput  ulasan  pengguna  secara  manual yang  berisi  nama  pengguna,  ulasan,  dan  prediksi  sentimennya.  Halaman  analisis  sentimen secara manual dapat dilihat pada Gambar 10 dan Gambar 11.
Gambar 10. Halaman Analisis Sentimen

## 4.2 Hasil Pengujian
Gambar 11. Hasil analisis sentimen secara manual

## 4.2.1 Hasil Pengujian Aplikasi
Sistem analisis sentiment yang diusulkan diuji menggunakan metode blackbox testing . Pengujian black  box adalah  metode  pengujian  perangkat  lunak  di  mana  tester  menguji fungsionalitas sistem tanpa memiliki pengetahuan internal tentang bagaimana sistem tersebut diimplementasikan (Husain,  2021). Dalam pengujian black box , fokusnya adalah pada input dan output yang  dihasilkan  oleh  sistem  tanpa  memperhatikan  detail  internal  kode  atau struktur program. Dari Tabel 2. Hasil pengujian black box menunjukkan bahwa semua input menghasilkan output yang sesuai dan sukses, hal tersebut menunjukkan bahwa fungsionalitas eksternal sistem sesuai dengan spesifikasi yang telah ditetapkan.
Tabel 2. Hasil Pengujian Aplikasi
Data Masukan Yang Diharapkan Hasil Pengujian/Output Kesimpulan Username , password Dapat login dan masuk ke halaman utama sebagai admin ataupun user Menampilkan halaman dashboard dan menu lainnya Sukses Dataset Dapat mengunggah dataset dengan format .csv Menampilkan daftar ulasan pengguna dan hasil analisis sentimennya Sukses Nama pengguna, ulasan,  prediksi sentimen Dapat menginput ulasan pengguna beserta nama pengguna dan prediksi sentimennya Menampilkan hasil prediksi sentimen yang membandingkan prediksi awal dan hasil analisis sentimen Sukses Nama, email , password Dapat menambahkan data user agar dapat melakukan login ke website Menampilkan daftar user beserta datanya yang telah ditambahkan Sukses Edit Dapat melakukan perubahan data Menampilkan data baru hasil perubahan yang dilakukan Sukses Delete Dapat menghapus data yang tidak diinginkan Data yang telah dihapus hilang dari daftar Sukses Logout Dapat keluar dari aplikasi Kembali ke halaman login Sukses
Vol. 5 No. 1 Januari 2024

## 4.2.2 Hasil Pengujian Menggunakan Confusion Matrix
Untuk  mengukur  tingkat  akurasi  algoritma Support  Vector  Machine (SVM)  pada tahap klasifikasi,  digunakan confusion  matrix . Pada penelitian ini, dataset dibagi menjadi  2, yaitu  70%  data training dan  30%  data testing .  Evaluasi  dilakukan  menggunakan confusion matrix untuk menghitung nilai accuracy , precision , recall , dan F-Score .
Tabel 3. Nilai pengujian menggunakan confusion matrix Pengukuran Nilai Accuracy (Akurasi) 85% Precision (Presisi) 79% Recall (Recall) 75% F1–Score 77%
Dalam hal ini, akurasi adalah 85%, yang menunjukkan bahwa model klasifikasi yang diusulkan memprediksi dengan benar sekitar 85% dari semua kasus. Kemudian, dengan nilai presisi  sebesar  79%,  model  memiliki  kemampuan  yang  baik  untuk  mengidentifikasi  kelas positif,  dan  sekitar  21%  dari  prediksi  positifnya  adalah  kesalahan.  Selanjutnya,  nilai  recall sebesar 75%, artinya model dapat mengidentifikasi sekitar 75% dari semua kasus positif yang sebenarnya.  Adapun  nilai  F1 Score sebesar  77%,  model  mendapatkan  nilai  keseimbangan antara presisi dan recall.

## 5. Kesimpulan
Penelitian ini mengusulkan metode pembobotan TF-IDF dan metode klasifikasi SVM untuk melakukan analisis sentimen terhadap ulasan pengguna aplikasi TikTok. Dataset ulasan pengguna TikTok yang digunakan adalah sebanyak 200 records . Pada penelitian ini, dataset dibagi  menjadi  70%  data training dan  30%  data testing .  Model  klasifikasi  yang  dievaluasi memiliki  tingkat  akurasi  sebesar  85%,  menunjukkan  kemampuan  yang  baik  dalam memprediksi  kelas-kelas  yang  diinginkan.  Presisi  sebesar  79%  mengindikasikan  bahwa model  cenderung  memberikan  prediksi  positif  yang  benar,  sementara  recall  sebesar  75% menunjukkan  kemampuan  model  untuk  mengidentifikasi  sebagian  besar  kasus  positif  yang sebenarnya. Dengan F1-Score sebesar 77%, model mencapai keseimbangan yang baik antara presisi  dan  recall.  Secara  keseluruhan,  hasil  pengujian  menunjukkan  bahwa  model  ini memiliki  kinerja  yang  solid,  namun  penting  untuk  mempertimbangkan  konteks  dan kebutuhan  spesifik  masalah  klasifikasi  untuk  menentukan  apakah  tingkat  presisi  atau  recall yang lebih diutamakan.

## Daftar Pustaka
Aditiya, P., Enri, U., & Maulana, I. (2022). Analisis Sentimen Ulasan Pengguna Aplikasi Myim3 Pada Situs Google Play Menggunakan Support Vector Machine. JURIKOM (Jurnal Riset Komputer) , 9 (4), 1020. https://doi.org/10.30865/jurikom.v9i4.4673 Alfiah Zulqornain, J., & Pandu Adikara, P. (2021). Analisis Sentimen Tanggapan Masyarakat Aplikasi  Tiktok  Menggunakan  Metode  Naïve  Bayes  dan  Categorial  Propotional Difference (CPD) . 5 (7), 2886–2890. http://j-ptiik.ub.ac.id
Alamsyah,  N.  (n.d.). Sistem  Pakar  Diagnosis  Penyakit  Tanaman  Cabai  Berbasis Android Menggunakan Metode Forward Chaining: Vol.
ISSN (Issue 2).
al  Qorni,  Q.,  &  Sutabri,  T.  (n.d.). Analisis  Sentimen  Pengguna  Tik  Tok  Shop Menggunakan Algoritma Svm .
Faadilah, A. (2020). Analisis Sentimen Pada Ulasan Aplikasi Tokopedia di Google Play
Store Menggunakan Metode Long Short Term Memory . 1–46.
Fide,  S.  (2021). Analisis  Sentimen  Ulasan  Aplikasi  Tiktok  Di  Google  Play  Menggunakan Metode Support Vector Machine (SVM) Dan Asosiasi .
10 (3), 346–358. https://ejournal3.undip.ac.id/index.php/gaussian/ Fauzan,  A.,  Sanusi,  H.,  &  Wafa,  M.  A.  (2021).  Dampak  Aplikasi  Tik  Tok  pada  Interaksi Sosial Remaja “Studi di Kecamatan Gambut Kabupaten Banjar.” Doctoral Dissertation, Universitas Islam Kalimantan MAB , 1–14.
Friska  Aditia  Indriyani,  Ahmad  Fauzi,  &  Sutan  Faisal.  (2023).  Analisis  sentimen  aplikasi tiktok menggunakan algoritma naïve bayes dan support vector machine. TEKNOSAINS : Jurnal Sains,
Teknologi Dan Informatika , 10 (2), 176–184. https://doi.org/10.37373/tekno.v10i2.419
Husada, H. C., & Paramita, A. S. (2021). Analisis Sentimen Pada Maskapai Penerbangan di Platform Twitter Menggunakan Algoritma Support Vector Machine (SVM). Teknika , 10 (1), 18–26. https://doi.org/10.34148/teknika.v10i1.311
Husain,  N.  (2021).  Perancangan  Sistem  Manajemen  Penjualan  Motor Cash  Dan  Credit Berbasis  Web  (Studi  Kasus  Pada  Toko  Raya  Motor  Kota  Parepare). ILTEK : Jurnal Teknologi , 16 (02), 94–101. https://doi.org/10.47398/iltek.v16i02.53
Husain, N. P., Arisa, N. N., Rahayu, P. N., Arifin, A. Z., & Herumurti, D. (2017).  Least Squares Support Vector Machines Parameter Optimization Based On Improved Ant Colony Algorithm For Hepatitis Diagnosis. Jurnal  Ilmu  Komputer  Dan  Informasi , 10 (1),  43. https://doi.org/10.21609/jiki.v10i1.428
Husain, N. P., & Aji, N. B. (2019). Klasifikasi Sinyal EEG Dengan Power Spectra Density Berbasis Metode Welch Dan MLP Backpropagation. Jurnal ELTIKOM , 3 (1), 17–25. https://doi.org/10.31961/eltikom.v3i1.99
Kinaswara,  T.  A.,  Hidayati,  N.  R.,  &  Nugrahanti,  F.  (2019).  Rancang  Bangun  Aplikasi Inventaris Berbasis Website Pada Kelurahan Bantengan | Kinaswara | Prosiding Seminar Nasional  Teknologi  Informasi  dan  Komunikasi  (SENATIK). Prosiding  Seminar Nasional  Teknologi  Informasi  Dan  Komunikasi  (SENATIK) , 2 (1),  71–75. http://prosiding.unipma.ac.id/index.php/SENATIK/article/view/1073
Rina Noviana. (2022). Pembuatan Aplikasi Penjualan Berbasis Web Monja Store Menggunakan Php Dan Mysql. Jurnal Teknik Dan Science , 1 (2), 112–124. https://doi.org/10.56127/jts.v1i2.128
Indra  Kurnia,  A.,  Furqon,  M.  T.,  &  Rahayudi,  B.  (2018). Klasifikasi  Kualitas  Susu  Sapi Menggunakan Algoritme Support Vector Machine (SVM) (Studi Kasus: Perbandingan Fungsi Kernel Linier dan RBF Gaussian) (Vol. 2, Issue 11). http://j-ptiik.ub.ac.id