## Optimasi Ulasan Pengguna Aplikasi ChatGPT di Google Play Store Menggunakan SMOTE
Eka Rahmawati
Program Studi Sistem Informasi Universitas Bina Sarana Informatika Jakarta, Indonesia eka.eat@bsi.ac.id Candra Agustina Program Studi Sistem Informasi Akuntansi Universitas Bina Sarana Informatika Jakarta, Indonesia candra.caa@bsi.ac.id
Abstract— Artificial Intelligence (AI) is a field of science that continues to be developed in various aspects of life. One of the applications  developed  is  ChatGPT.  The  application  allows interaction  with  text  conversations  by  applying  an  AI-based model. There are various features and functions that users can utilize according  to  their  needs. However,  in  the  interaction, there is a limited ability to understand the complex context and the level of accuracy of the answer text provided. To find out the perspective  of  ChatGPT  application  users,  text  mining  can be done through Google Play store reviews. Before being processed the  data  has  gone  through  several  pre- processing  stages.  Next,  classification is  carried  out by implementing the  K-Nearest  Neighbors  (KNN)  algorithm  and Deep  Learning.  Algorithm  performance  optimization was carried  out using  the  SMOTE  technique.  The results  of  data processing show an increase in accuracy with the use of SMOTE by  4%  in  Deep  Learning  and  1.08%  in  KNN.  The  highest accuracy  value  was  obtained  from  the  implementation  of SMOTE on KNN with a value of 91.48%.
Keywords—  ChatGPT  ;SMOTE;  Deep  Learning;K-Nearest Neighbors;KNN;
Abstrak—  Artificial  Intelligence  (AI)  menjadi  bidang  ilmu yang  terus  dikembangkan  dalam  berbagai  aspek  kehidupan. Salah  satu  aplikasi  yang  dikembangkan  adalah  ChatGPT. Aplikasi  tersebut  memungkinkan  adanya  interaksi  dengan percakapan  teks  dengan  menerapkan  model  berbasis  AI. Terdapat  berbagai  fitur  dan  fungsi  yang  dapat  dimanfaatkan oleh  pengguna  sesuai  dengan  kebutuhan.  Namun,  dalam interaksinya  terdapat  kemampuan  yang  terbatas  dalam pemahaman  terhadap  konteks  yang  kompleks  dan  tingkat akurasi  dari  teks  jawaban  yang  diberikan.  Untuk mengetahui perspektif pengguna aplikasi ChatGPT, maka dapat dilakukan text  mining  melalui  ulasan  Google  Playstore.  Sebelum  diolah data  yang  telah  melalui  beberapa  tahapan  pre-processing. Selanjutnya  dilakukan  klasifikasi  dengan  implementasi algoritma  K-Nearest  Neighbors  (KNN)  dan  Deep  Learning. Optimasi kinerja algoritma dilakukan dengan Teknik SMOTE. Hasil  pengolahan  data  menunjukan  adanya  peningkatan akurasi  dengan  penggunaan  SMOTE  sebesar  4%  pada  Deep Learning  dan  1,08%  pada  KNN.  Nilai  akurasi  tertinggi diperoleh  dari  implementasi  SMOTE  pada  KNN  dengan  nilai 91,48%.
Keywords—ChatGPT  ;SMOTE;  Deep  Learning;K-Nearest Neighbors;KNN;

## PENDAHULUAN
ChatGPT  merupakan  aplikasi  yang  menawarkan kemampuan  untuk  berinteraksi  dengan  kecerdasan  buatan
(AI)  dalam  bentuk  percakapan  teks  yang  mirip  dengan interaksi manusia. Dengan memanfaatkan model berbasis AI yang  dikenal  sebagai  Generative  Pre-trained  Transformer (GPT), aplikasi ini telah menjadi sorotan di berbagai bidang dan industri[1].
Fitur utama dari ChatGPT adalah kemampuannya untuk memahami  dan  merespons  teks  secara  kontekstual.  Hal  ini memungkinkan pengguna untuk melakukan berbagai macam interaksi, mulai dari mencari informasi, mendapatkan saran, hingga  berdiskusi  tentang  topik  yang  kompleks.  Selain  itu, ChatGPT  juga  mampu  menghasilkan  teks  dengan  kualitas tinggi  yang  hampir  tidak  dapat  dibedakan  dari  tulisan manusia[2].Aplikasi  ini  menawarkan  berbagai  fitur  dan fungsi  yang  bervariasi,  termasuk  asisten  virtual  untuk membantu  dalam  pekerjaan  sehari-hari,  alat  bantu  dalam proses  kreatif  seperti  menulis,  dan  bahkan  sebagai  mitra dalam percakapan untuk mengurangi rasa kesepian. Dengan demikian,  ChatGPT  telah  menjadi  alat  yang  berharga  bagi individu, bisnis, dan organisasi dalam berbagai konteks dan kebutuhan[3].
Dunia pendidikan menjadi salah satu sektor yang sangat mengambil  manfaat  dari  fitur-fitur  yang  ditawarkan  oleh ChatGPT. Penggunaan aplikasi ini dalam konteks pendidikan menjanjikan  sejumlah  keunggulan,  termasuk  kemungkinan pembelajaran yang disesuaikan dengan kebutuhan individu, ketersediaan  yang  luas  serta  biaya  yang  terjangkau,  adanya sumber  daya  pembelajaran  yang  interaktif,  serta  bantuan dalam  mengerjakan  tugas  dan  mengatasi  berbagai  masalah pembelajaran[4].  Namun  demikian,  penting  untuk  diakui bahwa  penggunaan  ChatGPT  juga  memiliki  beberapa keterbatasan  yang  perlu  dipertimbangkan.  Di  antaranya adalah kemampuan terbatas dalam memahami konteks yang kompleks,  keterbatasan  dalam  menghasilkan  karya-karya kreatif yang orisinal, ketidakakuratan jawaban yang mungkin terjadi,  dan  ketidakmampuan  untuk  membedakan  dengan jelas antara fakta dan opini.
Penggunaan  aplikasi  ChatGPT  memiliki  kelebihan dalam  memberikan  kemudahan  dan  pengalaman  interaktif yang  menarik  bagi  pengguna.  Namun,  hal  ini  juga menimbulkan  kekhawatiran  terkait  dengan  privasi  data, keandalan  informasi,  dan  pertimbangan  etika  dalam penggunaannya.  [5].  Terkait  kajian  dari  berbagai  sudut pandang, salah satu cara yang dapat dilakukan adalah dengan memahami  persepsi  pengguna  melalui  ulasan  yang  tersedia di  Google  Play  Store  sebagai  media  penyedia  layanan[6] . Sebelumnya,  Gilbert  dan  rekan-rekannya  telah  melakukan penelitian  serupa  dengan  menerapkan  algoritma  Random
Forest,  Support  Vector  Machine,  dan  Naïve  Bayes,  yang menghasilkan tingkat akurasi tertinggi mencapai 90%.
Meskipun  hasilnya  sudah  baik,  penelitian  sebelumnya telah  menyoroti  potensi  untuk  meningkatkan  akurasi klasifikasi  sentimen  dengan  menerapkan  berbagai  metode tambahan, termasuk teknik SMOTE[7]. Dengan menggunakan  SMOTE,  yang  dirancang  khusus  untuk menangani ketidakseimbangan kelas dalam dataset, diharapkan  bahwa  peningkatan  tersebut  dapat  membantu meningkatkan keakuratan prediksi, terutama dalam menghadapi  ulasan  pengguna  yang  mungkin  memiliki kompleksitas yang beragam atau distribusi kelas yang tidak seimbang[8] .
Dalam  penelitian  ini,  teknik  SMOTE  akan  diterapkan untuk meningkatkan kinerja algoritma Deep Learning dan K- Nearest  Neighbors  (KNN)  dalam  mengklasifikasi  sentimen ulasan  pengguna  pada  aplikasi  ChatGPT  di  Google  Play Store.  Penerapan  SMOTE  pada  kedua  algoritma  tersebut bertujuan  untuk  mengatasi  ketidakseimbangan  kelas  dalam dataset dan meningkatkan akurasi prediksi secara keseluruhan. Dengan demikian, diharapkan gabungan antara teknik  SMOTE dengan  algoritma  Deep  Learning  dan  KNN akan  menghasilkan  model  klasifikasi  yang  lebih  tangguh, mampu  menangani  berbagai  jenis  ulasan  pengguna  dengan lebih efisien. Algoritma KNN dan SMOTE pernah digunakan oleh  Dwi  Astuti  dkk  untuk  melakukan  klasifikasi  Car Evolution dan memberikan hasil akurasi sebesar 93,11%[9]. Sedangkan aplikasi Deep Learning dan SMOTE dikemukakan  oleh  Dablain  dan  Krawczyk  pada  2023. Mereka  menamakan  Teknik  tersebut  dengan  nama DeepSMOTE[10].
KNN  (K-Nearest  Neighbors)  memiliki  beberapa kelebihan  yang  membuatnya  menjadi  pilihan  yang  baik dalam analisis sentimen dan tugas klasifikasi lainnya:
1. Sederhana dan Mudah Dimengerti
KNN adalah algoritma yang relatif sederhana dan mudah dimengerti[11]. Konsep
dasarnya
adalah mengklasifikasikan data berdasarkan mayoritas label dari K-Nearest Neighbors (tetangga terdekat), yang membuatnya mudah diimplementasikan dan dipahami.
2. Non-parametrik
KNN adalah algoritma non-parametrik, yang berarti tidak ada  asumsi  yang  dibuat  tentang  distribusi  data.  Ini membuatnya  lebih  fleksibel  dan  cocok  untuk  berbagai jenis data[11].
3. Tidak Memerlukan Proses Training
KNN  tidak  melibatkan  proses  training  yang  kompleks seperti yang diperlukan oleh beberapa algoritma machine learning  lainnya.  Ini  berarti  algoritma  ini  cepat  dalam mengimplementasikan  modelnya  pada  data  yang baru[12].
4. Mampu Menangani Data Non-linear dan Multiclass KNN secara alami mampu menangani data yang memiliki hubungan  non-linear  dan  multi-kelas.  Ini  karena klasifikasi  dilakukan  berdasarkan  kedekatan  spasial antara data, bukan hubungan linier[13].
5. Mudah Diadaptasi dengan Teknik Resampling
KNN  dapat  dengan  mudah  digunakan  bersama  dengan teknik  resampling  seperti  SMOTE  (Synthetic  Minority Over-sampling Technique) untuk menangani ketidakseimbangan kelas dalam data[14].
Meskipun memiliki kelebihan tersebut, KNN juga memiliki kelemahan,  seperti  sensitif  terhadap  dimensi  tinggi  dan kinerja  yang  kurang  baik  pada  dataset  dengan  jumlah  fitur yang  besar.  Selain  itu,  penghitungan  jarak  antara  titik-titik data dalam KNN bisa menjadi komputasi yang mahal dalam skala besar.
Deep  Learning  bukanlah  satu  algoritma  tunggal, melainkan  paradigma  atau  pendekatan  dalam  pembelajaran mesin  yang  melibatkan  jaringan  saraf  tiruan  ( neural networks )  yang  dalam,  kompleks,  dan  terdiri  dari  banyak lapisan (layer)[15].
Beberapa kelebihan utama dari Deep Learning adalah sebagai berikut:
1. Mampu Memodelkan Representasi yang Abstrak. Dengan  memiliki  banyak  lapisan  (layer),  jaringan  saraf dalam  Deep  Learning  mampu  memodelkan  representasi yang semakin abstrak dari data[15].
2. Kinerja yang tinggi pada data yang kompleks. Deep  Learning  telah  terbukti  memberikan  kinerja  yang sangat  baik  dalam  berbagai  tugas  yang  melibatkan  data kompleks,  seperti  pengenalan  gambar,  pengenalan ucapan, dan bahasa alami[16] .
SMOTE ( Synthetic Minority Over-sampling Technique ) adalah suatu pendekatan yang digunakan dalam pemrosesan data untuk menyelesaikan permasalahan ketidakseimbangan kelas,  terutama  terjadi  pada  dataset  dimana  kelas  minoritas memiliki  frekuensi  yang  jauh  lebih  rendah  dibandingkan dengan  kelas  mayoritas.  Teknik  ini  bekerja  dengan menciptakan  sampel  baru  secara  sintetis  di  antara  titik-titik data  yang  termasuk  dalam  kelas  minoritas  yang  sudah ada[17].
METODE PENELITIAN B. Kerangka Penelitian
Adapun  kerangka  dalam  penelitian  ini  adalah  sebagai berikut:

## Gambar 1 Kerangka Penelitian
Gambar  1  menunjukkan  Penelitian  dimulai  dari pengumpulan data.
Data set yang digunakan dalam penelitian ini terdiri dari 500  ulasan  pengguna  yang  diambil  dari  Google  Play  Store. Pengambilan  data  dilakukan  menggunakan  teknik web scraping, yaitu proses otomatis pengumpulan  informasi dari halaman web[18]. Data yang diperoleh meliputi teks ulasan, peringkat ulasan, dan informasi tambahan seperti rating yang diberikan  oleh  pengguna.  Rating  yang  diberikan  oleh pengguna merupakan aspek penting dalam analisis sentimen, karena  memberikan  gambaran  tentang  seberapa  puas  atau tidak puas pengguna terhadap aplikasi tersebut[19].
Persiapan  Data  meliputi  pembersihan  data,  yaitu menghapus  karakter yang tidak relevan atau tidak diinginkan,
seperti tanda baca, karakter khusus, dan URL. Selain itu, teks juga  sering  dinormalisasi  dengan  mengubah  huruf  menjadi huruf  kecil  semua  untuk  memastikan  konsistensi  dalam analisis[20]. Tokenisasi adalah proses membagi teks menjadi token  atau  unit-unit  yang  lebih  kecil  seperti  kata-kata  atau frasa. Ini memungkinkan komputer untuk memahami struktur dan  makna  teks  dengan  lebih  baik[21].  Labelisasi  adalah proses  mengubah  peringkat  ulasan  menjadi  sentimen  positif dan negatif. Peringkat bintang 1-3 dianggap sebagai sentimen negatif,  sedangkan  peringkat  bintang  4-5  dianggap  sebagai sentimen positif[22].
Pengolahan  data  dalam  penelitian  ini  dilakukan menggunakan  bahasa  pemrograman  Python[23],  dengan menerapkan  empat  pendekatan  berbeda,  yaitu  algoritma KNN (K-Nearest Neighbors), Deep Learning, KNN dengan teknik SMOTE (Synthetic Minority Over-sampling Technique),  dan  Deep  Learning  dengan  teknik  SMOTE. Untuk menentukan hasilnya, dilakukan perbandingan antara hasil  dari  keempat  proses  tersebut.  Evaluasi  dilakukan dengan  menggunakan  metrik  yang  relevan  seperti  akurasi, presisi,  recall,  dan  F1-score  untuk  masing-masing pendekatan.  Akurasi  mengukur  seberapa  baik  model  dapat mengklasifikasikan secara benar antara sentimen positif dan negatif  secara  keseluruhan.  Presisi  mengukur  tingkat keberhasilan model dalam mengidentifikasi sentimen positif dari semua hasil yang diklasifikasikan sebagai positif. Recall mengukur  seberapa  baik  model  dalam  menemukan  semua instance sentimen positif dalam data aktual. F1-score adalah rata-rata harmonis dari presisi dan recall, yang memberikan gambaran keseluruhan tentang kinerja model[24].
HASIL DAN PEMBAHASAN Dataset yang digunakan merupakan data ulasan pengguna ChatGPT  pada  PlayStore.  Pengambilan  data  dilakukan dengan  flter  ulasan  yang  paling  sesuai.  Terdapat  500  data ulasan  yang  diolah.  Sebelum  pengolahan  data,  dilakukan tahap preposessing yaitu casefolding, filterring dan stemming . Tabel  1  menunjukkan  data  awal  seblum  dilakukan  tahap preprocessing.
Tabel 1 Data Awal Index Content Label 0 jawabannya selalu lengkap dan benar Positif
1 sangat  berguna  semoga  bisa  lebih berkembang  lagi  bisa  menjawab  semua pertanyaan  yang  tingkatannya  sangat sulit.  semoga  jawabannya  bisa  lebih ringkas,padat,benar dan jelas terimakasih ChatGPT Positif 2 App yang sangat bagus untuk membantu mengerjakan PR Positif 3 Bagus  sangat  membantu,  update  terus untuk lebih baik lagi Positif 4 Jawaban nya akurat,mudah digunakan,simpel pokoknya bagus lah ini aplikasi Positif
Pada tahap casefolding , dilakukan penyesuaian data teks ulasan pengguna agar seluruh huruf menjadi lowercase (huruf kecil).  Tahap  ini  merupakan  bagian  penting  dalam  pre- processing  data  teks  yang  bertujuan  untuk  menyamakan bentuk  semua  karakter,  sehingga  menghindari  kesalahan dalam  pengenalan  kata  yang  sama  namun  berbeda  bentuk huruf.  Proses casefolding dimulai  dengan  mengambil  setiap
karakter dalam teks ulasan dan mengubahnya menjadi huruf kecil. Misalnya, kata "ChatGPT", "chatgpt", dan "CHATGPT"  semuanya  akan  diubah  menjadi  "chatgpt". Dengan  melakukan  ini,  kita  memastikan  bahwa  model machine  learning  tidak  membedakan  antara  kata-kata  yang sebenarnya identik hanya karena perbedaan penggunaan huruf besar dan kecil.
Manfaat utama dari casefolding adalah menyederhanakan teks dan mengurangi variasi kata yang tidak perlu. Misalnya, dalam data ulasan, pengguna mungkin menggunakan berbagai bentuk  huruf  untuk  mengekspresikan  kata  yang  sama,  dan tanpa  casefolding,  model machine  learning mungkin  akan menganggap  ini  sebagai  kata  yang  berbeda.  Hal  ini  bisa menyebabkan  kebingungan  dan  mengurangi  akurasi  model. Dengan casefolding, kita  dapat  memastikan  bahwa  analisis teks  lebih  konsisten  dan  tidak  terpengaruh  oleh  perbedaan penulisan huruf.
Tahap casefolding biasanya dilakukan setelah pembersihan dasar data seperti penghapusan karakter spesial, angka, dan tanda baca yang tidak perlu. Ini memastikan bahwa semua  kata  dalam  data  ulasan  diubah  menjadi  format  yang seragam  sebelum  langkah-langkah  preprocessing  berikutnya seperti  tokenisasi,  stemming,  dan  penghapusan  stop  words dilakukan.  Setelah  diterapkan,  hasil  tahap  ini  terdapat  pada Tabel 2.
Tabel 2 Hasil Casefolding Index Content Label 0  jawabannya selalu lengkap dan benar Positif
1  sangat  berguna  semoga  bisa  lebih berkembang lagi bisa menjawab semua pertanyaan  yang  tingkatannya  sangat sulit  semoga  jawabannya  bisa  lebih ringkaspadatbenar dan jelas terimakasih chatgpt Positif 2  app yang sangat bagus untuk membantu mengerjakan pr Positif 3  bagus  sangat  membantu  update  terus untuk lebih baik lagi Positif 4  jawaban nya akuratmudah digunakansimpel pokoknya bagus lah ini aplikasi Positif 5  bagus  cmn  sdikit  berbeda  dri  buku mapel Positif 6  aplikasi yang  sangat bagus dan membantu banget Positif 7  ini  aplikasi  nya  sangatlah  membantu saya sebagai pelajar Positif 8  aplikasinya  bagus  mantap  bisa  buat pengganti  google  kalo  mau  nanya  soal tigas sekolah dll Positif 9  bagus  sekali  ainya  dapat  mudah dipahami Positif 10  sangat  membantu  untuk  memuaskan rasa keingintahuan saya Positif 11  bagus dan jawaban mudah dipahami Positif 12  sangat  membantu  menjawab  semua pertanyaan Positif 13  aplikasi  ini  bagus  untuk  beberapa yang tidak  mempunyai  beberapa  informasi yang banyak Positif
14  sangat  bagus  untuk  bantu  saya  cepat memahami yang tidak pernah di pahami
Positif
15  kalau  bisa  lebih  tingkatkan  lagi  kunci kunci  jawabannya  tentang  apa  yang dipertanyakan
Positif
16  ai robot pintar kalau bisa di perbarui lagi agar  dapat  menghasilkan  pencarian yang akurat dan diinginkan Positif 17  tingkat ke lebih baik lgi keamanan ya Positif 18  bagus  mungkin  jika  di  tambah  bisa menjawab  soal  ipa  dan  matematika catatan  dan  rekaman  suara  ke  teks mungkin lebih baik Positif 19  aplikasi  ini  sangat  membantu  saya hampir tidak ada kekurangan Positif
20  untuk  optimalisasi  device  terutama keluaran  tahun  2019/2020  lumayan buruk apa mungkin soc/chipset nya tidak terintegrasi  dengan  ai  unit/npu  pada  si smartphone nya 😭👎 Negatif 21  saya  suka  aplikasi  ini  tapi  kenapa kadang tida bisa dibuka dan bilang tida dapat memuat situs bisa dijelaskan Positif
Setelah  itu filtering dilakukan  untuk  menghilangkan elemen-elemen  yang  tidak  relevan  pada  data  seperti  tanda baca,  emoticon,  karakter  khusus  dan  kata-kata  yang  tidak berguna. Stemming dilakukan untuk mengubah kata menjadi bentuk dasarnya untuk mengurangi dimensi kosong pada teks untuk meringkas representasi kata dengan makna yang sama. Filterring dilakukan  dengan stopwords. Hasil  dari  tahap  ini terdapat pada Tabel 3.
Tabel 3 Hasil Filterring Index Content Label 0  j,a,w,a,b,a,n,n,y,a, ,s,e,l,a,l,u, ,l,e,n,g,k,a,p, ,d,a,n, ,b,e,n,a,r Positif 1  s,a,n,g,a,t,  ,b,e,r,g,u,n,a,  ,s,e,m,o,g,a, ,b,i,s,a, ,l,e,b,i,h, ,b,e,r,k,e,m,b,a,n,g, ,l,a,g,i, ,b,i,s,a, ,m,e,n,j,a,w,a,b,
,s,e,m,u,a,  ,p,e,r,t,a,n,y,a,a,n,  ,y,a,n,g,
,t,i,n,g,k,a,t,a,n,n,y,a, ,s,a,n,g,a,t, ,s,u,l,i,t, ,s,e,m,o,g,a,  ,j,a,w,a,b,a,n,n,y,a,  ,b,i,s,a,
,l,e,b,i,h,  ,r,i,n,g,k,a,s,p,a,d,a,t,b,e,n,a,r,
,d,a,n, ,j,e,l,a,s, ,t,e,r,i,m,a,k,a,s,i,h, ,c,h,a,t,g,p,t Positif 2  a,p,p,  ,y,a,n,g,  ,s,a,n,g,a,t,  ,b,a,g,u,s, ,u,n,t,u,k, ,m,e,m,b,a,n,t,u, ,m,e,n,g,e,r,j,a,k,a,n, ,p,r Positif 3  b,a,g,u,s,  ,s,a,n,g,a,t,  ,m,e,m,b,a,n,t,u, ,u,p,d,a,t,e,  ,t,e,r,u,s,  ,u,n,t,u,k,  ,l,e,b,i,h, ,b,a,i,k, ,l,a,g,i Positif 4  j,a,w,a,b,a,n, ,n,y,a, ,a,k,u,r,a,t,m,u,d,a,h, ,d,i,g,u,n,a,k,a,n,s,i,m,p,e,l, ,p,o,k,o,k,n,y,a,  ,b,a,g,u,s,  ,l,a,h,  ,i,n,i, ,a,p,l,i,k,a,s,i Positif 5  b,a,g,u,s, ,c,m,n, ,s,d,i,k,i,t, ,b,e,r,b,e,d,a, ,d,r,i, ,b,u,k,u, ,m,a,p,e,l Positif 6  a,p,l,i,k,a,s,i, ,y,a,n,g, ,s,a,n,g,a,t, ,b,a,g,u,s, ,d,a,n, ,m,e,m,b,a,n,t,u, ,b,a,n,g,e,t Positif 7  i,n,i, ,a,p,l,i,k,a,s,i, ,n,y,a, ,s,a,n,g,a,t,l,a,h, ,m,e,m,b,a,n,t,u,  ,s,a,y,a,  ,s,e,b,a,g,a,i, ,p,e,l,a,j,a,r Positif 8  a,p,l,i,k,a,s,i,n,y,a, ,b,a,g,u,s, ,m,a,n,t,a,p, ,b,i,s,a, ,b,u,a,t, ,p,e,n,g,g,a,n,t,i, ,g,o,o,g,l,e,  ,k,a,l,o,  ,m,a,u,  ,n,a,n,y,a, ,s,o,a,l, ,t,i,g,a,s, ,s,e,k,o,l,a,h, ,d,l,l Positif 9  b,a,g,u,s,  ,s,e,k,a,l,i,  ,a,i,n,y,a,  ,d,a,p,a,t, ,m,u,d,a,h, ,d,i,p,a,h,a,m,i Positif
10  s,a,n,g,a,t,  ,m,e,m,b,a,n,t,u,  ,u,n,t,u,k, ,m,e,m,u,a,s,k,a,n, ,r,a,s,a, ,k,e,i,n,g,i,n,t,a,h,u,a,n, ,s,a,y,a Positif 11  b,a,g,u,s, ,d,a,n, ,j,a,w,a,b,a,n, ,m,u,d,a,h, ,d,i,p,a,h,a,m,i Positif
per kata yang memiliki arti sesuai dengan standar kamus. Implementasi  tahap  ini  dilakukan  dengan  menggunakan library  Sastrawi,  sebuah  pustaka  yang  populer  dalam pengolahan  bahasa  alami  (Natural  Language  Processing) untuk  bahasa  Indonesia.  Library  Sastrawi  menyediakan berbagai  fungsi  untuk  melakukan  stemming,  yaitu  proses mengubah  kata  berimbuhan  menjadi  bentuk  dasarnya  (root word)[25]. Tahap ini esensial untuk mengurangi variasi kata yang  berbeda  tetapi  memiliki  makna  yang  sama,  sehingga memudahkan  model  dalam  mengenali  pola  dan  fitur  yang relevan dari data ulasan. Proses ini dimulai dengan pemisahan kalimat ulasan pengguna menjadi token-token individual, atau kata-kata  terpisah.  Setiap  kata  tersebut  kemudian  diproses menggunakan  fungsi  stemming  dari  library  Sastrawi  untuk mengubahnya ke bentuk dasar yang diakui oleh kamus bahasa Indonesia. Hasil dari tahap ini terdapat pada Tabel 4.
Tabel 4 Hasil Implementasi Librari Sastrawi
Index Content Label 0  j a w a b a n n y a s e l a l u l e n g k a p d a n b e n a r Positif
1  s a n g a t b e r g u n a s e m o g a b i s a l e b i h b e r k e m b a n g l a g i b i s a m e n j a w a b s e m u a p e r t a n y a a n y a n g t i n g k a t a n n y a s a n g a t s u l i t s e m o g a j a w a b a n n y a b i s a l e b i h r i n g k a s p a d a t b e n a r d a n j e l a s t e r i m a k a s i h c h a t g
p t Positif 2  a p p y a n g s a n g a t b a g u s u n t u k m e m b a n t u m e n g e r j a k a n p r Positif 3  b a g u s s a n g a t m e m b a n t u u p d a t e t e r u s u n t u k l e b i h b a i k l a g i Positif 4  j a w a b a n n y a a k u r a t m u d a h d i g u n a k a n s i m p e l p o k o k n y a b a g u s l a h i n i a p l i k a s i Positif
Setelah tahap pre-processing dilakukan untuk memastikan bahwa  data  ulasan  pengguna  ChatGPT  di  PlayStore  telah bersih  dan  siap  diolah,  tahap  selanjutnya  adalah  proses klasifikasi.  Pada  tahap  ini,  data  yang  telah  diproses  dibagi menjadi dua bagian: data training dan data testing. Pembagian ini  penting  untuk  mengevaluasi  kinerja  model machine learning secara akurat. Data training digunakan untuk melatih model, sementara data testing digunakan untuk menguji dan mengevaluasi performa model yang telah dilatih.
Proses  klasifikasi  ini  dilakukan  menggunakan  dua algoritma  utama  yaitu Deep  Learning dan K-Nearest Neighbors (KNN), dengan implementasi SMOTE ( Synthetic Minority Over-sampling Technique ). Implementasi
DeepLearning dilakukan  dengan  model Deeplearning4J . SMOTE  diterapkan  selama  tahap  pre-processing  untuk menangani  masalah  ketidakseimbangan  kelas  yang  sering terjadi dalam data ulasan, di mana jumlah ulasan positif dan negatif tidak seimbang. SMOTE menghasilkan sampel sintetis dari kelas minoritas untuk menyeimbangkan proporsi antara kelas  mayoritas  dan  minoritas,  memastikan  bahwa  model dapat belajar dari representasi yang lebih seimbang. Adapun
hasil klasifikasi menunjukkan  akurasi 91,48%  dengan detail pada Tabel 5.
Tabel 5 Hasil Implementasi Algoritma Algoritma Akurasi Precision Recall F- Measure AUC Deep Learning 80% 0,800 0,800 0,889 0,473 KNN 90,4% 0,904 0,904 0,950 0,465 Deep  Learning +SMOTE 84% 0,871 0,840 0,823 0,747 KNN+SMOTE 91,48% 0,906 0,915 0,903 0,758
Pada  implementasi  algoritma machine  learning untuk  pengolahan  data  ulasan  pengguna  ChatGPT  di PlayStore,  terdapat  perbedaan  yang  signifikan  pada  nilai akurasi  antara  algoritma  Deep  Learning  dan  KNN.  Ketika SMOTE  digunakan,  peningkatan  kinerja  yang  nyata  dapat diamati  pada  kedua  algoritma,  namun  dengan  skala  yang berbeda.  Pada  algoritma  KNN,  penerapan  SMOTE menghasilkan peningkatan akurasi sebesar 1,08%. Peningkatan  ini  menunjukkan  bahwa  SMOTE  membantu KNN mengatasi masalah ketidakseimbangan kelas, memungkinkan  model  untuk  lebih  efektif  mengenali  dan mengklasifikasikan  ulasan  dari  kelas  minoritas.  Algoritma KNN,  yang  bekerja  dengan  mengidentifikasi  k  tetangga terdekat berdasarkan jarak tertentu, mendapatkan manfaat dari data  yang  lebih  seimbang,  sehingga  mampu  memberikan prediksi yang lebih akurat.
Di  sisi  lain,  algoritma Deep  Learning menunjukkan peningkatan  akurasi  yang  lebih  besar  dengan  penggunaan SMOTE, yaitu sebesar 4%. Deep Learning, dengan jaringan saraf  tiruannya  yang  kompleks,  memiliki  kapasitas  lebih tinggi  untuk  mengenali  pola  yang  lebih  rumit  dalam  data. Namun, tanpa penyeimbangan kelas, model ini bisa menjadi bias terhadap kelas mayoritas. Implementasi SMOTE secara signifikan  meningkatkan  kemampuan  model  Deep  Learning untuk belajar dari data kelas minoritas, yang pada gilirannya menghasilkan prediksi yang lebih tepat dan andal.
Selain akurasi, penerapan SMOTE juga berdampak positif pada  metrik  evaluasi  lainnya  seperti Precision , Recall , F- Measure , dan AUC ( Area Under the Curve ). Precision yang mengukur ketepatan prediksi positif, mengalami peningkatan menunjukkan  bahwa  model  menjadi  lebih  baik  dalam menghindari false  positives . Recall yang  mengukur kemampuan  model  untuk  menangkap  semua  kasus  positif juga meningkat, menunjukkan perbaikan dalam deteksi ulasan positif. F-Measure sebagai  kombinasi  dari Precision dan Recall memberikan gambaran keseimbangan antara keduanya dan  menunjukkan  peningkatan,  menandakan  bahwa  model lebih  seimbang  dan  efektif  dalam  klasifikasi.  Peningkatan yang  paling  signifikan  terlihat  pada  AUC  yang  mengukur kemampuan  model  untuk  membedakan  antara  kelas  positif dan negatif. Dengan peningkatan AUC, model menjadi jauh lebih  baik  dalam  memprediksi  probabilitas  kelas  dengan benar, baik untuk kelas mayoritas maupun minoritas.
KESIMPULAN Tahap preprocessing menjadi  bagian  yang  penting dalam pengolahan data ulasan pengguna ChatGPT agar data dapat diolah dengan baik. Penerapan SMOTE terbukti efektif dalam  meningkatkan  kinerja  model,  terutama  ketika dikombinasikan dengan algoritma KNN dan Deep Learning. Penerapan SMOTE menunjukkan peningkatan akurasi yang
mencerminkan  bahwa  model  lebih  mampu  mengenali  pola dan karakteristik dari kedua kelas ulasan, baik positif maupun negatif.  Peningkatan  akurasi  sebesar  1,08%  pada  algoritma KNN  dan  4%  pada  algoritma Deep  Learning menunjukkan bahwa preprocessing yang tepat dapat menghasilkan model yang  lebih  andal  dan  akurat.  Dengan  akurasi  yang  lebih tinggi, maka pemahaman terhadap sentimen pengguna dapat lebih  tepat  sehingga  dapat  membantu  dalam  meningkatkan kualitas  layanan  dan  pengambilan  keputusan  berdasarkan umpan balik pengguna.

## REFERENSI
[1] M. Javaid, A. Haleem, and R. P.  Singh, “ChatGPT for  healthcare  services:  An  emerging  stage  for  an innovative  perspective,” BenchCouncil  Trans. Benchmarks,  Stand.  Eval. ,  vol.  3,  no.  1,  Feb. 2023, doi: 10.1016/j.tbench.2023.100105.
[2] D. Menon and K. Shilpa, “‘Chatting with ChatGPT’: Analyzing the factors influencing users’ intention to Use  the  Open  AI’s  ChatGPT  using  the  UTAUT model,” Heliyon , vol. 9, no. 11, p. e20962, 2023, doi: 10.1016/j.heliyon.2023.e20962.
[3] Y. K. Dwivedi et al. , “‘So what if ChatGPT wrote it?’ Multidisciplinary  perspectives  on  opportunities, challenges and implications of generative conversational AI for research, practice and policy,” Int.  J.  Inf.  Manage. ,  vol.  71,  no.  March,  2023,  doi: 10.1016/j.ijinfomgt.2023.102642.
[4] W.  Suharmawan,  “Pemanfaatan  Chat  GPT  Dalam Dunia Pendidikan,” Educ. J.  J. Educ. Res. Dev. , vol. 7,  no.  2,  pp.  158–166,  Aug.  2023,  doi: 10.31537/ej.v7i2.1248.
[5] D. Mhlanga, “Open AI in Education, the Responsible and  Ethical  Use  of  ChatGPT  Towards  Lifelong Learning,” SSRN Electron. J. , 2023, doi: 10.2139/ssrn.4354422.
[6] G.  Jeffson  Sagala  and  Y.  T.  Samuel,  “Sentiment Analysis on ChatGPT App Reviews on Google Play Store  Using  Random  Forest  Algorithm,  Support Vector Machine and Naïve Bayes,” Int. J. Eng. Bus. Soc.  Sci. , vol.  2,  no. 04, pp. 1194–1204,  2024,  doi: 10.58451/ijebss.v2i04.148.
[7] M. Persada Pulungan, A. Purnomo, A. Kurniasih, S. Tinggi  Ilmu  Manajemen  dan  Ilmu  Komputer  ESQ, and  P.  Korespondensi,  “Penerapan  Smote  Untuk Mengatasi  Imbalance  Class  Dalam  Klasifikasi Kepribadian  Mbti  Menggunakan  Naive  Bayes Classifier Application Of Smote To Overcome Class Imbalance  In  The  Mbti  Personality  Classification Using The Naïve Bayes Classifier,” vol. 10, no. 7, pp. 1493–1502, 2023, doi: 10.25126/jtiik.2023107989.
[8] R. Turaina and R. Saputra, “Optimalisasi Klasifikasi Umpan Balik Mahasiswa Terhadap Layanan Kampus dengan Sinergi Random Forest dan Smote,” vol. 6, no. 6, pp. 820–827, 2023.
[9] F. Dwi Astuti, Femi and Nova Lenti, “Implementasi SMOTE  untuk  mengatasi,” JUPITER  (Jurnal Penelit. Ilmu dan Teknol. Komputer) , vol. 13, pp. 89–
98, 2021.
[10] D.  Dablain,  B.  Krawczyk,  and  N.  V.  Chawla, “DeepSMOTE: Fusing Deep Learning and SMOTE for Imbalanced Data,” IEEE Trans. Neural Networks Learn. Syst. , vol. 34, no. 9, pp. 6390–6404, 2023, doi: 10.1109/TNNLS.2021.3136503.
[11] S.  R.  Cholil,  T.  Handayani,  R.  Prathivi,  and  T. Ardianita,  “Implementasi  Algoritma  Klasifikasi  K- Nearest  Neighbor  (KNN)  Untuk  Klasifikasi  Seleksi Penerima Beasiswa,” IJCIT (Indonesian J. Comput. Inf. Technol. , vol. 6, no. 2, pp. 118–127, 2021.
[12] D.  F.  Ningrum et  al. ,  “Prediksi  Harga  SmartPhone Berdasarkan  Spesifikasi  Menggunakan  K-Nearest Neighbors,” vol. 4, no. 2, 2023.
[13] N.  W.  Mardiyyah,  N.  Rahaningsih,  and  I.  Ali, “Penerapan  Data  Mining  Menggunakan  Algoritma K-Nearest Neighbor Pada Prediksi Pemberian Kredit Di Sektor Finansial,” J. Mhs. Tek. Inform. , vol. 8, no. 2,  pp.  1491–1499,  2024,  [Online].  Available: www.kaggle.com
[14] A.  Surya  Firmansyah,  A.  Aziz,  and  M.  Ahsan, “Optimasi  K-Nearest  Neighbor  Menggunakan Algoritma Smote Untuk Mengatasi Imbalance Class Pada  Klasifikasi  Analisis  Sentimen,” JATI  (Jurnal Mhs. Tek. Inform. , vol. 7, no. 6, pp. 3341–3347, 2024, doi: 10.36040/jati.v7i6.7257.
[15] R. A. Tilasefana and R. E. Putra, “Penerapan Metode Deep  Learning  Menggunakan  Algoritma  CNN Dengan  Arsitektur  VGG  NET  Untuk  Pengenalan Cuaca,” J. Informatics  Comput. Sci. , vol. 05, no. 1, pp. 48–57, 2023.
[16] N. El Furqani, “Penerapan Teknologi Deep Learning Dalam Pengenalan Wajah Untuk Sistem Keamanan,” pp. 1–12,2024.
[17] D.  Ifantiska,  “Analisis  Sentimen  Pada  Data  Media Sosial Deep Learning,” pp. 1–13, 2024.
[18] S.  Satriajati,  S.  B.  Panuntun,  and  S.  Pramana, “Implementasi  Web  Scraping  Dalam  Pengumpulan Berita  Kriminal  Pada  Masa  Pandemi  Covid-19,” Semin. Nas. Off. Stat. , vol. 2020, no. 1, pp. 300–308,
2021, doi: 10.34123/semnasoffstat.v2020i1.578.
[19] C. G. Indrayanto, D. E. Ratnawati, and B. Rahayudi,

## “Analisis Sentimen Data Ulasan Pengguna Aplikasi
MyPertamina  di  Indonesia  pada  Google  Play  Store menggunakan Metode Random Forest,” J. Pengemb. Teknol.  Inf.  dan  Ilmu  Komput. ,  vol.  7,  no.  3,  pp.
1131–1139,  2023,  [Online].  Available:  http://j- ptiik.ub.ac.id
[20] G. Darmawan, S. Alam, and M. I. Sulistyo, “Analisis Sentimen  Berdasarkan  Ulasan  Pengguna  Aplikasi Mypertamina  Pada  Google  Playstore  Menggunakan Metode Naïve Bayes,” STORAGE – J. Ilm. Tek. dan Ilmu Komput. , vol. 2, no. 3, pp. 100–108, 2023.
[21] M.  Mohana,  “Natural  Language  Processing,”  no. April, 2024, doi: 10.13140/RG.2.2.13534.04169.
[22] U. Khasanah,
“ANALISIS SENTIMEN TERHADAP TEMPAT WISATA MENGGUNAKAN  METODE  NAÏVE  BAYES CLASSIFIER DAN SUPPORT VECTOR MACHINE  (Studi  Kasus :  Kota  Takengon Kabupaten Aceh Tengah),” 2023.
[23] M.  R.  S.  Alfarizi,  M.  Z.  Al-farish,  M. Taufiqurrahman,  G.  Ardiansah,  and  M.  Elgar, “Penggunaan Python Sebagai Bahasa Pemrograman untuk Machine Learning dan Deep Learning,” Karya Ilm.  Mhs.  Bertauhid  (KARIMAH  TAUHID) ,  vol.  2, no. 1, pp. 1–6, 2023.
[24] D.  F.  Wicaksono,  R.  S.  Basuki,  and  D.  Setiawan, “Peningkatan  Performa  Model  Machine  Learning XGBoost  Classifier  melalui  Teknik  Oversampling dalam Prediksi Penyakit AIDS,” vol. 8, no. April, pp. 736–747, 2024, doi: 10.30865/mib.v8i2.7501.
[25] M.  R.  Suherlan,  A.  Asriyanik,  and  A.  Pambudi, “UMMIBOT  sebagai  Media  Layanan  Informasi
Penerimaan Mahasiswa Baru Universitas Muhammadiyah Sukabumi,” J. Inform. Terpadu , vol. 9, no. 2, pp. 82–91, 2023, doi: 10.54914/jit.v9i2.893.