Vol. 12 No. 3, pISSN: 2303-0577 eISSN: 2830-7062              http://dx.doi.org/10.23960/jitet.v12i3.5067

## ANALISIS
SENTIMEN PADA ULASAN APLIKASI JAKARTANOTEBOOK DI GOOGLE PLAY

## MENGGUNAKAN  METODE  RECURRENT  NEURAL NETWORK (RNN)
Arisky Sistita Berliana 1 , Metty Mustikasari 2
1,2 Universitas Gunadarma, Jl. Margonda Raya No. 100, Depok, Jawa Barat, 16424.
Received: 15 Juli 2024 Accepted: 31 Juli 2024 Published: 7 Agustus 2024
Keywords:
RNN, Google Play
Corespondent Email: ariskyyy@gmail.com
Abstrak. Perkembangan  aplikasi  digital  menyulitkan  konsumen  dalam memilih  aplikasi  terbaik.  Laporan  e-Conomy  Asia  Tenggara  mencatat penambahan 40 juta pengguna internet baru pada tahun 2021, dan sekitar 80% dari pengguna tersebut telah berbelanja daring. JakartaNotebook, perusahaan e-commerce  terbesar,  mulanya  berfokus  pada  teknologi,  kini  menyediakan produk beragam  dan melayani  jutaan pelanggan  di  Indonesia. Pada aplikasi JakartaNotebook  terdapat  fitur  ulasan  yang  berguna  sebagai  bahan  evaluasi guna  meningkatkan  kualitas  aplikasi  dengan  mempertimbangkan  masukan dari  pengguna.  Untuk  memudahkan  pengelolaan  data  ulasan,  penelitian  ini menerapkan analisis sentimen, sebuah metode otomatis untuk memahami dan mengolah data tekstual, termasuk opini terhadap produk atau layanan. Analisis sentimen dilakukan dengan menggunakan metode Recurrent Neural Network (RNN)  dengan  Long  Short  Term  Memory  (LSTM).  Komentar  akan diidentifikasi  apakah  komentar  memiliki  sentimen  positif  atau  negatif. Penelitian dilakukan menggunakan 1655 ulasan yang diproses dalam beberapa tahapan  preprocessing  yang  selanjutnya  diimplementasikan  dalam  analisis sentimen menggunakan model LSTM. Model yang dibentuk merupakan hasil dari  pelatihan  dengan  menggunakan  parameter  terbaik  diantaranya  adalah jumlah neuron 200, fungsi aktivasi softmax, ukuran batch size 32 dengan nilai akurasi  89.15%  dan  nilai  loss  26.83%.  Hasil  pengujian  terbaik  dari  metode RNN dengan partisi data 80% data latih dan 20% menghasilkan tingkat nilai akurasi sebesar 88,3%, precision 75%, recall 78%, f1-score 76%.
Abstract. The  rise  of  digital  applications  has  made  it  challenging  for consumers  to  select  the  best  one.  The  e-Conomy  Southeast  Asia  report revealed that in 2021, 40 million new internet users joined, and approximately 80%  of  them  engaged  in  online  shopping.  JakartaNotebook,  the  largest  e- commerce company, started with a technology focus but now caters to millions of Indonesian customers with a diverse product range. Their app incorporates a review feature, which is instrumental in evaluating the app's quality based on user  feedback. To manage review data  efficiently, this research employs sentiment  analysis,  an automated method  for understanding  and processing textual  data,  including  opinions  about  products  and  services.  Sentiment analysis utilizes the Recurrent Neural Network (RNN) method with Long Short Term Memory (LSTM) to classify comments as either positive or negative. The study analyzes 1655 JakartaNotebook app reviews, subjecting them to various preprocessing stages before applying the LSTM model for sentiment analysis. The model is trained with optimal parameters, consisting of 200 neurons, a softmax  activation  function,  and  a  batch  size  of  32,  resulting  in  an  89.15% accuracy rate and a loss value of 26.83%. The best RNN test results, using an 80:20 training data and testing data partition, achieved an accuracy rate of 88.3%, precision of 75%, recall of 78%, and an f1-score of 76%..
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577   eISSN: 2830-7062

## 1. PENDAHULUAN
Maraknya aplikasi di pasar digital membuat konsumen  kesulitan  memilih  aplikasi  terbaik. Seiring dengan bertambahnya pengguna smartphone, maka jumlah aplikasi yang tersedia juga  semakin  meningkat.  Mulai  dari  aplikasi jual  beli  secara  daring  hingga  aplikasi pembelajaran dapat dengan mudah diunduh dan diakses  melalui  toko  aplikasi  seperti  Google Play Store atau App Store. Berdasarkan laporan e-Conomy  Asia  Tenggara  yang  dirilis  oleh Google  mencatat  bahwa  terdapat  peningkatan signifikan  jumlah  internet  di  Asia  Tenggara, termasuk  di  Indonesia.  Laporan  tersebut menunjukan  bahwa  terdapat  sekitar  40  juta pengguna internet baru di Asia Tenggara pada tahun 2021 serta menunjukan bahwa sebanyak 80%  dari  pengguna  internet  di  Asia  Tenggara telah  memiliki  pengalaman  belanja  secara daring,  dan  diperkirakan  jumlah  konsumen yang berbelanja secara daring masih akan terus meningkat  hingga  beberapa  tahun  mendatang. [1]
Dilansir dari CNN Indonesia, Imansyah dan Ketua  Dewan  Komisioner  OJK  Wimboh Santoso  pada  Kick  Off  Fintech  Nasional mengungkapkan bahwa terdapat 88,1% pengguna  internet  di  Indonesia  yang  memakai layanan  e-commerce  sehingga  menempati peringkat  pertama  di  dunia  berdasarkan  survei We  Are  Social  per  April  2021  dan  Indonesia menduduki  peringkat  keempat  dalam  jumlah penduduk  yang  melakukan  transaksi  jual  dan beli secara daring melalui e-commerce  setelah China, Jepang, dan AS [2].
Banyaknya pengguna internet yang menggunakan layanan e-commerce memberikan  potensi  besar  untuk  pasar  e- commerce  di  Asia  Tenggara,  termasuk  di Indonesia,  dan  memberikan  peluang  bagi perusahaan e-commerce seperti JakartaNotebook.  JakartaNotebook  merupakan perusahaan e-commerce terbesar yang awalnya hanya berfokus pada penjualan produk – produk teknologi  seperti  laptop,  smartphone,  kamera, dan  aksesorisnya.  Namun  dengan  seiring berjalannya  waktu  JakartaNotebook  terus berkembang  untuk  menyediakan  produk  – produk  yang  lebih  beragam  seperti  produk busana,  kecantikan,  kesehatan,  perlengkapan
rumah,  serta  produk  pendukung  hobi  seperti buku, mainan, dan alat musik.
Pembelian produk – produk melalui layanan jual beli secara daring memberikan kemudahan bagi  pelanggan  seperti  kemudahan  akses, pilihan  produk  yang  beragam,  transaksi  yang mudah  dan  aman,  pengiriman  yang  cepat, hingga  layanan  pelanggan  yang  responsif. Namun  selain  kemudahan,  jual  beli  secara daring juga menimbulkan masalah baru berupa minimnya Interaksi antara penjual dan pembeli di  platform  e-commerce,  sehingga  calon pembeli harus berhati – hati dalam melakukan pembelian  dikarenakan  pembeli  tidak  dapat menyentuh  atau  melihat  produk  yang  dibeli serta mencoba fitur fitur yang ada pada produk yang dibeli. Untuk mengatasi masalah tersebut, platform  e-commerce  kini  telah  menyediakan solusi  dengan  menambahkan  fitur  ulasan  yang merupakan  bagian  dari  pemasaran  [4].  Tidak hanya  platform  e-commerce,  toko  aplikasi seperti  Google  Play  juga  menyediakan  fitur ulasan dan rating yang saling berkaitan. Kedua fitur  tersebut  memiliki  manfaat  baik  bagi pengembang  aplikasi  seperti  JakartaNotebook. Aplikasi  JakartaNotebook  dapat  menggunakan fitur  ulasan  sebagai  bahan  evaluasi  guna mempertahankan  kualitas  aplikasi  dengan mempertimbangkan kritik serta saran dari para pengguna aplikasi. Untuk memudahkan pengelolaan  data  ulasan,  penelitian  dilakukan menggunakan analisis sentimen yang merupakan  proses  yang  dilakukan  secara otomatis untuk memahami serta mengolah data tekstual  dengan  tujuan  untuk  mendapatkan informasi dan mendeteksi opini terhadap suatu subjek  dan  objek  dalam  sekumpulan  data seperti individu, organisasi, ataupun produk [5]. Analisis  Sentimen  sudah  menjadi  salah  satu area  penelitian  paling  aktif  dalam  pemrosesan bahasa  sejak  awal  tahun  2000  [6].  Dalam analisis sentimen terdapat tiga jenis opini, yaitu dari  opini  positif,  negatif  dan  netral.  Dengan melakukan analisis sentimen, JakartaNotebook dapat mengetahui tanggapan masyarakat terhadap  suatu  produk  atau  layanan  melalui umpan  balik  yang  diberikan  oleh  pengguna aplikasi.
Metode  Reccurent  Neural  Network  (RNN) dengan  Long  Short  Term  Memory  (LSTM) adalah salah satu model deep learning yang bisa
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577   eISSN: 2830-7062
digunakan untuk melakukan klasifikasi sentiment.  Metode  ini  dapat  memproses  data secara sekuensial seperti teks, suara, dan video [7].  RNN  terdiri  dari  serangkaian  sel  yang identik,  di  mana  setiap  sel  memproses  input eksternal dan internal. Input eksternal mewakili data  saat  ini  dalam  urutan,  sedangkan  input internal merupakan "memori" dari pemrosesan sebelumnya,  yang  memungkinkan  RNN  untuk menangkap ketergantungan antar elemen dalam urutan  [8].  Sedangkan  LSTM  sendiri  adalah jenis  arsitektur  RNN  yang  diharapkan  dapat memperbaiki kelemahan RNN yang sederhana selain  itu  LSTM  memiliki  kemampuan  untuk menghapus  serta  menambah  informasi  yang diterima  [9].  RNN      dapat      menggunakan representasi  kata  terdistribusi  dengan  terlebih dahulu  mengubah    token    yang    terdiri    dari setiap    teks    menjadi  vektoryang    membentuk matriks.  Recurrent  Neural  Network  (RNN) dipilih  karena  mampu  mengolah  data  yang bersambung  (sekuensial)  dan  juga  dapat menyimpan informasi dari sel sebelumnya, hal ini  menunjukkan  bahwa  RNN  sangat  sesuai untuk memproses teks, terutama dalam analisis sentimen.
Beberapa  penelitian  telah  membandingkan akurasi  model  analisis  sentimen.  Salah  satu studi, berjudul "Sentiment analysis for opinion IESM product with Recurrent Neural Network approach  based  on  long  short-term  memory" oleh  Yennimar,  menemukan  bahwa  model RNN+LSTM mencapai akurasi tertinggi (91,01%)  pada  data  pengujian  dibandingkan dengan  model  lain  [11].  Temuan  serupa  juga diperoleh  dalam  penelitian  lain,  "Analisis Sentimen Tweet Vaksin COVID-19
Menggunakan  Recurrent  Neural  Network  dan Naïve  Bayes".  Penelitian  ini  menunjukkan bahwa  metode  RNN  menghasilkan  akurasi 97,77%,  mengungguli  metode  Naive  Bayes dengan akurasi yang lebih rendah [12].
Pada penelitian lain yang berjudul “Analisis Sentimen pada BPJS Kesehatan Menggunakan Metode Recurrent Network (RNN)” oleh Faisal Faturohman  dilakukan  pengujian  klasifikasi menggunakan metode Recurrent Neural Network  (RNN)  untuk  menganalisis  opini berdasarkan perspektif masyarakat pada media sosial  Twitter.  Pengujian  klasifikasi  tweet dilakukan dengan mengukur accuracy, precision,  dan  recall  pada  1400  data  dan performa  sistem  dihasilkan  model  dengan
perbandingan 90:10 untuk data latih dan data uji sehingga menghasilkan nilai rata-rata parameter precision, recall, dan f-1 score sebesar 86.66% dan  akurasi  sebesar  86.67%  [13].  Jumlah  data yang  dilakukan  pengujian  juga  mempengaruhi hasil akhir dalam penggunaan metode Recurrent  Neural  Network,  sebagaimana  yang dipaparkan  oleh  Felisian  Handayani  di penelitian  yang  berjudul  “Analisis  Sentimen Mobil Listrik Menggunakan Metode Recurrent Neural  Network  (RNN)  di  Tweet  Indonesia”. Penelitian tersebut dilakukan pengujian menggunakan  3  dataset  yang  berbeda  dan menunjukan bahwa semakin banyak data yang digunakan  memberikan  hasil  yang  lebih  baik. [9] Berdasarkan  uraian  diatas,  penelitian  ini dilakukan  untuk  menganalisis  opini  pengguna aplikasi  JakartaNotebook  melalui  ulasan  pada toko  aplikasi  Google  Play  menggunakan metode  yang  serupa  hanya  saja  sumber  data yang  digunakan  akan  berasal  dari  ulasan  – ulasan para pengguna aplikasi JakartaNotebook pada  Google  Play.  Kemudian  data  tersebut diolah menggunakan metode Recurrent Neural Network  dan  arsitektur  Long  Short  Term Memory  guna  membuat  model  sentiment berupa  positif,  negatif,  dan  netral  hingga perhitungan  akurasi,  presisi,  dan  recall  dari analisis tersebut.

## 2. TINJAUAN PUSTAKA
Analisis  Sentimen  atau  dapat  disebut  juga sebagai  opinion  mining  merupakan  sebuah bidang studi yang menganalisis opini, sentiment, evaluasi, penilaian, sikap, dan emosi orang terhadap entitas seperti produk, layanan, organisasi,  individu,  isu,  peristiwa,  topik,  dan atributnya [10].
JakartaNotebook didirikan pada tahun 1999 dan  sampai  saat  ini  telah  melayani  1.303.780 pelanggan hingga ke pelosok – pelosok daerah hingga  kabupaten  –  kabupaten  di  seluruh Indonesia.  Pada  tahun  2003,  JakartaNotebook memulai  layanan  pembelian  secara  daring  dan sejak  saat  itu  telah  berkembang  pesat  hingga menjadi salah satu pemain utama di industri e- commerce Indonesia [3].
Recurrent Neural Network (RNN) merupakan  salah  satu  model  yang  sangat  kuat dalam  keluarga  deep  learning  dan  telah menunjukkan  kemajuan  yang  mengagumkan dalam lima tahun terakhir. Model ini dirancang
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577   eISSN: 2830-7062
untuk melakukan prediksi pada data sekuensial dengan menggunakan arsitektur yang memanfaatkan memori yang kuat [14].

## 3. METODE PENELITIAN
Penelitian
dilakukan menggunakan arsitektur  LSTM  dan  data  yang  digunakan adalah  data  hasil  scraping  ulasan  sebuah aplikasi  di  Google  Play.  Analisis  Sentimen dengan  Recurrent  Neural  Network  dalam pengklasifikasian sentiment menggunakan arsitektur  LSTM  dengan  pemilihan  word embedding. Data yang telah diperoleh dari hasil scraping  data,  dilakukan  pembersihan  data kosong serta transformasi data agar mengubah rating  menjadi  label  sentiment  apakah  positif atau  negatif.  Tahapan  dari  metode  penelitian disajikan pada Gambar 1.

## 3.1    Input Data Ulasan Aplikasi Jakarta Notebook
Data  yang  digunakan  dalam  penelitian merupakan  data  ulasan  dari  kolom  ulasan aplikasi  JakartaNotebook  yang  ada  di  website Google  Play  Store.  Data  ulasan  aplikasi JakartaNotebook diambil dengan menggunakan package  google-play-scraper  yang  tersedia dalam bahasa pemrograman Python. Data yang diambil  merupakan  data  terbaru  dengan menggunakan function MOST_Relevant.
Setelah dilakukan scraping, data akan disimpan dalam  dokumen  CSV  atau  Comma  Separated Values.

## 3.2 Pelabelan Berdasarkan Rating
Pelabelan data merupakan tahap selanjutnya setelah  penginputan  data.  Pelabelan  data dilakukan berdasarkan rating yang diklasifikasikan. Rating 1 dan 2 diklasifikasikan menjadi rating negatif dengan label 0 dan rating 4  dan  5  diklasifikasikan  menjadi  rating  positif dengan label 1. Rating 3 tidak digunakan karena ulasan dengan rating 3 dianggap netral.

## 3.3 Preprocessing
Tahap  preprocessing  dilakukan  karena dataset  dari  text  mining  biasanya  tidak terstruktur.Input  yang  telah  masuk,  akan diproses  pada  tahapan  preprocessing.  Tahapan ini  dilakukan  agar  data  bersih  dari  noise. Tahapan  ini  memiliki  beberapa  proses  yang dilewati yaitu: clean data, tokenizing, stopword removal, dan  stemming.

## 3.4 Data Training dan Data Testing
Hasil Preprocessing akan menghasilkan data clean atau data yang bersih. Data bersih ini akan dibagi  menjadi  dua  bagian  yang  itu  data pelatihan  (Training  Dataset)  dan  pengujian (Testing Dataset)

## 3.5 Word Embedding
Word  Embedding:  Training  Dataset  dan Testing Dataset akan direpresentasikan menjadi vector.  Pada  tahapan  ini  akan  mengubah  data training  menjadi  vector  berupa  sequence  of integer  yang  digunakan  sebagai  input  pada jaringan saraf.

## 3.6 Processing
Tahapan  Processing  akan  menggunakan data training sebagai input (pelatihan menggunakan jaringan RNN – LSTM). Berikut jaringan  yang  terdapat  pada  beberapa  lapisan jaringan.
1.  Embedded Layer
2.  LSTM Layer
3.  Dense Layer / Fully Connected Layer

## 3.7 Learned Model
Learned  Model  merupakan  model  yang dihasilkan  dari  proses  pelatihan,  yang  akan digunakan untuk melakukan pengujian data.

## 3.8 Testing Accuracy
Tahapan  ini  akan  dilihat  nilai  akurasi, precision,  recall  dan  F1-score  pada  masing  –
Gambar 1. Alur Penelitian
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577   eISSN: 2830-7062
masing percobaan yang dilakukan. Hasil akhir pengklasifikasian  nantinya  akan  dianalisis masing  –  masing  kinerjanya  dan  dievaluasi menggunakan metode confusion matrix.
Confusion  Matrix  merupakan  sebuah  matrik 2x2  yang  merepresentasikan  hasil  klasifikasi biner  pada  suatu  dataset.  Menurut  Aurélien Géron pada bukunya yang berjudul “Hands-on Machine  Learning  with  Scikit-Learn,  Keras, and TensorFlow”,
Confusion Matrix merupakan metode yang  efektif dalam mengevaluasi kinerja klasifikasi [14].

## 4. HASIL DAN PEMBAHASAN
Data  yang  digunakan  dalam  penelitian merupakan  data  ulasan  dari  kolom  ulasan aplikasi  JakartaNotebook  yang  ada  di  website Google Play Store. Pengambilan data dilakukan menggunakan  package  google-play-scraper yang  tersedia  dalam  bahasa  pemrograman Phyton.  Data  yang  digunakan  untuk  analisis sentimen  adalah  ulasan  dari  aplikasi  Jakarta Notebook  yang  ada  di  Google  Play  dalam bahasa Indonesia dan memiliki rating 1 sampai 5.  Ulasan  dengan  rating  1  dan  2  diberi  label negatif,  rating  4  dan  5  diberi  label  positif, sementara  rating  3  tidak  digunakan  karena memiliki bias apakah positif atau negatif.
Berdasarkan 1544 ulasan pengguna aplikasi JakartaNotebook, sebanyak 1229 ulasan memiliki  sentiment  positif  dan  315  ulasan memiliki sentiment negatif. Selanjutnya dilakukan  tahap  preprocessing  pada  data sebagai berikut.

## 4.1    Clean Data
Pada tahap ini dilakukan 4 proses sekaligus, yaitu  mengubah  teks  ke  dalam  format  huruf kecil,  menghapus  semua  tanpa  baca  atau karakter  non  alphabet,  menghapus  karakter special, dan menghapus emoticon pada ulasan.

## 4.2 Tokenizing
Pemotongan urutan kata per kata pada setiap teks menjadi potongan – potongan yang disebut dengan token.

## 4.3 Stopword Removal
Tahap  ini  bertujuan  untuk  menghapus  kata yang  memiliki  frekuensi  kemunculan  yang
tinggi seperti kata penghubung “akan”, “atau”, “dan”, “tapi”, dan lainnya.\

## 4.4 Stemming
Mengubah  sebuah  kata  dengan  imbuhan menjadi kata dasar dengan cara menghilangkan imbuhan yang terdapat pada kata – kata dalam ulasan
Data yang telah melalui tahap preprocessing dibagi  menjadi  data  training  dan  data  testing dengan  perbandingan  80:20.  Jumlah  data training  yang  digunakan  yaitu  sejumlah  1235 ulasan  dan  jumlah  data  testing  sebanyak  309 ulasan.  Proses  training  dilakukan  sebanyak  10 epoch  dan  batch  size  sejumlah  32.  Hasil  dari training direpresentasikan dalam bentuk grafik yang  dapat  dilihat  pada  Gambar2.  Pada  epoch ke-10  nilai  akurasi  yang  didapatkan  sebesar 0.9895 dengan nilai loss sebesar 0.0320.
Berdasarkan  Gambar  2,  training  yang dilakukan  menghasilkan  nilai  loss  terendah pada  data  validasi  saat  berada  di  epoch  ke-4 dengan  nilai  sebesar  0.2557  dan  nilai  loss terendah pada data training berada pada epoch ke-10  yaitu  0.0320.  Sehingga  grafik  pada Gambar 2 menunjukan bahwa model memiliki performa yang baik pada data training maupun data  validasi  karena  kinerja  model  pada  data validasi dan data training cenderung seimbang. Hasil Confusion Matrix yang disajikan pada Tabel 1, menunjukan bahwa model hasil tahap pengujian  mengklasifikasikan  secara  benar sebesar 237 data ulasan sebagai positif dan 36 ulasan  data  sebagai  negatif.  Selain  itu  model salah  dalam memprediksi  sejumlah  14  data  ke dalam  data  negatif  yang  seharusnya  positif (false negative), dan salah dalam memprediksi 22 data ke dalam data positif yang seharusnya data negative (false positive).  Berdasarkan data confusion  matrix  yang  didapatkan,  dihitung akurasi  sehingga  model  dapat  menilai  dengan nilai akurasi sebesar 88.34%.
Table 1. Hasil Confusion Matrix
Aktual Prediksi
Gambar 2. : Grafik Nilai Loss dan Grafik Nilai Akurasi
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577   eISSN: 2830-7062
Negatif Positif Negatif 36 22 Positif 14 237
Selain  itu  diukur  juga  kinerja  dari  model tersebut  berdasarkan  laporan  klasifikasi  yang disajikan pada Tabel 2 Hasil Kinerja Klasifikasi Model LSTM. Table 2. Hasil Kinerja Klasifikasi Model
Sentiment Precision Recall F1-Score Negative 58% 67% 62% Positif 92% 88% 90% Rata rata makro 75% 78% 76% Bobot rata-rata 86% 84% 85%
Berdasarkan  laporan  klasifikasi  pada  Tabel 2,  Hasil  Kinerja  Klasifikasi  Model  LSTM menunjukkan  bahwa  untuk  sentimen  negatif, nilai precision sebesar 58%, recall sebesar 67% dan F1-score sebesar 62%. Sementara itu, untuk sentimen  positif,  nilai  precision  sebesar  92%, recall sebesar 88% dan F1-score sebesar 90%. Untuk  rata-rata  makro,  nilai  precision  sebesar 75% menunjukkan nilai rata-rata dari precision untuk kedua sentimen negatif dan positif. Nilai recall sebesar 78% menunjukkan nilai rata-rata dari  recall  untuk  kedua  sentimen  negatif  dan positif. Nilai F1-score sebesar 76% merupakan nilai rata-rata harmonik dari precision dan recall untuk  kedua  sentimen  negatif  dan  positif. Sedangkan  bobot  rata-rata,  nilai  precision sebesar  86%  menunjukkan  nilai  rata-rata  dari precision  untuk  kedua  sentimen  negatif  dan positif.  Nilai  recall  sebesar  84%  menunjukkan nilai rata-rata dari recall untuk kedua sentimen negatif dan positif. Nilai F1-score sebesar 85% merupakan  nilai  rata-rata  harmonik  dari precision  dan  recall  untuk  kedua  sentimen negatif dan positif. Dengan demikian, berdasarkan  hasil  kinerja  klasifikasi  tersebut, dapat  disimpulkan  bahwa  model  memiliki kinerja  yang  baik  dalam  mengklasifikasikan sentimen  dengan  tingkat  precision,  recall,  dan F1-score  yang  cukup  baik  untuk  kedua sentimen negatif dan positif.
Visualisasi chart dan world cloud dari hasil prediksi klasifikasi pada Gambar 3 menunjukkan  bahwa  aplikasi  JakartaNotebook memiliki  sentimen  positif  dengan  presentase sebesar  22.3%  untuk  sentimen  negatif  dan 77.7%  untuk  sentimen  positif.  Dari  hasil prediksi tersebut, tserlihat bahwa perbandingan antara  kelas  sentimen  negatif  dan  sentimen positif  cukup  jauh,  dengan  dominasi  sentimen positif yang lebih tinggi.

## 5. KESIMPULAN
Kesimpulan  analisis  sentiment  pengguna aplikasi  Jakartanotebook  pada  Google  Play menggunakan metode Recurrent Neural
Network sebagai berikut.
1. Performa  hasil  analisis  sentiment  untuk dat  aulas  an  pengguna  JakartaNotebook  pada Google Playstore dengan partisi data 80% data latih  dan  20%  menghasilkan  tangkat  akurasi sebesar 88,3%, precision 75%, recall 78%, f1- score 76%.
2. Visualisasi prediksi ulasan
JakartaNotebook menggambarkan bahwa Sebagian  besar  memiliki  sentiment  positif dengan  presentase  sebesar  77.7%,  sedangkan ulasan dengan sentiment negatif hanya sebesar 22.3%.  Ini  menunjukan  mayoritas  pengguna memberikan  ulasan  yang  psoitif  terhadap aplikasi tersebut.
3. Data  penelitian  ini  berasal  dari  1.544 ulasan pengguna.  Ulasan-ulasan  tersebut diklasifikasikan  menjadi  dua  partisi,  dengan 1.235 ulasan dialokasikan sebagai data latih dan 309 ulasan sebagai data uji.

## UCAPAN TERIMA KASIH
Penulis  mengucapkan  terima  kasih  kepada pihak-pihak  terkait  yang  telah  memberi dukungan terhadap penelitian ini.

## DAFTAR PUSTAKA
[1] e-Conomy  SEA,  "Laporan  e-Conomy SEA,"  Google  e-Conomy  SEA,  2021. [Online].
Available:
https://economysea.withgoogle.com/intl/id_i
d/home/. [Accessed 25 April 2023]. [2] CNN  Indonesia,  "88,1  Persen  Pengguna
Internet  Belanja  Dengan  E-Commerce," November 2021. [Online]. Available: https://www.cnnindonesia.com/ekonomi/202
11111123945-78-719672/881-persen-

## Gambar 2. Grafik Hasil Prediksi
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577   eISSN: 2830-7062
pengguna-internet-belanja-dengan-e- commerce.
[3] JakartaNotebook,  "Company  Profile,"
JakartaNotebook, [Online]. Available: https://www.jakartanotebook.com/about.
[Accessed 20 March 2023].
[4] S.  a.  R.  S.  A.  F.  Hasrul,  "Analisis
Pengaruh  Online  Customer  Review  dan Rating Terhadap Minat Beli Produk Elektronik  di  Tokopedia," Konferensi  Riset Nasional Ekonomi Manajemen dan Akuntansi, vol. 2, no. 1, pp. 1352-1365, 2021.
[5] D.  A.  a.  A.  R.  Isnain,  "Pendeteksian
Sarkasme  Pada  Proses  Analisis  Sentimen Menggunakan  Random  Forest  Classifier,"
Jurnal  Komputasi, vol.  8,  no.  2,  pp.  50-58, 2020.
[6] E. F. E. M. a. B. L. F. A. Pozzi, Sentimen Analysis  in  Social  Networks,  Cambridge:
Elsevier Science, 2017. [7] A.  D.  a.  D.  A.  R.  Cahyadi,  "Recurrent Neural  Network  (RNN)  dengan  Long  Short
Term  Memory  (LSTM)  untuk  Analisis Sentimen  Data  Instagram," JIKO  (Jurnal
Informatika Dan Komputer), vol. 5, no. 1, pp. 1-9, 2020.
[8] M.  Xiong,  Artificial  Intelligence  and
Causal  Inference,  Boca  Raton:  CRC  Press, 2022. [9] F.  H.  a.  M.  Mustikasari,  "Sentiment Analysis  of  Electric  Cars  Using  Recurrent
Neural  Network  Method  in  Indonesian Tweets," Jurnal Ilmiah Kursor, vol. 10, no. 4, pp. 153-159, 2020.
[10] B.  Liu,  Sentiment  Analysis  and  Opinion Mining,  Chicago:  Morgan  &  Claypol
Publisher, 2012.
[11] R.  A.  R.  A.  M.  H.  a.  M.  H.  Yennimar,
"Sentiment  analysis  for  opinion  IESM product  with  recurrent  neural  network approach based on long short term memory,"
in International  Conference  of  Computer Science and Information Technology
(ICoSNIKOM) , Medan, 2019.
[12] A.  A.  a.  L.  S.  M.  Lestandy,  "Analisis Sentimen Tweet Vaksin COVID-19 Menggunakan Recurrent Neural Network dan
Naïve  Bayes," Jurnal  Rekayasa  Sistem  dan
Teknologi  Informasi, vol.  5,  no.  2,  pp.  802- 808, 2021.
[13] B.  I.  a.  C.  S.  F.  Faturohman,  "Analisis
Sentimen Pada BPJS Kesehatan
Menggunakan  Recurrent  Neural  Network," E-Proceeding  of  Engineering, vol.  7,  no.  2, pp. 575-580, 2020.
[14] S. Kostadino,  Recurrent  Neural  Network
with Python Quick Start Guide, Brimingham: Packt Publishing Ltd., 2018.