## Emotion Mining Review Pengguna Aplikasi Mobile Banking BRImo Menggunakan Algoritma Decision Tree
Debby E Sondakh [1]* , Raissa C Maringka [2] , Ferlien P Ayorbaba [3] , Joanne S.C.B.T Mangi [4] , Stenly R. Pungus [5]
Fakultas Ilmu Komputer Sistem Informasi [1], [2], [3], [4], [5]
Universitas Klabat Airmadidi, Manado, Indonesia Debby.sondakh@unklab.ac.id [1] , raissam@unklab.ac.id [1] , s21910087@student.unklab.ac.id [3] , s11910041@student.unklab.ac.id [4 ] , stenly.pungus@unklab.ac.id [5 ]
Abstract— As consumer transaction preferences shifted from analog  to  digital,  banks  were  compelled  to  develop  digital transactions  in  the  form  of  mobile  banking.  Users  of  mobile banking  provide  feedback  regarding  the  application's  usability. The opinions of users can be emotive. Emotions influence what a person emits or applies. Emotions are the behavioral response of a person when he is happy or unhappy. Thus, the manifestation of a person's  emotions,  whether  in  the  form  of  facial  expressions, verbal communication, written text, or judgment, can be used as a source of information to aid in decision making. The objective of this  study  is  to  apply  emotion  mining  to  the  analysis  of  user evaluations  of  the  BRImo  application,  one  of  the  three  most popular platforms in Indonesia as of August 2022, with a total of 800,000 reviews on the Play Store. Emotion Mining can be used to analyze the four categories of emotions expressed by users in the comments  section:  happy,  angry,  sad,  and  afraid.  According  to BRImo  user  evaluations,  the  decision  tree  algorithm  is  used  to categorize happy, sad, afraid, and angry feelings. Using a decision tree to manage large data category sets is effective. The obtained dataset included 2959 happy classes, 2196 sad classes, 387 angry classes,  and  81  scared  classes.  According  to  the  findings  of  the analysis, a significant number of users of the  BRImo application express  positive  sentiments  in  their  evaluations,  which  are indicative of happy emotions. The Decision Tree algorithm yields results  with  a  performance  specification  of  84.5%,  sensitivity  of 85.5%, and precision of 84.4%.
Keywords— Emotion  Mining,  Classification,  BRImo,  Decision Tree, Machine Learning, Sentiment Analysis
Abstrak—  Perpindahan  gaya  bertransaksi  nasabah  dari konvensional  ke  digital  membuat  perbankan  memanfaatkan teknologi untuk mengembangkan transaksi digital dalam bentuk mobile banking. Pengguna mobile banking memberikan pendapat mereka  dalam  menggunakan  aplikasi  tersebut.  Pendapat  yang diberikan  oleh  pengguna  bisa  berupa  emosi.  Emosi  seseorang mempengaruhi apa yang mereka keluarkan atau luapkan. Emosi merupakan response perilaku seseorang disaat ia merasa senang atau  tidak  senang.  Sehingga,  pengekspresian  emosi  seseorang, berupa  ekspresi  wajah,  verbal,  teks  maupun  penilaian  dapat menjadi  informasi  untuk  membantu  suatu  individu  mengambil keputusan. Penelitian ini bertujuan menerapkan emotion mining dalam  menganalisis  ulasan  pengguna  terhadap  aplikasi  BRImo, salah  satu  dari  tiga  platform  yang    banyak  digunakan  di
Indonesia,  dengan  jumlah  800.000  ulasan  di  Play  Store  per Agustus  2022.  Emotion  Mining  dapat  membantu  menganalisis emosi yang dikategorikan ke dalam 4 jenis emosi yang dituangkan pengguna pada kolom komentar, yaitu emosi senang, marah, sedih dan takut. Algoritma decision tree digunakan untuk mengklasifikasi  emosi  senang,  sedih,  takut  dan  marah  ulasan pengguna BRImo. Decision tree memiliki kinerja yang baik dalam mengelola  kumpulan  data  kategorikal  yang  besar.  Dataset  yang diperoleh,  terdiri  dari  2959  kelas  senang,  2196  kelas  sedih,  387 kelas marah dan 81 kelas takut. Hasil analisi menunjukkan bahwa pengguna aplikasi BRImo banyak memberikan ulasan yang positf yang  menandakan  emosi  senang.  Hasil  yang  diperoleh  dari algoritma  Decision  Tree  menghasilkan  performa  spesifisitas 84.5%, sensitivitas 85.5% dan akurasi 84.4%.
Kata  Kunci—  Emotion  Mining,  Klasifikasi,  Pohon  Keputusan, Machine Learning, Analisis Sentimen

## I. P ENDAHULUAN

## A. Latar Belakang
Teknologi saat ini sudah sangat melekat dalam kehidupan masyarakat sekarang, mulai dari anak-anak dalam pendidikan hingga  orang  dewasa  dalam  menunjang  pekerjaan  mereka seperti membuat laporan, memesan transportasi untuk pergi ke kantor,  bahkan  sampai  kepada  transaksi  perbankan  semuanya membutuhkan  teknologi.  Teknologi  sudah  diterapkan  oleh industri  perbankan  di  Indonesia,  termasuk mobile  banking , aplikasi  berbasis  mobile  yang  memungkingkan  nasabah melakukan transaksi perbankan melalui telepon selular. Mobile banking tidak  hanya  mendukung  nasabah  untuk  bertransaksi secara  online  tanpa  Batasan  waktu,  juga  membantu penggunanya mendapatkan informasi dan berkomunikasi [1]
Bank  Rakyat  Indonesia  (BRI)  meluncurkan  aplikasi  BRI Mobile (BRImo) pada tahun 2019, untuk melengkapi layanan berbasis  teknologi  yang  telah  digunakan  sebelumnya  yaitu internet  banking ,  info  BRI,  dan  call  BRI.  BRImo menggabungkan mobile  banking , internet  banking ,  dan  uang elektronik  dalam  satu  aplikasi.  Pada  tahun  peluncurannya, aplikasi  BRImo  digunakan  oleh  sebanyak  2.2  juta  pengguna dan  jumlah  transaksi  mencapai  hingga  1.6  triliun.  Gambar  1 memperlihatkan mobile  banking di  Indonesia  dengan  kinerja yang terbaik pada tahun 2020 dan 2021. Berdasarkan laporan dari Bank Service Excellence Monitor (BSEM) dari Marketing
Research  Indonesia menunjukan  aplikasi  BRImo  menduduki peringkat ketiga [2]. Tahun 2022, merujuk data di Play Store, BRImo telah diunduh lebih dari 10 juta kali dengan rating 4.5/5 [3]. Bahkan, pada kuartal 1-2023, jumlah pengguna mencapai lebih dari 26.3 juta dengan kenaikan jumlah transaksi finansial BRImo  mencapai  99.07%,  merupakan  pertumbuhan  transaksi mobile  banking terbesar  [4].  Disediakannya  100  fitur  yang memberikan kemudahan dan kenyamanan bertransaksi menjadi salah satu alasan terjadinya peningkatan ini.
Gambar 1. Kinerja Mobile Banking di Indonesia 2020-2021 [2]
Pengguna  aplikasi  mobile  memberikan  ulasan  yang mendeskripsikan  pendapat,  komentar,  atau  evaluasi  subjektif mengenai  kelebihan,  kekurangan,  kualitas  atau  pengalaman pengguna  dengan  suatu  aplikasi.  Dalam  konteks  aplikasi mobile  banking,  ulasan  pengguna  dapat  mencakup  komentar mengenai  kemudahan  penggunaan,  keamanan,  kecepatan transaksi,  fitur  yang  disediakan,  kehandalan,  dan  pelayanan pelanggan.  Ulasan  yang  dibagikan  di platform online seperti situs resmi aplikasi, forum atau komunitas pengguna, dan toko aplikasi resmi seperti Google Play Store atau Apple App Store, memberikan perspektif pengguna yang dapat membantu calon pengguna lain dalam mengambil keputusan untuk menggunakan  aplikasi  atau  tidak.  Selain  itu,  ulasan  dapat membantu  mengidentifikasi  masalah  dalam  aplikasi  yang berguna bagi pengembang untuk memperbaiki atau melakukan pembaruan dan peningkatan fitur.
Perlu digarisbawahi bahwa ulasan pengguna pada dasarnya bersifat  subyektif,  karena  dipengaruhi  oleh  pendapat  dan perspektif  individu.  Satu  ulasan  tidak  mencerminkan pengalaman  pengguna  secara  keseluruhan  secara  akurat. Sehingga,  sebelum  merumuskan  penilaian  atau  keputusan, sangat  penting  untuk  mempertimbangkan  dan  menganalisis ulasan secara holistik untuk mendapatkan tren menyeluruh dari umpan  balik  pengguna.  Pendekatan  pembelajaran  mesin banyak  digunakan  untuk  mendapatkan  sentimen  (positif  atau negatif) terhadap aplikasi mobile banking , yang disarikan dari ulasan pengguna.
Sentimen  analisis  atau opinion  mining merupakan  sebuah bidang pengolahan bahasa alami yang luas. Sentimen analisis memiliki  hubungan  dengan  text  mining yang bertujuan  untuk menganalisa  pendapat, sentimen,  sikap,  evaluasi,  penilaian serta  emosi  seseorang.  Sentimen  analisis digunakan  untuk mengelompokan  polaritas  dari  teks  yang  ada  dalam  sebuah dokumen,  kalimat  maupun  nilai  yang  bersifat  positif,  negatif atau netral [5], [6].
Menurut  Ranganathan  dan  Tzacheva  [7]  analisis  sentimen tidak  hanya  mengidentifikasi opini,  tetapi  juga  emosi.  Emosi, sebagai fenomena kognitif yang rumit, bermanifestasi sebagai keadaan  mental  beraneka  segi  yang  dapat  dibentuk  oleh berbagai  faktor  termasuk  rangsangan  eksternal,  perubahan fisiologis,  dan  dinamika  interpersonal.  Emosi  mempengaruhi apa  yang  diluapkan  seseorang.  Emosi  dapat  berupa  ekspresi wajah,  secara  verbal,  dan  melalui  teks.  Emosi  mempengaruhi persepsi  manusia.  Saat  ini,  persepsi  manusia  menjadi  faktor penting yang mempengaruhi berbagai bidang, termasuk bisnis, pendidikan,  seni,  dan  sebagainya.  Dalam  konteks  bisnis, pemahaman  yang  lebih  komprehensif  tentang  persepsi pengguna dapat diperoleh dengan menganalisis emosi dari teks ulasan  yang  diberikan  untuk  suatu  produk  atau  layanan, menggunakan  teknik  analisis  teks emotion  mining . Emotion mining adalah studi tentang emosi yang tercermin dalam sebuah teks,  yang  mencakup  proses  menambang  emosi  dari  teks mencakup  deteksi  emosi  dalam  teks,  menentukan  polaritas emosi yang ada dalam teks, klasifikasi emosi, dan mendeteksi penyebab emosi  [8].
Berdasarkan  paparan  masalah  diatas,  peneliti  akan melakukan penelitian terhadap emosi yang tuangkan pengguna pada aplikasi BRImo di Google Play Store menggunakan teknik emotion  mining .  Beberapa  penelitian  telah  dilakukan  untuk menganalisis  sentimen  pengguna  aplikasi  BRImo  [9]–[11]. Dari  9000  ulasan  yang  dianalisis  menggunakan  algoritma Support Vector Machine, diperoleh 29% sentimen positif dan 71%  negatif  [11].  Penelitian  berbeda  mendapati  BRImo memiliki  masalah  serius  terkait  kehandalan  ( reliability )  [10], yang  dapat  berkontribusi  pada  besarnya  persentase  sentimen negatif.  Hasil  yang  berbeda  diperoleh  [9]  menganalisis  1906 ulasan pengguna BRImo dari Google Play Store menggunakan Naïve  Bayes,  dimana  persentase  sentimen  positif  (53.09%) lebih besar daripada sentimen negatif (46.9%). Namun, literatur yang  mengkaji  tentang  penggunaan  emotion  mining  masih sangat terbatas. Di sisi lain, emotion mining dapat melampaui analisis sentimen (opini) dan mengungkap emosi spesifik yang diungkapkan  oleh  pengguna  dalam  ulasan  mereka  tentang aplikasi mobile  banking ,  dalam  hal  ini  BRImo.  Dengan mengidentifikasi emosi seperti senang, marah, sedih, atau takut, dapat  memberikan  wawasan  yang  lebih  dalam  tentang pengalaman pengguna. Memahami emosi spesifik yang terkait dengan  fitur,  fungsi,  atau  aspek  tertentu  dari  aplikasi  dapat membantu pengembang dan penyedia aplikasi untuk mengatasi masalah  pengguna,  meningkatkan  kepuasan  pengguna,  dan menciptakan pengalaman yang lebih menarik secara emosional.
Penelitian  ini  menggunakan  model  klasifikasi  algoritma decision  tree (DT).  DT  merupakan  metode  klasifikasi  model supervised  learning untuk  menyelesaikan  permasalahan  ke dalam  struktur  pohon  [12].  DT  melihat  variabel  dalam kumpulan  data,  menentukan  mana  yang  paling  penting,  dan kemudian  muncul  dengan  struktur  hierarki  keputusan  yang paling  baik  mempartisi  data.  pohon  dibuat  dengan  membagi data  berdasarkan  variabel  dan  kemudian  menghitung  untuk melihat  berapa  banyak  yang  ada  di  setiap  keranjang  setelah setiap pemisahan  [13]. Membangun DT itu mudah dan cepat, dan  dapat  membuat  prediksi  dengan  cepat.  Ini  sederhana  dan mudah dipahami, dan pengguna tidak perlu melakukan banyak hal untuk menyiapkan data. Aturan dapat dibuat dengan cepat,
dan  kompleksitas  masalah  juga  berkurang  [13],  [14].  DT  ini merupakan algoritma non-parametrik sehingga dapat digunakan  pada dataset yang  besar  dan  kompleks  tanpa memaksakan  struktur  parametrik  yang  sulit.    Ketika  sampel yang  akan  digunakan  lumayan  besar  maka dataset tersebut dapat  dibagi  menjadi dataset training dan dataset validasi. Dataset training digunakan  sebagai  dasar  membangun  model dari  DT  dan dataset validasi  digunakan  untuk  memutuskan ukuran tree yang  sesuai  yang  dibutuhkan  untuk  mencapai model akhir yang lebih optimal [15].
Selain itu, melihat dari penelitian sebelumnya teks [7], hasil klasifikasi  emosi  teks  dari  data  Twitter  menggunakan  DT memperoleh akurasi yang lebih tinggi dibandingkan penelitian lain  yang  menggunakan  SVM  dan  KNN.  Nurfauzan  dan Maharani, juga menambang emosi dari teks Twitter berbahasa Indonesia  mendapati  DT memberikan nilai  akurasi klasifikasi emosi yang baik [15].

## II. M ETODE P ENELITIAN
Gambar 2 menjelaskan proses-proses dari mengambil data pada  kolom  komentar  aplikasi  BRImo  yang  tersedia  pada Google Play Store.

## Gambar 2. Langkah-langkah Penelitian
Setelah itu data akan melalui tahap pre-processing dan akan diukur  bobotnya  dengan  menggunakan  TF-IDF. Dataset tersebut kemudian dibagi menjadi 2 bagian yaitu data training dan data testing dan akan diolah untuk kemudian mendapatkan model  klasifikasi.  Setelah  itu  data  tersebut  akan  dievaluasi untuk  mendapatkan  nilai  dari  4  emosi  yaitu  marah,  senang, sedih dan takut.

## A. Data Collection
Peneliti  menggunakan web  data  scrapping serta library python  “pandas”  dan  “numpy” untuk  mengambil  sebanyak 10.000  ulasan  dari  Google  Play  Store.  Paramater scrapping
yang  peneliti  gunakan  yaitu  id  “id.co.bri.brimo”,  lang  “id”, country  “id”,  sort  “Sort.NEWEST”,  count  “10000”  dan  filter score with “None”.

## B. Text Preprocessing
Data  ulasan  aplikasi  BRImo  melewati  beberapa  tahapan seperti cleaning,  normalization,  tokenizing,  filtering dan stemming. Seperti yang ditunjukkan pada Gambar 3.

## Gambar 3. Langkah-langkah Text Preprocessing
TABEL 1. Contoh Hasil Preprocessing Before After Process Aplikasi sampah! kesalahan sistem kok setiap hari! Error kok setiap hari juga! Sangat tidak berguna! Aplikasi sampah kesalahan sistem kok setiap hari Error kok setiap hari juga sangat tidak berguna Cleaning Aplikasi sampah kesalahan sistem kok setiap hari Error kok setiap hari juga sangat tidak berguna ‘Aplikasi ‘, ‘sampah’, ‘kesalahan’, ‘sistem’, ‘kok’, ‘setiap’, ‘hari’, ‘Error’, ‘kok’, ‘setiap’,
‘hari’, ‘juga’, ‘Sangat’, ‘tidak’, ‘berguna’
Tokenizing
‘Aplikasi ‘, ‘sampah’, ‘kesalahan’, ‘sistem’,
‘kok’, ‘setiap’, ‘hari’,
‘Error’, ‘kok’, ‘setiap’, ‘hari’, ‘juga’, ‘Sangat’, ‘tidak’, ‘berguna’
‘Aplikasi ‘, ‘sampah’, ‘kesalahan’, ‘sistem’,
‘kok’, ‘setiap’, ‘hari’, ‘Error’, ‘kok’, ‘setiap’,
‘hari’, ‘juga’, ‘Sangat’, ‘tidak’, ‘berguna’
Normalization
‘Aplikasi ‘, ‘sampah’, ‘kesalahan’, ‘sistem’, ‘kok’, ‘setiap’, ‘hari’, ‘Error’, ‘kok’, ‘setiap’,‘hari’, ‘juga’, ‘Sangat’, ‘tidak’,
‘berguna’ ‘Aplikasi ‘, ‘sampah’, ‘kesalahan’, ‘sistem’,
‘Error’, ‘Sangat’,
‘berguna’ Filtering ‘Aplikasi ‘, ‘sampah’, ‘kesalahan’, ‘sistem’, ‘Error’, ‘Sangat’, ‘berguna’ aplikasi sampah kesalahan sistem error berguna Stemming
Data  ulasan  yang  diperoleh  oleh  peneliti  kemudian melewati  proses cleaning untuk  menghilangkan  angka  atau simbol yang tidak dibutuhkan, seperti hashtag, emoticon, tanda baca  dan  simbol-simbol  lainnya.  Setelah  itu  masuk  ke  tahap tokenizing untuk  memisahkan  kalimat  menjadi  kata per  kata. Kemudian  pada  tahap  normalization  dilakuan  mapping  untuk menghilangkan kata slang atau kata informal menjadi formal. Setelah itu pada tahap filtering kalimat dilakukan pengurangan kata  dalam  corpus  yang  disebut  stopwords  dan  penghilangan kata  yang  tidak  diperlukan  dalam penelitian. Dan  pada  tahap stemming akan  dilakukan  proses  penghilangan  semua  kata imbuhan  menjadi  kata  dasar.  Contoh:  di-,  me-,  kan-,  meng-, peng-, pe- dan lain-lain. Stemming bertujuan untuk mengurangi kata yang memiliki kata dasar yang sama. Seperti pada Tabel 1. Data yang awalnya berjumlah 10.000 telah berkurang sebanyak 3.373 dan tersisa 6.627.
Setelah  melewati  tahap  preprocessing,  data  dianalisis dengan membagi data ke dalam 3 kategori yaitu positif, negatif
dan  netral.  Selain  itu,  ditentukan range  polarity berdasarkan human judgement .

## C. Modeling
Setelah  melewati  tahap pre-processing dan sentiment analysis ,  data  kemudian  terbentuk  menjadi dataset . Dataset yang  telah  terbentuk  akan  melewati  tahap  TF-IDF  untuk membobotkan  setiap  kata  dalam  dokumen  berdasarkan frekuensi  kemunculan  kata  tersebut . Setelah  dilakukan pembobotan  terhadap  kata  dan  diperoleh dataset ,  peneliti kemudian membagi data ke dalam 2 bagian, yaitu data training 80% dan data testing 20% untuk kemudian dilakukan pengujian algoritma.
Pada  tahap  modeling,  peneliti  mengimplementasikan decision tree menggunakan Scikit-Learn yang sudah teruji dan memiliki dokumentasi yang lengkap  untuk mengetahui emosi apa  yang  sering  digunakan  oleh  pengguna  aplikasi  BRImo berdasarkan ulasan yang diberikan.

## D. Emotion Classfication
Setelah data telah melewati tahap preprocessing, sentimen analisis  dan  modeling,  maka  selanjutnya  dari  hasil  sentimen positif dan negatif akan diklasifikasikan ke dalam 4 emosi yaitu marah,  senang,  sedih  dan  takut.  Neutral  merupakan  sentimen analisis yang memiliki hasil undefined .

## E. Evaluation
Setelah  membangun  model  klasifikasi  sentimen,  penting untuk mengevaluasi kinerjanya. Ini biasanya dilakukan dengan menggunakan  data  uji  berlabel  yang  tidak  digunakan  selama fase pelatihan model. Metrik evaluasi umum meliputi akurasi, presisi, daya ingat, skor F1, dan analisis confusion matrix .

## III. H ASIL DAN A NALISA
Dari  10.000  data  yang  diperoleh,  peneliti  melakukan preprocessing  dan  analisis  sentiment  terhadap  data  yang  ada, dari tahap preprocessing cleaning sampai filtering, data masih berjumlah  10.000  dan  pada  tahap  stemming  data  berkurang menjadi 6627 data. Pada tahap sentimen analisis data dibagi ke dalam 3 kategori yaitu positif, negatif, dan netral, kode program ditunjukkan pada Gambar 4.
Setelah  data  telah  melewati  tahap  preprocessing  dan sentiment  analisis  maka  kemudian  akan  dilakukan  proses pembobotan  pada  kata  dengan  TF-IDF,  kode  program ditunjukkan  pada  Gambar  5.  Setelah  diperoleh dataset ,  data kemudian  akan  dibagi  ke  dalam  2  bagian  yaitu data  training 80%  dan  data  testing  20%  dan  kemudian  akan  dilakukan pengujian algoritma.
Gambar 4. Kode untuk Analisis Sentimen
Gambar 5. Kode untuk Pembobotan Kata
Gambar 6. Kode Algoritma Decision Tree
Pada  tahap  modeling,  peneliti  mengimplementasikan  DT menggunakan Scikit-Learn yang  sudah  teruji  dan  memiliki dokumentasi yang lengkap  untuk mengetahui emosi apa yang sering  digunakan  oleh pengguna  aplikasi  BRImo  berdasarkan ulasan yang diberikan.
Tabel 2 menampilkan kinerja model klasifikasi
menggunakan algoritma DT, dimana 950 sampel diklasifikasikan  dengan  benar,  masing-masing  486  dan  464 untuk  kelas  positif  dan  negatif.  Jumlah  sampel  yang  salah klasifikasi adalah 175.
TABEL 2. Confusion matrix True Prediksi Total Negatif Positif Negatif TN: 464 FP: 89 553 Positif FN: 86 TP: 486 572 Total 550 575 1125
Selanjutnya,  metrik  evaluasi  yaitu sensitivity,  Specificity, precision, recall, f1-score dan accuracy dihitung, dengan hasil masing-masing  memiliki  persentase  85.5%,  84%,  84.5,  84%, 84%  dan  84%.  Perhitungan  masing-masing metric yang digunakan adalah sebagai berikut:
Sensitivity : Mengukur seberapa baik classifier dapat digunakan untuk mengidentifikasi instance dari kelas positif.
Sensitivity: 486 486+86 x 100%= 85.5%
Specificity: Mengukur seberapa baik classifier dapat digunakan untuk mengidentifikasi instance dari kelas negatif.
Specificity: 464 464+89 x 100%= 84%
Precision: Mengukur rasio prediksi benar positif dibandingkan dengan keseluruhan hasil yang diprediksi positif.
precision: 486 486+89 x 100%= 84.5%
Accuracy: Mengukur keakuratan dari klasifikasi.
Accuracy: 486+464
486+464+89+86 x 100%= 84%
Dari  hasil  penentuan range  polarity yang  telah  dilakukan pada  tahap  sentimen  analisis,  sentimen  positif  dan  negatif diklasifikasikan ke dalam 4 emosi yaitu marah, senang, sedih dan takut. Neutral merupakan sentimen analisis yang memiliki hasil undefined . Range  polarity yang  ditentukan  oleh  peneliti adalah  berdasarkan human  judgement sebagai  berikut:  -1 sampai -10 sad , -11 sampai -20 angry , -21 sampai -60 fear dan 1 sampai 36 happy .
Maka  pada  tahap emotion  classification, data  yang berjumlah  6627  berkurang  998  karena  peneliti  tidak menggunakan neutral dalam  mengklasifikasikan  emosi. Gambar  7  menampilkan  hasil  klasifikasi  emosi  5623  data, dimana  didapati  dari  setiap  kelas  terbagi  secara  tidak  merata. Dataset yang  peneliti  peroleh,  terdiri  dari  2959  kelas  senang, 2196  kelas  sedih,  387  kelas  marah  dan  81  kelas  takut.  Dapat disimpulkan  bahwa  pengguna  aplikasi  BRImo  banyak memberikan  ulasan  yang  positif  yang  ditandai  2959  (53%) emosi senang. Namun, secara keseluruhan, ulasan positif tidak dominan dibandingkan total ulasan negatif yang tercermin dari emosi seidh, marah dan takut sebanyak 2664 (47%).
Gambar 7. Klasifikasi Emosi Pengguna BRImo

## IV. K ESIMPULAN
Pada penelitian ini, teknik emotion mining yang digunakan oleh  peneliti  untuk  mengidentifikasi  emosi  dari  teks  ulasan pengguna  aplikasi  BRImo.  Algoritma  DT  yang  digunakan memiliki kemampuan yang baik dalam mengenali dengan tepat emosi  yang  terkait  dengan  ulasan  pengguna.  Dengan  tingkat Sensitivity sebesar  85.5%,  algoritma  tersebut  mampu mengidentifikasi  dengan  akurat  sebagian  besar  emosi  yang
terkandung dalam ulasan. Specificity sebesar 84% menunjukkan kemampuan algoritma dalam mengklasifikasikan dengan  benar  emosi  negatif. Precision sebesar  84.5% mengindikasikan  bahwa  sebagian  besar  prediksi  positif  yang dilakukan oleh algoritma benar. Dan dengan tingkat accuracy sebesar 84%, algoritma decision tree mampu memberikan hasil klasifikasi yang akurat secara keseluruhan.
Hasil  analisis  klasifikasi  sentimen  menunjukkan  bahwa pengguna  aplikasi  BRImo  memberikan  ulasan  yang  cukup beragam. Terdapat 2959 (53%) ulasan dengan sentimen positif yang  ditandai  dengan  emosi  senang.  Meskipun  demikian, secara  keseluruhan,  ulasan  positif  tidak  mendominasi jumlahnya  dibandingkan  dengan  total  ulasan  negatif.  Ulasan negatif  tercermin  dalam  emosi  sedih,  marah,  dan  takut,  yang mencapai 2664 (47%). Hal ini menunjukkan bahwa meskipun ada  sejumlah  besar  ulasan  positif,  terdapat  juga  sejumlah signifikan  ulasan  negatif  yang  perlu  diperhatikan  dan ditindaklanjuti  oleh  pihak  yang  bertanggung  jawab  terhadap aplikasi  BRImo.  Penting  untuk  mempertimbangkan  dan mengatasi masalah yang mendasari ulasan negatif tersebut guna meningkatkan  pengalaman  pengguna  dan  kualitas  layanan secara keseluruhan.

## D AFTAR P USTAKA
[1] A.  C.  Mandiri,  Efriyanto,  and  E.  Y.  Metekohy, “Pengaruh  Kualitas  Layanan  dan  Kepercayaan Terhadap Kepuasan Nasabah dalam Menggunakan BRI Mobile  (BRImo),” Account ,  vol.  8,  no.  1,  pp.  1423– 1430, Jun. 2021.
[2] “Wow!  Ini  Mobile  Banking  Terbaik  Se-Indonesia,” detikNews , May 06, 2021.
[3] L. D. Jatmiko, “Top 10 Aplikasi Bank di Indonesia,” Bisnis.com , May 24, 2022.
[4] K.  Anam,  “Ramai  Transaksi  Mobile  Banking,  Bank Mana yang Tumbuh Tinggi?,” CNBC Indonesia , Apr. 28, 2023.
[5] S.  Hadi  and  N.  Novi,  “Faktor-Faktor  Yang
Mempengaruhi Penggunaan Layanan Mobile Banking,” Optimum: Jurnal Ekonomi dan Pembangunan ,  vol.  5,  no.  1,  p.  55,  2015,  doi: 10.12928/optimum.v5i1.7840.
[6] G.  A.  Sandag,  E.  H.  E.  Soegiarto,  L.  Laoh,  A. Gunawan,  and  D.  Sondakh,  “Sentiment  Analysis  of Government Policy Regarding PPKM on Twitter Using LSTM,”  in 2022  4th  International  Conference  on Cybernetics  and  Intelligent  System  (ICORIS) ,  Prapat, Indonesia: IEEE, Oct. 2022, pp. 1–6. doi: 10.1109/ICORIS56080.2022.10031474.
[7] J. Ranganathan and A. Tzacheva, “Emotion mining in social media data,” Procedia Comput Sci , vol. 159, pp. 58–66, 2019, doi: 10.1016/j.procs.2019.09.160.
[8] A.  Yadollahi,  A.  G.  Shahraki,  and  O.  R.  Zaiane, “Current  State  of  Text  Sentiment  Analysis  from Opinion to Emotion Mining,” ACM Comput Surv , vol. 50, no. 2, pp. 1–33, Mar. 2018, doi: 10.1145/3057270.
0 500 1000 1500 2000 2500 3000 ANGRY FEAR HAPPY SAD Emotion Classification
[9] M.  K.  Khoirul  Insan,  U.  Hayati,  and  O.  Nurdiawan, “Analisis  Sentimen  Aplikasi  BRImo  Pada  Ulasan Pengguna  di  Google  Play  Menggunakan  Algoritma Naive  Bayes,” JATI  (Jurnal  Mahasiswa  Teknik Informatika) , vol. 7, no. 1, pp. 478–483, Mar. 2023, doi: 10.36040/jati.v7i1.6373.
[10] M.  A.  Ligiarta  and  Y.  Ruldeviyani,  “Customer Satisfaction  Analysis  of  Mobile  Banking  Application Based  on  Twitter  Data,”  in 2022  2nd  International Conference  on  Electronic  and  Electrical  Engineering and Intelligent System (ICE3IS) , Yogyakarta, Indonesia:  IEEE,  Nov.  2022,  pp.  322–327.  doi: 10.1109/ICE3IS56585.2022.10010221.
[11] H.  I.  Harianja,  “Analisis  Sentimen  Ulasan  Pengguna terhadap Aplikasi BRImo BRI pada Situs Google Play Store  Menggunakan  Algoritma  Support  Vector Machine (SVM),” Universitas Sumatera Utara, Medan, 2022.
[12] K.  A.  Rokhman,  B.  Berlilana,  and  P.  Arsi,
“Perbandingan  Metode  Support  Vector  Machine  Dan Decision  Tree  Untuk  Analisis  Sentimen  Review Komentar Pada Aplikasi Transportasi Online,” Journal of  Information  System  Management  (JOISM) ,  vol.  3, no. 1, pp. 1–7, 2021, doi: 10.24076/joism.2021v3i1.341.
[13] A. Kumar, V. Dabas, and P. Hooda, “Text classification algorithms  for  mining  unstructured  data:  a  SWOT analysis,” International  Journal  of  Information Technology , vol. 12, no. 4, pp. 1159–1169, Dec. 2020, doi: 10.1007/s41870-017-0072-1.
[14] D. E. Sondakh, “Comparative Study of Classification Algorithms: Holdouts as Accuracy Estimation,” Cogito Smart Journal , vol. 1, no. 1, pp. 13–23, Dec. 2015.
[15] A.  Nurfauzan  and  W.  Maharani,  “Klasifikasi  Emosi Pada  Pengguna  Twitter  Menggunakan  Metode Klasifikasi Decision Tree,” eProceedings … , 2021.