JURNAL GAUSSIAN, Volume 11, Nomor 1, Tahun 2022, Halaman 01 - 10 Online di: https://ejournal3.undip.ac.id/index.php/gaussian/

## ANALISIS SENTIMEN REVIEW APLIKASI CRYPTOCURRENCY

## MENGGUNAKAN ALGORITMA MAXIMUM ENTROPY DENGAN METODE PEMBOBOTAN TF, TF-IDF DAN BINARY
Fadhilla Atansa Tamardina 1 , Hasbi Yasin 2* , Dwi Ispriyanti 3
1,2,3 Departemen Statistika, Fakultas Sains dan Matematika, Universitas Diponegoro *e-mail hasbiyasin@live.undip.ac.id

## ABSTRACT
Pandemi  COVID-19  yang  belum  berhenti  menyebabkan  kondisi  ekonomi  Indonesia  kian  memburuk. Masyarakat yang terkena dampak pemotongan upah akibat pandemi harus mencari cara untuk mendapatkan pendapatan pasif. Salah satu cara untuk mendapatkan hal tersebut adalah berinvestasi. Cryptocurrency adalah salah satu instrumen  investasi  berbasis aplikasi  yang  memiliki return tinggi.  Aplikasi Pintu  adalah  aplikasi pertama yang menyediakan fasilitas mobile apps pada penggunanya. Aplikasi yang dirilis pada tahun 2020 ini sudah  memiliki  banyak  ulasan  yang  diberikan  oleh  penggunanya.  Ulasan  ini  dibutuhkan  untuk  mengetahui apakah ulasan yang diberikan bersifat positif atau negatif. Analisis sentimen pada aplikasi Pintu dipilih untuk melihat sentimen pengguna yang akan dibagi menjadi dua kelas sentimen yaitu positif dan negatif. Klasifikasi dilakukan  dengan  algoritma Maximum  Entropy dengan  perbandingan  metode  pembobotan  kata Term Frequency (TF), Term  Frequency-Inverse  Document  Frequency (TF-IDF)  dan Binary .  Model  klasifikasi terbaik  dilihat  berdasarkan  nilai  akurasi  yang  dievaluasi  dengan  5- Fold  Cross  Validation. Hasil  klasifikasi model Maximum Entropy dengan Binary memiliki tingkat akurasi sebesar 83,21% sedangkan hasil klasifikasi model Maximum Entropy dengan Term Frequency hanya sebesar 83,01% dan model Maximum Entropy dengan Term  Frequency-Inverse  Document  Frequency hanya  sebesar  83,20%.  Hal  ini  menunjukkan  bahwa  tidak terdapat perbedaan yang signifikan pada model algoritma Maximum Entropy dengan metode pembobotan kata Term Frequency (TF), Term Frequency-Inverse Document Frequency (TF-IDF) dan Binary .
Keywords : Cryptocurrency,  Binary,  Term  Frequency,  Term  Frequency-Inverse  Document Frequency, Maximum Entropy

## 1. PENDAHULUAN
Pada awal Maret 2020, Pemerintah Indonesia resmi menerapkan social distancing dan physical  distancing .  Akibatnya,  masyarakat  cenderung  memilih  untuk  aktif  dalam  dunia maya.  Maraknya  penggunaan  media  sosial  di  Indonesia  menunjukkan  hasil  produktivitas yang lebih baik. Hal tersebut terbukti dari data rata-rata bulanan untuk waktu penggunaan aplikasi mobile non-game di Indonesia pada kuartal ke-2 naik 25 persen menurut App Annie
Berdasarkan survei yang dilakukan oleh Jobstreet, 43% pekerja di Indonesia mengalami pemotongan gaji akibat pandemi. Masyarakat pun lebih tertarik untuk berinvestasi dengan aplikasi untuk mendapatkan pendapatan pasif dengan c ryptocurrency yang memiliki return tinggi  dalam  setahun.    Penggunaannya  pun  sangat  aman  karena  adanya  teknik  enkripsi dengan mengacak info untuk membuat aktivitas menjadi rahasia dan sulit diakses oleh pihak luar. Salah satu aplikasi cryptocurrency yang diminati untuk diunduh adalah Pintu.
Penelitian  ini  difokuskan  pada  analisis  sentimen  yang  mengacu  pada  ulasan  aplikasi Pintu  dengan  metode  pembobotan  kata Term  Frequency (TF), Term  Frequency-Inverse Document Frequency (TF-IDF) dan Binary. Tujuannya adalah untuk mengetahui perbedaan yang  signifikan  dari  ketiga  model  kemudian  memberi  rekomendasi  serta  saran  kepada pengembang aplikasi Pintu.

## 2. TINJAUAN PUSTAKA

## 2.1. Cryptocurrency
Cryptocurrency adalah  mata  uang  virtual  yang  dapat  digunakan  sebagai  alternatif transaksi  dengan  mekanisme  melalui  dukungan  jaringan  internet  yang  dilindungi  dengan sistem sandi komputer yang rumit secara aman atau sering disebut teknologi blockchain .
2.1.1. Google Play Store
Google  Play Store atau  dikenal  sebelumnya  dengan Android  Market adalah  layanan distribusi  digital  berbentuk  toko  aplikasi  resmi  untuk Android yang  dioperasikan  dan dikembangkan oleh Google .

## 2.1.2. Pintu
Pintu  adalah  perusahaan  teknologi blockchain terkemuka  di  Indonesia.  (Pintu,  2020). Pintu merupakan aplikasi mobile cryptocurrency pertama di Indonesia yang mengedepankan kemudahan  untuk  jual  atau  beli  aset crypto melalui smartphone. Pintu  menyediakan infrastruktur yang memungkinkan pengguna untuk trading , mengirim, dan menyimpan aset crypto .
2.1.3. Online Review
Online  review dari  pelanggan  diartikan  sebagai  hasil  evaluasi  produk  yang  diunduh dalam  situs  perusahaan  atau  situs  pihak  ketiga  (Mudambi  dan  Schuff,  2010).  Pengguna aplikasi di Google Play Store dapat memberikan ulasan yang bersifat public dengan menulis ulasan  kepuasan atau  keluhan  sesuai  pengalaman  menggunakan  aplikasi  yang  diunduh  di Google Play Store.

## 2.2. Analisis Sentimen
Menurut (Liu, 2012), analisis sentimen atau opinion mining mengacu pada bidang yang luas  dari  pengolahan  bahasa  alami,  komputasi  linguistik  dan text  mining yang  memiliki tujuan  menganalisa  pendapat,  sentimen,  evaluasi,  sikap,  penilaian  dan  emosi  seseorang apakah pembicara atau penulis berkenan dengan suatu topik, produk, layanan, organisasi, individu,  ataupun  kegiatan  tertentu.  Sentimen  yang  didapatkan  nantinya  akan diklasifikasikan dalam bentuk positif, negatif atau netral.

## 2.3. Text Mining
Text mining adalah satu teknik yang dapat digunakan untuk melakukan klasifikasi dalam untuk menemukan pola yang menarik dari sekumpulan data tekstual yang berjumlah besar. Karakteristik data tekstual umumnya memiliki dimensi tinggi, terdapat noise dan memiliki struktur  yang  tidak  baik.  Untuk  mengatasinya,  proses text  mining dibagi  menjadi text preprocessing dan feature selection (Feldman & Sanger, 2007) .

## 2.4. Text Preprocessing
Text  preprocessing adalah  proses  mempersiapkan  teks  dokumen atau dataset mentah yang  sebelumnya  tidak  terstruktur  atau  sembarang  menjadi  data  yang  terstruktur.  Pada penelitian ini menggunakan spelling normalization, case folding, tokenizing, filtering, dan stemming.

## 2.5. Pelabelan Kata
Penelitian  ini  menggunakan sentiment  scoring untuk  melabelkan  kata. Sentiment scoring merupakan  teknik  yang  digunakan  untuk  melabelkan  suatu  pernyataan  yang digolongkan menjadi sentimen positif atau negatif.

## 2.6. Term Weighting
Term  Weighting atau  pembobotan  kata  adalah  metode  untuk  memberikan  nilai  atau bobot pada masing - masing term. Pada penelitian ini, peneliti menggunakan perbandingan metode pembobotan kata dengan menggunakan Term Frequency (TF) , Term Frequency – Inverse Document (TF-IDF) dan Binary.
2.6.1. Term Frequency (TF)
Term-Frequency atau TF murni merupakan metode yang paling sederhana. Metode ini didasarkan pada jumlah kemunculan term atau kata dalam dokumen. Contohnya jika muncul lima  kali maka kata tersebut bernilai  lima.
𝑊 𝑖,𝑗 =   𝑡𝑓 𝑖,𝑗 (1)
Keterangan : 𝑊 𝑖,𝑗 : Pembobotan TF untuk term ke – i pada dokumen ke – j tf ij : Jumlah kemunculan term 𝑡𝑗 dalam dokumen 𝑑 𝑖
2.6.2. Term Frequency – Inverse Document Frequency (TF-IDF)
Metode  TF-IDF  menghitung  nilai  dari  masing-masing  kata  di  dalam  dokumen menggunakan  frekuensi  kata  ( term )  tersebut  muncul.  Semakin  besar  jumlah term yang muncul (TF tinggi) maka semakin besar bobot dokumen.
𝑊 𝑖,𝑗 = 𝑛 𝑖,𝑗 ∑ 𝑛 𝑘,𝑗 𝑘 . log 2 𝐷 𝑑 𝑖 (2)
Keterangan : 𝑊 𝑖,𝑗 : Pembobotan TF-IDF untuk term ke – i pada dokumen ke – j 𝑛 𝑖,𝑗 : Banyaknya kemunculan term ke – i pada dokumen ke – j ∑ 𝑛 𝑘,𝑗 𝑘 : Jumlah kemunculan seluruh term pada dokumen ke – j
𝐷
: Banyaknya dokumen yang dibangkitkan 𝑑 𝑖 : Banyaknya dokumen yang mengandung term ke – i
2.6.3. Binary
Metode pembobotan kata binary adalah metode yang hanya memperhatikan ada tidaknya kata atau term pada sebuah dokumen, jika ada diberi nilai satu (1) jika tidak ada diberi nilai nol (0).
𝑊 𝑖,𝑗 =   { 1,   jika dokumen ke − j mengandung term ke − i 0,   jika dokumen ke − j tidak mengandung term ke − i (3)
Keterangan :
𝑊 𝑖,𝑗 : Pembobotan binary untuk term ke – i pada dokumen ke – j

## 2.7. Maximum Entropy
Maximum entropy adalah sebuah metode klasifikasi yang menggunakan nilai entropy untuk  mengklasifikasikan  suatu  data. Entropy digunakan  untuk  mengukur  tingkat heterogenitas atau keberagaman terhadap suatu kumpulan data. Secara definisi metode ini
digunakan  untuk  mencari  probabilitas  distribusi  yang  mempunyai  nilai entropy tinggi. Probabilitas  yang  dimaksud  ialah  hasil  prediksi  dari  suatu  teks  atau  kalimat  yang mengandung informasi. Fungsi umum entropy adalah sebagai berikut:
𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑋) =   − ∑ 𝑃(𝑥 𝑖 ) log 2 𝑃(𝑥 𝑖 ) 𝑛 𝑖=1 (4)
Dengan  n  adalah  jumlah  nilai  yang  ada  pada  atribut  (jumlah  kelas  klasifikasi), sedangkan 𝑃(𝑥 𝑖 ) menyatakan probabilitas sampel untuk kelas i. Pada klasifikasi teks, hasil adalah anggota dari suatu himpunan y dan kondisi yang mempengaruhi nilai hasil tersebut dinamakan  sebagai  konteks,  yang  mana  konteks  merupakan  anggota  dari  himpunan x . Himpunan x adalah  fitur-fitur  yang  dikombinasikan. Output yang  didapatkan  dengan menggunakan  metode maximum  entropy adalah  probabilitas  himpunan y terhadap x (dipresentasikan ke dalam fungsi f(x,y). Berikut ialah fungsi tersebut:
𝑓(𝑥, 𝑦) = { ,𝑙𝑎𝑖𝑛𝑛𝑦𝑎 ,𝑗𝑖𝑘𝑎 𝑦`=𝑦 𝑑𝑎𝑛 𝑥=𝑏𝑒𝑛𝑎𝑟 0 1
(5)
Probabilitas bersyarat ( conditional probability ) atau suatu keadaan y terhadap x dapat dilihat pada persamaan berikut:
𝑝(𝑦|𝑥) = 1 𝑍 𝑖 (𝑥) exp(∑ λ 𝑖 𝑖 𝑓 𝑖 (𝑥, 𝑦) (6)
Dengan exp(∑ λ 𝑖 𝑖 𝑓 𝑖 (𝑥, 𝑦) adalah nilai kejadian spesifik dalam suatu dokumen terhadap kelas, sedangkan nilai Z atau nilai normalisasi dari setiap kata dengan rumus sebagai berikut:
𝑍 𝛼 (𝑥) = ∑ exp(∑ λ 𝑖 𝑖 𝑓 𝑖 (𝑥, 𝑦) 𝑦 (7)

## 2.8. K-Fold Cross Validation
K-Fold  Cross  Validation adalah  salah  satu  metode cross  validation yang  digunakan untuk  menghitung  akurasi  prediksi  suatu  sistem.  Data  dibagi  menjadi  k  segmen  yang memiliki rasio yang sama atau hampir sama. Pelatihan terhadap data dan validasi sebanyak k  kali  dengan  setiap  percobaan  mengambil  satu  segmen  berbeda  sebagai  data  tes  atau validasi  dan  k-1  segmen  lainnya  sebagai  data  latih  untuk  diambil  rata-rata  dari  hasil  tiap iterasi  (Refaeilzadeh,  et  al.,  2009).  Rata-rata  akurasi  keseluruhan  iterasi  dijadikan  ukuran dalam mengevaluasi kinerja klasifikasi, yang mana dihitung dengan rumus berikut:
𝑥̅ = ∑ 𝑥 𝑛 (8)
dengan n adalah banyaknya nilai dalam sampel dan ∑ 𝑥 adalah jumlah nilai x dalam sampel.

## 2.9. Evaluasi Model Klasifikasi
Pada kinerja klasifikasi terdapat evaluasi untuk empat kemungkinan yang bisa terjadi dari  suatu  data.  Jika  data  positif  dan  dipresiksi  positif  maka  akan  dihitung  sebagai true positive dan jika data positif diprediksi negatif maka akan dihitung sebagai false negative . Pada  data  negatif  jika  diprediksi  negatif  akan  dihitung  sebagai true  negative dan  jika diprediksi positif maka akan dihitung sebagai false positive (Fawcett, 2006).  Hasil kinerja klasifikasi biner dapat direpresentasikan dalam confusion matrix .
Tabel 1. Confusion Matrix .
Penelitian ini menggunakan evaluasi kinerja klasifikasi model dengan nilai akurasi yang diperoleh dengan menggunakan persamaan berikut:
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦  = 𝑇𝑃 + 𝐹𝑁 𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 (9)

## 2.10. Word Cloud
Word  Cloud merupakan  pendekatan  yang  dapat  menjelaskan  pertanyaan  penelitian dengan sangat cepat   dan   mudah. Word Cloud dapat menampilkan kata yang paling sering muncul atau paling sering digunakan pada suatu web ataupun teks. Kata yang paling sering muncul akan memiliki ukuran yang lebih besar dari kata yang lain.

## 2.11. Diagram Fishbone
Diagram Fishbone dikenal  juga  sebagai  diagram  Sebab-Akibat.  Konsep  diagram fishbone secara  umum  adalah  dengan  meletakkan  permasalahan  mendasar  pada  bagian kepala atau bagian paling kanan dari diagram kerangka tulang ikan. Diagram ini berguna untuk memperlihatkan faktor-faktor utama yang berpengaruh pada kualitas dan mempunyai akibat pada masalah yang dipelajari (Haizer , J. & Barry, R., 2008).

## 3. METODE PENELITIAN

## 3.1. Jenis dan Sumber Data
Jenis  data  yang  digunakan  merupakan  data  primer  berupa  data  kualitatif.  Data  yang digunakan adalah ulasan dari pengguna aplikasi Pintu. Web scraping dilakukan pada tanggal 30 Mei 2021 dengan Data Miner. Data hasil web scraping diperoleh sebanyak 1184 ulasan yang  kemudian  dieliminasi  menjadi  sebanyak  500  ulasan  untuk  diteliti.  Sampel  ulasan tersebut diambil dari tanggal 4 Februari 2020 – 5 Februari 2021 yang akan digunakan untuk mengetahui kinerja aplikasi Pintu dalam setahun.

## 3.2. Langkah-Langkah Analisis Data
Metode yang digunakan dalam penelitian ini adalah Maximum Entropy . Analisis data pada penelitian ini dilakukan dengan bantuan software RStudio dan Microsoft Excel 2016. Adapun langkah-langkah analisis yang dilakukan adalah sebagai berikut:
1. Web Scraping
2. Data Preprocessing,
3. Pelabelan data
4. Pembobotan kata dengan TF, TF-IDF dan Binary
5. Feature Selection ( Stopwords Removal , Stemming , dan Tokenizing )
6. Membangun model klasifikasi dan melakukan pengujian model klasifikasi
7. Mengevaluasi performansi model
8. Interpretasi  hasil  ke  dalam  bentuk  visual  menggunakan word  cloud dan  diagram fishbone .
4. HASIL DAN PEMBAHASAN
4.1. Deskripsi Data Penelitian
Predicted Positive Negative Actual Positive True Positive (TP) False Negative (FN) Negative False Positive (FP) True Negative (TN)
Data  ulasan  yang  akan  dianalisis  diambil  dari  beberapa  kriteria  yaitu,  jumlah  ulasan yang  masuk  berdasarkan  urutan  waktu, rating aplikasi  dan  perbandingan  jumlah  ulasan positif dan ulasan negatif. Berikut ini merupakan jumlah ulasan aplikasi Pintu berdasarkan waktu.
Gambar 1. Histogram Ulasan Aplikasi Pintu Berdasarkan Waktu .
Dari  grafik  ini  dapat  dilihat  bahwa  dalam  setahun  aplikasi  Pintu  mengalami pertambahan  jumlah  ulasan  dari  pengguna.  Hal  tersebut  membuktikan  bahwa  tingkat kepercayaan  pengguna  dalam  berinvestasi cryptocurrency di  aplikasi  Pintu  bertambah sehingga pengguna berani untuk memberi ulasan.
Gambar 2. Bar Chart Rating Pengguna Aplikasi Pintu .
Diketahui  bahwa  terdapat  358  pengguna  paling  banyak  memberikan rating “Sangat Suka”. Hal ini menunjukan bahwa aplikasi Pintu sudah cukup mampu memuaskan pengguna dalam waktu hampir setahun dari waktu rilis aplikasi.

## 4.2. Text Preprocessing
Proses ini membersihkan dan mentransformasi data agar siap untuk diolah. Penelitian ini menggunakan case  folding,  remove  number,  remove  punctuation,  remove  emoticon,  strip whitespace dan normalisasi kata.

## 4.3. Pelabelan Kata
Pelabelan  menggunakan  teknik sentiment  scoring ,  mendapatkan  hasil  bahwa  kelas sentimen  positif  lebih  dominan  dibandingkan  kelas  sentimen  negatif.  Jumlah  ulasan  yang masuk ke dalam kelas positif sebanyak 390 ulasan dan ulasan yang masuk ke dalam kelas negatif  sebanyak  110  ulasan.  Pelabelan  menggunakan  teknik sentiment  scoring masih menimbulkan kesalahan sebanyak 14 atau 2,8% dari 500 ulasan. Kesalahan ini disebabkan karena skor akhir dari masing-masing ulasan yang dihitung oleh program komputasi berbeda dengan penilaian yang diputuskan oleh manusia. Hal ini memang seringkali terjadi karena sentimen  merupakan  hal  yang  bersifat  subjektif.  Kesalahan  dalam  pelabelan  dengan sentiment scoring tersebut diganti dengan pelabelan manual untuk mendapatkan label yang benar  pada  seluruh  ulasan  sehingga  dapat  memberikan  performa  yang  optimal.  Setelah dilakukan  perbaikan,  jumlah  ulasan  positif  menjadi  sebanyak  376  dan  ulasan  negatif sebanyak 651.

## 4.4. Feature Selection
Pada penelitian ini, feature selection dilakukan dengan melakukan stopwords removal, tokenizing dan stemming .  Setelah  melalui stopwords  removal, jumlah  kata  pada  seluruh dokumen  adalah  sebanyak  6338 term yang  sebelumnya  berjumlah  sebanyak  2330 term . Proses tokenizing digunakan  untuk  memisahkan  kata  per  kata  tiap  ulasan  dan steeming dilakukan untuk mengubah kata-kata yang berimbuhan menjadi kata dasar.

## 4.5. Pembobotan Kata

## 4.5.1. Term Frequency (TF)
Pembobotan  kata  dibutuhkan  untuk  mengubah term menjadi  bilangan  yang  dapat dihitung dan diolah. Tabel 2 merupakan hasil pembobotan kata menggunakan TF.
Tabel 2. Contoh Hasil Pembobotan TF pada Beberapa Term .
Term Dok 1 Dok 2 Dok 3 Dok 4 ⁞ Dok 500 Jumlah bagus 1 1 0 1 ⁞ 0 156 bisa 0 0 0 0 ⁞ 0 66 tambah 0 0 0 0 ⁞ 1 13
4.5.2. Term Frequency – Inverse Document Frequency (TF-IDF)
Pembobotan  kata  dibutuhkan  untuk  mengubah term menjadi  bilangan  yang  dapat dihitung dan diolah. Tabel 3 merupakan hasil pembobotan kata menggunakan TF-IDF.
Tabel 3. Contoh Hasil Pembobotan TF-IDF pada Beberapa Term .
Dokumen TF-IDF bagus bisa guna masalah masuk susah tambah Dokumen 1 0,45913 0 0,82334 0 0 0 0 Dokumen 2 0,3673 0 1,31734 0,87616 0 0 0
⁞ ⁞ ⁞ ⁞ ⁞ ⁞ ⁞ ⁞ Dokumen 500 0 0 0 0 0 3,32193 0

## 4.5.3. Binary
Pembobotan  kata  dibutuhkan  untuk  mengubah term menjadi  bilangan  yang  dapat dihitung dan diolah. Tabel 4 merupakan hasil pembobotan kata menggunakan Binary .
Tabel 4. Contoh Hasil Pembobotan Binary pada Beberapa Term . Term Dok 1 Dok 2 Dok 3 Dok 4 ⁞ Dok 500 Jumlah bagus 1 1 0 1 ⁞ 0 140 bisa 0 0 0 0 ⁞ 0 55 tambah 0 0 0 0 ⁞ 1 12 4.6. Klasifikasi Sentimen

## 4.6.1 Data Latih dan Data Uji
Rasio data latih dan data uji yang digunakan dalam penelitian ini adalah 80% : 20%. Tabel 5 merupakan perbandingan proporsi data latih dan data uji.
Tabel 5. Proporsi Data Latih dan Data Uji. Klasifikasi Data Latih (80%) Data Uji (20%) Jumlah Positif 300,8 ≈ 301 75,2 ≈  75 376 Negatif 99,2 ≈  99 24,8 ≈  25 124 Jumlah 400 100 500

## 4.6.2 Maximum Entropy
Evaluasi performansi yang digunakan adalah confusion matrix dengan accuracy sebagai parameter. Tabel  6 merupakan hasil dari nilai accuracy model Maximum Entropy dengan TF, TF-IDF dan Binary .
Tabel 6. Rata – Rata Tingkat Accuracy Model.
Maximum Entropy TF TF-IDF Binary Accuracy 83,01 83,20 83,21 Sensitivity 73,40 62,13 71,77 Specifity 86,17 90,15 86,99

## 4.7. Word Cloud
Visualisasi word  cloud menggunakan software RStudio.  Semakin  besar  ukuran  kata maka semakin besar pula frekuensi kemunculan kata tersebut pada suatu dokumen.
Gambar 3. Word Cloud Sentimen Positif dan Sentimen Negatif.
Gambar 3 menunjukkan bahwa kata dalam ulasan aplikasi Pintu pada kelas sentimen positif  yang  sering  muncul  adalah  kata    “bagus”.    Kata  tersebut  menggambarkan  bahwa pengguna aplikasi Pintu telah mendapatkan pengalaman yang bagus saat memakai aplikasi Pintu.  Kata  yang  sering  muncul  pada  sentimen  negatif  adalah  “masuk”  dan  “bisa”.  Kata “bisa”  adalah  kata  yang  bersifat  negatif  yang  disampaikan  oleh  pengguna  aplikasi  Pintu dikarenakan banyak pengguna yang tidak bisa masuk ke dalam aplikasi.

## 4.8. Diagram Fishbone
Diagram fishbone atau diagram sebab – akibat pada penelitian ini dibagi menjadi dua akibat yaitu sentimen positif dan sentimen negatif. Dari dua akibat tersebut dibagi menjadi beberapa penyebab permasalahan yang dibagi secara manual oleh peneliti dengan melihat hasil pelabelan.
Gambar 4. Diagram Fishbone Sentimen Positif.
Gambar 5 menunjukkan sirip ikan atau penyebab dari sentimen positif adalah tampilan, kegunaan,  biaya  dan  kecepatan.  Misal  sirip  “tampilan”  memiliki  duri  yaitu  “mulus”  dan “ramah” yang dapat diartikan bahwa tampilan pada aplikasi Pintu sangat mulus dan ramah pengguna sehingga pengguna memberikan ulasan yang bersifat positif.
Gambar 5. Diagram Fishbone Sentimen Negatif.
Gambar 6 menunjukkan sirip ikan atau penyebab dari sentimen negatif adalah masalah, variasi, sistem dan layanan. Misal sirip “variasi” memiliki duri yaitu “sedikit” dan “kurang” yang dapat diartikan bahwa variasi koin cryptocurrency pada aplikasi Pintu masih sedikit dan kurang variatif sehingga pengguna memberikan ulasan yang bersifat negatif.

## 5. KESIMPULAN
Pengguna  aplikasi  Pintu  cenderung  menuliskan  ulasan  positif  dalam  aplikasi  Pintu berdasarkan pada pelabelan yang telah dilakukan. Pelabelan menggunakan teknik sentiment scoring masih menimbulkan kesalahan diakibatkan skor yang dihitung oleh program tidak sesuai dengan penilaian yang diputuskan oleh manusia. Hal ini disebabkan penentuan kelas sentimen yang melibatkan persepsi manusia. Klasifikasi menggunakan Maximum Entropy dengan metode pembobotan kata TF menghasilkan performa dengan tingkat akurasi sebesar 83,01%,  sementara Maximum  Entropy dengan  metode  pembobotan  kata  TF - IDF menghasilkan  performa  dengan  tingkat  akurasi  83,20%  dan Maximum  Entropy dengan metode  pembobotan  kata Binary menghasilkan  performa  dengan  tingkat  akurasi  83,21%. Sehingga, tidak terdapat perbedaan yang signifikan dari hasil tingkat akurasi untuk ketiga model tersebut.

## DAFTAR PUSTAKA
Fawcett, T., 2006. An Introduction to ROC Analysis. Pattern Recognition Letters, Volume 27(8), pp. 861-874.
Feldman,  R.  &  Sanger,  J.,  2007. The  Text  Mining  Handbook:  Advanced  approaches  in Analyzing Unstructured Data. New York: Cambridge University Press. Haizer , J. & Barry, R., 2008. Operation Management. Jakarta: Salemba Empat.
Liu,  B.,  2012. Sentiment  Analysis  and  Opinion  Mining. Rafael:  Morgan  &  Claypool Publisher.
Pintu. 2020. Kami Adalah Pintu. https://pintu.co.id/about. Diakses: 12 Februari 2021. Refaeilzadeh, P., Tang , L. & Liu, H., 2009. Encyclopedia of Database Systems. New York: Springer.
Mudambi, S. M. dan Schuff, D. (2010). What Makes A Helpful Online Review? A Study of Customer Reviewa on Amazon.com. Mis Quarterly, Vol. 34, No. 1, Hal. 185-200.