## Analisis Sentimen Ulasan Pelanggan Terhadap Layanan Grab Indonesia Menggunakan Multinominal Naïve Bayes Classifier
Firman Noor Hasan #1 , Monica Dwijayanti #2
# Teknik Informatika, Universitas Muhammadiyah Prof. Dr. Hamka Jl. Tanah Merdeka No.6, Kec. Pasar Rebo, DKI Jakarta 13830, Indonesia
1 firman.noorhasan@uhamka.ac.id
3 monicaaadj@gmail.com Abstrak— Transportasi merupakan jenis moda kendaraan  yang  digunakan  seseorang  agar  mencapai satu  tempat  ke  tempat  lainnya  yang  ingin  dituju.  Salah satu  jenis  transportasi  yang  sangat  familiar  bagi masyarakat  adalah  ojek  online  yaitu  Grab  Indonesia. Grab  terus  berinovasi  untuk  memenuhi  kebutuhan pelanggan secara lebih efisien, dan cakupan layanannya  juga  semakin  luas.  Tujuan  dari  penelitian ini  adalah  untuk  mengetahui  berapa  banyak  hasil sentimen  positif  dan  negatif  dari  dataset,  dan mengetahui  hasil  dari  proses  pengujian  algoritma  dan nilai  akurasi  dari  pengujian  evaluasi,  dan  mengetahui apakah  pelanggan  puas  dengan  Layanan  Grab Indonesia.  Hasil  output  yang  didapatkan  dari  1000 dataset  yang  dianalisa  mengenai  kepuasan  pelanggan terhadap  layanan  Grab  Indonesia,  bahwa  sentimen positif  yang  didapatkan  adalah  sebanyak  911, sedangkan sentimen negatif dengan hasil sebanyak 89, untuk  sentimen  negatif  mendapatkan  nilai  precision sebesar 57%, recall 67% dan f1-score 62%. Sedangkan untuk  sentimen  positif  mendapatkan  nilai  precision sebesar 97%, recall 95% dan f1-score 96%.
Kata kunci — analisis sentimen, naïve bayes classifier, kepuasan pelanggan, sosial media, twitter, grab.

## I. P ENDAHULUAN
Transportasi  merupakan  jenis  moda  kendaraan  yang digunakan seseorang agar mencapai satu tempat ke tempat lainnya  yang  ingin  dituju.  Saat  ini  sudah  banyak  macam jenis  kendaraan  yang  bisa  kita  kita  jumpai  di  jalan  raya. Tidak  dipungkiri  pertumbuhan ojek  online telah merambah  pada  semua  wilayah  khususnya  di  Indonesia, yang mana diantaranya juga tidak asing digunakan karena kepopulerannya adalah Grab Grab memberikan enam jasa layanan  yang  mampu  dimaanfatkan  oleh  pelanggannya, yaitu  GrabCar  (layanan  angkutan  mobil),  GrabBike (layanan angkutan motor), GrabFood (layanan beli makan dan  minum),  GrabShare  (layanan  berbagi  penumpang
yang  berbeda dengan  rute  tujuan  yang  searah),  GrabMart (layanan belanja), dan GrabPulsa/Token (layanan membeli pulsa/token) yang menekankan keunggulan pada Kecepatan, Inovasi dan Interaksi Sosial [1].
Data  merupakan  aset  yang  sangat  berharga  bagi perusahaan  [2].  Data  sebiaknya  dapat  terdokumentasi dengan baik [3]. Oleh karenanya data akan sangat berguna dikemudian hari [4]. Apabila layanan yang diterima sesuai dengan  asa,  layanan  tersebut  berhasil  dinilai  memuaskan atau  baik.  Sebaliknya  bila  layanan  yang  diterima  tidak sesuai dengan asa, layanan tersebut dinilai buruk. Dari hal itulah,  terlihat  bahwa  kepuasan  pelanggan  terhadap kualitas  layanan  yang  diberikan  menjadi  fokus  utama penelitian ini [5].
Di era digital, orang lebih banyak melakukan kegiatan komunikasi  melalui  sosial  media  [6].  Salah  satu platform dunia  maya  yang  sering  digunakan  oleh  publik  untuk mengutarakan opini dengan bebas yaitu pada media sosial Twitter [7].  Semakin  banyak  orang  yang  berkomentar tentang  layanan  Grab  yang  diungkapkan  oleh  publik, maka  semakin  tinggi  juga  sentimen  yang  bisa  mengarah terhadap  puas  dan  ketidakpuasan  pelayanan  yang diberikan. Aspek yang menguraikan pandangan, penilaian, evaluasi, sikap, dan emosi seseorang terhadap suatu topik, layanan,  produk,  individu,  organisasi,  atau  kegiatan tertentu  biasa  disebut  analisis  sentimen  [8].  Semuanya dapat  terukur  jika  data  dapat  disesuaikan  dengan  metode pendekatan  yang  digunakan  [9].  Ujaran-ujaran  yang dikeluarkan  bisa  dikumpulkan  menjadi  satu  yang  disebut sentimen. Dalam  proses  bisnis,  sebuah  analisis  sentimen dapat menjadi saran untuk meningkatkan layanan [10].
Algoritma  Klasifikasi Naïve  Bayes dipercaya  sebagai metode yang berpotensi baik untuk melakukan pembagian terstruktur  mengenai  data  daripada  metode  pembagian terstruktur  mengenai  lainnya  pada  hal  akurasi  dan komputasi  [11].  Dalam  proses  utama  pendukung penelitian ini, pengambilan  data set dilakukan pada media sosial  yaitu official akun  yang  dimiliki  oleh  Grab  d i
twitter yaitu dengan username @GrabID untuk mengambil  ulasan  yang  diekspresikan  oleh  publik. Kumpulan-kumpulan  dari  sentimen  yang  berasal  dari tweet  akan  diklasifikasikan  menjadi  sentimen positif  atau negatif.
Analisis sentimen merupakan studi perbandingan antara suatu  pandangan,  sentimen,  penilaian,  sikap  dan  emosi orang terhadap objek dan aspeknya yang diekspresikan ke dalam  teks  [12].  Sistem natural  language harus memperhatikan  pengetahuan  bahasa  itu  sendiri,  termasuk kata-kata  yang  digunakan,  cara  kombinasi  kata  yang menghasilkan kalimat, arti kata, fungsi kata dalam kalimat, dll. Meskipun dalam fungsi bahasa ada hal lain yang perlu diperhatikan dan memegang peranan yang sangat penting, yaitu  kemampuan  pemahaman  manusia,  dan  kemampuan pemahaman  diperoleh  atas  dasar  pengetahuan  yang  terus menerus  diperoleh  dalam  kehidupan  [13].  Teks  mining dihasilkan  menurut  berkas,  yang  bertujuan  bisa  mewakili isi  dari  dokumen  dengan  cara  mencari  istilah-istilah sebagai  bentuk  analisis  keterkaitannya  [14].  Urutan kejadian munculnya kata pada dokumen tidak dipedulikan dalam  Multinomial Naïve  Bayes, penggunaan  distribusi multinominal diolah pada setiap kata [15].
II. M ETODE
Gambar dibawah ini memperlihatkan tahapan penelitian yang dilakukan oleh peneliti.
Gambar. 1  Diagram alir penelitian

## A. Pengumpulan Data
Langkah  awal  yang  dilakukan  adalah  membuat  akun pada Twitter  Development yang  berfungsi  khusus  untuk mengolah  data  pada  akun Twitter.  S elanjutnya  peneliti
akan  mendapatkan Key  Token dan Key  Access yang nantinya  berfungsi  sebagai Application  Programming
Interface (API) atau aplikasi antarmuka yang menghubungkan  dari  aplikasi  satu  ke  aplikasi  lainnya. Selanjutnya  proses  pengkodingan  tahapan crawling akan dilakukan pada software  Python yang  bisa  dilihat  berikut ini:
Gambar. 2  Ilustrasi mendapatkan Key API dari Twitter Development
Selanjutnya dilakukan proses crawling pada tweet akun @GrabID , seperti yang diperlihatkan oleh gambar berikut:
Gambar. 3  Proses crawling terhadap tweet akun @GrabID

## B. Preprocessing Dataset
Setelah  berhasil  mengubah file  crawling menjadi dataset ,  maka  dilakukan  tahapan preprocessing  dataset . Proses preprocessing terdiri  dari  beberapa  tahapan,  yaitu case  folding , cleansing , stemming .  Tahapan  dari preprocessing dataset, dijelaskan secara rinci dibawah ini.
Case folding merupakan proses mengganti seluruh kata menjadi  alfabet  kecil,  seperti  ditunjukkan  oleh  tabel berikut.
TABEL I P ROSES C ASE F OLDING No Proses Input Proses Output 1 Malam Kak Leny @Leny_Brilyan, maaf banget udah bikin Kakak kecewa malam kak leny @leny_brilyan, maaf banget udah bikin kakak kecewa 2 Jgn syedih dong Kak, nantikan terus kejutan promo di wilayah lainnya yahh. jgn syedih dong kak, nantikan terus kejutan promo di wilayah lainnya yahh. 3 Apakah translation di GrabChat harus punya TOEFL 550, biar pas pesen GrabFood terus nge-chat abangnya "Siap mas!" gak di-translate "Ready gold!” ?
apakah translation di grabchat harus punya toefl 550, biar pas pesen grabfood terus nge-chat abangnya “siap mas!” gak di-translate “ready gold!” ?
4 Maaf sudah buat kakak ga nyaman ya, sudah aku bantu berikan jawaban
maaf sudah buat kakak ga nyaman ya, sudah aku bantu berikan jawaban
No Proses Input Proses Output nya ya ☺ nya ya ☺ 5 Buat ongkir dipengaruhi juga dari tingginya permintaan serta ketersediaan pengemudi di sekitar yahh. buat ongkir dipengaruhi juga dari tingginya permintaan serta ketersediaan pengemudi di sekitar yahh.
6 Maaf bgt ya Kak ðŸ™. Jika Kakak dapat mitra pengemudi yg jauh kemungkinan bs terjadi karena Aplikasi blm versi terbaru, sinyal yg tidak stabil atau karena minimnya ketersediaan mitra pengemudi di lokasi
Kakak sehingga pencariannya menjadi diperluas.
maaf bgt ya kak ðŸ™. jika kakak dapat mitra pengemudi yg jauh kemungkinan bs terjadi karena aplikasi blm versi terbaru, sinyal yg tidak stabil atau karena minimnya ketersediaan mitra pengemudi di lokasi kakak sehingga pencariannya menjadi diperluas.
Selanjutnya  adalah  proses cleansing . Cleansing merupakan  proses  membersihkan  kata  dari hashtag , mention dan emoticon seperti  yang  terlihat  pada  tabel berikut.
TABEL III
P ROSES C LEANSING No Proses Input Proses Output 1 malam kak leny @leny_brilyan, maaf banget udah bikin kakak kecewa malam kak leny leny brilyan maaf banget udah bikin kakak kecewa 2 jgn syedih dong kak, nantikan terus kejutan promo di wilayah lainnya yahh. jgn syedih dong kak nantikan terus kejutan promo di wilayah lainnya yahh 3 apakah translation di grabchat harus punya toefl
550, biar pas pesen grabfood terus nge-chat abangnya “siap mas!” gak di-translate “ready gold!” ?
apakah translation di grabchat harus punya toefl 550 biar pas pesen grabfood terus nge-chat abangnya siap mas gak di-translate ready gold
4 maaf sudah buat kakak ga nyaman ya, sudah aku bantu berikan jawaban nya ya ☺
maaf sudah buat kakak ga nyaman ya sudah aku bantu berikan jawaban nya ya
5 buat ongkir dipengaruhi juga dari tingginya permintaan serta ketersediaan pengemudi di sekitar yahh. buat ongkir dipengaruhi juga dari tingginya permintaan serta ketersediaan pengemudi di sekitar yahh 6 Maaf bgt ya Kak ðŸ™. jika kakak dapat mitra pengemudi yg jauh kemungkinan bs terjadi
karena Aplikasi blm versi terbaru, sinyal yg tidak stabil atau karena
minimnya ketersediaan
maaf bgt ya kak. jika kakak dapat mitra pengemudi yg jauh kemungkinan bs terjadi karena aplikasi blm versi terbaru, sinyal yg tidak stabil atau karena minimnya ketersediaan
No Proses Input Proses Output mitra pengemudi di lokasi Kakak sehingga pencariannya menjadi diperluas. mitra pengemudi di lokasi kakak sehingga pencariannya menjadi diperluas
Selanjutnya  adalah  proses stemming .  Stemming merupakan  proses  mengganti  kata  kerja  di  dokumen menjadi kata benda, seperti terlihat pada tabel berikut.
TABEL IIIII P ROSES S TEMMING No Sebelum Proses Setelah Proses 1 malam kak leny leny brilyan maaf banget udah bikin kakak kecewa malam kak leny leny brilyan maaf sudah bikin kakak kecewa 2 jgn syedih dong kak nantikan terus kejutan promo di wilayah lainnya yahh jangan sedih kak nanti promo di wilayah lain ya 3 apakah translation di grabchat harus punya toefl 550 biar pas pesen grabfood terus nge-chat abangnya siap mas gak di- translate ready gold apa translation grabchat harus punya toefl 550 biar pesan grabfood chat abang siap mas translate ready gold 4 maaf sudah buat kakak ga nyaman ya sudah aku bantu berikan jawaban nya ya maaf sudah buat kakak gak nyaman ya sudah aku bantu beri jawab nya ya 5 buat ongkir dipengaruhi juga dari tingginya permintaan serta ketersediaan pengemudi di sekitar yahh buat ongkir pengaruh dari tinggi minta serta sedia pengemudi di sekitar ya 6 maaf bgt ya kak. Jika kakak dapat mitra pengemudi yg jauh kemungkinan bs terjadi karena aplikasi blm versi terbaru, sinyal yg tidak stabil atau karena minimnya ketersediaan mitra pengemudi di lokasi kakak sehingga pencariannya menjadi
diperluas.
maaf ya kak. jika kakak dapat mitra pengemudi yg jauh mungkin jadi karena aplikasi versi terbaru, sinyal tidak stabil atau karena minim sedia mitra pengemudi lokasi kakak hingga cari jadi luas

## C. Dataset Leksikon
Langkah  selanjutnya  yaitu  memasukan  data set kamus leksikon  Indonesia.  Peneliti  menggunakan  data  berbasis kamus  leksikon,  yaitu  cara  membuatkan  suatu  sentimen leksikon yang relatif sederhana dilakukan.  Pendekatan ini menggunakan  kamus  sinonim  dan  antonim  suatu  kata yang mengandung informasi [16] . Hasil proses pengujian sebelumnya dimana telah dilakukan pembobotan terhadap kata-kata yang dikumpulkan menjadi satu kedalam kamus sentimen  positif  dan  kamus  sentimen  negatif  [17].  Hasil kamus ditunjukkan pada gambar dibawah ini.
Gambar. 4  Kamus leksikon sentimen positif & sentimen negatif.
Hasil  dari preprocessing  dataset leksikon,  ditunjukkan oleh gambar berikut.
Gambar. 5  Proses preprocessing dataset leksikon.

## III. H ASIL DAN P EMBAHASAN
Peneliti  menunjukkan  frekuensi  kata  yang  paling banyak  muncul  pada  hasil crawling  data ,  yaitu  sebanyak 20 kata pada dataset. Semakin banyak atau frekuensi kata tersebut  muncul,  maka  semakin  besar  ukuran  dalam bentuk  visualisasinya,  seperti  diperlihatkan  pada  gambar berikut.
Gambar. 6  Visualisasi frekuensi kata yang sering muncul dari hasil crawling data .

## A. Pelabelan Dataset
Sebelum  memulai  untuk  memberikan  label  kepada dataset ,  peneliti  terlebih  dahulu  memberikan  bobot  atau weight kepada dataset. Hasil  yang  didapat  adalah sejumlah  10  baris  dan  390  kolom,  seperti  yang ditunjukkan oleh gambar berikut.
Gambar. 7  Hasil pemberian bobot pada dataset crawling ..
Selanjutnya adalah menjumlahkan atau memberi bobot pada  setiap  kalimat  dari dataset  crawling .  Proses  ini diperlihatkan oleh gambar dibawah ini.
Gambar. 8  Hasil pembobotan kata pada dataset .
Proses  selanjutnya  yaitu  melakukan  Analisis  Data Eksplorasi  atau Exploring  Data  Analyst .  Dalam implementasinya,  kita  dapat  melihat  grafik  tentang distribusi  sentimen  yang  memperlihatkan  x  menjadi sentimen  dan  y  menjadi  berat  atau  bobot  dari  sentimen tersebut. Seperti diperlihatkan oleh grafik dibawah ini.
Gambar. 9  Grafik distribusi sentimen.
Pada percobaan pertama terlihat jelas  pada grafik yang menunjukkan bahwa antara sentimen positif dan sentimen negatif  ditampilkan  dengan  merata.Selanjutnya  pada percobaan  kedua  peneliti  menggunakan  visualisasi matplotlib  agar  dapat  memperlihatkan  antara  sentimen
negatif dan sentimen positif dengan lebih jelas. Hasil yang didapat ditunjukkan oleh gambar dibawah ini.
Gambar. 10  Visualisasi dengan matplotlib.
Perhitungan  nilai  rata-rata  dari  sentimen  dibutuhkan oleh  peneliti  agar  lebih  mengetahui  mana  yang  terlihat benar  korelasinya,  antara  sentimen  positif  dan  negatif. Hasil  perhitungan  nilai  rata-rata  dari  sentimen  tersebut, diperlihatkan oleh gambar berikut.
Gambar. 11  Hasil perhitungan nilai dari sentimen..
Selanjutnya  memperlihatkan  sebanyak  15  kata  teratas yang  memiliki  nilai  korelasi  ( correlation )  yang  paling tinggi.  Proses  yang  dilakukan  diperlihatkan  oleh  gambar dibawah ini.
Gambar. 12  Kata-kata yang memiliki nilai korelasi tertinggi.
Peneliti  menggunakan heatmap agar  bentuk  data  pada korelasi  tertinggi  dapat  menarik  untuk  dilihat,  sehingga hasil  kata  dengan  korelasi  dapat  diwakili  oleh  warna berbeda  ditiap  bobotnya.  Semakin  gelap  warna  yang terlihat, maka semakin tinggi nilai yang didapat pada kata yang mengandung korelasi tertinggi. Seperti diperlihatkan oleh gambar berikut.
Gambar. 13 Heatmap nilai korelasi.
Proses  terakhir  setelah  dilakukan  pembobotan  pada setiap  kata  yang  ada  di  dalam dataset adalah  pelabelan untuk  menentukan  seberapa  banyak  jumlah  sentimen negatif dan berapa banyak jumlah sentimen positif.
Gambar. 14  Hasil pelabelan pada dataset .

## B. Implementasi CountVectorizer
CountVectorizer umumnya digunakan
pada pemograman Python yang tujuannya untuk mengubah teks kedalam  nilai  atau  bentuk  matriks.  Bentuk  deklarasi terlihat pada proses pengkodingan dibawah ini.
Langkah  selanjutnya  adalah  membagi  data  menjadi data training dan data testing dengan perbandingan 80:20. Dengan  rincian  pembagian  untuk data  training sebanyak 80%  dari  seluruh dataset ,  sedangkan data  testing sebanyak 20% dari seluruh dataset .
Gambar. 16  Proses split data menjadi data training dan data testing .

## C. Implementasi Algoritma
Algoritma  yang  digunakan  oleh  peneliti  adalah  model Multinominal  Naïve  Bayes  Classifier .  Proses  deklarasi dari algoritma yang digunakan terhadap data training dan data testing , diperlihatkan oleh gambar dibawah ini.
Gambar. 17  Deklarasi algoritma.
Langkah  selanjutnya  adalah  memproses  data  testing untuk  diuji  yaitu  sebanyak  200  data,  yang  sudah  dibagi dengan  menggunakan confusion  matrix .  Dari  200  data yang  di  testing,  maka  didapatkan  hasil  yaitu  sebagai berikut:
• Ditemukan  sebanyak  12  data  menjadi True Negative (TN).
• Ditemukan  sebanyak  9  data  menjadi False Negative (FN).
• Ditemukan sebanyak 6 data menjadi False Positive (FP).
• Ditemukan  sebanyak  173  data  menjadi True Positive (TP).
Gambar. 18  Visualisasi confusion matrix algoritma .
Selanjutnya  yaitu  melakukan pengujian  tingkat  akurasi dari  algoritma  yang  digunakan  oleh  peneliti,  yaitu Naïve Bayes  Classifier. Dari  output  tersebut  menghasilkan tingkat  akurasi  sebesar  92,5%.  Seperti  diperlihatkan  oleh gambar dibawah ini.
Gambar. 19  Hasil output pengujian tingkat akurasi dari algoritma .

## D. Pengujian Evaluasi
Tahap akhir yang dilakukan yaitu melakukan pengujian evaluasi  terhadap data  testing .  Pengujian  evaluasi diperlukan  dan  merupakan  tahapan  yang  sangat  penting, yang  tujuannya  adalah  untuk  mendapatkan  nilai  dari precision , recall dan f1-score .
Gambar. 20  Hasil pengujian evaluasi.
Hasil  nilai  akurasi  pada  proses  evaluasi  didapatkan untuk  sentimen  negatif  mendapatkan  nilai precision sebesar  57%, recall 67%  dan f1-score 62%.  Sedangkan untuk  sentimen  positif  mendapatkan  nilai precision sebesar 97%, recall 95% dan f1-score 96%.

## IV. K ESIMPULAN
Hasil  output  yang  didapatkan  dari  1000  dataset  yang dianalisa mengenai  kepuasan pelanggan  terhadap layanan Grab  Indonesia,  bahwa  sentimen  positif  yang  didapatkan adalah  sebanyak 911, sedangkan sentimen negatif dengan hasil  sebanyak  89.  Hasil  akurasi  pada  pengujian Algoritma dari metode Naïve Bayes Classifier didapatkan hasil  sebesar  92,5%  dan  pada  proses  pengujian  evaluasi untuk  sentimen  negatif  mendapatkan  nilai  precision sebesar  57%,  recall  67%  dan  f1-score  62%.  Sedangkan untuk  sentimen  positif  mendapatkan  nilai  precision sebesar 97%, recall 95% dan f1-score 96%. Hasil analisis sentimen  menunjukkan  bahwa  rata-rata  sentimen  yang diberikan  mengandung  arti  positif,  sehingga  dapat
diartikan bahwa pelanggan merasa puas dengan pelayanan dan fasilitas yang telah diberikan oleh Grab Indonesia.

## A CKNOWLEDGMENT
Ucapan  terima kasih  kepada  sosial media Twitter yang telah  memberikan  akun Twitter  Development untuk melakukan  analisis  sentimen,  serta  akun  @GrabID  milik PT.Grab Indonesia yang bersedia dijadikan  sebagai  objek penelitian,  dan  juga  kepada  Universitas  Muhammadiyah Prof. Dr. Hamka.
R EFERENSI
[1] E.  Rezki  Muhammad,  Sukmawati  Linda,  Riyana  Dwiza, “Pengaruh Kualitas Pelayanan Dan Harga Terhadap Kepuasan Pelanggan  Jasa  Transportasi  Online,” IJCIT  (Indonesian  J. Comput. Inf. Technol. , vol. 4, no. 1, pp. 50–57, 2019.
[2] F.  N.  Hasan,  “Implementasi  Sistem  Business  Intelligence Untuk  Data  Penelitian  di  Perguruan  Tinggi,”  in Prosiding
Seminar Nasional TEKNOKA 4 , 2019, vol. 4, no. 2502, pp. I1– I10.
[3] S.  Fitriani  and  F.  N.  Hasan,  “Sistem  Informasi  Berbasis Android  untuk  Meningkatkan  Layanan  Terhadap  Alumni (Studi  Kasus:  Keluarga  Mahasiswa Fakultas Teknik Uhamka),” Pros.  Semin.  Nas.  Teknoka ,  vol.  5,  no.  2502,  pp. 93–100, 2020.
[4] R.  Gustini  and  F.  N.  Hasan,  “Perancangan  Sistem  Aplikasi Monitoring  Barang  menggunakan  Barcode  Berbasis  Android.
(study  kasus  Toko  Chacha  cell  ITC  Cempaka  mas),” Pros. Semin. Nas. Teknoka , vol. 5, no. 2502, pp. 87–92, 2020.
[5] E.  I.  Pantoro,  R.  Jokom,  and  A.  Harianto,  “Harapan  Dan Persepsi  Konsumen  Terhadap  Kualitas  Layanan  di  Kantin  di Universitas  Kristen  Petra,” J.  Hosp.  dan  Manaj.  Jasa ,  vol.  5, no. 2, pp. 501–509, 2017.
[6] Y. Astari and R. Wahib, “Analisis Sentimen Multi-Class pada Sosial Media menggunakan metode Long Short-Term Memory (LSTM),” J.  Linguist.  Komputasional , vol. 4, no. 1, pp. 8–12, 2021.
[7] W.  Maulana  and  M.  Mulyadi,  “Ujaran  Kebencian  Terhadap Jokowi pada Masa Pandemi Covid-19: Studi Kasus Twitter,” J. Lisnguistik Komputasional , vol. 4, no. 1, pp. 27–33, 2021.
[8] B.  Liu,  “Sentiment  analysis  and  opinion  mining.  Synthesis Lectures  on  Human  Language  Technologies,”  in Synthesis Lectures on Human Language Technologies 5.1 (2012): , 2012, pp. 1–167.
[9] F.  N.  Hasan  and  A.  Febriandirza,  “Perancangan  Data Warehouse  Untuk  Data  Penelitian  di  Perguruan  Tinggi Menggunakan  Pendekatan  Nine  Steps  Methodologhy,”
Pseudocode , vol. VIII, no. 1, pp. 49–57, 2021.
[10] A.  R.  Prananda  and  I.  Thalib,  “Sentiment  Analysis  for Customer Review: Case Study of GO-JEK Expansion,” J. Inf.
Syst. Eng. Bus. Intell. , vol. 6, no. 1, p. 1, 2020.
[11] F.  S.  B,  “2018_Prediction  of  Song  Popularity  Based  on BILLBOARD Chart Using The NAÏVE BAYES Algorithm,” J. Inform. UPGRIS , vol. 4, no. 1, pp. 120–122, 2018.
[12] B.  Zhang  &  Liu,  “Sentiment  Analysis  and  Opinion  Mining,” Encycl. Mach. Learn. Data Min. , pp. 1–10, 2016.
[13] Z. Sari, M. Sarosa, and S. Suhari, “‘Si Tole’ Chatterbot untuk Melatih  Rasa  Percaya  Diri  Menggunakan  Naive  Bayes Classification,” J. Nas. Tek. Elektro dan Teknol. Inf. , vol. 7, no. 1, pp. 64–71, 2018.
[14] A.  Nurzahputra  and  M.  A.  Muslim,  “Analisis  Sentimen  pada Opini Mahasiswa Menggunakan Natural Language Processing,” Semin. Nas. Ilmu Komput. , no. Snik, pp. 114–118, 2016.
[15] S.  Fanissa,  M.  A.  Fauzi,  and  S.  Adinugroho,  “Analisis Sentimen  Pariwisata  di  Kota  Malang  Menggunakan  Metode Naive  Bayes  dan  Seleksi  Fitur  Query  Expansion  Ranking  |
Jurnal  Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 2, no. 8, pp. 2766–2770, 2018.
[16] A.  Fuad,  “Sistem  Monitoring  Sentimen  Masyarat  Terhadap Kinerja Pemerintah Pada Media Sosial,” 2020.
[17] F.  Koto  and  G.  Y.  Rahmaningtyas,  “Inset  lexicon:  Evaluation of  a  word  list  for  Indonesian  sentiment  analysis  in microblogs,” Proc. 2017 Int. Conf. Asian Lang. Process. IALP 2017 , vol. 2018-Janua, no. December, pp. 391–394, 2018.