## Analisis Sentimen Opini Masyarakat Terkait Pelayanan Jasa Ekspedisi Anteraja Dengan Metode Naive Bayes
Irfan Ricky Afandi 1 , Firman Noor Hasan #2 , Ali Abdul Rizki 3 , Nunik Pratiwi 4 , Zuhri Halim 5
1,2,3,4,5 Teknik Informatika, Universitas Muhammadiyah Prof. Dr. Hamka Jl. Tanah Merdeka No.6, Kec. Pasar Rebo, DKI Jakarta 13830, Indonesia
1 richky99@gmail.com
2 firman.noorhasan@uhamka.ac.id
3 aliabdulrizki@gmail.com
4 npratiwi@uhamka.ac.id
5 zuhri@uhamka.ac.id
Abstrak— Peningkatan jumlah transaksi pada berbagai platform e-commerce mempunyai implikasi terhadap peningkatan penggunaan jasa ekspedisi. Salah satu perusahaan jasa ekspedisi yang  ada  di  Indonesia  yaitu  anteraja,  dimana  perusahaan tersebut  harus  bisa  memiliki  inovasi  untuk  mempunyai hubungan  serta  memberikan  pelayanan  yang  terbaik  bagi penggunanya.  Saat  ini  banyak  pengguna  layanan  anteraja mempunyai  pendapat  yang  beragam  terhadap  layanan  mereka pada  media  sosial  twitter.  Penelitian  ini  menerapkan  teknik sentiment analysis untuk membantu mengevaluasi, menganalisis, menilai, serta mengetahui sikap masyarakat terhadap pelayanan Anteraja.  Metode  untuk  mengkategorikan  sentimen  yang digunakan oleh peneliti yaitu menerapkan algoritma naive bayes yang mempunyai  akurasi  tinggi,  serta  prosesnya sederhana  dan cepat.  Peneliti  juga  menggunakan  bantuan  perangkat  lunak python  untuk  proses  pengambilan  dataset  pada  twitter  serta rapidminner  studio  untuk  pengolahan  data  serta  penerapan algoritma.  Hasil  dari  proses  pengolahan  data  yang  dilakukan oleh  peneliti  didapatkan  dari  1180  data,  jumlah  kategori  yang paling  banyak  yaitu  kategori  sentimen  positif  sebesar  638  lalu kategori  sentimen  negatif  sebesar  493  sedangkan  paling  sedikit yaitu  kategori  sentimen  netral  sebanyak  49.  Hal  ini menunjukkan  dari  1180  data  bahwa  banyak  masyarakat  yang menyukai  pelayanan  yang  diberikan  oleh  jasa  ekspedisi Anteraja,  namun  tidak  sedikit  masyarakat  yang  masih  kurang puas terhadap pelayan yang diberikan. Nilai akurasi penerapan algoritma  naive  bayes  dalam  penelitian  ini  diperoleh  persentase sebesar  85.06%  yang  menunjukkan  bahwa  data  tersebut  dapat digunakan  sebagai  dasar  bagi  perusahaan  untuk  pertimbangan pengambilan keputusan.
Kata kunci — analisis sentimen, naive bayes, pelayanan,  twitter, python, rapidminner studio, anteraja
Abstract— The increase in the number of transactions on various e-commerce  platforms  has  implications  for  increasing  the  use  of shipping  services.  One  of  the  expedition  services  in  Indonesia, namely  Anteraja,  is  where  the  company  must  be  able  to  have innovation to have a relationship and provide the best service for its users.  Currently,  many  users  of  Antheraja  services  have  diverse
opinions  on  their  services  on  Twitter.  This  reseacrh  applies sentiment analysis techniques to help evaluate, analyze, assess, and know  people's  attitudes  towards  service  delivery.  The  sentiment categori  method  used  by  the  researcher  is  using  the  Naive  Bayes algorithm which has high accuracy, and the process is simple and fast. Researchers also use python software for the dataset retrieval process on Twitter and rapidminner studio for data processing and implementation algorithm. The results of the data processing were obtained 1180 data, the most number of categories was positive at 638  and  negative  sentiment  at  493  while  the  least  was  neutral sentiment  as  much  as  49.  This  shows  from  1180  data  that  many people like the services provided by the anteraja expedition service, but not a few people are still not satisfied with the service provided. The accuracy value of the application of the Naive Bayes algorithm in this study obtained a percentage of 85.95% which indicates that the data can be used as the basis for companies to make decisions.
Keywords — sentiment  analysis,  naive  bayes,  service,  twitter, python, rapidminner studio, anteraja

## I. P ENDAHULUAN
Kemajuan teknologi internet sangat membantu manusia untuk mendukung kegiatannya sehari-hari [1]. Hal ini disebabkan  oleh  kebutuhan  penggunaan  teknologi  internet terus mengalami peningkatan karena dapat digunakan sebagai media  untuk  berkomunikasi  serta  dapat  meningkatkan efisiensi  kinerja  manusia  seperti  dalam  pekerjaan  jasa ekspedisi  [2].  Pada  tahun  2019  APJII  melakukan  survei terhadap  penggunaan  internet  di  Indonesia  dimana  hasilnya menunjukkan  adanya  kenaikan  sebesar  73%,  tentunya  hal  ini akan terus mengalami peningkatan [3]. Peluang tersebut dapat dimanfaatkan  oleh  pelaku  bisnis  ekspedisi  untuk  melakukan pengembangan  terhadap  bisnisnya  [4].  Salah  satu  perusahaan di  Indonesia  yang  bergerak  pada  bidang  jasa  ekspedisi pengiriman barang yaitu perusahaan Anteraja [5].
Persaingan  bisnis  di  zaman  industri  4.0  juga  terus meningkat  dan  membuat  suatu  perusahaan  ekspedisi  harus dapat  mengikuti  arus  dari  perkembangan  teknologi  agar
bisnisnya  dapat  terus  berkembang  [6][7].  Hal  terpenting  bagi sebuah  perusahaan  ekspedisi  yaitu  bagaimana  perusahaan tersebut  dapat  menjalin  hubungan  yang  baik  dengan penggunanya  [8].  Salah  satu  caranya  yaitu  dengan memberikan  pelayanan  yang  sangat  ramah  serta yang  terbaik kepada  pengguna,  dimana  apabila  pengguna  merasa  puas terhadap  layanan  tersebut  maka  akan  sangat  membantu perusahaan  untuk  mencapai  target  laba  secara  maksimal  [9]. Apabila  pelayanan  yang  diberikan  kepada  pengguna  kurang baik maka akan menjadi pertimbangan kembali oleh pengguna apakah  akan  menggunakan  jasa  ekspedisi  tersebut  atau tidaknya [10].
Suatu  perusahaan  ekspedisi  pasti  mempunyai  bagian custumer  service untuk  memberikan  pelayanan  serta menerima  keluhan  ataupun  masalah  yang  dihadapi  oleh penggunanya  dalam  menggunakan  jasa  tersebut  [11]. Pengguna  dapat  memberikan  bagaimana  pendapat  mereka terhadap  penggunaan  pelayanan  jasa  ekspedisi  tersebut melalui platform sosial  media twitter [12].  Sosial  media twitter yaitu  sebuah platform aplikasi  yang  dapat  digunakan serta  dijadikan  sebagai  wadah  untuk  seseorang  memberikan sebuah  penilaian  terhadap  suatu  pelayanan  [13].  Perusahaan jasa  ekspedisi  Anteraja  juga  mempunyai  akun official twitter @anteraja_id  sebagai custumer  service yang  disediakan  oleh perusahaan  untuk  menerima  kritik,  pendapat,  keluhan  serta saran  dari  penggunanya.  Pendapat  yang  beragam  dari pengguna layanan pada suatu perusahaan jasa ekspedisi dapat dijadikan sebagai bahan untuk melakukan proses peningkatan pelayanan kepada penggunanya [14].
Semua  kritik,  pendapat,  keluhan  serta  saran  dari pengguna  layanan  jasa  pada  sosial  media twitter dapat  di kumpulkan  menjadi  satu  yang  disebut  dengan  sentimen  [15]. Setiap  sentimen  dapat  dikategorikan  menjadi  kategori sentimen  positif,  kategori  sentimen  netral,  serta  kategori sentimen  negatif  yang  merupakan  representasi  dari  sudut pandang  pengguna  terhadap  layanan  yang  diberikan  oleh suatu perusahaan [16].  Kumpulan dari opini tersebut nantinya dapat  dijadikan  sebagai  sumber  data  untuk  melakukan  proses sentiment  analysis [17]. Sentiment  analysis yaitu teknik  yang cukup  umun  digunakan  dalam  hal  yang  bersangkutan    untuk melakukan  perbandingan  terhadap  suatu  sudut  pandang, penalian,  sentimen,  sikap  serta  emosi  seseorang  terkait  topik dimana nantinya akan diekspresikan dalam bentuk teks [18].
Pada  kegiatan  bisnis  proses sentiment  analysis dapat digunakan  oleh  perusahaan  pelayanan  jasa  untuk  melakukan peningkatan  layanan[19].  Penerapan  algoritma  klasifikasi naive  bayes juga cukup  umum  digunakan  dalam  proses sentiment  analysis karena  memiliki  kelebihan  yang  dimana algoritma tersebut  mempunyai  akurasi  tinggi, serta prosesnya sederhana  dan  cepat  [20].  Berdasarkan  uraian  diatas  dalam pembuatan  penelitian  ini  peneliti  mendapatkan dataset menggunakan  perangkat  lunak python tentang  opini masyarakat mengenai pelayanan jasa ekspedisi yang ditujukan kepada  akun official twitter perusahaan  Anteraja  yaitu @anteraja_id.
Selanjutnya tweet yang  sudah  dikumpulkan  kemudian diolah menggunakan  perangkat lunak rapidminner studio dan akan dikategorikan menjadi kategori sentimen positif, kategori
sentimen  netral,  serta  kategori  sentimen  negatif  dengan menerapkan  algoritma naive  bayes untuk  mengetahui  tingkat nilai akurasinya.

## II. M ETODE P ENELITIAN
Proses  pengolahan  data  yang  dilakukan  oleh  peneliti melalui  beberapa  tahapan  yang  ditampilkan  pada  gambar diagram berikut.
Gambar. 1  Diagram pada tahapan penelitian

## A. Pengumpulan Dataset
Pada  tahap  ini  peneliti  mendapatkan dataset pada  media sosial twitter terhadap tweet yang  berisi  opini  pengguna dengan kata kunci pencarian “pelayanan” yang ditujukan pada akun official twitter perusahaan  Anteraja  yaitu  @anteraja_id menggunakan library twint seperti ilustrasi gambar berikut .
Gambar. 2  Proses penarikan data tweet pada akun @anteraja_id
Peneliti  melakukan  proses  penarikan  data  dengan menggunakan  kata  kunci  “pelayanan”  yang  ditujukan  kepada akun official twitter perusahaan  Anteraja  yaitu  @anteraja_id dimana  data  tersebut  diambil  pada  tanggal  1  Januari  2021
sampai  pada tanggal  16  Agustus 2022 dengan teks  berbahasa Indonesia  dan  didapatkan  sebanyak  1194  data tweet yang kemudian data tersebut di simpan dalam format file yaitu xlsx.
Gambar. 3  Hasil proses penarikan data tweet
Gambar diatas  menampilkan beberapa  contoh  hasil proses penarikan data tweet yang berkaitan dengan opini masyarakat terhadap  layanan  Anteraja  yang  ditunjukkan  pada  akun @anteraja_id menggunakan bahasa pemrograman python serta library twint .

## B. Pelabelan Dataset
Tahap berikutnya yaitu melakukan proses pelabelan secara manual  oleh  lima  orang  peneliti  dengan  melakukan pengambilan  suara  terbanyak  pada  setiap tweet dengan menggunakan  bantuan  aplikasi microsoft  excel  365 seperti pada gambar berikut.
Gambar. 4  Hasil proses pelabelan data tweet
Setelah  dilakukan  proses  pelabelan  serta  menghilangkan tweet yang  sama  didapatkan  total  keseluruhan  data  yaitu sebanyak  1180  data,  dimana  untuk  jumlah  kategori  yang paling banyak yaitu kategori sentimen positif sebesar 638 lalu kategori  sentimen  negatif  sebesar  493  sedangkan  paling sedikit yaitu kategori sentimen netral sebanyak 49.

## C. Preprocessing Data
Selanjutnya  yaitu  melakukan preprocessing  dataset terhadap tweet yang  sudah  diberikan  pelabelan  menggunakan perangkat  lunak rapidminer  studio . Preprocessing yaitu tahapan mengganti teks tidak teratur supaya menjadi teks yang teratur  tentunya  hal  ini  dapat  membantu  tahap  pengolahan data  selanjutnya  [21].  Terdapat  beberapa  tahap  dalam
preprocessing  dataset seperti cleansing , transform  case , tokenize , stem , filter  stopwords ,  serta filter  tokens  by  length [22].
Tahapan cleansing yaitu proses  untuk  menghapus  semua retweet , URL, hastag, mention, serta symbol pada dataset [23] . Peneliti menggunakan operator replace untuk  menghilangkan retweet ,  URL, hastag,  mention, serta symbol seperti  pada gambar berikut.
Gambar. 5  Operator cleansing yang digunakan peneliti
Tabel  berikut  memperlihatkan  beberapa  contoh tweet sebelum dan sesudah dilakukan proses cleansing.
TABEL I H ASIL C LEANSING Sebelum Sesudah Kategori @anteraja_id anteraja emang bagus pelayanan ramah anteraja emang bagus pelayanan ramah Positif @anteraja_id min untuk idul fitri apa ada libur pelayanan dan pengiriman? Kalau iya berapa hari ya? min untuk idul fitri apa ada libur pelayanan dan pengiriman Kalau iya berapa hari ya Netral @anteraja_id pelayanan super buruk pelayanan super buruk Negatif @anteraja_id Semenjak adanya https://t.co/2HAdwg1drL semakin mudah melakukan apapun. Pelayanan sangat cepat, aman dan sangat ramah. Terima kasih https://t.co/2HAdwg1drL Semenjak adanya semakin mudah melakukan apapun Pelayanan sangat cepat aman dan sangat ramah Terima kasih Positif @anteraja_id @anteraja_id kecewa bgt si sama pelayanan nya kecewa bgt si sama pelayanan nya Negatif @anteraja_id Pelayanan super cepat banget sih, kurirnya juga responsif Pelayanan super cepat banget sih kurirnya juga responsif Positif Setelah dataset sudah  dihilangkan retweet ,  URL, hastag, mention, serta symbol selanjutnya  peneliti  menggunakan beberapa  operator process  document pada rapidminer  studio
untuk  menampung  tahapan transform  case , tokenize , stem , filter  stopwords ,  serta filter  tokens  by  length seperti  pada gambar berikut.
Gambar. 6  Operator yang digunakan dalam process document
Transform  case yaitu  proses  untuk  mengganti  kata  yang berkapital  pada dataset supaya  kata  tersebut  menjadi  tidak kapital  [24].  Tabel  berikut  memperlihatkan  beberapa  contoh tweet sebelum dan sesudah dilakukan proses transform case.
TABEL II H ASIL T RANSFORM C ASE Sebelum Sesudah Kategori anteraja emang bagus pelayanan ramah anteraja emang bagus pelayanan ramah Positif min untuk idul fitri apa ada libur pelayanan dan pengiriman Kalau iya berapa hari ya min untuk idul fitri apa ada libur pelayanan dan pengiriman kalau iya berapa hari ya Netral pelayanan super buruk pelayanan super buruk Negatif Semenjak adanya semakin mudah melakukan apapun Pelayanan sangat cepat aman dan sangat ramah Terima kasih semenjak adanya semakin mudah melakukan apapun pelayanan sangat cepat aman dan sangat ramah terima kasih Positif kecewa bgt si sama pelayanan nya kecewa bgt si sama pelayanan nya Negatif Pelayanan super cepat banget sih kurirnya juga responsif pelayanan super cepat banget sih kurirnya juga responsif Positif
Selanjutnya  merupakan  tahap tokenize yaitu  proses  untuk memisahkan  suatu  kalimat  menjadi  beberapa  kata  untuk memudahkan  proses stem serta stopword [25].  Tabel  berikut memperlihatkan  beberapa  contoh tweet sebelum  dan  sesudah dilakukan proses tokenize.
TABEL III H ASIL T OKENIZE Sebelum Sesudah Kategori anteraja emang bagus anteraja, emang, Positif
Sebelum Sesudah Kategori pelayanan ramah bagus, pelayanan, ramah min untuk idul fitri apa ada libur pelayanan dan pengiriman kalau iya berapa hari ya min, untuk, idul, fitri, apa, ada, libur, pelayanan, dan, pengiriman, kalau, iya, berapa, hari, ya Netral pelayanan super buruk pelayanan, super, buruk Negatif semenjak adanya semakin mudah melakukan apapun pelayanan sangat cepat aman dan sangat ramah terima kasih semenjak, adanya, semakin, mudah, melakukan, apapun, pelayanan, sangat, cepat, aman, dan, sangat, ramah, terima, kasih Positif kecewa bgt si sama pelayanan nya Kecewa, bgt, si, sama, pelayanan, nya Negatif pelayanan super cepat banget sih kurirnya juga responsif pelayanan, super, cepat, banget, sih, kurirnya, juga, responsif Positif
Tahap  selanjutnya  melakukan stem yaitu  proses  untuk menghilangkan  semua  kata  imbuhan  dan  mengubah  kata menjadi  bentuk  dasarnya  pada dataset [26] . Proses  ini dilakukan  secara  manual  dimana  peneliti  membuat  kamus stem yang  berpedoman  terhadap  kamus  besar  bahasa Indonesia  (KBBI).  Tabel  berikut  memperlihatkan  beberapa contoh tweet sebelum dan sesudah dilakukan proses stem.
TABEL IV H ASIL S TEM
Sebelum Sesudah Kategori anteraja, emang, bagus, pelayanan, ramah anteraja, memang, bagus, layanan, ramah Positif min, untuk, idul, fitri, apa, ada, libur, pelayanan, dan, pengiriman, kalau, iya, berapa, hari, ya Min, untuk, idul, fitri, apa, ada, libur, layanan, dan, kirim, kalau, iya, berapa, hari, ya Netral pelayanan, super, buruk layanan, super, buruk Negatif semenjak, adanya, semakin, mudah, melakukan, apapun, pelayanan, sangat, cepat, aman, dan, sangat, ramah, terima, kasih sejak, ada, makin, mudah, lakukan, apa, layanan, sangat, cepat, aman, dan, sangat ramah, terima, kasih Positif kecewa, bgt, si, sama, pelayanan, nya kecewa, bgt, si, sama, layanan, nya Negatif pelayanan, super, cepat, banget, sih, kurirnya, juga, responsif layanan, super, cepat, banget, sih, kurir, juga, responsif Positif
Selanjutnya merupakan tahap filter stopwords yaitu proses untuk menghilangkan semua penghubung serta kata-kata yang tidak  diperlukan  pada dataset [27] . Kamus stopword s  yang digunakan  peneliti  didapatkan  dari  situs  www.keagle.com. Tabel berikut memperlihatkan beberapa contoh tweet sebelum dan sesudah dilakukan proses filter stopwords .
TABEL V H ASIL F ILTER S TOPWORD Sebelum Sesudah Kategori anteraja, memang, bagus, layanan, ramah anteraja, bagus, layanan, ramah Positif min, untuk, idul, fitri, apa, ada, libur, layanan, dan, kirim, kalau, iya, berapa, hari, ya min, apa, ada, libur, layanan, kirim, iya, hari, ya Netral layanan, super buruk layanan, super, buruk Negatif
sejak, ada, makin,
mudah, lakukan, apa, layanan, sangat, cepat,
aman, dan, sangat ramah, terima, kasih
ada, mudah, apa layanan, cepat, aman, ramah, terima, kasih Positif kecewa, bgt, si, sama, layanan, nya kecewa, bgt, si, sama, layanan, nya Negatif layanan, super, cepat, banget, sih, kurir, juga, responsif layanan, super, cepat, banget, sih, kurir, responsif Positif
Tahap  selanjutnya melakukan filter  tokens by length yaitu proses  untuk  menghilangkan  kata  dengan  jumlah  huruf  yang sudah  ditentukan  [28].  Dimana  dalam  penelitian  ini  peneliti menggunakan  minimal  panjang  huruf  yaitu  sebanyak  empat dan  maksimal  panjang  huruf  yaitu  dua  puluh  lima.  Tabel berikut  memperlihatkan  beberapa  contoh tweet sebelum  dan sesudah dilakukan proses filter tokens by length .
TABEL VI H ASIL F ILTER B Y L ENGTH Sebelum Sesudah Kategori anteraja, bagus, layanan, ramah anteraja, bagus, layanan, ramah Positif min, apa, ada, libur, layanan, kirim, iya, hari, ya libur, layanan, kirim, hari Netral layanan, super, buruk layanan, super, buruk Negatif apa, mudah, apa layanan, cepat, aman, ramah, terima, kasih mudah, layanan, cepat, aman, ramah, terima, kasih Positif kecewa, bgt, si, sama, layanan, nya kecewa, sama, layanan Negatif layanan, super, cepat, banget, sih, kurir, responsif layanan, super, cepat, banget, kurir, responsif Positif

## III. H ASIL P EMBAHASAN

## A. Pembobotan TF-IDF
Tahapan  ini  dilakukan  untuk  memberikan  nilai  bobot kepada kata-kata yang ada pada tweet setelah  melewati tahap preprocessing . Penggunaannya dengan caranya yaitu memilih vector creation TF-IDF pada operator process document yang sebelumnya  digunakan  untuk  menampung  tahapan transform case , tokenize , stem , filter  stopwords ,  serta filter  tokens  by length seperti pada gambar berikut.

## Gambar. 7  Pembobotan TF-IDF
Langkah  selanjutnya  yaitu  menghubungkan  operator process  document ke  operator WordList  to  Data untuk menghitung nilai bobot pada kata serta frekuensi kemunculan dari kata tersebut pada dataset seperti gambar berikut.
Gambar. 8  Menghubungkan operator process document dengan operator wordlist to data
Berikut  merupakan  gambar  yang  menunjukkan  hasil  dari proses  pembobotan  TF-IDF  yang  menampilkan  jumlah frekuensi kemunculan sebuah kata pada dataset .
Gambar. 9  Hasil proses pembobotan TF-IDF
Berdasarkan gambar diatas menunjukkan bahwa kata yang paling  banyak  muncul  yaitu  layanan  sebanyak  1166  kata, dilanjutkan  dengan  kata  cepat  sebanyak  497  kata,  kemudian kata  ramah  sebanyak  361  kata.  Setelah  melakukan pembobotan TF-IDF peneliti juga melakukan data visualization kepada  setiap  kata  yang  sudah  dilakukan pembobotan  ke  dalam  bentuk wordcloud untuk  menampilkan 20  kata  yang  memiliki  frekuensi  kemunculan  sering digunakan seperti pada gambar berikut.
Gambar. 10 Data visualization dalam wordcloud
Berdasarkan gambar hasil data visualisation dalam bentuk wordcloud diatas  menunjukkan  bahwa  semakin  besar  suatu ukuran  kata  maka  kata  tersebut  merupakan  jumlah  kata  yang paling banyak muncul. Kata yang sering muncul pada dataset yaitu  kata  layanan,  dilanjutkan  dengan  kata  cepat,  ramah, paket,  kirim,  aman,  anteraja,  pakai,  respon,  banget  kemudian kata kurir.

## B. Implementasi Algoritma
Dalam  penelitian  ini  peneliti  menggunakan  pemodelan algoritma naive bayes terhadap dataset yang  sudah dilakukan tahapan  pembobotan  TF-IDF.  Dimana  dalam  hal  ini  data  uji serta  data  latih  pada dataset secara  otomatis  akan  dibagi menggunakan  perangkat  lunak rapidminner  studio yang terbagi menjadi tiga kategori sentimen yaitu kategori sentimen positif,  kategori  sentimen  netral  serta  kategori  sentimen negatif.
Berikut  merupakan  contoh  proses  perhitungan  algoritma naive bayes secara manual terhadap tweet yang diambil secara acak  pada dataset yang  sudah  melewati  tahap preprocessing dan pembobotan TF-IDF. Contoh tweet yang digunakan yaitu “layanan  super  buruk”  dimana  sebelumnya tweet tersebut sudah  diberikan  label  secara  manual  dengan  kategori  negatif berikut tabel frekuensi katanya.
TABEL VII F REKUENSI K ATA P ADA T WEET
Kata Kelas Positif Kelas Netral Kelas Negatif Total layanan 653 48 510 1211 super 12 0 6 18 buruk 0 2 100 102
Nilai kelas positif :
Nilai kelas netral :
Nilai kelas negatif :
Kesimpulan  bahwa tweet tersebut  memiliki  kategori “negatif”,  hal  ini  menunjukkan  bahwa  hasil  pelabelan  secara manual  dan  pelabelan  menggunakan  perhitungan  algoritma naive bayes didapatkan kategori “negatif”.

## C. Smote Up Sampling
Pada  saat  melakukan  pelabelan  secara  manual  didapatkan bahwa  kategori  sentimen  yang  didapatkan  mempunyai  label yang tidak sama dengan label terbanyak yaitu kategori positif. Sebelum  menuju  tahap  pengujian  10- fold  cross  validation label  tersebut  perlu  di  seimbangkan  terlebih  dahulu  dengan menggunakan  operator smote  up  sampling pada rapidminner studio .  Penggunaan  operator smote dilakukan  dua  kali  untuk menyesuaikan  pada  label  dengan  kategori  netral  serta  label dengan  kategori  negatif.  Berikut  gambar  tampilan  parameter smote up sampling yang digunakan.
Gambar. 11  Parameter smote up sampling yang digunakan
Gambar  diatas  merupakan  parameter smote  up  sampling yang  digunakan  untuk  melakukan  penyesuaian  pada  label dengan  kategori  negatif.  Peneliti  tidak  mencentang  pada bagian auto  detect  minority  class karena  pada  bagian  kolom minority  class peneliti  mengisikannya  dengan  nama  kategori yang  belum  seimbang  sebagai  contoh  pada  gambar  diatas peneliti menuliskannya untuk kategori negatif.

## D. Pengujian Evaluasi
Setelah dataset melalui  tahap smote  up  sampling selanjutnya  peneliti  melakukan  pengujian 10-fold  cross validation untuk melihat hasil klasifikasi serta keakuratan data dari  tahapan penerapan  algoritma naive bayes . Operator yang digunakan  yaitu cross  validation dan  berikut  merupakan tampilan  parameter  dari  operator  tersebut  yang  digunakan oleh peneliti.
Gambar. 12  Parameter cross validation yang digunakan
Setelah menetapkan parameter yang digunakan selanjutnya menghubungkan  antara  data  latih  serta  data  uji  ke  algoritma naive  bayes untuk  melakukan  evaluasi  penerapan  algoritma tersebut  dengan  memakai  operator performance seperti  pada gambar berikut.
Gambar. 13  Tampilan tahapan pada operator cross validation
Setelah  menjalankan  semua  operator  maka  luaran  yang dihasilkan  dari  proses  ini  dengan  menggunakan  aplikasi rapidminer  studio seperti  pada  gambar  dibawah  ini  yang menunjukkan  nilai  akurasi  dari  penerapan  algoritma naive bayes dan pengujian 10- fold cross validation .
Gambar. 14  Tampilan hasil performance vector
Pada  gambar  diatas  memperlihatkan  hasil  dari  pengujian dataset dengan  menggunakan  10- fold  cross  validation serta algoritma naive  bayes pada  aplikasi rapidminer  studio didapatkan  nilai  akurasinya  sebesar  85,06%.  Berdasarkan pengolahan  dari dataset tersebut  kebanyakan  pelanggan pengguna  jasa  ekspedisi  anteraja  merasa  puas  terhadap pelayanan  telah  diberikan,  namun  masih  ada  beberapa pelanggan yang merasa belum puas terhadap pelayan tersebut. Sehingga  sebuah  perusahaan  jasa  ekspedisi  harus  bisa melakukan  inovasi  pelayanan  supaya  dapat  meningkatkan kepuasan  dan  loyalitas  pengguna  serta  kemampuan  bersaing terhadap perusahaan jasa ekspedisi lainnya [29].

## IV. K ESIMPULAN
Dari  hasil  pemrosesan dataset sebanyak  1180  data tweet untuk  mengetahui  bagaimana  pandangan  pengguna  terhadap pelayanan  yang  diberikan  oleh  jasa  ekspedisi  Anteraja  yang ditujukan pada akun @anteraja_id dari tanggal 1 Januari 2022 sampai  16  Agustus  2022  didapatkan  kategori  sentimen  yang paling  banyak  yaitu  kategori  sentimen  positif  yaitu  sebanyak 638  data  kemudian  untuk  kategori  sentimen  negatif  yaitu sebanyak 493 data,  sedangkan untuk  kategori sentimen netral yaitu hanya 49 data. Dimana saat ini banyak masyarakat yang merasa  puas  terhadap  pelayanan  yang  diberikan  oleh perusahaan jasa anteraja terlihat  dari banyaknya jumlah tweet yang  memiliki  kategori  positif.  Namun  masih  ada  beberapa masyarakat  yang  merasa  kurang  puas  terhadap  pelayanan
yang  diberikan  yaitu  terlihat  dari  jumlah  kategori  sentimen negatif yang tidak sedikit. Nilai akurasi dari proses penerapan algoritma naive bayes serta pengujian 10- fold cross validation didapatkan  nilai  akurasi  sebesar  85.06%.  Tentunya  dari pengolahan dataset yang  sudah  dilakukan  dapat  dijadikan sebagai  bahan  pertimbangan  pengambilan  keputusan  untuk melakukan  inovasi  peningkatan  pelayanan  yang  diberikan perusahaan terhadap penggunanya.

## R EFERENSI
[1] I.  R.  Afandi,  Y.  Handika,  I.  F.  Hanif,  and  D.  Ismail,  “Sistem Informasi  Penjualan  Online  Hasil  Tani  Desa  Blukbuk  Berbasis Aplikasi Website,” Pros. Semin. Nas. Teknoka , vol. 5, no. 2502, pp. 65–72, 2020.
[2] A.  Salam,  J.  Zeniarja,  and  R.  S.  U.  Khasanah,  “Analisis  Sentimen Data  Komentar  Sosial  Media  Facebook  Dengan  K-Nearest Neighbor  (Studi  Kasus  Pada  Akun  Jasa  Ekspedisi  Barang  J&T Ekpress Indonesia),” Pros. SINTAK , pp. 480–486, 2018.
[3] A. K. Dewi and Sulastri, “Analisis Sentimen Ekspedisi Sicepat Dari Ulasan  Google  Play  Mennggunakan  Algoritma  Naïve  Bayes,” JATISI  (Jurnal  Tek.  Inform.  dan  Sist.  Informasi) ,  vol.  9,  no.  2,  pp. 796–805, 2022.
[4] M.  T.  Nitami  and  H.  Februariyanti,  “Analisis  Sentimen  Analisis Sentimen  Ulasan  Ekspedisi  J&T  Express  Menggunakan  Algoritma Naïve Bayes,” J. Manaj. Inform. Sist. Inf. , vol. 5, p. 29, 2022.
[5] L.  N.  Rahman  and  Wahyudin,  “Optimalisasi  Penugasan  Karyawan Jasa Ekspedisi Menggunakan Metode Hungarian (Studi Kasus CV. Anteraja Cabang Mekarmukti),” J. Serambi Eng. , vol. 6, no. 3, pp. 2120–2127, 2021.
[6] B.  Nugraha,  “Metode  Klasifikasi  Analisis  Sentimen  pada  Media Sosial,” Syntax  J. Inform. , vol. 9, no. 2, pp. 109–118, 2020.
[7] F.  N.  Hasan  and  A.  Febriandirza,  “Perancangan  Data  Warehouse Untuk  Data  Penelitian  di  Perguruan  Tinggi  Menggunakan Pendekatan Nine Steps Methodologhy,” Pseudocode , vol. VIII, no. 1, pp. 49–57, 2021.
[8] M.  N.  Akbar,  Darmatasia,  and  Y.  Ardana,  “Analisis  Sentimen Terhadap  Jasa  Ekspedisi  Pos  Indonesia  Pada  Sosial  Media Twitter Menggunakan Naïve Bayes Classifier,” J. SHIFT , vol. 2, pp. 42–51, 2022.
[9] W.  Rohmatiana  and  A.  Sadiqin,  “Analisis  Tingkat  Kepuasan Pelanggan Terhadap Pelayanan Online Shop Kara Project,” J. Ekon. Manajemen, Bisnis dan Sos. , vol. 2, no. November, pp. 62–67, 2021.
[10] F.  Prasetiawan,  S.  Widiyanesti,  and  T.  Widarmanti,  “Analisis Sentimen  Mengenai  Kualitas  Layanan  Jasa  Ekspedisi  Barang Sicepat Di Media Sosial Twitter,” in e-Proceeding of Management , 2022, vol. 9, no. 2, pp. 1–14.
[11] D.  P.  Isnarwaty  and  Irhamah,  “Text  Clustering  pada  Akun TWITTER  Layanan  Ekspedisi  JNE,  J&T,  dan  Pos  Indonesia Menggunakan  Metode  Density-Based  Spatial  Clustering  of Applications  with  Noise  (DBSCAN)  dan  K-Means,” J.  Sains  dan Seni ITS , vol. 8, no. 2, pp. 2–9, 2019.
[12] T.  A.  Lorosae,  B.  D.  Prakoso,  Saifudin,  and  Kusrini,  “Analisis
Sentimen Berdasarkan Opini Masyarakat Pada Twitter
Menggunakan  Naïve  Bayes,” Semin.  Nas.  Teknol.  Inf.  dan Multimed. , pp. 25–30, 2018.
[13] F.  Rizqi  Irawan,  A.  Jazuli,  and  T.  Khotimah,  “Analisis  Sentimen Terhadap  Pengguna  Gojek  Menggunakan  Metode  K-Nearset Neighbors,” JIKO (Jurnal Inform. dan Komputer) , vol. 5, no. 1, pp. 62–68, 2022.
[14] A. R. Rizqullah, A. Wedhasmara, R. I. Heroza, A. Putra, F. Fathoni, and  P.  Putra,  “Analisis  Masalah  Pada  Data  Review  Aplikasi Terhadap  Layanan  E-Commerce  Menggunakan  Metode  Text Classification,” J. Tekno Kompak , vol. 16, no. 1, p. 186, 2022.
[15] F.  N.  Hasan  and  M.  Dwijayanti,  “Analisis  Sentimen  Ulasan Pelanggan  Terhadap  Layanan  Grab  Indonesia  Menggunakan Multinominal Naïve Bayes Classifier,” J. Linguist. Komputasional , vol. 4, no. 2, pp. 52–58, 2021.
[16] J.  J.  A.  Limbong,  I.  Sembiring,  and  K.  D.  Hartomo,  “Analisis Klasifikasi  Sentimen  Ulasan  Pada  E-Commerce  Shopee  Berbasis Word Cloud Dengan Metode Naive Bayes Dan K-Nearest Neighbor
Analysis  of  Review  Sentiment  Classification  on  E-Commerce Shopee  Word  Cloud  Based  With  Naïve  Bayes  and  K-Nearest Neighbor Meth,” J. Teknol. Inf. dan Ilmu Komput. , vol. 9, no. 2, pp. 347–356, 2019.
[17] R.  Akmalia,  I.  Slamet,  and  H.  Pratiwi,  “Analisis  Sentimen  Twitter Berbahasa  Indonesia  Terhadap  Aplikasi  PeduliLindungi  dengan Algoritma  SVM,  KNN,  dan  Regresi  Logistik,”  in Prosiding Seminar Nasional MIPA UNIPA , 2022.
[18] J.  D.  C.  Aruan,  B.  Rahyudi,  and  A.  Ridok,  “Analisis  Sentimen Opini Masyarakat terhadap Pelayanan Rumah Sakit Umum Daerah menggunakan  Metode  Support  Vector  Machine  dan  Term Frequency,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 6, no. 5, pp. 2072–2078, 2022.
[19] A.  R.  Prananda  and  I.  Thalib,  “Sentiment  Analysis  for  Customer Review: Case Study of GO-JEK Expansion,” J. Inf. Syst. Eng. Bus. Intell. , vol. 6, no. 1, p. 1, 2020.
[20] N.  I.  P.  Kalingara,  O.  N.  Pratiwi,  and  H.  D.  Anggana,  “Analisis Sentimen Review Customer Terhadap Layanan Ekspedisi Jne Dan J & T Express Menggunakan Metode Naïve Bayes,” in e-Proceeding of Engineering , 2021, vol. 8, no. 5, pp. 9035–9048.
[21] I.  Verawati  and  B.  S.  Audit,  “Algoritma  Naïve  Bayes  Classifier Untuk Analisis Sentiment Pengguna Twitter Terhadap Provider By .
u,” J. Media Inform. Budidarma , vol. 6, pp. 1411–1417, 2022.
[22] Asyharudin et  al. ,  “Comparing  Algorithm  For  Sentiment  Analysis In  Healthcare  And  Social  Security  Agency  (BPJS  Kesehatan),” J. Comput. Inf. Technol. , vol. 19, no. 1, pp. 31–37, 2022.
[23] A.  Asro’i  and  F.  Herny,  “Analisis  Sentimen  Pengguna  Twitter terhadap  Perpanjangan  PPKM  Menggunakan  Metode  K-Nearest Neighbor,” J. Khatulistiwa Inform. , vol. 10, no. 1, pp. 17–24, 2022.
[24] D. D. Putri, G. F. Nama, and W. E. Sulistiono, “Analisis Sentimen Kinerja  Dewan  Perwakilan  Rakyat  (DPR)  Pada  Twitter Menggunakan Metode Naive Bayes Classifier,” J. Inform. dan Tek.
Elektro Terap. , vol. 10, no. 1, pp. 34–40, 2022.
[25] R.  Slamet,  W.  Gata,  A.  Novtarianty,  K. Hilyati,  and  F.  A.  Jariyah, “Analisis  Sentimen  Twitter  Terhadap  Penggunaan  Artis  Korea Selatan  Sebagai  Brand  Ambassador  Produk  Kecantikan  Lokal,” J. Inf. Technol. Comput. Sci. , vol. 5, pp. 9–25, 2022.
[26] S.  Khairunnisa,  A.  Adiwijaya,  and  S.  Al  Faraby,  “Pengaruh  Text Preprocessing  terhadap  Analisis  Sentimen  Komentar  Masyarakat pada  Media  Sosial  Twitter  (Studi  Kasus  Pandemi  COVID-19),” J. Media Inform. Budidarma , vol. 5, no. 2, p. 406, 2021.
[27] A.  Aziz  and  Fauziah,  “Analisis  Sentimen  Identifikasi  Opini Terhadap Produk, Layanan dan Kebijakan Perusahaan Menggunakan  Algoritma  TF-IDF  dan  SentiStrength,” J.  Sains Komput. Inform. , vol. 6, no. 1, pp. 115–125, 2022.
[28] A.  P.  Giovani,  A.  Ardiansyah,  T.  Haryanti,  L.  Kurniawati,  and  W. Gata,  “Analisis  Sentimen  Aplikasi  Ruang  Guru  Di  Twitter Menggunakan Algoritma Klasifikasi,” J. Teknoinfo , vol. 14, no. 2, p. 115, 2020.
[29] A.  Saputra  and  Sofiyanurriyanti,  “Analisis  Kepuasan  Pelanggan terhadap  Kualitas  Pelayanan  Jasa  Ekspedisi  dengan  Metode Servqual  dan  Data  Envelopment  Analysis  (DEA)  di  Kota Meulaboh,” J. Sist. Tek. Ind. , vol. 23, no. 1, pp. 82–96, 2021.