JURNAL GAUSSIAN, Volume 12, Nomor 2, Tahun 2023, Halaman 242 - 253 Online di: https://ejournal3.undip.ac.id/index.php/gaussian/

## ANALISIS SENTIMEN PADA PERUSAHAAN PENYEDIA JASA LOGISTIK J&T MENGGUNAKAN ALGORITMA MULTINOMIAL NAÏVE BAYES DAN SUPPORT

## VECTOR MACHINE
Helmi Aulia Rahman 1* , Rukun Santoso 2 , Tatik Widiharih 3
1,2,3 Departemen Statistika, Fakultas Sains dan Matematika, Universitas Diponegoro *e-mail : helmiarahman57@gmail.com
DOI: 10.14710/j.gauss.12.2.242-253
Article Info: Received: 2022-11-14 Accepted: 2023-03-20 Available Online: 2023-07-28

## Keywords:
J&T; Twitter; Sentiment Analysis; Multinomial Naïve Bayes; Support Vector Machine
Abstract: Online shopping is a way to a faster and easier process of buying  things  or  needs  for  people  these  days.  Logistic  services  are essential in the process of buying things online, for they will be the one who ship the package to the buyer. PT. Global Jet Express or J&T is one of many logistics service provider company that are available in Indonesia. J&T has a Twitter account which is used for communicating with their customers. Opinions that were posted by J&T consumers on Twitter  could  be  used  as  a  data  to  do  sentiment  analysis  which  the purpose  is  to  extract  information  that  are  told  by  people  in  Twitter about J&T. Data crawling was done for 15.000 tweets that were posted during the period of 4 th to 10 th of July 2022, duplicated tweets and those who  has  the  exact  same  contents  were  removed  resulting  the  data reduced to 2500 tweets. Tweets will be divided into two class; positive class  and  negative  class  Some  classification  methods  are  commonly used  in  text  classification,  such  as Random  Forest , Decision  Tree , Naïve  Bayes  Classifier , Support  Vector  Machine etc.  Data  in  this research will be classified using Multinomial Naïve Bayes and Support Vector  Machine to  compare  their  accuracy,  the  reason  for  the comparison  is  these  methods  have  significant  difference  in  their concept complexity. Multinomial Naïve Bayes classify data by finding the  greatest  conditional  probability  value,  whilst Support  Vector Machine classify data by finding the best hyperplane to divide into two class. Multinomial  Naïve  Bayes has  the  accuracy  of  72,80%  and Support Vector Machine has the accuracy of 82,40%. Based on their accuracy, Support  Vector  Machine has  the  best  performance  in classifying public opinions about J&T on Twitter.

## 1. PENDAHULUAN
Berbelanja online merupakan salah satu pilihan untuk mempercepat dan mempermudah pembelian barang  ataupun kebutuhan seseorang pada saat  ini, karena pada proses belanja online barang akan dikirimkan kepada alamat  pembeli  menggunakan jasa logistik. PT Jet Global  Express  atau  J&T  merupakan  salah  satu  perusahaan  penyedia  jasa  logistik  di Indonesia.  J&T  memiliki  akun  media  sosial twitter yang  berfungsi  untuk  berkomunikasi dengan  pelanggan  terkait  pelayanan  yang  diberikan  J&T,  maka  dari  itu  opini  ataupun tanggapan masyarakat terkait pelayanan J&T dapat dilihat secara langsung dengan melihat pesan yang disampaikan pada akun tersebut. Opini masyarakat yang terdapat pada twitter ditampilkan sebagai tweet , kumpulan tweet ini dapat digunakan untuk melakukan analisis sentimen  dan  mengklasifikasikan  opini  masyarakat  terkait  pelayanan  J&T.  Contoh penelitian analisis sentimen yang telah dilakukan adalah Yuyun et al (2021) yang meneliti tentang  klasifikasi  sentimen  pemerintah  terhadap  penanganan  COVID-19  menggunakan algoritma Multinomial Naïve Bayes , penelitian lainnya dilakukan oleh Fitriyah et al (2020) yang  mengimplementasikan  algoritma Support  Vector  Machine pada  analisis  sentimen pelayanan  Gojek  pada  media  sosial  Twitter.  Terdapat  beberapa  Algoritma  yang  dapat
diterapkan  pada  penelitian  analisis  sentimen,  algoritma-algoritma  tersebut  memiliki  cara kerjanya masing-masing, contohnya adalah algoritma Multinomial Naïve Bayes dan Support Vector  Machine . Prinsip kerja algoritma Multinomial Naïve Bayes dalam mengklasifikasi sentimen  adalah  menemukan  probabilitas  tertinggi  terhadap  kelas  sentimen  untuk  teks, sedangkan algoritma Support Vector Machine bekerja dengan menemukan fungsi pemisah ( hyperplane )  terbaik  dengan  memaksimalkan  jarak  antar  kelas,  berdasarkan  hal  tersebut, pada penelitian ini dilakukan pengembangan dengan membandingkan dua algoritma dengan cara kerja dan konsep yang berbeda yaitu Algoritma Multinomial Naïve Bayes dan Support Vector Machine .
Dalam  penelitian  ini,  analisis  sentimen  dilakukan  pada  perusahaan  penyedia  jasa logistik  J&T  menggunakan  algoritma  klasifikasi Multinomial  Naïve  Bayes dan Support Vector  Machine .  Proses  pengambilan  data  pada  penelitian  ini  dilakukan  dengan Twitter Crawling . Tujuan yang diharapkan pada penelitian ini adalah mendapatkan metode dengan nilai terbaik antara algoritma Multinomial Naïve Bayes dan Support Vector Machine dalam menganalisis sentimen pelanggan J&T pada media sosial twitter berdasarkan nilai akurasi model.

## 2. TINJAUAN PUSTAKA
PT Global Jet Express atau J&T didirikan pada tanggal 20 agustus 2015. J&T didirikan atas  dasar  keperluan  logistik  di  Indonesia  yang  belum  maksimal.  Saat  ini,  J&T  memiliki lebih  dari  4.000  titik  operasi  di  seluruh  Indonesia.  Fasilitas  dan  layanan  yang  ditawarkan oleh  J&T  kepada  pelanggan  diantaranya  adalah  adanya  bukti  fisik  ( tangibels ),  jaminan ( assurance ), serta pelayanan yang baik ( benevolence ) (Lestari, 2020).
Twitter  merupakan sebuah media sosial  yang menawarkan fitur yang  memungkinkan pengguna untuk mengirim dan membaca pesan kepada pengguna Twitter lainnya. Crawling merupakan  proses  pengambilan  informasi  pada  suatu database dengan  menggunakan sejumlah  kata  kunci  untuk  tujuan  tertentu.  Informasi  yang  disampaikan  oleh  pengguna dinamakan  sebagai tweet .  Perusahaan  Twitter  menyediakan  fasilitas  API  ( Application Programing Interface ) kepada pengguna untuk melakukan crawling pada Twitter sehingga memungkinkan  pengguna  untuk  mengambil  kumpulan tweet dengan  kata  kunci  tertentu, kumpulan tweet ini dapat digunakan sebagai data penelitian analisis sentimen.
Analisis  sentimen  merupakan  studi  komputasi  untuk  menganalisis  suatu  opini, sentimen,  sikap,  dan  emosi  seseorang  terhadap  suatu  hal  yang  bertujuan  untuk mengidentifikasi pendapat positif dan atau pendafat negatif yang tersirat dalam sebuah teks tertulis (Liu, 2015). Hasil dari analisis sentimen dapat digunakan untuk  mengetahui opini masyarakat terkait suatu pelayanan perusahaan ataupun produk yang dihasilkan perusahaan, contohnya opini tentang pelayanan perusahaan J&T dalam memberikan jasa ekspedisi.
Text  mining merupakan  proses  ekstraksi  informasi  dari  sumber  data  tidak  terstruktur yang bertujuan untuk menangani masalah classification , clustering , information extraction , dan information retrival (Feldman dan Sanger, 2007). Tahapan text mining dibagi menjadi tiga  tahap  utama,  yaitu text pre-processing , text  transformation/feature  generation ,  dan pattern discovery (penemuan pola). Masukan untuk proses text mining adalah data teks dan luaran yang dihasilkan berupa pola sebagai hasil interpretasi.
Text  pre-processing bertujuan  untuk  mempersiapkan  data  teks  yang  digunakan  agar menjadi  lebih  terstruktur  dan  siap  diolah  pada  penelitian. Pre-processing sangat  penting dalam  analisis  sentimen  di  media  sosial  karena  sebagian  besar  data  berisi  kata-kata  atau kalimat yang tidak formal, tidak terstruktur, dan memiliki noise yang besar (Mujilahwati, 2016). Tahapan pre-processing yang umumnya dilakukan adalah sebagai berikut:
1. Case Folding
Case  Folding merupakan  tahapan  yang  bertujuan  untuk  merubah  keseluruhan  teks menjadi huruf kecil.
2. Remove URL
Remove URL merupakan tahapan yang bertujuan untuk melakukan penghapusan URL pada teks yang ditandai dengan ‘http://’ pada awal kalimat.
3. Unescape HTML
Unescape HTML  bertujuan  untuk  menghapus  file  HTML  dan  karakter  yang  diduga sebagai markup language
4. Remove Mention
Remove  mention bertujuan  untuk  menghapus  format  nama  pengguna twitter yang diawali dengan simbol “@”
5. Remove Number Remove  Number merupakan  tahapan  yang  bertujuan  untuk  menghapus  angka  yang terdapat dalam dokumen teks karena diduga tidak memberikan penilaian yang merujuk pada perasaan (sentimen)
6. Remove Punctuation Remove  Punctuation merupakan  tahapan  penghapusan  karakter  yang  tidak  termasuk alphabet atau merupakan tanda baca pada suatu dokumen teks
7. Remove Emoticon Remove Emoticon bertujuan untuk menghapus simbol emoticon yang sering digunakan oleh pengguna media sosial termasuk twitter .
8. Strip White Space Strip  White  Space merupakan  tahapan  yang  bertujuan  untuk  menghapus  spasi  yang berlebihan pada dokumen.
9. Normalisasi kata.
Normalisaasi kata bertujuan untuk mengubah kata yang tidak baku menjadi kata baku sesuai dengan KBBI.
Sentiment scoring merupakan mekanisme pelabelan data yang mengelompokkan data menjadi sentimen positif atau sentimen negatif, syarat pengelompokkan data mengacu pada kamus  sentimen  yang  berisi  kumpulan  kata  yang  telah  diberikan  bobot  sentimen  1  s.d.  5 untuk  sentimen  positif  dan  -1  s.d.  -5  untuk  sentimen  negatif  (Wahid  dan  Azhari,  2016). Sentiment  scoring memiliki  tahapan  input boosterwords dan  kata  negasi. Boosterwords adalah kata yang dapat meambah atau mengurangi nilai bobot sentimen suatu kata, seperti kata “sangat senang” dinilai lebih positif dibandingkan dengan kata “senang”. Kata negasi adalah kata-kata yang dapat mengubah orientasi sebuah opini, contohnya, kata “bagus” yang memiliki arti positif dapat berubah menjadi negatif apabila ditambahkan kata negasi menjadi “tidak bagus”, kata “tidak” merupakan salah satu contoh kata yang terdapat pada kata negasi.
Feature selection bertujuan untuk memilih fitur terbaik dari kumpulan fitur data, pada proses ini fitur yang berlebihan, irelevan dan menyebabkan salah pengertian terhadap kelas target  akan  dikurangi  agar  klasifikasi  sentimen  lebih  akurat  (Ningtyas,  2016).  Tahapan feature  selection yang  digunakan  pada  penelitian  ini  yakni stopwords  removal yang merupakan tahapan menghilangkan kata-kata yang tidak relevan dengan subjek utama dan stemming yang  merupakan  tahapan  mengubah  kata  berimbuhan  menjadi  kata  dasar (Mujilahwati, 2016).
Pembobotan  kata  ( term) bertujuan  untuk  memberikan  bobot  pada  setiap  kata  untuk memudahkan  proses  klasifikasi. Term  Frequency-Inverse  Document  Frequency (TF-IDF) merupakan  metode  yang  paling  umum  digunakan  untuk  menghitung  bobot  kata  karena
dikenal  efisien,  sederhana,  dan  akurat  (Robertson,  2004).  Metode  TF-IDF  dihitung menggunakan persamaan (1):
𝑊 𝑖,𝑗 = 𝑛 𝑖,𝑗 ∑ 𝑛 𝑘,𝑗 𝑘 × 𝑙𝑜𝑔 2 ( 𝑁 𝑑𝑓 (𝑖) ) (1)
dengan 𝑊 𝑖,𝑗 pembobotan  TF-IDF  untuk term ke- i dan  dokumen  ke- j , 𝑛 𝑖,𝑗 banyaknya kemunculan term ke- i pada dokumen ke- j , Σ 𝑘 𝑛 𝑘,𝑗 banyaknya kemunculan seluruh term ke -i pada dokumen ke- j , N banyaknya dokumen keseluruhan dan 𝑑𝑓 (𝑖) banyaknya dokumen yang mengandung term i .
Imbalance class data adalah suatu kondisi data tidak seimbang antara kelas data satu dengan kelas data lainnya. Suatu data dapat dikatakan tidak seimbang jika kelas sampel yang menjadi minoritas proporsinya kurang dari 35% dari total data (Thammasiri et al ., 2014). Terdapat  beberapa  metode  penanganan  untuk  masalah imbalance  class  data ,  beberapa diantaranya yakni random oversampling , random undersampling , dan SMOTE. Multinomial Naïve Bayes merupakan pengembangan dari model algoritma Naïve Bayes yang cocok untuk digunakan pada klasifikasi teks. Kategori suatu dokumen dalam metode Multinomial  Naïve  Bayes ditentukan  berdasarkan  kata  yang  muncul  beserta  jumlah kemunculannya. Probabilitas kelas c untuk dokumen d pada model Multinomial Naïve Bayes menggunakan persamaan (2) (Manning, et al ., 2009):
𝑃(𝑐|𝑑) ∝ 𝑃(𝑐) ∏ 𝑃(𝑡 𝑘 |𝑐) 𝑛 𝑘=1 (2)
dengan P(𝑐|𝑑) probabilitas kelas c untuk dokumen d , P( c ) probabilitas prior suatu dokumen berada  di  kelas c , 𝑡 𝑘 term ke- k pada  dokumen d ,  P (𝑡 𝑘 |𝑐) probabilitas  term 𝑡 𝑘 berada  di dokumen yang terdapat dalam kelas c dan n banyaknya term pada dokumen d . Kelas terbaik untuk suatu dokumen ditentukan dengan mencari maximum a posteriori (MAP) kelas C map melalui persamaan (3):
𝐶 𝑚𝑎𝑝 = arg max 𝑐∈𝐶 𝑃̂(𝑐|𝑑) = arg max 𝑐∈𝐶 𝑃̂(𝑐) ∏ 𝑃̂(𝑡 𝑘 |𝑐) 𝑛 𝑘=1 (3)
dengan c kategori dan C matriks term -dokumen. Probabilitas prior didapatkan melalui persamaan (4):
P ̂(c) = 𝑁 𝑐 𝐷 (4)
dengan P ̂(c) probabilitas  prior suatu  dokumen berada di  kelas c , 𝑁 𝑐 banyaknya dokumen dengan kelas c , dan D banyaknya seluruh dokumen. Rumus Multinomial  Naïve  Bayes dengan  menggunakan  pembobotan  TF-IDF  untuk menentukan kelas dokumen ditunjukkan pada persamaan (5):
P ̂(t|c) = 𝑤 𝑐𝑡 +1 (∑ 𝑤 𝑐𝑡 )+𝐵′ 𝑤∈𝑉 (5)
dengan 𝑤 𝑐𝑡 bobot TF-IDF term t pada dokumen dengan kelas c, ∑ 𝑤 𝑐𝑡 𝑤∈𝑉 jumlah bobot TF- IDF  seluruh term pada  dokumen  dengan  kelas  c  dan  B’  Jumlah  IDF  seluruh term pada dokumen.
Kelas  suatu  dokumen  (data  uji)  pada  algoritma Multinomial  Naïve  Bayes akan ditentukan  berdasarkan  nilai  probabilitas term terhadap  kelas  yang  paling  besar  pada persamaan (5), apabila nilai probabilitas term terhadap kelas positif adalah nilai probabilitas yang paling besar maka dokumen termasuk dalam sentimen dengan kategori kelas positif, dan sebaliknya.
Support  Vector  Machine (SVM)  merupakan  suatu  metode  klasifikasi  yang  memiliki konsep sebagai usaha mencari hyperplane terbaik. Hyperplane merupakan pemisah terbaik antara data yang dapat ditentukan dengan mengukur titik maksimal dari margin hyperplane . Margin merupakan jarak antara hyperplane dengan data terdekat.  Data yang paling dekat dengan hyperplane adalah support vector (Prasetyo, 2012).
Sumber : Eke (2020) Gambar 1. Konsep SVM
Hyperplane untuk  kelas  positif  adalah  data  pada support  vector yang  memenuhi persamaan (6):
𝒘 𝑻 . 𝒙 𝒑𝒐𝒔𝒊𝒕𝒊𝒇 + 𝑏 = 1 (6)
dengan w parameter bobot berupa vektor ukuran 𝑙  × 1 , 𝒙 data latih dan b bias atau error . Hyperplane untuk kelas negatif memenuhi persamaan (7):
𝒘 𝑻 . 𝒙 𝒏𝒆𝒈𝒂𝒕𝒊𝒇 + 𝑏 = −1 (7)
Nilai margin dirumuskan sebagaimana persamaan (8):
𝟐 ‖𝒘‖ (8)
nilai ‖𝒘‖ dinyatakan pada persamaan (9):
‖𝒘‖ =   𝒘 𝑇 𝒘 (9)
Algoritma  SVM  dapat  dimodifikasi  dengan  memasukkan  fungsi  kernel  untuk menyelesaikan problem non-linear seperti analisis sentimen. Fungsi kernel yang digunakan untuk  memetakan  data  dinotasikan  dengan  simbol  ( 𝜙 ).  Menurut  Prasetyo  (2012),  fungsi pemisah  terbaik  ( hyperplane )  untuk  klasifikasi non-linear menggunakan  fungsi  kernel ditunjukkan pada persamaan (10):
𝑓(𝒙 𝒋 ) = 𝑠𝑖𝑔𝑛(∑ 𝑎 𝑖 𝑦 𝑖 𝐾(𝒙 𝒊 , 𝒙 𝒋 ) + 𝑏) 𝑝 𝑖=1 (10)
nilai 𝒘 dan 𝑏 dinyatakan pada persamaan (11) dan (12):
argin
𝒘 = ∑ 𝑎 𝑖 𝑦 𝑖 𝜙(𝒙 𝒊 ) 𝑝 𝑖=1 (11)
𝑏 = 1 2 (𝒘 𝑻 . 𝒙 𝑛𝑒𝑔𝑎𝑡𝑖𝑓 + 𝒘 𝑻 . 𝒙 𝑝𝑜𝑠𝑖𝑡𝑖𝑓 ) (12)
dengan 𝑝 banyaknya data yang menjadi support vector , 𝑎 𝑖 pengganda fungsi Lagrange , 𝑦 𝑖 label kelas data ke- I , 𝒙 𝒊 support vector , 𝒙 𝒋 data testing yang akan diprediksi, w parameter bobot berupa vektor ukuran 𝑙  × 1 dan b bias atau error . Kelas data uji pada algoritma Support Vector Machine akan ditentukan berdasarkan nilai hyperplane yang  didapatkan  pada  persamaan  (10).  Nilai hyperplane positif  menunjukkan data uji termasuk pada sentimen positif, sedangkan nilai hyperplane negatif menunjukkan data uji termasuk pada sentimen negatif.
Evaluasi  kinerja  klasifikasi  pada  penelitian  ini  dilakukan  dengan  menggunakan confusion  matrix . Confusion  matrix bertujuan untuk  menganalisis keberhasilan klasifikasi mengenali tuple dari kelas yang berbeda (Han et al ., 2012). Parameter yang dihasilkan pada confusion  matrix untuk  mengevaluasi  kinerja  klasifikasi  yaitu accuracy , precision ,  dan recall . Indikator pada confusion matrix dapat dilihat pada Tabel 1.
Tabel 1. Confusion Matrix
Classified as Positive  Negative Correct Positive TP FN Classification  Negative FP TN
Word  Cloud merupakan  metode  untuk  menginterpretasikan  data  teks  secara  visual, semakin besar ukuran kata yang ditampilkan pada word cloud menunjukkan semakin besar frekuensi  kata  tersebut  muncul  (Ramasurabramanian  dan  Singh,  2017).  Visualisasi menggunakan word cloud bertujuan untuk memudahkan pengamat dalam melihat gagasan sang penulis teks agar menjadi alat bantu dalam melakukan analisis terhadap sebuah wacana tertulis (Qeis, 2015).

## 3. METODE PENELITIAN
Data  yang  digunakan  pada  penelitian  ini  merupakan  data  kualitatif,  yaitu  data  hasil twitter crawling berupa tweet dari akun pengguna media sosial twitter . Crawling dilakukan pada tanggal 4-10 Juli 2022 dengan keyword “JNTExpressID” yang merupakan username akun J&T pada twitter , tweet yang didapatkan dari proses crawling sebanyak 15.000 tweet . Deteksi tweet duplikat dilakukan untuk tweet dan retweet yang mempunyai kesamaan isi, dan  dilakukan  penghapusan  secara manual untuk tweet yang  tidak  mengandung  makna, jumlah tweet setelah  penghapusan  duplikat  dan tweet yang  tidak  mengandung  makna menjadi sebanyak 2.500 tweet .
Langkah-langkah analisis yang dilakukan pada penelitian ini adalah sebagai berikut:
1. Twitter Crawling
2. Deteksi duplikasi dan penghapusan tweet duplikat
3. Pre-processing data
4. Pelabelan data dengan sentiment scoring
5. Feature selection
6. Pembobotan kata dengan TF-IDF
7. Tahap klasifikasi
a. Algoritma Multinomial Naïve Bayes
i. Membagi  data  menjadi  data  latih  dan  data  uji  dengan  perbandingan 90%:10%
ii. Menghitung probabilitas prior (P(Y)) data uji berdasarkan data latih iii. Menghitung probabilitas setiap term dari seluruh dokumen\
iv. Menghitung probabilitas term terhadap kelas sentimen
v. Menentukan hasil klasifikasi berdasarkan probabilitas kelas terbesar
vi. Mengevaluasi model menggunakan confusion matrix
b. Algoritma Support Vector Machine
i. Membagi  data  menjadi  data  latih  dan  data  uji  dengan  perbandingan 90%:10%
ii. Menghitung nilai-nilai parameter untuk klasifikasi
iii. Menentukan hyperplane dengan  menggunakan  parameter  terbaik  pada fungsi kernel yang digunakan iv. Mengevaluasi hasil klasifikasi berdasarkan confusion matrix

## 4. HASIL DAN PEMBAHASAN
Tweet yang digunakan pada penelitian ini dikumpulkan dengan proses twitter crawling mulai dari tanggal 4 Juli 2022 hingga 10 Juli 2022 dengan keyword “JNTExpressID” dengan kategori tweet berbahasa  Indonesia  sebanyak  15.000 tweet .  Proses  pengumpulan  data dilanjutkan  dengan  menghilangkan  duplikat  dan tweet yang  tidak  memiliki  arti  hingga berkurang  menjadi  2.500 tweet ,  data tweet yang  akan  diolah  kemudian  disimpan  dalam format CSV ( Comma Separated Value ) Pre-processing data dilakukan dengan tujuan mengubah data teks yang tidak terstruktur pada  penelitian  ini  menjadi  data  yang  terstruktur  dan  memudahkan  tahap  klasifikasi. Tahapan pre-processing yang dilakukan pada penelitian ini yakni case folding, remove URL, unescape HTML, remove mention , remove number , remove punctuation , remove emoticon, strip white space dan normalisasi kata.
Pelabelan  data  pada  penelitian  ini  dilakukan  menggunakan  teknik sentiment  scoring dengan tiga kamus untuk melabelkan data yakni kamus sentimen, kamus boosterwords , dan kamus negasi. Kamus yang digunakan pada tahap sentiment scoring merupakan kamus yang memuat kata-kata yang telah diberi nilai masing-masing. Total nilai yang diperoleh suatu dokumen pada proses sentiment scoring akan digunakan untuk memberi label pada dokumen tersebut, apabila nilai akhir suatu dokumen bernilai ≥ 0 maka dokumen diberi label sentimen positif, sebaliknya, jika nilai akhir suatu dokumen bernilai < 0 maka dokumen diberi label sentimen negatif. Proses sentiment scoring menghasilkan sebanyak 1672 dokumen dengan label sentimen positif dan sebanyak 828 dokumen dengan label sentimen negatif.
Feature selection dilakukan  dengan  memilih  fitur  terbaik  pada  data  yang  digunakan, pada  penelitian  ini  terdapat  dua  tahapan feature selection yaitu stopwords  removal dan stemming . Proses stopwords removal bertujuan untuk menghilangkan kata-kata yang tidak bermakna agar meningkatkan hasil akurasi menggunakan kamus stopwords Indonesia yang berisikan  758  kata  dan  kamus stopwords manual  yang  berisikan  145  kata. Stemming bertujuan  untuk  mengubah  kata-kata  berimbuhan  pada  data  teks  menjadi  kata  dasar  agar memudahkan program membaca data pada proses klasifikasi analisis sentimen.
Pembobotan kata diperlukan dalam analisis sentimen karena jenis data yang digunakan merupakan data kualitatif, sehingga pada penelitian ini Term Frequency-Inverse Document Frequency (TF-IDF)  dilakukan  untuk  mengubah  kata-kata  menjadi  bilangan  yang  dapat dihitung dan diolah oleh program, terdapat 3155 kata yang berhasil dideteksi pada proses pembobotan kata. Pembobotan kata TF-IDF dapat dilihat pada Tabel 2.
Tabel 2. Hasil Pembobotan TF-IDF
Sampel ke- admin aman barang informasi … zzz 1 0.634782 0 0 0 … 0 2 0 0.738082 0 0 … 0 3 0 0 0 0.538725 … 0 4 0 0 0.642863 0 … 0 ⁝ ⁝ ⁝ ⁝ ⁝ ⁝ ⁝ 2500 0 0 0 0 … 0
Data yang telah melalui tahapan pre-processing hingga pembobotan dibagi menjadi data latih dan data uji. Perbandingan data latih dan data uji pada penelitian ini didapatkan dengan metode trial and error , perbandingan antara data latih dan data uji terbaik yang didapatkan adalah sebesar 90%:10%. Resampling dilakukan pada data latih untuk mengatasi masalah imbalanced class data , imbalanced class data terjadi karena terdapat perbedaan nilai yang besar  antara  jumlah  dokumen  kelas  positif  sebagai  kelas  mayoritas  dan  dokumen  kelas negatif sebagai kelas minoritas, jumlah dokumen pada kelas negatif sebagai kelas minoritas yaitu  sejumlah  729  dokumen  atau  sebesar  33%  dari  total  data  keseluruhan  sehingga penanganan imbalanced  class  data perlu  dilakukan.  Metode resampling yang  digunakan pada penelitian ini adalah random oversampling dan random undersampling yang tersedia pada package ROSE di dalam software R.
Algoritma Multinomial Naïve Bayes menentukan kelas sentimen setiap data uji dengan menghitung prior  probability terlebih  dahulu,  setelah  didapatkan  nilai prior  probability maka  dihitung conditional  probability untuk  masing-masing  kelas  pada  data  uji.  Nilai probabilitas terhadap kelas positif dan negatif suatu dokumen yang dijadikan data uji akan menentukan  kelas  sentimen  data  tersebut.  Contoh  klasifikasi  menggunakan  algoritma Multinomial Naïve Bayes untuk tweet 1, tweet 2, tweet 3, tweet 4 sebagai data latih dan tweet 5 sebagai data uji adalah sebagai berikut:
Tabel 3. Contoh Isi Dokumen Tweet Sampel Tweet Term dalam tweet Kelas Tweet 1 masalah, kurir, paket, penjual Negatif Tweet 2 lambat, barang, update Negatif Tweet 3 paket, tidak jalan Negatif Tweet 4 jnt, cepat, paket Positif Tweet 5 paket, kurir, hilang, jnt ?
Prior probability untuk data uji tweet 5 dinyatakan sebagai berikut:
𝑃(𝑝𝑜𝑠𝑖𝑡𝑖𝑓) = 1 4 𝑃(𝑛𝑒𝑔𝑎𝑡𝑖𝑓) = 3 4
Conditional  probability untuk  data  uji tweet 5  dihitung  setelah  mendapatkan  nilai prior probability dan nilai bobot setiap term terhadap masing-masing kelas yang sebelumnya telah dihitung menggunakan software R. Conditional probability untuk data uji tweet 5 dihitung menggunakan persamaan (2) sehingga didapatkan nilai probabilitas tweet 5 untuk masing- masing kelas sentimen:
P ̂(positif|tweet5) = P(positif) x P( paket) x P(kurir) x P(hilang) x P(jnt)
= 0,25000 x 0,06858 x 0,05175 x 0,05175 x 0,04684
= 2,15068 𝑥 10 −6
P ̂(negatif|tweet5) = P(negatif) x P( paket) x P(kurir) x P(hilang) x P(jnt)
= 0,75000 x 0,06858 x 0,04115 x 0,04115 x 0,04684
= 4,07956 𝑥 10 −6
Kelas terbaik untuk data uji tweet 5 selanjutnya ditentukan menggunakan persamaan (3):
𝐶 𝑚𝑎𝑝 = arg max 𝑐∈𝐶 P ̂(c|tweet5) = P ̂( negatif|tweet5 )
Nilai probabilitas posterior data uji tweet 5 terhadap kelas negatif lebih besar dibandingkan dengan  nilai  probabilitas  posterior  terhadap  kelas  positif,  sehingga  sampel  data  uji  yaitu tweet 5  termasuk  dalam  sentimen  dengan  kategori  kelas  negatif  karena  nilai P ̂(negatif|tweet5) merupakan maximum  posteriori untuk  data  uji tweet 5.  Proses perhitungan  klasifikasi  untuk  semua  data  uji  menggunakan  algoritma Multinomial  Naïve Bayes selengkapnya dilakukan menggunakan software R. Algoritma Support Vector Machine menentukan kelas sentimen setiap data uji dengan mencari hyperplane terbaik  untuk  data  uji,  Contoh  klasifikasi  menggunakan  algoritma Support Vector Machine untuk data uji tweet 2251 adalah sebagai berikut:
𝑦 𝑡𝑤𝑒𝑒𝑡 𝑘𝑒−2251 = 𝑠𝑖𝑔𝑛(∑ 𝑎 𝑖 𝑦 𝑖 𝐾(𝒙 𝒊 , 𝒙 𝒋 ) + 𝑏) 𝑝 𝑖=1
𝑦 𝑡𝑤𝑒𝑒𝑡 𝑘𝑒−2251 = 𝑠𝑖𝑔𝑛([0,987 × 1 × 0,995 + 1,00013] + [0,982 × 1 × 0,995 + 1,00013]
+ ⋯ + [0,993 × 1 × 0,995 + 1,00013])
𝑦 𝑡𝑤𝑒𝑒𝑡 𝑘𝑒−2251 = 𝑠𝑖𝑔𝑛(98) = 1
Kelas  data  uji  ditentukan  dengan  label  berdasarkan  nilai hyperplane yang  didapatkan, sehingga  data  uji  yaitu tweet ke-2251  termasuk  dalam  sentimen  kelas  positif.  Proses perhitungan  klasifikasi  untuk  semua  data  uji  menggunakan  algoritma Support  Vector Machine selengkapnya dilakukan menggunakan software R.
Model  klasifikasi  yang  terbentuk  pada  proses  penelitian  perlu  dievaluasi  untuk mengetahui  ketepatan  klasifikasinya  terhadap  data  uji.  Model  klasifikasi  terbaik  pada
algoritma Support Vector Machine didapatkan pada model klasifikasi dengan perbandingan data latih dan data uji 90%:10% dan nilai parameter Cost 1000 yang menghasilkan sebanyak 1471 support  vector sebagai  data  yang  paling  dekat  dengan hyperplane. Evaluasi performansi model yang digunakan pada penelitian ini adalah confusion matrix . Hasil dari confusion matrix untuk model Support Vector Machine dengan perbandingan data latih dan data uji 90%:10% dan nilai parameter Cost 1000 dapat dilihat pada Tabel 4.
Tabel 4. Hasil Confusion Matrix Model Multinomial Naïve Bayes Classified as Positive Negative Correct Positive 140 47 Classification Negative 21 42 𝑂𝑣𝑒𝑟𝑎𝑙𝑙 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 = 140 + 42 140 + 21 + 42 + 47 = 72,80%
Hasil  perhitungan overall  accuracy menunjukkan  tingkat  akurasi  model  algoritma Multinomial  Naïve  Bayes dalam  mengklasifikasikan  sentimen  masyarakat  terhadap perusahaan  J&T  pada  media  sosial twitter adalah  sebesar  72,80%,  maka  dari  itu  dapat disimpulkan bahwa sebesar 72,80% model klasifikasi menggunakan algoritma Multinomial Naïve Bayes dapat  dengan tepat  memprediksi dokumen untuk  dimasukkan kedalam kelas sentimennya.
Confusion  matrix untuk  mengevaluasi  model  klasifikasi  menggunakan  algoritma Support Vector Machine dapat dilihat pada Tabel 5.
Tabel 5. Hasil Confusion Matrix Model Support Vector Machine Classified as Positive Negative Correct Positive 146 29 Classification Negative 15 60 𝑂𝑣𝑒𝑟𝑎𝑙𝑙 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 = 146 + 29 146 + 15 + 60 + 29 = 82,40%
Hasil perhitungan overall accuracy menunjukkan tingkat akurasi model algoritma Support Vector Machine dalam mengklasifikasikan sentimen masyarakat terhadap perusahaan J&T pada media sosial twitter adalah sebesar 82,40%, maka dari itu dapat disimpulkan bahwa sebesar 82,40% model  klasifikasi  menggunakan  algoritma Support Vector  Machine dapat dengan tepat memprediksi dokumen untuk dimasukkan kedalam kelas sentimennya.
Perbandingan  hasil  kinerja  model  klasifikasi  algoritma Multinomial  Naïve  Bayes dan Support  Vector  Machine dilihat  dari  nilai  akurasi  akhir  yang  didapatkan  kedua  model algoritma  tersebut  yang  didapatkan  dari  tabel confusion  matrix ,  algoritma  dengan  nilai akurasi  akhir  terbesar  dinyatakan  sebagai  algoritma  yang  paling  baik  dalam mengklasifikasikan masyarakat mengenai J&T pada media sosial twitter .
Tabel 3 dan Tabel 4 menunjukkan hasil kinerja klasifikasi untuk masing-masing model algoritma.  Algoritma Multinomial  Naïve  Bayes memiliki  tingkat  akurasi  model  sebesar 72,80%  sedangkan  algoritma Support  Vector  Machine memiliki  tingkat  akurasi  model sebesar 82,40%, dari hasil tersebut dapat ditarik kesimpulan bahwa algoritma Support Vector
Machine bekerja lebih baik dibandingkan dengan algoritma Multinomial Naïve Bayes dalam mengklasifikasikan  sentimen  masyarakat  mengenai  J&T  pada  media  sosial twitter dikarenakan  memiliki  nilai  akurasi  lebih  tinggi  yaitu  sebesar  82,40%.  Faktor  yang mempengaruhi hasil prediksi adalah tingkat kesalahan pada pelabelan data yang dilakukan, pada model algoritma Multinomial Naïve Bayes terdapat lebih banyak kesalahan pelabelan data  dibandingkan  dengan  model  algoritma Support  Vector  Machine ,  hal  tersebut mempengaruhi  tingkat  keberhasilan classifier dalam  memprediksi  klas  untuk  setiap tweet yang dijadikan sebagai data uji.
Visualisasi  data  teks  berupa tweet dilakukan  dengan  menggunakan word  cloud , visualisasi data dilakukan berdasarkan dua kelas sentimen yang telah ditentukan agar dapat diketahui  kata-kata  yang  sering  muncul  pada  masing-masing  kelas  sentimen. word  cloud untuk masing-masing kelas sentimen dapat dilihat pada Gambar 2.
(a) (b) Gambar 2. (a) Word Cloud Kelas Sentimen Positif, (b) Word Cloud Kelas Sentimen Negatif
Visualisasi  data  menggunakan Word  Cloud yang  ditunjukkan  pada  Gambar  2 menunjukkan  kedua  kelas  sentimen  memiliki  kesamaan  pada  kata  yang  paling  sering dibicarakan  oleh  masyarakat  melalui tweet pada  media  sosial twitter ,  yaitu  kata  ‘paket’. Paket  dalam  bahasa  sehari-hari  merupakan  kata  yang  merujuk  pada  barang  yang  dibeli konsumen  dan  diantarkan  oleh  jasa  ekspedisi  kepada  alamat  pembeli,  hal  tersebut menunjukkan  bahwa  masyarakat  pada  media  sosial twitter cenderung  memberikan  opini mereka terkait dengan pelayanan J&T dalam menangani paket yang dikirimkan.

## 5. KESIMPULAN
Analisis dan pembahasan mengenai analisis sentimen PT. Global Jet Express atau J&T pada  media  sosial twitter menunjukkan  hasil  bahwa  klasifikasi  menggunakan  algoritma Multinomial Naïve Bayes menghasilkan nilai akurasi sebesar 72,80%, sedangkan klasifikasi menggunakan  algoritma Support  Vector  Machine menghasilkan  nilai  akurasi  sebesar 82,40%,  maka  dari  itu  diperoleh  kesimpulan  bahwa  model  algoritma  dengan  kinerja klasifikasi terbaik pada penelitian ini adalah Support Vector Machine yang memiliki nilai akurasi paling tinggi yaitu sebesar 82,40%. Visualisasi word cloud menunjukkan bahwa kata ‘paket’ merupakan topik yang paling sering dibicarakan oleh masyarakat pada media sosial twitter mengenai  J&T  pada  kelas  sentimen  positif  maupun  negatif,  hal  ini  menunjukkan bahwa sebagian besar pengguna twitter cenderung membicarakan keadaan barang yang telah mereka beli secara online dan diantarkan oleh J&T sebagai jasa ekspedisi.

## DAFTAR PUSTAKA
Feldman,  R.,  dan  Sanger,  J.  2007. The  Text  Mining  Handbook:  Advanced  approaches  in Analyzing Unstructured Data. New York: Cambridge University Press.
Fitriyah, N., Warsito, B. dan Di Asih, I.M. 2020. Analisis Sentimen Gojek Pada Media Sosial Twitter Dengan Klasifikasi Support Vector Machine (SVM). Jurnal Gaussian Vol. 9, No. 3, Hal: 376-390.
Han, J., Kamber, M., dan Pei, J. 2012. Data Mining: Concept and Techniques. San Fransisco: Morgan Kaufmann Publishers.
Lestari, D. C. 2020. Analisis Komparatif Tingkat Kualitas Layanan dan Kepercayaan Konsumen terhadap Kepuasan Konsumen antara Jasa Pengiriman Barang J&T Express dan JNE di Surabaya. Disertasi . Universitas 17 Agustus 1945 Surabaya.
Liu,  B.  2015. Sentiment  Analysis:  Mining  Opinions,  Sentiments,  and  Emotions. Cambridge: Cambridge University Press.
Manning, C., Reghavan, P., dan Schutze, H. 2009. An Introductuion to Information Retrieval. Cambridge: Cambridge University Press.
Mujilahwati,  S.  2016. Pre-Processing  Text  Mining  Pada  Data  Twitter. Seminar  Nasional Teknologi Informasi Dan Komunikasi. Sentika.
Ningtyas, A. M. 2016. Pengaruh Penanganan Negasi Dalam Bahasa Indonesia Untuk Pelabelan Otomatis  Pada  Analisis  Sentimen  Twitter. Disertasi . Universitas  Gadjah  Mada Yogyakarta.
Nurjanah, W. E., Perdana, R. S., dan Fauzi, M. A. 2017. Analisis Sentimen Terhadap Tayangan Televisi Berdasarkan Opini Masyarakat pada Media Sosial Twitter menggunakan Metode K-Nearest Neighbor dan Pembobotan Jumlah Retweet. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN , 2548 , 964X. Prasetyo,  E.,  2012. Data  Mining  Konsep  dan  Aplikasi  Menggunakan  MATLAB. Yogyakarta: Andi Offset.
Qeis,  M.  I.  2015. Aplikasi  Wordcloud  Sebagai  Alat  Bantu  Analisis  Wacana .  Jakarta: International Conference on Language, Culture, and Society - ICLCS LIPI 2015.
Ramasubramanian,  K.  dan  Singh,  A.  2017. Machine  Learning  Using  R .  New  York:  Apress Media
Robertson, S. 2004. Understanding Inverse Document Frequency: on Theoretical Arguments for IDF. Journal of Documentation .
Wahid,  D.  H.,  dan  Azhari  ,  S.  N.  2016.  Peringkasan  Sentimen  Ekstraktif  di  Twitter Menggunakan Hybrid TF-IDf dan Cosine Similarity. Indonesian Journal of Coputing and Cybernetics Systems (IJCCS) Vol. 10, No. 2, Hal: 207-218.
Yuyun, Hidayah, N. dan Sahibu, S. 2021. Algoritma Multinomial Naïve Bayes Untuk Klasifikasi Sentimen Pemerintah Terhadap Penanganan Covid-19 Menggunakan Data Twitter. Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) Vol. 5 , No.4, Hal: 820-826.