## ANALISIS SENTIMEN TERHADAP PELAYANAN KRL COMMUTERLINE BERDASARKAN DATA TWITTER MENGGUNAKAN ALGORTIMA BERNOULLI NAIVE BAYES
1 Mediana Saraswati, 2 Desti Riminarsih 1,2 Jurusan Teknik Informatika, Fakultas Teknologi Industri Universitas Gunadarma Jl. Margonda Raya No. 100, Depok 16424, Jawa Barat
1 medianasaraswati@gmail.com, 2 destimath@@staff.gunadarma.ac.id

## Abstrak
Sektor  pelayanan  publik  merupakan  sektor  strategis  sebagai  indikasi  tata  kelola pemerintahan  yang  baik.  KRL  Commuterline  merupakan  salah  satu  sektor  pelayanan  publik pada  bidang  transportasi  yang  banyak  digunakan  oleh  masyarakat.  Media  sosial  khususnya Twitter  merupakan  wadah  masyarakat  untuk  berinteraksi,  berbagi  informasi  bahkan mengemukakan opini mereka terhadap pelayanan KRL. Opini masyarakat terhadap pelayanan KRL  Commuterline  dapat  dijadikan  sebagai  evaluasi  dalam  peningkatan  kualitas  layanan. Pada  penelitian  ini  dilakukan  analisis  sentimen  masyarakat  terhadap  pelayanan  KRL Commuterline  berdasarkan  data  yang  diperoleh  dari  Twitter.  Analisis  sentimen  ini  bertujuan untuk  mengklasifikasikan  tweets  mengenai  pelayanan  KRL  Commuterline  ke  dalam  sentimen positif  dan  negatif  dengan  pendekatan  machine  learning  menggunakan  algoritma  Bernoulli Naive Bayes. Data latih yang digunakan sebanyak 2.690 data dan data validasi sebanyak 1.626 data tweets. Pada proses pelatihan model diperoleh tingkat akurasi pelatihan sebesar 86,36% dan  tingkat  akurasi  validasi  sebesar  85,73%.  Pengujian  model  dilakukan  menggunakan  20 tweets baru dan diperoleh tingkat akurasi sebesar 85%.
Kata  Kunci :  Analisis  Sentimen,  Machine  Learning,  Bernoulli  Naive  Bayes,  Twitter,  KRL Commuterline.

## Abstract
The  public  service  sector  is  a  strategic  sector  as  an  indication  of  good  governance. Commuterline KRL is one of the public service sectors in the transportation sector that is widely used  by  the  public.  Social  media,  especially  Twitter,  is  a  place  for  people  to  interact,  share information  and  even  express  their  opinions  on  KRL  services.  Public  opinion  on  the Commuterline  KRL  service  can be  used  as  an  evaluation in  improving  service  quality.  In  this study,  an  analysis  of  public  sentiment  towards the  KRL  Commuterline  service  was  conducted based on data obtained from Twitter. This sentiment analysis aims to classify tweets about the Commuterline  KRL  service  into  positive  and  negative  sentiments  with  a  machine  learning approach using the Bernoulli Naive Bayes algorithm. The training data used were 2,690 data and the validation data were 1,626 tweets. In the model training process, the training accuracy rate was 86.36% and the validation accuracy rate was 85.73%. Model testing was carried out using 20 new tweets and an accuracy rate of 85% was obtained.
Keywords :  Sentiment  Analysis,  Machine  Learning,  Bernoulli  Naive  Bayes,  Twitter,  KRL Commuterline.

## PENDAHULUAN
Berdasarkan kepadatan penduduk khususnya  Jabodetabek  yang  mencapai  40 juta  jiwa,  dapat  dilihat  total  perjalanan  47,5 juta (tercatat sepanjang 2015) perhari. Sekitar 50%  perjalanan  merupakan  perjalanan  dari Bogor, Depok, Tangerang dan Bekasi menuju Jakarta  [1].    Hal  ini  mendorong  masyarakat Jabodetabek  lebih  memilih  menggunakan transportasi umum yang murah dan jangkauan operasionalnya meliputi jarak dekat dan jarak jauh  seperti  KRL  (Kereta  Rel  Listrik) Commuterline  yang  dioperasikan  oleh  PT Kereta Commuter Indonesia, anak perusahaan dari PT Kereta Api Indonesia (PT KAI).
PT  Kereta  Commuter  Indonesia bergerak  di  sektor  pelayanan  publik  yang merupakan  salah satu indikasi penilaian suatu tata  kelola  yang  baik  dari  pemerintahan. Pelayanan  yang  diberikan  PT  Kereta Commuter  Indonesia  hendaknya  senantiasa ditingkatkan  sehingga  penumpang  merasa puas  dengan  pelayanan  yang  diberikan. Beberapa kekurangan pelayanan yang dirasakan  penumpang  antara  lain  kepadatan penumpang  pada  jam  berangkat  atau  pulang kerja,  serta  kepadatan  di  akhir  pekan  yang memaksa penumpang harus saling
berdesakan.  Selain  permasalahan  tersebut, masih banyak pro dan kontra dari masyarakat yang menggunakan transportasi KRL Commuter-line. Layanan untuk menyampaikan  kritik  dan  saran  pengguna sebenarnya sudah tersedia pada laman website
resmi PT Kereta Commuter Indonesia (KCI), tetapi  pengguna  lebih  tertarik  untuk melakukannya melalui media sosial.
Salah  satu  media  sosial  yang  cukup banyak  digunakan  untuk  menyampaikan cuitan  masyarakat  mengenai  keluhan,  kritik dan  saran  terhadap  pelayanan  publik  adalah Twitter.    Tweets  (cuitan-cuitan)  pada  Twitter dapat  digali  untuk  mendapatkan  informasi yang bermanfaat bagi penyelenggaran pelayanan  publik  menggunakan  analisis sentimen  [2].  Analisis  sentimen  merupakan suatu penggalian opini atau sentimen terhadap suatu  teks  yang  dilakukan  secara  otomatis oleh  mesin  dan  memungkinkan  untuk memprediksi peluang terkait hasil analisis [2- 4].
Pendekatan  yang  digunakan  untuk analisis  sentimen  dibedakan  menjadi  3 macam  yaitu Machine  Learning , Lexicon Based ,  dan Hybrid  Approach [5].  Analisis sentimen  yang  dilakukan  dengan  pendekatan machine  learning dikelompokkan  menjadi supervised machine learning maupun unsupervised  machine  learning .  Pendekatan unsupervised machine learning yang dilakukan pada beberapa penelitian
menggunakan  algoritma Nearest  Neighbour [6-8].  Beberapa  algoritma  yang  banyak digunakan  dengan  pendekatan supervised machine learning antara lain algoritma Naive bayes  classifier dan Support  Vector  Machine (SVM).
Analisis  sentimen  opini  masyarakat pada  twitter  mengenai  film  menggunakan
algoritma Naive  bayes  classifier mencapai akurasi lebih dari 90% [9].  Analisis sentimen juga  diaplikasikan  pada  pelayanan  publik mengenai pelayanan kebutuhan listrik masyarakat  menggunakan  algoritma Naive Bayes Classifier [10]. Algoritma Naive Bayes
Classifier juga  berhasil  digunakan  untuk analisis  sentimen pada  pelayanan  ojek online dengan  akurasi  mencapai  92%  [11]. Naive Bayes  Classifier banyak  digunakan  untuk klasifikasi  karena  konsep  klasifikasi  yang sederhana dan memungkinkan untuk sekumpulan dataset yang besar [12-14].
Selain  itu Naive  Bayes  Classifier sifatnya  mengevaluasi  parameter  dimana parameternya sering kali berkinerja lebih baik pada  banyak  situasi  dunia  nyata  yang kompleks  [14] .  Algoritma  Naive  Bayes tidak rumit  dan  efektif  dalam  klasifikasi  teks meskipun  pemilihan  fitur  yang  tidak  tepat mengakibatkan teks tidak dimodelkan dengan baik [15] .
Tujuan penelitian ini adalah melakukan analisis  sentimen  terhadap  pelayanan  KRL Commuterline menggunakan
algoritma
Bernoulli Naive Bayes yang merupakan salah satu jenis Naive Bayes Classifier.
Analisis  sentimen  dilakukan  untuk mengklasifikasikan  sentimen  masyarakat terhadap  pelayanan  KRL  Commuterline berdasarkan data Twitter.
Algoritma Bernoulli  Naive  Bayes diharapkan  dapat  mempermudah  dalam proses  klasifikasi  data  sentimen  baru  yang belum  diketahui  kelas  sentimennya  untuk
diklasifikasikan  ke  dalam  kelas  sentimen positif atau negatif. Selain itu, pada penelitian ini  algoritma Bernoulli  Naive  Bayes dipilih karena akurasi yang dicapai berdasarkan hasil penelitian terdahulu cukup tinggi.

## METODE PENELITIAN
Pada  bagian  ini  dijelaskan  mengenai konsep Bernoulli  Naive  Bayes dan  tahapan penelitian yang dilakukan.

## Bernoulli Naive Bayes
Naive  Bayes  Classifier merupakan metode  untuk  klasifikasi  yang  didasarkan pada  konsep  teorema  Bayes yang  digunakan untuk menentukan probabilitas suatu peristiwa  terjadi  dengan  mempertimbangkan kemung-kinan  peristiwa  lain  yang  telah terjadi. Pada Naive Bayes Classifier , teorema Bayes diterapkan dengan asumsi yang sangat tinggi  ( “naive” )  yaitu    kebebasan  bersyarat antara  setiap  pasangan  fitur  yang  diberi  nilai variabel  kelas  [16]  yang  ditunjukkan  pada persamaaan (1).
(1) Karena  nilai  dari
merupakan
nilai  konstan  yang  diberikan  oleh  data  input maka  formula  klasifikasi  pada persamaan  (1) dapat ditulis menjadi persamaan (2) berikut.

## (2)
Naive  Bayes  Classifier merupakan sekumpulan metode supervised learning yang dapat  dikelompokkan  berdasarkan  distribusi dari menjadi  bebrapa  algoritma khusus  antar  lain Gaussian  Naive  Bayes,
Bernoulli  Naive  Bayes, dan Multinomial Naive  Bayes [16-18].    Algoritma Bernoulli Naive  Bayes mengimplementasikan  klasi- fikasi  untuk  data  yang  didistribusikan  sesuai dengan distribusi Bernoulli multivariat; yaitu, mungkin  terdapat  beberapa  fitur  tetapi masing-masing  dianggap  sebagai  variabel bernilai  biner  (Bernoulli,  boolean).  Oleh karena  itu,  kelas  ini  membutuhkan  sampel untuk  direpresentasikan  sebagai  vektor  fitur bernilai  biner.  Aturan  keputusan  untuk algoritma  Bernoulli  Naive  Bayes  diberikan pada persamaan (3) berikut:
(3) Algoritma Bernoulli  Naive  Bayes memungkinkan memiliki performa yang lebih baik  khususnya  pada  beberapa  set  data, terutama  dataset  yang  memiliki  dokumen yang  lebih  pendek.  Oleh  karena  itu,  pada penelitian  ini  digunakan  Algoritma  Bernoulli Naive Bayes untuk analisis sentimen tweets.

## Tahapan Penelitian
Tahapan  penelitian  yang  dilakukan ditunjukkan  pada  Gambar  1.  Pada  Gambar  1 ditunjukkan  tahapan  penelitian  diawali pengumpulan  data  berupa  opini  masyarakat mengenai  pelayanan  KRL  pada  media  sosial Twitter  yang  mengandung  sentimen  atau polaritas.
Data  diambil  melalui  Twitter  meng- gunakan  Twitter  API  yang  dilakukan  dalam beberapa  tahap.  Tahap  pertama  melakukan registrasi ke halaman https://apps.twitter.com/ sebagai  syarat  verifikasi  untuk  mendapatkan kunci dan token akses. Kunci dan token akses digunakan  untuk  mengakses  Twitter  API dalam  pengambilan  data  opini  masyarakat terhadap  pelayanan  KRL  Commuterline  dari Twitter. Pengambilan tweets berdasarkan kata kunci yang telah ditentukan yaitu “KRL” dan “ Commuterline ”. Tweets yang  diambil  yaitu tweets berbahasa  Indonesia,  diambil  secara acak  baik  dari user biasa  ataupun  akun official media  Twitter.  Hasil crawling data Twitter diperoleh 9.100 tweets.

## Preprocessing
Preprocessing dilakukan dengan tujuan untuk  mentransformasi  data  yang  mentah dalam  hal  ini  baru  didapatkan  dari  proses pengambilan  data  ke  format  data  yang  lebih efisien  dalam  proses  analisis  sentimen. Tahapan preprocessing ditunjukkan  pada Gambar  2. Preprocessing dilakukan  dalam empat  tahap  yaitu case  folding,  filtering, stopwords removal dan stemming . Pada tahap
case  folding dilakukan  perubahan  terhadap semua  huruf  kapital  yang  ada  pada tweets menjadi  huruf  kecil.  Tahap  berikutnya  yaitu filtering.  Pada  tahap  ini  dilakukan  beberapa tahapan  tindakan  yaitu  pembersihan terhadap data tweets. Data tweets hasil  proses case folding dibersihkan,  mulai  dari  nama pengguna yang diawali simbol '@', URL jika terdapat dalam tweets , tagar, tanda baca, spasi berulang, mengganti baris baru menjadi spasi menggunakan Regular  Expression dan menghapus tweets berulang.    Tahap  berikut- nya adalah stopword removal . Pada tahap ini, setiap  kata  pada data tweets akan  diperiksa dan  dihilangkan  untuk  kata  sambung,  kata depan,  kata  ganti  maupun  kata  yang  tidak berhubungan  dalam analisis sentimen .
Tahapan stopword  removal menggunakan library  Sastrawi dan  menghasilkan  8.130 tweets tersisa.  Tahap stemming bertujuan untuk  menghilangkan  kata  imbuhan prefix (awalan)  dan sufiks (akhiran)  pada tweets . Tujuan dilakukan stemming adalah mendapatkan kata dasar dari setiap kata pada tweets  yang  diperlukan  untuk  proses pelabelan data weets berdasarkan pada korpus Bahasa Indonesia dan proses ekstraksi fitur.
Gambar 2. Preprocessing
Pelabelan Data Tweets Pelabelan tweets ini dilakukan berdasarkan korpus positif dan negative yang berupa daftar kata-kata positif dan daftar kata- kata negatif. Pelabelan data tweets diperlukan karena  pada  penelitian  ini  analisis  sentimen dilakukan  dengan  menggunakan  Algoritma Bernoulli  Naive  Bayes yang  merupakan pendekatan supervised machine learning . Pada  Gambar  3  tahapan  pelabelan tweets ke  dalam  sentimen  positif  dan  negatif
ditentukan  berdasarkan  hasil  perhitungan banyaknya  kemunculan  kata  positif  atau negatif pada kalimat yang sesuai dengan data korpus positif dan negatif. Jumlah kemunculan  kata  pada  korpus  positif  dan negatif  yang  ditemukan  pada  data tweets kemudian dibagi dengan banyaknya kata pada tweets tersebut.  Jika  nilai  positif  dari tweets lebih besar atau sama dengan nilai negatifnya, maka tweets tergolong  positif  dan  sebaliknya maka tweets akan tergolong negatif.
Gambar 3. Pelabelan Tweets Berdasarkan Korpus
Ekstraksi Fitur Ekstraksi fitur dilakukan untuk menentukan  fitur-fitur  pada  tweet  yang digunakan  sebagai  dasar  penentuan  sentimen dengan klasifikasi ke dalam kelas positif atau negatif.  Fitur  pada  Tweets  berupa  kata.  Pada data tweerts yang berupa string ditransformasi menjadi vektor dengan cara menentukan nilai dari  kemunculan  kata.  Jika  kata  tersebut muncul maka diberi nilai 1 sedangkan nilai 0 untuk  kata  yang  tidak  muncul.  Metode  yang digunakan  dalam  ekstraksi  fitur  adalah metode Bags  of  Word yang  mentransformasi tweets  yang  berupa  string  menjadi  vektor . Hasil  akhir  proses  ini  adalah  data  set  yang siap  digunakan  untuk  pelatihan  dan  validasi model  berupa  data  tweets  yang  sudah  dalam bentuk  vector  dan  disertai  label  berupa sentimen positif  atau negatif.
Pembentukan Model Klasifikasi Bernoulli
Naive Bayes
Pembentukan  model  klasifikasi  dila- kukan  dengan  algoritma Bernoulli  Naive Bayes pada  data  set  yang  telah  terbentuk.
Data  set  dibagi  menjadi  80%  data  latih  dan 20%  data  validasi  yang  diambil  secara  acak untuk  pelatihan  model.  Pada  tahap  pelatihan model  digunakan  data  yang  telah  diberi sentimen  dan  diubah  ke  dalam  bentuk  vektor ( Bag  of  Words) yang  mengandung  beberapa fitur . Data  masukan  yang  digunakan  adalah 80%  data  latih yang  diambil  secara  acak berjumlah 6.504 dari 8.130 tweets . Data latih ini kemudian digunakan untuk melatih model
Bernoulli  Naive  Bayes untuk  mendapatkan model yang dapat mengklasifikasikan sentimen  suatu tweets .  Pada  tahap  validasi model digunakan 20% data dari dataset yang berjumlah 1.626 dari 8.130 tweets yang telah diberi  sentimen  dan  diubah  ke  dalam  bentuk vektor  ( Bag  of  Words) yang  mengandung beberapa fitur.

## Pengujiann Model
Pengujian model dilakukan menggunakan  data tweets baru  yang  diambil dari Twitter sebanyak 20 tweets dalam 1 hari. Data  ini  merupakan  data tweets baru  yang tidak  terlibat  dalam  proses  pelatihan  dan validasi.  Data  tweets  baru  ini  selanjutnya melalui  tahap-tahap  seperti  pada  data  latih dan data validasi yang meliputi preprocessing, pelabelan  data  dan  ekstraksi fitur.

## HASIL DAN PEMBAHASAN
Hasil Preprocessing
Tahapan preprocessing terdiri  dari beberapa  proses,  yaitu case  folding,  filtering, stopword  removal dan stemming. Pada Gambar  4  ditunjukkan  perubahan  tweets setelah melalui setiap tahap preprocessing
.

## Hasil Pelabelan Data Tweets
Hasil  pelabelan  data  tweets  berupa label  positif  dan  negatif  yang  didapat berdasarkan  banyaknya  jumlah  kata  pada
tweets yang  terdapat  di  dalam  korpus  positif dan korpus negatif.
Label  hasil tweets yang  terklasifikasi berdasarkan  korpus  dapat  dilihat  pada  Tabel 1.  Nilai  0  dan  nilai  0.285  pada  Tabel  1 didapatkan dari hasil bagi antara  nilai positif atau  negatif  dari  setiap tweets dengan banyaknya  kata  pada  tweets  tersebut. Panjang  tweets  atau  banyaknya  kata  pada tweet  adalah  7.  Nilai  positif  pada  tweets adalah  0  karena  tweets  tidak  mengandung kata positif berdasarkan korpus.  Nilai negatif
diperoleh  dari  banyaknya  kata  negatif  dibagi dengan    panjang  tweets  yaitu  4/7  atau  sama dengan  0,285.    Karena  nilai  negative  lebih besar  daripada  nilai  positif  maka  tweets tersebut memiliki label sentimen negatif.

## Hasil Pelatihan Model
Tingkat keakuratan dari hasil pelatihan  model  didapat  dari  perhitungan confusion  matrix dari  pelatihan  model  dapat dilihat pada Gambar 5.
Gambar 4. Contoh Tweet Hasil Preprocessing
Tabel 1. Cuplikan Label Berdasarkan Korpus
Tweets Hasil Preprocessing Korpus Positif Korpus Negatif Nilai Positif Nilai Negatif Label Sentimen ganggu double double track krl saya rasa - ganggu, double double track 0 0,285 Negatif ac krl sangat bantu sekali udara luar panas pas masuk krl adem adem, sangat, bantu panas 0,250 0,0833 Positif pagi terima kasih atas informasi sampai ini jadi evaluasi fokus perhati agar sampai informasi lebih baik terima, terima kasih, lebih, baik - 0,250 0 Positif
Gambar 5. Confusion Matrix Data Latih
Tabel 2. Cuplikan Hasil Validasi Tweets Label Sentimen Klasifikasi Model Bernoulli Naive Bayes Tepat waktu cuma minta maaf kalau telat Positif Negatif Cape euyy 1430 tahan mulu normalisasi double double track lama sekali malah buruk waktu krl akhir2 Negatif Negatif Malam mau tanya comlin paling pagi dr tanah abang tuju serpong jam berapa Positif Positif
Pada  Gambar  5  ditunjukkan  bahwa tweets  yang  terklasifikasi  dengan  benar berdasarkan  label  sentimen  berdasarkan korpus  adalah  2.040  untuk  tweets  negative dan 3.577 untuk tweets positif.
Tingkat  keakuratan  pelatihan  model diukur  dengan  perhitungan  untuk  melihat ketepatan  model  dalam  mengklasifikasi tweets ke dalam sentimen positif dan negatif. Berdasarkan  6.504 tweets data  latih,  didapat nilai  akurasi  sebesar  86.36%  yang  dihitung berdasarkan banyaknya tweets yang terprediksi  dengan  benar  dibandingkan dengan seluruh tweets yang digunakan.

## Hasil Validasi Model
Validasi  model  dilakukan  terhadap 20% dataset yaitu 1.626 tweets yang diambil secara  acak  kemudian  dibandingkan  dengan hasil  label  sentimen  berdasarkan  korpus. Cuplikan  hasil  validasi  klasifikasi  sentimen dapat dilihat pada Tabel 2. Confusion Matrix dari  validasi  klasifikasi tweets dapat  dilihat pada  Gambar  6.  Tingkat  akurasi  validasi diukur  dengan  perhitungan  untuk  melihat ketepatan  model  dalam  mengklasifikasi tweets ke dalam sentimen positif atau negatif. Dari  1.626 tweets data  validasi,  berdasarkan Confusion  Matrix diperoleh  nilai  akurasi
validasi model sebesar 85.73%
Gambar 6. Confusion Matrix Data Validasi
.
Gambar 7. Hasil Analisis Sentimen Positif dan Negatif
Perbandingan banyaknya analisis sentimen  positif  dan  negative  dapat  dilihat pada  Gambar  7.  Pada  Gambar  7  ditunjukkan bahwa  prosentase  tweets  dengan  sentimen positif  sebesar  58.3%.    Prosentase  ini  lebih besar  dibandingkan  dengan  tweets  yang negatif.  Berdasarkan hasil  ini maka penumpang  cenderung  merasa  positif  dengan pelayanan KRL Commuterline.
Hasil  Pengujian  Model Bernoulli  Naive Bayes
Pengujian  model  dilakukan  terhadap tweets baru  yang  diambil  dari  media  sosial Twitter sebanyak 20 tweets.
Data tweets baru  merupakan  data  yang tidak  terlibat  dalam  proses  pelatihan  dan validasi.  Data tweets pengujian  yang  telah diklasifikasi oleh model dibandingkan dengan hasil  klasifikasi  berdasarkan  korpus  sebagai target.  Cuplikan  hasil  pengujian  dapat  dilihat pada  Tabel  4.    Tiap  pengukuran  mengguna- kan confusion  matrix untuk  mendapatkan
nilai-nilai  yang  dibutuhkan  oleh  masing- masing  pengukuran. Confusion  Matrix dari validasi  klasifikasi tweets dapat  dilihat  pada Gambar 8.
Pada Gambar 8, terdapat 10 data tweets negatif  yang terprediksi  benar  dengan sentimen  negatif  dan  tidak  ada  data tweets yang  terprediksi  salah  dengan  sentimen positif  sedangkan  dari  10  data tweets positif dihasilkan  7  data tweets terprediksi  benar dengan  sentimen  positif  dan  3  data tweets terprediksi  salah  dengan  sentimen  negatif. Berdasarkan 20 tweets data tweets baru untuk
pengujian,  diperoleh  nilai  akurasi  pengujian model  sebesar  85%  .  Nilai precision sebesar 77%  untuk tweets negatif  dan  100%  untuk tweets positif.  Nilai recall sebesar  100% untuk tweets negatif  dan  70%  untuk tweets positif.  Nilai f1 sebesar  87%  untuk tweets negatif dan 82% untuk tweets positif. Akurasi model  yang  didapat  dibandingkan  penelitian sebelumnya  masih  lebih  kecil.  Hal  ini  dapat disebabkan  oleh  beberapa  faktor  diantaranya adalah  banyaknya  data,  korpus  yang digunakan, dan metode ekstraksi fitur.

## Tabel 4. Cuplikan Hasil Pengujian
Tweets Hasil Preprocessing Label Sentimen Prediksi Baru bangun krl dong nyaman bgt tuh tidur krl gin adem gmn gtu sampe pgn bawa guling Positif Positif Biasa  banget  sih  announcer  bojonggede  enggak  ngasih  tau kereta  yang  datang  berapa  rangkai  susah  itu  ya  cuma  ngasih tau doang t i bat cape org lari commuterline curhatkrl Negatif Negatif Commuterline min kereta tangerang panas bgt ya kayak ac nya enggak dingin deh no 8510 k1 1 89 64 Positif Negatif
Gambar 8. Confusion Matrix Pengujian

## KESIMPULAN DAN SARAN
Pada  penelitian  ini  telah  berhasil dilakukan  analisis  sentimen  masyarakat terhadap  pelayanan  KRL  Commuterline. Pendekatan  yang  digunakan  untuk  analisis
sentimen adalah machine learning menggunakan  algoritma Bernoulli  Naive Bayes ke  dalam  sentimen  positif  dan  negatif dengan  mempelajari  fitur-fitur  pada tweets yang  telah  dilakukan preprocessing dan pelabelan berdasarkan korpus terlebih dahulu .
Data tweets sebanyak  6.504  digunakan  untuk pelatihan  model  dan  divalidasi  menggunakan 1.626  data tweets terhadap  label  sentimen.
Berdasarkan hasil klasifikasi model Bernoulli Naive  Bayes,  berdasarkan  8130  data,  maka 58,3% merupakan tweets positif.
Pengujian  algoritma Bernoulli  Naive Bayes menggunakan 20 data tweets baru yang tidak  terlibat  dalam  proses  pelatihan  dan validasi  model.  Hasil  pengujian  menunjukan tingkat  akurasi  yang  diperoleh  sebesar  85% dengan  nilai  rata-rata recall sebesar  85%, nilai  rata-rata precision sebesar  88,5%  dan nilai rata-rata   sebesar 84,5%.
Pada  penelitian  selanjutnya  analisis sentimen  masyarakat  terhadap  pelayanan KRL  Commuterline  dapat  dikembangkan dengan  menggunakan  pendekatan  selain machine  learning seperti Convolutional Neural  Network (CNN)  dan Natural Language Processing (NLP). Selain itu, fitur- fitur  yang  digunakan  pada  algoritma Bernoulli Naive Bayes juga dapat dieksplorasi
untuk  meningkatkan  keakuratan  model  serta pengembangan  dalam  pengambilan  data  dan pengklasifikasian tweets secara real time.

## DAFTAR PUSTAKA
[1] S.  Gerintya,  “MRT  Diluncurkan, Seberapa  Parah  Kemacetan  Jakarta?,”
Tirto.id ,  2019.  [Daring].  Tersedia: https://tirto.id/mrt-diluncurkan- seberapa-parah-kemacetan-jakarta- dkqz. [Diakses: 10-Apr-2019].
[2] D.  R.  Kawade  dan  K.  S.  Oza,
"Sentiment Analysis: Machine Learning  Approach," International Journal of Engineering and Technology  (IJET) ,  vol.  9,  no.  3,  hal.
2183 - 2186, 2017.
[3] O.  R.  Llombart,  "Using  Machine Learning  Techniques  for  Sentiment Analysis,  "  https://ddd.uab.cat/,  2017, [Daring].
Tersedia:https://ddd.uab.cat/pub/tfg/20 17/tfg_70824/machine-learning- techniques.pdf.  [Diakses:  26  April
2019]. [4] B.  Liu,  "Sentiment  Analysis  and Opinion Mining, " https://www.cs.uic.edu/, 2012, [Daring]. Tersedia:https://www.cs.uic.edu/~liub/ FBS/SentimentAnalysis-and-
OpinionMining.pdf. [Diakses: 24 April 2019].
[5] A.  D’Andrea,  F.  Ferri,  P.  Grifoni,  dan
T.  Guzzo,  “Approaches,  Tools  and Applications  for  Sentiment  Analysis Implementation,” Int. J.Comput. Appl., vol. 125, no. 3, hal. 26–33, 2015.
[6] Indriati  dan  A.  Ridok,  “Sentiment Analysis for Review Mobile Applications  Using  Neighbor  Method Weighted  K-nearest  Neighbor,”  J. Environ.  Eng.  Sustain.  Technol.,  vol. 01, pp. 23–32, 2016.
[7] Mushlihudin dan L. Zahrotun, “Perancangan Text Mining Pengelompokkan  Penelitian  Dosen Menggunakan  Metode  Shared  Nearest Neighbor Dengan Euclidean Similarity,”  S  N  A  T  I  F,  vol.  4,  pp. 849–855, 2017. [8] R.  I.  Pristiyanti,  M.  A.  Fauzi,  and  L.
Muflikhah, “Sentiment Analysis Peringkasan Review Film Menggunakan  Metode  Information Gain  dan  K-Nearest  Neighbor,”  J.
Pengemb.  Teknol.  Inf.  dan  Ilmu Komput., vol. 2, pp. 1179–1186, 2018.
[9] P.  Antinasari1, R. S.  Perdana,  dan   M. A.  Fauzi,  "Analisis  Sentimen  Tentang Opini  Film  Pada  Dokumen  Twitter
Berbahasa  Indonesia  Menggunakan Naive  Bayes  Dengan  Perbaikan  Kata Tidak  Baku," Jurnal  Pengembangan Teknologi Informasi dan Ilmu Komputer ,  vol.  1,  no.  12,  hal.  1733-
1741, 2017.
[10] H.  Tuhuteru  dan  A.  Iriani,  "Analisis
Sentimen  Perusahaan  Listrik  Negara
Cabang  Ambon  Menggunakan  Metode Support  Vector  Machine  dan  Naive Bayes Classifier," Jurnal Pengembangan  IT  (JPIT) ,  vol.03, no.03, hal. 394-401, 2018.
[11] D.  G.  Nugroho,  Y.  H.  Chrisnanto  dan A.  Wahana  ,  "Analisis  Sentimen  Pada Jasa  Ojek  Online  Menggunakan Metode  Naive  Bayes,  "  Dalam Prosiding Seminar  Nasional  Sains  Dan Teknologi Ke-7 ,  2016.
[12] C.  C.  Aggarwal  and  C.  X.  Zhai,  A Survey of Text Classification
Algorithms.  In:  Aggarwal  C.,  Zhai  C.
(eds)  Mining  Text  Data.Boston,  MA:
Springer, 2012.
[13] P. Tripathi, S. K. Vishwakarma, and A.
Lala,  “Sentiment  Analysis  of  English Tweets  Using  RapidMiner,”  2015  Int. Conf. Comput.Intell. Commun. Networks, hal. 668–672, 2015. [14] S.  K  and  D.  R,  “Designing  a  Machine Learning Based Software Risk Assessment Model  Using  Naive  Bayes
Algorithm,”  TAGA  J.  Graph.Technol., vol. 14, pp. 3141–3147, 2018.
[15] G. Qiang, "An Effective Algorithm For Improving  The  Performance  Of  Naive
Bayes  For  Text  Classification,"  Dalam 2010  Second  International  Conference on Computer Research and Development, 2010.
[16] A.  McCallum  and  K.  Nigam,  "  A comparison  of  event  models  for  Naive Bayes text classification," Dalam Proc.
AAAI/ICML-98 Workshop on Learning  for  Text  Categorization, 1998, hal. 41-48. [17] C.D.  Manning,  P.  Raghavan  dan  H. Schütze,  "Introduction  to  Information Retrieval,"  England  :  New  Cambridge
University Press, pp. 234-265, 2008.
[18] F.  Pedregosa  et.al,  "Scikit-learn:
Machine Learning in Python ," Journal of Machine Learning Researc h, vol. 12, no.85, hal.2825 − 2830, 2011.