Klasifikasi Sentimen Terhadap Badan Penyelenggara Jaminan Sosial (BPJS) Pada Media Sosial Twitter Menggunakan Naive Bayes
Classification Of Sentiments On Social Security Implementing Agency (BPJS) On Twitter Social Media Using Naive Bayes
Mahmud Yunus 1*
Mochamad Husni 2
Muhammad Miqdad Mufadhdhal 3
1 Program Studi Teknologi Informasi STMIK PPKIA Pradnya Paramita
2,3 Program Studi Sistem Informasi STMIK PPKIA Pradnya Paramita
1 myoenoes@gmail.com , 2 husni_stmik@yahoo.co.id , 3 m.miqdad.m@gmail.com
*Penulis Korespondensi:
Mahmud Yunus myoenoes@gmail.com Riwayat Artikel: Diterima : 24 Juni 2021 Direview : 25 Juni 2021 Disetujui : 19 November 2021 Terbit : 1 Desember 2021

## Abstrak
BPJS Kesehatan merupakan lembaga keuangan penyedia layanan asuransi kesehatan dengan jumlah pengaduan masyarakat terbanyak di Ombudsman pada tahun 2019. Banyaknya aduan pada akun twitter resmi BPJS Kesehatan RI dapat menjadi indikasi tingkat kepuasan dan sentimen masyarakat terhadap layanan BPJS Kesehatan. Twitter dapat digunakan untuk menyampaikan pengalaman, ide, keluhan, opini, atau fakta yang disampaikan. Tweet dapat berupa opini positif atau negatif. Untuk mengetahuinya, perlu ada proses pengolahan data yang ada, sehingga dapat diklasifikasikan sebagai opini positif dan opini negatif. Metode klasifikasi yang digunakan dalam penelitian ini adalah Naive Bayes Classifier. Penelitian ini bertujuan untuk melihat kecenderungan masyarakat terhadap BPJS Kesehatan berdasarkan klasifikasi sentimen dan untuk melihat tingkat akurasi metode Naive Bayes Classifier dalam mengklasifikasikan sentimen BPJS Kesehatan di media sosial Twitter. Data yang digunakan sebanyak 780 data tweet dari bulan Maret sampai Mei 2020. Hasil pengujian model menggunakan Confusion Matrix menghasilkan performansi yang akurat sebesar 86,25%, presisi sebesar 84,92%, recall sebesar 87,78%, dan f-measure sebesar 86,37%. . Serta hasil pengujian data pada Mei 2020, terdapat 52% tweet dalam kategori sentimen positif, dan 48% tweet dalam kategori negatif.
Kata Kunci: Klasifikasi Sentimen, BPJS, Naive Bayes, Twitter

## Abstract
BPJS Kesehatan is listed as the agency that provides insurance financial services with the largest number of public complaints in the Ombudsman in 2019. The number of complaints on the official BPJS Kesehatan twitter account can be an indication of the level of satisfaction and public sentiment towards BPJS Kesehatan services. Twitter can be used to convey the experiences, ideas, complaints, opinions, or facts presented. The Tweet can be either a positive or a negative opinion. To find out, there needs to be an existing data processing process, so that it can be classified as a positive and a negative opinion. The classification method used in this study is the Naive Bayes Classifier. This study aims to see the tendency of the public towards BPJS Kesehatan based on sentiment classifications and to see the level of accuracy of the Naive Bayes Classifier method in classifying BPJS Kesehatan sentiments on Twitter social media. The data used were 780 tweet data from March to May 2020. The results of model testing using the Confusion Matrix resulted in an accurate performance of 86.25%, precision of 84.92%, recall of 87.78%, and f-measure of 86, 37%. As well as the results of testing the data in May 2020, there were 52% of tweets in the positive sentiment category, and 48% of tweets in the negative category
Keywords: Classification Of Sentiments, BPJS, Naive Bayes, Twitter

## 1. Pendahuluan
BPJS Kesehatan tercatat sebagai instansi penyelenggara pelayanan jasa keuangan asuransi dengan jumlah pengaduan masyarakat melalui Ombudsman terbanyak, mencapai 34,2% dari seluruh pengaduan. Meningkatnya jumlah kepesertaan BPJS Kesehatan, ternyata belum diimbangi dengan meningkatnya pula kualitas pelayanannya, terbukti dengan masih banyaknya keluhan dari masyarakat perihal pelayanan.
Opini masyarakat terhadap instansi dan program pemerintah Indonesia dapat dilihat melalui jejaring sosial, salah satunya adalah Twitter. Informasi ini dapat berupa fakta maupun opini. Informasi yang dibagikan lewat Twitter dikenal dengan sebutan tweet . Tweet merupakan pesan pendek yang hanya berjumlah 280 karakter. Masyarakat memanfaatkan twitter ini untuk menyampaikan pengalaman, gagasan, keluhan, pendapat, maupun fakta yang dialami. Data yang dirilis Twitter Indonesia pada akhir 2016, menyebutkan sebutkan bahwa 77% pengguna Twitter di Indonesia merupakan pengguna aktif yang produktif menulis tweets .
Komentar-komentar tersebut dapat berupa opini positif maupun opini negatif. Untuk mengetahui sentimen opini yang ada di twitter, perlu adanya proses pengolahan data yang ada, sehingga dapat diklasifikasikan opini tersebut menjadi opini positif dan opini negatif. Proses ini sering disebut klasifikasi sentimen, klasifikasi analisis sentimen merupakan sebuah penggambaran polaritas pada suatu teks atau kata [1].
Terdapat banyak metode klasifikasi dalam ilmu statistika yang digunakan untuk klasifikasi sentimen namun metode yang sering digunakan dalam klasifikasi teks adalah metode Naive Bayes Classifier (NBC), karena memiliki kelebihan yaitu algoritma sederhana tapi memiliki akurasi yang tinggi [2]. Penelitian yang pernah dilakukan mengenai klasifikasi sentimen analisis adalah Twitter Used by Indonesian President: An Sentiment Analysis of Timeline . Penelitian tersebut membahas hasil analisis sentimen pada akun twiter milik Presiden Indonesia. Akurasi yang didapat dari penelitian tersebut sebesar 79,42% [3]. Penelitian lain oleh Falahah mengenai Pengembangan Aplikasi Sentiment Analysis Menggunakan Metode Naïve Bayes. Penelitian tersebut menggunakan praproses teks case folding , parsing, dan transformasi sehingga mendapatkan hasil akurasi klasifikasi 73%. [4].
Tujuan dari penelitian ini adalah untuk mengklasifikasi kecenderungan sentimen masyarakat terhadap BPJS Kesehatan pada media sosial Twitter menggunakan metode Naive Bayes Classifier (NBC) beserta tingkat akurasinya. Dengan mengukur tingkat akurasi, recall, f-measure menggunakan model pengujian Confusion Matrix terhadap proses klasifikasinya, diharapkan dapat menghasilkan tingkat performansi yang lebih akurat atau lebih baik dibandingkan dengan hasil penelitian terdahulu.

## 2. Metode Penelitian Analisis Permasalahan
Meningkatnya jumlah kepesertaan BPJS Kesehatan yang tidak diimbangi dengan mutu pelayanan BPJS Kesehatan yang baik terhadap anggotanya, menandakan bahwa BPJS Kesehatan membutuhkan masukan aspirasi dari masyarakat mengenai pelayanan, kinerja dan kebijakannya sebagai bahan evaluasi untuk dapat senantiasa meningkatkan pelayanannya.
Salah satu media penyaluran aspirasi masyarakat terhadap pelayanan BPJS Kesehatan adalah melalui media sosial Twitter. BPJS Kesehatan memiliki akun resmi pada Twitter dan setiap orang yang memiliki akun Twitter dapat berkomentar serta menyalurkan aspirasinya melalui akun tersebut. Supaya dapat menjadi informasi mengenai kualitas pelayanannya, klasifikasi sentimen perlu dilakukan dalam mengelompokkan setiap tweet yang masuk ke akun BPJS Kesehatan, apakah itu masuk kedalam kelompok sentimen positif, atau kelompok sentimen negative.
Metode Naive Bayes Classifier (NBC) dapat menghasilkan klasifikasi sentimen pada data uji berdasarkan data latih. Akan tetapi, untuk menghasilkan klasifikasi yang akurat, terlebih dahulu dilakukan Praproses data untuk membersihkan elemen-elemen yang tidak perlu pada data teks tweet yang akan diolah. Praproses data dalam penelitian ini meliputi penerjemahan emoticon, case folding , pembersihan data, normalisasi teks, penghapusan stopword, stemming , dan convert negation .

## Tahapan Penelitian
Penelitian ini diawali dengan melakukan pengumpulan dan pelabelan data, kemudian tahap pembagian data, tahap praproses, tahap klasifikasi Naive Bayes, tahap evaluasi hasil, dan tahap uji coba model.

## Gambar 1. Alur Tahap Penelitian

## Pengumpulan dan Pelabelan Data
Data yang digunakan dalam penelitian ini adalah kumpulan tweet mengenai BPJS Kesehatan dengan menggunakan kata kunci pencarian “bpjs kesehatan” dan “@BPJSKesehatanRI”. Pengambilan sampel data tweet dilakukan secara acak pada Bulan Maret hingga Mei 2020 dan dibatasi sebanyak 780 tweet.
Data didapat dari Twitter dengan library Tweepy pada bahasa pemrograman Python. Kata kunci yang digunakan berupa akun Twitter resmi BPJS Kesehatan @BPJSKesehatanRI dan “bpjs kesehatan”. Pengumpulan data tweet dilakukan dengan cara mengambil sampel sebanyak 580 tweet di Bulan Maret dan April 2020 sebagai data latih dan data uji dalam pembuatan model naive bayes classifier. Sebanyak 200 tweet pada bulan Mei 2020 digunakan sebagai data inputan pada tahap uji coba model dengan menggunakan model klasifikasi naive bayes yang sudah terbentuk, sehingga jumlah keseluruhannya 780 data. Data tweet yang diambil berupa 3 atribut yaitu id_user, created_at dan text. Kemudian peneliti menambah atribut sentimen untuk mempermudah dalam penelitian. Data tweet yang terkumpul disimpan dalam format CSV.
Proses pelabelan data dilakukan dengan cara mengambil data tweet pada hasil dari proses pengambilan data yang sudah dilakukan sebelumnya. Kemudian peneliti memberikan label pada setiap tweet secara manual. Label yang diberikan ada 2 kelas, yaitu kelas positif dan kelas negatif. Kelas positif merupakan kelas yang berisikan data yang mengandung kata bermakna positif,
pernyataan setuju, dan dukungan. Kelas negatif merupakan kelas dengan data yang mengandung kata bermakna negatif, ejekan, dan kontra.

## Pembagian Data
Pada penelitian ini, 580 data tweet dibagi menjadi 2 kelompok, yaitu (1) Data Latih dan (2) Data Uji. Selanjutnya Data Latih dibagi lagi menjadi 2 kelompok, yaitu (1) dataset latih berjumlah 500 data untuk membangun model awal, serta (2) dataset uji model berjumlah 80 data yang digunakan untuk melakukan pengujian terhadap model yang telah terbentuk. Sisanya sebanyak 200 data tweet sebagai Data Uji digunakan dalam tahap prediksi sentimen.

## Praproses Data
Praproses teks merupakan tahapan awal dalam pengolahan teks yang digunakan untuk pengubahan bentuk dokumen menjadi data yang terstruktur sesuai kebutuhannya agar dapat diolah lebih lanjut dalam proses text mining. Tahapan praproses teks dalam klasifikasi bertujuan untuk meningkatkan akurasi klasifikasi data.
Tahapan praproses teks adalah case folding, penghapusan stopword, dan stemming [7]. Selain itu, dapat ditambahkan pula proses normalisasi teks dan convert negation [6]. Tahap ini bertujuan untuk menghilangkan atau mengubah karakter yang tidak relevan dan mengurangi kualitas model, selain itu juga dapat meningkatkan kualitas data latih. Dalam penelitian ini juga akan di ubah ekspresi emoticon dalam teks menjadi kata-kata positif ataupun negatif. Praproses data bertujuan agar data hasil dari proses ini mempermudah dalam proses klasifikasi. Praproses data terdiri dari beberapa tahapan yang dapat dilihat pada Gambar 2.

## Gambar 2. Tahapan Praproses Data

## Klasifikasi Data Dengan Naive Bayes
Algoritma naive bayes classifier merupakan algoritma yang digunakan untuk mencari nilai probabilitas tertinggi untuk mengklasifikasi data uji pada kategori yang paling tepat [7]. Dalam penelitian ini yang menjadi data uji adalah dokumen tweets berupa teks.
Setiap dokumen pada algoritma naïve bayes classifier direpresentasikan dengan pasangan atribut “x1, x2, x3,...xn” dimana x1 adalah kata pertama, x2 adalah kata kedua dan seterusnya. Sedangkan V adalah himpunan kategori Tweet. Pada saat klasifikasi algoritma akan mencari probabilitas tertinggi dari semua kategori dokumen yang diujikan (VMAP), terdapat pada persamaan 1
Untuk P(x1, x2, x3,...xn) nilainya konstan untuk semua kategori (Vj) sehingga persamaan dapat ditulis seperti persamaan 2 :

## (2)
Persamaan 2 diatas dapat disederhanakan menjadi persamaan 3 :
(3)
Keterangan :
Vj = Kategori tweet j =1, 2, 3,…n.
Dimana dalam penelitian ini j 1 = kategori tweet sentimen negatif dan j 2 = kategori tweet sentimen positif.
P(xi|Vj) = Probabilitas xi pada kategori Vj.
P(Vj) = Probabilitas dari Vj.
Untuk P(Vj) dan P(xi|Vj) dihitung pada saat pelatihan dimana persamaannya adalah pada persamaan 4 :
(4)
Keterangan :
|docs j| = jumlah dokumen setiap kategori j.
|contoh| = jumlah dokumen dari semua kategori. nk = jumlah frekuensi kemunculan setiap kata n = jumlah frekuensi kemunculan kata dari setiap kategori |kosakata| = jumlah semua kata dari semua kategori
Metode Naive Bayes diperlukan sebagai algoritma pengklasifikasian dengan cara menghitung nilai probabilitas tertinggi dari data tweet yang diujikan. Apabila nilai probabilitas tweet data uji lebih bear nilai positif dibandingkan dengan nilai negatif, tweet testing tersebut diklasifikasikan sebagai tweet dengan sentimen positif, begitu pula sebaliknya.
Proses pengklasifikasian data tweet dengan metode Naive Bayes pada penlitian ini, melibatkan dua proses utama yaitu (1) proses training dan (2) proses testing. Proses training dilakukan terlebih dahulu untuk pelatihan, selanjutnya dilakukan proses testing dengan mengacu probabilitas dari dataset training. Diagram alir tahapan klasifikasi Naive Bayes ini ditunjukkan pada Gambar 3.

## Gambar 3. Diagram Alir klasifikasi Naive Bayes
Diawali dengan memisahkan setiap kata dari data yang telah selesai melalui tahap praproses. Kemudian dilakukan perhitungan frekuensi kemunculan setiap kata pada seluruh dokumen data training yang berjumlah 500 tweet. Seluruh kata tersebut akan dicek kemunculannya pada setiap data. Kemudian dihitung peluang munculnya suatu kata pada kelas tertentu. Hasil dari perhitungan peluang tersebut dijadikan sebagai model dalam proses memprediksi menggunakan library Natural Language Toolkit (NLTK) pada bahasa pemrograman Python. Algoritma pada library ini menggunakan aturan Bayesian untuk mengekspresikan P (label | fitur) dalam hal P (label) dan P (fitur | label).
Pengujian model menggunakan data uji yang berjumlah 80 data tweet. Model akan memprediksikan setiap tweet ke dalam suatu kelas, apakah akan masuk ke kelas positif, ataukah ke kelas negatif. Penentuan kelas ini berdasarkan model yang terbentuk dari data latih.

## Evaluasi Hasil
Pengukuran ketepatan klasifikasi yang dilakukan untuk melihat performa klasifikasi menggunakan confusion matrix . Dalam mengukur ketepatan klasifikasi menggunakan confusion matrix, perlu diketahui jumlah pada setiap kelas prediksi dan kelas aktual yang terdiri dari TPos ( True Positive ) yaitu jumlah tweet bersentimen positif yang tepat terprediksi dalam kelas positif dan TNeg ( True Negative ) sebaliknya. Rumus nilai akurasi model confusion matrix untuk 2 kelas, positif dan negatif terdapat pada persamaan 5.
������� = ��+�� ��+��+��+�� ∗ 100% (5)

## Uji Coba Model
Proses ini melakukan prediksi terhadap data yang telah dikumpulkan berdasarkan pemodelan klasifikasi yang sudah dibuat sebelumnya. Data yang digunakan adalah data sampel pada Bulan Mei yang berjumlah 200 tweet. Hasil prediksi dalam dua kelas, yaitu kelas positif dan kelas negatif, kemudian ditampilkan kedalam sebuah diagram.

## 3. Hasil dan Pembahasan Pengumpulan dan Pelabelan Data
Tidak semua data tweet bisa terpakai sebagai data klasifikasi sentimen, oleh karena itu dilakukan pelabelan data kelas sentimen yang terbagi menjadi dua, yaitu sentimen positif dan
sentimen negatif, serta menghapus data tweet yang tidak mengandung kedua sentimen tersebut atau bisa disebut dengan data outlier agar tidak mengganggu sistem untuk mengenali label kelas data lain. Proses pelabelan dan penghapusan data outlier dilakukan secara manual.
Tabel 1. Pelabelan Data

## Pembagian Data
Data latih berjumlah 500 data yang berfungsi untuk membangun model awal. Data uji berjumlah 80 data yang digunakan untuk melakukan pengujian terhadap model yang telah terbentuk. Sisanya sebanyak 70 data disimpan untuk digunakan dalam tahap prediksi sentiment.

## Gambar 4. Pembagian Data Penelitian

## Praproses Data

## Penerjemahan Emoticon
Karena emoticon berupa simbol, maka tahap penerjemahan emoticon ini mengubah simbol emoticon bermakna senang menjadi kata "emotsenang" dan mengubah simbol emoticon bermakna sedih dengan kata "emotsedih".
Tabel 2. Penerjemahan Emoticon Sebelum Setelah @cnbcindonesia Alhamdulillah, terima kasih BPJS kesehatan mejadi salah satu membantu saya untuk bisa hidup dengan seperti orang biasanya :) @cnbcindonesia Alhamdulillah, terima kasih BPJS kesehatan mejadi salah satu membantu saya untuk bisa hidup dengan seperti orang biasanya emotsenang

## Case Folding
Mengubah semua huruf dalam dokumen menjadi huruf kecil.
Tabel 3. Case Folding Sebelum Setelah @Taumy_Alif GEBAH CORONA dari BPJS Kesehatan emang gerakan luar biasa. perlu kita dukung @taumy_alif gebah corona dari bpjs kesehatan emang gerakan luar biasa. perlu kita dukung

## Pembersihan Data
Menghapus karakter yang mengurangi kualitas data latih, seperti link, angka, nama akun Twitter seseorang, spasi ganda, tanda hashtag (#), dan tanda baca karakter lainnya yang tidak tidak berpengaruh pada proses klasifikasi sentimen.
Tabel 4. Pembersihan Data
Data Tweet Kelas @mporatne Terimakasih BPJS kesehatan..\nPeserta puas dengan layanan BPJS Positif buat apa masyarakat dikenakan biaya bpjs kesehatan tiap bulan tapi ketika mau di gunakan di tolak di rumah sakit :( @BPJSKesehatanRI Negatif Slide BPJS Kesehatan\n\nhttps://t.co/ueqStxJOE2 https://t.co/aDece1tOAq Oulier
Sebelum Setelah @abrisam_belva sy pun sdh merasakan manfaat bpjs kesehatan \xf0\x9f\x91\x8d sy pun sdh merasakan manfaat bpjs kesehatan

## Normalisasi
Merubah kata tak baku menjadi kata baku, dan merubah kata singkatan menjadi kata utuh. Tabel 5. Normalisasi Data Sebelum Setelah
suka sedih baca pengalaman pasien bpjs yg gak semudah pasien umum pas dapet pelayanan kesehatan padahal di undang undang udh jelas diamanatin tiap org berhak atas kesehatan dan pelayanan kesehatan yg nondiskriminatif suka sedih baca pengalaman pasien bpjs yang tidak semudah pasien umum pas dapat pelayanan kesehatan padahal di undang undang sudah jelas diamanatin tiap orang berhak atas kesehatan dan pelayanan kesehatan yang nondiskriminatif

## Penghapusan Stopword
Mengambil kata-kata penting dari hasil token dengan menggunakan algoritma stoplist (membuang kata kurang penting). Pada tahap ini menggunakan external library bernama Sastrawi. Didalam library Sastrawi sudah terdapat database stoplist berbahasa Indonesia, akan tetapi stoplist dapat ditambah atau dikurangi sesuai dengan kebutuhan. Pada table 6 diberikan contoh data yang mengalami penghapusan stopword .
Tabel 6. Penghapusan Stopword
Sebelum Setelah
terimakasih yang telah mengcover semua biaya persalinan operasi sectio caesaria saya semuanya memuaskan tanpa pembedaan apapun terimakasih juga untuk yang memberikan pelayanan memuaskan tanpa ada pembedaan meski saya memakai bpjs kesehatan
terimakasih telah mengcover semua biaya persalinan operasi sectio caesaria semuanya memuaskan tanpa pembedaan apapun terimakasih memberikan pelayanan memuaskan tanpa pembedaan memakai kesehatan

## Stemming Data
Menghilangkan imbuhan kata ke bentuk dasarnya. Untuk melakukan stemming bahasa Indonesia, dalam penelitian ini digunakan library Sastrawi. Library Sastrawi menerapkan Algoritma Nazief dan Adriani dalam melakukan stemming bahasa Indonesia.
Tabel 7. Stemming Data Sebelum Setelah urusan sama kesehatan rasanya ribet ya datang kantor cabang antrenya lama benar minta bantuan lewat online responnya lambat urus sama sehat rasa ribet ya datang kantor cabang antre lama benar minta bantu lewat online respon lambat
Convert Negation Pada table 8 terdapat contoh data yang telah mengalami proses convert Negation . Kata negasi akan merubah makna sentimen suatu dokumen, sehingga kata negasi akan digabungkan dengan kata selanjutnya.
Tabel 8. Convert Negation Sebelum Setelah sehat sedih bikin pusing website manusya tidak informatif huffff kolom banyak dah emotsedih sehat sedih bikin pusing website manusya tidakinformatif huffff kolom banyak dah emotsedih

## Pengklasifikasian Data Tweet
Data bersih yang didapatkan dari hasil praproses kemudian dilakukan pemisahan pada setiap kata. Setelah itu dihitung frekuensi dari setiap kata tersebut pada semua dokumen. Hasilnya dijadikan sebagai word list dan dilakukan ekstraksi fitur kepada hasil tersebut. Ekstraksi fitur didapat dari perhitungan kemunculan setiap kata pada setiap data di dalam dokumen kemudian
dijadikan sebagai training set untuk menjadi model classifier. Berdasarkan proses yang telah dilakukan, didapatkan classifier yang berpengaruh untuk menentukan suatu dokumen masuk kedalam sebuah kelas tertentu seperti yang tertera pada Gambar 5. Setiap kata, memiliki bobot pada setiap kelas yang berbeda.
Penentuan sentimen dilakukan dengan cara menghitung probabilitas dokumen data testing dengan merujuk pada probabilitas kata data training. Seluruh proses klasifikasi Naive Bayes ini menggunakan modul NaiveBayesClassifier pada library nltk menggunakan bahasa pemrograman Python. Untuk implementasi script Naive Bayes yang digunakan, dapat dilihat pada Gambar 6.
Proses implementasi klasifikasi Naive Bayes ini membandingkan bobot setiap kata pada data testing dengan kata pada data training. Hasilnya, setiap dokumen training ini dijumlah bobot kata probabilitas positif dan probabilitas negatifnya. Selanjutnya bobot dokumen dibandingkan, jika bobot dokumen probabilitas positif lebih besar, maka hasil sentimen adalah positif, dan jika bobot probabilitas negatif lebih besar, maka hasil sentimen adalah negatif.
Tabel 9. Hasil Klasifikasi Tweet Praproses Sentimen Manual Sentimen Prediksi susah mau konsul dokter akhir tidakdapet info apa sehat tapi lewat mobile jkn bisa komunikasi mudah sama dokter puas deh sama bpjskesehatan bpjsmelayani bpjscegahcorona terimakasihbpjs Positif Positif terimakasih sehat sangat bantu Positif Positif sehat mau maki maki uang deh kayak beranta udh di nonaktifin ini tagih Negatif Negatif min kali saya twit tidakbalas mau bayar sehat tidakbisa emotsedih Negatif Negatif buat masyarakat kena biaya sehat bulan ketika mau guna tolak rumah sakit emotsedih Negatif Positif Evaluasi Hasil
Confusion matrix digunakan untuk melakukan pengujian terhadap sistem klasifikasi. Confusion matrix ini bisa digunakan untuk menghitung akurasi, recall, f-measure . Tabel 10 merupakan tabel confusion matrix yang digunakan untuk menilai performa sistem.
Tabel 10. Confusion Matrix klasifikasi Sentimen Kelas Prediksi Positif Negatif Kelas Aktual Positif TP = 26 FN = 2 Negatif FP = 9 TN = 43
Berikut ini adalah hasil perhitungan akurasi, recall, dan f-measure dari sistem yang telah dibuat berdasarkan Tabel 10:
������� = 26 + 43
26 + 43 + 2 + 9 ∗ 100% = ��, �� %
������� ������� = 26
26 + 9 ∗ 100% = ��, �� %
������� ������� = 43
43 + 2 ∗ 100% = ��, �� %
���� − ���� ������� = ��, ��%
������ ������� = 26
26 + 2 ∗ 100% = ��, �� %
������ ������� = 43
43 + 9 ∗ 100% = ��, �� %
���� − ���� ������ = ��, ��%
� − ������� = 2 ∗ ( 84,92% ∗ 87,78%
84,92% + 87,78% ) = ��, �� %
Berdasarkan perhitungan tersebut, data uji yang berjumlah 80 data memiliki akurasi sebesar 86,25% dengan menggunakan data latih sebanyak 500 data, yang diikuti dengan perhitungan nilai recall sebesar 87,78% dan nilai f-measure sebesar 86,37%.
Terdapat sedikit kesulitan dalam melakukan klasifikasi data tweet, dimana beberapa tweet berisi majas-majas untuk lebih meningkatkan emosi dalam kalimat. Hal ini menjadi kendala tersendiri dalam penelitian ini karena penggunaan majas dapat menghasilkan makna ganda dalam satu dataset. Contohnya ketika pengguna menggunakan majas satire dalam tweetnya, maka kata yang seharusnya bermakna negatif akan dapat terbaca positif oleh sistem.
Selain kata dengan makna ganda, data outlier juga berpengaruh dalam tingkat akurasi penelitian. Banyak tweet mengenai BPJS Kesehatan seperti penggunaan kata kunci “BPJS Kesehatan” dan “@BPJSKesehatanRI” yang tidak berhubungan dengan BPJS Kesehatan. Dibutuhkan metode tambahan untuk menghilangkan atau mengurangi data outlier tersebut. Kendala lainnya adalah penanganan emoji. Pada penelitian ini sudah dapat mengkonversi text emoticon menjadi kelompok sentimen, namun belum dapat digunakan untuk mengkonversi emoji secara otomatis. Dibutuhkan metode lain untuk dapat mengkonversi emoji menjadi kelas sentiment secara otomatis.

## Uji Coba Model
Data yang digunakan pada uji coba model ini berjumlah 200 data tweet yang diperoleh dari hasil crawling pada tanggal 1 Mei 2020 sampai tanggal 14 Mei 2020. Dari data tersebut, dengan sistem klasifikasi model yang sudah dibuat, mengklasifikasikan 105 data kedalam kategori sentimen positif atau sebanyak 52%, dan 95 data kedalam kategori sentimen negatif atau sebanyak 48%. Adapun tweet yang masuk kedalam kategori positif adalah tweet yang berisikan pernyataan setuju, dukungan dan pujian terhadap pelayanan, tindakan maupun kebijakan dari BPJS Kesehatan, sedangkan tweet yang masuk kedalam kategori negatif adalah tweet yang berisikan pernyataan tidak setuju, tidak mendukung dan teguran terhadap pelayanan, tindakan maupun kebijakan dari BPJS Kesehatan.

## Gambar 5. Hasil Klasifikasi NBC
4. Penutup Naive Bayes Classifier (NBC) merupakan metode yang dapat diterapkan untuk melakukan klasifikasi sentimen pada data tweet media sosial twitter. Dalam penelitian ini, kasus yang digunakan yaitu opini masyarakat terhadap BPJS Kesehatan. Hal ini ditunjukkan dengan cukup
baiknya performa model yang dibuat, yaitu akurasi sebesar 86,25%, presisi sebesar 84,92%, recall sebesar 87,78%, dan f-measure sebesar 86,37%.
Pada tahap uji coba model, berdasarkan data yang diperoleh dari twitter pada tanggal 1 Mei 2020 sampai 14 Mei 2020, masyarakat Indonesia cenderung memiliki opini positif terhadap BPJS Kesehatan, yaitu 105 data kedalam kategori sentimen positif atau sebanyak 52%, dan 95 data kedalam kategori sentimen negatif atau sebanyak 48%.
Penelitian lanjutan yang serupa dapat melakukan beberapa hal berikut, yaitu pengambilan data bersumber dari platform sosial media lainnya dari Facebook dan Instagram, serta dengan penambahan koleksi kamus kata gaul, kata berbahasa asing yang sering muncul, dan kata tidak baku lainnya. Mengembangkan algoritma untuk proses konversi emoji pada tahap praproses data tweet. Hal ini karena emoji yang disematkan menunjukkan perasaan penulis tweet, sehingga dapat mempengaruhi probabilitas klasifikasi sentimen. Data yang diperoleh pada penelitian ini, terdapat banyak data outlier, yaitu data tweet dengan kata kunci “BPJS Kesehatan” dan “@BPJSKesehatanRI” yang tidak berhubungan langsung dengan BPJS Kesehatan. Oleh karena itu, pada proses crawling dan seleksi data dibutuhkan metode lain yang lebih efektif untuk menghilangkan atau mengurangi data outlier tersebut.

## 5. Referensi
[1] Esuli, A., & Sebastiani, F. (2006). Sentiwordnet: A Publicly available lexical resource for opinion minning. In Proceddings of LREC, 417-422.
[2] Rish, I. (2006). An Empirical Study of The Naive Bayes Classifier. International Joint Conference on Artificial Intellegence, 41-46
[3] Aliandu, P. (2013). Twitter Used by Indonesian President: An Sentiment Analysis of Timeline. Information Systems International Conference, 713-716.
[4] Falahah & Nur, D. D. A. (2015). Pengembangan Aplikasi Sentiment Analysis Menggunakan Metode Naïve Bayes. Seminar Nasional Sistem Informasi Indonesia, 335-340.
[5] Liu, B. (2010). Handbook of Natural Lenguage Processing 2nd Edition. Boca Raton: CRC Press.
[6] Abdan, S. (2017). Analisis Sentimen Masyarakat Terhadap E-Commerce Pada Media Sosial Menggunakan Metode Naive Bayes Classifier (NBC) Dengan Seleksi Fitur Information Gain (IG). Malang: Universitas Islam Negeri Maulana Malik Ibrahim.
[7] Taufik, K. (2017). Implementasi Text Mining Pada Analisis Sentimen Pengguna Twitter Terhadap Media Mainstream Menggunakan Naive Bayes Classifier Dan Support Vector Machine. Surabaya: Institut Teknologi Sepuluh Nopember.