p-ISSN : 2460-3562 / e-ISSN : 2620-8989

## Analisis Sentimen pada Twitter Berbahasa Indonesia Terhadap Penurunan Performa Layanan Indihome dan Telkomsel
Addiina Najlaa Nurkalyisah a1 , Agung Triayudi a2* , Ira Diana Sholihati a3 a Program Studi Sistem Informasi Fakultas Teknologi Komunikasi dan Informatika Universitas Nasional, Jl. Sawo Manila, Pejaten Ps. Minggu Jakarta 12520
1 addiinanajlaanurkalyisah2018@student.unas.ac.id 2 agungtriayudi@civitas.unas.ac.id 3 iradiana2803@gmail.com

## Abstrak
Opini masyarakat yang dituliskan dalam sebuah jejaring sosial Twitter dapat dimanfaatkan sebagai bahan dalam proses analisis sentimen yang dapat diklasifikasikan ke dalam sentimen positif dan negatif. Analisis  Sentimen atau Opinion Mining adalah bagian dari studi ilmu Text Mining yang proses utamanya adalah mengambil dataset mentah dan kemudian mengekstrasi dataset tersebut menjadi sebuah informasi bermanfaat yang bersifat sentimen terhadap suatu permasalahan objek atau topik apakah cenderung ke dalam kalimat positif, atau bahkan negatif. Penelitian memanfaatkan jejaring sosial media Twitter dalam prosesnya yang bertujuan untuk mengklasifikasikan data tweets berbahasa Indonesia menjadi sentimen positif dan negatif. Proses pengambilan data menggunakan Bahasa Pemrograman Python dengan memanfaatkan library snscrape. Data yang digunakan dalam penelitian ini dilakukan proses klasifikasi data tweets menggunakan algoritma Naïve Bayes Classifier. Setelah dilakukan pengujian dengan metode Naïve Bayes Classifier, didapatkan hasil akurasi sebesar 96%, precision 96%, recall 96%, dan fi-score 95%. Kata kunci: Analisis Sentimen, Naïve Bayes Classifier, Python, Snscrape, Text Mining, Twitter

## Sentiment Analysis on Indonesian-Language Twitter Against the Decreasing Performance of Indihome and Telkomsel Services

## Abstract
The public opinion that  is written down in a Twitter  social network can be utilized as an ingredient in the process of sentiment analysis that can be classified into positive and negative sentiments. Sentiment Analysis or Opinion Mining is part of the study Text Mining science whose primary process is to take raw datasets and then extract such datasets into useful information that is sentimental to an object problem or topic whether inclined into a positive sentence or even negative. This research utilizes the social networking of Twitter in its process aimed at classifying Indonesian-Language tweets data into positive and negative sentiments. The data retrieval process uses the Python Programming Language by utilizing the snscrape library. The data that used in this research was done by the process of classification of data tweets using the Naïve Bayes Classifier Algorithm. After testing by the Naïve Bayes Classifier method, there was an accuracy result of 96%, precision result 96%, recall result 96%, and Fi-score result 95%.
Keywords:  Naïve Bayes Classifier, Python, Sentiment Analysis, Snscrape, Text Mining, Twitter

## I. P ENDAHULUAN
Evolusi jejaring sosial sebagai alat komunikasi yang popular saat ini memungkinkan penggunanya untuk berinteraksi secara global. Berdasarkan pada survey penetrasi dan perilaku pengguna internet di Indonesia yang diselenggarakan oleh Asosiasi Penyelenggara Jasa Internet Indonesia (APJII), memberikan hasil adanya keberagaman aktifitas yang dilakukan oleh masyarakat Indonesia di Internet dengan salah satu platform yang digunakan adalah jejaring sosial  Twitter  [1]. Pada tahun 2019, terhitung 73,7% dari keseluruhan jumlah populasi
penduduk di Indonesia, sekitar 51,5% diantaranya menyebutkan kebutuhan dalam menggunakan internet adalah untuk keperluan media sosial [2].
Twitter  berdasarkan statistiknya merupakan jejaring sosial yang memiliki pertumbuhan yang sangat cepat dan menjadi aplikasi yang sering dikunjungi sejak didirikannya pada tahun 2006. Jejaring sosial yang dibatasi 280 karakter ini (semula 140 karakter) dapat mengirim sekitar 500 juta tweets per harinya [3]. Dengan tingginya jumlah tweets yang dikirim per harinya melalui Twitter, tweets tersebut mungkin dapat berisi ulasan pengguna terhadap sebuah topik yang sedang hangat
dibicarakan, salah satunya adalah topik “Penurunan Performa Layanan Indihome dan Telkomsel” yang beberapa saat lalu ramai dibincangkan.
Meskipun banyak masyarakat Indonesia yang menggunakan dua layanan tersebut, tidak menentukan apakah layanan tersebut selamanya akan memberikan kesan positif terhadap masyarakat. Terlihat dari kejadian per tanggal 19 September 2021, penurunan performa layanan internet indihome dan telkomsel diberbagai tempat di Idonesia mengakibatkan para pelanggan memberikan banyak komentar kritik dan keluhan melalui Twitter  kepada Telkom, dimana kedua layanan tersebut tidak dapat diakses.
Berdasarkan pada tweets yang dikirim tersebut, gambaran opini publik dapat dilihat, dan selanjutnya akan diekstraksi menjadi sebuah data informasi yang terstruktur untuk mengetehui polaritas dari sebuah opini apakah termasuk ke dalam klasifikasi positif, netral, atau negatif [4][5]. Suatu metode yang dapat digunakan untuk mengubah data tersebut menjadi sebuah data informasi yang terstruktur adalah dengan menggunakan metode analisis sentimen yang merupakan bagian dari cabang ilmu Text mining . Text mining merupakan bagian  bagian dari studi ilmu data mining yang prosesnya melakukan ekstraksi terhadap dataset yang tidak terstruktur menjadi sebuah informasi yang dapat dijadikan sebagai acuan dengan mengidentifikasi dan menemukan pola-pola yang menarik [6]. Text mining digunakan untuk memecahkan permasalahan informasi dengan menggunakan teknik dari data mining, machine learning, Natural Language Processing (NLP), Information Retrieval (IR), dan knowledge management. Text mining melibatkan proses - preprocessing , ekstraksi dataset, penyimpanan representasi perantara data, pengelompokkan data seperti analisis tren, dan visualisasi hasil [7][8].
Analisis sentimen adalah untuk mengetahui polaritas dari sebuah kumpulan sentimen yang dikelompokkan menjadi positif, netral, dan negatif. Analisis sentimen dilakukan dengan menggunakan teknik Natural Language Processing (NLP) [9].
Analisis sentimen saat ini dijadikan sebagai salah satu topik yang digunakan oleh banyak peneliti dengan tujuan untuk memberikan sebuah informasi dari dataset yang tidak terstruktur [10]. Seperti pada penelitian yang dilakukan oleh Sudiantoro Adhi pada tahun 2018 pada objek opini masyarakat Indonesia terhadap pilkada Jawa Barat.  Tujuan dilakukannya penelitian tersebut adalah untuk  mengklasifikasikan  opini masyarakat terhadap pilkada Jawa Barat dengan  algoritma Naïve Bayes Classifier. Dataset yang digunakan dalam penelitian ini yaitu, 300 total data tweets dan kemudian data tersebut dibagi dengan keterangan total data latih sebesar 200 data, dan data uji sebesar 100 data. Hasil akurasi dari pengujian dengan algoritma Naïve Bayes Classifier adalah sebesar 84% dan cukup berhasil memprediksi kategori sentimen positif dan negatif [11].
Penelitian lainnya dengan judul “Analisis Sentimen Pembelajaran Daring Pada Twitter  di Masa Pandemi Covid-19 Menggunakan Metode Naïve Bayes”. Penelitian
ini dilakukan oleh Samsir, dkk, pada tahun 2021. Penelitian ini menggunakan data tweets yang diambil pada November 2020 dengan akurasi nilai 30% untuk kelas positif, 69% untuk kelas negatif, dan 1% untuk kelas netral. Tanggapan negatif  yang dihasilkan berdasarkan pada ketidakpuasan publik terhadap penerapan pembelajaran daring [12].
Penelitian sentimen dengan judul “Komparasi Algoritma Klasifikasi Text Mining Untuk Analisis Sentimen Pada Review Restoran”. Penelitian ini dilakukan oleh Muthia Dinda pada tahun 2018. Penelitian ini membandingkan dua algoritma klasifikasi, yaitu algoritma Naïve Bayes dengan algoritma Support Vector Machine (SVM) terhadap review restoran. Hasil dari pengujian pada penelitian ini adalah membuktikan bahwa algoritma Naïve Bayes Classifier (NBC) lebih unggul dari algoritma Support Vector Machine (SVM) dalam mengklasifikasikan review restoran dengan teks berbahasa Indonesia.  Akurasi dari  algoritma Naïve Bayes mencapai 87% sedangkan algoritma Support Vector Machine (SVM) hanya dapat menghasilkan akurasi sebesar 56% [13].
Penelitian analisis sentimen dengan topik opini masyarakat terhadap data tweets e-commerce Lazada yang dilakukan oleh Dodi Setian dan Iin Seprina pada tahun 2019. Tujuan dari penelitian ini adalah untuk mengetahui opini masyarakat di Twitter  terhadap layanan Lazada dengan menggunakan Algoritma Naïve Bayes. Hasil akurasi yang didapat sebesar 98,29% [14].
Twitter  merupakan salah satu wadah yang dapat digunakan pada saat melakukan proses analisis sentimen, dimana terdapat banyak sekali data atau dokumen teks yang dapat dijadikan sebagai bahan dalam melakukan analisis sentimen [15].
Berdasarkan pada penjabaran diatas dan penelitian terdahulu, maka didapatkan sebuah batasan masalah, yaitu bagaimana  mengklasifikasikan  sebuah sentimen dengan algoritma Naïve Bayes Classifier. Selain itu, ruang lingkup penelitian ini adalah pengambilan data tweets dari jarak waktu september 2021 sampai dengan Oktober 2021.

## II. M ETODOLOGI P ENELITIAN

## A. Diagram Alur Penelitian
Secara garis besar penelitian ini akan berdasarkan pada proses konfigurasi metode analisis sentimen dengan tahapan yang dapat dilihat pada Gambar 1.
Tahapan analisis sentimen yang terdiri dari tahapan crawling data, text  preprocessing , distribusi data yang dibagi menjadi data latih dan data uji, pemodelan data dengan metode klasifikasi, dan evaluasi.
Gambar 1. Diagram alur proses tahapan analisis sentimen
B. Pengumpulan Data Pada tahapan ini dilakukan proses crawling data dengan mendapatkan data tweets menggunakan library Snscrape pada Bahasa Pemrograman Python. Data yang diambil merupakan  sekumpulan data tweets yang didasarkan  pada kata kunci yang menyebutkan kata Indihome dan Telkomsel. Dataset tweets mentah kemudian disimpan dalam format json yang kemudian dikonversi ke dalam format CSV ( Comma Separated Values ) untuk dilanjutkan pada proses selanjutnya.

## C. Text Preprocessing
Setelah melakukan pengambilan data, langkah selanjutnya adalah melakukan preprocessing . Preprocessing digunakan untuk menghasilkan satu set fitur yang relevan dari teks dokumen [16]. Tahapan preprocessing terdiri dari tahapan case folding, cleaning, stemming, stopword removal, dan tokenization.

## D. Pembobotan Kata
Penelitian ini menerapkan algoritma TF-IDF (Term Frequency-Inverse Document Frequency) yang digunakan untuk menghitung bobot kata dengan memberikan bobot pada sebuah kata (term) dari suatu dokumen ( tweets ). Algoritma TF-IDF digunakan untuk memberikan evaluasi seberapa pentingnya kata di dalam sebuah dokumen [17]. Adapun rumus algoritma TF-IDF dituliskan sebagai berikut:
𝑊𝑊 𝑖𝑖𝑖𝑖 = 𝑡𝑡𝑡𝑡 𝑖𝑖𝑖𝑖 + � log 𝐷𝐷 𝑑𝑑𝑖𝑖𝑖𝑖 � (1)
Keterangan:
𝑊𝑊 𝑖𝑖𝑖𝑖
= bobot kata pada dokumen/ tweets 𝑡𝑡𝑡𝑡 𝑖𝑖𝑖𝑖 = jumlah kemunculan kata dalam dokumen/ tweets D = jumlah dokumen tweets 𝑑𝑑 𝑖𝑖𝑖𝑖
= kemunculan kata dari D

## E. Algoritma Naïve Bayes
Naïve Bayes Classifier adalah metode klasifikasi yang paling sering digunakan dalam penelitian yang berkaitan dengan analisis sentimen. Naïve Bayes Classifier melakukan penggolongan kata dan dokumen berdasarkan pada probabilitas dan dapat digunakan sebagai hipotesis bahwa tidak ada ketergantungan antara satu kelas dengan kelas lainnya [18].
𝑃𝑃 ( 𝐶𝐶 | 𝑋𝑋 ) = 𝑃𝑃 ( 𝑥𝑥 | 𝑐𝑐 ) 𝑃𝑃 ( 𝑐𝑐 ) 𝑃𝑃 ( 𝑥𝑥 ) (2)
Persamaan (2) menunjukkan C adalah data hipotesis dari kelas tertentu, X menunjukkan data kelas yang belum diketahui, 𝑃𝑃 ( 𝐶𝐶 | 𝑋𝑋 ) menunjukkan probabilitas hipotesis berdasarkan pada kondisi ( posteriori probability ), 𝑃𝑃 ( 𝑐𝑐 ) menunjukkan probabilitas ( prior probability ), 𝑃𝑃 ( 𝑥𝑥 | 𝑐𝑐 ) menunjukkan probabilitas berdasarkan kondisi dalam hipotetsis, dan 𝑃𝑃 ( 𝑥𝑥 ) menunjukkan probabilitas 𝑐𝑐 . Nilai pembuktian selalu tetap untuk setiap kelas dalam satu sampel. Nilai dari posterior akan dibandingkan dengan nilai-nilai posterior dari kelas lain untuk menentukan di kelas manakah suatu sampel dapat diklasifikasikan. Persamaan (1) diatas dapat dijabarkan lebih lanjut menjadi persamaan berikut:
P(C|X1, X2,…Xn) = 𝑝𝑝� 𝑋𝑋 1, 𝑋𝑋 2, … 𝑋𝑋𝑋𝑋 � 𝐶𝐶 �𝑝𝑝 ( 𝐶𝐶 ) 𝑃𝑃 ( 𝑋𝑋1 , 𝑋𝑋2 ,… 𝑋𝑋𝑋𝑋 )
= 𝑃𝑃� 𝑋𝑋 1 � 𝐶𝐶 �𝑝𝑝� 𝑋𝑋 2 � 𝐶𝐶 � … 𝑝𝑝� 𝑋𝑋𝑋𝑋 � 𝐶𝐶 �𝑝𝑝 ( 𝐶𝐶 ) 𝑃𝑃 ( 𝑋𝑋1 , 𝑋𝑋2 ,… 𝑋𝑋𝑋𝑋 ) (3)
Dimana P(C|X1, X2,…Xn) adalah hasil perhitungan dari keseluruhan probabilitas posterior pada nilai X untuk semua dinilai C, sehingga algoritma Naïve Bayes dapat membuat prediksi berdasarkan probabilitas maksimum.
mulai Crawling data Dataset mentah Preprocessing Membagi data
Data latih Data uji Pemodelan
evaluasi
Hasil klasifikasi selesai

## F. Evaluasi
Tahap evaluasi dilakukan untuk memastikan hasil akurasi dari pemodelan terhadap data latih. Evaluasi diterapkan dalam bentuk confusion matrix untuk mendapatkan hasil dari perhitungan accuracy, precision, recall, dan  fi-score.

## III. H ASIL DAN P EMBAHASAN

## A. Pengambilan Data
Data yang diambil dalam penelitian ini didapatkan dari media sosial Twitter  dengan proses awal crawling data menggunakan dua kata kunci, yaitu “Indihome” dan “Telkomsel” pada tweets berbahasa Indonesia. Proses pengambilan data dilakukan dengan menggunakan library snscrape untuk pengambilan data tweets lama. Periode pengumpulan data diambil dari jarak waktu 21 September 2021 sampai 2 Oktober 2021. Proses crawling data menghasilkan sekitar 1351 data mentah dari 2000 limit data. Berikut proses  pengambilan data yang ditampilkan pada Gambar 1.
Gambar 2. Proses pengambilan data dengan snscrape
Gambar 2 menunjukkan proses crawling data dengan menggunakan library snscrape yang disimpan ke dalam format json, kemudian file json tersebut dikonversi ke dalam format CSV.
TABEL I
D ATA C RAWLING
Username Teks @rednesia Mohon penjelasannya @indihome @TelkomCare @Telkomsel. Belakangan layanan kayak github, stack overflow, quora berasa di-throttling. Akses internet lainnya lancar, Cuma ke web & layanan tertentu sering timed out. Ini pelanggaran hak konsumen, merugikan usaha juga! https://t.co/cbLmUfTBs4 @gargiov Provider indihome dan telkomsel sungguh menguji kesabaran @detikcom Telkom terus berupaya memperbaiki permasalahan yang mempengaruhi layanan IndiHome dan Telkomsel. Titik persoalan gegara kabel… @cybersatun @Telkomsel Gak bisa jadi juara, jaringan internet indihome dan telkomsel lemot parah
Tabel diatas berisikan contoh tweets yang didapatkan dari hasil crawling data pada Twitter. Tweets yang masih berisikan atribut yang nantinya akan dibersihkan pada proses preprocessning.

## B. Text Preprocessing
Setelah dilakukannya proses crawling data dari Twitter, tahapan selanjutnya adalah dilakukannya proses Preprocessing . Proses ini dilakukan karena dataset yang didapat masih dalam bentuk yang tidak terstrukur. Tujuan dilakukannya Preprocessing adalah untuk menghilangkan noise dalam sebuah data sehingga dapat dibaca oleh sistem dan dapat dihitung oleh algoritma. Berikut beberapa tahapan dalam proses Preprocessing:
• Case folding adalah proses mengubah kata yang mengandung huruf uppercase dan lowercase ke dalam lowercase semua.
• Tokenisasi adalah proses untuk menghilangkan atribut-atribut yang tidak penting dalam sebuah kata seperti tanda baca, hashtag, RT, dan username.
• Stopword removal adalah proses menghapus kata sambung, seperti “di”, “ke”, “yang”, “dan”
• Stemming adalah proses mengubah sebuah kata menjadi kata dasar Hasil dari proses Text  Preprocessing tersebut ditampilkan pada Tabel 2 dibawah ini. Setelah melakukan proses Text Preprocessing didapatkan dataset yang sudah terstruktur sebanyak 1305 data yang sudah dilabeli dari 1351 data, dengan keterangan 1249  data tweets negatif, dan 56 data tweets positif.

## TABEL II H ASIL D ATA P REPROCESSING
Kata Kunci Indihome dan Telkomsel Sebelum Mohon penjelasannya @indihome @TelkomCare @Telkomsel. Belakangan layanan kayak github, stack overflow, quora berasa di-throttling. Akses internet lainnya lancar, Cuma ke web & layanan tertentu sering timed out. Ini pelanggaran hak konsumen, merugikan usaha juga! https://t.co/cbLmUfTBs4 Sesudah mohon penjelasan layanan github stack overflow quora akses internet lain lancar web  layanan tentu ini langgar hak konsumen rugi usaha
Tabel diatas memperlihatkan perbedaan antara data tweets sebelum dan sesudah dilakukannya proses Preprocessing.

## C. Vektorisasi
Setelah kata hasil dari Preprocessing dikumpulkan selanjutnya akan dilakukan pembobotan kata dengan algoritma TF-IDF. Manfaat dari proses pembobotan kata ini adalah untuk memberikan bobot nilai pada kata dalam dokumen sehingga dapat diolah pada proses klasifikasi [2]. Proses pembobotan kata dilakukan dengan menggunakan perhitungan berdasarkan pada rumus (1). Dibawah ini adalah hasil perhitungan TF-IDF untuk 4 sampel dokumen yang ditampilkan pada Tabel 3.
Sampel dokumen yang dipakai Input Teks:
D1  = “spotify kalau pakai telkomsel sudah normal” D2  = “bahagia kabar layanan indihome telkomsel sudah normal”
D3  = “lebih baik tidak pakai layanan bumn ini” D4  = “buka dana lemot pakai koneksi indihome”

## Output :
TABEL III V EKTORISASI S AMPEL D ATA Term TF-IDF D1 D2 D3 D4 bahagia 0 0.47 0 0 buka 0 0 0 0.44 bumn 0 0 0.70 0 dana 0 0 0 0.44 indihome 0 0.37 0 0.35 kabar 0 0.47 0 0 koneksi 0 0 0 0.44 layanan 0 0.37 0.55 0 lemot 0 0 0 0.44 normal 0.48 0.37 0 0 pakai 0.39 0 0.44 0.28 spotify 0.61 0 0 0 telkomsel 0.48 0.37 0 0
Tabel diatas berisikan hasil perhitungan TF-IDF dari empat sampel dokumen tweets terhadap 13 Term yang terdapat di setiap dokumen.
D. Proses Klasifikasi Naïve Bayes
Proses klasifikasi dilakukan pada data latih untuk membuat model. Sebelum melakukan proses klasifikasi, terlebih  dahulu melakukan pembagian data dengan membagi data menjadi 80% data latih (1044 tweets ) dan 20% data uji (261 tweets ). Pada tahapan klasifikasi dengan metode Naïve Bayes, perhitungan probabilitas kata dilakukan terhadap Term pada setiap dokumen tweets . Term yang digunakan terdapat pada Tabel 3. Proses perhitungan persamaan dapat dilihat pada Tabel 4.
TABEL IV K EMUNCULAN T ERM P ADA S ETIAP K ELAS
Term Positif Negatif
bahagia 1 0 buka 0 1 bumn 0 1 dana 0 1 indihome 1 1 kabar 1 0 koneksi 0 1 layanan 1 1 lemot 0 1 normal 2 0 pakai 1 1 spotify 1 0 telkomsel 1 0 9 8
Pemberian nilai Term berdasarkan pada kemunculan Term di dalam dokumen tweets. Jika dokumen bernilai
positif maka Term berada pada kelas positif, begitupun sebaliknya. Keterangan: nPositif = 9 nNegatif = 8 Jumlah = 13 kata 𝑃𝑃 ( 𝑤𝑤 | 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 | 𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) =
( 𝑋𝑋𝑛𝑛� 𝑝𝑝𝑝𝑝𝑝𝑝𝑖𝑖𝑝𝑝𝑖𝑖𝑝𝑝 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑝𝑝𝑖𝑖𝑝𝑝 � ) +1 � 𝑋𝑋 . 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 � 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 �+ | 𝑇𝑇 | (4)
Probabilitas Prior
a. Kata bahagia P(bahagia|Positif) = 1+1 9+13 = 0,09 P(bahagia|Negatif) = 0+1 8+13 = 0,047 b. Kata buka P(buka|Positif)  = 0+1 9+13 = 0,045 P(buka|Negatif)   = 1+1 8+13 = 0,095 c. Kata bumn P(bumn|Positif)  = 0+1 9+13 = 0,045 P(bumn|Negatif)   = 1+1 8+13 = 0,095 d. Kata dana P(dana|Positif)  = 0+1 9+13 = 0,045
P(dana|Negatif)   = 1+1 8+13 = 0,095 e. Kata indihome P(indihome|Positif) = 1+1 9+13 = 0,09 P(indihome|Negatif) = 1+1 8+13 = 0,095
f. Kata kabar P(kabar|Positif)   = 1+1 9+13 = 0,09 P(kabar|Negatif)   = 0+1 8+13 = 0,047 g. Kata koneksi P(koneksi|Positif)   = 0+1 9+13 = 0,045
P(koneksi|Negatif) = 1+1 8+13 = 0,095
h. Kata layanan
P(layanan|Positif)   = 1+1 9+13 = 0,09 P(layanan|Negatif)  = 1+1 8+13 = 0,09 i. Kata lemot P(lemot|Positif)  = 0+1 9+13 = 0,045
P(lemot|Negatif)   = 1+1 8+13 = 0,095 j. Kata normal P(normal|Positif) = 2+1 9+13 = 0,136 P(normal|Negatif) = 0+1 8+13 = 0,047 k. Kata pakai P(pakai|Positif)  = 1+1 9+13 = 0,09 P(pakai|Negatif)   = 1+1
8+13 = 0,095 l. Kata Spotify P(spotify|Positif) = 1+1 9+13 = 0,09 P(spotify|Negatif) = 0+1 8+13 = 0,047 m. Kata telkomsel P(telkomsel|Positif) = 1+1
9+13 =  0,09
P(telkomsel|Negatif) = 0+1 8+13 = 0,047

## Probabilitas Posterior
Setelah melakukan perhitungan terhadap probabilitas Term, kemudian akan dilakukan perhitungan probabilitas terhadap sampel dokumen.
Perhitungan probabilitas dokumen tweets dimana terdapat 2 data latih dengan sentiment positif dan negatif, sehingga perhitungannya:
𝑃𝑃 ( 𝑃𝑃𝑃𝑃𝑃𝑃𝑖𝑖𝑃𝑃𝑖𝑖𝑖𝑖 𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑃𝑃𝑖𝑖𝑖𝑖 ) = 𝑥𝑥 ( 𝑝𝑝𝑝𝑝𝑝𝑝𝑖𝑖𝑝𝑝𝑖𝑖𝑝𝑝 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑝𝑝𝑖𝑖𝑝𝑝 ) | 𝐶𝐶 | (5)
P(Positif) = 1 2 = 0,5 P(Negatif) = 1 2 = 0,5
Untuk mendapatkan nilai probabilitas tertinggi, maka dilakukan perhitungan dengan rumus :
𝑃𝑃 � 𝑝𝑝𝑃𝑃𝑃𝑃𝑖𝑖𝑃𝑃𝑖𝑖𝑖𝑖 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑃𝑃𝑖𝑖𝑖𝑖 �𝑑𝑑� = 𝑃𝑃 � 𝑝𝑝𝑃𝑃𝑃𝑃𝑖𝑖𝑃𝑃𝑖𝑖𝑖𝑖 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑃𝑃𝑖𝑖𝑖𝑖 � × 𝜋𝜋𝑝𝑝 ( 𝑤𝑤 | 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 | 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) (6)
Perhitungan dilakukan pada data uji: D4 =  “buka dana lemot pakai koneksi indihome”.
Perhitungan dilakukan dengan menghitung nilai probabilitas tertinggi dari masing – masing kelas.
𝑷𝑷 ( 𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑 | 𝑫𝑫𝑫𝑫 ) = 𝑃𝑃 ( 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑏𝑏𝑏𝑏𝑏𝑏𝑁𝑁 | 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑑𝑑𝑁𝑁𝑋𝑋𝑁𝑁 | 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑃𝑃𝑋𝑋𝑑𝑑𝑃𝑃ℎ𝑃𝑃𝑜𝑜𝑁𝑁 | 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑙𝑙𝑁𝑁𝑜𝑜𝑃𝑃𝑡𝑡 | 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑝𝑝𝑁𝑁𝑏𝑏𝑁𝑁𝑃𝑃 | 𝑝𝑝𝑃𝑃𝑃𝑃𝑃𝑃𝑡𝑡𝑃𝑃𝑡𝑡 ) = 0,5 × 0,045 × 0,045 × 0,09 × 0,045 × 0,09 = 0,0000003691
𝑷𝑷 ( 𝒏𝒏𝒏𝒏𝒏𝒏𝒏𝒏𝒑𝒑𝒑𝒑𝒑𝒑 | 𝑫𝑫𝑫𝑫 ) = 𝑃𝑃 ( 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑏𝑏𝑏𝑏𝑏𝑏𝑁𝑁 | 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑑𝑑𝑁𝑁𝑋𝑋𝑁𝑁 | 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑃𝑃𝑋𝑋𝑑𝑑𝑃𝑃ℎ𝑃𝑃𝑜𝑜𝑁𝑁 | 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑙𝑙𝑁𝑁𝑜𝑜𝑃𝑃𝑡𝑡 | 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) × 𝑃𝑃 ( 𝑝𝑝𝑁𝑁𝑏𝑏𝑁𝑁𝑃𝑃 | 𝑋𝑋𝑁𝑁𝑁𝑁𝑁𝑁𝑡𝑡𝑃𝑃𝑡𝑡 ) = 0,5 × 0,095 × 0,095 × 0,09 × 0,095 × 0,095
= 0,0000036653 TABEL V

## H ASIL N ILAI P ROBABILITAS
Probabilitas Positif 0,0000003691 Probabilitas Negatif 0,0000036653 Berdasarkan pada perhitungan probabilitas yang dilakukan pada sampel data uji, dapat dilihat kelas negatif memiliki nilai probabilitas yang tinggi. Sehingga dapat disimpulkan bahwa sampel data uji tersebut berada pada kelas negatif .

## E. Evaluasi
Setelah dilakukan pemodelan menggunakan metode Naïve Bayes, selanjutnya melakukan pengujian data uji dengan jumlah data 261 tweets (250 negatif dan 11 positif).
Berdasarkan data uji tersebut, hasil evaluasi  terhadap data uji digambarkan dalam Confusion Matrix pada Tabel 5 di bawah ini
TABEL VI
C ONFUSION M ATRIX Prediksi Negatif Prediksi Positif Jumlah True Negatif 250 0 250 True Positif 10 1 11 Jumlah 260 1 261
Pada tabel 5 digambarkan ada sekitar 260 data yang diprediksi negatif dan 1 data yang diprediksi positif. Namun dari 260 data yang diprediksi negatif, terdapat kesalahan yang dimana seharusnya 10 data berada pada kelas positif.
Berdasarkan pada confusion  matrix tersebut, didapatkan nilai akurasi sebesar 96%. nilai precision sebesar 96%, nilai recall sebesar  96%, dan nilai fi-score sebesar 95%.
Gambar 3. Hasil perhitungan

## F. Perancangan Aplikasi
Desain  aplikasi dibuat dengan menggunakan bootsrap db Admin. Aplikasi analisis sentimen ini mengambil langsung data tweets secara real time dengan menghubungkan API Twitter  dengan sistem. Untuk tampilan aplikasi dapat dilihat sebagai berikut.
Gambar 4. Crawling data tweets secara real time
Crawling data tweets dilakukan secara real time dengan menggunakan API Twitter. API Twitter  yang terhubung dengan sistem memungkinkan aplikasi untuk mengambil data secara langsung dan melakukan pencarian sesuai dengan kata kunci yang ditulis, dan data yang diambil akan disimpan ke dalam database.

## Gambar 5. Klasifikasi sentimen
Menu  klasifikasi  melakukan klasifikasi berdasarkan kata kunci dan data yang sebelumnya sudah dimasukkan ke dalam database. Hasil klasifikasi  ditampilkan dengan menggunakan visualisasi diagram .
Berdasarkan  pada hasil penelitian  dan  pembahasan yang telah dilakukan, maka dapat disimpulkan  analisis sentimen terhadap penurunan performa layanan Indihome dan Telkomsel yang didasarkan  pada objek data Twitter dengan  algoritma Naïve Bayes yang dijelaskan dengan poin sebagai berikut:
1)  Hasil sentimen terhadap penurunan performa layanan Indihome dan Telkomsel berdasarkan data tweets , didapatkan hasil klasifikasi 1044 untuk kelas negatif, dan 56  untuk kelas positif. Berdasarkan hasil tersebut, dapat disimpulkan bahwa tingkat kekecewaan masyarakat terhadap penurunan pelayanan cukup tinggi.
2)  Hasil perhitungan sentimen dengan metode klasifikasi Naïve Bayes berdasarkan pada Confusion Matrix , menghasilkan tingkat nilai akurasi sebesar 96%, nilai precision sebesar 96%, nilai recall sebesar 96%, dan nilai fi-score sebesar 95%.
3)  Besarnya nilai akurasi didapatkan dari proses Preprocessing yang maksimal.
4)  Berdasarkan hasil dan pembahasan, terlihat bahwa metode Naïve Bayes dapat diterapkan untuk menganalisis sentimen data Twitter Berbahasa Indonesia.

## D AFTAR P USTAKA
[1] E. Mas’udah, E. D. Wahyuni, and A. A. Arifiyanti, “Analisis Sentimen: Pemindahan Ibu Kota Indonesia Pada Twitter,” J. Inform. dan Sist. Inf. , vol. 1, no. 2, pp. 397–401, 2020.
[2] Asosiasi Penyelenggara Jasa Internet Indonesia, “Laporan Survei Internet APJII 2019 – 2020,” Asos. Penyelenggara Jasa Internet Indones. , vol. 2020, pp. 1–146, 2020, [Online]. Available: https://apjii.or.id/survei. [3] J. Winahyu and I. Suharjo, “Aplikasi Web Analisis Sentimen Dengan Algoritma Multinomial Naïve Bayes,” vol. 10, pp. 206–214, 2021. [4] D. Darwis, N. Siskawati, and Z. Abidin, “Penerapan Algoritma Naive Bayes untuk Analisis Sentimen Review Data Twitter BMKG Nasional,” J. Tekno Kompak , vol. 15, no. 1, pp. 131– 145, 2021.
[5] A. Wandani, F. Fauziah, and A. Andrianingsih, “Sentimen Analisis Pengguna Twitter  pada Event Flash Sale Menggunakan Algoritma K-NN, Random Forest, dan Naive Bayes,” J-SAKTI (Jurnal Sains Komput. dan Inform. , vol. 5, no. 2, pp. 651–665, 2021. [6] A. Poornima and K. S. Priya, “A Comparative Sentiment Analysis of Sentence Embedding Using Machine Learning Techniques,” 2020 6th Int. Conf. Adv. Comput. Commun. Syst. ICACCS 2020 , pp. 493–496, 2020, doi: 10.1109/ICACCS48705.2020.9074312. [7] R. Feldman and J. Sanger, The Text Mining Handbook . Cambridge University Press, 2006. [8] K. Kowsari, K. J. Meimandi, M. Heidarysafa, S. Mendu, L.
Barnes, and D. Brown, “Text classification algorithms: A survey,” Inf. , vol. 10, no. 4, pp. 1–68, 2019,  doi: 10.3390/info10040150. [9] A. Triayudi, “Convolutional Neural Network For Test Classification On Twitter,” J. Softw. Eng. Intellident Syst. , vol.
4, no. 3, pp. 123–131, 2019.
[10] R. Tineges, A. Triayudi, and I. D. Sholihati, “Analisis Sentimen Terhadap Layanan Indihome Berdasarkan Twitter Dengan Metode Klasifikasi Support Vector Machine (SVM),” J. Media Inform. Budidarma , vol. 4, no. 3, p. 650, 2020, doi:
10.30865/mib.v4i3.2181.
[11] A. V. Sudiantoro et al. , “Analisis Sentimen Twitter Menggunakan Text Mining Dengan,” vol. 10, no. 2, pp. 398– 401, 2018.
[12] Samsir, Ambiyar, U. Verawardina, F. Edi, and R. Watrianthos, “Analisis Sentimen Pembelajaran Daring Pada Twitter di Masa
Pandemi COVID-19 Menggunakan Metode Naïve Bayes,” J. Media Inform. Budidarma ,  vol. 5, pp. 157–163, 2021, doi: 10.30865/mib.v5i1.2604.
[13] D. A. Muthia, “Komparasi Algoritma Klasifikasi Text Mining Untuk Analisis Sentimen Pada Review Restoran,” J. PILAR Nusa Mandiri , vol. 14, no. 1, pp. 69–74, 2018.
[14] D. Setian and I. Seprina, “Analisis Sentimen Masyarakat Terhadap Data Tweets Lazada Menggunakan Text Mining Dan Algoritma Naive Bayes,” Bina Darma Conf. Comput. Sci. , pp. 998–1004, 2019.
[15] J. A. Septian, T. M. Fahrudin, and A. Nugroho, “Journal of Intelligent Systems and Computation 43,” pp. 43–49, 2019, [Online]. Available: https://t.co/9WloaWpfD5.
[16] L. A. Andika, P. A. N. Azizah, and R. Respatiwulan, “Analisis Sentimen Masyarakat terhadap Hasil Quick Count Pemilihan Presiden Indonesia 2019 pada Media Sosial Twitter Menggunakan  Metode Naive Bayes Classifier,” Indones. J. Appl. Stat. , vol. 2, no. 1, p. 34, 2019, doi: 10.13057/ijas.v2i1.29998.
[17] S. Fransiska and A. Irham Gufroni, “Sentiment Analysis Provider by.U on Google Play Store Reviews with TF-IDF and Support Vector Machine (SVM) Method,” Sci. J. Informatics , vol. 7, no. 2, pp. 2407–7658, 2020, [Online]. Available: http://journal.unnes.ac.id/nju/index.php/sji.
[18] M. Wongkar and A. Angdresey, “Sentiment Analysis Using Naive Bayes Algorithm Of The Data Crawler: Twitter,” Proc. 2019 4th Int. Conf. Informatics Comput. ICIC 2019 , pp. 1–5, 2019, doi: 10.1109/ICIC47613.2019.8985884.