Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 Analisis Sentimen Menggunakan Metode Naïve Bayes Berdasarkan Opini Masyarakat Dari Twitter Terhadap Perang Rusia dan Ukraina Arlan Aditya1*, Arief Wibowo2 1,2Fakultas Teknologi Informasi, Teknik Informatika, Universitas Budi Luhur, Jakarta, Indonesia Email: 2arief.wibowo@budiluhur.ac.id (* : corresponding author) Abstrak- Dengan kemajuan teknologi saat ini tentunya sangat membantu masyarakat mendaparkan informasi salah satunya dari media sosial, seperti informasi mengenai perang Rusia dan Ukraina yang saat ini sedang menjadi topik pembicaraan di tengah masyarakat dunia. Di Indonesia, pembicaraan mengenai berita mengenai invasi Rusia dan Ukraina sangatlah viral khususnya di media sosial twitter. Ada banyak kicauan tentang kejadian tersebut dan kicauan dari para netizen, namun belum diketahui apakah kicauan tersebut kebanyakan berisi opini positif atau negatif. Penelitian ini bertujuan untuk menganalisis sentimen masyarakat menggunakan metode Naïve Bayes. Data tersebut dikelompokan menggunakan metode Naive Bayes dan sistem analisis sentimen dibagi menjadi 5 (lima) bagian, yakni crawling, pre-processing, pembobotan kata, pembentukan model dan klasifikasi sentimen. Data yang ada akan dikelompokan ke dalam 2 (Dua) kategori, yakni negatif dan positif. Data tersebut kemudian akan dipertimbangkan menggunakan percobaan confusion matrix dengan parameter akurasi, Recall, dan Precision. Pengujian dari sisi akurasi pada algoritma Naïve Bayes Clasifier (NBC) dengan 230 data tweet. Dalam pengujian akurasi data latih dan data uji dibagi menjadi 80% dan 20%, hal ini untuk mengetahui nilai akurasi tertinggi, Hasil dalam penelitian ini menghasilkan evaluasi penerapan analisis opini publik mengenai perang Rusia dan Ukraina menggunakan metode Naïve Bayes maka didapatkan nilai pada angka 78.261%. Kata Kunci: klasifikasi, naïve bayes, invasi rusia, perang rusia Sentiment Analysis Using Naïve Bayes Method Based On Public Opinion From Twitter On The Russia And Ukraine War Abstract- With current technological advances, it is certainly very helpful for people to get information, one of which is from social media, such as information about the wars between Russia and Ukraine, which is currently a topic of conversation in the world community. In Indonesia, talk about news about the invasion of Russia and Ukraine is very viral, especially on social media twitter. There have been many tweets about the incident and tweets from netizens, but it is not yet known whether these tweets contain mostly positive or negative opinions. This study aims to analyze public sentiment using the Naïve Bayes method. The data is grouped using the Naive Bayes method and the sentiment analysis system is divided into 5 (five) parts, namely crawling, pre-processing, word weighting, model formation and sentiment classification. The existing data will be grouped into 2 (two) categories, namely negative and positive. The data will then be considered using a confusion matrix experiment with accuracy, Recall, and Precision parameters. Testing in terms of accuracy on the Naïve Bayes Classifier (NBC) algorithm with 230 tweet data. In testing the accuracy of training data and test data divided into 80% and 20%, this is to determine the highest accuracy value. The results in this study resulted in an evaluation of the application of public opinion analysis regarding the Russian and Ukrainian wars using the Naïve Bayes method, the value was obtained at 78.261% . Keywords: classification, naïve bayes, rusia invasion, rusian war 1. PENDAHULUAN Pembicaraan mengenai berita mengenai invasi Rusia dan Ukraina sangatlah viral khususnya di media sosial Twitter. Banyak cuitan tentang kejadian tersebut dan kicauan dari netizen, namun belum diketahui apakah kicauan tercatat kebanyakan berisi opini positif atau negatif. Untuk melakukan itu, peneliti memerlukan aplikasi yang dapat menerapkan analisis sentimen dan memproses data. Invansi Rusia terhadap Ukraina merupakan suatu peristiwa yang akhir-akhir ini menjadi perbincangan dikalangan masyarakat dunia, dimana peristiwa ini pada awalnya sudah terjadi sejak tahun 2014 dan kembali memanas pada 24 Februari 2022 yang menyebabkan banyaknya korban jiwa terutama berdampak terhadap masyarakat sipil yang ada disana. Berbagai pertentangan terjadi dimedia sosial khususnya di twitter dan juga invansi tersebut dinilai oleh Perserikatan Bangsa-Bangsa (PBB) merupakan suatu pelanggaran HAM. Penganalisaannya menggunakan teknik tweet, penganalisaan teks, dikarenakan berhubungan dengan sentiment analisis yang terfokus pada pengelompokkan emosi. Hasil tweets yang terkumpul kemudian dianalisa dengan teknik yang merupakan bagian dari penambangan opini disebut dengan analisis sentimen. Ini juga dapat digunakan saat melakukan analisis sentimen untuk memastikan pendapat tentang masalah atau untuk mengidentifikasi tren di pasar, disebabkan pendapat netizen Arlan Aditya | | Page 551
Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 yang berkaitan dengan berita yang sedang memanas, produk tertentu yang dicantumkan dalam tulisan yang tidak tertata. [1] Upaya yang dilakukan untuk mendapatkan berbagai data informasi yang melibatkan antara user dengan berbagai tools yang ada yang termuat dalam data mining sehingga dapat dikategorisasikan disebut dengan text mining. [2]Beberapa pemikiran tentang itu analisis sentimen adalah analisis sentimen biasanya proses menentukan perasaan dan pendapat seseorang muncul baik itu negatif maupun positif yang direpresentasikan kedalam bentuk teks. Berdasarkan penelitian sebelumnya [3] dengan mengimplementasikan uji performa dengan teknik confusion matrix beralgoritma Naïve Bates (NBC) dengan melakukan tiga uji kategori mulai dari positif hingga negatif didapatkan hasil terbaik yaitu data latih mendapatkan prosentase sebesar 90%, data uji sebesar 10%, selanjutnya prosentase 77,78% untuk nilai akurasinya, kemudian nilai presisi dan recall secara berurutan yaitu 77,78% dan 93,33%. Kemudian untuk data test dan training sebesar 59,33% dengan nilai akurasinya 10%, untuk prosentase 58,33% yaitu nilai recall dan nilai prosentase akurasi 59,33%.[4] Kemudian dari hasil pengujian dengan mengimplementasikan metode cross validation dan comfusion matrix sebelum memakai n-gram didapatkan nilai prosentase 89,67% untuk nilai akurasi teknik naive bayes dan setelah mengimplementasikan n-gram didapatkan peningkatan menjadi 92,00% dengan akurasinya 2,33% [5] Hasil akurasi yang diperoleh adalah 77,7% dan 88%. Hasil tertinggi diraih oleh calon presiden peringkat kedua, dengan nilai f-measure 0,88. [6] Dari riset yang dilakukan didapatkan hasil nilai prosentase untuk recall, precision, acuracy secara berurutan yaitu 80,00%, 71,43% dan 86,67%.[7] Dari hasil riset didapatkan nilai akurasi sebesar 81% untuk Naive Bayes dan 0,8 untuk nilai f1, kemudian nilai akurasi 87% didapatkan dari Support Vector Machine dan nilai f1 0,87.[8] Berdasarkan riset didapatkan hasil akurasi tertingginya yaitu dengan metode Naïve Bayes sebesar 63.21%, sedangkan prosentase 58.10% didapatkan dari metode KNN.[9] Pengujian ini mengungkapkan nilai akurasi unigram sebesar 76,67%, 84,44%, 90,00%, dan 93,33%. Nilai akurasi bigram adalah 64,17%, 68,89%, 75,00%, dan 86,67%. Dari empat percobaan, kami menemukan bahwa akurasi terbaik adalah 93,33% untuk unigram dan 86,67% untuk bigram. Oleh karena itu, untuk nilai presisi, unigram lebih tinggi daripada bigram.[10] Metode yang digunakan adalah klasifikasi Naive Bayes yang merupakan algoritma sederhana dengan akurasi tinggi dan hasil evaluasi yang tinggi, terlihat akurasi klasifikasi sebesar 87,34%, sensitivitas 93,43%, dan spesifisitas 71,76% yang tergolong cukup baik. 2. METODE PENELITIAN 2.1 Data Penelitian Tahapan pertama dari penelitian ini adalah persiapan data, yang diambil dari hasil survei. Data yang digunakan yakni data yang diperoleh dari Twitter data tersebut adalah Tweet berbasis text. Dataset yang digunakan adalah 230 tweet dan mempunyai 2 (dua) label yakni positif dan negatif. Data ini dibagi 184 data latih dan 46 data uji. 2.2 Penerapan Metode 2.2.1 Metode Pengumpulan Data Gambar 1 Pengumpulan Data Rapidminer Data Tweet yang dikumpulkan adalah Tweet yang tercantum kata kunci "Perang Rusia Ukraina, Invasi Rusia," untuk pengambilan data tersebut menggunakan software yaitu RapidMiner Studio dan dari data yang diperoleh tersebut dimasukan kedalam file exel, pengambilan data sebanyak "230"untuk data training dan data uji yang akan di tes nantinya. Arlan Aditya | | Page 552
Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 2.2.2 Penerapan Metode Algoritma Naïve Bayes Pada penerapan algoritme naïve bayes dilakukan beberapa tahapan, yaitu: Gambar 2. Pengumpulan Data Rapidminer Gambar 3. Algoritma Naïve Bayes 1. Baca data latih 2. Hitung jumlah dan probabilitas 3. Mendapatkan hasil probabilitas 2.2.3 Pembagian Data Terdapat dua pembagian data yaitu data uji sebesar 20% dan data latih sebesar 80% pada telaah berlabel (datasheet). Tahapan pembagian data terdapat pada Gambar 3 berikut: Gambar 4. Pembagian Data Arlan Aditya | | Page 553
Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 1. Data latih Data latih adalah data yang berfungsi sebagai model latih, yaitu membangun pengetahuan untuk proses klasifikasi. 2. Data uji Data uji adalah data yang disiapkan untuk menguji keakuratan algoritma klasifikasi berdasarkan model pelatihan. 2.3 Rancangan Pengujian 2.3.1 Metode Pengujian Dalam penelitian ini, penulis menggunakan teknik simulasi untuk menjalankan proses pengujian program, menggunakan data yang diuji untuk mengamati hasil yang dijalankan, dan menggunakan data pelatihan untuk memeriksa nilai probabilitas setiap atribut dan kelas meningkat. Nilai probabilitas tertinggi menentukan kategori kelas data. 2.3.2 Preprocessing Dalam penelitian ini dilakukan Preprocessing dokumen tekstual yaitu konversi data dokumen tidak terstruktur menjadi dokumen terstruktur [12]. Tujuan dari Preprocessing tweets adalah untuk menghilangkan kata-kata yang tidak sesuai dengan survey, menyeragamkan format kata, dan mengurangi jumlah kata. Untuk melakukan ini: a. Cleaning Cleaning adalah penghilangan tanda baca, huruf kapital, dan angka yang biasa ditemukan di tweet pengguna Twitter, sehingga data menjadi tidak valid dan tidak berarti. Proses ini dilakukan secara terprogram, sehingga proses pembersihan berjalan secara otomatis sebelum hasil pembersihan disimpan dalam bentuk file excel. b. Remove Stopword Remove Stopword merupakan proses penghilangan istilah- istilah yg mempunyai arti kurang bermakna dalam isi data atau tweet misalnya istilah "kamu", "saya", "dan", "atau", "juga", "agar". c. Tokenization Tokenization merupakan proses buat memecahkan kalimat supaya sebagai beberapa bagian yang diklaim menggunakan token. Sebuah token bisa dipercaya sebagai satu bentuk kata, frasa, atau suatu elemen yg berarti. d. Stemming Stemming Adalah proses yang digunakan untuk mengubah suatu kata dari bentuk dasarnya dengan menghilangkan kata sifat sebelum dan sesudah kata. Penelitian ini melibatkan beberapa proses ekstraksi data: Case folding, Stopword removal, Tokenization, dan Stemming. a Case folding Case folding yaitu tahapan proses untuk mengubah semua teks dari huruf kapital menjadi huruf kecil. b Remove Stopword Stopword Removal yaitu tahapan untuk mengurangi dimensi dengan menghilangkan kata-kata yang tidak sesuai guna merepresentasikan isi dari suatu dokumen. Terdapat beberapa proses antara lain adalah: 1) Remove Punctuation berfungsi untuk menghilangkan tanda baca pada teks. 2) Remove Username berfungsi untuk menghilangkan username biasanya di awali dengan symbol "@" karena pada penelitian ini di anggap tidak penting. 3) Remove Hashtag berfungsi untuk menghapus judul topik yang dibahas, dan kemampuan untuk mengelompokkan percakapan, biasanya dimulai dengan tanda "#". Hashtag dianggap tidak signifikan dalam penelitian ini. 4) Clean Number berfungsi untuk menghapus angka yang berada di depan atau awal kalimat. 5) Clean One Character Fungsi untuk menghapus hanya memiliki satu karakter karena tidak berarti sebagai contoh g, x, y, k, dll, tetapi dalam komentar penulis, y adalah ya, g adalah tidak, dan k adalah bilangan real. Oleh karena itu, dalam proses ekstraksi data tidak mudah untuk dideklarasikan karena tidak memiliki makna yang jelas. 6) Removal URL di dalam tweet sering ditampilkan dalam tweet dan URL perlu dihapus, yang membuat data tidak valid. URL biasanya digunakan untuk mempromosikan sesuatu sehingga pengguna lain dapat mengakses URL tersebut. 7) Remove RT: RT atau biasa disebut Re-Tweet adalah fitur Twitter yang membantu pengguna dan orang lain dengan cepat berbagi tweet dengan semua pengikutnya, dan pengguna biasanya mengetik "RT" di awal tweet untuk membantu orang lain. Arlan Aditya | | Page 554
Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 c. Tokenization Tokenization adalah proses pemotongan kalimat yang berasal dari tahapan sebelumnya berdasarkan tiap kata penyusunnya. Perhatikan contoh berikut ini. "Rusia uji coba kembali rudal jelajah jangka menengahnya" Setelah proses Tokenizing pada kalimat di atas, akan diperoleh delapan kata yaitu: "Rusia", "uji", "coba", "kembali", "rudal", "jelajah", "jangka", "menengahnya". d. Stemming Stemming merupakan proses untuk mencari akar root suatu kata dari tiap token kata yang yaitu pengembalian suatu suatu kata berimbuhan ke bentuk dasarnya. Algoritma Stemming yang dipakai dalam penelitian ini adalah algoritma porter untuk bahasa Indoneisa. Langkah-langkah algoritma porter untuk Bahasa Indonesia adalah sebagai berikut: 1. Hapus Particle "-lah", "-kah", "-tah" atau "-pun", 2. Hapus Possesive Pronoun 3. Hapus awalan pertama 4. Hapus awalan kedua 5. Hapus akhiran 2.3.3 Tahap Pelabelan Pada tahap pelabelan (kelas) dilakukan berdasarkan karakteristik yang terdapat dalam dokumen atau kalimat. Pada fase ini, tweet yang diterima selama fase crawl diberikan kelas positif atau negatif. Kelas positif adalah bentuk deklarasi yang memberikan informasi tentang kejadian yang sebenarnya. Kelas negatif, di sisi lain, adalah untuk teks tweet dan merupakan kebalikan dari kelas negatif. Berikut label yang digunakan dalam penelitian ini: a. Label Positif yaitu reaksi atau sikap masyarakat yang menunjukkan dukungan terhadap perdamaian antara Rusia dan Ukraina b. Label Negatif yaitu reaksi atau sikap masyarakat yang menunjukkan kekhawatiran akibat efek yang ditimbulkan akibat Invasi Rusia kepada Ukraina. 2.4 Algoritma Naïve Bayes Pengusul algoritma ini yaitu seorang ilmuan Inggris bernama Thomas Bayes. Algoritma ini dikategorikan kedalam klasiifikasi data mining yang menerapkan teknik ststistik dan probabillity. Algoritma ini berfungsi untuk meramalkan kejadian di masa yang akan datang berdasarkan dengan kejadian sekarang atau sebelumnya. Algoritma ini mempunyai keterkaitan diantar variabelnya independent dan algoritma ini merupakan gabungan dari Naive. Pengklasifikasian dengan menggunakan algoritma ini tidak bergantung pada sifat-sifat kelas lain sehingga menjelaskan ciri khusus dari satu kelas. 𝐏(𝐇|𝐗) = 𝐏(𝐗|𝐇).𝐏(𝐇) 𝐏(𝐗) : Data dengan class yang belum diketahui X : Hipotesis data X merupakan suatu class pesifik H : Probabilitas hipotesis H berdasarkan kondisi X (Posteriori Probability) P(H|X) P(H) : Probabilitas hipotesis H (Prior Probability) P(X|H) : Probabilitas X berdasarkan kondisi pada hipotesis H P(X) : Probabilitas awal (priori) bukti X terjadi tanpa mengandung hipotesis yang lain 2.5 Confusion matrix Confusion matrix yaittu metode yang dapat digunakan untuk menghitung tingkat akurasi sistem penambangan teks Tabel 1. Confusion Matrix Aktual Klasifikasi Yes No Prediksi Yes No FN (False Negative) TP (True Positive) FP (False Positive) TN (True Negative) Arlan Aditya | | Page 555 (1)
Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 Akurasi adalah rasio jumlah total prediksi yang valid. Akurasi dapat ditentukan menggunakan persamaan pada : 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑎 + 𝑏 𝑎 + 𝑏 + 𝑐 + 𝑑 × 100% Recall atau True Positive rate (TP) adalah rasio kasus positif yang benar terklasifikasi, dihitung menggunakan persamaan: 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑑 𝑐 + 𝑑 × 100% Precision adalah rasio kasus yang diprediksi benar, ditentukan menggunakan persamaan: 𝑏 𝑏 + 𝑑 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = × 100% 3. HASIL DAN PEMBAHASAN Dari data yang telah di crawl atau diambil kemudian dilakukan preprocessing dan sudah dikelompokan menjadi 2 kategori, positif dan negatif. Dari 230 data dibagi menjadi 136 negatif dan 94 positif, kemudian dilakukan perhitungan probabilitas sesuai dengan persamaan 1. 3.1 Jumlah Dataset Data yang sudah dikumpulkan dan sudah diberi label kemudian langkah pertama dalam menentukan dataset yang akan dianalisis menggunakan metode Naïve Bayes adalah dengan membaca 230 dataset. Tabel 2. Jumlah Data Keterangan Jumlah Positif Negatif Total 136 94 230 3.2 Dataset Halaman ini merupakan halaman yang berfungsi untuk menampilkan semua data yang sudah dimasukan kedalam web text mining juga dapat menbahkan data baru. Gambar 5. Dataset 3.3 Uji Akurasi dan Confusion Matrix Tahpan ini dilakukan sebagai proses evaluasi, penganalisaan serta menemukan sejauh mana tingkat akurasi dari sistem yang dikembangkan. Metode yang diimplementasikan yaitu algoritma Naive Bayes Classifier (NBC) untuk melakukan prediksi atas data uji. Dalam pengujian akurasi data latih dan data uji dibagi menjadi 80% dan 20%, hal ini untuk mengetahui nilai akurasi. Arlan Aditya | | Page 556 (2) (3) (4)
Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 Gambar 6. Uji Akurasi dan Confusion Matrix 3.4 Pengujian Prediksi Pada pengujian prediksi dilakukan dengan cara memasukan kata atau kalimat yang ingin di prediksi, hasil dari pengujian dapat dilihat pada gambar 7 berikut. Gambar 7. Pengujian Prediksi 4. KESIMPULAN Berdasarkan hasil evaluasi penerapan analisis opini publik mengenai perang Rusia dan Ukraina menggunakan metode Naïve Bayes menghasilkan angka 78.261%, dapat diambil kesimpulan sebagai berikut, Berdasarkan 230 data tweet, sentiment masyarakat terhadap perang Rusia dan Ukraina ada pada angka 78.261% dan mendapatkan hasil recall 62.5% dan presisi 93.75%, Fase utama dari penelitian ini meliputi Crawling, Preprocessing, labeling, modeling, data sharing, dan klasifikasi Naive Bayes. Langkah-langkah Preprocessing yang tepat sangat penting untuk mencapai hasil yang optimal untuk langkah selanjutnya, Aplikasi akan menjadi lebih baik jika jumlah data latih seimbang antara setiap labelnya. DAFTAR PUSTAKA [1] [2] [3] [4] [5] [6] Arini, L. K. Wardhani, and D. Octaviano, "Perbandingan Seleksi Fitur Term Frequency & Tri-Gram Character Menggunakan Algoritma Naïve Bayes Classifier (Nbc) Pada Tweet Hashtag #2019gantipresiden," Kilat, vol. 9, no. 1, pp. 103-114, 2020, doi: 10.33322/kilat.v9i1.878. M. Cieliebak, J. Deriu, D. Egger, and F. Uzdilli, "A Twitter Corpus and Benchmark Resources for German Sentiment Analysis," 2017, pp. 45-51. doi: 10.18653/v1/w17-1106. B. Gunawan, H. Sasty, P. #2, E. Esyudha, and P. #3, "JEPIN (Jurnal Edukasi dan Penelitian Informatika) Sistem Analisis Sentimen pada Ulasan Produk Menggunakan Metode Naive Bayes," vol. 4, no. 2, pp. 17-29, 2018, [Online]. Available: A. Nugroho, "Analisis Sentimen Pada Media Sosial Twitter Menggunakan Naive Bayes Classifier Dengan Ekstrasi Fitur N-Gram," 2018. [Online]. Available: S. N. J. Fitriyyah, N. Safriadi, and E. E. Pratama, "Analisis Sentimen Calon Presiden Indonesia 2019 dari Media Sosial Twitter Menggunakan Metode Naive Bayes," J. Edukasi dan Penelit. Inform., vol. 5, no. 3, p. 279, Dec. 2019, doi: 10.26418/jp.v5i3.34368. N. Ruhyana, "Analisis Sentimen Terhadap Penerapan Sistem Plat Nomor Ganjil/Genap Pada Twitter Dengan Metode Klasifikasi Naive Bayes," Jakarta Pusat, 2019. [Online]. Available: Arlan Aditya | | Page 557
[7] [8] [9] [10] [11] [12] Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI) Jakarta - Indonesia, 6 September 2022 M. D. Alizah, A. Nugroho, U. Radiyah, and W. Gata, "Sentimen Analisis Terkait Lockdown pada Sosial Media Twitter," IJSE- Indonesian J. Softw. Eng., vol. 6, no. 2, pp. 223-229, 2020. M. Syarifuddin, "Analisis Sentimen Opini Publik Mengenai Covid-19 Pada Twitter Menggunakan Metode Naïve Bayes Dan KNN," Inti Nusa Mandiri, vol. 15, 2020, doi: 10.33480/inti.v15i1.1347. I. Fahrur Rozi, A. Taufika Firdausi, and K. Islamiyah, "Analisis Sentimen Pada Twitter Mengenai Pasca Bencana Menggunakan Metode Naïve Bayes Dengan Fitur N-Gram," J. Inform. Polinema, vol. 6, no. 2, pp. 33-39, 2020, doi: 10.33795/jip.v6i2.316. N. P. G. Naraswati, R. Nooraeni, D. C. Rosmilda, D. Desinta, F. Khairi, and R. Damaiyanti, "Analisis Sentimen Publik dari Twitter Tentang Kebijakan Penanganan Covid-19 di Indonesia dengan Naive Bayes Classification," Jakarta Timur, 2021. doi: 10.32520/stmsi.v10i1.1179. I. Susianti, S. Soerya Ningsih, M. Al Haris, and T. Wahyu Utami, Prosiding Seminar Edusainstech Analisis Sentimen Pada Twitter Terkait New Normal Dengan Metode Naïve Bayes Classifier. Prosiding Seminar Edusainstech FMIPA, 2020. O. Dwiraswati and K. N. Siregar, "Analisis Sentimen Pada Twitter Terhadap Penggunaan Antibiotik Di Indonesia Dengan Naive Bayes Classifier," Media Inf., vol. 15, no. 1, pp. 1-9, Aug. 2019, doi: 10.37160/bmi.v15i1.232. Arlan Aditya | | Page 558