doi: 10.47002/metik.v6i2.375 METIK JURNAL VOLUME. 6 NOMOR.2 2022 ISSN-P 2442-9562 ISSN-E 2580-1503 Analisis Sentimen Masyarakat Terhadap Konflik Rusia dan Ukraina Menggunakan Metode Naïve Bayes pada Media Sosial Twitter Dihin Muriyatmoko1, Taufiqurrahman2, Asad Humam3 1,2,3 Teknik Informatika, Universitas Darussalam Gontor, Indonesia Abstract The conflict between the two countries, namely Russia and Ukraine, has started since 2014. Conflicts between neighboring countries that brought Russia and Ukraine together were caused by interests and the struggle for natural resources. Then the conflict between Russia and Ukraine escalated again in early February 2022 after the Russian fighter fleet showed its combat power on the Belarusian and Ukrainian borders. The research that will be carried out this time has the aim of obtaining the development of a model to find out the extent of public sentiment regarding the conflict that occurred between Russia and Ukraine on two topics namely Russian Ukraine, Ukrainian Russia using Russian. The classification method used in this study is the Naïve Bayes method. The results obtained from this model get quite satisfactory results. The amount of tweet data that will be used from Twitter is 5216. The model used in this test is to read public sentiment on social media Twitter from July 4 2022 to July 22 2022. The model gets results to conclude that public opinion regarding the conflict between Russia and Ukraine has tendency to Disagree. For further research, it can be developed by repairing labels on the dataset and adding datasets. Keywords: sentiment analysis, Russia Ukraine, social media, nave bayes method. Abstrak Konflik antara dua negara yaitu Rusia dan Ukraina telah dimulai sejak tahun 2014, konflik antara 2 negara tetangga yang mempertemukan antara Rusia dan Ukraina diakibatkan karena kepentingan dan perebutan sumber daya alam. Kemudia konflik antara Rusia dan Ukraina Kembali meningkat pada awal Februari 2022 setelah armada tempur Rusia menunjukan kekuatan tempurnya di perbatasan Belarusia dan Ukraina. Pada penelitian yang akan dilakukan kali ini memiliki tujuan untuk memperoleh pengembangan model untuk mengetahui sejauh mana sentiment public mengenai konflik yang terjadi antara Rusia dan Ukraina di dua topik yaitu Rusia Ukraina, Ukraina Rusia menggunakan Bahasa Rusia. Metode klasifikasi yang digunakan dalam penelitian ini adalah metode Naïve Bayes. Hasil yang didapat dari model ini mendapatkan hasil yang cukup memuaskan. Jumlah data tweet yang akan digunakan dari Twitter berjumlah 5216. Model yang digunakan dalam pengujian kali ini untuk membaca sentiment public di media sosial twitter sejak tanggal 04 Juli 2022 sampai 22 Juli 2022. Model mendapatkan hasil untuk menyimpulkan bahwa opini public mengenai konflik Rusia dan Ukraina memiliki kecenderung Tidak Setuju. Untuk penelitian selanjutnya bisa dikembangkan dengan perbaikan label pada dataset dan penambahan dataset. Kata kunci: sentiment analysis, Rusia Ukraina, social media, naïve bayes method. 1. Pendahuluan Konflik Rusia-Ukraina dimulai sekitar tahun 2014, perang antara negara-negara tetangga yang menyatukan Rusia dan Ukraina atas konflik kepentingan dan perebutan sumber daya alam. Kedua belah pihak menggunakan strategi dan taktik yang baik dalam pertempuran. Salah satu masalah utama yang menyebabkan perang ini adalah perebutan penguasaan sumber daya alam di wilayah Donetsk Ukraina. Ada cadangan batubara yang besar di daerah ini. Selain itu, Rusia ingin Ukraina tetap berada dalam lingkup pengaruhnya[1]. Konflik antara Rusia dan Ukraina kembali meningkat pada awal Februari 2022 setelah armada tempur Rusia menunjukkan kekuatannya di perbatasan Belarusia dengan Ukraina. Meskipun ada upaya diplomatik, diperkirakan jumlah pasukan Rusia yang cukup besar dapat digunakan untuk melakukan invasi ke Ukraina dan digunakan 140
METIK JURNAL VOLUME. 6 NOMOR.2 2022 sebagai untuk menyebabkan ketegangan yang meningkat dalam hubungan antara Rusia dan Ukraina[2]. kekuatan Ada banyak penelitian mengenai analisis sentiment telah dilakukan, beberapa sentimen diantaranya mengenai analisis pembelajaran daring. Penelitian tersebut dilaksanakan pada minggunpertama bulan November 2020. Ada beberapa kata kunci yang memiliki dengan pembelajaran daring dipergunakan dalam melakukan penelitian ini. Dengan data yang berhasil dikumpulkan untuk penelitian berjumlah 12,906 data didapatkan dari media sosial Twetter. Survei yang dilakukan selama periode tersebut menunjukkan bahwa 30% positif, 69% negatif, dan 1% netral. Persepsi negatif muncul karena masyarakat tidak puas dengan pembelajaran daring [3]. keterkaitan lain membandingkan kedua metode tersebut, yaitu klasifikasi naive bayes dan metode support vector machine. Data yang digunakan adalah 508 data tweet, dimana 453 data latih dan 55 data uji dipisah. Dari hasil penelitian dapat disimpulkan bahwa metode Support Vector Machine memiliki akurasi yang lebih tinggi dengan nilai 80%. Selain itu, metode Support Vector Machine ditemukan memiliki akurasi yang lebih tinggi yaitu 79%. Terakhir, seingat saya, nilai tertinggi juga didapat dengan metode Support Vector Machine, 72%. Nilai presisi, akurasi dan recall dari kedua metode tersebut menunjukkan bahwa metode Support Vector Machine dapat mengklasifikasikan kumpulan data lebih baik daripada klasifikasi naive bayes [4]. Studi Pada penelitian lain mengenai analisis sensitivitas dengan menggunakan metode naïve bayes. Penelitian ini memfokuskan penelitian ini dengan menggunakan data tweet sebanyak 1546 buah. Diproses untuk mendapatkan model klasifikasi opini positif, negatif dan netral. Hasil yang diperoleh adalah 0,8 atau 80% dari titik akurasi dari 20 skala yang digunakan sebagai data uji yang diperoleh[5]. kinerja DPR Pada penelitian kali ini peneliti akan melalukan penelitian pada media sosial Twitter berupa tweet-tweet dari masyarakat mengenai konflik yang terjadi pada perang Rusia dan Ukraina saat ini menggunakan kata doi: 10.47002/metik.v6i2.375 ISSN-P 2442-9562 ISSN-E 2580-1503 kunci Rusia Ukraina dan Ukraina Rusia dalam Rusia pada tanggal 04 Juli 2022 sampai 23 Juli 2022, dikelompokan menjadi tiga bagian yaitu Setuju, Tidak Setuju dan Netral, pada penelitian ini hanya berfokus dalam satu metode yaitu metode Naïve Bayes. 2. Metode Penelitian Tujuan utama dari penelitian yang dilakukan kali ini adalah untuk membuat model untuk mengklasifikasikan jumlah opini publik di media sosial Twitter dengan menggunakan metode Naive Bayes. Model yang digunakan dalam analisis opini pengguna Twitter untuk dua kata kunci Rusia Ukraina dan Ukraina Rusia dalam bahasa Rusia dari 04 Juli 2022 hingga 23 Juli /2022. yang dapat digunakan Tabel 1. Jumlah Data P dari Setiap Kata Kunci Jumlah Data 5811 3870 No Kata Kunci 1 2 Rusia Ukraina Ukraina Rusia 2.1 Pengumpulan Data Penelitian kali ini peneliti memanfaatkan twitter yaitu menggunakan website API Netlityc dalam memperoleh data, dalam pengambilan data kata kunci yang digunakan adalah Rusia Ukraina dan Ukraina Rusia menggunakan Bahasa Rusia, setelah data diperoleh kemudian di translate kedalam bahasa Indonesia menggunakan tiga jenis translator Google Translate, Bing Microsoft dan Grammerly, Hal ini dikarenakan data yang di gunakan berasal dari media sosial Twitter. Data yang digunakan untuk membangun model diambil dari tanggal 07 Juli 2022 sampai dengan 23 Juli 2022, dan data tersebut berjumlah 5216. Data yang akan dianalisis kemudian ditarik dari Twitter mulai 7 Juli hingga 23 Juli 2022, dengan total 9681 dari dua kata kunci. Rinciannya dapat dilihat pada Tabel 1. Tabel 2. Jumlah Data Per Kategori Kelas No Kata Kunci Jumlah Data 1 2 3 Setuju Tidak Setuju Netral 1816 1739 1661 141
METIK JURNAL VOLUME. 6 NOMOR.2 2022 2.2 Pelabelan Data sebagai model pelabelan datanya dilakukan secara manual denganjumlah data 5.216 dari tiga kategori sentimen setuju, tidak setuju, dan netral menggunakan dataset pada Tabel 2. Data yang termasuk dalam setuju termasuk data tweet pernyataan mendukung terjadinya konflik antara Rusia dan Ukraina. Data Tidak Setuju adalah data tweet yang menyatakan tidak menyetujui terjadinya konflik antara Rusia dan Ukraina. Data netral adalah data tweet yang mengandung unsur berita atau informasi. Setelah memasukkan data secara manual, data harus melalui proses validasi ahli, dimana data tersebut divalidasi oleh seorang guru Bahasa Indonesia. 2.3 Pre-processing Data yang dibuat dapat meningkatkan kualitas data dan meningkatkan akurasi dan efisiensi proses penambangan. terlibat dalam Beberapa pengolahan data, yaitu cleaning data, integration data, transformation data dan reduction data[6]. Pre-processing juga dapat mengubah data yang diambil dari Twitter sebagai data kotor menjadi data yang lebih mudah dipahami oleh pembelajaran mesin. Pada tahap ini, kami juga memecahkan berbagai jenis masalah seperti noise pada data, data tidak konsisten, dll agar data lebih terstruktur. Tentang langkah data pre-processing[7]. a. Case Folding, mengubah text menjadi konsisten dengan mengubah text yang ada menjadi huruf kecil dan menghilangkan angka, tanda baca dll. Pre-processing data teknik yang tanpa nilai, data yang dan terstruktur b. Tokenization merupakan langkah dimana data berupa teks dipecah menjadi kata-kata atau diubah menjadi kalimat sehingga dapat masuk ke langkah filtering. langkah c. Filtering merupakan yang bertujuan untuk mengambil kata-kata yang bernilai dari proses tokenizing. Contoh stopword di perpustakaan Sastrawi dalam bahasa Indonesia adalah "tetapi", "juga", "dan", "sejak", "ini", "akan", "pelaku", dll. doi: 10.47002/metik.v6i2.375 ISSN-P 2442-9562 ISSN-E 2580-1503 d. Stemming, mengubah kata-kata yang lolos proses penyaringan menjadi kata-kata sederhana tanpa imbuhan. Misalnya, kata "lakukan", "selesai" diubah "valid", menjadi "perilaku". 2.4 Pembobotan TF/IDF Teknik pembobotan, yang disebut Term Frequency-Inverse Document Frequency (TF/IDF) adalah teknik statistik numerik yang memberikan nilai pada pentingnya sebuah kata untuk kategori atau dokumen tertentu dalam sebuah korpus. Term Frequency (TF) adalah ukuran seberapa sering term t muncul pada dokumen "d". Di sini n adalah berapa kali istilah "t" muncul dalam dokumen "d". istilah Jadi setiap dokumen dan setiap memiliki nilai TF sendiri[8]. Term Frequensy dan Inverse Document Frequency (TF-IDF) juga merupakan salah satu jenis pembobotan yang sering dipakai untuk melakukan penelusuran suatu informasi dan text mining[9]. Berikut salah satu rumus umum dari TF- IDF :[10] Wdt=TFdt*IDFf Keterangan : d = dokumen ke-d t = kata ke-t dari kata kunci W = bobot dokumen ke-d terhadap kata t tf = banyaknya kata yang dicari pada sebuah dokumen IDF = inferse Document Frequency D = total dokumen df = banyak dokumen yang mengandung kata yang dicari 2.5 Klasifikasi Gambar 1. Flowchart Sistem 142 (1)
doi: 10.47002/metik.v6i2.375 METIK JURNAL VOLUME. 6 NOMOR.2 2022 ISSN-P 2442-9562 ISSN-E 2580-1503 Proses klasifikasi dilakukan dengan algoritma Naive Bayes. menggunakan Metode untuk digunakan dapat ini memprediksi probabilitas bahwa data akan ditempatkan pada kategori tertentu. Proses grading dapat dilakukan ketika data yang proses digunakan pembobotan dan dalam penelitian ini menggunakan TF/IDF. Dengan urutan seperti gambar 1. telah mengalami P(X|H): Probabilitas X berdasarkan kondisi pada hipotesis H P(X): Probabilitas X 2.8 Analisis Sentiment Analisis sentimen, atau yang populer dengan sebutan opinion mining, adalah bidang penelitian text mining yang tujuannya untuk mengetahui persepsi atau subjektivitas khalayak topik, peristiwa atau masalah[14]. Analisis sentimen adalah cabang penelitian text mining yang berkaitan dengan bidang yang lebih luas seperti pemrosesan data untuk fungsi tertentu[15]. (publik) terhadap suatu 3. Hasil Penelitian Gambar 2. 8 K-Fold 2.6 Validasi Pada penelitian ini, proses validasi model dilakukan dengan menggunakan metode k-fold cross-validation. Pada K-fold degree, data diacak dengan cara membagi data menjadi beberapa bagian untuk mengetahui rata-rata akurasi model yang dibangun sebagai data uji. Dalam penelitian ini, k-fold dilakukan sebagai urutan split 10 kali lipat seperti yang ditunjukkan pada Gambar 2, dan masing-masing kelas terdiri dari total 10 data [11]. 2.7 Naïve Bayes Metode Naïve Bayes merupakan metode klasifikasi yang hanya berakar pada teorema bayes[12] metode naïve bayes bekerja untuk memprediksikan peluang masa depan yang didasari pengalaman pada masa lalu. formula yang biasa digunkan untuk prediksi naïve bayes adalah sebagai berikut[13] : Rumus atau Dalam hal ini dilakukan klasifikasi data tweet ke dalam kategori yang telah ditentukan dengan tiga subdivisi yaitu setuju, tidak setuju dan netral. Sebelum mengklasifikasikan data, dahulu. data Preprocessing folding, filtering, dan deduplication. tokenization, Data dapat diatur dan mudah dipahami dengan bantuan pembelajaran mesin. Ketika semua informasi yang diperoleh dikumpulkan dan dikelompokkan menurut kategori yang ditentukan. Kemudian kita dapat melanjutkan ke implementasi dari prosedur algoritma klasifikasi. Melatih model data adalah langkah terpenting dalam membuat model klasifikasi data. Setelah data melewati tahap pre-processing, data tersebut digunakan untuk melatih model menggunakan Google Colab yang dibangun menggunakan Google Chrome dan Python 3.8.8. Model yang untuk dihasilkan mengklasifikasikan data ke dalam tiga kategori tersebut. Distribusi data latih dan uji adalah 0,8 untuk data latih dan 0,2 untuk data uji. 3.1. Pembuatan model metode Naïve harus diproses terlebih terdiri dari case tahap digunakan 𝑃(𝐻|𝑋) = 𝑃(𝑋|𝐻) 𝑃(𝑋) . 𝑃(𝐻) Keterangan : X: Data class yang belum diketahui H: Hipotesis data merupakan class spesifik P(H|X): Probabilitas hipotesis H berdasar kondisi X (posteriori probabilitas) P(H): Probabilitas hipótesis H probabilitas) (prior Bayes Tabel 3. Detail Data F1-Score, Presisi Dan Recall. Kelas F1-Score Precision Recall Netral 0.59 0.71 0.51 Setuju 0.56 0.55 0.58 Tidak Setuju 0.56 0.51 0.63 143
METIK JURNAL VOLUME. 6 NOMOR.2 2022 AVG 0.57 0.59 0.57 Tujuan penggunaan metode Naive Bayes saat membangun model adalah dapat menentukan apakah sebuah tweet termasuk dalam telah tiga kategori kelas yang ditentukan. Data yang lolos proses klasifikasi kemudian dikonfirmasi menggunakan k-fold cross-validation. Metode ini mengembalikan hasil dengan tingkat presisi 0,560 dengan detail presisi, skor f1 dan recall pada Tabel 3. 3.2. Analisis Data menggunakan metode Naïve Bayes Setelah didapatkan metode yang dibutuhkan, selanjutnya adalah analisis opini terhadap data tweet tanggal 4 Juli 2022 sampai dengan 22 Juli 2022 dengan dua kata kunci, total 9681 data real, yang dapat dilihat melalui metode Naive Bayes pada Tabel 1. langkah 600 500 400 300 200 100 0 2 2 0 2 / 4 / 7 2 2 0 2 / 6 / 7 2 2 0 2 / 8 / 7 2 2 0 2 / 0 1 / 7 2 2 0 2 / 2 1 / 7 2 2 0 2 / 4 1 / 7 2 2 0 2 / 6 1 / 7 2 2 0 2 / 8 1 / 7 2 2 0 2 / 0 2 / 7 2 2 0 2 / 2 2 / 7 Gambar 3. Tren jumlah data perhari pada tanggal 4 - 22 Juli 2022 100% 80% 60% 40% 20% 0% 2 2 0 2 / 4 / 7 2 2 0 2 / 6 / 7 2 2 0 2 / 8 / 7 2 2 0 2 / 0 1 / 7 2 2 0 2 / 2 1 / 7 2 2 0 2 / 4 1 / 7 2 2 0 2 / 6 1 / 7 2 2 0 2 / 8 1 / 7 2 2 0 2 / 0 2 / 7 2 2 0 2 / 2 2 / 7 Setuju Tidak Setuju Netral Gambar 4. Tren Sentiment Data Perhari Pada Tanggal 4 - 22 Juli 2022 Distribusi data trending tweet per hari untuk dua kata kunci yaitu Rusia ke Ukraina dan Rusia ke Ukraina menggunakan Rusia dari 4 Juli 2022 hingga 22 Juli 2022 doi: 10.47002/metik.v6i2.375 ISSN-P 2442-9562 ISSN-E 2580-1503 ditunjukkan pada Gambar 3, serta hasil untuk Setuju, Tidak Setuju, dan Netral. Klasifikasi berdasarkan hari dan tanggal dirinci pada Gambar 4. 3.3. Hasil Analisis Sentimen Kecenderungan informasi tertinggi terjadi pada 22 Juli disertai dengan kecenderungan opini netral yang tinggi. Tren netral dari posisi ke-4 ke posisi ke-22. Juli 2022 mengalami peningkatan tajam. jumlah 4. Kesimpulan Trend Sentimen pada 4 juli sampai dengan 22 juli 2022 didominasi oleh sentiment Netral. Sedangkan Sentiment Setuju mengalami penurunan pada tanggal 4 juli dan mengalami kenaikan pada tanggal 15 juli. Intinya pada penelitian kali ini Sentimen Netral mendominasi dari tanggal 4 hingga 22 Juli 2022. . 5. Saran Untuk penelitian seterusnya semoga bisa lebih baik lagi karena masih kurangnya hasil klasifikasi yang didaptkan dan semoga dengan penelitian ini bisa menjadi gambaran bagi peneliti dan pembaca setelahnya. 6. Ucapan Terima Kasih Ucapan terima kasih kepada seluruh dosen dan pembimbing yang telah membantu peneliti dalam penelitian kali ini semoga dengan adanya penelitian ini bisa menambah wawasan peneliti seterusnya. 7. Daftar Pustaka [1] M. Hamsyir, Helmi , Setyoko, Budi, "Studi Kasus Perang Modern Antara Rusia Dan Ukraina Tahun 2014 : Tinjauan Aspek Strategi Dan Hubungan Internasional 1," Nusant. J. Ilmu Pengetah. Sos., vol. 9, no. 1, pp. 248-254, 2022. S. Hidriyah, "Kajian Singkat Terhadap Isu Aktual Dan Strategis Eskalasi Ketegangan Rusia-Ukraina," Kaji. Singk. Terhadap Isu Aktual dan Strateg., vol. XIV, pp. 7-8, 2022, Available: [Online]. o_singkat/Info P3DI-Februari-2022-229.pdf. Singkat-XIV-4-II- [2] 144
METIK JURNAL VOLUME. 6 NOMOR.2 2022 [3] R. W. Samsir , Ambiyar, Unung Verawardina, Firman Edi, "Analisis Sentimen Pembelajaran Daring Pada Twitter di Masa Pandemi COVID-19 Menggunakan Metode Naïve Bayes," J. Media Inform. Budidarma, vol. 5, no. 1, doi: 10.30865/mib.v5i1.2604. pp. 157-163, 2021, [4] H. Ramanizar, A. Fajri, R. B. Sinaga, H. Mubarok, and A. Dwi, "Analisis Sentimen Pengguna Twitter terhadap Konflik antara Palestina dan Israel Menggunakan Metode Naïve Bayesian Classification dan Support Vector Machine," no. September, pp. 166- 175, 2021. [5] D. Duei Putri, G. F. Nama, and W. E. Sulistiono, "Analisis Sentimen Kinerja Dewan Perwakilan Rakyat (DPR) Pada Twitter Menggunakan Metode Naive Bayes Classifier," J. Inform. dan Tek. Elektro Terap., vol. 10, no. 1, pp. 34- 40, doi: 2022, 10.23960/jitet.v10i1.2262. S. Adi, "Implementasi Algoritma Naive Bayes Classifier Untuk Klasifikasi Penerima Beasiswa PPA di Universitas Amikom Yogyakarta," J. Mantik Penusa, vol. 22, no. 1, pp. 11- 16, 2018. S. Mujilahwati, "Pre-Processing Text Mining Pada Data Twitter," Semin. Nas. Teknol. Inf. dan Komun., vol. 2016, no. Sentika, pp. 2089-9815, 2016. [6] [7] [8] M. Nurjannah and I. Fitri Astuti, Term "Penerapan Document Frequency-Inverse Frequency (Tf-Idf) Untuk Text Mining Mahasiswa S1 Program Studi Ilmu Komputer Universitas FMIPA Mulawarman Dosen Program Studi Ilmu Komputer FMIPA Universitas Mulawarman," Inform. Mulawarman, vol. 8, no. 3, pp. 110- 113, 2013. Algoritma J. [9] H. Sari, G. L. Ginting, and T. Zebua, doi: 10.47002/metik.v6i2.375 ISSN-P 2442-9562 ISSN-E 2580-1503 "Penerapan Algoritma Text Mining dan TF-IDF Untuk Pengelompokan Topik Pada Aplikasi Repository STMIK Budi Darma," Terap. Inform. Nusant., vol. 2, no. 7, pp. 414-432, 2021. Skripsi [10] R. A. Sasmita and A. Z. Falani, "Pemanfaatan Algoritma TF/IDF Pada Ecomplaint Sistem Handling," J. Link, vol. 27, no. 1, pp. 27-33, 2018. Informasi [11] D. Muriyatmoko, T. Harmini, and M. K. Ardiansyah, "Sentiment Analysis Covid-19 Vaccination on Twitter Social Media Using Naïve Bayes Method," Procedia Eng. Life Sci., vol. doi: 2, 10.21070/pels.v2i0.1144. no. 2, 2021, [12] T. Jaringan, I. Print, I. Online, M. Asfi, and N. Fitrianingsih, "InfoTekJar : Jurnal Nasional Informatika dan Implementasi Algoritma Naive Bayes Classifier sebagai Sistem Rekomendasi Pembimbing Skripsi," vol. 1, 2020. [13] A. L. Fairuz, R. D. Ramadhani, and N. A. F. Tanjung, "Analisis Sentimen Masyarakat Terhadap COVID-19 Pada Media Sosial Twitter," J. Dinda Data Sci. Inf. Technol. Data Anal., vol. 1, no. 1, doi: 10.20895/dinda.v1i1.180. pp. 42-51, 2021, [14] F. F. Rachman and S. Pramana, "Analisis Sentimen Pro dan Kontra Masyarakat Indonesia tentang Vaksin Sosial COVID-19 Twitter," Heal. Inf. Manag. J., vol. 8, no. 2, pp. 100-109, 2020, [Online]. Available: hp/INO/article/view/223/175. pada Media [15] D. Darwis, N. Siskawati, and Z. Abidin, "Penerapan Algoritma Naive Bayes Untuk Analisis Sentimen Review Data Twitter Bmkg Nasional," J. Tekno Kompak, vol. 15, no. 1, p. 131, 2021, doi: 10.33365/jtk.v15i1.744. 145