Analisis Sentimen di Twitter Menggunakan Algoritma Artificial Neural Network
Novi Yusliani 1) , Armenia Yuhafiz 2) , Mastura Diana Marieska 3) , Alvi Syahrini Utami 4) 1,2,3,4 Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Sriwijaya Jln. Raya Palembang – Prabumulih Km.32 Indralaya, Ogan Ilir, Sumatera Selatan e-mail: * novi_yusliani@unsri.ac.id, armeniayuhafiz23@gmail.com, mastura.diana@ilkom.unsri.ac.id, alvisyahrini@ilkom.unsri.ac.id
Abstrak
Seiring dengan berkembangnya dunia media sosial, jumlah data berupa opini semakin meningkat. Opini para pengguna media sosial dapat digunakan untuk mengetahui penilaian para pengguna media sosial terkait sesuatu, salah satunya penilaian terhadap seorang kandidat dalam dunia politik. Secara umum, opini para pengguna media sosial dapat diklasifikasikan menjadi dua kategori, yaitu positif dan negatif. Analisis sentimen merupakan salah satu topik penelitian di bidang Natural Language Processing yang bertujuan untuk mengklasifikasikan opini ke dalam salah satu kategori tersebut. Opini pengguna media sosial yang sering digunakan sebagai objek penelitian adalah opini para pengguna twitter . Penelitian ini menggunakan algoritma Artificial Neural Network (ANN) untuk diimplementasikan ke dalam analisis sentimen. Jumlah dataset yang digunakan dalam penelitian ini adalah 1088 tweets terdiri dari 700 tweets berlabel positif dan 388 tweets berlabel negatif. Hasil pengujian menunjukkan bahwa kinerja terbaik dihasilkan pada saat data dibagi menjadi 80% untuk data latih dan 20% untuk data uji. Persentase yang dihasilkan untuk setiap parameter kinerja yang digunakan adalah akurasi sebesar 61,3%, recall 67,9%, precision 75,1%, dan f1-score 71,3% dengan menggunakan learning rate 0,01 dan epoch 150.
Kata kunci — artificial neural network, analisis sentimen, twitter, media sosial, natural language processing

## Abstract
Along with the development of social media, the amount of data in the form of opinions is increasing. The opinions in social media can be used to find out the assessments of social media users regarding something, one of which is the assessment of a candidate in politics. In general, the opinions in social media can be classified into two categories, namely positive and negative. Sentiment analysis is one of the research topics in the field of Natural Language Processing which aims to classify opinions into one of these categories. The opinions in social media that are often used as research objects are the opinions of Twitter users. This study uses an Artificial Neural Network (ANN) algorithm to be implemented in sentiment analysis system. The dataset used in this study is 1088 tweets consisting of 700 tweets labeled positive and 388 tweets labeled negative. The test results show that the best performance is produced when the data is divided into 80% for training and 20% for testing. The resulting percentages for each performance parameter used are accuracy is 61.3%, recall is 67.9%, precision is 75.1%, and f1-score is 71.3% using 0.01 for learning rate and 150 for epoch.
Keywords— artificial neural network, sentiment analysis, twitter, social media, natural language processing

## 1. PENDAHULUAN
nalisis sentimen merupakan salah satu topik penelitian di bidang Natural Language Processing yang bertujuan untuk menganalisa opini berdasarkan polaritas dari opini tersebut. Secara umum, polaritas suatu opini diklasifikasikan menjadi dua kategori, yaitu positif dan negatif [1]. Suatu opini diklasifikasikan ke kategori positif, apabila kalimat yang digunakan dalam opini bermakna positif atau tidak mengandung kata-kata yang bermakna tidak baik. Sebaliknya, opini diklasifikasikan ke kategori negatif. Saat ini, jumlah opini yang ada semakin meningkat, seiring dengan banyaknya jumlah pengguna aktif di media sosial. Survei pada tahun 2017, menunjukkan bahwa lebih dari 143 juta masyarakat Indonesia menggunakan internet dan hampir 90% dari angka tersebut menggunakan twitter , facebook , atau instagram [1]. Twitter salah satu media sosial yang banyak digunakan sebagai objek penelitian analisis sentimen. Salah satu algoritma yang dapat digunakan pada analisis sentimen adalah algoritma artificial neural network (ANN). Algoritma ini termasuk algoritma pembelajaran yang menggunakan pendekatan supervised . Pendekatan supervised membutuhkan sekumpulan data berlabel untuk mendapatkan model pengetahuan yang akan digunakan pada tahap klasifikasi. Algoritma artificial neural network (ANN) merupakan salah satu algoritma pembelajaran mesin yang mudah untuk diimplementasikan dan memiliki kinerja yang baik [2]. Penelitian [3] mengembangkan sistem pengenalan wajah menggunakan tiga buah algoritma, yaitu algoritma eigen faces , hidden Markov model (HMM), dan artificial neural network (ANN). Hasil pengujian menunjukkan bahwa algoritma ANN memiliki kinerja yang lebih baik dibandingkan dua metode lainnya. Penelitian [4] menggunakan algoritma artificial neural network (ANN) pada sistem analisis sentimen. Data yang digunakan dalam penelitian ini adalah sekumpulan review mengenai film. Berdasarkan pengujian yang telah dilakukan, akurasi analisis sentimen pada tahap pelatihan adalah 91,9% dan akurasi analisis sentimen pada tahap validasi adalah 86,67%. Penelitian [5] mengembangkan sistem klasifikasi artikel berita menggunakan algoritma artificial neural network (ANN) dan Kolmogorov Complexity Distance Measure (KCDM). Hasil pengujian menunjukkan algoritma ANN memberikan kinerja yang lebih baik dari KCDM. Penelitian [6] mengembangkan sistem document-level sentiment classification menggunakan algoritma artificial neural network (ANN) dan support vector machine (SVM). Hasil pengujian menunjukkan kinerja algoritma ANN lebih baik dibandingkan dengan kinerja algoritma SVM baik untuk kondisi imbalanced data maupun balanced data . Karena itu, penelitian ini mengembangkan sistem analisis sentimen menggunakan algoritma artificial neural network (ANN) dengan menggunakan media twitter untuk mendapatkan sekumpulan opini mengenai salah satu calon kandidat di dunia politik.

## 2. METODE PENELITIAN
Penelitian ini terdiri dari beberapa tahapan. Tahap pertama adalah pengumpulan data yang akan digunakan dalam proses pelatihan dan pengujian. Selanjutnya, perancangan arsitektur analisis sentimen. Setelah itu, penelitian dilanjutkan ke tahap pengimplementasian arsitektur sistem yang telah dirancang. Tahap terakhir adalah pengujian. Tahap ini bertujuan untuk mengetahui kinerja analisis sentimen menggunakan algoritma artificial neural network .

## 2.1 Pengumpulan Data
Dataset yang digunakan dalan penelitian ini adalah kumpulan opini dari twitter . Dataset dikumpulkan dengan cara scrapping tweets menggunakan twitter API. Opini yang diambil adalah opini berbahasa Indonesia mengenai seorang tokoh politik. Opini diambil pada bulan Mei 2022 dengan total 1088 tweets , terdiri dari 700 tweets berlabel positif dan 388 tweets berlabel negatif.

## A

## 2.2. Arsitektur Sistem
Arsitektur sistem analisis sentimen yang dikembangkan ditunjukkan pada Gambar 1. Sistem ini terdiri dari empat komponen utama, yaitu preprocessing , pembobotan, klasifikasi, dan evaluasi. Preprocessing bertujuan untuk mengubah kalimat opini menjadi sekumpulan token atau kata. Selanjutkan sekumpulan kata direpresentasikan ke dalam bentuk numerik dengan menggunakan metode bag-of-word , TF-IDF . Metode TF-IDF , merepresentasikan kata ke dalam numerik berdasarkan frekuensi kemunculan kata dan frekuensi kemunculan suata kata di dalam sekumpulan opini yang ada di dalam dataset . Proses representasi kata ke dalam numerik dikenal juga sebagai pembobotan. Tahap berikutnya adalah klasifikasi menggunakan algoritma artificial neural network (ANN). Algoritma ANN merupakan algoritma pembelajaran mesin menggunakan pendekatan supervised . Karena itu, sebelum dilakukan pengklasifikasian, pelatihan dilakukan terlebih dahulu dengan menggunakan sekumpulan data yang berlabel untuk mendapatkan model pengetahuan. Model pengetahuan sangat penting pada algoritma pembelajaran mesin menggunakan pendekatan supervised , karena model ini menjadi tuntunan dalam melakukan pengklasifikasian terhadap opini baru.
Gambar. 1 Arsitektur Sistem Analisis Sentimen
2.3. Preprocessing Preprocessing merupakan proses pengolahan awal yang dilakukan untuk mengubah teks yang tidak terstruktur menjadi terstruktur dan siap untuk digunakan. Pada penelitian ini, preprocessing terdiri dari empat proses, yaitu tokenisasi, case folding , filtering , stopword removal , dan stemming . Tujuan dari setiap proses tersebut adalah [7]: 1. Tokenisasi bertujuan untuk memecah kalimat menjadi kumpulan kata (token).
2. Case Folding bertujuan untuk menyeragamkan semua karakater huruf menjadi huruf kecil.
728 Jurnal Jupiter, Vol. 15 No. 1 Bulan April, Tahun 2023 , Hal. 725 - 731
3. Filtering bertujuan untuk menghapus tanda baca, hashtag , karakter kosong, dan karakter khusus lainnya selain huruf.
4. Stopword Removal bertujuan untuk menghilangkan kata yang sering digunakan tetapi tidak menggambarkan konten di dalam opini, seperti kata “yang”, “dan”, dan “atau”.
5. Stemming bertujuan untuk mengubah kata-kata berimbuhan menjadi kata dasar, baik imbuhan berupa awalan, sisipan, akhiran, dan kombinasi awalan-akhiran.
2.4. Term Frequency - Invers Document Frequency (TF-IDF)
Term Frequency - Invers Document Frequency (TF-IDF) merupakan salah satu metode representasi teks yang mengubah kata ke dalam numerik berdasarkan frekuensi kemunculan kata dan frekuensi kemunculan suatu kata di dalam sekumpulan opini yang ada. Numerik yang dihasilkan dari metode representasi teks ini dikenal sebagai bobot. Persamaan (1) dan persamaan (2) merupakan perhitungan yang digunakan untuk mendapatkan nilai TF-IDF dan inverse document frequency (IDF) [7].
(1)
(2)
Berdasarkan persamaan (1) dan (2), variabel ����� � , � merupakan nilai TF-IDF untuk kata t dalam opini d , variabel �� � , � adalah frekuensi kemunculan kata t di dalam opini d , variabel ��� � adalah frekuensi kemunculan kata t di dalam sekumpulan opini yang ada di dalam dataset , variabel � adalah jumlah opini di dalam dataset, dan variabel �� � adalah jumlah opini yang memiliki kata t .
2.5 . Artificial Neural Network Artificial Neural Network (ANN) merupakan algoritma yang meniru cara kerja jaringan syaraf pada manusia. Salah satu arsitektur dari algoritma ini adalah multilayer perceptron neural network [8]. arsitektur ini terdiri dari tiga lapisan yaitu input layer untuk memasukkan data berupa vektor, hidden layer sebagai penghubung antara input layer dan output layer dengan menggunakan bobot, bias, dan fungsi transfer, dan lapisan ketiga merupakan lapisan keluar yaitu output layer [8][9] . Algoritma backpropagation neural network [9] terdiri dari dua tahapan, yaitu forward dan backward . Setelah melakukan semua tahapan tersebut, proses akan diulang kembali hingga mencapai epoch maksimal atau error sampai pada batas nilai tertentu.

## 3. HASIL DAN PEMBAHASAN
Dataset yang digunakan pada penelitian ini berupa opini pengguna twitter berbahasa Indonesia yang telah diberi label positif dan negatif . Dataset dibagi menjadi dua bagian, yaitu data latih dan data uji. Data latih digunakan untuk membangun model pengetahuan berdasarkan opini dari setiap kategori, yaitu positif dan negatif. Model pengetahuan yang dihasilkan berfungsi untuk membantu sistem analisis sentiment dalam mengklasifikasi opini yang belum memiliki kategori. Opini yang digunakan dalam penelitian ini berjumlah 1088 tweets , terdiri dari 700 tweets berlabel positif dan 388 tweets berlabel negatif.
3.1. Hasil dan Analisis Pengujian
Skenario pengujian yang digunakan dalam penelitian ini ada dua. Pertama, pengujian dilakukan untuk mengetahui persantase pembagian data latih dan data uji yang menghasilkan kinerja terbaik. Kedua, pengujian dilakukan untuk mengetahui jumlah epoch yang menghasilkan
Yusliani, et. al, Analisis Sentimen di Twitter Menggunakan Algoritma Artificial……..… 729
kinerja terbaik. Persentase pembagian data latih dan data uji yang digunakan beserta persentase precision, recall, f1-score, dan akurasi disajikan pada tabel 1. Perhitungan precision, recall, f1- score , dan akurasi yang digunakan dalam penelitian ini dilakukan berdasarkan teknik pengujian yang dilakukan oleh [10]. Berdasarkan tabel 1, persentase akurasi tertinggi diperoleh saat pembagian data latih dan data uji, 80% dan 20%. Persentase akurasi yang diperoleh adalah 61,3% dengan persentase f1-score sebesar 71,3%. Grafik yang memvisualisaskan kinerja sistem analisis sentimen berdasarkan precision, recall, f1-score, dan akurasi di setiap pembagian data disajikan pada gambar 2. Tabel 1. Hasil Pengujian No Data Latih Data Uji Precision Recall F1-Score Akurasi 1 50% 50% 59% 66,2% 62,4% 54,5% 2 60% 40% 66,2% 66,6% 66,4% 57,1% 3 70% 30% 66,8% 67,5% 67,1% 58,2% 4 80% 20% 75,1% 67,9% 71,3% 61,3% 5 90% 10% 68,1% 69,3% 68,7% 60,3%
Gambar 2. Grafik Perbandingan Kinerja berdasarkan Partisi Data
Tabel 2 menunjukkan persentase akurasi sistem analisis sentimen jika proses dilakukan berdasarkan nilai epoch . Berdasarkan tabel 2, persentase akurasi tertinggi dihasilkan pada saat epoch bernilai 150. Visualisasi tabel 2 dalam bentuk grafik ditampilkan pada gambar 3. Berdasarkan pengujian yang telah dilakukan, kinerja sistem analisis sentimen menggunakan algoritma artificial neural network (ANN) masih rendah, yaitu di bawah 70% berdasarkan akurasi. Rendahnya akurasi sistem dikarenakan masih banyak opini yang salah diklasifikasikan. Beberapa opini masuk ke dalam kategori False Positive (FP) dan False Negative (FN) berdasarkan confusion matrix .
Tabel 2. Hasil Pengujian dari Setiap Epoch No Epoch Learning Rate Akurasi 1 100 0,01 60,8% 2 150 0,01 61,1% 3 200 0,01 61% 4 250 0,01 60,7% 5 300 0,01 60,8%
Kesalahan pengklasifikasian ini menandakan sistem masih memiliki kekurangan. Pertama, tidak adanya proses normalisasi kata-kata tidak baku ke dalam kata baku. Kedua, tidak adanya proses normalisasi kata-kata yang ditulis dengan menggunakan gabungan huruf, angka, atau karakter khusus. Ketiga, tidak adanya proses normalisasi kata-kata yang ditulis menggunakan singkatan dari kata tersebut, seperti kata ‘yang’ ditulis ‘yg’ atau ‘y’. Keempat, tidak adanya penanganan terhadap data yang tidak seimbang ( imbalanced data ). Kekurangan pertama sampai ketiga, mengakibatkan jumlah token atau kata yang dihasilkan sangat bervariasi, seperti kata- kata ‘tidak’, ‘tdk’, ‘t1d4k’, dan ‘t!dak’ dianggap sebagai kata yang berbeda. Selain itu, kata yang ditulis menggunakan gabungan huruf, angka, dan karakter khusus, akan mengalami penghapusan pada angka dan karakter khusus, seperti kata ‘t1d4k’ dan ‘t!dak’ menjadi ‘tdk’ dan ‘tdak’. Berdasarkan pengujian yang telah dilakukan, data yang tidak seimbang membutuhkan proses tambahan sehingga data menjadi seimbang ( balanced ). Data yang tidak seimbang mengakibatkan sistem cenderung mengklasifikasikan opini baru ke dalam kategori dengan data terbanyak sehingga memperbesar nilai False Positive (FP) dan False Negative (FN) .
Gambar 3. Visualisasi Data Perbandingan Epoch

## 4. KESIMPULAN
Analisis sentimen merupakan salah satu topik penelitian di bidang Natural Language Processing (NLP). Penelitian analisis sentimen bertujuan untuk menghasilkan sistem yang dapat mengklasifikasikan opini atau komentar ke dalam kategori positif atau negatif. Pada umumnya, dataset yang digunakan dalam penelitian analisis sentimen berupa opini atau komentar para pengguna media sosial, salah satunya twitter . Pada penelitian ini, algoritma artificial neural network (ANN) digunakan untuk mengklasifikasikan opini berupa tweet ke dalam kategori positif atau negatif. Opini yang digunakan dalam penelitian ini berjumlah 1088 tweets , terdiri dari 700 tweets berlabel positif dan 388 tweets berlabel negatif. Hasil pengujian menunjukkan bahwa kinerja analisis sentimen berdasarkan persentase akurasi, recall, precision , dan f1-score adalah 61,1%, 67,9%, 75,1%, dan 71,3%. Persentase pembagian data yang digunakan adalah 80% untuk data latih dan 20% untuk data uji.
5. SARAN
Penelitian berikutnya dapat menambahkan proses normalisasi kata untuk menangani kata-kata tidak baku, kata yang ditulis menggunakan gabungan huruf, angka, dan karakter khusus, dan juga kata-kata yang ditulis dengan menggunakan singkatan dari kata tersebut. Selain itu, perlu ditambahkan proses untuk menangani data yang tidak seimbang sehingga data
Yusliani, et. al, Analisis Sentimen di Twitter Menggunakan Algoritma Artificial……..… 731
yang digunakan menjadi seimbang. Hal ini bertujuan untuk melihat pengaruh kedua proses terhadap kinerja sistem analisis sentimen.

## DAFTAR PUSTAKA
[1] W. Budiharto, & M. Meiliana, “Prediction and Analysis of Indonesia Presidential Election from Twitter using Sentiment Analysis,” Journal of Big Data, 5(10), 1-10, 2018.
[2] O.I. Abiodun, A. Jantan, A. E. Omolara, K. V. Dada, N.A. Mohamed, and H. Arshad, “State-of-the-art in Artificial Neural Netwok Applications: A Survey,” Heliyon, 4(11), 2018.
[3] A. Aggarwal, M. Alshehri, M. Kumar, P. Sharma, O. Alfarraj, and V. Deep, “Principal Component Analysis, Hidden Markov Model, and Artificial Neural Network Inspired Techniques to Recognize Faces,” Concurrency and Computation: Practice and Experience, 33(9), 2021.
[4] Z. Shaukat, A. A. Zulfiqar, C. Xiao, M. Azeem, and T. Mahmood, “Sentiment Analysis on IMDB using Lexicon and Neural Networks,” SN Applied Sciences, 2, 1-10, 2020.
[5] T. M. Fagbola, C. S. Thakur, and O. Olugbara, “News Article Classification Using Kolmogorov Complexity Distance Measure and Artificial Neural Network,” International Journal of Technology, 10(4), 2019.
[6] R. Moraes, J. F. Valiati, and W. P. G. Neto, “Document-level sentiment classification: An empirical comparison between SVM and ANN,” Expert Systems with Applications, 40(2), 2013.
[7] [8] [9]
[10]
R. Fatiya, N. Yusliani, M. D. Marieska, dan D. M. Saputra, “Pengaruh Synthetic Minority Oversampling Technique pada Analisis Sentimen Menggunakan Algoritma K-Nearest Neighbors,” Jurnal Linguistik Komputasional, 5(1), 7-12, 2022.
S. A. A. Ghaleb, M. Mohmad, E. F. H. S. Abdullah, and W. A. H. M. Ghanem, “Spam Classification based on Supervised Learning using Grasshopper Optimization Algorithm and Artificial Neural Network,” Advance in Cyber Security: Second International Conference, ACeS 2020, Penang, Malaysia, Decemeber 8-9, 2020.
Setyadi, N. Adani, M. Nasrun, and C. Setianingsih, “Text analysis for hate speech detection using backpropagation neural network,” 2018 International Conference on Control, Electronics, Renewable Energy and Communications (ICCEREC), IEEE, 2018. S. Al Qodrin, N. Yusliani, dan A. Syahrini, “Klasifikasi Pertanyaan Berbahasa Indonesia Menggunakan Algoritma Support Vector Machine dan Seleksi Fitur Mutual Information,” Jurnal JUPITER, 14(2), 44-52, 2022.