## ANALISIS SENTIMEN ULASAN PENGGUNA PADA APLIKASI THREADS DENGAN METODE LEXICON BASED DAN NAIVE BAYES CLASSIFIER
Solagratia Saron Tandiapa 1 , Gladly Caren Rorimpandey 2 1,2 Program studi Teknik Informatika, Universitas Negeri Manado
20210068@unima.ac.id, gladlyrorimpandey@unima.ac.id ABSTRAK Kata kunci: analisis sentiment, threads,  lexicon  based, naïve bayes classifier Perkembangan  Pesat  Teknologi  dan  Perubahan  Pola  Komunikasi  Dalam beberapa  tahun  terakhir,  perkembangan  teknologi  informasi  telah  membawa perubahan signifikan dalam cara manusia berinteraksi dan berkomunikasi. Salah satu  dampak  yang  paling  mencolok  adalah  kemunculan  forum  daring  atau aplikasi  perforuman,  yang  telah  menjadi  medium  populer  bagi  individu  untuk berbagi  ide,  informasi,  dan  pengalaman  secara  global.Dengan  adanya  aplikasi threads, terdapat juga kelebihan dan kekurangan dari aplikasi yang ada, mulai dari fitur yang kurang hingga yang maximal. Analisis sentimen pada playstore dilakukan agar mengetahui aplikasi threads yang bari diluncurkan ini bagaiman performa  aplikasi  ini.  Metode  lexicon  based  dan  naive  bayes  classifier  dipilih agar  dapat  mengklasifikasikan  antara  ulasan  yang  bersentimen  positif,    dan negatif  agar  memudahkan  masyarakat  dalam  menentukan  pilihan  beserta mengetahui tingkat akurasi antara kedua metode. Dari hasil kedua metode telah didapatkan  bahwa  sentimen  positif  memiliki  persentase  tertinggi  terhadap aplikasi  threads.  Sedangkan  perbandingan  akurasi  dari  kedua  metode menghasilkan  55%  untuk  metode  lexicon  based  dan  51%  untuk  metode  naive bayes classifier. Dari hasil tersebut dapat menunjukkan bahwa data yang telah dianalisis  tentang  aplikasi  threads  memiliki  nilai  positif  dan  hasil  akurasi  dari metode lexicon based memiliki nilai yang lebih tinggi dari pada metode naive bayes classifier. ABSTRACT Keywords: Sentiment analysis, threads,  lexicon  based, naïve bayes classifier Rapid Development of Technology and Changes in Communication Patterns In recent years, the development of information technology has brought significant changes in the way humans interact and communicate. One of the most striking impacts  is  the  emergence  of  online  forums  or  forum  applications,  which  have become  a  popular  medium  for  individuals  to  share  ideas,  information  and experiences globally. With the threads application, there are also advantages and disadvantages  of  existing  applications,  starting  from  the  features  less  to maximum. Sentiment analysis on Playstore was carried out to find out how the newly  launched  Threads  application  was  performing.  The  lexicon  based  and naive Bayes classifier methods were chosen to be able to classify reviews with positive and negative sentiments to make it easier for people to make choices and know the level of accuracy between the two methods. From the results of both methods, it has been found that positive sentiment has the highest percentage of application threads. Meanwhile, a comparison of the accuracy of the two methods produces  55%  for  the  lexicon  based  method  and  51%  for  the  naive  Bayes classifier method. From these results it can be shown that the data that has been analyzed regarding the threads application has a positive value and the accuracy results from the lexicon based method have a higher value than the naive Bayes classifier method..

## PENDAHULUAN
Perkembangan  Pesat  Teknologi  dan  Perubahan  Pola  Komunikasi  Dalam  beberapa  tahun terakhir,  salah  satu  dampak  yang  paling  mencolok  adalah  kemunculan  forum  daring  atau
aplikasi  perforuman,  yang  telah  menjadi  media  populer  bagi  individu  untuk  berbagi  ide, informasi, dan pengalaman secara global.
Forum  diskusi  adalah  Suatu  tempat  yang  dilakukan  oleh  para  anggota  diskusi  untuk menggabungkan  dialog  dan  diskusi  tertentu(Fitriani  et  al.,  2020).  Aplikasi  forum  online menarik perhatian berbagai kalangan pengguna, mulai dari individu biasa hingga profesional, penghobi  bahkan  perusahaan.  Keberagaman  pengguna  ini  menciptakan  peluang  untuk berinteraksi  dengan  orang-orang  dari  latar  belakang  berbeda,  sehingga  meningkatkan keragaman pandangan dan pengalaman. Dengan adanya forum daring dalam bentuk platform digital  seperti  aplikasi  threads,  yang  dapat  memungkinkan  pengguna  untuk  berpartisipasi dalam diskusi, berbagi konten, dan membangun komunitas daring dimanapun dan kapanpun. Threads  semdiri  merupakan  aplikasi  pesan  instan  yang  dikembangkan  oleh  Instagram, dirancang  khusus  untuk  berinteraksi  dengan  daftar  teman  terdekat  pengguna.  Aplikasi  ini memungkinkan pamakainya berbagi pesan, foto-foto, video, cerita, dan status secara eksklusif kepada  teman-teman  terdekatnya.  Dengan  Threads,  pengguna  dapat  dengan  mudah berkomunikasi  dengan  orang-orang  disekitar  maupun  yang  barada  jauh  dari  mereka, mengungkap momen sehari-hari, dan melihat apa yang mereka lakukan.
Analisis  sentimen  membantu  perngembang  dan  perusahaan  memeahami  bagaimana pengguna benar-benar merasakan dan merespon produk mereka. Ini memberikan pandangan yang mendalam tentang bagaimana produk threads diadopsi oleh pengguna, apakah mereka merasa puas atau tidak puas, serta apa yang membuat mereka senang atau tidak senang dalam menggunakan aplikasi tersebut (Samrin & Akbar, n.d.).
Analisis sentimen pada penelitian ini dilakukan untuk membandingkan klasifikasi terbaik antara 2 Algoritma yakni Lexicon Based dan Naive Bayes Classifier menggunakan ulasan pada aplikasi threads. Untuk mengumpulkan informasi tersebut maka harus melakukan pengambilan sebuah  data  ulasan  pada  aplikasi  tersebut  yang  diperoleh  dari  situs  kaggle.  Sehingga  dapat mengetahui  ulasan  para  pengguna  aplikasi  dan  menklasifikasikan  ulasan  tersebut  sebagai ulasan positif atau negatif, dimana nantinya akan menhasilkan nilai akurasi.

## METODE
Metodologi  pada  suatu  penelitian  memiliki  pedoman  berupa  alur  penelitian  atau langkah langkah agar hasil yang diharapkan sesuai dengan tujuan awal. Metodologi penelitian memiliki rancangan alur yang terstruktur dan sesuai (Amaliah et al., 2022). Rancang alur pada penelitian ini adalah sebagai berikut:
Gambar 1. Alur Penelitian
Penelitian ini akan membandingkan dan melihat tingkat akurasi antara metode lexicon based dan naive bayes classifier dalam proses pengklasifi kasian data yang telah dilakukan (Amaliah et al., 2022). Gambar berukut merupakan flowcart pengklasifikasian.
Gambar 2. Flowchart Klasifikasi
1. Pengumpulan Data
Proses pengumpulan data pada penelitian adalah langkah penting dalam melakukan sebuah penelitian,  karena  data  yang  dihasilkan  akan  digunakan  sebagai  dasar  untuk  menjawab
pertanyaan penelitian dan menguji hipotesis. Proses pengumpulan data pada penelitian ini yaitu mengambil data primer.
Data  diambil  dari  dataset  yang  telah  di  scrapping  pada  situs  kaggle,  dimana  kaggle  sendiri adalah komunitas ilmu data terbesar di dunia dengan alat dan sumber daya canggih, dataset tersebut diambil dalam bentuk file csv.
2. Preprocessing
Pada tahap ini akan dilakukan penyeleksian data dan pembersihan data tweets yang telah diambil. Berikut merupakan tahapan-tahapan dari proses preprocessing:
a. Cleaning
Pada  tahap  cleaningakan  dilakukan  proses  untuk  penghilangan  tanda  baca  dan  karakter yang tidak diperlukan seperti tanda titik, tanda koma, tanda tanya, tanda seru, menghapus HTML  dan  URL,  menghapus  hastagdan  mention,  menghapus  emoji,  serta  menghapus karakter yang tidak relavan.
b. Tokenization
Ambil  Data  Pada  tahap  tokenizationini  akan  memisahkan  sebuah  kalimat  dari tweetsmenjadi potongan kata sebelum dianalisis lebih lanjut.
c. Case Folding
Dalam  tahap  case  foldingakandilakukan  perubahan  terhadap  kumpulan  kalimat tweetsmenjadi huruf kecil semua.
d. Filtering atau Stopwords Removal
Tahap filteringakan melakukan proses dalam menghilangkan kata-kata yang tidak memiliki makna ataustop wordsagar terfokus pada kata-kata yang lebih bermakna. Dengan demikian, proses  klasifikasi  akan  lebih  cepat  dan  efisien  karena  jumlah  kata  yang  diproses  akan menjadi lebih sedikit.
e. Stemming
Pada tahap ini akan mengubah kata yang berimbuhan menjadi kata dasar.
3. Analisis Sentimen atau Pengklasifikasian
Setelah tahap translate dilakukan, dilanjutkan tahap pengklasifikasian dataset. di tahap ini proses labelling sentiment dilakukan dan akan menghasilkan label positif dan negatif. Metode yang digunakan pada tahap ini adalah metode Lexicon Based dan Naive Bayes Classifier.
a. Lexicon Based
Lexicon Based adalah suatu proses pemilihan kata penting pada dokumen berdasarkan suatu kamus/leksikon yang sudah ada. Penentuan dilakukan pada data teks berupa kalimat
yang memiliki kata pada kamus lexicon yang terdiri dari kata negatif dan positif. Kata yang teridentifikasi dalam kamus lexicon akan dihitung skornya sesuai dengan jumlah kata pada setiap teks atau kalimat (Rachmadana Ismail et al., 2023).
Metode  analisis  dari  metode  lexicon  based  adalah  VADER  (Valance  Dictionary  and Sentiment  Reasoner).  Vader  digunakan  untuk  menganalisis  data  berdasarkan  lexicon (kamus).  Hasil  dari  Vader  berupa  kelas  polaritas  positif,  netral,  dan  negatif  dengan tambahan compound score atau skor total. Vader Sentiment Lexicon memiliki 7.500 kata (Amaliah et al., 2022).
Leksikal  merupakan  kamus  yang  digunakan  sebagai  bahasa  pokok  dalam  metode lexicon  based.  Untuk  mendeteksi  klasifikasi  atau  sentimen,  pada  penelitian  ini memanfaatkan  library  Python  dengan  score  polarity  <  0  adalah  sentimen  negatif,  score polarity = 0 adalah sentimen netral, dan score polarity > 0 adalah sentimen positif. Untuk proses klasifikasi sentimen dapat dilakukan dengan persamaan berikut :
b. Naive Bayes Classifier
Algoritma yang menggunakan konsep peluang atau yang biasa disebut probabilitas yang digunakan  dalam  klasifikasi  untuk  analisis  sentimen  disebut  sebagai  Naive  Bayes Classifier. Naive Bayes Classifier juga terhitung dalam algoritma yang mudah digunakan dan sederhana serta bisa memperkirakan suatu kejadian berdasarkan hasil dari klasifikasi dengan baik (Amaliah et al., 2022).
Metode  ini  hanya  membutuhkan  sedikit  data  pelatihan  untuk  menentukan  estimasi parameter yang dibutuhkan dalam proses klasifikasi. Selain itu naive bayes sering bekerja jauh lebih baik dan kompleks dari pada yang diharapkan ( ANALISIS SENTIMEN APLIKASI REKSADANA , n.d.)
4. Visualisasi dan perbandingan
Setelah semua selesai selanjutnya tahap visualisasi, pada tahap ini peneliti menggunakan library matplotlib (Amira Sumitro et al., n.d.). Gambaran yang ditampilkan berbentuk giagram pie  dan  menapilkan  hasil  akurasi  persentase  yang  dihasilkan  dari  setiap  kelas  polaritas. Selanjutnya klasifikasi dan perbandingan akurasi menngunakan clasisication report.
Tolak ukur hasil perhitungan metode confusion matrix yaitu Precision, Recall, F1-Score, Macro avg, Weighted avg dan Accuracy.
1. Precision
Precision yaitu visualisasi dari persentase keakuratan hasil perkiraan oleh metode yang digunakan.

## 2. Recall
Recall yaitu visualisasi kesesuaian metode dalam mencari ulang sebuah informasi. F1- ScoreF1-Score  yaitu  perbandingan  antararata-rata  nilai  presisi  dan  recall  dari  hasil pengujian.

## 3. Macro avg
Macro avgyaitu rata-rata tidak tertimbang dari semua F1-Score per kelas.
4. Weighted avg
Weighted  avgyaitu  rata-rata  semua  F1-Score  per  kelas  dengan  mempertimbangkan dukungan masing-masing kelas.
5. Accuracy
Accuracy yaitu visualisasi keakuratan model dalam mengelompokkan dengan benar.

## HASIL DAN PEMBAHASAN
Pada penelitian analisis sentimen mengenai aplikasi treads ini menggunakan metode naive  bayes  dan  lexicon  based.  Tujuannya  untuk  mengetahui  hasil  klasifikasi  antara  naïve bayes dan lexicon based agar nantinya bisa diketahui mana diantara kedua metode tersebut yang  lebih  andal  untuk  digunakan  dalam  klasifikasi  ini.  Label  sentimen  ulasan  aplikasi digolongkan ke label negatif dan label positif. Untuk penelitian ini, data di dapatkan dengan crawling atau scrapping data ulasan aplikasi bareksa dan bibit dari playstore.

## A. Pengumpulan Data
Data  diambil  dari  dataset  yang  telah  di  scrapping  pada  situs  kaggle, dimana kaggle sendiri adalah komunitas ilmu data terbesar di dunia dengan alat dan sumber daya canggih, dataset tersebut diambil dalam bentuk file csv dengan jumlah 34.005 data ulasan. Setelah data ulasan terkumpul, data yang diperoleh diubah menjadi data tabel agar mudah untuk diproses pada tahap  selanjutnya.  Data  frame  berisi  empat  atribut,  atribut-atributnya adalah :
1. Username  :  username  mengandung  nama  pengguna  yang  berasal dari akun pembuat ulasan yang diambil.
2. Score : score mengandung nilai atau rating dari akun pengguna pembuat ulasan
3. At : at mengandung waktu saat pengguna membuat ulasan
4. Content : content mengandung isi yang berasal dari ulasan yang telah dibuat.
Gambar 3. Data set ulasan threads file csv
B. Tahap Preprocessing
Pada  tahap  preprocessing  ini  dilakukan  beberapa  tahapan  yaitu  cleaning,  case folding,  stopword  removal,  tokenizing  dan  stemming.  Tahapan-tahapan  tersebut dilakukan untuk membersihkan dan menghapus data dari tanda baca serta simbol yang tidak dibutuhkan seperti tanda titik, tanda koma, tanda tanya, tanda seru dan lainnya, serta menghilangkan yang tidak dibutuhkan.
Dalam  tahap  ini  juga  dapat  mengubah  seluruh  huruf  pada  data  menjadi  huruf kecil, memotong sebuah kalimat menjadi potongan-potongan kata, menghilangkan stopword, dan mengubah kata berimbuhan menjadi kata dasar.

## 1. Cleaning
Di  tahapan  cleaning  data  yang  sudah  dilabeli  akan  dilakukan  penghapusan karakter  seperti  tanda  baca  serta  menghilangkan  simbol  yang  tidak  releval.  Pada tahapan ini ulasan yang berlabel netral akan di hapus karena dalam penelitian ini yang dibutuhkan hanya ulasan negatif dan positif. Gambar berikut merupakan hasil dari tahap cleaning.
Gambar 4. Hasil data cleaning sebelum dan sesudah
2. Case Folding
Dalam tahapan case folding ini akan merubah huruf yang terdapat dalam data ulasan  menjadi  huruf  kecil  atau  lowercase  supaya  lebih  mudah  dibaca  oleh komputer. Gambar berikut merupakan hasil dari tahap case folding :
Gambar 5. Hasil casefolding sebelum dan sesudah
3. Stopword Removal
Pada  tahap  ini  dilakukan  proses  menhilangkan  kata-kata  yang  dianggap  tidak berpengaruh terhadap kalimat, kata-kata  yang umum dan sering muncul dalam teks seperti  kata  depan,  kata  ganti,  dan  kata  penghubung.  Tujuannya  adalah  untuk meningkatkan akurasi dalam analisis sentimen. Gambar berikut merupakan hasil dari tahap stopword removal :
Gambar 6. Hasil stopword removal sebelum dan sesudah
4. Tokenizing
Pada  tahapan  tokenizing,  library  NLTK  dalam  penelitian  ini  digunakan  untuk tokenize  ulasan.  Tahapan  tokenizing  ini  digunakan  agar  dapat  memecah  satu kalimat dari satu ulasan menjadi potongan-potongan, potongan-potongan tersebut berupa  potongan  kata.  Gambar  berikut  merupakan  hasil  sebelum  dan  sesudah melewati proses tokenizing:
Gambar 7. Hasil tokenizing sebelum dan sesudah
5. Stemming
Pada tahapan stemming ini akan menggunakan library sastrawi  stemmer factory untuk memudahkan proses. Tujuan penelitian menambahkan tahapan ini adalah  agar dapat  menjadi  kata  dasar  dari  setiap  kata  dalam data  ulasan  dan menghapus kata imbuhan yang terdapat pada awalan, sisipan, atau akhiran pada kata ulasan aplikasi. Tabel berikut merupakan perbandingan sebelum dan sesudah data ulasan melewati tahap preprocessing :
Gambar 8. Hasil stemming

## C. Analisis Sentimen atau Pengklasifikasian
Klasifikasi  merupakan  teknik  komputasi  untuk  mengelompokkan  data ber dasarkan keterikatan data. Pengelompokkan data dimana data tersebut mempunyai  kelas  label  atau  target.  Dalam  penelitian  ini  menggunakan metode  naive  bayes  untuk  menimport  machine  learning  naive  bayes menggunakan  library  sklearn.  Metode  ini  hanya  memerlukan  data  yang kecil  untuk  menghasilkan  akurasi.  Cara  kerja  naive  bayes  yaitu  dengan menhitung jumlah label,menghitung jumlah kasus perkelas,kalikan semua variabel kelas dan bandingkan hasil perkelas. Metode ini untuk menghitung berapa nilai accuracy, precision, recall, f1_score.
1. Perbandingan Labeling actual dengan Sentimen dari Lexicon Based
2. Perbandingan Lebeling actual dengan sentimen Naive Bayes
3. Gambar diagram pie Lexicon Based
4. Gambar diagram pie Naïve Bayes

## D. Hasil Pengujian
1. Naïve bayes
Hasil akurasi dari Naïve Bayes Clasiffier
2. Lexicon based
Hasil akurasi dari Lexicon based

## KESIMPULAN
Berdasarkan penelitian analisis sentimen yang telah peneliti lakukan maka dapat diambil kesimpulan sebagai berikut :
Penelitian ini merupakan analisis sentimen mengenai pendapat masyarakat terhadap aplikasi threads  dengan  metode  lexicon  based  dan  naive  bayes  classifier.  Data  dari  google  playstore disimpan dan selanjutnya akan diklasifikasikan menjadi dua polaritas, yaitu positif dan negatif. Dari total 34005   data tweets yang diperoleh, setelah melakukan penghilangan atau penghapusan terhadap tweets dan melalui tahapan preprocessing, translate, dan selanjutnya masuk pada metode lexicon based atau naive bayes classifier maka didapatkan total keseluruhan data tersebut adalah 32910 data tweets. Hasil akurasi kinerja dari metode lexicon based adalah sebesar 55% dengan polaritas positif merupakan persentese tertinggi dari proses klasifikasi sebesar 79%. Sedangkan hasil  akurasi  kinerja  metode  naive  bayes  classifier  sebesar  51%  dengan  polaritas  positif
merupakan  persentase  tertinggi  dalam  pengklasifikasian  sebesar  79.7%.  Dari  hasil  penelitian, perbandingan  antara  hasil  akurasi  klasifikasi  yang  dilakukan  antara  metode  lexicon  based  dan naive bayes classifier adalah 55% dan 51%. Dengan akurasi yang berbeda, menunjukkan bahwa analisis  sentimen  dengan  metode  lexicon  based  memiliki  akurasi  yang  lebih  tinggi  dari  pada metode naive bayes classifier.

## DAFTAR PUSTAKA
Amaliah, F., Kadek, I., & Nuryana, D. (2022). Perbandingan Akurasi Metode Lexicon Based Dan Naive Bayes Classifier Pada Analisis Sentimen Pendapat Masyarakat Terhadap Aplikasi Investasi Pada Media Twitter. Journal of Informatics and Computer Science, 03.
Amira  Sumitro,  P.,  Iskandar  Mulyana,  D.,  Saputro,  W.,  Teknologi  Informasi,  J.,  Cipta  Karya Informatika, S., Teknik Informatika, J., & Eresha, S. (n.d.). Terbit online pada laman web jurnal: https://ejurnalunsam.id/index.php/jicom/  Analisis  Sentimen  Terhadapat  Vaksin  Covid-19  di Indonesia pada Twitter Menggunakan Metode Lexicon Based. https://developer.twitter.com
ANALISIS SENTIMEN APLIKASI REKSADANA. (n.d.).
Fitriani, Y., Pakpahan, R., Informasi, S., & Informasi, T. (2020). JISAMAR (Journal of Information System,  Applied,  Management,  Accounting  and  Researh)  SISTEM  INFORMASI  FORUM DISKUSI  ONLINE  ANTAR  MAHASISWA  PADA  SMARTPHONE  (Vol.  4,  Issue  4). http://journal.stmikjayakarta.ac.id/index.php/jisamarTelp.+62-21-3905050
Rachmadana Ismail, A., Bagus, R., Hakim, F., & Artikel, R. (2023). Implementasi Lexicon Based Untuk Analisis Sentimen Dalam Mengetahui Trend Wisata Pantai Di DI Yogyakarta Berdasarkan Data Twitter P-ISSN E-ISSN. In Emerging Statistics and Data Science Journal (Vol. 1, Issue 1).
Samrin, N., & Akbar, M. N. (n.d.). Analisis Sentimen Komentar Pengguna Aplikasi Threads Pada Google Play Store Menggunakan Algoritma Multinomial Naïve Bayes. 3(2), 2023.

## This work is licensed under a
Creative Commons Attribution-ShareAlike 4.0 International License