Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)

## Analisis Sentimen Mobil Listrik di Indonesia Menggunakan Long-Short Term Memory (LSTM)
Adika Sri Widagdo 1 , Ardiansyah 2 , Krisna Nuresa Qodri 3 , Fachruddin Edi Nugroho S 4 , Nisrina Akbar Rizky P 5 1,2,3,4,5 Teknologi Informasi, Fakultas Kesehatan Dan Teknologi, Universitas Muhammadiyah Klaten
1 adikasw@umkla.ac.id *, 2 ardiansyah@umkla.ac.id, 3 krisna@umkla.ac.id 4 fachruddinedi@umkla.ac.id,
5 nisrinaakbar @ umkla .ac.id

## Abstract
The innovation of car engines was marked by the  emergence of hybrid technology. These vehicles are generally known as Hybrid Electric Vehicles (HEVs). Then, fully electric vehicles or EVs or Electric Vehicles emerged. Although this technology is  considered  environmentally  friendly,  on  the  other  hand,  not  all  elements  of  society  can  accept  the  existence  of  electric vehicles. The pros and cons of the transition from conventional engine cars to electric cars are the focus of researchers. By utilizing sentiment analysis, which is a branch of Natural Language Processing (NLP), to analyze the aspects that make people pro or  con  the  emergence  of  environmentally  friendly vehicles.  The  data  collection  in  this  study  was taken  from  YouTube comments in the form of Indonesian text data, using the Python programming language and Long-Short Term Memory (LSTM) as a public opinion analysis algorithm. The dataset was divided into training and test data with a ratio of 67:33. The resear ch results showed that the model can be used on Indonesian text data well. Then, for the test data process, the accuracy was 63%, then macro avg precision 62%, macro avg recall 60%, macro avg f1-score 60%, weighted avg precision 62%, weighted avg recall  63%,  weighted avg f1-score  62%,  roc_auc  81%.  In  this  study,  also  shows that  the  topic  of  discussion "price"  often appears in all classes. However, negative sentiment is more than other sentiment classes, one of which needs to be considered by stakeholders regarding the price suitable for the Indonesian market .
Keywords: LSTM, Sentiment Analysis, Electric Car, Electric Vehicle, Analysis Sentiment, Youtube

## Abstrak
Inovasi mesin mobil ditandai dengan munculnya mesin berteknologi hybrid. Pada umumnya kendaraan tersebut dikenal dengan sebutan  Hybrid  Electic  Vehicle  (HEV).  Kemudian  muncul  mobil  sepenuhnya  dengan  mesin  penggerak  motor  listrik  atau Electric Vehicle (EV). Meskipun teknologi tersebut dinilai ramah lingkungan, disisi lain tidak semua elemen masyarakat dapat menerima adanya mobil listrik, pro dan kontra adanya transisi mobil mesin konvensional ke mobil listrik yang menjadi fokus dari peneliti. Dengan memanfaatkan sentimen analisis yang merupakan rumpun keilmuan Natural Language Processing (NLP) untuk  menganalisa  aspek  apa  saja  yang  membuat  masyarakat  pro  atau  kontra  terhadap  kemunculan  kendaraan  ramah lingkungan. Pengumpulan data pada penelitian ini mengambil dari komentar youtube berupa data teks berbahasa indonesia yang dilakukan dengan menggunakan bahasa pemrograman Python serta Long-Short Term Memory (LSTM) sebagai algoritma analisa opini masyarakat. Dataset dibagi menjadi data latih dan data tes dengan rasio 67 : 33, hasil penelitian menunjukkan bahwa model dapat di gunakan pada data teks bahasa indonesia dengan baik. Kemudian untuk proses data tes akurasinya 63%, kemudian macro avg precision 62%, macro avg recall 60%, macro avg f1-score 60%, weighted avg precision 62%, weighted avg recall 63%, weighted avg f1-score 62%, roc_auc 81%. Pada penelitian ini juga dapat dilihat topik pembahasan “harga” sering  muncul di semua kelas.  Namun  demikian,  sentimen  negative lebih banyak  daripada  kelas sentimen yang lain,  salah satunya perlu diperhatikan untuk stakeholder terkait harga yang cocok untuk pasar Indonesia.
Kata kunci: LSTM, Analisis Sentimen, Mobil Listrik, Kendaraan Listrik, Sentimen Analisis, Youtube
©This work is licensed under a Creative Commons Attribution - ShareAlike 4.0 International License

## 1. Pendahuluan
Pada  tahun  1891  John  W.  Lambert  menjadi  penemu mobil  dengan  berbahan  bakar  bensin  pertama  yang kemudian  menjadi  salah  satu  mesin  penggerak  yang banyak digunakan dengan memanfaatkan energi kalor yang berasal  dari proses pembakaran minyak menjadi energi  mekanik  [1].  Mobil  tentu  tidak  bisa  lepas  dari industri otomotif, saat ini berbagai macam jenis mobil sangat  mudah  dijumpai  dengan  keunggulan  dari masing-masing brand , mulai dari keunggulan dari sisi fitur, harga hingga peforma mesin. Tingkat pemakaian kendaraan  berbahan  bakar  minyak  yang  tinggi berbanding  lurus dengan meningkatnya tingkat  polusi
udara  yang  disebabkan  oleh  emisi  gas  buang  [2]. Hingga muncul  sebuah gagasan berupa  inovasi  mesin mobil  ramah  lingkungan  yang  menjawab  keresahan masyarakat  ditengah  kesadaran  terkait  pencemaran udara  makin  yang  semakin  kuat.  Berjalannya  waktu mesin mobil mengalami perkembangan yang signifikan, tidak hanya berbahan bakar minyak namun mulai  muncul  mesin  mobil  dengan  teknologi hybrid [3].
Teknologi hybrid menjadi  alternatif  yang  menarik karena mampu mengkombinasikan motor bakar dengan motor  listrik.  Cara  kerja  sistem hybrid pada  msein mobil  menggunakan  prinsip regenerative isi  ulang
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)
( recharging )  pada  saat  kendaraan  sedang  beroperasi. Mobil dengan mesin hybrid umumnya dikenal dengan nama  HEV  ( Hybrid  Electric  Vehicle )  [4].  Berbeda mobil  dengan  penggerak  motor  listrik  yang  dimana sepenuhnya  menggunakan  tenaga  listrik  jika  daya listrik habis maka harus di charge [5]. Pada tahun 2019 dalam event Indonesia  International  Motor  Show (IIMS) mobil listrik mulai dikenalkan di Indonesia.
Mobil listrik pertama muncul pada tahun akhir 1832 di Amerika, namun popularitasnya menurun dikarenakan mobil  dengan  menggunakan  motor  bakar  semakin berkembang  dan  diiringi  dengan  harga  yang  semakin terjangkau.  Tahun  2000-an  industri  otomotif  mulai menaruh  perhatian  serius  untuk  pengembangan  mobil listrik  [6].  Penggunaan  energi  listrik  dalam  mesin mobil  dinilai  lebih  ramah  lingkungan  [7].  Proses transisi  mobil  dengan mesin  bakar  ke  mesin  listrik  di Indonesia  tentu  menimbulkan  pro  dan  kontra  di masyarakat,  ada  yang  menyambut  baik  karena  mobil listrik  dinilai  ramah  lingkungan.  Namun  disisi  lain Indonesia  saat  ini  masih  dalam  tahap  pembangunan infrastruktur  station  charging  yang  bertujuan  untuk mendukung  kehandalan  penggunaan  kendaraan  listrik [8].  Selain  itu  perlu  diperhatikan juga  aspek  kesiapan peningkatan permintaan energi listrik dimasa mendatang  [9].  Diperlukan  sebuah  analisa  mengingat respon  masyarakat  yang  cukup  variatif  terkait  mobil listrik [10].
Berdasarkan  pemaparan  pemasalahan  terkait  mobil listrik  dan  dipadukan  dengan  memanfaatkan  data komentar  pengguna  youtube  dapat  diangkat  menjadi sebuah  penelitian  analisis  sentimen.  Data  opini masyarakat  pada  komentar  youtube  perlu  dilakukan penyortiran karena tidak semua data yang diambil bisa dilakukan  analisa  dengan  tujuan  untuk  menghasilkan informasi dengan berdasarkan kategori positif, negatif dan netral [11].
Pada penelitian Alghifardi dkk [12] mengangkat tema tentang  tingkat  kepuasan  pelanggan  terhadap  Grab Indonesia. Sektor utama bisnis Grab Indonesia adalah pelayanan,  saat  ini  sudah  memiliki  banyak  pelanggan di  Indonesia,  dalam  pelaksanaannya  tingkat  kepuasan pelanggan  dapat  berbeda-beda  pada  pelayanan  yang diberikan, sehingga memerlukan kritik dan saran untuk mengetahui  tingkat  kepuasan  pelanggan.  Salah  satu pendekatan  yang  digunakan  adalah  menggunakan LSTM  yang  merupakan  pengembangan  dari  RNN, namun LSTM memiliki kelemahan yaitu hanya mampu menerima  informasi  dari  satu  arah.  Bidirectional LSTM  (BiLSTM)  merupakan  metode  LSTM  yang sudah  mengalami  perkembangan  dimana  dapat menerima  informasi  dari  dua  arah.  Dalam  penelitian yang  membahas  tingkat  kepuasan  pelanggan  Grab menggunakan  jumlah  data  dengan  total  5000 tweet bahasa indonesia Indonesia mendapatkan hasil akurasi 91% dan training loss 28%. Pada penelitian yang ingin dilakukan  oleh  peneliti  akan  menggunakan  model LSTM,  dengan  pertimbangan  jumlah  data  yang  bisa dibilang sama apakah akan mendapatkan hasil akurasi
yang  lebih  baik  atau  tidak,  kelemahan  BiLSTM  akan bekerja  optimal  dengan  menggunakan  jumlah  data yang besar untuk terhindar dari overfitting .
Penelitian lain yang dilakukan Isnain dkk [13] tentang kebijakan  new  normal  yang  disampaikan  pemerintah yang  mengizinkan  masyarakat  dapat  beraktifitas normal atau seperti biasanya ditengah pandemi Covid- 19.  Kebijakan  ini  tentu  mendapatkan  pro  dan  kontra baik  secara  langsung  maupun  melalui  sosial  media, salah  satunya  twitter.  Banyak  yang  menanggapi melalui  tweet  terkait  kebijakan  ini  yang  dimana dikeluarkan  pada  saat  pandemi  masih  berlangsung namun  dengan  catatan  tetap  mentaati  protokol kesehatan. Untuk itu diperlukan pemrosesan teks  dari twitter  dalam  bentuk  text  processing.  Peneliti melakukan  anaisa  sentimen  dengan  membandingkan peforma  algoritma  LSTM  dan  Naïve  Bayes.  Pada penelitian ini dihasilkan peforma dari kedua algoritma yaitu  LSTM  menghasilkan  nilai  akurasi,  presisi  dan recall  sebesar  83,33%.  Dan  untuk  Naïve  Bayes menghasilkan  nilai  akurasi,  presisi  dan  recall  sebesar 82%.
Penelitian  Arisandi  dkk  [14]  melakukan  penelitian terkait  sentimen  Criptocurrency  pada  sosial  media, pada  penelitian  ini  menggunakan  tweet  positif  dan negatif  pada  twitter.  Peneliti  mengangkat  tema penelitian  ini  karena  keunikan  dari  bitcoin  sebagai salah  satu  mata  uang  elektronik  yang  desentralisasi (tidak  terpusat)  dan  tidak  diatur  oleh  otoritas  pusat. Pada  penelitian  ini  menggunakan  model  LSTM  yang dapat memprediksi harga bitcoin pada hari berikutnya dengan  mempertimbangkan  historis  harga  dan  skor sentimen  positif  dan  negatif.  Dalam  penelitian  ini memerlukan parameter yang tepat supaya mendapatkan prediksi  yang  akurat.  Didapatkan  hasil  penelitian  ini nantinya  sistem  dibangun  lebih  baik  lagi,  slanjutnya dilakukan  evaluasi  RMSE  dan  didapatkan  nilai 335.201882 dengan epoch 10. Peforma model semakin baik  jika  nilai  RMSE  semakin  kecil.  Pada  penelitian yang akan dilakukan, memiliki kesamaan yaitu mencari pro dan kontra masyarakat pada suatu topik, kemudian pada penelitian yang akan dilakukan hanya menggunakan satu model saja yaitu LSTM.
Penelitian  dari  Rahman  dkk  [15]  mengangkat  tema kebijakan  pemerintah  terkait  karantina  pada  pandemi covid 19. Berbagai respon masyarakat muncul terhadap kebijakan  ini,  kebijakan  karantina  dikeluarkan  untuk membatasi  penyebaran  virus  covid  19  agar  dapat ditekan,  terjadi  pro  dan  kontra  terkait  kebijakan  ini, karena masyarakat dirugikan dengan terbatasnya ruang gerak.  Tanggapan  masyarakat  terkait  kebijakan  ini dapat  dilihat  dalam  postingan  sosial  media,  salah satunya  twitter.  Maka  dari  itu  diperlukan  analisa sentimen terhadap tweet yang terkait dengan kebijakan pembatasan  aktivitas  terhadap  masyarakat  atau karantina  apakah  lebih  banyak  respon  positif  ataukan lebih  banyak  negatif.  Proses  analisa  menggunakan metode  deep  learning  yaitu  dengan  menggunakan algoritma Long-Short  Term Memory (LSTM)  dengan
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)
total  1364  data  tweet  dengan  penambahan  Word Embedding dengan melakukan proses crawling secara mandiri.    Dengan  algoritma  LSTM  dihasilkan  81% accuracy,  80%  precision,  80%  recall  dan  81%  f- measure. Algoritma LSTM memiliki kinerja lebih baik dibandingkan dengan 2 metode lainnya yaitu RNN dan naïve bayes dengan terpaut selisih +8%, perincian 74% akurasi,  72%  presisi,  74%  recall  dan  f-measure  69%, sedangkan untuk RNN 71% akurasi, 71% presisi, 72% recall  dan  f-measure  62%.  Pada  penelitian  yang akan dilakukan  mempunyai  keserupaan  pada  topik  yang diangkat  yaitu  sentimen  pro  dan  kontra,  namun  pada penelitian  yang  akan  dilaksanakan  hanya  memakai model  LSTM  saja,  kemudian  jumlah  data  yang digunakan  memiliki  perbedaan  porsi,  penelitian sebelumnya  menggunakan  1364  data tweet kemudian penelitian  kali  ini  sudah  menyiapkan  data  sebanyak 4969 data komentar youtube.
Dalam penelitian Widagdo dkk [16] dalam mencari tau sentimen  pada  4 e-commerce teratas  di  Indonesia menurut  alexa.com,  pada  penelitian  yang  dilakukan dilakukan crawling data twitter dengan menggunakan keyword keempat e-commerce tersebut  dengan  total data tweet yang didapatkan adalah 2000 data. Masing- masing e-commerce memiliki  500  data tweet . Kemudian  untuk  evaluasi  menggunakan  algoritma Naïve  Bayes,  dalam  penelitian  tersebut  didapatkan hasil dass  precision  positive 96.11%, dass  precision negative 99.04 %,  class  recall  negative 93,21%  dan class recall positive 99,46%. Pada penelitian yang akan dilakukan  menggunakan  model  yang  berbeda,  namun penelitian yang akan dilaksanakan memiliki kemiripan dengan  penelitian  sebelumnya  yaitu  pada  data  yang imbalance .
Penelitian  dari  Amrustian  dkk  [17]  mengangkat  topik tentang  pendidikan  tinggi  di  universitas.  Pada  saat proses pembelajaran, dosen memberikan materi dikelas kepada  mahasiswa,  mengingat  mahasiswa  adalah masuk  dalam  kategori  orang  dewasa,  selain  belajar mahasiswa juga ditekankan oleh dosen memiliki peran penting  dimasa  mendatang,  maka  dari  itu  ada intermezo  terkait  pandangan  dimasa  depan  jika mahasiswa  sudah  masuk  ke  dunia  kerja.  Mahasiswa dianggap  sudah  masuk  kateogori  dewasa  dan  dinilai sudah mampu membuat keputusan dan bertanggungjawab  segala  konsekuensi  dari  pilihan yang  diambil.  Dalam  penelitian  ini  analisis  sentimen diperlukan  sebagai  evaluasi  proses  belajar  mengajar, data yang digunakan untuk penelitian berjumlah 2.280 dengan jumlah kalimat yang bervariasi antara 3 sampai dengan 50 kata. LSTM dipilih untuk digunakan dalam penelitian  ini,  dan  menghasilkan  akurasi  sebesar 91,08%.  Dengan  hasil  analisa  ini  dosen  dapat memperbaiki metode pengajaran berdasarkan hasil dari evaluasi.

## 2. Metode Penelitian
Metode  penelitian  yang  digunakan  terlihat  pada gambar 1 sebagai alur penelitian.

## Gambar 1. Alur Penelitian
2.1. Scrapping Data
Data  diambil  dari  youtube  dengan  metode Scraping , data berasal dari komentar pada setiap video youtube. Kemudian data komentar tersebut akan diambil dalam bentuk  data  teks  dimana  merupakan  cara  yang  sering digunakan para peneliti untuk mendapatkan gambaran terkait opini masyarakat terhadap suatu permasalahan. Proses  pengambilan  data  pada  penelitian  ini menggunakan bahasa pemrograman Python, Selenium serta  menggunakan library BeautifulSoup.  Dalam proses  mengumpulkan  data  opini  masyarakat  selain mengambil  data  teks,  proses  ekstraksi  data  yang bertujuan untuk mengetahui suatu pola [18].

## 2.2. Processing Dataset

## Cleansing Data
Pengaplikasian  pembersihan  dataset  yang  dilakukan bertujuan untuk menghilangkan tanda baca yang tidak diperlukan sehingga dapat mengekstrak pola-pola yang potensial  [19],  proses  ini  telah  mencakup  beberapa metode  pembersihan  data  seperti:  Case  Folding, Remove Symbol, Tokenization, Removal StopWord.
Dalam proses pengambilan dataset, tidak bisa dihindari jika  ada  data  teks  dengan  bahasa  daerah.  Peneliti melakukan  manual  cek  terhadap  bahasa  daerah  dan melakukan  proses  perubahan  manual  untuk  bahasa daerah  kemudian  diubah  ke  bahasa  indonesia.  Yang dimana  perubahan  bahasa  ini  dilakukan  tanpa mengubah  makna  maupun  sentimen,  kemudian  akan menjadi  data  baru  namun  makna  tetap  sama,  berikut adalah contoh dari proses manual cek bahasa daerah ke bahasa indonesia.
Tabel 1. Proses Manual Perubahan Bahasa
Bahasa Daerah Bahasa Indonesia Ora  due  duit  cm  bs  liat  Ora dah seneng tidak punya uang cm bs liat Ora dah seneng Mbok ya regone ORA larang2 loh mazseehh Maximal  300jtn  cilik  ngono lho
harganya jangan terlalu mahal2 Maximal 300jtn kecil gitu lho Denger  harganya  buat  kaum penginyongan  sprti  inyonge.. auto langsung mundur Denger harganya buat kaum menengah kebawah.. auto langsung mundur Tukokne  avanza  ae  hargane segtu Beliin avanza aja kalo harganya segtu Mang,C tiluna kurang hiji anu encan  dicobian C3  Air  Cross tararengkiyu Mang bro, tempat duduknya kurang satu anu belum dicobian C3 Air Cross terimakasih bro. Mang  euyy  iyeteh  review mobil  apa  roasting  wkwkwk lucu pisan mangg hey bro, ini review mobil apa roasting? wkwkwk lucu banget bro Katanya  mau  ganti  mobil listrik  di  Indo,  tapi  harga kemahalan  piyeeee tohhhh Katanya mau ganti mobil listrik di Indo, tapi harga kemahalan gimana sihhhh
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)

## Case Folding
Merupakan proses penyalarasan teks pada kalimat yang ada  pada  dataset.  Pada  penelitian  ini,  data  akan dilakukan Case Folding pada dataset adalah lowercase , yaitu  dengan  mengubah  semua  data  teks  yang  telah didapat menjadi huruf kecil [20].

## Remove Symbol
Merupakan  proses  penghapusan  prefix  atau  simbol- simbol yang tidak memiliki arti dalam sebuah kalimat seperti @ yang menunjukan pengguna atau link http://. [21].

## Tokenize
Merupakan  proses  pemisahan  antara  teks  dalam kalimat berdasarkan spasi atau pun symbol [22], seperti kalimat “semoga saya memiliki mobil listrik tersebut” menjadi  list  [semoga,  saya,  memiliki,  mobil,  listrik, tersebut]  yang  awalnya  berbentuk  satu  kalimat  utuh menjadi per kata.

## Removal Stopwords
Merupakan proses penghapusan kalimat tambahan atau imbuhan  pada  dataset  teks  tanpa  mengurangi  maksud dan isi dari sentimen yang terdapat pada teks tersebut [23].

## Visualisasi
Proses menampilkan frekuensi kata dalam dataset pada penelitian  ini  menggunakan  WordCloud.  Semakin banyak frekuensi  kata yang muncul maka  pada grafik kata  maka  akan  semakin  besar  visualnya.  Sehingga dengan  adanya  wordcloud  dapat  merepresentasikan teks yang sering muncul pada dataset [24].
2.3. Labeling Data
Proses ini menempatkan dataset yang berupa komentar youtube  ke  dalam  kategori  yang  dikehendaki  yaitu: Positive , Neutral ,  atau Negative .  Pelabelan  ini tergantung  dari  value  susunan  kalimat  yang  ada  pada dataset [25].

## 2.4. Modelling
Ada  banyak  algoritma  yang  digunakan  untuk penelitian-penelitian  dengan  topik  sentimen  analisis, Algoritma  yang  akan  digunakan  dalam  penelitian  ini adalah Long-Short Term Memory (LSTM). Algoritma ini mempunyai kelebihan di untuk membangun model prediksi,  LSTM  merupakan  turunan  dari  Recurrent Neural  Network  (RNN)  yang  dimana  didesain  untuk mengolah  data  sequence.  LSTM  dibangun  untuk mengatasi  permasalah pada gradien pada RNN ketika menghadapi  vanishing  dan  esploding  gradien  [22], [26].

## Gambar 2. Model Long-Short Term Memory

## 2.5. Evaluasi
Proses  prediksi  dapat  dilakukan  pengukuran  untuk melihat sejauh mana  ketercapaian dari sebuah model, dalam  hal  ini  akan  dihasilkan  Akurasi  untuk keseluruhan dataset saat dilakukan proses latih. Berikut persamaan 1 menghitung akurasi dengan menggunakan 3 kelas yaitu positive , neutral dan negative . Dengan TP adalah True Positive ,  TNt  adalah True Neutral ,  TNg adalah True Negative , FP1 adalah False Positive 1 , FP2 adalah False Positive 2 ,  FNg1 adalah False Negative 1, FNg2  adalah False  Negative  2 , FNt1  adalah False Neutral 1, FNt2 adalah False Neutral .
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = TP+TNt+TNg TP+FP1+FP2 +TNt+FNt1+FNt2+TNg+TNg1+TNg2 (1)
Untuk  pengukuran  peluang  kelas positive atau  benar yang  memiliki  nilai  benar  juga  tertuang  pada persamaan  2.  Lebih  lanjut  untuk  persamaan  3  dan persamaan 4 adalah untuk melihat hasil hitung macro avg dan weighted avg .
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (2)
𝑀𝑎𝑐𝑟𝑜 𝐴𝑣𝑔  = ∑ 𝑇𝑃𝑖
𝑇𝑃𝑖+𝐹𝑁𝑖 𝑙 𝑖=1 𝑙 (3)
𝑊𝑒𝑖𝑔ℎ𝑡𝑒𝑑 𝐴𝑣𝑔  = ∑ 𝑇𝑃𝑖
𝑇𝑃𝑖+𝐹𝑁𝑖 𝑙 𝑖=1 ∗ 𝑛 𝑖 𝑙 (4)
Presisi atau precision adalah tahapan untuk mengukur prediksi pada nilai benar biarpun data yang digunakan sudah  masuk  didalam  kelas  positive  atau  benar. Selanjutnya  ini  adalah  persamaan  5  untuk  mencari precision .
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (5)
F1-Score adalah metrik evaluasi yang digunakan untuk melihat keseimbangan antara precision dan recall yang tertuang pada persamaan 6. f1-score akan menampilkan informasi  terkait  seberapa  optimal  model  yang digunakan  saat  digabungkan  dengan  peforma  dari precision dan recall . Berikut ini adalah persamaan dari f1-scrore.
𝑓1 − 𝑠𝑐𝑜𝑟𝑒 = 2∗𝑅𝑒𝑐𝑎𝑙𝑙∗𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑅𝑒𝑐𝑎𝑙𝑙+𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 (6)
Persamaan 7, 8 dan 9  merupakan metrik evaluasi yang digunakan dalam prediksi klasifikasi klasifikasi aktual [27]  digunakan  untuk  mengukur  sejauh  mana  kinerja model  klasifikasi  dalam  mengidentifikasi  pada berbagai  tingkat  ambang  batas  ( threshold )  tanpa
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)
memerhatikan  pilihan  ambang  batas  tertentu.  Nilai AUC akan di gunakan jika dataset yang dipakai dalam proses klasifikasi imbalance [28].
TPR  = TP TP+FN1 (7) FPR  = FP1
TN + TN1+TN2 (8) AUC  = TPR+(1−FPR) 2 (9)

## 3.   Hasil dan Pembahasan

## 3.1. Collection Dataset
Proses  pengumpulan  data  komentar  dilakukan  pada tanggal 18 September 2023. Penelitian ini memperoleh data  dari  hasil  pengumpulan  komentar  pada  video youtube  yang  dimana  sudah  dilakukan  pensortiran pemilihan video dengan kriteria jumlah viewers diatas 25k  penayangan,    dengan  jumlah  20  video  yang berbeda-beda.  Penerapan  kriteria viewers pada  setiap video  ini  dilakukan  dengan  asumsi  semakin  banyak view pada  suatu  video  maka  jumlah  komentar  juga semakin banyak. Dalam penelitian kali ini menggunakan tools pendukung  diantaranya  selenium dan  beautifulsoup  untuk  mendapatkan  data  komentar pada  youtube,  selain  itu  pengambilan  data  juga memanfaatkan lazyload untuk  menampilkan  data komentar  secara  menyeluruh  pada  setiap  video.  Pada saat  proses crawling total  data  awal  didapatkan sebanyak  5138,  setelah  dilakukan  pembersihan, penghapusan duplikasi data dan penghapusan komentar yang  hanya  menyertakan  link  atau  url  didapatkan dataset  sebanyak  4969  data.  Berikut  ini  adalah spesimen hasil crawling dataset komentar youtube.
Tabel  2. Spesimen Hasil Crawling Data
Level Text
0 Kabarnya harga ORA 03 nanti kisaran 630 jutaan bagaimana pendapatan anda 1 waduh mobil ini super mantap sih
2 semoga ORA ballet cat ikut masuk juga krn modelnya keren classic retro mirip bgt kyk vw kodok
3 baru liat ada mobil beginian dengan tenaganya listrik
4 mantap nih ora 03
5 motor listrik yg bersuara dinamo nya
6 kami suka EV
7 tunggu mobil listrik 3 baris 7 Seater harga dibawah
900 jt
Data yang sudah diperoleh akan dilakukan penghapusan  duplikasi  data  dengan  acuan  user  dan komentar  yang  sama  untuk  menghindari  komentar yang bersifat spam.
3.2. Pre-Processing Dataset
Dalam  pembersihan  dataset  peneliti  melakukan beberapa  proses,  diantaranya punctuation atau penghapusan karakter yang tidak diperlukan, kemudian semua data komentar diubah ke dalam huruf kecil serta melakukan  penghapusan  prefix.  Dalam  proses pengambilan dataset, tidak bisa dihindari jika ada teks
dengan bahasa daerah. Peneliti melakukan manual cek terhadap  bahasa  daerah  yang  diubah  ke  bahasa indonesia  yang  artinya  sesuai  tanpa  mengubah sentimen,  Berikut  adalah  contoh  perubahan  data berbahasa daerah ke bahasa indonesia.
Tabel 3. Proses Manual Perubahan Bahasa
Bahasa Daerah Bahasa Indonesia Ora  due  duit  cm  bs  liat  Ora dah seneng tidak punya uang cm bs liat Ora dah seneng Mbok ya regone ORA larang2 loh mazseehh
Maximal  300jtn  cilik  ngono lho
harganya jangan terlalu mahal2 Maximal 300jtn kecil gitu lho Denger  harganya  buat  kaum penginyongan  sprti  inyonge.. auto langsung mundur Denger harganya buat kaum menengah kebawah sprti saya.. auto langsung mundur Tukokne  avanza  ae  hargane segtu Beliin avanza aja kalo harganya segtu Katanya  mau  ganti  mobil listrik  di  Indo,  tapi  harga kemahalan  piyeeee tohhhh Katanya mau ganti mobil listrik di Indo, tapi harga kemahalan gimanaaaa sihhhh

## 3.3 Labeling
Setelah  dataset  bersih  dan  sudah  tidak  ada  bahasa daerah maka proses selanjutnya adalah pelabelan pada data  komentar  yang  telah  diambil.  Proses  pelabelan menggunakan transformers huggingface dengan menggunakan  model  RoBERTa  bahasa  indonesia. Berikut adalah spesimen pelabelan komentar.
Tabel  4. Spesimen Hasil Crawling Data Text Positive Neutral Negative Label mantap nih ora 03 0,9713 0,0242 0,0043 Positive mantap pilihan ev di indonesia semakin beragam harga bisa bersaing 0,9968 0,0020 0,0010 Positive kabarnya harga ora 03 ini nanti di kisaran 630
jutaan bagaimana pendapatan anda 0,0055 0,9750 0,0193 Neutral nunggu kluaran byd om 0,0196 0,0506 0,9297 Negative mobil mewah nyusahin 0,0002 0,0003 0,9993 Negative merek elit after sales sulit 0,3235 0,0327 0,6437 Negative
3.4. Ekstrasi Sentimen
Dari  sebanyak  4969  dataset  komentar  youtube didapatkan sebaran sentimen positive 31% (1559 data), neutral 27% (1336 data) dan negative 42% (2073 data). Berikut adalah sebaran sentimen.
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)

## Gambar 3. Prosentase Kemunculan Sentimen
Selain  itu,  pada  penelitian  ini  didapatkan  topik  atau penggunaan  kata  yang  paling  sering  muncul  pada dataset  komentar  youtube.  Frekuensi  kata  terbanyak yang  muncul  bisa  dilihat  pada  gambar  4  yaitu  berupa visualisasi wordcloud untuk semua data teks komentar.
Gambar 4. Wordcloud kata
Dari  dataset  yang  telah  terkumpul  kemudian  dapat dilihat  frekuensi  kata  terbanyak  yang  muncul  dalam tiap  kelas.  Berikut  ini  adalah  frekuensi  kata  5  teratas untuk masing-masing kelas.
Tabel  5. Tabel  Frekuensi Kemunculan Kata
Kelas Kata Frekuensi Positive harga
1111 mobil 475 listrik 208 lebih 199
saya 134
Negative harga
813 mobil 624 listrik 590 kalo 463
lebih 365 Neutral harga 655 mobil 283
listrik 207 beli 56 dari 55
3.3. Modeling
Sebelum  dilakukan  proses  modeling,  dataset  dipecah dengan  rasio  67:33,  yang  dimana  67%  menjadi  data latih dengan total 3328 sebagai data latih, 33% menjadi data  pengujian  dengan  total  1640  sebagai  data  uji, untuk detail pembagian dataset sebagai berikut.
Tabel  6. Split Dataset Ratio Data Latih Data Testing 67:33 3328 1640
Setelah  dilakukan  pembagian  data  latih  dan  data  uji, dataset dapat dilihat berdasarkan kelompok pembagiannya,  data  latih  dan  data  uji  beserta  tiap kelasnya, dari tabel 6 dapat bisa dilihat untuk tampilan dari  pembagian  data  latih  beserta  kelasnya  dalam bentuk grafik.
Gambar 5. Data Latih
Dan berikut merupakan tampilan dari pembagian data uji beserta kelasnya.
Gambar 6. Data Latih
Dalam  penggunaannya,  data  akan  dilatih  dengan diimplementasikan  menggunakan  model  Long-Short Term  Memory  (LSTM)  dengan  GPU  Tesla  T4  pada Google  Colab.  Penelitian  ini  mengaplikasikan  30 epohcs dan Adam Optimizer.
3.4. Evaluasi
Dalam  proses  latih  data  didapatkan  hasil confusion matrix pada semua kelas, positive , negative dan neutral yang dapat dilihat dalam gambar 7.
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)
Gambar 7. Confusion Matrix
Dengan detail hasil confusion matrix sebagai berikut.
Tabel 7 Confusion Matrix Class Pred Neutral Pred Positive Pred Negative Positive 180 97 147 Neutral 46 344 117 Negative 85 121 503
Dalam  proses  membuat  matrix  akan  dilakukan perhitungan  untuk  mengetahui  nilai accuracy , recall , precision , f1-score , macro  avg , weight  avg mengacu dari  persamaan  1,  2,  3,  4,  5  dan  6.  Untuk  detail perhitungan yang berdasarkan pada data tabel 6.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 180 + 344 + 503 180 + 97 + 147 + 46 + 344 + 117 + 85 + 121 + 503 = 1.027 1640 = 0.63 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 (𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒) = 180 180 +  (46 + 85) = 180
311 = 0.58 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 (𝑛𝑒𝑢𝑡𝑟𝑎𝑙) = 334 334 + (97 + 121) = 334 552 = 0.61 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 (𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒) = 503
503 + (147 + 117) = 503 767 = 0.66 𝑀𝑎𝑐𝑟𝑜 𝐴𝑣𝑔 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 0.58 + 0.61 + 0.66 3 = 1.85 3 = 0.62 𝑊𝑒𝑖𝑔ℎ𝑡𝑒𝑑 𝐴𝑣𝑔 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
= (0.58 ∗ 424) + (0.61 ∗ 507) + (0.66 ∗ 709) (424 + 507 + 709) = (245.92) + (309.27) + (467.94) 1.640 = 1.023,13 1.640 = 0.62 𝑅𝑒𝑐𝑎𝑙𝑙 (𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒) = 180 180 + (97 + 147) = 180 424 = 0.42 𝑅𝑒𝑐𝑎𝑙𝑙 (𝑛𝑒𝑢𝑡𝑟𝑎𝑙) = 344 344 + (46 + 117) = 344 507 = 0.68 𝑅𝑒𝑐𝑎𝑙𝑙 (𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒) = 503 503 + (121 + 85) = 503 709 = 0.71 𝑀𝑎𝑐𝑟𝑜 𝐴𝑣𝑔 𝑅𝑒𝑐𝑎𝑙𝑙  = 0.42 + 0.68 + 0.71 3 = 1.81 3 = 0.60 𝑊𝑒𝑖𝑔ℎ𝑡𝑒𝑑 𝐴𝑣𝑔 𝑅𝑒𝑐𝑎𝑙𝑙 = (0.42 ∗ 424) + (0.68 ∗ 507) + (0.71 ∗ 709) (424 + 507 + 709) = (178.08) + (344.76) + (503,39) 1640 = 1.026,23 1640 = 0.63 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 (𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒) = 2 ∗ 0.58 ∗ 0.42 0.58 + 0.42 = 0.49 1,00 = 0.49 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 (𝑛𝑒𝑢𝑡𝑟𝑎𝑙) = 2 ∗ 0.61 ∗ 0.68 0.61 + 0.68 = 0.83 1.29 = 0.64 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 (𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒) = 2 ∗ 0.66 ∗ 0.71 0.66 + 0.71 = 0.94 1.37 = 0.68

## 𝑊𝑒𝑖𝑔ℎ𝑡𝑒𝑑 𝐴𝑣𝑔 𝑓1 − 𝑠𝑐𝑜𝑟𝑒
= (0.49 ∗ 424) + (0.64 ∗ 507) + (0.68 ∗ 709) (424 + 507 + 709) = (207,76) + (324,48) + (482,12) 1640 = 1.014,36 1640 = 0.62 TPR  = 180 180 + 46 = 180 226 = 0,79 FPR  = 121 334 + 180 +97 = 180 611 = 0,19
AUC  = 0,79 +(1−0,19) 2 = 0,81 Setelah dilakukan perhitungan menggunakan persamaan  di  dapatkan  hasil  presisi, recall ,  f1-score, akurasi, macro average , dan weighted average seperti terlihat pada gambar 8.

## Gambar 8. Hasil Evaluasi
Berdasarkan  gambar  8  menunjukkan  bahwa  model LSTM  berkinerja  baik,  dengan  accuracy  keseluruhan sebesar  0,63  dan  roc_auc  sebesar  0,81.  precision, recall, dan f1-score semuanya di atas 0,60 untuk semua kelas.  Model  ini  berperforma  sedikit  lebih  baik  pada kelas  negative  dibandingkan  pada  kelas  positive  dan neutral. Hal ini terlihat dari presisi, recall, dan skor f1 yang lebih tinggi untuk kelas negative. Model ini juga berperforma  sedikit  lebih  baik  pada weighted  avg dibandingkan macro avg. Hal ini karena weighted avg memberi bobot yang sama pada setiap kelas, sedangkan macro  avg memberi  bobot  pada  setiap  kelas berdasarkan  jumlah  kelas.  Oleh  karena  itu,  weighted avg lebih dipengaruhi oleh performa model pada kelas yang lebih besar. Menurut penelitian sebelumnya data yang  imbalance  dapat  menyebabkan  nilai  accuracy tidak  setinggi  dataset  yang  berimbang.  Secara keseluruhan,  hasil  klasifikasi  menunjukkan  bahwa model  LSTM  merupakan  model  pengklasifikasi  yang baik  untuk  kumpulan  data  tertentu.  Namun,  penting untuk  diperhatikan  bahwa  performa  model  dapat bervariasi  bergantung  pada  data  yang  digunakan.
Author : Adika Sri Widagdo 1) , Ardiansyah 2) , Krisna Nuresa Qodri 3) , Fachruddin Edi Nugroho S 4) , Nisrina Akbar Rizky P 5)
Selain  itu,  penting  untuk  mengatasi  perbedaan performa  pada  kelas  negatif  sebelum  menggunakan model  dalam  klasifikasi.  Dapat  diterapkan  pada penggunaan lebih banyak pengumpulan data latih yang lebih berimbang, atau penggunaan struktur model yang berbeda.

## 4.   Kesimpulan
Dari  proses  penelitian,  disimpulkan  bahwa  model Long-Short  Term  Memory  (LSTM)  dapat  bekerja dengan  baik  yang  diterapkan  dalam  klasifikasi  teks bahasa indonesia dan model ini dapat diterapkan untuk data  teks  bahasa  indonesia  yang  lain  dan  peneliti menyarankan dalam melakukan proses penelitian yang sama menggunakan data yang lebih banyak lagi dengan pembagian setiap kelas yang merata.
Untuk hasil penelitian yang sudah dilaksanakan dengan objek  mobil  listrik  mendapatkan  topik  pembahasan pada  “harga”  merupakan  topik  yang  paling  banyak muncul  disemua  kelas  sehingga  sangat  perlu  di perhatikan untuk stakeholder terkait harga yang cocok untuk pasar Indonesia.

## Ucapan Terimakasih
Terimakasih untuk pihak yang sudah mendukung agar penelitian ini dapat terlaksana, dukungan tersebut tidak lepas dari peran Universitas Muhammadiyah Klaten.

## Daftar Rujukan
[1] M. P. Fathun, MESIN BENSIN KENDARAAN RINGAN: Mirra Buana Media . Diandra Kreatif, 2020.
[2]  A.  M.  Siregar  and  C.  A.  Siregar,  “Rekayasa  Saluran  Gas Buang Sepeda Motor Guna Mengurangi Pencemaran Udara,” Jurnal Rekayasa Material, Manufaktur dan Energi , vol. 2, no. 2, pp. 171–179, 2019.
[3]  A.  R.  Harfit,  “Kajian  Mobil  Hybrid  dan  Kebutuhannya  di Indonesia,” Jakarta:  Program  Pasca  Sarjana  Universitas Gunadarma , 2013.
[4]  A. M. Simbolon and B. Rusli, “Kebijakan Kendaraan Listrik dalam  Perspektif  Pasar  dan  Infrastruktur:  Studi  Reviu Komparasi  Bilateral  Korea  Selatan  dan  Indonesia,” Jurnal Penelitian Transportasi Darat , vol. 24, no. 2, pp. 83–91, 2022.
[5]  R. Mulyadi, K. D. Artika, and M. Khalil, “Perancangan sistem kelistrikan  perangkat  elektronik  pada  mobil  listrik,” ELEMEN: JURNAL TEKNIK MESIN , vol. 6, no. 1, pp. 7–12, 2019.
[6]  N. F. Ananda, “Propulsi Hyper Hybrid Tesla Model Y,” 2022.
[7]  V. T. P. Sidabutar, “Kajian pengembangan kendaraan listrik di Indonesia:  prospek  dan  hambatannya,” Jurnal  Paradigma Ekonomika , vol. 15, no. 1, pp. 21–38, 2020.
[8]  H. Yatriendi, A. M. N. Putra, and F. A. Muchtari, “Overview: perkembangan  teknologi  pengisian  cepat  pada  kendaraan listrik  (teknologi  dan  infrastruktur),”  in Seminar  Nasional Riset & Inovasi Teknologi , 2022, pp. 128–137.
[9]  E. Liun, “Dampak Peralihan Massal Transportasi Jalan Raya Ke Mobil Listrik.,” Jurnal Pengembangan Energi Nuklir , vol. 19, no. 2, pp. 113–122, 2018.
[10] A.  Agustian  and  F.  Nurapriani,  “Analisis  Sentimen,  Text Mining  Penerapan  Analisis  Sentimen  Dan  Naive  Bayes Terhadap Opini  Penggunaan  Kendaraan  Listrik  Di Twitter,”
Jurnal TIKA , vol. 7, no. 3, pp. 243–249, 2022.
[11] N.  Nugroho  and  S.  Agustina,  “Analisa  motor  DC  (Direct Current) sebagai penggerak mobil listrik,” Jurnal Mikrotiga , vol. 2, no. 1, p. 28, 2015.
[12] D.  R.  Alghifari,  M.  Edi,  and  L.  Firmansyah,  “Implementasi Bidirectional  LSTM  untuk  Analisis  Sentimen  Terhadap Layanan  Grab  Indonesia,” Jurnal  Manajemen  Informatika (JAMIKA) , vol. 12, no. 2, pp. 89–99, 2022.
[13] A. R. Isnain, H. Sulistiani, B. M. Hurohman, A. Nurkholis, and S.  Styawati,  “Analisis  Perbandingan  Algoritma  LSTM  dan Naive  Bayes  untuk  Analisis  Sentimen,” JEPIN  (Jurnal Edukasi  dan  Penelitian  Informatika) ,  vol.  8,  no.  2,  pp.  299– 303, 2022.
[14] A. D. Arisandi, L. Atika, E. S. Negara, and K. R. N. Wardani, “Prediksi  Mata  Uang  Bitcoin  Menggunakan  LSTM  Dan Sentiment  Analisis  Pada  Sosial  Media,” Jurnal  Ilmiah KOMPUTASI , vol. 19, no. 4, pp. 559–566, 2020.
[15] M.  Z.  Rahman,  Y.  A.  Sari,  and  N.  Yudistira,  “Analisis Sentimen Tweet COVID-19 menggunakan Word Embedding dan  Metode  Long  Short-Term  Memory  (LSTM),” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 5, no. 11, pp. 5120–5127, 2021.
[16] A.  S.  Widagdo,  B.  S.  WA,  and  A.  Nasiri,  “Analisis  tingkat kepopuleran  e-commerce  di  indonesia  berdasarkan  sentimen sosial  media  menggunakan  metode  naïve  bayes,” Jurnal Informa: Jurnal Penelitian dan Pengabdian Masyarakat , vol. 6, no. 1, pp. 1–5, 2020.
[17] M. A. Amrustian, W. Widayat, and A. M. Wirawan, “Analisis Sentimen Evaluasi Terhadap Pengajaran Dosen di Perguruan Tinggi  Menggunakan  Metode  LSTM,” JURNAL  MEDIA INFORMATIKA  BUDIDARMA ,  vol.  6,  no.  1,  pp.  535–541, 2022.
[18] E.  Yuniar,  D.  S.  Utsalinah,  and  D.  Wahyuningsih, “Implementasi  Scrapping  Data  Untuk  Sentiment  Analysis Pengguna  Dompet  Digital  dengan  Menggunakan  Algoritma Machine  Learning,” Jurnal  Janitra  Informatika  dan  Sistem Informasi , vol. 2, no. 1, pp. 35–42, 2022.
[19] C.  Zai,  “Implementasi  Data  Mining  Sebagai  Pengolahan Data,” Jurnal Portal Data , vol. 2, no. 3, 2022.
[20] F.  Pramono,  D.  Rosiyadi,  and  W.  Gata,  “Integrasi  N-gram, Information Gain, Particle Swarm Optimation di Naïve Bayes untuk Optimasi Sentimen Google Classroom,” Jurnal RESTI (Rekayasa Sistem Dan Teknologi Informasi) , vol. 3, no. 3, pp. 383–388, 2019.
[21] M.  A.  Nurrohmat  and  S.  N.  Azhari,  “Sentiment  Analysis  of Novel  Review  Using  Long  Short-Term  Memory  Method,” IJCCS  (Indonesian  Journal  of  Computing  and  Cybernetics Systems) , vol. 13, no. 3, pp. 209–218, 2019.
[22] A. R. A. Anisa, “ANALISIS PART OF SPEECH TAGGING BAHASA INDONESIA DALAM SWAMEDIKASI DIALOG  INTERACTIVE  QUESTION  ANSWERING MENGGUNAKAN  METODE  HMM,” Jurnal  Teknologi Pintar , vol. 2, no. 10, 2022.
[23] A.  G.  Arja,  “PENERAPAN  SENTIMEN  ANALIS MENGGUNAKAN METODE NAÏVE BAYES DAN SVM,” Jurnal Ilmu Data , vol. 2, no. 12, 2022.
[24] W.  Saefudin,  A.  Komarudin,  and  R.  Ilyas,  “Visualisasi Kumpulan Berita Dalam Bentuk Peta Digital Dengan Metode Term Frequency-Inverse Document Frequency dan Gazetteer,”  in Seminar  Nasional  Sains  dan  Teknologi Informasi (SENSASI) , 2019.
[25] K.  S.  Nugroho,  I.  Akbar,  and  A.  N.  Suksmawati,  “Deteksi Depresi  dan  Kecemasan  Pengguna  Twitter  Menggunakan Bidirectional  LSTM,” arXiv  preprint  arXiv:2301.04521 , 2023.
[26] M.  F.  Rizkilloh  and  S.  Widiyanesti,  “Prediksi  Harga Cryptocurrency  Menggunakan  Algoritma  Long  Short  Term Memory  (LSTM),” Jurnal  RESTI  (Rekayasa  Sistem  dan Teknologi Informasi) , vol. 6, no. 1, pp. 25–31, 2022.
[27] A.  E.  Augustia,  R.  Taufan,  Y.  Alkhalifi,  and  W.  Gata, “Analisis  Sentimen  Omnibus  Law  Pada  Twitter  Dengan Algoritma Klasifikasi Berbasis Particle Swarm Optimization,”
Paradigma , vol. 23, no. 2, pp. 158–166, 2021.