## Klasifikasi Sentimen Emosi Pada Dataset Goemotion Menggunakan LSTM
Bagus Satrio #1 , Bulan Fitri Dahlan #2 , Fathir Fathan #3 , Fadhil Zahran Muwafa #4 , Muhammad Reyhan Zanzabili #5 , Abdiansah Abdiansah #6
# Jurusan Teknik Informatika, Fakultas Ilmu Komputer, Universitas Sriwijaya Indralaya Utara, Kabupaten Ogan Ilir, Provinsi Sumatera Selatan, 30862
1 09021182025025@student.unsri.ac.id
2 09021282025071@student.unsri.ac.id
3 09021282025088@student.unsri.ac.id
4 09021282025077@student.unsri.ac.id
5 09021282025093@student.unsri.ac.id
6 abdiansah@unsri.ac.id
Abstrak —  Penelitian  ini  membahas  tentang  pengembangan sistem  klasifikasi  sentimen  emosi  pada  teks  menggunakan metode  deep-learning  LSTM  (Long  Short  Term  Memory) dengan  dataset  yang  digunakan  yaitu  dataset  GoEmotion. Sistem  ini  bertujuan  untuk  mengidentifikasi  emosi  tersirat yang  terkandung  dalam  suatu  teks  secara  tepat  dan  efisien ke  dalam  28  jenis  bentuk  emosi.  Metode  yang  digunakan dalam  penelitian  ini  adalah  LSTM  atau  Long  Short  Term Memory  untuk  mendeteksi  dan  mengklasifikasikan  emosi berdasarkan  teks.  Program  dalam  penelitian  ini  dibuat menggunakan bahasa pemrograman python dengan menggunakan  beberapa  library  yang  telah  tersedia.  Hasil dari  eksperimen  ini  menunjukkan  bahwa  model  LSTM mampu  mengenali  dan  mengklasifikasikan  emosi  yang terkandung di dalam sebuah teks secara cukup baik dengan akurasi tertinggi mencapai angka 0.36 (36% akurasi). Sistem klasifikasi  ini  digunakan  untuk  dapat  mengatasi  masalah terkait  dengan  pengenalan  emosi  yang  terkandung  dalam suatu teks atau kalimat.
Kata kunci — teks, klasifikasi, deep learning, long short term memory, emosi

## I. P ENDAHULUAN
Kehidupan  manusia  tidak  lepas  dari  emosi.  Ekspresi dan  deteksi  emosi  adalah  pusat  dari  pengalaman  manusia dan  interaksi  sosial  [1].  Dengan  sebanyak  beberapa  kata, kita  dapat  mengekspresikan  berbagai  macam  emosi  yang halus  dan  kompleks,  dan  itu  dengan  demikian  telah menjadi  tujuan  jangka  panjang  untuk  memungkinkan mesin  untuk  memahami  pengaruh  dan  emosi  [2].  Emosi adalah suatu reaksi terhadap suatu tindakan atau kejadian yang terjadi. Emosi terbagi menjadi dua, yaitu positif dan
negatif.  Dari  dua  kelompok  ini,  dapat  dijabarkan  lagi menjadi  beberapa  emosi  seperti  marah,  sedih,  senang, sedih,  takut,  terkejut,  kecewa,  dan  sebagainya.  Analisis emosi sudah menjadi pembahasan dalam berbagai disiplin ilmu seperti kognitif, psikologi, bahkan media sosial [3].
Di era yang serba menggunakan teknologi seperti saat ini,  seseorang  dapat  dengan  mudah  mengekspresikan dirinya dalam beropini di berbagai platform media sosial. Mereka membagikan pemikiran mereka melalui komentar dan  ulasan.  Dari  opini  atau  pemikiran  tersebut  orang- orang  dapat  mengeluarkan  reaksi  emosi  dalam  bentuk verbal dan non-verbal.
Emosi  verbal  merupakan  emosi  yang  berbentuk  lisan maupun  tulisan,  sedangkan  untuk  emosi  non-verbal menggunakan  bahasa  tubuh  seperti  mengekspresikan  raut wajah,  gerak-gerik  kaki  maupun  tangan  [4].  Mendeteksi emosi  dalam  dialog  tekstual  adalah  masalah  yang menantang  karena  tidak  adanya  ekspresi  wajah  dan modulasi  suara  [5].  Untuk  mendeteksi  emosi  pada  teks diperlukan pengklasifikasian emosi. Klasifikasi merupakan  suatu  proses  pengelompokkan  objek  yang telah  diberikan  label  atau  kelas  yang  ditentukan sebelumnya,  sedangkan  klasifikasi  kalimat  adalah  sebuah kalimat  yang  topik  utamanya  dikelompokkan  ke  dalam beberapa  kelompok  berdasarkan  kelas  yang  telah ditentukan [6].
Analisis  emosi  sangat  penting  dilakukan karena  dapat digunakan  untuk  mengetahui  keadaan  emosi  seseorang. Selain itu, analisis emosi dapat mempengaruhi pendukung keputusan  dalam  berbagai  area,  diantaranya  manajemen dan  marketing,  interaksi  pengguna,  keuangan,  politik, kesehatan  dan  pendidikan.  Dari  analisis  inilah  nantinya
akan  mengetahui  emosi  yang  dikeluarkan  melalui  teks tersebut termasuk kedalam kategori positif atau negatif.
Penelitian ini bertujuan untuk mengembangkan sistem pendeteksian dan pengklasifikasian  jenis  emosi  pada  teks menggunakan  algoritma  deep  learning  Long  Short  Term Memory  atau  LSTM.  Pada  penelitian  sebelumnya  terkait klasifikasi  emosi  pada  teks  dengan  judul  “CARER: Contextualized  Affect  Representation  for  Emotion Recognition”  dengan  menggunakan  2  datasets  yang berbeda  (Subjective  dan  Objective)  dan  kelas  emosi sadness,  joy,  fear,  anger,  surprise,  trust,  disgust  dan anticipation,  didapatkan  nilai  F1  sebesar  79%  [7]. Selanjutnya  penelitian  dengan  judul  “Klasifikasi  Emosi Untuk  Teks  Bahasa  Indonesia  Menggunakan  Metode Naïve  Bayes”  dengan  menggunakan  rasio  data  train  dan data  test  sebanyak  0,8  dihasilkan  nilai  F-measure  dengan tinggi  62,15  [8].  Kemudian  penelitian  klasifikasi  emosi pada teks menggunakan metode LSTM mendapatkan nilai akurasi  sebesar  73,15%  [9].  Kemudian  penelitian  dengan judul  “Recurrent  Neural  Network  Dengan  Long  Short Term Memory Untuk Analisis Sentimen Data Instagram”, data  komentar  sebanyak  1473  terbagi  menjadi  3  kelas sentimen  yaitu  positif,  netral  dan  negatif.  Hasil  dari penelitian menunjukkan bahwa analisis sentimen menggunakan  LSTM  pada  data  Instagram  memiliki tingkat  akurasi  pelatihan  sebesar  97,37%  dan  tingkat akurasi  penerapan  sebesar  79,46%  terdapat  kelemahan pada  penelitian  yaitu  jumlah  data  komentar  yang  tidak seimbang [10].
Pada  penelitian  ini,  peneliti  menggunakan  28  label emosi  yang  diambil  dari  dataset  GoEmotions  pada platform kaggle. Label emosi tersebut diantaranya adalah admiration,  amusement,  anger,  annoyance,  approval, caring,  confusion,  curiosity,  desire,  disappointment, disapproval,  disgust,  embarrassment,  excitement,  fear, gratitude,  grief,  joy,  love,  nervousness,  optimism,  pride, realization, relief, remorse, sadness, surprise dan neutral. Pada  paper  ini,  akan  dibahas  tentang  implementasi  dari algoritma  deep  learning  Long  Short  Term  Memory  atau LSTM  untuk  pendeteksian  dan  pengklasifikasian  jenis emosi  pada  teks  menggunakan  dataset  GoEmotions  yang berasal  dari  kaggle,  termasuk  proses  pengolahan  data, implementasi, pelabelan data, preprocessing data, kemudian metode LSTM.
Dalam  penelitian  ini  akan  memberikan  hasil  dan pembahasan terhadap sistem yang dikembangkan, dengan mengukur  tingkat  akurasi  dari  sistem.  Diharapkan  hasil dari  penelitian  ini  bermanfaat  dalam  perkembangan  ilmu deep  learning  dalam  bidang  pengklasifikasian  emosi. Selain itu, mengetahui performa LSTM dalam menganalisis  klasifikasi  pada  teks  dalam  berbahasa inggris  menggunakan  dataset  GoEmotion  yang  berasal dari Kaggle.

## II. M ETODE
Penelitian  ini  dilakukan  dengan  cara  mengumpulkan sumber bacaan dari beberapa penelitian terkait. Gambar 1 menunjukkan urutan tahapan penelitian.
Gambar. 1  Proses Metodologi Penelitian

## A. Studi Kasus
Makalah  Penelitian  ini  menggabungkan  studi  kasus dari  bidang  ilmu  komputer  dan  bidang  ilmu  psikologi untuk  menganalisis  sentimen  emosi  pada  data  teks. Penelitian  ini  mengklasifikasikan  data  teks  dari  dataset yang diambil dari platform Kaggle tentang Kumpulan data Google  AI  GoEmotions  terdiri  dari  komentar  dari pengguna  Reddit  dengan  28  label  emosi.  Pada  penelitian ini, metode Long Short-Term Memory (LSTM) digunakan dan dikembangkan untuk menghasilkan model yang lebih optimal dari penelitian sebelumnya.

## B. Analisis Data
GoEmotions  adalah  kumpulan  58  ribu  komentar  yang diambil dari platform Reddit. Kategori emosi diidentifikasi  oleh  Google  bersama  dengan  psikolog  dan mencakup  12  positif,  11  negatif,  4  emosi  ambigu,  dan  1 netral dapat dilihat pada Gambar 2.
Gambar. 2  Diagram batang jumlah data
Selanjutnya  data positive , negative dan ambiguous tersebut  akan  diklasifikasikan  menjadi  28  kategori  emosi yang dapat dilihat pada gambar 3.
Gambar. 3  Taksonomi GoEmotions mencakup 28 kategori emosi termasuk “ neutral ”
Kategori emosi tersebut adalah admiration , amusement , anger , annoyance , approval , caring ,
confusion , curiosity , desire , disappointment , disapproval , disgust , embarrassment , excitement , fear , gratitude , grief , joy , love , nervousness , optimism , pride , realization , relief , remorse , sadness , surprise .  Sebaran  data  per-kategori emosi dapat dilihat pada gambar 4. Distribusi emosi pada GoEmotions dataset tidak merata, dimana beberapa emosi lebih  sering  muncul  dibandingkan  emosi  lainnya.  Namun penelitian ini hanya ditujukan untuk   menemukan akurasi sentiment berdasarkan dataset yang ada dan menggunakan metode yang telah ditentukan.
Gambar. 4  Diagram batang jumlah data pada setiap emosi
Pada  Tabel  1  terdapat  contoh  data  teks  berlabel  dari komentar pada platform Reddit.
Tabel I Contoh Data Teks Berlabel Teks Label shame quite cute admiration name name name hey name name prostitute robot ... neutral original post approval new study came china actually late annoyance hahaha funny relatable amusement cheer recommendation nonetheless look joy movie make sense name lying thankfully profess... gratitude

## C. Perancangan
Penelitian  ini  menggunakan  metode  LSTM  untuk mengklasifikasi emosi. Gambar 4 menunjukkan alur kerja penelitian.
Gambar. 5  Diagram alur kerja penelitian

## D. Pelabelan Data
Di  dalam  klasifikasi,  hal  utama  yang  harus  dilakukan adalah  pelabelan  pada  data  yang  benar  dan  akurat.  Pada penelitian ini digunakan label yang telah disediakan pada dataset untuk 28 kelas yang berbeda-beda.

## E. Data Preprocessing
Data  preprocessing adalah  sebuah  tahapan  yang sangat  penting  dalam  melakukan  proses  klasifikasi  data teks [11]. Tujuan dilakukannya data preprocessing adalah untuk  menghilangkan noise atau  data  yang  tidak dibutuhkan,  seperti  emoji,  url,  angka,  dan  lainnya,  serta untuk  menyeragamkan  bentuk  data  kata,  sehingga  data kata  dapat  menjadi  lebih  bersih  sebelum  diolah  pada proses selanjutnya [11]. Dari data yang didapatkan, masih banyak  ditemukan  kata-kata  yang  tidak  berstruktur, sehingga  dibutuhkan  pemrosesan  atau  pembersihan  data yang  dilakukan,  yang  mencakup  tahapan-tahapan  sebagai berikut:
● Menghapus semua karakter selain alfabet ● Membenarkan kata-kata singkatan
● Menghapus url
● Mengubah semua huruf kapital menjadi huruf kecil
● Menghapus whitespace yang berlebihan
● Menghapus data yang berganda
● Melakukan proses lemmatization pada tiap kata
● Menghapus stopwords yang muncul
F. Implementasi Model LSTM
Long    Short-Term    Memory (LSTM) diperkenalkan pertama  kali  pada  tahun  1997  oleh  Hochreiter  dan Schmidhuber  [12].  LSTM      adalah  sebuah  jenis  dari Recurrent      Neural      Network (RNN).  LSTM  sendiri dapat menemukan lapisan tersembunyi dari setiap sel dan dirancang  untuk  menyimpan  informasi  sel  sebelumnya. Metode  LSTM  digunakan  dengan  cara  mengklasifikasi data  secara  jangka  panjang  dengan  menyimpan  pada  sel memori [11].
Pada  penelitian  ini,  LSTM  diimplementasikan  dengan bantuan library Keras.  Sebelum dataset dimasukkan  ke dalam layer LSTM, dilakukan pembagian dataset menjadi tiga bagian, yaitu dataset training , dataset validation , dan dataset  testing .    Kemudian  pada  tiap  label  dilakukan proses label  encoding dan  proses  konversi  label  menjadi binary  class  matrix,  yang  mana  akan  mengubah  label, misalkan “happy”, menjadi array satu  dimensi  28  kolom (untuk 28  emosi)  yang  semuanya  bernilai  0  selain  kolom emosi yang terkait yang bernilai 1.
Lalu akan digunakan Tokenizer() Keras dan dilakukan proses fitting terhadap dataset yang digunakan. Tokenizer bertujuan  untuk  membagi  kalimat  menjadi  beberapa bagian [13]. Tokenizer tersebut akan digunakan lagi untuk mengubah teks menjadi integer sequences serta dilakukan proses padding agar panjang datanya sama.
Setelah  itu,  barulah  data  dapat  dimasukkan  ke  dalam model. Model yang digunakan adalah Sequential() dengan
layer Embedding ,  LSTM,  dan Dense .  Dalam  proses pembangunan  model  ini,  terdapat  beberapa  parameter yang akan digunakan, yaitu:
● Learning Rate
● Dimensi output layer Embedding
● Dimensi output layer LSTM
● Dropout Rate
● Recurrent Dropout Rate
● Training Epoch
● Custom  weight  GloVe  yang  telah  disesuaikan dengan  data  training  sebagai  pengganti  manual weight training pada layer Embedding

## III. H ASIL DAN P EMBAHASAN
Pada  penelitian  ini,  eksperimen  dimulai  dengan membagi  dataset  menjadi  2  (dua)  bagian,  yaitu  90% training  and  validation  data  dan  10%  testing  data,  lalu membagi  dua  training  and  validation  data  menjadi  80% training  data  dan  20%  validation  data.  Tahapan selanjutnya,  yaitu  melakukan  konfigurasi  parameter. Beberapa  parameter  yang  akan  dimodifikasi  diantaranya glove embeddings, embedding dimension, lstm dimension,  learning  rate,  epoch,  truncating,  dan  lstm dropout.
TABEL II Hasil Training Model LSTM use_ glov e emb eddi ng_ dim lst m_ di m learn ing_ gate trai nin g_e ppo ch df_t run cati ng lstm zz- dro pout accura cy False 100 128 0.1 5 pre 0.0 0.1160 False 50 16 0.1 5 pre 0.0 0.3063 False 50 32 0.1 5 pre 0.0 0.3204 False 50 32 0.1 5 pre 0.1 0.3243 False 50 32 0.1 10 pre 0.0 0.2959 False 100 32 0.1 5 pre 0.0 0.2769 False 100 32 0.1 10 pre 0.0 0.2783 False 100 64 0.1 5 pre 0.0 0.2689 False 50 64 0.1 5 pre 0.0 0.2983 False 50 50 0.1 5 pre 0.0 0.2866 False 50 32 0.1 5 post 0.0 0.3079 False 50 32 0.1 5 pre 0.2 0.3146 False 50 32 0.01 5 pre 0.0 0.3544 False 50 32 0.00 1 5 pre 0.0 0.3586 False 50 32 0.00 1 5 pre 0.1 0.3665 False 50 32 0.00 1 5 pre 0.1 0.3477
Sebagai baseline , kami menggunakan RidgeClassifier untuk  membandingkan  kinerja  model  LSTM  dalam analisis sentimen. RidgeClassifier dipilih karena keandalannya  dalam  klasifikasi  data  dengan  fitur  yang banyak  dan berkorelasi  tinggi.  Kami memperoleh  akurasi sebesar  22,97%  atau  23%  dengan  menggunakan
RidgeClassifier pada testing data, yang kemudian menjadi acuan  untuk  membandingkan  akurasinya  dengan  model LSTM yang lebih kompleks dan dapat mempelajari fitur- fitur  yang  lebih  kompleks  dalam  data  sentimen.  Tabel  2 memperlihatkan  hasil  klasifikasi  menggunakan  metode LSTM.
Pada  Tabel  2,  hasil  akurasi  terbaik  yang  didapatkan dengan validation data adalah 36,65 % yang menggunakan konfigurasi parameter, glove tidak digunakan,  embed  dimension  sebesar  50,  lstm  dimension sebesar 32, learning rate sebesar 0,001 , epochs sebanyak 5,  penggunaan  truncating  pre,  dan  persentase  dropout sebesar  0,1.  Dengan  parameter  yang  sama,  akurasinya dengan testing data adalah 36.67%
Dari hasil percobaan pada Tabel 2, kami mendapatkan beberapa informasi mengenai faktor-faktor yang mempengaruhi  akurasi  model  LSTM.  Kami  menemukan bahwa lstm_dim sebesar 32 lebih baik daripada 64 dalam meningkatkan akurasi. Selain itu meningkatkan persentase dropout  dengan  nilai  tidak  lebih  dari  0,1  dapat meningkatkan  akurasi,  dan  meningkatkan  jumlah  epoch lebih  dari  5  dapat  menurunkan  akurasi.  Kami  juga menemukan bahwa meningkatkan embed dimension lebih dari  50  menurunkan  akurasi  model.  Menaikkan  jumlah epoch  ketika  meningkatkan  embed  dimension  lebih  dari 50 tetap menurunkan akurasi.
Selain itu, kami menemukan bahwa menyamakan nilai embed  dimension  dan  lstm_dim  memberikan  hasil  yang lebih  buruk  dibandingkan  varian  lain.  Dari  hasil  tersebut, kami menemukan bahwa penggunaan  truncating pre lebih baik  dari  post,  dan  dengan  meningkatkan  learning  rate dapat  meningkatkan  akurasi.  Kami  juga  menemukan bahwa penggunaan GloVe Embeddings ternyata menurunkan akurasi model LSTM.
Hasil  percobaan  ini  memberikan  gambaran  mengenai faktor-faktor  yang  mempengaruhi  kinerja  model  LSTM dan dapat membantu dalam memilih parameter yang tepat untuk  memperoleh  hasil  yang  lebih  baik  dalam menggunakan model LSTM.

## IV. K ESIMPULAN
Dalam  penelitian  ini,  dilakukan  pengenalan  emosi  pada teks  dengan  menggunakan  metode  Long  Short  Memory (LSTM)  yang  merupakan  salah  satu  jenis  neural  network pada  teknik  Deep  Learning.  LSTM  memiliki  beberapa layer dan memory cell yang memungkinkan model untuk menyimpan informasi, sehingga dapat mengatasi masalah vanishing  gradient  yang  sering  terjadi  pada  model  neural network.
Dataset  yang  digunakan  pada  penelitian  ini  adalah dataset GoEmotion yang memiliki 28 jenis kriteria emosi. Penelitian  ini  menghasilkan  akurasi  tertinggi  sebesar 0.3667  atau  36.67%  dengan  menggunakan  teknik  deep learning  LSTM.  Meskipun  hasil  akurasi  yang  dihasilkan tergolong baik, namun masih dapat dilakukan peningkatan
dengan modifikasi dataset atau melakukan perubahan nilai pada parameter.
Salah satu kendala yang dihadapi dalam penelitian ini adalah  tidak  seimbangnya  dataset  berdasarkan  label  yang ada,  sehingga  dapat  mempengaruhi  akurasi  hasil klasifikasi. Selain itu, proses modifikasi hanya menggunakan  1  layer  LSTM,  sehingga  perlu  dilakukan eksperimen lebih lanjut dengan menambahkan layer pada model LSTM untuk memperbaiki hasil klasifikasi.
Dalam  penelitian  selanjutnya,  penulis  menyarankan agar dapat dilakukan pengembangan teknik deep learning yang  lebih  kompleks  dengan  menggabungkan  beberapa jenis neural network lainnya, seperti Convolutional Neural Network  (CNN)  atau  Recurrent  Neural  Network  (RNN). Selain itu, dapat dilakukan penggunaan dataset yang lebih besar  dan  seimbang  untuk  meningkatkan  akurasi klasifikasi pada berbagai jenis kriteria emosi.
R EFERENSI
[1] Demszky,  D.,  Movshovitz-Attias,  D.,  Ko,  J.,  Cowen,  A.,  Nemade, G.,  &  Ravi,  S.  (2020).  GoEmotions:  A  dataset  of  fine-grained emotions. arXiv preprint arXiv:2005.00547. doi: https://doi.org/10.48550/arXiv.2005.00547
[2] Rosalind  W  Picard.  1997.  Affective  Computing.  MIT  Press.  doi: https://doi.org/10.1016/S1071-5819(03)00052-1
[3] Rohman,  A.  N.,  Utami,  E.,  &  Raharjo,  S.  (2019).  Deteksi  Kondisi Emosi  pada  Media  Sosial  Menggunakan  Pendekatan  Leksikon  dan Natural  Language  Processing.  Eksplora  Informatika,  9(1),  70–76. doi: https://doi.org/10.30864/eksplora.v9i1.277
[4] Fudholi,  D.  H.  (2022).  Klasifikasi  Emosi  Pada  Teks  Menggunakan Metode Deep Learning.
Available:. https://dspace.uii.ac.id/handle/123456789/40586
[5] Chatterjee,  A.,  Narahari,  K.  N.,  Joshi,  M.,  &  Agrawal,  P.  (2019). SemEval-2019  Task  3:  EmoContext  Contextual  Emotion  Detection in Text. 39–48. doi: https://doi.org/10.18653/v1/s19-2005
[6] M.  R.  Firmansyah,  R.  Ilyas,  and  F.  Kasyidi,  “Klasifikasi  Kalimat Ilmiah  Menggunakan  Recurrent  Neural  Network,”  Pros.  11th  Ind. Res.  Work.  Natl.  Semin.,  vol.  11,  no.  1,  pp.  488–495,  2020.  doi: https://doi.org/10.35313/irwns.v11i1.2055
[7] E.  Saravia,  H.  C.  Toby  Liu,  Y.  H.  Huang,  J.  Wu,  and  Y.  S.  Chen, “Carer:  Contextualized  affect  representations  for  emotion recognition,” Proc. 2018 Conf. Empir. Methods Nat. Lang. Process.
EMNLP 2018, no. January, pp. 3687–3697,
2020. http://dx.doi.org/10.18653/v1/D18-1404 [8] S.  Sumpeno,  “KLASIFIKASI  EMOSI  UNTUK  TEKS  BAHASA INDONESIA - Sumpeno - 2009.pdf,” no. c, 2009. http://dx.doi.org/10.30595/juita.v10i2.13262
[9] Riza, M. A., & Charibaldi, N. (2021). Emotion Detection in Twitter Social  Media  Using  Long  Short-Term  Memory  (LSTM)  and  Fast Text.  International  Journal  of  Artificial  Intelligence  &  Robotics (IJAIR), 3(1), 15-26. https://doi.org/10.25139/ijair.v3i1.3827
[10] R.  Cahyadi,  A.  Damayanti,  and  D.  Aryadani,  “Recurrent  Neural Network  (RNN)  dengan  Long  Short  Term  Memory  (LSTM)  untuk Analisis Sentimen data instagram,” J. Inform. dan Komput., vol. 5, no. 1, pp. 1–9, 2020, [Online]. Available:
https://ejournal.akakom.ac.id/index.php/jiko/article/view/407 .
[11] yuli  Astari,  Y.,  Afiyati,  A.,  &  Rozaqi,  S.  W.  (2021).  Analisis Sentimen  Multi-Class  pada  Sosial  Media  menggunakan  metode Long Short-Term Memory (LSTM). Jurnal Linguistik Komputasional, 4(1), 8-12.  doi: https://doi.org/10.26418/jlk.v4i1.43
[12] L. Wiranda and M. Sadikin, “Penerapan Long Short Term Memory Pada  Data  Time  Series  Untuk  Memprediksi  Penjualan  Produk  Pt. Metiska  Farma,”  J.  Nas.  Pendidik.  Tek.  Inform.,  vol.  8,  no.  3,  pp. 184–196, 2019. doi: https://doi.org/10.23887/janapati.v8i3.19139
[13] Faadilah,  A.  (2020).  Analisis  sentimen  pada  ulasan  aplikasi tokopedia di google play store menggunakan metode long short term memory  (Bachelor's  thesis ,  Fakultas  Sains  dan  Teknologi Universitas  Islam  Negeri  Syarif  Hidayatullah  Jakarta).  Available: http://repository.uinjkt.ac.id/dspace/handle/123456789/50432