Peringkasan Multi Dokumen Berbahasa Indonesia Menggunakan Metode Recurrent Neural Network
Multi-Document Summarization for Indonesian Document Using Recurrent Neural

## Network
Moh Alfin 1 , Zainal Abidin 2 , Puspa Miladin 3 1,2,3 Program Studi Teknik Informatika, Universitas Islam Negeri Maulana Malik Ibrahim
Malang
E-mail: 1 19650024@student-uin-malang.ac.id, 2 zainal @ti.uin-malang.ac.id,
3 puspa.miladin@uin-malang.ac.id

## Abstrak
Peringkasan dokumen berita adalah sebuah aspek penting dalam pemrosesan bahasa alami dan jurnal  ini  bertujuan  untuk  menggambarkan  perkembangan  terbaru  dalam  bidang  ini.  Dengan ledakan informasi dan jumlah berita yang terus meningkat, peringkasan dokumen berita menjadi kunci dalam menghadapi tantangan untuk mengakses informasi yang relevan dan berharga.  Pada paper  ini  dilakukan  peringkasan  multi  dokumen  berbahasa  Indonesia  dengan  menggunakan metode  RNN  (Recurrent  Neural  Network)  variasi  yang  digunakan  adalah  Long  Short-Term Memory (LSTM), dengan ekstraksi fitur menggunakan dua model Word2Vec yang berbeda, yaitu CBOW (Continuous Bag of Words) dan Skip-gram. Hasilnya menunjukkan nilai recall, presisi, dan F-measure yang signifikan. Untuk model CBOW, nilai recall, presisi, dan F-measure yang ditemukan adalah 0.487, 0.704, dan 0.550. Sementara itu, untuk model Skip-gram, hasil pengujian menunjukkan nilai recall sebesar 0.414, presisi sebesar 0.687, dan F-measure sebesar 0.504. Kata kunci : Peringkasan , Recurrent Neural Network , Long Short-Term Memory, Word2vec.

## Abstract
Document summarization is an important aspect of natural language processing, and this journal aims to describe the latest developments in this field. With the explosion of information and the ever-increasing volume of news, document summarization becomes a key solution to address the challenges  of  accessing  relevant  and  valuable  information.  In  this  paper,  multi-document summarization  in  the  Indonesian  language  is  performed  using  the  Recurrent  Neural  Network (RNN)  method,  with  feature  extraction  employing  two  different  Word2Vec  models,  namely, Continuous  Bag  of  Words  (CBOW)  and  Skip-gram.  The  results  reveal  significant  recall, precision,  and  F-measure  values.  For  the  CBOW  model,  the  discovered  values  are  0.487  for recall, 0.704 for precision, and 0.550 for F-measure. Meanwhile, for the Skip-gram model, the test results indicate a recall value of 0.414, a precision value of 0.687, and an F-measure value of 0.504.
Keywords : Summarization, Recurrent Neural Network, Long Short-Term Memory, Word2vec.

## 1. PENDAHULUAN
Kemajuan teknologi pada zaman sekarang menyebabkan jumlah dokumen dan artikel yang dapat diakses melalui internet meningkat secara signifikan [1] . Banyaknya pertumbuhan dokumen dan artikel menyebabkan banjir informasi ( information overload ). Information overload tersebut memengaruhi minat baca berita seseorang, membuat banyak orang merasa bosan dan mengalami kesulitan  dalam  mendapatkan  esensi  dari  suatu  berita.  Kesulitan  tersebut  dapat  membuat pengguna  untuk  membaca  ulang,  sehingga  menghabiskan  banyak  waktu.  Oleh  karena  itu, peringkasan teks otomatis, yang merupakan proses menyederhanakan teks panjang menjadi versi singkat  yang  mencerminkan  esensi  aslinya,  muncul  sebagai  solusi  untuk  mengatasi  masalah ini.[2]
Peringkasan  teks  dibagi  menjadi  dua,  yaitu  peringkasan  single  dokumen  dan  multi dokumen. Peringkasan single dokumen adalah teknik meringkas yang diambil dari satu dokumen tunggal,  [3]Tujuan  utamanya  adalah  merangkum  atau  mengambil  esensi  informasi  yang terkandung dalam satu sumber dokumen. Peringkasan multi dokumen adalah teknik peringkasan dimana dokumen yang diringkas lebih dari satu atau lebih. Tujuannya adalah untuk menyajikan ringkasan yang mencakup dari berbagai perspektif atau informasi dari sumber yang berbeda.[4] Penelitian  Adelia  [5]  melakukan  peringkasan  dokumen  jurnal  berbahasa  indonesia menggunakan  RNN  BiGRu.  Dalam  penelitiannya,  ia  menggunakan  metode  RNN  BiGRu. Penelitian tersebut digunakan dua scenario yaitu menggunakan 128 dan 64 hidden units. Hasil yang  diperoleh  menunjukkan  bahwa  pada  hidden  128,  nilai  Rouge-1  mencapai  0.11975  dan Rouge-2 sebesar 0.01199, sementara pada hidden 64, Rouge-1 mencapai 0.06745 dan Rouge-2 sebesar  0.00550.  Penelitian  M  Saputra  [6]  melakukan  peringkasan  teks  otomatis  dengan pendekatan abstraktif menggunakan metode Long Short-Term Memory (LSTM). Model LSTM dibangun dalam model encoder-decoder dengan 3-layer LSTM. Data yang digunakan pada paper ini  adalah  kumpulan  dokumen  berita  berbahas  Indonesia  IndoSum.  Penelitian  ini  juga mendefinisikan  tiga  skenario  yang  berbeda  dalam  hal preprocessing ,  yaitu  skenario  dengan stemming dan stopword  removal ,  hanya stemming ,  dan  tanpa  keduanya.  Hasil  pengujian menunjukkan hasil yang rendah untuk skenario pertama ( stemming dan stopword removal ) karena pengurangan kata yang signifikan akibat stopword removal . Hasilnya memiliki F1-score rata-rata sekitar 0.08612 dan F1-score maksimum sekitar 0.45977. Penelitian menggunakan metode LSTM juga  dilakukan  oleh  Mustikasari [7] .  Paper  tersebut  melakukan  peringkasan  abstraktif menggunakan  metode  LSTM  pada news atau  berita  dari Hindu,  Indian  Times ,  dan Guardian . Dataset ini terdiri dari 4515 buah artikel beserta ringkasan teks sebagai target output. Penelitian juga melakukan dua pengujian yaitu dengan evaluasi metode intrinsik pada artikel non-stemming dan pada artikel Stemming . Nilai rata-rata recall artikel berita non-stemming adalah sebesar 41%, precision sebesar 81%, dan F-measure sebesar 54,27%. Sedangkan nilai rata-rata recall artikel berita dengan teknik stemming sebesar 44%, precision sebesar 88%, dan F-measure sebesar 58,20 %. [8]
Peringkasan otomatis pada paper sebelumnya masih menggunakan dataset single dokumen, oleh  karena  itu  paper  ini  ingin  melakukan  peringkasan  menggunakan  dataset  multi  dokumen. Dataset  multi  dokumen  sendiri  adalah  gabungan  dari  beberapa  dataset  single  dokumen  yang dijadikan  satu  menjadi  dokumen  utuh.  Tujuannya  adalah  untuk  merangkum  informasi  dari berbagai sumber yang berbeda sehingga pembaca dapat memahami gambaran keseluruhan dari beberapa berita sekaligus.

## 2. METODE PENELITIAN
Penelitian  dimulai  dengan  proses  pengumpulan  dokumen  yang  berasal  dari  kumpulan artikel berbahasa Indonesia IndoSum. Setelah dokumen-dokumen terkumpul, langkah selanjutnya adalah melakukan preprocessing . Preprocessing melibatkan serangkaian langkah, termasuk text cleaning ,  tokenisasi, stopword  removal ,  dan stemming . Text  cleaning bertujuan  untuk membersihkan  dokumen  dari  karakter  khusus,  tanda  baca,  dan  elemen  yang  tidak  diperlukan. Tokenisasi  membagi  teks  menjadi  unit-unit  seperti  kata  atau  frasa. Stopword  removal menghilangkan  kata-kata  umum  yang  tidak  memberikan  makna  khusus.  Sedangkan stemming mengubah kata-kata menjadi bentuk dasarnya. [9]

## Gambar 1. Alur Peringkasan Multi dokumen
Setelah preprocessing selesai,  langkah  berikutnya  adalah  ekstraksi  fitur  menggunakan metode  Word2Vec,  yang  membantu  dalam  menganalisis  hubungan  antar  kata  dalam  teks. Selanjutnya, model peringkasan dibangun dengan menggunakan algoritme seperti LSTM (Long Short-Term  Memory )  untuk  melatih  model  peringkasan.  Proses  pelatihan  dilakukan  pada  data latih,  di  mana  model  belajar  untuk  merangkum  teks  dengan  menggunakan  informasi  dari dokumen-dokumen yang telah diolah sebelumnya.[10]
Terakhir,  hasil  peringkasan  dievaluasi  menggunakan  metrik  seperti  Rouge-1,  yang mengukur sejauh mana ringkasan yang dihasilkan oleh model mencerminkan kesamaan dengan ringkasan referensi. Evaluasi ini membantu menentukan sejauh mana model peringkasan telah berhasil  dalam  menangkap  inti  dari  dokumen-dokumen  yang  telah  diolah.  Dengan  demikian, melalui metode ini, peringkasan teks yang akurat dan informatif dapat dihasilkan dari kumpulan dokumen yang relevan.

## 2.1 Single-document
Dataset  yang  dipakai  dalam  penelitian  ini  merupakan  kumpulan  artikel  berita single-document Bahasa  Indonesia  bernama  IndoSum  yang  dianggap  sebagai  benchmark  untuk  kasus  peringkasan  teks otomatis. IndoSum terdiri dari 19 ribu pasangan artikel berita dan ringkasan yang dibuat oleh dua penutur asli bahasa Indonesia. Artikel-artikel pada dataset tersebut diambil dari beberapa portal berita online seperti CNN Indonesia dan Kumparan. Terdapat enam kategori berita pada dataset ini, yaitu hiburan, inspirasi, olahraga, industri hiburan, headline, dan teknologi. Dalam penelitian ini, digunakan 150 sampel data dari dataset tersebut dan setiap kategori dianggap sama penting.[11]

## 2.2 Filtering
Filtering  merupakan  proses  untuk  menggabungkan  dan  mengelompokkan  beberapa dokumen  berdasarkan  kategori  dan  topik  yang  sama  menjadi  satu  story.  Proses  ini  dilakukan untuk  menyusun  multi-dokumen  yang  saling  terkait,  sehingga  informasi  yang  relevan  dapat ditemukan secara efisien.
2.3 multi-document berdasarkan  hasil  pengelompokan  objek  berita,  penelitian  ini  menghasilkan  50  story dengan masing-masing story berisi 3 hingga 5 berita single dokumen. Kemudian Story tersebut akan dilabeli oleh 5 responden, label dengan pilihan terbanyak akan digunakan untuk menentukan
label pada setiap kalimat dalam rangkuman.
Berita tersebut kemudian dipisah menjadi per kalimat untuk dijadikan kalimat yang bisa dipilih oleh responden. Kemudian mengambil data kalimat mana yang paling banyak dipilih oleh 5 responden.
Tabel 1 Label tiap responden No. Kalimat R1 R2 R3 R4 R5 Label No. Kalimat 1 1 1 0 1 0 1 1 2 0 1 1 0 1 1 2 3 0 0 0 0 0 0 3 4 0 1 1 1 1 1 4 5 0 1 0 0 0 0 5 ….. ….. ….. ….. ….. ….. ….. ….. 60 0 0 1 0 1 0 60

## 2.4 Pre-processing
Preprocessing adalah tahap awal dalam pemrosesan teks yang melibatkan serangkaian langkah  untuk  membersihkan  dan  mempersiapkan  data  teks  agar  dapat  digunakan  untuk pembuatan model peringkasan. Langkah-langkah preprocessing yang dilakukan dalam penelitian ini mencakup text cleaning , tokenisasi, stopword removal , dan stemming. [12]

## 2.5 Ekstraksi Fitur
Ekstraksi  fitur  pada  peringkasan  teks  berita  ini  digunakan  teknik Word2Vec untuk melakukan Ekstraksi fitur. Word2Vec digunakan sebagai salah satu metode untuk mengubah teks menjadi  representasi  vektor  yang  dapat  digunakan  sebagai  input  pada  model  LSTM.  Hal  ini dilakukan dengan mengubah setiap kata dalam teks menjadi vektor Word2Vec yang kemudian dijadikan input pada model LSTM.[13]
Word2vec memiliki dua model yaitu Continous Bag of Word (CBOW) dan Skip-gram. Model CBOW bekerja dengan mengambil beberapa kata di sekitar kata target (yang ingin di- representasikan sebagai vektor) dan mencoba memprediksi kata target tersebut. Model CBOW menggunakan informasi dari kata-kata di sekitar kata target untuk memprediksi kata target. Model Skip-gram bekerja dengan cara sebaliknya. Model ini mengambil sebuah kata target dan mencoba memprediksi kata-kata yang mungkin muncul di sekitarnya.
Gambar 2. Arsitektur CBOW

## Gambar 3 Arsitektur Skip-gram

## 2.6   Pelatihan Data
Model  untuk  melatih  data  menggunakan  metode  LSTM.  LSTM  ( Long  Short-Term Memory) adalah varian dari jenis jaringan saraf tiruan RNN (Recurrent Neural Network). LSTM pertama kali diusulkan oleh [14] . LSTM dikembangkan untuk mengatasi masalah yang dihadapi oleh  RNN  dalam  mengingat  informasi  yang  lama  dalam  sekuensial  panjang.  LSTM  memiliki kemampuan yang lebih baik dalam menangani masalah yang lebih kompleks, seperti pemrosesan bahasa alami, teks generasi, dan pengenalan suara [15]
LSTM  memiliki  struktur  yang  lebih  kompleks  dibandingkan  RNN,  yang  terdiri  dari beberapa "unit LSTM" yang dapat mengingat informasi yang lama dan melupakan informasi yang tidak relevan. Setiap unit LSTM memiliki tiga jenis operasi yang disebut "input gate", "forget gate" , dan " output gate ". Input gate digunakan untuk menentukan informasi yang akan disimpan dalam hidden state, forget gate digunakan untuk menentukan informasi yang akan dihapus dari hidden state , dan output gat e digunakan untuk menentukan informasi yang akan digunakan untuk membuat prediksi. [8]
2.7   Peringkasan
Setelah  model  LSTM  dilatih  dan  dievaluasi,  Model  tersebut  dapat  digunakan  untuk melakukan peringkasan teks ekstraktif. Caranya adalah dengan memberikan teks berita sebagai input, dan model akan memberikan label true atau false pada setiap kalimat dalam teks. Kalimat dengan label true akan dipertahankan dan dijadikan sebagai ringkasan teks, sedangkan kalimat dengan label false akan dihapus.
2.8   Evaluasi
Proses evaluasi menggunakan metode ROUGE. Model ROUGE yang digunakan adalah model ROUGE-1, ROUGE-1 adalah salah satu metode evaluasi yang digunakan untuk mengukur sejauh mana sebuah sistem ringkasan teks mampu menghasilkan ringkasan yang sesuai dengan dokumen aslinya. ROUGE-1 umumnya digunakan dalam penelitian dan pengembangan sistem ringkasan otomatis. Model ROUGE bekerja dengan cara menghitung kesamaan kata-kata yang terdapat dalam ringkasan yang dihasilkan oleh sistem dengan gold summaries pada setiap data uji secara unigram atau satu kata demi satu kata. Dari hasil perhitungan tersebut, akan dihitung nilai recall, precision, dan f1-score untuk mengevaluasi kinerja sistem. [16].
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = (𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑎 𝑜𝑣𝑒𝑟𝑙𝑎𝑝𝑝𝑖𝑛𝑔) (𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑎 𝑑𝑖 𝑟𝑖𝑛𝑔𝑘𝑎𝑠𝑎𝑛 𝑜𝑡𝑜𝑚𝑎𝑡𝑖𝑠) 𝑟𝑒𝑐𝑎𝑙𝑙 = (𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑎 𝑜𝑣𝑒𝑟𝑙𝑎𝑝𝑝𝑖𝑛𝑔) (𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑎 𝑑𝑖 𝑟𝑖𝑛𝑔𝑘𝑎𝑠𝑎𝑛 𝑚𝑎𝑛𝑢𝑠𝑖𝑎) 𝑟𝑒𝑐𝑎𝑙𝑙 =  𝑓 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = (2 ∗ 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑟𝑒𝑐𝑎𝑙𝑙) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙)

## 3. HASIL DAN PEMBAHASAN

## 3.1.  Hasil Pelatihan Data
Data yang akan dilatih akan dibagi menjadi data latih dan uji menggunakan metode K- Fold Cross-Validation untuk membagi data menjadi 5-fold. Pendekatan ini memungkinkan untuk menguji dan melatih model pada setiap fold secara bergantian, memastikan hasil pelatihan yang lebih kuat dan evaluasi yang lebih reliabel. Langkah-langkah pelatihan dan evaluasi model akan dilakukan pada setiap fold secara berulang untuk memastikan hasil yang konsisten dan akurat.
Setelah data di bagi menjadi dua, data latih akan dilakukan pelatihan menggunkan metode LSTM. Data yang dilatih akan ada dua model yaitu CBOW dan Skip-gram(sg). Hasil loss dan akurasi dari pelatihan data ditunjukkan pada gambar dibawah.
Gambar 5. Grafik model cbow fold-1
Gambar 6. Grafik model cbow fold-2
Gambar 7 Grafik model  cbow fold-3 Gambar 8 Grafik model cbow fold-4
Gambar 9 Grafik model  cbow fold-4
Gambar 10 Grafik model sg fold-1 Gambar 11 Grafik model sg fold-2
Gambar 12 Grafik model sg fold-3
Gambar 13 Grafik model sg fold-4
Gambar 14 Grafik model sg fold-5
Pada  Gambar  6  sampai  gambar  sepuluh  menujukkan  grafik  loss  akurasi  pada  model CBOW sedangkan pada gambar 11 sampai 14 merupakan grafik loss akurasi pada model Skip- gram. Grafik menunjukkan bahwa nilai loss turun dan nilai akurasi naik secara stabil pada setiap epoch -nya.  Penurunan  nilai  loss  menunjukkan  bahwa  model  semakin  mampu  meminimalisir kesalahannya,  peningkatan  akurasi  menunjukkan  bahwa  model  semakin  mampu  memprediksi hasil  yang  benar.  Dengan  demikian  dapat  disimpulkan  bahwa  model  LSTM  telah  berhasil menghasilkan  model  yang  konvergensi,  mampu  menggeneralisasi  dengan  baik,  dan  memiliki kinerja yang stabil pada data training.

## 3.4   Hasil Evaluasi
Model yang telah dilatih akan digunakan untuk memprediksi setiap label pada kalimat data uji yang mana label tersebut digunakan sebagai acuan peringkasan. Setelah mendapatkan ringkasan  sistem,  ringkasan  tersebut  akan  dievaluasi  dan  dibandingkan  dengan  ringkasan  asli. Evaluasi  dilakukan  menggunakan  metode  Rouge-1  untuk  mendapatkan  nilai recall,  precision, dan F-measure. Pada tabel 3 dan 4 menampilkan nilai rata-rata recall, precision, dan f-measure pada tiap fold-nya
Tabel 2 Hasil rata-rata

## Rouge-1 tiap fold pada model CBOW
Fold Recall Precision F-measure 1 0.462 0.683 0.532 2 0.473 0.687 0.546 3 0.534 0.715 0.592 4 0.490 0.711 0.550 5 0.479 0.724 0.529 Rata-rata 0.487 0.704 0.550
Tabel 3 Hasil rata-rata Rouge-1 tiap fold pada model Skip-gram
Fold Recall Precision F-measure 1 0.422 0.677 0.510 2 0.436 0.701 0.516 3 0.460 0.710 0.579 4 0.354 0.597 0.436 5 0.398 0.751 0.479 Rata-rata 0.414 0.687 0.504
Untuk uji coba pertama digunakan model CBOW dengan 5-fold didapatkan nilai rata- rata F-measure tertinggi sebesar 0.592 yaitu pada fold-3, nilai rata- rata recall tertinggi sebesar 0.5341 pada fold ke-3 dan nilai rata-rata precision tertinggi sebesar 0.724 pada fold ke-5. Untuk uji coba kedua digunakan model Skip-gram dengan 5-fold didapatkan nilai rata-rata F-measure tertinggi sebesar 0.579 yaitu pada fold ke-3, nilai rata- rata recall tertinggi sebesar 0.460 pada fold ke-3 dan nilai rata-rata presisi tertinggi sebesar 0.751 pada fold ke-5.

## 4. KESIMPULAN DAN SARAN
Berdasarkan hasil uji coba yang telah dilakukan menunjukkan bahwa metode RNN dapat melakukan peringkasan multi dokumen dengan baik. Dari dua model word2vec yang digunakan menujukan bahwa model CBOW menghasilkan nilai Rouge-1 lebih baik dari pada model Skip- gram dengan rata-rata  nilai f-measure sebesar  0.5502  sedangkan  nilai  rata-rata f-measure dari model Skip-gram sebesar 0.504. Kemudian, dari hasil uji coba diatas menujukan nilai rouge-1 terbaik  dari  masing-masing  model  terdapat  pada  fold-3  dengan  nilai  rata-rata  f-measure  dari model CBOW dan Skip-gram adalah 0.592 dan 0.5793.
Saran untuk penelitian ini adalah penambahan jumlah dataset. Dataset yang lebih banyak akan membuat model yang lebih optimal karena model akan belajar dengan lebih banyak berita dengan berbagai topik yang berbeda. Kemudian untuk ekstraksi fitur mungkin bisa menggunakan metode yang lebih bari seperti fasttext atau Glove.

## DAFTAR PUSTAKA
[1] S. N. Asiyah and K. Fitrhiasari, “Klasifikasi Berita Online Menggunakan Metode Support Vector Machine dan K- Nearest Neighbor,” JURNAL SAINS DAN SENI ITS , vol. 5, no. 2, pp. 317–322, 2016.
[2] D. Anjar Prabowo, M. Fhadli, M. Ainun Najib, H. Agus Fauzi, I. Cholissodin, and P. Studi Informatika,  “TF-IDF-Enhanced  Genetic  Algorithm  untuk  Extractive  Automatic  Text Summarization,” 2016.
[3] I. M. Suwija Putra, Y. Adiwinata, D. P. Singgih Putri, and N. P. Sutramiani, “Extractive Text Summarization of Student Essay Assignment Using Sentence Weight Features and Fuzzy C-Means,” International Journal of Artificial Intelligence Research , vol. 5, no. 1, Jan. 2021, doi: 10.29099/ijair.v5i1.187.
[4] I. P. G. H. Saputra, “Peringkasan  Teks  Otomatis  Untuk Dokumen Bahasa Bali Berbasis Metode Ektraktif,” Jurnal Ilmiah ILMU KOMPUTER Universitas Udayana , vol. X, no. 1, pp. 33–38, 2017.
[5] R. Adelia, S. Suyanto, and U. N. Wisesty, “Indonesian Abstractive Text Summarization Using Bidirectional Gated Recurrent Unit,” Procedia Comput Sci , vol. 157, pp. 581–588, 2019, doi: 10.1016/j.procs.2019.09.017.
[6] M.  A.  Saputra,  “Peringkas  Teks  Otomatis  Bahasa  Indonesia  secara  Abstraktif Menggunakan  Metode  Long  Short-Term  Memory,” e-Proceeding  of  Engineering ,  pp. 3473–3488, 2021.
[7] K. Ivanedra and M. Mustikasari, “Implementasi Metode Recurrent Neural Network Pada Text Summarization dengan Teknik Abstraktif,” vol. 6, no. 4, pp. 377–382, 2019, doi: 10.25126/jtiik.201961067.
[8] M. Vebika Shyahrin, Y. Sibaroni, and D. Puspandari, “Penerapan Metode Long Short- Term  Memory  dan  Word2Vec  dalam  Analisis  Sentimen  Ulasan  pada  Aplikasi  Ferizy LSTM and Word2Vec Application for Sentiment Analysis of Reviews on Ferizy,” 2023.
[9] N.  Savanti  Widya  Gotami  and  R.  Kartika  Dewi,  “Peringkasan  Teks  Otomatis  Secara Ekstraktif  Pada  Artikel  Berita  Kesehatan  Berbahasa  Indonesia  Dengan  Menggunakan Metode Latent Semantic Analysis,” 2018. [Online]. Available: http://j-ptiik.ub.ac.id
[10]  M.  M.  Rahman  and  F.  H.  Siddiqui,  “An  Optimized  Abstractive  Text  Summarization Model  using  Peephole  Convolutional  LSTM,” Symmetry  (Basel) ,  vol.  11,  no.  10,  Oct. 2019, doi: 10.3390/sym11101290.
[11]  K. Kurniawan and S. Louvan, “IndoSum: A New Benchmark Dataset for Indonesian Text Summarization,” in Proceedings of the 2018 International Conference on Asian Language Processing, IALP 2018 , Institute of Electrical and Electronics Engineers Inc., Jan. 2019, pp. 215–220. doi: 10.1109/IALP.2018.8629109.
[12]  F.  Hasibuan,  W.  Priatna,  and  T.  Sri  Lestari,  “Analisis  Sentimen  Terhadap  Kementrian Perdagangan Pada Sosial Media Twitter Menggunakan Metode Naïve Bayes Sentiment Analysis Of The Ministry Of Trade On Twitter Social Media Using Naïve Bayes Method,” 2022.
[13]  T. Mikolov, K. Chen, G. Corrado, and J. Dean, “Distributed Representations of Words and Phrases and their Compositionality,” 2013.
[14]  S. Hochreiter and J. ̈urgen Schmidhuber, “Long Short-Term Memory,” 1997.
[15]  P. Liu, X. Qiu, and X. Huang, “Recurrent Neural Network for Text Classification with Multi-Task Learning,” May 2016, [Online]. Available: http://arxiv.org/abs/1605.05101
[16]  A.  Naufal  Ammar,  “Peringkasan  Teks  Ekstraktif  Menggunakan  Binary  Firefly Algorithm,” Ind.  Journal  on  Computing ,  vol.  5,  no.  2,  pp.  32–42,  2020,  doi: 10.21108/indojc.2020.5.2.440.