## Pengaruh Stopword Removal dan Stemming Terhadap Performa Klasifikasi Teks Komentar Kebijakan New Normal Menggunakan Algoritma LSTM
Agil Santosa 1 , Intan Purnamasari 2 , Rini Mayasari 3 1,2,3 Teknik Informatika, Universitas Singaperbangsa Karawang, Indonesia Jl. H.S. Ronggowaluyo Kel. Puseurjaya Kec. Telukjambe Timur Kab. Karawang Prov. Jawa Barat, 0267641177 agil.santosa17039@student.unsika.ac.id 1 , intan.purnamasari@staff.unsika.ac.id 2 , rini.mayasari@staff.unsika.ac.id 3

## Abstract
The development of information technology has made the popularity of social media increase in recent years, one of which is Youtube. Youtube’s popularity make this platform a major source of sentiment where almost everyone tends to express their views in the form of comments. These commnent  not  only  express  people  but  also  have  more  meaning  about  their  experiences. Comments  originating  from  social  media  are  unstructured  so  that  in  sentiment  analysis  the preprocessing  stage  is  an  important  task.  There  are  many  techniques  used  in  preprocessing including  stopwrod  and  stemming.  However,  several  studies  have  shown  that  the  use  of stopword and stemming gives different result. Therefore, in this paper, the researcher further anlyzes  the  effect  of  applying stopword  and  stemming on  Youtube  video  comment  regarding the New Normal policy using Long Short Term-Memory. The result obtained we found that the use of stopword and stemming greatly affects the performance of the model,  this is because a lot  of  information  is  lost  after  the  stopword  process  and  some  words  change  meaning  after stemming.
Keywords : Long Short Term-Memory, Youtube, Classification, Stopword, Stemming
Abstrak
Perkembangan teknologi informasi menjadikan popularitas media sosial meningkat beberapa tahun  terakhir,  salah  satunya  yaitu  Youtube.  Kepopuleran  Youtube  menjadikan  platform  ini sebagai  sumber  utama  sentimen  dimana  hampir  setiap  orang  cenderung  mengekspresikan pandangannya dalam bentuk komentar. Komentar ini tidak hanya mengekspresikan seseorang tetapi  juga  memiliki  makna  lebih  tentang  pengalaman  mereka.  Komentar  yang  berasal  dari media sosial bersifat tidak terstruktur, sehingga dalam analisis sentimen tahap preprocessing menjadi  salah  satu  tugas  penting.  Ada  banyak  Teknik  yang  digunakan  dalam  preprocessing diantaranya  stopword  dan  stemming.  Namun  beberapa  penelitian  telah  menunjukan  bahwa penggunaan stopword dan stemming memberikan hasil yang berbeda. Oleh karena itu dalam makalah  ini  peneliti  menganalisis  lebih  lanjut  pengaruh  penerapan  stopword  dan  stemming pada  komentar  video  Youtube  mengenai  kebijakan  New  Normal  menggunakan  Long  Short Term-Memory.  Hasil  yang  didapatkan  kami  menemukan  bahwa  penggunaan  stopword  dan stemming  sangat  mempengaruhi  performa  model,  hal  tersebut  dikarenakan  banyaknya informasi yang hilang setelah proses stopword dan terdapat beberapa kata yang mengalamai pergantian makna setelah dilakukan stemming.
Kata kunci : Long Short Term-Memory, Youtube, Klasifikasi, Stopword, Stemming
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti

## 1. PENDAHULUAN
Perkembangan  teknologi  informasi  menjadikan  popularitas  media sosial  meningkat  beberapa  tahun  terakhir,  salah  satunya  media  sosial Youtube  [1].  Menurut  Hootsuite  pada  tahun  2020,  pengguna  aktif  media sosial Youtube di Indonesia mencapai 88% dari jumlah populasi. Media sosial Youtube  merupakan  merupakan  salah  satu  media  yang  efektif,  dimana pengguna dapat memberikan pendapat dan opininya secara langsung melalui sebuah  komentar.  Beragam  komentar  dalam  video  memiliki  makna  lebih tentang  pengalaman  pengguna  dalam  menyampaikan  pendapat.  Bagian terpenting  dalam  mengumpulkan  informasi  adalah  dengan  memahami  apa yang orang lain pikirkan [2]. Hal ini menjadikan Youtube salah satu resource atau  sumber feedback bagi  pemerintah,  organisasi  swasta,  dan  penyedia layanan lainnya untuk mendapatkan pendapat tentang produk, layanan, atau kebijakan  pemerintah  [3].  Setiap  komentar  didalam  video  Youtube menghasilkan data tidak terstruktur dan terdapat banyak noise [4]. Analisis sentimen merupakan salah satu metode yang digunakan untuk mengekstrasi informasi dari kumpulan data dengan menentukan polaritas dari sebuah teks berdasarkan  sentimen  yang  mencerminkan  teks  tersebut  [5].  Banyak penelitian  yang  telah  mempresentasikan  metode  klasifikasi  dalam  analisis sentimen [6], [7].
Dalam  klasifikasi  sentimen,  langkah  pertama  yang  harus  dilakukan adalah preprocessing  data . Preprocessing  data merupakan  proses penghapusan data tidak tersturktur dari data yang diperoleh [8]. Oleh karena itu  peran preprocessing  data sangat  penting  karena  dapat  mempengaruhi akurasi  dalam  melakukan  analisis  sentimen  [9].  Beberapa  langkah  dalam preprocessing data diantaranya stopword dan stemming [10]. Stopword merupakan  kata-kata  yang  umum  dalam  Bahasa  yang  tidak  memiliki kontribusi  secara  arti  dalam  sebuah  kalimat  [11],  sedangkan stemming merupakan penghilangan kata imbuhan dalam sebuah kata kedalam bentuk dasar [10].
Beberapa  peneliti  telah  menganalisis  dampak  dari preprocessing  data , seperti  yang  dilakukan  oleh  Ladani  dan  Desai  (2020)  mengidentifikasi pengaruh stopword dalam  mengklasifikasikan  teks  bahasa  India,  mampu meningkatkan nilai akurasi dan juga mengurangi ukuran corpus . Penerapan stemming juga meningkatkan akurasi dalam mengklasifikasikan teks Bahasa arab [13]. Dalam penelitian Alam dan Yao (2018) menerapkan stopword dan stemming menggunakan  algoritma machine  learning tidak  menunjukan peningkatan  akurasi.  Penelitian  lainnya  melakukan preprocessing  data menggunakan stopword dan stemming meningkatkan  akurasi  analisis sentimen  di  semua  situasi  [15].  Namun  apakah  penggunaan stopword dan stemming juga dapat meningkatkan  nilai akurasi dalam klasifikasi sentimen dari komentar video Youtube, mengingat komentar dari video Youtube tidak terstruktur dan mengandung banyak noise .
Berdasarkan  penjelasan  diatas,  penelitian  ini  ingin  memberikan kontribusi  di  bidang  penelitian  klasifikasi  sentimen  untuk  mengetahui
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
pengaruh  penerapan stopword dan stemming dalam  mengklasifikan komentar  video  Youtube  yang  menanggapi  kebijakan New  Normal menggunakan Long  Short  Term-Memory (LSTM).  Penggunaan  algoritma  ini dipilih karena menurut Kedia dan Rasu (2020), LSTM menggunakan struktur yang disebut gate untuk membantu menyimpan informasi yang diperlukan, sehingga dapat mempertahankan informasi jangka panjang. Dalam penelitian yang  dilakukan  Fang  dkk  (2021)  menerapkan  algoritma Long  Short  Term- Memory untuk  memprediksi  kerentanan  banjir  berhasil  mendapatkan akurasi  93.75%.  penelitian  lainnya  dilakukan  dalam  mengklasifikan tweets laporan  masalah  di  Surabaya  berhasil mendapatkan  akurasi  87% menggunakan algoritma Long Short Term-Memory [7].

## 2. METODOLOGI PENELITIAN
Penelitian ini dilakukan dengan metodologi Team Data Science (TDSP). TDSP  merupakan  metodologi  yang  dikeluarkan  oleh  Microsoft  yang bertujuan untuk meningkatkan kolaborasi dan best practice dalam penelitian data  science [15].  Terdapat  beberapa  fase  dalam  metodologi  TDSP diantaranya:
2.1. Bussiness understanding
Yaitu fase penentuan tujuan bisnis dan rencana penelitian.

## 2.2. Data acquisition and understanding
Pada  fase  ini  beberapa  proses  akan  dilakukan  seperti  pengumpulan data  dengan  memanfaatkan tools  Webdriver  selenium untuk  mengambil komentar  video  Youtube  yang  berkaitan  dengan  kebijakan New  Normal . Kemudian dari data komentar yang didapatkan akan dilakukan preprocessing data sehingga  mesin  dapat  dengan  mudah  menguraikannya  dan  dapat direpresentasikan oleh algoritma [16]. Preprocessing data itu sendiri terbagi menjadi beberapa tahapan diantaranya:

## 2.3. Modelling
Modelling merupakan  fase  pembuatan  model.  Fase  ini  dibagi  menjadi beberapa tahapan, diantaranya:
a) Splitting data
Data yang sebelumnya telah melalui proses tokenizing selanjutnya akan dilakukan splitting  data , yaitu  membagi  dataset  menjadi  dua,  yaitu training set dan test  set .  Dimana training  set akan  digunakan  untuk  proses training model,  sedangkan test  set digunakan  untuk  menguji  peforma  dari  model. Berdasarkan penelitian Wildan dkk (2019) menunjukan bahwa hasil terbaik diperoleh  dengan  menggunakan  perbandingan  80:20,  sehingga  dalam penelitian  ini  rasio  perbandingan  yang  akan  digunakan  yaitu  80:20  untuk training set dan test set secara berurutan.
b) Word Embedding
Pada  tahapan  ini  implementasi Word  embedding yaitu  proses merepresentasikan  kata  ke  dalam  sebuah  angka  tau  vektor,  sehingga  dapat
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
dilakukan  operasi  vektor  untuk  melihat  kedekatan  dari  kata  tersebut. Misalnyan ditemukan hubungan antara vektor dari kata ‘pria’ dan vektor dari kata  ‘wanita’.  Pada  penelitian  ini  menggunakan  FastText  dan  Wikipedia dump untuk model language .
c) Pembuatan Model
Pada tahap ini dataset akan dilakukan training model Long Short-Term Memory menggunakan bahasa pemograman Python 3 dengan library Keras.

## 2.4. Deployment
Pada fase ini model yang telah dibuat akan dilakukan test dan evaluasi dari data test yang sebelumnya belum pernah di training .

## 3. HASIL DAN PEMBAHASAN
Hasil  penelitian  ini  dilakukan  untuk  mengetahui  pengaruh  dari penerapan stopword  removal dan stemming pada  tahap preprocessing menggunakan  algoritma Long  Short  Term-Memory .  Analisis  menggunakan Google Colab dengan menggunakan bahasa pemograman python 3 dan 12GB RAM.

## 3.1. Bussiness understanding
Tujuan  dari  penelitian  ini  adalah  untuk  mengetahui  pengaruh  dari penerapan stopword  removal dan stemming pada  tahap preprocessing terhadap  performa  klasifikasi  teks  komentar  video  Youtube  mengenai kebijakan New Normal menggunakan algoritma Long Short Term-Memory .

## 3.2. Data Acquisition and understanding
Selanjutnya pada tahap ini, beberapa proses akan dilakukan, termasuk tahap  pengumpulan  dan  persiapan  data  ( preprocessing )  untuk  dapat digunakan sebagai dataset yang nanti akan diproses menggunakan algoritma. Pengumpulan  data  dilakukan  dengan  menggunakan  Webdriver  Selenium untuk  mendapatkan  data  komentar  video  yang  berkaitan  dengan  kebijakan New  Normal di  media  sosial  Youtube.  Setelah  proses  pengumpulan  data selesai,  dilanjutkan  ke  proses  pemahaman  data.  Proses  pemahaman  data dilakukan  untuk  menentukan  data  yang  dibutuhkan  dari  data  yang  telah diperoleh  serta  pelabelan  data  yang  digunakan  sebagai train  dataset . Kemudian  langkah  selanjutnya  dilakukan  beberapa  tahap preprocessing , salah  satunya  adalah  pembersihan  data  guna  menghilangkan  atribut  atau kolom yang tidak digunakan dan pembersihan data berupa emoticon , simbol- simbol,  angka,  maupun  karakter  selain  huruf  yang  tidak  memiliki  arti. Berikut rincian setiap tahapan.

## 3.2.1. Pengumpulan Data
Pengumpulan data dilakukan pada tanggal 26 mei 2020 sampai 9 april 2021. Data komentar yang didapatkan sebanyak 53.762 baris dengan atribut username dan comment yang diambil dari 20 video Youtube yang berkaitan
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
dengan  kebijakan New  Normal .  Berikut  merupakan  judul  video  yang digunakan akan ditampilkan pada Tabel 1.
Tabel 1. Judul video Youtube No Judul video 1 Terdampak Covid-19, RI Siap Masuki Era New Normal? (CNBN Indonesia) 2 Jelang New Normal, Bandara Soekarno Hatta Perketat Persyaratan Calon Penumpang (KOMPASTV)
3 Sorotan: Indonesia Bersiap Jalani New Normal (KOMPASTV)
4 Sorotan: Indonesia Bersiap Menuju New Normal? (KOMPASTV)
5 [FULL] Jokowi: New Normal, Kita Harus Berkompromi Dengan Covid (KOMPASTV) 6 Skenario New Normal, Masyarakat Harus Berdamai, Mahfud: Virus
Corona Seperti Istri (Trimbunnews.com)
7 Implementasi dan Konsekuensi 'New Normal' (CNN Indonesia)
8 'New Normal' dan Implikasinya untuk Indonesia (CNN Indonesia)
9 Selamat Datang "New Normal"! (CNN Indonesia)
10 Akankah New Normal Berpotensi Picu Gelombang Kedua Virus Corona?
(KOMPASTV)
11 Hadapi ''New Normal'' di Tengah Pandemi (CNN Indonesia) 12 Sorotan: Indonesia Bersiap Jalani New Normal (KOMPASTV) 13 Catat! Mulai 1 Juni Kebijakan New Normal, Jurus Pamungkas Selamatkan Ekonomi? | tvOne (tvOneNews)
14 Anies Tarik "Rem Darurat", Jakarta PSBB Total (CNN Indonesia) 15 Ini Usul Ridwan Kamil ke Anies Soal PSBB Penuh di DKI Jakarta
(KOMPASTV) 16 Bersiap PSBB Ketat di Jakarta, Asosiasi Mal: Jilid 2 Ini Kami Sudah Babak Belur! (KOMPASTV)
17 Beda Suara antara Anies Baswedan dan Pusat Soal Kebijakan PSBB, Ada Apa? (KOMPASTV)
18 Wali Kota Bogor Bicara Terkait PSBB (CNN Indonesia) 19 INDONESIA TERSERAH' Buntut Plin plan Kebijakan Negara | tvOne (tvOneNews)
20 TAJAM! Kritik Keras Rizal Ramli Kepada Presiden Jokowi Dalam Menghadapi Covid-19 | ILC tvOne (Indonesia Lawyers Club) Tabel 2. Contoh hasil pengumpulan data No Username Comment 1 Lisa Asli ya Tuhan sembuhkanlah Indonesia kami dari wabah virus covid 19 luputkanlah di muka bumi supaya bisa new normal kembali 2 Siti Halimah Alhamdulillah, smga negri ini semakin membaik... Bangkit indonesia ku 3 Yadi sky New prank Nih di tunggu. Pada sesi new normal.
Pada  Tabel  2  ditunjukan  contoh  hasil  komentar  yang  didapatkan  dari  hasil scrapping menggunakan Webdriver selenium.

## 3.2.2. Preprocessing data
Data  komentar  yang  telah  didapatkan  kemudian  dilakukan preprocessing  yang  bertujuan  untuk  membersihkan  data  atau  atribut  yang tidak  relevan  dengan  penelitian  yang  dilakukan.  Serta  mengkonversi  kata sehingga  memiliki  standar  yang  sama.  Berikut  beberapa  tahapan preprocessing:
a) Casefolding dan cleansing Pada tahap ini data komentar akan dilakukan penghapusan kolom atau atribut Username dikarenakan  tidak  relevan  dengan  penelitian  yang  akan dilakukan.  Selain  penghapusan  atribut  atau  kolom  yang  tidak  digunakan, pada  tahap  ini  juga  dilakukan  pembersihan  data  berupa  emoticon,  simbol- simbol,  angka,  maupun  karakter  selain  huruf  yang  tidak  memiliki  arti. Kemudian semua huruf akan dijadikan huruf kecil (lowercase) . Pada Tabel 3 merupakan contoh proses hasil dari casefolding dan cleansing .
Tabel 3. Contoh hasil casefolding dan cleansing Proses Comment Data Ya  Tuhan  sembuhkanlah  Indonesia  kami  dari  wabah  virus Covid  19  luputkanlah  di  muka  bumi  supaya  bisa  New  Normal kembali Casefolding ya tuhan sembuhkanlah indonesia kami dari wabah virus covid 19 luputkanlah di muka bumi supaya bisa new normal kembali Cleansing ya  tuhan  sembuhkanlah  indonesia  kami  dari  wabah  virus  covid 19 luputkanlah di muka bumi supaya bisa new normal kembali

## b) Stopword Removal
Proses  ini  akan  menghapus  kata  umum  yang  biasanya  muncul  dalam jumlah  besar  dan  dianggap  tidak  memiliki  makna.  Pada  tahap  ini menggunakan library Sastrawi  untuk  melakukan stopword  removal . Perbedaan  contoh  hasil  sebelum  dan  sesudah  dilakukan stopword  removal dapat dilihat pada Tabel 4.
Tabel 4. Perbedaan contoh hasil sebelum dan sesudah dilakukan stopword removal Proses Comment Data ya tuhan sembuhkanlah indonesia kami dari  wabah virus covid 19 luputkanlah di muka bumi supaya bisa new normal Kembali Stopword removal tuhan  sembuhkanlah  indonesia  dari  wabah  virus  covid  19 luputkanlah muka bumi bisa new normal
c) Stemming
Selanjutnya,  proses stemming akan  memfilter  kata  yang  memiliki imbuhan akan dikembalikan ke dalam bentuk baku. Seperti kata “memukul” akan menjadi “pukul”. Pada Tabel 5 ditunjukkan hasil penerapan stemming .
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
Tabel 5. Hasil penerapan stemming Proses Comment Data tuhan sembuhkanlah indonesia dari wabah virus covid 19 luputkanlah muka bumi bisa new normal Stopword removal tuhan sembuh indonesia dari wabah virus covid 19 luput muka bumi bisa new normal d) Labelling
Pemberian label pada komentar dilakukan secara semi-manual dengan menterjemahkan  data  ke  dalam  bahasa  Inggris  sehingga  akan  ditentukan skor  polaritas  dan  sentimen  (positif  dan  negatif)  menggunakan library TextBlob ,  kemudian  komentar  akan  diterjemahkan  kembali  ke  bahasa Indonesia  dan  dilakukan  pengecekan  secara  manual  untuk  memastikan pelabelan  sudah  benar  sesuai  dengan  sentimen  yang  dicerminkan  setiap komentar.  Berikut  merupakan  jumlah  persebaran  label  ditunjukkan  pada Gambar  1  yaitu,  38.191  komentar  berlabel  negatif  dan  15.571  komentar berlabel  positif.  Jumlah  persebaran  label  tersebut  sebelumnya  telah divalidasi oleh ahli bahasa.
Gambar 1. Hasil persebaran jumlah label setiap kategori
e) Tokenizing
Setelah  pelabelan  pada  data,  selanjutnya  data  dilakukan tokenizing , yaitu proses pembagian kata dari kalimat menjadi sebuah token, hal tersebut menjadikan  setiap  kata  memiliki  bilangan  biner.  Berikut  pada Gambar  2 merupakan contoh hasil dari tokenizing .
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
Gambar 2. Contoh hasil tokenizing
3.3. Modelling
Sebelum lanjut ke tahap pembuatan model, pada Gambar 1 ditunjukkan hasil  jumlah  persebaran  pada  masing-masing  kategori,  dimana  distribusi label  memiliki  ketimpangan  jumlah  angka  yang  sangat  besar,  dan  hal  ini dapat  mempengaruhi  kinerja  model  saat  melatih  data  tersebut.  Untuk  itu, upsampling dilakukan untuk membuat jumlah masing-masing label menjadi seimbang.  Idenya  dengan  mengambil  data  mayoritas  ( positive )  secara  acak agar  memiliki  jumlah  yang  sama  dengan  data  minoritas  ( negative ).  Berikut hasil dari upsampling ditunjukkan pada Gambar 3 .
Gambar 3. Hasil jumlah persebaran label setelah melalui proses upsampling
3.3.1. Splitting data
Setelah data melalui proses preprocessing ¸ selanjutnya yaitu proses split data guna membagi data menjadi data train dataset dan test dataset dengan perbandingan 80:20.
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
Tabel 6. Hasil splitting data Jumlah data Training set Test set 31.138 24.910 6228
Pada  table  6  ditunjukan  hasil  pembagian  sebanyak  24.910  data  sebagai training data set dan 6228 data sebagai test dataset .

## 3.3.2. Word Embedding
Pada  tahap  ini,  komentar  akan  diproses  sesuai  konteks  dan  akan menghasilkan  sebuah  vektor.  Ada  beberapa  tahapan  sebelum  melakukan proses word embedding , diantaranya, melakukan pemisahan kalimat menjadi kata  ( tokenization ),  dan  menentukan  beberapa  parameter  yang  akan digunakan.
Tabel 7. Parameter word embedding Word embedding Vector size Min count workers  Epoch Fasttext 300 3 10 1000
Pada Tabel 7 ditunjukkan beberapa parameter yang digunakan, diantaranya vector_size merupakan  dimensi  dari  vektor  yang  akan  dihasilkan, window merupakan  berapa  banyak  kata  disekitarnya  yang  akan  dipertimbangkan untuk dilatih, kemudian min_count merupakan berapa minimal kata muncul untuk  dijadikan  vocab,  dan  terakhir workers merupakan  berapa core CPU yang akan digunakan untuk melatih model. Setelah konfigurasi model sudah selesai, langkah selanjutnya proses training dengan 1000 epoch.

## 3.3.3. Pembuatan model
Sebelum  melakukan training pada  model  LSTM,  berikut  merupakan layer konfigurasi  yang  dilakukan  sebelum  proses training diantaranya, embedding  layer, Conv1D,  MaxPlooling1D, layer LSTM  dengan  32  neuron, Dropdout dengan  nilai  0.4,  dan Dense dengan  aktivasi  sigmoid  yang digunakan untuk fully connected yang akan memetakan output LSTM menjadi output 0  dan  1.  Dan optimizer Stochastic  Gradient  Descent (SGD) dengan learning rate 0.003.

## 3.4. Deployment
Setelah  proses  pemodelan  selesai,  langkah  selanjutnya  adalah menganalisis dan mengevaluasi dari proses pemodelan yang telah dilakukan. Tujuan  dilakukan  evaluasi  model  ini  bertujuan  untuk  mengetahui  kinerja dari  model  itu  sendiri  apakah  model  bekerja  dengan  baik  atau  sebaliknya. Pada penelitian ini metode yang digunakan untuk mengukur performa model menggunakan confusion  maxtrix sehingga  evaluasi  kinerja  model menghasilkan  akurasi, recall,  precision,  f1-score .  Evaluasi  yang  akan dilakukan  pada  penelitian  ini  terdapat  2  skenario,  yaitu  menerapkan stemming dan stopword  removal pada  tahap preprocessing dan  tanpa
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
menerapkan stemming dan stopword  removal pada  tahap preprocessing . Berikut merupakan hasil kinerja model LSTM dengan 2 skenario.
Gambar 4. Confusion matrix data test tanpa Stemming dan Stop word Removal
Pada  gambar  4  diatas  model  mampu  memprediksi  dengan  benar  komentar negatif  sebanyak  2519  dan  komentar  positif  sebanyak  2610.  Pada  table  8 juga disajikan hasil precision, recall, dan recall dari model tanpa menerapkan stopword dan stemming .
Tabel 8. Hasil rangkuman model tanpa Stemming dan Stop word Removal Precision  Recall  F1-score  Support Negatif 0.83 0.81 0.82 3114 Posistif 0.81 0.84 0.83 3114 Accuracy 0.82 6228 Macro avg 0.82 0.82 0.82 6228 Weighted avg 0.84 0.83 0.82 6228
Gambar 5. Confusion matrix data test dengan Stemming dan Stop word Removal
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
Pada gambar 5 diatas model berhasil memprediksi dengan benar komentar negatif sebanyak 2657 dan 1882 komentar positif. Dibawah ini pada tabel 9 juga  disajikan  hasil  dari precision,  recall, dan f1-score model  dengan menerapkan stopword dan stemming .
Tabel 9. Hasil rangkuman model dengan Stemming dan Stop word Removal Precision  Recall  F1-score  Support Negatif 0.68 0.85 0.76 3114 Posistif 0.80 0.60 0.69 3114 Accuracy 0.73 6228 Macro avg 0.74 0.73 0.72 6228 Weighted avg 0.74 0.73 0.82 6228

## 3.5. Pembahasan
Penelitian  ini  mengimplementasikan  algoritma Long  Short  Term- Memory untuk  mengetahui  pengaruh  penerapan stopword  removal dan stemming pada klasifikasi teks komentar video Youtube mengenai kebijakan New  Normal .  Berikut  merupakan  pembahasan  yang  akan  dilakukan  yaitu hasil evaluasi performa model dan hasil evaluasi klasifikasi tiap label.

## a) Hasil Evaluasi Performa Model
Hasil  implementasi  algoritma Long  Short  Term-Memory dalam mengklasifikasikan sentimen terhadap kebijakan New Normal menghasilkan hasil akurasi yang disajikan pada tabel 10.
Tabel 10. Hasil performa model Skenario Training accuracy  Training loss  Test accuracy  Test loss Dengan stopword dan stemming 0.76 0.5 0.73 0.56 Tanpa stopword dan stemming 0.87 0.32 0.82 0.4
Mengacu pada tabel 10 dapat diketahui pengujian terbaik pada model Long Short Term-Memory tanpa dilakukan Stemming dan Stop word Removal pada dataset,  menghasilkan  akurasi  0.82  dengan loss 0.4  berhasil  memprediksi 5129 data dengan benar dari total 6228 data. Sedangkan untuk model Long Short Term-Memory dengan melakukan stemming dan stopword removal test accuracy hanya  mendapatkan  0.73  dengan loss 0.56  berhasil  memprediksi 4539 data dengan benar dari total 6228 data.

## b) Hasil Evaluasi Klasifikasi Tiap Label
Berdasarkan Gambar  6 dapat  ditunjukan  hasil  prediksi  dari  model yang telah dibuat, model berhasil  melakukan klasifikasi terhadap data yang
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
belum  memiliki  label  sentimen.  Model  mampu  menangkap  informasi  dan mempelajari kalimat dengan baik dengan baik.

## Gambar 6 Hasil evaluasi klasifikasi tiap label
4.  SIMPULAN
Berdasarkan  eksperimen,  pengujian  dan  analisis  yang  telah  dilakukan dalam  mengetahui  pengaruh  penerapan stopword  removal dan stemming pada  tahap preprocessing pada  algoritma Long  Short  Term-Memory ,  maka dapat diambil kesimpulan sebagai berikut:
a) Penggunaan stopword  removal dan stemming sangat  mempengaruhi performa model, hal tersebut dikarenakan banyaknya informasi yang hilang  setelah  proses stopword removal dan  terdapat  beberapa  kata yang mengalami pergantian makna setelah dilakukan stemming.
b) Hasil  uji  model Long  Short  Term-Memory tanpa  menggunakan stopword removal dan stemming mendapatkan  skor  terbaik  dengan akurasi  0.82  dengan loss 0.4, precision 0.83, recall 0.81,  dan f1-score dengan skor 0.82.

## DAFTAR PUSTAKA
[1] Slamin,  Universitas  Negeri  Jember,  Institute  of  Electrical  and Electronics  Engineers.  Indonesia  Section,  Institute  of  Electrical  and Electronics  Engineers.  Indonesia  Section.  Computer  Society  Chapter, and Institute of Electrical and Electronics Engineers, Proceedings, 2019 International Conference on Computer Science, Information Technology, and Electrical Engineering (ICOMITEE  2019) : October 16th-17th 2019, Jember, Indonesia .
[2] V.  L.  Sheela,  S.  Anita,  S.  Sarada,  and  K.  Rajmohan,  “International Symposium  on  Induced  Mutations  in  Plants,” In  vitro  Mutagenesis  in
Dendribium CV Sonia , no. August, p. 118, 2008.
[3] R.  Ahuja,  A.  Chug,  S.  Kohli,  S.  Gupta,  and  P.  Ahuja,  “The  impact  of features  extraction  on  the  sentiment  analysis,”  in Procedia  Computer Science , 2019, vol. 152, pp. 341–348. doi: 10.1016/j.procs.2019.05.008.
[4] A.  Krouska,  C.  Troussas,  and  M.  Virvou,  “The  effect  of  preprocessing techniques  on  Twitter  Sentiment  Analysis.”  [Online].  Available: http://tweenator.com/index.php?page_id=13
Volume 6 Nomor 1, Maret 2022, pp. 81-93 ISSN: 2548-9771/EISSN: 2549-7200 https://tunasbangsa.ac.id/ejurnal/index.php/jsakti
[5] Institute  of  Electrical  and  Electronics  Engineers, 2018  International Arab Conference on Information Technology (ACIT).
[6] G.  K.  Pitsilis,  H.  Ramampiaro,  and  H.  Langseth,  “Effective  hate-speech detection  in  Twitter  data  using  recurrent  neural  networks,” Applied Intelligence ,  vol.  48,  no.  12,  pp.  4730–4742,  2018,  doi: 10.1007/s10489-018-1242-y.
[7] M.  Wildan,  M.  Annur,  and  B.  Kartika,  “Klasifikasi  Multi-label  Pada Laporan  Masyarakat  Kota  Surabaya  Melalui  Media  Sosial  Twitter Menggunakan Arsitektur Long Short-Term Memory,” 2019.
[8] J.  Mothe et  al. , Proceedings  of  2019  11th  International  Conference  On Knowledge  And  Systems  Engineering :  KSE  2019 :  October  24-26,  2019, Da Nang, Vietnam .
[9] Surya  Engineering  College  and  Institute  of  Electrical  and  Electronics Engineers, Proceedings  of  the  International  Conference  on  Computing Methodologies and Communication : ICCMC 2017 : 18-19, July 2017 . [10]  Krishna.  Bhavsar,  Naresh.  Kumar,  and  Pratap.  Dangeti, Natural Language Processing with Python Cookbook. Packt Publishing, 2017.
[11]  Thomas. Dop, Hands-On Natural Language Processing with PyTorch 1.x . Packt Publishing, 2020.
[12]  Sri  Eshwar  College  of  Engineering  and  Institute  of  Electrical  and Electronics Engineers, 2020 6th International Conference on  Advanced Computing and Communication Systems (ICACCS).
[13]  Y. A.  Alhaj, J. Xiang, D. Zhao, M. A. A. Al-Qaness, M. Abd Elaziz, and  A. Dahou,  “A  Study  of  the  Effects  of  Stemming  Strategies  on  Arabic Document Classification,” IEEE Access , vol. 7, pp. 32664–32671, 2019, doi: 10.1109/ACCESS.2019.2903331.
[14]  S. Alam and N. Yao, “The impact of preprocessing steps on the accuracy of machine  learning algorithms in sentiment analysis,” Computational and Mathematical Organization Theory , vol. 25, no. 3, pp. 319–335, Sep. 2019, doi: 10.1007/s10588-018-9266-8.
[15]  E.  Haddi,  X.  Liu,  and  Y.  Shi,  “The  role  of  text  pre-processing  in sentiment  analysis,”  in Procedia  Computer  Science ,  2013,  vol.  17,  pp. 26–32. doi: 10.1016/j.procs.2013.05.005.
[16]  A. Kedia  and M. Rasu, Hands-On Python Natural Language Processing: Explore tools and techniques to analyze and process text with a view to building real-world NLP applications . 2020.
[17]  Z. Fang, Y. Wang, L. Peng, and H. Hong, “Predicting flood susceptibility using  LSTM  neural  networks,” Journal  of  Hydrology ,  p.  125734,  2021, doi: 10.1016/j.jhydrol.2020.125734.
[18]  R.  B.  Severtson,  “What  is  the  Team  Data  Science  Process?,” Journal  of Chemical Information and Modeling , 2017.
[19]  S.  Kannan et  al. ,  “Preprocessing  Techniques  for  Text  Mining,” International Journal of Computer Science & Communication Networks , vol. 5, no. 1, pp. 7–16, 2015.