## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111

## Analisis Sentimen Movie Review menggunakan Word2Vec dan metode LSTM Deep Learning
Widi Widayat *
Fakultas Informatika, Program Studi Informatika, Institut Teknologi Telkom Purwokerto, Purwokerto, Indonesia Email: widi@ittelkom-pwt.ac.id
Email Penulis Korespondensi: widi@ittelkom-pwt.ac.id
Abstrak− Peningkatan jumlah pengguna internet sejalan dengan peningkatan jumlah data di internet yang tersedia untuk bisa dianalisis,  khususnya  data  dalam  bentuk  teks.  Ketersediaan  data  teks  ini  mendorong  penelitian  analisis  sentimen  banyak dilakukan. Namun ternyata ketersediaan data teks yang melimpah tersebut juga menjadi salah satu tantangan tersendiri dalam penelitian analisis sentimen. Dataset yang terdiri dari dokumen teks yang relatif panjang dan kompleks memerlukan pendekatan yang berbeda. Pada penelitian ini, LSTM dipilih untuk digunakan sebagai metode klasifikasi sentimen. Dataset yang digunakan adalah dataset movie review yang terdiri dari 25.000 dokumen review, dengan panjang rata-rata per review adalah 233 kata. Penelitian menggunakan metode CBOW dan Skip-Gram pada word2vec untuk membentuk vektor representasi dari setiap kata (word vector) di corpus. Beberapa ukuran dimensi dari word vector yaitu dimensi 50, 60, 100, 150, 200 dan 500 digunakan, untuk mengetahui pengaruhnya terhadap akurasi yang dihasilkan. Akurasi terbaik diperoleh pada ukuran dimensi word vector 100 sebesar 88.17% dan akurasi terendah sebesar 85.86% pada ukuran dimensi word vector 500.
Kata Kunci: Sentimen; Klasifikasi; RNN; LSTM; word2vec
Abstract− The increasing number of internet users is directly in line with the increasing number of data on the internet that is available  for  analysis,  especially data  in  text  form.  The  availability  of  this  text data  encourages  a  lot  of  sentiment  analysis research. However, it turns out that the availability of abundant text data is also one of the challenges in sentiment analysis research.  Datasets  that  consist  of  long  and  complex  text  documents  require  a  different  approach.  In  this  study,  LSTM  was chosen to be used as a sentiment classification method. This research uses a movie review dataset that consists of 25,000 review documents, with an average length per review is 233 words. The research uses CBOW and Skip-Gram methods on word2vec to form a vector representation of each word (word vector) in the corpus data. Several dimensions of the word vector was used in this research, there are 50, 60, 100, 150, 200, and 500, this tuning parameter is used to determine their effect on the resulting accuracy. The best accuracy around 88.17% is obtained at the word vector 100 dimension and the lowest accuracy is 85.86% at the word vector 500 dimension.
Keywords : Sentiment; Classification; RNN; LSTM; word2vec

## 1. PENDAHULUAN
Sejak memasuki era digital, terjadi peningkatan jumlah pengguna internet di dunia yang signifikan. Peningkatan jumlah pengguna internet tersebut selaras dengan peningkatan jumlah data yang tersedia di internet. Ketersediaan data yang melimpah di internet, terutama data teks telah mendorong banyak penelitian mengenai topik text mining maupun NLP ( Natural Languange Processing ). Salah satu penelitian NLP yang populer adalah penelitian analisis sentimen  [1],  [2].  Analisis  sentimen  merupakan  proses  komputasi  untuk  melakukan  klasifikasi  terhadap  data tekstual  sesuai  dengan  sentimen  yang  dimiliki.  Selain  alasan  ketersediaan  data  teks  yang  melimpah  saat  ini, penelitian  analisis  sentimen  semakin  populer  karena  alasan  kebutuhan  dari  banyak  pihak  mengenai  pendapat publik  terhadap  suatu  topik  tertentu.  Proses  analisis  sentimen  dipengaruhi oleh  dataset  yang  digunakan.  Untuk dataset yang terdiri dari kumpulan kalimat yang cukup panjang membutuhkan penanganan yang berbeda.
Dalam beberapa tahun terakhir penelitian mengenai analisis sentimen telah banyak dilakukan. Pendekatan atau metode yang sering digunakan  adalah metode machine learning tradisional seperti metode Lexicon based, Naïve  Bayes,  Maximum  Entropy maupun  metode  SVM  ( Support  Vector  Machine )  [1],  [3].  Penelitian  analisis sentimen yang dilakukan oleh Pang et al, menggunakan metode Naïve Bayes, Maximum Entropy classification dan SVM pada dataset Movie Review [4]. Lalu penelitian analisis sentimen yang selanjutnya, adalah penelitian oleh Dang  et  al  yang  menggunakan  metode  SVM  pada dataset  online  product  review [5].  Atau  penelitian  yang dilakukan  oleh  Saleh  et  al , yang  juga  menggunakan  metode  SVM  untuk  melakukan  klasifikasi  sentimen  pada beberapa domain dataset , yaitu dataset dari penelitian Pang et al , dataset penelitian Taboada dan juga dataset oleh crawling website  Amazon  [6].  Dari  beberapa  penelitian  analisis  sentimen  yang  telah  dijabarkan, metode  SVM menjadi metode yang paling banyak digunakan. Hal ini karena akurasi yang dihasilkan oleh metode SVM pada kasus  klasifikasi  sentimen  lebih  bagus  dibandingkan  metode machine  learning yang  lain,  seperti Naïve  Bayes maupun Maximum entropy classification [4]–[6]. Selain menggunakan metode machine learning yang sudah disebutkan di atas, penelitian analisis sentimen juga  mulai  banyak  dilakukan  dengan  menggunakan  metode deep  learning . Deep  learning menjadi  semakin populer, salah satu alasannya adalah karena saat menggunakan dataset dalam jumlah yang besar dan kompleks, metode machine  learning yang  sebelumnya  digunakan  memiliki  beberapa  kelemahan,  diantaranya  yaitu  waktu pemrosesan training yang  cenderung  lama,  dan  akurasi  yang  kurang  bagus  [7].  Beberapa  penelitian  analisis sentimen yang menggunakan deep learning diantaranya adalah, penelitian yang dilakukan oleh Yoon Kim (2014) yang  menggunakan  arsitektur  CNN  ( Convolution  Neural  Network )  untuk  melakukan  klasifikasi  sentimen.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Penelitian ini menguji beberapa model yang dibangun pada beberapa dataset , yaitu dataset movie review , dataset stanford sentiment treebank dengan 5 kelas dan 2 kelas ( binary labels ), dataset customer review dan dataset TREC question .  Selain  itu,  pada  penelitian  Yoon  Kim  ini  juga  sudah  menggunakan pre-trained  word2vec untuk pembuatan word-level embedding (vektor kata) yang digunakan sebagai input pada model CNN yang dibangun. Hasil akurasi terbaik yang diperoleh adalah sebesar 88.1% dengan menggunakan model CNN- Multichannel pada dataset  Stanford  sentiment 2  kelas.  Penelitian  analisis  sentimen  oleh  Yoon  Kim  ini  juga  menjadi  salah  satu penelitian  yang  banyak  digunakan  sebagai  referensi  untuk  penelitian  analisis  sentimen  dengan  menggunakan metode deep  learning [8].  Penelitian  analisis  sentimen  selanjutnya  yang  dilakukan  oleh  Hassan  et  al  (2017), menggunakan metode deep learning yang merupakan gabungan antara model CNN dan LSTM ( Long Short-Term Memory ).  Model  yang  dibangun  diberi  nama ConvLstm. Arsitektur ConvLstm mengganti  layer  pooling  yang terdapat  pada  CNN  dengan  menggunakan  layer  LSTM.  Layer  LSTM  digunakan untuk menjaga  informasi  dari input sequence kata  yang  relatif  panjang.  Model ConvLstm kemudian  diuji  pada  2 dataset yang  berbeda  yaitu dataset movie review IMDB dan dataset Stanford sentiment treebank (SSTB). Penelitian ini juga menggunakan word2vec untuk membentuk vektor kata dari dataset yang digunakan. Hasil akurasi terbaik yang diperoleh denggan menggunakan  model ConvLstm adalah  sebesar  88.3%  [9].  Lalu  penelitian  selanjutnya  adalah  penelitian  yang dilakukan  oleh  Chachra  et  al  (2017),  yang  menggunakan  model  arsitektur  DCNN  ( Deep  Convolution  Neural Network ).  Model  ini  menggunakan layer  convolutional yang  sama  dengan  yang  digunakan  oleh  Yoon  Kim sebelumnya,  hanya  jumlah  layer  yang  digunakan  lebih  banyak. Dataset yang  digunakan  adalah dataset twitter yang berisi 1.5 juta tweet yang sudah terlabeli positif dan negatif. Penelitian diuji pada beberapa iterasi yaitu dari interval interasi 1000 sampai 10.000 iterasi, dan memperoleh hasil akurasi terbaik sebesar 80.69% pada iterasi 9000 [10].
Penelitian analisis sentimen yang selanjutnya adalah beberapa penelitian yang menggunakan model deep learning , serta melakukan analisis mengenai pengaruh dari perubahan ukuran dimensi data terhadap hasil akurasi yang  diperoleh.  Penelitian  yang  pertama  adalah  penelitian  oleh  Zheng  et  al  (2015)  yang  menggunakan  model arsitektur DNN (Deep Neural Network) . Penelitian ini menggunakan 3 jenis dataset , yaitu dataset movie review IMDB, dataset  review produk  amazon,  dan dataset  review hotel.  Pengujian  dilakukan  dengan  menggunakan beberapa  ukuran  dimensi data  feature ,  yaitu  pada  rentang  ukuran  antara  200  –  5000.  Hasil  dari  model  DNN dibandingkan dengan metode SVM dan Naïve bayes , dan menunjukkan bahwa model DNN memiliki hasil akurasi yang lebih baik. Lalu ukuran dimensi data juga mempengaruhi hasil akurasi yang diperoleh [11]. Penelitian oleh Rahul et al (2016) menggunakan gabungan layer RBM ( Restricted Boltzmann Machine ) dan PNN ( Probabilistic Neural Network ). Kedua layer memiliki peran yang berbeda, layer RBM digunakan untuk ekstraksi pengurangan dimensi data, dan layer PNN digunakan untuk melakukan klasifikasi sentimen. Model diuji pada beberapa dataset yaitu dataset  movie  review , dataset  multi  domain ,  dan dataset  review buku.  Ukuran  dimensi  data  yang  diuji diantaranya  adalah  ukuran  50,  60,  70,  80,  dan  100.  Penelitian  yang  dilakukan  bertujuan  untuk  mengetahui pengaruh ukuran dimensi data terhadap performa dari model yang dibangun [12].
Dataset yang digunakan pada  sebuah  penelitian  analisis  sentimen  bisa  mempengaruhi  hasil  akurasi  dari model deep  learning yang  dibangun.  Ada dataset yang  berupa review seperti movie  review ,  maupun product review yang relatif memiliki sequence kata yang panjang. Ada juga dataset berupa kumpulan tweet yang cenderung lebih  pendek  karena  memiliki  batasan  kata.  Untuk  pengolahan dataset yang  memiliki sequence kata  relatif panjang,  memerlukan  pendekatan  yang  berbeda.  Dengan  menggunakan  model  CNN,  maka  akan  memerlukan jumlah layer yang lebih banyak pada arsiktektur yang dibangun [13]. Salah satu model dari deep learning RNN yaitu  LSTM  bisa  menjadi pilihan  untuk  solusi  pemrosesan dataset yang  relatif  panjang. Model  LSTM  mampu menangani permasalahan vanishing gradient yang umum terjadi pada pemrosesan data yang relatif panjang [14]. Pada  penelitian  ini  akan  dijelaskan  hasil  dari  analisis  sentimen  pada dataset movie  review yang menggunakan  metode deep  learning LSTM,  dan  juga  menggunakan word2vec sebagai  pembentuk  vektor  kata [15]. Selain itu juga dilakukan beberapa tuning parameter untuk mengetahui pengaruhnya terhadap akurasi yang dihasilkan. Tuning parameter tersebut diantaranya yaitu menggunakan beberapa ukuran vektor kata sebagai input deep  learning dan  juga  membandingkan  penerapan  2  metode  CBOW  dan  Skip-Gram word2vec pada  proses pembentukan  vektor.  Paper  ini  terdiri  dari  pendahuluan,  metode  penelitian,  hasil  dan  diskusi,  dan  kesimpulan. Bagian kedua akan menjelaskan metode penelitian yang digunakan pada penelitian ini.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahapan  penelitian  yang  dilakukan  terdiri  dari  kajian  pustaka,  perancangan  arsitektur deep  learning LSTM, persiapan dataset untuk  pembentukan  corpus  dan training word  vector, pembagian dataset untuk training dan testing model LSTM, training dengan model LSTM dan evalusi hasil, serta tahapan terakhir adalah analisa dan pembahasan. Gambar 1 di bawah merupakan alur tahapan penelitian secara detail.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Gambar 1. Tahapan Penelitian

## 2.1.1 Kajian Pustaka
Penelitian dengan topik analisis sentimen menjadi salah satu penelitian yang populer. Ketersediaan data teks yang melimpah  serta  kebutuhan  berbagai  pihak  mengenai  pendapat  publik  terhadap  suatu  topik  tertentu  menjadi alasannya. Penelitian analisis sentimen banyak dilakukan dengan menggunakan metode machine learning seperti Lexicon based, Naïve Bayes, Maximum Entropy maupun metode SVM [1], [3][16]. Metode SVM menjadi metode machine learning yang memiliki akurasi yang lebih baik pada beberapa penelitian analisis sentimen [4]–[6]. Deep learning pada penelitian analisis sentimen mulai makin banyak digunakan karena beberapa alasan, salah  satunya  adalah  keterbatasan  metode machine  learning yang  sebelumnya  dalam  memproses  data  dalam jumlah yang besar [7]. Beberapa penelitian analisis sentimen yang menggunakan metode deep learning , memiliki hasil akurasi yang baik di atas 80%, diantaranya adalah yang menggunakan metode CNN [8], gabungan CNN dan LSTM  [9]  [17]  [18],  serta  DCNN[10].  Untuk  meningkatkan  akurasi,  beberapa  penelitian  analisis  sentimen menggunakan word2vec sebagai model untuk membentuk word vector dari setiap kata [8]–[10], serta mencoba beberapa variasi ukuran dimensi vektor kata untuk mengetahui pengaruhnya terhadap hasil akurasi yang dihasilkan [11], [12].

## 2.1.2 Perancangan arsitektur Deep Learning LSTM
Metode deep  learning LSTM  ( Long  Short-Term  Memory )  dipilih  karena  beberapa  pertimbangan,  diantaranya adalah  LSTM  memiliki  akurasi  yang baik untuk  data  berupa  teks,  serta  LSTM merupakan  pengembangan  dari metode deep  learning RNN  yang  memiliki  kelebihan  mampu  memproses  data  yang  relatif  panjang  ( long-term dependency ) [19], [20]. Gambar 2 di bawah menunjukan perbedaan struktur antara model RNN dan LSTM.
Gambar 2. Perbedaan struktur RNN dan LSTM
Seperti pada gambar 2 di atas, model RNN dan LSTM memiliki input yang sama yaitu x t dan h t-1, namun fungsi untuk mengolah data di dalamnya yang berbeda. Pada model LSTM fungsi yang dimiliki lebih kompleks, terdapat 4 komponen yang berfungsi untuk mengolah data yang masuk. Keempat komponen tersebut adalah forget gate, input gate, output gate dan juga cell states. Alur proses pengolahan data yang terjadi ada model LSTM, bisa dimulai dari komponen forget gate ( f t ). Pada bagian ini, input yang diproses akan diolah dengan ketentuan sebagai berikut, informasi yang kurang dibutuhkan atau tidak terlalu memiliki makna akan dihilangkan. Input data pada komponen ini adalah data x t (vektor input x pada timestep t ) dan h t-1 (vektor hidden state pada timestep sebelumnya t-1 ).
𝑓 𝑡 =  𝜎 (𝑊 𝑓 .  [ℎ 𝑡−1 , 𝑥 𝑡 ] + 𝑏 𝑓 ) (1)
Lalu  yang  selanjutnya,  proses  pengolahan  informasi  masuk  ke  bagian input  gate ( i t ).  Pada  bagian  ini, informasi  dipilah  dan  ditentukan  informasi  mana  yang  akan  diupdate  ke  bagian cell  states, prosesnya menggunakan fungsi aktivasi sigmoid. Pada step ini sekaligus dilakukan pembuatan kandidat vektor baru untuk ditambahkan ke bagian cell state ( 𝐶 𝑡 ~ ).
𝑖 𝑡 =  𝜎 (𝑊 𝑖 . [ℎ 𝑡−1 , 𝑥 𝑡 ] + 𝑏 𝑖 ) (2)
𝐶 𝑡 ~ = tanh(𝑊 𝐶 . [ℎ 𝑡−1 , 𝑥 𝑡 ] + 𝑏 𝐶 ) (3)
(b) LSTM (a) RNN

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Yang selanjutnya melakukan update nilai pada cell states ( C t ) yang terbaru, dengan menggunakan nilai- nilai yang sudah dihitung sebelumnya.
𝐶 𝑡 = 𝑓 𝑡 ∗ 𝐶 𝑡−1 + 𝑖 𝑡 ∗ 𝐶 𝑡 ~ (4)
Proses yang terarkhir di LSTM terjadi pada komponen output gate ( o t ), yang akan menghasilkan nilai output dan nilai hidden state ( h t ) yang akan digunakan pada timestep yang selanjutnya t +1.
𝑜 𝑡 = 𝜎(𝑊 𝑜 [ℎ 𝑡−1 , 𝑥 𝑡 ] + 𝑏 𝑜 ) (5)
ℎ 𝑡 = 𝑜 𝑡 ∗   tanh(𝐶 𝑡 ) (6)
Setelah  memperoleh  nilai output dan hidden  state ( h t ),  nilai  klasifikasi  sentimen  bisa  dihitung  dengan menggunakan fungsi aktivasi sigmoid ataupun softmax.
Berikut gambar 3 adalah rancangan arsitektur dari penelitian analisis sentimen dengan model LSTM yang dikerjakan. Jumlah unit LSTM, ukuran dimensi word vector serta panjang dari input sequence yang digunakan merupakan tuning parameter yang akan dicoba dianalisis untuk menemukan hasil akurasi yang terbaik.
Gambar 3. Rancangan arsitektur dari penelitian analisis sentimen dengan model LSTM

## 2.1.3 Persiapan Dataset
Dataset yang digunakan pada penelitian adalah dataset movie review, yang berasal dari penelitian Andrew et al [21] (http://ai.stanford.edu/~amaas/data/sentiment/). Dataset yang digunakan berjumlah 25.000 review  terdiri dari 12.500 review berlabel positif dan 12.500 review berlabel negatif. Sebelum bisa digunakan sebagai data input pada proses training model  LSTM  yang  dibangun,  maka  data  perlu  untuk  dilakukan preprocessing terlebih  dahulu. Preprocessing yang  dilakukan  terhadap dataset ini  meliputi,  mengubah  data  ke  dalam  bentuk lowercase , membersihkan karakter pada review yang tidak memiliki makna sentimen, menghapus url, dan juga melakukan tokenize pada dataset . Informasi mengenai dataset movie review bisa dilihat pada tabel 1 di bawah. Dari  total  25.000  review dataset yang  digunakan,  terdapat  sebanyak  5.844.680  kata  di  dalamnya.  Lalu jumlah  rata-rata  kata  per  file  review  adalah  sebanyak  233.7872  kata.  Grafik  persebaran  untuk  jumlah  kata  per review  bisa  dilihat  pada  gambar  4  di  bawah.  Dan  untuk  jumlah  kata  unik  yang  dimiliki  oleh  dataset  adalah sebanyak  73.736  kata.  Seluruh  kata-kata  ini  nanti  akan  dijadikan  sebagai  corpus  data  untuk  mengolah  dan membentuk word vector dengan menggunakan model word2vec.
Tabel 1. Informasi mengenai dataset Movie Review
Nama Dataset Jumlah Total File Review File review Positif File review Negatif Jumlah Total Kata Jumlah Kata Unik Rata-rata kata per file/review Movie Review 25.000 12.500 12.500 5.844.680 73.736 233.7872

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Gambar 3. Persebaran panjang kata di setiap file review
Proses  pembentukan word  vector pada  penelitian  ini  menggunakan word2vec, yaitu  sebuah vector representation yang dibuat oleh Google. Dengan menggunakan word2vec setiap kata dapat direpresentasikan ke dalam bentuk vektor dengan ukuran N dimensi tertentu .
Pada penelitian ini, corpus data yang dimiliki digunakan sebagai data input pada model word2vec. Seluruh kata pada corpus data ini nanti akan direpresentasikan ke dalam sebuah vector space dengan ukuran N dimensi tertentu. Setiap kata yang memiliki kesamaan makna akan terletak berdekatan pada vector space yang terbentuk [22]–[24].  Metode  yang  digunakan  pada  pembentukan  representasi word  vector, adalah  metode  CBOW ( Continuous Bag of Words ) dan Skip-Gram. Kedua metode ini memiliki cara kerja yang berlawanan. Perbedaan metode CBOW dan Skip-Gram bisa dilihat pada gambar 5 di bawah.
Gambar 5. Perbedaan metode CBOW dan Skip-Gram
Metode CBOW memiliki cara kerja dengan memprediksi target kata dari konteks yang dimiliki. Sedangkan pada metode Skip-Gram memiliki cara kerja yang berlawanan, yaitu dengan mencoba memprediksi konteks dari target kata yang dimiliki. Proses pembuatan word vector dapat dilihat pada gambar 6 di bawah. Sebagai contoh menggunakan  metode  CBOW.  Nilai weight matriks  ideal  yang  dimiliki  akan  dikalikan  dengan  vektor one-hot vector setiap kata yang dimiliki, maka akan menghasilkan word vector dari setiap kata (lihat gambar 7 di bawah)
Gambar 6. Pembuatan word vector dengan CBOW
CBOW Skip-Gram

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Setelah proses pembuatan word vector dengan word2vec selesai. Maka setiap kata akan direpresentasikan ke dalam bentuk vektor di sebuah vector space. Berikut gambar 8 memperlihatkan vector space CBOW dan Skip- Gram dengan ukuran dimensi 50 yang digambarkan ke dalam bentuk 2 dimensi.
Gambar 8 Vector space CBOW dan Skip-Gram (dimensi 50) digambarkan dalam bentuk 2 dimensi
Dalam vector space tersebut, kata-kata yang memiliki makna yang mirip akan terletak berdekatan. Berikut gambar 9 di bawah memperlihatkan salah satu contoh representasi vektor ( word vector ) dari kata good dengan ukuran dimensi 50.
Gambar 9 Word vector dari kata good dengan ukuran dimensi 50

## 2.1.4 Pembagian Dataset untuk training dan testing model LSTM
Pembagian  komposisi  dataset  untuk training dan testing model  LSTM  yang  dibuat  akan  menggunakan rekomendasi dengan komposisi sebesar 90%:10% sampai dengan 80%:20%. Dengan catatan, porsi dataset untuk proses training yang lebih besar.

## 2.1.5 Training model LSTM dan evaluasi hasil
Pada  tahap  ini,  selanjutnya  akan  dilakukan training (melatih)  model  LSTM  yang  sudah  dibangun  dengan menggunakan  data  input  yang  sudah  disiapkan  sebelumnya.  Data  input  merupakan  kumpulan  vektor hasil  dari tahapan preprocessing dan pembuatan word vector di tahapan sebelumnya. Alur proses training dari model LSTM ini adalah setiap kata yang sudah direpresentasikan ke dalam bentuk vektor akan dimasukkan satu per satu sesuai dengan  urutan sequence- nya  ke  dalam  model  LSTM.  Proses  ini  akan  berulang  sampai  dengan sequence yang terakhir, setelah itu model LSTM akan menggunakan fungsi aktivasi sigmoid untuk menentukan nilai probabilitas dari  sentimen  review  tersebut.  Gambar  10  di  bawah  memperlihatkan  proses training (melatih)  dengan  model LSTM.
CBOW Skip-Gram

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Setiap kata yang sudah direpresentasikan ke dalam bentuk vektor ( word vector ) dimasukkan ke dalam unit LSTM satu per satu sesuai dengan urutan dari sequence file review. Tuning parameter dilakukan pada beberapa parameter yaitu diantaranya parameter panjang input sequence, jumlah unit LSTM yang digunakan serta ukuran dimensi word vector dari setiap input kata. Analisis akan dilakukan untuk mengetahui pengaruh dari dilakukannya tuning parameter tersebut terhadap hasil akurasi yang diperoleh dari model LSTM.

## 2.1.6 Analisa dan Pembahasan
Analisis sentimen yang dilakukan pada dataset movie review dengan menggunakan model LSTM dan word2vec, mengharapkan hasil akurasi yang setidaknya lebih dari 80%. Model LSTM yang dibangun, serta beberapa tuning parameter yang dilakukan, ditujukkan untuk meningkatkan akurasi yang dihasilkan. Pembahasan lebih detail akan dijelaskan pada bagian hasil dan pembahasan.

## 3. HASIL DAN PEMBAHASAN
Pada bagian ini akan menjelaskan hasil dan pembahasan dari penelitian analisis sentimen yang sudah dikerjakan. Hasil evaluasi dari setiap model LSTM yang digunakan untuk melakukan klasifikasi sentimen, difokuskan pada nilai  akurasinya. Tuning  parameter dilakukan  untuk  mengetahui  pengaruhnya  terhadap  hasil  akurasi  yang diperoleh.  Di awal, tuning parameter yang dilakukan adalah dengan membandingkan metode  pembuatan word vector dengan word2vec, dan juga membandingkan beberapa ukuran dimensi dari word vector yang terbentuk. Metode pembuatan word vector yang digunakan adalah CBOW dan Skip-Gram, dan variasi ukuran dimensi word vector yang digunakan adalah 50, 60, 100, 150, 200 dan 500 dimensi. Selain melakukan tuning parameter awal pada tahapan penyiapan data seperti di atas, tuning parameter juga perlu dilakukan pada model LSTM yang akan digunakan. Berikut adalah tabel 2 yang menunjukan tuning parameter awal untuk model LSTM.
Tabel 2. Tuning parameter model LSTM Jumlah unit LSTM Feature data Epoch Batch size Panjang sequence review Dropout Optimizer 50 5000 10 64 300 0.5 Adam
Hasil akurasi yang diperoleh saat melakukan training pada model LSTM yang dibangun bisa dilihat padah tabel  3  di  bawah.  Tabel  berisi  perbandingan  nilai  akurasi  dari  penggunaan  metode  CBOW  dan  Skip-Gram word2vec, dan juga perbandingan akurasi di setiap ukuran dimensi word vector yang digunakan.  Hasil akurasi terbaik yang bisa diperoleh dengan model LSTM adalah sebesar 88.17% pada ukuran dimensi word vector 100, yang dibentuk dengan menggunakan metode Skip-Gram. Sedangkan untuk yang menggunakan metode CBOW, hasil akurasi terbaik sebesar 87.68% pada ukuran dimensi word vector 200.
Tabel 3. Perbandingan akurasi antara metode Skip-Gram dan CBOW di beberapa ukuran dimensi word vector
Ukuran dimensi word vector Akurasi Skip- Gram Akurasi CBOW 50 87.86% 86.62% 60 88.04% 86.44% 100 88.17% 86.26% 150 88.08% 87.46% 200 87.51% 87.68% 500 85.86% 86.88%
Dari  tabel  3  di  atas,  hasil  akurasi  yang  diperoleh  dengan  metode  Skip-Gram  maupun  CBOW  untuk  di beberapa variasi ukuran dimensi word vector cenderung stabil. Rentang akurasi yang dihasilkan diantara 87.51%- 88.17% untuk metode Skip-Gram pada ukuran dimensi 50-200, dan 86.26%-87.68% untuk metode CBOW pada ukuran dimensi yang sama. Secara keseluruhan hasil akurasi Skip-Gram lebih baik dibandingkan CBOW untuk ukuran dimensi 50, 60, 100 dan 150. Metode CBOW unggul di ukuran dimensi word vector 200 dan 500. Namun apabila  diperhatikan  pada  tabel  di  atas,  ternyata  ukuran  dimensi  yang  semakin  besar  tidak  menjamin  bisa menghasilkan akurasi yang lebih baik. Hal ini bisa terjadi karena ada beberapa kemungkinan, salah satunya adalah terjadi overfitting saat melakukan training model LSTM. Berikut gambar 11 memperlihatkan grafik dari akurasi yang dihasilkan pada setiap epoch metode Skip-Gram dan CBOW.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
Gambar 11 Perbandingan grafik akurasi Ski-Gram dan CBOW pada ukuran dimensi 50, 100 dan 500
Pada gambar 11 di atas, garis warna biru menunjukan akurasi terhadap data training di setiap epoch. Sedang garis warna merah adalah validasi akurasi yang diperoleh dengan menggunakan data testing. Dari grafik di atas, untuk word vector di ukuran dimensi 50, 100 memiliki validasi akurasi yang cukup stabil. Sedangkan pada dimensi 500, nilai validasi akurasinya cenderung menurun di epoch 9 ke atas, ini bisa menandakan terjadi overfitting pada model yang dilatih.
Selain melakukan analisa pada hasil akurasi di setiap epoch, analisa juga dilakukan pada waktu training yang diperlukan saat melatih model LSTM. Hasil menunjukan semakin besar ukuran dimensi word vector yang digunakan, maka waktu training yang diperlukan pun juga semakin lama. Nilai akurasi dan juga lamanya waktu training sering digunakan sebagai indikasi penilaian performa dari sebuah metode machine learning.

## 4. KESIMPULAN
Penelitian analisis sentimen yang menggunakan metode deep learning LSTM dan word2vec untuk pembentukan word vector, telah berhasil dikerjakan. Hasil akurasi yang diperoleh paling sedikit ada pada angka 85.86%, yang artinya  cukup  bagus  dalam  melakukan  klasifikasi  sentimen.  Sehingga  metode  LSTM  dengan word2vec bisa menjadi  salah  satu  pilihan  ketika  ingin  melakukan  penelitian  mengenai  analisis  sentimen  dengan  data  dalam jumlah yang besar. Dari hasil pembahasan di atas, masih ada beberapa tuning parameter yang bisa coba dilakukan untuk  meningkatkan  hasil  akurasi  model  LSTM  yang  dibangun.  Beberapa tuning  parameter tersebut  adalah mencoba variasi jumlah unit LSTM yang digunakan, lalu ukuran feature data yang dibentuk, jumlah epoch , nilai dropout yang digunakan, serta ukuran panjang sequence data yang diproses.

## REFERENCES
[1] W. Medhat, A. Hassan, and H. Korashy, “Sentiment analysis algorithms and applications: A survey,” Ain Shams Eng. J. , vol. 5, no. 4, pp. 1093–1113, 2014, doi: 10.1016/j.asej.2014.04.011.
[2] K. Ravi and V. Ravi, A survey on opinion mining and sentiment analysis: Tasks, approaches and applications , vol. 89, no. June. Elsevier B.V., 2015.
[3] P. Baby and K. B, “Sentimental Analysis and Deep Learning : A Survey,” Int. J. Sci. Res. Sci. Eng. Technol. , pp. 212– 220, 2020, doi: 10.32628/ijsrset207135.
[4] K. Saranya and S. Jayanthy, “Onto-based sentiment classification using machine learning techniques,” Proc. 2017 Int. Conf.  Innov.  Information,  Embed.  Commun.  Syst.  ICIIECS  2017 ,  vol.  2018-Janua,  pp.  1–5,  2018,  doi: 10.1109/ICIIECS.2017.8276047.
[5] Y. Dang, Y. Zhang, and H. Chen, “A lexicon-enhanced method for sentiment classification: An experiment on online product reviews,” IEEE Intell. Syst. , vol. 25, no. 4, pp. 46–53, 2010, doi: 10.1109/MIS.2009.105.
[6] M. Rushdi Saleh, M. T. Martín-Valdivia, A. Montejo-Ráez, and L. A. Ureña-López, “Experiments with SVM to classify opinions  in  different  domains,” Expert  Syst.  Appl. ,  vol.  38,  no.  12,  pp.  14799–14804,  2011,  doi: 10.1016/j.eswa.2011.05.070.
[7] G. Adam and P. Josh, Deep Learning: A Practitioner’s Approach . 2017.
[8] Y. Kim, “Convolutional neural networks for sentence classification,” EMNLP 2014 - 2014 Conf. Empir. Methods Nat. Lang. Process. Proc. Conf. , pp. 1746–1751, 2014, doi: 10.3115/v1/d14-1181.
[9] A. Hassan and A. Mahmood, “Deep Learning approach for sentiment analysis of short texts,” 2017 3rd Int. Conf. Control. Autom. Robot. ICCAR 2017 , pp. 705–710, 2017, doi: 10.1109/ICCAR.2017.7942788.
CBOW dimensi 50 – 100 – 500
Skip-Gram dimensi 50 – 100 – 500

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3111
[10]  A. Chachra, P. Mehndiratta, and M. Gupta, “Sentiment analysis of text using deep convolution neural networks,” 2017 10th  Int.  Conf.  Contemp.  Comput.  IC3  2017 ,  vol.  2018-Janua,  no.  August,  pp.  1–6,  2018,  doi: 10.1109/IC3.2017.8284327.
[11]  Z. Hu, J. Hu, W. Ding, and X. Zheng, “Review Sentiment Analysis Based on Deep Learning,” Proc. - 12th IEEE Int. Conf. E-bus. Eng. ICEBE 2015 , pp. 87–94, 2015, doi: 10.1109/ICEBE.2015.24.
[12]  R. Ghosh, K. Ravi, and V. Ravi, “A novel deep learning architecture for sentiment classification,” 2016 3rd Int. Conf. Recent Adv. Inf. Technol. RAIT 2016 , pp. 511–516, 2016, doi: 10.1109/RAIT.2016.7507953.
[13]  X.  Zhang,  J.  Zhao,  and  Y.  Lecun,  “Character-level  convolutional  networks  for  text  classification,” Adv.  Neural  Inf. Process. Syst. , vol. 2015-Janua, pp. 649–657, 2015.
[14]  M.  Sundermeyer,  H.  Ney,  and  R.  Schluter,  “From  feedforward  to  recurrent  LSTM  neural  networks  for  language modeling,” IEEE  Trans.  Audio,  Speech  Lang.  Process. ,  vol.  23,  no.  3,  pp.  517–529,  2015,  doi: 10.1109/TASLP.2015.2400218.
[15]  R. Ni and H. Cao, “Sentiment Analysis based on GloVe and LSTM-GRU,” Chinese Control Conf. CCC , vol. 2020-July, pp. 7492–7497, 2020, doi: 10.23919/CCC50068.2020.9188578.
[16]  A. H. Quraishi, “Performance analysis of machine learning algorithms for Movie Review,” Int. J. Comput. Applivations , vol. 177, no. 36, pp. 1–4, 2020, doi: 10.4018/IJHISI.2020040101.
[17]  A. Yenter and A. Verma, “Deep CNN-LSTM with combined kernels from multiple branches for IMDb review sentiment analysis,” 2017 IEEE 8th Annu. Ubiquitous Comput. Electron. Mob. Commun. Conf. UEMCON 2017 , vol. 2018-Janua, pp. 540–546, 2017, doi: 10.1109/UEMCON.2017.8249013.
[18]  N. Hossain, M. R. Bhuiyan, Z. N. Tumpa, and S. A. Hossain, “Sentiment Analysis of Restaurant Reviews using Combined CNN-LSTM,” 2020  11th  Int.  Conf.  Comput.  Commun.  Netw.  Technol.  ICCCNT  2020 ,  2020,  doi: 10.1109/ICCCNT49239.2020.9225328.
[19]  A. Hassan and A. Mahmood, “Convolutional Recurrent Deep Learning Model for Sentence Classification,” IEEE Access , vol. 6, no. c, pp. 13949–13957, 2018, doi: 10.1109/ACCESS.2018.2814818.
[20]  X. Wang, W. Jiang, and Z. Luo, “Combination of convolutional and recurrent neural network for sentiment analysis of short texts,” COLING 2016 - 26th Int. Conf. Comput. Linguist. Proc. COLING 2016 Tech. Pap. , pp. 2428–2437, 2016.
[21]  A. L. Maas, R. E. Daly, P. T. Pham, D. Huang, A. Y. Ng, and C. Potts, “Learning word vectors for sentiment analysis,” ACL-HLT 2011 - Proc. 49th Annu. Meet. Assoc. Comput. Linguist. Hum. Lang. Technol. , vol. 1, pp. 142–150, 2011.
[22]  T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean, “Distributed representations ofwords and phrases and their compositionality,” Adv. Neural Inf. Process. Syst. , pp. 1–9, 2013.
[23]  T. Mikolov, K. Chen, G. Corrado, and J. Dean, “Efficient estimation of word representations in vector space,” 1st Int. Conf. Learn. Represent. ICLR 2013 - Work. Track Proc. , pp. 1–12, 2013.
[24]  T. Mikolov, W. T. Yih, and G. Zweig, “Linguistic regularities in continuous spaceword representations,” NAACL HLT 2013 - 2013 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. Proc. Main Conf. , pp. 746–751, 2013.