Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E- ISSN 2503-2933 3319

## Model Klasifikasi Berita Palsu Menggunakan
Bidirectional LSTM Dan Word2Vec Sebagai Vektorisasi
Junita Amalia* 1 , Juanda Pakpahan 2 , Melani Pakpahan 3 , Yeni Panjaitan 4 1,2,3,4 Fakultas Informatika dan Teknik Elektro, Institut Teknologi Del, Laguboti e-mail: * 1 junitaamalia92@gmail.com, 2 jujupapa06@gmail.com,
3 pakpahanmelani5@gmail.com, 4 yenipanjaitan0801@gmail.com

## Abstrak
Secara  umum,  klasifikasi  didefinisikan  sebagai  metode  pembelajaran  yang mengklasifikasikan data ke dalam label kelas. Proses klasifikasi tersebut dapat dilakukan pada data structured dan unstructured berdasarkan training data yang telah dilakukan. Penelitian ini melakukan  klasifikasi  menggunakan  data  berita  yang  memiliki  label  berita  fakta  dan  berita palsu.  Proses  klasifikasi  berita  tersebut  menggunakan  teknik Bidirectional LSTM  dan menggunakan  arsitektur  CBOW  pada Word2vec sebagai  vektorisasi  kata  dalam  membangun model klasifikasi berita. Ada tiga parameter utama yang digunakan dalam penelitian tugas akhir yaitu embedding size, windows size , dan units bilstm. Optimasi kinerja model akan dilihat dari pengaruh  dari  ketiga  parameter  tersebut.  Performa  model  yang  dibangun  diukur  dengan menggunakan  metrik  evaluasi accuracy , recall,  precision,  f1-  score dan computational  time . Hasil  penelitian  menunjukan  bahwa  model  dengan windows  size 3, embedding  size 200,  dan units 128 memiliki performa terbaik untuk data judul dengan akurasi 79.18%. Sementara untuk data  konten  model  dengan windows  size 5, embedding  size 300,  dan units 256  memiliki performa terbaik dengan akurasi 92.8%.
Kata kunci: Bidirectional Long Short-Term Memory, Continuous Bag of Word (CBOW), Embedding Size, Windows Size.

## Abstract
In general, classification is defined as a learning method that classifies data into class labels. It can be perfomed on both structured and unstructured data, based on the data training that has been done. This research leverages Bidirectional LSTM technology in order to develop a news classification model using the CBOW architectures using Word2vec as a word vector. In this research, three main parameters are used: embedding size, window size, and units bilstm. The effects of these three parameters will show optimization of model performance. The results of  the  constructed  model  are  measured  using  the  accuracy,  recall,  precision,  f1-score  and computational time  metrics.  The  findings  revealed the  greatest  performance for title data  was for  the  model  with  windows  size  3,  embedding  size  200  and  unit  128  with  79,18%  accuracy. Meanwhile,  the  data  content  model  has  the  best  performance,  on  windows  size  5,  embedding size 300 and units 256 with 92,80% accuracy.
Keywords : Bidirectional Long Short-Term Memory, Continuous Bag of Word (CBOW), Embedding Size, Windows Size.
3320 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E-ISSN 2503-2933
Junita , et., al [ Model Klasifikasi Berita Palsu Menggunakan Bidirectional LSTM dan Word2Vec Sebagai Vektorisasi]
–end_page
1. PENDAHULUAN
lasifikasi adalah  salah  satu  teknik machine  learning untuk  memprediksi  kelas sampel (data) baru, menggunakan model yang telah dibangun berdasarkan training data . Menurut Han et al. klasifikasi data terdiri dua tahapan, tahap pertama adalah pembelajaran model klasifikasi yang dibangun dari dataset tertentu, dimana data untuk fungsi klasifikasi atau model disebut training  set ,  dan  yang  kedua  adalah  tahap dimana  model  atau  fungsi  klasifikasi digunakan untuk menguji atau memprediksi label kelas untuk data tertentu yang tidak diketahui.
Penelitian Fake  News  Detection sebelumnya  telah  dilakukan  oleh  Sheng  How  Kong Sheng How Kong et al. Penelitian ini menggunakan 2 metode yaitu N-gram Vector dengan TF- IDF Encoding dan Sequence Vector dengan One-Hot Encoding . Setiap metode akan terdiri dari dua  model  yaitu  model  dengan  data  judul  dan  konten  berita,  sehingga  total  model  yang dibangun  berjumlah  4.  Pada  model  klasifikasi  yang  menggunakan  metode N-gram Vector dengan  TF-IDF Encoding memperoleh  nilai  akurasi  sebesar  77,3%  dan  90,3%  dengan  nilai recall sebesar 89,7% dan 97,5% untuk data judul dan konten. Sedangkan menggunakan metode Sequence Vector dengan One-Hot Encoding memperoleh nilai akurasi sebesar 74,8% dan 90% dengan  nilai recall sebesar  89,8%  dan  94%.  Berdasarkan  hasil  penelitian  di  atas,  dapat disimpulkan  bahwa  penggunaan  metode N-gram Vector dengan  TF-IDF Encoding menghasilkan  akurasi  dan recall yang  lebih  baik  jika  dibandingkan  dengan  penggunaan Sequence Vector dengan One-Hot Encoding [1]. Penelitian yang dilakukan Sheng How Kong et al.  menyarankan  suatu  metode  yang  juga  dapat  digunakan  untuk  membangun  model  untuk memprediksi berita palsu, yakni menggunakan LSTM yang merupakan varian dari RNN [1].
Berdasarkan  pemaparan  di  atas,  peneliti  tertarik  untuk  menggunakan  metode Bidirectional LSTM  ini. Bidirectional LSTM  digunakan  untuk  memproses  data  secara sekuensial dan dari dua arah dengan menggunakan forward layer untuk mempelajari informasi mendatang  dan backward  layer untuk  informasi  masa  lalu , sehingga  lebih  mudah  memahami keterkaitan kedua layer tersebut dan memprediksi apa kata selanjutnya yang akan muncul pada berita.  Penerapan Bidirectional LSTM  juga  dapat  menangani  masalah vanishing  gradient , karena  LSTM  didesain  untuk  mengatasi  permasalahan  tersebut,  dengan  menggunakan mekanisme gerbang ( gate ) untuk memilih informasi penting pada berita yang akan disimpan di memory cell, sehingga dapat mengurangi penumpukan layer yang dapat memperlambat proses training . Bidirectional LSTM  juga  merupakan  salah  satu  algoritma deep  learning yang membutuhkan input berupa vektor. Hal ini menyebabkan dibutuhkan suatu metode vektorisasi pada penelitian.
Terkait  kebutuhan  metode  vektorisasi,  peneliti  menggunakan  metode Word2vec yang dapat memberikan vektorisasi yang padat ( dense ), pendek serta tidak memakan banyak memori dan  sumber  daya  [2]. Embedding  size dan window  size merupakan  beberapa hyperparameter pada Word2vec ,  yang  dibutuhkan  untuk  membangun  model  vektorisasi  [3].  Penggunaan Word2vec juga  dapat  mempertahankan  arti  semantik  pada  kata  di  dalam  dokumen,  sehingga informasi penting dalam konteks data tidak hilang [4]. Oleh karena itu, peneliti memilih metode Bidirectional LSTM  untuk  membangun  model  klasifikasi  berita  palsu  dan Word2vec sebagai metode vektorisasinya.

## 2. METODE PENELITIAN
Penelitian ini dilakukan untuk memperoleh model yang memiliki performa terbaik dalam melakukan  klasifikasi  berita,  serta  berusaha  untuk  menguji  beberapa  parameter  pada  model untuk  melihat  pengaruh  dari  penerapannya.  Penelitian  dilakukan  melalui  beberapa  tahapan
K
Jatisi                            ISSN 2407-4322 Vol. 9, No. 4, Desember 2948, Hal. 3319-3331 E- ISSN 2503-2933 3321
penelitian  dengan  proses-proses  tertentu.  Berikut  akan  dibahas  mengenai  rancangan flowchart pemodelan,  metode  yang  digunakan  untuk  mengklasifikasi  berita  serta  evaluasi  model  yang dilakukan.

## 2. 1   Rancangan Flowchart Pemodelan
Penelitian  dilakukan  dengan  membangun  sebuah  model  yang  membantu  untuk mengklasifikasikan  berita  tersebut  ke  dalam  berita  fakta  atau  berita  palsu.  Model  ini menggunakan pendekatan algoritma Bidirectional LSTM yang dapat mendeteksi berita melalui dua  arah, forward dan backward dan  Word2vec  sebagai  tahapan  vektorisasi.  Rancangan flowchart dapat dilihat pada Gambar 1.
Gambar 1. Gambaran Flowchart Pemodelan pada Penelitian
3322 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E-ISSN 2503-2933
–end_page

## 2. 2   Pengumpulan Data
Data yang digunakan merupakan data yang sama dengan penelitian yang dilakukan Sheng How  Kong  et  al.  Data  tersebut  terdiri  dari  dua dataset dengan  isi  teks  berbahasa  Inggris  dan telah  memiliki  label  yaitu Fake atau Real .  Adapun  atribut  yang  dibutuhkan  untuk pengklasifikasian berita dapat dilihat pada Tabel 1 berikut.
Tabel 1. Atribut Data yang Dibutuhkan pada Penelitian
No Dataset 1 Dataset 2 Keterangan Atribut Atribut 1. title Headline Judul dari berita 2. Text Body Isi dari berita 3. label Label Pengkategorian berita

## 2. 3   Pra-pemrosesan Data
Pra-pemrosesan  data  adalah  mengolah  data  berita  untuk  memastikan  dan  mendapatkan kualitas data yang baik. Berikut adalah tahapan pra-pemrosesan data yang dilakukan.

## 2.3.1  Data Reduction
Data reduction merupakan teknik untuk memperoleh data dengan representasi yang lebih kecil  volumenya,  namun  tetap  menjaga  integritas  data  asli  [5].  Hasil  dari  penambangan  data yang  telah  melewati  proses data  reduction harus  lebih  efisien  dan  memberikan  hasil  analisis yang sama atau hampir sama dengan data sebelum direduksi.

## 2.3.2  Data Cleaning
Data  cleaning dilakukan  untuk  mengisi  data  yang  tidak  lengkap,  menghilangkan noisy data dan  memperbaiki  ketidakkonsistenan  pada  data  [5].  Cara  tersebut  terdiri  dari  menghapus tuple yang  tidak  lengkap,  mengisinya  secara  manual  dan  mengisinya  secara  otomatis.  Untuk mengatasi noisy data  dilakukan  beberapa  cara  yakni binning , regression , clustering dan semi supervised method [5].

## 2.3.3  Data Transformation
Data  Transformation adalah  suatu  proses  atau  tahapan  mengubah  format,  struktur,  atau nilai pada data untuk membentuk data masukan yang sesuai dengan algoritma.

## 2.3.4  Data Integration
Data  integration digunakan  dalam  penambangan  data  karena  data  tidak  hanya  berasal dari  satu  sumber,  tetapi  juga  berasal  dari  beberapa  penyimpanan  data  sehingga  dibutuhkan tahapan data integrasi untuk menyatukannya [6].

## 2.3.5  Word Constraction
Word  Constraction adalah  kata  atau  kombinasi  kata  yang  yang  disingkat  dengan menghilangkan  satu  atau  beberapa  huruf  dan  menggantikannya  dengan  apostrof  [7].  Sehingga tahapan ini digunakan untuk mengembalikan kata tersebut ke bentuk kata awalnya.

## 2.3.6  Punctuation and Number Removal
Punctuation removal adalah proses untuk menghapus tanda baca atau simbol yang ada di dalam dataset . Number removal adalah proses dimana semua angka pada dataset akan dihapus. Hal ini dibutuhkan untuk dapat memecah string menjadi token yang berarti.
Jatisi                            ISSN 2407-4322 Vol. 9, No. 4, Desember 2948, Hal. 3319-3331 E- ISSN 2503-2933 3323
Junita , et., al [ Model Klasifikasi Berita Palsu Menggunakan Bidirectional LSTM dan Word2Vec Sebagai Vektorisasi] and clear, implies research results (First Author)

## 2.3.7  Case Folding dan Tokenization
Case  folding merupakan  sebuah  tahapan  yang  digunakan  untuk  mengkonversi  semua karakter  dalam  kalimat  atau  dokumen  ke  dalam  huruf  kecil  dengan  tujuan  untuk  memberikan representasi  kata  yang  sama  dengan  kata  yang  memiliki  huruf  kapital  di  dalamnya  [8]. Selanjutnya  data  tersebut  akan  ditokenisasi  untuk  memisahkan  atau split kalimat  menjadi kumpulan token.

## 2.3.8  Stopword Removal dan Lemmatization
Stopword  removal dilakukan  untuk  menghilangkan  kata-kata  yang  tidak  menambah banyak  arti  pada  suatu  kalimat.  Selanjutnya  akan  diterapkan  lematisasi  pada  data  dengan mempertimbangkan  analisis  morfologi  kata  (hubungan  antar  kata)  dan  mengubah  kata  dengan cara yang bermakna [9]. Lemmatization membutuhkan kosakata lengkap dan analisis morfologi untuk membuat lematisasi kata dengan benar [9].

## 2. 4   Word2Vec
Word2Vec merupakan  salah  satu  teknik word  embedding yang  digunakan  untuk merepresentasikan kata dalam data berita menjadi sebuah vektor dengan besar embedding size yang ditentukan, sehingga dengan representasi Word2vec dapat dilakukan operasi kesamaan dan keterkaitan  antar  kata  [10].  Hasilnya  adalah vector , dimana  kata-kata  dengan  makna  serupa memiliki  representasi  numerik  yang  serupa  [11]. Window dengan  ukuran  yang  lebih  besar cenderung menangkap lebih banyak informasi tentang topik kalimat, sedangkan window dengan ukuran  lebih  kecil  cenderung  menarik  hubungan  tentang  kata  itu  sendiri  sebagai  kata  yang setara  atau  sinonim  kata  [12].  Pada  penelitian  yang  dilakukan  menggunakan  representasi  kata menjadi  sebuah  vektor  dengan  menggunakan Word2vec dengan  arsitektur Continious  Bag  Of Word (CBOW) . Berikut adalah arsitektur CBOW yang dapat dilihat pada Gambar 2.
Gambar 2.Arsitektur CBOW
3324 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E-ISSN 2503-2933
–end_page

## 2. 5   Bidirectional LSTM
Bidirectional LSTM merupakan neural network yang berisi 2 layer LSTM. Bidirectional LSTM  memanfaatkan  konteks  sebelumnya  dan  konteks  setelahnya  dengan  memproses informasi  dari  dua  arah  dengan hidden  layer terpisah. Bidirectional LSTM  mengkoneksikan  2 hidden layer yang berlawanan menuju ke satu output. Forward layer untuk merepresentasikan konteks  sebelumnya,  dan backward  layer untuk  merepresentasikan  konteks  setelahnya  [13]. Berikut pada Gambar 3 adalah desain lapisan pada model klasifikasi.

## 2.5.1  Embedding Layer
Lapisan  ini  menggunakan  data  masukan  yang  dikodekan  dengan  bilangan  bulat,  dan mengubahnya  menjadi  vektor  padat.  Setiap  bilangan  ini  merepresentasikan  setiap  kata.  Selain itu, lapisan ini diinisialisasi dengan bobot ( weigth ) acak dan akan mempelajari setiap embedding untuk semua kata dalam data pelatihan. Namun, pada penelitian ini weigth yang digunakan yaitu vektor yang diperoleh dari proses Word2vec sebelumnya.

## 2.5.2  Dropout Layer
Lapisan dropout menonaktifkan unit tertentu ( neuron ) dalam lapisan dengan probabilitas tertentu.  Penggunaan dropout dengan  menyetel  setengah  dari  lapisan  aktivasi  ke  nol. Penggunaan  lapisan dropout akan  membuat  pelatihan  akan  lebih  cepat.  Pada  penelitian  ini diterapkan nilai dropout sebesar 0,2 pada input layer.

## 2.5.3  Bi-LSTM Layer
Lapisan  ini  akan  melakukan  klasifikasi  berita  sesuai  dengan  inputan  yang  diterima  dari lapisan sebelumnya. Pada lapisan ini terdiri dari LSTM yang tersusun dari gerbang ( gates ) yaitu forget  gate , input  gate ,  dan  gerbang  keluaran output  gate yang  berguna  untuk  mengontrol keseimbangan input yang  akan  dimasukan  ke memory  cell dan  keseimbangan  dari  keadaan sebelumnya  yang  akan  hapus  [14].  Proses  di  balik  lapisan  Bi-LSTM  adalah  membagi unit menjadi  dua  bagian.  Pertama  yaitu forward  states yang  bertanggung  jawab  memproses informasi berdasarkan arah waktu positif atau kedepan, sedangkan yang kedua yaitu backward states memproses informasi berdasarkan arah waktu negatif atau mundur [14]. Pada penelitian ini,  parameter  yang  digunakan  pada  lapisan  Bi-LSTM  yaitu units sebanyak  64,  128,  dan  256. Parameter units digunakan pada lapisan LSTM sebagai ukuran atau jumlah hidden state LSTM
Gambar 3.Desain Lapisan Model Klasifikasi Dengan Bidirectional LSTM
Jatisi                            ISSN 2407-4322 Vol. 9, No. 4, Desember 2948, Hal. 3319-3331 E- ISSN 2503-2933 3325
pada lapisan tersembunyi dalam mengolah informasi. Formula (1), (2) dan (3) digunakan pada tiap gates yang ada pada LSTM.
Aktivasi vektor input gates
(1)
Aktivasi vektor forget gates
(2)
Aktivasi vektor output gates
(3)

## 2.5.4  Dense Layer
Lapisan dense digunakan  sebagai  lapisan output yang fully  connected, yang  manan lapisan  ini  menggunakan  beberapa  parameter  seperti units dan  aktivasi. Units merupakan bilangan  positif  yang  menunjukkan  ukuran  keluaran lapisan atau  berdasarkan  label  atau target keluaran data yang diprediksi yaitu 1 atau 0. Inputan lapisan ini berasal dari lapisan Bi-LSTM.

## 2. 6   K-Fold Cross Validation
K-Fold  Cross  validation adalah  metode  statistik  yang  dapat  digunakan  untuk mengevaluasi sebuah performa model atau algoritma [15]. Metode ini memisahkan data menjadi dua  bagian  yakni  data  latih  dan  data  validasi  [15].  Dalam Fold  cross  validation ,  keseluruhan data  akan  dibagi  menjadi  K  partisi  dengan  ukuran  yang  sama  [15].  Pemilihan  jumlah  K disesuaikan dengan data yang dimiliki, namun berdasarkan banyak hasil eksperimen yang telah dilakukan menunjukan standar K yang baik adalah 10 [15]. Pembagian data sebanyak K partisi dilakukan  secara  acak  [15].  Setiap  K  partisi  akan  dilatih  menggunakan  K-1  data  dan  sisanya sebagai  data  validasi  [15].  Gambar  4  adalah  gambar  dari  iterasi  atau  partisi  data  pada K-Fold Cross Validation.
Gambar 4. Ilustrasi Partisi Data dengan K=10

## 2. 7   Confusion Matrix
Confusion matrix berisi informasi tentang klasifikasi aktual dan prediksi oleh klasifikasi sistem.  Performa  sistem  biasanya  dievaluasi  menggunakan  data  dalam  matriks  [16].  Dalam c onfusion  matrix ,  setiap  kolom  berisi  nilai  yang  mewakili instance di  kelas  yang  diprediksi, sedangkan setiap baris berisi nilai yang mewakili instance di kelas sebenarnya. Gambar 5 adalah gambar confusion matrix untuk mengklasifikasikan dua kelas [17].
3326 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E-ISSN 2503-2933
Junita , et., al [ Model Klasifikasi Berita Palsu Menggunakan Bidirectional LSTM dan Word2Vec Sebagai Vektorisasi]
–end_page
Gambar 5. Confusion Matrix Berdasarkan Dua Label
Melalui tabel confusion matrix di atas, maka diperoleh persamaan (4), (5), (6) dan (7) berikut.
(4) !"## (5) "$% (6) 1 ' ("  2 ∗ !"## ∗ "$% !"##  "$% (7)
Berikut juga dibahas mengenai metrik evaluasi yang diperoleh dari persamaan di atas dan metrik evaluasi lainnya untuk mengukur kinerja model.
a. Accuracy
Penggunaan  akurasi  adalah  untuk  menentukan  bagaimana  model  memprediksi  berita  asli yang  memang  benar  diklasifikasi  menjadi  berita  asli,  dan  berita  yang  palsu  yang  benar diklasifikasi sebagai berita palsu.
b. Recall
Penggunaan  metrik recall adalah  untuk  menentukan  seberapa  besar  kemungkinan  model dapat memprediksi berita palsu dengan benar. Hasil recall tinggi dapat menunjukan bahwa modelnya lebih baik dan cenderung mengklasifikasikan berita palsu dengan benar.
c. Precision
Penggunaan metrik precision adalah untuk menentukan seberapa besar kemungkinan model dapat  memprediksi  berita  palsu  dengan  benar.  Hasil precision tinggi  dapat  menunjukan bahwa  modelnya  baik  memprediksi  berita  palsu,  benar  sebagai  berita  palsu  dari  sejumlah berita yang diprediksi palsu.
d. F-1 Score
Penggunaan  metrik F-1  Score adalah  untuk  menentukan  seberapa  rata  –  rata precision dan recall yang telah didapatkan. Hasil F-1 score yang baik adalah ketika adanya keseimbangan antara precision dan juga recall .
e. Computational Time
Penggunaan  metrik computational  time adalah  untuk  mengetahui  waktu  komputasi  dari setiap model yang dibangun. Metrik ini bukan berasal dari tabel confusion matrix .
Jatisi                            ISSN 2407-4322 Vol. 9, No. 4, Desember 2948, Hal. 3319-3331 E- ISSN 2503-2933 3327

## 3. HASIL DAN PEMBAHASAN
Penelitian  dilakukan  dengan  membangun  54  model  untuk  melakukan  klasifikasi  berita palsu.  Data  berita  yang  telah  melalui  serangkaian  tahapan  pra-pemrosesan  data akan  disimpan ke  dalam  bentuk  token.  Token  tersebut  akan  masuk  ke  dalam  proses  vektorisasi  kata  dengan menggunakan metode Word2Vec arsitektur CBOW. Data berita sebelum masuk ke dalam model klasifikasi Bi-LSTM harus diubah ke dalam bentuk bilangan bulat dan dilakukan pemampatan sequence (penyamaan panjang data).

## 3. 1   Model Klasifikasi
Parameter yang diperlukan untuk tiap lapisan model klasifikasi berbeda antara satu model dengan  model  lainnya.  Tabel  2  adalah  parameter  utama  yang  digunakan  dalam  membagun model klasifikasi.
Tabel 2.Parameter model klasifikasi Nomor Eksperimen Vektorisasi Wor2Vec (CBOW) Model Klasifikasi Bi-LSTM ES WS (T) WS (C) Embedding Layer Dropout Layer Bi- LSTM Layer Output Layer 1 100 1 5 Input_dim = vocab_size Output_dim = 100 Weight=word vector Input length = 68/1000 Trainable = False 0,2 64 128 256 1 activation sigmoid
2 7 3 9 2 200 1 5
Input_dim = vocab_size Output_dim = 200 Weight = word vector Input length = 68/1000 Trainable = False 0,2 64 128 256 1 activation sigmoid
2 7 3 9 3 300 1 5
Input_dim = vocab_size Output_dim = 300 Weight = word vector Input length = 68/1000 Trainable = False 0,2 64 128 256 1 activation sigmoid 2 7 3 9
Setelah data berita di- fit ke model klasifikasi yang telah dirancang dengan menggunakan library  Keras ,  selanjutnya  akan  digunakan  nilai  K=10  untuk  melakukan  evaluasi  pada  model klasifikasi.
3328 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E-ISSN 2503-2933
–end_page

## 3.1.1  Model Compile
Pada model compile digunakan beberapa fungsi yang ada pada library Keras yang biasa digunakan  pada  model deep  learning .  Parameter  untuk  model compile yang  digunakan  pada penelitian ini dapat dilihat pada tabel 3.
Tabel 3. Parameter yang Digunakan pada Model Compile Parameter Nilai loss binary_crossentropy optimizer. Adam learning_rate =0.001 metrics accuracy , recall , precision, f1-score
Parameter loss pada  penelitian  untuk  menggambarkan  seberapa  bagus  model  dalam memprediksi. Dimana nilai yang diterapkan pada loss function adalah binary _ crossentropy yang berarti  membandingkan  masing-masing  probabilitas  yang  diprediksi  berdasarkan  keluaran berupa 0 atau 1. Kemudian, optimizer.adam () merupakan metode penurunan stochastic gradient discent yang  didasarkan  pada  estimasi  adaptif  dari  momen first-order dan second - order untuk menentukan stochastic moments suatu fungsi dengan variabel input acak. Dengan menerapkan nilai learning _ rate 0.001,  dimana  fungsi  hiperparameter learning _ rate adalah  mengontrol weights jaringan saraf yang berhubungan dengan loss gradient .

## 3.1.2  Model Fit
Pada  perpustakaan  Keras, fit ()  digunakan  untuk  melakukan  pelatihan  model  dengan masukan  data  pelatihan.  Pada model . fit ()  terdapat  beberapa  parameter  yang  disediakan  untuk melatih model. Batch_size menentukan jumlah sampel pelatihan yang harus dilakukan sebelum memperbaharui  parameter  model  internal.  Sedangkan epochs mentukan  berapa  kali  algoritma pembelajaran  akan  bekerja  melalui  seluruh dataset pelatihan.  Parameter  pada model.fit ()  yang digunakan pada penelitan ini dapat dilihat pada tabel 4.
Tabel 4.Parameter yang Digunakan pada Model Fit Parameter Nilai batch_size 64 epochs 10

## 3. 2   Training Model
Pada tahapan ini dilakukan pelatihan model yang bertujuan untuk menguji model dengan parameter pada setiap model yang telah dibuat. Proses pelatihan model dilakukan menggunakan metode Bidirectional LSTM dengan fitur word embedding menggunakan Word2Vec arsitektur CBOW.  Selanjutnya  data  berita  yang  sudah  direpresentasikan  ke  dalam  bilangan  bulat  akan dibagi ke jumlah K partisi menggunakan K-Fold Cross Validation. Kemudian dilakukan proses training dan testing sebanyak K partisi. Dalam pengujian ini model klasifikasi data berita baik judul dan konten menggunakan K=10. Seluruh data berita dibagi sebanyak 10 fold .

## 3. 3   Evaluation Model
Pengevaluasian  model  dilakukan  dengan  membuat  ukuran  metrik  untuk  mengukur  atau mengevaluasi  kinerja  model.  Evaluasi  ini  digunakan  untuk  membandingkan  model  yang dibangun  dengan  model  lain  untuk  mengetahui  dan  memilih  model  yang  terbaik  dan  juga memastikan  bahwa  model  tersebut  cukup  baik.  Oleh  karena  itu,  peneliti  mendefinisikan beberapa  metrik  yaitu accuracy,  recall,  precision,  f1-score, dan computational  time. Berdasarkan pelatihan model diperoleh model ES 200, WS 3 & Unit 128 sebagai model terbaik
Jatisi                            ISSN 2407-4322 Vol. 9, No. 4, Desember 2948, Hal. 3319-3331 E- ISSN 2503-2933 3329
untuk data judul dan model ES 100, WS 5 & Unit 256 sebagai model terbaik untuk data konten. Hasil evaluasi model dapat dilihat pada tabel 5 dan tabel 6.
Tabel 5.Model Terbaik Data Judul
Tabel 6.Model Terbaik Data Konten
Gambar 6. Grafik Perbandingan Model Terbaik dari Judul dan Konten
Pada Gambar 6, perbedaan hasil kedua model judul dan model konten dipengaruhi oleh jumlah  data  yang  digunakan.  Dimana  data  yang  dimaksud  adalah  perbedaan  jumlah  kata  atau term pada data judul dan data konten [18]. Pada data judul hanya tersusun dari beberapa term , hal ini dikarenakan judul merupakan satu atau lebih suatu kata yang mencakup keseluruhan isi berita.  Sedangkan  konten,  tersusun  dari  beberapa  kalimat  atau  paragraf  yang  menjelaskan  isi berita  tersebut.  Hal  ini  menyebabkan  model  judul  akan  memperoleh  sedikit  informasi  dan cenderung bias dari pada model konten saat melakukan klasifikasi. Berdasarkan tingkat akurasi yang  didapat  oleh  model  judul,  model  ini  masuk  pada  kategori fair  classification .  Sedangkan untuk  tingkat  akurasi  yang  didapat  oleh  model  konten,  model  ini  masuk  pada  kategori good classification.

## 4. KESIMPULAN
Setelah  melakukan  keseluruhan  eksperimen,  jika  ditinjau  dari  parameter windows  size Word2vec,  menunjukan  bahwa  ukuran windows  size 3  pada  judul  berita  memperoleh  akurasi tertinggi yaitu 79,18%. Hasil ini didapatkan dari percobaan windows size 3, embedding size 200, dan  units  128.  Sementara  untuk  data  konten  dengan  windows  size  5  memperoleh  akurasi
79,18 81,16 77,14
79,1 92,8 94,58 90,94 92,73 0 20 40 60 80 100 Accuracy Recall Precision F-1 Score V a lu e Evaluation Metrics The Best Research Model Evaluation Results Model 1 (Title) Model 2 (Content) Model
Accuracy(% ) Recall (%) Precision(%) F-1 Score(%) Model 1: WS:3; ES:200; U:128 (Judul) 79,18 81,16 77.14 79,10 Model Accuracy(%) Recall (%) Precision(%) F-1 Score(%) Model 2: WS:5; ES:100; U:256 (Konten) 92,80 94,58 90,94 92,73
3330 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3319-3331 E-ISSN 2503-2933
Junita , et., al [ Model Klasifikasi Berita Palsu Menggunakan Bidirectional LSTM dan Word2Vec Sebagai Vektorisasi]
–end_page
tertinggi  yaitu  92,80%.  Hasil  ini  didapatkan  dari  percobaan  windows  size  5,  embedding  size 300,  dan  units  256.  Selain  itu,  penggunaan  parameter unit Bi-LSTM  di  model  klasifikasi berpengaruh  pada  performa  model,  apabila  jumlah  unit  Bi-LSTM  semakin  besar  maka  nilai accuracy,  recall,  precision, dan f1-score menunjukan  adanya  peningkatan  nilai.  Berdasarkan serangkaian eksperimen yang telah dilakukan, model dengan 256 units Bi-LSTM mendapatkan hasil terbaik jika dibandingkan dengan model yang menggunakan 128 dan 64 units Bi-LSTM. Selain  itu,  jumlah unit juga  mempengaruhi computational  time pada  model,  dimana  semakin besar unit maka computational time akan semakin besar.

## 5. SARAN
Berdasarkan  hasil  penelitian  yang  telah  dilakukan  dan  permasalahan  yang  ditemukan, terdapat beberapa saran untuk penelitian selanjutnya. Melalui hasil penelitian dan permasalahan tersebut,  sebaiknya  penelitian  selanjutnya  dapat  menggunakan  metode deep  learning lainnya yang  mampu  meningkatkan  performa  model  dalam  melakukan  pengklasifikasian  berita  palsu. Terkait dengan metode vektorisasi yang digunakan, penelitian selanjutnya dapat menggunakan teknik word  embedding lainnya  untuk  melakukan  vektorisasi  kata  pada  suatu  data  dan menghasilkan vektorisasi yang lebih baik dari Word2vec . Data yang digunakan pada penelitian selanjutnya sebaiknya diperbanyak dan model yang dihasilkan pada penelitian dapat diterapkan pada aplikasi-aplikasi sosial media guna mengatasi penyebaran berita palsu.

## DAFTAR PUSTAKA
[1] S. H. Kong, L. M. Tan, K. H. Gan and N. H. Samsudin, 2020, Fake News Detection using Deep Learning, pp 102-107.
[2] ProgrammerSought, word2vec and glove https://www.programmersought.com/article/27162713146/,  diakses  tgl  10  November 2020.
[3] Tensorflow, https://www.tensorflow.org/tutorials/text/word2vec#model_and_training, diakses tgl 21 Juli 2021
[4] U. Malik, Implementing Word2Vec with Gensim Library in Python , https://stackabuse.com/implementing-word2vec-with-gensim-library-in- python/#:~:text=Word2Vec%20has%20several%20advantages%20over,embedding%20v ector%20is%20very%20small, Diakses 22 November 2020.
[5] J. Han, M. Kamber. &. J. Pei, 2011, Data Mining Concepts and Techniques , Elsevier Inc.
[6] J. Han, M. Kamber. &. J. Pei, 2011, Data Mining Concepts and Techniques , Elsevier Inc, pp 93-04
[7] A. Saha, 2018, Handle Contractions In Text Preprocessing – NLP,
https://dev.to/edualgo/handle-contractions-in-text-preprocessing-nlp-21p,  Diakses  tgl  23 Maret 2021.
Jatisi                            ISSN 2407-4322 Vol. 9, No. 4, Desember 2948, Hal. 3319-3331 E- ISSN 2503-2933 3331
Junita , et., al [ Model Klasifikasi Berita Palsu Menggunakan Bidirectional LSTM dan Word2Vec Sebagai Vektorisasi] and clear, implies research results (First Author)
[8]   R.  Ghaniy  and  K.  Sihotang,  2019, Penerapan  Metode  Naïve  Bayes  Classifier  Untuk Penentuan  Topik  Tugas  Akhir,  Teknois  :  Jurnal  Ilmiah  Teknologi  Informasi  dan  Sains, Vol. 9, No. 1, hal 63-72.
[9]   B.  o.  F.  Kanani,  2019 "Natural  Language  Processing  Stemming  and  Lemmatizatio,.
https://studymachinelearning.com/stemming-and-lemmatization/, Diakses tgl 08
Desember 2020.
[10]   M.  M.  A.  Raffi  and  S.  A.  Ardiayanti,  2019 ,  e-Proceeding  of  Engineering," Analisis Model Word2vec Dalam Penyelesaian Soal Analogi pada Bahasa Indonesia, Vol. 6 , pp 8513.
[11]  Hackdeploy, 2018, HackDeploy Word2Vec Explained , https://www.hackdeploy.com/word2vec-explained-easily/, Diakses tgl 7 November 2020.
[12]   O.  Levy  and  Y.  Golberg,  2014, Neural  Word  Embedding  As  Implicit  Matrix Factorization , Advances  in  Neural  Information  Processing  Systems, Vol.  3,  No.  1,  pp 2177-2185.
[13]   G.  Lample,  M.  Ballesteros,  S.  Subramanian,  K.  Kawakami  and  C.  Dyer,  2016, Neural Architectures for Named Entity Recognition, Vol. 2 , pp 261-262.
[14]   Ł.  Augustyniak,  T.  Kajdanowicz  and  P.  Kazienko,  2019, Aspect  Detection  Using  Word And Char Embeddings With (Bi)LSTM and CRF, IEEE 2nd International Conference on Artificial Intelligence and Knowledge Engineering, pp. 2-4.
[15]   D. Berrar, 2018, Cross-Validation , ResearchGate, Vol. 1, p. 3.
[16]   C.  J.  C.  A.  K.  Santra,  2012, Genetic  Algorithm  and  Confusion  Matrix  for  Document Clustering, International Journal of Computer Science Issues, p. 3.
[17]   R. &. J. A. M. George, 2016 , Emotion Classification Using Machine Learning and Data Preprocessing  Approach  on  Tulu  Speech  Data , International  Journal  of  Computer Science and Mobile Computing, p. 10.
[18]   A. R.-A. R. H.-K. H. Ajiboye, 2015, Evaluating The Effect of Dataset Size on Predictive Model Using Supervised Learning Technique, International Journal of Computer Systems & Software Engineering, Vol. 1, No. 1, pp. 75-85.