2612 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E- ISSN 2503-2933
Pengaruh Hyperparameter Pada Fasttext Terhadap Performa Model Deteksi Sarkasme Berbasis Bi-LSTM
Yohana Veronika Aritonang 1 , Dewi Purnama Napitupulu 2 , Martin Halomoan Sinaga 3 , Junita Amalia *4 1,2,3 Fakultas Industri dan Teknik Elektro, Institut Teknologi Del, Laguboti e-mail: 1 yohanaaritonang2000@gmail.com, 2 fleurapurnama27@gmail.com, 3 martin.halomoan12@gmail.com, 4 * junita.amalia@del.ac.id

## Abstrak
Klasifikasi teks dapat diterapkan dengan pemrosesan bahasa alami. Namun, salah satu masalah  yang  ditemukan  pada  klasifikasi  teks  adalah  kalimat  sarkasme.  Sarkasme  mampu mengubah  makna  suatu  kalimat  menjadi  kebalikannya.  Untuk  mengatasi  masalah  tersebut, peneliti  mengusulkan  kombinasi  word  embedding  Fasttext  dengan  model  Deep  Learning yaitu Bi-LSTM  pada  kasus  deteksi  sarkasme  pada  tweet.  Fasttext  merepresentasi  kata  dengan memanfaatkan sub-word, sehingga mampu memperoleh informasi dari sebuah kata yang belum pernah  ditemukan  dan  mampu  memahami  kata  yang  berimbuhan.  Sedangkan  Bi-LSTM  dapat mempelajari  semantik  kata  yang  berpengaruh  dalam  mengklasifikasikan  tweet.  Eksperimen penelitian dilakukan terhadap penggunaan hyperparameter Fasttext yaitu vector size, window, minimal number of word occurrences, epochs, dan word2vec model architecture. Berdasarkan hasil  eksperimen  yang  dilakukan  hyperparameter  Fasttext  memiliki  pengaruh  yang  berbeda, dimana  terjadi  peningkatan  dan  penurunan  nilai  hasil  evaluasi.  Peningkatan  hasil  evaluasi lebih tampak pada penggunaan epochs pada nilai 100 dan penggunaan arsitektur CBOW.
Kata kunci — Bi-LSTM, Fasttext, Hyperparameter, Klasifikasi teks, Sarkasme

## Abstract
Text classification can be applied by natural language processing. However, one of the problems found in text classification is sarcasm sentences. Sarcasm can change the meaning of a sentence into the opposite. To solve this problem, the researcher proposes a combination of Fasttext  word  embedding  with  the  Deep  Learning  model,  namely  Bi-LSTM  in  the  case  of sarcasm  detection  in  tweets.  Fasttext  can  represent  words  by  utilizing  sub-word,  so  they  can obtain information from a word that has never been found and can understand words that have affixes.  While  Bi-LSTM  can  study  the  semantics  of  words  that  affect  classifying  tweets.  The experiments  were  conducted  on  the  use  of  Fasttext  hyperparameters,  namely  vector  size, window,  minimal  number  of  word  occurrences,  epochs,  and  word2vec  model  architecture. Based on the experimental results, Fasttext hyperparameters have different effects where there are  increasing  and  decreasing  in  the  value  of  the  evaluation  results.  Improved  evaluation results are more visible by using epochs at a value of 100 and using CBOW architecture.
Keywords — Bi-LSTM, Fasttext, Hyperparameter, Text classification, Sarcasm

## 1. PENDAHULUAN
lasifikasi teks  merupakan pengelompokan  suatu  dokumen  teks  berdasarkan  isi dari  teks maupun  karakteristik  dari  teks  tersebut.  Klasifikasi  teks  dapat  dilakukan  dengan membedakan  teks  yang  telah  ditentukan  ke  dalam  kelas  tertentu  atau  beberapa  kelas tertentu  [1].  Konten  sarkasme  yang  memuat  teks  menjadi  tantangan  dalam  analisis  sentimen pada teks [2]. Menurut Kamus Besar Bahasa Indonesia (KBBI), pengertian dari sarkasme adalah penggunaan kata-kata pedas untuk menyakiti hati orang lain, cemoohan atau ejekan kasar [3]. Sarkasme  dapat  mengubah  makna  dari suatu  kalimat atau  teks  menjadi  kebalikan  dari  isi teks tersebut  sehingga  salah  mengartikan  makna  teks  tersebut  [4]  [5].  Untuk  mengetahui  adanya sarkasme  pada  suatu  opini,  tentu  harus  memperhatikan  semantik  kata  dan  memilih  algoritma yang  sesuai  untuk  permasalahan  sarkasme.  Oleh  karena  itu,  studi  kasus  klasifikasi  sarkasme merupakan tantangan yang menarik perhatian peneliti dalam melakukan klasifikasi sarkasme . Penelitian  terdahulu  yang  menggunakan  pendekatan  berbasis Deep  Learning untuk melakukan  klasifikasi  teks  dilakukan  oleh  Guixian  Xu,  dkk. [6].  Penelitian  tersebut mengimplementasikan berbagai model Deep Learning termasuk RNN, CNN, LSTM, Bi-LSTM dan juga model Machine Learning yaitu Naïve Bayes. Hasil eksperimen pada penelitian tersebut menunjukkan  bahwa Bi-LSTM memiliki  kinerja  terbaik  yang  menunjukkan  nilai precision sebesar 91,54 ,  recall sebesar 92,82 , dan f1-score sebesar 92,18 . Pada proses klasifikasi, untuk mengekstrak  informasi  semantik  suatu  teks,  setiap  teks  akan  direpresentasikan  sebagai  urutan ( sequence ) dari word embeddings [7]. Penelitian terkait word embedding diajukan oleh Arliyanti Nurdin,  dkk.  [8]  yang  menghasilkan  nilai f1-score model  klasifikasi  teks  untuk dataset 20 newsgroup pada Word2ve 0,925, Glove 0,958,  dan Fasttext 0,979,  sedangkan  untuk dataset Reuters  News pada Word2vec 0,694, Glove 0,688,  dan Fasttext 0,715.  Kinerja  terbaik eksperimen tersebut yaitu menggunakan word embedding Fasttext . Pada penelitian ini, peneliti mengusulkan penggunaan Fasttext sebagai word embedding dan  Bi-LSTM  sebagai  model  klasifikasi  untuk  meningkatkan  kinerja  model dalam  memahami teks  baik  dengan  memperhatikan  pola  kata  pada  cuitan/ tweet .  Pemilihan  metode  Bi-LSTM dikarenakan  kemampuannya  dalam  memahami  konteks  suatu  teks  dengan  baik.  Bi-LSTM merepresentasi  setiap  kata  baru  yang  dicapai  dengan  meringkas  informasi  kontekstual  dari kedua  arah  pada  teks  [9].  Pemilihan Fasttext pada  penelitian  ini,  didasari  oleh  kemampuan Fasttext dalam mendapatkan representasi kata yang belum pernah muncul dalam data latih ( Out of Vocabulary) yang terdapat pada tweet di Twitter. Keunggulan lain dari Fasttext yaitu, metode ini bekerja dengan memanfaatkan sub-word untuk membentuk vektor kata.

## 2. METODE PENELITIAN
Penjelasan terkait tahapan penelitian yang dilakukan disajikan pada keterangan berikut.
1. Pada penelitian ini digunakan data tweet yang diperoleh dengan memanfaatkan Twint  Tool sebagai Twitter Scrapper , lalu data disimpan dalam ekstensi .csv.
2. Data akan dilabeli dengan membuat atribut baru dengan nama ‘label’, kemudian diisi dengan angka ‘1’ untuk tweet sarkasme dan angka ‘0’ untuk tweet non-sarkasme.
3. Pada  penelitian  akan  diterapkan  tahap text  preprocessing yaitu remove  duplicate,  case folding, remove URL, remove username/mentions, remove number and single char, remove punctuation, tokenizing, convert word, remove stopword, dan stemming terhadap .
4. Hasil text  preprocessing akan  digunakan  sebagai  masukan  pada word embedding Fasttext untuk  mendapatkan  representasi  vektor  dari  kata.  Pada  tahapan  ini  akan  dilakukan

## K
2614 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E-ISSN 2503-2933
eksperimen terhadap hyperparameter Fasttext , yaitu vector size, window, minimal number of word occurrences, epoch dan word2vec model architecture.
5. Tahap  klasifikasi  dilakukan  dengan  menggunakan  metode  Bi-LSTM  yang  mempelajari semantik  kata  dan  relasi  antarkata  yang  berpengaruh  dalam  penentuan  hasil  klasifikasi (sarkasme  atau  non-sarkasme).  Model  yang  dibangun  akan  digunakan  untuk mengklasifikasikan data latih.  Kemudian model pelatihan digunakan untuk mengklasifikasikan data uji ke dalam kelas sarkasme atau non-sarkasme.
6. Tahap akhir penelitian adalah evaluasi terhadap hasil klasifikasi apakah sesuai dengan yang diharapkan.  Hasil  evaluasi  diperoleh  dengan  menggunakan  perhitungan confusion  matrix yaitu metrik accuracy, precision, recall, dan f1-score .
Tahapan yang dilakukan pada penelitian ditunjukkan pada Gambar 1 berikut.

## Gambar 1. Tahapan Penelitian

## 2.1   Dataset
Pengumpulan  data  penelitian  dilakukan  dengan  memanfaatkan  Twint  untuk  Twitter scraping yang  diperoleh  melalui  https://github.com/twintproject/twint.  Twint  digunakan  untuk mengekstrak  data  dari  twitter  tanpa  menggunakan  API  twitter.  Data  yang  diambil  adalah kumpulan tweet yang  berasal  dari tweet periode  01  Januari  2017  sampai  01  Mei  2021. Dikarenakan  data  yang  diperoleh  untuk  topik  penelitian  ini  belum  memiliki  kelas  label,  maka peneliti  akan  melakukan  teknik  pelabelan  secara  manual.  Pelabelan  manual  dilakukan  oleh anggota  tim  peneliti  terhadap dataset, sehingga  label  final  diperoleh  dari  penggunaan  rumus MODE() pada Microsoft Excel . Berdasarkan analisis data yang dilakukan, maka dari 6.699 data yang  digunakan  terdiri  dari tweet dengan label sarkasme  (1)  4.926  data  dan  non-sarkasme  (0) sebanyak 1.773, yang menunjukkan imbalanced class.

## 2.2   Text preprocessing
Preprocessing dilakukan  untuk  mengurangi  penggunaan  kata  yang  tidak  diperlukan untuk text  mining [10].  Hasil  penelitian  oleh  Ammar  (2018)  menunjukkan  bahwa text
preprocessing dapat meningkatkan tingkat pengenalan teks dan kinerja sistem untuk klasifikasi teks [11]. Tahapan text preprocessing yang dilakukan pada penelitian ini adalah sebagai berikut. 1. Tahap pertama yang dilakukan pada penelitian ini adalah remove duplicate, data tweet yang ganda  atau  lebih  dari  satu  akan  dihapuskan  karena  mempengaruhi  hasil  proses  klasifikasi apabila sebuah kata muncul terlalu banyak tetapi berasal dari tweet yang sama.
2. Case  folding digunakan  untuk  mengubah  teks  menjadi  bentuk  yang  standar.  Tujuan  dari tahap ini adalah untuk menyeragamkan semua huruf pada tweet menjadi huruf kecil. Apabila seluruh  huruf  diubah  menjadi  huruh  kecil,  maka  semua  karakter  huruf  tidak  memiliki perbedaan dan memudahkan proses klasifikasi teks.
3. Tahapan selanjutnya adalah melakukan remove URL dikarenakan terdapat link atau Uniform Resource  Locator (URL)  yang  dibagikan  oleh user di  twitter.  Secara  umum  URL  tidak memiliki  kontribusi  dalam  klasifikasi  teks.  URL  yang  terlalu  sering  muncul  pada  data membuat maksud data sulit diartikan, sehingga perlu adanya remove URL.
4. Pada tahap remove  username/mentions dilakukan penghapusan username / mentions . Simbol “@”  pada  Twitter  biasa  ditemui  sebelum  merujuk  pada username seseorang  atau  biasa disebut mention dalam  Twitter. Username pada tweet dihapus  karena  tidak  memiliki pengaruh  dalam  pengelompokan tweet, peneliti  hanya  memanfaatkan  teks tweet dari pengguna.
5. Tahap remove  number dilakukan  untuk  menghapus  angka  yang  terdapat  pada  data tweet, karena  angka  tidak  diperlukan  pada  klasifikasi  teks  yang  dilakukan.  Sedangkan remove single char merupakan penghapusan huruf tunggal yang terdapat pada tweet .
6. Pada  tahap remove  punctuation ,  tanda  baca  yang  terdapat  pada  teks  akan  dihapuskan. Pengguna  Twitter  sering  menggunakan  berbagai  simbol  dalam tweet yang  dikirimnya.
Misalnya  "CoronaðŸðŸ,  cepatlah  pergi"  jika  karakter  tersebut  maka  apabila  simbol  atau tanda baca digabungkan dengan kata-kata dan membuat kata-kata itu tidak tersedia di kamus. Untuk mengatasi ini, simbol atau tanda baca tersebut dihapus.
7. Tahap tokenizing merupakan proses pemecahan teks atau kalimat menjadi kata yang disebut dengan token. Fungsi yang digunakan untuk melakukan tokenizing yaitu word_tokenize yang dapat  diimpor  dari library nltk.tokenize. Pengaplikasian  tokenisasi  dapat  membantu  dalam menafsirkan makna dengan menganalisis urutan kata.
8. Convert Word adalah proses mengubah kata dengan bahasa gaul menjadi kata baku. Dimana hal ini sangat penting dalam  menganalisis kalimat. Misalnya diberi kalimat “gw mah bodo amat” (secara harfiah artinya aku sih bodoh amat). Hasilnya yang diharapkan yaitu menjadi {aku, sih, bodoh, amat}.
9. Stopword  removal merupakan  proses  penghapusan  kata  yang  tidak  penting  seperti  kata penghubung  atau  kata  keterangan  “dan”,  “ke”,  “yang”,  dll.  Saat  jumlah  kata  yang  tidak penting berkurang, maka tingkat akurasi dari suatu klasifikasi akan semakin meningkat [12]. Penghapusan  kata-kata  tidak  penting  juga  meringankan  memori  penyimpanan,  sehingga mempercepat tahapan selanjutnya.
10. Berdasarkan  analisis  diperlukan  tahapan stemming untuk  menghapus  imbuhan  kata  agar mengurangi  jumlah  kata  dalam  bentuk  berbeda  yang  memiliki  kata  dasar  sama. Stemming yang dilakukan pada penelitian ini menggunakan stemmer dari library Sastrawi.
2.3   Word Embedding menggunakan Fasttext Pada  penelitian  ini  digunakan  teknik word  embedding ,  dimana  dilakukan  transformasi data. Fasttext merupakan  pengembangan  dari library Word2vec yang  dikenal  sebagai library untuk word  embedding .  Namun, Fasttext memiliki  keunggulan  dalam  memperoleh    kata  yang belum  pernah  ditemui  pada  data  latih  ( Out  Of  Vocabulary) . Fasttext mempelajari  representasi kata melalui informasi sub-word , dimana vektor kata  diperoleh dengan merepresentasikan kata
2616 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E-ISSN 2503-2933
sebagai sekumpulan karakter n-gram . Kemampuan Fasttext tersebut dapat dimanfaatkan untuk memperoleh  informasi  pada  kata-kata  yang  berimbuhan.  Pada  penelitian  ini,  eksperimen dilakukan  terhadap hyperparameter Fasttext yaitu vector  size,  windows,  minimal  number  of word  occurrences,  epochs, dan word2vec  model  architecture ( continuous  bag-of-words (CBOW) dan Skip-gram ) . Berikut penjelasan untuk setiap hyperparameter yang digunakan:
1. Vector  size merupakan  ukuran  dimensi embedding untuk  membangun  model  dalam  proses vektorisasi data tweet .
2. Window merupakan hyperparameter untuk  mengatur  jumlah  tetangga  ( neighbour )  terdekat yang digunakan untuk melakukan training model .
3. Minimal  number  of  word  occurrences  (min_count) merupakan hyperparameter untuk mendeskripsikan mengenai jumlah minimal kemunculan dari kata yang akan direpresentasi, kata – kata dengan kemunculan kurang dari nilai minimal number of word occurrences yang ditetapkan akan diabaikan.
4. Epochs yaitu  perulangan  yang  dilakukan  untuk  mencari  vektorisasi  kata  target  di  dalam vocabulary yang ada di dalam dataset .
5. Word2vec model architecture ( continuous bag-of-words (CBOW) dan Skip-gram ) digunakan untuk menunjukan arsitektur apa yang akan digunakan, apabila word2vec model architecture =  0,  maka  arsitektur  yang  akan  digunakan  adalah  CBOW  sedangkan  jika word2vec  model architecture = 1, maka arsitektur yang akan digunakan adalah Skip-gram .
Pada penelitian ini digunakan modul Fasttext yang telah tersedia pada library Gensim. Dimana  data  hasil prepocessing menjadi  masukan  model embedding .  Penentuan  nilai  pada hyperparameter untuk setiap eksperimen ditetapkan pada Tabel 1.
Tabel 1. Eksperimen hyperparameter Fasttext Nomor Eksperimen Hyperparameter Fasttext Vector size Window Minimal number of word occurrences (min_count) Epochs Word2vec model architecture (sg) 1 100 5 5 5 0 (CBOW) 150 5 5 5 0 (CBOW) 200 5 5 5 0 (CBOW) 2 100 5 5 5 0 (CBOW) 100 10 5 5 0 (CBOW) 100 15 5 5 0 (CBOW) 3 100 5 1 5 0 (CBOW) 100 5 5 5 0 (CBOW) 4 100 5 5 10 0 (CBOW) 100 5 5 50 0 (CBOW) 100 5 5 100 0 (CBOW) 5 100 5 5 5 0 (CBOW) 100 5 5 5 1 ( Skip-gram )

## 2.4    Bidirectional Long Short-Term Memory
(Bi-LSTM) Bi-LSTM  merupakan  pengembangan  dari  model  LSTM,  dimana  struktur  Bi-LSTM memiliki 2 lapisan dengan proses yang saling berlawanan arah. Bi-LSTM memiliki keunggulan dalam mempelajari konteks teks atau kalimat. Bi-LSTM sangat cocok untuk menangani masalah semantik  dengan  kemampuan  mengenali  pola  dalam  kalimat    dari  setiap  kata  pada  teks  yang
diproses secara sekuensial. Pada Bi-LSTM, lapisan di bawahnya bergerak maju ( forward ) untuk mempelajari dari kata awal menuju kata terakhir sedangkan lapisan di atasnya bergerak mundur ( backward ) untuk mempelajari dari kata terakhir menuju kata awal. Berikut merupakan gambar arsitektur model klasifikasi yang akan dibangun pada penelitian ini.
Gambar 2. Arsitektur Model Klasifikasi
Berdasarkan  penelitian  Habernalt  dalam  membandingakn  makna  kalimat  terhadap  suatu topik  Bi-LSTM  terbukti  memiliki  kinerja  yang  lebih  baik  [13].  Algoritma neural  network ini memiliki kelebihan ketimbang algoritma lain, antara lain adalah dapat memanfaatkan word/char embedding yang bisa mengurangi dampak unseen  word serta neural network bisa mengurangi beban kerja dalam feature engineering [14]. Pada model Bi-LSTM yang akan dibangun secara sekuensial menggunakan library keras akan ditambahkan beberapa layer yaitu embedding layer, Bidirectional (LSTM ) layer , Dropout, dan Dense.
1. Embedding  layer diperlukan  karena  lapisan  ini  akan  digunakan  untuk  memasukkan  hasil eksperimen word embedding yang bentuknya sudah standar. Pada penelitian ini, embedding yang digunakan berdasarkan eksperimen hyperparameter Fasttext .
2. Pada  Bi-LSTM layer terdapat forward  layer dan backward  layer . Forward  layer bertanggung  jawab  memproses  informasi  berdasarkan  arah  waktu  maju,  sedangkan backward layer memproses informasi berdasarkan arah waktu mundur [15]. Pada penelitian ini, metode Bi-LSTM memiliki ukuran unit LSTM =64 dan nilai recurrent_dropout = 0,2.
3. Dropout digunakan  untuk  mencegah overfitting dan  menyediakan  cara  untuk menggabungkan secara eksponensial banyak arsitektur neural networks yang berbeda secara efisien [16]. Pada penelitian ini, nilai dropout yang dipilih sebagai nilai yang paling efektif dalam mencegah overfitting pada lapisan dropout yaitu 0.5 [14].
4. Pada dense  layer yang digunakan  sebagai  lapisan  keluaran  yang  melakukan  operasi  pada lapisan masukan dan mengembalikan keluaran dan setiap neuron di lapisan sebelumnya yang terhubung ke neuron lapisan berikutnya. Pada nilai argumen unit yaitu 2 (sesuai jumlah kelas label) dan argumen activation yaitu, sigmoid . Pada kasus klasifikasi, fungsi aktivasi sigmoid dinilai memiliki performa yang lebih baik [17].
Selain itu, hyperparameter lainnya yang digunakan yaitu fungsi kerugian ( loss function ) menggunakan binary cross-entropy . Sedangkan optimizer yang digunakan peneliti yaitu Adam. Pengaturan  nilai learning  rate yang default akan  digunakan  pada  penelitian ini yaitu learning rate =  0,001  [18]. Lalu,  pada  inisialisasi metrics akan  digunakan accuracy untuk  melakukan
2618 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E-ISSN 2503-2933
train data. Kemudian, pada saat mengekseskusi train model akan diinisialisasikan nilai epoch= 5 dan batch size = 32 .

## 3. HASIL DAN PEMBAHASAN

## 3.1   Hasil Text Preprocessing
Berdasarkan  tahapan text  preprocessing yang  dilakukan,  diperoleh  hasil  seperti  yang dapat dilihat pada contoh Tabel 2.
Tabel 2. Hasil Text Preprocessing No Tweet Hasil Text Preprocesing 1 Tidak  bisa  menjanjikan  apa  pun  tahun  ini  selain sedikit #sarkasme dan #booktips sesekali janji  apa  tahun  sedikit  sarkasme booktips sekal 2 @gislevonen  Hal  yang  sama  harus  diterapkan pada  Undang-Undang  Acara  Pidana.ï¿½Anda menyetujui semua intervensi kecuali Anda secara aktif memesan.ï¿½#sarkasme sama  terap  undang  undang  acara pidana tuju semua intervensi aktif mes sarkasme 3 Jangan  jadi  Cina  dan  Kresten  kalau  mau  jadi presiden  di  Indonesia.  Nanti  di  penjara... #sarkasme jangan  jadi  cina  kristen  kalau mau  jadi  presiden  indonesia penjara sarkasme
Berdasarkan  hasil  tersebut,  data tweet yang  telah  melalui  tahapan text  preprocessing telah bersih dan berisi teks tweet yang dibutuhkan untuk membuat model klasifikasi sarkasme.

## 3.2   Hasil Eksperimen
Hasil  percobaan  untuk  klasifikasi  sarkasme  pada  Twitter  menggunakan  metode word embedding Fasttext dan algoritma klasifikasi Bi - LSTM dijelaskan pada subbab berikut.
1. Eksperimen I
Eksperimen I untuk melihat pengaruh hyperparameter vector size adalah sebagai berikut.
Tabel 3. Hasil eksperimen vector size Vector size Metrics Accuracy Precision Recall F1-score 100 0,77 0,71 0,64 0,65 150 0,75 0,68 0,67 0,68 200 0,74 0,67 0,65 0,66
Berdasarkan  Tabel  3  dapat  disimpulkan  bahwa  performansi accuracy dan precision terbaik  adalah  saat  nilai vector  size adalah  100.  Performansi recall dan f1-score yang  terbaik didapatkan saat nilai vector size 150.
2. Eksperimen II Eksperimen I untuk melihat pengaruh hyperparameter window adalah sebagai berikut.
Tabel 4. Hasil eksperimen window Window Metrics Accuracy Precision Recall F1-score 5 0,77 0,71 0,64 0,65 10 0,74 0,67 0,66 0,66 15 0,77 0,68 0,67 0,67
Berdasarkan Tabel 4 dapat disimpulkan bahwa performansi accuracy terbaik didapatkan saat  nilai window sama  dengan  5  dan  15.  Performansi precision terbaik  didapatkan  saat  nilai window sama  dengan  5.  Performansi recall dan f1-score terbaik  didapatkan  pada  saat  nilai window 15.
3. Eksperimen III Eksperimen  IV  untuk  melihat  pengaruh hyperparameter  minimal  number  of  word occurrences adalah sebagai berikut.
Tabel 5. Hasil eksperimen minimal number of word occurrences Minimal number of word occurrences Metrics Accuracy Precision Recall F1-score 1 0,76 0,69 0,67 0,68 5 0,77 0,71 0,64 0,65
Berdasarkan  Tabel  5  dapat  disimpulkan  bahwa  performansi accuracy dan precision terbaik didapatkan pada nilai minimal number of word occurrences sama dengan 5. Performansi recall dan f1-score terbaik  didapatkan  pada  saat  nilai minimal  number  of  word  occurrences bernilai 1.
4. Eksperimen IV
Eksperimen IV untuk melihat pengaruh hyperparameter epochs adalah sebagai berikut.
Tabel 6. Hasil eksperimen epochs Epoch Metrics Accuracy Precision Recall F1-score 10 0,76 0,69 0,64 0,65 50 0,76 0,70 0,64 0,66 100 0,77 0,70 0,65 0,66
Berdasarkan Tabel 6 dapat disimpulkan bahwa performansi accuracy dan recall terbaik yaitu saat epoch bernilai 100. Performansi precision dan f1-score terbaik yaitu pada saat nilai epoch sama dengan 50 dan 100.
5. Eksperimen V Eksperimen V untuk melihat pengaruh hyperparameter word2vec model architecture adalah sebagai berikut.
2620 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E-ISSN 2503-2933
Tabel 7. Hasil eksperimen word2vec model architecture word2vec model architecture Metrics Accuracy Precision Recall F1-score CBOW 0,77 0,71 0,64 0,65 Skip-gram 0,76 0,69 0,64 0,65
Berdasarkan  Tabel  7  dapat  disimpulkan  bahwa  performansi accuracy dan precision terbaik adalah saat menggunakan arsitektur CBOW. Sedangkan performansi recall dan f1-score sama  baiknya  untuk  kedua  arsitektur  baik  menggunakan  arsitektur  CBOW  maupun  arsitektur Skip-gram .

## 3.3 Pembahasan
Pada  klasifikasi  digunakan  data test sebesar  20%  dari  total  jumlah  data  Twitter.  Total jumlah  data  dari  hasil preprocessing adalah  6687  sehingga  data  uji  yang  digunakan  untuk prediksi  klasifikasi  sebanyak  1338  data.  Hasil  dari  setiap  eksperimen  menunjukksn  bahwa rentang nilai dari stiap metriks evaluasi yang digunakan tidak terlalu jauh berbeda. Maka dapat dibuktikan  bahwa  model  yang  dibangun  dapat  melakukan  proses  klasifikasi  dengan  baik. Berikut merupakan hasil visualisasi perhitungan untuk nilai accuracy , precision, recall dan f1- score.
Gambar 3. Bar chart berdasarkan Eksperimen I
Pada  eksperimen  I,  tingkat  keakuratan  model  klasifikasi  yang  dibangun  dalam  proses klasifikasi  yang  tepat  ( precision )  dengan  skor  tertinggi  ditemukan  pada vector  size 100.  Nilai tingkat  keberhasilan  model  dalam  melakukan  klasifikasi  ( recall )  dan f1-score dengan  skor tertinggi ditemukan pada nilai vector size 150 . Dari visualisasi di atas diketahui bahwa saat nilai vector size meningkat maka nilai accuracy dan precision akan mengecil . 0 0,2 0,4 0,6 0,8 1 Accuracy Precision Recall F1-Score Eksperimen I (Vector Size : 100, 150 dan 200) 100 150 200
Gambar 4. Bar chart berdasarkan Eksperimen II
Pada  eksperimen  II,  tingkat  keakuratan  model  klasifikasi  yang  dibangun  dalam  proses klasifikasi  yang  tepat  ( precision )  dengan  skor  tertinggi  ditemukan  pada  nilai window 5.  Nilai tingkat  keberhasilan  model  dalam  melakukan  klasifikasi  ( recall )  dan f1-score dengan  skor tertinggi  ditemukan  pada  nilai window 15 . Dari  visualisasi  di  atas  diketahui  bahwa  saat  nilai nilai window meningkat , maka  nilai recall dan f1-score juga  akan  meningkat.  Sedangkan semakin kecil nilai window, maka akan semakin tinggi nilai precision .
Gambar 5. Bar chart berdasarkan Eksperimen III
Pada eksperimen III, keakuratan model klasifikasi yang dibangun dalam proses klasifikasi yang  tepat  ( precision )  dengan  skor  tertinggi  ditemukan  pada  nilai minimal  number  of  word occurrences 5.  Nilai  tingkat  keberhasilan  model  dalam  melakukan  klasifikasi  ( recall )  dan f1- score dengan skor tertinggi ditemukan pada nilai minimal number of word occurrences 1 . Dari visualisasi  di  atas  diketahui  bahwa  saat  nilai  nilai minimal  number  of  word  occurences
0 0,2 0,4 0,6 0,8 1 Accuracy Precision Recall F1-Score Eksperimen II (Window : 5, 10 dan 15) 5 10 15 0 0,2 0,4 0,6 0,8 1 Accuracy Precision Recall F1-Score Eksperimen III
(Minimal Number of Word Occurrences = 1 dan 5)
1 5
2622 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E-ISSN 2503-2933
meningkat  maka  akan  semakin  besar  juga  nilai accuracy dan precision. Sedangkan  semakin kecil nilai minimal number of word occurrences, maka nilai recall dan f1-score semakin tinggi.
Gambar 6. Bar chart berdasarkan Eksperimen IV
Pada  eksperimen  ini,  tingkat  keakuratan  model  klasifikasi  yang  dibangun  dalam  proses klasifikasi  yang  tepat  ( precision ),  tingkat  keberhasilan  model  dalam  melakukan  klasifikasi ( recall ) dan f1-score dengan skor tertinggi ditemukan pada nilai epoch 100 . Dari visualisasi di atas diketahui bahwa saat nilai epoch meningkat , maka nilai accuracy, precision, f1-score dan recall semakin tinggi.
Gambar 7. Bar chart berdasarkan Eksperimen V
Pada  eksperimen  ini,  tingkat  keakuratan  model  dengan  skor  tertinggi  ditemukan  pada arsitektur  CBOW.  Keakuratan  model  klasifikasi  yang  dibangun  dalam  proses  klasifikasi  yang tepat  ( precision )  dengan  skor  tertinggi  ditemukan  pada  arsitektur  CBOW.  Nilai  tingkat keberhasilan model dalam melakukan klasifikasi ( recall ) dan f1-score memiliki skor yang sama
0 0,2 0,4 0,6 0,8 1 Accurracy Precision Recall F1-Score Eksperimen IV (Epoch = 10, 50 dan 100) 10 50 100 0 0,2 0,4 0,6 0,8 1 Accuracy Precision Recall F1-Score Eksperimen V
(Word2vec Model Architecture = CBOW dan Skip-gram)
0 1
untuk masing-masing arsitektur . Dari visualisasi di atas, dapat disimpulkan bahwa performansi accuracy dan precision terbaik  adalah  saat  menggunakan  arsitektur  CBOW.  Sedangkan performasi recall dan f1-score sama baiknya pada kedua arsitektur.

## 4. KESIMPULAN
Sesuai  hasil  eksperimen  penelitian  yang  telah  dilakukan  menggunakan hyperparameter Fasttext sebagai word embedding menghasilkan  beberapa  variasi  hasil  evaluasi  model klasifikasi menggunakan pembagian data train dan data test. Pada Eksperimen I, semakin besar nilai vector  size ,  maka  akan  semakin  kecil  nilai accuracy dan precision .  Pada  Eksperimen  II, semakin  besar  nilai window ,  maka  akan  semakin  tinggi  nilai recall dan f1-score .  Sedangkan semakin  kecil  nilai window ,  maka  akan  semakin  tinggi  nilai precision .  Pada  Eksperimen  III, semakin  besar  nilai minimal  number  of  word  occurences maka  akan  semakin  besar  juga  nilai accuracy dan precision . Sedangkan semakin kecil nilai minimal number of  word  occurrences , maka nilai recall dan f1-score semakin tinggi. Pada Eksperimen IV, semakin besar nilai epoch , maka  nilai accuracy , precision , f1-score dan recall akan  semakin  tinggi.  Pada Eksperimen  V, performansi accuracy dan precision terbaik  adalah  saat  menggunakan  arsitektur  CBOW. Sedangkan  performasi recall dan f1-score sama  baiknya  pada  kedua  arsitektur.  Berdasarkan hasil  eksperimen  yang  dilakukan hyperparameter  fasttext memiliki  pengaruh  yang  berbeda terhadap  hasil  evaluasi,  namun  peningkatan  lebih  tampak  pada  penggunaan  nilai epochs pada nilai  100  dan  penggunaan  arsitektur  CBOW.  Dapat  disimpulkan  performa  model  deteksi sarkasme menggunakan Bi-LSTM dan Fasttext sudah cukup baik.

## 5. SARAN
Saran dari penulis dalam penelitian ini sebagai berikut:
1. Pada penelitian yang dilakukan, evaluasi model Bi-LSTM belum mampu mencapai kategori baik  untuk  masalah  klasifikasi  sarkasme.  Oleh  karena  itu,  disarankan  untuk mengkombinasikan  metode embedding Fasttext dengan  algoritma Deep  Learning lainnya untuk meningkatkan hasil evaluasi.
2. Pada penelitian ini, pemilihan nilai hyperparameter Fasttext masih dilakukan secara random , penulis menyarankan untuk penelitian selanjutnya untuk menggunakan nilai hyperparameter Fasttext menggunakan grid search atau teknik optimasi lainnya sehingga optimasi terhadap nilai hyperparameter Fasttext dapat memperoleh hasil yang lebih baik.
3. Angka  yang  tidak  seimbang  dalam  data  latih  pada  penelitian  otomatis  akan  berpengaruh terhadap  hasil  dari  proses  klasifikasi  yang  lebih  dominan  diprediksi  ke  dalam  kelas  label mayoritas  (non-sarkasme),  sehingga  untuk  meningkatkan  hasil  evaluasi  klasifikasi  dalam penelitian selanjutnya disarankan untuk menggunakan data latih yang seimbang.

## UCAPAN TERIMA KASIH
Dengan  penuh  rasa  syukur  kepada  Tuhan  yang  Maha  Esa,  penulis  menyampaikan ucapan terima kasih kepada semua pihak yang mendukung penulis dalam menyelesaikan karya ini.
2624 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2612-2624 E-ISSN 2503-2933

## DAFTAR PUSTAKA
[1]   Y.  Zhou, "A  Review  of  Text  Classification  Based  on  Deep  Learning," in Proceedings  of The  2020  3rd  International  Conference  on  Geoinformatics  and  Data  Analysis ,  Marseille, France, 2020.
[2]   S.  Parveen  and  S.  N.  Deshmukh,  "Opinion  Mining  in  Twitter  –  Sarcasm  Detection," International  Research  Journal  of  Engineering  and  Technology  (IRJET)  Journal, Vol.  4, No. 10, pp. 201-204, 2017.
[3]   Badan Pengembangan dan Pembinaan Bahasa, Kementerian  Pendidikan dan  Kebudayaan Republik Indonesia, "KBBI Daring," 2016. [Online]. Available:
https://kbbi.kemdikbud.go.id. [Accessed 25 Januari 2021].
[4]   E.  Lunando  and  A.  Purwarianti, "Indonesian  Social  Media  Sentiment  Analysis  With Sarcasm Detection," in 2013 International Conference on Advanced Computer Science and Information Systems (ICACSIS) , Sanur Bali, 2013.
[5]   L.  Sivaprakasam  and  A.  Jayaprakash, "A  Study  on  Sarcasm  Detection  Algorithms," International Journal of Engineering Technology Science and Research, Vol. 4, No. 9, pp. 1362-1366, 2017.
[6]   G.  Xu,  Y.  Meng,  X.  Qiu,  Z.  Yu  and  W.  Xu, "Sentiment  Analysis  of  Comment  Based  on BiLSTM," IEEE Access, Vol. 7, pp. 51522-51532, 2019.
[7]   Q.  Zhou,  Z.  Zhang  and  H.  Wu, "NLP  at  IEST  2018:  BiLSTM-Attention  and  LSTM- Attention via Soft Voting in Emotion Classification," in Proceedings of The 9th Workshop on  Computational  Approaches  to  Subjectivity,  Sentiment  and  Social  Media  Analysis , Brussels, Belgium, 2018.
[8]   A.  Nurdin,  B.  A.  S.  Aji,  A.  Bustamin  and  Z.  Abidin, "Perbandingan  Kinerja  Word Embedding Word2vec,Glove, dan FastText pada Klasifikasi Teks," Jurnal TEKNOKOMPAK, Vol. 14, No. 2, pp. 74-79, 2020.
[9]   A. M. Dai and Q. V. Le, "Semi-Supervised Sequence Learning," in NIPS'15: Proceedings of  the  28th  International  Conference  on  Neural  Information  Processing  Systems , Cambridge, 2015.
[10] A.  T.  J.  H .,  "Preprocessing  Text  Untuk  Meminimalisir  Kata  yang  Tidak  Berarti  Dalam Proses Text Mining," Jurnal Informatika UPGRIS, Vol. 1, pp. 1-9, 2015.
[11] A.  I.  Kadhim, "An  Evaluation  of  Preprocessing  Techniques  for  Text  Classification," International Journal of Computer Science and Information Security (IJCSIS), Vol. 16, No. 6, pp. 22-32, 2018.
[12] A. F. Hidayatullah, "Pengaruh Stopword Terhadap Performa Klasifikasi Tweet Berbahasa Indonesia," JISKa, Vol. 1, No. 1, pp. 1-4, 2016.
[13] I.  Habernalt  and  I.  Gurevych, "Which  Argument  is  More  Convincing?  Analyzing  and Predicting Convincingness of Web Arguments Using Bidirectional LSTM," in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics , Berlin, 2016.
[14] E.  Lim,  E.  I.  Setiawan  and  J.  Santoso, "Stance  Classification  Post  Kesehatan  di  Media Sosial  Dengan  FastText  Embedding  dan  Deep  Learning," Journal  Of  Intelligent  Systems And Computation, Vol. 1, No. 2, pp. 65-73, 2019.
[15] Ł.  Augustyniak,  T.  Kajdanowicz  and  P.  Kazienko ,  "Aspect  Detection  Using  Word  and Char Embeddings With (BI)LSTM and CRF," arXiv:1909.01276v1, pp. 2-4, 2019.
[16] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overfitting," Journal of Machine Learning Research, Vol. 15, pp. 1929-1958, 2014.
[17] S.  Sharma,  S.  Sharma  and  A.  Athaiya, "Activation  Functions  In  Neural  Network," International Journal of Engineering Applied Sciences and Technology, Vol. 4, No. 12, pp. 310-316, 2020.
[18] "Adam,"  Keras,  [Online].  Available:  https://keras.io/api/optimizers/adam/.  [Accessed  5 Agustus 2021].