## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741

## Analisis Perbandingan Nilai Akurasi Mekanisme
Attention Bahdanau dan Luong pada Neural Machine Translation Bahasa Indonesia ke Bahasa Melayu Ketapang dengan Arsitektur Recurrent Neural Network
Wahyu Gunawan #1 , Herry Sujaini #2 , Tursina #3
# Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak, 78124
1 wahyugunawan11@student.untan.ac.id
2 hs@untan.ac.id
3 tursina@informatika.untan.ac.id
Abstrak— Di Indonesia, penerapan mesin penerjemah masih banyak dilakukan dengan berbasis statistik khususnya dalam eksperimen  penerjemahan  bahasa  daerah.  Dalam  beberapa tahun terakhir, mesin penerjemah jaringan saraf tiruan telah mencapai  kesuksesan  yang  luar  biasa  dan  menjadi  metode pilihan  baru  dalam  praktik  mesin  penerjemah.  pada penelitian  ini  menggunakan  mekanisme  attention  dari Bahdanau  dan  Luong  dalam  bahasa  Indonesia  ke  bahasa Melayu Ketapang dengan data korpus paralel sejumlah 5000 baris  kalimat.  Hasil  pengujian  berdasarkan  metode penambahan  secara  konsisten  dengan  jumlah  epoch didapatkan nilai skor BLEU yaitu pada  attention Bahdanau menghasilkan  akurasi  35,96%  tanpa  out-of-vocabulary (OOV)  dengan  menggunakan  jumlah  epoch  40,  sedangkan pada  attention  Luong  menghasilkan  akurasi  26,19%  tanpa OOV  menggunakan  jumlah  30  epoch.  Hasil  pengujian berdasarkan k-fold cross validation didapatkan nilai rata-rata akurasi tertinggi sebesar 40,25% tanpa OOV untuk attention Bahdanau  dan  30,38%  tanpa  OOV  untuk  attention  Luong, sedangkan  pengujian  manual  oleh  dua  orang  ahli  bahasa memperoleh nilai akurasi sebesar 78,17% dan 72,53%.
Kata  kunci — Neural  Machine  Translation,    Attention Mechanism,  Deep  Learning,  Natural  Language  Processing, BLEU, K-Fold Cross Validation.

## I. P ENDAHULUAN
Dalam  beberapa  tahun  terakhir,  mesin  penerjemah masih  banyak  dilakukan  dengan  berbasis  statistik  (SMT) khususnya dalam eksperimen penerjemahan bahasa daerah di Indonesia.
Sampai saat ini kemunculan mesin penerjemah jaringan saraf  tiruan  (NMT)  telah  mencapai  kesuksesan  yang  luar biasa dan menjadi metode pilihan baru dalam praktik mesin penerjemah. Mesin penerjemah jaringan saraf tiruan (NMT)
telah  mencapai  pertunjukan  mutakhir  dalam  menangani berbagai  pasangan  bahasa  [1].  Penerapan  NMT  sudah banyak dilakukan pada beberapa pasangan bahasa resmi di Dunia, namun  masih  sedikit digunakan untuk  eksperimen penerjemahan bahasa daerah, khususnya bahasa daerah di Indonesia.
Di  Kalimantan  Barat,  bahasa  Melayu  Ketapang merupakan  salah  satu  bahasa  yang  digunakan  bagi masyarakat Kabupaten Ketapang. Bahasa Melayu Ketapang
memiliki beberapa dialek dan pengelompokannya  pun  memiliki  ciri-ciri  yang  berbeda, perbedaan  meliputi  sistem  pengucapan,  bentuk  kata  dan kosakata.  Akan  tetapi  seiring  bertambahnya  waktu, penggunaan  bahasa  Melayu  Ketapang  semakin  jarang digunakan  dalam  berkomunikasi  oleh  masyarakat.  Akibat yang ditimbulkan banyak kata-kata dalam bahasa Melayu Ketapang  yang  mulai  mengalami  kepunahan  [2]. Pemanfaatan  mesin  penerjemah  dapat  digunakan  dalam upaya melestarikan bahasa daerah dengan cara digital.
Mesin  penerjemah  jaringan  saraf  tiruan  (NMT)  adalah pendekatan  baru  untuk  teknologi  mesin  penerjemah  yang menggabungkan encoder yaitu  komponen  jaringan  saraf tiruan berulang (RNN) yang mengkodekan bahasa sumber dalam vektor panjang tetap, dan dekoder yaitu komponen jaringan  saraf  tiruan  berulang  (RNN)  yang  menghasilkan hasil terjemahan lengkap [3].
Dalam pengembangan mesin penerjemah jaringan saraf tiruan  (NMT),  beberapa  peneliti  dengan  makalah sebelumnya yaitu arsitektur recurrent continuous translation models (RCTM) yang memadukan convolution neural  network dan recurrent  neural  network [4],  RNN encoder-decoder [5] dengan framework model yang biasa dikenal sequence  to  sequence [6],  RNNsearch  dengan
mekanisme attention ( alignment & translate )  [7], global dan local attention [8], ByteNet [9], convolution sequence to  sequence (Conv  Seq2Seq)  [10]  serta self-attention network (SAN) dengan arsitektur transformer [11].
Mesin  penerjemah  jaringan  saraf  tiruan  (NMT) dibangun dari framework model sequence to sequence yang memiliki hal utama adalah dua jaringan saraf tiruan dengan arsitektur encoder dan decoder yang membaca kata sumber satu  persatu  untuk  mendapatkan  representasi  vektor  dari dimensi  tetap ( encoder ), kemudian mengkondisikan input dan  mengekstrak  kata  target  satu  per  satu  menggunakan RNN ( decoder ).
Masalah  yang  terdapat  pada sequence  to  sequence adalah  bahwa  satu-satunya  informasi  yang  diterima decoder dari encoder adalah encoder  hidden  state (representasi  vektor  yang  seperti  ringkasan  numerik  dari urutan input )  yang  mempunyai  node  panjang  tetap  dan tidak memungkinkan memiliki panjang yang sama seperti urutan input pada  encoder.  Jadi,  untuk  teks input yang panjang, mengharapkan decoder hanya menggunakan satu representasi vektor untuk meringkas urutan input sehingga bisa  menghasilkan  terjemahan.  Kasus  seperti  ini  apabila mengatasi  teks input yang  panjang  atau  banyak  akan menyebabkan  mesin  penerjemah  sulit  mengingat  urutan. Hal  yang  bisa  mengatasi  ini  adalah  kita  perlu  satu representasi vektor dari setiap langkah encoder pada setiap input perkata ini bisa disebut attention .
Untuk  mengatasi  masalah  yang  ada  pada sequence  to sequence adalah  dengan  menggunakan  mekanisme attention . Attention adalah  antarmuka  antara encoder dan decoder yang menyediakan decoder dengan informasi dari setiap encoder hidden state . Dengan ini, model dapat secara selektif fokus pada bagian-bagian berguna dari urutan input dan  mempelajari alignment atau  penyelarasan  di  antara urutan input dan output .  Mekanisme attention bisa membuat satu representasi vektor dari setiap langkah waktu encoder sehingga akan membantu model untuk mengatasi secara  efektif  pada  kalimat input yang  panjang  dan membuat akurasi terjemahan menjadi lebih baik.
Beberapa  penelitian  terkait  mekanisme attention pada mesin  penerjemah  jaringan  saraf  tiruan  telah  dilakukan. Penelitian yang dilakukan oleh Bahdanau dkk [7] membuat penerjemahan bahasa Inggris ke bahasa Prancis dengan 348 juta  korpus  pelatihan  dengan  menggunakan  2  metode pengujian  berdasarkan  panjang  kata  yaitu  30  kata  dan  50 kata, yang masing-masing diuji dengan dan tanpa attention . Akurasi tertinggi yang dihasilkan sebesar 36,15 skor BLEU tanpa OOV pada model panjang 50 kata dengan attention . Kemudian,  penelitian  dari  Luong  dkk  [8]  melakukan eksperimen pada penerjemahan bahasa Inggris ke Bahasa Jerman  dengan  4,5  juta  korpus  pelatihan  dengan penambahan pendekatan lokal dan global attention. akurasi tertingginya  adalah  sebesar  25,9  skor  BLEU.  Selain  itu, penelitian  dari  Abidin  dkk  [3]  melakukan  penerjemahan bahasa Lampung ke bahasa Indonesia dengan 3000 korpus pelatihan,  pengujian  berdasarkan  kalimat  tunggal  dan majemuk  dengan  dan tanpa  OOV.  Akurasi  tertinggi  yang dihasilkan adalah sebesar 51,69 % skor BLEU.
Berdasarkan  permasalahan  yang  telah  diuraikan,  maka dalam  penelitian  ini  akan  mengimplementasikan  mesin penerjemah jaringan saraf tiruan (NMT) dengan arsitektur recurrent neural network (RNN) dan mekanisme attention Bahdanau  dan  Luong  dari  kedua  mekanisme attention tersebut akan dilihat mana yang lebih akurat dan memiliki akurasi  tertinggi  dalam  menerjemahkan  dari  bahasa Indonesia  ke  bahasa  Melayu  ketapang  berdasarkan  hasil pengujian  otomatis  oleh  BLEU  ( Bilingual  Evaluation Understudy ) dan pengujian manual oleh ahli bahasa

## II. L ANDASAN TEORI
Model sequence  to  sequence merujuk  pada  makalah penelitian yang berjudul “ Sequence to Sequence Learning with  Neural  Networks ”  [6]  yang  mengimplementasikan encoder-decoder model untuk neural machine translation (NMT). Selain itu juga ada versi modifikasi dari encoder- decoder yang  digunakan  untuk image  captioning pada makalah  penelitian  yang  berjudul  “ Deep  Visual-Semantic Alignments for Generating Image Descriptions ” [12].
Salah satu  motivasi  dibalik  pendekatan yang  diusulkan dari  mekanisme attention adalah  penggunaan context vector yang  memiliki  panjang  tetap  ( fix-length )  pada encoder-decoder dasar.  Keterbatasan  ini  dapat  membuat pendekatan encoder-decoder dasar  berkinerja  buruk  pada kalimat  yang  panjang.  Pendekatan  yang  diusulkan menyediakan  cara  intuitif  untuk  memeriksa alignment ( soft- )  antara  kata  dalam  terjemahan  yang  dihasilkan dengan kata kalimat sumber[7]. Mekanisme attention yang diterapkan pada NMT sebagai berikut :
• Attention Bahdanau
• Attention Luong
A. Attention Bahdanau
Attention Bahdanau  atau  biasa  yang  dikenal  dengan additive  attention merupakan  salah  satu  jenis  mekanisme attention yang  diperkenalkan  lebih  dulu  pada  mesin penerjemah  jaringan  saraf  tiruan  (NMT)  pada  makalah penelitian  dengan  judul  “ Neural  Machine  Translation  by Jointly Learning to Align and Translate ” [7].
Dalam attention Bahdanau, cara untuk menghitung skor alignment , yaitu dengan concat/additive [13] . Dapat dilihat seperti pada persamaan 1.
(1)
Cara alignment  score dihitung  di attention Bahdanau, dimana decoder  hidden  state dan encoder  hidden  state dikalikan  dengan  bobot matrix terlebih  dahulu  untuk mendapatkan  bobot matrix masing-masing  kemudian dijumlahkan.  fungsi  aktivasi tanh akan  dikalikan  dengan bobot matrix untuk menghasilkan alignment score [14] .

## B. Attention Luong
Attention Luong  atau  biasa  yang  dikenal  dengan Multiplicative  attention merupakan  salah  satu  jenis mekanisme attention yang  dilakukan  pada  mesin penerjemah  jaringan  saraf  tiruan  (NMT)  pada  makalah
penelitian  dengan  judul  “ Effective  Approaches  to Attention-Based  Neural  Machine  Translation ”[8]  telah berhasil menyederhanakan dan menggeneralisasi arsitektur dari attention Bahdanau[7]. Dalam attention Luong,  ada  tiga  cara  berbeda  untuk menghitung  skor alignment ,  seperti dot,  general,  dan concat [8] . Dapat dilihat pada persamaan 2.
(2)
Keterangan  skor alignment sebagai berikut : • Dot adalah  fungsi  yang  paling  sederhana,  untuk menghasilkan alignment  score kita  hanya  perlu mengambil encoder  hidden  state dan  mengalikannya dengan decoder hidden state [14] .
• General mirip dengan fungsi dot product perbedaannya dengan  menambah  bobot matrix dalam  persamaannya [14].
• Concat sedikit mirip dengan cara skor alignment score yang  dihitung  di attention Bahdanau,  perbedaannya adalah decoder hidden  state dan encoder hidden  state tidak  akan  memiliki  bobot matrix masing-masing, melainkan hanya memiliki bobot matrix bersama [14].

## III. METODE PENELITIAN
Tahapan  metode  penelitian  dapat  diilustrasikan  pada bagan alur seperti ditunjukkan pada Gambar 1.
Gambar. 1 Metode penelitian

## A. Pengumpulan Data
Pengumpulan  data  menggunakan  metode  observasi untuk memperoleh data yang diperlukan dalam penelitian. Adapun tahapan yang dilakukan adalah sebagai berikut.
1)  Observasi :  Dibutuhkan  seorang  ahli  bahasa  untuk mengkaji  hasil  terjemahan  mesin    dalam  penelitian  ini. Penulis  melakukan  observasi  pada  dua  orang  yang  akan menjadi  ahli  bahasa  dengan  berdiskusi  berdasarkan pengetahuan  dan  pemahaman  mereka  tentang  bahasa Indonesia dan Melayu Ketapang dan persetujuan kesediaan untuk  memeriksa  hasil  terjemahan  mesin.  Setelah mendapatkan data berupa orang yang menjadi narasumber, maka  selanjutnya  melakukan  observasi  dengan  cara mencari  korpus  hasil  penelitian  dengan  judul  “Optimasi Korpus  untuk  Meningkatkan  Nilai  Akurasi  Mesin Penerjemah  Statistik  (Studi  Kasus  Bahasa  Indonesia  ke Bahasa  Melayu  Ketapang)”  [15]  yang  berasal  dari  buku novel  Harry Potter  and the Order of Phoenix,  buku novel Laskar  Pelangi.  Kemudian  hasil  penelitian  dengan  judul “Perbandingan Metode Evaluasi Otomatis Terhadap Mesin Penerjemah  Menggunakan  Part  of  Speech”  [16]  yang berasal  dari  buku  Chairul  Tanjung  Si  Anak  Singkong. Kemudian korpus yang dikumpulkan akan dijadikan bahan dalam melakukan penelitian.

## B. Penyiapan Korpus Paralel
Korpus  adalah  kumpulan  dari  berbagai  teks  sebagai sumber penelitian linguistik dan sastra. Pada penelitian ini tersedia  dua  korpus  paralel  yang  digunakan  yaitu  korpus bahasa  Indonesia  dan  bahasa  Melayu  Ketapang.  Adapun korpus paralel pada penelitian ini berupa bahasa Indonesia yang  berasal  dari  penelitian  Dinar  [15]  dan  Rahayu  [16]. Korpus  paralel  akan  disimpan  dengan  nama file yang berbeda  dan  format file yang  sama.  Korpus  tersebut digunakan  dalam  penelitian  ini  berjumlah  5000  baris kalimat.
Berikut  contoh  korpus  paralel  dalam  bentuk file teks seperti pada Gambar 2.

## Gambar. 2 Korpus paralel

## C. Membangun Mesin Penerjemah Jaringan Saraf Tiruan
Membangun  mesin  penerjemah  jaringan  saraf  tiruan dilakukan  dengan  cara  online  atau  daring  dengan memanfaatkan  layanan  produk  google,  untuk  instalasi perangkat  lunak  yang  diperlukan  adalah  InterText  untuk teks  editor alignment kalimat  korpus  yang  dipersiapkan untuk proses pelatihan nanti. Adapun produk google yang akan  digunakan  untuk  membantu  membangun  mesin penerjemah jaringan saraf tiruan adalah sebagai berikut.
• Browser Chrome untuk  akses  layanan  produk Google.
• Google Drive untuk penyimpanan online data korpus dan model NMT.
• Google Colab untuk  implementasi  menjalankan program NMT.
• Framework Deeplearning TensorFlow untuk code program open-source NMT.

## D. Implementasi  Mesin  Penerjemah  Jaringan  Saraf Tiruan dengan Mekanisme Attention
Arsitektur  mesin  penerjemah  jaringan  saraf  tiruan bahasa Indonesia ke bahasa Melayu Ketapang terdiri  dari beberapa  tahapan,  yaitu encoder ,  mekanisme attention , decoder , loss  function ,  pelatihan  model  NMT  dengan teknik teacher forcing berdasarkan jumlah epoch , prediksi model,  dan  menghitung  akurasi  terjemahan  dengan  skor BLEU.  Arsitektur  mesin  penerjemah jaringan saraf tiruan seperti ditunjukkan pada Gambar 3.

## Gambar. 3 Arsitektur mesin penerjemah
Tahapan yang dilewati sebagai berikut.
1)  Encoder  : tahapan  yang diawali  dengan memproses bahasa  sumber  dan  menghasilkan  pemetaan  setiap  kata dalam suatu bahasa ke bilangan bulat unik atau integer . Hal ini  penting  karena  komputer  hanya  memahami  angka, bukan string ataupun  karakter.  Dalam  prosesnya  akan menghasilkan struktur data kamus yaitu memetakan setiap kata ke bilangan bulat unik atau sebaliknya.
2)  Mekanisme  Attention : tahapan  penghubung  antara encoder dan decoder ,  yang  memiliki  peran  dalam mempelajari dan menentukan nilai skor penyelarasan/ alignment urutan input .  hal  yang  mendasar pada mekanisme attention terdapat pada fungsi penghitungan  skor.  Ada  banyak  cara  penghitungan  skor yang  diajukan  oleh  para  peneliti  sebelumnya,  seperti Bahdanau  dengan concat/additive sedangkan  Luong dengan dot  product,  general, dan concat .  pada  penelitian ini menggunakan attention Bahdanau dengan concat/additive sedangkan attention Luong  dengan dot product.
3)  Decoder : tahapan untuk menghasilkan output berupa prediksi kata pada setiap time step berdasarkan proses yang telah  dilewati  sebelumnya.  Sama  halnya  seperti encoder pada decoder kita  sama-sama  memiliki  akses  dua layer , akan  tetapi  disini  memakai  bantuan attention layer untuk menghasilkan output . Attention layer menyediakan informasi  berupa attention  vector yang  menyimpan attention  weight dari  seluruh encoder hidden  state , sehingga memberi tahu decoder apa yang harus difokuskan
pada setiap time step . Output yang dihasilkan pada setiap time  step  decoder memiliki  peran  sebagai input pada context vector selanjutnya.
4)  Loss  Function :  tahapan  yang  menggunakan  teknik optimasi  dalam  proses  pelatihan  model,  tujuannya  untuk meminimalkan nilai loss function . Semakin rendah nilainya maka  semakin  baik  modelnya.  Model  yang  sempurna memiliki nilai loss function 0. Selanjutnya model lengkap siap  untuk  dilatih,  proses  pelatihan  ini  dimulai  dengan menentukan  nilai loss  function terlebih  dahulu.  Model melatih dataset  yang memiliki representasi  bilangan bulat unik atau integer kemudian dihimpun menjadi data tensor oleh  karena  itu  perlu  menggunakan  modul sparse categorical cross entropy karena memiliki banyak kategori (jumlah  kata  sumber  dan  target).  Kemudian  dilanjutkan dengan proses pelatihan model NMT.
5)  Pelatihan Model NMT : tahapan untuk melatih model dengan memanfaatkan data latih menggunakan teknik dan waktu  tertentu  sehingga  model  dapat  digunakan  untuk menghasilkan  prediksi.  Dalam  langkah  pelatihan tunggal, akan  melewati input tensor  yang  mewakili  kalimat input dari encoder . Hal ini mengembalikan encoder output yang berisi hidden  state dari  semua time  step .  kemudian memastikan hidden state terakhir dari encoder digunakan sebagai inisiasi untuk hidden state awal dari decoder . Pada pelatihan  model  ini  membutuhkan  teknik teacher  forcing dan  penentuan  jumlah epoch . Teacher  forcing adalah metode pelatihan yang penting dalam model deep learning di  NLP.  Hal  ini  merupakan  cara  untuk  melatih  model recurrent  neural  network dengan  cepat  dan  efisien  yang menggunakan output aktual  dari time  step sebelumnya sebagai input [17].
6)  Prediksi Model NMT : Saat melatih model NMT dan menyelesaikan pelatihan. Selanjutnya memperoleh terjemahan yang diberikan dari kalimat sumber yang tidak dilihat  sebelumnya  pada  pelatihan,  proses  ini  disebut inference .  Ada  perbedaan  jelas  antara  pelatihan  dan inference .  pada  waktu inference yang  dilakukan  hanya memiliki  akses  ke  kalimat  sumber,  yaitu encoder  output shape .  Ada  cara  untuk  melakukan  decoding,  beberapa metode decoding termasuk greedy search dan beam search. Tetapi  dalam  penelitian  ini  menggunakan greedy  search yang  merujuk  pada framework  deep  learning  tensorflow [18] .
7)  Pengujian  Model  NMT :  Pengujian  model  NMT diawali dengan pengujian input manual, pengujian data uji otomatis,  dan  mencetak  hasil  terjemahan  model  NMT. Pengujian input manual  adalah  pengujian  dengan menginputkan  kalimat  secara  manual  pada  program. Pengujian  data  uji  otomatis  adalah  pengujian  dengan menggunakan  data  kalimat  uji  yang  terdiri  dari  beberapa baris  kalimat  uji  dengan  jumlah  tertentu,  sehingga  dapat menerjemahkan  berdasarkan  baris  di  dalam  kalimat tersebut  atau  menerjemahkan  seluruh  baris  kalimat. Setelah melakukan proses penerjemahan data uji otomatis selanjutnya  dapat  melihat output yang  dihasilkan  berupa
file . txt yang  menyimpan  data  kalimat  sumber/ input , kalimat aktual/target sebenarnya, dan kalimat terjemahan
8)  Evaluasi  Hasil  Terjemahan :  Hasil  terjemahan dievaluasi  secara  otomatis.  pengujian  otomatis  dilakukan menggunakan  metode  penambahan  jumlah epoch secara konsisten dan metode k-fold cross validation
9)  Menghitung  Akurasi  Terjemahan  dengan  BLEU : Pengujian  hasil  terjemahan  dilakukan  dengan  otomatis. Pengujian dilakukan untuk mendapatkan keakuratan mesin penerjemah  berdasarkan  nilai  akurasi.  Proses  pengujian secara  otomatis  pada  penelitian  ini  menggunakan  skor BLEU. BLEU mengukur nilai modified n-gram precision score antara  hasil  terjemahan  mesin  dengan  terjemahan referensi dan menggunakan konstanta yang disebut brevity penalty . Nilai BLEU adalah hasil dari perkalian antara rata- rata geometri dari modified precision score dengan brevity penalty . [19].

## E. Pengujian  atau  Evaluasi  oleh  Mesin  Penerjemah Jaringan Saraf Tiruan
Mesin penerjemah jaringan saraf tiruan dievaluasi secara otomatis  dan  manual.  pengujian  otomatis  dilakukan menggunakan  metode  penambahan  jumlah epoch secara konsisten dan metode k-fold cross validation. Penggunaan metode k-fold  cross  validation bertujuan  untuk  mencari nilai  yang  lebih  akurat  dan  rata-rata  dari  akurasi  yang dihasilkan.  Pengujian  manual  adalah  salah  satu  metode pengujian  yang  paling  akurat,  tetapi  memakan  waktu karena ahli bahasa melakukannya secara manual.
Gambar  4  merupakan  grafik  hasil  perbandingan pengujian oleh BLEU berdasarkan jumlah epoch, dengan 6 kali percobaan dengan penambahan epoch secara konsisten sebesar 10 epoch .
Gambar. 4 Grafik hasil pengujian oleh BLEU berdasarkan jumlah epoch
Berdasarkan  hasil  dari  pengujian  oleh  BLEU,  akan diambil epoch yang  menunjukkan  nilai  akurasi  tertinggi kedua mekanisme attention seperti terlihat pada Gambar 4 nilai  skor BLEU  yang  tertinggi  terdapat  pada epoch 40 untuk attention Bahdanau dengan nilai 35,96% dan epoch 30  untuk attention Luong  dengan  nilai  26,19%,  maka masing-masing attention berdasarkan epochnya inilah akan digunakan pada metode k-fold cross validation Dalam  penelitian  ini  digunakan  10  percobaan  dengan total 5.000 kalimat korpus paralel dalam bahasa Indonesia
dan Melayu Ketapang dengan format 500 kalimat uji dan 500 kalimat latih.
Gambar. 5 Pengujian dengan metode k-fold cross validation
Gambar 5 adalah pengujian menggunakan metode k-fold cross  validation pada  5.000  baris  kalimat,  dengan  10 percobaan yang dilakukan dan setiap percobaan terdiri dari 500 kalimat sebagai korpus uji.
Keterangan
1. Data Uji = Kalimat 1 – 500
2. Data Uji = Kalimat 501 – 1.000
3. Data Uji = Kalimat 1.001 – 1.500
4. Data Uji = Kalimat 1.501 – 2.000
5. Data Uji = Kalimat 2.001 – 2.500
6. Data Uji = Kalimat 2.501 – 3.000
7. Data Uji = Kalimat 3.001 – 3.500 8. Data Uji = Kalimat 3.501 – 4.000 9. Data Uji = Kalimat 4.001 – 4.500 10. Data Uji = Kalimat 4.501 – 5.000

## F. Pengujian oleh Ahli Bahasa
Pengujian  oleh  ahli  bahasa  dilakukan  ketika  hasil evaluasi  mesin  penerjemah  jaringan  saraf  tiruan  dengan BLEU telah dilakukan dengan menggunakan metode k-fold cross  validation .  pengujian  oleh  ahli  bahasa  digunakan untuk  menentukan  apakah  hasil  terjemahan  dari  mesin penerjemahan jaringan saraf tiruan mendekati atau bahkan cocok dengan terjemahan para ahli bahasa. Berikut proses evaluasi oleh ahli bahasa seperti terlihat pada Gambar 6.
Gambar. 6 Proses evaluasi secara manual oleh ahli bahasa

## G. Analisis Hasil Pengujian
Analisis  hasil  pengujian  dilakukan  untuk  menentukan mekanisme attention mana  yang  memiliki  skor  akurasi hasil  terjemahan  tertinggi  dan  faktor-faktor  apa  yang mempengaruhi  mengapa  akurasi  mekanisme attention tersebut  memiliki  akurasi  terbaik.  beberapa  percobaan dilakukan  pada  kedua  mekanisme attention yang  diawali dengan memakai metode penambahan jumlah epoch secara konsisten,  lalu  jumlah epoch ini  diterapkan  pada  kedua mekanisme attention yang  selanjutnya  akan  diterapkan metode k-fold  cross  validation untuk  mendapatkan  nilai rata-rata akurasi dari keseluruhan data korpus paralel pada mesin penerjemah jaringan saraf tiruan.

## H. Penarikan Kesimpulan
Kesimpulan diambil dengan melihat hasil analisis yang dilakukan  dengan  membandingkan  nilai  akurasi  mesin penerjemah  jaringan  saraf  tiruan  menggunakan  dua mekanisme attention ,  kemudian  melihat  mekanisme attention mana  yang  memiliki  nilai  akurasi  terbaik berdasarkan hasil pengujian otomatis oleh BLEU dan Ahli bahasa.

## IV. HASIL DAN PEMBAHASAN
Pengujian  dilakukan  dengan  dua  cara,  pertama  secara otomatis  oleh  BLEU  dan  kedua  secara  manual  oleh  ahli bahasa.  Adapun  Skenario  pengujian  penelitian  ini  seperti terlihat pada Tabel 1.
TABEL I
S KENARIO PENGUJIAN No Nama Pengujian Keterangan 1 Pengujian dengan jumlah epoch
pengujian  ini  dilakukan  dengan  terus menambahkan  jumlah epoch secara konsisten  yaitu  sebesar  10 epoch sampai  pada  jumlah epoch yang  hasil akurasinya  menurun  yang  dihitung dengan skor BLEU, pada pengujian ini menggunakan  data  uji  1  sebagai sampel  yaitu  kalimat  1  sampai  500 untuk  korpus  uji,  sedangkan  kalimat 500-5000  untuk  korpus  latih.  Tujuan pengujian ini adalah untuk mengetahui mekanisme attention yang  memiliki nilai  akurasi  tertinggi  berdasarkan jumlah epoch , sehingga jumlah epoch yang  memberikan  akurasi  tertinggi akan dipakai untuk pengujian selanjutnya,  serta  menghitung  jumlah kalimat  yang  bisa  diterjemahkan
berdasarkan jumlah epoch . 2 Pengujian dengan k-fold cross validation
Setelah  dilakukan  pengujian  dengan jumlah epoch ,  dapat  dilihat  masing- masing  mekanisme attention mana yang  nilai  akurasinya  paling  tinggi, selanjutnya  diambil  jumlah epoch yang  menghasilkan  nilai  akurasi tertinggi, maka jumlah epoch tersebutlah  yang  akan  digunakan dalam proses pelatihan. Data uji dibagi menjadi  10  percobaan  berdasarkan jumlah korpus paralel yang digunakan sebesar  5000  baris  kalimat,  sehingga
No Nama Pengujian Keterangan ditentukan  korpus  yang  digunakan untuk  uji  sebesar  500  baris  kalimat. Selanjutnya korpus uji yang menunjukkan  nilai  akurasi  tertinggi digunakan  sebagai  korpus  uji  untuk melakukan pengujian manual oleh ahli bahasa.. 3 Pengujian oleh ahli bahasa Pada  pengujian  ini  bertujuan  untuk mengkonfirmasi secara manual kalimat kata demi kata dari korpus uji yang diperoleh dari pengujian sebelumnya sehingga persentase pengujian  manual  ditemukan  dari jumlah  kata  yang  benar  menurut  ahli bahasa  dibagi  dengan  jumlah  kata yang diterjemahkan oleh mesin penerjemah jaringan saraf tiruan
Dalam  pengujian  otomatis  oleh  skor  BLEU,  tepatnya dengan metode penambahan jumlah epoch secara konsisten yaitu sebesar 10 epoch , dimulai dari epoch 10 sampai epoch 60, berhenti pada epoch 60 dikarenakan akurasi terjemahan pada epoch tersebut dinilai sudah menurun dari 2 langkah epoch sebelumnya,  ini  berlaku  pada  kedua  model mekanisme attention . Pada pengujian ini memakai data Uji 1 sebagai sampel pengujian terdiri dari 500 korpus kalimat uji  dan  4500  korpus  kalimat  latih.  Data  Uji  1  ini  didapat pada  pembagian  data  korpus  berdasarkan k-fold  cross validation dengan  korpus  kalimat  ujinya  diambil  dari kalimat 1 sampai 500 sedangkan untuk korpus kalimat yang dilatih diambil dari kalimat 501 sampai 5000. Seperti pada Tabel  2  yang  dimana  nilai  akurasi  tertinggi  pada mekanisme attention Bahdanau  dengan  menggunakan jumlah epoch 40 dan menghasilkan nilai skor BLEU 35,96% tanpa out-of-vocabulary (OOV),  diikuti  nilai  akurasi tertinggi  pada  mekanisme attention Luong  dengan menerapkan jumlah epoch 30 dan menghasilkan nilai skor BLEU 26,19% tanpa OOV.
TABEL II G RAFIK HASIL PENGUJIAN OLEH BLEU BERDASARKAN JUMLAH EPOCH
No Jumlah Epoch Mekanisme Attention Bahdanau Luong 1 10 14,66 2,36 2 20 20,13 3,45 3 30 34,71 26,19 4 40 35,96 14,41 5 50 35,81 12,45 6 60 27,01 4,45
Grafik hasil perbandingan waktu pelatihan pada Gambar 7  menunjukkan  kedua  mekanisme attention, bahwa semakin  bertambahnya  jumlah epoch maka  semakin bertambah juga waktu pelatihan dalam membangun model NMT,  dapat  dilihat  mekanisme attention Bahdanau memerlukan  waktu  pelatihan  yang  lebih  tinggi  atau memiliki  kecepatan  pelatihan  yang  lebih  rendah dibandingkan attention Luong  pada  setiap  pengujian dengan jumlah epoch .
Gambar. 7 Grafik perbandingan waktu pelatihan model NMT
Dari  pengujian  yang  telah  dilakukan,  jumlah epoch mempengaruhi  nilai  akurasi  pada  kedua  mekanisme attention, tetapi  disisi  lain  tidak  mempengaruhi  jumlah kalimat yang bisa diterjemahkan karena masalah utama di dalam model NMT ini adalah sulit menangani kalimat uji yang  memiliki  kata  diluar  kosakata  data  latih.  Dari pengujian  dengan  menggunakan  kalimat  sebanyak  500 kalimat,  yang  bisa  terjemahkan  adalah  190  kalimat,  sisa dari  kalimat tersebut  dilewatkan oleh model NMT karena tidak dapat menerjemahkan kalimat yang mengandung kata diluar kosakata data latih.
Setelah ditemukan jumlah epoch yang memberikan nilai akurasi  tertinggi  pada  kedua  mekanisme attention , selanjutnya menerapkan jumlah epoch tersebut pada kedua mekanisme attention .  Metode  pengujian  yang  dilakukan dengan menggunakan k-fold cross validation pada data Uji 2 sampai data Uji 10, untuk data Uji 1 sudah dilakukan dan nilainya  sudah  didapatkan  sebagai  sampel  pengujian sebelumnya. Seperti hasil grafik pengujian pada Gambar 8. yang  dimana  nilai  akurasi  tertinggi  pada  mekanisme attention Bahdanau  pada  data  Uji  10  dengan  nilai  skor BLUE  49,75%,  diikuti  nilai  akurasi  tertinggi  pada mekanisme attention Luong  pada  data  Uji  7  dengan  nilai skor BLEU 39,72%.
Gambar.  8  Grafik  hasil  pengujian  oleh  BLEU  berdasarkan k-fold  cross validation berdasarkan pembagian data uji
Tujuan penggunaan k-fold cross validation adalah untuk mengetahui nilai rata-rata dari kedua mekanisme attention . Adapun  nilai  rata-rata  yang  didapatkan  pada  pengujian menggunakan metode k-fold cross validation adalah 40,25%
tanpa  OOV  untuk  mekanisme attention Bahdanau  dan 30,38%  tanpa  OOV  untuk  mekanisme attention Luong serta  jumlah  kalimat  paling  banyak  diterjemahkan  oleh model NMT terdapat pada data Uji 3 sebanyak 196 kalimat sedangkan  jumlah  kalimat  paling  sedikit  diterjemahkan terdapat pada data Uji 8 sebanyak 91 dengan nilai rata-rata kalimat  yang  dapat  diterjemahkan  oleh  model  NMT sebesar 163,6 kalimat seperti pada Tabel 3.
TABEL III H ASIL K-F OLD C ROSS V ALIDATION
Uji Data Uji Mekanisme Attention Jumlah Kalimat Bahdanau Luong 1 1-500 35,96 26,19 190 2 501-1000 38,97 21,38 180 3 1001-1500 38,45 30,43 196 4 1501-2000 38,85 36,73 189 5 2001-2500 34,93 29,77 158 6 2501-3000 38,26 26,57 157 7 3001-3500 41,91 39,72 189 8 3501-4000 43,75 26,87 91 9 4001-4500 41,70 27,48 134 10 4501-5000 49,75 38,70 152 Total 5000 402,53 303,84 1.636 Rata- rata 500 40,25 30,38 163,6
Pengujian  manual  oleh  ahli  bahasa  Melayu  Ketapang, pengujian  manual  dilakukan  berdasarkan  hasil  pengujian otomatis  menggunakan  metode k-fold  cross  validation , dimana  salah  satu  pengujian  yang  menunjukkan  nilai akurasi  tertinggi  akan  diambil  untuk  pengujian  manual. Seperti  pada  Tabel  3  memperlihatkan  10  kali  pengujian membuktikan  seluruh  hasil  nilai  akurasi  yang  diperoleh oleh attention Bahdanau lebih tinggi dibandingkan dengan attention Luong.  Sehingga  untuk  melakukan  pengujian manual  oleh  ahli  bahasa  akan  menggunakan  pengujian yang menunjukkan hasil akurasi dengan nilai tertinggi yang didapat pada mekanisme attention Bahdanau. Adapun nilai tertinggi didapat pada mekanisme attention Bahdanau  dilihat  pada  Tabel  3  menunjukkan  data  Uji  10 yang  memiliki  korpus  kalimat  uji  4501  sampai  5000  dan nilai  akurasi  sebesar  49,75%  dengan  jumlah  kalimat terjemahan sebanyak 152 kalimat.
Setelah  mendapatkan  nilai  tertinggi  pada  data  uji, selanjutnya  data  uji  dengan  nilai  tertinggi  tersebut dilakukan  pengujian  kembali  sebanyak  8  kali  dengan metode k-fold  cross  validation menggunakan  cara pembagian  data  uji  seperti  pada  Tabel  4.  Tujuan  dari pengujian ini adalah untuk mengambil salah satu pengujian yang menunjukkan nilai akurasi tertinggi karena diketahui sebelumnya akurasi dari data Uji 10 memiliki nilai rata-rata akurasi sebesar 49,75%, sehingga kemungkinan salah satu pengujian  dari  data  Uji  10  akan  menunjukkan  akurasi tertinggi melebihi akurasi rata-rata.
TABEL IV H ASIL K-F OLD C ROSS V ALIDATION DENGAN DATA UJI 10 SEBANYAK 152
KALIMAT Pengujian Data Uji 10 Jumlah Kalimat 1 1-19 49,49 2 20-38 44,87 3 39-57 48,83 4 58-76 41,67 5 77-95 50,09 6 96-114 54,29 7 115-133 53,48 8 134-152 56,06
Setelah  hasil  semua  pengujian  diperoleh,  pengujian dengan skor akurasi tertinggi terdapat pada pengujian ke 8 yang memiliki akurasi 56,06% dengan jumlah kalimat yang diterjemahkan  sejumlah  19  kalimat.  Kemudian  data  dari pengujian ke 8 akan dijadikan sebagai data untuk pengujian manual oleh ahli bahasa, data ini selanjutnya akan dihitung persentase  akurasi  yang  dihasilkan  dalam  pengujian manual dengan persamaan :
P = 𝐶 𝑅 𝑥 100% (3)
P =   Persentase akurasi C  =  Jumlah  kata  yang  diterjemahkan  dengan  tepat menurut penilaian
R =  Jumlah kata hasil terjemahan
TABEL V H ASIL N ILAI A KURASI P ENGUJIAN  OLEH A HLI B AHASA No Nama Ahli Bahasa Melayu Ketapang C R P = C/R*100 1 Wijaya, S.Pd 111 142 78,17% 2 Hinsanol Laili, S.T 103 142 72,53%
Hasil  nilai  akurasi  pengujian  ahli  bahasa  dapat  dilihat pada  Tabel  5  yang  menunjukkan  nilai  akurasi  dari  19 kalimat  terjemahan  oleh  Wijaya,  S.Pd.  sebesar  78,17%, sedangkan oleh Hinsanol Laili, S.T. sebesar 72,53%.

## V. K ESIMPULAN
Dari  hasil  penelitian  ini,  dapat  diambil  kesimpulan bahwa berdasarkan pengujian dengan metode penambahan jumlah epoch secara  konsisten  sebesar  10 epoch , mekanisme attention terbaik  yaitu attention Bahdanau menggunakan  jumlah epoch 40  dengan  memiliki  nilai akurasi  sebesar  35,95%  tanpa out-of-vocabulary (OOV) dan attention Luong  menggunakan  jumlah epoch 30 dengan  memiliki  nilai  akurasi  26,19%  tanpa  OOV. Sehingga  didapatkan attention Bahdanau  memiliki  nilai akurasi  tertinggi  mengungguli attention Luong  dengan selisih nilai akurasi sebesar 9,77%. Kemudian berdasarkan pengujian k-fold  cross  validation menunjukkan attention Bahdanau  memiliki  nilai  akurasi  diatas attention Luong pada  seluruh  data  uji  dengan  memiliki  nilai  rata-rata
akurasi  sebesar  40,25%  tanpa  OOV  sedangkan  30,38% tanpa  OOV  pada attention Luong.  Terdapat  selisih  nilai akurasi  sebesar  9,87%,  sehingga  membuat attention Bahdanau  dapat  dikatakan  lebih  baik  dibandingkan attention Luong. Selanjutnya penilaian hasil pengujian oleh ahli bahasa yang berbanding lurus dengan hasil terbaik dari pengujian  menggunakan  metode k-fold  cross  validation secara otomatis oleh skor BLEU pada pengujian kedelapan yang menghasilkan nilai akurasi sebesar 56,06% dan hasil pengujian manual oleh Wijaya, S.Pd sebesar 78,17% serta Hinsanol  Laili,  S.T  sebesar  72,53%.  Berdasarkan  hal tersebut,  menunjukkan  bahwa  kualitas  dari  terjemahan manual sama baiknya dengan terjemahan mesin.

## R EFERENSI
[1] M.  Junczys-Dowmunt,  T.  Dwojak,  and  H.  Hoang,  “Is  Neural Machine Translation Ready for Deployment? A Case Study on 30  Translation  Directions,”  2016,  [Online].  Available: http://arxiv.org/abs/1610.01108.
[2] A.  Sulissusiawan, Struktur  Bahasa  Melayu  Dialek  Ketapang .
Pusat Pembinaan Dan Pengembangan N Nasional, 1998.
[3] Z. Abidin, A. Sucipto, and A. Budiman, “Penerjemahan Kalimat Bahasa  Lampung-Indonesia  Dengan  Pendekatan  Neural Machine  Translation  Berbasis  Attention  Translation  of Sentence  Lampung-Indonesian  Languages  With  Neural Machine Translation Attention Based,” J. Kelitbangan , vol. 06, no. 02, pp. 191–206, 2018.
[4] N.  Kalchbrenner  and  P.  Blunsom,  “Recurrent  continuous translation models,” EMNLP 2013 - 2013 Conf. Empir. Methods Nat. Lang. Process. Proc. Conf. , no. October, pp. 1700–1709, 2013.
[5] K.  Cho et  al. ,  “Learning  phrase  representations  using  RNN encoder-decoder  for  statistical  machine  translation,” EMNLP 2014  -  2014  Conf.  Empir.  Methods  Nat.  Lang.  Process.  Proc. Conf. , pp. 1724–1734, 2014, doi: 10.3115/v1/d14-1179.
[6] I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learning with neural networks,” Adv. Neural Inf. Process. Syst. , vol. 4, no. January, pp. 3104–3112, 2014.
[7] D.  Bahdanau,  K.  H.  Cho,  and  Y.  Bengio,  “Neural  machine translation  by  jointly  learning  to  align  and  translate,” 3rd  Int. Conf. Learn. Represent. ICLR 2015 - Conf. Track Proc. , pp. 1– 15, 2015.
[8] M.-T.  Luong,  H.  Pham,  and  C.  D.  Manning,  “Effective Approaches  to  Attention-based  Neural  Machine  Translation,” arXiv , 2015, [Online]. Available: https://re-work.co/blog/deep- learning-ilya-sutskever-google-openai.
[9] N. Kalchbrenner, L. Espeholt, K. Simonyan, A. van den Oord,
A. Graves, and K. Kavukcuoglu, “Neural Machine Translation in Linear Time,” 2016, [Online]. Available: http://arxiv.org/abs/1610.10099. [10] J. Gehring, M. Auli, D. Grangier, D. Yarats, and Y. N. Dauphin, “Facebook 使 用 CNN 替 代 RNN  Convolutional  Sequence  to
Sequence Learning,” 2017, [Online]. Available: http://arxiv.org/abs/1705.03122.
[11] A. Vaswani et al. , “Attention is all you need,” Adv. Neural Inf. Process. Syst. , vol. 2017-Decem, no. Nips, pp. 5999–6009, 2017.
[12] A. Karpathy and L. Fei-Fei, “Deep Visual-Semantic Alignments for Generating Image Descriptions,” IEEE Trans. Pattern Anal. Mach.  Intell. ,  vol.  39,  no.  4,  pp.  664–676,  2017,  doi: 10.1109/TPAMI.2016.2598339.
[13] Y.  Marathe,  “Neural  Machine  Translation  using  Bahdanau Attention Mechanism,” medium.com , 2020. https://medium.com/analytics-vidhya/neural-machine- translation-using-bahdanau-attention-mechanism- d496c9be30c3 (accessed Jan. 20, 2021).
[14] G.  Loye,  “Attention  Mechanism,” blog.floydhub.com ,  2019. https://blog.floydhub.com/attention-mechanism/ (accessed Jan. 20, 2021).
[15] S. T. Dinar, H. Sujaini, and N. Safriadi, “Optimasi Korpus untuk
Meningkatkan Nilai Akurasi Mesin Penerjemah Statistik ( Studi Kasus Bahasa Indonesia ke Bahasa Melayu Ketapang ) Corpus Optimizing To Increase Value Of The Accuracy For Statistical Machine Translation ( Study Case Indonesia Language,” 2020, doi: 10.26418/justin.v.
[16] D. T. Rahayu, H. Sujaini, and A. B. P. Negara, “Perbandingan Metode  Evaluasi  Otomatis  Terhadap  Mesin  Penerjemah Statistik Menggunakan Part of Speech,” pp. 1–8, 2018.
[17] J.  Brownlee,  “What  is  Teacher  Forcing  for  Recurrent  Neural Networks?,”
machinelearningmastery.com ,
2021. https://machinelearningmastery.com/teacher-forcing-for- recurrent-neural-networks/ (accessed Jan. 20, 2021).
[18] M.-T.  Luong,  “Neural  Machine  Translation,”  Stanford University, 2016.
[19] M.  S.  Islam  and B.  S.  Purkayastha,  “English  to  Bodo  Phrase- Based  Statistical  Machine  Translation,”  in Advanced Computing and Communication Technologies , Springer, 2018, pp. 207–217.