## Pengaruh Penggunaan Attention pada Kualitas Mesin Penerjemah Berbasis Neural Bahasa Indonesia ke Bahasa Madura Bangkalan
Anggi Pertiwi #1 , Herry Sujaini #2 , Novi Safriadi #3
# Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak, Kalimantan Barat 78115
1 anggipertiwi123@student.untan.ac.id
2 hs@untan.ac.id
3 safriadi@informatics.untan.ac.id
Abstrak—  Mesin  penerjemah  jaringan  saraf  tiruan  (NMT) telah  banyak  digunakan  pada  berbagai  macam  pasangan bahasa resmi di dunia. Sudah cukup banyak penelitian yang memperlihatkan  kenaikan  pada  akurasi  NMT  dengan menggunakan  attention  dibandingkan  tanpa  attention. Namun,  penerapannya  terhadap  bahasa  daerah  khususnya di  Indonesia  masih  terbilang  sedikit.  Untuk  itu,  pada penelitian  ini  akan  dibangun  mesin  penerjemah  berbasis neural  bahasa  Indonesia  ke  bahasa  Madura  Bangkalan menggunakan  mekanisme  attention  Bahdanau  yang  dapat mengukur pengaruh kualitas penggunaan attention terhadap mesin  penerjemah  dengan  berdasarkan  hasil  evaluasi otomatis  oleh  BLEU  (Bilingual  Evaluation  Understudy)  dan TER  (Translation  Edit  Rate).  Jumlah  korpus  teks  paralel yang  digunakan  sebanyak 5000  baris kalimat.  Penelitian  ini mengguanakan framework deep learning tensorflow sebagai code  open  source  NMT.  Pembagian  data  dilakukan  dengan metode  k-fold  cross  validation.  Proses  pengujian  dilakukan dilakukan  dengan  penambahan  epoch  secara  konsisten. Hasil  pengujian  k-fold  cross  validation  dengan  attention didapatkan  nilai  rata-rata  akurasi  tertinggi  oleh  BLEU sebesar 21,47% pada epoch 70 dan terendah sebesar 10,71% pada epoch 10. Pada attention didapat nilai akurasi tertinggi pada  data  Uji5 di  epoch 70 oleh  BLEU  sebesar  37,15%  dan TER  sebesar  56%  dengan  jumlah  kalimat  hasil  terjemahan sebanyak 334 kalimat. Sedangkan tanpa attention, pada data Uji6  dengan  hasil  oleh  BLEU  sebesar  14,56%  di  epoch  70 dan TER sebesar 88% di  epoch 10. Dapat diketahui, bahwa dengan  penggunaan  mekanisme  attention  Bahdanau  hasil yang  didapat  lebih  tinggi  dibandingkan  tanpa  mekanisme attention.
Kata kunci — Mesin Penerjemah Jaringan Saraf Tiruan, Attention Bahdanau, BLEU, TER

## I. P ENDAHULUAN
Bahasa  adalah  sistem  komunikasi  yang  disusun menjadi  unit-unit,  yang  sangat  penting  untuk  kontak antarpribadi.  Unit-unit  ini  meliputi  kata,  kelompok  kata, klausa,  dan  kalimat  yang  dapat  diwakili  secara  lisan  atau tertulis.  Di  Indonesia  memiliki  beragam  bahasa  daerah,
dimana jumlah yang dimiliki adalah 718 bahasa daerah [1]. Salah  satu  bahasa  daerah  di  Indonesia  adalah  bahasa Madura yang berasal dari pulau Madura.
Bahasa  Madura  telah  tersebar  diberbagai  wilayah  di Indonesia. Terdapat variasi bahasa didalamnya yang dapat dikenal  dengan  istilah  dialek.  Dialek  Bangkalan,  dialek Pamekasan,  dialek  Sumenep,  dan  dialek  Kangean  adalah empat  dialek  umum  bahasa  Madura.  Bahasa  Madura dalam pemakaiannya terdapat tiga tingkatan tutur bahasa, namun  ada  juga yang  membedakannya  menjadi  dua  jenis tingkatan  bahasa,  yaitu  Bhasa  Alos  (bahasa  halus)  dan Bhasa  Kasar  (bahasa  kasar)  [2].  Masyarakat yang  tinggal di  wilayah  Kabupaten  Bangkalan  menggunakan  dialek bahasa  Madura  yang  disebut  dengan  dialek  Bangkalan. Kabupaten  Bangkalan  memiliki  dialek  yang  beragam dibandingkan dengan dialek-dialek bahasa madura lainnya [3].  Seiring  berkembangnya  kemajuan  daerah,  jumlah penutur bahasa Madura yang murni dan baik di Kabupaten Bangkalan  mengalami  penurunan  terutama  terhadap  pada generasi  muda.  Banyak  generasi  muda  yang  tidak  mau dan cenderung malu menggunakan bahasa Madura. Selain itu, dikarenakan terdapatnya pendatang baru dalam daerah mengakibatkan  bahasa  Madura  mulai  tercampur  dengan bahasa-bahasa  lainnya.  [17].  Untuk  itu,  salah  satu  cara yang  dapat  dilakukan  dalam  pelestarian  dan  pencegahan punahnya  bahasa  Madura  Bangkalan  adalah  dengan memanfaatkan  kemajuan  teknologi  saat  ini  yaitu  mesin penerjemah.
Mesin  penerjemah  berbasis  neural  atau  mesin penerjemah  jaringan  saraf  tiruan  yang  biasa  juga  disebut neural machine translation (NMT) adalah pendekatan baru yang  telah  banyak  dilakukan  penelitian  saat  ini  pada berbagai  macam  pasangan  bahasa.  Mesin  penerjemah jaringan saraf tiruan berbasis attention adalah jenis mesin penerjemah  jaringan  saraf  tiruan  yang  saat  ini  digunakan oleh  para  peneliti  mesin  penerjemah  [4].  Sudah  cukup banyak  penelitian  yang  memperlihatkan  kenaikan  pada akurasi NMT dengan menggunakan attention
dibandingkan  tanpa  menggunakan  attention.  Mekanisme attention  ini  meningkatkan  akurasi  terjemahan  dan membantu  model  menangani  kalimat  masukan  yang panjang dengan lebih terampil. [5].
Dalam  membangun  sebuah  mesin  penerjemah, penting adanya  evaluasi  otomatis  (automatic  evaluation)  untuk mengukur  kualitas  terjemahan  yang  dihasilkan.  Beberapa penelitian telah menggunakan dua evaluasi otomatis untuk mengukur  kualitas  hasil  terjemahan  sehingga  dapat memberikan evaluasi yang lebih akurat dengan pemahaman  dari  aspek  yang  berbeda.  Seperti  dalam penelitian  oleh  Etcheghoyen  dkk  [6],  menggunakan  dua evaluasi  otomatis  yaitu  BLEU  ( Bilingual  Evaluation Understudy )  dan  TER  ( Translation  Edit  Rate )  untuk mengukur kualitas hasil terjemahan. BLEU berfokus pada sejauh mana urutan kata atau frasa dalam hasil terjemahan mesin  cocok  atau  sesuai  dengan  terjemahan  referensi, sedangkan  TER  berfokus  pada  sejauh  mana  struktur kalimat  dalam  hasil  terjemahan  mesin  sesuai  dengan struktur kalimat dalam terjemahan referensi.
Adapun  penerapan  mesin  penerjemah  jaringan  saraf tiruan dengan menggunakan mekanisme attention ini telah dilakukan penelitian di beberapa pasangan resmi di dunia dan beberapa pasangan bahasa daerah di Indonesia, seperti pada penelitian yang dilakukan oleh  Abidin dkk  [7] yang melakukan  penelitian  penerjemahan  bahasa  Lampung  ke bahasa  Indonesia  dan  oleh  Fauziyah  dkk  [15]  yang melakukan  penelitian  penerjemahan  bahasa  Indonesia  ke bahasa  Sunda.  Namun,  penerapannya  terhadap  bahasa daerah di Indonesia masih terbilang sedikit.
Berdasarkan  dari  penjelasan  yang  sudah  dipaparkan diatas,  maka  akan  dibangun  mesin  penerjemah  berbasis neural  bahasa  Indonesia  ke  bahasa  Madura  Bangkalan dengan  menggunakan  attention  yang  dapat  mengukur pengaruh  kualitas  penggunaan  attention  terhadap  mesin penerjemah  dengan  berdasarkan  hasil  evaluasi  otomatis oleh  BLEU  (Bilingual  Evaluation  Understudy)  dan  TER (Translation Edit Rate).

## II. LANDASAN TEORI

## A. Mesin Penerjemah Jaringan Saraf Tiruan
Mesin  penerjemah  jaringan  saraf  tiruan  adalah  metode terjemahan  mesin  dengan  berdasarkan  pembelajaran mendalam  yang  menggunakan  model  kerangka  encoder- decoder.  Mesin  penerjemah  jaringan  saraf  tiruan  berasal dari pembelajaran sequence-to-sequence (seq2seq) [8][14]. Terdapat banyak metode untuk membuat model kerangka encoder  dan  decoder  menjadi  kuat,  salah  satunya  adalah dengan  recurrent  neural  network  (RNN).  Adapun arsitektur  RNN  digunakan  dalam  pembangunan  mesin penerjemah  jaringan  saraf  tiruan  ini,  dimana  proses arsitektur  ini  memanggil  dengan  secara  berulang  kali untuk  memproses  masukan,  yang  biasanya  berupa  data sekuensial.  [18].  Dalam  model  bahasa  mesin  penerjemah jaringan  saraf  tiruan,  RNN  diterima  dengan  secara  luas, dimana RNN membantu menangani pengambilan
keputusan berdasarkan informasi lama dan terkini dengan secara  efisien  [22].  Selain  itu,  dalam  meningkatkan pelatihan  dengan  lebih  lanjut  dapat  menggunakan  unit RNN lain, seperti GRU dan LSTM [20].

## B. Attention  Bahdanau
Model  encoder-decoder  dasar  memiliki  keterbatasan dalam  menangani  kalimat  yang  panjang,  sehingga memberikan  kinerja  yang buruk.  Untuk  itu,  diusulkannya mekanisme attention yang menyediakan cara yang intuitif untuk memeriksa alignment antara kata dalam terjemahan dan  kata  dalam  kalimat  sumber.  Hal  tersebut,  dapat membantu  model  untuk  fokus  pada  informasi  yang dianggap  penting  untuk  menciptakan  terjemahan  yang lebih  baik,  khususnya  ketika  menghadapi  kalimat  yang panjang.  Salah  satu  jenis  mekanisme  attention  yang diterapkan adalah mekanisme attention Bahdanau.
Mekanisme  attention  Bahdanau  yang  dikenal  sebagai additive  attention,  pada  awalnya  dipresentasikan  dalam makalah  penelitian  yang  berjudul  "Neural  Machine Translation  of  Jointly  Learning  to  Align  and  Translate" yang  berkaitan  dengan  jaringan  saraf  tiruan.  [4].  Dalam attention  Bahdanau  tersebut,  menunjukkan  bahwa perhitungan skor alignment adalah dengan additive/concat. Seperti  yang  direpresentasikan  pada  persamaan  1  berikut [9].

## (1)
Status tersembunyi (hidden state) decoder dan encoder dikalikan  dengan  bobot  matrix  untuk  menentukan  bobot masing-masing matrix, yang kemudian dijumlahkan untuk menentukan  skor  alignment  (penyelarasan).  Persamaan  2 dibawah  ini  menunjukkan  bagaimana  bobot  matrix dikalikan dengan fungsi aktivasi tanh untuk mendapatkan skor alignment [10].
(2)

## C. BLEU (Bilingual Evaluation Understudy)
Algoritma  yang  dikenal  sebagai  BLEU  atau  Bilingual Evaluation  Understudy  adalah  algoritma  yang  menilai keakuratan  hasil  terjemahan,  dimana  semakin  tinggi nilainya,  semakin  akurat  hasil  terjemahan.  Skor  BLEU adalah antara 0 sampai 1. Dengan menggunakan konstanta yang  dikenal  sebagai  brevity  penalty,  BLEU  menghitung skor  modified  n-gram  precision  antara  terjemahan otomatis  dan  terjemahan  referensi.  [11].  Pendekatan berbasis  n-gram  ini,  dimana  n  adalah  jumlah  token  yang dalam unigram adalah n sama dengan satu, dalam bigram adalah n sama dengan dua, dan seterusnya [21].

## D. TER (Translation Edit Rate)
TER atau Translation Edit Rate adalah sistem evaluasi yang  digunakan  untuk  mengukur  kesalahan  dalam terjemahan  mesin.  TER  didefiniskan  sebagai  jumlah
suntingan  (pengeditan)  minimum  yang  diperlukan  untuk mengubah  hasil  terjemahan  sehingga  benar-benar  cocok dengan  salah  satu  referensi,  kemudian  dinormalisasi dengan  rata-rata  panjang  referensi.  Semakin  rendah  skor TER  yang  dihasilkan,  maka  semakin  akurat  atau  cocok hasil  terjemahan  dengan  terjemahan  referensi.  Adapun pengeditan  dalam  TER  yang  mungkin  termasuk  adalah penyisipan,  penghapusan,  dan  penggantian  kata  tunggal serta pergeseran urutan kata. [12]. Selain itu, kode sumber untuk  perhitungan  TER  telah  disediakan  dengan  paket pyter  eksternal  oleh  Tanaka  &  Vanroy  (2019),  dimana dapat diinstal dan digunakan [19].

## III. M ETODOLOGI PENELITIAN
Tahapan  metodologi  penelitian  dapat  dilihat  pada diagram  alir  seperti  yang  ditunjukkan  pada  Gambar.  1 berikut [5].

## Gambar. 1 Diagram Alir penelitian

## A. Pengumpulan Data
Dalam  mengumpulkan  data  yang  diperlukan  pada penelitian ini, dilakukan wawancara dan studi dokumentasi.  Adapaun  berikut  langkah-langkah  yang dilakukan untuk pengumpulan data.
1) Wawancara :  Pada  penelitian  ini,  diperlukannya seorang ahli bahasa  sebagai narasumber  untuk membantu dalam memeriksa terjemahan data yang telah dikumpulkan.  Penulis  akan  melakukan  diskusi  dengan orang yang menjadi ahli bahasa dengan atas kesediaannya berdasarkan  pengetahuan  dan  pemahaman  yang  dimiliki mengenai bahasa  Indonesia dan bahasa Madura Bangkalan serta persetujuan kesediaannya untuk membantu  memeriksa  data  korpus  paralel  yang  telah dikumpulkan.
2) Studi  Dokumentasi :  Setelah  mendapatkan  dan berdiskusi  dengan  seorang  ahli  bahasa  yang  telah
ditentukan,  selanjutnya  melakukan  studi  dokumentasi untuk  pengumpulan  data  yang  kemudian  akan  dibuat menjadi korpus teks paralel untuk digunakan di pengujian mesin  penerjemah  nantinya.  Pada  penelitian  ini, pengumpulan  untuk  korpus  teks  paralel  didapatkan melalui  film  madura  dari  beberapa  chanel  di  youtube. Data  yang  dikumpulkan  tersebut  berjumlah  5000  baris kalimat  bahasa  Indonesia  dan  bahasa  Madura  Bangkalan. Adapun  bahasa  Madura  Bangkalan  difokuskan  untuk tingkatan Bhasa Kasar (bahasa kasar).

## B. Pembuatan Korpus Teks Paralel
Korpus adalah kumpulan teks yang terurut secara alami baik  dalam  bahasa  lisan  maupun  tulisan.  Korpus  bahasa Indonesia  dan  korpus  bahasa  Madura  Bangkalan  adalah dua  korpus  teks  paralel  yang  digunakan  dalam  penelitian ini.  Adapun  korpus  teks  paralel  tersebut  diperoleh  dari menonton  film  madura  dari  beberapa  chanel  di  youtube. Korpus  teks  paralel  tersebut  yang  akan  digunakan  dalam penelitian ini adalah berjumlah 5000 baris kalimat bahasa Indonesia  dan  bahasa  Madura  Bangkalan.  Korpus  teks paralel akan disimpan dalam format file yang sama tetapi dengan nama file yang berbeda.
Berikut  contoh  korpus  teks  paralel  bahasa  Indonesia dan  bahasa  Madura  Bangkalan  yang  telah  dibuat,  dapat dilihat pada Gambar. 2.
Gambar. 2 Korpus teks paralel bahasa Indonesia dan bahasa Madura Bangkalan

## C. Pemeriksaan Korpus Teks Paralel
Dalam  penelitian  ini,  pengecekan  korpus  teks  paralel dilakukan  dengan  dua  cara,  pertama  dengan  ahli  bahasa memeriksa bahasa korpus dan kedua dengan menggunakan  aplikasi  InterText  untuk  memeriksa alignment atau keselarasannya.
1) Pemeriksaan  oleh  Ahli  Bahasa :  Pada  penelitian ini,  diperlukannya  pemeriksaan  korpus  teks  paralel  oleh ahli bahasa agar korpus teks paralel yang dihasilkan sesuai dengan yang dibutuhkan terutama pada terjemahan bahasa Madura  Bangkalan.  Pemeriksaan  ini  dilakukan  oleh seorang ahli bahasa yang telah ditunjuk sebelumnya yaitu Agil Fakilaturahman, dimana yang berasal dari Kecamatan Larangan Tanjung Bumi, Kabupaten Bangkalan.  Korpus  teks  paralel  yang  akan  dilakukan pemeriksaan  adalah  korpus  bahasa  Indonesia  dan  bahasa Madura  Bangkalan  yang  berjumlah  masing-masing  5000 baris kalimat.
2) Pemeriksaan dengan Aplikasi InterText : Setelah dilakukan  pemeriksaan  oleh  ahli  bahasa,  selanjutnya
korpus  teks  paralel  tersebut  akan  dipersiapkan  dengan nama  file  yang  berbeda  dan  format  yang  sama  serta disimpan  dalam  satu  folder.  Adapun  format  korpus  yang disiapkan  adalah  format  file  text  (.txt).  Kemudian, dilakukan  pengecekan  alignment  atau  penyelarasan kalimat  korpus  dengan  menggunakan  aplikasi  InterText. Untuk  itu,  diperlukannya  melakukan  instalasi  perangkat lunak  InterText  yang  akan  digunakan  sebagai  teks  editor alingment  pada  kalimat  korpus  teks  paralel  yang berjumlah  5000  baris  kalimat  bahasa  Indonesia  dan bahasa Madura Bangkalan [13].
Berikut  contoh  file  korpus  teks  paralel  yang dipersiapkan  sebelum  melakukan  pengecekan  alignment oleh aplikasi InterText, dapat dilihat pada Gambar. 3.

## Gambar. 3 File korpus teks paralel

## D. Membangun Mesin Penerjemah Jaringan Saraf Tiruan
Layanan  Google  akan  digunakan  untuk  membangun mesin  penerjemah  jaringan  syaraf  tiruan  dengan  secara online.  Mesin  ini  akan  dibantu  dengan  cara-cara  berikut oleh layanan-layanan ini.
• Browser  Chrome  sebagai  untuk  tempat  akses layanan produk Google yang akan digunakan nanti.
• Google  Drive  sebagai  untuk  tempat  penyimpanan online  hasil  terjemahan,  model  NMT  dan  data korpus teks paralel.
• Framework  Deeplearning  TensorFlow  sebagai untuk akses open-source NMT.
• Google  Colaboratory  sebagai  untuk  implementasi menjalankan program NMT.
E. Implementasi Mekanisme Attention Bahdanau Pada Mesin Penerjemah Jaringan Saraf Tiruan
Pada  tahapan  ini,  implementasi  dilakukan  dengan menempatkan  mekanisme  attention  yang  diinginkan diantara  tahapan  encoder  dan  decoder  serta  pada  kode pemrograman  lainnya  yang  diperlukan.  Arsitektur  dari mesin penerjemah jaringan saraf tiruan dengan mekanisme attention Bahdanau untuk bahasa Indonesia ke bahasa  Madura  Bangkalan  ditunjukkan  pada  Gambar  4. Sistem  ini  terdiri  dari  beberapa  tahapan,  yaitu  persiapan data  latih  dari  korpus  teks  paralel  bahasa  Indonesia  dan bahasa Madura Bangkalan, encoder, mekanisme attention, decoder,  loss  function,  pelatihan  model  NMT  dengan teknik teacher forcing berdasarkan jumlah epoch, prediksi model NMT, pengujian model NMT dan akan didapatkan hasil terjemahan mesin.
Gambar. 4 Arsitektur sistem mesin penerjemah jaringan saraf tiruan dengan mekanisme attention
Berikut penjelasan dari tahapan-tahapan tersebut.
1) Persiapan  Data  Latih :  Tahapan  awal  dilakukan persiapan  data  latih  dari  korpus  teks  paralel  dimana nantinya  akan  digunakan  untuk  pelatihan  model  mesin penerjemah  jaringan  saraf  tiruan  sebelum  dilakukan pengujian.  Adapun  beberapa  tahapan  dalam  persiapan data  latih  adalah  memuat  data  latih,  membaca  data  latih, preprocessing  data  latih,  tokenizing,  perubahan  data  latih menjadi  tipe  data  tensor,  dan  pengaturan  parameter  dan hyperparameter.
2) Encoder :  Tugas  atau  fungsi  pada  tahap berikutnya  adalah  memproses  bahasa  sumber  dan menghasilkan deskripsi atau pemetaan setiap kata menjadi bilangan  bulat  yang  berbeda.  Hal  ini  sangat  penting karena  komputer  hanya  dapat  memahami  angka;  mereka tidak  dapat  memahami  string  atau  karakter.  Dengan demikian,  ini  akan  menghasilkan  struktur  data  kamus yang  mengasosiasikan  setiap  kata  dengan  bilangan  bulat yang berbeda atau sebaliknya.
3) Mekanisme  attention :  Tahapan  ini  berfungsi sebagai  penghubung  antara  encoder  dan  decoder, mempelajari  dan  menghitung  skor  keselarasan  atau alignment  urutan  input.  Fungsi  penghitungan  skor,  yang memiliki  beberapa  metode  untuk  menghitung  skor  yang dikemukakan  oleh  para  peneliti  sebelumnya,  adalah komponen  utama  dari  mekanisme  attention.  Attention Bahdanau  dengan  perhitungan  skor  concat/additive  akan digunakan dalam penelitian ini.
4) Decoder :  Berdasarkan  proses  yang  telah dilakukan  sebelumnya,  tahap  ini  menghasilkan  output pada  setiap  langkah  waktu  dalam  bentuk  prediksi  kata. Sama  seperti  proses  encoder  sebelumnya,  proses  decoder ini  juga  memiliki  akses  ke  dua  lapisan,  namun  untuk menghasilkan  output,  proses  ini  menggunakan  bantuan attention layer. Untuk membantu decoder mengetahui apa yang harus difokuskan pada setiap langkah waktu, lapisan attention  memberikan  informasi  dalam  bentuk  attention vector yang menyimpan bobot perhatian (attention weight) dari  semua  status  tersembunyi  encoder  (encoder  hidden state). Decoder langkah waktu menghasilkan output yang masing-masing  digunakan  sebagai  input  untuk  context vector berikutnya.
5)
Loss  Function :  Tahapan  dalam  pelatihan  model yang  menggunakan  teknik  optimasi,  dimana  tujuannya adalah  untuk  meminimalkan  nilai  dari  loss  function. Fungsi  loss  function  untuk  mendefinisikan  perkiraan parameter  atau  kejadian  yang  dimaksud,  seperti  beberapa fungsi  dari  perbedaan  nilai  perkiraan  data.  Model  akan lebih baik jika nilai loss function semakin kecil. Nilai loss function  model  sempurna  adalah  0.  Selanjutnya,  seluruh proses  model  dipersiapkan  untuk  pelatihan,  yang  dimulai dengan  mencari  loss  function.  Modul  sparse  categorical cross  entropy  harus  digunakan  karena  model  ini  melatih kumpulan  data  dengan  representasi  bilangan  bulat  yang unik  yang  dikumpulkan  menjadi  data  tensor,  yang diperlukan  karena  ada  banyak  kategori  (jumlah  kata sumber dan target). Selanjutnya, lakukan pelatihan model NMT.
6) Pelatihan Model NMT : Tahapan di mana model dilatih  pada  data  pelatihan  menggunakan  metode  dan waktu tertentu untuk memungkinkan pembuatan prediksi. Encoder  menerima  tensor  input  yang  mewakili  kalimat input dalam satu langkah pelatihan. Kemudian menghasilkan  output  encoder  yang  berisi  keadaan tersembunyi  dari  setiap  langkah  waktu.  Selanjutnya, memastikan  bahwa  hidden  state  akhir  encoder  berfungsi sebagai  awal  dari  hidden  state  awal  decoder.  Penentuan jumlah epoch dan teknik teacher forcing diperlukan untuk model  pelatihan  ini.  Teknik  teacher  forcing,  yang menggunakan  output  aktual  dari  time  step  sebelumnya sebagai  input  untuk  melatih  model  recurrent  neural network dengan cepat dan efektif adalah metode pelatihan yang sangat penting dalam model pembelajaran mendalam dalam  pemrosesan  bahasa  alami  [16].  Dengan  teknik tersebut,  menggunakan  output  aktual  dari  dataset pelatihan  untuk  meningkatkan  kemampuan  model  dalam belajar.
7) Prediksi  Model  NMT :  Tahapan  ini  yang melakukan  fungsi  terjemahan  dengan  mengambil  dua parameter,  yaitu  kalimat  itu  sendiri  dan  panjang maksimum  kalimat  input.  Setelah  menyelesaikan  tahap pelatihan,  maka  akan  dapat  memperoleh  terjemahan  dari kalimat  sumber  yang  tidak  dilihat  sebelumnya  dalam pelatihan, dimana proses ini disebut inferensi. Pada proses inferensi,  hanya  memiliki  akses  ke  kalimat  sumber,  yaitu encoder  output  shape.  Adapun  cara  untuk  melakukan decoding adalah dengan metode decoding yang diantaranya yaitu ada greedy search dan beam search.
8) Pengujian Model NMT : Pengujian ini dilakukan untuk  menterjemahkan  kalimat  dari  bahasa  sumber  ke bahasa target. Adapun pengujian model NMT ini terdapat dua pengujian yaitu pengujian input manual dan pengujian data  uji  otomatis.  Pengujian  input  manual  dilakukan secara  manual  dengan  menginputkan  satu  kalimat  bahasa sumber  ke  kode  pemrograman  yang  kemudian  untuk diterjemahkan  ke  bahasa  target.  Sedangkan,  pengujian data uji otomatis dilakukan dengan menginputkan data uji
yang telah disiapkan sebelumnya sesuai dengan data latih berapa  yang  digunakan  pada  pelatihan  model  ke  kode pemrograman,  sehingga  seluruh  baris  kalimat  dalam  data uji tersebut dapat diterjemahkan seluruhnya.
9) Hasil  Terjemahan  Mesin :  Data  pengujian otomatis  akan  menghasilkan  keluaran  terjemahan  mesin sesuai dengan pengujian model NMT. Kalimat aktual/target  (actual),  kalimat  yang  diprediksi  (predicted) dan  data  kalimat  sumber  (input)  semuanya  disimpan dalam  file  teks  (.txt)  yang  merepresentasikan  hasil terjemahan mesin.

## F. Pengujian  atau  Evaluasi  Hasil  Terjemahan  Mesin Translasi  oleh  BLEU  dengan  Metode  K-Fold  Cross Validation
Dua pengujian otomatis yang berbeda digunakan untuk menguji  atau  menilai  hasil  terjemahan  mesin.  Pengujian dilakukan  untuk  menentukan  nilai  akurasi  terjemahan mesin  pada  mekanisme  perhatian  Bahdanau.  BLEU (Bilingual  Evaluation  Understudy)  digunakan  untuk menjalankan  pengujian  otomatis  pertama.  Selain  itu, metode  k-fold  cross  validation  dan  peningkatan  jumlah epoch  yang  konsisten  digunakan  dalam  pelaksanaan  tes ini.  Tujuan  penggunaan  metode  k-fold  cross  validation adalah untuk meningkatkan akurasi nilai yang dihasilkan. Adapun  skenario  pengujian  pada  penelitian  ini  dapat dilihat pada Tabel 1 berikut.
TABEL I

## SKENARIO PENGUJIAN
No Nama Pengujian Deskripsi 1. Pengujian  jumlah Epoch menggunakan K- Fold Cross Validation dengan pengujian otomatis oleh BLEU serta jumlah korpus 5000  (lima  ribu) pasang kalimat Pada pengujian ini dengan menggunakan K-Fold Cross
Validation  dimana  pada  data  korpus yang  digunakan  dengan  jumlah  5000 kalimat  tersebut  akan  dibagi  menjadi 10  data  percobaan.  Dimana  masing- masing korpus uji yang akan digunakan adalah sebanyak  500 kalimat  secara  berurut,  mulai  dari kalimat  1-500  untuk  uji1,  kalimat 501-1000  untuk  uji2,  kalimat  1001- 1500  untuk  uji3  sampai  seterusnya mencapai  dengan  data  uji10  dari
kalimat 4501-5000. Sedangkan, masing-masing korpus latih yang akan digunakan  adalah  sebanyak  4500 kalimat  dari  sisa  kalimat  masing- masing  data  uji  sebelumnya,  dimana untuk  latih1  dari  kalimat  501-5000,
No Nama Pengujian Deskripsi latih2  dari  kalimat  1-500  dan  1001- 5000,  latih3  dari  kalimat  1-1000  dan 1501-5000 sampai seterusnya mencapai dengan data latih10. Dari 10
data  percobaan  pengujian  tersebut
dilakukan dengan penambahan jumlah epoch secara konsisten dengan kelipatan  10  yaitu  dimulai  dari  epoch 10,  epoch  20,  epoch  30,  epoch  40, epoch  50  sampai  pada  jumlah  epoch yang  hasil  akurasinya  menurun  dua
langkah  yang  dihitung  dengan  skor BLEU. Kemudian, setelah skor BLEU telah
didapatkan semuanya, selanjutnya  menghitung  nilai  rata-rata akurasi  skor  BLEU  dari epoch nya.
Kemudian, akan didapat nilai rata-rata akurasi  tertinggi  dan  terendah  dari epoch berapa,  dimana  dari  kedua epoch tersebut  diambil  nilai  akurasi tertingginya ada didata uji berapa dan dibandingkan  mana  dari  kedua epoch tersebut  menghasilkan  skor  BLEU
tertinggi untuk NMT dengan Attention. Tujuan pengujian ini dilakukan  adalah  untuk  mengetahui
pada mekanisme attention yang memiliki nilai akurasi tertinggi berdasarkan  nilai  akurasi  rata-rata tertinggi  dan  terendah  dari  dua  epoch pada  setiap  masing-masing  data  uji tersebut.  Sehingga,  jumlah  epoch yang  memberikan  nilai  rata-rata akurasi  tertinggi  dan  terendah  akan dipakai  untuk  pengujian  selanjutnya.
Kemudian, pada epoch yang mendapatkan rata-rata akurasi
tertinggi  dan  terendah  sebelumnya, tentukan data uji mana yang memiliki nilai akurasi tertinggi dari seluruh data uji  tersebut  yaitu  data  uji1  sampai uji10.  Tentukan  juga  pada  epoch tersebut  dari  setiap  data  ujinya  yang mana menghasilkan terjemahan kalimat yang benar paling banyak dan No Nama Pengujian Deskripsi sedikit. 2. Pengujian Otomatis oleh TER Pada  pengujian  otomatis  oleh  TER
adalah  mengukur  kesalahan  dalam terjemahan  mesin  pada  terjemahan referensinya.  Data  pengujian  yang digunakan  adalah  hasil  terjemahan mesin  dari  nilai  rata-rata  akurasi tertinggi  dan  terendah  oleh  BLEU  di
masing-masing data uijnya sebelumnya. Dalam melakukan pengujian TER ini akan menggunakan
PyTer  untuk  menghitung  skor  TER terhadap data tersebut.
3. Pengujian  Tanpa Attention Bahdanau  dengan pengujian otomatis oleh BLEU dan TER Selanjutnya, dilakukan pengujian
tanpa attention bahdanau, dimana data uji  yang  digunakan  adalah  data  Uji1 sampai  Uji10  dengan  dua epoch dari yang  menghasilkan  nilai  rata-rata akurasi  tertinggi  dan  terendah  yang telah  didapatkan  dari  menggunakan attention sebelumnya.
4. Membandingkan pengujian attention Bahdanau  dengan tidak mengggunakan attention Bahdanau Dari  hasil  pengujian  dengan  nilai akurasi tertinggi oleh BLEU dan TER yang didapatkan dari dengan attention
dan tanpa attention , maka dibandingkan keduanya untuk melihat apakah  nilai  akurasi  yang  dihasilkan dengan attention adalah benar mempengaruhi  nilai  akurasi  dan attention adalah tingkat akurasi terbaik  dengan  penerjemahan  terbaik yang ada saat ini.

## G. Pengujian atau Evaluasi oleh TER
Pengujian  dengan  TER  dilakukan  ketika  telah  selesai melakukan  pengujian  hasil  terjemahan  pada  mesin penerjemah jaringan saraf tiruan dengan BLEU menggunakan  metode  k-fold  cross  validation  dan  telah mendapatkan epoch dengan nilai rata-rata akurasi tertinggi dan terendah dari hasil keseluruhan pengujian oleh BLEU serta  nilai  akurasi  tertinggi  oleh  BLEU.  Epoch  dengan nilai  rata-rata  akurasi  tertinggi  dan  terendah  yang  telah didapat tersebut kemudian akan digunakan pada pengujian otomatis  kedua  ini  yaitu  TER.  Pengujian  oleh  TER  ini digunakan  untuk  mengetahui  bagaimana  perbandingan akurasi yang didapat oleh BLEU dan TER.

## H. Mesin Penerjemah Jaringan Saraf Tiruan Tanpa Mekanisme Attention
Setelah  didapatkannya  nilai  akurasi  oleh  BLEU  dan TER pada mesin penerjemah jaringan saraf tiruan dengan mekanisme attention, selanjutnya untuk melihat pengaruh penggunaan  attention  pada  kualitas  mesin  penerjemah jaringan saraf tiruan dari hasil yang didapatkannya, maka dilakukannya  juga  pengujian  dengan  tanpa  mekanisme attention. Adapun untuk mesin penerjemah jaringan saraf tiruan  tanpa  mekanisme  attention  memiliki  tahapan- tahapan  didalamnya  sama  dengan  mesin  penerjemah jaringan  saraf  tiruan  dengan  mekanisme  attention  yaitu ada  persiapan  data  latih  dari  korpus  teks  paralel  bahasa Indonesia  dan  bahasa  Madura  Bangkalan,  encoder, decoder,  loss  function,  pelatihan  model  NMT  dengan teknik teacher forcing berdasarkan jumlah epoch, prediksi model  NMT,  pengujian  model  NMT,  dan  menghasilkan hasil terjemahan mesin. Namun, perbedaannya pada mesin penerjemah  jaringan  saraf  tiruan  tanpa  mekanisme attention  tidak  menggunakan  mekanisme  attention didalamnya  atau  dihilangkan.  Oleh  karena  itu,  untuk tahapan  encoder  dan  decoder  menggunakan  model encoder  dan  decoder  dasar.  Adapun  berikut  arsitektur sistem  mesin  penerjemah  jaringan  saraf  tiruan  tanpa mekanisme attention dapat dilihat pada Gambar. 5.
Gambar. 5 Arsitektur sistem mesin penerjemah jaringan saraf tiruan tanpa mekanisme attention

## I. Pengujian atau Evaluasi Tanpa Mekanisme Attention oleh BLEU dan TER
Hasil  dari  pengujian  ini  dilakukan  untuk  dibandingkan dengan  pengujian  yang  menggunakan mekanisme attention,  untuk  melihat  bagaimana  perbandingan  hasil akurasi  yang  dihasilkan  antara  dengan  mesin  penerjemah jaringan  saraf  tiruan  yang  menggunakan  dan  tanpa mekanisme  attention.  Adapun  pada  pengujian  tanpa mekanisme  attention  ini  sama  seperti  pengujian  yang menggunakan  mekanisme  attention  yaitu  menggunakan BLEU dan TER.

## J. Analisis Hasil Pengujian
Berdasarkan  hasil  pengujian  dari  mesin  penerjemah jaringan  saraf  tiruan  dengan  mekanisme  attention  dan tanpa  mekanisme  attention,  dilakukan  analisis  terhadap hasil  pengujian  untuk  mengetahui  dampak  penggunaan mekanisme attention terhadap kualitas mesin penerjemah.
Selain  itu,  analisis  hasil  pengujian  ini  juga  akan  melihat pada  pengujian  mana  yang  memiliki  nilai  akurasi terjemahan  tertinggi,  faktor  apa  saja  yang  mempengaruhi nilai  akurasi  tersebut  menjadi  akurasi  tertinggi,  dan apakah pengujian yang  menggunakan mekanisme attention  menghasilkan  akurasi  yang  lebih  baik  daripada pengujian yang tanpa mekanisme attention. Perbandingan ini  akan  dilakukan  antara  nilai  akurasi  yang  dihasilkan pada pengujian dengan dan tanpa mekanisme attention.

## K. Penarikan Kesimpulan
Kesimpulan  diperoleh  dengan  memeriksa  temuan- temuan  dari  analisis  yang  dilakukan  terhadap  keakuratan sistem  penerjemahan  jaringan  saraf  tiruan  dengan  dan tanpa  mekanisme  attention.  Temuan  ini  kemudian didasarkan  pada  hasil  pengujian  otomatis  menggunakan BLEU dan TER.

## IV. HASIL DAN PEMBAHASAN
Pengujian  dilakukan  dengan  dua  pengujian  atau evaluasi  otomatis  yang  berbeda  yaitu  BLEU  dan  TER. Pada pengujian otomatis dengan metode penambahan atau kelipatan  dari  jumlah  epoch  dengan  secara  konsisten  10 epoch,  dimana  dimulai  dari  epoch  10  sampai  jumlah epoch 90 selesai dikarenakan nilai akurasi yang dihasilkan mengalami  penurunan  2  langkah  di  epoch  sebelumnya. Pengujian  tersebut  menggunakan  korpus  data  ujinya berjumlah 500 kalimat dan korpus data latihnya berjumlah 4500  kalimat  yang  didapat  dengan  metode  k-fold  cross validation  yaitu  terdapat  10  data  dimulai  dari  Uji1,  Uji2, Uji3,  sampai  Uji10.  Sehingga,  didapatlah  nilai  rata-rata akurasi tertinggi oleh BLEU dengan mekanisme attention Bahdanau adalah sebesar 21,47% pada epoch 70 dan nilai rata-rata  akurasi  terendah  oleh  BLEU  dengan  mekanisme attention Bahdanau adalah sebesar 10,71% pada epoch 10 dapat dilihat pada Tabel 2 berikut.
TABEL II Nilai Rata-Rata Akurasi Oleh BLEU Epoch Nilai Rata-Rata Epoch10 10,71% Epoch20 17,08% Epoch30 18,73% Epoch40 20,17% Epoch50 21,40% Epoch60 21,45% Epoch70 21,47% Epoch80 20,03% Epoch90 19,98%
Setelah  didapat  nilai  rata-rata  akurasi  tertinggi  dan terendah oleh BLEU dengan mekanisme attention tersebut yaitu pada epoch 70 dan epoch 10 yang dapat dilihat pada
Tabel  2,  maka  kedua  epoch  tersebut  diterapkan  pada pengujian  selanjutnya.  Kemudian,  dari  kedua  epoch tersebut  diambil  nilai  akurasi  tertinggi  dan  dibandingkan untuk  mendapatkan  nilai  akurasi  terbaik.  Seperti  pada Tabel 3 dan 4, dimana dari hasil nilai akurasi oleh BLEU dan  TER  pada  epoch  70  dan  epoch  10  untuk  mesin penerjemah  jaringan  saraf  tiruan  dengan  mekanisme attention  didapatkanlah  nilai  akurasi  terbaik  oleh  BLEU adalah 37,15% pada epoch 70 di data Uji5 dan oleh TER adalah  56%  pada  epoch  70  di  data  Uji5,  dengan  jumlah kalimat yang berhasil diterjemahkan adalah sebanyak 334 kalimat.

## TABEL III
Nilai Akurasi Tertinggi BLEU dan TER pada Epoch 70 dengan Mekanisme Attention Uji Data Uji Epoch70 Kalimat BLEU TER 1 1-500 13,85% 92% 284 2 501-1000 13,45% 89% 298 3 1001-1500 13,75% 91% 295 4 1501-2000 20,13% 79% 251 5 2001-2500 37,15% 56% 334 6 2501-3000 20,09% 77% 315 7 3001-3500 32,61% 62% 311 8 3501-4000 28,32% 67% 325 9 4001-4500 23,91% 71% 312 10 4501-5000 11,40% 89% 308 Total 5000 214,66% 773% 3033 Rata-rata 500 21,47% 77,3 303,3

## TABEL IV
Nilai Akurasi Tertinggi BLEU dan TER pada Epoch 10 dengan Mekanisme Attention Uji Data Uji Epoch10 Kalimat BLEU TER 1 1-500 8,11% 97% 284 2 501-1000 5,08% 100% 298 3 1001-1500 9,19% 95% 295 4 1501-2000 24,45% 71% 251 5 2001-2500 9,62% 95% 334 6 2501-3000 11,68% 85% 315 7 3001-3500 13,37% 84% 311 8 3501-4000 9,84% 91% 325 9 4001-4500 9,69% 88% 312 10 4501-5000 6,04% 98% 308 Total 5000 107,07% 904% 3033 Rata-rata 500 10,71% 90,40% 303,3
Pada  Tabel  3  dan  4  tersebut  menunjukkan  bahwa pengujian  dengan  metode  penambahan  jumlah  epoch
dengan  secara  konsisten  mempengaruhi  hasil  terjemahan, dimana dari hasil  nilai  akurasi  tertinggi  dari  kedua  epoch tersebut berada di data Uji berbeda. Namun, penambahan jumlah  epoch  tersebut  tidak  mempengaruhi  jumlah kalimat  yang  berhasil  diterjemahkan  dimana  terlihat bahwa  pada  epoch  70  dan  10  di  setiap  Ujinya menghasilkan jumlah kalimat yang sama.
Kemudian,  setelah  dilakukan  pengujian  dengan mekanisme  attention,  selanjutnya  dilakukan  pengujian pada  mesin  penerjemah  jaringan  saraf  tiruan  tanpa mekanisme attention. Hal ini dilakukan untuk perbandingan  nilai  akurasi  yang  dihasilkan  pada penggunaan  mekanisme  attention  dan  tanpa  mekanisme attention.  Adapun  pengujian  atau  evaluasi  otomatis  yang digunakan  di  pengujian  tanpa  mekanisme  attention  sama seperti  di  pengujian  dengan  mekanisme  attention sebelumnya yaitu dengan menggunakan BLEU dan TER, serta  data  yang  digunakan  adalah  data  Uji1  hingga  Uji10 dari  epoch  70 dan 10  yang  telah  didapatkan  di  pengujian dengan  mekanisme  attention  sebelumnya  sebagai  epoch tertinggi  dan  terendah.  Dapat  dilihat  pada  Tabel  5  dan  6, dimana dari hasil nilai akurasi  oleh BLEU dan TER pada epoch 70 dan epoch 10 untuk mesin penerjemah jaringan saraf tiruan tanpa mekanisme attention didapatkanlah nilai akurasi terbaik oleh BLEU adalah 14,56% pada epoch 70 di data Uji6 dan oleh TER adalah 88% pada epoch 10 di data  Uji6,  dengan  jumlah  kalimat  yang  berhasil diterjemahkan adalah sebanyak 315 kalimat.

## TABEL V
Nilai Akurasi Tertinggi BLEU dan TER pada Epoch 70 dengan Tanpa
Mekanisme Attention Uji Data Uji Epoch70 Kalimat BLEU TER 1 1-500 1,94% 112% 284 2 501-1000 6,54% 104% 298 3 1001-1500 5,53% 105% 295 4 1501-2000 10,89% 95% 251 5 2001-2500 7,57% 99% 334 6 2501-3000 14,56% 92% 315 7 3001-3500 11,38% 93% 311 8 3501-4000 7,87% 95% 325 9 4001-4500 13,58% 90% 312 10 4501-5000 5,22% 101% 308 Total 5000 85,08% 986% 3033 Rata-rata 500 8,51% 98,60% 303,3
TABEL VI Nilai Akurasi Tertinggi BLEU dan TER pada Epoch 10 dengan Tanpa Mekanisme Attention Uji Data Uji Epoch10 Kalimat BLEU TER 1 1-500 5,14% 108% 284 2 501-1000 2,34% 113% 298 3 1001-1500 2,27% 104% 295 4 1501-2000 8,54% 97% 251 5 2001-2500 6,59% 98% 334 6 2501-3000 11,22% 88% 315 7 3001-3500 4,36% 111% 311 8 3501-4000 8,91% 96% 325 9 4001-4500 9,59% 94% 312 10 4501-5000 4,91% 101% 308 Total 5000 63,87% 1010% 3033 Rata-rata 500 6,39% 101,00% 303,3
Dapat  terlihat  pada  Tabel  5  dan  6  tersebut  juga menunjukkan  bahwa  pada  epoch  70  dan  10  di  setiap Ujinya  menghasilkan  jumlah  kalimat  yang  berhasil diterjemahan  sama.  Kemudian,  dapat  terlihat  juga  bahwa nilai  akurasi  BLEU  dan  TER  tidak  mempengaruhi  satu sama lain, dimana dapat dilihat pada Tabel 5 nilai akurasi tertinggi  yang  dihasilkan  oleh  BLEU  dan  TER  di  epoch 70 tersebut berada pada data Uji yang berbeda.
Oleh  karena  itu,  dari  hasil  pengujian  atau  evaluasi otomatis dengan mekanisme attention Bahdanau dan tanpa mekanisme  attention  pada  mesin  penerjemah  jaringan saraf  tiruan  dapat  dilihat  pada  Tabel  7  berikut,  dimana terlihat nilai akurasi yang dihasilkan dengan menggunakan mekanisme attention Bahdanau lebih tinggi dibangdingkan tanpa mekanisme attention.
TABEL VII Analisis Hasil Pengujian NMT Automatic Evaluation BLEU TER Attention Bahdanau 37,15% 56% Tanpa Attention 14,56% 88%
Beberapa  contoh  hasil  terjemahan bahasa  Indonesia  ke bahasa  Madura  Bangkalan  dengan  menggunakan  dan tanpa  mekanisme  attention  dapat  dilihat  pada  Tabel  8 berikut.

## TABEL VIII
Contoh Hasil Terjemahan dengan dan Tanpa Mekanisme Attention No Keterangan Kalimat 1 Input Aku ingin jual tanah Ref Engko terro juel tanah
No Keterangan Kalimat Attention Engko terro juel tanah (BLEU = 100%, TER = 0%) Tanpa Attention Engko re laku nembak a jisung (BLEU = 0% , TER = 125% ) 2 Input Aku butuh uang sekarang Ref Engko butoh pesse sediyah Attention Engko butoh pesse sediyah (BLEU = 100%, TER = 0%) Tanpa Attention Engko tak bise norok ngrocak (BLEU = 0% , TER = 100% ) 3 Input Gimana desa berek songai ini gi Ref Dhe’remmah dese berek songai ariah gi Attention Dhe remmah dese berek songai riah gi (BLEU = 43,64% , TER = 50% ) Tanpa Attention Dhe remmah riah gi omong oreng mulei hiru
(BLEU = 0% , TER = 133% )
Pada  Tabel  8  dari  beberapa  contoh  hasil  terjemahan yang  diambil  menunjukkan  bahwa  hasil  terjemahan  yang dihasilkan  dengan  menggunakan  mekanisme  attention terdapat  hasil  terjemahan  yang  mirip  dengan  referensi, sedangkan  tanpa  mekanisme  attention  tidak.  Namun, ditemukan  juga  bahwa  hasil  terjemahan  baik  dengan menggunakan  dan  tanpa  mekanisme  attention,  pada referensi  kalimat  yang  mengandung  tanda  (‘),  di  kalimat hasil terjemahan oleh mesinnya tidak menghasilkan tanda tersebut.  Hal  tersebut,  dapat  mempengaruhi  nilai  akurasi yang dihasilkan.

## V. KESIMPULAN
Pada  hasil  pengujian  yang  telah  didapatkan  tersebut, maka dapat disimpulkan bahwa hasil nilai akurasi terbaik dari  pengujian  yang  didapatkan  dengan  menggunakan mekanisme  attention  oleh  BLEU  adalah  sebesar  37,15% pada  epoch  70  dan  oleh  TER  adalah  sebesar  56%  pada epoch  70.  Sedangkan,  hasil  nilai  akurasi  terbaik  dari pengujian  yang  didapatkan  dengan  tanpa  mekanisme attention  oleh  BLEU  adalah  sebesar  14,56%  pada  epoch 70 dan oleh TER adalah sebesar 88% pada epoch 10. Dari hasil kedua nilai akurasi tersebut dapat dilihat bahwa nilai akurasi  pengujian  pada  mesin  penerjemah  jaringan  saraf tiruan  dengan  menggunakan  mekanisme  attention  lebih tinggi  dibandingkan  tanpa  mekanisme  attention,  dimana untuk  perbedaan  pada  BLEU  sebesar  22,59%  dengan penggunaan  mekanisme  attention  Bahdanau  lebih  tinggi dan  pada  TER  sebesar  32%  dengan  penggunaan mekanisme attention Bahdanau lebih rendah. Hal ini dapat diketahui,  bahwa  penggunaan  mekanisme  attention  pada mesin  penerjemah  jaringan  saraf  tiruan  bahasa  Indonesia ke  bahasa  Madura  Bangkalan  lebih  membantu  model NMT  dalam  menghasilkan  terjemahan  yang  lebih  akurat dengan terjemahan referensi.
R EFERENSI [1] Badan  Pembinaan  dan  Pengembangan  Bahasa,  “Bahasa  dan  Peta Bahasa di Indonesia,” 2019. [Online]. Available: https://petabahasa.kemdikbud.go.id/. [Accessed, 31 Maret 2023].
[2] S.  Sutoko,  S.  Soegianto,  S.  Surani,  A.  Sariono,  &  B.  Suyanto, “Geografi  dialek  bahasa  Madura.  Pusat  Pembinaan  Dan Pengembangan Bahasa Departemen Pendidikan Dan Kebudayaan,” 1998.
[3] D.  R  Sugiharti,  “Bahasa  Madura  Di  Kabupaten  Bangkalan Madura:  Kajian  Geografi  Dialek,”  Doctoral  dissertation, UNIVERSITAS AIRLANGGA, 2020.
[4] D.  Bahdanau,  K.  H.  Cho,  and  Y.  Bengio,  “Neural  machine translation by jointly learning to align and translate,” 3rd Int. Conf. Learn. Represent. ICLR 2015 - Conf. Track Proc., pp. 1–15, 2015.
[5] W.  Gunawan,  H.  Sujaini,  and  Tursina,  “Analisis  Perbandingan Nilai  Akurasi  Mekanisme Attention Bahdanau  dan  Luong  pada Neural Machine Translation Bahasa Indonesia ke Bahasa Melayu Ketapang  dengan  Arsitektur Recurrent  Neural  Network ,”  JEPIN (Jurnal Edukasi dan Penelitian Informatika), vol. 7, pp. 1-9, 2021.
[6] T. Etchegoyhen, E. M. Garcia, A. Azpeitia, G. Labaka, I. Alegria, I. C. Etxabe, A. J. Carrera, I. E.Santos, M. Martin, and E. Calonge, “Neural  Machine  Translation  of  Basque,”  EAMT  (European Association For Machine Translation), pp. 1-12, 2018.
[7] Z.  Abidin,  A.  Sucipto,  and  A.  Budiman,  “Penerjemahan  Kalimat Bahasa  Lampung-Indonesia  Dengan  Pendekatan  Neural  Machine Translation  Bberbasis  Attention  Translation  of  Sentence Lampung-Indonesian Languages With Neural Machine Translation Attention Based,” Jurnal Kelitbangan, vol. 06, no. 02, pp. 191-206, 2018.
[8] T. Jiang, H. Sun, Y. G. Dai, and D. Liu, “Tibetan-Chinese Neural Machine  Translation  Combining  Attention  Mechanism,”  Journal of  Physics:  Conference  Series,  vol.  1607,  no.  1,  IOP  Publishing, 2020.
[9] Y.  Marathe,  “Neural  Machine  Translation  using  Bahdanau Attention  Mechanism,”  medium.com,  2020.  [Online].  Available: https://medium.com/analytics-vidhya/neural-machine-translation- using-bahdanau-attention-mechanism-d496c9be30c3.  (Accessed, 31 Maret 2023).
[10] G.  Loye,  “Attention  Mechanism,”  blog.floydhub.com,  2019. [Online]. Available: https://blog.floydhub.com/attention- mechanism/. (Accessed, 31 Maret 2023).
[11] K.  Papineni,  S.  Roukos,  T.  Ward,  and  W.  J.  Zhu,  “BLEU:  a Method  for  Automatic  Evaluation  of  Machine  Translation,” Proceedings  of  the  40 th annual  meeting  of  the  Association  for Computational Linguistics, pp. 311-318, 2002.
[12] M.  Snover,  B.  Dorr,  R.  Schwartz,  L.  Micciulla,  and  J.  Makhoul, “a  Study  of  Translation  Edit  Rate  with  Targeted  Human Annotation,”  Procceedings  of  the  7 th Conference  of  the Association  for  Machine  Translation  in  the  Americas:  Technical Papers, pp. 223-231, 2006.
[13] P.  Vondricka,  “Aligning  parallel  texts  with  InterText,”  In: Calzolari,  N,  et  al.  (ed.):  Proceedings  of  the  Ninth  International Conference  on  Language  Resources  and  Evaluation  (LREC’14), European  Language  Resources  Association  (ELRA),  pp.  1875- 1879, 2014.
[14] B.  Nath,  C. Kumbhar,  and B.  T. Khoa,  “A  Study  on  Approaches to Neural Machine Translation,” Journal of Logistics, Informatics and  Service  Science,  vol.  9,  no.  3,  pp.  271-283,  2022, doi:10.33168/LISS.2022.0319.
[15] Y. Fauziyah, R. Ilyas, and F. Kasyidi, “Mesin Penerjemah Bahasa Indonesia-Bahasa Sunda  Menggunakan Recurrent Neural
Networks,” JURNAL TEKNOINFO, vol. 16, no. 2, pp. 313-322,
2022. [Online]. Available:
https://ejurnal.teknokrat.ac.id/index.php/teknoinfo/index.
(Accessed, 31 Maret 2023).
[16] J.  Brownlee,  “What  is  Teacher  Forcing  for  Recurrent  Neural Networks?,”  machinelearningmastery.com,  2021.  [Online]. Available: https://machinelearningmastery.com/teacher-forcing- for-recurrent-neural-networks/. (Accessed, 1 April 2023).
[17] Mutmainnah  and  I.  N.  Azhar,  “Perubahan  Lanskap  Budaya Masyarakat  Kabupaten  Bangkalan  Pasca  beroperasinya  jembatan Suramadu,” Pusat Penelitian dan Inovasi Pendidikan dan Budaya Madura: Universitas Trunojoyo Madura, 2018.
[18] Z.  Tan,  S.  Wang,  Z.  Yang,  G.  Chen,  and  X.  Huang,  “Neural Machine  Translation:  A  Review  of  Methods,  Resources,  and Tools,”  2020, arXiv:2012.15515v1.
[19] R.  Kruger,  “An  Online  Repository  Of  Python  Resources  For Teaching Machine Translation To Translation Students,” Current Trends  in  Translation  Teaching  and  Learning  E,  8,  4-30,  2021. [Online]. Available: https://doi.org/10.51287/cttle20212.
(Accessed, 7 September 2023).
[20] M. W. Saleem and S. Uprety, “Neural Machine Translation with Attention,” 2021, doi:10.13140/RG.2.2.29381.37607/1.
[21] G.  Datta,  N.  Joshi,  and  K.  Gupta,  “Human  Versus  Automatic Evaluation of NMT for Low-Resource Indian Language,” In The International  Conference  on  Recent  Innovations  in  Computing, Singapore: Springer Nature Singapore, pp. 715-725, 2022.
[22] G.  Datta,  N.  Joshi,  and  K.  Gupta,  “The  BLEU  Score  for Automstic Evaluation of English to Bangla NMT,” In Proceedings of  International  Conference  on  Machine  Intelligence  and  Data Science Applications: MIDAS 2020, Springer Singapore, pp. 399- 407, 2021.