## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
Vol. 9 No. 3 Desember 2023

## Uji Nilai Akurasi pada Neural Machine
Translation (NMT) Bahasa Indonesia ke Bahasa Tiochiu Pontianak dengan Mekanisme Attention

## Bahdanau
Lo Bun San #1 , Herry Sujaini #2 , Tursina #3
# Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak, 78124
1 loesan_lion77@student.untan.ac.id
2 hs@untan.ac.id
3 tursina@informatika.untan.ac.id
Abstrak— Mesin penerjemah merupakan cabang penting dari pemrosesan bahasa alami yang bertujuan untuk menerjemahkan  bahasa  alami  menggunakan  komputer. Mesin  penerjemahan  statistik  sudah  banyak  diuji  dalam kasus  terjemahan  bahasa  lokal/daerah  oleh  penelitian  di Indonesia.  Penelitian  mesin  penerjemahan  neural  beberapa tahun  belakangan  ini,  terus  menjadi  pilihan  dalam  mesin penerjemahan yang bahkan sampai saat ini sudah diterapkan pada google. Mesin penerjemah dimanfaatkan sebagai usaha dalam  membudidayakan  suatu  bahasa  lokal/daerah  untuk komputasi,  supaya  bahasa  tersebut  tidak  hilang  karena pengaruh bahasa dilingkungan tempat tinggal yang berbeda- beda. Dalam pengujian ini mekanisme yang digunakan dalam mesin  terjemahan  neural  adalah  mekanisme  attention Bahdanau  dari  uji  akurasi  penerjemahan  Bahasa  Indonesia ke  Bahasa  Tiochiu.  Mekanisme  attention  Bahdanau  muncul sebagai pengujian peningkatan akurasi terbaik saat ini berkat penggunaan  rumus  skor  attentionnya.  Adapun  pengujian bahasa  alami  yang  digunakan  adalah  kalimat  bahasa Indonesia  diterjemahkan  ke  kalimat  bahasa  Tiochiu Pontianak  dengan  mekanisme  Attention  Bahdanau  pada Mesin  Penerjemah  Neural.  Data  korpus  pararel  yang  diuji adalah  500  kalimat  dengan  data  latih  adalah  4500  kalimat. Perlunya dilakukan penelitian terhadap mekanisme attention untuk  nilai  akurasi  tertinggi  berdasarkan  nilai  skor  BLUE dan  ahli  bahasa.  Langkah-langkah  yang  digunakan  dalam menguji  dan  mendapatkan  nilai  akurasi  skor  BLEU mekanisme attention dimulai dari metode membagi data uji secara validasi k-fold cross sebanyak 10 data uji dan masing- masing  data  uji  tersebut  dilatih  sebanyak  tujuh  kali pengujian  dari  jumlah  epoch  kelipatan  10.  Setelah didapatkan skor nilai akurasinya dari pelatihan sebanyak 70 kali  tersebut  dihitung  dan  dicari  rata-rata  nilai  akurasi tertinggi  didasarkan  jumlah  epoch  didapatkan  serta  uji manual oleh ahli bahasa dengan mengambil sampel dari data uji  yang  memiliki  akurasi  tertinggi  tersebut.  Hasil  uji mekanisme  mesin  terjemahan  neural  dengan  attention Bahdanau yang didapatkan terdapat pada sampel uji6. Rata- rata nilai akurasi paling tinggi sebesar 18,41% pada epoch 50,
dan  uji  oleh  ahli  bahasa  pada  167  kalimat  terjemahan memperoleh nilai akurasi sebesar 54,51%. Serta uji otomatis BLEU paling tinggi dengan pengujian k-fold cross validation pada  sampel  uji6  dengan  jumlah  epoch  50  sebesar  24,26%. Nilai  akurasi  otomatis  BLEU  tertinggi  pada  sampel  Uji6 dengan tanpa Attention Bahdanau sebesar 12,41%. Sehingga dapat  disimpulkan  bahwa  dengan  mekanisme  Attention Bahdanau adalah tingkat hasil akurasi yang terbaik.
Kata  kunci — Mesin  Penerjemah  Jaringan  Saraf  Tiruan, Mekanisme  Attention  Bahdanau,  Deep  Learning  Tensorflow, Pemrosesan  Bahasa  Alami,  Bahasa  Indonesia,  Bahasa Tiochiu Pontianak.

## I. P ENDAHULUAN
Dalam  kehidupan  sehari-hari  bahasa  sering  digunakan oleh  manusia  dalam  berinteraksi  dan  sangat  penting digunakan oleh manusia dalam menyampaikan informasi, seperti mengenalkan diri, bercerita, dan menyampaikan ide maupun gagasan. Indonesia memiliki beragam bahasa atas keberagaman suku dan budaya.
Keberagaman bahasa daerah disetiap wilayah Indonesia berbeda-beda  sehingga  Indonesia  memiliki  beragam keunikan dengan gaya ucapan bahasa, dialek tertentu, nada bahasa,  dan  kesusahan  dalam  pola  kata  dan  kalimat  yang sulit diikuti, salah satunya adalah bahasa Tiochiu Pontianak daerah  Kalimantan  Barat.  Bahasa  Tiochiu  Pontianak memiliki  keunikan  sendiri,  satu  kata  yang  banyak  arti dengan  ucapan  berbeda  atau  bahkan  sama,  dan  beberapa susunan katanya berbeda dengan bahasa Indonesia. Contoh kalimat “Saya ke pasar menggunakan motor” dalam bahasa Tiochiunya adalah “Wa eng mopit khe pasat”.
Di  Indonesia,  bahasa  Tiochiu  berasal  perantauan  suku Tiochiu ke berbagai belahan dunia, dari daerah Chaoshan dibagian  timur  provinsi  Guangdong,  Republik  Rakyat Tiongkok.  Bahasa  Tiochiu  memiliki  ciri  khas  pada  nada
setiap  kosakata  yang  masih  dipertahankan  dari  Tiongkok kuno.  Untuk  mencegah  hilangnya  bahasa  Tiochiu  seiring perkembangan  jaman  telah  dilakukan  dengan  membuat mesin  penerjemah  tersebut  dari  bahasa  Indonesia  ke Tiochiu  Pontianak.  Karena  bahasa  Tiochiu  Pontianak merupakan salah satu budaya bahasa yang digunakan oleh sebagian  masyarakat  Tionghua  di  Indonesia.  Akibat pengaruh  lingkungan  pergaulan  hidup  dalam  pendidikan Indonesia sehingga bahasa daerah tertentu tidak digunakan bahkan  dalam  keluarga  tertentu  sehingga  budaya  bahasa daerah tersebut hilang atau tenggelam.
Mesin yang bertugas secara otomatis untuk satu bahasa teks  kalimat  dikonversikan  atau  dialihkan  ke  bahasa lainnya  merupakan  pengertian  mesin  penerjemah.  Mesin penerjemah  juga  dapat  dimanfaatkan  sebagai  upaya komputasi  dalam  upaya  mempertahankan  bahasa  lokal secara teknologi. Encoder dan decoder dalam sebuah mesin penerjemahan  dengan  pendekatan  arsitektur  recurrent neural  network  (RNN)  merupakan  pengertian  mesin penerjemah berbasis jaringan saraf tiruan (NMT), dengan eksperimen 30 macam terjemahan sebagai hasil penelitian yang  dilakukan  peneliti  bahwa  SMT  (Statistik  Machine Translation) tidak lebih baik dari NMT berbasis Attention [1].
Beberapa makalah untuk mesin NMT yang dikembangkan  diantaranya  arsitektur  recurrent  neural network  (RNN)  oleh  [2], sequence  to  sequence  model framework  oleh [3]  dan  [4],  mekanisme  attention ( alignment  &  translate )  oleh  [1],  pendekatan  NMT attention [5],  NMT  dengan  arsitektur  Transformer  [6], Google  Neural  Machine  Translation [7],  pengembangan metode  NMT  dengan  Neural  Network  [8],  pendekatan NMT dengan arsitektur Encoder-Decoder [9]. RNN sama dengan  halnya  sequence  to  sequence  merupakan  jenis arsitektur jaringan saraf tiruan yang pemrosesannya secara bertahap  dipanggil  berulang-ulang  untuk  memproses jaringan encoder (target input) dan decoder (target output) untuk  mempelajari  urutan  informasi  dan  membuat  model prediksi pada mesin penerjemah NMT. Penelitian lainnya yang melakukan penerjemahan satu arah dengan pengujian penggunaan penambahan epoch secara konsisten oleh [10]. Penambahan epoch merupakan  pengaturan  parameter perulangan  pelatihan  dataset  (himpunan  data)  dengan jumlah epoch pada mesin NMT. Melakukan penerjemahan dua  arah  oleh  [11]    dengan  mekanisme  attention pendekatan  global  yang  menggunakan  semua  masukan kalimat sumber dan local yang hanya menggunakan subset atau sebagian masukan kalimat sumber dalam satu waktu.
Mesin  NMT  sudah  populer  dikalangan  penelitian  dari beberapa  tahun  sebelumnya  dan  banyak  dikembangkan bahkan  sampai  sekarang  sudah  diterapkan  di  google. Setelah NMT terkenal dari mesin learning yang ada, pada penelitian  terbaru  NMT  lebih  banyak  penelitian  berfokus pada arsitektur RNN dan algoritma end to end .
Menurut [12] dengan judul “Trainable Greedy Decoding for Neural Machine Translation” penelitiannya dilakukan dengan  mengikuti  jaringan  ketergantungan  bersyarat (probabilitas)  dan  simbol  dipilih  dengan  kondisi probabilitas tertinggi sejauh ini pada setiap node. Ini setara dengan  memilih  simbol  terbaik  satu  per  satu  dari  kiri  ke
kanan  dalam  pemodelan  bahasa  bersyarat.  Rumus terjemahan  dari  greedy  decoding  dengan  sebuah  estimasi maksimum-a-posteriori  dalam  log  p(Y  |  X).  Dapat disimpulkan Greedy decoding merupakan sebuah algoritma  perkiraan  dengan  objektif arbitrary (sewenang atau  sesuka  hati),  dari  kata  Greedy  yang  berarti serakah/tamak  dalam  mengambil  estimasi.  Tujuan  dari penelitiannya itu sebagai cara untuk mempelajari algoritma decoding  untuk  mesin  terjemahan  NMT  dengan  objektif arbitrary decoding, yang dapat dilatih untuk mengamati dan memanipulasi keadaan hidden state yang terlatih di NMT, dan dilatih dengan Teknik critic-aware (kritik-sadar) actor gradient dari  varian novel yang deterministic (peristiwa yang  nyata  terjadi).  Secara  umum  penelitian  yang dilakukannya  dengan  delapan  arah  pasangan  bahasa  dan penentuan  dua  objektif  dari  validitas  dan  kegunaannya. Yang diusulkannya dari Greedy decoding adalah ide umum yang  dapat  diterapkan  pada  setiap  pemodelan  bahasa berulang, dan mengantisipasi penelitian di masa mendatang baik  tentang  dasar-dasar  decoding  yang  dapat  dilatih maupun di aplikasi untuk tugas yang lebih beragam seperti gambar  pembuatan  teks  dan  pemodelan  dialog.  Dapat disimpulkan bahwa greedy decoding merupakan encoder- decoder dasar dari NMT.
Menurut penemu mekanisme attention, Oleh Bahdanau dkk  (2015)  [1]  dapat  disimpulkan  mekanisme  attention oleh Bahdanau adalah pendekatan model encoder-decoder dasar  dengan  nilai  skornya  berdasarkan  panjang  kalimat sumber dan kalimat target.
Perangkat  mesin  terjemahan  dengan  penerapan pemetaan dimensi atau ruang (atau otak) untuk membentuk jaringan  saraf-saraf  suatu  bahasa  dengan  bahasa terjemahannya  disebut  mesin  penerjemah  jaringan  saraf tiruan  (NMT).  Sehingga  penerjemahan  atau  biasa  disebut neural  network  untuk  memprediksi  kemungkinan  urutan masukan  kata  encoder-decoder  dan  biasanya  melakukan permodelan  seluruh  kalimat  dalam  satu  model  yang terintegrasi tersebut dimana encoder memproses masukan perkata dan decoder menyesuaikan masukan dan mencetak keluaran perkata secara berulang-ulang, dapat disebut juga model sequence to sequence model framework.
Sequence  to  sequence  model  memiliki  permasalahan utama  yaitu  untuk  menghasilkan  terjemahan  dari  decoder memiliki  vektor  panjang  tetap  yang  didapatkan  dari  data penerapan vektor encoder hidden state, sehingga teks yang diterjemahkan  sama  dengan  panjang  masukan  encoder. Dengan  seperti  itu  sistem  sulit  mengingat  urutan  dengan masukan yang banyak.
Mekanisme  Attention  disini  untuk  membebaskan masalah  yang  terjadi  pada  sequence  to  sequence  model tersebut  dengan  penerapan  vektor  panjang  tetap berdasarkan banyaknya infromasi panjang teks di encoder- decoder yang didapatkan di hidden state encoder tersebut dengan  membentuk  satu  penerapan  panjang  vektor maksimum baik encoder dan decoder. Sehingga data atau teks  yang  diterjemahkan  memiliki  batasan  dalam terjemahannya  dan  sesuai  informasi  yang  didapatkan  di hidden state encoder tersebut memiliki akurasi yang lebih baik.
Hal  terpenting  dari  mesin  penerjemah  jaringan  saraf tiruan (NMT) ialah nilai akurasi. Dengan nilai akurasi yang dihasilkan dapat melihat tingkat hasil terjemahan dari suatu bahasa  tersebut  dengan  arti  terjemahan  sebenarnya. Akurasi dari suatu NMT adalah tingkat kedekatan kuantitas (angka)  terhadap  nilai  yang  di  uji  dalam  mesin.  Nilai akurasi  yang  baik  pada  NMT  adalah  semakin  tingginya nilai  akurasi  yang  didapatkan  dari  semakin  banyaknya kalimat  atau  teks  suatu  bahasa  yang  baik,  sehingga terjemahan  semakin  bagus  kualitasnya  yang  dihasilkan mesin  tersebut.  Nilai  dari  kualitas  terjemahan  merupakan hasil  kuantitas  akhir  yang  dihasilkan  dari  nilai  akurasi. Kualitas  terjemahan  dipengaruhi  banyaknya  jumlah kalimat masukan yang disediakan. Semakin banyak jumlah kalimat masukan maka kualitas terjemahan semakin baik.
Informasi  dari  setiap  hidden  state  encoder  yang disediakan  encoder  dari  hubungan  antara  encoder  dan decoder adalah Attention. Cara kerja attention meniru pada bagaimana  ciri-ciri  khas  kalimat  dengan  menghubungkan kata-kata menjadi sebuah kalimat, sederhananya hubungan perkata dengan kata yang lain dalam sebuah kalimat yang menentukan seberapa kuat dan dekat hubungan atau relasi sebuah  kata  dengan  kata  yang  lain.  Maka  NMT  berperan mempelajari  dengan  melatih  hubungan  atau  susunan kalimat  tersebut  untuk  menghasilkan  kalimat  terjemahan yang  baik  dan  benar  adanya.  Contoh  kalimat  sederhana “Adik makan ikan goreng” dapat dijabarkan ikatan perkata- nya  “makan”  dengan  perkata  “ikan”  ialah  lebih  dekat hubungannya daripada perkata “makan” dengan “goreng”. Sehingga secara makna kata “makan” menunjukkan bahwa kalimat tersebut merupakan sejenis makanan seperti “ikan”. Sedangkan  kata  “goreng”  menunjukan  makna  ciri-ciri suatu  makanan  tetapi  hubungan  dengan  kata  “makan” sangat rendah atau bahkan tidak memiliki hubungan.
Berdasarkan  penjelasan  yang  sudah  dipaparkan,  maka untuk  mengetahui  nilai  akurasi  dan  kualitas  terjemahan dengan  penelitian  mengimplementasikan  penerjemahan mesin  jaringan  saraf  tiruan  (NMT)  dengan  menggunakan tools  framework  tensorflow  (sebuah  kerangka  kerja komputasional  untuk  membuat  model  machine  learning yang  memiliki  modul  dan  library  dari  bahasa  phyton  dan C++) dalam penerjemahan Indonesia ke Tiochiu Pontianak berdasarkan  evaluasi  hasil  secara  otomatis  (BLEU)  dan secara manual (ahli bahasa).

## II. L ANDASAN TEORI
Mesin penerjemahan jaringan saraf tiruan (NMT) dalam implementasi  encoder  dan  decoder  penelitian  ini  adalah model  sequence  to  sequence  dari  penelitian  makalah dengan judul “Sequence to sequence Learning with Neural Networks”  [3].  Untuk  deskripsi  image  versi  pengaturan dari  encoder  dan  decoder  dari  penelitian  makalah  dengan judul  “Deep  Visual-Semantic  Aligments  for  Generating Image Description” [13].
Dalam mesin penerjemah NMT menerapkan mekaninsme  attention  Bahdanau,  dimana  attention Bahdanau  merupakan  mesin  penerjemah  NMT  yang terbaik  sampai  saat  ini.  Pendekatan  NMT  ini  terjemahan yang dihasilkan dari teks kalimat asalnya dengan aligment (soft-) yang diperiksa secara intuitif [1].
Penelitian  lainnya  yang  dilakukan  oleh  [10]  yang berjudul “Analisis Perbandingan Nilai Akurasi Mekanisme Attention  Bahdanau  dan  Luong  pada  Neural  Machine Translation Bahasa Indonesia ke Bahasa Melayu Ketapang dengan Arsitektur Recurrent Neural Network”. Penelitiannya  melakukan  penerjemahan  satu  arah  Bahasa Melayu  Ketapang  dari  bahasa  Indonesia  dengan penggunaan penambahan epoch secara konsisten membandingkan  nilai  akurasi  attention  Bahdanau  dengan attention Luong. Pendekatan mekanisme attention dengan jumlah  epoch  sangat  mempengaruhi  mempengaruhi  hasil terjemahan,  akan  tetapi  jumlah  kalimat  yang  berhasil diterjemahkan tetap sama.
NMT  dibagi  menjadi  dua  jenis  yaitu  NMT  dengan Mekanisme Attention atau  disebut classical NMT  dan tanpa Attention disebut Greedy  Decoding .  Greedy decoding  sangat  sedikit  dilakukan  oleh  penelitian  karena greedy  decoding  menggunakan  algoritma  perkiraan objektif arbitrary (sewenang-wenangnya atau sesuka hati).

## A. Bahdanau Attention
Salah  satu  jenis  kecerdasan  buatan  dikalangan  mesin penerjemahan  jaringan  saraf  tiruan  (NMT)  dengan penerapan mekanisme attention Bahdanau pada penelitian yang  berjudul  “Neural  Machine  Translation  by  Jointly Learning to Align and Translate” [1].
Alignment skor yang dihitung dengan cara concat/additive [14] pada rumus dibawah ini.
( 1 )
Skor alignment dihitung dengan fungsi pengaktifan tanh yang dikalikan dengan bobot matrik. Untuk mendapatkan bobot matrik masing-masing encoder hidden dan decoder hidden yang dijumlahkan, cara ini dengan mengalikan dari encoder  hidden  state  dan  decoder  hidden  state  dengan bobot matrik dulu [15].

## III. M ETODE P ENELITIAN
Rangkaian  alur  metode  penelitian  dijabarkan  pada Gambar 1 sebagai berikut.
Gambar 1. Metode penelitian
A. Pengumpulan Data
Wawancara  dan  observasi  merupakan  hal  yang  paling utama  diperlukan  dalam  mengumpulkan  data  untuk penelitian. Berikut aktivitas dalam pengumpulan data.
1) Wawancara  : Penelitian  ini  membutuhkan seorang  ahli  suatu  bahasa  (narasumber)  untuk  menguji hasil  penerjemahan  mesin,  maka  wawancara  dilakukan dengan  narasumber  tersebut  atas  ketersediaannya  dengan pemahaman yang dimiliki mengenai bahasa Indonesia serta bahasa Tiochiu Pontianak untuk kalimat-kalimat yang akan diterjemahkan.  Penulis  melakukan  diskusi  baik  secara langsung  tatap  muka  dan  melalui  aplikasi  online  chatting karena  kondisi  tertentu.  Penulis  telah  melakukan wawancara  dengan  Tri  Heriyanto  yang  berasal  dari Kabupaten Ketapang yang besar dan tinggal di Pontianak sejak  kecil.  Dan  Tri  Heriyanto  akan  menjadi  ahli  bahasa dalam  penelitian  ini  dengan  membahas  ketersediaan  dan pemahaman mengenai bahasa Tiochiu Pontianak.
2) Observasi :  Dalam  penelitian  ini  dibutuhkan pengumpulan data korpus dalam bahasa Indonesia, dibuat dari acuan bahasa kehidupan sehari-hari seperti percakapan dikampus, kantor, perusahaan, filsafat/puisi, rumah tangga, sekolah,  dan  lainnya  yang  akan  diterjemahkan  ke  bahasa Tiochiu Pontianak oleh ahli bahasa.

## B. Pembuatan Korpus
Korpus  dalam  pengertian  mesin  penerjemah  adalah kumpulan dari teks antar beberapa bahasa untuk penelitian. Korpus paralel pada penelitian yang dilakukan terdapat dua buah  bahasa  yakni  korpus  teks  Indonesia  dan  Tiochiu Pontianak.  Korpus  paralel  bahasa  Indonesia  yang  telah dibuat dengan acuan bahasa kehidupan sehari-hari seperti percakapan  di  kampus,  kantor,  perusahaan,  filsafat/puisi, rumah  tangga,  sekolah,  dan  lainnya.  Selanjutnya melakukan  penerjemahan  secara  manual  dari  bahasa Indonesia  ke  bahasa  Tiochiu  Pontianak  sebelum  korpus
paralel  tersebut  digunakan  dalam  penelitian.  Teks merupakan  bentuk  korpus  paralel  dengan  jumlah  korpus yang akan digunakan untuk penelitian ini yaitu 5000 (lima ribu) pasang kalimat, contohnya pada gambar 2 berikut.
Gambar 2. Paralel korpus

## C. Membangun Mesin NMT
Akses  koneksi  internet  sangat  dibutuhkan  pada  tahap membangun  Neural  Machine  Translation  pada  tahap  ini, dan  beberapa  layanan  yang  tersedia  di  google  yang digunakan  seperti  aplikasi  Chrome  untuk  akses  Google Colaboratory  yang  berfungsi  run-code  program  NMT, dengan  panduan  code  open  source  Tensorflow,  serta penyimpan  data  penelitian  (model  NMT  dan  korpus)  di Google Drive.

## D. Implementasi Mekanisme Attention Pada NMT
Tahapan  dalam  implementasi  mesin  Neural  Machine Translation  dapat  dilihat  pada  rangkaian  arsitektur  NMT Gambar 3 berikut.

## Gambar 3. Rangkaian arsitektur NMT

## Adapun alur tahap implementasi :
1) Encoder :  tahap  awal  encoder  berfungsi  sebagai proses sumber bahasa dalam setiap kata diproses kebentuk angka integer untuk menghasilkan matriks atau gambaran susunan  setiap  kata.  Proses  tersebut  diperlukan  informasi dalam pengaksesan tentang per-kata dalam input urutannya.
2) Attention  Mekanisme :  tahap  penting  dalam mekanisme terjemahan dimana attention berperan sebagai pembelajaran  input  urutan  untuk  ditentukan  nilai  skor perhitungannya.  Attention  dalam  Bahdanau  biasanya disebut concat atau additive.
3) Decoder :  tahap  dalam  memprediksi  setiap  kata perlangkah waktu (time_step) berdasarkan proses implementasi dalam mekanisme attention dalam menghasilkan  keluaran  output.  Proses  decoder  memiliki kesamaan  dengan  encoder  seperti  akses  layer  (2  layer). Untuk menghasilkan keluaran output decoder membutuhkan  layer  attention.  Layer  attention  merupakan penyedia  informasi  kepada  decoder  dalam  memfokuskan berdasarkan  vektor  attention  berupa  weight  attention semua  encoder  state  hidden  dalam  setiap  langkah  waktu.
Dalam setiap langkah waktu proses decoder berperan untuk input selanjutnya pada vektor konteks.
4) Function  Loss :  tahap  proses  pelatihan  model dengan teknik optimasi, tujuannya untuk meminimalis nilai loss  function . Loss  function digunakan  untuk  mengetahui estimasi  parameter  atau  peristiwa  yang  dimaksud  seperti beberapa fungsi dari perbedaan nilai yang diperkirakan dari sebuah  data.  Loss  function  semakin  baik  pada  model apabila  semakin  rendah  nilai  loss  functionnya  (nilai  loss function  terbaik  =  0  ).  Tahap  loss  function  dilakukan pertama  dalam  pelatihan  model  pada  proses  pelengkap model  siap  latih.  Karena  dataset  model  yang  dilatih sebelumnya  berbentuk  bilangan  angka  integer  akan dipresentasikan  menjadi  tensor  data  (pemakaian  modul sparse categorical cross entropy).
5) Pelatihan Model NMT : tahap pelatihan ini untuk data  latih  pada  model  dilatih  dengan  teknik  penyetelan batasan  waktu  latih  tertentu  dalam  mendapatkan  hasil prediksi  yang  terbaik.  Proses  setiap  langkah  waktu  pada output  encoder  yang  memiliki  isi  hidden  state  akan dikembalikan pada latih tunggal, karena tensor input yang dilewati dalam kalimat masukan (input) milik encoder. Dan dilakukan teknik teacher forcing serta jumlah epoch yang ditentukan.  Teknik  latih  model  terpenting  dalam pemrosesan  bahasa  alami  tersebut  disebut  teknik  teacher forcing . Menurut  Brownlee  (2021)  [16]  teknik  Teacher Forcing adalah menggunakan aktual output dalam langkah waktu secara cepat serta efisien pada pelatihan model RNN untuk  input.  Bagian  terakhir  dari  alur  pelatihan  adalah perulangan  pelatihan  dengan  jumlah epoch .  Bagian  ini sebagai hyperparameter yang dilakukan adalah menjalankan  beberapa epoch dan  pada  setiap epoch yang sudah dikalkulasikan dimulai dari epoch 10, 20, 30 sampai hasil  akurasi  sudah  mulai  menurun  2  langkah  dari  nilai akurasi jumlah epoch sebelumnya. Pelatihan jumlah epoch dengan  mengulangi  dataset  dan  memanggil  fungsi  tahap pelatihan train_step pada  setiap  kumpulan  dataset. Beberapa pernyataan seperti if untuk mencatat statistik dan menyimpan data pelatihan. Dalam tahap pelatihan ini akan memakan  waktu  yang  lama  jika  melatih  menggunakan CPU  komputer  lokal,  sedangkan  dengan  menggunakan google colaboratory notebook akan mendapatkan dukungan GPU untuk mempercepat pelatihan.
6) Prediksi  NMT  Model :  Prediksi  model  hasil terjemahan  didapatkan  setelah  penyelesaian  pada  tahap pelatihan  model.  Penulis  dapat  memperoleh  terjemahan asal  yang  tidak  diketahui  tersebut  adalah  inferensi. Inferensi  menggunakan  kata-kata  yang  diprediksi  oleh model,  sedangkan  pada  pelatihan  yang  biasanya memasukan  kata-kata  target  yang  benar  sebagai  input. Encoder  output  shape  pada  inference  waktu  diakses  dari kalimat  sumber.  Pemaraparan  ini  dilakukan  dengan framework tensorflow [17] . Di  akhir  prediksi  model, penulis  membuat  prediksi  plot  bobot attention yang berfungsi untuk menampilkan atau memaparkan informasi bobot attention model  prediksi  pada  saat  menerjemahkan kalimat input dari  proses  integer  prediksi  model,  model akan  menghasilkan  tiga output berupa  kalimat input ,
kalimat  terjemahan  serta  plot attention (hasil  prediksi model attention dalam bentuk grafik kotak dan warna).
7) Pengujian NMT Model : pada langkah tahap ini uji NMT model dilakukan ada tiga jenis yaitu uji manual input, uji  otomatis  data,  dan  percetakan  model  NMT  hasil terjemahan.  Pengertian  dari  uji  manual  input  ialah pengujian  dengan  cara  memasukan  per  kalimat  secara langsung  (manual)  pada  program  sedangkan  uji  otomatis data  ialah  pengujian  dari  data  tersedia  (dalam  bentuk  file teks(.txt) pada jumlah yang ditentukan (akan diterjemahkan seluruhnya secara sistematis). Dan percetakan model NMT hasil terjemahan ialah hasil akhir terjemahan dari pengujian uji otomatis data yang dapat dilihat dalam bentuk file teks tersebut yang dicetak disimpan dengan isi (sumber kalimat, kalimat sebenarnya dan terjemahan kalimat prediksi pada mekanisme Attention Bahdanau.
8) Evaluasi Hasil Terjemah : pada tahap ini menguji dengan  otomatis  dalam  teknik  penentuan  jumlah  epoch dengan  konsisten  atau  kelipatannya  dalam  teknik  Kfold Cross validasi .
9) Hitung  Akurasi  Terjemah  pada  BLEU :  Hasil akurasi  terjemahan  dihitung  secara  otomatis  pada  mesin dengan skor BLEU yang tersedia untuk mendapatkan nilai akurasi. Hasilnya dapat dipaparkan melalui brevity penalty pada BLEU [18].

## E. Evaluasi Pengujian Mesin Penerjemahan NMT
Setelah pengujian NMT mesin penerjemah baik manual serta otomatis dari penggunaan Kfold dengan jumlah epoch yang ditentukan akan di evaluasi. Evaluasi disini mengacu pada  penentuan  nilai  akurasi  yang  dihasilkan  serta mendapatkan nilai rerata pada jumlah epoch.
Adapun hasil pengujian dilakukan dan diterapkan tabel pada  gambar  4  berikut  yaitu  dengan  jumlah  epoch  7  kali percobaan  pada  masing-masing  data  uji  dengan  jumlah epoch  konsisten  yakni  kelipatan  10  tersebut  yang  mana memiliki  nilai  rata-rata  tertinggi  untuk  mendapatkan akurasi tertinggi pada data uji pada jumlah epoch tersebut.
Pengujian  attention  Bahdanau  dari  penelitian  ini  dicari dan  didapatkan  nilai  akurasi  BLEU  tertinggi  yang kemudian dibandingkan dengan tanpa attention Bahdanau untuk melihat bahwa dengan attention bahdanau memiliki standar  nilai  akurasi  terhadap  pengaruh  akurasi  pada terjemahan bahasa Indonesia ke Bahasa Tiochiu Pontianak.
Gambar 4. Tabel hasil uji BLEU dengan jumlah epoch
Kesimpulan didapatkan dari hasil uji BLEU dengan data uji  yang  bernilai  akurasi  tinggi  pada  jumlah  epoch  dari rerata tertinggi didapatkan pada bahasa Tiochiu Pontianak dari  bahasa  Indonesia  yang  telah  ditentukan  kalimat  uji berbanding kalimat latih 1:10 dari 5000 kalimat.

## Gambar 5. Uji dengan KFold dari 5000 kalimat
Pada Gambar 5 merupakan uji dengan Kfold dari 5000 kalimat  dilakukan  10x  uji  dengan  500  kalimat  sebagai korpus uji dan 4500 sebagai kalimat korpus latih. Keterangan
Korpus Uji: Dari Urutan: Korpus Latih: Dari Urutan: Uji1  =   1-500 Latih1   =   501-5000 Uji2  =   501-1000 Latih2   =   (1-500)+(1001-5000) Uji3  =   1001-1500 Latih3      =      (1-1000)+(1501- 5000) Uji4  =   1501-2000 Latih4      =      (1-1500)+(2001- 5000) Uji5  =   2001-2500 Latih5      =      (1-2000)+(2501- 5000) Uji6  =   2501-3000 Latih6      =      (1-2500)+(3001- 5000) Uji7  =   3001-3500 Latih7      =      (1-3000)+(3501- 5000) Uji8  =   3501-4000 Latih8      =      (1-3500)+(4001- 5000) Uji9  =   4001-4500 Latih9      =      (1-4000)+(4501- 5000) Uji10 =   4501-5000 Latih10 =   1-4500

## F. Pengujian Manual
Uji manual dilakukan oleh Ahli Bahasa Tiochiu dengan pengertian  bahasa  Indonesia  untuk  menguji  akurasinya secara manual tersebut dengan perhitungan P = .
Data  untuk  uji  manual  didapatkan  dari  uji  nilai  akurasi otomatis  terbaik  oleh  mesin  NMT  Attention  Bahdanau dengan BLEU. Uji manual oleh Ahli Bahasa dapat dilihat dari gambar 6.

## Gambar 6. Evaluasi manual dari ahli bahasa

## G. Analisis Hasil Uji
Nilai  akurasi  terjemahan  dari  mekanisme  attention Bahdanau  didapatkan  untuk  analisis  hasil  uji,  untuk menyimpulkan  jika  akurasi  pada  mekanisme  attention adalah yang terbaik hingga saat ini. Sebelumnya pengujian dilakukan dengan pembagian KFold dan penentuan jumlah epoch  secara  sistematis,  maka  didapatkan  nilai  akurasi terbaik  dari  mekanisme  attention  Bahdanau  tersebut berdasarkan nilai rata-rata akurasi tertinggi jumlah epoch, kemudian  di  uji  lagi  pada  masing-masing  data  uji  yang memiliki akurasi tertinggi. Setelah itu di uji manual serta terakhir  menguji  dengan  tanpa  attention  Bahdanau  untuk melihat  bahwa  mekanisme  attention  adalah  NMT  dengan Akurasi terbaik sampai saat ini.

## H. Menarik Kesimpulan
Dapat dirangkum dari uji nilai akurasi pada mesin NMT dengan  Mekanisme  Attention  Bahdanau  dilihat  dari  uji otomatis  dengan  BLEU  dan  Manual  Ahli  Bahasa  untuk menarik kesimpulan dalam perbandingan nilai akurasi hasil analisis tersebut.

## IV. A NALISIS H ASIL
Skenario uji peneliti secara rinci terdapat pada Tabel 1 dalam 3 cara sebagai berikut.
TABEL I S KENARIO PENGUJIAN No Nama Uji Keterangan 1 Uji KFold Cross Validasi pada penentuan Jumlah Epoch dengan 5000 kalimat korpus pararel Pada pengujian ini menggunakan KFold cross validasi dengan data korpus terbagi 10 bagian data  dengan  jumlah  korpus  data  isi  5000,
Kemudian  dibagi  masing-masing  jumlah kalimat  korpus  uji  isinya  500  secara  berurut dimulai urutan kalimat 1-500 untuk uji1, 501- 1000 untuk uji2, dan seterusnya sampai uji10 dari  kalimat  4501-5000.  Dari  10  data percobaan  uji  jumlah  epoch  yang  ditentukan secara  sistematis  dimulai  dari  epoch10,  20, 30, hingga nilai akurasi skor BLEU turun dua langkah.  Uji  ini  dilakukan  dengan  NMT Attention  Bahdanau  untuk  mendapatkan akurasi  nilai  tertinggi  dari  rata-rata  tertinggi yang  didapatkan  dan  digunakan  untuk pengujian  berlanjut.  Sesudah  mendapatkan rata-rata  pada  jumlah  epoch  dengan  nilai akurasi  tertinggi  yang  digunakan,  maka selanjutya mencari data 10 percobaan dengan akurasi  tertinggi  dari  jumlah  epoch  hasil pengujian  itu,  kemudian  mendapatkan  nilai akurasi tertinggi pada masing-masing data uji untuk  pengujian  hasil.  Dari  uji  nilai  akurasi tertinggi  yang  didapatkan  itu  akan  diuji manual.
No Nama Uji Keterangan 2 Uji Manual Ahli Bahasa Uji Manual oleh Ahli Bahasa dari data akurasi tertinggi  tersebut  di  uji  lagi  dengan pembagian  KFold  cross  validasi  dari  total kalimat  terjemahan  data  tersebut,  di  uji  dan didapatkan  diuji  manual  pada  data  nilai akurasi  terbaik  didapatkan.  Tujuan  Uji manual ini melihat apakah mesin NMT hasil terjemahnya  sudah  dekat,  baik  atau  terlalu jauh  hasil  terjemahannya  dibandingkan dengan Ahli Bahasa. 3 Membandingka n pengujian attention Bahdanau dengan tidak menggunakan attention Bahdanau Dari  hasil  pengujian  dengan  nilai  akurasi tertinggi  yang  didapatkan  dari  skenario pengujian poin 1, kemudian digunakan untuk menguji  akurasi  nya  dengan  tanpa  attention Bahdanau tersebut untuk melihat apakah nilai akurasi  yang  dihasilkan  dengan  attention adalah benar mempengaruhi nilai akurasi dan attention  merupakan  tingkat  akurasi  terbaik dengan  penerjemahan  terbaik  yang  ada  saat ini.
Pada pengujian otomatis oleh BLEU disini menggunakan teknik uji KFold cross validasi dengan 5000 korpus paralel bahasa Tiochiu dari bahasa Indonesia pada Uji1, Uji2, Uji3,  sampai data Uji10 yang dibagi 500 dari 5000 kalimat korpus yang dilakukan sebelumnya, dengan penambahan  secara  konsisten  atau  kelipatannya  pada jumlah  epoch,  dari  epoch10,  20,  30,  sampai  epoch70. Dengan  demikian  Uji1  akan  dilatih  dan  diuji  akurasinya pada jumlah epoch10, 20, 30, sampai epoch70. Selanjutnya melatih data Uji2 seperti yang dilakukan pada Uji1 hingga sampai  pada  data  Uji10.  Setelah  semua  data  pengujian tersebut sudah dilakukan dan hasil BLEU sudah didapatkan, dapat  dilihat  hasil  Tabel  pengujian  pada  Gambar  5. Selanjutnya adalah menghitung jumlah total rata-rata dari semua  nilai  akurasi  data  Uji  pada  jumlah  epoch,  yang kemudian  ditetapkan  atau  digunakan  sebagai  data  hasil pengujian akurasi attention Bahdanau pada penelitian ini .
Gambar 7. Grafik jumlah epoch hasil uji skor BLEU
Dari uji hasil didapatkan, selanjutnya adalah menghitung  rata-rata  nilai  akurasi  BLEU  dari  uji  KFold cross  validasi  tersebut  pada  batas  jumlah  epoch  yang ditentukan  yang  digunakan  sebagai  penentuan  uji  akurasi attention  Bahdanau.  Setelah  menghitung  rata-rata  akurasi BLEU didapatkan dengan hasil rerata paling tinggi dengan jumlah  epoch50  hasil  rerata  adalah  18,41%,  dapat  dilihat pada hasil grafik rerata Gambar 8.
Gambar.  2  Grafik  hasil  rata-rata  KFold  oleh  BLEU  berdasarkan  jumlah epoch
Selanjutnya  setelah  didapatkan  pada  penentuan  jumlah epoch 50 tersebut selanjutnya mendapatkan sampel data uji dilihat dari nilai akurasi BLEU tertinggi pada jumlah epoch 50.  Hasil  nilai  akurasi  BLEU  tertinggi  yang  didapatkan pada  mekanisme attention Bahdanau  terdapat  pada  data Uji6  dengan  nilai  akurasi  BLEU  sebesar  24,26%  dapat dilihat pada hasil Tabel pada Gambar 9.
Gambar. 9 Tabel hasil pengujian epoch 50 pada data uji.
Setelah  didapatkan  data  Uji6  untuk  bahan  uji,  dimana urutan kalimat Uji6 adalah 2501-3000 serta urutan kalimat latih6  nya  adalah  1-2500  dan  3001-5000  sesuai  teknik pembagian  KFold  Cross  Validasi.  Terjemahan  kalimat terbanyak ialah pada data Uji2 sebanyak 384 dari 500 dan terdikit  Uji10  ialah  278  dari  500.  Rerata  semua  data  uji terjemahannya  adalah  325,7  kalimat  dapat  dilihat  pada Tabel Gambar 10.
Gambar. 10 Tabel hasil K-Fold cross validation
Data dengan nilai akurasi paling tinggi atau disebut data terbaik  akan  digunakan  uji  manual  kepada  ahli  bahasa Tiochiu Pontianak, dan diketahui hasil akurasi nilai terbaik ada  pada  jumlah  epoch50  dan  data  Uji6  pada  mesin terjemah  NMT  mekanisme attention  Bahdanau.  Dari  data Uji6  memiliki  akurasi  nilai  skor  BLEU  terbaik  ialah 24,26%  dengan  terjemahan  kalimat  ialah  334  dari  500. Total  terjemahan  tersebut  334  itu  pada  data  Uji6  akan dilakukan pembagian uji 2x lagi dengan teknik KFold, dan mendapatkan akurasi paling tinggi lagi dapat dilihat pada Tabel Gambar 11 berikut.
Uji/Epoch Epoch10 Epoch20 Epoch30 Epoch40 Epoch50 Epoch60 Epoch70 Uji1 8,26% 15,86% 15,57% 12,25% 13,67% 13,50% 11,72% Uji2 11,89% 17,23% 21,39% 18,42% 19,59% 17,95% 17,38% Uji3 16,63% 14,69% 16,06% 17,02% 20,58% 15,73% 14,70% Uji4 11,55% 20,73% 19,12% 17,45% 22,40% 18,14% 17,87% Uji5 13,53% 18,03% 20,70% 18,97% 23,40% 19,17% 19,01% Uji6 12,79% 20,23% 21,56% 20,26% 24,26% 25,51% 18,96% Uji7 13,90% 16,76% 16,93% 18,62% 17,21% 17,40% 18,28% Uji8 12,98% 21,74% 20,47% 18,57% 19,51% 22,39% 21,17% Uji9 9,24% 10,46% 10,94% 14,76% 11,48% 12,12% 13,45% Uji10 4,88% 7,37% 9,34% 8,10% 12,06% 7,06% 7,93% Rata-rata 11,56% 16,31% 17,20% 16,44% 18,41% 16,89% 16,04%
Uji/ Epoch
Epoch 50 17,21 19,51 11,48 12,06 Uji7 Uji8 Uji9 Uji10 13,67 19,59 20,58 22,4 23,4 24,26 Uji1 Uji2 Uji3 Uji4 Uji5 Uji6 Uji Data Uji
Epoch 50 Kalimat 1 1-500 13,67 363 2 501 – 1.000 19,59 384 3 1.001 – 1.500 20,58 338 4 1.501 – 2.000 22,4 302 5 2.001 – 2.500 23,4 342 6 2.501 – 3.000 24,26 334 7 3.001 – 3.500 17,21 297 8 3.501 – 4.000 19,51 333 9 4.001 – 4500 11,48 286 10 4501 – 5000 12,06 278 Total 5000 184,16 3257 Rata-rata 500 18,41 325,7
Gambar  11.  Hasil  BLEU  uji  6  kalimat  terjemahan  334  dengan  teknik KFold
Akurasi  paling  tinggi  didapatkan  dari  gambar  11  ialah pada uji1 dengan nilai 25,01% skor BLEU tersebut untuk uji  manual  pada  rumus  P  = (P=  %  akurasi,
C=banyaknya  jumlah  kata  terjemahan  tepat  oleh  uji  ahli bahasa, serta R= namyaknya jumlah kata hasil terjemahan mesin).
Setelah  selesai  melakukan  pengujian  secara  manual, didapatkan hasil perhitungan pada pengujian secara manual dengan  akurasi  sebesar  54,51%.  Dapat  dilihat  pada  hasil Tabel Gambar 12 berikut.

## Gambar 12. Nilai akurasi hasil uji manual
Selanjutnya  pengujian  dengan  tanpa  mekanisme attention  Bahdanau,  disini  algoritma  fungsi  perhitungan dengan  score  alignment  attention  Bahdanau  dihilangkan dari pengujian Bahdanau. Uji tanpa mekanisme Attention akan  menggunakan  data  Uji6  yang  didapat  dari  nilai akurasi  terbaik  skor  BLEU  dengan  nilai  akurasi  BLEU sebesar  24,26%  tersebut  diuji  dengan  mesin  sebelumnya dengan  catatan  mekanisme  attention  Bahdanau  tidak digunakan.
Adapun  dalam  pengujian  tanpa  attention  Bahdanau penulis  menyesuaikan  antara  encoder-decoder  dasar  dari RNN  Mesin  penerjemah  Neural  Machine  Translation (NMT)  dengan  fungsi  greedy  decoding  log  p(Y  |  X)  dan menghilangkan fungsi perhitungan skor attention Bahdanau tersebut. Dan setelah diuji penulis mendapatkan nilai  akurasi  otomatis  BLEU  dengan  tanpa  attention Bahdanau sebesar 12,41%. Berikut Tabel Gambar 13 dari pemaparan hasil uji tanpa mekanisme attention Bahdanau.
Gambar 13. Tabel hasil pengujian tanpa attention bahdanau pada data uji6 jumlah epoch 50

## V. K ESIMPULAN
Kesimpulan  hasil  uji  otomatis  dengan  jumlah  epoch yang  ditentukan  secara  sistematis  KFold  cross  Validasi pada  Mesin  penerjemah  NMT  Mekanisme  Attention Bahdanau terbaik ialah dengan jumlah epoch50 pada data Uji6  dengan  nilai  akurasi  uji  otomatis  BLEU  sebesar 24,26%, serta nilai rerata akurasi keseluruhan data uji ialah sebesar  18,41%.  Adapun  nilai  akurasi  otomatis  BLEU tanpa  mekanisme  Attention  Bahdanau  ialah  sebesar 12,41%.  Dapat  diketahui  dengan  perbedaan  jarak akurasinya ialah 11,85% membuktikan mesin penerjemah terbaik  hingga  saat  ini  alias  NMT  mekanisme  Attention Bahdanau.  Selanjutnya  kesimpulan  dari  uji  manual  ahli bahasa dengan pembagian teknik KFold lagi pada akurasi
otomatis  nilai  skor  BLEU  terbaik  yakni  didapatkan  pada data  Uji1  dengan  nilai  akurasi  25,01%  diuji  manual  ahli bahasa  alias  Tri  Heriyanto  didapatkan  hasil  akurasinya ialah  54,51%.  Mesin  penerjemah  dapat  menunjukkan kualitas  terjemahannya  setelah  diuji  secara  manual. Adapun  saran  penelitian  lebih  lanjut  untuk  korpus  perlu dibuat pada bahasa yang sulit dari kata yang sama dengan arti  yang  berbeda  dengan  menambahan  huruf  atau mengubah  hurufnya  dengan  catatan  pengucapan  bahasa sama, agar mesin tidak saling bersimpangan menerjemahkan  hasil  prediksi  karena  satu  kata  yang memiliki banyak arti. Contohnya seperti kata “Kau” dalam bahasa Tiochiu yang memiliki banyak arti tersebut dibuat dengan  kata  berbeda  seperti  “Kaw,  Kauw,  Kao,  Kaww, Kauu dan lainnya”.

## R EFERENSI
[1] D.  Bahdanau,  K.  H.  Cho,  and  Y.  Bengio,  “Neural  machine translation by jointly learning to align and translate,” 3rd  Int. Conf. Learn. Represent. ICLR 2015 - Conf. Track Proc. , pp. 1– 15, 2015.
[2] N.  Kalchbrenner  and  P.  Blunsom,  “Recurrent  continuous translation models,” EMNLP 2013 - 2013 Conf. Empir. Methods Nat. Lang. Process. Proc. Conf. , no. October, pp. 1700–1709, 2013.
[3] I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learning with neural networks,” Adv. Neural Inf. Process. Syst. , vol. 4, no. January, pp. 3104–3112, 2014.
[4] K.  Cho et  al. ,  “Learning  phrase  representations  using  RNN encoder-decoder for statistical machine translation,” in EMNLP 2014  -  2014  Conference  on  Empirical  Methods  in  Natural Language Processing, Proceedings of the Conference , 2014, pp. 1724–1734, doi: 10.3115/v1/d14-1179.
[5] Z.  Abidin,  “Translation  of  Sentence  Lampung-Indonesian Languages  with  Neural  Machine  Translation  Attention  Based Approach,” Inov. Pembang.  J. Kelitbangan , vol. 6, no. 02, pp. 191–206, 2018, doi: 10.35450/jip.v6i02.97.
[6] D. Sebagai, S. Satu, U.  Memperoleh, and G. Sarjana, “Mesin penerjemah  bahasa  inggris  –  indonesia  berbasis  jaringan  saraf tiruan  dengan  mekanisme  attention  menggunakan  arsitektur transformer skripsi,” 2018.
[7] W.  Untara  and  T.  Setiawan,  “Problema  Mesin  Penerjemah Berbasis  Ai  Dalam  Proses  Penerjemahan  Buku  Inggris- Indonesia Dan Solusinya,” Adab. J. Bhs. dan Sastra , vol. 4, no.
1, p. 92, 2020, doi: 10.14421/ajbs.2020.04105.
[8] M. Y. Aristyanto and R. Kurniawan, “Pengembangan  Metode Neural  Machine  Translation  Berdasarkan  Hyperparameter Neural Network,” Semin.  Nas.  Off.  Stat. ,  vol.  2021,  no.  1,  pp. 935–946, 2021, doi: 10.34123/semnasoffstat.v2021i1.789.
[9] Y.  Fauziyah,  R.  Ilyas,  and  F.  Kasyidi,  “MESIN PENTERJEMAH BAHASA INDONESIA-BAHASA SUNDA MENGGUNAKAN  RECURRENT  NEURAL  NETWORKS,” vol. 16, pp. 313–322, 2022.
[10] W.  Gunawan,  H.  Sujaini,  and  T.  Tursina,  “Analisis Perbandingan  Nilai  Akurasi  Mekanisme  Attention  Bahdanau dan Luong pada Neural Machine Translation Bahasa Indonesia ke  Bahasa  Melayu  Ketapang  dengan  Arsitektur  Recurrent Neural Network,” J. Edukasi dan Penelit. Inform. , vol. 7, no. 3, p. 488, 2021, doi: 10.26418/jp.v7i3.50287.
[11] M.  T.  Luong,  H.  Pham,  and  C.  D.  Manning,  “Effective approaches to attention-based neural machine translation,” Conf. Proc. - EMNLP 2015 Conf. Empir. Methods Nat. Lang. Process. , pp. 1412–1421, 2015, doi: 10.18653/v1/d15-1166.
[12] J. Gu, K. Cho, and V. O. K. Li, “Trainable greedy decoding for neural  machine  translation,” EMNLP  2017  -  Conf.  Empir. Methods Nat. Lang. Process. Proc. , pp. 1968–1978, 2017, doi: 10.18653/v1/d17-1210.
[13] A. Karpathy and L. Fei-Fei, “Deep Visual-Semantic Alignments for Generating Image Descriptions,” IEEE Trans. Pattern Anal. Mach.  Intell. ,  vol.  39,  no.  4,  pp.  664–676,  2017,  doi: 10.1109/TPAMI.2016.2598339.
Uji Data Uji 6 Nilai Akurasi Otomatis BLEU 1 1-167 25,01 2 168 – 334 23,47 No. Ahli Bahasa Tiochiu Pontianak
C R P=C/R*100% 1. Tri Heriyanto 441 809 54,51%
Uji Data Uji Epoch 50 Kalimat 6 2.501 – 3.000 12,41 334
[14] Y.  Marathe,  “Neural  Machine  Translation  using  Bahdanau Attention Mechanism,” medium.com , 2020. .
[15] G. Loye, “Attention Mechanism,” blog.floydhub.com , 2019. .
[16] J.  Brownlee,  “What  is  Teacher  Forcing  for  Recurrent  Neural
Networks?,” machinelearningmastery.com , 2021. .
[17] M.-T.  Luong,  “Neural  Machine  Translation,”  Stanford University, 2016.
[18] M. S. Islam and B. S. Purkayastha, “English to Bodo Phrase- Based  Statistical  Machine  Translation,”  in Advanced
Computing and Communication Technologies , Springer, 2018, pp. 207–217.