## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
Vol. 9 No. 2 Agustus 2023

## Pivot Language Bahasa Melayu Pontianak ke Bahasa Bugis Menggunakan Neural Machine Translation
Alda Dwi Meilinda #1 , Herry Sujaini #2 , Novi Safriadi #3
# Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak, Kalimantan Barat, 78124
1 alda23.dm@student.untan.ac.id
2 hs@untan.ac.id
3 safriadi@informatics.untan.ac.id
Abstrak — Bahasa  merupakan  faktor  terpenting  yang digunakan  dalam  interaksi  sosial.  Kemampuan  berbahasa yang berbeda di kalangan masyarakat berpotensi menghambat  pertukaran  informasi  secara  verbal.  Upaya yang  dapat  dilakukan  untuk  mengurangi  kesalahan  dalam menyampaikan informasi yaitu dengan penggunaan teknologi mesin  penerjemahan.  Beberapa  tahun  terakhir,  neural machine  translation  telah  menghasilkan  terjemahan  alami yang lebih akurat menggunakan arsitektur transformers dan framework  tensorflow.  Namun,  saat  ini  sulit  menemukan pasangan  data  korpus  paralel  dari  bahasa  daerah,  seperti bahasa  Melayu  Pontianak  dan  bahasa  Bugis,  untuk memudahkan  pembuatan  korpus  paralel  digunakan  bahasa Indonesia  sebagai  pivot  language  dengan  arsitektur transformers. Penelitian ini bertujuan untuk mengetahui hasil nilai  akurasi  pada  neural  machine  translation  sebelum  dan sesudah  menggunakan  pivot  language  dari  bahasa  Melayu Pontianak ke bahasa Bugis. Data penelitian yang digunakan berjumlah 3000 baris kalimat bahasa Melayu Pontianak dan bahasa  Bugis,  3000  baris  kalimat  bahasa  Melayu  Pontianak dan  bahasa  Indonesia,  serta  3000  baris  kalimat  bahasa Indonesia dan bahasa Bugis. Hasil pengujian otomatis BLEU yang  diperoleh  menggunakan  pivot  language  meningkat sebesar 1,43% dibandingkan pengujian tanpa pivot language. Berdasarkan hasil penelitian penggunaan pivot language dari bahasa  Melayu  Pontianak  ke  bahasa  Bugis  menggunakan neural  machine  translation  mengalami  peningkatan  nilai akurasi.
Kata kunci — Neural Machine Translation, Pivot Language, Transformers, Framework Tensorflow, BLEU

## I. P ENDAHULUAN
Indonesia  memiliki  34  provinsi  dan  beraneka  ragam bahasa  daerah.  Suku,  budaya,  dan  bahasa  yang  berbeda menjadi  ciri  khas  setiap  daerah,  terutama  di  provinsi Kalimantan  Barat,  Ibu  Kota  Pontianak.  Suku  Bugis merupakan salah satu suku yang bermigrasi ke Kalimantan Barat,  dan  pola  persebaran  diketahui  melalui  kegiatan perdagangan.  Dalam  memudahkan  interaksi  sosial  di kalangan  masyarakat,  mereka  juga  menggunakan  bahasa dengan  jumlah  penutur  terbanyak,  yaitu  bahasa  Melayu
Pontianak.  Bahasa  merupakan  faktor  terpenting  yang digunakan dalam interaksi sosial. Bahasa adalah lambang bunyi yang bermakna dan artikulatif yang dihasilkan oleh alat-alat tutur bersifat arbitrer dan konvensional digunakan sebagai  alat  komunikasi  oleh  sekelompok  orang  untuk membangkitkan  perasaan  dan  pikiran  [1].  Kemampuan berbahasa yang berbeda di kalangan masyarakat berpotensi menghambat  pertukaran  informasi  secara  verbal.  Upaya yang dapat dilakukan untuk mengurangi kesalahan dalam menyampaikan  informasi  yaitu  dengan  penggunaan teknologi  mesin  penerjemahan.  Mesin  penerjemahan merupakan  solusi  untuk  menerjemahkan  teks  dari  satu bahasa  ke  teks  bahasa  lainnya.  Salah  satu  cara  untuk membuat  terjemahan  mesin  dari  berbagai  bahasa  adalah dengan menggunakan pivot language . Dalam terjemahan mesin, pivot language adalah bahasa ketiga  yang  dapat  digunakan  untuk  menggabungkan  dua atau  lebih  bahasa  yang  berbeda.  Model pivot ini memungkinkan  untuk  menghubungkan  antara  korpus bahasa sumber ke bahasa pivot dan bahasa pivot ke bahasa target  [2].  Beberapa  penelitian  sebelumnya  terkait penggunaan pivot  language memperoleh  hasil  yang berbeda-beda.  Misalnya  penelitian  oleh  Cheng  et  al  [3] menggunakan bahasa Inggris sebagai pivot language untuk terjemahan  dari  bahasa  Spanyol  ke  bahasa  Prancis  dan bahasa  Jerman  ke  bahasa  Prancis  dengan  jumlah  data korpus yang bervariasi, mencapai peningkatan nilai akurasi BLEU  sebesar  2,80%  untuk  terjemahan  dari  bahasa Spanyol  ke  bahasa  Prancis,  dan  sebesar  2,23%  untuk terjemahan  dari  bahasa  Jerman  ke  bahasa  Prancis. Penelitian serupa menggunakan pivot language oleh Kim et  al  [4]  menginformasikan  bahwa  menggunakan  bahasa Jerman  sebagai pivot  language untuk  terjemahan  bahasa Prancis  ke  bahasa  Ceko  mengalami  peningkatan  nilai akurasi  BLEU  sebesar  2,60%.  Selain  itu,  penelitian  oleh Costa-Jussa et al [5] menggunakan bahasa Spanyol sebagai pivot  language dalam  menerjemahkan  bahasa  Cina  ke bahasa  Catalan  memperoleh  hasil  yang  lebih  baik
dibandingkan  tanpa  menggunakan pivot  language ,  hasil pengujian penggunaan pivot language ini memperoleh nilai akurasi BLEU sebesar 38,92%. Pivot language digunakan untuk mengatasi kelangkaan data korpus paralel dwibahasa daerah,  seperti  pasangan  bahasa  Melayu  Pontianak  dan bahasa  Bugis  yang  masih  sulit  ditemukan.  Penggunaan pivot  language untuk  menerjemahkan  bahasa  daerah dengan  bahasa  Indonesia  sebagai pivot  language menggunakan neural machine translation juga masih sulit ditemukan. Neural  machine  translation dikenal  sebagai terjemahan  mesin  saraf  berbasis  kecerdasan  buatan  yang menggunakan  permodelan  tiruan  jaringan  saraf  manusia untuk mencapai hasil terjemahan yang lebih akurat. Neural machine  translation memiliki  beberapa  arsitektur,  salah satunya  arsitektur transformer memiliki  tingkat  akurasi yang lebih akurat, dapat dilihat pada Gambar 1.
Gambar. 1 Arsitektur Transformers [6]
Arsitektur transformer adalah  arsitektur  terjemahan mesin  yang  tidak  menggunakan  jaringan  saraf  berulang atau jaringan saraf konvolusional untuk mengimplementasikan mekanisme perhatian [6]. Transformers dapat  melakukan  pemrosesan  teks  secara paralel dan menangkap ketergantungan jarak jauh dengan posisi token yang relatif tidak jelas.
Berdasarkan uraian permasalahan, maka akan dilakukan penelitian  terhadap  bahasa  daerah  menggunakan neural machine  translation dengan  penerapan  mekanisme perhatian  pada  arsitektur transformers, untuk  mengetahui seberapa  besar  peningkatan  nilai  akurasi  menggunakan bahasa Indonesia sebagai pivot language dalam terjemahan dari bahasa Melayu Pontianak ke bahasa Bugis.

## II. L ANDASAN TEORI
Penelitian  ini  menggabungkan  beberapa  konsep  yaitu penggunaan pivot language , teknologi  terjemahan Neural machine translation , penerapan mekanisme perhatian pada arsitektur transformers ,  dan  perhitungan  pengujian otomatis BLEU.

## A. Arsitektur Transformers
Transformer dalam artikel berjudul “ Attention is all you need ”  [6]  adalah  arsitektur  terjemahan  mesin  yang menerapkan  mekanisme  perhatian  tanpa  menggunakan jaringan saraf berulang atau jaringan saraf konvolusional. Transformer dapat  menangkap  ketergantungan  jarak  jauh dengan  posisi token yang  relatif  tidak  jelas,  dan  dapat melakukan pemrosesan teks secara paralel. Bagian utama dari arsitektur transformers terdiri dari lapisan encoder dan lapisan decoder .  Bagian encoder atau  pembuat  enkode urutan  masukan  dapat  disimbolkan (𝑥 1, 𝑥 2,…… 𝑥 𝑛 ) dari serangkaian  representasi  kontinu 𝑧 = (𝑧 1, 𝑧 2, … , 𝑧 𝑛 ) . Misalnya z, bagian decoder menghasilkan keluaran sesuai dengan  model  satu  per  satu,  sehingga  model  secara otomatis bersifat regresif. Selain itu, arsitektur transformers menerapkan self attention pada setiap bagian tumpukan lapisan encoder dan lapisan decoder . Penerapan self attention secara penuh sebagai pemetaan dari query ke sekumpulan pasangan nilai key . Di mana query, key, values, dan keluaran semuanya adalah vektor.

## B. Pivot Language
Pivot language atau bahasa penghubung adalah metode untuk menjembatani dua atau lebih bahasa berbeda dalam terjemahan  mesin  ketika  sumber  daya  data  langka  untuk pasangan  bahasa.  Kelangkaan  data  korpus  paralel  untuk pasangan  bahasa  sumber  daya  rendah  masih  sulit ditemukan.  Oleh  karena  itu,  memungkinkan  untuk menggunakan pivot language sebagai bahasa penghubung untuk menerjemahkan dari bahasa sumber ke bahasa target [2].    Dalam  makalah  berjudul  “ Joint  training  for  pivot based neural machine translation ” [3] memodelkan bahasa sumber ke bahasa target dapat didekomposisi menjadi dua sub  model  dengan  memperlakukan  kalimat pivot sebagai koneksi yang dihubungkan menggunakan embedding atau penyematan kata. Selain itu, permodelan P(yΙx; xy) untuk mewakili model perhatian terjemahan mesin saraf standar, di  mana  xy  adalah  kumpulan  parameter  model  untuk kalimat bahasa sumber x dan kalimat bahasa target y.

## C. Neural Machine Translation
Neural machine translation adalah teknologi terjemahan berbasis kecerdasan buatan yang menggunakan permodelan  buatan  jaringan  saraf  manusia  untuk menghasilkan hasil terjemahan yang lebih akurat. Elemen dalam model ini mewakili neuron yang diorganisasikan ke dalam lapisan jaringan saraf. Pembelajaran model jaringan saraf  ini  dengan  mengambil  sejumlah  masukan  dan memprediksi  keluaran  [7].  Permodelan  tiruan  jaringan saraf  manusia  pada neural  machine  translation bekerja dengan  mengamati  teks  sebagai  kalimat  atau  frasa, memastikan bahwa hasil terjemahan akurat dan konsisten dengan  tata  bahasa.  Jaringan  terdiri  dari  unit-unit  yang disebut  " node ",  dan  setiap  koneksi  diwakili  oleh  angka yang  disebut  " edge ".  Lapisan  dan  koneksi  tepi  diwakili oleh  angka  tertentu  yang  disebut  " weight ". Weight atau bobot  disesuaikan  selama  pemrosesan,  seperti  setelah
mesin menghasilkan decoder untuk menganalisis data lebih lanjut.  Hampir  semua  jenis  model  jaringan  saraf  tiruan menginterpretasikan  kerangka encoder-decoder .  Kalimat sumber  atau input 𝑥 = (𝑥 1, 𝑥 2 , … . 𝑥 𝑛 ) ,  dan  kalimat  target 𝑦 = (𝑦 1, 𝑦 2 , … . 𝑦 𝑛 ) didistribusikan  dengan  memfaktorkan dari kiri ke kanan [8].

## D. Tensorflow
Salah  satu framework  machine  learning yang  bersifat open-source didukung  oleh  perusahaan  Google  adalah tensorflow . Tensorflow adalah  antarmuka  pemrograman untuk komputasi numerik yang menggunakan grafik aliran data  secara  umum .  Node grafik  mewakili  operasi matematika, dan tepi grafik mewakili array multidimensi tipe  data tensor yang  mengalir  diantaranya.  Komputasi dapat dijalankan dengan sedikit atau tanpa modifikasi pada berbagai  sistem,  mulai  dari  perangkat  seluler  hingga perangkat  pemrosesan  seperti  GPU.  Sistem tensorflow dapat  diadaptasi  dan  digunakan  untuk  menjalankan berbagai  macam  algoritma,  termasuk  pelatihan inference model dan deep learning [9]. Oleh karena itu, tensorflow dianggap sebagai library paling terkenal dengan sejumlah besar pengembang dan dukungan komunitas.
E. Bilingual Evaluation Understudy (BLEU)
Bilingual  Evaluation  Understudy (BLEU)  adalah algoritma  yang  dapat  digunakan  untuk  mengevaluasi secara otomatis kualitas teks yang telah diterjemahkan oleh mesin  penerjemah  dari  bahasa  satu  ke  bahasa  lain. Pengujian  BLEU  menghitung  metrik  presisi  modifikasi yang sama menggunakan n-gram antara terjemahan mesin dan hasil terjemahan sumber menggunakan konstanta yang disebut  penalti  singkat  ( brevity  penalty ).  BLEU  memiliki keuntungan  yang  signifikan  bahwa  peningkatan  skor BLEU  merupakan  indikator  dalam  peningkatan  kualitas terjemahan [10]. Rumus perhitungan BLEU, dapat dilihat pada Gambar 2.
Gambar. 2 Rumus perhitungan otomatis BLEU [10]

## Keterangan :
BP = Brevity Penalty c = Jumlah kata dari hasil terjemahan otomatis r = Jumlah kata rujukan 𝑃 𝑛 = Modified precision score 𝑤 𝑛 = 1/N ( standar nilai N untuk BLEU adalah 4 ) 𝑃 𝑛 = Jumlah n-gram hasil terjemahan yang sesuai dengan rujukan dibagi jumlah n-gram hasil terjemahan

## III. M ETODE PENELITIAN
Metode penelitian ini terdiri dari 7 tahapan, yang secara sederhana diilustrasikan dengan diagram  alir dimulai dari proses pengumpulan data, pembuatan korpus teks paralel, membangun mesin penerjemah jaringan saraf, implementasi  mesin  penerjemah  jaringan  saraf  arsitektur transformers mekanisme attention , pengujian atau evaluasi hasil  penerjemah  jaringan  saraf,  analisis  hasil  pengujian, serta  penarikan  kesimpulan.  Rincian  proses  pelaksanaan yang  dilakukan  selama  penelitian  diilustrasikan  pada Gambar 3.
Gambar. 3 Metode penelitian

## A. Pengumpulan Data
Pengumpulan  data  dilakukan  untuk  mendapatkan informasi  yang  diperlukan  selama  penelitian  saat  ini. Penelitian  ini  menggunakan  data  dari  penelitian  yang berjudul  “Pendekatan Pivot  Languag e  Terhadap  Nilai Akurasi Mesin Penerjemah Statistik” [11]. Data penelitian ini  berasal  dari  penelitian  sebelumnya,  berjumlah  3000 baris kalimat korpus paralel bahasa Melayu Pontianak dan bahasa  Indonesia.  Setelah  pengumpulan  data,  digunakan dua  metode  tambahan  yaitu  metode  wawancara  dan literatur.  Namun,  sebelum  melakukan  wawancara  dengan ahli  bahasa,  perlu  mencari  ahli  bahasa  yang  ahli  dalam bidang kajiannya. Selanjutnya, data korpus yang diperoleh dalam  bahasa  Indonesia  diajukan  ke  ahli  bahasa  untuk mendapatkan  data  korpus  bahasa  Bugis  yang  diperlukan untuk  penelitian  ini.  Penggunaan  literatur  yang  berjudul "Kamus Bahasa Indonesia-Bugis" [12] untuk mendapatkan sistematika  penulisan  yang  tepat  ke  dalam  bahasa  target dalam  topik  penelitian  ini.  Data  korpus  paralel  yang digunakan  meliputi  tiga  yaitu  data  korpus  paralel  bahasa Melayu Pontianak dan bahasa Bugis berjumlah 3000 baris kalimat, data korpus paralel bahasa Melayu Pontianak dan bahasa Indonesia berjumlah 3000 baris kalimat, serta data korpus paralel bahasa Indonesia dan Bugis berjumlah 3000 baris kalimat.

## B. Pembuatan Korpus Teks Paralel
Pada  tahap  pembuatan  korpus  teks  paralel  adanya penggunaan pivot language yaitu bahasa  Indonesia untuk menghubungkan dua bahasa yang berbeda, data korpus saat ini terdiri dari tiga bahasa yaitu bahasa Melayu Pontianak, bahasa  Indonesia,  dan  bahasa  Bugis.  Pengambilan  data korpus  teks  paralel  bahasa  Melayu  Pontianak  dan  bahasa Indonesia berasal dari penelitian oleh Nurbaiti [11]. Setelah itu,  data  korpus  disusun  menjadi  korpus  teks  paralel  dari bahasa  sumber  dan  bahasa  target,  yang  masing-masing berjumlah 3000 baris kalimat. Berikut ini hasil pembuatan korpus  teks  paralel  tanpa pivot  language ,  diilustrasikan pada Gambar 4.
Gambar. 4 Hasil pembuatan korpus teks paralel tanpa pivot language
Sebelum  menggunakan  data  korpus  teks  paralel  yang diperoleh,  dilakukan  penerjemahan  secara  manual  dari bahasa Indonesia ke bahasa Bugis terlebih dahulu. Setelah itu, ketiga data korpus teks paralel disimpan dalam bentuk teks dengan nama yang berbeda. Hasil pembuatan korpus teks  paralel  yang  menggunakan pivot  language dapat dilihat pada Gambar 5.
Gambar.  5  Hasil  pembuatan  korpus  teks  paralel  menggunakan pivot language

## C. Membangun Mesin Penerjemah Jaringan Saraf
Tahap  membangun  mesin  penerjemah  jaringan  saraf atau neural  machine  translation dilakukan  secara online menggunakan  produk  Google.  Namun,  sebelumnya  perlu menginstalasi software yang  diperlukan  yaitu InterText untuk  mengecek  keselarasan  kalimat  korpus  yang  telah disiapkan  untuk  tahap  pelatihan  dan  pengujian.  Setelah pengecekan kalimat pada data korpus teks paralel masing- masing  bahasa  selesai,  akan  diunggah  ke  Google Drive untuk penyimpanan data korpus online melalui peramban Chrome,  serta  mengakses framework  tensorflow pada coding  environment berformat notebook yaitu  Google Colaboratory .

## D. Implementasi  Mesin  Penerjemah  Jaringan  Saraf Arsitektur Transformers Mekanisme Attention
Tahap  implementasi  mesin  penerjemah  jaringan  saraf arsitektur transformers mekanisme attention memiliki beberapa tahapan seperti pada Gambar 6 dan Gambar 7.
Gambar.  6  Arsitektur  mesin  penerjemah  jaringan  saraf  tanpa pivot language
Gambar    7.  Arsitektur  mesin  penerjemah  jaringan  saraf  dengan pivot language
Implementasi  mesin  penerjemah  jaringan  saraf  dengan arsitektur transformers mekanisme attention terbagi menjadi  3  mesin  yaitu  tanpa pivot  language dan menggunakan pivot language . Mesin penerjemah jaringan saraf pertama dibuat seperti pada Gambar 6 menerjemahkan  dari  bahasa  Melayu  Pontianak  ke  bahasa Bugis. Mesin penerjemah jaringan saraf kedua dan ketiga dibuat  seperti  pada  Gambar  7  menggunakan  bahasa Indonesia  sebagai pivot  language ,  menerjemahkan  dari bahasa Melayu Pontianak ke bahasa Indonesia, dan bahasa Indonesia  ke  bahasa  Bugis.  Data  korpus  teks  paralel berjumlah  3000  baris  kalimat  bahasa  Melayu  Pontianak dan  bahasa  Bugis,  3000  baris  kalimat  bahasa  Melayu Pontianak dan bahasa  Indonesia, serta 3000 baris kalimat bahasa Indonesia dan bahasa Bugis masing-masing dibagi menjadi  6 fold terdiri  dari  5 fold pelatihan  dan  1 fold pengujian,  di  mana  setiap fold pengujian  berisi  500  baris kalimat,  dan  sisanya  2500  baris  kalimat  untuk  pelatihan. Setiap fold diberikan nama dengan TR 1 hingga TR 6. Jika direpresentasikan,  TR  1  sebagai  data  pengujian  berisikan baris  kalimat  ke-1  hingga  ke-500  seperti  yang diilustrasikan pada Tabel 1.
TABEL I PEMBAGIAN FOLD BERDASARKAN DATA KORPUS
Fold Jumlah Data Korpus TR 1 1-500 TR 2 501-1000 TR 3 1001-1500 TR 4 1501-2000 TR 5 2001-2500 TR 6 2501-3000
Setelah  data  korpus  dibagi  menjadi  6 fold akan dilanjutkan  dengan  pembagian  jumlah  mesin  sebanyak  6 kali percobaan yang diilustrasikan pada Tabel 2.
TABEL II PERCOBAAN MESIN PENERJEMAH JARINGAN SARAF BERDASARKAN PEMBAGIAN FOLD
Percobaan Mesin Penerjemah Jaringan Saraf Data Pengujian Data Pelatihan 1 TR 1 TR  2  TR  3  TR  4 TR 5 TR 6 2 TR 2 TR  1  TR  3  TR  4 TR 5 TR 6 3 TR 3 TR  1  TR  2  TR  4 TR 5 TR 6 4 TR 4 TR  1  TR  2  TR  3 TR 5 TR 6 5 TR 5 TR  1  TR  2  TR  3 TR 4 TR 6 6 TR 6 TR  1  TR  2  TR  3 TR 4 TR 5
Tahapan  setelah  membagi  jumlah  percobaan  mesin berdasarkan fold yaitu proses mengunggah data korpus teks paralel pada Google Drive . Setelah itu, data korpus paralel diproses  menggunakan  sederetan  kode  program  dalam bahasa python [13]  pada pre-trained ( preprocessing dan tokenizing ),  keluaran  tahap  ini  dilanjutkan  pada  proses positional encoding menghasilkan vektor urutan posisi teks masukan.  Dilanjutkan  ke  proses transformers  language model  encoder lapisan  pembuat  kode,  keluarannya mewakili perkalian bobot perhatian dan vektor nilai ( value ). Lalu,  keluaran  penjumlahan  lapisan encoder diumpankan ke lapisan decoder sebagai masukkan. Token dalam ruang d-dimensi  diwakili  dan  dihubungkan  oleh embeddin gs. Penelitian yang dilakukan oleh Cheng et al [3] memastikan saat  menerjemahkan  2  bahasa  yang  berbeda, pivot language digunakan  untuk  menghubungkan  2  bahasa berbeda menggunakan embedding . Di mana token dengan arti yang sama dikelompokkan bersama dan menghasilkan model pivot . Model ini dilalui ke lapisan linear dan softmax untuk  menghasilkan  penjumlahan  kata  serta  probabilitas kata yang relevan dalam kalimat target. Lalu, loss function digunakan untuk meminimalkan kerugian selama pelatihan. Selanjutnya, proses pelatihan menggunakan teknik teacher forcing [14]  dan  penentuan  jumlah epoch [15]  untuk mengetahui  penggunaan pivot  language yang  memiliki nilai  akurasi  tertinggi  untuk  digunakan  pada  tahap pengujian selanjutnya, serta menghasilkan prediksi dalam kalimat  target  pada  setiap  iterasi.  Hasil  terjemahan kemudian  dipisahkan  secara  manual  menjadi  prediksi aktual  dan  referensi.  Hasil  perolehan  prediksi  aktual  dan referensi  diuji  secara  otomatis  menggunakan  perhitungan BLEU, dan pada tahap ini dihasilkan keluaran berupa skor BLEU.
E. Pengujian atau Evaluasi Mesin Penerjemah Jaringan Saraf
Tahap  pengujian  otomatis  atau  BLEU evaluation dilakukan  untuk  mengevaluasi  dan  mengukur  hasil terjemahan  berdasarkan  tingkat  akurasi.  Proses  pengujian BLEU  menggunakan  perhitungan  skor  akurasi  yang dimodifikasi dalam n-gram antara hasil terjemahan mesin dan kalimat referensi melalui penggunaan konstanta yang dikenal  sebagai brevity  penalty .  Skor  BLEU  ditentukan dengan  mengalikan brevity  penalty dengan  rata-rata geometri skor akurasi yang dimodifikasi. Adapun deskripsi dari  skenario  pengujian  untuk  menghitung  nilai  akurasi, dapat dilihat pada Tabel 3.
TABEL III SKENARIO PENGUJIAN
No  Skenario Pengujian Keterangan 1. Pengujian berdasarkan penentuan jumlah Epoch
Pengujian ini dimulai dari epoch ke- 50  kemudian  menambahkan  10 epoch secara  konsisten. Epoch yang digunakan  dapat  dilihat  dari  hasil terjemahan  yang  memiliki  akurasi tertinggi  pada  kalimat  bahasa  target dalam waktu perulangannya. Selanjutnya,  hasil  terjemahan  akan dihitung  menggunakan  BLEU.  Pada pengujian  ini  menggunakan  data  uji TR  1  sebagai  percobaan,  berisi kalimat  ke-1  hingga  ke-500  untuk korpus  pengujian,  dan  baris  kalimat ke-501 hingga ke-3000 untuk korpus pelatihan.  Tujuan  dari  pengujian  ini adalah untuk mengetahui penggunaan pivot  language dan
tanpa pivot language yang memiliki nilai  akurasi  tertinggi  berdasarkan penentuan  jumlah epoch ,  sehingga jumlah epoch dengan akurasi tertinggi  akan  digunakan  untuk pengujian selanjutnya, serta menghitung nilai akurasi berdasarkan penentuan jumlah epoch dengan perhitungan BLEU. 2. Pengujian berdasarkan pembagian Fold pada data korpus Penelitian  ini  menggunakan  data korpus  teks  paralel  berjumlah  3000 baris kalimat bahasa Melayu Pontianak  dan  bahasa  Bugis,  3000 kalimat  bahasa  Melayu  Pontianak dan  bahasa  Indonesia,  serta  3000 kalimat bahasa Indonesia dan bahasa Bugis.  Kemudian  masing-masing data  korpus  teks  paralel  itu  dibagi menjadi  6 fold . Fold tersebut  terdiri dari 5 fold untuk pelatihan dan 1 fold untuk pengujian, di mana setiap fold pengujian  berisi  500  baris  kalimat, dan sisanya 2500 baris kalimat untuk pelatihan.  Sehingga  untuk  melihat rata-rata  nilai  akurasi  dari  masing- masing  data  korpus  perlu  dilakukan sebanyak  6  kali  percobaan.  Setelah itu,  dilakukan  proses  pengujian otomatis menggunakan BLEU untuk mengetahui seberapa besar pengaruh penggunaan pivot  language dalam
No  Skenario Pengujian Keterangan
menerjemahkan  dari  bahasa  Melayu Pontianak ke bahasa Bugis.
Pengujian atau evaluasi hasil terjemahan jaringan saraf ini  dilakukan  dengan  menggunakan  perhitungan  otomatis BLEU. Pengujian BLEU pada penelitian ini menggunakan dua  skenario  pengujian  yaitu  pengujian  nilai  akurasi terjemahan  BLEU  berdasarkan  penentuan  jumlah epoch , dan  pengujian  berdasarkan K-fold  cross  validation .  Hasil pengujian dapat dilihat pada Gambar 8 dan Gambar 9.
Gambar. 8 Grafik pengujian berdasarkan penentuan jumlah epoch
Pada  Gambar  7  hasil  pengujian  BLEU  berdasarkan penentuan  jumlah epoch yang  ditampilkan  dalam  bentuk grafik  untuk  penerjemahan  menggunakan pivot  language memperoleh hasil akurasi yang lebih tinggi dibandingkan tanpa pivot  language . Epoch yang  memiliki  nilai  akurasi tertinggi  menggunakan pivot  language dan  tanpa pivot language terletak di epoch ke-50, dengan nilai akurasi yang berbeda. Nilai akurasi tertinggi penggunaan pivot language menghasilkan skor BLEU sebesar 48,78%. Sedangkan nilai akurasi tertinggi tanpa pivot language menghasilkan skor BLEU sebesar 18,84%. Setelah mengetahui jumlah epoch yang memiliki nilai akurasi tertinggi pada masing-masing mesin,  selanjutnya  akan  digunakan  dalam  pengujian berdasarkan k-fold cross validation .
Gambar. 9 Grafik pengujian berdasarkan k-fold cross validation
Pada  Gambar  8  hasil  pengujian  BLEU  berdasarkan k- fold cross validation yang ditampilkan dalam bentuk grafik menggunakan pivot  language dan  tanpa pivot  language memperoleh nilai akurasi tertinggi pada data pengujian fold TR  6  yang  berisi  kalimat  dari  baris  ke-2501  hingga  baris ke-3000. Di mana, nilai akurasi penggunaan pivot language menghasilkan skor BLEU sebesar 50,32%. Sedangkan nilai akurasi  tanpa pivot  language menghasilkan  skor  BLEU sebesar 22,78%. Sehingga diperoleh rata-rata untuk seluruh
data  korpus  yang  dapat  diterjemahkan  ke  bahasa  target dengan  baik  menggunakan epoch ke-50  dengan pivot language dan  tanpa pivot  language terletak  di fold yang sama tetapi nilai akurasi berbeda.

## TABEL IV HASIL PENERJEMAHAN OTOMATIS
Fold NMT  Bahasa  Melayu Pontianak  ke  bahasa Bugis  Tanpa Pivot Language NMT Bahasa Melayu Pontianak ke bahasa Bugis Menggunakan Pivot Language 1 18,84 48,78 2 17,85 49,30 3 20,08 49,86 4 16,46 40,19 5 21,46 46,60 6 22,78 50,32 Rata- rata 19,58 47,51
Berdasarkan  Tabel  4  hasil  penerjemahan  dari  bahasa Melayu  Pontianak  ke  bahasa  Bugis  menggunakan pivot language mencapai  rata-rata  akurasi  skor  BLEU  sebesar 47,51%  dibandingkan  ketika  tidak  menggunakan pivot language sebesar  19,58%.  Rata-rata  nilai  akurasi  yang dihitung  dari  setiap  mesin  terjemahan  akan  digunakan untuk  menghitung  perbandingan  nilai  akurasi  BLEU dengan dan tanpa pivot language . Hasil perbandingan dari perhitungan otomatis seluruh korpus data uji pada neural machine  translation menggunakan pivot  language meningkat  sebesar  1,43%  untuk  terjemahan  dari  bahasa Melayu Pontianak ke bahasa Bugis.

## F. Analisis Hasil Pengujian
Tahap  analisis  hasil  pengujian  untuk  mengetahui karakterisasi neural machine translation yang menerjemahkan  dari  bahasa  Melayu  Pontianak  ke  bahasa Bugis yang dibangun dengan menggunakan pivot language dan tanpa pivot language , mesin mana yang memiliki nilai akurasi  terjemahan  tertinggi.  Berikut  ini  beberapa  hasil terjemahan terhadap kalimat uji menggunakan perhitungan otomatis BLEU.
1. Kalimat masukan (bahasa Melayu Pontianak): sejuknye mintak ampon
Kalimat target (bahasa Bugis): keccena ellau ampung
2. Kalimat masukan (bahasa Melayu Pontianak): pendek cerite, pegilah kamek nyarek orang jual lelong
Kalimat  target  (bahasa  Bugis):  rippe  carita,  iyak  lokka sappa taue balu lelong
3. Kalimat masukan (bahasa Melayu Pontianak): satu agik tak tau kamek
Kalimat target (bahasa Bugis): seddi si iyak ndek isseng 4. Kalimat  masukan  (bahasa  Melayu  Pontianak): sampailah kamek di rumah
Kalimat target (bahasa Bugis): lettu idi di bola
5. Kalimat  masukan  (bahasa  Melayu  Pontianak):  saran dari kawan kamek
Kalimat target (bahasa Bugis): pangaja pole anggota ku
6. Kalimat  masukan  (bahasa  Melayu  Pontianak): tekanjatnye bukan maen
Kalimat target (bahasa Bugis): masaleng tennia maccule

## TABEL V HASIL TERJEMAHAN TERHADAP KALIMAT UJI
No. Kalimat terjemahan tanpa pivot language Skor BLEU (%) Kalimat terjemahan menggunakan pivot language Skor BLEU (%) 1 mallopona ellau ampung 57,74 ellau ampung 60,65 2 carita iyak lokka sappa bale dijual 32,04 rippe carita iyak lokka taue yang balu lelong 46,29 3 seddi seddi ndek isseng iyak 44,72 seddi si iyak ndek isseng 100 4 lettu idi berduwa iyak di bola 51,64 lettu idi di bola bola 77,46 5 pangaja pole anggota iyak 70,71 pangaja pole anggota ku 100 6 tennia maccule 60,65 masaleng tennia maccule 100
Berdasarkan hasil terjemahan terhadap kalimat uji pada Tabel  5  dapat  dilihat  untuk  kalimat  terjemahan  ke-1 memiliki frasa dalam bahasa Melayu Pontianak “sejuknye mintak ampon”  diterjemahkan dalam  bahasa Bugis tanpa menggunakan pivot  language menghasilkan  “mallopona ellau  ampung”  dengan  skor  BLEU  sebesar  57,74%. Sedangkan  menggunakan pivot  language menghasilkan “ellau  ampung”  dengan  skor  BLEU  sebesar  60,65%. Kalimat terjemahan ke-2 terdapat  frasa  “pegi” diterjemahkan dalam bahasa Bugis menghasilkan “lokka” menggunakan pivot  language dan  tanpa pivot  language memiliki  makna  yang  sama.  Dengan  skor  BLEU  yang berbeda  yaitu  sebesar  32,04%  tanpa pivot  language ,  dan 46,29% menggunakan pivot language . Kalimat terjemahan ke-3  terdapat  frasa  ”satu”  diterjemahkan  dalam  bahasa Bugis menghasilkan ”seddi” menggunakan pivot language dan  tanpa pivot  language memiliki  makna  yang  sama. Dengan  skor  BLEU  yang  berbeda  yaitu  sebesar  44,72% tanpa pivot  language ,  dan  sebesar  100%  menggunakan pivot  language .  Kalimat  terjemahan  ke-4  terdapat  frasa “rumah” diterjemahkan dalam bahasa Bugis menghasilkan “bola”  menggunakan pivot  language dan  tanpa pivot language memiliki makna yang sama. Dengan skor BLEU yang berbeda yaitu sebesar 51,64% tanpa pivot language , dan  77,46%  menggunakan pivot  language .  Kalimat terjemahan ke-5 terdapat frasa “saran dari” diterjemahkan dalam  bahasa  Bugis  menghasilkan  “pangaja  pole” menggunakan pivot language memiliki makna yang sama. Dengan  skor  BLEU  yang  berbeda  yaitu  sebesar  70,71%
tanpa pivot  language ,  dan  sebesar  100%  menggunakan pivot  language .  Kalimat  terjemahan  ke-6  terdapat  frasa “bukan  maen”  diterjemahkan  dalam  bahasa  Bugis menghasilkan  “tennia  maccule”  menggunakan pivot language dan tanpa pivot language memiliki makna yang sama.  Dengan  skor  BLEU  yang  berbeda  yaitu  sebesar 60,65%  tanpa pivot  language ,  dan  sebesar  100% menggunakan pivot  language .  Dari  skor  perhitungan otomatis BLEU memperoleh nilai yang lebih tinggi dengan hasil  terjemahannya  mendekati  maupun  identik  dengan kalimat  referensi  pada neural  machine  translation menggunakan pivot  language dibandingkan  tanpa pivot language . Hal ini dikarenakan adanya penggunaan bahasa penghubung  untuk  menghubungkan  dua  atau  lebih pasangan bahasa daerah yang berbeda. Adapun penggunaan pivot  language yang  dihubungkan  melalui embedding pada neural machine translation ini mempelajari dan memahami konteks kata-kata dari kalimat bahasa  Melayu  Pontianak  ke pivot  language ,  kemudian memprediksi  kata  yang  sesuai  berdasarkan  nilai probabilitas  tertinggi  kata  pada pivot  language untuk diterjemahkan  menjadi  kalimat  dalam  bahasa  Bugis. Sehingga terjemahan yang dihasilkan dengan menggunakan pivot language memiliki makna yang sama dalam bahasa target dan memiliki kualitas terjemahan yang lebih akurat.

## G. Penarikan Kesimpulan
Penarikan  kesimpulan  dibuat  dengan  membandingkan nilai rata-rata menggunakan pivot language dan tanpa pivot language yang  menghasilkan  nilai  akurasi  yang  lebih akurat berdasarkan hasil pengujian yang dilakukan secara otomatis BLEU.

## IV. K ESIMPULAN

## A, Kesimpulan
Kesimpulan  merupakan  tahap  akhir  dalam  proses penelitian untuk menyimpulkan hasil yang telah diperoleh. Adapun  yang  dapat  disimpulkan  dalam  penelitian  ini adalah  berdasarkan  skenario  hasil  pengujian  dengan menentukan  jumlah epoch memperoleh  nilai  akurasi tertinggi  pada epoch ke-50  baik  menggunakan pivot language maupun tanpa pivot language . Nilai akurasi skor BLEU  yang  diperoleh  menggunakan pivot  language sebesar  48,78%.  Sedangkan  skor  BLEU  yang  diperoleh tanpa pivot language sebesar 18,84%. Sehingga diperoleh bahwa penggunaan pivot language memiliki nilai  akurasi yang  lebih  tinggi  dibandingkan  tanpa pivot  language . Selain  itu,  berdasarkan  skenario  hasil  pengujian k-fold cross  validation menggunakan pivot  language dan  tanpa pivot  language memperoleh  nilai  akurasi  tertinggi  pada data pengujian fold TR 6 yang berisi kalimat dari baris ke- 2501  hingga  barais  ke-3000.  Rata-rata  nilai  akurasi pengujian dengan perhitungan otomatis pada seluruh data uji  sebelum  menggunakan pivot  language memperoleh skor BLEU sebesar 19,58%, sedangkan setelah menggunakan pivot  language memperoleh  rata-rata  skor BLEU sebesar 47,51%. Hasil perbandingan nilai  rata-rata
pengujian  otomatis  penggunaan pivot  language untuk penerjemahan  bahasa  Melayu  Pontianak  ke  bahasa  Bugis menggunakan neural  machine  translation mengalami peningkatan  skor  BLEU  sebesar  1,43%.  Oleh  karena  itu, penggunaan pivot  language sangat  bermanfaat  untuk menerjemahkan  dua  atau  lebih  pasangan  bahasa  daerah dengan sumber daya yang terbatas.

## B.  Saran
Saran  untuk  penelitian  selanjutnya  berdasarkan penelitian  ini  adalah  perlunya  penambahan  jumlah  data korpus  yang  digunakan  dalam  mengimplementasikan model pada neural machine translation . Selain menggunakan  korpus  teks  paralel  bahasa  sumber  dan bahasa target dalam pelatihan, penggunaan kamus berupa tesaurus bahasa Indonesia dan tesaurus bahasa Bugis untuk mengatasi masalah kata-kata di luar korpus pelatihan atau OOV  ( Out  of  Vocabulary )  yang  sering  ditemukan  pada mesin penerjemahan, sehingga istilah yang tidak ada dalam vocabulary corpus dapat meningkatkan kualitas terjemahan  dan  meningkatkan  nilai  akurasi  dari neural machine translation .

## R EFERENSI
[1] Wibowo  Wahyu.  2001. Manajemen  Bahasa:Pengorganisasian Karangan  Pragmatik  dalam  Bahasa  Indonesia .  Jakarta:  PT Gramedia Pustaka Utama.
[2] Hua Wu dan Haifeng Wang. 2007. Pivot Language Approach for Phrase-Based  Statistical  Machine  Translation.  In Proceedings  of 45th  Annual  Meeting  of  the  Association  for  Computational Linguistics , pages 856–863.
[3] Yong Cheng, Qian Yang, Yang Liu, Maosong Sun, dan Wei Xu. 2017. Joint training for pivot-based neural machine translation. In Proceedings  of  the  26th  International  Joint  Conference  on Artificial Intelligence , pages 3974-3980. AAAI Press.
[4] Yunsu  Kim,  Petre  Petrov,  Pavel  Petrushkov,  Shahram  Khadavi, Herman  Ney.  2019.  Pivot-based  transfer  learning  for  neural machine  translation  between  non-English  languages. arXiv preprint arXiv:1909.09524.
[5] Marta R. Costa-Jussa, Noe Casas, Carlos Escolano, dan Jose A.R. Fonollosa. 2019. Chinese-Catalan : A Neural Machine Translation Approach  Based  on  Pivoting  and  Attention  Mechanisms. ACM Transactions  on  Asian  and  Low-Resource Language  Information Processing . Vol. 18, No. 43. pp. 1-8. doi:10.1145/3312575.
[6] Ashish  Vaswani,  Noam  Shazeer,  Niki  Parmar,  Jakob  Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems , pages 5998–6008.
[7] Philipp  Koehn.  2017.  Neural  machine  translation. arXiv  preprint arXiv:1709.07809.
[8] Zhixing Tan, Shuo Wang, Zonghan Yang, Gang Chen, Xuancheng Huang,  Maosong  Sun,  dan  Yang  Liu.  2020.  Neural  Machine Translation: A review of Methods, Resources, and Tools. AI Open , 1, 5-21.
[9] Martin  Abadi,  Paul  Barham,  Jianmin  Chen,  Zhifeng  Chen, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Geoffrey Irving,  Michael  Israd,  Manjunath  Kudlur,  Josh  Levenberg,  Rajat Monga,  Sherry  Moore,  Derek  G.  Murray,  Benoit  Stiner,  Paul Tucker, Vijay Vasudevan, Pete Warden, Martin Wicke, Yuan Yu, dan Xiaoqing Zheng. 2016. TensorFlow: A system for large-scale machine  learning.  In 12th  USENIX  symposium  on  operating systems design and implementation (OSDI 16) (pp. 265-283).
[10] Kishore Papineni, Salim Roukos, Todd Ward, dan Wei-Jing Zhu. 2002.  BLEU:  a  Method  for  Automatic  Evaluation  of  Machine Translation.  In Proceedings  of  the  40th  annual  meeting  of  the Association for Computational Linguistics .pp. 311-318.
[11] Syarifah  Nurbaiti.  2020. Pendekatan  Pivot  Language  Terhadap Nilai Akurasi Mesin Penerjemah Statistik . Skripsi. Program Studi Sarjana Teknik Informatika Universitas Tanjungpura, Pontianak. [12] M.I.  Said.  1977.  Kamus  Bahasa  Bugis-Indonesia.  Jakarta:  Pusat Pembinaan  dan  Pengembangan  Bahasa  Departemen  Pendidikan dan Kebudayaan.
[13] Nitin  Madnani.  2007.  Getting  Started  on  Natural  Language Processing With Python. XRDS: Crossroads, the ACM Magazine for Students , 13(4), 5-5.
[14] Jason  Brownlee.  2018. Better deep  learning:  train  faster,  reduce overfitting,  and  make  better  predictions .  Machine  Learning Mastery.
[15] Wahyu  Gunawan,  Herry  Sujaini,  dan  Tursina.  2021.  Analisis Perbandingan Nilai Akurasi Mekanisme Attention Bah danau dan Luong  pada Neural  Machine  Translation Bahasa  Indonesia  ke Bahasa  Melayu  Ketapang  dengan  Arsitektur Recurrent  Neural Network . JEPIN. ISSN(e): 2548-9364, Vol 7 No. 3.