## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741

## Perbandingan Nilai Akurasi Algoritma Smoothing

## pada Mesin Penerjemah Statistik Bahasa Indonesia ke Bahasa Melayu Sambas dengan Language Model Toolkit IRSTLM
Ronja #1 , Herry Sujaini #2 , Rudy Dwi Nyoto #3 # Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl.Prof. Dr.H.Hadari Nawawi, Pontianak, 78124
1 ronja@student.untan.ac.id
2 hs@untan.ac.id
3 rudydn@informatika.untan.ac.id
Abstrak — Komunikasi  merupakan  bagian  penting  dalam berkehidupan sosial. Ketidakmampuan dalam berkomunikasi  dapat  menyebabkan  tidak  tersampaikannya suatu informasi serta terjadinya kesalahpahaman. Indonesia yang  memiliki  beragam  suku  dan  budaya  tidak  dapat dipungkiri  akan  melahirkan  interaksi  antar  suku  yang mempunyai keunikan bahasa masing-masing. Mesin penerjemah  statistik  hadir  sebagai  salah  satu  solusi.  Mesin penerjemah  statistik  pada  penelitian  ini  menggunakan language  model  toolkit  IRSTLM  dengan  bahasa  Indonesia dan bahasa Melayu Sambas dengan data sebanyak 2700 baris kalimat  korpus  paralel.  Algoritma  smoothing  merupakan komponen  yang  dapat meningkatkan  akurasi  hasil terjemahan  pada  mesin  penerjemah.  Perlunya  dilakukan penelitian  terhadap  algoritma  smoothing  untuk  mengetahui algortima  smoothing  dengan  nilai  BLEU  score  dan  hasil terjemahan  terbaik.  Proses  pengujian  dilakukan  dengan membandingkan  nilai  BLEU  score  dari  masing-masing algoritma  smoothing  menggunakan  metode  penambahan secara konsisten pada setiap mesin menggunakan 200 korpus sebanyak sepuluh kali pengujian. Algoritma smoothing yang digunakan  witten-bell,  back-off,  kneser-ney  dan  modified kneser-ney dan hasil yang didapat untuk algoritma smoothing terbaik  yaitu  modified  kneser-ney  dengan  nilai  68,04% menggunakan 3gram dan 67,8% menggunakan 5gram. Pada pengujian  manual  dilakukan  terlebih  dahulu  mencari  nilai BLEU  score  terbaik  menggunakan  metode  k-fold  cross validation  dengan  algoritma smoothing  modified  kneser-ney hasil  yang  didapat  yaitu  dengan  nilai  BLEU  score  tertinggi sebesar  84,18%.  Data  yang  digunakan  pada  mesin  tersebut dijadikan bahan untuk pengujian manual oleh dua orang ahli bahasa dengan nilai akurasi 94,87% dan 96,65%.
Kata  kunci — Bahasa  Indonesia,  Bahasa  Melayu  Sambas, Mesin Penerjemah Statistik, IRSTLM, Algoritma Smoothing .

## I. P ENDAHULUAN
Bahasa merupakan alat komunikasi yang digunakan oleh manusia untuk berinteraksi dan bertukar informasi sesama manusia.  Dengan  adanya  bahasa,  seseorang  dapat berinteraksi  dengan  lingkungan  sekitar  dan  mengetahui informasi yang dibutuhkan. Sebagaimana yang kita ketahui bahwa di Indonesia terdiri dari berbagai macam suku dan budaya, ini berbanding lurus dengan keberagaman bahasa yang dimiliki oleh bangsa Indonesia. Terdapat sekitar 724 bahasa daerah yang tersebar di seluruh pelosok Negeri ini. Setiap daerah pasti mempunyai keunikan tersendiri terkait bahasa mereka[1].
Dengan  beragamnya  bahasa  daerah  yang  ada  di Indonesia tidak mungkin untuk dikuasai secara keseluruhan. Setiap bahasa daerah memiliki ciri khas atau karakteristik  tersendiri,  tidak  terkecuali  dengan  bahasa Melayu  Sambas.  Bahasa  Melayu  Sambas  memiliki beberapa  ciri  khas  di  antaranya:  penyebutan  huruf  “E” seperti bunyi penyebutan pada kata “LELE”, misalnya pada kata  “kau  na’  ngape  ?”.  Ciri  khas  lainnya  dari  bahasa Melayu Sambas yaitu pada pengucapan huruf ganda pada kata tertentu misalnya “BALLIK” contoh katanya  “ballik udek  hari  udah  malam”[2].  Atas  hal  tersebut,  bahasa Melayu Sambas dipilih untuk dijadikan mesin penerjemah agar  dapat  membantu  masyarakat  memahami  bahasa Melayu  Sambas  serta  agar  hasil  penerjemahan  yang dihasilkan memiliki tingkat akurasi yang baik.
Mesin penerjemah merupakan alat penerjemah otomatis pada  sebuah  teks  dari  satu  bahasa  sumber  ke  bahasa target[3]. Mesin penerjemah memiliki keterbatasan dalam menerjemahkan  suatu  teks  bahasa,  sehingga  dapat menyebabkan  berkurang  atau  bahkan  merubah  arti  dan maksud dari suatu kalimat. Ada beberapa cara yang dapat diterapkan  agar  dapat  mengoptimalkan  hasil  dari  mesin penerjemah  salah  satunya  dengan  pendekatan  mesin
penerjemah statistik  atau Statistical Machine Translation . Mesin  penerjemah  statistik  adalah  sebuah  pendekatan mesin penerjemah dengan hasil terjemahan.
Dalam penyusunan mesin penerjemah statistik diperlukan  salah  satu  komponen  yang  harus  ada  yaitu model  bahasa  ( Language  Model )  dan  translasi  model ( Translasi Model ). Model bahasa  merupakan  model  yang digunakan untuk menentukan kesesuaian suatu kata, frasa, atau  kalimat  dalam  bahasa  tertentu.  Dan  termasuk  juga persentase  kemunculan  kalimat  yang  diterjemahkan  juga ditentukan  oleh  model  bahasa.  Translasi  model  yang berfungsi  untuk  Menyelaraskan  korpus  yang  disiapkan mempertimbangkan  struktur  kedua  bahasa. Tools  Mgiza digunakan  untuk  perataan  tingkat  kata,  perataan multibahasa  yang  digunakan  untuk  perataan  tingkat  frasa dan  perataan  tingkat  kalimat[4].  Penelitian  terkait  yaitu pada penelitian dengan judul “Assamese-English Bilingual Machine  Translation” [5].  Pada  penelitian  ini  dilakukan dengan  model  IRSTLM  didapatkan  hasil  akurasi  mesin penerjemah  dari  bahasa  Assamese  ke  bahasa  Inggris sebesar  9,72%  dan  bahasa  Inggris  ke  bahasa  Assamese sebesar  5,02%.  Dan  juga  pada  penelitian  lain  yaitu  pada penelitian Wenyang Zhang [6] dengan judul “Comparing the Effect of Smoothing and Order of N-gram for Language Model : Find the Best Way to Combine the Smoothing and Order  of  N-gram” Pada  penelitian  ini  dilakukan perbandingan  Algoritma Smoothing : Simple  N-gram, Interpolation, Good Turing Discounting, Natural Discounting,  Witten-Bell  Discounting,  Modified  Kneser- ney Discounting & Original Kneser-ney Discounting pada model  bahasa  SRILM,  dengan  melakukan  percocokan antara  Algoritma Smoothing dan  penggunaan  jumlah N- gram . Dengan hasil percobaan pertama dimana pencocokan  terbaik  adalah  Witten-Bell  Discounting  dan 3gram dengan hasil perplexity 311.097, percobaan kedua yang  paling  cocok  adalah Witten-Bell Discounting dan 5gram dengan hasil perplexity 45.9748.
Model  bahasa N-gram menggunakan  asumsi  Markov untuk  memutuskan  probabilitas  kalimat  menjadi  nilai probabilitas  masing-masing  kata,  mengingat  (terbatas) jumlah kata-kata sebelumnya. Model bahasa dioptimalkan pada  kebingungan,  ukuran  yang  terkait  dengan  seberapa besar probabilitas diberikan ke satu set teks model bahasa yang  sebenarnya.[7]  Tantangan  mendasar  dalam  model bahasa  adalah  menangani  jarangnya  data  tersebut.  Hanya karena sesuatu belum terlihat dalam teks pelatihan, bukan berarti tidak mungkin [7]. Pada pemodelan bahasa oleh N- gram sering  ditemukan  kata-kata  dengan  kombinasi  yang tidak  terobservasi  selama  pelatihan  model  tersebut sehingga  secara  otomatis  probabilitas  deretan  kata  ini menjadi  nol.  Probabilitas  nol  dari  suatu bigram atau N- gram akan  mengakibatkan  probabilitas  nol  dari  kalimat dimana  bigram  tersebut  berada.  Salah  satu  teknik  yang dapat  digunakan  agar  model  bahasa  tidak  memberikan probabilitas nol untuk peristiwa yang tak terlihat ini adalah melakukan  subsidi  silang  probabilitas.  Pendekatan  ini dinamakan smoothing (memperlancar)  atau  discounting (pengurangan). Nama smoothing berasal dari fakta bahwa
teknik  ini  cenderung  membuat  distribusi  lebih  seragam, dengan menyesuaikan probabilitas rendah seperti probabilitas nol ke atas, dan probabilitas tinggi ke bawah. Tidak  hanya  metode  penghalusan  umumnya  mencegah nilai probabilitas nol, tetapi metode ini juga berusaha untuk meningkatkan akurasi model secara keseluruhan. Kapanpun probabilitas diperkirakan dari beberapa hitungan, pemulusan  berpotensi  meningkat  secara  signifikan perkiraan [8].
Nilai akurasi merupakan hal yang sangat penting untuk diperhatikan  dalam  mesin  penerjemah  statistik.  Tingkat kesesuaian  penerjemahan  bahasa  sumber  dengan  arti sesungguhnya dalam bahasa target dilihat dari nilai akurasi yang dihasilkan.
Berdasarkan  penjelasan  yang  sudah  dipaparkan, penelitian  ini  akan  membuat  mesin  penerjemah  statistik dengan  jenis  model  bahasa  IRSTLM  ( Institute  Ricerca Scientifica  e  Tecnologica  Language  Model )  dengan membandingkan algoritma smoothing , antara lain Back-off, Witten-Bell  (defaulf),  Kneser-Ney  &  Modified  KneserNey dari keempat algoritma smoothing tersebut algoritma mana yang  lebih  tepat  dan  akurasi  paling  tinggi  dalam penerjemahan  Bahasa  Indonesia  ke  Bahasa  Melayu Sambas  berdasarkan  evaluasi  otomatis  BLEU  ( bilingual evaluation understudy ) dan pengujian oleh ahli Bahasa.

## II. L ANDASAN T EORI
IRSTLM  merupakan open  source  library yang  dapat membuat,  menyimpan,  dan  mengakses  model  bahasa ( Language model ) dalam skala yang luas dengan perangkat keras  konvensional.  Library  menyediakan  skrip  training untuk mendistribusikan training model bahasa ( Language model )  dengan  cluster  komputer  melalui  manajer  antrian standar. Model bahasa ( Language model ) disimpan dalam format ARPA konvensional, dapat dikompilasi lebih lanjut ke  dalam  format  biner  untuk  mempercepat  loading  time, probabilitas N-gram dapat  dikuantisasi  untuk  menghemat ruang  lebih  lanjut,  dan  pada  akhirnya  model  bahasa ( Language  model )  dapat  diakses  dari  disk  melalui pemetaan  memori,  menghasilkan  pengurangan  kebutuhan memori dengan time cost yang sangat wajar [9].
IRSTLM  dalam  proses  pemodelan  bahasa  ( Language model ) melalui beberapa proses secara umum proses yang dilalui  adalah  pembentukan  pemodelan  bahasa  dan probabilitas dari pemodelan bahasa[10]. Language Model untuk  hal  ini  jenis  language  model  toolkit  memiliki kesamaan  yaitu  pada  proses  pemodelan  bahasa  dan perhitungan  probabilitas  korpus  dari  pemodelan  bahasa adapun perbedaan yang terdapat di beberapa jenis language model  toolkit  adalah  pada  algoritma smoothing yang bertujuan  agar  memiliki  kualitas  estimasi  yang  baik terhadap  language  model  sehingga  tidak  ada  lagi probabilitas  dari  korpus  yang  ditraining  bernilai  0. Algoritma smoothing yang disupport oleh IRSTLM adalah sebagai berikut:
1) Back-off
2) Witten-Bell (Default)
3) Kneser-Ney
4) Modified Kneser-Ney

## A. Back-off
Interpolasi merupakan  metode yang  mudah dimengerti dan  diterapkan.  Ada  beberapa  algoritma  yang  lebih  baik, seperti Back-off pemodelan N-gram . Menggunakan Good- Turing  discounting berdasarkan  algoritma  Katz  dan  biasa dikenal  dengan  sebutan  algoritma Katz  Backoff [6]  dapat dilhat pada persamaan dibawah ini.
𝑝 𝑘𝑎𝑡𝑧 (𝑤 𝑛 |𝑤 𝑛−𝑁+1 𝑛−1 ) =
{ 𝑃 ∗ (𝑤 𝑛 |𝑤 𝑛−𝑁+1 𝑛−1 )  𝑖𝑓 𝐶(𝑤 𝑛−𝑁+1 𝑛 ) > 0 𝛼(𝑤 𝑛 |𝑤 𝑛−𝑁+1 𝑛−1 )𝑃 𝑘𝑎𝑡𝑧 (𝑤 𝑛 |𝑤 𝑛−𝑁+2 𝑛−1 )  𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 (1)
B. Witten-Bell (Default)
Bell,  Cleary,  Witten dalam  [8] Witten-Bell smoothing dikembangkan dengan tugas untuk memadatkan suatu teks, dan  dapat  dipertimbangkan  sebagai Jelinek-Mercer smoothing praktis  dapat  dilihat  pada  persamaan  dibawah ini.
1 − 𝜆 𝑤𝑖−𝑛+1 𝑖−1 = 𝑁1 +(𝑤𝑖−𝑛+1 𝑖−1 •) 𝑁1 +(𝑤𝑖−𝑛+1 𝑖−1 ⦁)+ ∑ (𝑐𝑖−𝑛+1 𝑖 ) 𝑤𝑖 (2)
C. Kneser-Ney Kneser dan Ney dalam Chen  &  Goodman [8],  telah memperkenalkan sebuah terobosan positif untuk algoritma discounting ,  dimana  distribusi lower-order digabungkan distribusi high-order yang dibangun dengan cara yang baru. Pada  algoritma  sebelumnya,  distribusi lower-order umumnya  dianggap  versi  yang  lebih  halus  dari  distribusi lower-order maximum likehood. Namun, distribusi lower- order adalah  faktor  signifikan  dalam  gabungan  yang dimana  didalamnya  hanya  sedikit  atau  tidak  ada perhitungan yang disajikan distribusi high-order . Akibatnya harus dioptimalkan agar memiliki kinerja yang baik  dalam  situasi  ini.  Faktanya,  pada Kneser-Ney smoothing probabilitas unigram dalam  model bigram dihitung  dengan  cara  ini.  Perhitungan  pada  paper  ini berbeda dengan paper aslinya.
Disini,  disajikan  distribusi  yang  berbeda  dari distribusi  yang  dihasilkan  daripada  distribusi  yang disajikan oleh Kneser-Ney [11]. Diasumsikan bahwa model memiliki bentuk yang diberikan dalam persamaan [8]
𝑝 𝐾𝑁 (𝑤 𝑖 |𝑤 𝑖−𝑛+1 𝑖−1 ) = max{𝑐(𝑤 𝑖−𝑛+1 𝑖 )−𝐷,0}
∑ 𝑐(𝑤 𝑖−𝑛+1 𝑖 ) 𝑤𝑖 + 𝐷 ∑ 𝑐(𝑤 𝑖−𝑛+1 𝑖 ) 𝑤𝑖 𝑁 1 + (𝑤 𝑖−𝑛+1 𝑖−1 ⦁)𝑝 𝐾𝑁 (𝑤 𝑖 |𝑤 𝑖−𝑛+2 𝑖−1 ) (3)
Adapun  persamaan  diatas  adalah  persamaan  yang berlawanan  dengan  yang  ada  di  paper  yang  asli  pada persamaan dibawah.
𝑝 𝐾𝑁 (𝑤 𝑖 |𝑤 𝑖−𝑛+1 𝑖−1 ) =
{ max{𝑐(𝑤 𝑖−𝑛+1 𝑖 )−𝐷,0}
∑ 𝑐(𝑤 𝑖−𝑛+1 𝑖 ) 𝑤𝑖 𝛾(𝑤 𝑖−𝑛+1 𝑖−1 )𝑝 𝐾𝑁 (𝑤 𝑖 |𝑤 𝑖−𝑛+2 𝑖−1 ) 𝑖𝑓 𝑐(𝑤 𝑖−𝑛+1 𝑖−1 )>0
𝑖𝑓 𝑐(𝑤 𝑖−𝑛+1 𝑖−1 )=0 (4)
Dimana γ(w_(i-n+1)^(i-1)), dipilih untuk menghasilkan jumlah  distribusi  menjadi  1.  Jadi,  interpolasi  dilakukan dengan  distribusi lower-order ,  tidak  hanya  dilakukan dengan  kata-kata  yang  memiliki  nilai  0  dalam  distribusi higher-order. [8]
D. Modified Kneser-Ney Modified Kneser-Ney ditemukan oleh dua orang penemu bernama Stanley F. Chen dan Joshua Goodman pada tahun 1998,  yang  membedakan  algoritma Kneser-Ney dengan Modified  Kneser-Ney adalah  pada  penggunaan variable discount D.  Pada  algoritma Kneser-Ney untuk  semua jumlah  probabilitas  bukan  nol  dinyatakan  dalam discount D, sedangkan pada Modified Kneser-Ney terdapat tiga jenis parameter  D  yaitu  D1,  D2,  dan  D3+,  yang  diaplikasikan menjadi N-gram dengan,  satu,  dua,  dan  tiga  atau  bahkan lebih  dengan  masing-masing  perhitungannya  dalam persamaan dibawah.
𝑝 𝐾𝑁 (𝑤 𝑖 |𝑤 𝑖−𝑛+1 𝑖−1 ) = 𝑐(𝑤 𝑖−𝑛+1 𝑖 )−𝐷(𝑐(𝑤 𝑖−𝑛+1 𝑖 )) ∑ 𝑐(𝑤 𝑖−𝑛+1 𝑖 ) 𝑤𝑖 + 𝛾(𝑤 𝑖−𝑛+1 𝑖−1 )𝑝 𝐾𝑁 (𝑤 𝑖 |𝑤 𝑖−𝑛+2 𝑖−1 ) (5)
Dimana :
{ 0 𝐷 1 𝐷 2 𝐷 3 𝑖𝑓 𝑐 = 0 𝑖𝑓 𝑐 = 1 𝑖𝑓 𝑐 = 2 𝑖𝑓 𝑐 = 3

## III. M ETODE P ENELITIAN
Penelitian dilakukan dengan langkah-langkah sistematis, sesuai pada Gambar. 1.
Gambar. 1.  Metode penelitian

## A. Pengumpulan Data
Untuk  mengumpulkan  data  metode  yang  digunakan yaitu  wawancara  dan  observasi.  Langkah-langkah  yang dilakukan adalah sebagai berikut.
1) Wawancara: Diperlukan  ahli  bahasa  sebagai narasumber  dalam  pengujian  hasil  translasi  mesin penerjemah  pada  penelitian  ini.  Penulis  melakukan wawancara  kepada  saudara  Hary,  S.Pd  yang  merupakan lulusan  pendidikan  bahasa  Indonesia  dan  Sandra,  S.Pd. Mereka berdua berasal dari kabupaten Sambas  yang akan menjadi  ahli  bahasa  dengan  cara  berdiskusi  sejauh  mana mereka  mengerti  bahasa  Melayu  Sambas  dan  kesediaan mereka untuk menjadi ahli bahasa dalam penelitian ini.
2) Observasi: Mencari  dokumen-dokumen  bahasa Indonesia  yang  nantinya  akan  diserahkan  kepada  ahli bahasa  untuk  diterjemahkan  ke  dalam  bahasa  Melayu Sambas yang akan dijadikan korpus dalam penelitian, yaitu korpus  bahasa  Indonesia  dan  korpus  bahasa  Melayu Sambas.

## B. Pembuatan Korpus Paralel
Korpus merupakan kumpulan dari beberapa teks sebagai sumber penelitian bahasa dan sastra. Penelitian yang akan dilakukan  terdapat  dua  buah  korpus  paralel  atau  bisa disebut korpus bilingual dari dua bahasa yang berbeda [12] yang digunakan yaitu korpus bahasa Indonesia dan korpus bahasa  Melayu  Sambas.  Adapun  korpus  paralel  pada
penelitian ini berupa dokumen-dokumen bahasa Indonesia yang  kemudian  diterjemahkan  ke  dalam  bahasa  Melayu Sambas. Korpus paralel yang digunakan disimpan dengan nama yang sama, tetapi berbeda format berkasnya. Korpus paralel yang dibuat dalam bentuk file teks disimpan dengan format  .id  untuk  bahasa  Indonesia  dan  .sb  untuk  bahasa Melayu Sambas. Contoh korpus paralel yang dibuat dalam bentuk file teks dapat dilihat pada
Gambar. 2.  Korpus paralel

## C. Preprocessing
Proses  ini  terdiri  dari Case  folding yang  merupakan tahapan  mengubah  huruf  dalam  dokumen  menjadi  huruf kecil.  Karakter  selain  huruf  dihilangkan  dan  dianggap pembatas  (delimiter)[13]  dapat  dilihat  pada  Gambar.  3. Dan tahap tokenizing adalah tahap pemotongan string input berdasarkan tiap kata yang menyusunnya [13] seperti pada Gambar. 4.
Gambar. 3. Case folding [13]
Gambar. 4. Tokenizing [13].

## D. Membangun Mesin Penerjemah Statistik
Membangun  mesin  penerjemah  statistik  dilakukan dengan cara melakukan instalasi perangkat lunak. Adapun perangkat  lunak  yang  akan  di-install  untuk  membangun mesin penerjemah statistik adalah sebagai berikut.
1) Moses decoder untuk membangun mesin penerjemah.
2) Mgiza untuk compile Moses.
3) IRSTLM untuk pemodelan bahasa.
4) BLEU untuk pengujian akurasi[14].
Seluruh  perangkat  lunak  yang  digunakan  dalam membangun  mesin  penerjemah  statistik  merupakan perangkat  lunak  yang  bersifat  open  source  dan  di- install pada system operasi Ubuntu.

## E. Implem  entasi  Mesin  Penerjemah  Statistik  dan Algoritma Smoothing
Arsitektur sistem pada penelitian ini terdiri dari beberapa proses  pemodelan  yaitu  pemodelan  bahasa,  pemodelan translasi,  decoding,  dan  evaluasi  hasil  terjemahan. Arsitektur  sistem  mesin  penerjemah  statistik  ditunjukkan pada Gambar. 5.
Gambar. 5.  Arsitektur sistem mesin penerjemah [15]
Korpus  paralel  dalam file teks  terdiri  dari  dua  buah korpus  yaitu  korpus  bahasa  Indonesia  dan  korpus  bahasa Melayu  Sambas.  Mesin  penerjemah  dibangun  dengan korpus  paralel,  dimana  korpus  paralel  akan  dilakukan translasi model menggunakan tools Mgiza yang menghasilkan translation  model ,  korpus  paralel  tersebut dipecah  menjadi  korpus  monolingual  dimana  korpus monolingual  tersebut    dilakukan  proses language  model atau  pemodelan  bahasa  menggunakan  IRSTLM  dengan algoritma smoothing yang  digunakan  yang  akan menghasilkan  language  model  bahasa  target,  Proses selanjutnya yaitu Translation Model (bahasa sumber) dan Language  Model (bahasa  target)  yang  dimana  bahasa sumber  dan  bahasa  target  tersebut  dilakukan  proses dicoding menggunakan decoder untuk  mendapatkan  hasil terjemahan dari input bahasa yang ingin diterjemahkan dan menghasilkan terjemahan berupa bahasa target.
Pemodelan  bahasa  oleh  IRSTLM  ( IRST  Language Model )  dilakukan  pada  bahasa  target  dan  menghasilkan tabel model bahasa dengan n-gram data. Model bahasa n- gram  memiliki  nilai  probabilitas  dalam  bahasa  target. Proses pemodelan bahasa oleh IRSTLM dapat dilihat pada Gambar. 6.
Gambar.    6.  Proses  pemodelan  bahasa  menggunakan language  model toolkit IRSTLM [2]
Input Output Search Preprocessing Postprocessing Target Texts Parallel Data LM AM/TM
Gambar.  7.    Arsitektur  sistem  mesin  penerjemah language  model toolkit IRSTLM [16]
Adapun  untuk  pemrosesan  model  bahasa  pada  jenis language  model  toolkit  IRSTLM  seperti  terlihat  pada Gambar  .  7.  sama  dengan  penjelasan  pemrosesan  model bahasa pada umumnya yaitu diawali dengan proses N-gram Modelling , lalu N-gram Probabilities , Discount Methods & Frequency Smoothing , dan ARPA File / Binary File . N-gram  Modelling merupakan  proses  menentukan berapa  banyak N-gram yang  diinginkan  dalam  suatu pemodelan  bahasa  atau  berapa  banyak  penggalan  kata ataupun  karakter  yang  diinginkan  dalam  pembuatan pemodelan  bahasa.  Cara  mengatur  jumlah N-gram dilakukan  pada  saat  training  dengan  menambahkan  script order diketik pada script, “. . . -o 5 . . .” seperti menandakan berarti  jumlah  pembagian N-gram hanya  5  buah  seperti terlihat pada Gambar. 8.
Gambar 8. N-gram modelling
N-gram Probabilities merupakan proses untuk menghitung setiap  kemungkinan  atau  probabilitas kemunculan kata atau karakter pada korpus seperti terlihat pada Gambar. 9.
Gambar.  9. N-gram  probabilities dari  korpus  paralel  bahasa  melayu sambas
Discount  Methods  &  Frequency  Smoothing digunakan untuk  meminimalisir  bahkan  menghilangkan  probabilitas bernilai “0” pada pemodelan bahasa pada Gambar. 10.
Gambar.  10.  Tabel  probabilitas  model  bahasa  sebelum  dilakukan discounting methods & frequency smoothing [17]
Setelah  itu  sebagai  contoh  dengan  digunakan Laplace- smoothing untuk  memunculkan probabilitas  yang bernilai “0” tadi dengan menggunakan persamaan dibawah.
(6)
Pada Akhirnya barulah didapatkan hasil dari probabilitas yang semuanya memiliki nilai tanpa terkecuali dilihat pada Gambar . 11.
Gambar.  11.  Tabel  probabilitas  model  bahasa  sesudah  dilakukan discounting methods & frequency smoothing
File yang  telah  diproses  sedemikian  rupa  setelah melewati tahap N-gram Modelling, N-gram Probabilities, Discount Methods  & Frequency Smoothing sehingga siap untuk diproses pada pemodelan translasi untuk
membangun  mesin  penerjemah  statistik.  Adapun  contoh format ARPA file dapat dilihat pada Gambar. 12.
Gambar.  12. Contoh  tabel  model  bahasa  menggunakan language  model toolkit IRSTLM[9]
F. Pengujian  atau  Evaluasi  Hasil  Mesin  Penerjemahan oleh Mesin Translasi dengan BLEU dan Metode  K-fold Cross Validation
Pengujian  dilakukan  untuk  mendapatkan  nilai  akurasi terjemahan  mesin  translasi.  Pengujian  dilakukan  secara otomatis menggunakan BLEU. BLEU (Billingual Evaluation  Understudy)  mengukur  modified  n-gram precision  score  antara  hasil  terjemahan  otomatis  dengan terjemahan  rujukan  dan  menggunakan  konstanta  yang disebut brevity penalty. Nilai BLEU didapat dari hasil dari modified  precision  score  [18].  Gambar  13  dibawah  ini merupakan  contoh  grafik  hasil  pengujian  menggunakan 3 gram dan  5 gram [6]  dengan  10  kali  percobaan  dan penambahan  jumlah  korpus  secara  konstan  yaitu  200 korpus.
(7)
Gambar. 13.  Grafik pengujian oleh BLEU
Dari  pengujian  otomatis  menggunakan  BLEU  diatas diambil  algoritma  dengan  nilai  paling  tinggi  pada pengujian terakhir, seperti terlihat pada Gambar. 13. Nilai Score BLEU paling tinggi ada pada Modified Kneser-Ney dengan  nilai  68,04%  maka  algoritma  inilah  yang  akan digunakan  pada  metode K-Fold  Cross  Validation untuk memastikan  keakuratan  dari  hasil  uji[19].  Mesin penerjemah  yang  diuji  berdasarkan  jenis language  model toolkit IRSTLM  dan  algoritma smoothing yang  berbeda. Pada  penelitian  ini  menggunakan  total  2.700  kalimat korpus  paralel  bahasa  Indonesia  dan  bahasa  Melayu Sambas dengan format 270 kalimat uji dan 2.430 kalimat yang di- training .
Gambar. 14. Pengujian dengan metode K-fold cross validation
Gambar.  14.  merupakan  pengujian  dengan  metode K- Fold  Cross  Validation menggunakan  2.700  kalimat dimana dilakukan 10 kali percobaan dan per percobaan 270 kalimat sebagai korpus uji
Keterangan:
1. Data Uji = Kalimat 1 – 270
2. Data Uji = Kalimat 271 – 540
3. Data Uji = Kalimat 541 – 810
4. Data Uji = Kalimat 811 – 1.080
5. Data Uji = Kalimat 1.081 – 1.350
6. Data Uji = Kalimat 1.351 – 1.620
7. Data Uji = Kalimat 1.621 – 1.890
8. Data Uji = Kalimat 1.891 – 2.160
9. Data Uji = Kalimat 2.161 – 2.430
10. Data Uji = Kalimat 2.431 – 2.700

## G. Pengujian Ahli Bahasa
Pengujian ahli bahasa dilakukan apabila telah dilakukan pengujian hasil evaluasi mesin penerjemah statistik dengan BLEU  menggunakan  metode K-Fold  Cross  Validation . Pengujian ahli bahasa digunakan untuk mengetahui apakah hasil terjemahan dari mesin penerjemah statistik mendekati atau  bahkan  sudah  sesuai  dengan  terjemahan  dari  ahli bahasa dapat dilihat pada Gambar. 15.
Gambar. 15. Proses evaluasi secara manual oleh ahli bahasa [2]

## H. Analisis Hasil Pengujian
Analisis  hasil  pengujian  dilakukan  untuk  menentukan algoritma smoothing mana yang paling tinggi nilai akurasi terjemahannya pada jenis language model toolkit IRSTLM serta  faktor  yang  mempengaruhi  mengapa  akurasi algoritma  tersebut  dapat  memiliki  akurasi  yang  terbaik berdasarkan  kesetaraan  penambahan  jumlah  korpus  pada setiap  mesin  secara  konstan,  nilai  yang  dihasilkan  pada percobaan  yang  terakhir  akan  dilakukan  perbandingan sehingga  didapatkan  nilai  tertinggi  dari  algoritma smoothing yang  digunakan.  Setelah  didapatkan  nilai tertinggi  dari  algoritma  yang  digunakan  maka  dilakukan metode K-fold  Cross  Validation untuk  melihat  nilai  rata- rata  akurasi  dari  keseluruhan  korpus  yang  digunakan, dengan  algoritma  dan  jumlah  penggunaan N-gram pada mesin penerjemah.

## I. Penarikan Kesimpulan
Penarikan  kesimpulan  dilakukan  dengan  melihat  hasil analisis  yang  dilakukan  dari  hasil  perbandingan  nilai akurasi  mesin  penerjemah  statistik  dengan  algoritma smoothing yang  digunakan,  dilihat  mana  algoritma smoothing yang menghasilkan nilai akurasi terbaik.
54 56 58 60 62 64 66 68 70 72 74 Grafik Pengujian oleh BLEU Back Off Witten-
Bell Kneser- Ney
Modifie d Kneser- Ney B LE U Sco re Jumlah Korpus Training

## IV. H ASIL DAN P EMBAHASAN
Pengujian  dilakukan  dengan  2  cara  yaitu  pengujian secara otomatis oleh BLEU dan secara manual oleh Pakar Bahasa dimana dapa dilihat skenario pengujian pada Tabel 1.
TABEL I S KENARIO P ENGUJIAN No. Nama Pengujian Penjelasan 1 Pengujian otomatis  oleh BLEU Pengujian  ini  dilakukan  dengan  melakukan penambahan  secara  konsisten  yaitu  200 kalimat  korpus  dimana  korpus  training pertama  berjumlah  900  kalimat  korpus sampai pada pengujian ke-10 dengan jumlah kalimat  korpus  yaitu  2700  kalimat  korpus dan  jumlah  korpus  uji  yang  digunakan sebanyak  100  kalimat,  untuk  mengetahui algoritma smoothing dan  mana  yang
memiliki  nilai  akurasi  tertinggi  pada language model toolkit IRSTLM. 2 Pengujian dengan Metode K- Fold Cross Validation dengan  data 2700  kalimat korpus. Setelah  dilakukan  pengujian  otomatis  oleh
BLEU dilihat pengujian keberapa yang nilai peningkatan  BLEU  scorenya  cenderung stabil,  selanjutnya  diambil  nilai  akurasi tertinggi dari kombinasi Algoritma smoothing dan N-gram, dimana BLEU score tertinggi dari kombinasi algoritma smoothing dan  n-gram  dijadikan  sebagai bahan uji. Data uji akan di bagi menjadi 10 percobaan  dari  jumlah  korpus  yang digunakan  yaitu  2700,  sehingga  korpus  uji yang  digunakan  sebanyak  270  kalimat. Tujuan  dari  pengujian  ini  yaitu  untuk mencari  BLEU score tertinggi  berdasarkan jumlah percobaan pengujian. 3 Pengujian dengan metode K- Fold Cross Validation dengan  data 270  kalimat korpus. Berdasarkan  hasil  yang  didapat  dari
pengujian  dengan  metode K-Fold  Cross
Validation sebelumnya didapatkan hasil dari pengujian iterasi  ke-2  yang telah  dilakukan dengan metode yang sama. Data uji akan di bagi  menjadi  10  percobaan  dari  jumlah korpus yang digunakan yaitu 270, sehingga korpus  uji  yang  digunakan  sebanyak  27 kalimat.  Kemudian  nilai  pengujian  dengan akurasi  tertinggi  yang  akan  digunakan sebagai  korpus  uji  untuk  pengujian  manual oleh ahli bahasa. 4 Pengujian manual  oleh Ahli Bahasa Pengujian  ini  bertujuan  untuk  memastikan secara manual kata per kata dari 27 kalimat korpus  uji  yang  sudah  didapatkan  dari pengujian  sebelumnya,  sehingga  persentase pengujian  manual  didapat  dari  jumlah  kata yang  tepat  menurut  ahli  bahasa  dibagi dengan jumlah kata yang diterjemahkan oleh mesin.
Pada pengujian otomatis oleh BLEU disini menggunakan  metode  penambahan  secara  konsisten dengan  jumlah  200  korpus  training  yang  dimana  100 korpus sebagai korpus uji dan 900 korpus training pada uji pertama,  uji  kedua  sampai  uji  kesepuluh  dilakukan penambahan korpus yang dimana untuk nilai tertinggi pada uji terakhir adalah Modified Kneser-Ney dengan nilai skor BLEU  68,04  pada  pengujian  3 gram dan  untuk  pengujian 5 gram dengan  nilai  skor  BLEU  67,8  yang  dapat  dilihat pada Tabel 2 dan Tabel 3.
TABEL III H ASIL P ENGUJIAN BLEU DENGAN 3 GRAM No Jumlah Korpus Algoritma Smoothing Back Off Witte n-Bell Kneser- Ney Modified Kneser- Ney 1 900 67,46 68,36 70,91 71,81 2 1100 66,4 67,15 70,02 70,6 3 1300 63,75 65,51 68,8 70,03 4 1500 64,42 65,48 68,45 69,23 5 1700 62,77 64,32 67,27 67,84 6 1900 61,46 62,91 67,28 68,1 7 2100 60,96 61,94 66,2 66,78 8 2300 62,24 63,45 67,77 68,67 9 2500 62,12 63,13 66,57 67,36 10 2700 62,3 63,58 66,74 68,04
TABEL IIIII
H ASIL P ENGUJIAN BLEU DENGAN 5 GRAM No Jumlah Korpus Algoritma Smoothing Back Off Witte n-Bell Kneser- Ney Modified Kneser- Ney 1 900 68,11 69,39 70,87 71,34 2 1100 67,61 68,16 70,48 71,17 3 1300 64,81 66,25 68,59 69,75 4 1500 64,98 66,13 68,36 69,3 5 1700 63,34 64,96 67,35 67,36 6 1900 62,97 64,09 67,18 67,82 7 2100 61,66 63,73 66,38 67,13 8 2300 63,17 65,46 68,21 68,68 9 2500 63,15 64,47 66,75 67,53 10 2700 63,09 64,33 66,95 67,8
Berdasarkan  junal  yang  berjudul  “IRSTLM  Toolkit” yang ditulis oleh Macello Federico [16] dinyatakan bahwa Algoritma Smoothing Interpolasi  yang  dipadukan  dengan Modified Kneser-Ney dibawah kondisi training yang tepat dapat  menghasilkan  nilai perplexity dan  BLEU score terbaik  ini  terbukti  pada  tabel  II  dan  tabel  III.  Setelah ditemukannya hasil dengan nilai tertinggi pada Algoritma Smoothing Modified  Kneser-Ney dengan  3gram,  hasil tersebut yang akan digunakan pada k-fold cross validation, untuk  mengetahui  iterasi  dengan  nilai  tertinggi  dari algoritma smoothing tersebut, adapun nilai yang diperoleh dari  pengujian  menggunakan  metode k-fold  cross validation dapat dilihat pada Tabel 4.
TABEL IVV H ASIL P ENGUJIAN M ETODE K- FOLD C ROSS V ALIDATION D ATA U JI 2700 Uji Data Uji Indonesia - Sambas 1 1-270 67,83 2 271 – 540 67,78 3 541 – 810 66,15 4 811 – 1.080 56,67 5 1.081 – 1.350 45,57 6 1.351 – 1.620 52,83 7 1.621 – 1.890 54,97 8 1.891 – 2.160 51,61 9 2.161 – 2.430 59,01 10 2.431 – 2.700 67,44
Pengujian  manual  dilakukan  oleh  ahli  bahasa  Melayu Sambas,  pengujian  manual  diambil  berdasarkan  hasil pengujian  otomatis  menggunakan  metode k-fold  cross validation dimana  dari  hasil  pengujian  sebanyak  10  kali diambil nilai dengan hasil tertinggi. Adapun nilai tertinggi didapat  pada    uji  pertama  dengan  korpus  uji  kalimat  1 sampai 270 dengan nilai 67,83%.  Setelah didapatkan nilai tertiggi  maka  pada  data  uji  dengan  nilai  tertinggi  itu dilakukan  lagi  pengujian  sebanyak  10  kali uji menggunakan  metode k-fold  cross  validation dengan pembagian data uji seperti terlihat pada Tabel 5.
TABEL V
H ASIL P ENGUJIAN M ETODE K- FOLD C ROSS V ALIDATION D ATA U JI 270 Uji Data Uji Indonesia - Sambas 1 1-27 77,93 2 27 – 54 76,35 3 55 – 81 78,87 4 82 – 108 76,27 5 109 – 135 84,18 6 136 – 162 67,17 7 163 – 189 78,24 8 190 – 216 77,77 9 217 – 243 82,84 10 244 – 270 78,84
Setelah didapatkan hasil dari pengujian diatas pengujian dengan  nilai  tertinggi  akan  digunakan  sebagai  data  untuk dilakukan pengujian manual oleh ahli bahasa yang dimana terlihat  pada  pengujian  kelima  dengan  nilai  84,18%  dari data  ini  nanti  akan  dihitung  persentase  akurasi  yang dihasilkan pada pengujian manual dengan persamaan :
P = 𝐶 𝑅 𝑥 100%
(8)
P = Persentase akurasi C  =  Jumlah  kata  yang  diterjemahkan  dengan  tepat menurut   penilaian dari ahli bahasa
R = Jumlah kata hasil terjemahan
TABEL VI H ASIL P ENGUJIAN M ANUAL OLEH A HLI B AHASA No. Nama  Ahli  Bahasa Melayu Sambas C R P=C/R*100 % 1. Sandra, S.Pd 866 896 96,65% 2. Hary, S.Pd 850 896 94,87%

## V. K ESIMPULAN
Berdasarkan  hasil  analisis  dan  pengujian  yang  sudah dilakukan dapat diambil kesimpulan sebagai berikut.
1. Berdasarkan  pengujian  dengan  metode  penambahan korpus secara konsisten algoritma smoothing terbaik adalah modified  kneser-ney menggunakan  3 gram dengan nilai akurasi 68,04% dan algoritma smoothing modified  kneser-ney  menggunakan  5 gram dengan nilai akurasi 67,8%.
2. Pada  penelitian  yang  telah  dilakukan  dengan menggunakan  korpus  sebanyak  2700  buah  dengan penambahan  korpus  secara  konsisten  yang  dimulai dari  900  korpus  dihasilkan  akurasi  terbaik  dengan nilai  68,04%  oleh  algoritma smoothing modified kneser-ney dengan 3 gram , dan 67,8% pada algoritma smoothing modified  kneser-ney dengan  5 gram dimana  hal  ini  sesuai  dengan  apa  yang  disampaikan oleh Marcello Federico dalam jurnalnya.
3. Penilaian oleh Ahli Bahasa berbanding lurus dengan hasil  terbaik  dari  pengujian  dengan  metode K-Fold Cross  Validation dikarenakan  nilai  dari  hasil  uji terbaik  pengujian  manual  oleh  mesin  penerjemah statistik  adalah  sebesar  84,18%  dan  hasil  pengujian manual  mendekati  100%  yaitu  pengujian  oleh Sandra,S.Pd  sebesar  96,65%,  Hary,  S.Pd  sebesar 94,87%  hal  ini  menunjukkan  bahwa  kualitas penerjemahan  manual  juga  sama  baik  dengan penerjemahan oleh mesin.

## R EFERENSI
[1] F.  Lafamane,  “Fenomena  Penggunaan  Bahasa  Daerah  di Kalangan Remaja. PBB ( Unesco : United Nations Education , Social and Culture Organization ),” 2020.
[2] I. Hadi, “Uji Akurasi Mesin Penerjemah Statistik (MPS) Bahasa Indonesia  ke  Bahasa  Melayu  Sambas  dan  Mesin  Penerjemah Statistik (MPS) Bahasa Melayu Sambas ke Bahasa Indonesia,” J. Sist. dan Teknol. Inf. , vol. 2, no. 3, 2014.
[3] A.  Godase  and  S.  Govilkar,  “MACHINE  TRANSLATION DEVELOPMENT  FOR  INDIAN  LANGUAGES  AND  ITS APPROACHES,” vol. 4, no. 2, pp. 55–74, 2015.
[4] Y.  Solomon,  M.  Meshesha,  and  W.  Endale,  “Optimal Alignment For Bi-Directional Afaan Oromo-English Statistical Machine Translation,” vol. 3, no. 7, pp. 73–77, 2019.
[5] A. Hannan, “Assamese-English Bilingual Machine Translation,” Int.  J.  Nat.  Lang.  Comput. ,  vol.  3,  no.  3,  2014,  doi: 10.5121/ijnlc.2014.3307.
[6] W.  Zhang,  “Comparing  the  Effect  of  Smoothing  and  N-gram Order : Finding the Best Way to Combine the Smoothing and
Order of N-gram,” Master Sci. Comput. Eng. , 2015.
[7] P.  Koehn, Statistical  Machine  Translation .  New  York:
Cambridge University Press, 2010.
[8] S. F. Chen and J. Goodman, “An Empirical Study of Smoothing Techniques  for  Language  Modeling  An  Empirical  Study  of Smoothing Techniques for Language Modeling,” Comput. Sci. Gr. Harvard Univ. Rep. TR-10-98 , 1998.
[9] M.  Federico,  N.  Bertoldi,  M.  Cettolo,  F.  R.  Scientifica,  V. Sommarive, and P. Tn, “IRSTLM : an Open Source Toolkit for Handling Large Scale Language Models,” pp. 1618–1621, 2008.
[10] A.  Paul  and  B.  S.  Purkayastha, English  to  Nepali  Statistical Machine Translation System . Springer Singapore, 2018.
[11] R.  Kneser  and  H.  Ney,  “Improved  backing-off  for  M-gram language modeling,” In ICASSP-95 , vol. 1, pp. 181–184, 1995.
[12] H.  Sujaini,  “Peningkatan  Akurasi  Penerjemah  Bahasa  Daerah dengan  Optimasi  Korpus  Paralel,” J.  Nas.  Tek.  Elektro  dan Teknol. Inf. , vol. 7, no. 1, 2018.
[13] L.  Marlinda  and  H.  Rianto,  “Pembelajaran  Bahasa  Indonesia Berbasis Sain,” Manaj. Inform. Jakarta , pp. 181–190, 2013.
[14] G.  Lample,  A.  Conneau,  L.  Denoyer,  and  M.  Ranzato, “Unsupervised machine translation using monolingual corpora only,” arXiv , no. 2011, pp. 1–14, 2017.
[15] H. Sujaini, “Meningkatkan Peran Model Bahasa dalam Mesin Penerjemah  Statistik  (Studi  Kasus  Bahasa  Indonesia-Dayak Kanayatn),” Khazanah Inform. J. Ilmu Komput. dan Inform. , vol. 3, no. 2, p. 51, 2017, doi: 10.23917/khif.v3i2.4398.
[16] M. Federico, “IRSTLM Toolkit,” FBK-irst , 2010.
[17] D.  Jurafsky  and  J.  H.  Martin,  “Speech  and  Language Processing,” Zeitschrift fur Sprachwiss. , vol. 21, no. 1, pp. 134– 135, 2002, doi: 10.1515/zfsw.2002.21.1.134.
[18] S. Islam and B. S. Purkayastha, “English to Bodo Phrase-Based Statistical  Machine  Translation,” Adv.  Comput.  Commun. Technol. Springer, Singapore, pp. 207–217, 2018.
[19] H. F. Tapikap, B. S. Djahi, T. Widiastuti, J. I. Komputer, U. N. Cendana,  and  K.  C.  Validation,  “Hanna  Florenci  Tapikap  1  , Bertha S. Djahi 2 , Tiwuk Widiastuti 3 Jurusan Ilmu Komputer, Fakultas Sains dan Teknik, Universitas Nusa Cendana,” vol. 7, no. 1, pp. 21–26, 2019.