## Pembangunan Monolingual Word Alignment Pada Terjemahan Al-Quran Berbahasa Indonesia
Galih Rizky Prabowo #1 , Moch. Arif Bijaksana *2
# Departemen Fakultas Informatika, Universitas Telkom Jl. Telekomunikasi No. 01, Terusan Buah Batu, Sukapura, Dayeuhkolot, Sukapura, Dayeuhkolot, Bandung, Jawa Barat 40257
1 galihrizkyp@students.telkomuniversity.ac.id
2 arifbijaksana@telkomuniversity.ac.id
Abstrak —  Telah  berabad-abad  Al-Qur’an  hadir  di  tengah- tengah peradaban dan pergaulan umat manusia yang terdiri dari  6236  ayat.  Untuk  mengukur  kesamaan  semantik  antar terjemahan ayat Al-Quran yang bertujuan untuk memahami  lebih  dalam  terhadap  makna  yang  terkait  pada ayat  Al-Quran  dibutuhkan  suatu  metode  salah  satunya dengan monolingual word alignment . Monolingual alignment adalah  metode  penyejajaran  kata  yang  mengidentifikasi kesamaan  antar  kata  dalam  pasangan  kalimat  yang  ada. Selain  penggunaan  metode monolingual  alignment dalam pengukuran  kesamaan  kata  yang  ada,  dibutuhkan  pula sebuah  dataset  yang  di align yang  berfungsi  sebagai kumpulan dari objek yang isinya adalah hubungan semantik antar  sets  yang  ada.  Namun  dataset monolingual  word alignment untuk  bahasa  Indonesia  berformat  MSR  masih sangat terbatas volumenya. Dalam penelitian ini, diaplikasikan  beberapa  fitur  dalam  metode monolingual alignment dalam  pembangunan  dataset monolingual  word alignment bahasa  Indonesia  berformat  MSR  yaitu align identical words , align PFA dan align word sequences dengan menghasilkan  nilai  F1  86.94  %.  Untuk  hasil  F1  terbaik dihasilkan  dari  beberapa  gabungan  fitur alignment yaitu dengan  fitur align  identical  words dan align  PFA dengan hasil F1 sebesar 88.83 %.
Kata kunci — Al-Quran, Monolingual Alignment , MSR
Abstract — For centuries the Qur’an is present in the midst of civilization  and  human  society  consisting  of  6236  verses.  To measure the semantic similarity between the translations of Al- Quran verses that aim to understand more deeply the meaning related  to  the  verses  of  the  Koran  requires  a  method  one  of them  with  monolingual  word  alignment.  Monolingual alignment  is  a  word  alignment  method  that  identifies  the similarity  between  words  in  existing  pairs  of  sentences.  In addition  to  the  use  of  monolingual  alignment  methods  in measuring  the  similarity  of  existing  words,  it  also  needs  a dataset that serves as a collection of a document whose content is  the  semantic  relationship  between  sets  that  exist.  But  the dataset monolingual word alignment for Indonesian in format MSR  is  still  very  limited  in  volume.  In  this  research,  some features  in  the  method  of  monolingual  alignment  are  applied in the development of the dataset monolingual word alignment Indonesian
in  format  MSR,  which  is  textit  align  identical  words,  align PFA  and  align  word  sequences by  generating an  F1 value  of 86.94  %.  For  the  best  results  F1  is  generated  from  some combination  of  alignment  features  with  align  identical  words and align PFA with F1 result of 88.83 %.
Keywords — Al-Quran, Monolingual Alignment, MSR

## I. P ENDAHULUAN
Telah  berabad-abad  Al-Qur’an  hadir  di  tengah-tengah peradaban dan pergaulan umat manusia. Al-Qur’an terdiri dari 6236 ayat, pada 6236 ayat ini terdapat ayat-ayat yang memiliki  makna  yang  sama  dan  saling  berkaitan,  maka dari  itu  diperlukan  pengkajian  lebih  dalam  untuk  dapat memahami  makna  yang  terkait  pada  ayat  Al-Qur’an tersebut.  Salah  satu  metode  yang  dapat  dilakukan  untuk mengukur  kesamaan  atau similarity dari  sepasang  antar kalimat  secara  efektif  adalah  dengan  cara alignment atau penjajaran  kata. Alignment merupakan  salah  satu  metode yang  sederhana,  cepat  serta  mempunyai  akurasi  yang tinggi  sesuai  dengan  tujuan  pembuatan  sistemnya.  Untuk mengukur  kesamaan  pada  kalimat  terjemahan  yang berbahasa  sama,  metode monolingual  alignment sangat efektif karena dapat menjajarkan kata dalam  bahasa  yang sama.
Dalam  sebuah  penelitian  mencari  sebuah  kesamaan semantik  antar  kalimat  berbahasa  Indonesia  yang menggunakan  metode monolingual  alignment yaitu metode untuk mengukur kemiripan dari sepasang kalimat dalam  bahasa  yang  sama,  dibutuhkan  sebuah  dataset monolingual  alignment yang  berfungsi  sebagai  kumpulan dari  objek  yang  isinya  adalah  hubungan  semantik  antar sets  yang  ada.  Saat  ini  terdapat  korpus monolingual alignment dari  penelitian  MSR  RTE  2007  dalam  Bahasa Inggris  [1].  Namun  korpus monolingual  word  alignment antar  Bahasa  Indonesia  khususnya  untuk  terjemahan  Al- Quran masih sangat terbatas volumenya.
Pada  penelitian  ini,  dibuat  sebuah  sistem  yang  dapat membangun  data  latih  dengan  metode monolingual alignment terjemahan  Al-Quran  berbahasa  Indonesia dengan input berupa  pasangan  kata  terjemahan  yang belum  di align dan output berupa  pasangan  kata
terjemahan  yang  telah  di align yang  bertujuan  untuk mempermudah  proses  penelitian  mencari  kesamaan semantik  antar  kalimat  pada  terjemahan  Al-Quran berbahasa  Indonesia  tanpa  harus  menggunakan  korpus terjemahan dari bahasa Inggris.

## II. M ETODOLOGI
Sistem  yang  akan  dibangun  pada  penelitian  ini bertujuan untuk membangun sebuah data latih monolingual  word  alignment pada  terjemahan  Al-Quran berbahasa  Indonesia.  Gambaran  umum  sistem  yang  akan dibangun ditunjukan pada Gambar. 1.
Gambar. 1  Gambaran umum sistem

## A. Pengumpulan Data
Data yang digunakan dalam pesnelitian  ini adalah data yang  dibuat  secara  manual  mengikuti  format  data  MSR yang  diambil  dari  pasangan  terjemahan  Al-Quran  Bahasa Indonesia  Al-Ustadz  Muhammad  Thalib  sebanyak  288 ayat dan terjemahan Al-Quran Al-Muyassar sebanyak 288 ayat  yang  meliputi  surat  Al-Maarij,  Al-Mursalah,  Al- Qiyamah,  Ar-Rahman  dan  Al-Waqiah.  Data  pasangan ayat  tersebut  disimpan  dalam  format  .txt  agar  data  lebih fleksibel dalam proses pengolahannya.

## B. Preprocessing
Pada  tahap preprocessing data  yang  ada  sebelumnya dilakukan  proses  modifikasi  agar  dapat  digunakan  dalam sistem  yang  akan  dibangun.  Data  yang  digunakan  berupa data  terjemahan  Al-Quran  berbahasa  Indonesia  dengan format MSR seperti contoh berikut ini:
sentence pair 2
Yang telah mengajarkan Al-Quran . NULL ( / / ) Tuhan ( / / ) yang ( 1 / / ) mengajarkan ( 3 / / ) Al-Quran ( 4 / / ) kepada ( / / ) Muhammad ( / / ) . ( 5 / / )
Tahap preprocessing dalam  penelitian  ini  meliputi  3 (tiga)  tahap  yaitu  pembersihan  data, tokenization dan stemming.
1) Pembersihan  data :  Kalimat  kedua  dalam  dataset berformat  MSR  merupakan  gold  standard  yang  perlu dilakukan  proses  pembersihan  dan  pemisahan  data  yang nantinya  hanya  akan  diambil  kata  nya  saja  untuk  proses yang  dilakukan  sistem.  Diperlukan  sebuah  regular expression  untuk  melakukan  pemisahan  kata  dengan karakter  (  /  /  )  serta  atribut  ’NULL’  yang  ada  dalam kalimat  kedua  dalam  data  berformat  MSR.  Hasil  dari pemisahan kata dengan atribut ( / / ) dan atribut ’NULL’ menggunakan regular  expression seperti  contoh  berikut ini:
Yang telah mengajarkan Al-Quran .
Tuhan yang mengajarkan Al-Quran kepada Muhammad .
2) Tokenization :  Setelah  data  terpisah  dengan atribut  yang  ada  sebelumnya  kemudian  dilakukan  proses tokenization atau  pemisahan  antar  kata  dan  dilakukan proses lower case atau merubah semua kata menjadi huruf kecil  agar  memudahkan  sistem  melakukan alignment dengan  bantuan library NLTK  sehingga  menghasilkan output dalam bentuk list seperti contoh berikut ini:
'yang', 'telah', 'mengajarkan', 'al-quran', '.' 'tuhan', 'yang', 'mengajarkan', 'al-quran', 'kepada', 'muhammad', '.' 3) Stemming : Setelah dilakukan proses tokenization, preprocessing yang  dilakukan  selanjutnya  adalah  proses stemming atau  memotong  imbuhan  kata  dalam  kalimat menjadi  kata  dasar  dengan  bantuan library stemming bahasa Indonesia yaitu Sastrawi Stemmer dan menghasilkan output seperti berikut ini:
'yang', 'telah', 'ajar', 'al-quran', '.'
'tuhan', 'yang', 'ajar', 'al-quran', 'kepada', 'muhammad', '.'

## C. Kamus Data Parafrase Al-Quran (PFA)
Data  Pasangan  Frase  Al-Quran  merupakan  data  yang isinya  memuat  tentang  pasangan  kata  atau  frase  yang mempunyai kemiripan makna khususnya pada terjemahan ayat  Al-Quran.  Data  PFA  digunakan  sebagai  sebuah database /  kamus  untuk  implementasi  salah  satu  fitur dalam  metode word  alignment yaitu align  PPDB . Dikarenakan  PPDB  dalam  bahasa  Indonesia  belum tersedia, khususnya untuk terjemahan Al-Quran berbahasa Indonesia digunakan  lah database PFA  sebagai pengganti PPDB.  Saat  ini,  telah  dibangun  seratus  data  PFA  dengan cara reverse  engineering yang  berisi  pasangan  frase  atau kata yang mempunyai makna yang sama yang didapat dari perbandingan  ayat  dari  kedua  versi  terjemahan  Al-Quran yang berbeda. Untuk menentukan kata yang teridentifikasi sebagai  parafrase,  dilakukan  pengecekan  secara  manual terhadap kamus KBBI Bahasa Indonesia. Format data dari PFA terjemahan Al-Quran berbahasa Indonesia mengikuti format  PPDB  bahasa  Inggris.  Adapun  contoh  dari  kamus PFA seperti pada Tabel. I.
TABEL I CONTOH KAMUS PFA ( PARAFRASE AL - QURAN )
aku saya aku kami ajakan-ajakan ajakan alamin semesta alam allah tuhan amat sekali amat sangat

## D. Implementasi Fitur Alignment
Dalam  penelitian  ini,  digunakan  sistem monolingual alignment untuk menguji performansi dari data terjemahan  Al-Quran  berbahasa  Indonesia  dengan  format MSR.  Fitur alignment yang  digunakan  dalam  penelitian ini  meliputi align  identical  words , align  PFA dan  align word sequences. Berikut adalah contoh implementasi dari algoritma alignment serta alur alignment yang ditunjukkan pada Gambar. 2 dan Gambar. 3.
Gambar. 2  Algoritma alignment
1) Align  Identical  Words: Hal  yang  paling sederhana  dalam  mengetahui  kesamaan  antar  kata  dalam pasangan  kalimat  yaitu  dengan  melihat  kemunculan  kata yang identik dalam kedua pasangan tersebut. Ilustrasi dari penggunaan fitur ini ada pada Gambar. 4.
2) Align  PFA: Dalam  identifikasi  kata-kata  yang memiliki  makna  yang  sama  selain  dengan  melihat kesamaan  katanya,  cara  lain  yang  bisa  dilakukan  adalah dengan  cara  mengidentifikasi  kesamaan  makna  nya menggunakan  kamus  / database .  Kamus  atau  database yang  digunakan  dalam  penelitian  ini  adalah  PPDB. Namun kamus PPDB untuk Bahasa Indonesia khusus nya terjemahan  Al-Quran  belum  tersedia.  Oleh  karena  itu dalam penelitian ini digunakan kamus PFA (Parafrase Al- Quran)  yang  dibuat  manual  oleh  penulis.  Apabila  kata dalam kalimat pertama dan kedua termasuk atau terdaftar dalam database, maka  kata  tersebut  dikategorikan align dengan fitur align PFA seperti contoh pada Gambar. 5.
Gambar. 3  Implementasi Fitur Alignment Gambar. 4  Contoh Align Identical Words
Gambar. 5  Contoh Align PFA
Dalam contoh pasangan kalimat diatas, tiap kata dalam pasangan  kalimat  akan  diperiksa  kedalam database PFA. Jika ada maka kata tersebut akan  di align. Kata sombong dan  congkak  terdaftar  dalam  database  maka  kata  tersebut align .
3) Align Word Sequence: Fitur align word sequence melakukan  pengecekan  terhadap  jumlah  keterurutan  dari pasangan  kalimat  minimal  dua  kata  yang  mempunyai urutan kata yang sama. Contoh dalam Gambar. 6.
Gambar. 6  Contoh Align Word Sequences

## E. Evaluasi Hasil Alignment
Setelah semua dataset telah diidentifikasi menggunakan semua  fitur alignment selanjutnya  dilakukan  evaluasi menggunakan evaluasi intrinsik yang melakukan perbandingan antara hasil alignment dengan gold standard yang  ada  dalam  dataset.  Evaluasi  intrisik  juga  mengukur F-measure  yang  meliputi  pengukuran  dari precision , recall dan F1  Score .  Contoh  data  yang  akan  dilakukan proses evaluasi adalah sebagai berikut: sentence pair 2 Yang telah mengajarkan Al-Quran . NULL ( / / ) Tuhan ( / / ) yang ( 1 / / ) mengajarkan ( 3 / / ) Al-Quran ( 4 / / ) kepada ( / / ) Muhammad ( / / ) . ( 5 / / )
Kalimat input diatas dibaca oleh sistem dan dilakukan preprocessing yaitu tokenization dan stemming sehingga menjadi:
Kalimat pertama : ['yang', 'telah', 'ajar', 'al-quran', '']
Kalimat  kedua  :  ['tuhan',  'yang',  'ajar',  'al-quran',  'kepada', 'muhammad', '']
Setelah  dilakukan  proses preprocessing ,  data  di  atas dilakukan  identifikasi  oleh  fitur alignment yaitu align identical  words , align  PFA dan align  word  sequences . Ditampilkan dalam bentuk list sebagai berikut Identical Words : [[2, 1], [3, 3], [4, 4], [7, 5]]
Identical from PPDB : []

## Word Sequence : [[3, 3], [4, 4]]
Indeks nomor sebelah kiri  yaitu indeks dari kata pada kalimat  kedua,  sedangkan  indeks  nomor  sebelah  kanan yaitu  indeks  dari  kata  pada  kalimat  pertama.  Kalimat pertama  bertindak  sebagai  sistem  dan  kalimat  kedua bertindak  sebagai gold  standard . Gold  standard dari kalimat input yang  telah  diproses  oleh  sistem  adalah sebagai berikut:
Gold Annotation : [['tuhan', '( / / )'], ['yang', '( 1 / / )'], ['ajar', '( 3 / / )'], ['al-quran', '( 4 / / )'], ['kepada', '( / / )'], ['muhammad',
'( / / )'], ['', '( 5 / /)']]
Setelah gold standard dibandingkan dengan prediksi sistem, didapatkan hasil F-Measure yang meliputi pengukuran precision , recall dan F1 Score. Jumlah Benar 4 Jumlah Sistem 4 jumlah Gold Annotation 4 precision 1.0
recall 1.0 F1 1.0

## F. Pengumpulan Pasangan Ayat Terjemahan yang sudah di-Align
Pada  tahap  pengumpulan  pasangan  ayat  terjemahan yang  telah  di align ,  semua  dataset  yang  telah  diuji  dan dievaluasi  oleh  program  berupa  pengukuran  dari  skor precision , recall dan F1  score dari  tiap  masing  masing pasangan  ayat  terjemahan  Al-Quran  bahasa  Indonesia yang telah di align kemudian dilakukan proses output dan disimpan  dalam  bentuk  file  berformat  .txt.  Hasil  dari pengumpulan  kalimat  pasangan  terjemahan  ayat  yang telah  di align oleh  sistem  dan gold  standard ini  adalah sebuah  data  latih monolingual  word  alignment .  Contoh hasil  pengumpulan  kalimat  terjemahan  ayat  yang  telah dilakukan  proses aligning oleh  sistem  dan gold  standard dan  di  visualisasikan  dalam  bentuk  gambar  agar  lebih mudah dalam proses pembacaan nya adalah pada Gambar. 7.
Gambar. 7  Contoh Visualisasi Alignment

## G. Pembangunan Parafrase Secara Otomatis
Setelah  dilakukan  proses  pengumpulan  pasangan kalimat  yang  telah  diuji  serta  di- align oleh  sistem  dan anotasi  manusia/  manual,  sebagai  tambahan,  sistem  akan membangun  sebuah  parafrase  secara  otomatis  hasil  dari prediksi alignment atau  pensejajaran  kata  yang  dilakukan oleh  sistem.  Dalam  membangun  himpunan  parafrase secara  otomatis,  hasil alignment yang  telah  dihasilkan sebelumnya  oleh  sistem  dilakukan  pengecekan  apakah dari  hasil alignment oleh  sistem  antara  kalimat  pertama dan  kalimat  kedua  terdapat  jarak  atau gap .  Jika  diantara kalimat  pertama dan kalimat kedua tersebut terdapat gap , maka gap tersebut  yang  berada  pada  kedua  pasangan kalimat  tersebut  teridentifikasi  sebagai  parafrasa.  Contoh nya adalah sebagai pada Gambar. 8.
Pada contoh gambar 8, pada kalimat pertama yaitu kata dari dan  pada  kalimat  kedua  kata dari dengan  kata api dalam  pasangan  kalimat  pertama  dan  kata api dalam pasangan  kalimat  kedua  terdapat gap atau  jarak  antar alignment oleh prediksi sistem tersebut. Maka oleh sistem, kedua  kata  tersebut  yaitu  kata nyala dalam  kalimat pertama  dan  kata jilatan dalam  kalimat  kedua teridentifikasi  sebagai  parafrase.  Untuk  pengukuran
akurasi  serta  evaluasi f-measure akan  dijelaskan  lebih detail pada Bab Hasil dan Pembahasan.
Gambar. 8  Contoh Pasangan Ayat yang Teridentifikasi Parafrase

## III. H ASIL DAN PEMBAHASAN

## A. Dataset
Data  yang  digunakan  dalam  penelitian  ini  adalah datayang  dibuat  secara  manual  mengikuti  format  data MSR  yang  diambil  dari  pasangan  terjemahan  Al-Quran Bahasa Indonesia Al-Ustadz Muhammad Thalib sebanyak 288 ayat dan terjemahan Al-Quran Al-Muyassar sebanyak 288  ayat  yang  meliputi  surat  Al-Maarij,  Al-Mursalah,  Al Qiyamah,  Ar-Rahman  dan  Al-Waqiah.  Data  pasangan ayat  tersebut  disimpan  dalam  format  .txt  agar  data  lebih fleksibel dalam proses pengolahannya. Dalam format data yang  berbentuk  MSR, terdapat  anotasi sure dan possible . Dalam penelitian ini, hanya digunakan anotasi sure dalam dataset  terjemahan  dengan  format  MSR  yang  bertujuan untuk  memudahkan  proses alignment sesuai  yang dikemukakan  pada  penelitian  Mac  Cartney  et.al[3]. Berikut  adalah  contoh  dataset  yang  digunakan  dalam penelitian ini sentence pair 79
Aku bersumpah dengan hari Kiamat .
NULL ( / / ) Tidak ( / / ) , ( / / ) Aku ( 1 / / ) bersumpah ( 2 / / ) dengan ( 3 / / ) hari ( 4 / / ) kiamat ( 5 / / ) . ( 6 / / )

## B. Evaluation Metric
Pada  penelitian  ini,  hasil  alignment  pada  dataset terjemahan Al-Quran berbahasa Indonesia berformat MSR diuji  menggunakan  evaluasi  intrinsik  dengan  mengukur precision,  recall  dan  F1  Score.  Dalam  data  berformat MSR,  terdapat  2  anotasi  yaitu  sure  dan  possible  [1]. Anotasi sure adalah anotasi yang menjelaskan bahwa kata dalam kalimat kedua seharusnya align dengan indeks kata dalam  kalimat  pertama  yang  ditandai  dengan  angka mutlak dalam proses aligningnya sedangkan dalam anotasi possible  menjelaskan  bahwa  kata  dalam  kalimat  kedua yang  menurut anotator bisa align dengan kata dalam kata pertama.  Ditandai  dengan  huruf  p  sebelum  indeks  kata yang  akan  di  align  dalam  kalimat  pertama.  Dalam mengevaluasi  dataset  MSR,  digunakan  F-Measure  yang terdiri  dari  rumus  precision,  recall  dan  F1  Score  pada persamaan berikut ini:

## C. Hasil Pengujian
Berdasarkan  hasil  pengujian  yang  dilakukan  pada penelitian  ini  menggunakan  fitur align  identical  words , align  PFA dan align  word  sequences didapat  hasil  yang akan dijelaskan pada Tabel 2.
TABEL II HASIL PENGUJIAN System Precision Recall F1 This Work (Best Feature) 90.16 % 90.52 % 88.83 % This Work (Full Feature) 85.98 % 91.03 % 86.94 % Batas Atas 98.75 % 90.53 % 93.67 % Batas Bawah 22.47 % 24.16 % 22.62 % * Best Feature : Align Identical Words + Align PFA
Dalam penelitian ini, sistem yang dibangun menghasilkan  akurasi  terbaik  sebesar  88.83%  dengan menggunakan  fitur alignment align  identical  words dan align  PFA .  Untuk  mengetahui  seberapa  baik  sistem  yang dibagun  dalam  penelitian  ini,  digunakan  perbandingan sistem  menggunakan  batas  atas  dan  batas  bawah.  Hal  ini dikarenakan tidak terdapatnya penelitian terkait pada data yang sama yaitu pasangan terjemahan Al-Quran berformat MSR dalam bahasa Indonesia. Batas atas adalah pengujian yang  hasilnya  didapat  dari  musyawarah/anotasi  antar manusia  tanpa  diuji  oleh  sistem  sedangkan  untuk  batas bawah  adalah  pengujian  yang  hasilnya  didapat  dari  hasil random  atau  acak  dari  hasil alignment tiap  fitur  yang diimplementasikan  dalam  sistem.  Beberapa  faktor  yang mempengaruhi  hasil  performansi  dari  F1  skor  dapat  naik atau  turun  dipengaruhi  oleh  faktor  hasil  yang  berbeda dengan gold standard dari fitur alignment yang digunakan dalam penelitian ini. Contohnya adalah ada beberapa kata dalam  pasangan  kata  yang  pertama  dan  kedua  yang menurut  program  atau  sistem  secara  makna  sama  tetapi setelah  dibandingkan  dengan gold  standard kata  dalam kedua  pasangan  tersebut  tidak  sama/tidak align .  Analisis dan  perbandingan  hasil  performansi  tiap  fitur  yang digunakan  dalam  penelitian  ini  akan  dijelaskan  dalam Tabel 3.
TABEL III ANALISIS HASIL DALAM PENGGUNAAN FITUR ALIGNMENT System Precision Recall F1 This Work (Full Feature) 85.98 % 91.03 % 86.94 % (-) Identical Words 74.43 % 54.14 % 60.78 % (-) Align PFA 87.49 % 89.20 % 86.81 % (-) Align Word Sequence 90.16 % 90.52 % 88.83 %
D. Analisis Penggunaan Fitur Align Identical Words
TABEL IV ANALISIS PENGGUNAAN FITUR IDENTICAL WORDS System Precision Recall F1 Full Feature 85.98 % 91.03 % 86.94 % (-) Identical Words 74.43 % 54.14 % 60.78 %
Fitur align  identical  word membandingkan  antara  dua pasangan  kata  yang  memiliki  kesamaan  kata  yang  sama. Fitur  ini  adalah  fitur  yang  paling  dasar  dalam  metode monolingual  alignment .  Perbandingan  hasil full  feature dan  tanpa  fitur identical  words mendapatkan  hasil precision dan recall yang menurun yang bisa dilihat pada Tabel  3.  Jika  tanpa  fitur identical  words nilai precision turun  sebesar  11.55  %  dan  turunnya recall secara  drastis sebesar  36.89  %.  Hal  ini  menunjukan  bahwa  fitur identical  word sangat  berpengaruh  dalam  proses alignment  antara  dua  pasangan  kata.  Hasil  recall  yang naik secara drastis jika menggunakan fitur identical words ini  dikarenakan  beberapa  kata  dari  dataset  yang  ada  dan diprediksi  benar  oleh  sistem  dengan gold  standard , dikarenakan fitur ini hanya melakukan alignment terhadap kata  yang  sama  tanpa  melihat  maknanya  terhadap gold standard yang ada. Selain itu, kondisi yang menyebabkan precision turun adalah dimana suatu kata dalam pasangan kalimat  menurut  sistem  seharusnya align tetapi  menurut anotasi tidak align . Contoh kasusnya:
Kalimat pertama : Dia  menciptakan  manusia dari tanah kering seperti tembikar .
Kalimat kedua : NULL ( / / ) Allah ( 1 / / ) telah ( / / ) ciptakan ( / / ) manusia ( 3 / / ) dari ( 4 / / ) tanah ( 5 / / ) kering ( 6 / / ) sekering ( / / ) tembikar ( 7 / / ) . ( 8 / / )
Berdasarkan  prediksi  sistem,  kata ciptakan pada kalimat  kedua  akan  align  dengan  kata menciptakan pada kalimat  pertama,  namun  menurut gold  annotation kata tersebut  tidak align .  Hal  inilah  yang  menyebabkan  hasil precision menurun.  Untuk  perbandingan  hasil  skor  F1, hasil  terbaik  didapat  oleh  pengujian  dengan full  feature dibandingkan  dengan  tanpa  fitur identical  words dengan selisih 26.16%.

## E. Analisis Penggunaan Fitur Align PFA
TABEL V
ANALISIS PENGGUNAAN FITUR ALIGN PFA System Precision Recall F1 Full Feature 85.98 % 91.03 % 86.94 % (-) Align PFA 87.49 % 89.20 % 86.81 %
Fitur align  PFA melakukan  pengecekan  terhadap kesamaan  makna  antara  dua  pasangan  kata  berdasarkan database PFA  yang  ada.  Hasil  yang  didapat  dari pengujian  menggunakan full  feature mendapatkan  hasil yang  lebih  baik  dibandingkan  dengan  tanpa  fitur align PFA yang  ditunjukan  dengan  naik  nya F1  score sebesar 0.13 % pada Tabel 4. Fitur ini memberikan pengaruh yang tidak  terlalu  signifikan  dalam  proses alignment karena kata  dalam  pasangan  kalimat  pertama  dan  kedua  yang
teridentifikasi  oleh  fitur  ini  sedikit.  Meningkatnya  skor pada recall ini  karena  kata  dalam  pasangan  kata  yang menurut gold annotation align atau sama dengan yang ada di  dalam database PFA  sehingga  pasangan  kata  tersebut dianggap align /sejajar.  Tetapi  pada  hasil  yang  dihasilkan oleh precision turun  dikarenakan  suatu  kata  dalam pasangan kalimat yang pertama menurut fitur/sistem dapat di align dengan pasangan kata yang kedua, tetapi menurut anotator tidak align . Contohnya:
Kalimat  pertama  :  Tuhan  (  yang  memelihara  )  dua  timur  dan Tuhan ( yang memelihara ) dua barat .
Kalimat  kedua  :  NULL  (  /  /  )  Allah  (  /  /  )  yang  (  3  /  /  ) menguasai ( 4 / / ) dua ( 6 14 / / ) tempat ( / / ) terbit ( / / ) matahari  (  /  /  )  dan  (  8  /  /  )  dua  (  6  14  /  /  )  tempat  (  /  /  )
terbenam ( / / ) matahari ( / / ) . ( 16 / / )
Berdasarkan  prediksi  sistem/fitur  dari  PFA,  kata Allah pada  kalimat  kedua  akan align dengan  kata Tuhan pada kalimat  pertama  karena  kedua  kata  dalam  pasangan kalimat  tersebut  terdaftar  dalam  kamus  PFA  bahasa Indonesia  yang  dibangun  secara  manual.  Tetapi  menurut gold  anotation kata Allah dan Tuhan tidak align .  Hal  ini yang menyebabkan hasil dari precision menurun.

## F. Analisis Penggunaan Fitur Align Word Sequences
TABEL VI
ANALISIS PENGGUNAAN FITUR ALIGN WORD SEQUENCES System Precision Recall F1 Full Feature 85.98% 91.03% 86.94% (-) Align PFA 87.49% 89.20% 86.81%
Fitur align  word  sequence melakukan  pengecekan terhadap  jumlah  keterurutan  dari  pasangan  kalimat minimal dua kata yang mempunyai urutan kata yang sama. Dalam  pengujian  ini,  penggunaan  tanpa  fitur align  word sequence tidak  terlalu  berpengaruh  terhadap  hasil alignment karena  sebagian  hasil  dari  fitur alignment ini sudah termasuk dalam hasil fitur dari identical words . Hal ini  menyebabkan  naiknya  hasil  dari recall sebesar  0.51% yang  ditunjukkan  pada  Tabel  5  karena  dipengaruhi  oleh adanya  beberapa pasangan kalimat pertama dan pasangan kalimat  kedua  yang  menurut  sistem  dan gold  annotation dianggap align dengan fitur ini. Dilihat dari Tabel 5, hasil F1  yang  dihasilkan  dengan  tanpa  fitur align  word sequence menghasilkan skor F1 lebih baik sebesar 88.83% dibandingkan  dengan full  feature dengan  hasil  sebesar 86.94%.  Hal  ini  disebabkan  oleh  karakteristik  pasangan ayat  pada  dataset  yang  lebih  banyak  mengandung  kata identik  dibandingkan  dengan  sekuen  kata.  Dikarenakan beberapa  kata  yang  telah  di  align  dengan  fitur identical words belum  tentu  termasuk  dalam  kategori word sequence .

## G. Analisis Hasil Pembangunan Parafrase Secara
Otomatis
TABEL VII ANALISIS HASIL PEMBANGUNAN PARAFRASE SECARA OTOMATIS Precision Recall F1 Akurasi Benar Akurasi Salah 40.31% 46.51% 42.33% 53.45% 46.54%
Untuk  proses  pengukuran  akurasi  seberapa  baik parafrase  yang  dihasilkan  secara  otomatis  oleh  sistem, dilakukan  pengukuran  secara  manual  dikarenakan  sistem tidak bisa mengenali frase mana yang dianggap benar atau salah.  Untuk  pengukuran  akurasi,  digunakan  validasi benar  atau  salah  dan  dihitung  presentasenya.  Jumlah paraphrase  yang  teridentifikasi  oleh  sistem  sebanyak  275 kata. Jumlah benar yang di teridentifikasi adalah pasangan kata  yang  mempunyai  makna  yang  mendekati  sebanyak 147  kata  sedangkan  untuk  jumlah  yang  salah  yaitu pasangan  kata  yang  tidak  mempunyai  makna  yang mendekati  sebanyak  128  kata.  Jika  dipresentasikan  maka akurasi  benar  yaitu  sebesar  53.45%  dan  akurasi  salah sebesar  46.54%  yang  bisa  dilihat  pada  Tabel  6  .  Untuk perhitungan F-Measure menghasilkan  nilai  42.33%  yang melibatkan  kombinasi  antara precision dan recall menghasilkan  hasil  yang  relatif  rendah  yaitu  40.31% untuk nilai precision dan 46.51% untuk nilai recall . Hasil F-measure ini  didapat  dari  perbandingan  prediksi  sistem dengan gold  standard sesuai  dengan  cara  perhitungan dalam penelitian Xuchen et.al [12].

## IV. K ESIMPULAN
Dalam  penelitian  ini  telah  dibangun  sebuah  sistem untuk membangun data latih monolingual word alignment pada  terjemahan  Al-Quran  berbahasa  Indonesia  berupa data terjemahan yang telah dilakukan proses aligning oleh sistem dan gold  standard dalam  format data MSR dan di visualisasikan  dalam  bentuk  gambar  agar  lebih  mudah dalam proses pembacaannya. Dalam penelitian pembangunan monolingual word alignment pada terjemahan  Al-Quran  berbahasa  Indonesia  menghasilkan F1  Score terbaik  didapat  dari  kombinasi  dari  2  fitur
alignment yang  diimplementasikan  yaitu align  identical words dan align  PFA dengan  hasil  F1  tertinggi  sebesar 88.83%
Penelitian  lebih  lanjut  dapat  dilakukan  dengan menambahkan  fitur contextual  similarity seperti align named  entity bahasa  Indonesia  khusus  untuk  data terjemahan  Al-Quran  agar  tag  yang  dihasilkan  sesuai dengan nama yang ada di Al-Quran dan fitur align content words yang  meliputi  fitur align  dependency,  align stopwords dan align  neighbourhood. Memperbanyak  dan menyempurnakan isi dari database PFA bahasa Indonesia serta  menambahkan  anotasi possible pada  proses pembuatan gold  standard berformat  MSR  merupakan  hal yang dapat dilakukan dalam penelitian berikutnya.

## R EFERENSI
[1] C.  Brockett.  Aligning  the  rte  2006  corpus.  MICROSOFT RESEARCH TECHNICAL REPORT MSR-TR-2007-77, 2004.
[2] I.  Adiwijaya.  Text  mining  dan  knowledge  discovery.  Komunitas Data mining Indonesia Soft-omputing Indonesia, 2006.
[3] C.  D.  M.  Bill  MacCartney,  Michel  Galley.  A  phrase-based alignment  model  for  natural  language  inference.  Proceedings  of the  2008  Conference  on  Empirical  Methods  in  Natural  Languag Processing pages 802–811, 2008.
[4] G.  G.  Adam  Kilgarriff.  Introduction  to  the  special  issue  on  the web as corpus. Computational Linguistics, 29:333–348.
[5] J.  Euzenat.  Semantic  precision  and  recall  for  ontology  alignment evaluation. In Proceedings of IJCAI-2007, 2007.
[6] L.  T.  C.  O.  R.  M.  Hannah  Bechara,  Rohit  Gupta  and  J.  van Genabith.  Wolvesaar.  Replicating  the  success  of  monolingual word  alignment  and  neural  embeddings  for  semantic  textual similarity.  In  Proceedings  of  the  10th  International  Workshop  on Semantic Evaluation (SemEval-2016), pages 634–639, 2016.
[7] T. I. Kasir. Tafsir Ibnu Kasir. Pustaka Al-Kautsar, 2011.
[8] T.  S.  Md  Arafat  Sultan,  Steven  Bethard.  Back  to  basics  for monolingual alignment:  Exploitingword similarity and contextual evidence.  Transactions  of  the  Association  for  Computational Linguistics, pages 219–230, 2014.
[9] T. S. Md Arafat Sultan, Steven Bethard. Sentence similarity from word alignment. SemEval 2014, 2014.
[10] H.  Suominen,  S.  Pyysalo,  M.  Hiissa,  F.  Ginter,  S.  Liu,  D. Marghescu,  T. Pahikkala,  B. Back,  H.  Karsten, and  T.  Salakoski. Performance  evaluation  measures  for  text  mining.  2:724–747, 2008.
[11] A.  W.  Tony  McEnery.  Corpus  linguistics:  An  introduction. Edinburgh University Press, 2001.
[12] X. Yao. Feature-driven question answering with natural language alignment.  Dissertation  submitted  to  Johns  Hopkins  University, 2008.