## Pengukuran  Kemiripan  berbasis  Leksikal  dan  Semantik  untuk Perangkingan Dokumen Berbahasa Arab
Syadza Anggraini 1 , Diana Purwitasari 2,* , Agus Zainal Arifin 3
Teknik Informatika, Institut Teknologi Sepuluh Nopember, Indonesia
1 sasaanggraini.sa@gmail.com; 2 diana@if.its.ac.id, 3 agusza@if.its.ac.id
* penulis korespondensi

## INFO ARTIKEL

## ABSTRAK
Sejarah Artikel Diterima: 15 Juni 2022 Direvisi: 6 Juli 2022 Diterbitkan: 15 Agustus 2022
Hasil pencarian relevan pada sistem temu kembali informasi tergantung pengukuran kemiripan antara query dan dokumen berdasarkan bobot kata query terhadap  dokumen  yang  akan  dirangking.  Namun,  perhitungan kemiripan  menggunakan  bobot  kata  dimungkinkan  adanya  lafal  kata yang berbeda tetapi memiliki makna sama. Hasil dokumen pencarian teks berbahasa Arab akan dipengaruhi kemampuan pengguna yang beragam dalam memahami bahasa tersebut. Oleh karena itu diusulkan pengukuran kemiripan secara leksikal untuk mengatasi lafal kata yang beda serta juga menggunakan kemiripan secara semantik untuk mengenali kata dengan makna  sama.  Penggabungan  perhitungan  kemiripan  leksikal  dan semantik  dilakukan  berdasarkan  bobot  kata  (secara  leksikal)  yang digabungkan  dengan word  embedding (secara  semantik).  Hasil  dari  uji coba  dilakukan  pada  2900  kitab  berbahasa  Arab  Maktabah  Syamilah menunjukkan  keunggulan  dengan  rata-rata f-measure tertinggi dibandingkan metode lainnya yaitu 64.2% pada keseluruhan query, serta 63.1% dan 65.7% pada short query dan long query . Short query adalah frekuensi jumlah kata di dalam query yang berjumlah 1-2 kata sedangkan long query adalah frekuensi jumlah kata di dalam query yang berjumlah lebih  dari  2  kata. Short  query dan long  query berpeluang  me- retrieve dokumen  yang  tidak  relevan,  disebabkan  karena  rendahnya  kemiripan antar kata di dalam suatu query akibat pemilihan kata yang kurang tepat. Sehingga,  untuk  dapat  mengoptimalkan  hasil  evaluasi  metode  usulan dibutuhkan  penguasaan  pengguna  yang  tidak  hanya  mampu  mengolah query dalam bahasa Arab, tetapi juga dapat memahami konteks dokumen yang  akan  dicari.  Berdasarkan  hasil  uji  coba,  metode  usulan  mampu mengungguli  metode  lainnya  dalam  me- retrieve dokumen  yang  lebih relevan.

## Kata Kunci
Kemiripan leksikal Kemiripan semantik
Pengukuran kemiripan query dan dokumen Perangkingan dokumen

## PENDAHULUAN
Kebutuhan  pengguna  akan  informasi  teks  berbahasa  Arab  berkembang  cukup  pesat ditandai  dengan  adanya  sumber  penyedia  informasi  secara  digital  untuk  memudahkan penggunanya [1]. Pencarian informasi dilakukan dengan memasukkan kata kunci ke dalam suatu  sistem  sehingga  sistem  dapat  menampilkan  informasi  yang  sesuai  [2].  Kesesuaian informasi terhadap kata kunci yang dimasukkan oleh pengguna bergantung pada pengukuran kemiripan antara kata kunci ( query ) dan informasi (dokumen) yang digunakan pada suatu sistem. Jika pengukuran kemiripan yang digunakan kurang akurat maka akan berakibat pada hasil  dokumen  yang  dirangking  tidak  relevan.  Perangkingan  dokumen  dibutuhkan  agar dokumen dapat ditampilkan pada posisi teratas hasil pencarian yang menunjukkan bahwa dokumen tersebut lebih relevan.
Salah  satu  metode  pengukuran  kemiripan  dalam  perangkingan  dokumen  ialah  secara leksikal,  yaitu  pengukuran  kemiripan  berbasis bag  of  words (pembobotan  kata)  [3][4][5].
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
Pengukuran kemiripan leksikal diawali dengan memecah kalimat menjadi sekumpulan kata. Selanjutnya  penghapusan  kata-kata  tidak  penting  ( stopwords  removal ).  Kemudian, stemming yaitu mengubah suatu kata menjadi kata dasarnya. Dua kata dikatakan mirip secara leksikal apabila masing-masing dari kata tersebut memiliki susunan karakter yang sama baik dari segi jumlah karakter beserta urutannya [6]. Penelitian yang dilakukan oleh Ni’mah dan Arifin melakukan klasifikasi terhadap dokumen kitab hadis berbahasa Arab menggunakan perbandingan term weighting . Term weighting yang dibandingkan adalah Term Frequency Inverse  Document  Frequency (TFIDF)  digabungkan  dengan Inverse  Class  Space  Density Frequency (ICSδF) dan Inverse Hadith Space Density Frequency sehingga (IHSδF) menjadi TF-IDF-ICSδF-IHSδF [7]. Penelitian lain melakukan perangkingan terhadap dataset bahasa Arab  menggunakan Term  Frequency  Inverse  Document  Frequency (TFIDF)  dan  metode klasifikasi Naïve  Bayes dan K-Nearest  Neighbor (KNN)  serta  berbasis clustering [8][9]. Beberapa  penelitian  lain  yang  menggunakan  leksikal  sebagai  metode  perangkingan dokumen ialah sebagai berikut: penelitian yang dilakukan oleh Sholikah, dkk  melakukan perangkingan  dokumen  secara  leksikal  pada  dokumen  fiqih.  Metode  usulan  penelitian tersebut  menggunakan Positif  Impact  Factor  Query (PIFQ)  dalam  merangking  dokumen. Metode  tersebut  digabungkan  dengan Term  Frequency  Inverse  Document  Frequency (TFIDF). PIFQ adalah kemunculan key term dari setiap kategori mazhab pada dokumen fiqih untuk  meningkatkan  relevansi  antara query dan  dokumen  dalam  menghasilkan  dokumen pencarian.  Terdapat  4  kategori  mazhab  yaitu  Hanafi,  Maliki,  Syafi'i  dan  Hambali.  Jika frekuensi munculnya key term pada setiap kategori mazhab semakin tinggi maka nilainya pada mazhab juga semakin tinggi [10]. Selain itu, penelitian yang dilakukan oleh Holle, dkk juga melakukan perangkingan pada dokumen fiqih yang dilihat dari segi aspek preferensi atau keutamaan. Metode usulan mengkombinasikan Term Frequency (TF), Invers Document Frequency (IDF), Invers  Book  Frequency (IBF)  [12],  dan Inverse  Preference  Frequency (IPF) [11].
Pengukuran  kemiripan  lain  dalam  perangkingan  dokumen  dapat  dilakukan  secara semantik. Kemiripan secara semantik memperhatikan makna dalam pengukuran antara dua objek kata. Hubungan antar kata yang berlainan bentuk jika memiliki makna yang sama akan dianggap  mirip  [13][14].  Penelitian  yang  dilakukan  oleh  Abriani  dan  Yaqin  melakukan pengukuran  kemiripan  makna  antar  kalimat  menggunakan  kemiripan  semantik  guna mendapatkan  nilai  akhir  kemiripan  kalimat  secara  utuh  [15].  Selain  itu,  cara  lain  dalam mengukur kemiripan semantik dapat dilakukan dengan word vector representation atau yang dikenal dengan word embbeding [16][17][18]. Representasi vektor numerik kata pada word embedding mengatasi ketidakcocokan kata dengan mendapatkan makna kata melalui kata- kata terdekatnya [19][20].
Pembobotan  kata  yang  digunakan  sebagai  perhitungan  kemiripan  secara  leksikal memiliki  kemungkinan  adanya  perbedaan  perhitungan  bobot  yang  secara  lafal  berbeda namun memiliki makna kata sama. Selain itu, morfologi pembentuk kata dalam bahasa Arab yang  beragam  membuat  suatu  kata  bisa  memiliki  beragam  bentuk  namun  masih  dalam makna yang sama [21]. Hal ini dapat mempengaruhi dokumen yang akan di- retrieve . Hasil dokumen  pencarian  teks  berbahasa  Arab  akan  dipengaruhi  kemampuan  pengguna  yang beragam  dalam  memahami  bahasa  Arab.  Sehingga,  penggunaan  kemiripan  leksikal  yang hanya memperhatikan lafal suatu kata tidak dapat menangkap makna kata yang sama.
Penelitian ini mengusulkan metode penggabungan perhitungan kemiripan leksikal dan semantik dalam perangkingan dokumen berbahasa Arab. Penggunaan kemiripan semantik, yang  dalam  penelitian  ini  menggunakan word  embedding ,  akan  dapat  menangkap  makna
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
kata yang tidak dapat dilakukan oleh kemiripan leksikal. Metode usulan diharapkan mampu meningkatkan  hasil  pencarian  dokumen  yang  relevan  terhadap query dibandingkan  yang hanya  menggunakan  kemiripan  leksikal. Penjelasan  lebih  lanjut  mengenai  metode  usulan dapat dilihat pada bab Metode.

## METODE
Perangkingan  dokumen  dalam  penelitian  ini  dimulai  dari preprocessing  query dan dokumen,  perhitungan  kemiripan  secara  leksikal,  perhitungan  kemiripan  secara  semantik sampai  penggabungan  perhitungan  kemiripan  leksikal  dan  semantik.  Perangkingan dokumen keseluruhan ditunjukkan pada Gambar 1.

## Dataset
Dataset penelitian yang digunakan adalah kitab-kitab berbahasa Arab. Dataset diambil melalui  kumpulan  kitab  Maktabah  Syamilah  [22].  Maktabah  Syamilah  berisi  kumpulan ribuan kitab berbahasa Arab yang berkaitan dengan kajian agama Islam. Kitab-kitab yang digunakan berjumlah sebanyak 2900 kitab. Gambar 2 merupakan salah satu contoh isi dari dokumen kitab yang menjelaskan tentang membayar zakat fitrah yang berarti “ -waktu wajib dan  waktu  mengeluarkan  zakat fitrah:  zakat  fitrah  menjadi  wajib  saat  munculnya malam eid,  waktu-waktu  mengeluarkan  zakat  fitrah:  1-  waktu  boleh:  yaitu  mengeluarkan  zakat fitrah sehari atau dua hari sebelum hari eid karena ibnu umar melakukan hal tersebut, 2- waktu utama: yaitu dimulai dari munculnya fajar hari eid sampai tepat sebelum shalat eid dilaksanakan karena rasulullah saw memerintahkan untuk menunaikan zakat fitrah sebelum orang-orang keluar untuk melaksanakan shalat, barangsiapa yang menunaikannya sebelum shalat maka zakatnya diterima, dan barangsiapa yang menunaikannya setelah shalat maka zakatnya terhitung sebagai sedekah .”

## Preprocessing Dokumen
Tahap pertama perangkingan dokumen adalah preprocessing . Preprocessing dilakukan pada dokumen dan query yang terdiri dari tiga tahap yaitu tokenisasi, stopwords removal dan stemming . Tokenisasi adalah proses pemecahan dokumen, di mana jika satu dokumen direpresentasikan  sebagai  satu  halaman  kitab  maka  isi  dari  kitab  yang  berupa  kumpulan paragraf  dipecah  menjadi  kumpulan  kalimat  yang  selanjutnya  dipecah  kembali  menjadi kumpulan  kata.  Kemudian,  kumpulan  kata  tersebut  dilakukan  penghapusan diacritic atau harokat yang terdapat pada bahasa Arab. Selanjutnya, tahap kedua adalah stopwords removal yaitu penghapusan kata-kata tidak penting. Penghapusan kata tidak penting dilakukan agar tidak  mempengaruhi  nilai  bobot  saat  dilakukan  pembobotan  kata,  di  mana  frekuensi kemunculan  kata-kata  tidak  penting akan  muncul  lebih  banyak  daripada  kata  pentingnya. Library stopword yang digunakan berdasarkan https://pypi.org/project/Arabic-Stopwords/. Tahap ketiga adalah stemming yaitu merubah suatu kata menjadi kata dasarnya. Stemming yang digunakan adalah Arabic Light Stemmer .

## Perhitungan Kemiripan Secara Leksikal
Perhitungan  kemiripan  leksikal  adalah  perhitungan  kemiripan  menggunakan pembobotan  kata.  Pembobotan  kata  yang  digunakan  ialah Term  Frequency  Inverse Document Frequency (TF.IDF). Setelah pembobotan kata selanjutnya dilakukan perkalian vektor antara query dan dokumen. Nilai kemiripan leksikal antara tiap dokumen dan query dihitung menggunakan Cosine Similarity . Alur perhitungan kemiripan leksikal dapat dilihat pada  Gambar  1.  Berikut  penjelasan  dari  masing-masing  tahap  pada  proses  perhitungan kemiripan secara leksikal.
Gambar 2. Contoh Isi Dokumen Kitab Maktabah Syamilah
1) Pembobotan Term Frequency Inverse Document Frequency (TF.IDF)
Pembobotan 𝑇𝐹. 𝐼𝐷𝐹(𝑤 𝑖 , 𝑑 𝑗 ) ditunjukkan pada Persamaan (1). Bagian pertama menghitung frekuensi kemunculan suatu kata menggunakan 𝑊 𝑡𝑓 (𝑤 𝑖 , 𝑑 𝑗 ) . 𝑊 𝑡𝑓 (𝑤 𝑖 , 𝑑 𝑗 ) adalah frekuensi kata  dimana 𝑤 𝑖 adalah  kata  ke-i,  sedangkan 𝑑 𝑗 adalah  dokumen  ke-j.  Selanjutnya, menghitung inverse document frequency yang ditunjukkan pada Persamaan (2).
𝑇𝐹. 𝐼𝐷𝐹(𝑤 𝑖 , 𝑑 𝑗 ) =   𝑊 𝑡𝑓 (𝑤 𝑖 , 𝑑 𝑗 ) ∗   𝑊 𝑖𝑑𝑓 (𝑤 𝑖 ) (1)
𝑊 𝑖𝑑𝑓 (𝑤 𝑖 ) = log 𝑁 𝑑𝑓(𝑤 𝑖 ) (2)
dimana N adalah jumlah dokumen dalam koleksi korpus. Sedangkan df( 𝑤 𝑖 ) adalah jumlah dokumen yang berisi kata ke-i.
2) Perkalian Vektor antara Query dan Dokumen
Perkalian antara query dan tiap dokumen dilakukan untuk menghasilkan nilai bobot dari tiap kata  pada  suatu  dokumen.  Nilai  bobot  dari  tiap  kata  dijumlahkan,  di  mana  nilai  ini dimasukkan ke dalam perhitungan kemiripan leksikal.
3) Perhitungan Kemiripan Leksikal
Perhitungan kemiripan leksikal didasarkan pada penggunaan Cosine Similarity . Perhitungan kemiripan tersebut memiliki nilai minimum yaitu 0 dan nilai maksimumnya sama dengan 1. Dalam pengukuran kemiripan ini, kemiripan antara dua objek dikatakan mirip jika nilainya mendekati  1.  Sebaliknya,  kemiripan  antara  dua  objek  dikatakan  tidak  mirip  jika  nilainya semakin mendekati 0. Persamaan (3) menunjukkan perhitungan kemiripan leksikal.
𝐿𝑒𝑥𝑆𝑖𝑚 (𝑄, 𝑑 𝑗 ) = ∑(𝑇𝐹.𝐼𝐷𝐹(𝑤 𝑖 ,𝑄)).(𝑇𝐹.𝐼𝐷𝐹(𝑤 𝑖 ,𝑑 𝑗 )) √∑|𝑇𝐹.𝐼𝐷𝐹 𝑄 | 2 .√∑|𝑇𝐹.𝐼𝐷𝐹 𝑑𝑗 | 2 (3)
dimana  Q  adalah query yang  berisi  sejumlah  kata  dan 𝑑 𝑗 adalah  suatu  dokumen  ke-j. 𝑇𝐹𝐼𝐷𝐹 (𝑤 𝑖 ,𝑄) di mana 𝑤 𝑖 kata ke-i pada query , sedangkan 𝑇𝐹. 𝐼𝐷𝐹 (𝑤 𝑖 ,𝑑 𝑗 ) di mana 𝑤 𝑖 adalah kata ke-i pada dokumen ke-j. Sehingga 𝑇𝐹. 𝐼𝐷𝐹 (𝑤 𝑖 ,𝑄) dikali dengan 𝑇𝐹. 𝐼𝐷𝐹(𝑤 𝑖 , 𝑑 𝑗 ) adalah perhitungan TF.IDF antara query dan dokumen ke-j. Selain itu, 𝑇𝐹. 𝐼𝐷𝐹 𝑄 adalah jumlah atau panjang kata pada query dan 𝑇𝐹. 𝐼𝐷𝐹 𝑑 𝑗 adalah jumlah atau panjang kata pada dokumen ke- j.
32596,
لئاسمو ثوحب ,
و مايقلاو مايصلا ماكحأ رطفلا ةاكز , نب نيسح نب معنملا دبع ،ينوملقلا رذ وبأ
يفنح دهاشلا نب نسح نب (, 1 / 54 ,) - اهجارخإ تقوو اهبوجو تقو : بجت رطفلا ةاكز
،ديعلا ةليل لولحب اهجارخإ تاقوأو : 1 - زاوج تقو :
،كلذ رمع نبا لعفل ،نيموي وأ مويب ديعلا موي لبق اهجارخإ وهو 2 - لضاف تقوو : هرملأ ،ةلاصلا ليبق ىلإ ديعلا موي رجف عولط نم وهو - ملسو هيلع الله ىلص - رطفلا ةاكزب
ةلاصلا دعب اهادأ نمو ،ةلبقتم ةاكز يهف ةلاصلا لبق اهادأ نمف ،ةلاصلا ىلإ سانلا جورخ لبق ىدؤت نأ تاقدصلا نم ةقدص يهف .
Vol. 4, No. 2, Agustus 2022, Halaman 134-145

## Perhitungan Kemiripan Semantik
Perhitungan kemiripan semantik dihitung berdasarkan term-term terdekat yang dimiliki tiap  kata.  Kata-kata  terdekat  tersebut  didapatkan  melalui  proses word  embedding .  Proses word embedding ( word vector representation ) adalah proses mengubah teks menjadi angka atau dengan kata lain merepresentasikan term ke dalam suatu vektor numerik yang mewakili makna dari kata tersebut. Model word embedding yang digunakan adalah fasttext [23][24]. Fasttext bekerja  dengan  baik  pada  kata-kata  yang asing/langka atau  jarang  dipergunakan. Sehingga jika suatu kata tidak terdapat pada saat dilakukan training maka kata baru tersebut dipecah menjadi n-gram untuk mendapatkan word vector -nya, dengan kata lain meskipun suatu  kata  tidak  berada  dalam dictionary ( out-of-vocabulary )  [25]  maka  akan  tetap mendapatkan  representasi  vektornya.  Alur  proses  perhitungan  kemiripan  semantik  dapat dilihat  pada  Gambar  1.  Berikut  penjelasan  dari  masing-masing  tahap  pada  perhitungan kemiripan semantik.
1) Kata-kata terdekat suatu kata
Untuk menghasilkan kata-kata terdekat tiap kata, word embedding diproses secara otomatis berdasarkan  Pustaka  digital Arabic .  Kata-kata  terdekat  yang  dihasilkan  melalui word embedding dengan  jenis fasttext ,  akan  memiliki  bobot  dari  yang  terbesar  hingga  terkecil. Bobot terbesar menandakan memiliki kemiripan paling dekat.
2) Kemiripan Antar Tiap Kata
Pengukuran  kemiripan  kata-kata  yang  terdapat  pada query dan  dokumen  diukur menggunakan 𝑠𝑖𝑚 (𝑤 𝑖𝑄 , 𝑤 𝑖𝑑 𝑗 ) . 𝑠𝑖𝑚 (𝑤 𝑖𝑄 , 𝑤 𝑖𝑑 𝑗 ) adalah  representasi  kemiripan  antara  dua buah kata antara kata yang ada di query dan kata yang ada di dokumen, di mana 𝑤 𝑖𝑄 adalah suatu kata ke-i pada query Q dan 𝑤 𝑖𝑑 𝑗 adalah suatu kata ke-i pada dokumen ke-j. Sebagai contoh  kemiripan  kata  “ ةاكز ”  dan  kata  “ رطفلا ”.  Kemiripan  antar  kedua  kata  tersebut mempunyai nilai kemiripan sebesar 0.335. Perhitungan kemiripan kata tersebut, didasarkan pada word  embedding yang  menggunakan fasttext ,  di  mana  di  dalam word  embedding tersebut melibatkan Cosine Similarity dalam perhitungan kemiripannya. Penggunaan fasttext mewakili  tiap  kata  sebagai n-gram karakter.  Misalnya  kata  " رطفلا "  dan  n=2  maka representasi fasttext terhadap kata " رطفلا " adalah < لا , لا , فل , طف , رط , رط >, di mana tanda kurung  siku  menunjukkan  karakter  awal  dan  akhir  dari  kata  tersebut.  Hal  ini  membantu dalam menangkap kata-kata yang lebih pendek serta membantu dalam memahami akhiran ( suffix ) dan awalan ( prefix ) pada suatu kata. Setelah perhitungan kemiripan antar tiap kata selesai dilakukan, nilai bobot tiap kata yang merupakan hasil perhitungan kemiripan antar kata, digunakan untuk perhitungan selanjutnya.
3) Perhitungan Kemiripan Semantik
Perhitungan  kemiripan  semantik  antara query dan  dokumen  menggunakan  Persamaan  (4) berikut ini.
𝑆𝑒𝑚𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) = ∑(𝑠𝑖𝑚(𝑤 𝑖𝑄 ,𝑤 𝑖𝑑𝑗 )) ∑ |𝑄| 𝑡𝑒𝑟𝑚 2 + ∑ |𝑑 𝑗 | 𝑡𝑒𝑟𝑚 2 −∑(𝑠𝑖𝑚(𝑤 𝑖𝑄 ,𝑤 𝑖𝑑𝑗 )) (4)
dimana    Q  adalah query yang  berisi  sejumlah  kata  dan 𝑑 𝑗 adalah  suatu  dokumen  ke-j.
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
Kemudian 𝑠𝑖𝑚 (𝑤 𝑖𝑄 , 𝑤 𝑖𝑑 𝑗 ) adalah  kemiripan  antar  kata  seperti  yang  telah  dijelaskan sebelumnya. Sedangkan, |𝑄| 𝑡𝑒𝑟𝑚 adalah jumlah kata pada query dan |𝑑 𝑗 | 𝑡𝑒𝑟𝑚 adalah jumlah kata pada suatu dokumen ke-j. Perhitungan kemiripan semantik ini didasarkan pada Jaccard Measure [26] yang di mana memiliki nilai minimum 0 dan nilai maksimum 1. Jika antara query dan dokumen ke-j memiliki nilai mendekati 1 maka dikatakan semakin mirip, begitu pula sebaliknya.

## Penggabungan Perhitungan Kemiripan Leksikal dan Semantik
Penggabungan  perhitungan  kemiripan  leksikal  dan  semantik  merupakan  nilai  akhir untuk  mendapatkan  nilai  kemiripan  antara query dan  dokumen.  Berdasarkan  Gambar  1 masing-masing hasil perhitungan leksikal dan semantik digunakan ke dalam penggabungan perhitungan  menggunakan  Persamaan  (5).  Nilai  akhir  berguna  untuk  mendapatkan kemiripan antara query dan dokumen, di mana nilai-nilai tersebut yang akan diurutkan secara descending atau  dari  nilai  terbesar  hingga  terkecil,  untuk  mendapatkan  dokumen  dengan nilai tertinggi sebagai hasil perangkingan. Persamaan (6) digunakan untuk mencari nilai dari penggabungan perhitungan kemiripan leksikal dan semantik.
𝐿𝑆𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) =  𝛼. 𝐿𝑒𝑥𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) + (1 − 𝛼). 𝑆𝑒𝑚𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) (5)
dimana 𝛼 ∈ [0, 1] adalah  parameter  penggunaan  efektif  dari 𝐿𝑒𝑥𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) dan 𝑆𝑒𝑚𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) .  Oleh  karena  itu  nilai  alpha  ( 𝛼 )  yang  digunakan  akan  bergantung  pada penguasaan user terhadap informasi yang akan dicari khususnya dokumen berbahasa Arab melalui query yang  dimasukkan.  Penggabungan  perhitungan  kemiripan  leksikal  dan semantik  memiliki  nilai  minimum  0  dan  nilai  maksimum  1.  Setelah  nilai  akhir  atau 𝐿𝑆𝑆𝑖𝑚(𝑄, 𝑑 𝑗 ) tiap dokumen didapatkan, selanjutnya merangking tiap dokumen dengan nilai tertinggi hingga dokumen dengan nilai terendah atau diurutkan secara descending .

## HASIL DAN PEMBAHASAN
Metode  usulan  penelitian  dievaluasi  menggunakan recall , precision dan f-measure . Recall , precision dan f-measure biasa digunakan untuk mengukur performa hasil retrieved dokumen  dalam  sistem  temu  kembali  informasi Recall adalah  rasio  dokumen  yang  di- retrieve dan relevan berdasarkan query terhadap dokumen yang relevan secara keseluruhan atau dengan kata lain dokumen yang berhasil di- retrieve di antara dokumen yang relevan. Precision adalah  rasio  dari  dokumen  yang  di- retrieved dan  relevan  berdasarkan query terhadap dokumen yang di- retrieved oleh sistem dengan kata lain dokumen yang relevan di antara semua dokumen yang berhasil di- retrieved . Serta, f-measure merupakan perhitungan kombinasi dari precision dan recall untuk mencari nilai tengah antara precision dan recall.
Uji  coba  dilakukan  terhadap  20 query berbahasa  Arab.  Uji  coba  dilakukan  dengan membandingkan  antara  kemiripan  leksikal,  kemiripan  semantik,  serta  penggabungan kemiripan leksikal  dan  semantik.  Uji  coba  juga dilakukan  terhadap  hasil  pencarian  5,  10, dan  15  teratas.  Selain  terhadap  keseluruhan query ,  uji  coba  juga  dilakukan  terhadap frekuensi kata dalam query yang terbagi ke dalam dua bagian, yaitu: query dengan frekuensi kata kurang dari sama dengan 2 kata ( short query ) dan query dengan dengan frekuensi kata lebih dari 2 kata ( long query ). Hal ini bertujuan untuk menunjukkan performa query sebagai bagian penting dalam pencarian dokumen.
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
Tabel 1. Query Uji Coba Query Bahasa Arab Terjemahan Short Query “ي ِحاَضَلأْا ُحْبِذ”, “ ِةَأ ْرَمْلِل ُم ِراَحَملا”, “ ِلاَج ِ رلِل ُم ِراَحَملا”, “ ِع ُّوَطَّتلا ُم ْوَص”,
“ ِة َلاَّصلا  ُت َلاِطْبُم”, “ ِرْمَخلْا  ُب ْرُش”,
“ ِناَمْيِلإْا ُناَك ْرَأ”, “ ِتاَنَبْلِل ُةَقْيِقَعلا”, “ ِة َلاَص ِة َزاَنَجلْا”, “ ِدُّجَهَّتلا ِة َلاَص”, “ ِتِ يَملْا ُلْسَغ”, “ءوضولا ناكرأ”
“menyembelih hewan qurban”, “mahram anak perempuan”, “mahram anak laki-laki”, “puasa sunnah”, “meminum minuman keras”, “rukun iman”, “aqiqah anak perempuan”, “sholat jenazah”, “sholat tahajud”, “memandikan jenazah”, “rukun wudhu” Long Query “ ُماَي ِص 6 لا َّوَش ىِف ٍماَّيَأ ”, “ ِ جَحلْا ىِف  ُفا َوَّطلا”, “ ِ جَحلْا ىِف ِتا َرُمُجلْا ُيْم َر”, “ ِمْحَل ُلْكَأ ِرْي ِزْن ِخلْا”, “ ُةَض ْو ُرْفَملْا  ُسْمَخلْا  ُتا َوَلَّصلا”,
“  ْطِفلْا ِةاَك َز ُجا َرْخِإ ِر
”, “ناضمر مايص ءاضق”,
“ةرايطلا يف راطفلإا”
“puasa 6 hari di bulan syawal”,  “tawaf ibadah haji”, “lempar jumroh ibadah haji”,
“memakan daging babi”, “shalat fardhu lima
waktu”, “membayar zakat fitrah”, “qada puasa ramadhan”, “berbuka puasa di atas pesawat”
Seperti yang telah dijelaskan sebelumnya bahwa query yang diinputkan mewakili dokumen pencarian yang akan di- retrieve . Salah satu contoh short query misalnya “ ِتِ يَملْا ُلْسَغ” yang berarti “memandikan jenazah”. Contoh long query misalnya “
َي ِص ُما 6 لا َّوَش ىِف  ٍماَّيَأ ” yang artinya “puasa 6 hari di bulan Syawal”. Dari 20 query uji coba, terdapat 12 query yang termasuk ke dalam golongan short query dan 8 query lainnya termasuk ke dalam golongan long query . Seluruh query uji coba dapat dilihat pada Tabel 1. Hasil retrieve dokumen pencarian yang dihasilkan oleh sistem divalidasi oleh dua orang pakar yang mampu berbahasa Arab serta berkualifikasi sebagai dosen bahasa dan sastra Arab di perguruan tinggi di kota Makassar.
Berdasarkan Tabel 2 pengujian terhadap seluruh query , gabungan kemiripan leksikal dan  semantik  memiliki recall lebih  tinggi  pada  hasil  pencarian  5,10,  dan  15 teratas  yaitu 54.06 %, 74.80% dan 88.40%  pada recall secara berturut-turut, serta precision pada hasil pencarian 5 dan 15 teratas yaitu 87.00% dan 49.00%, sedangkan memiliki precision yang sama  dengan  kemiripan  semantik  pada  hasi  pencarian  10  tertatas  yaitu  61.50%.  Metode gabungan kemiripan leksikal dan semantik mampu mengungguli metode lainnya pada recall dan precision baik pada hasil pencarian 5, 10, dan 15 teratas secara keseluruhan.
Gambar 3. Rata-Rata F-measure Seluruh Skenario Uji Coba 52.2 56 49.3 58.3 57.7 60.4 64.2 63.1 65.7 40 45 50 55 60 65 70 All Query Short Query Long Query Rata-rata F-measure (%) Kemiripan Leksikal
Kemiripan Semantik
Gabungan Kemiripan Leksikal dan Semantik
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
Tabel 2. Rata-Rata Recall dan Precision Seluruh Query Recall(%) All Query Precision(%) All Query Top 5 Top 10  Top 15 Top 5 Top 10 Top 15 Kemiripan Leksikal 40.10%  62.99%  77.28%  65.00%  51.00%  42.33% Kemiripan Semantik 42.56%  74.49%  83.82%  68.00%  61.50%  46.33% Gabungan Kemiripan Leksikal dan Semantik 54.06%  74.80%  88.40%  87.00%  61.50%  49.00%
Metode usulan menggunakan nilai alpha 0.5 pada perhitungannya. Setelah dilakukan uji coba pada nilai alpha lain yaitu 0.75, pada query " ِرْطِفلْا ِةاَك َز ُجا َرْخِإ " memiliki nilai recall , precision dan f-measure sebesar 70.83%, 62.22% dan 63.02% secara berturut-turut. Hasil evaluasi metode usulan yang menggunakan nilai alpha 0.75 ini masih lebih unggul daripada yang hanya menggunakan kemiripan leksikal saja, di mana dengan query yang sama yaitu " ِرْطِفلْا ِةاَك َز ُجا َرْخِإ ", recall , precision ,  dan f-measure -nya  sebesar  66.67%,  54.44%,  dan  57.09% secara  berturut-turut.  Berdasarkan  uji  coba  nilai  alpha,  hal  ini  membuktikan  bahwa kemiripan  leksikal  yang  digabungkan  dengan  kemiripan  semantik  mampu  menghasilkan dokumen  yang  lebih  relevan  daripada  yang  hanya  menggunakan  kemiripan  leksikal  saja. Adapun  contoh  hasil  cuplikan  dokumen  yang  di- retrieve pada  salah  satu query yang ditunjukkan  pada  Tabel  3.  Query  tersebut  adalah  “ ِرْطِفلْا ِةاَك َز ُجا َرْخِإ ”  yang  berarti “membayar zakat fitrah”. Contoh hasil cuplikan tersebut adalah hasil dari masing-masing metode yaitu kemiripan leksikal, kemiripan semantik, serta gabungan kemiripan leksikal dan semantik.
Tabel 3. Contoh Hasil Retrieve Dokumen Query Metode Hasil Retrieve Dokumen
ِرْطِفلْا ِةاَك َز ُجا َرْخِإ
Kemiripan Leksikal
4 - :يلي ام ىلع لمتشيو ةاكزلا باتك 1 - :يلي ام ىلع لمتشتو ،ةضورفملا ةاكزلا 1 -
:لمشتو ةاكزلا اهيف بجت يتلا لاوملأا 1 - .ةضفلاو بهذلا ةاكز
2 - ةاكز قارولأا
.ةيدقنلا
3 - .ةراجتلا ضورع ةاكز 4 - .ماعنلأا ةميهب ةاكز 5 - .رامثلاو بوبحلا ةاكز 6 - .زاكرلا ةاكز 7 - .نداعملا ةاكز 2 - .ةاكزلا جارخإ 3 - .ةاكزلا جارخإ بادآ 4 -
.ةاكزلا لهأ 2 - .رطفلا ةاكز . Kemiripan Semantik كز ماكحأ نم تامهم يف يناثلا لصفلا[ يف يناثلا لصفلا ]رطفلا ةاكز ىنعم[ ]رطفلا ةا
رطفلا ةاكز ماكحأ نم تامهم
1 - .رطفلا ةاكز ىنعم 2 - ليلدلاو اهتيعورشم خيرات .اهيلع 3 - .اهمكح 4 - .اهتيعورشم ةمكح 5 - .ةرطفلا بجت نم ىلع 6 - عاونأ
.رطفلا ةاكز اهنم جرخت يتلا ةمعطلأا
7 - .ةرطفلا يف بجاولا رادقملا 8 - جارخإ تقو .ةاكزلا 9 - .رطفلا ةقدص ىطعت نمل 10 - .رطفلا ةاكز ةميق جارخإ 11 - ةاكز لقن رخآ دلب ىلإ صخشلا دلب نم رطفلا Gabungan Kemiripan Leksikal dan Semantik 4 - الله يضر ةباحصلا ضعب نلأ ؛نيموي وأ مويب ديعلا لبق رطفلا ةاكز ميدقت زوجي اوناك مهنع
.نيموي وأ مويب رطفلا لبق اهنوطعي - جورخ دعب رطفلا ةاكز جارخإ مكح
:اهتقو 1 -
اهريخأت مرحيو ،هيف اهؤادأ بجي تقو اهلو ،تادابعلا نم ةدابع رطفلا ةاكز
.رذعل لاإ اهتقو نع 2 - ءارقفلل بجاو قح اهنلأ ؛اهتقو جورخ دعب طقست لا رطفلا ةاكز دلأاب لاإ هنع طقسي لاف ،هتمذ يف لاإ طقسي لاف اهتقو نع ريخأتلا يف الله قح امأ .ءا
.رافغتسلااو ةبوتلاب -
ةاكزو ،لاملا دلب يف جرخُت لاملا ةاكز :رطفلا ةاكز جارخإ ناكم
ةحلصمو ةجاحل لاإ كلذ نع لدعُي لاو ،ناسنلإا ناك امثيح جرخُت رطفلا
Skenario  uji coba  selain  pada  keseluruhan query , juga  dilakukan  uji coba  pada short query dan long  query . Short  query memiliki  karakteristik  frekuensi  kata  yang  sedikit, sehingga semakin sedikit frekuensi kata dalam query maka dokumen yang di- retrieved akan semakin  banyak.  Hasil  pencarian  dari query tersebut  dimungkinkan  tersebar  pada banyak dokumen. Dengan kata lain, short query memiliki kata kunci pencarian yang kurang spesifik.
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
Sebaliknya, long query memiliki karakteristik frekuensi kata yang lebih banyak. Semakin banyak frekuensi kata dalam query maka semakin spesifik pula hasil dokumen yang dicari. Sebagai contoh query " ِع ُّوَطَّتلا ُم ْوَص" yang berarti puasa sunnah. Jika dilihat dari frekuensi kata yaitu sebanyak dua kata, query tersebut tergolong ke dalam short query yang dimungkinkan akan  me- retrieve dokumen  pencarian  lebih  banyak  karena  kata  kata  kunci  yang  kurang spesifik. Dengan kata lain, kata kunci tersebut tersebar di banyak dokumen. Namun dengan menggunakan short query tersebut dokumen pencarian yang dihasilkan bisa sangat sedikit. Hal  tersebut  dapat  disebabkan  karena  pemilihan  kata  dalam query yang  kurang  tepat. Meskipun query " َص ِع ُّوَطَّتلا ُم ْو " dapat diartikan sebagai puasa sunnah, jika dua kata pada query tersebut  dipecah  dan  diartikan  per  masing-masing  kata,  keterkaitan atau  kemiripan  antara dua  kata  tersebut  dapat  dikatakan  cukup  jauh  kemiripannya.  Kata  " ِع ُّوَطَّتلا"  jika  diartikan tersendiri  tanpa  diikuti  kata  " ُم ْوَص"  secara  berdampingan  dapat  berarti  "sukarela".  Kata " ِع ُّوَطَّتلا" yang berarti "sukarela" ini jika diukur kemiripannya dengan kata " ُم ْوَص" yang berarti "puasa" kemiripannya menjadi cukup jauh. Karena kata " ا ِع ُّوَطَّتل " diartikan sebagai "sukarela" ketika  diartikan  tersendiri  tanpa  digabung  dengan  kata  " ُم ْوَص"  maka  dokumen-dokumen pencarian yang akan dimunculkan adalah yang berkaitan dengan kata "sukarela". Dokumen- dokumen pencarian yang berkaitan dengan kata "sukarela" yang dimunculkan sebagai hasil pencarian  bisa  dokumen-dokumen  yang  berkaitan  dengan  "pekerjaan  sukarela",  di  mana dokumen-dokumen tersebut tidak ada keterkaitan dengan "puasa sunnah". Kekurangan pada short query tersebut juga dapat berlaku pada long query jika pemilihan kata dalam query kurang  tepat.  Jika  pada short  query akan  menghasilkan  dokumen  yang  lebih  sedikit  dari seharusnya, maka pada long query juga demikian dan dokumen-dokumen hasil pencarian menjadi tidak spesifik.
Berdasarkan  kekurangan short  query dan long  query dalam  me- retrieve dokumen pencarian, jika suatu kata kunci pencarian dalam bahasa arab dialihbahasakan ke bahasa lain atau sebaliknya secara tekstual tanpa memperhatikan konteks maka akan mengalami reduksi makna. Selain itu, dokumen kitab seperti Al-Qur'an dan hadist memiliki bahasa Arab yang berbeda dari dokumen berbahasa Arab pada umumnya. Bahasa arab yang digunakan dalam dokumen kitab-kitab tersebut menggunakan bahasa Arab klasik yang disebut dengan "fusha" yang  memiliki  arti  asli atau  murni.  Sedangkan  pada  bahasa  Arab  pada  umumnya  disebut amiyyah,  yang  digunakan  dalam  kehidupan  sehari-hari.  Selain  itu,  morfologi  pembentuk kata  dalam  bahasa  Arab  sendiri  yang  kompleks  membuat  dalam  satu  makna  kata  dapat memiliki beragam bentuk serta pengaplikasiannya yang di beragam tempat atau dokumen berbahasa  Arab  yang  berbeda-beda.  Meskipun  penggabungan  perhitungan  kemiripan leksikal dan semantik mampu menangkap makna kata yang sama dari bentuk kata berbeda, tetapi jika suatu kata tersebut bukan kata-kata yang dipakai di dalam dokumen seperti Al- Qur'an dan hadist maka akan tetap menghasilkan dokumen yang kurang relevan. Oleh karena itu  pencarian  dokumen  berbahasa  Arab  khususnya  dokumen-dokumen  kitab  yang  berisi kajian  Islam  dibutuhkan  penguasaan  bahasa  Arab  oleh user yang  tidak  hanya  mampu melakukan pencarian menggunakan query berbahasa Arab tetapi juga memahami konteks dari  dokumen  yang  akan  dicari.  Sehingga  pemilihan  kata  dalam query yang  tepat  akan menghasil dokumen yang lebih relevan. Namun secara keseluruhan baik pada short query ataupun long query , keduanya mampu menghasilkan dokumen relevan lebih tinggi dengan menggunakan metode gabungan kemiripan leksikal dan semantik daripada metode lainnya.
Berdasarkan  Gambar  3,  grafik  rata-rata f-measure menunjukkan  bahwa  gabungan kemiripan leksikal dan semantik lebih unggul daripada metode yang lainnya baik pada all query , short query dan long query . Hal ini disebabkan pada gabungan perhitungan kemiripan
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
leksikal  dan  semantik  tidak  hanya  menggunakan  pembobotan  kata  sebagai  pengukuran kemiripan  dalam  perangkingan  dokumen  tetapi  juga  menggunakan  kemiripan  semantik untuk  menangkap  makna  kata.  Pembobotan  kata  (kemiripan  leksikal)  akan  mengukur kemiripan  antar  kata  yang  secara  lafal  sama,  di  mana  hal  ini  menyebabkan  kemiripan leksikal  tidak  dapat  menangkap  makna  kata.  Sebagai  contoh  kata  “ َحَبَذ”  yang  berarti sembelih/menyembelih.  Kata  tersebut  memiliki  bentuk  lain  yaitu  “ ُخَبْذَي”,  dan  “ َرَحَن”  yang artinya  sama-sama  sembelih/menyembelih.  Jika  hanya  menggunakan  kemiripan  leksikal, bentuk  lain  dari  kata  “ َحَبَذ” pada dokumen  tidak akan di- retrieve sebagai  hasil  pencarian, padahal  memiliki  makna  kata  yang  sama.  Sehingga  dari  keseluruhan  skenario  uji  coba, metode usulan yaitu penggabungan perhitungan kemiripan leksikal dan semantik memiliki rata-rata f-measure tertinggi yaitu sebesar 64.2%, 63.1% dan 65.7% pada all query , short query dan long  query secara  berturut-turut.  Hal  ini  menunjukkan  bahwa  penggabungan perhitungan  kemiripan  leksikal  dan  kemiripan  semantik  lebih  unggul  daripada  metode lainnya.

## KESIMPULAN
Penelitian  ini  mengusulkan  metode  dalam  perangkingan  dokumen  berbahasa  Arab. Usulan metode menggabungkan perhitungan kemiripan secara leksikal dan kemiripan secara semantik. Perhitungan kemiripan leksikal menggunakan pembobotan term melalui TF.IDF dan  perhitungan  kemiripan  semantik  diproses  menggunakan word  embedding untuk mendapatkan  kata-kata  terdekat  tiap  kata.  Berdasarkan  hasil  evaluasi  terhadap  seluruh skenario uji coba, kemiripan leksikal memiliki hasil evaluasi paling rendah di antara kedua metode lainnya. Hal ini disebabkan kemiripan leksikal tidak mempunyai kemampuan dalam menangkap makna kata. Pada kemiripan semantik, kemiripan tersebut berada pada peringkat lebih tinggi dari kemiripan leksikal dikarenakan kemampuannya dalam menangkap makna kata.  Namun,  meskipun  kemiripan  semantik  mampu  menangkap  makna  kata,  kemiripan tersebut  hanya  mempertimbangkan  makna  kata  saja  tanpa  mempertimbangkan  lafal  kata. Hal ini yang menyebabkan masih rendahnya kemiripan semantik dalam me- retrieve hasil dokumen yang lebih relevan. Sehingga, pada metode usulan yang mempertimbangkan lafal kata  (kemiripan  leksikal)  dan  makna  kata  (kemiripan  semantik)  mampu  me- retrieve dokumen relevan lebih banyak daripada kedua metode lainnya. Oleh karena itu hasil evaluasi metode  usulan  lebih  tinggi  daripada  kedua  metode  lainnya.  Untuk  pengembangan  lebih lanjut, metode  usulan  dapat  diimplementasikan  pada  dataset  lain  selain  dataset  berbahasa Arab.

## REFERENSI
[1] I. Bounhas, “On the Usage of a Classical Arabic Corpus as a Language Resource : Related Research and Key Challenges,” ACM Trans. Asian Low-Resour. Lang. Inf. Process. , vol. 18, no. 3, pp. 1–45, 2019.
[2] H.  M.  Al-barhamtoshy  and  K.  M.  Jambi,  “Arabic  Documents  Information  Retrieval  for  Printed  , Handwritten , and Calligraphy Image,” IEEE Access , vol. 9, pp. 51242–51257, 2021.
[3] L.  Gao, Z.  Dai,  and  J.  Callan,  “COIL :  Revisit  Exact  Lexical  Match  in  Information  Retrieval  with Contextualized Inverted List,” in Proceedings of the 2021 Conference of the North American Chapter of  the Association  for Computational  Linguistics: Human Language Technologies , 2021, pp. 3030– 3042.
[4] K.  A.  Kwaik,  M.  Saad,  S.  Chatzikyriakidis,  and  S.  Dobnik,  “A  Lexical  Distance  Study  of  Arabic Dialects,” in The 4th International Conference on Arabic Computational Linguistics (ACLing 2018) , 2018, vol. 142, pp. 2–13.
[5] H. Kaur and R. Maini, “Assessing lexical similarity between short sentences of source code based on
Vol. 4, No. 2, Agustus 2022, Halaman 134-145
granularity,” International Journal of Information Technology , vol. 1, no. 2, pp. 58–64, 2018.
[6] M. A. Rofiqi, A. C. Fauzan, A. P. Agustin, and A. A. Saputra, “Implementasi Term-Frequency Inverse Document  Frequency  (  TF-  IDF  )  Untuk  Mencari  Relevansi  Dokumen  Berdasarkan  Query,” ILKOMNIKA: Journal of Computer Science and Applied Informatics , vol. 1, no. 2, pp. 58–64, 2019.
[7] A. T. Ni’mah and A. Z. Arifin, “Perbandingan Metode Term  Weighting  terhadap Hasil Klasifikasi Teks pada Dataset Terjemahan Kitab Hadis,” Rekayasa , vol. 13, no. 2, pp. 172–180, 2020.
[8] U. Kiftiyani, S. Suprapto, and N. Yudistira, “Perangkingan Dokumen Berbahasa Arab Berdasarkan Query dengan Metode Klasifikasi Naïve Bayes dan K- Nearest Neighbor,” Techno.COM , vol. 19, no. 4, pp. 321–330, 2020.
[9] A. Devi, L. Azizah, A. Z. Arifin, Maryamah, R. W. Sholikah, and R. Indraswari, “Metode Pembobotan Kata Berbasis Cluster Untuk Perangkingan Dokumen Berbahasa Arab,” Techno.COM , vol. 20, no. 2, pp. 259–267, 2021.
[10] R. W. Sholikah, D. S. Y. Kartika, A. Z. Arifin, and D. Purwitasari, “Term Weighting based on Positive Impact  Factor Query for Arabic Fiqh,” Jurnal  Ilmu  Komputer  dan  Informasi  (Journal  of  Computer Science and Information) , vol. 10, no. 1, pp. 29–35, 2017.
[11] K. F. H. Holle, A. Z. Arifin, and D. Purwitasari, “Preference Based Term Weighting For Arabic Fiqh Document  Ranking,” Jurnal  Ilmu  Komputer  dan  Informasi  (Journal  of  Computer  Science  and Information) , vol. 8, no. 1, pp. 45–52, 2015.
[12] M. A. Fauzi, A. Z. Arifin, and A. Yuniarti, “Arabic Book Retrieval using Class and Book Index Based Term Weighting,” International Journal of Electrical and Computer Engineering (IJECE) , vol. 7, no. 6, pp. 3705–3710, 2017.
[13] D. Chandrasekaran and V. Mago, “Evolution of Semantic Similarity  - A Survey,” ACM Computing Surveys , vol. 54, no. 2, pp. 1–37, 2022.
[14] P. Sunilkumar and A. P. Shaji, “A Survey on Semantic Similarity,” in 2019 International Conference on Advances in Computing, Communication and Control (ICAC3) , 2019.
[15] G.  U.  Abriania  and  M.  A.  Yaqin,  “Analisis  Implementasi  Metode  Semantic  Similarity  untuk Pengukuran  Kemiripan  Makna  Antar  Kalimat,” ILKOMNIKA:  Journal  of  Computer  Science  and Applied Informatics , vol. 1, no. 2, pp. 47–57, 2019.
[16] A. El Mahdaouy, S. Ouatik, E. Alaoui, and E. Gaussier, “Improving Arabic information retrieval using word embedding similarities,” International Journal of Speech Technology , 2018.
[17] E. Moatez, B. Nagoudi, D. Schwab, S. Similarity, E. Moatez, and B. Nagoudi, “Semantic Similarity of Arabic Sentences with Word Embeddings,” in Third Arabic Natural Language Processing Workshop , 2017.
[18] D. Suleiman and A. Awajan, “Comparative Study of Word Embeddings Models and Their Usage in Arabic  Language  Applications,” 2018  International  Arab  Conference  on  Information  Technology (ACIT) , pp. 1–7, 2018.
[19] N. Othman, R. Faiz, and K. Smaili, “Enhancing Question Retrieval in Community Question Answering Using  Word  Embeddings,”  in 23rd  International  Conference  on  Knowledge-Based  and  Intelligent Information & Engineering Systems , 2019, pp. 485–494.
[20] M. Maryamah, “Query Expansion  Based on Wikipedia Word Embedding and BabelNet  Method for Searching Arabic Documents,” vol. 12, no. 5, pp. 202–213, 2019.
[21] Hamsiati, “Pengenalan Morfologi Bahasa Arab bagi Pembelajar Pemula,” Pusaka Jurnal  Khazanah Keagamaan , vol. 6, no. 1, pp. 111–126, 2019.
[22] N. Aris, “Digital  Library:  Mengenal  Al-Maktabah Al-Syamilah,” LIBRARIA:  Jurnal  Perpustakaan , vol. 3, no. 2, pp. 166–180, 2015.
[23] N.  Alghamdi  and  F.  Assiri,  “A  Comparison  of  fastText  Implementations  Using  Arabic  Text Classification,” in Intelligent  Systems and Applications Proceedings of  the 2019 Intelligent  Systems Conference (IntelliSys) , 2020, vol. 2, pp. 306–311.
[24] D. Roy, D. Ganguly, S. Bhatia, S. Bedathur, and M. Mitra, “Using Word Embeddings for Information Retrieval:  How  Collection  and  Term  Normalization  Choices  Affect  Performance,”  in CIKM  ’18: Proceedings of the 27th ACM International Conference on Information and Knowledge Management , 2018, pp. 1835–1838.
[25] A. Lauscher, R. Takieddin, S. P. Ponzetto, and G. Glavaˇ, “AraWEAT : Multidimensional Analysis of Biases in Arabic Word Embeddings,” 2020.
[26] A. Abdi, S. Mariyam, and R. M. Aliguliyev, “QMOS : Query-based multi-documents opinion-oriented summarization,” Information Processing and Management , vol. 54, no. 2, pp. 318–338, 2018.