## Klasifikasi Topik Multi Label pada Hadis Shahih Bukhari Menggunakan K-Nearest Neighbor dan Latent Semantic Analysis
Dian Chusnul Hidayati, Said Al Faraby, Adiwijaya
School of Computing, Telkom University, Bandung, Indonesia Email: 1 dianchusnulh@student.telkomuniversity.ac.id, 2 saidalfaraby@telkomuniversity.ac.id, 3 adiwijaya@telkomuniversity.ac.id
Submitted 20-12-2019; Accepted 03-02-2020; Published 15-02-2020

## Abstrak
Hadis  merupakan  sumber  hukum  Islam  kedua  setelah  Al-Quran  sehingga  menjadikan  hadis  penting  untuk  dipelajari.  Namun  dalam mempelajari hadis, terdapat kesulitan untuk menentukan hadis apa saja yang tergolong ke dalam topik anjuran, larangan, dan in formasi. Hal ini tentu menjadi kendala, khususnya bagi umat Islam, dalam mempelajari hadis  . Oleh karena itu, perlu dilakukannya klasifikasi hadis ke dalam topik anjuran, larangan, dan informasi, atau gabungan dari ketiganya yang disebut sebagai klasifikasi topik multi label. Klasifikasi dapat dilakukan dengan metode K-Nearest Neighbor yang merupakan salah satu metode terbaik dalam Vector Space Model dan merupakan metode paling sederhana namun cukup efektif.  Namun KNN memiliki kekurangan dalam menghadapi dimensi vektor yang  tinggi,  sehingga  menyebabkan  waktu  komputasi  klasifikasi  yang  tinggi  pula.  Hal  ini  mendasari  dilakukannya  klasifikasi  Hadis Shahih Bukhari ke dalam topik anjuran, larangan, dan informasi menggunakan metode Latent Semantic Analysis  - K-Nearest Neighbor (LSA-KNN)  dalam  mengatasi  kekurangan  KNN.  Penggunaan  metode  Binary  Relevance  juga  dilakukan  pada  penelitian  ini  untuk memproses multi label data. Penelitian ini menghasilkan performansi LSA-KNN sebesar 90.28% dengan waktu komputasi sebesar 19 menit 21 detik dan performansi KNN sebesar 90.23% dengan waktu komputasi sebesar 37 menit 06 detik, sehingga menunjukkan bahw a metode LSA-KNN memiliki kinerja yang lebih baik dibandingkan dengan KNN.
Kata Kunci: Hadis, Klasifikasi, Latent Semantic Analysis, K-Nearest Neighbor, Binary Relevance

## Abstract
Hadith is the second source of Islamic law after Al-Quran, making it important to study. However, there are some difficulties in learning hadith, such as to determine which hadith belongs to the topic of suggestions, prohibitions, and information. This certainly obstructs the hadith learning process, especially for Muslims. Therefore, it is necessary to classify hadiths into the topic of suggestions , prohibitions, information,  and  a  combination of  the  three  topics  which  also  called  as  multi-label topic.  The  classification  can  be  done  with  the  K- Nearest Neighbor, it is one of the best methods in the Vector Space Model and is the simplest but quite effective method. How ever, the KNN  has  a  lack  in  dealing  with  high  vector  dimension,  resulting  in  the  long  time  computing  classification.  For  that  reason,  it  is necessary  to  classify  Sahih  Bukhari's  Hadiths  into  the  topic  of  recommendations,  prohibitions,  and  information  using  the  Latent- Semantic Analysis - K-nearest Neighbor (LSA-KNN) method. Binary Relevance method is also employed in this research to process the multi-label data. This research shows that the performance of LSA-KNN is 90.28% with the computation time is 19 minutes 21 seconds and the performance of KNN is 90.23% with the computation time is 37 minutes 06 seconds, which means that the LSA-KNN method has a better performance than KNN.
Keywords : Hadith, Classification, Latent Semantic Analysis, K-Nearest Neighbor, Binary Relevance

## 1. PENDAHULUAN
Hadis  merupakan  segala  perkataan,  perbuatan,  ketetapan,  dan  persetujuan  dari  Nabi  Muhammad  SAW  [1].  Hal  ini menjadikan hadis sebagai pedoman atau sumber hukum kedua umat Islam setelah Al-Qur’an. Segala perkataan, perbuatan, ketetapan,  dan  persetujuan  dari  Nabi  Muhammad  SAW  ini  kemudian  dikumpulkan  oleh  para  ahli  hadis.  Salah  satu  di antaranya ialah Imam Bukhari dengan hasilnya yang disebut sebagai Hadis Shahih Bukhari [2].
Berbagai macam ilmu yang dapat dipelajari di dalam hadis menjadikan hadis sebagai sesuatu yang sangat penting untuk dipelajari. Hadis menjelaskan mengenai anjuran untuk melakukan sesuatu, larangan untuk tidak melakukan sesuatu, dan  informasi  lainnya  yang  sangat  penting  untuk  dipelajari.  Namun  dalam  mempelajari  hadis,  terdapat  kesulitan  dalam menentukan  hadis  apa  saja  yang  tergolong  ke  dalam  anjuran,  larangan,  dan  informasi,  ataupun  gabungan  di  antara ketiganya.  Hal  ini  tentu  menjadi  kendala,  khususnya  bagi  umat  Islam,  untuk  dapat  mempelajari  hadis  dan  maknanya dengan baik. Oleh karena itu, perlu  dilakukannya klasifikasi  teks Hadis Shahih  Bukhari  ke dalam anjuran, larangan, dan informasi, ataupun gabungan di antara ketiganya.
Klasifikasi  merupakan  metode  yang  dapat  mengkategorikan  data  atau  teks  ke  dalam  satu  atau  lebih  kategori. Terdapat  beberapa  penelitian  terdahulu  mengenai  klasifikasi  Hadis  Shahih  Bukhari  terjemahan  Indonesia  yang menghasilkan  performansi  yang  cukup  baik.  Penelitian  pertama  [3]  melakukan  klasifikasi  data single  label dengan menggunakan Support  Vector  Machine dan  menghasilkan F1-Score sebear  88%.  Penelitian  kedua  [4]  melakukan klasifikasi  data single  label dan  data multi  label dengan  menggunakan Information  Gain Backpropogation  Neural Network .  Peelitian  ini  menghasilkan F1-Score sebesar  65.275%  pada single  label dan  88.42%  pada multi  label data. Penelitian ketiga [5] melakukan klasifikasi hadis multi label dengan menggunakan Rule-based pada ekstraksi fitur untuk mengurangi dimensional yang tinggi dan menghasilkan Hamming Loss sebesar 0.0623.
Pada  penelitian  [6],  [7],  dan  [8],  belum  dilakukan  penelitian terhadap  data  hadis  dengan  menggunakan  salah  satu metode  klasifikasi  paling  sederhana,  namun  cukup  efektif  dalam  melakukan  klasifikasi  teks,  yaitu  metode k-Nearest Neighbor (kNN) [9]. KNN merupakan salah satu metode klasifikasi terbaik di dalam Vector Space Model (VSM). Metode KNN merupakan teknik klasifikasi non-parametrik yang sangat efektif berdasarkan pada pengenalan pola statistik. Hal ini
membuat  kNN  dapat  menghasilkan  tingkat  akurasi  tinggi.  Namun  dalam  klasifikasi  teks,  KNN  juga  memiliki  beberapa kekurangan,  yaitu  dalam  menghadapi  data  dengan  dimensi  vektor  yang  tinggi  yang  menyebabkan ruang  yang  besar  dan waktu komputasi yang tinggi. [10]. Oleh karena itu, diperlukan metode yang lebih efektif untuk dapat mereduksi dimensi agar mengurangi waktu komputasi dari algoritma KNN [10].
Penelitian  [10]  melakukan  klasifikasi  teks  dengan  menggunakan  improvisasi  terhadap  algoritma  KNN menggunakan Latent  Semantic  Analysis (LSA).  LSA  mampu  mereduksi  fitur  vector,  sehingga  mampu  mengurangi kompleksitas  waktu  klasifikasi  KNN.  Penelitian  [10]  juga  membuktikan  bahwa  performansi  yang  didapat  pada  LSA  - KNN mengalami peningkatan jika dibandingkan dengan klasifikasi menggunakan KNN saja.
Penelitian  ini  akan  melakukan  melakukan  klasifikasi  data  hadis  Shahih  Bukhari  ke  dalam  anjuran,  larangan, informasi,  atau  gabungan  di  antara  ketiganya  yang  disebut  sebagai  klasifikasi  teks  topik multi  label. Penelitian  ini menggunakan LSA - KNN sebagai metode klasifikasinya. Namun, klasifikasi teks dengan menggunakan LSA - KNN pada dasarnya  hanya  dapat  melakukan  klasifikasi  teks  terhadap single  label data.  Dengan  demikian,  penelitian  ini  juga  akan menggunakan Binary Relevance (BR) untuk dapat mentransformasikan data multi label menjadi single label [11].

## 2. METODE PENELITIAN
Penelitian ini membangun sistem yang dapat melakukan klasifikasi multi label topik terhadap data Hadis Shahih Bukhari terjemahan  Bahasa  Indonesia  menggunakan  algoritma K-Nearest  Neighbor dan Latent  Semantic  Analysis .  Terdapat beberapa tahapan yang dilakukan dalam membangun sistem ini,  yaitu preprocessing , ekstraksi fitur menggunakan TF-IDF dan rule-based ,  reduksi  dimensi  menggunakan  LSA,  transformasi multi  label menjadi single  label menggunakan BR, klasifikasi  menggunakan  KNN,  dan  evaluasi  menggunakan  perhitungan F1-Score .  Gambaran  sistem  secara  umum  dapat dilihat pada Gambar 1.
Gambar 1. Diagram Alur Sistem

## 2.1 Data Set
Penelitian ini menggunakan 2000 data Hadis Shahih Bukhari terjemahan Bahasa Indonesia. Data tersebut sebelumnya telah diberi  label  secara manual  atau hand-labelling oleh penelitian  [4] sesuai  dengan karakteristik dari  setiap topik, kemudain dilakukan validasi  pada sampel data oleh pihak yang expert di  bidangnya. Data hadis ini bersifat multi label yang terdiri dari  tiga  kelas  yaitu  anjuran,  larangan  dan  informasi.  Jumlah  data  dengan  label  1  pada  kelas  anjuran,  larangan,  dan informasi ialah sebesar 376, 204, dan 1977. Contoh data hadis yang digunakan pada penelitian ini dapat dilihat pada Tabel 1.
Tabel 1. Representasi Data Hadis Anjuran Laranngan Informasi Janganlah kamu pindah atau pergi hingga kamu mendengar suara atau mencium baunya. [4] 0 1 1

## 2.2 Preprocessing
Preprocessing membersihkan  dataset  dari  unsur-unsur  yang  tidak  diperlukan  selama  proses  klasifikasi.  Gambaran  proses preprocessing yang dilakukan ialah seperti pada Gambar 2 berikut:
Gambar  2. Tahapan Preprocessing
Proses preprocessing seperti yang telah digambarkan pada Gambar 3 ialah sebagai berikut: a. Noise Removal, menghilangkan noise yang berupa tanda baca, angka, dan karakter non-ASCII. b. Case Folding, mengubah seluruh huruf kapital menjadi huruf kecil atau sebaliknya.
c. Stopword  Removal ,  menghilangkan  kata-kata  yang  dianggap  memiliki  pengaruh  yang  kecil,  yang  merupaan  kata dengan frekuensi kemunculan yang tinggi dibandingkan dengan kata-kata lainnya.
d. Tokenizing, memecah kalimat dari setiap dokumen pada dataset yang sudah bersih ke dalam kata perkata.

## 2.3 Ekstraksi Fitur
Ekstraksi  Fitur yang digunakan ialah dengan penggabungan metode TF-IDF  dan rule-based . Perhitungan TF-IDF dengan penambahan rule-based sebagai  fiturnya.  TF-IDF  merupakan    metode  statistik  yang  digunakan  untuk  menilai  tingkat kepentingan  suatu  kata  terhadap  suatu  dokumen  atau  kategori  dalam  kumpulan  file  untuk  menentukan  karakteristik dokumen  menggunakan  kata-kata  dengan  tingkat  kepentingan  yang  tinggi.  TF-IDF  terdiri  dari  dua  bagian,  yaitu Term Frequency (TF) dan Invers Document Frequency (IDF).  TF adalah merupakan jumlah kemunculan setiap kata pada setiap dokumen  dan  IDF  merepresentasikan  jumlah  dokumen  yang  memiliki  kata  tertentu  berdasarkan  jumlah  kata  dalam  teks. Perhitungan TF-IDF dapat dilakukan dengan menggunakan rumus seperti pada persamaan 1 [12].
𝑊 𝑖,𝑗 = 𝑡𝑓 𝑖,𝑗 × 𝑖𝑑𝑓 = 𝑡𝑓 𝑖𝑗 × 𝑙𝑜𝑔 ( 𝐷 𝑑𝑓 𝑖 ) (1)
Keterangan : w ij = Bobot kata t j terhadap dokumen d i tf ij = Jumlah kemunculan kata t j dalam dokumen d i D  = Jumlah dokumen Df i = Jumlah kemunculan kata dalam dokumen
Rule-Based digunakan sebagai metode pemilihan fitur yang dapat meningkatkan efisiensi dari sistem yang dibangun [5]. Rule-based dibangun dengan cara mengamati pola kalimat dari kata dan susunan kata dari banyak data Hadis sebagai representasi dari seluruh hadis berdasarkan penelitian [5]. Aturan-aturan yang dimiliki untuk mendefinisikan label anjuran terdapat pada Tabel 2 [5].
Tabel 2. Aturan Topik Anjuran
Aturan Contoh Kata Kata dengan kelas kata (VB) + lah Makanlah Kata dengan kelas kata (RB) + lah Segeralah Kata dengan kelas kata (JJ) + lah Beramallah Kata yang mengandung ‘anjur’ dan memiliki kelas kata (VB) Menganjurkan Kata yang mengandung ‘wajib’ dan memiliki kelas kata (VB) Mewajibkan Kata ‘kewajiban’ dan memiliki kelas kata (NN) Kewajiban Kata Hendaknya / Hendak Hendaknya / Hendak Kata Mentaati / Mentaatiku
Mentaati / Mentaatiku
Kata Sebaik-baiknya
Sebaik-baiknya
topik larangan terdapat pada Tabel 3 [5],
Tabel 3. Aturan Topik Larangan
Aturan Contoh Kata Kata dengan kelas kata (NEG) + lah Janganlah Kata yang mengandung ‘larang’ Melarang Kata yang mengandung ‘haram’ Diharamkan
Urutan kata ‘tidak pernah’ dan setelahnya adalah kata dengan kelas kata (VB) tidak pernah dihalalkan Urutan kata ‘tidak menyekutukannya’ Tidak menyekutukannya Kata Jangan Jangan Kata Membangkang Membangkang Kata Mendurhakaiku Mendurhakaiku
dan topik larangan terdapat pada Tabel 4 [5].
Tabel 4. Aturan Topik Informasi
Aturan Contoh Kata Kata yang diawali dengan ‘me-’ dan diakhiri dengan ‘-kan’ dan kata tersebut memiliki kelas kata (VB) Mempekerjakan Niscaya Niscaya Sesungguhnya Sesungguhnya Bahwa Bahwa Apabila Apabila Maka Maka Barangsiapa Barangsiapa

## 2.4 Reduksi Dimensi
Latent  Semantic  Analysis merupakan  metode unsupervised yang  berdasarkan  pada  teori  komputasi  atau  perhitungan statistika  untuk  mengekstrak  dan  merepresentasikan  makna  konseptual  dari  fitur-fitur  dan  kesamaan  dokumen  menjadi representasi  vector, dimana ide utamanya adalah kata-kata yang digunakan dalam konsep yang sama cenderung memiliki makna yang sama [10]. LSA didasarkan pada teknik matematika yang diberi nama Singular Value Decomposition (SVD) [13].
Singular Value Decomposition (SVD) adalah teknik matematika matriks dekomposisi  untuk  mengidentifikasi  pola dalam hubungan antara fitur dan dokumen yang terdapat dalam koleksi terstruktur teks dan menentukan kesamaan makna fitur dan dokumen. SVD didasarkan pada teorema dari aljabar linier dimana matriks segi empat A dari representasi vektor term-document data  latih  asli  didekomposisi  menjadi  3  matriks,  yaitu  matriks  orthogonal  U,  matriks  diagonal  Σ,  dan transpose matriks orthogonal V t [14]. Gambaran dari dekomposisi matriks menggunakan SVD terlihat pada Gambar 2.

## Gambar  3. Singular Value Decomposition
Matriks U merupakan matriks yang kolomnya adalah eigen vectors dari matriks AA t . Matriks ini juga disebut eigen vector kiri  dan  merepresentasikan  hubungan  antara  fitur  dengan  konsep.  Kemudian,  matriks  Σ  merupakan  matriks  yang nilai  diagonalnya  adalah  nilai  singular  dari  matriks  A.  Matriks  ini  merepresentasikan  hubungan  antar  konsep.  Matriks terakhir,  yaitu  matriks  V t merupakan  matriks transose dari  matriks  V,  dimana  matriks  V  merupakan  matriks  yang kolomnya  adalah eigen  vectors dari  matriks  A t A.  Matriks  V t ini  disebut eigen  vector kanan  dan  merepresentasikan hubungan antara konsep dengan dokumen.
Setelah didapatkan dekomposisi dari vektor dokumen data latih asli menjadi matriks U, Σ, dan V t , maka selanjutnya dilakukan  reduksi  dimensi  vektor.  Reduksi  dimensi  vektor  dilakukan  dengan  mengambil  sejumlah  k  dimensi  fitur  yang digunakan. Sehingga matriks yang dimiliki menjadi U k ( m x k ), Σ k ( k x k ), dan V t k ( k x n ) [10]. Penggunaan Latent Semantic Analysis pada klasifikasi teks ini menghasilkan matriks baru yang mampu mengurangi dimensi  menjadi  sejumlah  k  dimensi.  Matriks  representasi  dokumen  pada  data  uji  dan  data  latih  yang  baru  diperoleh menggunakan persamaan 2 [14] sebagai berikut:
d* = d T U k (2)
Keterangan :
d* = Vektor dokumen baru hasil reduksi dimensi d T = Vektor dokumen asli U k = Eigen vector kiri hasil SVD

## 2.5 Transformasi Multi Label
Transformasi multi label pada penelitian ini menggunakan Binary Relevance.  Binary Relevance (BR) merupakan metode yang  paling  sederhana  dan  paling  populer  untuk  dapat  mentransformasikan  permasalahan multi  label data  menjadi sejumlah  permasalahan single  label. [15] . BR  melakukan  transoformasi  data  tanpa  mempertimbangkan  ketergantungan antar label [15] .
Representasi data setelah dilakukan Binary Relevance diperlihatkan pada Tabel 4 untuk topik anjuran,
Tabel 5. Representasi Hasil Binary Relevance Topik Anjuran Hadis Anjuran Janganlah kamu pindah atau pergi hingga kamu mendengar suara atau mencium baunya. [4] 0
Tabel 6 untuk topik larangan.
Tabel 6. Representasi Hasil Binary Relevance Topik Larangan Hadis Larangan Janganlah kamu pindah atau pergi hingga kamu mendengar suara atau mencium baunya. [4] 1
dan Tabel 8 untuk topik informasi.
Tabel 7. Representasi Hasil Binary Relevance Topik Informasi
Hadis Informasi Janganlah kamu pindah atau pergi hingga kamu mendengar suara atau mencium baunya. [4] 1

## 2.5 Klasifikasi
Klasifikasi  dilakukan  dengan  menggunakan  metode K-Nearest  Neighbor (KNN).  KNN  adalah  pembelajaran  algoritma klasifikasi supervised . Secara umum, algoritma KNN dapat dilihat dilakukan dengan tahapan sebagai berikut [10]:
1) Tentukan nilai K
2) Ulangi untuk setiap data dalam data uji, lakukan:
i) Hitung nilai kemiripan data uji terhadap seluruh data latih menggunakan Cosine Similarity dengan persamaan 3.
ii) Urutkan nilai kemiripan secara descending iii) Pilih objek pada data latih sejumlah k tetangga terdekat terhadap objek data uji
iv) Pilih kelas terbanyak yang dimiliki oleh k tetangga terdekat

## 3. ANALISA DAN PEMBAHASAN
Pengujian  sistem  dilakukan  dengan  membagi  data  uji  dan  data  latih  menggunakan  5- Fold  Cross  Validation yang membagi  2000  data  hadis  menjadi  1600  data  latih  dan  400  data  uji.  Dataset  yang  telah  dibagi  kemudian  digunakan dalam  pengujian  klasifikasi  LSA-KNN.  Pengujian  dilakukan  untuk  mendapatkan  hasil  performansi  sistem  yang terbaik.
Pada  skenario  1  pengujian  sistem  dilakukan  pengujian  terhadap  formula  pembentukan  data  uji  dan  data  latih hasil  LSA.  Skenario  ini  menggunakan  13- nearest  neighbor dan  persentasi  dimensi  vektor  sebesar  30%  pada  LSA sebagai  parameternya.  Kemudian  dilakukan  pengujian  terhadap  penggunaan  formula  d*  =  d T U k Σ k -1 dan  d*  =  d T U k sebagai parameter yang akan diuji. Skenario ini dilakukan untuk mengetahui pengaruh formula pembentukan data uji dan data latih hasil LSA terhadap performansi sistem. Hasil performansi dari skenario 1 tertera pada Tabel 8.
Tabel 8. Hasil Pengujian Skenario 1 Formula F-1 Score
d* = d T U k Σ k - 1
86.88
d* = d T U k 88.54
Hasil yang didapat dan ditampilkan pada Tabel 8 menunjukkan performansi terbaik terdapat pada penggunaan formula  d*  =  d T U k .  Pada  formula  ini  tidak  digunakan  matriks  Σ k -1 sebagai  matriks  pengali, , dimana  matriks  ini merupakan singular  value yang  terurut  secara descending dan  melambangkan  makna  konseptual  yang  tersembunyi ( latent  semantic )  dari  matriks term-document asli.  Matriks  ini  tentu  akan  memiliki  keterhubungan  yang  kuat,  tidak hanya  dengan term yang  ada,  namun  juga  dengan document nya.  Oleh  karena  itu,  penggunaan  matriks  ini  akan menurunkan  performansi  sistem  yang  juga  melibatkan  nilai  makna  konseptual  terhadap  document.  Hal  ini menyebabkan  pembangunan  sistem  tanpa  perkalian  matriks  Σ k -1 dalam  membangun  data  latih  dan  data  uji  baru menghasilkan performansi  yang lebih baik, karena hanya menggunakan matriks dokumen asli (d T ) dan matriks yang merepresentasikan keterhubungan antara term dengan makna konseptual term yang tersembunyi (U k ).
Setelah  ditentukannya  formula  yang  terbaik,  maka  dilakukan  skenario  2  pengujian  sistem.  Pada  skenario  2 dilakukan pengujian terhadap persentasi jumlah dimensi vektor yang akan digunakan. Skenario ini menggunakan 13- nearest neighbor dalam klasifikasinya. Kemudian dilakukan pengujian terhadap persentasi dimensi vektor sebesar 30,
20,  10,  5,  dan  2,2  sebagai  parameternya. Skenario  ini  dilakukan  untuk  mencari  persentase  jumlah  dimensi  vektor terbaik  yang  dalam  melakukan  klasifikasi  dengan  metode  LSA-KNN.  Hasil  performansi  yang  didapat  dari  skenario pengujian dapat dilihat pada Tabel 9.
Tabel 9. Hasil Pengujian Skenario 2 % Dimensi Vektor Jumlah Dimensi Vektor Performansi Precision (%) Recall (%) F1-Score (%) 30 1600 96.30 81.97 88.54 20 1388 96.34 82.00 88.58 10 694 96.23 82.37 88.74 5 347 94.84 82.92 88.45 2.2 150 93.58 83.01 87.99
Dari  hasil  pengujian  pada  skenario  2,  hal  yang  dapat  dianalisis  dari  Tabel  9  ialah  hasil  performansi  sistem terbaik didapatkan dengan penggunaan persentasi dimensi vektor sebesar 10% dengan jumlah fitur sebesar 694. Hal ini menunjukkan  bahwa  semakin  tinggi  dimensi  fitur  yang  digunakan,  maka  hasil  performansi  sistem  akan  membaik, namun  jika  sudah  melebihi  titik  optimum,  maka  performansi  sistem  akan  menurun.  Performansi  yang  menurun  ini disebabkan  oleh  semakin  bertambahnya  fitur-fitur  yang  tidak  dibutuhkan  oleh  sistem  karena  memiliki  korelasi  atau nilai  makna  konseptual  yang  rendah  terhadap  dokumen  yang  dimiliki.  Pada  titik  optimum,  yaitu  dengan  jumlah dimensi sebesar 10% dari data asli, ruang semantik yang baru sudah mampu mewakili ruang fitur yang sebenarnya. Skenario  selanjutnya,  yaitu  skenario  3,  melakukan  pengujian  sistem  terhadap  penggunaan stemming dalam tahapan preprocessing untuk  metode  LSA-KNN.  Pengujian  ini  dilakukan  untuk  mengetahui  pengaruh  penggunaan stemming dalam  pembangunan  sistem  terhadap  data  Hadis  Shahih  Bukhari.  Hasil  performansi  yang  didapat  dari skenario pengujian terdapat pada Tabel 10.
Tabel 10. Hasil Pengujian Skenario 3 Stemming Performansi Precision (%) Recall (%) F1-Score (%) Ya 94.46 82.28 87.94 Tidak 96.23 82.37 88.74
Tabel 10 memperlihatkan bahwa penggunaan stemming pada data Hadis Shahih Bukhari dengan metode LSA- KNN  tidak  memberikan  performansi  sistem  yang  lebih  baik.  Hal  tersebut  terjadi  karena  data  hadis  setelah preprocessing dengan melakukan stemming dapat menghapus karakteristik dari setiap topik atau kelas.
Berdasarkan pengujian skenario 3, maka dilakukan pengujian untuk mencoba meningkatkan performansi sistem pada  setiap  topiknya.  Pengujian  yang  dilakukan  adalah  dengan  menambahkan rule-based  feature  extraction pada metode TF-IDF. Hasil pengujian TF-IDF dan rule-based dapat dilihat pada Tabel 11.
Tabel 11. Hasil Pengujian Skenario 4 Topik F1-Sore (%) TF-IDF TF-IDF dan Rule-Based Anjuran 27.81 36.40 Larangan 40.66 58.83 Informasi 99.42 99.42 Keseluruhan Topik 88.74 90.28
Berdasarkan hasil yang diperoleh pada skenario  4 dengan hasil seperti pada tabel  11, dapat  dibuktikan bahwa penggunaan Rule-Based sebagai  ekstraksi  fitur  mampu  meningkatkan  performansi  sistem.  Hal  ini  disebabkan  oleh pendefinisian yang lebih nyata berdasarkan aturan yang dimiliki untuk membedakan karakteristik setiap topik. Contoh perbedaan  hasil  klasifikasi  menggunakan  TF-IDF  dan  penggabungan  antara  TF-IDF  dan Rule-Based terdapat  pada Tabel 12.
Tabel 12. Data Hasil Pengujian Skenario 4 Hadis Target Prediksi TF-IDF TF-IDF dan Rule-Based
Janganlah  kamu  pergi  hingga  engkau  mendengar suara atau mencium bau. [4] 0,1,1 0,0,1 0,1,1 Jika  salah  seorang  dari  kalian  masuk  ke  dalam WC  untuk  buang  hajat,  maka  janganlah menghadap  ke  arah  kiblat  membelakanginya. Hendaklah  ia  menghadap  ke  arah  timurnya  atau baratnya. [4] 1,1,0 0,1,1 1,1,1 Sebab  itu  hanyalah  semisal  keringat  dan  bukan darah  haid.  Jika  datang  haidmu  maka  tinggalkan shalat,  dan  jika  telah  terhenti  maka  bersihkanlah sisa  darahnya  lalu  shalat.  Hisyam  berkata, Bapakku  (Urwah)  menyebutkan,  Berwudlulah kamu setiap akan shalat hingga waktu itu tiba. [4] 1,1,1 0,0,1 1,0,1
Pada Tabel 12 ini, penggunaan rule-based pada hadis pertama mampu mengenali kata “Janganlah” sebagai suatu bentuk karakteristik dari topik larangan pada data pertama, mendefinisikan kata “Hendaklah” sebagai anjuran pada data kedua, dan “bersihkanlah” pada  sebagai  anjuran  pada data ketiga, sedangkan TF-IDF  tanpa menggunakan rule-based belum mampu mengenali karakteristik tersebut. Namun kedua percobaan ini masih belum bisa membedakan data mana yang termasuk ke dalam informasi, seperti yang terjadi pada data kedua. Hal  ini dapat  terjadi karena perbedaan suatu hadis termasuk ke dalam informasi juga sulit dibedakan secara kasar mata, selain itu data latih yang dimiliki terdiri dari 1977 untuk kelas 1 dan 44 untuk kelas 0 pada topik informasi.  Sehingga rule mengenai dokumen mana yang termasuk informasi itu membuat sistem tetap mengenal dokumen mana yang termasuk informasi, namun sistem masih kesulitan menentukan  dokumen  mana  yang  tidak  termasuk  ke  dalam  informasi  karena  kurangnya  bahan  pembelajaran  yang dimilikinya. Pada data ketiga juga terlihat  juga bahwa penggunaan TF-IDF  saja ataupun gabungan antara TF-IDF  dan rule-based belum benar-benar mampu mengenali larangan yang memiliki makna implisit dari suatu susunan kata. Setelah  melakukan  pengujian  untuk  memaksimalkan  metode  dan  parameter  yang  digunakan  pada  algoritma LSA-KNN,  maka  selanjutnya  dilakukan  perbandingan  hasil  dari  penggunaan  metode  LSA-KNN  dan  KNN.  Hasil pengujian ini terdapat pada Tabel 13.
Tabel 13. Hasil Pengujian Skenario 5 Metode Parameter Pengujian Waktu perFold F1-Score (%) KNN 37 menit 06 detik 90.23 LSA-KNN 19 menit 21 detik 90.28
Hasil yang terdapat pada Tabel 13 membuktikan bahwa metode LSA-KNN mampu meningkatkan kinerja sistem jika dibandingkan dengan metode KNN. Penggunaan LSA pada metode KNN mampu meningkatkan performansi  dan menurunkan waktu komputasi. Hal ini disebabkan oleh penggunaan metode LSA yang mampu menganalisis hubungan atara term dan document sehingga  mampu  menemukan  makna  tersembunyi  di  dalam  dataset.  Penggunaan  LSA  juga mampu  mengurutkan  tingkat  keterhubungan  makna  kontekstual  secara  tersembunyi,  sehinga  mampu  memunculkan representasi  jumlah  dimensi  ruang  semantik  yang  lebih  rendah  dari  aslinya  dengan  mengambil  sejumlah  k  dimensi terpenting.  Berkurangnya  dimensi  fitur  yang  digunakan  pada  proses  klasifikasi  inilah  yang  menjadi  penyebab berkurangnya waktu komputasi

## 4. KESIMPULAN
Berdasarkan hasil pengujian dan analisis yang telah dilakukan, maka dapat disimpulkan bahwa beberapa rangkaian metode, perhitungan,  atau  parameter  yang  lebih  baik  digunakan  pada  LSA-KNN  dengan  2000  data  Hadis  Shahih  Bukhari terjemahan  Indonesia  ialah  penggunaan  formula  d*  =  d T U k untuk  membangun  data  latih  dan  data  uji  baru,  persentasi dimensi  fitur  optimal  yang  digunakan  sebesar  10%  dari  jumlah  fitur  sebenarnya, preprocessing tanpa  penggunaan stemming , dan penambahan rule-based sebagai fitur pada proses ekstraksi fitur.
Penelitian ini menghasilkan performansi sistem sebesar 90.28% dengan waktu komputasi sebesar 19 menit 21 detik dan  performansi  KNN  sebesar  90.23%  dengan  waktu  komputasi  sebesar  37  menit  06  detik.  Hal  ini  menunjukkan  bahwa penggunaan  metode  LSA-KNN  dalam  mengadaptasi  metode  KNN  mampu  meningkatkan  kinerja  sistem,  baik  dalam menghasilkan performansi ataupun dalam pengurangan waktu komputasi.
Metode  yang  dibangun  pada  penelitian  ini  cocok  digunakan  pada multi  label topik  dengan  jumlah  dokumen  dan fitur yang sangat besar, namun kurang maksimal pada data yang bersifat imbalance . Sehingga untuk penelitian selanjutnya, disarankan  melakukan  penambahan  data  pada  setiap  topik  dengan  data  yang  lebih  seimbang.  Jika  data  yang  digunakan bersifat imbalance , gunakan rule-based untuk menentukan karakteristik topik / label pada kelas yang minimum.

## REFERENCES
[1] Jonathan A. C. Brown, Misquoting Muhammad : The Challange and Choices of Interpreting the Prophet’s Legacy. 2015.
[2] Muhammad Vandestra, Kitab Hadist Shahih Bukhari & Muslim Edisi Bahasa Indonesia. Dragon Promedia, 2018.
[3] H. Fauzan, S. Al-faraby, and Adiwijaya, “Pengklasifikasian Topik Hadits Terjemahan Bahasa Indonesia Menggunakan Latent Semantic Indexing dan Support Vector Machine,” Media Inform. Budidarma, vol. 2, no. 4, pp. 131–139, 2018.
[4] M. Y. Abu Bakar, Adiwijaya, and S. Al Faraby, “Multi-Label Topic Classification of Hadith of Bukhari (Indonesian Language Translation)Using Information Gain and Backpropagation Neural Network,” Proc. 2018 Int. Conf. Asian Lang. Process. IALP 2018, pp. 344–350, 2019.
[5] G. Mediamer,  adiwijaya@telkomuniversity ac id Adiwijaya, and S. Al Faraby, “Development of rule-based feature extraction in multi-label text classification,” Int. J. Adv. Sci. Eng. Inf. Technol., vol. 9, no. 4, pp. 1460–1465, 2019.
[6] M. Arshi, S. Norisma, I. Rohana, S. Ja, and T. Abdullah, “Hadith data mining and classification : a comparative analysis,” Artif. Intell. Rev., 2016.
[7] S. Al Faraby, E. R. Rachmawati, Y. Irwanto, and M. A. Bijaksana, “Text Categorization on Hadith Sahih Al-Bukhari using Random Forest Text Categorization on Hadith Sahih Al-Bukhari using Random Forest.”
[8]    Al  Faraby,  S.,  Jasin,  E.R.R.  and  Kusumaningrum,  A.,  2018,  March.  Classification  of  hadith  into  positive  suggestion,  negative  suggestion,  and information. In Journal of Physics: Conference Series (Vol. 971, No. 1, p. 012046). IOP Publishing.
[9] Z. Yong, L. Youwen, and X. Shixiong, “An Improved KNN Text Classification Algorithm Based on Clustering,” vol. 4, no. 3, pp. 230–237, 2009.
[10]  Sari,  P.  K.,  &  Purwadinata,  A.  (2019).  "Analysis  Characteristics  of  Car  Sales  In  E-Commerce  Data  Using  Clustering  Model". Journal  of  Data Science and Its Applications, 2(1), 68-77.
[11]  Zhang,  M.L.,  Li,  Y.K.,  Liu,  X.Y.  and  Geng,  X.,  2018.  "Binary  relevance  for  multi-label  learning:  an  overview". Frontiers  of  Computer Science, 12(2), pp.191-202
[12]  I. Yahav, O. Shehory, and D. Schwartz, “Comments Mining With TF-IDF : The Inherent Bias and Its Removal,” vol. 14, no. 8, 2018.
[13]  Naf'an, M. Z., Bimantara, A. A., Larasati, A., Risondang, E. M., & Nugraha, N. A. S. (2019). "Sentiment Analysis of Cyberbullying on Instagram User Comments". Journal of Data Science and Its Applications, 2(1), 88-98.
[14]  K.  Merchant,  “NLP  Based  Latent  Semantic  Analysis  for  Legal  Text  Summarization,”  2018  Int.  Conf.  Adv.  Comput.  Commun.  Informatics,  pp. 1803–1807, 2018.
[15]  A. Melo and H. Paulheim, “Local and global feature selection for multilabel classification with binary relevance: An empirical comparison on flat and hierarchical problems,” Artif. Intell. Rev., vol. 51, no. 1, pp. 33–60, 2019.
[16] Adiwijaya, Aulia, M.N., Mubarok, M.S., Novia, W.U. and Nhita, F., 2017, May. A comparative study of MFCC-KNN and LPC-KNN for hijaiyyah letters pronounciation classification system. In Information and Communication Technology (ICoIC7), 2017 5th International Conference on (pp. 1-5). IEEE.
[17]  Pratiwi,  A.I.,  Adiwijaya,  2018.  "On  the  feature  selection  and  classification  based  on  information  gain  for  document  sentiment  analysis." Applied Computational Intelligence and Soft Computing, 2018.