Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal. 1750-1758 E- ISSN 2503-2933 1750

## Implementasi Metode Klasifikasi Multilabel Untuk Kategorisasi Materi Pembelajaran Secara Otomatis
Fadilla Sukma Alfiani* 1 , Umi Laili Yuhana 2
1,2 Departemen Teknik Informatika, Institut Teknologi Sepuluh Nopember, Surabaya, Indonesia e-mail: * 1 fadilla16@mhs.if.its.ac.id, 2 yuhana@if.its.ac.id

## Abstrak
Pembelajaran  adaptif  merupakan  pembelajaran  yang  mampu  menyesuaikan  materi pembelajaran  berdasarkan  kemampuan  siswa.  Untuk  memudahkan  pemilihan  materi pembelajaran  yang  sesuai,  perlu  dilakukan  kategorisasi  materi  pembelajaran  terlebih  dahulu. Materi pembelajaran banyak tersedia secara daring dan dapat diakses dengan mudah melalui internet.  Materi  pembelajaran  dapat  dikategorisasikan  menjadi  beberapa  topik  dan  subtopik. Penelitian  ini  bertujuan  untuk  membangun  sebuah  sistem  yang  dapat  mengambil  materi pembelajaran  dari  situs  web  dan  mengkategorisasikan  materi  pembelajaran  tersebut  secara otomatis  berdasarkan  topik  dan  subtopiknya  menggunakan  klasifikasi  multilabel.  Dari eksperimen yang telah dilakukan, implementasi klasifikasi multilabel berhasil digunakan untuk melakukan  kategorisasi  materi  pembelajaran  secara  otomatis  berdasarkan  topik  dan  subtopik pembelajaran.
Kata kunci —klasifikasi multilabel, materi pembelajaran, kategorisasi otomatis, pemrosesan teks

## Abstract
Adaptive learning is learning that can adjust learning materials according to students' abilities.  To  facilitate  the  selection  of  appropriate  learning  materials,  it  is  necessary  to categorize learning materials first. Learning materials are widely available online and can be accessed  easily  via  internet.  Learning  materials  can  be  categorized  into  several  topics  and subtopics. This study aims to build a system that can retrieve learning materials from websites and categorize learning materials automatically based on topics and subtopics using multilabel classification.  From  the  experiments  that  have  been  carried  out,  the  implementation  of multilabel  classification  has  been  successfully  used  to  categorize  learning  materials automatically based on learning topics and subtopics.
Keywords —multilabel classification, learning material, automatic categorization, text processing
1. PENDAHULUAN
erkembangan  terkini  di  bidang  teknologi  komputer  dan  kecerdasan  artifisial  mampu menciptakan  kemajuan  di  berbagai  bidang,  salah  satunya  di  bidang  pendidikan.  Sebuah konsep  baru  yang  disebut  pembelajaran  adaptif  muncul  sebagai  contoh  kemajuan  teknologi informasi  dan  komunikasi  dalam  domain  pendidikan.  Pembelajaran  adaptif  merupakan pembelajaran  yang  dapat  dikustomisasi  sesuai  dengan  kebutuhan  seorang  individu  sehingga tidak  ada  generalisasi  pengguna.  Pembelajaran  adaptif  bertujuan  untuk  menyediakan pembelajaran yang efisien dan efektif bagi setiap siswa [1]. Sistem pembelajaran adaptif mampu menyesuaikan konten atau materi pembelajaran berdasarkan kemampuan individual siswa [2].
P
1751 Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal . 1750-1758 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
Salah  satu  tantangan  dalam  sistem  pembelajaran  adaptif  adalah  pemilihan  materi pembelajaran  yang  sesuai  dengan  kemampuan  siswa.  Untuk  memudahkan  hal  tersebut,  perlu dilakukan kategorisasi materi pembelajaran berdasarkan topik atau kompetensi terlebih dahulu. Namun dengan banyaknya materi pembelajaran yang tersedia, kategorisasi materi pembelajaran dilakukan  secara  manual  tentu  akan  akan  sangat  melelahkan  dan  memakan  banyak  waktu sehingga tidak efisien. Oleh karena itu, kategorisasi materi pembelajaran seharusnya dilakukan dengan menerapkan klasifikasi secara otomatis.
Penelitian  tentang  klasifikasi  teks  sudah  banyak  dilakukan.  Namun,  penelitian  yang berfokus  pada  klasifikasi  konten  atau  materi  pembelajaran  tidak  banyak  ditemui.  Salah  satu penelitian  tentang  klasifikasi  materi  pembelajaran  adalah  klasifikasi  sumber  belajar  berbasis teks pada mata pelajaran di Sekolah Menengah Kejuruan (SMK) rumpun Teknologi Informasi dan  Komunikasi  (TIK)  [3].  Sumber  belajar  yang  digunakan  merupakan  dokumen  atau  artikel yang diperoleh dari beberapa situs yang berisi materi-materi pelajaran. Sumber belajar tersebut dikelompokkan berdasarkan kriteria atau ciri esensial setiap mata pelajaran.
Penelitian lain terkait klasifikasi konten pembelajaran dilakukan oleh Gunarathne et. al. dengan  mengusulkan  klasifikasi  konten  pembelajaran  secara  otomatis  untuk  repositori Open Educational Resource (OER) [4]. Dengan penelitian ini diharapkan penyedia materi tidak perlu memilih kategori materi secara manual ketika menambahkan materi ke repositori. Sistem secara otomatis akan menampilkan daftar kategori yang relevan untuk materi yang akan ditambahkan.
Sementara  itu,  Lalitha  &  Sreeja  mengusulkan  pembuatan  sistem  pembelajaran  adaptif dengan  salah  satu  modul  utamanya  adalah  modul  klasifikasi  [5].  Modul  klasifikasi  penting diimplementasikan  untuk  melakukan  kategorisasi  konten  atau  materi  pembelajaran  yang tersedia bebas di internet. Penelitian ini menyebutkan bahwa dalam modul klasifikasi dilakukan praproses  konten  dan  implementasi  algoritma  klasifikasi.  Dari  beberapa  hasil  studi  literatur  di atas, dapat disimpulkan bahwa klasifikasi materi pembelajaran berdasarkan topiknya merupakan salah satu proses penting dalam domain pembelajaran.
Seiring  dengan  pesatnya  kemajuan  teknologi  di  era  ini,  banyak  materi  pembelajaran yang  tersedia  secara  daring  dan  dapat  diakses  dengan  mudah  menggunakan  internet.  Materi pembelajaran berkualitas yang tersedia di internet dapat dijadikan sebagai sumber belajar utama bagi siswa [6]. Materi pembelajaran dapat dikategorikan berdasarkan topik dan subtopik. Materi pembelajaran juga dapat memiliki lebih dari satu topik atau subtopik yang berbeda. Misalnya, materi pembelajaran tentang sistem pencernaan manusia dapat dikategorikan ke dalam subtopik organ pencernaan, proses pencernaan, dan gangguan pencernaan.
Berdasarkan  latar  belakang  tersebut,  maka  penelitian  ini  bertujuan  untuk  membangun sebuah  sistem  yang  dapat  mengambil materi  pembelajaran  dari  situs  web  dan mengkategorisasikan  materi  pembelajaran  tersebut  secara  otomatis  berdasarkan  topik  dan subtopik pembelajaran menggunakan klasifikasi multilabel.

## 2. METODOLOGI
Diagram  alir  pengembangan  sistem  kategorisasi  materi  pembelajaran  secara  otomatis ditunjukkan  oleh  Gambar  1.  Terdapat  empat  tahapan  utama  yang  akan  dijelaskan  masing- masing pada subbab berikut.
Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal. 1750-1758 E- ISSN 2503-2933 1752
Alfiani, et., al [ Implementasi Metode Klasifikasi Multilabel Untuk Kategorisasi Materi Pembelajaran Secara]

## Gambar 1.  Diagram Alir Sistem
2.1   Scraping dan Pembersihan Data
Scraping dilakukan  untuk  mengambil  konten  dari  sebuah  situs  atau  laman  web. Sedangkan proses pembersihan data dilakukan untuk menghapus tag-tag yang tidak diperlukan terhadap  hasil scraping yang  telah  didapatkan  sebelumnya.  Proses scraping dan  pembersihan data  diimplementasikan  dengan  menggunakan  bantuan  pustaka  yang  ada  pada  bahasa pemrograman  Python.    Tahapan  proses scraping dan  pembersihan  data  ditunjukkan  pada Gambar  2.  Langkah  pertama  yang  perlu  dilakukan  adalah  menentukan  URL  situs  web  yang memuat  materi  pembelajaran.  Konten  pada  situs  web  tersebut  akan  diambil  untuk  nantinya diproses  dalam  tahap  klasifikasi.  Untuk  membuka  dan  membaca  URL  dari  sebuah  situs digunakan  pustaka  Urllib.  Hasil  keluarannya  berupa  konten  web  dalam  bentuk  teks.  Konten tersebut mengandung banyak tag HTML maupun CSS atau Javascript code yang tidak berperan penting  dalam  proses  klasifikasi.  Oleh  karena  itu,  perlu  dilakukan  pembersihan  teks  dengan menghapus tag dan code yang  tidak  berguna.  Proses  ini  diimplementasikan  dengan menggunakan  library  BeautifulSoup.  Dari  tahap scraping dan  pembersihan  data  ini  diperoleh konten web yang sudah bersih berupa teks materi pembelajaran.
Gambar 2.  Tahapan Proses Scraping dan Pembersihan Data

## 2.2   Praproses Data
Teks  materi  pembelajaran  hasil scraping selanjutnya  masuk  ke  tahap  praproses  data. Praproses  data  dilakukan  agar  semua  kata  memiliki  format  yang  seragam  dan  lebih  mudah untuk  diproses  pada  tahap  selanjutnya.  Praproses  data  terdiri  dari case  folding ,  penghapusan tanda  baca,  simbol,  dan  angka,  tokenisasi ,  stopword  removal, dan stemming . Case  folding digunakan  untuk  mengubah  semua  karakter  menjadi  huruf  kecil  ( lowercase ). Case  folding diimplementasikan  menggunakan  fungsi lower yang  tersedia  pada  Python.  Untuk  menghapus
1753 Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal . 1750-1758 E-ISSN 2503-2933
Alfiani, et., al [ Implementasi Metode Klasifikasi Multilabel Untuk Kategorisasi Materi Pembelajaran Secara]
Title of manuscript is short and clear, implies research results (First Author)
tanda  baca,  simbol,  dan  angka  yang  mungkin  dapat  menjadi noise pada  proses  klasifikasi digunakan  fungsi regex .  Selanjutnya  dilakukan  tokenisasi  untuk  memotong  kalimat  menjadi potongan-potongan  kata.  Kemudian stopword  removal digunakan  untuk  menghapus  kata  yang maknanya tidak terlalu penting atau tidak berpengaruh besar pada proses klasifikasi. Tokenisasi dan stopword  removal diimplementasi  dengan  menggunakan  bantuan  pustaka  SpaCy. Sementara untuk stemming bahasa Indonesia digunakan pustaka Sastrawi. Stemming digunakan untuk  mengurangi  ragam  kata  pada  teks  materi  pembelajaran  dengan  mengganti  kata  menjadi kata dasarnya.  Contoh praproses data dapat dilihat pada Gambar 3.
Gambar 3.  Contoh Praproses Data

## 2.3   Ekstraksi Fitur
Proses ekstraksi fitur dilakukan engan mencari pembobotan term menggunakan TF-IDF ( Term  Frequency-Inverse  Document  Frequency ).  Pertama,  pada  sebuah  data  dihitung  jumlah atau  frekuensi  setiap term -nya.  Jika  suatu term pada  data  tersebut  sering  muncul,  maka  bobot yang  didapatkan  akan  lebih  besar.  Lalu term tersebut  dihitung  juga  bobotnya  secara invers . Semakin  sedikit  persebaran term tersebut  dari  seluruh  dataset/dokumen,  maka  bobotnya semakin  besar.  Hal  ini  berarti term tersebut  memiliki  keunikan  tersendiri  pada  data-data tertentu.
Nilai  TF-IDF  diperoleh  dari  perkalian  antara  TF  dan  IDF.  TF  merupakan  banyaknya sebuah term yang terdapat pada sebuah dokumen. TF untuk sebuah term pada sebuah dokumen dihitung  dengan  menggunakan  persamaan  (1).    Sedangkan  IDF  memberikan  bobot  yang  lebih rendah pada suatu term jika kemunculannya banyak tersebar di seluruh dokumen [7]. IDF untuk sebuah term diperoleh  dengan  menggunakan  persamaan  (2)  dengan ܰ merupakan  jumlah dokumen dan ݂݀ݐ merupakan jumlah dokumen yang menggandung term t.
(1)
(2)
2.4   Klasifikasi
Klasifikasi  materi  pembelajaran  dilakukan  berdasarkan  topik  dan  subtopik pembelajaran.  Proses  klasifikasi  secara  otomatis  dilakukan  dengan  menerapkan  metode klasifikasi multilabel. Hal ini dikarenakan materi pembelajaran dapat dikategorisasikan menjadi lebih dari satu topik atau subtopik yang berbeda.
Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal. 1750-1758 E- ISSN 2503-2933 1754
Masalah  klasifikasi  multilabel  diselesaikan  dengan  menggunakan  pendekatan transformasi  masalah  [8].  Pendekatan  ini  mengubah  masalah  multilabel  menjadi  satu  atau beberapa  masalah  label  tunggal  sehingga  dapat  diselesaikan  menggunakan  algoritma pembelajaran label tunggal [9]. Misalkan pada penelitian ini data materi pembelajaran dilabeli berdasarkan kategori topik dan subtopiknya seperti ditunjukkan pada Tabel 1. Maka kemudian perlu  dilakukan  transformasi  kolom  ‘topik’  dan  ‘subtopik’  pada  Tabel  1  menjadi  serangkaian kolom  dengan  nilai  biner  seperti  ditunjukkan  pada  Tabel  2.  Selanjutnya  proses  klasifikasi dilakukan  dengan  mengimplementasikan  metode  transformasi  masalah.  Pada  penelitian  ini metode  transformasi  masalah  yang  digunakan  adalah  Binary  Relevance,  dilanjutkan  dengan klasifikasi menggunakan algoritma SVM.
Tabel 1. Contoh Pelabelan Data Materi Pembelajaran
Materi Topik Subtopik Materi 01 Sistem Pencernaan Manusia Organ Pencernaan, Proses Pencernaan Materi 02 Sistem Pencernaan Manusia Organ Pencernaan Materi 03 Sistem Pencernaan Manusia Organ Pencernaan, Proses Pencernaan, Gangguan Pencernaan Materi 04 Sistem Pencernaan Manusia Organ Pencernaan, Proses Pencernaan Tabel 2. Contoh Transformasi Data Materi Pembelajaran Materi Sistem Pencernaan Manusia Organ Pencernaan Proses Pencernaan Gangguan Pencernaan Materi 01 1 1 1 0 Materi 02 1 1 0 0 Materi 03 1 1 1 1 Materi 04 1 1 1 0
Metode  Binary  Relevance  (BR)  mengubah  dataset  multilabel  menjadi n dataset single label,  dimana n adalah  banyaknya  label  yang  ada  pada  dataset  [10].  Selanjutnya, n dataset dengan single label  tersebut  dilatih  menggunakan binary  classifier .  Setiap  sampel  baru kemudian  diprediksi  menggunakan binary  classifier tersebut.  Setelah  diperoleh  prediksi  dari setiap binary  classifier ,  hasil  prediksi  tersebut  digabungkan  sehingga  terbentuk  hasil  prediksi yang berbentuk multilabel. BR merupakan metode yang populer dan paling banyak digunakan, serta  memiliki  kompleksitas  komputasi  yang  rendah.  Namun,  BR  tidak  mempertimbangkan hubungan  korelasi  antar  label  dan  menangani  label  secara  terpisah  [11].  Sebagai  contoh,  dari data yang ditunjukkan pada Tabel 2 apabila diterapkan metode BR maka menjadi seperti Tabel 3.
Tabel 3. Contoh Implementasi Binary Relevance Materi Sistem Pencernaan Manusia Materi 01 1 Materi 02 1 Materi 03 1 Materi 04 1 Materi Organ Manusia Materi 01 1 Materi 02 1 Materi 03 1 Materi 04 1
1755 Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal . 1750-1758 E-ISSN 2503-2933
Alfiani, et., al [ Implementasi Metode Klasifikasi Multilabel Untuk Kategorisasi Materi Pembelajaran Secara]
Title of manuscript is short and clear, implies research results (First Author)
Materi Proses Pencernaan Materi 01 1 Materi 02 0 Materi 03 1 Materi 04 1 Materi Gangguan Pencernaan Materi 01 0 Materi 02 0 Materi 03 1 Materi 04 0

## 3. HASIL DAN PEMBAHASAN
Sistem  yang  dikembangkan  pada  penelitian  ini  terdiri  dari  tiga  bagian  utama,  yaitu: pengambilan  data,  praproses  data,  dan  kategorisasi  otomatis.  Bagian  pengambilan  data berfungsi untuk mengambil konten web dari suatu URL situs web dengan cara scraping . Modul ini  sekaligus  melakukan  proses pembersihan  data  dari  berbagai  elemen  HTML/CSS/Javascript yang  tidak  berguna.  Bagian  praproses  data  berfungsi  untuk  menyeragamkan  format  data  agar memudahkan  proses  berikutnya.  Sedangkan  bagian  kategorisasi otomatis  berfungsi  melakukan kategorisasi  materi  pembelajaran  secara  otomatis  berdasarkan  topik  dan  subtopiknya.  Proses kategorisasi  diawali  dengan  melakukan  ekstraksi  fitur  terhadap  materi  pembelajaran, selanjutnya dilakukan klasifikasi multilabel dengan pendekatan transformasi masalah. Tahapan ini memberikan hasil prediksi kategori topik dan subtopik dari teks materi pembelajaran.
Sistem  kategorisasi  materi  pembelajaran  secara  otomatis  berdasarkan  topik  dan subtopik  dibangun  dengan  menggunakan  model  klasifikasi  yang  sudah  dilatih  sebelumnya. Model  ini  dibangun  menggunakan  dataset  berupa  teks  materi  pembelajaran  Ilmu  Pengetahuan Alam  (IPA)  untuk  siswa  Sekolah  Menengah  Pertama  (SMP)  dengan  total  data  sebanyak  448 materi pembelajaran. Data ini telah dilabeli secara manual, dimana terdiri dari 10 topik dan 41 subtopik.  Data  materi  pembelajaran  dapat  dikategorikan  menjadi  lebih  dari  satu  topik  atau subtopik.  Model  klasifikasi  diimplementasikan  dengan  menggunakan  metode  transformasi masalah  Binary  Relevance  dan  algoritma  SVM.  Dengan  menggunakan  metode  Binary Relevance,  model  klasifikasi  multilabel  membangun  masing-masing  model  klasifikasi  dari setiap label.
Kinerja  model  klasifikasi  diuji  dengan  mengukur  nilai  akurasi,  F-Measure,  dan hamming  loss  dari  model  tersebut.  Akurasi  dapat  dikatakan  sebagai  proporsi  klasifikasi  yang benar dari total data. F-Measure merupakan weighted average dari presisi dan recall . Akurasi dan F-Measure mencapai  nilai  terbaik  pada  skor  1  dan  nilai terburuk  pada  skor  0.  Sedangkan hamming loss adalah banyaknya kesalahan klasifikasi terhadap data yang diuji. Semakin rendah nilai hamming loss , maka semakin baik kinerja dari classifier . Pengujian  dilakukan  dengan  pembagian  dataset  menggunakan percentage  split berdasarkan rasio data latih dan data uji. Pada penelitian ini digunakan tiga perbandingan rasio data  latih  dan  data  uji  yaitu:  70:30%,  75:25%,  dan  80:20%.  Hasil  evaluasi  untuk  model klasifikasi  berdasarkan  topik  dan  subtopik terdapat  pada  Tabel  4.  Berdasarkan  topiknya,  hasil terbaik  diraih  ketika  rasio  data  latih  dan  data  uji  70:30  dengan  akurasi  mencapai  0.933, F- Measure sebesar 0.966, dan hamming loss senilai 0.0066. Sedangkan berdasarkan subtopiknya, hasil terbaik diraih ketika rasio data latih dan data uji 75:25 dengan akurasi mencapai 0.696, F- Measure sebesar  0.860,  dan hamming  loss senilai  0.0089.  Evaluasi  ini  memberikan  gambaran bahwa  proses  klasifikasi  materi  pembelajaran  berdasarkan  topik  dan  subtopiknya  dengan menggunakan klasifikasi multilabel sudah memberikan hasil yang cukup baik.
Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal. 1750-1758 E- ISSN 2503-2933 1756

## Tabel 4. Hasil Evaluasi Model Klasifikasi
Untuk  menguji  apakah  sistem  yang  dibangun  berhasil  melakukan  klasifikasi  otomatis, maka  dilakukan  pengujian  dengan  menggunakan  100  URL  situs  web  yang  memuat  materi pembelajaran.  URL  situs  web  di- input- kan  ke  sistem  dan  kemudian  sistem  mengambil  konten web  yang  ada  di  URL  ini.  Konten  web  yang  diambil  berupa  teks  materi  pembelajaran. Selanjutnya  sistem  akan  memprediksi  topik  dan  subtopik  dari  materi  pembelajaran  tersebut. Dari 100 data materi pembelajaran, sistem berhasil memprediksi 98 materi dengan benar sesuai topik  aktualnya.  Sementara  berdasarkan  subtopik  pembelajaran,  terdapat  79  materi  yang berhasil diprediksi benar oleh sistem sesuai dengan subtopik aktualnya.
Contoh  hasil  klasifikasi  otomatis  dapat  dilihat  pada  Tabel  5  dan  Tabel  6.  Tabel  5 menunjukkan  bahwa  materi  pembelajaran  diprediksi  dengan  benar  berdasarkan  topik  dan subtopiknya.  Sedangkan  Tabel  6  menunjukkan  bahwa  model  berhasil  memprediksi  materi pembelajaran dengan benar berdasarkan topiknya, tetapi subtopiknya masih kurang tepat karena terdapat label yang tidak berhasil diprediksi oleh sistem.
Tabel 5. Contoh Materi Pembelajaran Dengan Prediksi Semua Benar
URL
https://blog.edukasystem.com/sistem-gerak-pada-manusia/
Materi Pembelajaran “Dalam  kehidupan  sehari-hari,  kita  pasti  melakukan  aktivitas  atau kegiatan  tertentu.  Misalnya,  berjalan,  berenang,  berlari,  atau  bahkan sekadar  bermain game di  HP. Dalam  melakukan  kegiatan  tersebut, anggota  tubuh  akan  bergerak.  Ada  banyak  hal  atau  unsur  yang membuat tubuh kita aktif bergerak, seperti otot, rangka ataupun sendi dengan berbagai fungsinya masing-masing. Sistem gerak adalah salah satu sistem organ yang berfungsi dalam membantu pergerakan tubuh.
....” Topik Subtopik Aktual Gerak Benda dan Makhluk Hidup Alat Gerak Manusia, Gangguan Sistem Gerak Manusia Prediksi Gerak Benda dan Makhluk Hidup Alat Gerak Manusia, Gangguan Sistem Gerak Manusia Tabel 6. Contoh Materi Pembelajaran Dengan Prediksi Sebagian Benar URL https://fisikazone.com/hukum-pascal-tentang-zat-cair/ Materi Pembelajaran “Hukum  Pascal  berbunyi:  "Apabila  tekanan  diberikan  pada  satu bagian  zat  cair  dalam  suatu  ruangan  tertutup,  akan  diteruskan  oleh zat cair ke segala arah dengan sama besar". Gejala tekanan pada zat cair  ini  pertama  kali  diteliti  oleh  seorang  ahli  fisika,  yaitu  Blaise Pascal  (1623-1662)  hingga  muncul  hukum  yang  disebut  Hukum Pascal.  Penerapan  Hukum  Pascal  dalam  keseharian  banyak dimanfaatkan,  terutama  dalam  bidang  otomotif,  di  antaranya  pada dongkrak hidrolik dan rem piringan hidrolik. ....” Topik Subtopik 70:30 75:25 80:20 70:30 75:25 80:20 Akurasi 0.933 0.928 0.922 0.681 0.696 0.644 F-Measure 0.966 0.963 0.960 0.848 0.860 0.836 Hamming Loss 0.0066 0.0071 0.0077  0.0097  0.0089  0.0105
1757 Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal . 1750-1758 E-ISSN 2503-2933
Alfiani, et., al [ Implementasi Metode Klasifikasi Multilabel Untuk Kategorisasi Materi Pembelajaran Secara]
Otomatis Title of manuscript is short and clear, implies research results (First Author) Topik Subtopik Aktual Tekanan Zat Tekanan Zat Cair, Aplikasi Konsep Tekanan Zat Prediksi Tekanan Zat Tekanan Zat Cair 4. KESIMPULAN
Pada penelitian ini dibangun sebuah sistem yang dapat mengambil materi pembelajaran dari  situs  web  dan  mengkategorisasikan  materi  pembelajaran  tersebut  secara  otomatis berdasarkan  topik  dan  subtopiknya.  Proses  pengambilan  materi  pembelajaran  dari  situs  web dengan  cara scraping telah  berhasil  dilakukan.  Materi  pembelajaran  yang  berhasil  diambil tersebut  juga  berhasil  dikategorisasikan  secara  otomatis  berdasarkan  topik  dan  subtopiknya menggunakan  metode  klasifikasi  multilabel.  Dengan  penelitian  ini  dapat  disimpulkan  bahwa implementasi  klasifikasi  multilabel  dapat  digunakan  untuk  melakukan  kategorisasi  materi pembelajaran secara otomatis berdasarkan topik dan subtopik pembelajaran.

## 5. SARAN
Berikut beberapa saran untuk pengembangan penelitian lebih lanjut di masa yang akan datang:
1. Mengeksplorasi  metode  klasifikasi yang  digunakan  sehingga  hasil  kategorisasi  materi pembelajaran  berdasarkan  topik  dan  subtopiknya  menjadi  lebih  akurat.  Pada  penelitian  ini klasifikasi  yang  digunakan  masih  sebatas  berdasarkan  frekuensi  kata  dalam  suatu  dataset atau  dokumen.  Pada  penelitian  selanjutnya  dapat  dilakukan  dengan  mempertimbangkan makna atau kesamaan semantik antar kata.
2. Membangun  sebuah  sistem yang  secara real-time dapat mengumpulkan  dan mengkategorisasikan materi pembelajaran yang muncul di internet.

## DAFTAR PUSTAKA
[1] M. Liu, E. McKelroy, S.  B. Corliss, and J. Carrigan, 2017, “Investigating The Effect of An  Adaptive  Learning  Intervention  On  Students’  Learning,” Educ.  Technol.  Res.  Dev. , Vol. 65, No. 6, pp. 1605–1625, doi: 10.1007/s11423-017-9542-1.
[2] B. Forsyth, C. Kimble, J. Birch, G. Deel, and T. Brauer, 2016. “Maximizing The Adaptive Learning Technology Experience,” J. High. Educ. Theory Pract. , Vol. 16, No. 4, pp. 80– 88,
[3] A.  D.  Herlambang  and  S.  H.  Wijoyo,  2019, “Algoritma  Naïve  Bayes  untuk  Klasifikasi Sumber  Belajar  Berbasis  Teks  pada  Mata  Pelajaran  Produktif  di  SMK  Rumpun Teknologi Informasi dan Komunikasi,” J. Teknol. Inf. dan Ilmu Komput. , Vol. 6, No. 4, pp. 431–436, doi: 10.25126/jtiik.201961323.
Jatisi ISSN 2407-4322 Vol. 8, No. 4, Desember 2021, Hal. 1750-1758 E- ISSN 2503-2933 1758
[4] T.  Gunarathne,  T.  Shih,  C.  Chootong,  W.  Sommool,  and  A.  Ochirbat,  2020. “An Automated  Learning  Content  Classification  Model  (LCCM)  for  Open  Education Repositories - Case of MERLOT II,” J. Internet Technol. , No. Lccm,
[5] T.  B.  Lalitha  and  P.  S.  Sreeja,  2020, “Personalised  Self-Directed  Learning Recommendation  System,”  Procedia  Comput.  Sci. ,  Vol.  171,  2019,  pp.  583–592,  doi: 10.1016/j.procs.2020.04.063.
[6] Y.  Hillier,  2005, Reflective  Teaching  in  Further  and  Adult  Education:  Second  Edition . London, UK: A&C Black,.
[7] S. Qaiser et al. , 2018, “Text Mining: Use of TF-IDF to Examine the Relevance of Words to  Documents,” Artic.  Int.  J.  Comput.  Appl. ,  Vol.  181,  No.  1,  pp.  975–8887,  doi: 10.5120/ijca2018917395.
[8] D.  Rahmawati  and  M.  L.  Khodra,  2015, “Automatic  Multilabel  Classification  for Indonesian News Articles,” ICAICTA 2015 - 2015 Int. Conf. Adv. Informatics Concepts, Theory Appl. , pp. 1–6, doi: 10.1109/ICAICTA.2015.7335382.
[9] G.  Tsoumakas  and  I.  Katakis,  2007, “Multi-Label  Classification:  An  Overview,”  Int.  J. Data Warehous. Min. , doi: 10.4018/978-1-60566-058-5.ch021.
[10]  P.  Prajapati,  A.  Thakkar,  and  A.  Ganatra,  2012. “A  Survey  and  Current  Research Challenges in Multi-Label Classification Methods,” Int. J. Soft Comput. Eng. IJSCE , Vol. 2, No. 1, pp. 248–252,
[11]  P. ElKafrawy, A. Mausad, and H. Esmail, 2015, “Experimental Comparison of Methods for Multi-Label Classification in Different Application Domains,” Int. J. Comput. Appl. , Vol. 114, No. 19, pp. 1–9, doi: 10.5120/20083-1666.