Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 2, April (2023), pp. 354-363
Pengembangan Chatbot Untuk Layanan Pimpinan Daerah Muhammadiyah Kota Yogyakarta Menggunakan Metode Rule- based
Dewi Soyusiawaty 1 , Febi Ganda Putra 2 1,2 Program Studi Informatika, Fakultas Teknologi Industri, Universitas Ahmad Dahlan, Yogyakarta, Indonesia E-mail: my_soyus@yahoo.com

## Abstract
The  use  of  information  systems  such  as  the  Web  is  common  in  institution  service processes  and  information  media.  The  Muhammadiyah  Regional  Leadership  (PDM)  in Yogyakarta uses the web information system as a useful media service to provide services and  information  to  the  general  public.  However,  when  using  these  web  services,  the question-and-answer process is not yet effective in providing maximum service, as there are  some  system  limitations  in  providing  performance  in  the  form  of  quick access. Chatbots are  solutions  that  you  can  use  to  answer  questions  and  answers problem.  The  development  of  this  chatbot  can  support  efforts  to  improve  the  service  by responding  quickly  and  accurately  to  questions  according  to  user  expectations.  In  this study,  chatbot  development  uses  the Rule-based method  as  a  knowledge  base.  Based  on the results of the tests performed, the accuracy value is 91.97%.
Keywords : chatbot, rule-based, PDM

## Abstrak
Penggunaan  sistem  informasi  seperti  web  sudah  umum  digunakan  dalam  proses pelayanan  dan  media  informatif  oleh  suatu  instansi.  Pimpinan  Daerah  Muhammadiyah (PDM)  Kota  Yogyakarta  telah  memanfaatkan  sistem  informasi  web  sebagai  layanan media  informatif  dalam  memberikan  pelayanan  serta  informasi  kepada  masyarakat. Penggunaan layanan web tersebut masih ada beberapa keterbatasan pada sistem dalam memberikan performansi berupa aksesibilitas yang cepat dan proses tanya jawab masih belum efektif dalam memberikan pelayanan secara maksimal.  Chatbot merupakan salah satu  solusi  yang  dapat  digunakan  untuk  menjawab  persoalan  tanya  jawab. Pengembangan chatbot ini dapat membantu dalam upaya peningkatan pelayanan dengan memberikan  respon  terhadap  pertanyaan  secara  cepat  dan  akurat  sesuai  dengan  apa yang  diharapkan  oleh  user.  Pada  penelitian  ini  pengembangan  chatbot  menggunakan metode  Rule-based  sebagai  basis  pengetahuan.  Berdasarkan  hasil  pengujian  yang  telah dilakukan, didapatkan nilai akurasi sebesar 91,97%.
Kata Kunci : chatbot, rule-based, PDM

## 1. Pendahuluan
Lembaga  maupun  instansi  yang  bergerak  dalam  pelayanan  masyarakat  khususnya lingkungan organisasi kemuhammadiyahan di wilayah kota Yogyakarta seperti Pimpinan Daerah  Muhammadiyah  (PDM)  kota  Yogyakarta  telah  memfasilitasi  layanan  publik melalui  halaman  sistem  informasi.  Melalui  sistem  informasi  ini  PDM  kota  Yogyakarta dapat  memberikan  bantuan  dalam  aktivitas  organisasi  sebagai  media  informatif  bagi masyarakat  umum  terkait  kemuhammadiyahan  khususnya  lingkup  daerah  kota Yogyakarta. Dalam sistem informasi tersebut memuat informasi terkait profil dan struktur organisasi,  berita,  wawasan,  dan  pengumuman,  yang  berkaitan  dengan  PDM  Kota Yogyakarta.  Pada  proses  yang  telah  berjalan  dari  layanan web ,  performansi  yang

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 2, April (2023), pp. 354-363
diberikan  untuk  memebrikan  layanan  masih  belum  maksimal,  sebagaimana  yang disampaikan  oleh Sigit  Haryo  Yudanto selaku  wakil  ketua  pimpinan  harian  PDM  kota Yogyakarta.  Dari  hasil  wawancara  dan  observasi  terhadap  layanan  yang  ada  pada web PDM  kota  Yogyakarta,  diperoleh informasi  bahwa  masih terdapat  permasalahan  dimana fitur  untuk  menanggapi  pertanyaan-pertanyaan  yang  masuk  masih  belum  ada  sehingga masih mengandalkan pesan singkat ( chat ), e-mail dan telepon sebagai media komunikasi, namun  upaya  tersebut  masih  belum  dapat  maksimal  digunakan  pada  saat  ada  proses layanan  dengan  kebutuhan  pertanyaan  yang  masuk  sama  serta  berulang  yang  terkadang susah  untuk  dapat  diperoleh  hanya  dengan  mengandalkan  layanan web yang  ada.  Dari permasalahan  yang  menghambat  proses  layanan  seperti  tidak  adanya  respon  yang  cepat dan  informasi  yang  masih  kurang  jelas  dari web tersebut  dapat  menurunkan  minat masyarakat  untuk  menggali  lebih  dalam  informasi  seputar  Muhammadiyah  dan  juga beberapa  proses  administrasi  yang  perlu  dilakukan  dalam  waktu  yang  cepat  menjadi terhambat. Kurang maksimalnya pelayanan ini tentunya masih belum bisa menyukseskan 8  (delapan)  langkah  usaha  Muhammadiyah  dimana  salah  satunya  yaitu  memajukan  dan inovasi  dalam  bidang  Pendidikan  serta  memperluas  ilmu  pengetahuan  dan  penelitian. Tujuan  utama  adanya  sistem  informasi web tersebut bisa  menjadi  media  informatif  bagi siapa  saja  untuk  serta  membantu  proses  layanan  seperti  pendaftaran  pegawai  dan penelitian juga untuk lebih mengenal dan mengetahui Muhammadiyah secara umum dan PDM  Kota  Yogyakarta  khususnya. Oleh  karena  itu  untuk  mengatasi  masalah  dalam meningkatkan  performa  layanan  PDM  Kota  Yogyakarta  dapat  dikembangkan  sebuah sistem  aplikasi  yang  dapat  digunakan  sebagai  asisten  virtual  berupa  sistem  aplikasi chatbot .
Dalam  proses  pengembangan  c hatbot ini  nantinya  dapat  digunakan  untuk  melakukan komunikasi berbasis pesan teks dimana dalam penyampaian informasinya secara dua arah dalam  konsep request-response yaitu  dari  dan  kepada  pengirim  pesan  secara  cepat  dan efisien  [1].  Pengguna  dapat  mengajukan  pertanyaan  seputar  layanan  PDM  kota Yogyakarta  meliputi  informasi  profil  dan  struktur  kepengurusan,  informasi  donasi, pendaftaran  pegawai,  proses  penelitian,  dan  beberapa  informasi  umum  lainnya.  Dalam proses  pengembangan chatbot terdapat  beberapa  metode  yang  bisa  diterapkan  seperti Cosine Similarity , Artificial  Intelligence Markup  Language  (AIML),  Rule  based  method, Forward Chaining, TF-IDF Algorithm, Boyer-Moore Algorithm dan sebagainya. Metode Rule-based merupakan  metode  yang  menggunakan rules sebagai  representasi pengetahuan  untuk  diimplementasikan  ke  dalam  sistem.  Metode Rule-based dipilih karena  memiliki  kelebihan  dimana  proses  yang  berjalan  mudah  untuk  diverifikasi  dan divalidasi  pada  sistem  sederhan  [2].  Pertanyaan  yang  masuk  akan  di  proses  pada  basis aturan-aturan yang ada pada sistem, sehingga apabila pertanyaan memuat rules pada basis aturan  maka  sistem  dapat  memberikan  jawaban  sesuai  dengan  apa  yang  diharapkan. Adanya chatbot ini diharapkan dapat membantu meningkatkan proses layanan oleh PDM kota Yogyakarta.

## 2. Tinjauan Pustaka
Chatbot dapat dimanfaatkan untuk mendukung proses penyampaian informasi dengan cara yang baru. Secara khusus, pengguna dapat menggunakan chatbot untuk mengajukan pertanyaan  terkait  berita  acara,  orang,  atau  tempat,  dan  sistem  dapat  membalas  dengan jawaban  yang  relevan  [3].  Pada  penelitian  yang  dilakukan  dalam  pemanfaatan  IoT  dan chatbot dalam  upaya  pemantauan  kualitas  budidaya  perairan  [4].  Dengan sistem  chatbot tersebut, pengguna dapat menggunakan fitur aplikasi dan mengajukan pertanyaan tentang masalah  budidaya.  Penelitian  lainya  adalah  pengembangan chatbo t  untuk  memberikan respon  dan  menjawab  pertanyaan  anggota  unit  kegiatan  mahasiswa  [5].  Pengujian terhadap chatbot dalam  menjawab pertanyaan memberikan nilai akurasi 70%. Penelitian yang  dilakukan  pada chatbot yang  bernama  AIRA  digunakan  untuk  membantu  dalam peningkatan  performa  layanan customer  service pada  AirAsia  (Malaysia)  Berhad  [6].

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 2, April (2023), pp. 354-363
AIRA  telah  berhasil  dikembangkan  dan  terbukti  memberikan  interaksi  yang  ramah  bagi penggunanya.
Pengembangan  sistem chatbot dapat  dilakukan  dengan  menerapkan  beberapa  metode misalnya rule-based .  Metode rule-based merupakan  salah  satu  basis  dari  sistem  pakar yang  menggunakan  kecerdasan  manusia  untuk  memecahkan  permasalahan  sehari-hari yang  direpresentasikan  dengan  aturan.  Dengan  demikian,  bentuk  kompleksitas  sistem yang  menggunakan  metode  basis  aturan  akan  sangat  tergantung  dengan  jumlah  aturan yang telah dibuat, contohnya pada penelitian rancang bangun sistem tanya-jawab berbasis aturan [7]. Pengujian terhadap chatbot berbasis aturan memiliki akurasi yang tinggi dalam ketepatan  eksekusi  proses  dengan  nilai  98,95%.  Penelitian  lainnya  pada  implementasi chatbot yang  dikenal  sebagai APU  Admin  Bot [8].  Penelitian  ini  bermaksud  untuk memberi  siswa  solusi  yang  lebih  cepat  dalam  menjawab  pertanyaan  mereka,  daripada harus  mengurusnya  pada  kantor  administrasi.  Manfaat  dari  metode rule-based adalah lebih  tepat,  dan  memungkinkan  pengembang  untuk  membuat  dan  menghapus  aturan untuk  menangani  situasi  baru  dan  mengatasi bug dengan  jelas.  Penelitian  lainnya  yang serupa  terkait  pengembangan  sistem  pemberitahuan  dan  tanya-jawab  untuk menghubungkan  antara  admin  jaringan  dengan  sistem  monitoring  melalui chatbot [9]. Basis aturan mengklasifikasi hasil proses  dan menghasilkan kesimpulan untuk hasil data monitoring  dan  disusun  menjadi  jawaban.  Hasil  pengujian  menunjukkan  bahwa  sistem mampu menjawab pertanyaan dengan akurasi sebesar 95% .
Berdasarkan hasil pengamatan terkait kajian terdahulu terhadap pengembangan sistem chatbot dengan  menggunakan  metode rule-based memberikan  hasil  akurasi  yang  baik, maka  dalam  pengembangan  sistem chatbot layanan  PDM  kota  Yogyakarta  akan menggunakan metode rule-based sebagai basis pengetahuan sistem.

## 2.1. Pemrosesan Bahasa Alami
Pemrosesan  bahasa  alami  adala  cabang  penting  dari  kecerdasan  buatan  dimana mempelajari interaksi antara manusia dan komputer  menggunakan bahasa alami. Bahasa alami,  mempelajari  teknologi  dasar  untuk  ekspresi  pada  makna  kata,  frasa,  kalimat,  dan dokumen,  dan  untuk  pemrosesan  sintaksis  dan  semantik  seperti  pemecahan  kata, penguraian  sintaksis,  dan  penguraian  semantik  serta  mengembangkan  aplikasi  seperti mesin penerjemah / machine translation (MT), tanya jawab / question - answering (QA), informasi  temu  kembali,  dialog,  pembuatan  teks,  dan  sistem  rekomendasi.  Pemrosesan bahasa alami sangat penting untuk mesin pencarian atau search engines , sistem dukungan pelanggan, intelijen bisnis, dan asisten virtual ( chatbot ) [10].

## 2.2. Chatbot
Chatbot adalah  sistem  perangkat  lunak  yang  memungkinan  untuk  proses  percakapan serta  dirancang  untuk  meniru  kemampuan  komunikasi  manusia  serta  berinteraksi  secara otomatis  dengan  pengguna  [11]. Chatbot berbentuk  program  komputer  yang  dirancang untuk  mensimulasikan  sebuah  percakapan  atau  komunikasi  yang  interaktif  kepada pengguna (manusia) melalui bentuk teks, suara, maupun visual [12].
Chatbot dikategorikan menjadi dua jenis berdasarkan cara pemberian respon. Chatbot berbasis aturan / rule-based menggunakan algoritma baik itu baru dibuat atau yang sudah ada  sebagai  pengambil  keputusan  untuk  mengidentifikasi  pengetahuan  dan  respon. Contoh chatbot berbasis aturan adalah ELIZA yang menggunakan pencocokan pola untuk mengidentifikasi  masukan  dari  pengguna. Chatbot berbasis  AI  adalah chatbot yang menggunakan algoritma pembelajaran mesin untuk menghasilkan respon bergantung pada data  yang  diberikan  dan terus  mengembangkannya  pada  model  pembelajaran  yang  telah ada. Contoh chatbot berbasis AI chatbot adalah AliMe yang menghasilkan respon kepada pengguna dari informasi di setiap percakapan [13].

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 2, April (2023), pp. 354-363
2.3. Rule-based
Sistem berbasis aturan / Rule-based adalah tipe khusus dari sistem pakar, yang terdiri dari seperangkat aturan, yang biasanya mengambil bentuk aturan jika-maka ( If-then ) [14] . S istem berbasis aturan dapat dirancang dengan dua cara yaitu desain berbasis pakar dan desain  berbasis  data.  Polanya  mengikuti  pendekatan  pada  teknik  tradisional  sedangkan yang terakhir mengikuti pendekatan pembelajaran mesin. Karena ukuran data mengalami peningkatan  yang  pesat,  pendekatan  pembelajaran  mesin  menjadi  semakin  populer terhadap desain dari sistem berbasis aturan.
Metode Rule-based menggunakan teknik yang sederhana, dimulai dengan dasar aturan yang  berisi  semua  pengetahuan  dari  permasalahan  yang  dihadapi  yang  kemudian dikodekan  ke  dalam  aturan if-then yang  mengandung  data,  pernyataan  dan  informasi awal.  Sistem  akan  memeriksa  semua  aturan  kondisi if yang  menentukan  subset,  set konflik yang ada. Jika ditemukan, maka sistem akan melakukan kondisi then . Perulangan ini  akan  terus  berlanjut  hingga  salah  satu  atau  dua  kondisi  bertemu,  jika  aturan  tidak berhasil ditemukan maka sistem tersebut harus keluar dari perulangan.

## 3. Metode Penelitian
Penelitian dilakukan melalui beberapa tahapan, yaitu pengumpulan data, pembangunan sistem, pengujian dan evaluasi.
3.1. Pengumpulan Data
Tahap  pengumpulan  data  dilakukan  dengan  cara  mengumpulkan  data  dari  wawancara bersama pimpinan harian secara langsung terkait hal-hal apa saja yang sering ditanyakan terkait  aktivitas  pelayanan  PDM  kota  Yogyakarta  kemudian  juga  mengklasifikasi informasi  dari e-mail masuk  yang  selama  ini  digunakan  sebagai  sarana  layanan  tanya jawab  dari  pihak  PDM.  Data  yang  telah  didapat  kemudian  diolah  dan  diklasifikasikan berdasarkan  kelompok  bagian  dan  diperoleh  sebanyak  7  buah  skenario  yang  nantinya akan digunakan dalam menyusun rules . Pada Tabel 1, diberikan beberapa klasifikasi data yang telah diolah untuk digunakan dalam pengembangan chatbot .
Tabel 1. Contoh sampel data yang akan digunakan Skenario Rules Responses Sapaan Assalamualaikum,Hello,halo, hai,hey,hola,pagi,siang,mala m,sore,petang,kabar,tes,cek,w oi,oi,ui Halo, selamat datang, perkenalkan saya chatbot layanan web PDM, ada yang bisa saya bantu? Profil Berdiri, didirikan, tahun, kapan, tanggal PDM berdiri tahun 1968 Untuk info detail silahkan klik link berikut:https://pdmjogja.org/sejarah- singkat/ Pendaftaran pegawai proses seleksi,seleksi 1.  Pengumuman.  2.  Pendaftaran  Offline dan  Online.  3.  Seleksi  Administrasi.  4. Pengumuman hasil seleksi administrasi. Donasi Setor Tunai,Setor Tunai Z.I.S Anda  dapat  langsung  menyetor  secara tunai zakat. Penelitian syarat  penelitian,persyaratan penelitian Persyaratan  administrasi  yang  harus dipenuhi  peneliti:  1.Surat  rekomendasi penelitian  dari  Fakultas  yang  ditujukan kepada Majelis DIKDASMEN PDM Kota Yogyakarta. Di dalam surat tersebut harus spesifik  sekolah  Muhammadiyah  yang dituju… Pengurus jabatan penasehat,jabatan penasehat Penasehat PDM Kota Yogyakarta saat ini: 1.Drs.  H.  Hadjam  Murusdi,  SU.  2.H. Marwan DS Umum kontak,info Informasi  kontak:  1.  Sekretariat:  0274-

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Skenario Rules Responses kontak,email,telepon,informa si kontak,narahubung 375116 pdmjogja@yahoo.com, 2. Dikdasmen: 0274-375917 dikdasmenjogja@gmail.com, 3. Keuangan: 0274-389201 pdmjogja@gmail.com
Data  yang  telah  dikelompokan  kemudian  diubah  dengan  mengikuti  pola  penulisan pada kode program untuk dapat menjalankan proses rules terbaca oleh sistem seperti pada Gambar 1 berikut:
{"skenario": "Sapaan", "rules": [ "Assalamualaikum", "halo", "hai", "selamat pagi", "selamat siang", "selamat malam", "test", "cek", "ping", "apa kabar", "siapa ini" ], "responses”:[ "Halo, selamat datang, perkenalkan saya chatbot layanan PDM, ada yang bisa saya bantu?" ], }
Gambar 1. Contoh struktur data pada basis aturan
3.2. Pengembangan Sistem
Sistem chatbot dibangun  dengan  menggunakan  bahasa  pemrograman  Python  versi 3.10.4 Library yang  ditambahkan  pada  sistem chatbot untuk  mempermudah  proses pengolahan data, di antaranya adalah Natural Language Toolkit (NLTK) untuk keperluan tokenisasi. Diagram alir mengenai cara kerja sistem dapat dilihat pada Gambar 2.
Gambar 2. Diagram alur cara kerja sistem

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)

## 3.3. Pengujian Sistem
Rancangan pengujian yang akan dilakukan menggunakan pengujian fungsional ( black box testing ). Pengujian ini bertujuan untuk menguji fungsionalitas dari setiap aturan yang diterapkan dapat berjalan sesuai dengan hasil yang diharapkan. Skenario pengujian yang akan diterapkan adalah dengan  menguji setiap rules dengan hasil keluaran yang dicapai, apabila  hasil output tidak  sesuai  dengan  harapan  atau  rancangan  aturan  yang  ada  maka dinyatakan gagal, sebaliknya jika output sesuai dengan harapan maka dinyatakan berhasil. Adapun untuk skema perhitungan akurasi menggunakan persamaan (1).
(1)

## 4. Hasil Dan Pembahasan
Dalam  proses  pengembangan  sistem chatbot terdapat  8  sub  skenario  basis  data  yang digunakan,  di  mana  untuk  setiap  skenario  memiliki  jumlah rules yang  berbeda-beda seperti terlihat pada Tabel 2.
Tabel 2. Rules Skenario Jumlah Rules Keterangan Sapaan 2 Pertanyaan seputar perkenalan bot Profile PDM 8 Pertanyaan seputar informasi profile PDM Pendaftaran pegawai 6 Pertanyaan seputar pendaftaran pegawai Donasi 8 Pertanyaan seputar donasi Penelitian 4 Pertanyaan seputar penelitian Jabatan Pimpinan 4 Pertanyaan seputar nama pengurus jabatan Umum 3 Pertanyaan seputar layanan umum PDM
Proses pengujian berupa pertanyaan dari user , kemudian sistem akan memproses data inputan  dengan  pengecekan  pada  basis  aturan.  Inputan  yang  memuat rules akan memberikan  hasil  yang  sesuai  dengan  apa  yang  diharapkan,  sebaliknya  bila  terjadi kegagalan  atau  tidak  berhasil  diproses  maka  sistem  tidak  memberikan  respon  sesuai dengan  permintaan user .  Untuk  melihat  proses  yang  terjadi  pada  sistem  dapat  terlihat pada Tabel 3.
Tabel 3. Sampel proses pada sistem No. Skenario Input Rules Output 1. Sapaan Assalamualaik um halo chatbot Assalamualaikum, halo Halo, selamat datang, perkenalkan saya chatbot layanan web PDM, ada yang bisa saya bantu? 2. Profil Instansi dimana lokasi pdm kota? lokasi Jalan Sultan Agung No. 14, Kota Yogyakarta, Kode Pos 5515 3. Layanan Pendaftaran Pegawai apa saja persyaratan pendaftaran pegawai pdm kota yogyakarta? Persyaratan pendaftaran Untuk persyaratan pendaftar terdiri dari persyaratan umum dan persyaratan administrasi 4. Layanan Donasi bagaimana prosedur jemput z.i.s? jemput z.i.s Kapanpun dan dimanapun petugas kami siap menjalankan amanah mulia untuk membantu anda menunaikan zakat, infaq dan shodaqoh dengan menjemput langsung donasi anda 5. Layanan Penelitian bagaimana cara mendapatkan Surat memo Untuk mendapatkan memo / surat resmi dari sekolah

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
No. Skenario Input Rules Output surat memo? Muhammadiyah yang dituju peneliti dapat menyerahkan surat rekomendasi penelitian fakultas untuk dipelajari olah pihak sekolah yang menjadi lokasi penelitian. 6. Pengurus Jabatan siapakah saat ini yang menjabat pada posisi penasehat pdm kota penasehat Penasehat PDM Kota Yogyakarta saat ini: 1.Drs. H. Hadjam Murusdi, SU. 2.H. Marwan DS 7. Pertanyaan Umum email pdm kota yogyakarta email Informasi kontak: 1. Sekretariat: 0274-375116 pdmjogja@yahoo.com, 2. Dikdasmen: 0274-375917 dikdasmenjogja@gmail.com, 3. Keuangan: 0274-389201 pdmjogja@gmail.com
Pada  tabel  diatas  terlihat  beberapa  contoh  proses  yang  berjalan  pada  sistem  untuk setiap  skenario  yang  ada.  Setiap  pertanyaan  yang  memuat rules dapat  memberikan jawaban sesuai dengan yang diharapkan. Hasil pengujian diperoleh dari proses pengujian dengan jumlah pertanyaan pada setiap skenario sebanyak 4 pertanyaan. Kemudian jumlah total keseluruhan rules skenario yang digunakan sebanyak 35 rules dan untuk pengujian total rules dikalikan  4  sehingga  jumlah  total  pengujian  sebanyak  140  buah  pertanyaan. Adapun untuk hasil pengujian berupa sebaran output dari sistem terlihat pada Tabel 4.
Tabel 4. Hasil pengujian Skenario Berhasil persentase valid Gagal persentase error Total Uji Sapaan 8 100% 0 0% 8 Profil Instansi 28 87,5% 4 12,5% 32 Layanan Pendaftaran Pegawai 23 95,83% 1 4,17% 24 Layanan Donasi 28 87,5% 4 12,5% 32 Layanan Penelitian 14 87,5% 2 12.5% 16 Pengurus Jabatan 15 93,75% 1 6,25% 16 Pertanyaan Umum 11 91,67% 1 8,33% 12 Total 127 643,75 13 56,25 140 Total Persentase 90,71% 91,97% 9,3% 8,03%
Berdasarkan hasil pengujian seperti terlihat pada tabel 4, dari total jumlah pertanyaan sebanyak  127  pertanyaan  memberikan output sesuai  dengan  yang  diharapkan  atau  rata- rata  sebesar  90,71%  sedangkan  untuk  13  pertanyaan  tidak  menampilkan output maupun memberikan hasil yang diharapkan atau sebesar 9,3%.  Berikut sebaran data pada diagram batang terkait hasil pengujian terlihat pada Gambar 4.

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Gambar 3 . Diagram hasil pengujian
Dari  diagram  di  atas  menunjukkan  nilai  keberhasilan  sistem  dalam  memberikan jawaban sesuai dengan yang diharapkan ditunjukkan oleh diagram batang biru sedangkan untuk jawaban gagal atau memberikan respon tidak sesuai dengan yang diharapkan pada warna  oranye,  perbandingan  hasil  jawaban  terlihat  baik  dengan  menunjukkan  nilai  rata- rata  hasil  perhitungan jumlah  total jawaban  valid  dibagi  dengan jumlah total  pertanyaan kemudian  dikalikan  100%  dan  didapatkan  nilai  akurasi  dari  sistem  ini  sebesar  91,97%. Meskipun  telah  memberikan  hasil  yang  cukup  baik  tetapi  dengan  adanya  9,3%  kendala membuktikan  masih  perlu  adanya  perbaikan  yang  dilakukan  untuk  memberikan  hasil yang lebih akurat.
Adapun  hasil  analisis  terkait  kendala  yang  ditemukan  ini  dibagi  atas  3  permasalahan utama  yaitu  inputan  tidak  mengandung  token  yang  terdapat  pada rules ,  terdapat  token yang  sama  terkandung  dalam rules berbeda,  serta  inputan  berupa  term  typo  atau  tidak dikenali  oleh  sistem.  pada Tabel 5,  diberikan  beberapa  contoh  kasus  yang  menampilkan hasil yang tidak diharapkan.
Tabel 5. Sampel kegagalan yang terjadi pada sistem No Skenario Input Output 1 Profil instansi bentuk  pimpinan  di  pdm  itu bagaimana ya? None 2 pendaftaran pegawai apa saja syarat untuk mendaftar  sebagai  pegawai di pdm kota? None 3 layanan donasi donasi dengan setor tunai Berikut ini layanan penerimaan  Z.I.S  dari  para donatur  /  muzakki  yang disediakan:  1.  Jemput  Z.I.S, 2. Setor tunai Z.I.S apakah  bisa  transfer  untuk shadaqah? untuk informasi lengkap terkait infaq zakat dan shadaqah  bisa  mengunjungi tautan berikut: https://pdmjogja.org/lazismu/ 4 pengurus jabatan jbtn pmpn hrian None
Dari  contoh  yang  terlihat  pada  tabel  5,  pengujian  pada  no  1  dan  2  terkait  skenario profil  dan  pendaftaran  pegawai,  pertanyaan  yang  diinputkan  tidak  memberikan  jawaban sesuai  yang  diharapkan  dan  ditandai  dengan  pesan None, ini  menunjukkan  bahwa pertanyaan  tidak  memuat pattern yang  ada  pada rules .  Pada  pengujian  no  3  terkait layanan  donasi,  sistem  memberikan  jawaban  yang  tidak  sesuai  dengan  harapan  dan menampilkan  jawaban  dari  pattern  lainnya.  Pada  pengujian  no  4  skenario  pengurus jabatan  sistem  tidak  memberikan  jawaban  karena  inputan  berupa  kata  tidak  baku  atau tulisan typo sehingga  tidak  dikenali  oleh  sistem.  Beberapa  permasalahan  diatas  masih

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 2, April (2023), pp. 354-363
perlu  dikembangkan  kembali  untuk  memberikan  performansi  yang  lebih  akurat  terkait layanan sistem.

## 5. Kesimpulan
Pengembangan chatbot layanan  PDM  Kota  Yogyakarta  dapat  memberikan  hasil validitas  sebesar  91,97%.  Dalam  proses  pengujian  dan  pengembangannya  masih ditemukan  beberapa  kendala  yaitu  pertanyaan  yang  tidak  memuat rules pada  sistem, pertanyaan  yang  memuat  kesamaan  pada rules lainnya.  Kemudian  kendala  terkait pertanyaan yang tidak memuat kata baku atau masih berbentuk typo sehingga sistem tidak mampu memberikan hasil jawaban yang sesuai dengan harapan.
Untuk  memberikan  hasil  yang  lebih  akurat  ada  beberapa  hal  yang  dapat  dilakukan untuk  meningkatkan  akurasi  sistem  pertama  untuk  mengurangi  permasalahan  terkait kebutuhan  pertanyaan  yang  belum  terdapat  pada  sistem  dapat  ditambahkan rules baru sesuai  dengan  pengembangan  dan  kebutuhan  layanan,  kemudian  setiap rules dapat dibedakan  untuk  memberikan  hasil  yang  akurat  sehingga  permasalahan  terkait  output yang  tidak  diharapkan  tidak  terjadi.  Untuk  inputan  yang  mengandung  kata  tidak  baku maupun typo dapat  mengembangkan  sistem  dengan  menambahkan library yang  sesuai sehingga nantinya seluruh pertanyaan dapat diidentifikasi oleh sistem.

## Daftar Pustaka
[1] R.  Jumardi,  L.  Farokhah,  And  M.  Maghfirah,  “Kolaborasi  Digital  Signage  Dan
Chatbot  Messenger  Sebagai  Layanan  Penyedia  Informasi  Akademik,” Jurnal Media Informatika Budidarma , Vol. 4, No. 2, 2020, Doi: 10.30865/Mib.V4i2.2061.
[2] M. A. P. Subali And C. Fatichah, “Kombinasi Metode Rule-Based Dan N-Gram Stemming  Untuk  Mengenali  Stemmer  Bahasa  Bali,” Jurnal  Teknologi  Informasi Dan Ilmu Komputer , Vol. 6, No. 2, 2019, Doi: 10.25126/Jtiik.2019621105.
[3] A.  Veglis  And  T.  A.  Maniou,  “Chatbots  On  The  Rise:  A  New  Narrative  In Journalism,” Studies In Media And Communication , Vol. 7, No. 1, P. 1, Jan. 2019, Doi: 10.11114/Smc.V7i1.3986.
[4] T. Journal,  M.  Udin  Harun  Al  Rasyid,  S.  Sukaridhoto,  M.  Iskandar  Dzulqornain, And  A.  Rifa,  “Integration  Of  Iot  And  Chatbot  For  Aquaculture  With  Natural Language  Processing  Cite  This  Paper  Integration  Of  Iot  And  Chatbot  For Aquaculture  With  Natural  Language  Processing,”  Vol.  18,  No.  2,  Pp.  640–648, 2020, Doi: 10.12928/Telkomnika.V18i1.14788.
[5] A. Boyer Moore, B. Moore Algorithm, And A. Gandi Mitra Sanjung, “Sistemasi: Jurnal  Sistem  Informasi  Analisis  Ketetapan  Respon  Chatbot  Menggunakan.” [Online]. Available: Http://Sistemasi.Ftik.Unisi.Ac.Id.
[6] V.  Kasinathan,  M.  H.  A.  Wahab,  S.  Z.  S.  Idrus,  A.  Mustapha,  And  K.  Z.  Yuen, “Aira  Chatbot  For  Travel:  Case  Study  Of  Airasia,”  In Journal  Of  Physics:
Conference Series , 2020, Vol. 1529, No. 2. Doi: 10.1088/1742-
6596/1529/2/022101.
[7] F. Ishlakhuddin, A. Basir, J. Teknik Informatika, S. Muhammadiyah Paguyangan Brebes,  J.  Sistem  Informasi,  And  J.  Pangeran  Diponegoro,  “Rancang  Bangun Sistem  Tanya-Jawab  Berbasis  Aturan  Stmik  Muhammadiyah  Paguyangan  Brebes Dengan Menggunakan Telegram Chatbot,” Vol. 5, No. 3, 2020.
[8] J.  Singh,  M.  H.  Joesph,  And  K.  B.  A.  Jabbar,  “Rule-Based  Chabot  For  Student Enquiries,” In Journal Of Physics: Conference Series , Jun. 2019, Vol. 1228, No. 1. Doi: 10.1088/1742-6596/1228/1/012060.
[9] F. Ishlakhuddin And A. Sn, “Ontology-Based Chatbot To Support Monitoring Of Server  Performance  And  Security  By  Rule-Base,” Ijccs  (Indonesian  Journal  Of Computing  And  Cybernetics  Systems) ,  Vol.  15,  No.  2,  P.  131,  Apr.  2021,  Doi:
10.22146/Ijccs.58588.
[10] M. Zhou, N. Duan, S. Liu, And H. Y. Shum, “Progress In Neural Nlp: Modeling, Learning, And Reasoning,” Engineering , Vol. 6, No. 3. Elsevier Ltd, Pp. 275–290, Mar. 01, 2020. Doi: 10.1016/J.Eng.2019.12.014.
[11] M.  Nuruzzaman  And  O.  K.  Hussain,  “A  Survey  On  Chatbot  Implementation  In Customer  Service  Industry  Through  Deep  Neural  Networks,”  In Proceedings  - 2018 Ieee 15th International Conference On E-Business Engineering, Icebe 2018 , Dec. 2018, Pp. 54–61. Doi: 10.1109/Icebe.2018.00019.
[12] D.  Rahayu,  M.  Mukrodin,  And  R.  Hariyono,  “Penerapan  Artificial  Intelligence Dalam  Aplikasi  Chatbot  Sebagai  Helpdesk  Objek  Wisata  Dengan  Permodelan
Simple Reflex-Agent (Studi Kasus : Desa Karangbenda),” Smart Comp :Jurnalnya Orang Pintar Komputer , Vol. 9, No. 1, 2020, Doi: 10.30591/Smartcomp.V9i1.1813.
[13] A. Y. Purwaningrum And F. N. Yusuf, “Students’ Voices Towards The Integration Of  Mall  To  Promote  Autonomous  Language  Learning,”  In Acm  International Conference Proceeding Series , 2019, Vol. Part F148391. Doi:
10.1145/3323771.3323823.
[14] H. Liu, A. Gegov, And M. Cocea, “Rule-Based Systems: A Granular Computing Perspective,” Granular  Computing ,  Vol.  1,  No.  4,  Pp.  259–274,  Dec.  2016,  Doi: 10.1007/S41066-016-0021-6.