Abstrak —Layanan  informasi  administrasi  akademik  yang tersebar  melalui  berbagai  macam  media online seringkali  tidak dilewati  oleh  mahasiswa.  Seringkali  mahasiswa  lebih  memilih bertanya  langsung  ke  pengelola  program  studi  menggunakan aplikasi chat .  Namun  kurangnya  sumber  daya  manusia  di  sisi penyedia  informasi  membuat  pelayanan  informasi  melalui aplikasi chat tidak  dapat  diberikan  dengan  maksimal.  Pada penelitian  ini,  dikembangkan  sebuah chatbot untuk  melayani permintaan  informasi  dari  pengguna  secara  otonom. Chatbot dikembangkan  menggunakan framework Rasa  Open  Source. Penelitian  ini  menggunakan  data Frequently  Asked  Questions mahasiswa  ke  pengelola  program  studi  sebagai  data  pelatihan awal  untuk chatbot .  Data  tersebut  dikembangkan  menjadi  data pelatihan Natural  Language  Understanding (NLU)  dan  data pelatihan  dialog.  Jumlah  sampel  kalimat  untuk  pelatihan  NLU sebanyak 188 sampel kalimat dan untuk pelatihan dialog adalah 31  dialog.  Hasil  evaluasi  NLU  memperlihatkan chatbot dapat memahami  dengan  baik  maksud  pesan  teks  pengguna, ditunjukkan  dengan  nilai  rata-rata  tertimbang  untuk precision 0,995, recall 0,995 dan F1-Score 0,995. Sementara untuk evaluasi model dialog mendapatkan tingkat akurasi 0.70, nilai presisi 0,72 dan  F1-Score  0,70  yang  merepresentasikan  hasil  evaluasi performansi chatbot dalam  memprediksi  respon  yang  tepat untuk pengguna.
Kata  kunci —  Layanan  Informasi  Akademik; Chatbot ; Framework; NLU; Rasa Open Source.
Abstract  —  Academic  administration  information  services  that are  spread  through  various  online  media  are  often  not  missed  by students. Students prefer to ask directly to the manager of the study program  using  a  chat  application.  However,  the  lack  of  human resources on the information provider side means that information services through chat applications cannot be provided optimally. In this study, a chatbot was developed to autonomously serve requests for  information  from  users.  The  chatbot  is  developed  using  the Rasa Open Source framework. This study uses student's Frequently Asked  Questions data  to  the  study  program  as  initial  training  data for  chatbots.  The  data  was  developed  into  Natural  Language Understanding  (NLU)  training  data  and  dialogue  training  data. The number of sentence samples for NLU training was 188 sample sentences  and  for  dialogue  training  was  31 dialogue  samples. The results  of  the  NLU  evaluation  show  that  chatbots  can  understand well  the  meaning  of  text  messages  from  users,  indicated  by  the weighted  average  value  for  precision  0.995,  recall  0.995  and  F1-
Score  0.995.  Meanwhile,  the  dialogue  model  evaluation  gets  an accuracy level of 0.70, a precision value of 0.72 and an F1-score of 0.70  which  represent  the  results  of  the  evaluation  of  the performance level of the chatbot in predicting the right response for the user.
Keywords — Academic Information Service ; Chatbot ; Framework; NLU; Rasa Open Source.

## I. P ENDAHULUAN
Perguruan tinggi khususnya program studi perlu meningkatkan pelayanan prima secara berkelanjutan. Layanan administrasi akademik untuk mahasiswa merupakan salah satu layanan  utama  yang  disediakan  [1].  Pelayanan  informasi administrasi  akademik  dilakukan  oleh  tenaga  administrasi yang telah ditugaskan. Dalam pedoman pemilihan administrasi akademik  berprestasi  yang  dibuat  oleh  Dirjen  Sumber  Daya IPTEK  dan  Pendidikan  Tinggi  Kemenristekdikti  pada  tahun 2017 dijelaskan bahwa poin penilaian administrasi berpresetasi diantaranya adalah mengembangkan prinsip kerja yang  efisien  dan  efektif;  mengaplikasikan  dan  mengelola sistem  berbasis  IT;  dan  menjaga  keberlanjutan  tugas  dan fungsi layanan administrasi akademik.
Saat  ini  informasi  tentang  administrasi  akademik  untuk mahasiswa  diakses  melalui  berbagai  macam  media  online berupa  situs  web  resmi  dan  sistem  informasi  yang  digunakan oleh  perguruan  tinggi.  Selain  itu  platform  media  sosial  juga dimanfaatkan  oleh  program  studi  untuk  menyebarkan informasi  tentang  administrasi  akademik  misalnya  seperti jadwal perkuliahan atau jadwal seminar dan ujian. Mahasiswa dan  dosen  sebagai  pengguna  informasi  seringkali  tidak menerima  langsung  informasi  tersebut.  Informasi  yang tersebar  melalui  berbagai  macam  media  membuat  pencarian informasi  menjadi  hal  yang  kompleks  untuk  dilakukan. Namun  aplikasi chat merupakan  media  yang  dianggap pengguna  paling  sederhana  untuk  digunakan  [2]  sehingga pengguna  lebih  memilih  media  ini  untuk  mencari  informasi. Di  sisi  penyedia  informasi,  kurangnya  sumber  daya  manusia, membuat  pelayanan  informasi  via  aplikasi  chat  dapat mengganggu  kinerja  tenaga  administrasi  untuk  tugas

## Chatbot Development for an Interactive Academic Information Services using the Rasa Open Source Framework
Pengembangan Chatbot untuk Layanan Informasi Interaktif Akademik menggunakan Framework Rasa Open Source
Dirko G. S. Ruindungan, Agustinus Jacobus
Dept. of Electrical Engineering, Sam Ratulangi University Manado, Kampus Bahu St., 95115, Indonesia dirko@unsrat.ac.id , a.jacobus@unsrat.ac.id Received: 29 October 2020; revised:31 March 2021; accepted: 24 April 2021
62                                       Dirko G.S. Ruindungan – Chatbot Development for an Interactive Academic Information Services using the Rasa Open Source Framework
administrasi lainnya.
Otomatisasi dalam menjawab pertanyaan pengguna melalui sistem  dialog  dapat  dilakukan  dengan  teknik  pemrosesan bahasa  natural. Chatbot merupakan  program  computer  yang dikembangkan  untuk  hal  tersebut  yaitu  untuk  berinteraksi dengan pengguna secara otonom [3]. Teknik pemrosesan teks bahasa  natural  memungkinkan  ucapan  manusia  dalam  bentuk teks  disimpan  dan  dianalisis  oleh  komputer  menggunakan teknik-teknik  kecerdasan  buatan  untuk  memahami  atau mendapatkan  maksud  dari  ucapan  dan  meresponnya  dengan jawaban  yang  benar.  Hal  tersebut  menjadi  peluang  untuk membangun  sebuah  sistem  yang  dapat merespon  ucapan  atau melayani pertanyaan tentang informasi administrasi akademik secara otomatis.
Penelitian  ini  bertujuan  mengembangkan  sebuah  sistem yang  dapat  digunakan  untuk  menjawab  pertanyaan  atau merespon ucapan pengguna secara otomatis dengan informasi yang  sesuai  khususnya  informasi  tentang  administrasi akademik  dengan  menggunakan  teknik  pemrosesan  bahasa natural.  Teks  ucapan  dapat  berbentuk  salam  atau  pertanyaan tentang  informasi  administrasi  akademik  misalnya  informasi tentang jadwal kuliah, jadwal seminar dan ujian

## A. Chatbot
Chatbot merupakan  sistem  perangkat  lunak  yang  dapat berinteraksi  dengan  manusia  dengan  bahasa  natural  layaknya seorang  manusia.  Sistem  ini  bersandar  pada  teknik-teknik Natural Language Processing (NLP) baik untuk menginterpretasikan  teks  masukkan  dan  untuk  memberikan respon teks.
Dari  sudut  pandang  bisnis,  beberapa  alasan  menggunakan perangkat  lunak  antara  lain  yaitu  [2]:  pertama,  dari  segi aksesibilitas, pelanggan langsung bertanya untuk mendapatkan informasi  tertentu.  Kedua, dari  sisi  efisiensi,  pelanggan  dapat menghemat  waktu  untuk  mencari  informasi.  Ketiga,  dari  sisi ketersediaan,  sebuah  sistem chatbot pada  dasarnya  dapat melayani  percakapan  selama  24  jam  atau  selama  sistem tersebut berjalan tanpa intervensi manusia. Keempat, dari sisi skalabilitas,  pengetahuan chatbot dapat berkembang  sehingga sebuah chatbot dapat  menggantikan  sekian  banyak  pegawai untuk  memberikan  pelayanan  informasi..  Selain  untuk  bisnis, chatbot juga dikembangkan untuk Universitas oleh Patel, dkk [4]  untuk  membantu  memenuhi  kebutuhan  informasi  bagi siapa  saja  yang  ingin  mencari  informasi  di  Universitas misalnya  terkait  dengan  biaya  registrasi  dan  sebagainya. Chatbot juga  digunakan  dalam  pengembangan  kontrol terhadap  perangkat  IoT  misalnya  untuk  mematikan  atau menyalakan  lampu  hanya  dengan  mengirim  pesan  pada aplikasi chat [5]. Taweh menjelaskan bahwa pada abad ke-20, NLP  diperluas  sebagai  sebuah  bidang,  yang  didalamnya termasuk Natural  Language  Understanding (NLU).  NLU memungkinkan  komputer  untuk  bereaksi  secara  akurat terhadap  sebuah  pernyataan.  Misalnya,  jika  seseorang berbicara kepada chatbot dan memintanya untuk “cari hotel di dekat  saya,”  chatbot  akan  menggunakan  proses  NLU  untuk
memahami  kalimat  tersebut  yang  hasilnya  digunakan  sebagai acuan untuk menjalankan aksi tertentu.[6].
Chatbot  merupakan  asisten  digital  berbasis  kecerdasan buatan  yang  dapat  dikembangkan  untuk  memberikan informasi dan memberikan pengalaman personal berbasis teks sesuai  dengan  kebutuhan  pengguna.  Berdasarkan  tingkat interaksi  dan  respon  informasi  yang  mampu  diberikan, Chatbot diklasifikasikan ke dalam beberapa kategori yaitu [7]: Domain  Pengetahuan,  Layanan  yang  disediakan, Goal dan Metode respon yang dihasilkan.

## B. Pemrosesan Bahasa Natural
Bahasa  natural  didefinisikan  sebagai  ekspresi  dari pemikiran  manusia  melalui  rangkaian  kata-kata  yang  saling berhubungan yang menjadi media penyampaian informasi [8]. NLP  merupakan  sebuah  konsep  pengolahan  data  teks  oleh komputer  sehingga  komputer  mengerti  dan  dapat  merespon teks  tersebut  layaknya  manusia.  Pemrosesan  bahasa  natural adalah bidang penelitian dalam ilmu komputer dan kecerdasan buatan  yang  berkaitan  dengan  pemrosesan  bahasa  alami misalnya  bahasa  Indonesia  atau  bahasa  Inggris.  Pemrosesan ini  melibatkan  penerjemahan  bahasa  natural  ke  dalam  data yang dapat dipergunakan dan diproses oleh komputer [9]. NLP sangat  membutuhkan  model  kecerdasan  buatan  untuk mendukung bagaimana komputer mengetahui atau membedakan  maksud  dari  teks  masukkan  dalam  bahasa natural manusia.
Natural  Language  Understanding (NLU)  merupakan  salah satu  bagian  yang  tidak  dapat  terpisahkan  dari  NLP.  NLU merupakan  istilah  yang  mengacu  pemrosesan  teks  bahasa natural  dalam  hal  ekstraksi  informasi  sehingga  mesin  dapat mendemonstrasikan  pemahaman  terhadap  teks  bahasa  natural [9].  Schank  menjelaskan  beberapa  teori  NLU  yaitu  berbasis konseptual dimana konsep tersebut terdiri atas struktur formal, tidak  terbatas  pada  kalimat  tertentu  dan  memiliki  aturan formal  untuk  menganalisis  ucapan  bahasa  natural  ke  dalam basis  konseptual  [10].  Berdasarkan  hal  tersebut  Schank mengemukakan  garis  besar  permasalahan  dalam  NLU diantaranya  adalah  analisis  maksud  ( intent )  dari  ucapan ( utterance )  dan  prediksi  elemen  komunikasi  yang  berada diluar  konten  konseptual  sebuah  ucapan.  Rasa  adalah implementasi  dari  NLU  dan  merupakan  sumber  terbuka dengan berbagai  macam  kemampuan  seperti  interaksi  dengan basis  data,  api,  dan  beragam  fitur  pengembangan chatbot lainnya [11].

## C. Rasa Open Source Framework
Rasa  Open  Source merupakan  sebuah framework untuk membangun chatbot .  Berdasarkan  pengujian  yang  dilakukan oleh  Jiao  [12],    dari  sisi  ekstraksi  entitas,  metode  yang digunakan pada Framework ini memiliki tingkat akurasi yang lebih baik daripada metode Recurrent Neural Network (RNN) yang digunakan sebagai pembanding. Braun dkk membandingkan  bagian  NLU Rasa  Open  Source dengan layanan NLU lain yaitu LUIS, Watson, API.ai, wit.ai dan Lex. Hasil evaluasi menunjukkan LUIS memperoleh hasil terbaik
Gambar 1.  Alur kerja Rasa Open Source [15] .
untuk  layanan  NLU  [13].  Hasil  tersebut  tidak  jauh  berbeda dengan  yang  diperoleh Rasa .  Namun, Rasa dipandang  lebih baik karena statusnya open source dan memiliki struktur yang fleksibel untuk kustomisasi.
Umumnya  ada  dua  tahap  pemrosesan  teks  pada  sebuah sistem chatbot atau  sistem  percakapan  berbasis  kecerdasan buatan. Tahap pertama adalah bagaimana sistem menginterpretasikan  teks  dari  pengguna.  Tahap  kedua  adalah bagaimana  sistem  menghasilkan  teks  respon. Framework ini merepresentasikan  kedua  tahapan  tersebut  atas  dua  bagian yaitu Rasa  NLU dan Rasa  Core [14].  Rasa  NLU  merupakan bagian yang melakukan proses NLU atau pemahaman teks dan Rasa Core melakukan manajemen dialog. Pesan yang diterima oleh sistem percakapan akan diinterpretasikan oleh Rasa NLU kemudian  diproses  oleh Rasa  Core yang  memprediksi  dan mengatur  pemberian  respon  ke  pengguna.  Alur  kerja  dari kerangka kerja ini ditunjukkan pada Gambar 1.
Proses diawali dari pesan teks pengguna yang diterima dan diteruskan ke  interpreter  untuk  proses  ekstraksi intent, entitas dan  komponen  lain  yang  diperlukan  untuk  pemrosesan  teks. Tracker akan  menjaga state dari  percakapan  dimana state tersebut  akan  digunakan  oleh Policy untuk  menentukan  aksi berikutnya.  Selanjutnya,  sistem  menghasilkan  luaran  teks sebagai pesan respon.

## D. Domain Percakapan
Domain  percakapan  merupakan  spesifikasi  tentang  area informasi  yang  dapat  dimengerti  oleh chatbot .  Domain percakapan  berisi  data  pelatihan  yang  terdiri  atas  Data  NLU, Respon  dan  Data stories .  Data  NLU  merupakan  data kumpulan  kalimat-kalimat  yang  diharapkan  dapat  dipahami oleh chatbot .  Pada framework  Rasa  Open  Source versi  1.10, data  pelatihan  ditulis  dalam  format markdown seperti  yang ditunjukkan  pada  Gambar  2  [15].  NLU  adalah  bagian  yang bertugas  menginterpretasikan  ucapan-ucapan  dikirimkan  oleh pengguna.  Oleh  karena  itu  bagian  ini  berisi  data  pelatihan berupa teks ucapan yang mungkin dikirimkan oleh pengguna. Teks tersebut dilabel dengan jenis intent dan jenis entitas yang sesuai.  Gambar  2  menunjukkan  contoh  pelabelan intent . Kalimat  “ show  me  chinese  restaurant ”  dilabel  dengan  nama intent “ restaurant_search ”.  Kata “chinese” pada  kalimat tersebut dilabel jenis entitas “ cuisine ”.
Gambar 2.  Contoh data NLU dalam format markdown .
Gambar 3. Contoh data pelatihan dialog [15].
Selain  untuk  data  NLU,  format markdown juga digunakan  untuk  data stories [15].  Data stories digunakan untuk  proses  pelatihan  dialog  dari Chatbot .  Data  ini memperlihatkan  bagaimana chatbot merespon  maksud  dari pengguna.  Contoh  penulisan  data  pelatihan  dialog  yang dimaksud ditunjukkan pada Gambar 3.

## II. M ETODE P ENELITIAN

## A. Pengumpulan Data
Pada penelitian ini, chatbot dikembangkan untuk memberikan  informasi  terkait  pertanyaan  yang  sering ditanyakan  oleh  mahasiswa  pada  pengelola  program  studi. Data  yang  dibutuhkan  untuk  membangun  chatbot  pada penelitian ini adalah sampel dialog dan intent . Singh, dkk [16] menggunakan Frequently  Asked  Questions (FAQ)  sebagai dataset yang digunakan untuk mengembangkan Chabot untuk pelayanan informasi di tingkat Universitas. Pada penelitian ini, digunakan data FAQ di tingkat Program Studi sebagai sampel dialog. Data tersebut mengandung data pertanyaan-pertanyaan yang  sering  ditanyakan  oleh  mahasiswa  beserta  jawaban  dari pengelola  program  studi.  Sebelum  masuk  pada  tahap pengolahan,  dilakukan  pemrosesan  awal  dari  data  FAQ yaituSelanjutnya berdasarkan data FAQ, dilakukan pendefinisian intent dan entity . Pendefinisian intent terdiri atas identifikasi  nama intent dan  kategorisasi  atau  pelabelan kalimat  pertanyaan  berdasarkan  nama intent yang  telah didefinisikan sebelumnya.

## B. Pemodelan Percakapan
Pengembang  chatbot  umumnya  membuat  pengetahuan dasar  yang  merepresentasikan  domain  dari  chatbot.  Domain tersebut dibutuhkan sebagai bagian dari lingkungan pembelajaran  dari  chatbot  [17].  Domain  ini  meliputi  jenis intent, aksi,  beserta template kalimat  untuk  respon  ucapan terhadap pesan pengguna.
## story_example
* greet
- utter_ask_howcanhelp
* inform{"location":"rome","price":"cheap"} - utter_on_it
- utter_ask_cuisine
* inform{"cuisine":"spanish"}
- utter_ask_numpeople
* inform{"people":"six"} - action_ack_dosearch ## intent: cari_hotel
- ada hotel apa saja di [manado](kota)
Gambar 4.  Proses Pemodelan Percakapan.
Pada  tahap  ini,  dilakukan  perancangan  domain  awal berdasarkan  data  FAQ.  Domain  menspesifikasikan  data pelatihan yang akan menghasilkan model untuk chatbot. Data pelatihan  untuk  chatbot  terdiri  atas  data  pelatihan  NLU  dan pelatihan  dialog.  Kualitas  data  pelatihan  ini  dapat  terus ditingkatkan sehingga menghasilkan model chatbot yang dapat merespon  dengan  baik  pesan  dan  kebutuhan  informasi  dari pengguna.

## C. Implementasi dan Pengujian Sistem
Pada tahapan ini, sistem dibangun sesuai dengan rancangan dan kerangka kerja Rasa Open Source . Selain itu, pada tahap ini  juga  menggunakan  Rasa  X  sebagai tools untuk pengembangan  percakapan  dengan  pengguna  nyata.  Proses pembangunan chatbot pada  computer  local  menggunakan Rasa  Open  Source  terdiri  atas  proses-proses  utama  yaitu: inisialisasi  dan  konfigurasi framework ,  pendefinisian  data NLU, pendefinisian respon chatbot, pendefinisian data dialog, pelatihan  dan  pengujian.  Proses  konfigurasi  melibatkan pendefinisian  jenis  bahasa,  spesifikasi pipeline dan policies . Proses  pelatihan  menggunakan  algoritma pembelajaran  mesin yang  dispesifikasikan  pada  bagian policies .  Bagian  ini menentukan proses pembelajaran mesin yang akan digunakan untuk  mengolah  pesan  teks  yang  diterima  dan  pesan  teks respon ke pengguna.
Sistem chatbot dibangun  untuk  melayani  pesan  dari pengguna  nyata.  Untuk  itu,  penerapan  antarmuka  sistem menggunakan  Rasa  X  untuk  membantu  implementasi  model dan  uji  percakapan  langsung  dengan  pengguna  nyata. Pengguna  nyata  dapat  langsung  berinteraksi  dengan chatbot melalui  tautan  yang  dibuat  oleh  administrator  Rasa  X. Implementasi  lebih  lanjut,  sistem chatbot dapat  dihubungkan dengan  kanal  aplikasi chat lainnya  seperti  Telegram,  Google Hangouts  dan  lain-lain  [18].  Penampilan  dari chatbot yang menunjukkan  karakter  manusia  juga  dapat  mempengaruhi kualitas  implementasi  salah  satunya  dengan  pemberian  nama [19]. Pada penelitian ini chatbot yang dikembangkan diberi
Gambar 5.  Gambaran umum implementasi sistem.
nama  LIANA  sebagai  singkatan  dari  Layanan  Informasi Akademik Interaktif.
Sebelum  digunakan  oleh  pengguna  akhir,  implementasi chatbot diuji  terlebih  dahulu  di  lingkungan  lokal,  untuk memastikan  bahwa  proses  pelatihan,  model  yang  dihasilkan dan  implementasi  sistem  terbebas  dari error .  Pada  tahap  ini juga dilakukan validasi data pelatihan untuk memastikan data pelatihan memiliki struktur yang benar.

## D. Evaluasi
Kerangka kerja  Rasa  Open  Source  telah menyediakan fitur untuk  mengevaluasi  model chatbot secara  otomatis.  Jenis pengujian  yang  dilakukan  diantaranya  pengujian  NLU, pengujian  dialog  serta  uji  percakapan  oleh  pengguna  aktual. Data uji berasal dari data percakapan actual yang dikumpulkan oleh Rasa X. Untuk melakukan hal tersebut, model yang telah dibangun di computer local menggunakan Rasa Open Source, diunggah ke server chatbot yang menjalankan Rasa X. Rasa X berada  pada server publik yang  akan  bertanggungjawab melayani  percakapan  langsung  dengan  pengguna  nyata  serta menyimpan  percakapan  tersebut.  Data  percakapan  yang ditangkap  oleh  Rasa  X  digunakan  sebagai  data  uji  yang dibutuhkan  untuk  mengeksekusi  pengujian  NLU  dan  dialog secara  otomatis.  Hasil  pengujian  akan  menghasilkan  laporan- laporan  diantaranya,  nilai Precision , Recall dan F1-Score beserta confusion  matrix dari  prediksi intent dan  prediksi action .

## III. H ASIL DAN P EMBAHASAN

## A. Implementasi Framework
Implementasi sistem melibatkan lingkungan pengembangan lokal yaitu sebuah computer yang telah terpasang dengan Rasa Open Source dan cloud server yang terpasang dengan Rasa X. Model chatbot dikembangkan  dan  dihasilkan  di  komputer lokal.  Selanjutnya, model tersebut diunggah ke chatbot server agar dapat dibagikan dan diuji langsung oleh pengguna nyata
secara online. Ada dua jenis model yang diunggah yaitu model NLU dan Model Dialog. Dengan menggunakan fasilitas Rasa X,  pengguna  dapat  berinteraksi  dan  menguji  percakapan dengan chatbot melalui web browser. Gambar 3 menunjukkan interaksi  antarmuka chatbot dengan  pengguna. Channel aplikasi chat lainnya  dapat  dihubungkan  untuk  penggunaan lebih jauh dari framework Rasa pada tingkat produksi.

## B. Data Pelatihan
Sampel  data  berasal  dari  data  FAQ  yang  terdiri  atas  15 kalimat  pertanyaan  beserta  jawabannya.  Sampel  data  tersebut menjadi  dasar  pembentukan  data  pelatihan  NLU  dan  data pelatihan  dialog  yang  digunakan  dalam framework Rasa. Berdasarkan analisis FAQ, pesan teks pengguna dikategorikan atas  12  jenis intent pengguna.  Masing-masing intent dideskripsikan  pada  Tabel  I . Jenis-jenis intent ini  sudah termasuk  jenis intent diluar  pertanyaan  inti  FAQ  untuk menangani percakapan
contohnya “salam” dan “terima_kasih”.
TABEL I.
DAFTAR INTENT PENGGUNA.
Jenis Intent Pengguna Deskripsi Jumlah Sampel Kalimat tanya_jadwal Mencari informasi waktu pelaksanaan suatu aktifitas akademik 15 tanya_prosedur Mencari informasi prosedur pada suatu aktifitas akademik, misalnya pendaftaran seminar proposal 34 tanya_persyaratan Mencari informasi persyaratan pada suatu aktifitas 23 tanya_skripsi Mencari informasi skripsi 5 tanya_format_dokumen Mencari informasi format dokumen, misal format skripsi atau jurnal 4 menginformasikan Pengguna memberi tambahan informasi 30 salam Salam pembuka percakapan 13 terima_kasih Pengguna berterima kasih 11 menyetujui Setuju dengan respon informasi dari chatbot 19 menolak Tidak setuju atau menolak respon informasi dari chatbot 14 identitas_bot Pengguna mencoba menanyakan identitas chatbot 10 diluar_cakupan_informasi Pesan teks pengguna diluar domain informasi yang dapat dimengerti chatbot 10 TOTAL 188
Data  pelatihan  NLU  berisi  sampel  kalimat  dimana  setiap kalimat  telah  dilabel  dengan  nama intent dan  atau  nama entitas.  Masing-masing intent memiliki  beberapa  sampel dengan bentuk kalimat yang berbeda-beda dengan makna yang sama.  Misalnya  untuk  label intent “tanya_jadwal”  ada  15 bentuk  kalimat  berbeda  namun  memiliki  makna  yang  sama. Total  ada  188  kalimat  untuk  data  pelatihan  NLU.  Data  ini didefinisikan  dalam  format markwdown seperti  yang ditunjukkan pada Gambar 6.
Selanjutnya,  model  dialog  disusun  berdasarkan  label intent dan  entitas  pada  data  NLU.  Model  dialog  atau  disebut  juga dengan  istilah stories ,  berisi  sampel  dialog  yang  terdiri  atas jenis intent dan  respon  dari chatbot .  Respon  pada  Gambar  7 merupakan label teks template jawaban, misalnya untuk intent “salam”,  responnya  adalah  “utter_salam”.  Pada  gambar tersebut  diberikan  contoh  dua  jenis  pola  dialog  berbeda dengan tujuan yang sama yaitu menjawab pertanyaan “Kapan pelaksanaan seminar proposal?”.
Gambar 6. Sampel data NLU.
Gambar 7. Sampel data pelatihan dialog
## FAQ-1.Story1: Kapan pelaksanaan seminar proposal? * salam
- utter_salam
* tanya_jadwal{"tipe_akademik":"seminar"}
- utter_tanya_tipe_akademik
* menginformasikan{"seminar_konsep":"proposal"}
- utter_faq1_jadwal_seminar_proposal * terima_kasih
- utter_selesai
## FAQ-1.Story2: Kapan pelaksanaan seminar proposal? * salam
- utter_salam
* tanya_jadwal{"seminar_proposal":"proposal"}
- utter_faq1_jadwal_seminar_proposal
* terima_kasih
- utter_selesai
## intent:tanya_jadwal
- [kapan](waktu) pelaksanaan [seminar proposal](seminar_proposal) ?
- kapan ada pelaksanaan [proposal](seminar_proposal)
- [jadwal](waktu) [proposal](seminar_proposal)
- mohon info [jadwal](waktu) [seminar proposal](seminar_proposal)
- info jadwal [seminar](tipe_akademik) ?
- mohon info [kuliah](tipe_akademik) ?
- mau tanya [jadwal](waktu) [ujian](tipe_akademik) ? - [kapan](waktu) [seminar](tipe_akademik) ?
- kapan [kuliah](tipe_akademik) ?
- [kpn](waktu) ada [proposal](seminar_proposal) ? - kapan [seminar](tipe_akademik)
[proposal](seminar_proposal) ?
- [proposal](seminar_proposal) [kapan](waktu)?
- [jadwal](waktu) [proposal skripsi](seminar_proposal)
- kapan [seminar proposal skripsi](seminar_proposal) dilaksanakan ?
- [kapan pelaksanaan](waktu) [proposal](seminar_proposal) ?
66                                       Dirko G.S. Ruindungan – Chatbot Development for an Interactive Academic Information Services using the Rasa Open Source Framework

## C. Uji Percakapan End-to-end
Pengujian end-to-end merupakan  uji  percakapan  yang dilakukan langsung dengan pengguna nyata. Untuk memungkinkan  hal  ini,  Rasa  X  dijalankan  pada  server  publik sehingga  pengguna  dapat  mengakses  dan  berinteraksi langsung  dengan  LIANA chatbot .  Sebelum  memulai percakapan  dengan chatbot, pengguna  telah  mendapat informasi  terkait  domain  informasi  yang  mampu  ditangani oleh chatbot .  Pengujian  ini  memperlihatkan  hasil  interaksi langsung  antara  LIANA chatbot dan  pengguna  seperti  yang ditunjukkan  pada  Gambar  8.  Contoh  hasil  percakapan  pada gambar  tersebutSelain  itu,  transkrip  percakapan  juga  direkam sehingga  didapatkan  model  bahasa  dan  percakapan  aktual antara pengguna dan chatbot .
Gambar 8. Tampilan antarmuka pengguna saat uji percakapan dengan chatbot .
Rasa  X  mengkonversi  data  percakapan  aktual  kedalam format  yang  siap  digunakan  untuk  pengujian.  Sebuah  model percakapan  dapat  terdiri  atas  beberapa  aksi  dari chatbot .
Model  percakapan  pada  Gambar  8  menunjukkan  sebuah model percakapan dengan aksi atau respon chatbot sebanyak 3 kali.  Pengujian  percakapan  berhasil  merekam  20  model percakapan  aktual  dengan  total  98  aksi chatbot secara keseluruhan.  Percakapan-percakapan  yang  telah  dikumpulkan selanjutnya  digunakan  sebagai  data  uji  untuk  evaluasi  model dialog.  Proses  pengujian  menggunakan  fitur  pengujian otomatis  dari Rasa  Open  Source .  Fitur  ini  menghasilkan laporan evaluasi performansi model NLU dan model dialog.

## D. Evaluasi Model NLU
Model  NLU  yang  diuji,  dibangun  berdasarkan  sampel kalimat yang dimaksud pada Tabel I. Pada tabel tersebut juga memperlihatkan  bahwa  terdapat  ketidakseimbangan  jumlah data pelatihan untuk satu label dengan label lainnya.
Hasil  evaluasi  prediksi intent ditunjukkan  pada  Tabel  II. Hasil ini menunjukkan kemampuan chatbot dalam memahami teks  masukkan.  Nilai  akurasi yang  didapatkan  adalah  0,995. Nilai  rata-rata  makro  untuk precision 0,993, recall 0,996 dan F1-Score -nya  0,994.  Sementara  jika  mempertimbangkan beban  sampel,  kita  melihat  hasil  rata-rata  tertimbang  yaitu: 0,995 untuk precision, 0,995 untuk recall dan 0,995 untuk F1- Score .
Performansi  klasifikasi  memperlihatkan  hasil  yang  sangat baik. Hal ini berarti chatbot memiliki kemampuan yang sangat baik  dalam  memahami  pesan  teks  pengguna  sesuai  dengan domain  informasi  yang  telah  dispesifikasikan  dalam  data pelatihan.  Namun confusion  matrix pada  Gambar  9 memperlihatkan lebih rinci bagaimana beberapa kalimat untuk jenis intent tertentu diprediksi dengan label yang salah.
TABEL II.
PERFORMANSI PREDIKSI INTENT . NAMA INTENT PRECISION RECALL F1-SCORE tanya_jadwal 1 1 1 tanya_prosedur 1 1 1 tanya_persyaratan 1 1 1 tanya_skripsi 1 1 1 tanya_format_doku men 1 1 1 menginformasikan 1 1 1 Salam 1 1 1 terima_kasih 0.92 1 0.96 menyetujui 1 0.95 0.97 Menolak 1 1 1 identitas_bot 1 1 1 diluar_cakupan_info rmasi 1 1 1 Akurasi 0.995 Rata-rata makro 0.993 0.996 0.994 Rata-rata tertimbang 0.995 0.995 0.995
Gambar 9. Confusion Matrix hasil klasifikasi intent .
Gambar 10. Confusion matrix Aksi chatbot .

## E. Evaluasi Model Dialog
Chatbot memprediksi aksi atau respon yang akan diberikan ke  pengguna  berdasarkan  hasil  pemahaman  pesan  teks pengguna.  Hasil  prediksi  aksi  ditunjukkan  oleh Confusion Matrix pada  Gambar  10  memperlihatkan  seberapa  sering chatbot memprediksi  aksi  yang  sesuai  maupun  tidak . Hasil
evaluasi  model  dialog  disini  menunjukkan  kemampuan chatbot dalam  memberikan  respon  atau  aksi  kepada  yang sesuai  dengan  kebutuhan  pengguna.  Pada  data  uji,  secara keseluruhan  ada  98  aksi  respon  teks  dari chatbot terhadap pengguna. Misalnya untuk aksi dengan label utter_faq1_jadwal_seminar_proposal berhasil diprediksi dengan  benar  secara  keseluruhan  sebanyak  6  kali.  Hal  ini berarti,  secara  aktual  ada  6  aksi  yang  menggunakan  respon teks  dengan  label  tersebut  dalam  dialog.  Sesuai  hasil  yang didapatkan, chatbot mampu memprediksi dengan benar setiap intent dari  pengguna  yang  memerlukan  respon  teks  dengan label utter_faq1_jadwal_seminar_proposal.
Sementara  kesalahan  prediksi  contohnya  terlihat  pada utter_faq13_tahun_akademik yang diprediksi sebagai utter_faq9_mendaftar_wisuda sebanyak 1 kali dalam percakapan.  Namun  secara  keseluruhan,  sebagian  besar  aksi dapat  aksi  dapat  diprediksi  dengan  baik.  Hal  tersebut ditunjukkan melalui hasil pengujian performansi aksi.
Evaluasi  model  percakapan  melaui  pengujian  performansi aksi  menghasilkan  pengukuran  tingkat  akurasi  0,70,  presisi 0,72  dan  F1-Score  0,70.  Hasil  ini  menunjukkan  performansi yang  baik  dari chatbot dalam  merespon  pesan  teks  pengguna mengingat  jumlah  sampel  data  pelatihan  dialog  dan  data  uji yang masih perlu ditingkatkan.

## IV. K ESIMPULAN DAN S ARAN
Pada  penelitian  ini  telah  sebuah  prototipe chatbot untuk pelayanan informasi administrasi akademik kepada mahasiswa telah  berhasil  dikembangkan  menggunakan framework Rasa Open  Source.  Dari  data  FAQ,  Data  pelatihan  dikembangkan menjadi  dua  bagian  yaitu  data  pelatihan  NLU  dan  data pelatihan  dialog.  Sebagai  data  awal,  sampel  kalimat  dalam FAQ,  serta  perkiraan  pesan  teks  lainnya  dari  pengguna dikembangkan  menjadi  data  pelatihan  NLU.  Data  pelatihan NLU yang dibentuk terdiri atas 12 kelas yang merepresentasikan intent pengguna,  dengan  total  188  sampel kalimat.  Untuk  data  pelatihan  dialog  disusun  berdasarkan perkiraan kemungkinan intent yang akan diterima chatbot dan respon teks terhadap intent tersebut. Total ada 31 model dialog yang telah didefinisikan sebagai data awal pelatihan dialog.
Pengguna  nyata  dapat  menggunakan  dan  berinteraksi dengan baik  dengan  antarmuka chatbot yang  tersedia  melalui fasilitas uji percakapan end-to-end dari Rasa X .
Proses-proses pengolahan teks yang dilakukan sistem untuk menginterpretasikan  pesan  teks  pengguna  telah  berjalan dengan baik. Hasil evaluasi model NLU menunjukkan chatbot memiliki  kemampuan  yang  sangat  baik  dalam  memahami pesan  teks  pengguna.  Hasil  tersebut  ditunjukkan  dengan tingkat  akurasi,  0,995  dan  nilai  rata-rata  tertimbang  0,995 masing-masing  untuk precision,  recall dan F1-Score . Sementara evaluasi model dialog menunjukkan bahwa chatbot dapat  merespon  pesan  pengguna  dengan  cukup  baik.  Hal tersebut ditunjukkan dengan tingkat akurasi 0.70, nilai presisi 0,72 dan F1-Score 0,70.

## V. K UTIPAN
[1] Direktorat  Jenderal  Sumber  Daya  IPTEK  dan  Pendidikan  Tinggi Kementrian  Riset  Teknologi  dan  Pendidikan  Tinggi, Pedoman
Pemilihan  Administrasi  Akademik  Berprestasi  Tahun  2017 . Kementrian Riset Teknologi dan Pendidikan Tinggi, 2017.
[2] S. Raj, Building Chatbots with Python . 2019. [3]
J.  Vogel, Chatbots:  Development  and  Application .  Berlin: University of Applied Sciences, 2017.
[4] N. P. Patel, D. R. Parikh, D. A. Patel, and R. R. Patel, “AI and Web- Based  Human-Like  Interactive  University  Chatbot  (UNIBOT),” Sep. 2019, pp. 148–150, doi: 10.1109/iceca.2019.8822176.
[5]
M.  Muslih et  al. ,  “Developing  smart  workspace  based  iot  with artificial intelligence using telegram chatbot,” in Proceedings - 2018
4th  International  Conference  on  Computing,  Engineering,  and Design, ICCED 2018 , 2019, doi: 10.1109/ICCED.2018.00052.
[6]
T. Beysolow II, Applied Natural Language Processing with Python . 2018.
[7] K. Nimavat and P. T. Champaneria, “Chatbots: An Overview Types, Architecture, Tools  and  Future  Possibilities,”  Oct.  2017.  Accessed:
Oct. 21, 2020. [Online]. Available: www.ijsrd.com.
[8] G.  L.  Ward  and  G.  M.  Green,  “Pragmatics  and  Natural  Language Understanding,” Language (Baltim). , 1991, doi: 10.2307/415112.
[9] H. Lane, H. Cole, and H. M. Hapke, “Natural Language Processing in  Action  MEAP  Edition,” Manning  Publ. ,  2018,  doi: 10.1310/sci2102-166.
[10] R.  C.  Schank,  “Conceptual  dependency:  A  theory  of  natural language understanding,” Cogn. Psychol. , 1972, doi: 10.1016/0010- 0285(72)90022-9.
[11] R. Sharma and M. Joshi, “An Analytical Study and Review of open Source Chatbot framework, RASA,” academia.edu , Accessed: Oct.
23,  2020.  [Online].  Available:  https://www.ijert.org/an-analytical- study-and-review-of-open-source-chatbot-framework-rasa.
[12] A. Jiao, “An Intelligent Chatbot System Based on Entity Extraction Using RASA  NLU and  Neural  Network,” J. Phys ,  p. 12014, 2020, doi: 10.1088/1742-6596/1487/1/012014.
[13] D.  Braun,  A.  Hernandez-Mendez,  F.  Matthes,  and  M.  Langen, “Evaluating  Natural  Language  Understanding  Services  for Conversational  Question  Answering  Systems,”  2018,  doi: 10.18653/v1/w17-5522.
[14] “Rasa  Architecture  Overview.”  https://rasa.com/docs/rasa/arch- overview (accessed Oct. 22, 2020).
[15] T.  Bocklisch,  J.  Faulkner,  N.  Pawlowski,  and  A.  Nichol,  “Rasa: Open Source Language Understanding and Dialogue Management,”
Dec.  2017,  Accessed:  May  14,  2020.  [Online].  Available:
http://arxiv.org/abs/1712.05181.
[16] S.  Singh,  B.  R.  Ranoliya,  and  N.  Raghuwanshi,  “Chatbot  for university  related  FAQs  Differential  Privacy  View  project  Social Network  Analysis  View  project  Chatbot  for  University  Related FAQs,” ieeexplore.ieee.org , pp. 1525–1530, 2017, doi: 10.1109/ICACCI.2017.8126057.
[17] S.  A.  and  D.  John,  “Survey  on  Chatbot  Design  Techniques  in Speech Conversation Systems,” Int. J. Adv. Comput. Sci. Appl. , vol. 6, no. 7, 2015, doi: 10.14569/ijacsa.2015.060712.
[18] “Connecting to Messaging and Voice
Channels.” https://rasa.com/docs/rasa/messaging-and-voice-channels/  (accessed Oct. 25, 2020).
[19]
K.  Kuligowska,  “Commercial  Chatbot:  Performance  Evaluation, Usability Metrics and Quality Standards of Embodied Conversational  Agents,” Prof.  Cent.  Bus.  Res. ,  2015,  doi: 10.18483/pcbr.22.
Dirko  Gustaafiano  Setyadharmaputra Ruindungan ,  menyelesaikan  pendidikan dan  memperoleh  gelar  Sarjana  Teknik  di Jurusan  Teknik  Elektro  Fakultas  Teknik Universitas  Sam  Ratulangi  Manado  pada tahun 2012 dan melanjutkan studi magister  di  program  studi  Teknik  Elektro
dan Teknologi Informasi Fakultas Teknik Universitas Gadjah Mada Yogyakarta
pada tahun 2013 sampai dengan 2015 dengan gelar Master of Engineering. Saat ini menjadi pengajar tetap di Program Studi Teknik  Informatika  Jurusan  Elektro  Fakultas  Teknik Universitas  Sam  Ratulangi  Manado  dengan  bidang  minat penelitian  pada  topik-topik  teknologi  basis  data, knowledge engineering , ontology dan semantic technologies .
Agustinus Jacobus , menyelesaikan pendidikan  dan  memperoleh  gelar  Sarjana Teknik di Jurusan Teknik Elektro Fakultas Teknik Universitas Sam Ratulangi Manado pada tahun 2005 dan melanjutkan studi  magister  di  program  studi  Ilmu Komputer  Fakultas  Matematika  dan  Ilmu Pengetahuan  Alam  Universitas  Gadjah Mada  Yogyakarta  pada  tahun  2010  sampai  dengan  2013 dengan  gelar  Master  of  Computer  Science.  Saat  ini  menjadi pengajar  tetap  di  Program  Studi  Teknik  Informatika  Jurusan Elektro  Fakultas  Teknik  Universitas  Sam  Ratulangi  Manado dengan  bidang  minat  penelitian  pada  topik-topik  teknologi basis data, Big Data , data mining, machine learning dan deep learning.