Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## Optimalisasi Layanan Informasi Pulau Buru Melalui Chatbot Berbasis NLP dan NLU
Sirya Sabina Bin Thahir 1 , Imam Husni Al Amin 2 1,2 Program Studi Teknik Informatika, Universitas Stikubank Semarang, Indonesia Email: siryaseleky963@gmail.com, imam@edu.unisbank.ac.id
Abstract
Buru  Island  is  one  of  the  prominent  islands  in  the  Maluku  Archipelago,  and  the  limited understanding of the local community about Buru Island has prompted the development of a Chatbot as an innovative information source. This Chatbot is designed utilizing Natural Language Processing (NLP)  and  Natural  Language  Understanding  (NLU)  through  the  RASA  Framework.  Its  primary objective  is  to  provide  comprehensive  information  about  Buru  Island,  encompassing  tourist destinations, cultural heritage, traditions, culinary aspects, and various other public information. The testing  process  involved  96  diverse  questions,  and  the  results  indicated  an  intent  classification accuracy of 99.61%. Evaluation metrics such as micro average, macro average, and weighted average produced positive outcomes, with precision, recall, and f1-score reaching optimal values, ensuring the Chatbot's optimal  accuracy  level.  The  Chatbot  technology not  only  enhances  efficiency  and  speed  in delivering  information  to  users  but  also  has  the  potential  to  operate  without  administrative supervision, significantly reducing operational costs. Consequently, this Chatbot serves as an effective solution to improve public understanding of Buru Island.  The main advantage of this Chatbot lies in its ability to provide comprehensive information, supporting the potential of tourism and culture on Buru  Island.  Thus,  this  information  service  can  enhance  public  understanding,  promote  tourist destinations, and contribute positively to the overall development of Buru Island.
Keywords: Chatbot,  Natural  Language  Processing,  Natural  Language  Understanding,  RASA Framework

## Abstrak
Pulau  Buru  adalah  salah  satu  pulau  besar  di  Kepulauan  Maluku,  kurangnya  pemahaman masyarakat terhadap Pulau Buru menjadi pendorong utama untuk mengembangkan Chatbot sebagai sumber  informasi  yang  inovatif.  Chatbot  ini  dirancang  dengan  menggunakan  Natural  Language Processing  (NLP)  dan  Natural  Language  Understanding  (NLU)  melalui  Framework  RASA.  Tujuan utamanya  adalah  memberikan  informasi  komprehensif  tentang  Pulau  Buru,  mencakup  destinasi pariwisata, warisan budaya, tradisi, kuliner, dan berbagai informasi publik lainnya. Proses pengujian dilakukan  dengan  96  pertanyaan  yang beragam,  dan  hasil  menunjukkan  tingkat  akurasi  klasifikasi intent  mencapai  99,61%.  Evaluasi  metrik  seperti  micro  average,  macro  average,  dan  weighted average  memberikan  hasil  positif,  dengan  presisi,  recall,  dan  nilai  f1-score  mencapai nilai  tertinggi, memastikan tingkat akurasi Chatbot yang optimal.Teknologi Chatbot ini tidak hanya meningkatkan efisiensi  dan  kecepatan  dalam  menyajikan  informasi  kepada  pengguna,  tetapi  juga  berpotensi beroperasi tanpa pengawasan administratif, mengurangi biaya operasional secara signifikan. Dengan demikian,  Chatbot  ini  dapat  menjadi  solusi  yang  efektif  untuk  meningkatkan  pemahaman  publik tentang  Pulau  Buru.  Keunggulan  utama  Chatbot  ini  terletak  pada  kemampuannya  memberikan informasi  secara  menyeluruh,  mendukung  potensi  pariwisata  dan  budaya  Pulau  Buru,  Dengan demikian  layanan  informasi  ini  dapat  meningkatkan  pemahaman  masyarakat,  mempromosikan destinasi  wisata,  dan  memberikan  kontribusi  positif  terhadap  pengembangan  Pulau  Buru  secara keseluruhan.
Kata  kunci :  Chatbot,  Natural  Language  Processing,  Natural  Language  Understanding, Framework rasa
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## 1. PENDAHULUAN
Seiring  berkembangnya  teknologi  informasi  yang  semakin  pesat,  maka muncullah  ide-ide  baru  dalam  dunia  teknologi  informasi,  misalnya  dalam informasi penyampaian berita informasi seputar daerah pulau Buru menggunakan portal informasi adalah suatu bentuk ide inovasi  perkembangan teknologi dalam pelayanan informasi kepada masyarakat yang ingin mengenal tentang pulau Buru [1].  Pulau  Buru  termasuk  salah  satu  pulau  besar  di  Provinsi  Maluku,  provinsi kepulauan  yang  juga  memiliki  Kepulauan  Banda,  Kepulauan  Kei,  dan  Kepulauan Aru.  Luas  pulau  ini  sekitar  9.505  km  persegi,  lebih  luas  dibandingkan  Pulau  Bali yang luasnya sekitar 5.636 km persegi. Pulau ini terdiri dari dua kabupaten yaitu Buru dan Buru Selatan [2].
Banyaknya  masyarakat  di  Indonesia  yang  tidak  mengetahui  potensi  dari Pulau Buru, menjadikan kurangnya minat masyarakat untuk mengenal lebih jauh tentang  Pulau  Buru.  Maka  dari  itu  diperlukan  perancangan  sebuah  media  atau portal  informasi  berupa Chatbot untuk  menjawab  pertanyaan-pertanyaan masyarakat  sekaligus  memperkenalkan  dan  memberikan  informasi  tentang seputar Pulau Buru [3].
Salah  satu  kemajuan  dan  inovasi  dalam  perkembangan  teknologi  informasi yang  dapat  membantu  meningkatkan  efisiensi  dalam  layanan  publik  adalah penggunaan  asisten  virtual  atau  lebih  dikenal  sebagai Chatbot [4].  Chatbot merupakan  bentuk  kecerdasan  buatan  yang  berfungsi  sebagai  alat  untuk mensimulasikan  percakapan  mirip  manusia  untuk  menyelesaikan  tugas,  seperti menjawab  beberapa  pertanyaan  tentang  cara  menggunakan  situs  web  dan berperan  sebagai  asisten  virtual  [5]. Natural  Language  Processing dan Natural Language  Understanding diterapkan  pada chatbot untuk  memahami percakapannya dengan manusia, baik dalam bentuk teks maupun suara [6].
Chatbot dianggap  memiliki  potensi  untuk  mengurangi  pengeluaran  dalam layanan pengguna dan mampu memberikan pelayanan informasi yang lebih cepat kepada pengguna secara langsung [5]. Selain itu, chatbot juga dapat meningkatkan tingkat  kepuasan  pengguna  [7].  Oleh  karena  itu,  perancangan  chatbot  untuk layanan  media  atau  portal  informasi  tentang  pulau  Buru  dilakukan  sebagai respons  terhadap  kebutuhan  tersebut  [8]. Chatbot akan  menjadi  saluran  utama yang  menghubungkan  dan  memfasilitasi  layanan  informasi  seputar  pulau  Buru secara dua arah antara masyarakat pengguna dan sistem chatbot portal informasi pulau Buru [8].
Chatbot yang  dikembangkan  akan  bertindak  sebagai  asisten  virtual sederhana  yang  mampu  memberikan  layanan  informasi  yang  spesifik  seputar keanekaragaman di Pulau Buru. Beberapa jenis informasi yang akan diberikan oleh chatbot  mencakup  informasi  wisata  pulau  Buru,  informasi  budaya,  adat  dan istiadat daerah setempat, kuliner khas daerah, dan berbagai informasi lainnya [8]. Pengembangan Chatbot dengan NLP dan NLU dapat  diterapkan  dengan mengimplementasikan framework Rasa . Rasa adalah platform percakapan artificial intelligence yang hadir dalam tiga versi berbeda: open source, pro, dan enterprise . Penelitian  ini  mengembangkan  sebuah Chatbot dengan  menggunakan framework Rasa  open  source . Rasa mampu  mengevaluasi intent dari  sebuah  pesan,
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
mengekstrak entity ,  mengikuti  alur stories ,  dan  menyimpan  nilai  di  dalam slot sebagai fitur utama. Ini juga memberikan kemampuan untuk menentukan custom action dan custom  component (seperti RVPolicy )  dengan  menggunakan  bahasa pemrograman Python [9].
Dengan  adanya  teknologi chatbot ,  terbuka  kemungkinan  untuk  interaksi pelayanan yang tersedia sepanjang waktu selama 24 jam dan berlangsung secara real-time tanpa  memerlukan  aktifitas  pengawasan  dari  admin  [4].  Hal  ini  dapat meningkatkan  kepuasan dan pengalaman  pengguna,  khususnya masyarakat yang masih  awam,  saat  mereka  memerlukan  informasi  tentang  pulau  Buru.  Selain  itu, secara  keseluruhan,  penggunaan  chatbot  juga  berpotensi  mengurangi  biaya operasional layanan karena tidak ada kebutuhan untuk admin yang terlibat dalam interaksi antara masyarakat pada saat mereka mencari informasi [8].

## 2. METODOLOGI PENELITIAN

## 2.1. Tahapan Penelitian
Tahapan  Penelitian  yang  diterapkan  dapat  dilihat  pada  Gambar  1.  Sistem Chatbot Portal Informasi ini dikembangkan menggunakan Framework RASA  Open Source dan  di  implementasikan  dengan  platform Telegram untuk  dapat berinteraksi dengan user .
Gambar 1. Alur Tahapan Penelitian Chatbot
Alur  penelitian  dimulai  dengan  tahap  pengumpulan  data  Natural  Language Understanding  (NLU),  yang  melibatkan  dataset  berisi  pertanyaan  atau  kalimat yang  akan  digunakan  untuk  memprediksi  input  dari  pengguna.  Peneliti mengonseptualisasikan  pertanyaan  atau  kalimat  yang  mungkin  diinput  oleh pengguna  sebagai  intents,  yang  merupakan  class  variabel  dari  pertanyaan  atau kalimat  dalam  dataset  NLU.  Pada  tahap  kedua  yaitu  pelabelan  intents,  dilakukan pengelompokkan  pertanyaan  atau  kalimat  ke  dalam  intents  yang  sesuai.  Berikut contoh sampel pelabelan intents :
Tabel 1. Pelabelan Intents Data NLU Label intents a. Apa itu pulau Buru ?
b. Bisakah Anda ceritakan tentang pulau Buru
c. Berapa luas wilayah pulau Buru ?
……
informasi_pulau_buru
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Data NLU Label intents a. Dimana lokasi pulau Buru?
b. Pulau Buru ada dimana ?
c. Tolong kasih tau saya, dimana lokasi pulau Buru ?
…….
lokasi_pulau_buru
a. Bagaimana sejarah pulau Buru?
b. Apakah pulau Buru memiliki sejarah ?
c. Apakah ada tahanan politik di pulau Buru ?
sejarah_pulau_buru
Setelah  proses  pelabelan  intents,  dilanjutkan  dengan  pembuatan  storyline untuk  merancang  bagaimana  alur  percakapan  dapat  diprediksi  oleh  Sistem Chatbot.  Tahap  selanjutnya  melibatkan  pengelompokkan  stories,  di  mana beberapa  intents  digabungkan  untuk  membentuk  alur  percakapan.  Contoh konkretnya  adalah  pembentukan  stories  "Bertanya  Tentang  Pulau  Buru",  yang terdiri dari intents informasi_pulau_buru, lokasi_pulau_buru, dan sejarah_pulau_buru.  Proses  berlanjut  dengan  tahap  training  yang  melibatkan pengisian  dataset  intents  ke  dalam  Training  Data  NLU.  Proses  training memerlukan  waktu  yang  bervariasi  tergantung  pada  ukuran  dataset  pada  Data NLU. Setelah tahap training selesai, Chatbot siap untuk dijalankan. Tahap terakhir dari alur penelitian ini adalah evaluasi, di mana Chatbot diuji langsung kepada user untuk  menilai  tingkat  akurasi.  Hasil  evaluasi  digunakan  untuk  memperbarui dataset, memastikan bahwa Chatbot memberikan respon yang lebih akurat kepada user pada masa mendatang.
Gambar 2. Alur Sistem Chatbot
Implementasi  Sistem  dan Framework  RASA pada  aplikasi  pesan  instan Telegram dapat  memberikan  kemudahan  masyarakat  umum  dalam  mengakses Chatbot Portal Informasi. Pada gambar 2 dapat dilihat bagaimana user berinteraksi dengan  Chatbot  melalui  aplikasi  Telegram  yang  dihubungkan  dengan  server Framework  RASA  menggunakan  aplikasi  Ngrok.  Framework  RASA  yang  di integrasikan secara lokal akan memanggil Server RASA dan mengklasifikasi input user  menggunakan  Natural  Language  Understanding  (NLU).  NLU  ini  sudah disediakan  oleh  Framework  RASA  sendiri  yaitu  Rasa  NLU.  Setelah  input  user diklasifikasi  maka  akan  mendapatkan  hasil  prediksi  berupa  intents.  Hasil  intents yang  sudah  didapatkan  akan  di  proses  dalam  Rasa  Core  yaitu  fitur  Framework RASA yang bertugas untuk memberikan sebuah respon kepada user berdasarkan intents yang didapat dari proses sebelumnya. Respon tersebut akan di kembalikan kepada  user  melalui  server  RASA,  Lokal  projek,  dihubungkan  kembali  melalui Ngrok dan pada akhirnya ditampilkan di aplikasi Telegram.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## 2.2. Desain Sistem
Desain  sistem chatbot  telegram portal  informasi  ini  dirancang  untuk  fokus pada  percakapan  chatbot  yang  akan  mengembalikan  jawaban  sesuai  dari pertanyaan-pertanyaan pengguna. Selain itu, chatbot juga akan memprediksi jenis alur percakapan yang ditanyakan oleh pengguna.
Gambar 3. Proses Pemodelan Percakapan
Desain sistem Chatbot yang dibuat yaitu proses pemodelan percakapan dapat dilihat pada gambar 3. Sistem Chatbot yang dikembangkan menggunakan dataset berupa  Data  NLU.  Data  NLU  merupakan  dataset  Chatbot  yang  berisi  pertanyaan pertanyaan atau kalimat kalimat query yang sudah dilabeli menggunakan intents. Setiap  label  intents  sudah  memiliki  jawabannya  sendiri  sebagai  respon  Chatbot jika query kalimat yang di input oleh user berhasil di prediksi sebagai intents yang terdaftar.

## 2.3. Framework RASA
Rasa merupakan suatu Framework Open-source yang berbasis pada machine learning untuk mengotomatisasi asisten berbasis teks dan suara. Rasa terdiri dari dua modul inti, yaitu RASA NLU dan RASA Core [10]. RASA NLU berfungsi sebagai modul Natural  Language  Understanding yang  menggunakan machine  learning & Natural  Language  Processing  (NLP) untuk  mengekstrak  detail  penting  dari  suatu pesan, seperti intent dan entity [11]. Intent merujuk pada tujuan atau maksud yang ingin dicapai pengguna melalui query pesan yang dikirimkan kepada chatbot [12].
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Entity merupakan  data  penting  yang  terdapat  dalam query pesan  pengguna  dan berfungsi untuk menentukan bagaimana alur percakapan seharusnya dilanjutkan. Keberadaan entity ini memberikan nilai tambah pada tujuan komunikasi pengguna dengan chatbot [12].
Gambar 4. Arsitektur Framework RASA Open Source
2.4. Domain
Domain percakapan merujuk pada spesifikasi yang mengatur informasi yang dapat dipahami oleh chatbot [13]. Komponen ini terdiri dari data pelatihan  yang mencakup Data  NLU ,  Respon,  dan Data  Stories . Data  NLU merupakan  kumpulan kalimat  yang  diharapkan  dapat  dipahami  oleh chatbot .  Dalam framework  Rasa Open Source versi 2.81, format markdown digunakan untuk menulis data pelatihan. NLU memiliki  tanggung  jawab  untuk  menafsirkan  ucapan  yang  dikirimkan  oleh pengguna,  dan  data  pelatihan  berisi  teks  ucapan  yang  mungkin  dikirimkan  oleh pengguna, diberi label dengan jenis intent dan jenis entitas yang sesuai [14]. Salah satu pelabelan intent chatbot dapat dilihat pada gambar 5, dimana kalimat “ Hey ” dikelompokkan dalam intent “ greet ”.
Gambar 5. Contoh Data NLU
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Selain  diterapkan  untuk data  NLU ,  format markdown juga  dimanfaatkan  untuk data  stories . Data  stories berperan  dalam  melatih  dialog chatbot dan mengilustrasikan bagaimana chatbot merespons maksud pengguna [14].

## 2.5. Rasa Core & Rasa NLU
Rasa  Core dan Rasa  Natural  Language  Understanding  (NLU) merupakan library  Python  open-source yang  digunakan  untuk  mengembangkan  perangkat lunak  percakapan  [15].  Tujuannya  yaitu  membangun  sistem  manajemen percakapan  dengan  pendekatan machine  learning dan  pemahaman  bahasa  yang dapat  diakses  oleh  pengembang  perangkat  lunak,  bahkan  yang  tidak  memiliki keahlian  khusus. Rasa juga  dapat  dikembangkan  secara  lokal  dan  menggunakan bahasa pemrograman Python [14].

## 3. HASIL DAN PEMBAHASAN 3.1. Training Data
Sampel  Data  Pelatihan  berupa  pertanyaan-pertanyaan  seputar  pulau  Buru yang  terdiri  dari  50  kalimat  pertanyaan  dan  masing-masing  jawabannya.  Data pertanyaan  dijadikan  acuan  untuk  menghasilkan  model  pelatihan  data NLU (Natural  Language  Understanding) dan  data  pelatihan  dialog  dalam framework RASA  Open  Source .  Pesan  teks  atau  pertanyaan  yang  diberikan  oleh user telah dikelompokkan dan dikategorikan kedalam 50 jenis intent pengguna.
Tabel 2. Sampel Data Intent Jenis Intent Deskripsi Jumlah Sample Kalimat informasi_pulau_buru User bertanya tentang informasi pulau Buru 3 aktivitas_pulau_buru User bertanya tentang aktivitas yang bisa dilakukan di pulau Buru 5 sejarah_pulau_buru User bertanya tentang sejarah di pulau Buru 3 budaya_pulau_buru User bertanya tentang budaya tradisional khas pulau buru 7 atraksi_pulau_buru User bertanya tentang atraksi yang ditunjukkan di pulau Buru 4 wisata_pulau_buru User bertanya tentang destinasi wisata di pulau Buru 6
Data NLU terdiri dari kalimat-kalimat berupa pertanyaan yang sudah dilabeli dengan intent tertentu.  Setiap intent juga  memiliki  sampel  kalimat  pertanyaan yang  berbeda  sesuai  konteks  jenis intent yang  ditanyakan.  Contoh  pada intent “aktivitas_pulau_buru”  memiliki  sebanyak  5  sampel  kalimat  pertanyaan  yang memiliki makna konteks yang sama yaitu menanyakan tentang aktivitas di pulau Buru.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Gambar 7. Sampel Data NLU Chatbot
Gambar 8. Sampel Data Stories Chatbot

## 3.2. Deploy Chatbot
Terdapat  2  cara  untuk  men- deploy  Chatbot  RASA agar  dapat  diakses  secara online .  Cara  pertama  yaitu  melibatkan  pengembangan  di  lingkungan  lokal menggunakan Rasa Open Source pada sebuah komputer dan menggunakan Rasa X untuk pengunggahan pada cloud server . Model chatbot Rasa yang telah dihasilkan dari proses pengembangan dan training diunggah ke server agar dapat diuji coba oleh  pengguna  secara  daring.  Sedangkan  cara  yang  kedua  yaitu  menggunakan ngrok . Ngrok adalah  aplikasi  lintas  platform  yang  dapat  membuat URL penerowongan  atau  penerusan  sehingga  permintaan  internet  dapat  menjangkau komputer  lokal.  Ketika  dijalankan, ngrok berjalan  di port yang  sama  dengan tempat server web  lokal  berjalan  dan  memberikan proxy  request  eksternal ke komputer lokal dimana projek Chatbot Rasa dikembangkan.
Gambar 9. Menjalankan Aplikasi Ngrok
Selain  itu, Chatbot  RASA juga  dihubungkan  dengan  channel  aplikasi  pesan  lain yaitu telegram untuk  penggunaan  tahap  produksi  lebih  lanjut. Ngrok inilah  yang dapat  membuat URL  webhook untuk  menghubungkan Chatbot  RASA dengan
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
aplikasi Telegram dengan menjalankan perintah ngrok http 80 maka ngrok secara otomatis akan membuat URL Webhook seperti di gambar 9.
Gambar 10. Kredensial Aplikasi Telegram
Sebelum  menjalankan chatbot  Rasa ,  pastikan  untuk  menghubungkannya pada aplikasi telegram dengan mengganti URL Webhook yang telah diberikan pada saat  menjalankan  aplikasi  ngrok  dibagian  konfigurasi  kredensial chatbot .  Setelah itu chatbot Rasa dapat dijalankan dengan perintah rasa run pada terminal .
3.3. Integrasi Chatbot ke Telegram
Implementasi Chatbot  Rasa ke  dalam  aplikasi Telegram dapat  dilakukan dengan mengintegrasikan fitur Bot Father , yaitu salah satu fitur aplikasi Telegram untuk membuat Chatbot pribadi. Pemilik Telegram dapat memasukkan akses token yang  didapat  setelah  membuat Bot  Telegram kedalam  kredensial  projek chatbot Rasa pada  gambar  10.  Setelah  memasukkan  akses token , server  Rasa dapat berkomunikasi dengan aplikasi Telegram , sehingga user dapat memperoleh respon dari server Rasa melalui aplikasi Telegram .
Gambar 11. Tampilan Interface Chatbot RASA pada Aplikasi Telegram
Pada Gambar 11 dapat dilihat tampilan interface Chatbot RASA yang telah di integrasikan dengan aplikasi Telegram . Terlihat pada saat user mengirimkan pesan “Aktivitas  yang  bisa  dilakukan  di  pulau  Buru?” Chatbot  RASA dapat  merespon
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
pesan tersebut sesuai  dengan intent yang dimiliki dalam Data NLU . Berikut  hasil log pesan yang didapat pada terminal :
Gambar 12. Hasil Log Message
Dapat  dilihat  bahwa  pesan user :  “Aktivitas  yang  bisa  dilakukan  di  pulau Buru?”  telah  direspon  oleh Chatbot  RASA dengan confidence sebesar  0.95  atau 95%.

## 3.4. Pengujian Chatbot Rasa
Pengujian dilakukan dengan menggunakan 96 pertanyaan yang di masukkan kedalam  file test_stories.yml. Metode  pengujian  dilakukan  dengan  metode pengukuran precission,  recall ,  dan f1-score .  Pengujian  Chatbot  menggunakan Framework RASA sangat mudah karena metode pengujian dan proses nya sudah di sediakan  oleh  Framework  RASA  itu  sendiri,  jadi  untuk  menjalankan test pada Chatbot  Rasa cukup  menggunakan  perintah rasa  test pada terminal code  editor . Perintah rasa test akan menghasilkan output berupa beberapa file diantaranya:
a) intent_report.json (Laporan Prediksi Intent )
Pengujian Chatbot menghasilkan laporan prediksi intent. Laporan ini berisi tentang hasil pengujian klasifikasi untuk mendapatkan nilai akurasi. Selain itu  proses  pengujian  evaluasi  dilakukan  menggunakan  micro  average, macro average, dan weighted average.
Gambar 13. Hasil Pengujian Klasifikasi Intent
Hasil  yang  diperoleh  dan  di  cetak  ke  dalam  file intent_report.json pada gambar  13  merupakan  perhitungan  dari  keseluruhan  intent  yang  di klasifikasi  dan  menghasilkan  akurasi  sebesar  0.9961…  atau  sebesar  99,61 %.  Selain  itu  intent  yang  telah  diprediksi  menggunakan  evaluasi micro average,  macro  average ,  dan weighted  average masing  masing
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
menghasilkan score  precission,  recall, dan f1-score yang  positif  yaitu setidaknya diatas score 95,00%.
b) intent_confusion_matrix.png (Hasil Confusion Matrix )
Pengujian menggunakan Confusion Matrix untuk mengukur kinerja proses klasifikasi  pada intent yang  telah  di  prediksi.  Pengujian  Confusion  Matrix menghasilkan  informasi  tentang  klasifikasi  aktual  dan  prediksi  sistem Chatbot RASA. Dapat dilihat pada gambar 14 bahwa dari 96 intent terdapat 94  intent  yang  berhasil  diprediksi  secara  benar  dan  hanya  2  intent  yang diprediksi secara salah.
Gambar 14. Hasil Confusion Matrix
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
c) intent_histogram.png (Grafik Histogram Hasil Klasifikasi Confidence )
Grafik Histogram pada gambar 15 berfungsi untuk memvisualisasikan hasil confidence untuk  semua  prediksi intent ,  dengan  prediksi  yang  benar  dan yang  salah  ditampilkan  oleh  batang  biru  dan  merah.  Dapat  dilihat  bahwa dari  96  sampel  intent  yang  diuji,  sebagian  besar  intent  yang  diprediksi memiliki score confidence yang tinggi, sedangkan hanya ada 2 intent yang diprediksi secara salah.
Gambar 15. Hasil Histogram Klasifikasi Confidence

## 4.  SIMPULAN
Berdasarkan  penelitian  dan  implementasi  yang  telah  dilaksanakan,  dapat disimpulkan  bahwa  penerapan Natural  Language  Processing pada  sistem  portal layanan  informasi  pulau  Buru  berbasis chatbot telah  berhasil  dijalankan  dengan sukses menggunakan framework Rasa Open Source . Klasifikasi intent menunjukkan tingkat  akurasi  yang  tinggi,  mencapai  99,61%.  Evaluasi  menggunakan  metrik micro  average,  macro  average,  dan  weighted  average  menghasilkan  nilai  yang positif.  Pada  nilai  "macro  avg,"  terdapat  tingkat  presisi  sebesar  99,74%,  recall sebesar 98,75%, dan f1-score sebesar  99,03%. Begitu  pula, pada "weighted  avg," presisi mencapai 99,65%, recall sebesar 99,61%, dan f1-score mencapai 99,56%. Secara  keseluruhan,  nilai  "micro  avg"  menunjukkan  presisi,  recall,  dan  f1-score sebesar 99,61%. Dengan hasil yang konsisten tinggi pada semua metrik evaluasi, dapat disimpulkan bahwa implementasi Chatbot menggunakan Framework RASA secara efektif menjawab kebutuhan portal informasi pulau Buru.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Tingkat  akurasi  yang  tinggi  dan  nilai  evaluasi  yang  positif  menegaskan kemampuan  Chatbot  dalam  memberikan  layanan  informasi  kepada  pengguna dengan efisien dan responsif. Integrasi dengan Telegram mempermudah pengguna dalam  mengakses chatbot ,  memberikan  fleksibilitas,  dan  meningkatkan kenyamanan  dalam  berinteraksi.  Fitur-fitur  seperti  pencarian  informasi  tentang pulau  Buru,  sejarah,  budaya,  wisata,  dan  ketersediaan  di  platform Telegram memberikan nilai tambah dalam memperoleh informasi dengan cara yang efektif dan efisien.
Sebagai  saran,  dapat  dilakukan  peningkatan  kinerja  Chatbot  dengan penambahan lebih banyak data berupa pertanyaan-pertanyaan seputar Pulau Buru yang  mungkin  diajukan  oleh  pengguna.  Dengan  menyediakan  dataset  yang  lebih komprehensif,  Chatbot  dapat  menjadi  lebih  responsif  terhadap  berbagai pertanyaan  dan  kebutuhan  informasi  pengguna.  Proses  pengembangan  ini  dapat memperkuat  kemampuan  Chatbot  dalam  memberikan  layanan  informasi  yang lebih lengkap dan relevan. Oleh karena itu, disarankan untuk terus memperbarui dataset serta melakukan evaluasi berkala guna memastikan Chatbot tetap efektif dan relevan dalam menyajikan informasi tentang Pulau Buru kepada pengguna.

## DAFTAR PUSTAKA
[1] Munawir  And  Erdiwansyah,  “Perancangan  Portal  Informasi  Gampong  Pada Lambeugak Kecamatan Kuta Cot Glie Aceh Besar,” 2018.
[2] Edi  Said  Ningkeula  Sp,  Belinda  Sam,  And  Lutfi  Rumkel,  “Daya  Dukung  Kawasan Pedesaan Di Pesisir Barat Pulau Buru Untuk Pengembangan Wisata Bahari,” 2018.
[3] Shabrina Fitria Az Zahra, Syarip Hidayat, And Idhar Resmadi, “Perancangan Media Informasi Untuk Memperkenalkan Destinasi Wisata Halal Di Lombok The Design Of Information Media To Introduce Lombok’s Halal Tourism Destinastion,” 2020.
[4] M.  Mekni,  “An  Artificial  Intelligence  Based  Virtual  Assistant  Using  Conversational Agents,” Journal Of Software Engineering And Applications , Vol. 14, No. 09, Pp. 455– 473, 2021, Doi: 10.4236/Jsea.2021.149027.
[5] B. R. Ranoliya, N. Raghuwanshi, And S. Singh, “Chatbot For University Related Faqs,” In 2017  International  Conference  On  Advances  In  Computing,  Communications  And
Informatics, Icacci 2017 , Institute Of Electrical And Electronics Engineers Inc., Nov. 2017, Pp. 1525–1530. Doi: 10.1109/Icacci.2017.8126057.
[6] E. Adamopoulou And L. Moussiades, “An Overview Of Chatbot Technology,” In Ifip Advances In Information And Communication Technology , Springer, 2020, Pp. 373– 383. Doi: 10.1007/978-3-030-49186-4_31.
[7] J.  Arief  Mulyono  And  Sfenrianto,  “Evaluation  Of  Customer  Satisfaction  On Indonesian Banking Chatbot Services During The Covid-19 Pandemic,” 2022.
[8] Laksmi  Anindyati,  “Analisis  Dan  Perancangan  Aplikasi  Chatbot  Menggunakan Framework Rasa Dan Sistem Informasi Pemeliharaan Aplikasi (Studi Kasus Chatbot Penerimaan  Mahasiswa  Baru  Politeknik  Astra),” Jurnal  Teknologi  Informasi  Dan Ilmu Komputer (Jtiik) , Vol. 10, No. 2, Pp. 291–300, 2023.
[9] A.  Ferrando,  A.  Gatti,  And  V.  Mascardi,  “Rv4rasa:  A  Formalism-Agnostic  Runtime Verification  Framework  For  Verifying  Chatbots  In  Rasa,”  2023,  Doi: 10.1145/3605159.
[10]  A.  Abdellatif,  K.  Badran,  D.  E.  Costa,  And  E.  Shihab,  “A  Comparison  Of  Natural Language Understanding Platforms For Chatbots In Software Engineering,” 2021.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 1, Februari 2024, pp 209-222 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
[11]  R.  Kumar  Sharma  And  M.  Joshi,  “An  Analytical  Study  And  Review  Of  Open  Source Chatbot Framework, Rasa,” 2020. [Online]. Available: Www.Ijert.Org
[12]  A.  Stoica,  T.  Kadar,  C.  Lemnaru,  R.  Potolea,  And  M.  Dînșoreanu,  “Intent  Detection And Slot Filling With Capsule Net Architectures For A Romanian Home Assistant,” Sensors (Switzerland) , Vol. 21, No. 4, Pp. 1–28, Feb. 2021, Doi: 10.3390/S21041230.
[13]  A. Jiao, “An Intelligent Chatbot System  Based On Entity Extraction Using Rasa Nlu And Neural Network,” In Journal Of Physics: Conference Series , Institute Of Physics Publishing, Apr. 2020. Doi: 10.1088/1742-6596/1487/1/012014.
[14]  A.  D.  Ferdian  And  S.  N.  Anwar,  “Pengembangan  Chatbot  Untuk  Informasi  Wisata Interaktif  Di  Tangerang  Selatan  Menggunakan  Framework  Rasa,” Jurnal  Teknologi Dan  Sistem  Informasi  Bisnis ,  Vol.  5,  No.  4,  Pp.  476–483,  Oct.  2023,  Doi: 10.47233/Jteksis.V5i4.953.
[15]  Meiliverani Erline And Yefta Christian, “Web-Based Chatbot With Natural Language Processing And Knuth-Morris-Pratt (Case Study: Universitas Internasional Batam),” Jurnal  Sains  Dan  Teknologi ,  Vol.  11,  Pp.  132–141,  2022,  Doi:  10.23887/Jst- Undiksha.V11i1.