## Midwife Virtual Menggunakan Aplikasi Pelayanan Chatbot Polita Sebagai Media Untuk Informasi Imunisasi
Novi Aryani Fitri 1 , Ismaulidia Nurvembrianty 2 1 Politeknik ‘Aisyiyah Pontianak, naryanif@gmail.com, Jalan Ampera No.09, Pontianak, Indonesia
2 Politeknik ‘Aisyiyah Pontianak, i2s.nvmau@gmail.com,  Jalan Ampera No.09, Pontianak, Indonesia
Informasi Makalah Abstrak Submit Revisi Diterima : Nov 26, 2020 : May 21, 2021 : Juni  9, 2021 Masih kurangnya edukasi mengenai pentingnya memberikan imunisasi  kepada  anak.  Beberapa  orang  tua  masih menganggap  vaksi  itu  haram  dan  dapat  menyebabkan  anak menjadi  cacat  atau  meninggal.  Apalagi  di  masa  pandemi covid-19  saat  ini  orang  tua  masih  mengkhawatirkan  apakah anaknya  harus  di  imunisasi  atau  tidak.  Berdasarkan permasalahan yang telah diuraikan, maka dibuat aplikasi auto responder untuk dapat mengedukasi para orangtua mengenai manfaat  program  imunisasi.  Platform  yang  digunakan  pada aplikasi  chatbot  ini  adalah  Telegram  dengan  menggunakan metode cosine  similarity dan  menggunakan  metode  Tf-idf untuk  mengitung  bobot  setiap  kata  yang  umum  digunakan. Penelitian  ini  akan  menggunakan library  aiogram dan mengimplementasikan  program  NLP  dengan  Python.  Dari hasil  pengujian  aplikasi  chatbot  dinyatakan  bahwa  nilai precision sebesar  77%, accuracy sebesar  63%,  dan recall sebesar  74%,  hal  ini  menunjukkan  bahwa  semakin  tinggi nilai Recall dan precision ,  semakin  baik  performa  sistem yang diusulkan, maka dapat dikatakan chatbot ini memenuhi tujuan  untuk  memberikan  edukasi  kepada  para  orang  tua tentang pelaksanaan imunisasi dimasa pandemi covid-19.
Kata Kunci : Imunisasi NLP
Cosine similarity Chatbot
Telegram

## Abstract
There  is  still  a  lack  of  education  about  the  importance  of  immunization  to  children.  Some parents still consider the vaccine is forbidden and can cause children to become disabled or die. Especially in times of pandemic covid-19 is now the parents are still worried about whether their children  should  be  immunized  or  not.  Based  on  the  problems  that  have  been  described,  then made  an  application  for  the  autoresponder  can  educate  parents  about  the  benefits  of immunization.  The  platform  used  in  this  application  is  the  telegram  chatbot  using  cosine similarity and using the Tf-IDF method to calculate the weight of each word is commonly used. This research will use the aiogram library and implement the NLP program in Python. From the results  of  application  testing  chatbot  stated  that  the  precision  value  of  77%,  accuracy  of  63%, and the recall of 74%, this suggests that  the  higher the value of recall  and precision, the  better the performance of the proposed system, it can be concluded that chatbot fulfills the purpose for educating parents about the implementation of future pandemic immunization covid-19.
SATIN – Sains dan Teknologi Informasi Vol. 07, No. 01, Juni 2021, pp. 12-21 ISSN: 2527-9114, DOI 10.33372/stn.v7i1.678

## 1. Pendahuluan
Teknologi  chatbot  merupakan  salah  satu bidang  ilmu Artificial  Intelligence (AI)  yang
berbentuk aplikasi Natural Language Processing (NLP)  (Raj,  2019).  Penggunaan media elektronik akan memberikan kemudahan  dalam  pemberian  informasi. Pelayanan yang baik,  perlu memenuhi syarat seperti  keramah-tamahan,  konsisten,  tata ruang  yang menimbulkan  kenyamanan, media informasi selalu update , dan sebagainya  (Mardanis,  2019).  Pelayanan chatbot yang dapat aktif 24 jam akan menjadi solusi  agar  informasi  penting  mengenai program  imunisasi  akan  mudah  didapatkan oleh para orang tua.
Imunisasi  adalah  alat  yang  terbukti  untuk mengendalikan  dan  menghilangkan  penyakit menular yang mengancam jiwa dan diperkirakan  mencegah  antara  2  dan  3  juta kematian setiap tahun  (Immunization, 2020). Survey  yang  telah  dilakukan  oleh  petugas kesehatan  menunjukkan  terdapat  10  orang ibu  balita,  diantaranya  6  orang  mengatakan tidak  mengetahui  pentingnya  imunisasi, kemudian  5  orang  mengatakan  bahwa imunisasi  dapat  menyebabkan  anak  menjadi cacat atau  meninggal serta  mengenai pemberitaan bahwa imunisasi haram (Emilya, 2017).
Penelitian  ini  akan  dirancang  dengan menggunakan mengklasifikasikan teks secara otomatis text  proceesing menggunakan metode cosine  similarity dan  menggunakan metode  Tf-idf  untuk  mengitung  bobot  setiap kata  yang  umum  digunakan.  Beberapa penelitian  terkait  tentang  chatbot  terutama pada  layanan  kesehatan  (Amato,  2017; Fadhil,  2019;  Hormansyah,  2018;  Lewis, 2004;  Li,  2020;Vaira,  2018;  Rizki,  2020) sistem  aplikasi  chatbot  yang  dibangun memanfaatkan AI terutama algoritma machine  learning dan  NLP.  Diantara beberapa  skema  yang  ada,  aplikasi  botpolita yang dikhususkan sebagai pelayanan
informasi  mengenai  imunisasi  di  kampus Politeknik Aisyiyah Pontianak (Polita) sampai  saat  ini  belum  tersedia  sehingga diusulkan  sebuah  penelitian  membangun aplikasi auto responder Telegram Chatbot. Berdasarkan  penjabaran  latar  belakang masalah  tersebut,  maka  dibuat  aplikasi chatbot  menggunakan  skema  NLP  sebagai aplikasi  auto  responder  bot  telegram  sebagai pelayanan  imunisasi  24  jam  agar  dapat memberikan informasi yang relevan dan real time bagi pengguna.

## 2. Metode Penelitian
2.1. Kerangka penelitian
Dalam perancangan chatbot ini, dilakukan  pendekatan  menggunakan  NLP untuk  kata  kunci  sederhana  atau  pencocokan pola  kata  serupa.  Sehingga  pengguna  dapat memberikan  pertanyaan  kepada  bot  untuk mendapatkan  informasi  mengenai  imunisasi di  masa  pandemi  saat  ini.  Aplikasi  chatbot yang  dibangun  pada  penelitian  ini  diberi nama  botpolita.  Berikut  bentuk  diagram  alur kerja (flowchart) aplikasi chatbot.
Chatbot  yang  dibuat  memiliki  alur  dialog sebagai yang bisa dilihat pada gambar 1, User melakukan  proses  input  beberapa  pertanyaan kepada  aplikasi  botpolita,  Inputan  pertanyaan akan  diproses  dalam  beberapa  tahap  sampai mendapat  jawaban  yang  sesuai.  Setelah diproses  jawaban  akan  dikirimkan  kembali melalui  aplikasi  telegram.  selanjutnya  setelah input  pertanyaan  masuk  ketahap  proses  bot yaitu  melakukan  pencarian  keyword  yang sesuai dengan data pertanyaan. Jika pertanyaan  sesuai  dengan  keyword  maka chatbot  akan  menampilkan  jawaban  yang sesuai dengan pertanyaan yang telah diajukan, namun  jika  pertanyaan  yang  diajukan  tidak sesuai,  maka  sistem  akan  merespon  error  dan user  bisa  menginputkan  pertanyaan  baru lainnya. Bot akan memberikan salam penutup bila user tidak memiliki pertanyaan lagi.
2.2. Landasan Teori
A. Text Processing Tahapan text processing, aplikasi melakukan  seleksi  data  yang  diproses  pada setiap  dokumen  yang  sudah  dibuat.  Proses preprocessing  terdiri  dari  4  tahapan  yaitu case  folding,  tokenizing,  filtering  dan stemming  (Ramdhan,  2015).  Tahapan  text processing  dapat  dibagi  kebeberapa  proses yaitu:

## 1. Case Folding
Tahapan  yang  merubah  semua  huruf yang  memiliki uppercase menjadi  huruf kecil ( lowercase ). Tahap ini hanya menerima  huruf  ‘a’  sampai  dengan  ‘z’. Karakter yang terdekteksi selain huruf akan dihilangkan dan dianggap sebagai
pembatas.  Sebagai  contoh,  Pengguna  ingin mendapat  informasi  kata  “IMUNISASI” dengan mengetik “ImuNisasi” atau
“imunISASI”,  kemudian  di  tahap  case folding  ini  diberikan  hasil  retrival  yang sama yakni “imunisasi”.

## 2. Tokenizing
Tahapan ini akan memotong string input berdasarkan pada tiap kata yang menyusunnya.  Spasi  digunakan  untuk memisahkan antar kata tersebut.

## 3. Filtering
Proses  ini  dapat  dilakukan  dengan menghapus  kata-kata  yang  kurang  penting (kata  kunci  /  daftar  berhenti)  dari  hasil tokenisasi.

## 4. Stemming
Teknik stemming untuk  pembentukan dalam  memilih  kelompok  kata  yang  sama dengan  kata  utama  beserta  artinya  tetapi bentuknya  berbeda  karena  mendapatkan imbuhan yang berbeda.

## B. Aiogram
Library  yang  menjadi  kerangka  kerja yang  cukup  sederhana  dan  sepenuhnya asinkron  untuk  Telegram  Bot  API  yang ditulis  dengan  Python  3.8.3  dengan asyncio dan aiohttp adalah library aiogram. Telegram
Bot  API  adalah  antarmuka  berbasis  HTTP yang  dibuat  untuk  pengembang  yang  ingin membuat  bot  untuk  Telegram.  Setiap
SATIN – Sains dan Teknologi Informasi Vol. 07, No. 01, Juni 2021, pp. 12-21 ISSN: 2527-9114, DOI 10.33372/stn.v7i1.678
15
pembuat  bot  baru  akan  diberi  token otentikasi unik.

## C. Tern  Frequency  Inverse  Document Frequency (Tf-idf)
Metode ini menggabungkan dua proses untuk mendapatkan penghitungan nilai, yaitu durasi  kemunculan  kata  dalam  dokumen  dan frekuensi  kata  (Riyani,  2019).  Sistem  akan menguji  data    untuk  mendapatkan  tingkat akurasi  hasil  output  jawaban  yang  keluar apakah memberikan pemahaman dan kepuasan bagi pengguna. Rumus perhitungan bobot  pada  setiap  kata  di  dokumen  yaitu (Christopher, 2009):
t d t d t xidf tf tfidf , ,  (1)
Dengan t idf diperoleh dari
       t t df N idf log (2)
D. Cosine Similarity
Cosine  Similarity  digunakan  untuk menghitung  kesamaan  dokumen.  Rumus yang  digunakan  persamaan  cosinus  (Ye, 2017):
        2 1 2 1 1 ) ( ) ( | || | . cos i n i i n i i n i B x A xB A B A B A a (3)
Keterangan:
A  =  Vektor  A,  yang  akan  dibandingkan kemiripan
B  =  Vektor  B,  yang  akan  dibandingkan kemiripan A.B = dot product atara vektor A dan vektor B |A|   = Panjang vektor A |B|   = Panjang vektor B |A||B| = cross product antara |A| dan |B|
2.3 Perancangan Chatbot
BotFather  adalah  sebuah  bot  resmi  dari aplikasi  Telegram  yang  digunakan  untuk mengeluarkan  token  rahasia  API  untuk menciptakan  bot  baru.  Sebelum  merancang chatbot  terlebih  dahulu  harus  memiliki  API
yang  digenerate  dari Botfather .  Kemudian menggunakan library aiogram dengan bahasa pemograman python. Aiogram akan
berkomunikasi  dengan  server  Telegram secara  langsung.  Modul  Python  yang digunakan server.py yang  berisikan  sebuah logika  bagaimana  chatbot  akan  menjawab permintaan pengguna. Untuk menghubungkan server.py menggunakan
Telegram  API  yang    digunakan  sebagai media hosting untuk  platform  Telegram secara realtime.

## 1. Membuat API
Bot telegram  memiliki API  dengan Token  ID  yang  dikeluarkan  guna  untuk membuat  bot  sendiri  yang  mendukung banyak  bahasa pemrograman  (Efrando, 2019).  Keberhasilan  bot  Telegram  berasal dari  interface  yang  mudah  digunakan dibandingkan  dengan  berbagai  aplikasi  dan layanan  yang  tersedia.  Bot  ini  menghemat waktu  dengan  mudah  daftar  dan  masuk, bersama  dengan  komunikasi  sederhana, dengan  balasan  tepat  waktu  (Roshchinskaya, 2020).  Untuk  menghosting  chatbot  di Telegram,  pertama  halaman  Telegram  bot harus  dibuat  dan  kedua  aplikasi  Telegram. Untuk  membuat  aplikasi  Telegram,  kami menggunakan library aigoram .  Dimana modul  aiogram  akan  di  build  kemudian pendaftaran  harus  membuat  API_token  di BotFather Telegram.
2. Membuat pertanyaan dan jawaban
Penggunakaan metode NLP pada tele bot terletak  pada  proses  pra-pemrosesan  yang meliputin tokenisasi, stopword dan stemming.  Metode  NLP  menerapkan  pola dari  sebuah  kalimat  menjadi  potongan  kata dari  respons  pengguna  menjadi  potongan kata  yang  menciptkan  makna  ke  dalam bentuk  respon  jawaban.  Tabel  1  adalah contoh  penggunakan  pola  dan  jawaban  yang diimplemetasikan. Pembentukan pola dimulai  dengan  mengumpulkan  pertanyaan
dan  jawaban  terkait  dari  UNICEF  agar chatbot  yang  kami  bangun  menghasilkan informasi yang bisa dipertanggung  jawabkan keabsahannya.  Pattern  adalah  pola  ringkasan jawaban  dari  ringkasan  pertanyaan.  Ringkas pertanyaan akan diproses dengan
preprocessing untuk membuat  kata stopword dan  mengubahnya  menjadi  kata  dasar. Preprocessing  merupakan  hasil  dari  proses processing dari kolom alias pattern.
Preprocessing  akan  digunakan  sebagai  kata kunci pencocokan karakter berdasarkan input pengguna.

## 3. Merancang NLP
Algoritma  yang  dipakai  untuk  uji  coba ini  adalah  dengan  menggunakan  algoritma
Natural Language Processing (NLP) menggunakan pembobotan TF-IDF, Word2Vec
sebagai metode untuk mendapatkan query expansion dari hasil kata teratas  yang  diambil  pada  proses  TF-IDF, Cosine  similarity untuk  mendapatkan  nilai kemiripan  dokumen  dengan  query.  Hasil pembobotan  dengan  NLP  dapat  dilihat  pada gambar 3.
Gambar 2. Hasil pembobotan dengan nlp
Proses  kerja  bot  pelayanan  imunisasi dapat diilustrasikan pada gambar 2 menunjukkan  rancangan  arsitektur  sistem pengelolaan pesanan yang terintegrasi dengan  beberapa  komponen  lainnya  seperti layanan  pesan Messenger dan  layanan  NLP yaitu Aiogram . Terdapat komponen- komponen  yang  berada  di  dalam  rancangan arsitektur tersebut di antaranya adalah modul aiogram services , database , Messenger , Resfull dan  aplikasi  di  sisi  user.  Semua metode  dan  jenis  API  akan  dibuat  secara otomatis  dari  dokumen  Telegram  Bot  API
Tabel 1. Penerapan Pola dan Penggunaan Template No Preproceecing Pattern Jawaban 1 Seseorang terpapar Covid-19 diimunisasi Dapatkah    seseorang  terpapar kasus  COVID-19  diimunisasi (kontak) ? Jika  seseorang  terpapar  oleh  kasus  COVID-19 bukan  di  pelayanan  kesehatan  (misalnya  di rumah),  orang  tersebut  harus  menyelesaikan isolasi  mandiri  selama  14  hari  terlebih  dahulu untuk  mencegah  penularan  virus  COVID-19 kepada orang lain. 2 lama  waktu  menunda imunisasi Berapa lama waktu untuk bisa menunda vaksinasi? paling lama waktu menunda maksimal sampai 1 bulan 3 vaksin flu dan pneumonia mencegah Covid-19 Apakah  benar  vaksin  flu  dan pneumonia  bisa  mencegah Covid-19? Vaksin mencegah covid belum ada, rekomendasi  IDAI  vaksin  yang  diberikan  yaitu PVC atau pneumonia dan influenza.
4 Aman bawa anak ker RS Diposyandu imunisasi ditiadakan,  apakah  aman  jika bawa anak ke RS ? Aman,  kementrian  Kesehatan  telah  meminta semua  pelayanan  Kesehatan  untuk  tetap memberi layanan imunisasi 5 Tips imunisasi dimasa pandemi Tips  melakukan  imunisasi anak saat masa pandemic ? 1.Atur sebaik-baiknya  jadwal  vaksinasi  si kecil agar tidak terlalu lama di luar rumah 2.Pastikan si kecil  sehat dan tidak ada Riwayat kontak  dengan  orang  atau  penderita  covid-19 yang dalam pengawasan. 3.Physical  distancing  saat  berada  di  ruang tunggu
4. Hindari orang yang sedang menderita batuk – pilek.
SATIN – Sains dan Teknologi Informasi Vol. 07, No. 01, Juni 2021, pp. 12-21 ISSN: 2527-9114, DOI 10.33372/stn.v7i1.678
dengan  pembuat  kode  yang  teserangkum  ke
dalam satu Package aiogram.api.
Database adalah tempat dimana data disimpan  dan  diolah.    Dimana  kemudian database  akan  dihosting  untuk  dapat  diakses secara  online. Untuk  mengelola  data  yang disimpan
dalam database,
Anda
membutuhkan antarmuka yang dapat menjalankan fungsi manajemen data.
4. Tahap Pengujian Chatbot
Layanan  botpolita  dengan  pendekatan
NLP  merupakan  sistem  bot  yang  dirancang untuk  membantu  masyarakat  melakukan komunikasi langsung melalui aplikasi telegram.  Secara  keseluruhan,  sistem  ini bekerja  dengan  cara  menerima  pesan inputan  atau  pertanyaan  yang  dikirim melalui  aplikasi  Telegram.  Pengukuran kinerja  aplikasi  Chatbot  dilakukan  dalam penelitian  ini  dengan  menghitung  tingkat accurary, precission dan recall:
1. Accuracy Akurasi  merupakan  rasio  prediksi  benar bernilai  negatif  dan  positif  dengan keseluruhan  data.  perhitungan  akurasi menggunakan Persamaan (1)
% 100 x FN FP TN TP TN TP
Accuracy      (1)
2. Precission
Presisi  merupakan  rasio  prediksi  benar positif dibandingkan dengan
keseluruhan hasil yang diprediksi
positif.
Perhitungan presisi
menggunakan Persamaan (2).
% 100 x FP TP TP Accuracy   (2) 3. Recall Recall adalah rasio prediksi benar positif dibagi  dengan  keseluruhan  data  yang benar positif. Recall dihitung menggunakan Persamaan (3).
% 100 x FN TP TP Accuracy   (3)

## 3. Hasil dan Pembahasan
Perancangan  aplikasi  chatbot  yang diberi nama botpolita dibangun menggunakan  bahasa  pemrograman  Pyhton dan  menggunakan library aigoram .  Bot melakukan  perhitungan  bobot  pada  setiap kata  pertanyaan  menggunakan  metode  Term Frequency  –  Invers  Document  Frequency (TF-IDF) untuk menentukan seberapa penting  dan  seberapa  umum  kata  tersebut muncul  didalam  suatu  dokumen.  Aplikasi chatbot yang dibangun diberikan penegtahuan  seputar  percakapan  yang  biasa digunakan dalam kehidupan sehari-hari.
3.1 Antarmuka Aplikasi
Aplikasi chatbot menggunakan
antarmuka  telegram  untuk  berkomunikasi. Pengguna  hanya  perlu  masuk  ke  akun chatbot dengan nama ID
Gambar 3.  Ilustrasi sistem bot
SATIN – Sains dan Teknologi Informasi Vol. 07, No. 01, Juni 2021, pp. 12-21 ISSN: 2527-9114, DOI 10.33372/stn.v7i1.678
@Pelayanan_PolitaBot sebagai teman. Gambar  4  menunjukkan  profil  chatbot  di aplikasi  telegram.  Pengguna  telegram  hanya perlu  mengetik  nama  ID  chatbit  di  kolom pencarian untuk dalam berkomunikasi dengan bot.
Gambar 4. Tampilan profil bot pelayanan polita
3.2 Antarmuka obrolan
Bagian  utama  dari  botpolita  dimana semua  proses  input  teks  yang  dikirim  oleh pengguna  dapat  dikirim  ke  chatbot  dan kemudian  bot  akan  menjawab  pertanyaan- pertanyaan  yang  dikirimkan  kepada  sistem terkait  layanan.  Gambar  5  menampilkan komunikasi  antar  pengguna  dan  chatbot  di antarmuka obrolan telegram. Chatbot mencari jawaban yang sesuai melalui ratusan aturan  yang  disimpan  dalam  database. Chatbot dapat mengirim pesan teks.
Gambar 5. Tampilan bot pelayanan polita di telegram 3.3 Pengujian Hasil Pre-Processing Data pertanyaan yang sudah
dikumpulkan  akan  menjadi  data  set  yang diperoleh dari tahap pre-processing , kemudian  akan  diuji  coba  untuk  klasifikasi layanan bot imunisasi. Dengan menggunakan data  sebanyak  30  pertanyaan  untuk  data  uji yang  dapat  dilihat  pada  tabel  2.  Algoritma yang  dipakai  untuk  uji  coba  ini  adalah dengan  menggunakan  algoritma Natural Language  Processing (NLP)  menggunakan pembobotan  TF-IDF,  Word2Vec  sebagai metode  untuk  mendapatkan query  expansion dari  hasil  kata  teratas  yang  diambil  pada proses  TF-IDF, Cosine  similarity untuk mendapatkan  nilai  kemiripan  dokumen dengan query.
Tabel 2. Query Pertanyaan No Pertanyaan 1 di saat pandemi, bagaimana cara melakukan imunisasi 2 imunisasi
3 apa manfaat vaksin untuk tubuh
4 vaksin khusus tenaga medis ada tidak?
5 selama pandemi, bagaimana klo anak telat
imunisasi
6 berapa lama boleh menunda imunisasi
7 anak saya sdh di vaksin flu dan pneumonia, apakah bisa aman dari covid 19?
8 kata orang vaksin di malam hari jauh lebih efektif, apakah benar?
9 apa imunisasi yang diselenggarakan di sekolah-sekolah harus tetap diadakan mengingat kondisi sekarang sedang pandemic COVID-19 ?
10 selama pandemi, bagaimana klo anak terlambat diimunisasi?
11 bagaimana melakukan imunisasi di saat pandemi?
12 imunisasi apa saja yang penting selama pandemi
13 aman gak sih bawa anak ke puskesmas untuk imunisasi?
14 vaksinasi apa saja yang penting selama pandemi?
15 imunisasi apa saja yang penting selama pandemi?
16 assalamualaikum
17 selamat pagi, saya mau bertanya
18 Saya mau nanya, apa sih sebenarnya manfaat imunisasi?
19 trus lagi masa pandemi seperti sekarang, apa boleh pergi imunisasi ke puskesmas?
20 kalau misalnya tidak imunisasi gimana?
21 berapa lama kira2 waktu boleh menunda imunisasi?
22 apa sih tips imunisasi dimasa pandemi
23 apa anak selalu demam tiap selesai imunisasi?
24 oh iya apa anak harus pakai apd saat ke rumah sakit?
25 Apakah benar vaksin flu dan pneumonia bisa mencegah Covid-19?
26 apa benar vaksi itu haram?
27 saya mau nanya
28 bolehkah pasien covid di imunisasi?
29 bolehkah balita di imunisasi pada musim pandemi covid 19
30 ada nda sih vaksin untuk covid?
Tabel  3  menunjukkan  nilai  prediksi  TP,  TN, FP,  dan  FN  yang  digunakan  sebagai  istilah untuk akurasi, recall , dan presisi.
1. TP  ( True  Positif )        =  bernilai  1  jika jawaban sesuai dengan pertanyaan
2. FP  ( False  Positif )      =  bernilai  1  jika jawaban tidak sesuai dengan pertanyaan
3. FN  ( False  Negatif )  =  bernilai  1  jika jawaban  ada  tetapi  tidak  dijawab (respond tidak ditemukan)
4. TN  ( True  Negatif )    =  bernilai  1  jika jawaban tidak ada dan tidak dijawab(respond tidak ditemukan).
Tabel 3. Evaluasi Kinerja Chatbot
Threshold TP FP FN TN 0.10 18 9 1 2 0.20 17 3 8 2 0.30 8 1 18 3 0.40 5 1 21 3 0.50 2 0 25 3 0.60 1 0 26 3 0.65 1 0 26 3 0.70 0 0 27 3
Sebagai  bahan  evaluasi,  penelitian  ini akan  menggunakan  perhitungan Precision, Recall ,  dan accuracy dimana  hasil  akan mengklasifikasikan  bilangan  biner  instance menjadi  instance  positif  (1)  dan  negatif  (0). Recall akan  digunakan  untuk  menghitung rasio  jumlah  file  relevan  yang  ditemukan kembali  dengan  total  jumlah  file  dalam kumpulan  dokumen  yang  dianggap  relevan. Precision menghitung rasio jumlah dokumen relevan  yang  ditemukan  dengan  total  jumlah dokumen  yang  ditemukan. Accuracy akan menunjukkan  persentase  akurasi  data  yang diklasifikasikan dengan benar setelah menguji  hasil  klasifikasi  Akurasi  untuk menjaga  keseimbangan  skor recall dan precicion .
Gambar 6. Grafik perhitungan precision, recall , dan accuracy
Berdasarkan  uji  coba  terhadap  30  query pada  gambar  6,  nilai  recall  dengan  0.10 sampai  0.70  threshold,  dapat  disimpulkan bahwa  semakin  tinggi  nilai  threshold  maka semakin relevan data yang mungkin ditemukan  oleh  sistem,    nilai  recall  semakin menurun. Hal ini disebebakan oleh data yang sebenarnya  relevan  namun  tidak  dapat diambil  kembali  oleh  sistem  karena  adanya jumlah  ambang  yang  diberikan.  Pada pengujian  precission  semakin  tinggi  nilai threshold yang diberikan maka semakin besar peluang  yang  diberikan  dokumen  yang  tidak relevan oleh sistem, nilai precission menurun.  Hal  ini  disebabkan  oleh  data relevan  yang  diberikan  kurang  dari  yang tidak  relevan.  Pada  pengujian  akurasi  dapat disimpulkan  bahwa  semakin  tinggi  nilai threshold  yang  diberikan  maka  keakuratan sistem  dalam  memberikan  jawaban  relatif lebih  tinggi.  Hal  ini  dikarenakan  data  yang tidak relevan lebih dari yang televan. Data ini bergantung  pada  skor  TP,  FP,  FN,  dan  TN yang  diberikan  oleh  sistem.  Grafik  hasil pengujian recal l, precission dan accuracy ditunjukkan pada gambar.

## 4. Simpulan
Aplikasi  pelayanan  bot  polita  ini bertujuan  untuk  merealisasikan  pelayanan yang  baik  dengan  versi  sederhana  dari chatbot pelayanan imunisasi dimasa pandemi
covid-19.  Bot  pelayanan menggunakan aplikasi telegram untuk memberikan informasi  kepada  para  orangtua  tentang tujuan dari imunisasi atau vaksi bagi bayi dan balita.  Penelitian  ini  menggunakan  library Aiogram sebagai bantuan untuk pengembangan perangkat lunak yang
membantu  mengimplementasikan  chatbots. Berdasarkan  hasil  dari  pengujian,  dari  30 data  pertanyaan  yang  telah  dilakukan pengujian,  terdapat  17  pertanyaan  yang menunjukan hasil yang akurat yaitu TP ( True Positif )  yang  memiliki  bobot  diatas  0.20 dinyatakan  dengan  binner  1  jika  jawaban sesuai  dengan  pertanyaan.  Sistem  memiliki nilai precision sebesar 77%, accuracy sebesar 63%, dan  recall  sebesar  74%.  Penerapan  bot pelayanan  ini  menunjukkan  bahwa  bot  telah mencapai tujuannya, namun adanya keterbatasan  pencapaian  dimana  sistem selanjutnya  harus  membuat  lebih  spesifik keunikan  pada  tiap  dokumen  jawaban  agar didapattkan hasil keandalan yang lebih ideal. Kami  perlu  menerapkan  cakupan  lingkup yang lebih luas, misalnya diimplementasikan di  pusat  pelayanan  kesehatan  kota  atau puskemas,  sehingga  target  yang  diharapkan sesuai  dengan  lingkup  para  ibu-ibu  yang memiliki bayi dan balita.

## 5. Referensi
Amato,  F.,  Marrone,  S.,  Moscato,  V.,
Piantadosi,  G.,  Picariello,  A.,  & Sansone,  C.  (2017).  Chatbots  Meet Ehealth : Automatizing Healthcare.
Christopher  D  Manning,  P.  R.  Dan  H.  S.
(2009). An Introduction To Information Retreival.
Efrando,  Asril,  Herwin,  D.  H.  (2019).
Monitoring  Pada  Server  Stmik  Amik Riau  Dengan  Menggunakan  Suricata Melalui  Notifikasi  Bot  Telegram.  Satin –  Sains  Dan  Teknologi  Informasi,  Vol.
5, No.
Emilya,  S.,  &  Lestari,  Y.  (2017).  Artikel Penelitian  Hubungan  Pengetahuan  Dan
SATIN – Sains dan Teknologi Informasi Vol. 07, No. 01, Juni 2021, pp. 12-21 ISSN: 2527-9114, DOI 10.33372/stn.v7i1.678
21
Sikap  Ibu  Balita  Terhadap  Tindakan Imunisasi Dasar Lengkap Di Kelurahan Lambung  Bukit  Kota  Padang  Tahun 2014, 6(2), 386–390.
Fadhil,  A.,  Kessler,  F.  B.,  Schiavo,  G.,  & Kessler,  F.  B.  (2019).  Designing  For Health Chatbots, (February).
Hormansyah,  D.  S.,  Utama,  Y.  P.,  Studi,  P.,
Informatika,  T.,  Informasi,  J.  T.,  & Malang,  K.  (2018).  Aplikasi  Chatbot Berbasis  Web  Pada  Sistem  Informasi Layanan  Publik  Kesehatan  Di  Malang Dengan  Menggunakan  Metode  Tf-Idf, 4, 224–228. Immunization, W. (2020). Health Public. Lewis,  W.  E.  (2004).  Software  Testing  And Continuous Quality Improvemnt. Li, Y., Grandison, T., Silveyra, P., Douraghy,
A., Guan, X., Kieselbach, T., … Zhang, H.  (N.D.).  Jennifer  For  Covid-19 :  An
Nlp-Powered  Chatbot  Built  For  The
People And By The People To Combat
Misinformation.
Mardanis,  Junadhi,  M.  J.  (2019).  Analisa
Faktor  Principal  Component  Analysis Dan  Common  Factor  Analysis  Untuk Menentukan  Minat  Calon  Mahasiswa
Masuk Stmik Amik Riau. Satin – Sains Dan Teknologi Informasi, Vol. 5, No.
Raj,  S.  (2019).  Building  Chatbots  With Python. Ramdhan. (2015). Implementasi Pengkalisikasian Sentimen Hasil Jawaban Kuesioner Dalam Pengendalian Mutu Fasilitas Menggunakan  Metode  Naive  Bayer  Di Universitas Widyatama. Riyani,  A.,  Zidny,  M.,  &  Burhanuddin,  A. (2019).  Penerapan  Cosine  Similarity
Dan Pembobotan Tf-Idf Untuk
Mendeteksi  Kemiripan  Dokumen,  2(1), 23–27.
Vaira,  L.,  Bochicchio,  M.  A.,  Conte,  M.,
Casaluci,  F.  M.,  &  Melpignano,  A. (N.D.). Mamabot : A System Based On Ml  And  Nlp  For  Supporting  Women
And Families During Pregnancy. Wahyuni,  R.  T.,  Prastiyanto,  D.,  &
Supraptono,  E.  (2017).  Penerapan Algoritma Cosine Similarity Dan Pembobotan Tf-Idf Pada Sistem Klasifikasi Dokumen Skripsi, 9(1).
Ye, J. (2017). Vector Similarity Measures Of Simplified  Neutroshopic  Sets  And Their  Application  In  Multicriteria Decision  Making.  Internasional  Journal Of  Fuzzy  Systems  Volume  16,Nomor 2.