JURNAL SISFOTENIKA Vol. 11 No. 2, Juli 2021 p-ISSN: 2087-7897 ; e-ISSN : 2460-5344 DOI : 10.30700/jst.v11i2.1099

## Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi

## Survey of Chatbot Testing Methods on Social Media to Measure Accuracy
Ratna Ayu Sekarwati 1 , Ahmad Sururi 2 , Rakhmat 3 ,
Miftahul Arifin 4 , Arief Wibowo* 5
Universitas Budi Luhur; Jl. Ciledug Raya, Petukangan Utara, Jakarta Selatan, Telp. (021) 5853753/Fax. (021) 5869225 Program Magister Ilmu Komputer, Universitas Budi Luhur Jakarta e-mail: 1 datanyasekar@gmail.com , 2 ahmadsururi17@gmail.com ,
3 rakhmatrakhmat1@gmail.com , 4 miftahrebel@gmail.com , * 5 arief.wibowo@budiluhur.ac.id

## Abstrak
Chatbot merupakan salah satu jenis mesin yang dapat berkomunikasi dengan manusia menggunakan  bahasa  alami  yang  bertujuan  untuk  mempermudah  aktivitas  sosial  di  segala bidang. Pemilihan media sosial yang tepat pun menjadi hal penting supaya fungsi dari chatbot dapat berjalan efektif. Paper review ini bertujuan untuk melakukan analisa terhadap media sosial apa  yang  paling  banyak  digunakan  untuk  penerapan  chatbot.  Hal  tersebut  dilakukan  supaya penelitian selanjutnya dapat menggunakan media sosial yang tepat dengan melihat keunggulan dan banyaknya pengguna. Selain itu, paper review ini juga bertujuan untuk melakukan penentuan metode  apa  yang  tepat  dalam  tahap pengujian  chatbot untuk  mengukur  tingkat  akurasi. Hasil review menunjukkan bahwa Telegram merupakan media sosial yang paling banyak digunakan dalam penelitian untuk membangun chatbot, serta metode Black-box dan System Usability Scale merupakan metode yang paling banyak digunakan untuk melakukan pengujian terhadap chatbot. Metode yang digunakan pada paper review ini yaitu, metode Systematic Literature Review yang berisi  kegiatan analisis  kritis  atas  literatur-literatur  studi  terdahulu. Kontribusi  dari  paper  ini adalah  untuk  membantu  penelitian  selanjutnya  dalam  membangun  chatbot  pada  media  sosial yang efektif dan menggunakan metode yang tepat dalam tahap pengujian chatbot.
Kata kunci—chatbot, media sosial, aplikasi, survei, paper review

## Abstract
The design of Chatbot aims to facilitate social activities in all areas to be considered. A Chatbot  is  one  type  of  machine  that  can  communicate  with  humans  using  natural  language. Chatting is used to communicate, and it is a written conversation. Chatbot is a form of application implementation  Natural  Language  Processing  (NLP)  that  belongs  to  one  branch  of  artificial intelligence or Artificial Intelligent AI social media now provides a service that allows developers to process and integrate chatbot applications. This paper aims to review the papers that build chatbot applications for various social media using various testing methods. The contribution to this  paper  is  to  determine  which  method  can  measure  the  level  of  chatbot  accuracy  best.  This

## Ratna Ayu Sekarwati, Ahmad Sururi, Rakhmat, Miftahul Arifin, Arief Wibowo
review paper will choose the equations of the most widely used test methods and social media from various papers, so that further research is expected to implement the right testing methods and use better social media in terms of user experience, features, and services. According to the review papers and papers, the Black-box and System Usability Scale testing methods are the most commonly used in the review papers. This testing method is a type of method that performs testing for the flow and how the chatbot works to achieve functional validation completely.
Keywords—chatbot, social media, application, survey, paper review

## 1. PENDAHULUAN
Media sosial saat ini telah menjadi media sosialisasi masyarakat dalam kehidupan sehari- hari.  Media  sosial  tidak  memiliki  batasan  ruang  dan  waktu  bagi  manusia  untuk  bersosialisasi. Dengan media sosial, manusia dimungkinkan untuk berkomunikasi satu sama lain dimanapun dan kapanpun [1]. Adanya jarak tidak lagi menjadi suatu permasalahan untuk melakukan komunikasi. Media sosial terdiri dari teknologi atau komunitas online yang digunakan oleh masyarakat untuk menghasilkan  konten  tertentu.  Dapat  pula  digunakan  untuk  berbagi  opini,  pengalaman, pemahaman, dan perspektif antara pengguna satu sama lain. Seiring perkembangan media sosial yang  tumbuh  dengan  cepat,  bermunculan  aplikasi  perpesanan  instan  seperti  Line,  Telegram, Whatsapp,  Facebook  Messenger,  Slack,  dll.  Masing-masing  aplikasi  tersebut  memiliki keunggulan seperti open source, gratis, dan open API. Namun, ada pula yang berbayar. Dengan keunggulan  tersebut,  media  sosial  dapat  dikolaborasikan  dengan  ragam  teknologi  yang berkembang saat ini, salah satunya adalah chatbot .
Chatbot  merupakan  sebuah  program  komputer  yang  dirancang  untuk  mensimulasikan percakapan dengan pengguna melalui internet [3]. Perkembangan chatbot dimulai sekitar tahun 1960-an. Chatbot adalah suatu program komputer yang tujuannya untuk memperdaya pengguna yang  melakukan  chatting,  seolah-olah  mereka  berkomunikasi  dengan  manusia.  Padahal sebenarnya mereka berkomunikasi dengan mesin. Istilah Chatbot sendiri merujuk pada Bot yang khusus  berjalan  pada  aplikasi  perpesanan  yang  dapat  diintegrasikan  dengan  sistem-sistem eksternal [5]. Sehingga chatbot dapat dikatakan sebagai salah satu sistem cerdas yang dihasilkan dari Pemrosesan Bahasa Alami atau Natural Language Processing (NLP) yang merupakan salah satu  cabang  dari  Kecerdasan  Buatan  atau  Artificial  Intelligence  (AI)  [6]. Proses  perancangan chatbot tidak boleh dilakukan sembarangan. Harus memiliki fungsi dan akurasi yang baik. Hal tersebut  berpengaruh  terhadap user  experience yang  dihasilkan.  Untuk  mendapatkan  hasil akurasi,  dilakukanlah  pengujian  terhadap  chatbot  dengan  menggunakan  metode-metode  yang tersedia.
Paper  review  ini  bertujuan  untuk  melakukan  analisa  terhadap  media  sosial  apa  yang paling  banyak  digunakan  untuk  penerapan  chatbot.  Hal  tersebut  dilakukan  supaya  penelitian selanjutnya  dapat  menggunakan  media  sosial  yang  tepat  dengan  melihat  keunggulan  dan banyaknya  pengguna.  Pemilihan  media  sosial  sangat  penting  supaya  fungsi  dari  implementasi chatbot  dapat  berjalan  efektif.  Selain  itu,  paper  review  ini  juga  bertujuan  untuk  melakukan penentuan  metode  apa  yang  tepat  untuk  mengukur  tingkat  akurasi  chatbot.  Hal  ini  dilakukan karena beberapa penelitian sebelumnya hasil chatbot tidak menunjukkan angka pasti dan hanya berdasarkan percobaan teknis saja.
Berikut  ini  beberapa  penelitian  terdahulu  yang  terkait.  Chatbot  Menggunakan  Metode Fuzzy String Matching Sebagai Virtual Assistant Pada Pusat Layanan Informasi Akademik, 2019, adalah  salah  satu  judul paper  yang  dibuat  oleh  Marwan  Noor Fauzy  dan  Kusrini,  menjelaskan tentang desain robot obrolan yang secara khusus disesuaikan untuk menyediakan sistem FAQ Bot untuk mahasiswa, robot obrolan menerima masukan bahasa alami dari mahasiswa dengan metode

## Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi
Fuzzy String Matching, NLP (Neural Language Program), dan AIML [7].
Implementasi  AIML  pada  web  E-Commerce  Studi  Kasus  Street  Line  Coffee,  2019, adalah salah satu judul paper yang dibuat oleh Boris dan Bernard R Suteja, menjelaskan tentang informasi seputar produk, memesan produk melalui chatbot yang telah dibuat, dan dapat melihat total  pembelian,  serta  metode  yang  digunakan  adalah  Scripting  Engine,  VA,  Wheater  Bot, Grocery bot, template dari website wix, Chatbot HTML5, AIML dan pandorabots versi 2 [8].
Metode Collaborative Filtering dalam Penampilan Rekomendasi Produk dalam Aplikasi Chatbot dan Mesin Rekomendasi Berbasis Web : Studi Kasus PT. Tokopedia, 2018, adalah salah satu judul paper yang dibuat oleh Arya Pandji Nugroho dan Dewi Kusumaningsih, menjelaskan tentang  chatbot  akan  terintegrasi  dengan  catalog  service  dengan  web  service,  membuat  web service server yang menyediakan data catalog product dan rekomendasi untuk digunakan pada sistem  baru,  membuat  intent,  entity  sebagai  dasar  proses  natural-language  di  sistem  LUIS  dan menggunakan Microsoft bot framework [9].
Implementasi  Chatbot  Menggunakan  Dialogflow  dan  Messenger  Untuk  Layanan Customer  Service  Pada  E-Commerce,  2019,  adalah  salah  satu  judul  paper  yang  dibuat  oleh Chaulina  Alfianti  Oktavia  menjelaskan  tentang  teknologi  chatbot  dirancang  dengan menggunakan dialogflow yang terdiri dari agent, intent dan training phrase lalu lakukan uji coba dengan menggunakan messenger dengan variabel dan atribut Dialog Flow dan NLP [10].
Rancang  Bangun  Chatbot  Pembelajaran  Java  pada  Google  Classroom  dan  Facebook Messenger,  2018,  adalah  salah  satu  judul  paper  yang  dibuat  oleh  Mokhamad  Hadi Wijaya,  Moechammad  Sarosa,  dan  Herman  Tolle,  menjelaskan  tentang  aplikasi  kelas  online untuk siswa supaya dapat berinteraksi dengan chatbot sebagai media belajar bahasa pemrograman java  dan  chatbot  dapat  membantu  pengajar  dalam  pemberian  materi  dan  kuis  dengan  metode System Development Life Cycle (SDLC) [11].
Chatter  Bot  Untuk Konsultasi  Akademik  di Perguruan Tinggi, 2019,  adalah  salah  satu paper yang dibuat oleh Ahmad Cucus, Robby Yuli Endra, dan Tiya Naralita, membahas tentang membantu  mahasiswa  dalam  melakukan  kegiatan  konsultasi  akademik  menjadi  lebih  efektif dengan metode kualitatif serta variabel dan atribut Chatterbot, NLP, dan Artificial Intelligence [12].
Perancangan Line Bot Layanan Pesan Antar Warung Makan "Di Kampus" Menggunakan Metode  User  Centered  Design  (Studi  Kasus  Layanan  Pesan  Antar  Makanan  Untuk  Wilayah Kampus  Universitas  Telkom),  2019,  adalah  salah  satu  paper  yang  dibuat  oleh  Aprianil  Sesti Rangga, Soni Fajar Surya Gumilang, dan Alvi Syahrina, menjelaskan tentang peningkatan jumlah warung dan mahasiswa mendorong pengusaha warung untuk  berinovasi  dengan  menyediakan layanan  pesan  antar  makanan  di  sekitar  wilayah Universitas Telkom yang bisa dipesan melalui social messenger seperti whatsapp, LINE, ataupun  SMS dengan metode User Centered Design (UCD) [3].
Rancang  Bangun  Aplikasi  Pusat  Informasi  Sekolah  Dengan  Penerapan  Chatbot Menggunakan AIML Berbasis Android Pada SMK Otomotif Al Husna Tangerang, 2019, adalah salah satu paper yang dibuat oleh Ryan Zulham Ramadhani dan Hengki Rusdianto, menjelaskan tentang  membangun  aplikasi  android  dengan  penerapan  chatbot,  pada  perancangan  aplikasi chatbot  ini    menggunakan  Artificial  Intelligence  Markup  Language    (AIML)    sebuah    bahasa untuk  menyusun  logika  pada  chatbot [13].
Implementasi Chatbot “ALITTA” Asisten Virtual Dari Balittas Sebagai Pusat Informasi di  Balittas,  2019,  adalah  salah  satu  paper  yang  dibuat  oleh  Eka  Yuniar  dan  Heri  Purnomo, menjelaskan tentang membantu  pelayanan  informasi  dengan  mesin  penjawab  otomatis,  yang dapat  melayani  satu  per  satu  pertanyaan  yang dikeluhkan  oleh  pelanggan  maupun  pencari informasi  BALITTAS  secara  cepat  dan  tidak  terkendala  waktu  seperti  jam  kerja kantor,
maupun  terkendala  dengan  jumlah  tenaga  kerja [14].
Implementasi  Asisten  Virtual  Dalam  Komunikasi  Pelayanan  Pelanggan  (Studi  Kasus Pada  Layanan  Pelanggan  Telkomsel),  2019,  adalah  salah  satu  paper  yang  dibuat  oleh  Rangga Putera  Perdana  dan  Irwansyah,  menjelaskan  tentang  memberikan  gambaran  secara  deskriptif tentang bentuk implementasi yang dilakukan Telkomsel dalam menggunakan teknologi asisten virtual pada bidang komunikasi pelayanan pelanggannya dengan variabel dan Atribut Facebook Messenger, Line dan Telegram, situs web Telkomsel dan aplikasi myTelkomsel [15].
Rancang  Bangun  Chatbot  Helpdesk  untuk  Sistem  Informasi  Terpadu  Universitas  Sam Ratulangi,  2017,  adalah  salah  satu  paper  yang  dibuat  oleh  Ruspandi  R.  Benedictus,  dkk, menjelaskan tentang Universitas Sam Ratulangi yang belum mempunyai layanan helpdesk untuk memberikan pelayanan kepada user, oleh karena itu dibuatlah sebuah aplikasi chatbot helpdesk yang bisa menjawab pertanyaan-pertanyaan seputar penggunaan aplikasi-aplikasi dalam Sistem Informasi Terpadu, dengan metode Prototyping, Inference Engine, Forward Chaining [16].

## 2. METODE PENELITIAN
Metode pada paper review ini menggunakan metode Systematic Literature Review yang berisi kegiatan analisis kritis atas literatur-literatur studi terdahulu. Paper yang di review adalah paper nasional yang  berjumlah 12 paper dan dibatasi dalam rentang 5 tahun terakhir (2015 s.d 2020),  supaya  paper-paper  lebih  fokus  terhadap  perkembangan  terbaru  dari  media  sosial  dan chatbot. Paper-paper yang direferensikan berasal dari Google Scholar dan tidak dibatasi darimana sumber  jurnalnya,  karena  banyaknya  penelitian  mengenai  chatbot.  Kata  kunci  yang  digunakan untuk mendapatkan publikasi yang tepat yaitu “implementasi chatbot media sosial” dan “rancang bangun chatbot media sosial”. Kategori penelitian dari paper-paper yang di review yaitu, untuk tujuan sistem informasi ada sebanyak 5 paper, untuk tujuan penjualan dan transaksi ada sebanyak 2 paper, untuk tujuan media belajar ada sebanyak 3 paper, dan untuk tujuan kegiatan instansi ada sebanyak  2  paper. Masing-masing  paper  secara  singkat  akan  membahas  mengenai  media yang digunakan  dalam  penelitian,  bentuk  implementasi  penelitian,  metode  pengujian,  dan  hasil  dari penelitian.  Pada  akhirnya,  paper  review  ini  dapat  memberikan  kontribusi  dalam  membantu penelitian  selanjutnya  untuk membangun  chatbot  pada media  sosial  dan  menggunakan  metode pengujian yang tepat.

## 3. HASIL DAN PEMBAHASAN
Menurut  artikel  yang  ditulis  oleh  Davidson  pada  tahun  2015  lalu,  pengguna  internet menghabiskan  sekitar  satu  jam  40  menit  perhari  di  situs  sosial,  jika  dibandingkan  dengan satu:empat waktu yang digunakan untuk membaca e-mail yang merupakan aktivitas umum jika berkaitan  dengan  internet  [17].  Data  dari  wearesocial  menunjukkan  bahwa  per  Januari  2019 pengguna internet di Indonesia mencapai 150 juta dengan tingkat persentase 56% dari populasi (populasi 268,2 juta) [18]. Data pengguna media sosial aktif 150 juta sementara langganan seluler mencapai 355,5 juta atau 133% dari total populasi [18]. Dari survei ini juga ditemukan pengguna aktif media sosial yang mengakses menggunakan perangkat seluler, yaitu sejumlah 130 juta jiwa [18].  Penggunaan  internet  yang  lebih  tinggi  dipicu  oleh  pengembangan  infrastruktur  dan kemudahan mendapatkan smartphone atau perangkat genggam [18].
Penggunaan media sosial yang berkembang sangat cepat dan tinggi, membuat banyaknya bermunculan aplikasi pesan instan seperti Facebook Messenger, Line, Slack, dan Telegram [19]. Selain itu, media sosial yang menyediakan platform bot untuk membuat chatbot AI pun cukup

## Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi
banyak dan memberikan layanan mereka secara gratis sehingga mudah diintegrasikan. Platform Framewok pembangun chatbot AI berbasis cloud semakin marak pada saat ini tanpa kode ataupun digabungkan dengan bahasa pemrograman tertentu [11]. Chatfuel sebagai framework pembangun chatbot atau bot builder telah digunakan oleh beberapa perusahaan tingkat dunia karena hanya memerlukan waktu respon yang singkat dalam menjawab banyak user sekaligus [11]. Pada tabel dibawah ini merupakan beberapa paper yang mengintegrasikan aplikasi chatbot ke dalam media sosial.
Tabel 1. Penerapan chatbot di media sosial Author Media sosial yang digunakan Bentuk implementasi Kabetta, 2020 Telegram Menandatangani dokumen elektronik menggunakan sertifikat X509 Amalia dan Dimas, 2019 Facebook Messenger Melakukan pencatatan pesanan, pemrosesan pesanan, pencatatan pelanggan, informasi lokasi bisnis dan memudahkan transaksi pembayaran Aulia et al., 2018 Line Media pembelajaran membaca Al-Qur’an Febriantoro dan Achmad, 2020 Facebook Messenger Intelligent tutoring system pada mata pelatihan barang dalam keadaan terbungkus (BDKT) Maulayya et al., 2019 Telegram Sistem Informasi Akademik meliputi data KHS, KRS, Penyebaran Informasi, Transkip Nilai, Jadwal Perkuliahan, dan lain-lain Muhajjirsyah et al., 2019 Telegram Sistem informasi akademik dengan menggunakan bahasa Aceh sebagai bahasa percakapannya Yuniar dan Heri, 2019 Telegram Mencari informasi yang berkaitan dengan tanaman, hama, dan kegiatan-kegiatan lainnya Chandra dan Kosdiana, 2019 Line Membantu operator service dalam memberikan layanan informasi yang dapat merespon cepat setiap pertanyaan user Wijaya et al., 2018 Facebook Messenger Kelas online untuk membantu Guru dalam menyediakan materi kepada siswa Rangga et al., 2019 Line Melakukan transaksi pesan antar makanan Ferdiyan dan Erwin, 2017 Telegram Informasi rekapitulasi Pemilukada Kedaton dan Rendra, 2018 Line Informasi seputar pariwisata kota sorong
Dari  Tabel  1  dapat  diketahui  bahwa chatbot dimanfaatkan  untuk  kebutuhan  yang berbeda-beda dan dapat digunakan untuk kegiatan yang mampu mendukung kelancaran kegiatan pengguna.  Salah  satunya  yang  banyak  diimplementasikan  adalah  sistem  informasi.  Informasi tidak  hanya  terjadi  melalui  interaksi  manusia,  namun  dapat  menggunakan  mesin  untuk perantaranya. Chat bot disini dapat memberikan nilai tambah bagi perusahaan melalui  aplikasi yang interaktif dan unik sehingga menarik minat user yang melakukan komunikasi, juga mampu

## Ratna Ayu Sekarwati, Ahmad Sururi, Rakhmat, Miftahul Arifin, Arief Wibowo
membantu peran operator dalam merespon setiap pertanyaan user yang melakukan komunikasi tanpa ada keterbatasan waktu dan jumlah operator [20].
Selanjutnya, media sosial yang banyak digunakan oleh pengembang dalam pembangunan chatbot yaitu Telegram. Telegram adalah aplikasi pesan instan berbasis cloud yang fokus pada kecepatan dan keamanan [21]. Telegram juga menyediakan wadah bagi pengembang yang ingin memanfaatkan Open Api dan Protocol yang disediakan melalui pengembang Telegram Bot yang didokumentasikan pada web resminya [19]. Fitur Bot digunakan untuk melakukan direct chatting dengan  menggunakan  robot chat yang  memungkinkan  pengguna  untuk  melakukan  pembuatan chatbot sesuai dengan keinginan user [22].
Kelebihan dari Telegram yaitu gratis, open source , dan reproducible builds . Pada Maret  2018, menurut berita pada website Telegram, Telegram sudah digunakan oleh 200 juta pengguna aktif [21]. Walaupun masih kalah jauh dengan WhatsApp yang digunakan oleh 1,5  miliar pengguna aktif perbulan, akan tetapi Telegram memiliki fitur unik sendiri yaitu Telegram Bot [21].
Gambar 1. Gambaran umum sistem [23]
Gambar  1  menunjukkan  interaksi  antar chatbot dan user. Gambaran  umum  sistem Telegram chatbot terdiri dari tiga  entitas yaitu Telegram Bot Interface, Telegram Bot API dan Backend Bot. Masing-masing dari entitas tersebut tidak dapat dipisahkan. Telegram Bot Interface berperan  sebagai  antarmuka  user  yang  dalam  hal  ini  adalah  aplikasi  Telegram  itu  sendiri, sedangkan  Telegram  Bot  API  berperan  sebagai  penghubung  antara  program backend dengan Telegram Bot Interface [23]. Telegram Bot API berada di server Telegram, sedangkan backend terpasang di server peneliti [23]. Gambaran umum diatas juga dapat menggambarkan bagaimana proses interaksi user dengan chatbot menggunakan media sosial selain Telegram. Dari berbagai macam media sosial yang digunakan untuk pengembangan chatbot , diperlukan juga pengujian  untuk  menentukan  tingkat  keakurasian  dalam  penggunaan chatbot .  Metode  yang digunakan dalam pengujian chatbot pun berbeda-beda dari setiap penelitian.
Tabel 2. Metode pengujian chatbot Paper Metode Hasil Black -box SUS Long Polling UAT Ver, Val PT Kabetta, 2020 ✔ ✔ Diperoleh skor SUS 82,0 yang menunjukkan bahwa

## Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi
sistem yang dibangun berada dalam kategori baik dan layak untuk digunakan Amalia dan Dimas, 2019 ✔ Mampu membantu menjawab pertanyaan konsumen dengan cepat Aulia et al., 2018 ✔ ✔ Didapatkan skor rata-rata 73,3 dari 20 orang responden yang berarti hasil pengujian memiliki nilai diatas rata-rata dan aplikasi dapat diterima oleh pengguna Febriantoro dan Achmad, 2020 ✔ Berhasil ditampilkan dari semua poin evaluasi Maulayya et al., 2019 ✔ Dengan bandwidth 512 Kb diperoleh hasil BOT Telegram dengan rata-rata 2.98 Detik, Web Konvensional 5.39 Detik.
Dan menggunakan bandwidth 1 MB diperoleh hasil BOT
Telegram dengan rata-rata 2.44 Detik, Web Konvensional 3.15 Detik. Muhajjirsyah et al., 2019 ✔ ✔ Chatbot berbahasa Aceh akurat diperoleh keakuratan sebesar 84,8% Yuniar dan Heri, 2019 ✔ Fungsi berjalan dengan baik sesuai dengan kegunaannya Chandra dan Kosdiana, 2019 ✔ Dapat berjalan baik pada semua jenis spesifikasi dari smartphone yang mendukung LINE Wijaya et al., 2018 ✔ Nilai hasil final ujian lebih tinggi dengan selisih rata-rata 0.60 poin dari kelompok pembelajaran konvensional.
Hasil belajar terdapat kenaikan nilai pada post test sebesar 0,39 poin dari pengujian pertama Rangga et al., 2019 ✔ Memiliki skor yang lebih besar dengan jumlah skor SUS 84 yang tergolong kategori excellent dengan grade desain B yang berarti dapat diterima oleh user Ferdiyan dan Erwin, 2017 ✔ ✔ ✔ Rata-rata waktu delay pada saat bot dikirimkan data berupa gambar adalah 4.447 detik, sedangkan pada saat bot dikirimkan data berupa teks/angka rata-rata waktu
delay-nya yaitu kurang dari
1.5 detik. Fungsi sistem telah sesuai dengan kebutuhan dan ekspektasi. Kadaton dan Rendra, 2018 ✔ Dapat digunakan untuk menginformasikan tempat

## Ratna Ayu Sekarwati, Ahmad Sururi, Rakhmat, Miftahul Arifin, Arief Wibowo
destinasi wisata dan lokasi dengan tepat
*) Ver & Val : Verifikasi dan validasi *) PT : Performance Testing
Dari  berbagai  penelitian  mengenai  implementasi chatbot di  media  sosial,  seperti  yang dijabarkan pada Tabel 2, pada umumnya metode pengujian yang dominan adalah metode Black- box. Metode ini digunakan untuk melakukan pengujian yang fokus pada keluaran yang dihasilkan dari  proses  masukan  yang  terjadi  [9].  Pengujian  dengan  metode black-box yaitu  pengujian terhadap cara kerja chatbot [10]. Pengujian dilakukan dengan berdasarkan kebutuhan pengguna dengan  membuat  tabel  skenario  pengujian.  Tabel  skenario  akan  dikategorikan  sesuai  dengan perancangan chatbot . Dibawah ini adalah tabel skenario dari hasil pengujian metode Black-box dari salah satu paper yang di review.
Tabel 3. Pengujian menampilkan produk [24] Skenario pengujian Masukkan Keluaran yang diharapkan Keluaran hasil Mengakses menu beverages untuk melihat detail produk (fungsionalitas) Klik menu beverages Halaman detail produk Halaman detail produk (valid) Tabel 4. Pengujian menampilkan lokasi [24] Skenario pengujian Masukkan Keluaran yang diharapkan Keluaran hasil Mengakses menu locations untuk melihat lokasi restoran (fungsionalitas) Klik menu locations Halaman detail lokasi berupa peta Halaman detail lokasi berupa peta (valid) Tabel 5. Pengujian mengirim pesanan pelanggan ke restoran [24] Skenario pengujian Masukkan Keluaran yang diharapkan Keluaran hasil Mengakses menu take away untuk membuat formulir penerimaan pesanan pelanggan (fungsionalitas) Klik menu take away Halaman formulir penerimaan pesanan Halaman formulir penerimaan pesanan (valid)
Hasil  pengujian  diatas  menunjukkan  bahwa  keluaran  hasil  ( output )  bernilai valid yang artinya chatbot yang  dibuat  telah  mampu  membantu  menjawab  pertanyaan  konsumen  dengan cepat,  mengetahui  lokasi,  pencatatan  pesanan,  pemrosesan  pesanan,  pencatatan  pelanggan  dan informasi lainnya [24]. Maka metode ini dapat digunakan untuk penelitian lebih lanjut pada tahap pengujian  karena  pengujian black-box memainkan  peranan  penting  dalam  pengujian  suatu perangkat lunak karena dapat membantu validasi fungsional aplikasi secara keseluruhan [25]. Selain  itu,  menurut  penulis  metode  selanjutnya  yang  bisa  diterapkan  untuk  pengujian  adalah metode System Usability Scale (SUS). System Usability Scale (SUS) yang diciptakan oleh John Brooke  pada  tahun  1986  [23].  Metode  SUS  yaitu  metode  yang  bertujuan  untuk  mengukur kegunaan yang dirasakan oleh pengguna [25].

## Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi
Gambar 2. Skala skor SUS [3]
Berdasarkan  Gambar  2  untuk  nilai  pada  huruf  A  ke  kanan  memiliki  nilai  >  80,3 merupakan titik dimana pengguna cenderung merekomendasikan produk kepada teman. Untuk nilai  pada  huruf  B,  memiliki  nilai  persentase  70%  dengan  skor  SUS  74  –  80,2.  Hal  ini  berarti pengguna puas akan produk. Untuk nilai pada huruf C merupakan nilai rata-rata produk dengan nilai 68 – 73. Untuk nilai pada huruf D, merupakan nilai di bawah rata-rata dengan nilai 51 – 67. Untuk nilai pada huruf F ke kiri merupakan nilai sangat di bawah rata-rata dengan nilai < 51 [3]. SUS  melibatkan  responden  dengan  mengisi  kuesioner  untuk  mendapatkan  hasil  mengenai aplikasi chatbot. Untuk perhitungan selanjutnya, skor SUS dari masing-masing responden dicari skor  rata-ratanya  dengan  menjumlahkan  semua  skor  dan  dibagi  dengan  jumlah  responden  [3]. Sebagai contoh hasil pengumpulan data yang disajikan pada Tabel 6 yang diambil dari referensi paper Kabetta, 2020.
Tabel 6. Hasil kuesioner SUS [23] No. Pertanyaan Rata-rata skor 1 Saya sepertinya akan sering menggunakan chatbot ini 2,4 2 Ada fitur pada chatbot yang sebenarnya tidak perlu 3,9 3 Saya merasa mudah menggunakan chatbot ini 1,9 4 Saya sepertinya perlu bantuan teknis untuk mengoperasikan chatbot ini 4,1 5 Saya menemukan berbagai fungsi dalam chatbot ini telah terintegrasi dengan baik 2,5 6 Saya pikir ada terlalu banyak ketidaksesuaian dalam chatbot dan sistem pendukungnya 4,5 7 Saya rasa mayoritas pengguna akan dapat mempelajari chatbot ini dengan cepat 2,4 8 Saya merasa chatbot ini sangat tidak praktis ketika digunakan 4,3 9 Saya sangat yakin dapat menggunakan chatbot ini 2,5 10 Sepertinya saya harus belajar banyak hal terlebih dahulu sebelum saya dapat menggunakan chatbot ini 4,3 Total 32,8 Skor SUS (2,5 * Total) 82,0
Dari hasil perhitungan diperoleh skor SUS sebesar 82,0 yang menunjukkan bahwa sistem yang dibangun berada dalam kategori baik dan layak untuk digunakan [23]. Lalu, jika disesuaikan dengan Gambar 3, maka dapat disimpulkan bahwa total skor SUS termasuk kedalam nilai huruf A yang rentang nilai nya adalah > 80,3 merupakan titik dimana pengguna cenderung menerima chatbot dengan baik dan akan merekomendasikan kepada teman. Sementara itu pada pengujian yang menggunakan metode selain black-box dan SUS dapat pula digunakan oleh penelitian selanjutnya. Seperti metode User Acceptance Test (UAT) yang menyerupai  metode SUS  dengan  melibatkan responden untuk mengisi  kuesioner  sebagai  tolak ukur  pengujian.  Perbedaan  dari  kedua  metode  tersebut  terlihat  dari  analisa  penghitungan  yang digunakan untuk penentuan apakah chatbot termasuk dalam kategori layak atau tidak.

## 4. KESIMPULAN
Dari  penelitian  mengenai review paper  yang  berkaitan  dengan chatbot yang diintegrasikan dengan media sosial maka disimpulkan bahwa ada berbagai macam metode yang digunakan untuk menghasilkan nilai akurasi terhadap chatbot . Mulai dari menggunakan metode black-box testing, system usability scale, long polling, user acceptance test, performance test, dan verifikasi  validasi.  Hasil  dari  metode-metode  tersebut  diproses  menggunakan  analisa  yang berbeda  satu  sama  lain.  Agar chatbot dapat  dimanfaatkan  dengan  baik  oleh  pengguna,  maka diperlukan  pengujian  terhadap  cara  kerja chatbot dan  penilaian  dari  responden  menggunakan metode black-box dan system usability scale . Berdasarkan  paper review yang  dilakukan  ini,  penulis  dapat  merencanakan  penelitian menggunakan media sosial selain yang disebutkan sebelumnya, yaitu menggunakan Whatsapp . Melihat dari minat masyarakat terhadap whatsapp yang dijadikan aplikasi utama untuk aktivitas sosial, w hatsapp juga mampu dijadikan salah satu pendukung untuk menjalankan bisnis, terbukti dengan adanya aplikasi serupa yaitu whatsapp business. Untuk metode pengujian, penulis akan melakukan  pengujian  menggunakan black-box  testing dan system  usability  scale karena  dapat menjadi tolak ukur chatbot apakah layak digunakan atau tidak.

## 5. SARAN
Untuk  penelitian  selanjutnya,  diharapkan  pengujian  chatbot  dapat  dilakukan  dengan menerapkan  teknik-teknik  pada black-box  testing seperti  partisi  input  data  ( Equivalence Partitioning ), Boundary  Value  Analysis ,  teknik  untuk  mencari bug ( Fuzzing ),  teknik testing menggunakan graphic ( Cause-Effect Graph ), All Pair Testing , dan State Transition . Diharapkan juga  bagi  penelitian  selanjutnya  dapat  menggabungkan  beberapa  metode  lainnya  untuk mendapatkan tingkat performa sistem chatbot ini supaya lebih akurat.

## DAFTAR PUSTAKA
[1]. Nimda, (2012). “Apa Itu Sosial Media,” Universitas Pasundan ,
[2]. Patrut, M., & Patrut, B. (Eds.). (2013). Social media in higher education: Teaching in Web 2.0 . IGI Global.
[3]. Rangga, A. S., Gumilang, S. F. S., & Syahrina, A. (2019). Perancangan Line Bot Layanan Pesan  Antar  Warung  Makan  “dikampus”  Menggunakan  Metode  User  Centered  Design (studi  Kasus  Layanan  Pesan  Antar  Makanan  Untuk  Wilayah  Kampus  Universitas Telkom). eProceedings of Engineering , 6 (2).
[4]. Herianto, H., & Kukuh, P. (2015). Sistem Chatbot Untuk Membantu Diagnosa Kerusakan Sistem Komputer. Jurnal Sains & Teknologi Fakultas Teknik , (2), 1-10.
[5]. Korotaeva,  D.,  Khlopotov,  M.,  Makarenko,  A.,  Chikshova,  E.,  Startseva,  N.,  & Chemysheva, A. (2018, May). Botanicum: a telegram bot for tree classification. In 2018 22nd Conference of Open Innovations Association (FRUCT) (pp. 88-93). IEEE.
[6]. Idaputra,  M.,  &  Mursyidah,  M.  (2019).  Pembuatan  Chatbot Bahasa  Aceh  Menggunakan Artificial  Intelligence  Markup  Language. Jurnal  Infomedia:  Teknik  Informatika, Multimedia & Jaringan , 4 (1), 42-49.
[7]. Fauzy, M. N., & Kusrini, K. (2019). Chatbot Menggunakan Metode Fuzzy String Matching Sebagai  Virtual  Assistant  Pada  Pusat  Layanan  Informasi  Akademik. Jurnal  Informa: Jurnal Penelitian dan Pengabdian Masyarakat , 5 (1), 61-67.
[8]. Susantio, B., & Suteja, B. R. (2019). Implementasi AIML pada Web E-Commerce (Studi Kasus Streetline Coffee). Jurnal STRATEGI-Jurnal Maranatha , 1 (2), 540-550.

## Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi
[9]. Nugroho,  A.  P.,  &  Kusumaningsih,  D.  (2018).  Metode  Collaborative  Filtering  Dalam Penampilan  Rekomendasi  Produk  Dalam  Aplikasi  Chatbot  Dan  Mesin  Rekomendasi Berbasis Web: Studi Kasus PT. Tokopedia. SKANIKA , 1 (1), 94-101.
[10]. Chaulina  Alfianti,  O.  (2019).  Implementasi  Chatbot  Menggunakan  Dialogflow  dan Messenger  Untuk  Layanan  Customer  Service  Pada  E-Commerce. Jurnal  Informatika Merdeka Pasuruan , 4 (3), 36-40.
[11]. Wijaya, M. H., Sarosa, M., & Tolle, H. (2018). Rancang bangun chatbot pembelajaran Java pada Google classroom dan Facebook Messenger. J. Teknol. Inf. dan Ilmu Komput , 5 (3),
287.
[12]. Cucus, A., Endra, R. Y., & Naralita, T. (2019). Chatter Bot untuk Konsultasi Akademik di Perguruan  Tinggi. Explore:  Jurnal  Sistem  informasi  dan  telematika  (Telekomunikasi, Multimedia dan Informatika) , 10 (1).
[13]. Ramadhani,  R.  Z.,  &  Rusdianto,  H.  (2019).  Rancang  Bangun  Aplikasi  Pusat  Informasi Sekolah  Dengan  Penerapan  Chatbot  Menggunakan  Aiml  Berbasis  Android  Pada  Smk Otomotif Al Husna Tangerang. JIKA (Jurnal Informatika) , 3 (2), 110-116.
[14]. Yuniar,  E.,  &  Purnomo,  H.  (2019).  Implementasi  Chatbot"  Alitta"  Asisten  Virtual  Dari Balittas  Sebagai  Pusat  Informasi  Di  Balittas. Antivirus:  Jurnal  Ilmiah  Teknik Informatika , 13 (1), 24-35.
[15]. Perdana, R. P., & Irwansyah, I. (2019). Implementasi Asisten Virtual Dalam Komunikasi Pelayanan  Pelanggan  (Studi  Kasus  Pada  Layanan  Pelanggan  Telkomsel). Jurnal Komunikasi , 11 (2), 183-196.
[16]. Wowor, H. F. (2017). Rancang Bangun Chatbot Helpdesk untuk Sistem Informasi Terpadu Universitas Sam Ratulangi. Jurnal Teknik Informatika , 11 (1).
[17]. Juwita,  R.  (2017).  Media  sosial  dan  perkembangan  komunikasi  korporat. J.  Penelit. Komun. , vol. 20, no. 1, pp. 47–60, 2017, doi: 10.20422/jpk.v20i1.136.
[18]. Febriantoro,  W.,  &  Nurhadi,  A.  (2020).  Perancangan  Intelligent  Tutoring  System Menggunakan Chatbot pada Mata Pelatihan Barang Dalam Keadaan Terbungkus. PANCANAKA  Jurnal  Kependudukan,  Keluarga,  dan  Sumber  Daya Manusia , 1 (1), 10-20.
[19]. Maulayya,  F.  R.,  Arifin,  M.  Z.,  &  Hariono, T.  (2019).  Rancang  Bangun  “Telegram  Bot Api” Untuk Layanan Sistem Informasi Akademik Di Unwaha Menggunakan Metode Long Polling. SAINTEKBU , 11 (1), 68-77.
[20]. Chandra, Y. I. (2019). Rancang Bangun Aplikasi Chat Bot Line Menggunakan Pendekatan Agile Process Dengan Model Extreme Programming Berbasis Web (Studi Kasus Di Stmik Jakarta Sti&K). Prosiding SeNTIK , 3 (1).
[21]. Ferdiyan, B. Z., & Nugroho, E. S. (2020). Sistem Informasi Rekapitulasi Pemilukada Kota Pekanbaru menggunakan Input dari Telegram API. J. RESTI (Rekayasa Sist. dan Teknol. Informasi) , 4 (1), 56-63.
[22]. Kabetta, H. (2020). Desain dan Implementasi Penandatangan Elektronik Sertifikat X509 Menggunakan Platform Bot Telegram. J. Telemat , 13 (1), 22-35.
[23]. Amalia, E. L., & Wibowo, D. W. (2019). Rancang Bangun Chatbot Untuk Meningkatkan Performa Bisnis. Jurnal Ilmiah Teknologi Informasi Asia , 13 (2), 137-142.
[24]. Aulia, F. M., Sudarma, M., & Suyadnya, I. M. A. (2019). Pemanfaatan Instant Messaging Untuk  Aplikasi  Pembelajaran  Membaca  Al-Quran  Dengan  Metode  Tsaqifa. SINTECH (Science and Information Technology) Journal , 2 (1), 24-32.