## EXPLORER

## Pengujian Usability Pada Aplikasi Auto Reply For Messenger Menggunakan SUS
Nasrulloh Isnain 1 , Han Sulaiman 2 , Rahmatika 3 3* Universitas Indraprasta PGRI, Jakarta, Indonesia
1 nasrullohisnain@gmail.com, 2 mr.dehans@gmail.com, 3 rahmatikaunindra@gmail.com
Abstrak− Marketplace merupakan perantara penting antara penjual dan pembeli di dunia maya. Situs marketplace merupakan pihak ketiga dalam transaksi online, berbagai jenis marketplace yang sering banyak digunakan salah satunya adalah facebook marketplace. Facebook menyediakan tempat jual dan beli ini dengan tujuan agar para penggunanya bisa dengan mudah mencari dan menemukan berbagai barang menarik yang dijual. Banyak para reseller yang memanfaatkan situs tersebut untuk melakukan transaksi penjualan. Namun ketika kita terjun di dalam penjualan online banyak faktor yang harus di perhatikan salah satunya adalah membalas pesan chat customer. Hal ini sangat penting di dalam dunia penjualan bahkan di tuntut untuk merespon dengan cepat. Permasalahannya adalah terkadang para reseller mempunyai kesibukan selain jualan online sehingga terkadang pesan customer  telat  respon  bahkan  tidak  terespon.  Untuk  itu  diperlukannya  aplikasi  Auto  Reply  For  Messenger  yang  dapat diterapkan pada facebook messenger. Penelitian ini bertujuan untuk mengetahui seberapa efektif dan efisien dalam menangani customer menggunakan Auto Reply For Messenger.  Dengan Tahapan tahapan yang diperlukan antara lain analisis kebutuhan, desain,  implementasi  dan pengujian.   Metode pengujian yang  diperlukan  adalah  blackbox dimana pengujian  tersebut  untuk mengetahui  fungsi  aplikasi  berjalan  dengan  baik.  Sedangkan  untuk  mengevaluasi  kegunaan  sistem  menggunakan  System Usability Scale (SUS). SUS digunakan untuk mengetahui seberapa efektif sistem tersebut digunakan oleh responden.  Hasil pengujian SUS berdasarkan kuesioner yang disebar kepada 20 responden dari reseller Brutalists Denim, hasil kuesioner akan didapatkan nilai rata-rata dan akan memiliki penilaian berdasarkan tiga kategori. Dari katergori tersebut menghasilkan nilai rata rata sebesar 81 yang berarti termasuk kedalam kategori acceptable . Berdasarkan hasil tersebut, maka sistem yang dipakai dapat diterima baik dan dapat digunakan serta mampu memberikan kemudahan saat bertransaksi penjualan.
Kata Kunci: SUS, Auto Reply For Messenger, Reseller, Marketplace
Abstract− Marketplace  is  an  important  intermediary  between  sellers  and  buyers  in  cyberspace.  Marketplace  sites  are  third parties in online transactions, various types of marketplaces are often widely used, one of which is the Facebook marketplace. Facebook provides a place to buy and sell with the aim that its users can easily search and find various interesting items for sale. Many resellers use the site to make sales transactions. However, when we engage in online sales, there are many factors that must be considered, one of which is replying to customer chat messages. This is very important in the world of sales even required to respond quickly. The problem is that sometimes resellers have activities other than selling online, so sometimes customer messages are late in responding and even unresponsive. For that we need an Auto Reply For Messenger application that can be applied to facebook messenger. This study aims to determine how effective and efficient it is in handling customers using Auto Reply For Messenger. The necessary stages include needs analysis, design, implementation and testing. The test method needed is blackbox where the test is to find out the application function is running well. Meanwhile, to evaluate the usability of the system using the System Usability Scale (SUS). SUS is used to determine how effectively the system is used by respondents. The results of the SUS test are based on questionnaires distributed to 20 respondents from Brutalists Denim resellers, the results of the questionnaire will get an average value and will have an assessment based on three categories. From these  categories,  it  produces  an  average  value of 81  which  means  it  is included  in  the  acceptable category.  Based on  these results, the system used is acceptable and can be used and is able to provide convenience when transacting sales.
Keywords : SUS, Auto Reply For Messenger, Reseller, Marketplace

## 1. PENDAHULUAN
Perkembangan  teknologi  informasi  dan  komunikasi  digital  saat  ini  khususnya  internet  mengalami perkembangan yang sangat pesat. Dengan berbagai macam kegunaannya, hal ini yang menjadikan internet sebagai kebutuhan pokok bagi sebagian besar orang disamping kebutuhan pangan, sandang, dan papan. Perkembangan internet di Indonesia semakin tinggi, hal ini ditandai dengan adanya peningkatan pengguna internet yang semakin meningkat berpengaruh pada perkembangan e-commerce di Indonesia, khususnya forum jual beli online. Tidak bisa  dipungkiri  bahwa  belanja  online  menjadi  pilihan  oleh  banyak  konsumen  untuk  memperoleh  barang  yang diinginkan tanpa menggunakan banyak waktu dan tenaga, adanya kemudahan dalam melakukan transaksi dengan harga  cukup  bersaing  dan  kualitas  barang  yang  bagus.  Makin  berkembangnya  teknologi  informasi  semakin tergesernya media sosial juga digunakan untuk perniagaan.
Aktifitas pengguna internet di Indonesia yang sangat diminati adalah media sosial, cukup banyak media sosial  yang  berperan  penting  dalam  perniagaan.  Penggunaan  media  sosial  disini  sangat  menguntungkan  para pelaku niaga untuk memasarkan produk yang akan dipasarkan, contoh media sosial yang banyak diminati oleh pengguna  di  Indonesia  adalah  facebook.  Pengguna  facebook  bukan  hanya  berperan  dalam  berinteraksi,  tetapi sebagai media untuk berniaga dan memperkenalkan produk yang akan dipasarkan melalui marketplace yang sudah ada di dalam platform facebook itu sendiri. Marketplace adalah tempat untuk melakukan pemasaran produk dan jasa antara penjual dan pembeli menggunakan media internet yang memiliki kedudukan yang sama[1]. Ada juga

## EXPLORER
mengatakan marketplace adalah sebuah wadah pemasaran produk secara elektronik yang mempertemukan banyak penjual dan pembeli untuk saling bertransaksi [2]. Sedangkan menurut pendapat yang lain marketplace memiliki konsep seperti pasar tradisional yang seolah-olah berada di internet. Pemilik marketplace berperan sebagai pihak yang  memiliki  tempat  yang  dapat  mempertemukan  antara  penjual  dengan  pembeli  pada  website  mereka[3]. Facebook  marketplace  adalah  tempat  untuk  melakukan  kegiatan  jual  dan  beli  yang  dikhususkan  untuk  para pengguna  facebook karena marketplace ini berada di dalam platform  facebook. Facebook menyediakan tempat jual  dan  beli  ini  dengan  tujuan  agar  para  penggunanya  bisa  dengan  mudah  mencari  dan  menemukan  berbagai barang  menarik  yang  dijual  di  facebook.  Di  fitur  ini  pengguna  bisa  langsung  datang  ke  marketplace,  secara langsung  di  dalam  facebook  tanpa  harus  melakukan  download  atau  install  aplikasi  lain  dan  juga  dengan menggunakan akun yang sama.
Brutalists Denim adalah konveksi yang bergerak dibidang fashion, memproduksi beberapa produk seperti jaket jeans dan sweater hoodie. Target pasar reseller Brutalist Denim memfokuskan penjualannya pada platform facebook  marketplace.  Brutalists  sendiri  memiliki  grup  yang  di  dalamnya  terdapat  banyak  reseller  yang  aktif. Banyak hal yang didiskusikan terkait permasalahan pemasaran, terutama dalam hal membalas pesan pelanggan atau customer. Reseller juga harus memiliki kemampuan antara lain dapat memasarkan produk, contohnya seperti menampilkan gambar produk dengan baik, menulis deskripsi dengan menarik terutama dalam hal berkomunikasi dengan  pelanggan.  Dalam memasarkan atau mendeskripsikan suatu produk di marketplace terkadang customer masih ingin menanyakan dan mengetahui stok yang ada, untuk menjelaskan hal tersebut, facebook marketplace memanfaatkan  facebook  messenger  untuk  berkomunikasi  perihal  spesfikasi  produk  dan  yang  lainnya  terhadap penjual.  Sering  kali  pertanyaan  atau  informasi  yang  sama  dilakukan  oleh  pembeli  terhadap  produk  yang  ingin dibeli, Banyak pesan atau pertanyaan dari pelanggan yang serupa untuk menanyakan suatu produk, hal ini dirasa kurang efisien, karena reseller harus menjawab pertanyaan customer berulang-ulang secara manual. Permasalahan lain  adalah  customer  selalu  ingin  direspon  secara  cepat,  karena  semakin  banyaknya  chat yang masuk  sehingga cutomer yang menunggu mencari atau beralih ke lain. Keterlambatan dalam hal respon bisa berdampak fatal dalam penjualan dan menurunnya peminat pembeli. Untuk itu diperlukan suatu aplikasi yang digunakan untuk merespon pesan secara otomatis yang dapat membantu reseller menjawab pertanyaan dari customer.
Platform  framewok  pembangun  chatbot artificial  intelligence berbasis  cloud  semakin  marak.  Platform tersebut memungkinkan para developer untuk dapat membangun chatbot tanpa kode atau menggabungkan dengan bahasa pemrograman tertentu.  Chatbot merupakan aplikasi layanan yang berinteraksi dengan pengguna melalui percakapan  teks.  Chatbots  ini  bisa  dipergunakan  dalam  industri  kecil  maupun  bisnis  untuk  mengotomatisasi layanan pelanggan sesuai keinginan pengguna yang akan ditangani oleh chatbots sehingga mengurangi kebutuhan tenaga  kerja  serta  pengeluaran  [4].   Bot  memastikan  semua  pesan  dari  pelanggan  bisa  ditangani  dengan  cepat. Teknologi chatbot digunakan oleh para pelaku bisnis untuk menyediakan layanan yang aktif selama 24 jam. Hal ini secara tidak langsung akan menjadi nilai tambah yang membuat konsumen lebih menyukai produk yang kita jual dan bisa membuat pelanggan puas akan layanan yang sudah diberikan dengan secara cepat. Salah satu aplikasi dari chatbots adalah Auto Reply For Messenger.
Auto Reply For Messenger adalah sebuah aplikasi yang menerapkan teknologi artificial intelligence yang dapat membantu merespon pesan secara otomatis, seperti  welcome message balasan yang dikirim bot pada saat pertama kali jika ada yang mengirim pesan, contain word pesan terkirim apabila pesan yang diterima mengandung kata-kata yang sama dan huruf besar dan kecil tidak berpengaruh, not match pesan yang dikirim ketika pesan yang diterima tidak ada yang sama dengan yang disetting, pattern match bot akan mengecek pola yang lebih spesifik, similiarty match bot akan mengecek tingkat kemiripan pesan yang diterima, start with bot akan memeriksa awal kata pada pesan yang diterima tanpa memperhatikan case sensitive, end with bot akan memeriksa akhir kata pada pesan  yang  diterima  tanpa  memperhatikan  case  sensitive,  containing  serupa  dengan  word  containing  bot  akan memeriksa  setiap  kata  yang  diterima  apabila  ada  yang  sama  akan  direspon,  exact  match  bot  akan  memerika kemiripan pesan dan memperhatikan besar kecil huruf jadi harus benar-benar sama, sedangkan all apapun pesan yang  diterima  bot  akan  selalu  merespon.  Aplikasi  Auto  Reply  For  Messenger  dapat  diterapkan  pada  facebook messenger. Dengan fitur tersebut dapat mengirimkan pesan balasan otomatis kepada siapapun yang mengirimkan pesan  ke  facebook  messenger,  sehingga  jika  ada pembeli yang  selalu  menginginkan  pelayanan  yang  cepat  dan tanggap dapat tertangani dengan maksimal.

## 2. METODE PENELITIAN

## 2.1 Tahapan Penelitian
Tahapan penelitian ini berawal dari menganalisa kebutuhan reseller Brutalist Denim dalam hal membalas pesan pelanggan seacara otomatis dengan menggunakan auto reply chat messenger , selanjutnya  mendesain sistem untuk menentukan  algoritma  yang  digunakan  pada  aplikasi  untuk  menentukan  rule  pertanyan  pertanyaan  yang  biasa ditanyakan oleh customer dan diimplementasikan langsung pada facebook messengger kemudian proses perbaikan

## EXPLORER
jika  terdapat  kesalahan  dalam  rule  yang  digunakan,  setelah  dilakukan  perbaikan  apabila  terjadi  kesalahan diperlukan tahap evaluasi dan terakhir dilakukan pengujian dengan menggunakan metode black box.
Gambar 1 . Diagram tahapan penelitian

## 2.2. Analisis Kebutuhan
Tahap ini diperlukan untuk memahami kebutuhan reseller Brutalist Denim dan sangat penting untuk keberhasilan yang didapatkan. Kebutuhan yang diperlukan mulai dari apa saja pertanyaan yang selalu diajukan oleh customer. Pesan pesan yang selalu diajukan dibagi menjadi beberapa kategori misalnya: welcome messager yang digunakan untuk menjawab pembuka pada chat dan lain sebagainya sesuai kategori katergori yang akan diajukan. Kategori kategori ini yang menentukan pesan apa yang harus dibalas untuk merespon customer dengan benar dan tepat. Adapun messeger yang dibalas memiliki pesan teks yang bisa dipergunakan dalam tahap ini, yakni instant reply berfungsi untuk membalas pesan secara otomatis saat seseorang mengirim pesan. Disini semua pesan otomatis akan  direspon  serta  away  message  berfungsi  untuk  membalas  pesan  saat  resseler  sedang  tidak  aktif  pada  hari tertentu.

## 2.3. Desain Sistem
Aplikasi auto  reply  for  messenger digunakan  untuk mempermudah  interaksi  dengan  konsumen.  Karena  semua pertanyaan konsumen tentang produk, akan dijawab dengan cepat dan otomatis. Sistem ini akan dapat melakukan mengetahui kebutuhan fungsional seperti membalas kalimat pembuka, harga, ongkir, lokasi serta nego harga dan lain sebagainya. Dari kategori kategori mana yang harus dibalas dengan cepat oleh reseller diperlukan algortima untuk menentukan kategori kategori yang benar. Menciptakan rule yang bener menurut algoritma yang digunakan sangat diperlukan dalam mendesain sistem yang ada.

## 2.4. Implementasi
Implementasi diperlukan untuk melihat langkah langkah desain sistem dapat bekerja dengan baik sesuai rule yang ada pada algoritma yang digunakan. Rule bot yang diinginkan bisa mengatur bot, melatih frasa dan respon secara benar dan cepat.  Implementasi ini diperlukan untuk melihat seberapa cepat dan respon dari rule pesan yang ada, implementasi  ini  diperlukan  aplikasi  facebook  messenger  untuk  menerina  pesan dari  reseller  kepada  customer. Gambar 2 hingga gambar 6 merupakan tampilan rule bot yang diperlukan:
Gambar 2 merupakan menu utama langsung tampil menu rule yang pernah dibuat. Gambar 3 terdapat active untuk mengaktifkan  dan  menonaktifkan  aplikasi  auto  reply,  pada  reply  for  messenger  app  terdapat  beberapa  pilihan, pilihan pertama FB Messenger akan membalas otomatis bagi pengguna fb standart, pilihan kedua FB Messenger Light  akan  membalas  otomatis  bagi  pengguna  fb  light,  dan  pilihan  ketiga  Fb  Page  Manager  akan  membalas otomatis  bagi  pengguna  page  fb.  Pilihan  Receive  message  pattern  pola  pesan  yang  di  terima  dari  customer Kemudian menentukan algoritma yang di gunakan.
Mulai Analisis Kebutuhan Desain Sistem Implementasi Perbaikan Evaluasi Pengujian Selesai

## EXPLORER
Gambar 2. Menu Utama              Gambar 3. Menu New Auto Reply Rule Gambar 4. Rule bot
Gambar 5. Reply message
Gambar 6. Delay in second
Gambar 4 untuk memilih algoritma yang diinginkan dalam hal ini tidak semua algoritma digunakan, atau hanya digunakan sesuai kebutuhan saja. Gambar 5. Reply message jawaban pesan yang dikirim sesuai pola pertanyaan customer.  Gambar  6.  Delay  in  seconds  adalah  kecepatan  balasan  dalam  hitungan  detik.  Pilihan  Reply  to  ada Individual yaitu balasan pesan ke chat pribadi, pilihan Group yaitu balasan pesan ke group marketplace dan pilihan Both yaitu untuk kedua duanya.

## 2.5. Pengujian
Metode pengujian black box digunakan bagi sebagian besar aplikasi yang bisa kita temukan saat ini. Pengujian ini penting untuk menemukan bug atau gangguan pada aplikasi tersebut sebelum dirilis secara resmi. Ada tahapan tahapan  yang  dilalui  oleh  blacbox  untuk  digunakan  yakni  Functional  testing  yang  diperlukan  untuk  menguji terhadap fungi atau fitur spesifik. Non Functional testing digunakan untuk menguji pada aspek aspek tambahan non  fungsional,  Non-functional  testing  juga  melihat  apakah  software  yang  telah  dirancang  dapat  dioperasikan dengan baik pada perangkat dan ukuran layar serta sistem operasi yang berbeda-beda. Dan yang terakhir adalah Regression Testing Black box testing tipe ini adalah pengujian yang dapat dilakukan untuk melihat apakah terjadi regresi atau kemunduran ketika versi software di-upgrade. Untuk mengevaluasi nya diperlukan System Usability

## EXPLORER
Scale (SUS) Pengujian System Usability Scale dijalankan untuk mengukur aspek-aspek yaitu: efektivitas, efisiensi, dan kepuasan pengguna.

## 3. HASIL DAN PEMBAHASAN
Dalam perkembangan teknologi banyak penilitian yang memanfaatkan chatbot sebagai virtual assistant atau shop assistant[5], [6]. Chatbot adalah salah satu program kecerdasan buatan yang dirancang untuk dapat berkomunikasi langsung dengan manusia dengan bahasa yang sederhana. Chatbot itu sendiri merupakan sebuah sebuah program komputer  yang  mampu  berinteraksi  dengan  penggunanya  dengan  bahasa  alami[7]  Algoritma  yang digunakan.Meskipun  banyak,  bots  yang  dapat  menginterpretasikan  dan  menanggapi  input  dari  manusia, sebenarnya  hanya  mengartikan  kata  kunci  ke  dalam  input  dan  membalasnya  dengan  kata  kunci  yang  paling mendekati atau cocok baik pola kata yang paling mirip dari data yang telah ada dalam database yang telah dibuat sebelumnya.  Pada  saat  menggunakan  chatbot,  pelanggan  tidak  perlu  untuk  bertatap  muka  langsung  untuk mendapatkan pelayanan tertentu hal ini membuat pengguna menghemat biaya dan waktu, chatbot juga membuat perubahan ke arah yang lebih baik bagi pelanggan dan perusahaan[8].
Chatbot yang digunakan untuk membalas pesan otomatis adalah Auto Reply For Messenger. Auto Reply For  Messenger  digunakan  untuk  membalas  pesan  otomatis  melalui  facebook  messanger,  sebelum  penggunaan Auto  Reply  For  Messenger  kita  harus  mengetahui  rule-rule  yang  ingin  digunakan  dalam  auto  replay  tersebut. Mendesain  fitur  chatbot  perlu  dilakukan  saat  awal  dalam  membangun  chatbot.  Pada  awal  -awal  pembuatan diperlukan  rule  bot,  kemudian  di  integrasikan  ke  facebook  messeger.  Rule  bot  ini  digunakan  untuk mengkategorikan pesan apa saja yang masuk dan menjawabnya secara otomatis dan benar.  Penggunaan rule ini digunakan untuk mengkategorikan pesan yang harus masuk dan diterima oleh customer. Dari katergori yang ada kita dapat membuat pesan otomatis yang memenuhi pertanyaan dari customer dengan baik. Penggunaan rule bot diperlukannya algoritma yang memenuhi standart dari rule bot tersebut. Dari rule yang ada kita dapat mengatur kata  atau  kalimat.  Contoh  penggunaan  rule  bot  untuk  kategori  pada  similarity  match,  jika  customer  chat  yang memiliki  kalimat  atau  pertanyaam  yang  sama  kita  bisa  atur  sesuai  kata  yang  mirip  melalui  settingan  yang  kita inginkan. Berikut gambar tampilan similarity match :

## Gambar 7. Similarity match
Rule-rule lain yang diperlukan dalam chat bot antara lain : contain, exactly match, word contain word dll. Rule tersebut  digunakan  untuk  kebutuhan  fungsional  misal,  kalimat  pembuka,  harga,  ongkir,  ekpedisi,lokasi,  info kontak whatsapp dan lain sebagainya yang sering diajukan oleh customer. Dari rule yang sudah ditentukan akan digunakan atau di implementasikan ke facebook messanger, facebook messanger merupakan bagian dari facebook itu sendiri. Berikut Arsitektur facebook messanger bot :
Facebook Bot

## EXPLORER

## Gambar 8. Arsitektur Facebook Messanger Bot
Gambar 8. menjelaskan mengenai cara kerja Facebook messanger bot, facebook messanger merupakan aplikasi yang tersedia di dalam aplikasi facebook marketplace, jika customer melihat produk-produk yang di upload pada facebook  marketplace,  maka  customer  akan  mengirim  pesan  melalui  facebook  messanger.  Dari  pesan  tersebut maka, proses pesan disini akan mengirimkan kepada bot, bot akan memproses bedasarkan pilihan dan pesan akan diterima oleh facebook messanger.
Gambar 9.     (a) (b)
(c)
Gambar 9. (a) Gambar Kalimat Pembuka Welcome Message sebagai balasan kalimat pembuka saat pertama kali customer kirim pesan dan pesan akan otomatis dikirim sesuai pesan yang telah kita buat terlebih di rule bot, (b) Gambar Algoritma Exactly Match Bot bekerja apabila pesan sesuai dengan pilihan yang ada yang telah ditentukan oleh customer maka akan dijawab sesuai yang ditentukan, dan (c) Gambar Algoritma Containing Word bot bekerja apabila pesan dari customer memiliki kalimat yang sama atau mirip, sehingga pesan akan ditampilkan otomatis sesuai kata-kata yang dianggap mirip.

## 3.1. Pembahasan
Tahapan ini adalah tahapan pengujian dan evalusi sistem, metode yang digunakan adalah blackbox testing untuk menguji  fungsional  sistem.  Blackbox  testing  digunakan  unruk  menguji  rule-rule  dalam  chatbot.  Teknik-teknik Black-box Testing yang diperlukan antara lain :
a. Equivalence  Partitionin  Cara  kerja  teknik  ini  adalah  dengan  melakukan  partition  atau  pembagian  menjadi beberapa partisi dari input data.
b. Boundary  Value  Analysis  Teknik  ini  lebih  fokus  kepada  boundary,  adakah  error  dari  luar  atau  sisi  dalam software, minimum, maupun maksimum nilai dari error yang didapat.
c. Fuzzing Fuzz merupakan teknik untuk mencari bug atau gangguan dari software dengan menggunakan injeksi data yang terbilang cacat ataupun sesi semi-otomatis.
d. Cause-Effect Graph Ini adalah teknik testing dimana menggunakan graphic sebagai acuannya. Dimana dalam grafik ini menggambarkan relasi antara efek dan penyebab dari error tersebut.
e. Orthogonal Array Testing Dapat digunakan jika input domain yang relatif terbilang kecil ukurannya, tetapi cukup berat untuk digunakan dalam skala besar.

## EXPLORER
f. All  Pair  Testing  Dalam  teknik  ini,  semua  pasangan  dari  test  case  di  desain  sedemikian  rupa  agar  dapat dieksekusi  semua  kemungkinan  kombinasi  diskrit  dari  seluruh  pasangan  berdasar  input  parameternya. Tujuannya testing ini adalah memiliki pasangan test case yang mencakup semua pasangan tersebut.
g. State Transition Testing ini berguna untuk melakukan pengetesan terhadap kondisi dari mesin dan navigasi dari user interface dalam bentuk grafik.
Tabel 1 merupakan hasil pengujian dengan menggunakan metode blacbox. Pengujian digunakan pada rule rule  bot  untuk  mengirim  pesan  otomatis  kepada  customer.  Rule  rule  bot  ini  yang  akan  mengatur autoreplaymessanger. Dari hasil yang didapatkan untuk blackbox testing tidak ada kendala yang signifikan dalam penggunaannya, dan rule rule bot berhasil dijalankan dan di terapkan di facebook messanger.
Tabel 1. Blackbox Testing BOT Test Case Hasil yang diharapkan Hasil All Apapun  pesan  yang  diterima  bot  akan  selalu merespon Berhasil merespon pesan Valid Exact Match Bot  akan  memeriksa  kemiripan  pesan  dan memperhatikan besar kecil huruf Berhasil memeriksa tingkat kemiripan pesan Valid Contain Bot  akan  memeriksa  setiap  kata  yang  diterima apabila ada pesan yang sama  akan direspon Berhasil memeriksa pesan yang sama Valid Start With Bot  akan  memeriksa  awal  kata  pada  pesan  yang diterima tanpa memperhatikan case sensitive Berhasil memeriksa pesan pertama masuk Valid End With Bot  akan  memeriksa  akhir  kata  pada  pesan  yang diterima tanpa memperhatika case sensitive Berhasil memeriksa pesan terakhir pada pesan Valid Similarity Match Bot akan mengecek tingkat kemiripan pesan yang diterima Berhasil  mengirim  pesan jika  terdapat  pesan  yang sama Valid Pattern Match Bot akan mengecek pola yang lebih spesifik Berhasil mengecek pola Valid Not Match Pesan  akan  dikirim  ketika  pesan  yang  diterima tidak ada yang sama dengan yang di set Berhasil  mengirim  pesan jika  tidak  ada  set  yang dipilih Valid Contain Word Pesan  terkirim  apabila  terdapat  pesan  yang mengandug kata kata yang sama Berhasil  mengirim  pesan yang  mengandung  kata yang sama Valid Welcome Message Mengirim pesan balasan yang dikirim bot saat ada pesan pertama masuk Berhasil  mengirim  pesan balasan saat pesan pertama masuk Valid

## 3.2 Hasil Analisis Kemanfaatan
System Usability Scale (SUS)  merupakan salah satu metode uji pengguna  yang  didalamnya  menyediakan alat ukur yang dapat diandalkan. Metode uji pengguna ini diperkenalkan oleh John Brooke pada tahun 1986 yang dapat dimanfaatkan  untuk  melakukan  evaluasi  dari  berbagai  jenis  produk  ataupun  layanan,  termasuk  di  dalamnya hardware, software, perangkat mobile, website, maupun aplikasi lainnya[9]. System Usability Scale (SUS) untuk menentukan respondennya tidak memiliki konsep yang baku, kondisi tersebut disebabkan responden dari System Usability  Scale  (SUS)  pengguna  akhir  dari  produk  perangkat  lunak  yang  dapat  melakukan  evaluasi  maupun pengujian.  Dalam  beberapa  kajian  menunjukkan  System  Usability  Scale  (SUS)  menggunakan  responden  yang berbeda  bahkan  sampai  dengan  empat  ratus  sembilan  puluh  sembilan  responden[10].  System    Usability    Scale (SUS) ini merupakan skala usability yang handal, populer, efektif dan murah. Daftar Pertanyan SUS memiliki 10 pertanyaan  dan  5  pilihan  jawaban.  Pilihan  jawaban  terdiri  dari  sangat  tidak  setuju  sampai  sangat  setuju.  SUS memiliki skor minimal 0 dan skor maksimal 100. Kinerja kuesioner berdasarkan skala usability yang  ditampilkan di  Tabel  2.  Kuesioner  tersebut  akan    diajukan  kepada  reseller  Brutalists  Denim,  kuesioner  atau  pertanyan- pertanyaan tersebut akan dijawab oleh reseller berdasarkan penggunaan sistem yang telah digunakan. Kuesioner tersebut melibatkan 20 responden. Dari pertanyaan tersebut terdapat skor yang diperlukan yakni dari satu sampai lima  untuk  menguji  skor  tersebut  dalam  perhitungan  akhir System  Usability  Scale (SUS).  Pertanyan-pertanyan diajukan untuk mengetahui seberapa besar sistem ini mampu digunakan oleh reseller dan apakah terdapat kendala dalam penggunaannya dan apakah diperlukan evaluasi atau bantuan ahli dalam penggunaannya.

## EXPLORER
Tabel 2. Pertanyaan Kuesioner System Usability Scale (SUS) No Pertanyaan Poin 1 Saya berpikir akan menggunakan sistem ini lagi 1-5 2 Saya merasa sistem ini rumit untuk digunakan 1-5 3 Saya merasa sistem ini mudah digunakan 1-5 4 Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan sistem ini 1-5 5 Saya merasa fitur-fitur sistem ini berjalan dengan semestinya 1-5 6 Saya merasa ada banyak hal yang tidak konsisten (tidak serasi pada sistem ini) 1-5 7 Saya merasa orang lain akan memahami cara menggunakan sistem ini dengan cepat 1-5 8 Saya merasa sistem ini membingungkan 1-5 9 Saya merasa tidak ada hambatan dalam menggunakan sistem ini 1-5 10 Saya perlu membiasakan diri terlebih dahulu sebelum menggunakan sistem ini 1-5
Gambar 10. Skor System Usability Scale (SUS)
Gambar  10  merupakan  skor  perhitungan  Kuesioner  System  Usability  Scale  (SUS)  menggunakan  5  poin  skala Likert. Reseller diminta untuk memberikan penilaian “Sangat tidak setuju”, “Tidak setuju”, “Netral”, Setuju”, dan “Sangat setuju” atas 10 item pernyataan System Usability Scale (SUS) sesuai dengan penilaian subyektifnya. Jika responden merasa tidak menemukan skala respon yang tepat, responden harus mengisi titik tengah skala pengujian. Setiap  item  pernyataan  memiliki  skor  kontribusi.  Setiap  skor  kontribusi  item  akan  berkisar  antara  0  hingga  4. Untuk item 1,3,5,7, dan 9 skor kontribusinya adalah posisi skala dikurangi 1. Untuk item 2,4,6,8, dan 10, skor kontribusinya adalah 5 dikurangi posisi skala. Kalikan jumlah skor kontribusi dengan 2.5 untuk mendapatkan nilai keseluruhan  system  usability.  Skor  System  Usability  Scale  (SUS)  berkisar  dari  0  hingga  100.  Berikut  rumus perhitungan skor System Usability Scale (SUS):
𝑆𝑘𝑜𝑟 𝑆𝑈𝑆 = (( 𝑅 1 − 1) + (5 − 𝑅 2) + ( 𝑅 3 − 1) + (5 − 𝑅 4) + ( 𝑅 5 − 1) + (5 − 𝑅 6) + ( 𝑅 7 − 1) + (5 − 𝑅 8) + ( 𝑅 9 − 1) + (5 − 𝑅 10)) ∗ 2.5) Skor SUS keseluruhan diperoleh dari rata-rata skor SUS individual.
Setelah menyebar kuesioner ke reseller dan dilakukan perhitungan SUS, maka akan ditemukan hasil akhir atau skor rata-rata, dimana Skor SUS dapat menunjukkan tingkat penerimaan  pengguna.  Skor SUS harus bernilai lebih dari 70 [11] agar termasuk ke dalam kategori Acceptable.
Tabel 3 Hasil Penilaian Responden berdasarkan System Usability Scale (SUS) Responden Hasil Penilaian Skor 1 2 3 4 5 6 7 8 9 10 11 12 13 14 38 x 2.5 30x 2.5 30x 2.5 33x 2.5 30X 2.5 35x 2.5 31x 2.5 32x 2.5 31x 2.5 28x 2.5 30x 2.5 29x 2.5 39x 2.5 32x 2.5 95 75 75 83 75 88 78 80 78 70 75 73 98 80

## EXPLORER
15 16 17
18 19 20
31x 2.5 37x 2.5 32x 2.5 35x 2.5 29x 2.5 32x 2.5 78 93 80 88 73 80 Nilai Rata-Rata 81
Perhitungan nilai rata-rata menggunakan persamaan berikut [12]:
Nilai rata rata=
dimana: xi : nilai score responden N : Jumlah Responden
Penilaian berdasarkan 3 (tiga) kategori: a. Not Acceptable = skor 0-50,9 b. Marginal = skor 51-70,9 c. Acceptable = skor 71-100
Tabel 3 Merupakan hasil perhitungan akhir dari System Usability Scale (SUS) yang bernilai rata rata adalah 81 yang berarti tergolong ke dalam kelompok acceptable . Berdasarkan hasil tersebut, maka sistem yang dipakai dapat diterima  baik  dan  dapat  digunakan  oleh  reseller  tanpa  melakukan  perbaikan  dan  dapat  mampu  memberikan kemudahan saat transaksi penjualan di facebook marketplace.

## 4. KESIMPULAN
Auto  Reply  For  Messenger  digunakan untuk  memenuhi  kebutuhan  reseller  dalam  menjawab  pesan  otomatis di dalam facebook messanger yang di gunakan untuk meningkatkan penjualan di Brutalists Denim. Sistem ini perlu adanya rule rule dipakai sehingga jawaban dari pesan tersebut memenuhi kriteria yang ditanyakan oleh customer. Dari  rule  bot  tersebut,  bot  akan  memilah  milah  kata  atau  kalimat  yang  diperlukan,  bot  tersebut  akan  mengirin pesan  ke  facebook  messanger  melalui  Auto  Reply  For  Messanger.  Sistem  ini  telah  melewati  beberapa  tahap pengujian,  yaitu  menggunakan  metode  blackbox  testing  melalui  kuesioner  dengan  hasil  sistem  dapat  berjalan sesuai  dengan  fungsinya.  Kemudian  kuesioner  tersebut  dilakukan  pengujian  System  Usability  (SUS)  yang melibatkan  20  orang  responden  resseller  dari  di  Brutalists  Denim,  perhitungan  skor  SUS  ini  digunakan  untuk mendapatkan hasil akhir atau hasil dari rata yang mendapatkan nilai akhir 81, yang dapat disimpulkan bahwa user atau  reseller  menyetujui  untuk  mengimplementasikan  sistem  ini.  Dari  hasil  perhitungan  akhir  SUS  dapat dikatergorikan sebagai acceptable yang artinya sistem ini bisa dipergunakan dan dapat diterima baik oleh reseller tanpa  melakukan  perbaikan  dan  dapat  mampu  memberikan  kemudahan  saat  transaksi  penjualan  di  facebook marketplace. Penelitian  ini  nantinya  dapat  dikembangkan  lagi dengan  menambahkan rule rule bot dan  fungsi serta kriteria kriteria yang baru salah satunya adalah fitur pengiriman, produk dll.

## REFERENCES
[1] J. Sundari and E. R. Nainggolan, “E-Marketplace Desa Gerabah Untuk Pengrajin Di Desa Bumi Jaya Serang Banten,” J. Ind. Serv. Vol. 3 No. 1a Oktober 2017 , vol. 3, no. 1, pp. 68–73, 2017.
[2] A. Y. S. Deni Apriadia, “Lumbar spinal stenosis treated with polyetheretherketone pedicle screw fixation combined with interbody fusion: A follow-up assessment focusing on bone fusion rate,” RESTI (Rekayasa(Rekayasa Sist. dan Teknol. Informasi) , vol. 1, no. 2, pp. 131–136, 2017, [Online]. Available: https://jurnal.iaii.or.id/index.php/RESTI/article/view/36/20.
[3] T. P. Artaya, Putu, “Efektifitas Marketplace Dalam Meningkatkan Konsentrasi,” J. Ekon. Dan Bisnis, Univ. Narotama Surabaya , no. April, pp. 1–10, 2019, doi: 10.13140/RG.2.2.10157.95206.
[4] H. P. and N. M. R. Singh, M. Paste, N. Shinde, “Chatbot using TensorFlow for small Businesses,” Int. Conf. Inven. Commun. Comput. Technol. , pp. 1614–1619, 2018, [Online]. Available: https://ieeexplore.ieee.org/document/8472998.
[5] A. Bayan, “Chatbots: Are They Really Useful?,” LDV-Forum , 2007. .
[6] M. Eduardo, “Inttelligent Web Navigation Using Virtual Assistant,” Univ. Granada , 2007.
[7] C. Macrae, Learning Form Jquery . Boston: Addison Wesley, 2013.

## EXPLORER
[8] Nguyen M-H, “From Fortune 500s to small businesses, real businesses are already using chatbots to improve their service,” 2017. .
[9] N. Thomas, “How to use the system usability scale ( SUS ) to evaluate the usability of your website,” Usability Geek , 2015. http://usabilitygeek.com/how-to-use-the-system-usability-scale-sus-to-evaluate-the-usability-of-your- website/ (accessed Jun. 01, 2021).
[10] T. Kortum, P and B. A, “No TiUsability ratings for everyday products measured with the System Usability Scaletle,” Int. J. Hum. Comput. Interact. , vol. 29, pp. 67–76, 2013.
[11] J. Brooke, “SUS: A Retrospective,” J. Usability Stud. , vol. 8, no. 2, pp. 29–40, 2013, [Online]. Available: https://www.researchgate.net/profile/John-Brooke- 6/publication/285811057_SUS_a_retrospective/links/5ee5c4a792851ce9e7e38a75/SUS-a-retrospective.pdf.
[12] H. Rachmi and S. Nuwahyuni, “Pengujian Usability Lokamedia Website Menggunakan System Usability Scale,” AL-KHIDMAH , vol. 1, no. 2, pp. 86–92, 2018, doi: 10.1201/9781315274508-20.