JURNAL ILMIAH KOMPUTER GRAFIS , Vol.15, No.1, JULI 2022, pp. 160 - 172 p-ISSN : 1979-0414(print) e-ISSN :  2621-6256 (online) http://journal.stekom.ac.id/index.php/pixel
 page 160
Received Mei, 2022; Revised Juni, 2022; Accepted Juli, 2022
Implementasi Azure Cognitive Services dalam Pengembangan
Chatbot Layanan Informasi Skripsi
Nur Asiah Ramdani 1 , Asriyanik 2 , Winda Apriandari 3 1,2,3 Universitas Muhammadiyah Sukabumi Jl. R. Syamsudin, S.H. No. 50, Cikole, Kec. Cikole, Kota Sukabumi, Jawa Barat 43113, (0266) 218345, e-mail: 1 nurasiah054@ummi.ac.id, 2 asriyanik@ummi.ac.id, 3 winda.apriandari@ummi.ac.id

## ARTICLE  INFO
Article history:
Received 30 Mei  2022 Received in revised form 2 Juni 2022 Accepted 10 Juni 2022 Available online Juli 2022

## ABSTRACT
The  Thesis  is  a  compulsory  subject  that  must  be followed  by  undergraduate  students  to  complete their study period. The Thesis is different from other courses  related  to  the  procedures  in  it.  In  the Informatics  Engineering  study  program  at Muhammadiyah  University  of  Sukabumi,  the dissemination  of  thesis  information  was  spread through 5 different media, but this was not effective because  it  took  a  lot  of  time  and  made  the  work repeated.  Therefore,  to  facilitate  the  dissemination of  information,  the  researchers  created  a  chatbot application  that  can  answer  questions  about  thesis information automatically without human supervision. To produce a smart  chatbot, Microsoft Azure Cognitive Services QnA Maker service is used in  its  manufacture.  The  chatbots  were  tested  using alpha  and  beta  testing  and  concluded  that  making chatbot  applications  with  Azure  Cognitive  Services QnA  Maker  made  finding  thesis  information  more accurate, effective, and efficient.
Keywords : Azure Cognitive Services , Chatbot , QnA Maker , Skripsi

## 1. Pendahuluan
Direktorat  Jenderal  Pendidikan  Tinggi  Kementerian  Pendidikan  dan  Kebudayaan memberikan  surat  edaran  dengan  nomor  152/E/T/2012  tertanggal  27  Januari  2012  terkait ketentuan  publikasi  makalah  yang  harus  diterbitkan  oleh  mahasiswa  program  Sarjana,  Master, dan  Doktor.  Bagi  program  Sarjana  atau  strata-1  sendiri  diharapkan  dapat  menerbitkan  makalah dalam bentuk jurnal ilmiah [1]. Program Studi Teknik  Informatika Universitas Muhammadiyah Sukabumi  (Prodi  TI  UMMI)  merupakan  salah  satu  institusi  yang  menyediakan  pendidikan program Sarjana bagi para mahasiswa. Pada dasarnya skripsi masuk ke dalam mata kuliah wajib bagi  mahasiswa  S-1  namun  skripsi  memiliki  perbedaan  dengan  mata  kuliah  lain,  yaitu  terkait prosedur-prosedur yang terdapat di dalamnya.
Penyampaian informasi skripsi di Prodi TI UMMI dilakukan dengan cara unggah manual melalui  berbagai  media,  hal  ini  menyebabkan  pekerjaan  dilakukan  berulang  dan  penyebaran informasi  tidak  merata  mengingat  tidak  semua  mahasiswa  menggunakan  seluruh  media  yang Prodi  gunakan.  Disamping  itu,  dengan  tidak  terpusatnya  media  penyampaian  informasi  skripsi juga  membuat  mahasiswa  kerap  kembali  bertanya  secara  pribadi  kepada  dosen  yang  berperan sebagai  penyampai  informasi.  Hasil  dari  survei  yang  disebar  kepada  30  mahasiswa  Prodi  TI

## 161
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
UMMI dari semester 4 hingga 8 didapat bahwa 83.3% mahasiswa menyatakan kesulitan dalam mencari  informasi  skripsi,  dan  73.3%  setuju  bahwa  penyebaran  informasi  skripsi  di  Prodi  TI UMMI belum dilakukan secara efektif.
Di dalam dunia teknologi informasi ada yang dinamakan proses otomatisasi yaitu suatu metode  penggantian  tenaga  manusia  dengan  mesin  sehingga  dapat  mempermudah  pekerjaan tanpa perlu pengawasan manusia [2]. Dalam kasus di atas, proses otomatisasi dapat diterapkan di Prodi TI UMMI untuk membantu penyebaran informasi skripsi yang biasanya dilakukan secara manual oleh dosen sehingga kini dapat diganti dengan tenaga mesin. Salah satu teknologi yang dapat  diterapkan  yaitu  pembuatan  aplikasi chatbot yang  dapat  menjawab  otomatis  setiap pertanyaan yang diajukan tiap-tiap mahasiswa terkait informasi skripsi.
Chatbot adalah layanan dengan teknologi kecerdasan buatan yang dapat membalas pesan secara  otomatis,  chatbot  memproses  bahasa  natural  sehingga  menghasilkan  respon  cerdas  yang dikirim  kembali  kepada  penggunanya  [3],  [4].  Dalam  penelitian  berjudul Chatbot sebagai Implementasi  Pemanfaatan  Teknologi Artificial Intelligence dengan Channel  Telegram [5] disimpulkan  bahwa  dalam  praktiknya,  respon  cepat  yang  dihasilkan chatbot berhasil meningkatkan kepuasan pelanggan.
Chatbot termasuk ke dalam salah satu cabang teknologi kecerdasan buatan yaitu Natural Language  Processing (NLP).  NLP  merupakan  bidang  kecerdasan  buatan  yang  mempelajari interaksi  manusia  dengan  mesin  melalui  bahasa  natural  [6].  Penelitian  yang  dilakukan Muhammad  Naufal  Alfareza  [7]  dengan  membuat chatbot menggunakan  NLP  menghasilkan chatbot yang dapat merespon pertanyaan namun masih ditemukan kekurangan yaitu tidak dapat merespon  ketika  terdapat  kesalahan  eja  dalam  kata  kunci  yang  dimasukkan.  Disamping  itu, terdapat beberapa platform komputasi awan yang menyediakan layanan Cognitive Services yang dapat  membantu  dalam  pengembangan chatbot yang  lebih  pintar  dan  dapat  merespon  dengan baik , diantaranya yaitu Microsoft Azure, Google Cloud Platform (GCP), Amazon Web Services (AWS), dan IBM Cloud.
Dari  salah  satu  hasil  penelitian  yang  diunggah  dalam  prosiding  Intercon  2019  [8] dilakukan  perbandingan  guna  mencari  layanan Cognitive  Services paling  pintar.  Ada  5  kriteria yang  diuji  yaitu  aspek  umum,  teknis,  layanan,  komersial,  dan  bisnis  dengan  hasil  akhir  IBM Cloud  menempati  urutan  pertama  dan  kemudian  disusul  Azure,  selanjutnya  AWS  dan  yang terakhir  GCP.  Namun  berdasar  tingkat  kepopularitasan  platform  komputasi  awan  di  Indonesia, IBM tidaklah berada di peringkat 3 teratas yang artinya penggunaan IBM Cloud sebagai layanan komputasi  di  Indonesia  masih  terbilang  jarang  jika  dibandingkan  dengan  layanan  komputasi lainnya,  sehingga  dalam  hal  ini  dengan  mempertimbangkan  kedua  faktor  tersebut  peneliti memutuskan  untuk  menggunakan  layanan Cognitive  Services paling  pintar  kedua  yaitu  dari Microsoft Azure.
Layanan utama Cognitive Services yang digunakan dalam pembuatan chatbot ini adalah QnA  Maker.  QnA  Maker  merupakan  layanan Cognitive  Services yang  disediakan  Microsoft Azure yang termasuk ke dalam kategori kecerdasan buatan. QnA Maker membantu memberikan kemampuan  kepada  penggunanya  dalam  pembuatan  layanan  tanya  jawab  dengan  mengambil informasi melalui Frequently Asked Question (FAQ), panduan produk dan lainnya [9]. Informasi yang  digunakan  sebagai  bahan  pembuatan  basis  pengetahuan  didapatkan  dari  kuesioner  yang disebar  kepada  mahasiswa  Prodi  TI  UMMI  dan  melalui  wawancara  terhadap  dosen  Prodi  TI UMMI. Selain itu informasi lainnya juga didapat melalui studi literatur salah satunya adalah dari dokumen panduan skripsi.
Setelah aplikasi chatbot dibuat maka dilakukan pengujian untuk mengukur keberhasilan chatbot dalam  efektivitas  pelayanan  informasi  skripsi  di  Prodi  TI  UMMI.  Pengujian  dilakukan dengan dua cara yaitu pengujian Alpha yaitu dilakukan secara internal untuk memastikan tidak ada bug dalam  aplikasi,  pengujian  ini  melalui  teknik Black  Box  testing yang  memperhatikan ketepatan  hasil  respon  dan  rata-rata  waktu  yang  dibutuhkan  dalam  menghasilkan  jawaban  di chatbot .  Selanjutnya  dilakukan  pengujian  Beta  yang  disebar  langsung  secara  eksternal  melalui kuesioner  yang  kemudian  dihitung  dengan  menggunakan  skala  likert  [10].  Pembuatan  aplikasi
dalam  penelitian  ini  menggunakan  metode  Prototype,  dan  dalam  hasilnya chatbot akan menampilkan single-page application (SPA).
Penelitian  ini  bertujuan  untuk  menghasilkan  aplikasi chatbot dengan  memanfaatkan teknologi Microsoft Azure Cognitive Services yang dapat membantu mahasiswa dan pihak yang berkepentingan  dalam  mendapatkan  informasi  skripsi  dengan  cara  efektif,  akurat  dan  efisien dalam waktu.

## 2. Metode Penelitian
Penelitian  ini  menggunakan  metode  Prototype  dalam  pengembangannya.  Metode Prototype  adalah  solusi  paling  tepat  untuk  mengembangkan  aplikasi  ini  karena  metode  ini memungkinkan  pengembang  dan  pengguna  berinteraksi  secara  langsung  untuk  menghasilkan sebuah aplikasi yang bekerja maksimal [11].
Gambar 1. Alur kerja Metode Prototype
2.1. Komunikasi dan Pengumpulan Data Awal
Terdapat  beberapa  data  yang  dikumpulkan  dalam  penelitian  ini,  yang  pertama  adalah mengenai  penyebaran  informasi  skripsi  yang  dilakukan  Prodi  TI  UMMI.  Ada  5  media  yang digunakan  sebagai  sarana  penyebaran  informasi  diantaranya:  Melalui  grup  WhatsApp  UP  dan Skripsi, situs e-skripsi Teknik Informatika, Instagram Informatika UMMI, 2 akun Facebook, dan kontak  WhatsApp  Informatika  UMMI.  Selain  itu  juga  dikumpulkan  data  melalui  pra-survei mengenai respon mahasiswa terhadap penyebaran informasi  skripsi yang telah dilakukan prodi, didapatkan 30 responden yang terdiri dari mahasiswa semester 4 hingga 8. Hasil dari pra-survei kemudian disimpulkan dan dijadikan rujukan untuk penelitian serta bahan dalam wawancara yang dilakukan kepada pihak Prodi TI UMMI sehingga dihasilkan informasi yang dapat dimasukkan ke dalam basis pengetahuan dalam aplikasi.

## 2.2. Perencanaan Kebutuhan
Dua aspek sebagai fokus utama perencanaan kebutuhan yaitu aspek teknologi dan aspek pengguna. Aspek teknologi membahas terkait spesifikasi perangkat lunak yang seperti apa yang diperlukan  untuk  menghasilkan  aplikasi chatbot ,  sementara aspek  pengguna  lebih  kepada  siapa saja yang berhak dan mendapatkan akses untuk menggunakan aplikasi chatbot yang telah dibuat. 2.3. Pembuatan Desain
Kerangka dalam proses penelitian ini diantaranya membuat desain yang mengacu kepada perancangan  alur  kerja chatbot .  Terdapat  diagram  alur  yang  dapat  menyatakan  simbol  tertentu

## 163
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
untuk  menunjukkan  apa  yang  terjadi  dari  setiap  tindakan  yang  dilakukan  dalam  program  [12], berikut adalah flowchart chatbot informasi skripsi Prodi TI UMMI.
Gambar 2. Flowchart Chatbot Informasi Skripsi Prodi TI UMMI Dengan flowchart ini dapat dilihat bagaimana tahapan kerja chatbot ketika mendapatkan masukkan dari pengguna dan apa yang kemudian dikeluarkan sebagai jawaban.
Selain itu untuk melihat interaksi antara admin dan pengguna dalam aplikasi maka dibuat diagram usecase sebagai berikut.
Gambar 3. Diagram Usecase antara Aktor dan Sistem 2.4. Pembentukan Prototype Aplikasi chatbot ini  bersifat single-page  application (SPA)  yang  hanya  memuat  satu halaman dinamis dan tidak perlu memuat ulang halaman sehingga mengurangi beban kerja server [13], [14]. Berikut adalah rancangan dari tampilan antar muka aplikasi chatbot berbasis web.
Gambar 4. Rancangan Tampilan Antar Muka Chatbot Informasi Skripsi Prodi TI UMMI
2.5. Evaluasi Prototype dan Analisis Umpan Balik Kebutuhan
Setelah  aplikasi  selesai  dibuat,  kemudian  dilakukan  pengujian  untuk  menguji  tingkat keefektivitasan  aplikasi chatbot .  Pengujian  dilakukan  dengan  dua  cara,  yang  pertama  adalah Alpha testing dengan  teknik blackbox yaitu  melibatkan  tim  internal  untuk  mengukur  akurasi konten, fungsionalitas teknologi, dan waktu respon yang dihasilkan [15]. Selanjutnya Beta testing yang melibatkan orang luar yaitu 20 responden yang mengisi kuesioner pengujian aplikasi yang berisi  8  pertanyaan.  Skor yang  didapatkan  di  dalam  kuesioner  kemudian  dihitung  dengan  skala likert dari skala 1-4.
Tabel 1. Tabel Skala Likert Tingkat Kepuasan Skala Sangat Setuju 4 Setuju 3 Tidak Setuju 2 Sangat Tidak Setuju 1 Kemudian dicari nilai presentase melalui perhitungan dengan rumus 1. 𝑌 = ∑( . ) × 100%
(1)
Dengan Y adalah nilai presentase yang dicari, N adalah nilai kategori dari setiap jawaban, R  adalah  frekuensi,  dan  skor  ideal  adalah  nilai  tertinggi  yang  dikalikan  dengan  jumlah sampel (4 × 20) . Interval penilaian dalam skala likert skala 1-4 dapat dilihat pada tabel 2. Untuk mencari interval dapat dihitung dengan rumus 2.
𝐼 = ( ) (2)
𝐼 = = 25
Dengan  I  adalah  interval  yang  dicari  dan  jumlah  skor  adalah  skor  skala  likert  yang digunakan. Dalam penelitian ini digunakan skala 1-4 maka jumlah skor adalah 4.
Tabel 2. Interval Penilaian Skala Likert
Indeks 0% – 24.99% Sangat Tidak Setuju Indeks 25% – 49.99% Tidak Setuju Indeks 50% – 74,99% Setuju Indeks 75% – 100% Sangat Setuju

## 3. Hasil dan Pembahasan
Setelah melakukan observasi dan dibuat kuesioner pra-survei menggunakan Google Form untuk  disebar  ke  30  mahasiswa,  hasilnya  memperlihatkan  bahwa  dari  kelima  media  yang digunakan  Prodi TI  UMMI  dalam  menyampaikan  informasi  mengenai  skripsi, Grup  WhatsApp

## 165
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
UP  dan  Skripsi  menjadi  pilihan  utama  mahasiswa  dalam  mendapatkan  informasi  dengan  skor unggul yaitu 73.3%.
Gambar 5. Media Penyebaran Informasi yang Banyak Digunakan Mahasiswa Namun  didapatkan  hasil  juga  bahwa  66.7%  kendala  terbesar  mahasiswa  dalam mendapatkan  informasi  adalah  karena  informasi  lama  yang  ingin  dicari  di  grup  seringkali tertimbun  oleh  informasi  baru  dan  hal  lainnya,  karena  dalam  grup  tersebut  tidak  hanya menampilkan informasi skripsi saja tetapi juga menyajikan informasi mata kuliah lain dan bahkan percakapan antar mahasiswa dan dosen (karena anggota grup banyak maka informasi sering kali tertimbun  oleh  percakapan)  sehingga  hal  tersebut  menjadi  kendala  utama  dalam  pencarian informasi.
Gambar 6. Kendala yang Dihadapi Mahasiwa dalam Mendapatkan Informasi Dan kendala kedua yang dihadapi mahasiswa dalam proses pencarian informasi dengan hasil  43.3%  adalah  karena  beberapa  informasi  yang  disampaikan  hanya  diunggah  melalui  fitur story WhatsApp  dan  Instagram  yang  hanya  bertahan  selama  24  jam,  maka  ketika  mahasiswa hendak melihat informasi kembali di hari berikutnya, informasi tersebut telah hilang, dengan itu mahasiswa harus mencari cara lain untuk mendapatkan informasi yaitu kembali bertanya kepada dosen  yang  berwenang  menyampaikan  informasi.  Namun  kembali  didapatkan  kendala selanjutnya, 40% mahasiswa menjawab bahwa respon jawaban yang diberikan lama karena dalam hal  ini  hanya  satu  dosen  yang  memegang  kontak  informasi  sementara  ada  banyak  mahasiswa yang juga ingin bertanya hal yang sama.
Dari masalah tersebut dihasilkan kesimpulan bahwa 96.7% atau sebanyak 29 mahasiswa menjawab setuju jika dibuat aplikasi chatbot yang dapat membantu dalam menjawab pertanyaan mengenai informasi skripsi di Prodi TI UMMI.
Gambar 7. Persentase Mahasiswa dalam Rencana Pembuatan Chatbot Perancangan chatbot mengacu  kepada  dua  aspek  yaitu  teknologi  dan  pengguna.  Untuk aspek  teknologi,  digunakan  beberapa  pengaturan  untuk  membuat chatbot melalui  layanan Microsoft Azure Cognitive Services , diantaranya adalah sebagai berikut. Tabel 3. Pengaturan Pembuatan Layanan Microsoft Azure Cognitive Services di Portal Azure Subscription Azure for Student Resource Group chatbot-ti Resource Group Location East US Name chatbot-ti Pricing tier Free F0 Azure Search Location East US Azure Search Pricing Tier Free F App Name chatbot-ti Website Location East US App Insight Enable App Insight Location East US
Untuk  aspek  pengguna  yaitu  semua  pihak  yang  berkepentingan  dan  membutuhkan informasi  mengenai  skripsi  dapat  mengakses  aplikasi  ini  secara  bebas  dengan  syarat  memiliki perangkat untuk mengakses dan juga jaringan internet.
Kemudian  dibuat  basis  pengetahuan  di  dalam  QnA  Maker.  Basis  pengetahuan  berisi informasi berbentuk  pertanyaan  dan jawaban  yang  berasal  dari  hasil  pra-survei  dan  wawancara kepada dosen Prodi TI UMMI. Pengaturan yang dibuat dalam pembuatan basis pengetahuan ini dapat dilihat dalam tabel 4.
Tabel 4. Pengaturan Basis Pengetahuan dalam QnA Maker
Microsoft Azure Directory ID nurarmdngmail Azure subscription name Azure for Student Azure QnA service chatbot-ti Language English Name chatbot-ti
Layanan Microsoft Azure yang digunakan dalam penelitian ini terhubung satu sama lain menjadi sebuah kesatuan, maka dibuat arsitektur sistem yang berjalan.
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
Gambar 8. Perancangan Arsitektur Sistem dalam Microsoft Azure
Device  Client adalah  perangkat  yang  digunakan  dalam  pengembangan  aplikasi, selanjutnya  untuk  dapat  menggunakan  layanan  Microsoft  Azure  maka  peneliti  membuat Azure Active Directory sebagai manajemen identitas dan akses ke dalam semua layanan berbasis cloud dalam  Azure. Azure  Subscription dibutuhkan  sebagai billing terhadap  semua  layanan  yang digunakan.  Selanjutnya  dibuat Resource  Group yaitu  wadah  yang  memetakan  semua  layanan yang hendak digunakan, di dalam Resource Group ini berisi App Service Plan yang terdiri dari App Service yang menyediakan layanan Azure Bot Service untuk penghubung ke layanan Azure Cognitive  Service QnA  Maker dan Azure  App  Insight sebagai  media  untuk  monitoring  dari aplikasi yang telah dibuat. App Service ini menghubungkan layanan Azure Cognitive Service QnA Maker dimana  di  dalamnya  telah  dimasukkan  basis  pengetahuan  sebagai  pendukung  dalam pengembangan aplikasi chatbot informasi skripsi Prodi TI UMMI. Tabel 5. Basis Pengetahuan yang Digunakan dalam Chatbot Data FAQ Skripsi Berisi  40  pasangan  pertanyaan  dan  jawaban  dalam bahasa Indonesia mengenai skripsi di Prodi TI UMMI Friendly ChitChat Berisi  92  skenario  percakapan  kasual  bahasa  Inggris yang disediakan Microsoft Pengembangan  aplikasi chatbot skripsi  Prodi  TI  UMMI  telah  diterapkan  dalam  sebuah tampilan  website  seperti  di  gambar  9  dan  10. Chatbot dapat  diakses  melalui  alamat https://nurarmdn.github.io/.
Gambar 9. Tampilan Chatbot Informasi Skripsi Prodi TI UMMI melalui Desktop
Gambar 10. Tampilan Chatbot Informasi Skripsi Prodi TI UMMI melalui Smartphone Dari hasil chatbot yang dibuat dilakukan pengujian dengan dua cara yaitu alpha testing dan beta testing . Untuk alpha testing , hasilnya adalah sebagai berikut.
Tabel 6. Pengujian Halaman Aplikasi Chatbot Skenario Masukkan Keluaran yang diharapkan Hasil keluaran Membuka halaman aplikasi chatbot melalui desktop Akses melalui alamat https://nurarmdn.githu b.io/ Menampilkan halaman chatbot informasi skripsi Prodi TI UMMI Menampilkan halaman chatbot informasi skripsi Prodi TI UMMI (valid) Membuka halaman chatbot melalui smartphone Akses melalui alamat https://nurarmdn.githu b.io/ Menampilkan halaman chatbot informasi skripsi Prodi TI UMMI Menampilkan halaman chatbot informasi skripsi Prodi TI UMMI (valid) Tabel 7. Pengujian Menampilkan Jawaban Skenario Masukkan Keluaran yang diharapkan Hasil keluaran Menampilkan jawaban tunggal Mengetikkan kata kunci: Selamat pagi Chatbot menjawab dengan satu jawaban Chatbot menjawab dengan satu jawaban (valid) Menampilkan jawaban dengan opsi jawaban lain Mengetikkan kata kunci: Topik untuk penelitian Chatbot menjawab dengan menambahkan opsi jawaban lain yang dapat diklik Chatbot menjawab dengan menambahkan opsi jawaban lain yang dapat diklik (valid) Menampilkan jawaban yang berisi tautan Mengetikkan kata kunci: Rekomendasi jurnal Chatbot menjawab dengan memberikan tautan yang dapat langsung diakses Chatbot menjawab dengan memberikan tautan yang dapat langsung diakses
(valid)

## 169
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
Skenario Masukkan Keluaran yang diharapkan Hasil keluaran Menampilkan jawaban yang berisi foto Mengetikkan kata kunci: Tanggal terakhir daftar skripsi Chatbot menjawab dengan menampilkan foto Chatbot menjawab dengan menampilkan foto (valid) Menampilkan jawaban meskipun terdapat kesalahan penulisan kata Mengetikkan kata kunci: Berapa biaya skkrpsi Chatbot menampilkan jawaban sebenarnya dari penulisan kata yang benar: Berapa biaya skripsi Chatbot menampilkan jawaban sebenarnya dari penulisan kata yang benar: Berapa biaya skripsi (valid)
Berdasarkan  tabel  6  dan  7  dihasilkan  bahwa  pengujian  dengan alpha  testing menggunakan  teknik blackbox sudah  dilakukan  dengan  hasil  semua  pengujian  valid.  Selain  itu juga  dapat  dilihat  rata-rata response  time yang  diberikan  aplikasi  dengan  jumlah request yang terjadi,  grafik  di  bawah  ini  didapatkan  dari  Application  Insight  sebagai  fasilitas monitoring di Portal Azure.
Gambar 11. Grafik Server Response Time dan Server Request Pengujian  kedua  yaitu beta  testing dengan  menghitung  skor  menggunakan  skala  likert dari  skala  1-4.  Kuesioner  terdiri  dari  8  pertanyaan  dengan  20  responden  sebagai  penguji  yang terdiri dari mahasiswa Prodi TI UMMI semester 6 dan 8.
Tabel 8. Pengujian Beta dengan Menghitung Skala Likert
Pertanyaan Jawaban Responden (N)  (R)  (N.R)  ∑(N.R) (Y) Hasil 1. Adanya aplikasi chatbot seputar UP dan skripsi lebih memudahkan mahasiswa dan pihak yang berkepentingan dalam menemukan informasi. Sangat Setuju 4 15 60
75 94% Aplikasi chatbot ini memberikan kemudahan menemukan informasi Setuju 3 5 15 Tidak Setuju 2 0 0 Sangat Tidak Setuju 1 0 0 2. Aplikasi chatbot yang dibuat memberikan efisiensi bagi para pencari informasi UP dan skripsi.
Sangat Setuju 4 12 48 72 90% Aplikasi chatbot ini memberikan efisiensi bagi para pencari informasi Setuju 3 8 24 Tidak Setuju 2 0 0 Sangat Tidak Setuju 1 0 0
Pertanyaan Jawaban Responden (N)  (R)  (N.R)  ∑(N.R) (Y) Hasil 3. Aplikasi chatbot yang dibuat menjadikan pencarian informasi UP dan skripsi lebih efektif. Sangat Setuju 4 11 44 70 88% Dengan aplikasi chatbot ini pencarian informasi lebih efektif Setuju 3 8 24 Tidak Setuju 2 1 2 Sangat Tidak Setuju 1 0 0 4. Informasi yang disajikan di aplikasi chatbot TI mudah dipahami Sangat Setuju 4 10 40 70 88% Informasi yang disajikan aplikasi chatbot ini mudah dipahami Setuju 3 10 30 Tidak Setuju 2 0 0 Sangat Tidak Setuju 1 0 0 5. Informasi yang disajikan di chatbot TI sama lengkapnya dengan yang disajikan di media lain. Sangat Setuju 4 12 48 70 88% Informasi yang disajikan chatbot ini sama lengkapnya dengan yang disajikan di media lain. Setuju 3 6 18 Tidak Setuju 2 2 4 Sangat Tidak Setuju 1 0 0 6. Jawaban yang dihasilkan chatbot TI sesuai dengan yang diharapkan Sangat Setuju 4 9 36 69 86% Jawaban yang dihasilkan chatbot ini sesuai dengan yang diharapkan Setuju 3 11 33 Tidak Setuju 2 0 0 Sangat Tidak Setuju 1 0 0 7. Aplikasi chatbot TI ini mudah untuk dioperasikan dan digunakan Sangat Setuju 4 11 44 71 89% Aplikasi chatbot ini mudah dioperasikan dan digunakan Setuju 3 9 27 Tidak Setuju 2 0 0 Sangat Tidak Setuju 1 0 0 8. Interaksi dalam chatbot TI ini jelas dan dapat dimengerti Sangat Setuju 4 10 40 70 88% Interaksi dalam chatbot ini jelas dan dapat dimengerti Setuju 3 10 30 Tidak Setuju 2 0 0 Sangat Tidak Setuju 1 0 0
Pengujian  beta  di Tabel  8 menunjukkan  bahwa  dengan  seluruh  nilai  di  atas  80%  maka hasil pengujian adalah sangat setuju bahwa aplikasi chatbot ini membuat  mahasiswa dan pihak yang  berkepentingan  mudah  dalam  menemukan  informasi,  dengan  aplikasi  ini  juga  pencarian informasi  menjadi  lebih  efektif  dan  efisien.  Aplikasi  ini  mudah  dioperasikan  dan  interaksinya dapat dimengerti, serta informasi di dalamnya mudah dipahami dan tidak kalah lengkap dengan yang disajikan di media lain yang digunakan Prodi TI UMMI.

## 4. Kesimpulan
Berdasarkan  pemaparan  hasil  dan  pembahasan  di  atas  dapat  ditarik  kesimpulan  bahwa pembuatan  aplikasi chatbot dapat  membantu  mahasiswa  dan  pihak  yang  berkepentingan menemukan  informasi  skripsi  dengan  efektif  dan  efisien.  Dan  dengan  penggunaan Azure Cognitive  Services yaitu QnA  Maker dalam  pembuatannya,  aplikasi  ini  dapat  memberikan

## 171
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
response  time yang  cepat  dengan  menghasilkan  jawaban  sesuai  yang  diharapkan  bahkan meskipun  dalam  praktiknya  terdapat  kesalahan  penulisan  namun  dengan  implementasi Azure Cognitive  Services ,  kesalahan  penulisan  bukan  lagi  menjadi  kendala  dalam  menghasilkan jawaban chatbot yang  tetap  akurat.  Keuntungan  lainnya  dari Azure  Cognitive  Service dalam pembuatan chatbot ini yaitu biaya yang digunakan dalam proses pengembangannya tidaklah besar bahkan  meskipun  hanya  dengan  menggunakan  opsi Free  tier ,  pengembang  sudah  dapat menggunakan layanannya dengan baik. Dengan menambahkan lebih banyak basis pengetahuan di dalamnya  dan  juga  kumpulan  data  terkait  percakapan  sehari-hari  dalam  bahasa  Indonesia  akan membuat chatbot lebih banyak berguna.

## Referensi
[1] T.  Ratu,  Adnan,  R.  Suhendra,  S.  N.  Walidain,  dan  Nurhairunnisah,  “Pemberdayaan Peserta  Didik  melalui  Kegiatan  Pelatihan  dan  Pendampingan  Penyusunan  Artikel Publikasi Ilmiah,” J. Pendidik. dan Pengabdi. Masy. , vol. 3, no. 4, hal. 298–303, 2020.
[2] B.  S.  Purwowiyoto, Candrajiwa  Indonesia,  Glosarium  (Kamus  Ringkas)  2021 .  Budhi Setianto Purwowiyoto, 2020.
[3] E.  L.  Amalia  dan  D.  W.  Wibowo,  “Rancang  Bangun  Chatbot  Untuk  Meningkatkan Performa  Bisnis,” J.  Ilm.  Teknol.  Inf.  Asia ,  vol.  13,  no.  2,  hal.  137,  Okt  2019. DOI: 10.32815/jitika.v13i2.410
[4] R. Khan dan A. Das, Build Better Chatbots . 2018. DOI: 10.1007/978-1-4842-3111-1
[5] A.  Suparno,  “Chat  Bot  sebagai  Implementasi  Pemanfaatan  Teknologi  Artificial Intelligence dengan Channel Telegram,” J. Media Apl. , vol. 12, no. 2, hal. 47–55, 2020. DOI: 10.33488/1.ma.2.1.275
[6] K. Tajane, S. Dave, P. Jahagirdar, A. Ghadge, dan A. Musale, “AI Based Chat-Bot Using Azure  Cognitive  Services,”  in Proceedings  -  2018  4th  International  Conference  on Computing,  Communication  Control  and  Automation,  ICCUBEA  2018 ,  2018,  hal.  1–4. DOI: 10.1109/ICCUBEA.2018.8697737
[7] M.  N.  Alfareza,  “Pembangunan  Chatbot  menggunakan  Natural  Language  Processing  di Jurusan Teknik Industri Universitas Islam Indonesia,” Universitas Islam Indonesia, 2020.
[8] J.  R.  C.  Mamani,  Y.  J.  R.  Alamo,  J.  A.  A.  Aguirre,  dan  E.  E.  G.  Toledo,  “Cognitive services  to  improve  user  experience  in  searching  for  academic  information  based  on chatbot,” in Proceedings of the 2019 IEEE 26th International Conference on Electronics, Electrical  Engineering  and  Computing,  INTERCON  2019 ,  2019,  hal.  1–4.  DOI: 10.1109/INTERCON.2019.8853572
[9] K. Shaikh, Developing Bots with QnA Maker Service , 1 ed. California: Apress Berkeley, 2018. DOI: 10.1007/978-1-4842-4185-1
[10]  A.  Suandi,  F.  N.  Khasanah,  dan  E.  Retnoningsih,  “Pengujian  Sistem  Informasi  E- commerce  Usaha  Gudang  Cokelat  Menggunakan  Uji  Alpha  dan  Beta,” Inf.  Syst.  Educ. Prof. , vol. 2, no. 1, hal. 61–70, 2017.
[11]  R.  Pressman  dan  B.  Maxim, Software  Engineering:  A  Practitioner’s  Approach ,  9  ed. McGraw-Hill Education, 2019. DOI: 10.1049/ic:20040411
[12]  Y. Sari, Logika Algoritma, Pseudocode, Flowchart, dan C++ . Perahu Litera, 2017.
[13]  P.  L.  L.  Belluano,  “Pengembangan  Single  Page  Application  Pada  Sistem  Informasi Akademik,” Ilk.  J.  Ilm. ,  vol.  10,  no.  1,  hal.  38–43,  2018.  DOI: 10.33096/ilkom.v10i1.204.38-43
[14]  S. Deshmukh, D. Mane, dan A. Retawade, “Building a single page application web front- end for e-learning site,” Proc. 3rd Int. Conf. Comput. Methodol. Commun. ICCMC 2019 , no. Iccmc, hal. 985–987, 2019. DOI: 10.1109/ICCMC.2019.8819703
[15]  S.  Hai-Jew,  “Alpha  Testing,  Beta  Testing,  and  Customized  Testing,”  in Designing Instruction  For  Open  Sharing ,  1  ed.,  Switzerland:  Springer  Cham,  2018,  hal.  381–428. DOI: 10.1007/978-3-030-02713-1_9