Implementasi Black box Testing dan Usability Testing pada Website Sekolah MI Miftahul Ulum Warugunung Surabaya
Muhammad Taufik Abdillah 1 , Ima Kurniastuti 2* , Fajar Annas Susanto 3 , Firman Yudianto 4
1,2,3,4 Program Studi Sistem Informasi, Fakultas Ekonomi Bisnis dan Teknologi Digital, Universitas Nahdlatul Ulama Surabaya Jln. Jemursari No. 51-57 Surabaya Jawa Timur
2 ima.kurniastuti@unusa.ac.id

## Abstrak
Pada penelitian ini dilakukan pengujian sistem berupa website sekolah pada MI Miaftahul Ulum Warugunung Surabaya dengan menggunakan metode black box testing dan  usability  testing.  Metode  black  box  testing  berfokus  pada  pengujian  fungsional sistem. Metode usability testing berfokus pada kepuasan pengguna dalam pengalaman menggunakan  sistem.  Pada  metode  usability  testing  menggunakan  USE  Quesionnaire yang  terdiri  dari  empat  dimensi  diantaranya  usefulness  (kegunaan),  ease  of  use (kemudahan  untuk  digunakan),  ease  of  learning  (kemudahan  untuk  dipelajari)  dan satisfaction (kepuasan). Hasil black box testing menunjukkan dari 30 fitur sistem yang diuji,  semua  fitur  berhasil  berjalan  sukses  sesuai  dengan  hasil  yang  diharapkan. Pengujian usability testing menghasilkan nilai usability sebesar 0,90 dengan mendekati nilai 1 sehingga website termasuk sistem informasi yang baik.
Kata  kunci— Pengujian  sistem,  website,  black  box  testing,  usability  testing,  USE quesionnaire

## Abstract
In this study, system testing was carried out in the form of a school website at MI Miaftahul  Ulum  Warugunung  Surabaya  using  black  box  testing  and  usability  testing methods. The black box testing method focuses on functional testing of the system. The usability  testing  method  focuses  on  user  satisfaction  with  the  experience  of  using  the system. The usability testing method uses the USE Questionnaire which consists of four dimensions  including  usefulness,  ease  of  use,  ease  of  learning,  and  satisfaction.  The results of black box testing show that of the 30 system features tested, all features have been  successful  following  the  expected  results.  Usability  testing  produces  a  usability value of 0.90 with a value close to 1 so that the website is a good information system.
Keywords— System  testing,  website,  black  box  testing,  usability  testing,  USE questionnaire

## 1. PENDAHULUAN
Website dapat  diartikan  sebagai  kumpulan  halaman-halaman  yang  digunakan untuk  menampilkan  informasi  teks,  gambar  diam  atau  gerak,  animasi,  suara  dana  atau gabungan dari semuanya  itu  baik yang    bersifat    statis    maupun    dinamis    yang membentuk    satu    rangkaian    bangunan    yang    saling  terkait  dimana  masing-masing
dihubungkan  dengan  jaringan-jaringan    halaman    ( hyperlink )  (Rahmat,  2016). Pemanfaatan website saat  ini  juga  meranah  bidang  pendidikan  salah  satunya  adalah sekolah. Bagi sekolah, website berfungsi sebagai media informasi dan promosi mengenai sekolah kepada siswa, orang tua siswa, dan masyarakat. Salah satunya adalah MI Miftahul Ulum  Warugunung  Surabaya,  saat  ini  sekolah  tersebut  masih  memberikan  informasi terkait sekolah melalui media cetak lembar pengumuman dan bahasa lisan. Sistem manual dalam  pemberian  informasi  ini  menghambat  perkembangan  sekolah  dalam  persaingan antar  sekolah.  Maka  perlu  dilakukan  pengembangan  sekolah  melalui  implementasi website sebagai peningkatan promosi sekolah.
Dalam  setiap  perancangan  sistem  aplikasi,  maka  tahap  terakhir  sebelum dipublikasikan  ke  masyarakat  pengguna,  tentunya  harus  dilakukan  pengecekan/ testing pada software yang  dibuat. Software  Testing merupakan  sebuah  metode  untuk mengetahui  apakah software yang  dibuat  berfungsi  dengan  baik  dan  benar  serta  telah memenuhi kriteria  yang dibutuhkan untuk user (Uminingsih, 2022). Metode pengujian software testing bermacam-macam namun metode yang paling umum digunakan adalah black box testing dan usability testing.
Metode black box testing merupakan metode yang menguji perangkat lunak yang telah dibangun, baik pengujian pada unit-unit kecil maupun hasil yang telah terintegrasi untuk  menguji  fungsional  perangkat  lunak.  Pengujian  perangkat  lunak  dari  segi spesifikasi fungsional tanpa menguji desain dan kode program untuk mengetahui apakah fungsi,  masukan  dan  keluaran  dari  perangkat  lunak  sesuai  dengan  spesifikasi  yang dibutuhkan  (Syarif,  2021).  Metode  pengujian  ini  memasukkan  data  acak  untuk mendapatkan  hasil  yang  pasti.  Apabila  saat  pengujian  tidak  sesuai  dengan  hasil  yang diharapkan, maka dikatakan terdapat kesalahan pada sistem (Ahrizal, 2020). Metode ini juga  cocok  digunakan  oleh  pemula  karena  tidak  melibatkan  kemampuan  penguasaan bahasa pemrograman tertentu (Uminingsih, 2022).
Beberapa  penelitian  sebelumnya  yang  telah  memanfaatkan  metode black  box testing. Rosiello (2014) melakukan pengujian aplikasi dengan metode black box testing untuk mengukur fungsionalitas atau kinerja aplikasi. Kukolj (2013) melakukan pengujian aplikasi android dengan metode black box sebagai salah satu metode pengujian. Kaprocki (2015) menggunakan metode pengujian black box testing sebagai metode utama dalam pengujian sistem untuk meningkatkan kualitas pengujian. Hamza (2019) mengimplementasikan  metode black  box  testing untuk  pengujian  aplikasi  baik  web maupun  mobile. Website Infotech  yang  dibangun  oleh  Universitas  Muhammadiyah Malang juga dievaluasi dengan metode black box testing yang memberikan kesimpulan bahwa website tersebut  berfungsi  dengan baik  yang dilakukan oleh Marthasari (2022). Tujuan  pengujian  dengan  metode black  box  testing untuk  menghasilkan  aplikasi  yang memiliki  kualitas  yang  baik  seperti  yang  dilakukan  oleh  Ahrizal  (2020)  dan  Anardani (2019) serta mengurangi resiko  terjadinya kesalahan dalam fungsionalitas seperti  yang diterapkan oleh Syarif (2021) pada aplikasi veterinary services .
Metode usability  testing melakukan  pengujian  terkait  pengalaman  pengguna dalam  mempelajari  dan  menggunakan  teknologi,  aplikasi  atau  situs website tertentu. Indikator  pada usability digunakan  untuk  mengukur  seberapa  puas  pengguna  dalam menggunakan teknologi, aplikasi, atau produk tersebut untuk mencapai tujuan. Ukuran keberhasilan  dapat  dilihat  dari  seberapa  baik  sebuah  aplikasi  atau  teknologi  dalam
memberikan kualitas layanan kepada pengguna. Selain itu, metode ini juga memberikan informasi tentang seberapa jauh aplikasi atau teknologi dapat mengurangi kemungkinan kesalahan yang terjadi (Sukmasetya, 2020).
Pengujian  dengan usability  testing juga  umum  dilakukan  dalam  penelitian- penelitian.  Sukmasetya  (2020)  menggunakan usability  testing sebagai  metode  dalam pengujian sistem website KRS online yang menunjukkan bahwa sistem masih ditemukan banyak kesalahan atau eror. Pengujian untuk menentukan apakah sebuah aplikasi sudah sesuai  dengan  kebutuhan  pengguna  atau  belum  juga  dapat  dilakukan  dengan  metode usability  testing seperti  yang  dilakukan  oleh  Nurhadryani  (2013).  Aplikasi  perangkat bergerak  Jagoan  Indonesia  diuji  dengan  metode usability  testing untuk  mengetahui tingkat  penerimaan  dan  penggunaan  yang  baik  oleh  responden  pada  penelitian  Rizki (2021). Usability  testing juga  digunakan  sebagai  salah  satu  parameter  dalam menunjukkan  kualitas  dan  keberhasilan  dari  sebuah  aplikasi  yang  ditunjukkan  oleh Pratama  (2019).  Selain  itu,  pengukuran  kepuasan  pengguna  juga  dapat  menggunakan usability  testing yang  dilakukan  oleh  Murti  (2020)  pada  aplikasi  transportasi online , Pradhana (2022) pada aplikasi berbasis website perpustakaan Institut Teknologi Telkom Purwokerto  serta  aplikasi website sekolah  pada  studi  kasus  SMK  Negeri  Sumsel  oleh Purnamasari (2020).

## 2. METODE PENELITIAN
Metode  penelitian  terdiri  dari  beberapa  tahapan  di  antaranya  pengujian  dengan metode black  box testing,  metode usability  testing, dan  analisis  pengujian  yang ditunjukkan  pada  gambar  1.  Tahap  pertama  adalah  b lack  box  testing, bertujuan mengetahui  fungsi  fitur-fitur  pada website yang  telah  dibuat  sudah  berjalan  baik  dan benar.  Tahap  selanjutnya  adalah usability  testing yang melibatkan  pengguna  dalam menggunakan  fitur-fitur  yang  ada  dalam website .  Tahap  terakhir  adalah  analisis pengujian merupakan kesimpulan dari hasil kedua pengujian sebelumnya.
Gambar 1. Metode penelitian

## 3. HASIL DAN PEMBAHASAN

## 3.1 Tampilan Website
Sekolah  MI  Miftahul  Ulum  Warugunung  Surabaya  memiliki  sistem  informasi berbasis website yang memiliki beberapa fitur di antaranya home , profile , visi, misi, dan tujuan,  ekstrakurikuler,  program  unggulan,  berita,  galeri,  serta  kontak.  Tampilan  fitur- fitur tersebut berturut-turut ditunjukkan pada gambar 2 hingga gambar 9.
Website sekolah Black box testing Analisis pengujian Usability testing
Gambar 2. Tampilan fitur home
Gambar 3. Tampilan fitur profile
Gambar 4. Tampilan fitur visi, misi, dan tujuan
Gambar 5. Tampilan fitur ekstrakurikuler
Gambar 6. Tampilan fitur program unggulan
Gambar 7. Tampilan fitur berita
Gambar 8. Tampilan fitur galeri
Gambar 9. Tampilan fitur kontak
3.2 Black Box Testing
Black  box  testing merupakan  salah  satu  jenis  pengujian  perangkat  lunak  yang berfokus memastikan masalah yang dapat muncul pada perangkat lunak ketika digunakan oleh pengguna (Hamza, 2019). Pengujian dilakukan terhadap 30 (tiga puluh) fitur sistem. Hasil  pengujian black  box  testing pada  beberapa  fitur  ditunjukkan  pada  tabel  1. Berdasarkan tabel 1, black box testing menunjukkan hasil sukses pada semua fitur yang diuji.
Tabel 1. Hasil pengujian Black box Testing
No. Fitur yang diuji Skenario Hasil yang diharapkan Hasil pengujian 1 Login Admin memasukkan username dan password yang salah Login gagal dan sistem tetap berada pada halaman login sukses 2 Melihat list berita Admin klik menu berita, klik list berita Admin berhasil melihat list berita sukses 3 Meng edit dan update pengguna ( admin ) Admin klik menu pengguna, klik
icon edit pada pengguna yang akan di edit , isi form edit , klik
update Admin berhasil meng edit dan update
pengguna sukses
No. Fitur yang diuji Skenario Hasil yang diharapkan Hasil pengujian 4 Menambah foto Admin klik menu galeri, klik photos , klik add photo , isi form photo , klik simpan Admin berhasil menambahkan foto sukses 5 Log out Admin klik log out Admin berhasil log out dan kembali ke halaman login sukses 6 Melihat halaman profile Admin masuk ke halaman beranda website , klik menu tentang sekolah, klik profile Admin berhasil masuk ke halaman profile sukses 7 Membalas komentar Admin klik menu komentar, klik icon reply pada komentar yang ingin dibalas Admin berhasil membalas komentar sukses 8 Mengirim pesan Admin masuk ke halaman beranda website , klik menu kontak, isi form tinggalkan pesan, klik submit Admin dapat mengirim pesan sukses 9 Menghapus album Admin klik menu galeri, klik album, klik icon sampah pada album yang ingin dihapus Admin berhasil menghapus album Sukses 10 Melihat inbox Admin klik menu inbox Admin berhasil melihat halaman list inbox Sukses

## 3.3 Usability Testing
Pada  pengujian  menggunakan usability  testing menggunakan  kuisioner  yang sesuai  dengan standar internasional  yaitu USE Quesionnaire yang dikembangkan STC Usability and User  Experience  Community dari  Arnold  M.  Lund.  Kuisioner  USE merupakan  bentuk  kuisioner  untuk  membantu  dalam  pengukuran usability produk maupun  jasa  secara  subyektif  (Sasongko,  2020).  Kuisioner  ini  digunakan  sesuai pengukuran instrumen standar ISO 9241:11 (1998) yaitu usability relevan kepada efektif, efisien  dan  kepuasan.  Pada  instrumen  diklasifikasikan  ke  dalam  empat  dimensi  yaitu usefulness (kegunaan), ease  of  use (kemudahan  untuk  digunakan), ease  of  learning (kemudahan untuk dipelajari), dan satisfaction (kepuasan) (Gao, 2018). Responden pada pengujian ini sebanyak 30 orang yang terdiri dari 10 siswa, 10 guru, dan 10 masyarakat di sekitar sekolah. Pertanyaan yang digunakan dalam pengujian ini ditunjukkan pada tabel 2. Kuisioner berupa pilihan ganda dengan pilihan sebanyak 5 macam yaitu sangat setuju (5),  setuju  (4),  cukup  setuju  (3),  tidak  setuju  (2),  sangat  tidak  setuju  (1).  Tabel  3 menunjukkan skor pengujian usability testing .
Tabel 2. List pertanyaan dalam USE Quesionnaire No Pertanyaan 1 Website membantu menjadi lebih efektif
2 Website membantu menjadi lebih produktif
3 Website memberikan informasi menarik
4 Website sesuai dengan yang saya harapkan
No Pertanyaan 5 Website menghemat waktu saya untuk mencari informasi
6 Website mudah digunakan
7 Website mudah dipelajari
8 Saya dapat menggunakan website tanpa instruksi tertulis
9 Saya tidak menemukan ketidakkonsistenan
10  Semua pengguna akan menyukai website ini
11  Saya menggunakan website dengan lancar dan tepat
12  Saya mudah mengingat cara menggunakan website 13  Cara menggunakan website mudah dipelajari
14  Saya mengatasi kesalahan pada website dengan cepat dan mudah
15  Saya dapat terampil dengan cepat pada website
16  Saya puas dengan adanya website ini
17 Website menyenangkan saat digunakan
18 Website bekerja dengan yang saya harapkan
19 Website sangat bagus
20  Saya akan merekomendasaikan website ini kepada rekan
Tabel 3. Skor pengujian usability testing Respon Jumlah Skor Jumlah x skor Sangat setuju 343 5 1715 Setuju 235 4 940 Cukup setuju 15 3 45 Tidak setuju 7 2 14 Sangat tidak setuju 0 1 0 Total skor 2714
Nilai usability ditentukan dengan mempergunakan persamaan 1 dan 2 dengan U adalah  nilai  usability;  P  adalah  skor  total;  Q  adalah  skor  maksimal;  R  adalah  jumlah semua responden yang menjawab sangat setuju; dan S adalah jumlah soal. Perhitungan nilai usability adalah sebagai berikut : Skor maksimal (Q)   = R x S x 5 = 30 x 20 x 5 = 3000 Nilai usability (U) = P / Q = 2714 / 3000
= 0,90 Dengan nilai usability 0,90 artinya nilai tersebut mendekati nilai 1 termasuk dalam baik, karena semakin mendekati 1 maka nilai semakin baik (Fitrisia, 2017).

## 4. KESIMPULAN
Pada penelitian ini dilakukan pengujian sistem berupa website sekolah pada MI Miaftahul Ulum Warugunung Surabaya dengan menggunakan metode black box testing dan usability  testing .  Metode black  box  testing berfokus  pada  pengujian  fungsional sistem. Hasil black box testing menunjukkan dari 30 fitur sistem yang diuji, semua fitur berhasil  berjalan  sukses  sesuai  dengan  hasil  yang  diharapkan.  Selanjutnya,  metode
usability  testing berfokus  pada  kepuasan  pengguna  dalam  pengalaman  menggunakan sistem. Pada metode usability testing menggunakan USE Quesionnaire yang terdiri dari empat  dimensi  diantaranya usefulness (kegunaan), ease  of  use (kemudahan  untuk digunakan), ease of learning (kemudahan untuk dipelajari) dan satisfaction (kepuasan). Nilai usability testing sebesar 0,90, dimana mendekati nilai 1 sehingga website termasuk sistem informasi yang baik.

## 5. SARAN
Pada  penelitian  selanjutnya  dapat  melakukan  optimasi  dalam  hal  desain  dan interaktivitas dengan user pengunjung sehingga dapat memberikan user experience yang lebih maksimal.

## UCAPAN TERIMA KASIH
Penulis mengucapkan terima kasih kepada seluruh civitas akademika Universitas Nahdlatul  Ulama  Surabaya  khususnya  Program  Studi  Sistem  Informasi,  Fakultas Ekonomi Bisnis dan Teknologi Digital sehingga penelitian ini dapat  terlaksana dengan baik dan lancar.

## DAFTAR PUSTAKA
Ahrizal, D., Miftah, M. K., Kurniawan, R., Zaelani, T., & Yulianti, Y. (2020). Pengujian Perangkat  Lunak  Sistem  Informasi  Peminjaman  PlayStation  dengan  Teknik Boundary  Value  Analysis  Menggunakan  Metode  Black  box  Testing. Jurnal Informatika Universitas Pamulang. Volume 5. Nomor 1. Maret 2020.
Anardani,  Sri.  Putera,  Andi  Rahman.  (2019). Analisis  Pengujian  Sistem  Informasi Website E-Commerce Manies Group Menggunakan Metode Blackbox Functional Testing. Seminar  Nasional  Hasil  Penelitian  dan  Pengabdian  kepada  Masyarakat UNIPMA. 2019.
Fitrisia, Y., & Fadhli, M. (2017). Evaluasi Functionality dan Usability External Quality Sistem Informasi Proyek Akhir Politeknik Caltex Riau . Jurnal Komputer Terapan, 3(2), 193–202. Retrieved from https://jurnal.pcr.ac.id/index.php/jkt/article/view/1530 Gao,  M.,  Kortum,  P.,  &  Oswald,  F.  (2018). Psychometric  Evaluation  of  the  USE (Usefulness,  Satisfaction,  and  Ease  of  use)  Questionnaire  for  Reliability  and Validity .  Proceedings  of  the  Human  Factors  and  Ergonomics  Society  Annual Meeting.
Marthasari, Gita Indah., Wahyuningsih, Ani Tri., Aviansyah, Muhammad Rizky., (2022). Pengujian Website Infotech menggunakan Teknik Black box Decision Table. Jurnal Informatika Universitas Pamulang. Volume 7. Nomor 1. Maret 2022.
Murti,  Nanda  Arsyia.  (2020). Analisis  Usability  Testing  pada  Aplikasi  Transportasi Online untuk Mengukur Kepuasan Pengguna . Jurnal Sistem Informasi. Volume 7. Nomor 1. Maret 2020.
Nurhadryani, Yani. Sianturi, Susy Katarina. Hermadi, Irman. Khotimah, Husnul. (2013). Pengujian Usability untuk Meningkatkan Antarmuka Aplikasi Mobile . Jurnal Ilmu Komputer dan Agri-Informatika. Volume 2. Nomor 2. 2013.
Pradhana,  Jahfal  Rizqi  Putra.  Rikhanah,  Metha  Khafifah  Isty.  Injiyani,  Renna  Nur. Ardiansah,  Wildan  Hanif.  Saputra,  Zanuar  Rahmat.  Adhinata,  Faisal  Dharma. Rakhmadani,  Diovianto  Putra.  (2022). Pengujian  Usability  untuk  Mengetahui Kepuasan  Pengguna  pada  Website  Perpustakaan  Institut  Teknologi  Telkom Purwokerto. Jurnal ICTEE. Volume 2. Nomor 1. 2022. Pratama,  Ferdian  Aditya.  Magdalena,  Riana.  Ratanadewi,  Steffi.  (2019). Pengujian Usability pada Sistem Informasi Inventori dan Pemesanan PT Dirgaraya Harsa . Seminar Nasional APTIKOM (SEMNASTIK) 2019.
Purnamasari, Susan Dian. Syakti, Firamon. (2020). Implementasi Usability Testing dalam Evaluasi Website Sekolah Studi Kasus : SMK Negeri Sumsel. Jurnal SISFOKOM ( Sistem Informasi dan Komputer). Volume 9. Nomor 3. November 2020.
Rahmat, Abdul Rohman Amat. 2016. Aplikasi Pemesanan Tiket Bus Berbasis Web (Studi Kasus pada PO. Harapan Jaya) . Jurnal Informatika Universitas Pamulang. Volume 1. Nomor 1. September 2016.
Rizki,  Erlangga.  Jonemaro,  Eriq  Muhammad  Adams,  Dewi,  Ratih  Kartika.,  (2021). Pengujian  User  Experience  Aplikasi  Perangkat  Bergerak  Jagoan  Indonesia Menggunakan  Metode  Usability  Testing. Jurnal  Pengembangan  Teknologi Informasi dan Ilmu Komputer. Volume 5. Nomor 4. April 2021.
S. Kukolj, V. Marinkovic, M. Popovic and S. Bognár, Selection and Prioritization of Test Cases by Combining White-Box and Black-Box Testing Methods , 2013 3rd Eastern European Regional Conference on the Engineering of Computer  Based Systems, Budapest, Hungary, 2013, pp. 153-156, doi: 10.1109/ECBS-EERC.2013.28.
S. Rosiello, A. Choudhary, A. Roy and R. Ganesan, Combining Black box Testing with White Box Code Analysis: A Heterogeneous Approach for Testing Enterprise SaaS Applications ,  2014  IEEE  International  Symposium  on Software Reliability Engineering Workshops, Naples, Italy, 2014, pp. 359-364, doi: 10.1109/ISSREW.2014.113.
Sasongko,  Agung.  Jayanti,  Wanty  Eka.  Risdiansyah,  Deni.  (2020). Use  Questionnaire untuk  Mengukur  Daya  Guna  Sistem  Informasi  E-Tadkzirah. Jurnal  Khatu list iwa Informatika. Volume VIII Nomor 2 Desember 2020.
Sukmasetya, Pristi. (2020). Penggunaan Usability Testing sebagai Alat Evaluasi Website KRS  Online  pada  Perguruan  Tinggi. Jurnal  Sains  dan  Teknologi  Universitas Pendidikan Ganesha. Volume 9 Nomor 1 Juni 2020.
Syarif, Muhamad. (2021). Analisis Metode Pengujian Perangkat Lunak Blackbox Testing dan  Pemodelan  Diagram  UML  pada  Aplikasi  Veterinary  Services  yang Dikembangkan  dengan  Model  Waterfall. Jurnal  Teknik  Informatika  Kaputama (JTIK) Vol. 5 , No. 2, Juli 2021.
Uminingsih.  (2022). Pengujian  Fungsional  Perangkat  Lunak  Sistem  Informasi Perpustakaan dengan Metode Black box Testing Bagi Pemula. STORAGE – Jurnal Ilmiah Teknik dan Ilmu Komputer, Volume 1 Nomor 2 Mei 2022.
Z. A. Hamza and M. Hammad, (2019), Web and mobile applications' testing using black and  white  box  approaches, 2nd  Smart  Cities  Symposium  (SCS  2019),  Bahrain, Bahrain, 2019, pp. 1-4, doi: 10.1049/cp.2019.0210.
Z. Kaprocki, V. Pekovic and G. Velikic, Combined testing approach: Increased efficiency of  black  box  testing ,  2015  IEEE  1st  International  Workshop  on  Consumer Electronics (CE WS), Novi Sad, Serbia, 2015, pp. 76-78, doi: 10.1109/CEWS.2015.7867160.