ISSN 2723-3898 (Media Online) Vol 4, No 2, Oktober 2023, Hal 937-946 DOI 10.30865/klik.v4i2.1215 https://djournals.com/klik

## Pengukuran Kualitas Aplikasi Custody Berdasarkan ISO 25010 Menggunakan Otomatisasi Pengujian Blackbox
Alief Fitriyanto Wijaya * , Bheta Agus Wardijono
Program Studi Magister Manajemen Sistem Informasi, Universitas Gunadarma, Depok, Indonesia Email: 1 aliefwijaya92@gmail.com, 2 bheta@staff.gunadarma.ac.id Email Penulis Korespondensi: aliefwijaya92@gmail.com
Abstrak− Bank Kustodian dalam menjalankan operasional menggunakan aplikasi Custody yang membantu untuk menangani berbagai transaksi seperti transaksi subscription (pembelian reksadana), redemption (penjualan reksadana) dan switching (pengalihan produk). Untuk menghasilkan aplikasi sesuai dengan kebutuhan, tahap pengujian merupakan tahap penting dimana sebuah aplikasi layak at au tidak untuk digunakan. Pengujian otomatis merupakan pengujian yang dilakukan dengan tools yang fungsinya untuk membandingan hasil yang diharapkan dengan hasil yang sebenarnya. Pada penelitian ini metode pengujian yang digunakan adalah black box test ing dengan teknik equivalence partitioning dan boundary value analysis menggunakan alat otomasi Katalon Studio. Hasil dari penget esan aplikasi  kemudian  akan  dilakukan  pengukuran  menggunakan  standar  ISO  25010.  Hasil  penelitian  ini  adalah  pengukuran  kualitas aplikasi Custody berdasarkan ISO 25010. Hasil pengujian aplikasi Custody menggunakan metode black box dengan teknik equivalence partitioning dan boundary value analysis adalah dari 28 test case yang dikembangkan dari inputan di menu subscription dan div idend, seluruh  test  case  berhasil  dilakukan pengujian.  Hasil  pengujian  kemudian  dilakukan pengukuran  kualitas berdasarkan  standar  ISO 25010 pada 3 karakteristik yaitu karakterisitik functional suitability seluruh test case berhasil diuji sehingga mendapatkan  persentase 100%,  karaktersistik  compatibility  berdasarkan  hasil  pemindaian  aplikasi  Custody  dengan  aplikasi  SortSite,  terdapat  issue  pada halaman Logon yaitu browser menampilkan pesan peringatan pada field password dikarenakan aplikasi tidak menggunakan HTTPS, dan karakteristik  maintainability pengujian  menggunakan  3  aspek yaitu instrumentation,  consistency,  dan  simplicity.  Semua  aspek pada pengujian karakteristik maintainability sudah terpenuhi.
Kata Kunci: ISO 25010; Katalon Studio; Black Box Testing; Equivalence Partitioning; Boundary Value Analysis
Abstract− Custodian  bank  while  running  their  business  operational  using  an  application  that  help  them  to  handle  various  daily transaction  like  subscription,  redemption,  and switching.  To  ensure  that  the  application  is  comply  with  the  needs,  testing  phase is important processes where an application is feasible to use or not. Automation testing is a testing that conduct using tools to compare the expected result with the actual result. This research using black box testing method with the combination of equivalence partitioning and boundary value analysis technique and also using Katalon Studio as automation testing tool. The final result of this research then will be measure whether the Custody application has met the ISO 25010 standard or not. The final result of the research is based on testing using black box method with the combination of equivalence partitioning dan boundary value analysis technique using Katalon Studio are from the 28 test cases developed, all the test cases has passed the testing. The testing is conduct in Custody application at subscription and dividend menu. And then, after doing testing, the result of the testing is measured using ISO 25010 standard  in 3 characteristics. They are functional suitability aspect, the result isall the testing has passed and get 100% percentage, compatibility aspect  the  result  is  there’s  an  issue  with  the  website  since  it’s  not  using  HTTPS,  compatibility  aspect  using  3  aspects  they  are instrumentation, consistency, and simplicity. All the aspects has fulfilled the criteria of maintainability aspect.
Keyword: ISO 25010; Katalon Studio; Black Box Testing; Equivalence Partitioning; Boundary Value Analysis

## 1. PENDAHULUAN
Bank  Kustodian  merupakan  bank  yang  berperan  dalam  pengelolaan  dana  investasi  reksadana  dimana  tugasnya menyimpan portofolio efek dan berbagai sertifikat berharga lainnya [1] Dalam menjalankan fungsinya, Bank Kustodian harus mendapatkan izin dan persetujuan dari Otoritas Jasa Keuangan (OJK). Penyelenggaraan Bank Kustodian diatur dan diawasi  oleh  Kustodian  Sentral  Efek  Indonesia  (KSEI)  [2].  Saat  ini  untuk  menunjang  kegiatan  operasional  Bank Kustodian,  telah  dikembangkan  Aplikasi  Custody  yang  merupakan  sebuah  aplikasi  berbasis  web  untuk  menangani transaksi yang ada pada Bank Kustodian. Transaksi yang bisa ditangani oleh aplikasi Custody antara lain transaksi yang berkaitan  aktivitas  pengelolaan  dana  pada  produk-produk  reksadana.  Transaksi  tersebut  antara  lain subscription (pembelian  produk  reksadana), redemption (penjualan  produk  reksadana), switching (pemindahan  produk  reksadana), asset transfer ( peralihan asset), unit adjustment (penambahan unit), penghitungan Nilai Aktiva Bersih (NAB) yang selalu dilakukan penghitungan oleh aplikasi setiap.
Dalam pengembangan aplikasi, tahapan pengujian merupakan tahapan penting dimana pengujian perangkat lunak digunakan untuk mencegah peluang kesalahan yang dibuat oleh manusia dalam suatu system atau dengan kata lain untuk menghindari  perangkat  lunak  yang  ada  dari  cacat.  Pengujian  perangkat  lunak  adalah  metode  untuk  mengkonfirmasi apakah perangkat lunak sesuai dengan persyaratan yang ada, sekaligus untuk memastikan bahwa perangkat lunak bebas dari  error  [3].  Dalam  pelaksanaan  pengujian,  dapat  dilakukan  menggunakan  pengujian  manual  ataupun  pengujian otomatis menggunakan alat. Pengujian ini bertujuan untuk mengetahui cacat dan bugs yang ada pada sistem atau aplikasi. Terdapat  beberapa jenis pengujian pada metode pengujian blackbox . Diantaranya adalah Equivalence Partitioning  dan Boundary Value Analysis.  Teknik Equivalence Partitioning merupakan salah satu  teknik pada black box testing yang berfungsi untuk memeriksa jenis dan kondisi input yang ada pada Software Requirements Specification (SRS) [4]. Test Case pada equivalence partitioning dibuat berdasarkan evaluasi partisi atau kelas ekuivalensi pada setiap kondisi input yang valid maupun tidak valid [5] Metode ini memiliki kelebihan seperti dapat membuat test case yang lebih spesifik,
bisa  mendapatkan  kekurangan  dari  sistem  berdasarkan  test  case  yang  diuji  [6].  Sedangkan  teknik Boundary  Value Analysis merupakan  salah  satu  jenis  teknik  pengujian blackbox yang  melakukan  pengujian  pada  batas  atas  dan  batas bawah dari suatu nilai yang diinput kedalam aplikasi. Boundary value analysis merupakan pelengkap teknik equivalence class testing yang hanya memperhatikan nilai input, sedangkan boundary value analysis juga memperhatikan nilai output [7].
Pada pelaksanaan pengujian manual, pengujian dilakukan tanpa menggunakan alat dan dilakukan berulang-ulang untuk  mendapatkan  hasil  yang  konsisten  demi  memastikan  standar  kualitas  aplikasi  sudah  terpenuhi.  Waktu  yang dihabiskan untuk melakukan pengujian manual lebih lama dibandingkan dengan pengujian otomatis. Terdapat perbedaan waktu dari kedua metode tersebut yang membuat pengujian otomatis lebih cepat dari pengujian manual [8]. Sedangkan pengujian  otomatis  merupakan  pengujian  yang  menggunakan  alat  otomasi  untuk  menjalankan  skenario  tes.  Beberapa tools yang dapat  digunakan untuk  melakukan pengujian otomatis adalah Katalon Studio, Selenium, dan Appium  Pada penelitian  ini  menggunakan  alat  otomasi  Katalon  Studio  sebagai  alat  pengujian  otomatis.  Katalon Studio  mendukung pengujian  otomatisasi  Web,  Seluler,  dan  API.  Katalon  menyediakan  Katalon  Studio  and  Recorder  untuk  uji  otomasi. Katalon menyediakan fitur untuk ekspor ke C#, Java, Ruby, Python, Groovy, atau Robot Framework [9].
Hasil pengujian yang  dilakukan menggunakan Katalon Studio kemudian dianalisa untuk  dilakukan pengukuran kualitas.  Pengukuran standar kualitas perangkat  lunak, terdapat  beberapa standar antara lain McCall, Boehm, FRUPS, Dromey, Bertoa, ISO 9126, dan ISO 25010 [10]. ISO 25010 merupakan standar internasional dalam pengujian perangkat lunak  yang  terdiri  dari  8  karakteristik  dan  31  subkarakteristik.  Pada  ISO/IEC  25010  terdapat  2  model  yang  dapat digunakan untuk  mengukur kualitas sistem, yaitu quality in  use model dan software product  quality model [11].  Pada model software  product  quality  model terdiri  dari  8  karakteristik  kualitas  [7]  antara  lain Functional  Suitability, Performance  Efficiency,  Compatibility,  Usability,  Realiability,  Security, dan Maintainability. Pada  penelitian  ini menggunakan  karakteristik Functional  Suitability , Compatibility ,  dan Maintainability .  Penggunaan  ISO/IEC  25010 dalam perancangan suatu perangkat lunak juga telah banyak dilakukan untuk menghasilkan perangkat lunak atau sistem yang berkualitas. Penggunaan model ini juga dapat membantu untuk memberikan rekomendasi kepada evaluator dalam melakukan peningkatan kualitas perangkat lunak yang digunakan.
Penelitian terdahulu yang membahas mengenai pengujian aplikasi dengan menggunakan metode Black Box dan Katalon Studio serta melakukan pengukuran kualitas aplikasi antara lain pada penelitian yang dilakukan oleh Amanda Amalia, Salva Wanda Putri Hamidah, Titus Kristanto tentang Pengujian Black Box Menggunakan Teknik Equivalence Partitions Pada Aplikasi E-Learning Berbasis Web  [4]  hasil yang didapatkan adalah metode Blackbox dengan teknik Equivalence Partitions membantu untuk pembuatan test case untuk menemukan error atau kesalahan pada aplikasi yang tidak terdeteksi pada saat penanganan error dan hasil dari pengujian aplikasi e-learning layak digunakan sebagai media pembelajaran jarak jauh atau online . Pada penelitian lain yang dilakukan oleh Ahmad Ijudin dan Aries Saifudin mengenai Pengujian Black Box pada Aplikasi  Berita Online dengan Menggunakan Metode Boundary Value Analysis [12] hasil yang  didapatkan  adalah  metode  ini  merupakan  metode  yang  efektif  untuk  mencari  kesalahan  fungsionalitas  untuk menjamin data yang dimasukkan sesuai dengan fungsional yang diharapkan.
Pada penelitian yang ditulis oleh Nugraha EW, Ariyana RY, Nurnawati EK yang membahas mengenai Uji Black Box aplikasi Software Development System Information (SoDevi) PT. Dimata Sora Jayate menggunakan Katalon Studio [13] hasil penelitiannya adalah uji black box yang dilakukan pada aplikasi SoDevi sudah berjalan sesuai dengan fungsi dan tidak ditemukan bug atau error dari sistem dimana kesalahan yang terjadi dalam aplikasi merupakan faktor kesalahan human error. Penelitian yang ditulis oleh Lamada, M.S.,  mengenai  pengujian Aplikasi  Sistem Monitoring  Perkuliahan menggunakan standar ISO 25010 [14] hasil penelitian aplikasi Sistem monitoring perkuliahan telah memenuhi standar ISO  25010  pada  karakteristik functional  suitability dengan  nilai  100%  (baik),  karakteristik usability sebesar  88,53% (sangat  layak),  karakteristik  reliability  sebesar  100%  (lolos),  karakteristik performance  efficiency sebesar  4,2  detik (diterima), dan karakteristik maintainability sebesar 100 (sangat mudah dirawat).
Berdasarkan  beberapa  penelitian  terdahulu,  penulisan  penelitian  ini  bertujuan  untuk  melakukan  pengukuran aplikasi Custody berdasarkan ISO 25010 menggunakan black box testing dengan metode Equivalence Partitioning dan Boundary Value Analysis .

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahap pertama penelitian ini dimulai dari identifikasi masalah yang ada pada pengujian manual dibandingkan dengan alat otomasi  pada  penelitian  terdahulu,  kemudian  melakukan  menentukan  objek  penelitian  yaitu  aplikasi  Custody  dengan menu subscription dan dividend sebagai objek penelitian,  kemudian melakukan analisis aplikasi yang sedang berjalan melakukan visualisasi dengan menggunakan diagram UML antara lain use case diagram, dan sequence diagram. Setelah mengetahui  analisis  sistem  yang  sedang  berjalan,  tahap  selanjunya  adalah  melakukan  pengujian  aplikasi  termasuk didalamnya membuat test case, melakukan pengujian aplikasi menggunakan alat otomasti Katalon Studio. Setelah hasil pengujian  diperoleh  kemudian  melakukan  rekapitulasi  hasil  pengujian  aplikasi  Custody,  tahap  terakhir  penelitian melakukan  analisis  data  pengukuran  kualitas  aplikasi  Custody  berdasarkan  standar  ISO  25010  dengan  karakteristik functional suitability , compatibility ,  dan maintainability .  Gambar  1  merupakan  penggambaran  tahapan  melakukan penelitian.

## Gambar 1. Tahapan Penelitian

## 2.2 Analisis Sistem Berjalan
Tahapan analisis sistem aplikasi Custody bertujuan untuk memahami proses aplikasi yang sedang berjalan dan bagaimana mekanisme yang terjadi pada objek penelitian ketika dilakukan pengujian. Untuk melakukan analisis terhadap aplikasi Custody yang sedang berjalan, digunakan pemodelan menggunakan UML ( Unified Modeling Language ). UML (Unified Modeling  Language)  adalah  metode  pemodelan  visual  yang  digunakan  dalam  desain  sistem  berorientasi  objek  [15]. Model sistem yang digunakan adalah Use Case Diagram, Activity Diagram dan Sequence Diagram.
a. Use Case Diagram
Use Case Diagram merupakan merupakan pemodelan untuk kebutuhan sebuah sistem fungsional, setiap Use Case digambarkan sebagai kunci dari suatu skenario yang dilakukan oleh aktor dan diringkas dalam sebuah batas sistem, setiap Use Case dihubungkan dengan sebuah garis notasi [16]. Use Case Diagram dari aplikasi Custody terdapat 3 (tiga) aktor yaitu admin, inputer, dan approver. Tiap-tiap aktor mempunyai menu berbeda bergantung pada peran aktor tersebut. Use Case diagram aplikasi Custody dapat dilihat pada gambar 2 dan gambar 3.
Gambar 3. Use Case Diagram Admin
b. Activity Diagram
Activity diagram merupakan pemodelan yang menggambarkan sebuah sistem kerja dari sebuah objek atau sebuah sistem, sebuah activity diagram digambarkan dengan sebuah alur secara terstruktur proses kerja dari use case yang sedang diproses dari titik awal sampai titik akhir, setiap aktivitas digambarkan dengan notasi-notasi sesuai fungsinya [17]. Pada penelitian ini menu subscription dan dividend yang akan digunakan untuk pengujian. Aktivitas pengguna yang terjadi di menu subscription dan dividend digambarkan pada Activity diagram kondisi saat ini pada Gambar 4.
Gambar 5. Activity Diagram Proses Dividend

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pembuatan Test Case
Sebelum  dilakukan  pengujian  dilakukan  pembuatan  kasus  uji  ( test  case )  berdasarkan  skenario  pengujian  yang  akan dijalankan. Test case merupakan input yang diperlukan untuk memeriksa apakah perangkat lunak memenuhi persyaratan yang  ditentukan  dalam  kondisi  tertentu  [18].  Pembuatan  test  case  merupakan  tahap  yang  membutuhkan  sumber  daya terbesar  yang  berpengaruh  terhadap  keefektifan  dan  efisiensi  pengujian  perangkat  lunak  [19].  Menu  subscription  dan dividend  dari  aplikasi  Custody  merupakan  objek  penelitian  yang  akan  dilakukan  pengujian.  Tampilan  dari  halaman subscription  terdiri  dari  dua  halaman  yaitu  pencarian  produk  dan  transaksi.  Sedangkan  pada  halaman  dividend  hanya terdapat satu halaman saja. Tampilan dari halaman pencarian produk dan penginputan transaksi di menu subscription dan dividend ditunjukkan pada gambar 6, gambar 7, dan gambar 8.
Gambar 5. Menu pencarian produk
Gambar 7. Menu input transaksi dividend
Setelah mengamati  tampilan menu yang ada, dikembangkan skenario  dan test  case dari  menu subscription dan dividend ditunjukkan pada tabel 1.
Tabel 1. Skenario dan test case menu subscription dan dividend
Fungsionalitas Skenario Test Case Halaman pencarian produk Menampilkan seluruh selling agent TC-01 Melakukan pencarian dengan mengosongkan selling agent TC-02 Melakukan pencarian dengan input selling agent code TC-03 Melakukan pencarian dengan input selling agent name TC-04 Melakukan pencarian selling agent yang tidak terdaftar TC-05 Input transaksi subscription Tidak melakukan input nominal subscription TC-06 Melakukan input subscription dengan NaN TC-07 Melakukan transaksi subscription namun tidak input fee amount TC-08 Melakukan transaksi subscription dengan mengosongkan reference no TC-09 Input reference no kurang dari 6 karakter TC-10 Membuat transaksi subscription dengan melebihi max unit individual TC-11 Membuat transaksi Top Up dengan kondisi telah melewati batas maksimum unit TC-12 Membuat transaksi Subscription dengan nominal transaksi kurang dari Minimum Subs TC-13 Membuat transaksi Subscription dengan nominal transaksi lebih dari Maximum Subscription TC-14 Membuat transaksi Subcription dengan kondisi produk yang dipilih tidak mengizinkan subscription TC-15 Input transaksi dividend Membuat transaksi dividen dengan kondisi field mandatory tidak diisi TC-16 Membuat transaksi dividen dengan kondisi Record Date lebih besar dari Execution Date TC-17 Membuat transaksi dividen dengan kondisi dividen value 0 (nol) TC-18 Membuat transaksi dividen dengan kondisi  input lebih dari 17 karakter pada jumlah dividend TC-19 Membuat transaksi dividen dengan tidak input nilai dividend TC-20
Tahap selanjutnya adalah memasukkan test case ke dalam Katalon Studio. Pada pengujian automasi menggunakan Katalon Studio, Langkah yang bisa dilakukan untuk membuat test case yaitu dengan cara melakukan pengambilan objek. Pengambilan  objek  dapat  dilakukan  dengan spy dan  record  object. Perbedaan  keduanya  adalah object  spy melakukan pengambilan  object  satu  persatu  sesuai  pilihan.  Sedangkan record  object adalah  melakukan  simulasi  pengujian  [20], kemudian objek tersebut akan tergenerate secara otomatis menjadi test case yang bisa langsung dilakukan pengujian. Pada Katalon Studio, untuk menjalankan test case secara otomatis menggunakan fungsi playback. Ketika test case dijalankan, log  dari  setiap  langkah  secara  otomatis  akan  tersimpan  [9].  Gambar  8  merupakan  hasil  test  case  dengan  pengambilan objek secara record .
Gambar 9. Log viewer Pada Katalon Studio

## 3.2 Melakukan Pengujian
Setelah semua test  case sudah  selesai  dilakukan record dan disimpan, tahap selanjutnya adalah melakukan pengujian. Pada Katalon Studio, pengujian dilakukan pada menu test suite . Test suite berisi test case dan data files yang telah dibuat sebelumnya. Proses pengujian dimulai dengan menjalankan test suite dan hasil dapat dilihat pengujian yang sudah selesai dilakukan terdapat pada bagian log viewer . Selain dari log viewer dapat juga dilihat melalui Katalon TestOps  [9]. Test suite yang sudah berisi kumpulan test case dapat dilihat pada gambar 10.

## Gambar 10. Tampilan Test Suite pada Test Case Dividend

## 3.3 Hasil Pengujian
Hasil  test  suite  yang  dijalankan  kemudian  akan  muncul  pada  laporan  atau  report  yang  tersedia  pada  Katalon  Studio. Rekapitulasi hasil pengujian aplikasi Custody pada menu subscription dan dividend menunjukkan bahwa semua test case berhasil dijalankan tanpa adanya error . Hasil pengujian aplikasi Custody dirangkum pada tabel 2.
Tabel 2. Hasil Pengujian aplikasi Custody No Test Case Hasil 1 TC-01 Pass 2 TC-02 Pass 3 TC-03 Pass 4 TC-04 Pass 5 TC-05 Pass 6 TC-06 Pass 7 TC-07 Pass 8 TC-08 Pass 9 TC-09 Pass 10 TC-10 Pass 11 TC-11 Pass 12 TC-12 Pass 13 TC-13 Pass 14 TC-14 Pass
15 TC-15 Pass 16 TC-16 Pass 17 TC-17 Pass 18 TC-18 Pass 19 TC-19 Pass 20 TC-20 Pass

## 3.4 Analisis Hasil Pengujian
Setelah  dilakukan  pengujian  dengan  Katalon,  hasil  pengujian  aplikasi  Custody  kemudian  dilakukan  pengukuran  atau penilaian kualitas berdasarkan 8 karakteristik dan 31 subkarakteristik yang ada pada standar ISO 25010. Pada penelitian ini menggunakan 3 karakteristik yaitu Functional Suitability, Compatibility , dan Maintainability .

## 3.4.1 Hasil Kualitas pada Karakteristik Functional Suitability
Berdasarkan pengujian yang dilakukan menggunakan black box menggunakan alat otomasi Katalon Studio pada aplikasi Custody, didapatkan hasil uji untuk penilaian aspek functional suitability. Hasil pengujian ditunjukkan pada tabel 3.
Tabel 3. Rekapitulasi Hasil Pengujian aplikasi Custody
Menu yang diuji Total Pengujian Berhasil Total Pengujian Gagal Pengujian halaman pencarian subscription 5 0 Pengujian halaman transaksi subscription 10 0 Pengujian halaman dividend 5 0 Total 20 0
Berdasarkan hasil pada tabel 3 hasil pengujian menyatakan seluruh fungsi pada menu subscription dan dividend sesuai  dengan  yang  diharapkan.  Dari  28  test  case  secara  keseluruhan  untuk  menu  pencarian  subscription,  transaksi subscription,  dan  transaksi  dividend,  didapatkan  hasil  28  test  case  berhasil  dilakukan  pengujian.  Untuk  mengukur karakteristik functional suitability dilakukan penghitungan persentase untuk mengetahui tingkat kesesuaian fungsi yang ada pada sistem. Penghitungan yang dilakukan dengan rumus berikut:
Rumus = 𝑇𝑜𝑡𝑎𝑙 𝑇𝑒𝑠𝑡 𝑐𝑎𝑠𝑒 𝑏𝑒𝑟ℎ𝑎𝑠𝑖𝑙 𝑇𝑜𝑡𝑎𝑙 𝑘𝑒𝑠𝑒𝑙𝑢𝑟𝑢ℎ𝑎𝑛 𝑡𝑒𝑠𝑡 𝑐𝑎𝑠𝑒 x 100% (1)
Apabila hasil pengujian dimasukkan ke dalam rumus maka,
Persentase = 28 28 x 100%
= 100 %
Berdasarkan persentase, persentase yang didapat sudah memenuhi kriteria kelayakan karena diperoleh persentase > 50% dari pengujian karakteristik functional suitability. Hasil tersebut menunjukkan bahwa kualitas aplikasi Custody pada  karakteristik  functional  suitability  dapat  diterima  dan  telah  sesuai  dengan  aspek  yang  ada  pada  karakteristik functional suitability.

## 3.4.2 Hasil Kualitas pada Karakteristik Compatibility
Pengukuran kualitas karakteristik compatibility berdasarkan pengujian menggunakan aplikasi SortSite, dimana aplikasi ini akan melakukan pemindaian terhadap aplikasi Custody terhadap penggunaan peramban (browser) yang berbeda-beda. Hasil pemindaian menunjukkan bahwa pada browser Edge, Firefox dan Chrome terdapat issue pada halaman Logon yaitu browser  menampilkan  pesan  peringatan  pada  field  password  dikarenakan  aplikasi  tidak  menggunakan  HTTPS  atau sertifikat keamanan SSL. Hasil pemindaian dapat dilihat pada gambar 11.

## 3.4.3 Hasil Kualitas pada Karakteristik Maintainability
Berdasarkan  pengujian  yang  dilakukan  menggunakan black  box pada  aplikasi  Custody,  karakteristik maintainability . Aspek  yang  yang  diuji  meliputi  3  aspek  yaitu instrumentation,  consistency ,  dan simplicity .  Hasil  pengujian maintainability pada aplikasi Custody dengan 3 aspek dapat dilihat pada tabel 4.
Tabel 4. Rekapitulasi Hasil Pengujian aplikasi Custody Aspek Penilaian Hasil Pengujian Instrumentation Terdapat peringatan dari sistem jika terjadi kesalahan beserta identifikasi kesalahan Terdapat pesan peringatan yang muncul pada aplikasi Custody apabila terjadi kesalahan baik itu secara data maupun secara inputan. Hasil pengujian berdasarkan test case yang dikembangkan pada tabel 4.3, tabel 4.4, dan tabel 4.5 menunjukkan bahwa pesan peringatan muncul ketika terdapat kesalahan. Sehingga kriteria pada aspek instrumentation sudah terpenuhi. Consistency Penggunaan  satu  model rancangan  pada  seluruh rancangan sistem Pengembangan  aplikasi  Custody  menggunakan  bootstrap  dalam perancangannya, sehingga mempunyai  tampilan yang sama dari setiap halamannya.  Aspek  konsistensi  terpenuhi  karena  menggunakan  satu model rancangan pada seluruh rancangan sistem. Simplicity Kemudahan dalam pengelolaan,  perbaikan, dan pengembangan sistem Pengembangan  aplikasi  Custody  menggunakan  bahasa  pemrograman ASP.NET dan C# dengan framework 3.5 dengan konsep MVC. Selain itu,  dalam  proses  pengembangannya,  aplikasi  Custody  menggunakan konsep 3 tier lapisan aplikasi yang terdiri dari lapisan presentasi, lapisan aplikasi, dan lapisan database.  Kelebihan penggunaan MVC dan 3 tier aplikasi  adalah  aplikasi  mudah  di  lakukan  pemeliharaan  tanpa mengandalkan  komponen  lain.  Pengembangan  komponen  juga dilakukan  paralel  atau  terpisah.  Sehingga  aspek  simplicity  terpenuhi karena  pengelolaan,  perbaikan,  dan  pengembangan  sistem  mudah dilakukan.
Berdasarkan hasil pengukuran menggunakan 3 aspek yang ada pada tabel 4 aspek instrumentation sudah terpenuhi karena  hasil  pengujian  berdasarkan  hasil  pengujian  test  case  berhasil  yang  artinya  menunjukkan  bahwa  setiap  ada kesalahan,  sistem  akan  memunculkan  pesan  peringatan.  Aspek consistency juga  sudah  terpenuhi  karena  dalam pengembangannya, aplikasi  Custody  mengimplementasi  bootstrap untuk  tampilannya sehingga tampilan konsisten per halamannya. Aspek simplicity juga terpenuhi karena pengembangan dilakukan menggunakan konsep MVC dengan 3 tier aplikasi yang memudahkan dalam maintenance aplikasi. Oleh karena itu, 3 aspek untuk pengukuran maintainability dari aspek instrumentation, consistency, dan simplicity terpenuhi.

## 4. KESIMPULAN
Berdasarkan  hasil  analisis  dari  tahapan  pengujian  aplikasi  Custody  dengan Automated  Tools Katalon  Studio menggunakan metode Blackbox Testing teknik Equivalence Partitioning dan Boundary Value Analysis yang dilakukan pada  penelitian  ini,  dapat  disimpulkan  bahwa  hasil  pengujian  aplikasi  Custody  berdasarkan  standar  ISO  25010,  pada karakteristik functional  suitability,  compatibility ,  dan maintainability diperoleh  hasil  pada  karakteristik functional suitability dari  pengujian aplikasi  Custody  di menu subscription dan dividend semua test  case berhasil dijalankan dan tidak  ada  error  sehingga  mendapat  persentase  100%,  pada  karakteristik compatibility dari  pengujian  aplikasi  Custody menggunakan  aplikasi  SortSite,  pada  browser Edge,  Firefox dan Chrome terdapat issue pada  halaman  Logon  yaitu browser  menampilkan  pesan  peringatan  pada  field  password  dikarenakan  aplikasi  tidak  menggunakan  HTTPS,  pada karakteristik maintainability dari  pengujian  aplikasi  Custody  memenuhi  kriteria  karena  dengan  pengujian  3  aspek instrumentation apabila  terdapat  kesalahan , muncul  pesan  kesalahan.  aspek consistency ,  dalam  pengembangannya menggunakan  bootstrap  sehingga  semua  tampilan  sama,  dan  aspek simplicity dalam  pengembangannya  menggunakan Bahasa pemrograman C#, ASP.NET dan menggunakan MVC sehingga mudah untuk dimaintain kembali. Oleh karena itu semua aspek untuk pengukuran maintainability terpenuhi. Saran untuk penelitian selanjutnya agar kualitas aplikasi Custody  menjadi  lebih  baik  yaitu  dengan  melakukan  pengujian  menggunakan  teknik Blackbox  testing yang  lain  serta melakukan pengukuran kualitas dengan karakteristik ISO 25010 seperti Performance Efficiency, Usability, Realiability, Security , dan Portability yang akan melengkapi pengukuran yang sudah ada.

## REFERENCES
[1] “Undang-undang Republik Indonesia No. 8 Tahun 1995 tentang Pasar Modal.” Jakarta, 1995.
[2] “Peraturan Otoritas Jasa Keuangan Nomor 24/POJK.04/2017 tentang Laporan Bank Umum sebagai Kustodian.” Jakarta, 2017.
[3] I. Jovanovic, “Software Testing Methods and Techniques,” The IPSI BgD Transactions on Internet Research, vol. 5, no. 1, 2009.
[4] A. Amalia, S. W. Putri Hamidah, and T. Kristanto, “Pengujian Black Box Menggunakan Teknik Equivalence Partitions Pada Aplikasi  E-Learning  Berbasis  Web,”  Building  of  Informatics,  Technology  and  Science  (BITS),  vol.  3,  no.  3,  2021,  doi: 10.47065/bits.v3i3.1062.
[5] R. S. Pressman, SOFTWARE ENGINEERING: A PRACTITIONER’S APPROACH, SEVENTH EDITION, vol. 9781118592. 2014.
[6] R. Pramudita, “Pengujian Black Box pada Aplikasi Ecampus Menggunakan Metode Equivalence Partitioning,” INFORMATICS FOR EDUCATORS AND PROFESSIONAL : Journal of Informatics, vol. 4, no. 2, 2020, doi: 10.51211/itbi.v4i2.1347.
[7] Z.  Zuriati,  D.  K.  Widyawati,  I.  S.  Sitanggang,  and  A.  Buowo,  “TEKNIK  PENGUJIAN  BOUNDARY VALUE  ANALYSIS PADA  APLIKASI LEARNING MANAGEMENT SYSTEM POLINELA,” Jurnal TAM (Technology Acceptance Model), vol. 9, no. 2, 2019.
[8] Isaac Febryan Maranatha, Albertus Joko Santoso, and Andi Wahju Rahardjo Emanuel, “Pengujian Content Management System – Quest Master Menggunakan Black Box Testing (Studi Kasus: Astra Credit Companies),” Jurnal Informatika Atma Jogja, vol. 3, no. 1, 2022, doi: 10.24002/jiaj.v3i1.5908.
[9] A. Zulianto, A. Purbasari, N. Suryani, A. I. Susanti, F. R. Rinawan, and W. G. Purnama, “Pemanfaatan Katalon Studio untuk Otomatisasi Pengujian Black-Box pada Aplikasi iPosyandu,” Jurnal Edukasi dan Penelitian Informatika (JEPIN), vol. 7, no. 3, 2021, doi: 10.26418/jp.v7i3.46954.
[10]  J. P. Miguel, D. Mauricio, and G. Rodríguez, “A Review of Software Quality Models for the Evaluation of Software Products,” International Journal of Software Engineering & Applications, vol. 5, no. 6, 2014, doi: 10.5121/ijsea.2014.5603.
[11]  M. D. Mulyawan, I. N. S. Kumara, I. B. A. Swamardika, and K. O. Saputra, “Kualitas Sistem Informasi Berdasarkan ISO/IEC 25010: Literature Review,” Majalah Ilmiah Teknologi Elektro, vol. 20, no. 1, 2021, doi: 10.24843/mite.2021.v20i01.p02.
[12]  A. Ijudin and A. Saifudin, “Pengujian Black Box pada Aplikasi Berita Online dengan Menggunakan Metode Boundary Value Analysis,” Jurnal Informatika Universitas Pamulang, vol. 5, no. 1, 2020, doi: 10.32493/informatika.v5i1.3717.
[13]  E. Vaskita Nugraha, R. Yanwastika Ariyana*, and E. Kumalasari Nurnawati, “UJI BLACK BOX TES APLIKASI SOFTWARE DEVELOPMENT  SYSTEM  INFORMATION  (SODEVI)  PT.  DIMATA  SORA  JAYATE  MENGGUNAKAN  KATALON STUDIO,” PROSIDING SNAST, 2022, doi: 10.34151/prosidingsnast.v8i1.4172.
[14]  M. S. Lamada, A. S. Miru, and R.- Amalia, “Pengujian Aplikasi Sistem Monitoring Perkuliahan Menggunakan Standar ISO 25010,” Jurnal MediaTIK, vol. 3, no. 3, 2020, doi: 10.26858/jmtik.v3i3.15172.
[15]  V. Yasin, “Tools Rekayasa Perangkat Lunak dalam Membuat Pemodelan Desain Menggunakan Unified Modeling Language (UML),”  TRIDHARMADIMAS:  Jurnal  Pengabdian  Kepada  Masyarakat    Jayakarta,  vol.  1,  no.  2,  p.  139,  Dec.  2021,  doi: 10.52362/tridharmadimas.v1i2.666.
[16]  T.  A.  Kurniawan,  “Pemodelan  Use  Case  (UML):  Evaluasi  Terhadap  beberapa  Kesalahan  dalam  Praktik,”  Jurnal  Teknologi Informasi dan Ilmu Komputer, vol. 5, no. 1, 2018, doi: 10.25126/jtiik.201851610.
[17]  R.  D.  Kusumanto  and  A.  N.  Tompunu,  “PENGOLAHAN  CITRA  DIGITAL  UNTUK  MENDETEKSI  OBYEK MENGGUNAKAN PENGOLAHAN WARNA MODEL NORMALISASI RGB,” 2011.
[18]  S. Y. Jeong, C. J. Yoo, and H. M. Noh, “State transition based test model and test case generation technique for embedded system: An  empirical  approach,”  International  Journal  of  Software  Engineering  and  its  Applications,  vol.  10,  no.  11,  2016,  doi: 10.14257/ijseia.2016.10.11.20.
[19]  N. Setiani, R. Ferdiana, P. I. Santosa, and R. Hartanto, “Literature review on test case generation approach,” in ACM International Conference Proceeding Series, 2019. doi: 10.1145/3305160.3305186.
[20]  F. Ardi and H. P. Putro, “Pengujian Black Box Aplikasi Mobile Menggunakan Katalon Studio (Studi Kasus: ACC Partner PT. Astra Sedaya Finance),” AUTOMATA, vol. 2, no. 1, 2021.