## TESTING APLIKASI BUSINESS ACTIVITY MONITORING PADA INTERNET SERVICE PROVIDER MENGGUNAKAN ISO 25010
Charles Martino 1) , Johanes Fernandes Andry 2)
1,2 Sistem Informasi, Universitas Bunda Mulia
1,2 Jalan Lodan Raya No. 2, Daerah Khusus Ibukota Jakarta 14430 Indonesia Email: 1 charlesmartino34@yahoo.com, 2 jandry@bundamulia.ac.id

## Abstrak
Penggunaan  sistem  informasi  dalam  perusahaan  sudah menjadi  hal  yang  tidak  asing  pada  zaman  sekarang. Sistem  informasi  banyak  digunakan  untuk  berbagai tujuan,  salah  satunya  untuk  mengawasi  proses  bisnis dalam  perusahaan.  Sistem  yang  dapat  digunakan  untuk mengawasi  proses  bisnis  salah  satunya  adalah  Business Activity  Monitoring  (BAM).  Salah  satu  perusahaan  ISP di Jakarta telah menggunakan BAM yang dibuat oleh tim internalnya. Dalam melakukan pengawasan, sistem yang tidak  berkualitas  tentu  tidak dapat  memenuhi  kebutuhan perusahaan dan dapat memberikan informasi yang salah yang  membawa  dampak  buruk  bagi  perusahaan.  Maka dari  itu,  peneliti  tertarik  untuk  melakukan  testing terhadap aplikasi BAM dalam perusahaan tersebut untuk mengukur kualitas aplikasi. Metode yang digunakan oleh peneliti  dalam  melakukan  testing  adalah  studi  lapangan dan  User  Acceptance  Test  (UAT)  dengan  standar  ISO 25010. Penelitian dibataskan pada karakteristik functional  suitability  karena  adanya  batasan  waktu  dan biaya. Dari hasil testing, ditemukan beberapa ketidaksesuaian  antara  hasil  yang  diharapkan  dan  hasil aktual, beberapa diantaranya memiliki tingkat keparahan  yang  tinggi.  Meskipun  aplikasi  yang digunakan  masih  memenuhi  kebutuhan  perusahaan dalam fungsionalitas utama, aplikasi sebaiknya diperbaiki  sesegera  mungkin.  Penggunaan  metode  UAT dinilai tepat karena dapat mencakup area yang luas dari karakteristik functional suitability.
Kata  Kunci: business  activity  monitoring,  functional suitability, ISO 25010, user acceptance test, testing

## 1. Pendahuluan
Sistem informasi merupakan kata yang sudah tidak asing pada  era  sekarang  ini.  Sudah  banyak  sistem  informasi yang  dibangun  untuk  membantu  berbagai  jenis  kegiatan manusia [1]. Banyak orang dan perusahaan yang terbantu kegiatannya  dengan  adanya  sistem  informasi  tersebut, baik  secara  langsung  maupun  tidak  langsung.  Banyak perusahaan  menggunakan  sistem  informasi  untuk mendukung  kemajuaan  usahanya.  Sistem  informasi tersebut  umumnya  digunakan  untuk  meningkatkan performa  proses  bisnis  [2],  membantu  pengambilan keputusan  [3],  maupun  untuk monitoring berjalannya proses [4].
Salah  satu  sistem  informasi  yang  dapat  digunakan untuk  me monitor jalannya  proses  bisnis  adalah Business Activity  Monitoring (BAM).  BAM  dapat  memberikan gambaran  umum  kepada  manajer  operasional  dan manajemen  tingkat  atas  mengenai  proses  bisnis  yang terjadi  dalam  perusahaan  pada  saat  itu  juga  atau  secara real-time [5]. Monitoring berjalannya  proses  bisnis  merupakan salah satu proses yang penting dalam perusahaan karena dengan  adanya  proses monitoring ,  semua  proses  bisnis yang  ada  dalam  perusahaan  menjadi  terkendali  dan masalah  yang  timbul  sewaktu-waktu  dapat  diketahui dengan  cepat  sehingga  perusahaan  dapat  mengambil tindakan  sesegera  mungkin  untuk  menyelesaikan masalah tersebut [6].
Pencapaian  terhadap  tujuan  yang  diharapkan  dari monitoring menggunakan  BAM  sangatlah  bergantung pada  kualitas  BAM  itu  sendiri  [7].  Kualitas  BAM  yang rendah  tidak  akan  memberikan value yang  ingin dicapai penggunanya.  Tidak  hanya  itu,  penggunaan  BAM  yang berkualitas rendah juga dapat  mengurangi niat pengguna untuk memakainya [8], dan berpotensi memiliki dampak negatif  seperti  menampilkan  informasi  yang  tidak  tepat dan  dapat  mempengaruhi  pengambilan  keputusan  oleh manajemen.
Untuk  memastikan  kualitas  aplikasi,  tidak  hanya monitoring dan manajemen yang diperlukan, namun juga pemenuhan  terhadap  standar  yang  ketat  [9].  Pengujian pemenuhan  kualitas  terhadap suatu  standar dan  terhadap kebutuhan pengguna dapat dilakukan dengan melakukan software testing .
Salah  satu  standar  yang  popular  untuk  melakukan software testing adalah ISO 9126 karena fleksibilitas dan sifat  umumnya  [10],  [11],  namun,  standar  tersebut  kini telah  digantikan  dengan  ISO  25010.  ISO  25010 mengelompokan  kualitas  suatu  produk  kedalam  8 karakteristik  yang  masing-masing  memiliki  beberapa sub-karakteristik [12].
Sebuah  perusahaan Internet  Service  Provider (ISP) yang  juga  menyediakan  berbagai  layanan Information and  Communication  Techonology (ICT)  di  Jakarta  telah melakukan monitoring terhadap  proses  bisnisnya. Perusahaan tersebut menggunakan web - based BAM yang dibuat oleh tim internalnya.
Penelitian  ini  dilakukan  untuk  memastikan  aplikasi BAM  yang  digunakan  berkualitas  sehingga  perusahaan dapat mencapai tujuan yang diharapkan dari penggunaan aplikasi  dengan  menggunakan  standar  kualitas  produk ISO 25010.
2. Tinjauan Pustaka
A. BAM (Business Activity Monitoring) BAM adalah sistem yang ditujukan untuk menyediakan  informasi  secara real-time mengenai status  dan  hasil  dari  berbagai  operasi,  proses,  dan transaksi  bisnis  [5],  sehingga  manajer  dapat mengetahui  apa  yang  sedang  terjadi  dalam perusahaan  dan  mengambil  keputusan  dengan  cepat dan efektif [13].

## B. ISO 25010
ISO  25010  “ System  and  Software  Engineering  – System  and  Software  Quality  Requirements  and Evaluation (SQuaRE)  – System  and  Software Quality  Models ”  menggantikan  standar  ISO  9126 “ Software  Engineering  –  Product  Quality ”  sebagai dua  model  kualitas  untuk  produk software :  kualitas penggunaan dan kualitas produk [14].
Kualitas  produk  terbagi  menjadi  menjadi  8 karakteristik  yaitu functional suitability , reliability , performance efficiency , usability , security , compatibility , maintainability ,  dan portability [15]. Definisi  dari  karakteristik-karakterisitek  tersebut adalah:
1) Functional Suitability
Sejauh  mana  fungsi  yang  disediakan software dapat  memenuhi  kebutuhan  yang  dinyatakan ketika software digunakan  dalam  kondisi tertentu [16], [17], [18].
2) Performance Efficiency Sejauh  mana software menghasilkan  kinerja yang  sesuai  dengan  jumlah  sumber  daya  yang digunakan  dalam  kondisi  yang  telah  ditetapkan [16], [17], [18], [19].
3) Compability Kemampuan dua atau lebih komponen software untuk  bertukar  informasi  dan  /  atau  untuk melakukan  fungsi  yang  diperlukan  sambil berbagi  perangkat  keras  atau  perangkat  lunak yang sama [16], [18].
4) Usability Sejauh mana software mempermudah pengguna dalam  mengoperasikan  dan  mengendalikannya [16], [17], [18].
5) Reliability Sejauh  mana software dapat  menjaga  tingkat kinerja ketika digunakan dalam kondisi tertentu [16], [17], [18].
6) Security Keamanan  sistem  dari  akses,  penggunaan, modfikasi,  perusakan,  penyingkapan yang  tidak disengaja atau dengan niat jahat [16], [18].
7) Maintainability Sejauh  mana software dapat  dimodifikasi.
Modifikasi  termasuk  koreksi,  peningkatan, adaptasi terhadap perubahan lingkungan sistem, dan perubahan dalam kebutuhan dan spesifikasi fungsional [16], [17], [18].

## 8) Portability
Kemudahan  dalam  pemindahan  sistem  atai komponen  sistem  ke  lingkungan  sistem  lainnya (memperluas lingkungan software atau hardware ) [16], [17], [18].

## C. UAT (User Acceptance Test)
UAT  adalah  proses  memverifikasi  suatu  solusi berfungsi untuk penggunanya [20]. UAT melibatkan pengguna  untuk  mengetahui  apa  yang  dilakukan sistem  dan  apa  yang  didapatkan  pengguna  [21].
UAT  termasuk  ke  dalam black-box  testing di  mana pengguna tidak tertarik dengan bagian internal/ coding sistem,  namun  membandingkan fungsi sistem dengan requirement yang dispesikasikan oleh mereka.

## 3. Metode Penelitian
Tabel 1. Karakteristik dan Sub-karakteristik Kualitas Produk Berdasarkan ISO 25010 [18] Karakteristik Sub-karakteristik Functional Suitability Functional Completeness Functional Correctness Functional Appropriateness Performance Efficiency Time Behavior Resource Utilization Capacity Compability Co-existence Interoperability Usability Appropriateness Recognizability Learnability Operability User Error Protection User Interface Aesthetics Accessibility Reliability Maturity Availability Fault Tolerance Recoverability Security Confidentiality Integrity Non-repudiation Accountability Authenticity Maintainability Modularity Reusability Analysability Modifiability Testability Portability Adaptibility Installibility Replaceability
Metode yang digunakan dalam penelitian ini adalah studi lapangan  dan User  Acceptance  Testing (UAT),  sehingga pandangan  dan  pendapat  partisipan  penelitian  dapat diukur dan dianalisa [9]. UAT sebagai salah satu tipe dari
acceptance  test juga  merupakan  elemen  kunci  dalam penggunaan  karena  pada  dasarnya software haruslah layak untuk pemilik atau penggunanya [22].
Standar yang digunakan dalam penelitian ini adalah ISO  25010  pada  kualitas  produk.  Tabel  1  menunjukkan karakteristik  dan  sub-karakteristik  dari  standar  kualitas produk ISO 25010.
Penelitian difokuskan hanya pada  satu karakteristik karena adanya keterbatasan waktu dan biaya. Karakteristik yang digunakan adalah functional suitability ,  yaitu  apakah  fungsi-fungsi  yang  dimiliki produk dapat memenuhi kebutuhan penggunanya, karena tujuan utama dari penelitian ini adalah untuk memastikan BAM  dapat  menjalankan  fungsinya  dan  menghasilkan informasi yang tepat dan sesuai kebutuhan.
Karakteristik  ini  terbagi  menjadi  tiga  sub- karakteristik,  yaitu functional  completeness (F1), functional  correctness (F2), functional  appropriateness (F3).  F1  mengukur  cakupan  fungsi-fungsi  yang  ada terhadap  tugasnya  dan  kebutuhan  pengguna.  F2 mengukur  ketepatan  hasil  dari  sistem.  F3  mengukur kelayakan fungsi dalam menyelesaikan tugasnya.

## 4. Hasil dan Pembahasan
Aplikasi BAM yang digunakan perusahaan saat ini terdiri dari beberapa modul, yaitu:
⚫ Modul Master
⚫ Modul Project Bisnis
⚫ Modul Penugasan
⚫ Modul Laporan
⚫ Modul Pengguna
Modul  master  berfungsi  untuk  mengelola  data master,  yang  meliputi  pengguna,  divisi,  jabatan,  cabang, client , jenis client , kota, prioritas, template email , project , task ,  dan  hak  akses.  Master  pengguna  berisi  data karyawan  perusahaan  yang  merupakan  pengguna aplikasi. Master divisi berisi data divisi seperti nama dan kode  transaksi.  Master  jabatan  berisi  tingkatan  atau kedudukan  karyawan  dalam  suatu  divisi.  Master  cabang berisi  data  anak  perusahaan  dari  perusahaan  yang  akan menggunakan  aplikasi.  Master client berisi  data client atau  pelanggan  yang  membuat  permintaan  layanan. Master jenis client berisi jenis dari perusahaan client atau kata  sapaan  untuk client non-perusahaan.  Master  kota berisi data kota dari client . Master prioritas berisi tingkat prioritas  dari  proses.  Master template  email berisi  data template  email yang  akan  dikirimkan  ke client .  Master project berisi  data  mengenai project dan task yang  ada didalamnya. Master task berisi data task yang merupakan bagian  dari  suatu project .  Master  hak  akses  berisi kategori  pengguna  yang  digunakan  untuk  membatasi akses pengguna.
Modul project bisnis  dan  modul  penugasan merupakan  modul  operasional  dari  aplikasi.  Alur  kerja dari kedua modul ini dapat dilihat dalam flowchart yang ditunjukan  pada  Gambar  1.  Modul project bisnis dijalankan terlebih dahulu yang dapat dilihat pada bagian atas flowchart ,  kemudian  dilanjutkan  dalam  modul penugasan yang berada di bagian bawah flowchart .
Modul project bisnis  memiliki  tahapan  sebagai berikut:  validasi client ,  pembuatan project baru,  dan validasi project . Client yang  sudah  divalidasi  dapat dipilih ketika membuat project baru. Project baru adalah proses  yang  dilakukan  karena  adanya  permintaan  dari client . Project yang sudah dibuat harus divalidasi terlebih dahulu.  Jika project yang  sudah  divalidasi,  maka task dari project itu  akan  ditugaskan  kepada  divisi  yang bertanggung jawab terhadap task itu dan akan ada email yang  dikirimkan  kepada client berdasarkan template yang sudah dibuat.
Modul  penugasan  terbagi  menjadi  beberapa  bagian, namun  kegiatan  utama  pada modul  ini  adalah pemilihan karyawan  yang  ditugaskan,  pengerjaan task ,  dan chat . Ketika  suatu  divisi  menerima task , task tersebut  akan pertama  kali  ditugaskan  kepada  manajer  divisi.  Manajer divisi  kemudian  dapat  menugaskan task tersebut  kepada salah  satu  bawahannya.  Bawahannya  juga  dapat menyerahkan task tersebut  ke  bawahannya  atau karyawan  lain  yang  memiliki  jabatan  yang  sama,  jika ada. Task yang  sudah  diterima  dapat  dikerjakan  dengan mengunggah  dokumen task (jika  ada)  ke  aplikasi  dan menyerahkan project ke  divisi  berikutnya.  Pengguna dapat  melihat  dokumen-dokumen  yang  diunggah  oleh divisi  sebelumnya  pada  bagian history .  Jika task yang diterima  tidak  memiliki  dokumen  yang  benar  atau lengkap  dari task sebelumnya,  maka task dapat  ditolak dan dikembalikan ke divisi sebelumnya untuk diperbaiki. Dalam  menjalankan task ,  pengguna  juga  dapat berkomunikasi  dengan  semua  pengguna  yang  terlibat dalam project itu dengan  fitur chat ,  baik  untuk  meminta keterangan,  menyampaikan  pemberitahuan,  ataupun  hal- hal lainnya yang berhubungan dengan project .
Bagian-bagian  pada  modul  penugasan  secara
lengkap adalah history , chat , assigned to me , waiting list , on  progress ,  dan resolved  activty .  Di  bagian history , pengguna  dapat  melihat task-task sebelumnya  dari project yang  sedang  dikerjakan.  Untuk  setiap task pada history ,  pengguna  dapat  melihat  pengguna  yang mengerjakan  berserta  divisi  dan  jabatannya,  waktu task dimulai dan diselesaikan, Service Level Agreement (SLA) untuk task tersebut,  dan  dokumen-dokumen  yang diunggah.  Pada assigned  to me ,  pengguna  dapat  melihat task-task yang telah ditugaskan kepadanya. Pada waiting list ,  pengguna  dapat  melihat task-task mungkin  akan ditugaskan kepadanya. Task-task yang mungkin ditugaskan  kepada  seorang  pengguna  adalah task-task yang  dimiliki  oleh  atasannya,  dan  jika  pengguna memiliki  jabatan  sebagai  manajer,  maka  akan  bagian  ini akan  berisi project-project yang  belum  tervalidasi  dan divisinya merupakan yang bertanggung jawab untuk task berikutnnya  dalam project tersebut.  Pada on  progress , pengguna dapat melihat task-task yang sudah diselesaikan olehnya namun masih dikerjakan divisi lain. Pada resolved activity , pengguna dapat melihat task-task yang sudah selesai. Pada bagian assigned to me , waiting list ,  dan on  progress ;  pengguna  juga  dapat  mengekspor task-task tersebut ke bentuk excel.
Tabel 2. Test Case yang Tidak Terpenuhi pada Sub-karakteristik F2 dalam Modul Project bisnis dan Penugasan Test Case Pre-condition Test Step Expected Result Actual Result Severity Validasi client oleh non-admin -  Pengguna  bukan  dari divisi admin - Pengguna sudah berada di halaman master client
-  Ada  data client yang belum divalidasi 1. Klik tombol Validate pada client yang belum tervalidasi Muncul pesan “ Only admins can validate client .” Muncul kotak konfirmasi, dan client tervalidasi jika dikonfirmasi High Menyerahkan tugas kepada bawahan dari karyawan lain yang memiliki jabatan yang sama dan pengguna tidak memiliki bawahan -  Pengguna  tidak  memiliki bawahan -  Ada  karyawan  lain  yang memiliki  jabatan  dan  divisi yang sama -  Karyawan  lain  tersebut memiliki bawahan -  Ada task yang  ditugaskan kepada pengguna - Pengguna sudah berada di halaman task  activity dan pada tab assigned to me
1. Pilih task yang
ditugaskan
2. Klik tombol Assign
3. Pilih nama bawahan dari
karyawan lain yang memiliki jabatan dan divisi yang sama pada field Assign To 4. Pilih On Progress
pada field Status 5. Klik Send Nama bawahan karyawan lain tidak muncul dan tes tidak dapat dilanjutkan pada step 3 Muncul pesan “ Success Update .”
dan task hilang dari tab assigned to me High Mencari task yang sudah diselesaikan berdasarkan jenis project dan diurutkan berdasarkan tanggal task
- Ada lebih dari satu task yang sudah diselesaikan dengan jenis project yang sama - Pengguna sudah berada di halaman task activity dan pada tab resolved activity
1. Pilih Project Name pada form pencarian 2. Pilih Task Target Date pada field Sort By
3. Ketikan jenis
project yang sudah ada pada field Search 4. Klik tombol dengan icon kaca pembesar Muncul daftar task dalam project
yang memiliki jenis sesuai dengan yang diketikan pada kolom Search dan sudah diselesaikan, dan diurutkan berdasarkan tanggal task
Muncul daftar task dalam project yang memiliki jenis sesuai dengan yang diketikan
pada kolom Search dan sudah diselesaikan, tidak berurut sesuai dengan tanggal
task Low
Modul  laporan  menghasilkan  laporan  berupa laporan task ,  laporan project ,  dan dashboard .  Laporan task terdiri  dari  tiga  laporan,  yang  mana  menunjukkan task-task yang sedang ditugaskan, yang akan datang, dan yang  telah  diselesaikan  oleh  pengguna.  Laporan project adalah laporan yang hanya dapat diakses oleh admin dan berisi data semua project yang terjadi dalam perusahaan. Dashboard berisi  rangkuman  dari  jumlah  semua project yang  dilakukan  setiap  divisi  dalam  30  hari  terakhir, beserta total waktu keterlambatan dalam pengerjaan task untuk tiap divisi.
Modul  pengguna  berfungsi  untuk  memberikan batasan  terhadap  pengguna  mengenai  halaman  apa  saja yang dapat diakses. Modul ini juga meliputi fungsi login untuk aplikasi.
Client dan project baru  dapat  dibuat  oleh  semua divisi. Divisi admin bertanggung jawab untuk pengelolaan  master  data,  serta  melakukan  validasi terhadap client dan project baru.  Semua  divisi  lainnya berperan  untuk  menjalankan task yang  ditugaskan kepada divisi tersebut.
Evaluasi  akan  dilakukan  pada  kelima  modul tersebut.  Evaluasi  adalah  proses  mengeksekusi  suatu program  dengan  tujuan  utama  menemukan  kesalahan. Evaluasi  aplikasi  BAM  pada  karakteristik functional suitability menggunakan  instrumen test  case . Test  case adalah  seperangkat  masukan  untuk  diuji,  kondisi  untuk dieksekusi,  dan  hasil  yang  diharapkan. Test  case dalam penelitian  ini  ditujukan  untuk  memastikan  fungsi  yang dibutuhkan  dapat  berjalan  sesuai  dengan requirement . Test  case juga  ditujukan  sebagai  mekanisme  yang  dapat membantu memastikan kelengkapan tes dan menyediakan  kemungkinan  tertinggi  untuk  menangkap kesalahan yang ada dalam aplikasi.
Testing pada  modul project bisnis  dan  penugasan pada sub-karakteristik F2 menunjukkan ada beberapa test case yang tidak terpenuhi karena adanya ketidaksesuaian antara hasil yang diharapkan dan hasil yang sebenarnya, hasil yang tidak sesuai dapat dilihat pada Tabel 2. Kolom test  case menunjukkan  kasus  yang  diuji.  Kolom pre- condition berisi kondisi yang harus dipenuhi sebelum test case dijalankan.  Kolom test  step menunjukkan  langkah- langkah yang dilakukan untuk menguji test case . Kolom expected  result menunjukkan  hasil  yang  diharapkan dalam  kasus  yang  diberikan.  Kolom actual  result menunjukkan hasil yang didapatkan setelah menjalankan test step . Kolom severity menunjukkan tingkat keparahan dari  ketidaksesuaian.  Beberapa  kolom  seperti  status, error  description , remark ,  dan sign tidak  ditampilkan karena adanya keterbatasan dalam penulisan paper ini.
Ada  beberapa  ketidaksesuaian  lainnya  dengan tingkat  keparahan  rendah  yang  ditemukan  pada  modul- modul  lainnya.  Dari  ketiga  sub-karakteristik,  sub- karakteristik  F2  merupakan  karakteristik  dengan  jumlah ketidaksesuaian  tertinggi dengan  jumlah  ketidaksesuaian sebanyak  62,5%  dari  semua  ketidaksesuaian.  Jumlah ketidaksesuaian  yang  ditemukan  dari  tiap  karakteristik dapat  dilihat  pada  Tabel  3.  Dari  kelima  modul,  modul penugasan memiliki jumlah ketidaksesuaian paling tinggi dengan jumlah 37,5%.
Tabel 3. Jumlah Ketidaksesuaian yang Ditemukan
Modul Sub-karakteristik Persentase F1 F2 F3 Master 0 1 0 12,5% Project Bisnis 0 1 0 12,5% Penugasan 1 2 0 37,5% Laporan 1 1 0 25% Pengguna 0 0 1 12,5% Persentase 25% 62,5% 12,5% 100%

## 5. Kesimpulan
Dari  hasil testing ,  dapat  disimpulkan  bahwa  aplikasi BAM  yang  digunakan  masih  memiliki  beberapa ketidaksesuaian  dengan  hasil  yang  diharapkan.  Tanpa dilakukannya testing , perusahaan  tidak  akan  tahu bahwa ada  beberapa  kasus  dalam  aplikasi  yang  tidak  sesuai dengan  harapan  perusahaan  dan  berpotensi  menggangu proses bisnis perusahaan.
Secara  kesuruhan,  selain  beberapa  ketidaksesuaian tersebut, aplikasi telah memenuhi karakteristik functional suitability dalam ketiga  sub-karakteristik  F1,  F2, dan  F3 dari  standar  ISO  25010,  sehingga  aplikasi  BAM  masih layak digunakan dari sisi fungsional jika ketidaksesuaian tersebut  dapat  segera  diperbaiki,  terutama  untuk ketidaksesuaian  yang  memiliki  tingkat  keparahan  tinggi dan  menengah. Testing lebih  lanjut  dalam  karakteristik lainnya  masih  perlu  dilakukan  untuk  mengukur kelayakan aplikasi secara menyeluruh.
Metode testing UAT  yang  digunakan  juga  dinilai tepat oleh peneliti karena dapat mencakup area yang luas dari aplikasi dari sisi fungsional.

## Daftar Pustaka
[1] Y.  Hasan  Al-Mamary,  A.  Shamsuddin,  dan  N. Aziati,  “The  Role  of  Different  Types  of Information  Systems  In  Business  Organizations: A Review,” Int. J. Res. , 2014.
[2] D.  A.  Almazán,  Y.  S.  Tovar,  dan  J.  M.  M. Quintero,  “Influence  of  Information  Systems  on Organizational  Results,” Contaduría  y  Adm. , 2017.
[3] L. Mishra, R. Kendhe, dan J. Bhalerao, “Review on Management Information Systems (MIS) and its  Role  in  Decision  Making,” Int.  J.  Sci.  Res. Publ. , 2015.
[4] A.  Vera-Baquero,  R.  Colomo-Palacios,  dan  O. Molloy, “Real-time Business Activity Monitoring and  Analysis  of  Process  Performance  on  Big- Data Domains,” Telemat. Informatics , 2016.
[5] F.  M.  Nafie  dan  M.  A.  Eltahir,  “Real-Time Monitoring  and  Analyzing  Business  Process Performance,” vol. 6, no. 7, hal. 31–35, 2016.
[6] J.  G.  Kariuki,  “An  Exploration  of  the  Guiding Principles,  Importance  and  Challenges  of Monitoring  and  Evaluation  of  Community Development  Projects  and  Programmes,” Int.  J.
Bus. Soc. Sci. , vol. 5, no. 1, hal. 140–147, 2014.
[7] F.  M.  Al  Obisat,  Z.  T.  Alhalhouli,  T.  I. Alrawashdeh,  dan  T.  E.  Alshabatat,  “Review  of Literature  on  Software  Quality,” World  Comput. Sci.  Inf.  Technol.  J. ,  vol.  8,  no.  5,  hal.  32–42, 2018.
[8] A. E. Dreheeb, N. Basir, dan N. Fabil, “Impact of System  Quality  on  Users’  Satisfaction  in Continuation  of  the  Use  of  e-Learning  System,” Int. J. e-Education, e-Business, e-Management e- Learning , 2016.
[9] J.  F.  Andry,  J.  S.  Suroso,  dan  D.  Y.  Bernanda, “Improving  Quality  of  SMEs  Information System Solution with ISO 9126,” J. Theor. Appl. Inf. Technol. , 2018.
[10] J.  H.  Yahaya,  A.  Tareen,  A.  Deraman,  dan  A. Razak  Hamdan,  “Software  Quality  and Productivity  Model  for  Small  and  Medium Enterprises,” Int. J. Adv. Comput. Sci. Appl. , vol. 8, no. 5, hal. 316–320, 2017.
[11] I.  Saptarini,  S.  Rochimah,  dan  U.  L.  Yuhana, “Security  Quality  Measurement  Framework  for Academic  Information  System  (  AIS )  Based  on ISO  /  IEC  25010  Quality  Model,”  in The  2nd International Seminar on Science and Technology , 2016, hal. 128–135.
[12] A.  Idri,  L.  Sardi,  dan  J.  L.  Fernández-Alemán, “Quality  evaluation  of  gamified  blood  donation apps  using  ISO/IEC  25010  standard,”  in
HEALTHINF 2018 - 11th International Conference  on  Health  Informatics,  Proceedings; Part  of  11th  International  Joint  Conference  on Biomedical Engineering Systems and
Technologies,  BIOSTEC  2018 ,  2018,  hal.  607– 614.
[13] A.  A.  Ouassarah,  N.  Aversengy,  X.  Fournety,  J. M.  Petit,  R.  Revol,  dan  V.  M.  Scuturici, “Understanding  Business  Trends  from  Data Evolution  with  Tornado,”  in Proceedings  - International  Conference  on  Data  Engineering , 2015.
[14] Haslinda et al. ,  “Evaluation  of  e-Book Applications  Using,”  in 2015  International Symposium  on  Technology  Management  and Emerging  Technologies  (ISTMET) ,  2015,  no. August 2015, hal. 114–118.
[15] H. Setiawan, “Analisis Kualitas Sistem Informasi Pantauan  Pembentukan  Karakter  Siswa  di  SMK N  2  Depok  Sleman,” Elinvo  (Electronics, Informatics, Vocat. Educ. , 2017.
[16] J. P. Miguel, D. Mauricio, dan G. Rodríguez, “A Review  of  Software  Quality  Models  for  The Evaluation  of  Software  Products,” Int.  J.  Softw. Eng. Appl. , 2014.
[17] ISO/IEC,  “ISO/IEC  9126-1:2001  -  Software engineering  --  Product  quality  --  Part  1:  Quality model,” Software  Process:  Improvement  and Practice . 2001.
[18] ISO;  IEC,  “Software  Engineering  —  Software Product  Quality  Requirements  and  Evaluation (SQuaRE)  —  Data  Quality  Model  (ISO/IEC 25012:2008(E)),” ISO/ IEC . 2008.
[19] IEEE,  “IEEE  Standard  Glossary  of  Software Engineering  Terminology  (IEEE  Std  610.12- 1990).  Los  Alamitos,” CA  IEEE  Comput.  Soc. , 1990.
[20] E.  V.  Sandin,  N.  M.  Yassin,  dan  R.  Mohamad, “Comparative  Evaluation  of  Automated  Unit Testing  Tool  for  PHP,” Int.  J.  Softw.  Eng. Technol. , vol. 03, no. 2, hal. 7–11, 2016.
[21] D.  W.  Utomo,  D.  Kurniawan,  dan  Y.  P.  Astuti, “Teknik  Pengujian  Perangkat  Lunak  dalam Evaluasi  Sistem  Layanan  Mandiri  Pemantauan Haji  pada  Kementerian  Agama  Provinsi  Jawa Tengah,” Simetris J. Tek. Mesin, Elektro dan Ilmu Komput. , 2018.
[22] S.  V. Pathak, “Acceptance Testing Technique:  A Survey  Along  with  Its  Operating  Frameworks,” Int.  J.  Recent  Innov.  Trends  Comput.  Commun. , vol. 4, no. 4, hal. 772–775, 2016.