DOI: https://doi.org/10.31933/jemsi.v5i3 Received: 30 Desember 2024, Revised: 04 Januari 2024, Publish: 15 Januari 2024 https://creativecommons.org/licenses/by/4.0/

## Analisis Kualitas Production Planning Information System Menggunakan McCall’s Framework
Haryanto Tanuwijaya 1 , A.B. Tjandrarini 2 1 Universitas Dinamika, e-mail: haryanto@dinamika.ac.id 2 Universitas Dinamika, e-mail: asteria@dinamika.ac.id
Corresponding Author: asteria@dinamika.ac.id 2
Abstract: A company in the city of Surabaya has developed a production planning information system  which  aims  to  increase  company  productivity  and  performance  amidst  increasingly tight business competition in the digital era. The aim of this research is to analyze the quality of the production planning information system so that it can meet company quality standards. Analysis of the quality of information systems in this research uses McCall's Framework in order  to  analyze  more  deeply  and  comprehensively  by  focusing  on  the  product  operations category. The conclusion of this research is that the production planning information system meets  good  quality,  especially  in  the  factor  of  correctness  (85%),  reliability  (86.80%),  and usability 19.245 ± 10.547. There is a need to increase the efficiency factor, especially user understanding  and  skills,  and  increase  the  integrity  factor,  especially  the  safety  sub-factor (40%).  The  results  of  this  research  can  be  a  reference  for  the  development  of  production planning information systems in the future.

## Keyword: Quality  of  Information  System,  McCall’s  Framework,  Production  Planning Information System
Abstrak: Sebuah  perusahaan  di  kota  Surabaya  telah  mengembangkan production  planning information system yang bertujuan untuk meningkatkan produktivitas dan kinerja perusahaan di  tengah  persaingan  bisnis  yang  semakin  ketat  di  era  digital. Tujuan  penelitian  ini  untuk menganalisis  kualitas production  planning information  system agar  dapat  memenuhi  standar mutu perusahaan. Analisis kualitas sistem informasi pada penelitian ini menggunakan McCall’s Framework agar dapat menganalisis lebih mendalam dan menyeluruh dengan difokuskan pada kategori product  operation .  Kesimpulan  dari  penelitian  ini  adalah production  planning information system memenuhi kualitas baik terutama pada faktor correctness (85%), reliability (86,80s%), dan usability 19,245 ± 10,547. Perlu peningkatan pada faktor efficiency terutama pemahaman  dan  keterampilan  pengguna  dan  peningkatan  faktor integrity terutama  pada subfaktor security (40%). Hasil penelitian ini dapat menjadi acuan pengembangan production planning information system di masa yang akan datang.
Kata Kunci: Kualitas  Sistem  Informasi,  McCall’s  Framework,  Production  Planning Information System

## PENDAHULUAN
Pemanfaatan  teknologi  informasi  sudah  tidak  terelakkan  lagi  dalam  menghadapi persaingan bisnis yang semakin ketat di era digital saat ini. Banyak perusahaan bisnis berupaya menerapkan  teknologi  informasi  untuk  membantu  meningkatkan  kegiatan  operasional  agar lebih efektif dan efisien dalam menjalankan bisnisnya (Sismadi, dkk, 2022). Perusahaan HC di kota Surabaya telah mengembangkan production planning information system disingkat PPIS yang bertujuan untuk meningkatkan produktivitas dan kinerja perusahaan (Purnawan, 2016). PPIS  yang  dikembangkan  ini  menerapkan  metode Bill  of  Materials (BOM)  dan  telah terintegrasi  dengan  sistem  informasi  pembelian,  kepegawaian, inventory ,  dan  penjualan. Purnawan  (2016)  menyatakan  penggunaan  metode  BOM  pada  PPIS  sangat  penting  karena dapat menunjukkan struktur kebergantungan ( dependency structures ) sehingga memudahkan dalam perencanaan kebutuhan bahan baku dalam suatu komponen atau parts .
Dalam pengembangan suatu sistem informasi, aspek kualitas merupakan aspek penting karena dapat memengaruhi kinerja sistem informasi itu sendiri (Andriyani, dkk, 2020). Salah satu aspek yang memenuhi kualitas sistem informasi adalah timbulnya kepuasan sebagian besar pengguna  sistem  informasi  tersebut.  Kepuasan  pengguna  juga  merupakan  salah  satu  faktor penentu  kesuksesan  penerapan  sistem  informasi.  Perusahaan  HC  menginginkan  PPIS  yang digunakan telah memenuhi sasaran mutu perusahaan. Namun sampai sejauh ini, perusahaan belum melakukan pengukuran tingkat kualitas PPIS sehingga tidak mengetahui sejauh mana kualitas  PPIS  khususnya  dari  aspek  pengguna.  Untuk  itu  tujuan  dari  penelitian  ini  adalah melakukan  analisis  kualitas production  planning information  system (PPIS)  menggunakan McCall’s Framework . Yurindra (2017) menyatakan McCall’s Framework banyak digunakan dalam pengukuran kualitas sistem disebabkan tiga kategori, yaitu: product revision , product transition ,  dan product  operation yang  memungkinkan  pengujian  kualitas  sistem  lebih mendalam dan menyeluruh. Oleh karena itu, penelitian ini menggunakan McCall’s Framework dalam menganalisis kualitas PPIS dengan difokuskan pada kategori product operation yang terdiri  atas  lima  faktor,  yaitu: correctness,  reliability,  efficiency,  integrity, dan usability . Kontribusi  hasil  penelitian  ini  pada  perusahaan  adalah  dapat  dijadikan  pedoman pengembangan PPIS di masa mendatang.

## METODE
Penelitian  ini  merupakan  penelitian  deskriptif  kualitatif  yang  di  dalam  penelitian mendeskripsikan  suatu  keadaan  berpedoman  pada  sebuah framework yang  disusun  McCall (Mulyanto, 2016). McCall’s Framework fokus pada kategori product operation yang dalam penelitian ini dapat dilihat pada Gambar 1.
Sumber: Pressman (2012) Gambar 1. McCall’s Framework
Correctness  Reliability  Efficiency  Integrity  Usability Product Revision Product Transition Product Operation Maintainability Flexibility Testability Portability Reusability Interoperability Testability
Tahapan pada penelitian ini terdiri atas tujuh tahapan yang disesuaikan dengan tahapan penelitian  dimulai  dari  penentuan  obyek  penelitian  sampai  pada  hasil  penelitian.  Tahapan dalam penelitian ini ditunjukkan selengkapnya pada Gambar 2.
Sumber: Mulyanto (2016)
Gambar 2. Tahapan Penelitian
Obyek  penelitian  yang  digunakan  dalam  penelitian  ini  adalah production  planning information  system (PPIS)  pada  Perusahaan  HC.  Pemilihan  obyek  penelitian  ini  dengan pertimbangan bahwa PPIS telah terintegrasi dengan sistem informasi pembelian, karyawan, inventory ,  dan  penjualan  sehingga  cukup  kompleks  dan  sangat  penting  dalam  mengatasi permasalahan  perusahaan.  Namun  sampai  sejauh  ini  kualitas  PPIS  belum  pernah  dianalisis melalui  tahapan  standar  atau  kerangka  pengukuran  kualitas  apapun.  Padahal  PPIS  ini  telah digunakan  sejak  pertama  kali  dikembangkan  oleh  Purnawan  (2016)  dan  telah  mengalami beberapa  kali  pengembangan  oleh  divisi  teknologi  informasi  perusahaan.  Tampilan  menu utama pada PPIS ditunjukkan pada Gambar 3.

## Gambar 3. Tampilan Menu Utama PPIS
Dalam penelitian ini, instrumen pengukuran faktor operability menggunakan kuesioner yang disebarkan kepada para pengguna melalui Google Form . Pengguna menjawab pernyataan pada kuesioner menggunakan skala Likert 1-5 yang menyatakan 5 = Sangat Setuju, 4 = Setuju, 3  =  Netral,  2  =  Tidak  Setuju,  dan  1  =  Sangat  Tidak  Setuju.  Pengukuran operability menunjukkan kemudahan pengguna dalam mengoperasikan PPIS. Menurut Badr Interactive (2021) terdapat enam hal yang perlu diukur pada subfaktor operability , yaitu: learnability , ease of  use , helpfulness , attractiveness , appropriateness  and  recognisability ,  dan technical
Penentuan
Obyek
Penelitian Identifikasi Masalah
Perancangan Instrumen Pengujian Faktor Kualitas Pengujian Faktor Kualitas Analisis Hasil Penelitian Hasil Penelitian Penentuan Kriteria Metric
Kualitas SI
Product Operation: • Correctness
• Reliability
• Efficiency
• Integrity
• Usability
accessibility  compliance .  Pernyataan  kuesioner  pengukuran operability selengkapnya  dapat dilihat pada Tabel 1.
Tabel 1. Kuesioner Pengukuran Operability No Pernyataan 1.  PPIS dapat dipelajari dengan mudah.
2.  PPIS dapat dioperasikan dengan mudah.
3.  Semua fitur pada PPIS dapat dicari dengan mudah.
4. User interface PPIS menyenangkan dan mudah diakses.
5.  PPIS berjalan sesuai dengan kebutuhan pengguna.
6.  PPIS memberikan akses teknis yang mudah.

## HASIL DAN PEMBAHASAN
Hasil  pengujian  metrik  kualitas  PPIS  yang  berfokus  pada  kategori product  operation terdiri atas faktor: correctness, reliability, efficiency, integrity, dan usability dalam penelitian ini dibahas selengkapnya sebagai berikut:

## 1. Pengujian Correctness
Pengujian correctness digunakan  untuk  mengukur  sejauh  mana  PPIS  telah  memenuhi spesifikasi dan tujuan misi dari penggunanya. Nilai metrik faktor correctness diperoleh dari rerata nilai tiga subfaktor yaitu completeness, traceability , dan consistency seperti terlihat pada persamaan 1.
Nilai correctness = ( completeness + traceability + consistency ) / 3 …..…...…………(1)
Completeness menunjukkan  kesesuaian input dan output pada  pengaksesan  fitur-fitur sistem informasi, sedang Traceability menunjukkan kemudahan penelusuran kembali data atau informasi yang dibutuhkan pengguna, dan Consistency menunjukkan konsistensi keseragaman desain dan dokumentasi pengembangan sistem informasi.
Hasil  pengukuran  pada  40  fitur  PPIS,  diperoleh  37  fitur  yang  sesuai input dengan output nya  dan  hanya  3  fitur  yang  tidak  sesuai.  Dengan  demikian  nilai completeness yang diperoleh adalah 37/40 = 92,5%. Pengukuran traceability pada 40 fitur memperoleh hasil 33 fitur  memiliki  kesesuaian  dan  hanya  7  fitur  yang  tidak  sesuai.  Dengan  demikian  nilai traceability 33/40 = 82,5%. Pada pengukuran consistency terhadap 40 fitur diperoleh 32 fitur memiliki  kesesuaian  dan  hanya  8  fitur  yang  tidak  sesuai.  Nilai consistency yang  diperoleh adalah  32/40  =  80%.  Dengan  demikian  nilai correctness PPIS  yang  dihitung  berdasarkan persamaan 1 adalah:
Nilai correctness = (92,5% + 82,5% + 80%) / 3 = 255% / 3 = 85%

## 2. Pengujian Reliability
Pengujian reliability digunakan untuk mengukur sejauh mana PPIS dapat melaksanakan fungsinya dengan ketelitian tertentu. Nilai metrik reliability diperoleh dari rerata 5 subfaktor yaitu accuracy, consistency, error tolerance, modularity, dan simplicity seperti tampak pada persamaan 2.
Nilai reliability = ( accuracy + error tolerance + consistency + modularity + simplicity ) / 5 ……(2)
Accuracy berfokus pada kebenaran informasi yang diperoleh dengan yang sebenarnya, Consistency menunjukkan konsistensi keseragaman desain dan dokumentasi pengembangan sistem  informasi, Error  Tolerance menunjukkan  toleransi  kesalahan  pada  saat  program mengalami kegagalan, Modularity menunjukkan komponen program standar yang berfungsi
secara  independen,  dan  terakhir Simplicity menunjukkan  kesederhanaan  rancangan  sistem informasi sehingga mudah dipahami dan digunakan.
Hasil  pengukuran  pada  48  fitur  PPIS,  terdapat  42  fitur  yang  sesuai input dengan output nya  dan  terdapat  6  fitur  yang  tidak  sesuai.  Dengan  demikian  nilai accuracy yang diperoleh  adalah  42/48  =  87,5%.  Nilai consistency sama  dengan  perolehan  pada  pengujian correctness yaitu 32/40 = 80%. Hasil pengukuran error tolerance pada 42 fitur, terdapat 38 fitur yang sesuai dan 4 fitur tidak sesuai sehingga nilai error tolerance adalah 38/42 = 90,48%. Pengujian modularity dilakukan pada 25 fitur dengan hasil 22 fitur yang modular independen dan  terdapat  3  fitur  yang  belum  modular  independen.  Dengan  demikian  hasil  pengujian subfaktor modularity adalah 22/25 = 88%. Terakhir pengujian simplicity pada 25 fitur dengan hasil 22 fitur memenuhi kesederhanaan dan mudah dipahami, sehingga subfaktor simplicity memiliki nilai 22/25 = 88%.
Dengan demikian nilai metrik reliability PPIS yang dihitung berdasarkan persamaan 2 adalah:
Nilai reliability = (87,5% + 90,48% + 80% + 88% + 88%) / 5 = 433,98% / 5 = 86,80%

## 3. Pengujian Efficiency
Pengujian efficiency digunakan untuk mengukur jumlah sumber daya komputasi yang dibutuhkan  sistem  informasi  dalam  melaksanakan  fungsi-fungsinya.  Nilai  metrik efficiency diperoleh dari rerata 3 subfaktor yaitu conciseness, execution efficiency, dan operability seperti tampak pada persamaan 3.
Nilai efficiency = ( conciseness + execution efficiency + operability ) / 3 ………..…(3)
Conciseness menunjukkan ringkas tidaknya sebuah program dengan menghitung line of commands (LOC).  Perhitungan conciseness diperoleh  dari  rerata  total classes x  100%, sedangkan nilai rerata total classes dapat dihitung menggunakan persamaan 4.
Classes X = Σdeklarasi classes X / Total LOC ……………………………………….(4)
Pada penelitian ini berhasil menguji 95 classes dari total 4118 LOC. Nilai rerata classes yang dihitung berdasarkan persamaan 4 adalah 95 classes / 4118 = 0,023069. Diperoleh nilai standar deviasi sebesar 0,012539, sehingga nilai conciseness adalah 2,31% ± 1,25%.
Execution efficiency menunjukkan kinerja run-time program yang menyatakan efisiensi sistem  informasi  dalam  kaitan  penggunaan  memori  saat  sistem  informasi  dioperasikan menggunakan peralatan tertentu. Mengacu pada Rahmawati, dkk (2016), pengujian execution efficiency dalam  penelitian  menggunakan browser mozilla  firefox dan google  chrome pada aktivitas login , penambahan permintaan, pembuatan jadwal, penambahan jadwal, perubahan, cetak jadwal, cetak laporan, dan logout , dengan perhitungan menggunakan persamaan 5.
Execution efficiency = Rata-rata usage of memory (MB) / Total RAM (MB) x 100% ….....(5)
Hasil  pengujian execution  efficiency menggunakan browser  mozilla  firefox diperoleh nilai  sebesar  1,53%  ±  0,28%,  sedangkan  untuk  pengujian  menggunakan browser  google chrome diperoleh nilai sebesar 0,51% ± 0,06%. Sutiono (2021) menyatakan bahwa semakin kecil penggunaan memori RAM maka semakin efisien pula sistem yang dijalankan. Dengan demikian nilai execution efficiency yang paling efisien menggunakan browser google chrome sebesar 0,51% ± 0,06%.
Pada pengujian operability dilakukan terhadap sejumlah 25 karyawan pengguna PPIS yang  terintegrasi  dengan  mengisi  kuesioner  yang  dibagikan  melalui google  form .  Hasil pengujian operability selengkapnya ditunjukkan pada Tabel 2.
Tabel 2. Hasil Pengukuran Operability No Pernyataan SS S N TS STS  Jumlah 1  PPIS dapat dipelajari dengan mudah. 9 11 3 1 1 25 2  PPIS dapat dioperasikan dengan mudah. 3 9 9 4 0 25 3  Semua fitur pada PPIS dapat dicari dengan mudah. 8 14 2 1 0 25 4 User interface PPIS menyenangkan dan mudah diakses. 6 9 6 4 0 25 5  PPIS berjalan sesuai dengan kebutuhan pengguna. 5 10 7 3 0 25 6  PPIS memberikan akses teknis yang mudah. 2 6 12 4 1 25 Total  33 59 39 17 2 150
Setelah  menghasilkan  pengukuran operability pada  Tabel  2,  selanjutnya  dilakukan pengukuran dari setiap kategori skala. Nilai perhitungan bobot setiap kategori skala diperoleh dari perkalian bobot skor kategori skala dengan jumlah total setiap bobot sebagai berikut.
Kategori skala “sangat setuju” diperoleh dari 5 x 33 = 165.
Demikian dihitung untuk setiap kategori skala dan dijumlahkan menjadi total bobot hingga diperoleh rerata total bobot sebagai berikut.
Rerata total bobot = ((5 x 33) + (4 x 59) + (3 x 39) + (2 x 17) + (1 x 2)) / 5 = (165 + 236 + 117 + 34 + 2) / 5 = 554 / 5 = 110,8 Standar Deviasi    = 95,38
Nilai operability = Rata−rata total bobot / Jumlah Opsi = 110,8 / 5 = 22,16 dengan Standar Deviasi = 95,38 / 5 = 19,08
Dari perhitungan tersebut diperoleh nilai operability sebesar 22,16 ± 19,08 yang menyatakan bahwa pengguna PPIS menyatakan setuju akan kemudahan pengoperasian PPIS.

## 4. Pengujian Integrity
Pengujian Integrity dilakukan untuk menguji sejauh mana pengendalian akses ke PPIS beserta  datanya  telah  dilakukan  perusahaan  sehingga  terhindar  dari  akses  pihak  yang  tidak bertanggung  jawab.  Nilai  metrik Integrity ditentukan  dari  rerata  tiga  subfaktor,  yaitu: auditability , instrumentation , dan security seperti ditunjukkan pada persamaan 6.
Nilai Integrity = ( auditability + instrumentation + security ) / 3 ……………………...(6)
Auditability menunjukkan  kemudahan  memeriksa  pemenuhan  PPIS  terhadap  standar yang telah ditetapkan, sedang Instrumentation menunjukkan adanya kegiatan pengawasan dan identifikasi terhadap kesalahan pengoperasian PPIS oleh pengguna, dan Security menunjukkan ketersediaan  kebijakan  dan  mekanisme  pengendalian  dan  perlindungan  terhadap  PPIS  serta data dan informasi dari kerentanan keamanan.
Hasil pengukuran auditability pada 40 fitur PPIS, terdapat 32 fitur yang telah memenuhi standar yang ditetapkan, sedangkan yang tidak sesuai dengan standar 8 fitur. Dengan demikian nilai pengukuran auditability adalah 32/40 x 100% = 80%. Pengukuran instrumentation pada 42  fitur  mendapatkan  hasil  38 fitur  teridentifikasi  adanya  pengendalian  kesalahan  saat pengoperasian  sistem  informasi,  dan  hanya  4 fitur  tanpa  pengendalian  kesalahan.  Dengan demikian  nilai instrumentation adalah  38/42  =  90,48%.  Menurut  Badr  Interactive  (2021)
terdapat lima hal yang perlu dilakukan pengujian pada subfaktor security yaitu confidentiality , integrity , authenticity , accountability ,  dan non-repudiation .  Hasil  pengujian  pada security ditunjukkan  pada  Tabel  3,  sehingga  diperoleh  nilai security adalah  2/5  =  40%.  Dengan demikian nilai integrity PPIS yang dihitung berdasarkan persamaan 6 adalah:
Nilai integrity = (80% + 90,48% + 40%) / 3 = 210,48% / 3 = 70,16%
Tabel 3. Hasil Pengujian Subfaktor Security PPIS No Pernyataan Hasil 1.  Hanya  pengguna  yang  telah  terautorisasi  yang  dapat  mengakses informasi dari service provider . Memenuhi 2.  PPIS dapat mencegah modifikasi data oleh pihak tertentu. Memenuhi 3.  Identitas eksternal service provider terautentikasi sebelum meminta akses ke informasi tertentu. Tidak Memenuhi 4.  Tindakan  entitas  dapat  ditelusuri  secara  unik  sehingga  batas fungsional sistem menjadi jelas. Tidak Memenuhi 5.  Seluruh aktivitas pada PPIS tercatat dan dapat dijadikan bukti suatu kejadian. Tidak Memenuhi

## 5. Pengujian Usability
Pengujian Usability dilakukan untuk menguji sejauh mana upaya yang telah dilakukan untuk mempelajari, mengoperasikan serta menyiapkan input dan mengartikan output dari PPIS. Nilai  metrik usability ditentukan  dari  rerata  dua  subfaktor,  yaitu: operability dan training seperti ditunjukkan pada persamaan 7.
Nilai Usability = ( training + operability ) / 2 ………………………….……………...(7)
Training menunjukkan  sejauh  mana  PPIS  menyediakan  fitur  yang  dapat  membantu pengguna  baru  memahami  PPIS  sebelum  mengoperasikannya.  Pada  pengujian Training dilakukan  percobaan  sebanyak  20  kali  dengan  3  tugas  yang  dilakukan  pada  tiap  percobaan training .  Hasil  pengujian training menunjukkan  bahwa  PPIS  menyediakan  rata-rata  waktu pemahaman pemakaian sebesar 16,33 detik ± 2,0142 detik. Untuk operability , sebagaimana yang sudah dibahas di bagian 3, nilai operability yang telah diperoleh adalah sebesar 22,16 ± 19,08. Dengan demikian nilai usability dapat dihitung berdasarkan persamaan 7 adalah:
Nilai Usability = (16,33 + 22,16) / 2 ± (2,0142 + 19,08) / 2 = 19,245 ± 10,547
Berdasarkan pengukuran kelima faktor pada aspek product operation dalam penelitian ini  menunjukkan  faktor correctness , reliability ,  dan usability sangat  baik  dalam  memenuhi kualitas  sistem  informasi  yang  diharapkan,  sedangkan  faktor efficiency perlu  ditingkatkan karena  terlihat  hanya  61,33%  pengguna  yang  menyatakan  sangat  setuju  dan  setuju  pada subfaktor operability ,  dan  perlu  peningkatan  pada  faktor integrity terutama  pada  subfaktor security yang hanya terpenuhi 40%.

## KESIMPULAN
Berdasarkan  hasil  analisis  kualitas  PPIS  menggunakan  McCall’s Framework dalam penelitian ini, dapat disimpulkan bahwa secara umum PPIS dapat dinyatakan telah memenuhi kualitas sebagaimana yang diharapkan ditunjang dari tiga faktor yang memenuhi kualitas baik yaitu: correctness , reliability , dan usability . Pada faktor efficiency perlu dilakukan pelatihan untuk  meningkatkan  pemahaman  pengguna  pada  PPIS  dan  keterampilan  pengguna  dalam menggunakan  fitur  yang  tersedia  pada  PPIS.  Peningkatan  juga  perlu  dilakukan  pada  faktor
integrity terutama subfaktor security untuk mengurangi risiko akibat kerentanan keamanan dari gangguan pihak yang tidak bertanggung jawab.
Saran pada penelitian ini adalah perlu dilakukan analisis terhadap dua aspek lain pada McCall’s Framework , yaitu product revision dan product transition . Perusahaan juga dapat melakukan  analisis  PPIS  menggunakan framework lain  sebagai  pembanding  dengan  hasil penelitian  ini sehingga dapat menentukan arah pengembangan PPIS di masa mendatang.

## REFERENSI
Andriyani, Y., Dewana, J.A., dan Daqiqil, I.I. 2020. Implementasi Mccall’s Framework Dalam Pengujian Kualitas Perangkat Lunak (Studi Kasus Portal Kuliah Kerja Nyata Universitas Riau). Jurnal Teknik Informatika , vol. 13, no. 2, pp. 201-212.
Badr Interactive. 2021. Software Quality Compliance . Alamat website: https://badr.co.id. Mulyanto, A. 2016. Pengujian Sistem Informasi Akademik Menggunakan McCall’s Software Quality Framework . Jurnal Informatika Sunan Kalijaga , vol. 1, no. 1, pp. 47-57.
Pressman,  R.S.  2012. Rekayasa  Perangkat  Lunak:  Pendekatan  Praktis,  Buku  1  Edisi  7. Yogyakarta: Andi Offset.
Purnawan, Yose. 2016. Rancang Bangun Aplikasi Perencanaan Produksi Pada CV Herry &
Co .  Kerja  Praktik  S1  Sistem  Informasi.  Surabaya:  Fakultas  Teknologi  dan  Informatika Universitas Dinamika.
Rahmawati, F., dkk. 2016. Quality Testing of Order Management Information System Based On McCall’s Quality Factors. International Journal Informatics Development , vol. 5, no. 2, pp. 12–20.
Sismadi,  W.,  dkk.  2022.  Comparative  Analysis  of  Codeigniter,  Laravel,  and  Ktupad Frameworks:  Case  Study  Online  Exam  Applications. Indonesian  Journal  of  Applied Research , vol. 3, no. 3, pp. 207-219. Sutiono.  2021. Pengaruh  RAM  Terhadap  Kerja  Komputer .  Alamat  website: https://dosenit.com/hardware/ram/pengaruh-ram-terhadap-kerja-komputer.
Yurindra. 2017. Software Engineering: Pendekatan Model Proses Pengembangan Perangkat Lunak  Pendekatan  Proses  Kematangan  &  Penilaian  Perangkat  Lunak .  Yogyakarta: Deepublish.