## ANALISIS  KUALITAS  DAN PENGEMBANGAN SISTEM  INFORMASI  AKADEMIK  BERBASIS WEB MENGGUNAKAN  STANDARD  ISO 9126

## Tika Novita Sari
Universitas Gadjah  Mada e-mail:  tikansari@gmail.com

## ABSTRAK
Penelitian  ini  bertujuan  untuk   merancang  dan  membuat  sistem  informasi  ak ademik   SMK  Negeri  2  Depok   Sleman berbasis  web  serta  mengetahui  k ualitas  perangk at  lunak   yang  dik embangk an  berdasark an  ISO  9126.  Penelitian  ini menggunak an  metode  Research  and  Development  (R&D)  dan  model  pengembangan  Waterfall.  Model  pengembangan waterfall yaitu analisis k ebutuhan, desain, implementasi, dan pengujian. Pengujian perangk at lunak dilakukan berdasark an Web Quality Evaluation Method (WebQEM), dengan aspek : functionality, efficiency, reliability , dan usability. Hasil dari penelitian ini adalah: (1) Sistem Informasi Ak ademik  SMK Negeri 2 Depok  Sleman dik embangkan menggunak an framework Codeigniter  dengan  fitur:  manajemen  admin,  manajemen  guru,  manajemen  wali  k elas, dan siswa (rapor); dan (2) hasil pengujian sistem informasi ak ademik  diperoleh nilai functionality sebesar 1 (Baik ), pengujian efficiency diperoleh nilai 96% dengan YSlow dan 94% dengan Page Speed (Grade A) dan wak tu respon sebesar 3,33 detik  (Diterima), pengujian reliability diperoleh tingk at reliability 99,5% (Memenuhi), dan pengujian usability sebesar 74,33% (Tinggi) dan nilai Apha -Cronbach 0,872  (Baik ).  Berdasark an  hasil  analis  k ualitas  dengan  WebQEM  tersebut  mak a  sistem  informasi  ak ademik   yang dik embangk an layak  untuk  digunak an.
Kata kunci : Kualitas Perangk at Lunak , Sistem Informasi Ak ademik , Web, ISO 9126 , WebQEM

## ABSTRACT
The  aims  of  the  research  are  being  able  to  design  and  develop  web -based  academic information system of SMKN 2 Depok , and k nowing the quality of the software developed based  on ISO 9126. The methods of this research are Research and Development (R&D) and Waterfall development model, these are  need analysis, design, implementation (coding); and testing. Testing of software is done based on Web Quality Evaluation Method (WebQEM), these aspect are:  functionality, efficiency,  reliability,  and  usability.  The  results  of  th is  research  are:  (1)  Academic  information system of SMK Negeri 2 Depok   Sleman developed using Codeigniter framework  supported by features: admin management, teacher management, and  student  (report);  and  (2)  the  value  of  functionality  is  1  (Good),  96%   for  efficiency  test  using  YSlow  and  94%  by PageSpeed (Grade A) and load time is 3,33 second (Accepted), reliability test is 99,5% (Appropriate), and usability test is 74,33% (High) followed by 0,872 for Alpha-Cronbach (Good).
Keywords : Software Quality, Academic Information System, Web,  ISO 9126

## I. P ENDAHULUAN
utu  sebuah  sekolah  dapat  dilihat  dari  tertibnya  administrasi  dan  pelayanan.  Salah  satu  bentuk  tertib administrasi  adalah  adanya  mekanisme  kerja  yang  efektif  dan  efisien,  baik  secara  vertikal  maupun horizontal  [1].  Menurut [2], salah satu ciri-ciri sekolah yang bermutu adalah berfokus pada pelanggan, baik  pelanggan  internal  maupun  eksternal.  Ciri-ciri  mutu  sekolah  lainnya  adalah  nilai  moral  tinggi,  hasil  ujian tinggi, penerapan teknologi terbaru, pemimpin yang kuat, perhatian terhadap siswa, serta dukungan orang tua dan masyarakat.
Peneliti  telah  melakukan  survey  di  SMK  Negeri  2  Depok Sleman yaitu dengan narasumber Bapak Sugiarto, S.T., pada tanggal 20 November 2013 yang merupakan staff ahli wakil kepala sekolah bidang kurikulum. Saat ini SMK  Negeri  2  Depok  Sleman  sedang  meningkatkan  pelayanan  administrasi  sekolah.  Sarana  dan  prasarana  di sekolah  ini  cukup  lengkap,  salah  satunya  adalah  fasilitas  internet.  Namun,  dalam  menyampaikan  informasi kepada  guru,  siswa,  wali  kelas,  karyawan,  maupun  wali  murid  sekolah  ini  masih  menggunakan media lisan dan tulisan (kertas). Kendala yang dihadapi dengan cara tersebut adalah harus menyiapkan koordinasi antara guru dan wali kelas sehingga memerlukan waktu lama. Informasi yang cepat berubah membuat sekolah ini harus berulang- ulang mengadakan koordinasi  dan perubahan informasi.
Proses  pengelolaan  nilai  akademik  di  SMK  Negeri  2  Depok  Sleman  dapat  dikatakan cukup rumit. Pertama, guru  pengampu  mengolah  nilai  siswa  yang  diampunya  kemudian  diserahkan  kepada  bagian  kurikulum. Selanjutnya  bagian  kurikulum  menyerahkan  berkas  tersebut  kepada  wali  kelas.  Wali  kelas  memasukkan  nilai dalam rapor, dan menyerahkan kembali kepada bagian kurikulum. Proses tersebut rumit dan membutuhkan waktu lama.
M
Berdasarkan  permasalahan  tersebut,  maka  diperlukan  sebuah  sistem  informasi  untuk  mengelola  nilai akademik  siswa  yang  diuji  kualitasnya.  Sistem  yang  diusulkan  diuji  dengan  standar  ISO  9126  yang  telah diidentifikasi  oleh  [3]  dalam  WebQEM  meliputi functionality,  efficiency,  reliability, dan usability .  ISO  9126 dipilih  karena merupakan standar kualitas internasional yang sudah teruji validitas  dan reliabilitasnya.
Tujuan  dari  penelitian  ini  adalah  mengetahui  proses  perancangan  dan  pembuatan  perangkat  lunak  sistem informasi akademik dan mengetahui kualitas perangkat lunak yang dikembangkan berdasarkan standar ISO 9126. Sistem  ini  diharapkan  dapat  bermanfaat  untuk  pengguna  yaitu  guru  dan  siswa  serta  peneliti  untuk  memahami lebih  jauh tentang teknologi  informasi.

## II. M ETODE

## A. ISO 9126
International  Organization  for  Standarization  (ISO)  dalam  ISO  Standard  9126  telah  mengusulkan  beberapa karakteristik  untuk  melakukan  pengujian  terhadap  kualitas  sebuah  perangkat  lunak.  ISO-9126  [4] mengidentifikasikan  enam  karakteristik  sebuah  perangkat  lunak  dikatakan  berkualitas  yaitu: functionality, reliability, usability, efficiency, maintability, dan portability yang ditunjukkan pada Tabel I.
T ABEL I K ARAKTERISTIK DAN S UB - KARAKTERISTIK ISO 9126 [5] Karakteristik Sub-Karakteristik Functionality suitability, accuracy, interoperability, security Reliability m aturity, fault tolerance, recoverability Usability understandability, learnability, operability, attractiveness Efficiency tim e behavior, resource utilization Maintainability analyzability, changeability, stability Portability
daptability, installability, co-existence, replacability
Dalam  Web  Quality  Evaluation  Method  (WebQEM)  [3]  mengusulkan  beberapa  karakteristik  untuk melakukan  pengujian  terhadap  aplikasi  web.  Olsina  mengidentifikasikan  empat  karakteristik  dari  sisi  pengguna yaitu functionality, efficiency, reliability , dan usability . Alasan mengidentifikasi keempat karakteristik tersebut karena  dalam  bidang  akademik  orientasi  penting  adalah  pengguna  (siswa, guru, dsb). Setiap aspek dapat diukur menggunakan metode pengukuran yang berbeda [6].

## B. Jenis Penelitian
Penelitian ini menggunakan model penelitian dan pengembangan ( research and development ) yang digunakan untuk  menghasilkan  produk  tertentu  dan  menguji  keefektifan  produk  tersebut  [7].  Model  pengembangan  yang digunakan  adalah  model  proses waterfall .  Model proses waterfall adalah model klasik yang bersifat sistematis, berurutan  dalam  membangun  suatu  perangkat  lunak  [8].  Gambar  1  merupakan  tahapan-tahapan  dalam  model waterfall [9]:
Gambar 1. Model Waterfall

## C. Waktu dan Tempat Penelitian
Penelitian  ini  dilakukan  pada  tanggal  8  November  2013  hingga  14  Maret  2014.  Penelitian  ini  dilakukan  di SMK Negeri 2 Depok Sleman.

## D. Subjek Penelitian
Subjek  penelitian  dalam  penelitian  ini  adalah  siswa  dan  guru  ( usability ),  ahli  pemrograman  ( functionality ), dan dokumentasi  ( efficiency dan reliability ).

## E. Prosedur
1) Analisis Kebutuhan
Pada  tahap  analisis  kebutuhan  dilakukan  identifikasi  kebutuhan  apa saja yang diperlukan dalam perancangan sistem informasi akademik. Kemudian dibuat daftar permintaan atau kebutuhan pengguna ( user requirement list ) yang perlu dikembangkan  dalam sistem informasi  akademik ini.
2) Desain
Desain  yang  dibuat  dalam  penelitian  ini  adalah  desain  UML  ( use  case  diagram,  activity  diagram,  class diagram, sequence diagram ), desain database , dan desain interface .
3) Implementasi
Implementasi  dilakukan  dengan menggunakan framework Codeigniter dan database MySQL.
Analisis Kebutuhan Desain Implementasi Pengujian

## 4) Pengujian
Dalam Web Quality Evaluation Method (WebQEM) [3] mengusulkan beberapa karakteristik untuk melakukan pengujian  terhadap  aplikasi  web.  Olsina  mengidentifikasikan empat karakteristik yaitu functionality, efficiency, reliability, dan usability .  Pengujian  yang  dilakukan  adalah functionality,  efficiency,  reliability , dan usability seperti yang telah diidentifikasi  untuk aplikasi  web dalam WebQEM ( Web Quality Evaluation Model ).

## F. Data, Instrumen, dan Teknik Pengumpulan Data

## 1) Functionality
Aspek  functionality  diuji  ahli pemrograman ( programmer/ developer ) dengan menggunakan kuisioner sesuai dengan  fungsi  pada user  requirement  list .  Sehingga,  dapat  diketahui  fungsi  fungsi  yang  berjalan  dan  tidak berjalan ( error ).
2) Efficiency
Pengujian  ini  menggunakan  alat  ukur  YSlow  yang  dikembangkan  oleh Yahoo Developer Network dan Page Speed  yang  dikembangkan  oleh  Google  Developer untuk mengukur performa efisiensi sebuah halaman website. Performa  yang  akan  diukur  adalah  besarnya  bytes  data  dokumen,  jumlah  HTTP  request,  minifikasi,  kompresi GZIP, dan score / grade akhir.

## 3) Reliability
Aspek  reliability  diuji  menggunakan  pengujian  stress  testing. Stress  testing adalah salah satu jenis pengujian sistem  ( system  testing ). Stress  testing menjalankan  sebuah  sistem  dengan  sumber  daya jumlah, frekuensi atau volume yang abnormal [8]. Pengujian ini dilakukan oleh peneliti dengan menggunakan software Web Application Load,  Stress  and  Performance  Testing yang meliputi beberapa parameter pada error report yang ada dalam software tersebut: Failed Session, Failed Hits, dan Failed Pages .
4) Usability Aspek usability diukur  menggunakan  kuisioner.  Pengujian  ini  dilakukan  dengan  menggunakan  instrumen Usefulness, Satisfaction, and Ease of use (USE) Questionnaire yang dikembangkan oleh STC Usability and User Experience Community  [10]. Kuisioner usability ini menggunakan 5 poin  skala Likert positif  [11].

## G. Teknik Analisis Data
Data yang didapatkan dari setiap instrumen akan dihitung  rata-rata menggunakan rumus (1).
𝑥̅ = ∑𝑥 𝑛 (1)
Dimana: 𝑥̅ = skor rata-rata 𝑥 = skor total item
𝑛 = jumlah  item
Sedangkan untuk menghitung  skor persentase kelayakan menggunakan rumus (2). 𝐾𝑒𝑙𝑎𝑦𝑎𝑘𝑎𝑛 (%) = 𝑆𝑘𝑜𝑟 𝑦𝑎𝑛𝑔 𝑑𝑖𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑠𝑖 𝑆𝑘𝑜𝑟 𝑦𝑎𝑛𝑔 𝑑𝑖ℎ𝑎𝑟𝑎𝑝𝑘𝑎𝑛 𝑥 100%
(2)
Setelah  mendapatkan  hasil  berupa  nilai  kuantitatif  dari  perhitungan  sebelumnya,  kemudian  nilai  dikonversi menjadi nilai kualitatif berskala 5 dengan skala Likert. Konversi persentase ke pernyataan seperti dalam  Tabel II berikut [12]:
T ABEL 1 P ENYESUAIAN I NTERP RETASI L IKERT No Persentase Interpretasi 1 0% - 20% Rendah Sekali 2 21% - 40% Rendah 3 41% - 60% Cukup T inggi 4 61% - 80% T inggi 5 81% - 100% Sangat T inggi

## 1) Functionality
Pengukuran functionality dilakukan oleh ahli pemrograman ( programmer/ developer ) dengan rumus (3). 𝑋 = 1 − 𝐴 𝐵
(3)
Dimana:
𝑋 = functionality 𝐴 = jumlah  total fungsi yang tidak valid
𝐵 = jumlah  seluruh fungsi Berdasar rumus (3) tersebut, functionality dikatakan baik jika 𝑋 mendekati 1 (0 <= 𝑋 <= 1).

## 2) Efficiency
Pengujian  faktor efficiency akan  dilakukan  menggunakan  parameter  dasar  yang  dikemukakan  oleh  Yahoo Developer  Network  dan  untuk  Page  Speed  menggunakan  parameter  yang  direkomendasikan  oleh  Google Developer.  Setelah  mendapat score dari hasil pengujian maka dihitung persentase dengan rumus persentase dan interpretasi sesuai rekomendasi Yahoo Developer Network ditunjukkan  pada Tabel III.
T ABEL 2
A NALISIS D ATA P ENGUJIAN E FFICIENCY B ERDASARKAN G RADE No. Score Grade 1. 90 - 100 A 2. 80 - 89 B 3. 70 - 79 C 4. < 69 D
Batas waktu untuk menjaga perhatian pengguna dapat menunggu load dari halaman web adalah 10 detik [13]. Sedangkan  menurut  [14]  waktu  terbaik  untuk load halaman  website  adalah  kurang  dari  3  detik,  untuk  waktu tunggu yang dapat diterima kurang dari 10 detik.
3) Reliability
Berikut adalah rumus untuk menghitung reliability menurut model Nelson [15]:
𝑅 = 𝑛−𝑓 𝑛 = 1 − 𝑓 𝑛 = 1 − 𝑟 (4)
Dimana, 𝑅 = Reliability 𝑓 = Total failure 𝑛 = Total test case ( workload unit ) 𝑟 = Error rate
Menurut  Standar  Telcordia  yang  dikutip  oleh  Asthana , keberhasilan  reliabilitas  perangkat  lunak  adalah  95% atau 0.95 [16].
4) Usability
Pengujian  faktor usability diujikan  menggunakan  kuisioner.  Kuisioner  akan  dibagikan  kepada  30  responden sebagai  pengguna  yang  terdiri  dari  siswa  dan  guru.  Menurut  Nielsen  untuk  penelitian  kuantitatif  jumlah responden  untuk  menguji  faktor usability minimal  20  orang  [17].  Skala  yang  digunakan dalam pengujian faktor usability menggunakan  skala  Likert  sehingga  nanti dapat disimpulkan mengenai kelayakan perangkat lunak dari sisi pengguna.
Perhitungan Alpha  Cronbach dihitung  menggunakan  perangkat  lunak  SPSS  dengan  interpretasi  nilai reliabilitas Alpha Cronbach ditunjukkan pada Tabel IV [18].
T ABEL 3 I NTERP RETASI A LP HA C RONBACH No. Nilai R Interpretasi 1. R > 0.9 Excellent 2. 0.9 > R > 0.8 Good 3. 0.8 > R > 0.7 Acceptable 4. 0.7 > R > 0.6 Questionable 5. 0.6 > R > 0.5 Poor 6. R < 5
Unacceptable

## III. H ASIL

## A. Analisis Kebutuhan
Beberapa fungsi minimal  yang dibutuhkan  antara lain:
1) Guru dan siswa didaftarkan oleh admin.
2) Guru dapat menambah data nilai akademik siswa sesuai mata pelajaran yang diampu pada semester tertentu.
3) Guru yang juga sebagai wali kelas dapat menambah nilai akademik siswa sesuai mata pelajaran yang diampu pada  tahun  ajaran  dan  semester  tertentu  dan  dapat  memasukkan  presensi serta ekstrakurikuler yang diikuti siswa.
4) Guru dan siswa dapat melihat profil  masing-masing.
5) Guru dan siswa dapat mengubah profil masing-masing.
6) Admin dapat menambah, mengubah, menghapus, mengunduh,  mengunggah,  mencari, dan mencetak data.

## B. Desain
Desain yang dilakukan  adalah:
1) Use Case Diagram Use case diagram sistem secara keseluruhan ditunjukkan pada Gambar 2.
Gambar 2. Use Case Diagram Sistem
Use case diagram menggambarkan semua aktor dengan skenario masing-masing.
2) Desain Basis Data
Perancangan basis data untuk sistem informasi akademik  ditunjukkan  pada Gambar 3.
Gambar 3. Perancangan Basis Data

## C. Implementasi
Implementasi  fungsi  dilakukan  menggunakan framework Codeigniter.  Implementasi  fungsi  untuk  sistem informasi  akademik ditunjukkan  pada Gambar 4.

## IV. P EM BAHASAN
Hasil pengujian  dari  sistem informasi  akademik adalah sebagai berikut:

## 1) Functionality
𝑋 = 1 − 𝐴 𝐵 = 1 − 0 166 = 1 (5)
Berdasarkan  hasil  perhitungan  pengujian functionality ,  didapatkan  nilai functionality sebesar  1.  Dari  skor tingkat functionality tersebut maka kualitas perangkat lunak dari sisi functionality dapat dikatakan ‘Baik’ sesuai interpretasi  dari  ISO  9126  yaitu  nilai  yang  baik  adalah  nilai  yang  mendekati  1. Dari hasil tersebut maka Sistem
Informasi  Akademik  SMK  Negeri  2  Depok  Sleman  layak  digunakan  untuk  mendukung  pengelolaan  akademik siswa karena sistem tersebut telah lolos dalam uji functionality .
Gambar 4. Implementasi Halaman Rapor
2) Efficiency
Gambar 5 merupakan salah satu capture hasil pengujian efficiency menggunakan Yslow.
Gambar 5. Statistik Pengujian Efficiency Halaman Login
Berdasarkan analisis dan perhitungan pengujian efficiency maka diperoleh persentase 96% (Grade A) dengan alat  ukut  YSlow  dan  94%  (Grade  A)  dengan  alat  ukur  Page  Speed.  Pengujian  menggunakan  alat ukur YSlow maupun  Page  Speed  menunjukkan  hasil  yang  sama  yaitu  mendapatkan  Grade  A,  sehingga  dapat  dikatakan perangkat  lunak  memiliki  nilai efficiency tinggi.  Dari score yang  didapat  maka  kualitas  perangkat  lunak  yang dikembangkan  dari  sisi efficiency mendapatkan  ‘ Grade A’  jika  disesuaikan  dengan  aturan  yang direkomendasikan  oleh Yahoo Developer Network.
Berdasarkan  analisis  dan  perhitungan maka diperoleh rata-rata waktu tunggu ( load time ) untuk tiap halaman web,  dimana  dengan  kecepatan modem 37.1 kB/s rata-ratanya adalah 3.33 detik dan dengan kecepatan modem 67.72  kB/s  rata-ratanya  adalah  1.043  detik.  Berdasarkan  data  tersebut  maka  waktu  tunggu  dapat  dikatakan ‘Diterima’ dengan menggunakan interpretasi yang direkomendasikan  oleh Microsoft maupun Nielsen.
T ABEL 4 H ASIL P ENGUJIAN S TRESS T ESTING
Profile Successful sessions Failed sessions Successful pages Failed pages Successful hits Failed hits Siswa 308 4 4066 4 8841 13 Guru 0 54 638 0 1433 5 T otal 308 58 4704 4 10274 18

## 3) Reliability
Pengujian reliability dilakukan  menggunakan  perangkat  lunak  WAPT  versi  8.1.  Pengujian  tersebut menggunakan  20 user simultan  dengan  waktu  percobaan  selama  60  menit.  Hasil yang didapat adalah total test case yang  diakses  adalah  15289  dan  total  kegagalan  yang  terdeteksi  yaitu  80  kegagalan.  Hasil  menunjukkan bahwa didapatkan nilai reliability adalah 99,5% sehingga dapat dikatakan ‘Memenuhi’ kriteria standar reliability yang  ditetapkan  dalam  standar  Telcordia.  Dari  hasil  tersebut  maka  Sistem Informasi Akademik SMK Negeri 2 Depok Sleman layak digunakan untuk mendukung pengelolaan akademik siswa karena sistem tersebut telah lolos dalam uji reliability.
Tabel V merupakan hasil pengujian  Stress Testing pada sistem informasi akademik yang dikembangkan.

## 4) Usability
Berdasarkan  perhitungan  tersebut  maka  diperoleh  persentase  74,33%  dari  pengujian usability. Dari  skor tersebut,  sesuai  dengan  interpretasi  skala  Likert,  maka  dapat  dikatakan  perangkat  lunak  ini  “Tinggi”  dari  sisi usability. Dari  hasil  tersebut  maka  Sistem Informasi Akademik SMK Negeri 2 Depok Sleman layak digunakan untuk  mendukung  pengelolaan  akademik  siswa  karena sistem tersebut telah lolos dalam uji usability. Instrumen yang  digunakan  yaitu USE  Questionnaire juga  dapat  dikatakan  ‘Baik’  karena  memiliki  nilai  Alpha  Cronbach 0.872.

## V. S IM PULAN DAN S ARAN

## A. Simpulan
Berdasarkan  hasil  penelitian  dan  pembahasan  yang  telah  dilakukan,  dapat  disimpulkan  bahwa:  (1)  Sistem Informasi  Akademik  SMK  Negeri  2  Depok  Sleman  dikembangkan  menggunakan framework Codeigniter  dan berdasarkan  model  pengembangan  Waterfall  yaitu,  1)  Analisis  kebutuhan;  2)  Desain;  3)  Implementasi;  dan  4) Pengujian.  Sistem  ini  menerapkan  Kurikulum  2013  dengan  fitur:  manajemen  admin,  manajemen  guru, manajemen  wali  kelas,  dan  siswa  (2) Kualitas perangkat lunak diuji melalui beberapa aspek yaitu functionality , efficiency, reliability , dan usability . Dalam aspek functionality , sistem ini mendapatkan nilai functionality adalah 1 (baik). Dalam aspek efficiency , sistem ini memperoleh tingkat kelayakan sebesar 94% dengan YSlow dan 96% dengan Page Speed (Grade A) serta waktu tunggu sebesar 3,33 detik (Diterima). Dalam aspek reliability , sistem ini  mendapatkan  nilai reliability 99,5%  (memenuhi).  Dalam  aspek usability ,  sistem  ini memperoleh persentase 74,33% (Tinggi)  dan nilai Alpha Cronbach sebesar 0,872 (baik).

## B. Saran
Berdasarkan keterbatasan produk maupun waktu, maka penulis menyarankan untuk pengembangan penelitian di  masa  yang  akan  datang  sebagai  berikut:  (1)  Pengembangan  perangkat  lunak  jika  kurikulum  berubah.  (2) Autentifikasi  pengguna  yang  lebih  beragam,  dan  (3)  Teknik  pengujian  yang  lebih  beragam  dan  mengungkap kualitas perangkat lunak khususnya untuk sistem informasi  akademik.

## R EFERENSI
[1] Danim, S., Otonom i m anajem en sekolah , Alfabeta, Bandung, 2010.
[2] Sallis, E., Total quality management in education” , Stylus Publishing Inc., US, 2005.
[3] Olsina, L., Godoy, D., & Lafuente, G. J., Specifying quality characteristics and attributes for websites ”, 2003.
[4] ISO/ IEC, Software engineering: product quality - part 2 - external m etric , Canada: International technical report , 2001.
[5] ISO/ IEC, International standard ISO/ IEC 9126 , Switzerland: Joint T echnical Committee, 1991.
[6] Martin, M., & Olsina, L., “Towards an ontology for software metrics and indicators as the foundation for a cataloging web system ”, . Proceedings of the First Latin Am erican Web Congress , America: IEEE Computer Society, 2003.
[7] Sugiyono, Metode Penelitian Kuantitatif, Kualitatif, R&D , Bandung: Alfabeta, 2010.
[8] Pressman, R. S., Software engineering a practitioner's approach , New York: McGraw-Hill, 2010.
[9] Pressman, R. S., Software engineering: a practiotioner's approach , New York: T homas Casson, 2001.
[10] Lund,  A.  M.,  “ Measuring  Usability  with  the  USE  Questionnaire”,  2014,  [Online].  T ersedia: http://www.stcsig.org/usability/newsletter/0110 _measuring_with_use.html
[11] Muderedzwa, M., & Nyakwende, E., “ T he Effectiveness of Online Employment Background Screening Systems”, African Journal of Business Managem ent Vol. 4(17), hal. 3599, Mmabatho, 2010.
[12] Riduwan, & Akdon, “ Rumus dan Data dalam Analisis Statistika”, Bandung: Alfabeta, 2008.
[13] Nielsen, J., “ Website Response T imes”, Nielsen Norman Group, 2014. [Online]. Tersedia: http://www.nngroup.com/articles/website-response-times/
[14] Meier, J. D., Farre, C., Bansode, P., Barber, S., & Rea, D., “ Quantifying End-User Response T ime Goals”, Microsoft Developer Network. [Online]. T ersedia: http://msdn.microsoft.com/en-us/library/bb924365.aspx
[15] T ian, J., “ Evaluating Web Software Reliability Based on Workload and Failure Data Extracted from Server Logs”, IEEE T RANSACT IONS ON SOFT WARE ENGINEERING, hal. 754, 2004.
[16] Asthana, A., & Olivieri, J., “Quantifying Software Reliability and Readiness. Communications Quality and Reliability ”, IEEE International Workshop T echnical Committee on Westford: IEEE, 2009.
[17] Nielsen, J., “ How Many Test Users in a Usability Studi”, Nielsen Norman Group, 2014. [Online]. T ersedia: http://www.nngroup.com/articles/how- many-test-users/
[18] Gliem, J. A., & Gliem, R. R., “ Calculating, Interpreting, and Reporting Cronbach’s Alpha Reliability Coefficient fo r Likert -T ype Scales”, Midwest Research to Practice Conference in Adult, Continuing, and Community Education , hal. 82, 2003.