## Analisis Evaluasi Website Kalam UMI Berbasis
Framework ISO/IEC 25010 Dengan Metode Goal Question Metric
1 St. Hajrah Mansyur, 2 Hendra Katili , 3 Wistiani Astuti, 4 Ella Nadya Rumadaul, 5 Nurul Ain Syakina 1,2,3,4,5 Universitas Muslim Indonesia

## Abstrak
Di  era  digital  ini  masyarakat  tidak  lepas  akan  kebutuhan  Informasi  dan komunikasi  yang  tidak  terbatas  berkat  adanya  internet.  Salah  satu  sistem pembelajaran  yang  memanfaatkan  teknologi  yaitu Learning  Management  System (LMS). LMS merupakan sistem teknologi untuk mengelola dan mendukung proses pembelajaran, mendistribusikan materi perkuliahan, serta memungkinkan kolaborasi antara dosen dan mahasiswa. Universitas Muslim Indonesia (UMI) mempunyai  LMS bernama  Kalam.  Penggunaan  sistem  yang  sangat  intensif  digunakan  dosen  dan mahasiswa menyebabkan diperlukannya evaluasi untuk meningkatkan kualitas proses pembelajaran. ISO/IEC 25010 telah menjadi rekomendasi standar karena mempunyai seluruh karakteristik dan sub karakteristik yang dibutuhkan kualitas sistem informasi dibandingkan  dengan  model  lainnya.  Pada  penelitian  ini,  peneliti  menggunakan metode Goal  Question  Metrics (GQM)  sesuai  karakteristik  berbasis framework ISO/IEC  25010  dalam  mengukur  kualitas  perangkat  lunak  website  Kalam  UMI. Evaluasi  website  Kalam  UMI  pada  beberapa  karakteristik  sudah  masuk  ke  dalam kategori  baik  dan  sangat  baik,  namun  pada  karakteristik  keamanan,  terdapat  sub- karakteristik  yang  masih  perlu  ditingkatkan,  yaitu  integritas  dengan  persentase 66.67%. Sub-karakteristik kualitas yang sudah masuk kategori baik dan sangat baik yaitu  kelengkapan  fungsionalitas  dengan  persentase  89.28%,  kebenaran fungsionalitas  dengan  persentase  93.75%,  kesesuaian  fungsionalitas  dengan persentase  75%,  kerahasiaan  dengan  persentase  75%,  non-  repudiasi  dengan persentase  100%,  pertanggungjawaban  dengan  persentase  100%,  keaslian  dengan persentase 100%, efektivitas dengan persentase 82.96%, efisiensi dengan persentase 83.06%,  kegunaan  dengan  persentase  84.47%,  kepercayaan  dengan  persentase 81.67%,  kesenangan  dengan  persentase  81.67%,  kenyamanan  dengan  persentase 86.46%, mitigasi risiko ekonomi dengan persentase 88.75%, mitigasi kesehatan dan kenyamanan  dengan  persentase  85.21%,  mitigasi  risiko  lingkungan  dengan persentase 90%, dan fleksibilitas dengan persentase 83.54%.
Kata Kunci: Learning  Management  System ,  Kalam,  ISO/IEC  25010; Analytical Hierarchy Proces, Goal Question Metrics

## Abstract
In  this  digital  era,  people  cannot  be  separated  from  the  unlimited  need  for information and communication thanks to the internet. One of the learning systems that  utilizes  technology  is  the  Learning  Management  System  (LMS).  LMS  is  a technology  system  to  manage  and  support  the  learning  process,  distribute  lecture materials,  and  enable  collaboration  between  lecturers  and  students.  Universitas Muslim Indonesia (UMI) has an LMS called Kalam. The use of a system that is very intensive used by lecturers and students causes the need for evaluation to improve the quality  of  the  learning  process.  ISO/IEC  25010  has  become  a  standard recommendation  because  it  has  all  the  characteristics  and  sub-characteristics required  for  information  system  quality  compared  to  other  models.  In  this  study, researchers  used  the  Goal  Question  Metrics  (GQM)  method  according  to  the characteristics based on the ISO/IEC 25010 framework in measuring the quality of
the  Kalam  UMI  website  software.  The  evaluation  of  the  Kalam  UMI  website  on several characteristics has been included in the good and very good categories, but in  security  characteristics,  there  are  sub-characteristics  that  still  need  to  be improved, namely integrity with a percentage of 66.67%.
The  quality  sub-characteristics  that  have  been  categorized  as  good  and  very good are completeness of functionality with a percentage of 89.28%, correctness of functionality  with  a  percentage  of  93.75%,  suitability  of  functionality  with  a percentage of 75%, confidentiality with a percentage of 75%, non-repudiation with a percentage of 100%, accountability with a percentage of 100%, authenticity with a percentage  of  100%,  effectiveness  with  a  percentage  of  82.96%,  efficiency  with  a percentage  of  83.06%,  usability  with  a  percentage  of  84.47%,   Trust  with  a percentage  of  81.67%,  pleasure  with  a  percentage  of  81.67%,  comfort  with  a percentage of 86.46%, economic risk mitigation with a percentage of 88.75%, health and comfort mitigation with a percentage of 85.21%, environmental risk mitigation with a percentage of 90%, and flexibility with a percentage of 83.54%.
Keywords: Learning  Management  System ,  Kalam,  ISO/IEC  25010; Analytical Hierarchy Proces, Goal Question Metrics

## 1. Pendahuluan
Di  era  digital  ini  masyarakat  tidak  lepas  akan  kebutuhan  komunikasi  dan informasi  yang  tidak  terbatas  berkat  adanya  akses  internet.  Berdasarkan  data  yang diperoleh  dari we  are  social  digital 2022  Indonesia,  jumlah  pengguna  internet  di Indonesia  per  Januari  2022  sebanyak  204,7  juta  jiwa  dengan  jumlah  koneksi  seluler sebesar 370,1 juta koneksi, yang artinya ketergantungan masyarakat Indonesia terhadap internet sangat tinggi (S. Kemp, 2022).
Salah  satu  sistem  pembelajaran  yang  memanfaatkan  teknologi  yaitu  melalui Learning  Management  System (LMS).  LMS  merupakan  perangkat  lunak  atau  suatu sistem  teknologi  yang  dikembangkan  untuk  mengelola  dan  mendukung  proses pembelajaran,  mendistribusikan  materi-materi  perkuliahan,  serta  memungkinkan kolaborasi  antara dosen  dan mahasiswa (Fitriani, 2020). Universitas Muslim Indonesia mempunyai LMS bernama Kalam UMI. Sistem ini dirancang pada tahun 2019 yang saat ini menjadi bagian dalam proses pembelajaran seperti mahasiswa dapat mengakses materi perkuliahan yang diberikan dosen, melakukan chat, serta mengakses dan mengumpulkan tugas yang diberikan oleh dosen. Selain dapat memberi tugas berupa dokumen teks, dosen juga  didorong  untuk  membuat  materi  pembelajaran  yang  lebih  kreatif  dan  inovatif seperti  video  yang  dapat  diunggah  dalam  Kalam  UMI. Penggunaan sistem yang sangat intensif  digunakan  oleh  dosen  dan  mahasiswa  menyebabkan  diperlukannya  evaluasi untuk meningkatkan kualitas proses  pembelajaran.
Penelitian sebelumnya menyatakan bahwa model ISO/IEC 25010 telah menjadi rekomendasi standar karena mempunyai seluruh karakteristik dan sub karakteristik yang dibutuhkan  kualitas  sistem  informasi  dibandingkan  dengan  model  lainnya.  ISO/IEC 25010 memiliki dua jenis model, yaitu quality in use model dan software product  quality mode l.  Kedua  model  ini  dapat  digunakan  dalam  melakukan  penilaian  kualitas  suatu perangkat lunak atau sistem informasi menggunakan karakteristik dan sub karakteristik pada masing- masing model kualitas tersebut (M. D. Mulyawan, I. B. A. Swamardika, 2021). Oleh karena itu, model ISO/IEC 25010 menjadi pedoman standar pada penelitian ini.
Di samping penggunaan model ISO/IEC 25010, terdapat berbagai metode yang juga digunakan sebagai metode pendukung untuk meningkatkan akurasi dalam mengukur kualitas  sistem,  seperti Analytical  Hierarchy  Process (AHP), Fuzzy  Logic ,  dan Goal
Question  Metrics (GQM).  Metode  perbandingan  berpasangan  AHP  digunakan  untuk memilih  tiga  dari  delapan  karakteristik framework ISO  25010  yang  paling  diusulkan dalam  memperbaiki  kualitas  aplikasi  sapawarga.  Adapun  delapan  karakteristik diantaranya functional  suitability,  reliability,  usability,  performance  efficiency, maintainability, portability, security, dan compatibility . Berdasarkan informed judgment pakar  menggunakan  metode  perbandingan  berpasangan  AHP,  tiga  karakteristik  yang paling  mempengaruhi  aplikasi  sapawarga  adalah functional  suitability,  usability, dan performance efficiency dengan tingkat kepentingan 24.9%, 23.2%, 16.5% (J. Calabrese, R. Muñoz, A. Pasini, S. Esponda, M. Boracchia, 2018).
Salah satu metode yang dapat digunakan dalam penilaian standar sistem adalah Goal  Question  Metric (GQM).  Metode  GQM  sudah  pernah  digunakan  di  beberapa penelitian  untuk  menghasilkan  metrik  yang  berlaku  pada  karakteristik  dari  model ISO/IEC  25010  (M.  D.  Mulyawan,  I.  N.  S.  Kumara,  I.  B.  A.  Swamardika,  2021). Pernyataan  di  atas  telah  menunjukkan  bahwa  metode  GQM  bisa  mendukung  dalam meningkatkan  akurasi  penilaian  kualitas  sistem  informasi.  Metode  GQM  juga  pernah digunakan sebelumnya untuk mengukur kualitas pada sistem katalog produk berbasis web dari  aspek  security  menggunakan  standar  ISO/IEC  25010  (J.  Calabrese,  R.  Muñoz,  A. Pasini, S. Esponda, M. Boracchia, 2018).
Dengan  memperhatikan  hal  tersebut,  maka  penulis  akan  melakukan  evaluasi website KALAM UMI berdasarkan standar ISO/IEC 25010 dengan menerapkan metode perbandingan berpasangan AHP yang bertujuan  untuk  menentukan dari  8 karakteristik yang  paling  diusulkan  untuk  memaksimalkan  KALAM  UMI.  Adapun  delapan karakteristik  diantaranya functional  suitability,  reliability,  usability,  performance efficiency,  maintainability,  portability,  security, dan compatibility .  Setelah  itu, pengukuran kualitas perangkat lunak website Kalam UMI sesuai karakteristik framework ISO/IEC 25010 yang terpilih akan di proses dengan metode Goal Question Metric (GQM) sehingga  dapat  diketahui  hasil  analisis  evaluasi  perangkat  lunak website Kalam  UMI dalam upaya meningkatkan kualitas proses pembelajaran.

## 2. Tinjauan Pustaka

## 2.1. Framework ISO/IEC 25010
Framework ISO/IEC 25010 adalah salah satu model standar kualitas sistem atau perangkat  lunak  berstandar  internasional  yang  digunakan  sebagai  pedoman  untuk mengukur kualitas sistem atau aplikasi saat melakukan evaluasi kualitas (Rahman, 2020). Model  ISO/IEC  25010  dikeluarkan  oleh Canadian  Standards  Association pada  tahun 2011 (Vivianti, 2022).

## 2.2. GQM ( Goal, Question, Metric )
GQM  merupakan  metode  yang  mengidentifikasi  metrik  penting  dalam  proses pengukuran.  Metode  ini  membantu  menentukan  kelebihan  dan  kekurangan  dari  proses serta menyediakan  alasan untuk  menyempurnakan teknik dalam mengevaluasi kualitas dan dampak dari proses tersebut (R. G. Utomo, G. Wills, 2021).

## 2.3. Learning Management System (LMS)
LMS  merupakan  suatu  sistem  atau  perangkat  lunak  yang  digunakan  untuk mengelola pembelajaran yakni pendistribusian materi serta penilaian proses pembelajaran secara daring atau online. LMS membantu  meningkatkan efisiensi waktu karena dapat diakses secara daring atau online kapan saja dan dimana saja (Fitriani, 2020).

## 2.4. Uji Validitas dan Reliabilitas

## 2.4.1. Uji Validitas
Uji validitas merupakan pengujian hasil data untuk mengukur apakah item-item dari data tersebut valid atau tidak untuk digunakan dalam penelitian. Salah satu metode dalam pengujian validitas yaitu metode korelasi Pearson .
𝑛 ( Σ 𝑥𝑦 ) − (Σ 𝑥 )(Σ 𝑦 ) 𝑟 = √[ 𝑛 Σ 𝑥 2 − (Σx) 2 ][ 𝑛 Σ 𝑦 2 − (Σ 𝑦 ) 2 ] (1)
Keterangan: r = koefisien Pearson n = banyak data ∑xy = jumlah seluruh skor x dan y ∑x = jumlah skor x ∑y = jumlah skor y ∑x2 = jumlah skor x kuadrat ∑y2 = jumlah skor y kuadrat
Suatu item dinyatakan valid apabila nilai r hitung lebih besar dari r tabel. Untuk melihat  r  tabel,  maka  digunakan  taraf  signifikansi  5%  dan  df  yaitu  jumlah  responden dikurangi  2.  Nilai  r  tabel  dilihat  berdasarkan  nilai  df  data  masing-masing  sektor pertanyaan (Darwiyanto, 2019).

## 2.4.1. Uji Reliabilitas
Uji reliabilitas merupakan pengujian hasil data untuk mengukur apakah item- item dari  pertanyaan  dalam  kuesioner  reliabel  atau  tidak.  Salah  satu  metode  perhitungan reliabilitas adalah metode Cronbach’s Alpha .
Keterangan: α = koefisien Cronbach’s Alpha 𝑘 = jumlah skala item 𝑐 ̅ = rata-rata semua kovarians di antara item
𝑣 ̅ = rata-rata kovarians masing-masing item Nilai Cronbach’s  Alpha harus  lebih  tinggi  dari  0,7  [12].  Namun,  jika  nilai reliabilitas berada di antara 0,6 – 0,7 maka tingkat konsistensi data masih dapat diterima atau acceptable (G. Ursachi, I. A. Horodnic, 2015).

## 3. Metode Penelitian

## 3.1. Tahapan Penelitian
𝛼 = 𝑘 × 𝑐 ̅ 𝑣 ̅ + ( 𝑘 − 1) 𝑐 ̅ (2)

## Gambar 1. Bagan Alir Tahapan Penelitian

## 3.2. Metode Penelitian
Penelitian  ini  bersifat  kuantitatif  karena  menggunakan Analytical  Hierarchy Process dan Goal  Question  Metric untuk  memberikan  preferensi  oleh  pengambil keputusan dalam mengukur kualitas serta menghasilkan metrik untuk penilaian perangkat lunak  website  Kalam  UMI  sesuai  karakteristik  berbasis  framework  ISO/IEC  25010. Adapun tahapan pengumpulan data penelitian, yaitu:
1) Data  primer  yaitu  proses  pengambilan  data  dan  informasi  yang  di  perlukan, wawancara  dengan  dosen  Universitas  Muslim  Indonesia,  administrator  atau pengelola website Kalam UMI, serta mahasiswa Universitas Muslim Indonesia.
2) Data sekunder diperoleh dari jurnal dan buku terkait Analisis Kualitas Perangkat Lunak Website Kalam  UMI  Berbasis Framework ISO/IEC  25010  dengan Metode Analytical Hierarchy Process (AHP) dan Goal Question Metric (GQM).

## 4. Hasil Penelitian dan Pembahasan

## 4.1. Hasil Penelitian
Adapun hasil penelitian  yang telah dilakukan selama 8 bulan mulai  pada bulan April hingga November 2023 yaitu berdasarkan implementasi Pengukuran berdasarkan ISO/IEC 25010 untuk menganalisis evaluasi perangkat lunak website Kalam UMI, terdiri dari tahapan proses pertanyaan kuisioner, penyajian data, dan Uji hasil data.

## 4.1.1. Pertanyaan Kuesioner
Pengukuran berdasarkan  ISO/IEC  25010 melibatkan 3  responden, yaitu  dosen, administrator web, dan mahasiswa. Objek penelitian yang digunakan adalah LMS Kalam UMI  yang  terdapat  pada  Universitas  Muslim  Indonesia.  Model  pengukuran  evaluasi berdasarkan  ISO/IEC  25010  yang  digunakan  untuk  menghitung  nilai  masing-  masing karakteristik yang terkait dan total kualitas LMS (skala 0-100). Jumlah total pertanyaan kuesioner yaitu 28 butir untuk pengukuran kesesuaian fungsionalitas, 33 butir pertanyaan untuk  pengukuran  keamanan,  dan  22  butir  pertanyaan  untuk  pengukuran  semua
Vol. 5 No. 1 Januari 2024
karakteristik model quality in use .
Salah satu kuesioner yang berkaitan dengan tujuan G1 (kesesuaian fungsionalitas) diisi  oleh  salah  satu  staf  yang  bertugas  mengelola  sistem  Kalam  UMI.  Kuesioner  ini menggunakan  skala guttman agar  mendapat  jawaban  yang  absolut  terhadap  fitur  yang tersedia atau berfungsi dengan baik..
Selanjutnya adalah kuesioner yang berkaitan dengan tujuan G2 (keamanan) yang diisi oleh salah satu staf pengelola Kalam UMI. Kuesioner ini juga menggunakan skala guttman untuk menilai keamanan sistem.
Adapun kuesioner yang terkait dengan tujuan G3 sampai G7 (seluruh karakteristik model quality in use ). Kuesioner ini di isi oleh 3 orang dosen dan 77 orang mahasiswa. Kuesioner ini menggunakan skala likert.
Penelitian ini melibatkan 3 responden, yaitu 3 orang dosen, 1 orang  administrator web, dan 77 orang mahasiswa. Para responden diminta mengisi kuesioner, kemudian data yang  diperoleh  dapat  dihitung  total  kualitasnya.  Untuk  menilai  jawaban  responden terhadap karakteristik ISO/IEC 25010, kuesioner ini menggunakan dua metode penilaian yaitu menggunakan skala likert dan skala guttman .

## 4.1.2. Penyajian Data
Berdasarkan  dari  kuesioner  yang  telah  dibagikan  pada  responden,  maka  telah didapat jawaban dari masing-masing pertanyaan terhadap beberapa karakteristik ISO/IEC 25010  untuk  mengukur  website  Kalam  UMI.  Hasil  Jawaban  responden  terhadap kuesioner untuk mengukur kesesuaian fungsionalitas.
Berikut  merupakan  tanggapan  responden  terhadap  kuesioner  untuk  mengukur kesesuaian  fungsionalitas  menggunakan  metode  penilaian  skala guttman yang ditunjukkan pada tabel 1.
Tabel 1. Hasil Data Kuesioner dan Perhitungan Pengukuran Kesesuaian Fungsionalitas
No. Pertanyaan Jawaban Metrik Total Bobot Max Persentase Ya Tidak Q1.1 – Q1.14 11 3 M1 25 28 89.28% Q1.15 – Q1.22 7 1 M2 15 16 93.75% Q1.23 – Q1.28 3 3 M3 9 12 75%
Adapun  tanggapan  responden  terhadap  kuesioner  yang  mengukur  keamanan sistem  menggunakan  metode  penilaian  skala guttman .  Hasil  jawaban  responden ditunjukkan pada tabel 6.
Setelah  mendapatkan  hasil  data  dari  responden,  selanjutnya  melakukan perhitungan  sesuai  dengan  kategori  pertanyaan  untuk  menghasilkan  skor  dalam mengukur kualitas. Hasil perhitungan dapat dilihat pada tabel 2. Tabel 2. Perhitungan Kriteria Pengukuran Keamanan
Kriteria Nilai Metrik Parameter Persentase C1 0 C2 1 M4 0.75 75% C3 1 C4 1 I5 1 I6 1 M5 0.67 66.67% I7 0 NR8 1 NR9 1 M6 1 100% NR10 1 NR11 1 R12 1 M7 1 100% R13 1 A14 1 M8 1 100% A15 1
Sedangkan untuk hasil data responden yang penilaian kuesionernya menggunakan skala likert .  Setelah  mendapatkan  hasil  data  dari  responden,  selanjutnya  melakukan perhitungan  sesuai  dengan  untuk  menghasilkan  skor  dalam  mengukur  kualitas.  Hasil perhitungan dapat dilihat pada tabel 3.
Tabel 3. Perhitungan Pengukuran Model Quality in Use
No. Pertanyaan Skor Metrik Total Skor Bobot Max Persentase Q3.1 388 Q3.2 414 Q3.3 383 M9 1991 2400 82.96% Q3.4 402 Q3.5 404 Q4.1 400 Q4.2 397 M10 1196 1440 83.06% Q4.3 399 Q5.1 401 M11 811 960 84.47% Q5.2 410 Q5.3 394 M12 784 960 81.67% Q5.4 390 Q5.5 410 Q5.6 402 M13 1176 1440 81.67% Q5.7 364 Q5.8 417 M14 830 960 86.46% Q5.9 413 Q6.1 426 M15 426 480 88.75% Q6.2 407 M16 818 960 85.21% Q6.3 411 Q6.4 432 M17 432 480 90% Q7.1 401 M18 401 480 83.54%

## 4.1.3. Uji Hasil Data
Setelah hasil kuesioner dikumpulkan, selanjutnya adalah melakukan uji validitas dan reliabilitas. Pengujian Data dilakukan menggunakan program SPSS. Kriteria dalam menilai  validitas  yaitu  jika  nilai  r-hitung  lebih  besar  dari  r-tabel,  maka  item  atau pertanyaan dinyatakan valid. Namun, jika nilai r-hitung lebih kecil dari r-tabel, maka item atau pertanyaan dinyatakan tidak valid. Nilai r-tabel untuk jumlah responden sebanyak 80 orang dan α = 5% adalah 0.220. Hasil uji validitas kuesioner pengukuran quality in use ditunjukkan pada tabel 4.
Tabel 4. Hasil Uji Validitas Kuesioner Pengukuran Model Quality in Use
Dimensi Indikator r-hitung r-tabel Validitas Q3.1 0.487 0.220 Valid Q3.2 0.249 0.220 Valid Q3.3 0.258 0.220 Valid Q3.4 0.491 0.220 Valid Q3.5 0.359 0.220 Valid Q4.1 0.248 0.220 Valid Q4.2 0.408 0.220 Valid Q4.3 0.573 0.220 Valid Q5.1 0.318 0.220 Valid Q5.2 0.501 0.220 Valid Q5.3 0.247 0.220 Valid Q5.4 0.393 0.220 Valid Q5.5 0.479 0.220 Valid Q5.6 0.406 0.220 Valid Q5.7 0.302 0.220 Valid Q5.8 0.501 0.220 Valid Q5.9 0.393 0.220 Valid
Q6.1 0.365 0.220 Valid Q6.2 0.325 0.220 Valid Q6.3 0.400 0.220 Valid Q6.4 0.269 0.220 Valid Q7.1 0.299 0.220 Valid
Berdasarkan tabel 4, nilai r-hitung dari 22 item pertanyaan lebih besar dari r- tabel. Dengan  demikian,  semua  item  pertanyaan  pada  kuesioner  pengukuran quality  in  use dinyatakan valid.
Setelah menguji Validitas, selanjutnya yaitu menguji reliabilitas. Dalam menguji reliabilitas,  kuesioner  diuji  dengan  konsistensi  internal  dari  skala  teknik  Cronbach’s Alpha.  Suatu  instrumen  penelitian  dikatakan  memiliki  tingkat  reliabilitas  memadai apabila  koefisien  Cronbach’s  Alpha  lebih  besar  atau  sama  dengan  0.70.  Hasil  uji reliabilitas kuesioner ditunjukkan pada tabel 5. Tabel 5. Hasil Uji Reliabilitas Kuesioner Pengukuran Model Quality in Use
Reliability Statistics Cronbach’sAlpha Cronbach’s Alpha Based on Standardized Items N of Items 0.703 0.713 22
Berdasarkan  tabel  5,  Nilai  koefisien  reliabilitas  sebesar  0.703.  Nilai  ini menunjukkan bahwa kuesioner pengukuran quality in use sudah reliabel.

## 4.2. Pembahasan
Hasil  penelitian  menunjukkan  bahwa  website  Kalam  UMI  telah  memenuhi penilaian  kualitas  dari  beberapa  karakteristik  berdasarkan  standar  ISO/IEC  25010. Peneliti  menggunakan  metode Goal  Question  Metric (GQM)  untuk  menentukan pengukuran  atau  metrik  terhadap  karakteristik  tersebut.  Karakteristik  ISO/25010 dijadikan sebagai tujuan dalam mengukur kualitas website Kalam UMI. Adapun metrik sebagai pengukur tujuan yaitu sub- karakteristik yang mendefinisikan karakteristik dari ISO/IEC 25010. Hasil dari evaluasi kualitas website Kalam UMI dapat dilihat pada  tabel 9.

## 5. Simpulan dan Saran

## 5.1. Kesimpulan
Berdasarkan  hasil  analisis  evaluasi website Kalam  UMI  menggunakan  metode GQM berdasarkan standar ISO/IEC 25010, maka diambil beberapa kesimpulan sebagai berikut:
1. Evaluasi website Kalam UMI pada beberapa karakteristik sudah masuk ke dalam kategori baik dan sangat baik, namun pada karakteristik keamanan, terdapat sub- karakteristik  yang  masih  perlu  ditingkatkan,  yaitu  integritas  dengan  persentase 66.67%.
2. Sub-karakteristik kualitas yang sudah masuk kategori baik dan sangat baik yaitu kelengkapan fungsionalitas dengan persentase 89.28%, kebenaran fungsionalitas dengan  persentase  93.75%,  kesesuaian  fungsionalitas  dengan  persentase  75%, kerahasiaan  dengan  persentase  75%,  non-  repudiasi  dengan  persentase  100%, pertanggungjawaban dengan persentase 100%, keaslian dengan persentase  100%, efektivitas  dengan  persentase  82.96%,  efisiensi  dengan  persentase  83.06%, kegunaan  dengan  persentase  84.47%,  kepercayaan  dengan  persentase  81.67%, kesenangan dengan persentase 81.67%, kenyamanan dengan persentase 86.46%, mitigasi  risiko  ekonomi  dengan  persentase  88.75%,  mitigasi  kesehatan  dan kenyamanan  dengan  persentase  85.21%,  mitigasi  risiko  lingkungan  dengan persentase 90%, dan fleksibilitas dengan persentase 83.54%.

## 5.2. Saran
Berdasarkan kesimpulan yang diperoleh, maka peneliti memberikan saran yang dapat  dijadikan  masukan  yaitu  dengan  menambahkan  fitur-fitur  yang  memudahkan pengguna untuk mengakses informasi dan menjalankan tugas-tugas mereka dengan  lebih efektif  dan  efisien.  Selain  itu,  perlu  dilakukan  tindakan  peningkatan  aksesibilitas  dan keamanan  website  untuk  memastikan  kenyamanan  dan  keamanan  pengguna  dalam mengakses website. Pemeliharaandan pemutakhiran secara berkala juga perlu dilakukan untuk memastikankualitas website tetap terjaga.

## Daftar Pustaka
Darwiyanto,  H.  A.  and  E.  (2019). Evaluasi  Kualitas  Website  Bandung  Smart  City Menggunakan ISO/IEC 25010 Quality-In-Use Model .
Fitriani, Y. (2020). Analisa Pemanfaatan Learning Management System (LMS) sebagai Media Pembelajaran Online selama Pandemi Covid-19. J. Inf. Syst. Inform. Comput. , 4 .
G. Ursachi, I. A. Horodnic,  and A. Z. (2015). How Reliable Are Measurement Scales? External Factors with Indirect Influence On Reliability Estimators. Procedia Econ , 20 , 679–686. https://doi.org/10.1016/S2212-5671(15)00123-9
J. Calabrese, R. Muñoz, A. Pasini, S. Esponda, M. Boracchia,  and P. P. (2018). Assistant for  The  Evaluation  of  Software  Product  Quality  Characteristics  Proposed  by ISO/IEC  25010  based  on  GQM-Defined  Metrics. Springer  International , 790 . https://doi.org/10.1007/978-3-319-75214-3_16
M.  D.  Mulyawan,  I.  B.  A.  Swamardika,  and  K.  O.  S.  (2021).  Analisis  Kesesuaian Fungsional  Dan  Usability  Pada  Sistem  Informasi  Karma  Simanis  Berdasarkan ISO/IEC 25010. J. Teknol .
M. D. Mulyawan, I. N. S. Kumara, I. B. A. Swamardika,  and K. O. S. (2021). Kualitas Sistem Informasi Berdasarkan ISO/IEC 25010: Literature Review. Maj. Ilm. Teknol. Elektro , 20 .
R.  G.  Utomo,  G.  Wills,  and  R.  W.  (2021).  Developing  an  Instrument  to  Measure Information  Assurance  Implementation  for  Egovernment  Using  Goal  Question Metric  Approach. Game  Technol.  Inf.  Syst.  Comput.  Netw.  Comput.  Electron. Control . https://doi.org/10.22219/Kinetik.V6i2.1200 Rahman, A. A. (2020). Quality Consideration for E-Learning System Based On  ISO/IEC
25000 Quality Standard .
S. Kemp. (2022). Datareportal – Global Digital Insights . Digital. https://datareportal.com/Reports/Digital-2022- Indonesia
Vivianti,  N. L. F. and V. (2022). Upgrading  The Web-Based Credit Score Calculation System. Iptek J. Technol , 33 .

## Lampiran

## Tabel 6. Hasil Data Kuesioner Pengukuran Keamanan
No. Pertanyaan Jawaban Kriteria Q2.1 Ya C4 Q2.2 Ya C4 Q2.3 Ya C4 Q2.4 Ya C4 Q2.5 Ya C1 Q2.6 Ya C1, C3 Q2.7 Tidak C1, C2, I5 Q2.8 Tidak C1, C2, I5 Q2.9 Tidak C1, C2, I5 Q2.10 Tidak C1, C2 Q2.11 Tidak C1, C2 Q2.12 Ya C1 Q2.13 Tidak I7, NR8, A15 Q2.14 Tidak I6 Q2.15 Tidak I6 Q2.16 Tidak I5 Q2.17 Ya R12 Q2.18 Ya NR9 Q2.19 Tidak NR9 Q2.20 Ya NR10 Q2.21 Ya NR9 Q2.22 Ya NR11, R13 Q2.23 Tidak NR8 Q2.24 Ya R12 Q2.25 Ya R12 Q2.26 Ya R12 Q2.27 Ya A14 Q2.28 Ya A15 Q2.29 Tidak A15 Q2.30 Tidak A14 Q2.31 Tidak A14 Q2.32 Ya A14 Q2.33 Tidak A14 Tabel 7. Hasil Kuesioner Pengukuran Model Quality in Use No. Jawaban Bobot Total SS S CS KS TS STS SS S
CS KS TS STS
Q3.1 13 48 15 3 0 1 78 240 60 9 0 1 388 Q3.2 38 23 15 3 1 0 228 115 60 9 2 0 416 Q3.3 16 38 20 5 1 0 95 190 80 15 2 0 388 Q3.4 26 34 17 2 1 0 156 170 68 6 2 0 401 Q3.5 31 28 16 4 1 0 186 140 64 12 2 0 403 Q4.1 21 40 17 2 0 0 126 200 68 6 0 0 401 Q4.2 25 32 19 3 1 0 150 160 76 9 2 0 395 Q4.3 29 29 17 3 1 1 174 145 68 9 2 1 399 Q5.1 24 41 9 4 2 0 144 205 36 12 4 0 399 Q5.2 28 38 10 4 0 0 168 190 40 12 0 0 409 Q5.3 25 32 17 5 0 1 150 160 68 15 0 1 399 Q5.4 24 31 18 5 2 0 144 155 72 15 4 0 386 Q5.5 32 33 8 7 0 0 192 165 32 21 0 0 407
Q5.6 23 39 16 1 1 0 138 195 64 3 2 0 401 Q5.7 19 31 15 8 4 3 114 155 60 24 8 3 364 Q5.8 31 37 10 2 0 0 186 185 40 6 0 0 415 Q5.9 30 37 10 2 1 0 180 185 40 6 2 0 413 Q6.1 38 31 10 1 0 0 228 155 40 3 0 0 426 Q6.2 23 44 10 3 0 0 138 220 40 9 0 0 412 Q6.3 27 39 13 0 1 0 162 195 52 0 2 0 411 Q6.4 42 29 8 1 0 0 252 145 32 3 0 0 438 Q7.1 19 46 12 3 0 0 114 230 48 9 0 0 402 Tabel 8. Perhitungan Pengukuran Model Quality in Use No. Pertanyaan Skor Metrik Total Skor Bobot Max Persentase Q3.1 388 Q3.2 414 Q3.3 383 M9 1991 2400 82.96% Q3.4 402 Q3.5 404 Q4.1 400 Q4.2 397 M10 1196 1440 83.06% Q4.3 399 Q5.1 401 M11 811 960 84.47% Q5.2 410 Q5.3 394 M12 784 960 81.67% Q5.4 390 Q5.5 410 Q5.6 402 M13 1176 1440 81.67% Q5.7 364 Q5.8 417 M14 830 960 86.46% Q5.9 413 Q6.1 426 M15 426 480 88.75% Q6.2 407 M16 818 960 85.21% Q6.3 411 Q6.4 432 M17 432 480 90% Q7.1 401 M18 401 480 83.54%
Tabel 9. Hasil Evaluasi Website Kalam UMI berbasis Framework ISO/IEC 25010 Karakteristik Sub- karakteristik Definisi Persentase Kriteria Kelengkapan Fungsional Sistem memenuhi fitur-fitur yang dibutuhkan pengguna dan berjalan dengan baik 89.28% Sangat Baik Kesesuaian Fungsionalitas Kebenaran Fungsional Sistem memberikan hasil pengolahan data dengan presisi baik dan akurat 93.75% Sangat Baik Kesesuaian Fungsional Sistem sesuai dengan tujuan fungsi dan kebutuhan pengguna. 75% Baik Kerahasiaan Sistem mengamankan data dan informasi terhadap akses tanpa izin 75% Baik Integritas Sistem melindungi data dari akses dan modifikasi tanpa izin 66.67% Baik Keamanan
Non-repudiasi Sistem membuktikan suatu aksi sehingga tidak terulang 100% Sangat Baik Pertanggung- Sistem merekam aksi 100% Sangat jawaban pengguna Baik Keaslian Sistem membuktikan 100% Sangat identitas suatu individu Baik Keakuratan dan kelengkapan Sangat Efektivitas Efektivitas sistem terhadap tujuan 82.96% Baik spesifik Efisiensi Efisiensi Sumber daya yang digunakan 83.06% Sangat sistem Baik Kegunaan Kepuasan pengguna, hasil 84.47% Sangat penggunaan dan konsekuensi Baik Kepercayaan Keyakinan pengguna 81.67% Sangat Kepuasan terhadap sistem Baik Pengguna memperoleh Sangat Kesenangan kesenangan dari pemenuhan 81.67% Baik kebutuhan dari sistem Kenyamanan Pengguna merasa nyaman 86.46% Sangat secara fisik Baik Mitigasi risiko Mengurangi potensi risiko Sangat ekonomi keuangan, reputasi, 88.75% Baik Bebas dari komersial, sumber daya, dll Risiko Mitigasi Mengurangi potensi risiko Sangat kesehatan dan bagi orang-orang 85.21% Baik kenyamanan Mitigasi risiko Mengurangi potensi risiko 90% Sangat lingkungan lingkungan atau properti Baik Keseluruhan Efektif, efisien, bebas dari Sangat Konteks Fleksibilitas risiko di luar konteks 83.54% Baik penggunaan.