## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085

## Analisis dan Evaluasi Tingkat Kepuasan Pengguna Learning Management System Menggunakan Metode PIECES

## Framework
1 R. Bagus Bambang Sumantri, 2 Rofi Taufiqurrohman
1,2 Program Studi Sistem Informasi, Universitas Harapan Bangsa, Banyumas, Indonesia
1* bagusbambang@uhb.ac.id; 2 rofitaufiqurrohman@uhb.ac.id
Article Info ABSTRAK Article history: Received, 2024-01-09 Revised, 2024-01-10 Accepted, 2024-01-18 Penelitian  ini  bertujuan  untuk  menganalisis  dan  mengevaluasi  tingkat kepuasan  pengguna  terhadap Learning  Management  System (LMS) menggunakan  metode PIECES  Framework .  LMS  telah  menjadi  komponen krusial  dalam  pendidikan  modern,  memfasilitasi  pengelolaan  konten pembelajaran  dan  interaksi  antara  pengajar  dan  peserta  didik.  Evaluasi kepuasan  pengguna  terhadap  LMS  sangat  penting  untuk  memastikan efektivitasnya  dalam  mendukung  proses  pembelajaran.  Metode PIECES Framework digunakan  sebagai  landasan  untuk  menganalisis  lima  dimensi utama,  yaitu Performance , Integration , Economy ,  Control, Efficiency ,  dan Security dari  LMS.  Penelitian  ini  mengumpulkan  data  melalui  survei, wawancara,  dan  observasi  untuk  mendapatkan  wawasan  yang  komprehensif tentang pengalaman pengguna. Subyek penelitian ini adalah guru dan siswa di SMK Maarif NU 2 Ajibarang. Hasil analisa memakai rumus interval kelas dan rumus  mean yang diambil  dari  indikator  pertanyaan  kuesioner  yang dikelompokkan  sangat  buruk  atau  buruk.  Hasilnya  membuktikan  bahwa kualitas  LMS  dengan  indikator  baik,  buruk,  sangat  buruk,  sangat  baik,  dan cukup. Hasil penelitian ini akan disajikan kepada pengelola SMK Maarif NU 2 Ajibarang. Sesudah diadakan penelitian, terlihat bahwa LMS memiliki mutu yang baik menurut standar Framework PIECES yaitu aktivitas pembelajaran serta aktivitas yang lain dengan rerata 3.60. Aspek Performance sangat baik yaitu  3,67, aspek Economics baik nilai 3,31,  Aspek Information sangat baik nilai  3,78,  aspek  Service  cukup  nilai  3,19,  aspek Control  &  Security sangat baik nilai 3,67 dan aspek Efficiency baik nilai 3,96.
Kata Kunci:
LMS,
Pieces, Framework , Evaluasi Sistem ABSTRACT Keywords:
LMS, Pieces,
Framework, System Evaluation This study aims to analyze and evaluate the level of user satisfaction with the Learning Management System (LMS) using the PIECES Framework method.
LMS has  become a  crucial  component  of  modern education, facilitating  the management  of  learning  content  and  interaction  between  teachers  and learners. Evaluation of user satisfaction with LMS is very important to ensure its effectiveness in supporting the learning process. The PIECES Framework method  is  used  as  a  foundation  to  analyze  five  main  dimensions,  namely Performance, Integration, Economy, Control, Efficiency, and Security of the LMS. The study collected data through surveys, interviews, and observations to gain comprehensive insights into user experience. The subjects of this study were teachers and students at SMK Maarif NU 2 Ajibarang . This research uses  a  questionnaire  using  the  PIECES  Framework  method.  The analysis results use the class interval formula and the mean formula. This measurement is taken from indicators of questionnaire questions which  are  grouped  as  very  bad  or  poor.  The  results  prove  that  the quality of the LMS at SMK Maarif NU 2 Ajibarang is good, bad, very bad, very good and fair. The results of this research will be presented to the management of Maarif NU 2 Ajibarang Vocational School. After conducting research, it was seen that the LMS of SMK NU 2 Maarif had good quality according to the PIECES Framework standards.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
R Bagus Bambang S Program Studi Sistem Informasi, Universitas Harapan Bangsa, Email: bagusbambang@uhb.ac.id

## 1. PENDAHULUAN
Teknologi  biasa  digunakan  untuk  sarana  promosi  dan  informasi  terutama  di  bidang  website  [1].  Website adalah sumber daya internet yang dipakai oleh sejumlah orang. Sumber informasi dan data yang disediakan oleh  website  bisa  diakses  oleh  seluruh  orang  menggunakan  internet  [2].  Halaman  web  bisa  menyajikan informasi  berbentuk  data  gambar,  teks,  audio,  animasi,  dan  video.  Website  bisa  memakai  browser  seperti Chrome,  Explorer,  dan  Firefox.  Situs  sifatnya  bisa  dinamis  atau  statis  serta  sebagai  serangkaian  bangunan terkait yang saling terhubung ke jaringan situs. Di era revolusi industri 4.0, teknologi berkembang di beberapa bidang, salah satunya bidang Pendidikan [3].
Dunia pendidikan mengalami perubahan cra belajar mengajar dengan adanya teknologi menjadi offline dan online. Penggunaan teknologi bisa membuat aktivitas pembelajaran lebih efisien juga efektif dan pemantauan dapat lebih konsisten. Salah satu sarana penyajian informasi tentang sekolah ialah LMS (learning management system) berbasis situs web. LMS sebagai perkembangan teknologi yang menjadi cara baru dalam pembelajaran untuk  mengatur  aktivitas  belajar  mengajar  yang  berjalan  dalam  sebuah  jaringan.  Sekolah  sebagai  lembaga Pendidikan harus komprehensif dan detail dengan menampilkan arsip sekolah[4].
LMS membantu  siswa  guna mencari  suatu hal dengan  belajar  mandiri  dan membangun  pengetahuan  antara guru dan siswa. Melalui fitur dasar seperti wiki, blog, dan papan diskusi, siswa bisa menghasilkan pengetahuan menurut minat. Yang menjadi permasalahan yaitu efektivitas fungsionalitas LMS, sejauh mana fungsionalitas LMS yang ada memenuhi kebutuhan pengguna. SMK Maarif NU 2 Ajibarang berada di jalan Raya Ajibarang KM.  01  Banyumas  Ajibarang.  SMK  ini  mempunyai  4  program  peminatan  yakni,  Farmasi  Klinik  dan Komunitas,  Asisten  Keperawatan,  Multimedia  dan  Teknologi  Laboratorium  Medis.  SMK  Maarif  NU  2 Ajibarang  mempunyai  LMS  akademik  berbasis  web  yang  berisi  informasi,  aktivitas  serta  berita  seputar sekolah. Sebagai sistem dikerahkan, evaluasi sistem perlu diadakan. Tujuan adanya evaluasi untuk menetapkan keperhasilan penerapan LMS.
Dengan  hasil  evaluasi  tersebut,  didapatkan  sejumlah  faktor  yang  memberi  pengaruh  pada  efisiensi  sistem. Faktor  rating  pengguna  penting  untuk  digunakan  sebagai  tolak  ukur  sistem  yang  di-deploy  karena  setiap pengguna memiliki rating yang berbeda-beda [5]. Untuk memberikan analisis dan evaluasi sistem, beberapa model  analitis  dapat  digunakan.  PIECES  sering  dipakai  oleh  sejumlah  penelitian  khususnya  dalam  menilai sistem.  Penelitian  ini  akan  menerapkan  model  analisis PIECES  Framework yang  ada  hal  penting  dalam mengevaluasi sistem yang telah lama juga menghadapi hambatan. Metode tersebut digunakan karena metode ini dikenal karena memfokuskan perhatian pada pengalaman pengguna.
Oleh  karena  itu,  membantu  untuk  mengevaluasi  sejauh  mana  LMS  memenuhi  kebutuhan  dan  harapan pengguna selain itu PIECES Framework menyajikan pendekatan sistematis dalam mengevaluasi sistem. Ini membantu dalam mengidentifikasi setiap elemen dan hubungan di antara mereka, memberikan gambaran yang utuh terkait kinerja LMS dan framework ini relatif mudah diaplikasikan dan dapat disesuaikan dengan berbagai konteks  dan  jenis  LMS.  Hal  ini  memudahkan  peneliti  atau  praktisi  untuk  menggunakan  metode  ini  dalam konteks spesifik SMK NU Ajibarang
Metode PIECES sebagai sebuah metode dalam mendapat pokok masalah yang lebih spesifik [6]. Analisa PIECES diadakan melalui penelitian informasi, ekonomi, kinerja, pelayanan, kemanan aplikasi, dan efesiensi. Berdasar analisa di sejumlah aspek lalu akan dibuat serta diperoleh simpulan[7].
Terdapat enam komponen untuk evaluasi LMS dalam PIECES Framework yakni: Pertama, performance dalam mengetahui kinerja LMS[8][9]. Kedua, information yang perusahaan butuhkan. Ketiga, economics yang menerapan  LMS  yang  didapat.  Keempat,  security  dan  control  yang  menjalankan  pengamanan  juga pengendalian. Kelima, efficiency dengan nilai unggul dibanding penerapan sistem manual. Keenam, service pemakai LMS dalam layanan aktivitas pembelajaran [10]
Penelitian ini mengadakan pengamatan sistematis. Tahap awal dengan mengetahui LMS serta menggali informasi mengenai hambatan yang ada. Lalu, peneliti berkunjung ke sekolah supaya memperoleh hasil yang baik. Keberadaan LMS oleh sekolah serta telah diterapkan cukup lama, maka perlu melakukan evaluasi.

## 2. METODE PENELITIAN
Subjeknya  yaitu  pendidik juga  siswa  di  SMK  Maarif  NU  2  Ajibarang  dan  objelknya  ialah LMS  SMK Maarif NU 2 Ajibarang yang dianalisa serta diadakan evaluasi dengan memakai metode PIECES Framework . Penelitian ini dijadikan penilaian yang akhirnya akan diserahkan kepada admin SMK Maarif NU 2 Ajibarang. Peneliti  dalam  pembuatan  penelitian  ini  melaksanakan  sejumlah  tahap  penelitian  yang  telah  ditetapkan. Adapun sejumlah tahap yang peneliti lakukan dalam menyusun penelitian [11]:

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Gambar 1 Diagram Alir Penelitian
a) Mengidentifikasi dan Merumuskan Masalah
Langkah pertama yakn melakukan identifikasi masalah serta membuat rumusan permasalahan mengenai masalah  yang  nantinya  hendak  diteliti.  Pada  penelitian  ini  diperlukan  penentuan  bidang,  topik,  masalah penelitian serta mengusulkan metode. Langkah ini untuk memahami permasalahan yang terdapat pada SMK Maarif  NU  2  Ajibarang,  ruang  lingkup,  metodologi  dan  tujuan  penelitian.  Perbedaan  penelitian  ini  dengan sebelumnya yaitu perbedaan objek dan subjek di usulkan.
b) Studi literatur
Peneliti menggunakan studi literatur dengan mempelajari dan mencari berbagai informasi mengenai PIECES Framework , skala likert, mean, slovin, interval kelas melalui referensi suatu makalah, jurnal, buku elektronik, paper, dan website yang mempunyai topik pembahasan yang sama.
c) Menentukan populasi
Populasi penelitiannya ialah siswa juga guru di SMK Maarif NU 2 Ajibarang. Slovin dijadikan pemilihan sample dengan toleransi kesalahan sebanyak 10% [11]. Penelitian ini menetapkan sampel dengan rumus Slovin [12]. Rumus Slovin disajikan berikut ini :
𝑛 = 𝑁 1+𝑁(𝑒) 2 (1)
Keterangan : n : Jumlah sampel N : Jumlah populasi el : Batas toleransi kesalahan.
Tabel 1 Sampel Responden Responden Persentase Jumlah Guru 50% 47 Responden Siswa 50% 47 Responden
Persentase antara siswa dan guru sama yakni 50%. Tujuannya supaya memperoleh hasil perhitungan yang tidak subjektif.  Maka,  angket  yang  dijawab  bisa  terlihat  hasilnya  serta  yang  hendak  dianalisa  bisa  memberikan masukan guna melakukan pengembangan website menjadi lebih baik [12]
d) Pengambilan data
Pemilihan data diadakan dengan memakai angket. Data yang didapat secara tidak langsung. Disamping itu,  data  yang  didapat  melalui  studi  pustaka  atau  literatur  seperti website ,  buku  dan  jurnal  [13].  Sebelum memilih data, maka membuat angket terlebih dahulu. Angket dirancang dengan standar PIECES Framework memakai  pengukuran  di  tiap  poin  memakai  Skala Likert .  Angket  memiliki  19  pertanyaan  dengan  6  aspek. Berikut ini tabel 2 mengenai draft dari penggambaran kuesioner :

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Tabel 2 draft dari penggambaran kuesioner PIECES Framework Skala Likert Aspek Pertanyaan Nilai 1 2 3 4 5 Performance (Keandalan). Pertanyaan 1 Pertanyaan 2 Information (Informasi data). Pertanyaan 3 Pertanyaan 4 Economics (Nilai Ekonomis). Pertanyaan 5 Pertanyaan 6 Aspek Pertanyaan Nilai
1 2 3 4 5 Control and Security (Pengamanan dan pengendalian). Pertanyaan 7 Pertanyaan 8 Pertanyaan 9 Efficiency (Efisiensi). Pertanyaan 10 Pertanyaan 11 Service (Pelayanan). Pertanyaan 12 Pertanyaan 13 e) Analisis data responden
Agar melihat hasil analisis website SMK Maarif NU 2 Ajibarang maka diperlukan metode pengukuran. Metode analisa data dengan menetapkan angka rerata ( mean ) tiap pertanyaan angket [10]. Rumus nilai mean :
𝑀𝑒 = ∑ 𝑥𝑖 𝑁
(6)
Keterangan : Me = Mean atau rata-rata ∑xi = Jumlah nilai x ke 1 sampai ke n N = Jumlah responden
Penetapan syarat dengan cara mendapat angka  interval kelas. Interval kelas fungsinya mengubah hasil rerata menjadi kategori [11]. Rumus interval kelas:
𝑖 = 𝑟 𝑘 (7)
Keterangan : i : Interval Kelas r : Range ( high scale-low scale ) k : Jumlah Kelas Nilai interval kelas yang didapatkan adalah : 𝑖 = 𝑟 𝑘 = 5−1 5 = 0,8 (8)
Hasil dari perhitungan nilai interval didapat dengan jumlah 0,8. Lalu digabungkan interval kelas dan skala likert seperti dalam tabel 3 berikut :
Tabel 3 Interval Kelas No. Skala Kategori 1. 1,00 – 1,80 Sangat buruk 2. 1,81 – 2,61 Buruk 3. 2,62 – 3,42 Cukup 4. 3,43 – 4,23 Baik 5. 4,24 – 5,04 Sangat baik

## f) Evaluasi hasil
Evaluasi berguna agar dapat melihat penerapan sistem yang sudah dilakukan. Untuk menjalankan sebuah evaluasi serta analisa terhadap LMS, ada  sejumlah metode analisis yang bisa  dipakai, salah satunya metode yang bisa digunakan yaitu metode PIECES Framework . Evaluasi menggunakan kerangka PIECES ke dalam 6 aspek yakni control and security, performance, information and data, economy, service , dan eficiency [14].
Penghimpunan data untuk penelitian ini memakai angket. Angket sebagai metode yang diterapkan dalam mengumpulkan data dengan memberi beberapa pertanyaan tertulis kepada responden agar diisi. Angket lebih efisien  dalam  penghimpunan  data  sebab  sudah  memahami  variabel  yang  hendak  dinilai  serta  telah  melihat harapan  responden.  Selain  itu  angket  dipakai  dalam  jumlah  responden  cukup  banyak  [15].  Penelitian  ini melakukan  pengukuran  angket  dari  angket  uang  telah  dijawab  oleh  siswa  dan  guru.  Pengukuran  angket tujuannya agar melihat apakah LMS yang ada di SMK Maarif NU 2 Ajibarang mempunyai mutu yang baik atau tidak [11]. Berikut ini gambar 2 diagram alir uji penelitian :

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Gambar 2 Diagram Alir Pengujian.
Tahap  awal  yang  diadakan  melalui  penentuan  rerata  di  semua  aspekpada  angket.  Aspek  mencakup Information, Performance, Control and Security, Economics, Service, Efficiency . Aspek dari penilaian terdapat 5, yakni setuju yang mendapat angka 4, sangat setuju dengan angka 5, ragu – ragu dengan angka 3, tidak setuju mempunyai angka 2, dan sangat tidak setuju mendapat angke 1[10].
Tahap kedua dengan melakukan konversi hasil dari rerata pada tiap aspek dengan interval kelas. Adapun tabel 4 yakni interval kelas dari konversi hasil dari mean pada setiap aspek :
Tabel 4 Konversi Hasil Dari Mean Pada Setiap Aspelk
No. Skala Kategori 1. 1,00 – 1,80 Sangat buruk 2. 1,81 – 2,61 Buruk 3. 2,62 – 3,42 Cukup 4. 3,43 – 4,23 Baik 5. 4,24 – 5,04 Sangat baik
Langkah  terakhir  adalah  menarik  kesimpulan  dari  kategori  yang  di  dapat  yang  tellah  dibandingkan  dengan interval kelas.
3. HASIL DAN PEMBAHASAN
a) LMS SMK Maarif NU 2 Ajibarang
LMS  SMK  Maarif  NU  2  Ajibarang  dipergunakan  dalam  mengatur  pembelajaran, upload konten pembelajaran,  serta  mengawasi  kegiatan  belajar  siswa.  LMS  digunakan  sebagai  forum  manajemen  konten untuk  memantau  dan  menilai  pembelajaran  umum  dan  khusus    .  Tampilan  LMS  pada  SMK  Maarif  NU  2 Ajibarang bisa digambarkan pada gambar 2

## Gambar 3 LMS SMK Maarif NU 2 Ajibarang
LMS  pada  SMK  Maarif  NU  2  Ajibarang  digunakan  oleh  guru  dan  siswa.  Melalui  LMS  semua  data pembelajaran  bisa  diatur  secara  baik.  Bagi  guru,  LMS  sangat  memudahkan  dalam  mengelola  semua penjadwalan  pelajaran,  pemberian  tugas  serta  pemberian  nilai.  Bagi  siswa,  LMS  sangat  membantu  dalam mendapatkan materi dan mengerjakan tugas.
b) Karakteristik Responden

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Dalam  survei  ini,  kami menggunakan  sebanyak  94  responden.  yang  terdiri  47 guru dan  47  siswa  dari SMK  Maarif  NU  2  Ajibarang.  Pada  responden  penelitian  ini,  dibagi  ke  beberapa  karakteristik  berdasarkan struktur organisasi sekolah. Responden terdiri dari 31 guru umum, 5 guru farmasi, 5 guru asisten keperawatan, 5 guru teknologi laboratorium medik dan 1 guru multimedia.
Berikut  ini  penjelasan  karakteristik  responden  guru  :  Guru  umum  adalah  guru  yang  mengajar  pelajaran matematika, sejarah, bahasa Indonesia, bahasa jawa, bahasa inggris, seni budaya, kimia, PKK, PKN, simdig, PAI, ke-NUan, penjasorkes, biologi, fisika. Guru farmasi terdiri dari: kaprodi farmasi, guru produktif farmasi, laboran  farmasi.  Guru  keperawatan  terdiri  dari  :  kaprodi  keperawatan,  guru  produktif  keperawatan,  guru keperawatan,  kepala  laboratorium  keperawatan.  Guru  multimedia  terdiri  dari  :  kaprodi  multimedia.  Pada responden siswa terdapat 3 kelas, yaitu 2 kelas farmasi dan 1 kelas mulimedia. Jumlah responden setiap kelas terdiri dari 22 orang kelas A farmasi klinis dan komunitas, 4 orang kelas C farmasi klinis dan komunitas, 21 orang kelas A Multimedia. Pada gambar 3 karakteristik responden menurut jenis kelamin guru dan siswa dibagi dua yaitu perempuan dan laki-laki. Jumlah responden berdasarkan karakteristik yaitu sejumlah 26 orang laki- laki dan sejumlah 68 orang perempuan .
c) Analisis Penelitian
Analisis PIECES Framework meliputi  6 macam aspek,  yaitu  :  aspek performance, aspek information , aspek economics ,  aspek control  and  security ,  aspek efficiency ,  aspek service .  Analisis  ini  bertujuan  untuk mengetahui kualitas website SMK Maarif NU 2 Ajibarang terhadap pengguna.
d) Analisis Aspek Performance
Hasil analisa yang didapat pada aspek performance , dengan jawaban dari responden pada 3 pertanyaan penelitian  yaitu  sangat  setuju ada  sebanyak  57  kali,  setuju  terdapat  119  kali,  cukup  sebanyak  69  kali,  tidak setuju sejumlah 30 kali, dan sangat tidak setuju  sejumlah 7 kali. Jumlah jawaban muncul 282 kali. Jawaban responden lebih  banyak  yang  memilih  setuju terhadap  kualitas performance pada LMS  SMK  Maarif  NU  2 Ajibarang.
Pada tabel 5 terdapat Indikator dengan skor tertinggi  adalah indikator “ audibility ”, dengan skor tertinggi mencapai 4,07 (baik). LMS dapat menjalankan sejumlah perintah yang diberikan dengan benar. Indikator yang hanya mendapatkan nilai  cukup  yaitu respontime .  Secara  umum  aspek performance memberikan nilai  3,67 dengan kategori baik
Tabel 5 Kriteria Penilaian Aspek Performance Indikator Jumlah Total Mean  Kategori Througput 94 336 3,57 Baik Audibilitas 94 383 4,07 Baik Respon time 94 316 3,36 Cukup Jumlah semua indikator 282 1035 3,67 Baik
pada gambar 4 menunjukkan grafik penilaian siswa pada indikator performance di nilai baik oleh guru dan siswa ( Througput, audibilitas ). Siswa dan guru menilai fungsi sistem sudah dapat menjalankan perintah dengan benar dan mudah. Untuk waktu yang dibutuhkan untuk menampilkan informasi dinilai cukup ( Respon time ).
Gambar 4 Penilaian Indikator performance
e) Analisis Aspek Information
Hasil  analisis  yang  ditampilkan  pada  aspek information tanggapan  responden  terhadap  3  pertanyaan penelitian yaitu sangat setuju dengan jumlah 61 kali, setuju sejumlah 120 kali, cukup sebanyak 82 kali, sangat
0 1 2 3 4 5 Throughput Audibilitas Respon Time Performance Performance

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
tidak setuju sejumlah 2 kali, tidak setuju sejumlah 17 kali. Jumlah jawaban yang ditampilkan 282 kali. Jawaban responden paling banyak yang menjawab setuju.
Dalam  tabel  6  indikator  yang  memiliki  angka  paling  tinggi  diantara  semua  indikator  ialah  indikator “Akurat”,  dikatakan  dengan  skor  maksimum  mencapai  3,84  (sangat  baik).  Data  LMS  SMK  Maarif  NU  2 Ajibarang sesuai dengan harapan pengguna dan data bisa dipercaya. Secara umum penilaian pengguna terhadap kualitas information pada SMK Maarif NU 2 Ajibarang mendapatkan nilai 3,78 yang termasuk kategori baik.
Tabel 6 Kriteria Penilaian Aspek Information Indikator Jumlah Total Melan Kategori Penyajian informasi 94 355 3,78 Baik Akurat 94 361 3,84 Baik Fleksibilitas data 94 351 3,73 Baik Jumlah semua indikator 282 1067 3,78 Baik
Gambar 5 menyajikan bahwa setiap indikator pada aspek information dikatakan baik. LMS dapat menyediakan informasi yang dibutuhkan dalam bentuk yang berdasarkan pengguna, Data yang disajikan mudah digunakan dan berisi informasi yang valid.
Gambar 5 Penilaian indikator information
f) Analisis Aspek Economic
Hasil analisis yang ditampilkan aspek Economic dengan jawaban dari responden terhadap 4 pertanyaan penelitian yaitu sangat setuju sejumlah 52 kali, setuju sebanyak 164 kali, cukup sebanyak 150 kali, tidak setuju sebanyak 85 kali, sangat tidak setuju sebanyak 19 kali. Jumlah jawaban muncul 470 kali. Jawaban responden banyak yang memilih setuju.
Dalam tabel 7 terdapat indikator dengan jumlah skor tertinggi yaitu indikator “Efesiensi Biaya”, dengan nilai  yang  didapat  3,55  (Baik).  Biaya  pembuatan  dan  pengembangan  yang  dikeluarkan  tergolong  murah. Kecepatan  akses  perlu  ditingkatkan  dan  informasi  yang  ada  di  dalam  LMS  kurang  lengkap.  Sumber  daya manusia yang ada kurang berkontribusi dalam pembuatan dan pengembangan LMS. Secara umum penilaian pengguna dalam aspek economic memberikan nilai 3,31 yang masuk kategori cukup.
Tabel 7 Kriteria Penilaian Aspek Economic Indikator Jumlah Total Mean Kategori Efesiensi Target 1 94 302 3,21 Cukup Efesiensi Target 2 94 308 3,28 Cukup Efesiensi Biaya 1 94 334 3,55 Baik Efesiensi Biaya 2 94 303 3,22 Cukup Sumber Daya 94 308 3,28 Cukup Jumlah semua indikator 470 1555 3,31 Cukup
Penilaian indikator dimensi economic gambar 6 mahasiswa memberi nilai cukup. Pengembangan LMS SMA Maarif NU 2 Ajibarang dapat membuat website lain yang berbasis PC dan android sekalipun yang bisa lebih murah. Serta perlu untuk dikembangkan dalam menunjang sistem pembelajaran secara daring. Sumber daya internal bisa untuk mengembangkan program karena kelas terdapat berbasis ilmu komputer.
3,65 3,7 3,75 3,8 3,85 Penyajian informasi Akurat Fleksibilitas data Informatioel Information

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Gambar 6 Penilaian indikator Economic
g) Analisis Aspek Control and Security
Hasil  analisis  yang  ditunjukkan  pada  aspek control  and  Security ,  jawaban  dari  responden  terhadap  5 pertanyaan penelitian yaitu sangat setuju sejumlah 91 kali, setuju berjumlah 207 kali, cukup terdapat 115 kali, tidak  setuju  ada  42  kali,  sangat  tidak  setuju  sejumlah  15  kali,  Jumlah  jawaban  muncul  470  kali.  Jawaban responden banyak yang memilih setuju.
Dalam  tabel  8  terlihat  indikator  skor  tertinggi  adalah  keamanan,  dengan  nilai  tertinggi  3,83  (baik). Kualitas LMS dari sisi keamanan terhadap virus dan penggunaan cukup baik. Keamanan data penting yang ada di LMS tidak bisa diubah oleh pengunjung LMS. Rata-rata nilai 3,67 dengan kategori baik.
Tabel 8 Kriteria Penilaian Aspek Control And Security Indikator Jumlah Total Mean Kategori Integritas 1 94 342 3,64 Baik Integritas 2 94 345 3,67 Baik Integritas 3 94 348 3,70 Baik Keamanan 1 94 360 3,83 Baik Keamanan 2 94 332 3,53 Baik Jumlah semua indikator 470 1727 3,67 Baik
Penilaian aspek control and security pada gambar 7 memperlihatkan hasil yang baik. Sistem pada menu dan  navigasi  dapat  digunakan  dengan  mudah.  Tidak  ada  virus  membuat  perangkat  lebih  aman.  Keamanan dinilai baik dalam menjaga batasan akses terhadap pengunjung LMS. Keamanan ini penting agar pengunjung tidak bisa mengambil data seperti tugas, catatan dan data penting lainnya.
Gambar 7 Penilaian indikator control/security
h) Analisis Aspek Efficiency
Hasil  analisis  yang  didapat  dari  aspek Efficiency mendapatkan  jawaban  responden  4  pertanyaan  pada penelitian yaitu sangat setuju sejumlah 110 kali dan setuju sejumlah 174 kali, cukup dengan banyak 66 kali, tidak setuju terdapat 18 kali, sangat tidak setuju sejumlah 8 kali, Jumlah jawaban muncul 376 kali. Jawaban responden lebih banyak setuju.
3 3,2 3,4 3,6 Efesiensi Target 1 Efesiensi Target 2 Efesiensi Biaya 1 Economic Economic
3,6 3,65 3,7 3,75 Integritas 1 Integritas 2 Integritas 3 Control and Security
Control and Security

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Indikator pada tabel 9 terlihat yang memiliki angka paling tinggi ialah indikator fleksibel, mencapai 4,26 (sangat  baik).  Pengguna  dapat  mengakses  LMS  dengan  mudah  melalui  berbagai  perangkat.  LMS  memuat informasi yang dibutuhkan sesuai  harapan pengunjung.  Data dan informasi sangat akurat dan sesuai dengan perintah dari penggunanya. Secara umum nilai efficiency dengan jumlah 3,96 termasuk baik.
Tabel 9 Kriteria Penilaian Aspek Efficiency Indikator Jumlah Total Mean Kategori Fleksibel 94 400 4,26 Sangat Baik Akurat 1 94 361 3,84 Baik Akurat 2 94 365 3,88 Baik Penyajian Informasi 94 362 3,85 Baik Jumlah semua indikator 376 1488 3,96 Baik
Penilaian siswa terhadap aspek efficiency membuktikan hasil yang baik, sebagaimana dalam grafik gambar 8 pada  indikator  fleksibel  diberi  nilai  sangat  baik,  siswa  bisa  membuka  LMS  dengan  android,  ios  maupun windows. Indikator akurat dan penyajian informasi menunjukkan hasil baik, tingkat akurasi dalam penyajian informasi dan layanan sesuai dengan kebutuhan pengguna.
Gambar 8 Penilaian indikator Efficiency
i) Analisis Aspek Service
Hasil  analisis  yang  terdapat  pada  aspek service ,  jawaban  dari  responden  dengan  3  pertanyaan  pada penelitian yaitu sangat setuju sejumlah 63 kali, setuju dengan banyak 151 kali, cukup terdapat 120 kali, sangat tidak  setuju  sejumlah  51  kali,  tidak  setuju  sejumlah  85  kali,  Jumlah  jawaban  muncul  470  kali.  Jawaban responden lebih banyak setuju.
Dalam  tabel  10  terlihat  indikator  dengan  jumlah  skor  tertinggi  adalah  indikator  Reliabilitas,  yang mempunyai nilai mencapai 3,52 (baik). Penggunaan LMS dalam kegiatan belajar mengajar dapat dijalankan dengan  baik,  LMS  dapat  diandalkan  dan  dipercaya  dalam  penggunaannya  di  lingkungan  sekolah.  Untuk berkonsultasi  siswa  dengan  guru  mudah  di  lakukan.  Secara  umum  penilaian  dengan  jumlah  3,19  masuk kategori cukup.
Tabel 10 Kriteria Penilaian Aspek Information Indikator Jumlah Total Mean Kategori Reliabilitas 94 331 3,52 Baik Fleksibel 1 94 313 3,33 Cukup Indikator Jumlah Total Melan Kategori Fleksibel 2 94 315 3,35 Cukup Kelaziman komunikasi 94 310 3,30 Cukup Integritas 94 231 2,46 Buruk Jumlah semua indikator 470 1500 3,19 Cukup
Pada gambar 9 penilaian siswa terhadap aspek Service menunjukkan hasil yang cukup, masih banyak yang perlu di perbaiki. LMS menampilkan informasi yang dapat di percaya dan diakses mudah. Namun, LMS kadang mengalami error maka perlu adanya perbaikan dari pihak sekolah. Pada indikator integritas mendapat hasil 2,46 yang berkategori buruk.
3,6 3,8 4 4,2 4,4 Fleksibel Akurat 1 Akurat 2 Efficiency Efficiency

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085

## Gambar 9 Penilaian indikator service
Hasil analisis dengan metode PIECES Framework terhadap kualitas LMS SMK Maarif NU 2 Ajibarang menghasilkan hasil dengan kategori baik. Hal ini tergambarkan dalam uraian berikut :
Performa  sistem  LMS  yang  telah  ada  memiliki  performa  yang  dari  sisi  kecepatan,  kemudahan  akses,  dan ketersediaan informasi yang baik. LMS dapat menjalankan sejumlah perintah yang diberikan dengan benar. Hanya  saja  sistem yang berjalan memiliki  kekurangan  performa  dalam  hal  kemudahan  dalam menjalankan menu. Selain itu dalam membuka LMS, dibutuhkan waktu yang cukup lama. Ketersediaan informasi dan data pada sistem yang berjalan sangat lengkap. Informasi yang ada pada LMS antara lain : materi, quiz, timeline, beranda, profil. Informasi yang ada di  LMS bisa di percaya karena langsung dari sekolah yang memberikan informasi melalui admin. Informasi yang di dapat untuk penggunanya sesuai harapan pengguna.
Pada LMS yang berjalan sisi ekonomis masih kurang karena kurangnya wawasan mengenai IT sehingga jika terjadi suatu kerusakan maka tidak bisa diperbaiki secara cepat.  Biaya yang di keluarkan cukup besar untuk perawatan  dan  pembuatan  LMS,  karena  masih  bergantung  kepada  pihak  ketiga.  Tidak  adanya  layanan konsultasi membuat siswa susah berkonsultasi dengan guru.
Pada aspek Control dan Security , Siswa dan guru dapat dengan mudah berinteraksi karena terdapat menu menu yang mendukung. Pengumpulan tugas, tanya jawab dan pembagian materi dapat berjalan dengan baik. LMS tidak mengandung virus yang berbahaya. Namun data penting yang ada seperti nama akun seharusnya tidak bisa diubah.
Pada LMS yang berjalan sisi Efficiency sudah baik karena bisa diakses melalui berbagai perangkat yang ada mulai  dari  android,  windows ataupun apple.  Di  dalam LMS informasi  yang  di  berikan bisa lebih  cepat karena  bisa  setiap  waktu, tidak  menunggu  waktu  belajar  offline. Laman  yang ada  sesuai dengan  kebutuhan pengguna. Pengunggahan file sering dilakukan untuk materi yang berbeda.
Service atau layanan LMS yang tersedia kurang baik. Sering kali LMS error tidak bisa diakses. Siswa sebagai pengguna terkadang tidak bisa upload tugas pada malam hari karena server yang penuh sehingga siswa telat mengumpulkan tugas. Tidak ada fitur hubungi kami yang memudahkan berinteraksi ketika mengalami error.
j) Rekomendasi
Berdasarkan hasil dari perhitungan kuesioner di LMS SMK Maarif NU 2 Ajiabarang pada aspek Information & Data, Performance, Control & Security, Economics, Service, dan Efficiency memiliki kategori yang baik. Namun, LMS SMK Maarif NU 2 Ajiabarang harus ditingkatkan lagi kedepannya menjadi lebih baik. Beberapa rekomendasi pengembangan dan perbaikan yang diperoleh meliputi :
1) Performance
a. Througput
Rekomendasi : warna di setiap menu lebih bervariasi
b. Respon Time
Rekomendasi : memperkecil ukuran gambar, mengurangi Plugin yang tidak perlu.
2) Economics
a. Efisien Target 1
Rekomendasi : menambahkan menu tugas yang belum selesai dikerjakan
b. Efisien Target 2
Rekomendasi :  Adanya  panduan  penggunaan LMS  seperti membuat  akun, masuk, cara  mengisi  data dan keluar
c. Efisien Biaya 1
Rekomendasi : mengganti hosting ke yang lebih murah.
d. Efisien Biaya 2 Rekomendasi : waktu balas konsultasi di percepat agar banyak yang mau berkonsultasi online
e. Sumber daya
Rekomendasi : menambah pengelola LMS untuk perbaikan dari guru yang sudah ada
3) Control and security
a. Keamanan 2
3,2 3,3 3,4 3,5 3,6 Reliabilitas Fleksibel 1 Fleksibel 2 Service Service

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Rekomendasi : membuat perbedaan antara user admin dan user biasa
4) Service
a. Realibilitas
Rekomendasi : informasi data penting yang ada di LMS sebaiknya hanya bisa diubah olelh admin b. Fleksibel 1 Rekomendasi : lebih diaktifkan kembali untuk konsultasi dan diskusi di setiap pelajaran c. Fleksibel 2
Rekomendasi : menambahkan fitur pencarian pada LMS
d. Kelaziman Komunikasi
Rekomendasi : menambahkan menu hubungi kami untuk konsultasi atau menambah nomor yang bisa dihubungi
e. Integritas
Rekomendasi : diadakan pengecekan rutin terhadap LMS yang dipakai

## 4. KESIMPULAN
Berlandaskan  hasil  pembahasan  terkait  analisa  yang  diadakan  terhadap  LMS  SMK  Maarif  NU  2 Ajibarang  dengan  menerapkan  metode  PIECES,  maka  bisa  didapat  sejumlah  simpulan  diantaranya  yaitu: Pertama,  tingkat  mutu  LMS  SMK  Maarif  NU  2  Ajibarang nilainya baik untuk aktivitas  pembelajaran  serta aktivitas yang lain dengan rerata 3.60. pada analisa mutu LMS memakai PIECES didapat rerata tiap aspek. Aspek Performance dikategorikan sangat baik dengan angka 3,67, aspek Economics baik dengan nilai 3,31, Aspek Information dkategorikan sangat baik dengan angka 3,78, aspek Service cukup dengan skor nilai 3,19, aspek Control & Security sangat baik dengan angka 3,67 dan aspek Efficiency baik dengan nilai 3,96. Kedua, ditemukan masukan untuk LMS SMK Maarif NU 2 Ajibarang yakni : ukuran gambar diperkecil, warna menu lebih bervariasi, menambah pedoman penggunaan LMS, mengurangi plugin, membalas konsultasi dipercepat, ganti hosting yang murah, akun admin dan user dibedakan, LMS dikelola guru, ada diskusi dan konsultasi di tiap  pelajaran,  informasi  penting  hanya  diubah  admin,  ditambah  menu  kontak  atau  hubungi  kami  untuk konsultasi, ditambah menu dan pencarian tugas yang belum selesai.

## REFERENSI
[1] R. B. B. Sumantri, W. Setiawan, and D. N. Triwibowo, “RANCANG BANGUN APLIKASI MEDIA JASA DESAIN LOGO DENGAN,” vol. 6, no. 2, pp. 157–163, 2022.
[2] H. O. L. Wijaya, “Implementasi Metode Pieces Pada Analisis Website Kantor Penanaman Modal Kota Lubuklinggau,” JUSIM (Jurnal Sist. Inf. Musirawas) , vol. 3, no. 1, pp. 46–55, 2018, doi: 10.32767/jusim.v3i1.289.
[3] I. Widya, P. Pratomo, and R. Wahanisa, “Pemanfaatan Teknologi Learning Management System (LMS) di Unnes Masa Pandemi Covid-19,” Semin. Nas. Huk. Univ. Negeri Semarang , vol. 7, no. 2, pp. 547–560, 2021, [Online]. Available:
https://doi.org/10.15294/snhunnes.v7i2.730%0Ahttps://proceeding.unnes.ac.id/index.php/snh/article/ view/730
[4] G. Syarifudin, “Website Sekolah Sebagai Optimalisasi Penyampaian Informasi pada SMK Al- Madani Pontianak,” Sindimas , vol. 1, no. 1, pp. 265–269, 2019, [Online]. Available: https://stmikpontianak.ac.id/ojs/index.php/sindimas/article/view/582
[5] Raya D N., “DI KABUPATEN INDRAGIRI HILIR Raya Desmawanto Nainggolan .,” vol. 1, pp. 74–83, 2020.
[6] R. I. Nurachim, “Perancangan Sistem Informasi Akademik Menggunakan Metode Pieces Pada Mts Darussa’Adah Jakarta,” J. Teknol. Inform. dan Komput. , vol. 4, no. 2, pp. 7–12, 2018, doi: 10.37012/jtik.v4i2.255.
[7] N. Made, B. Aditya, J. Nashar, and U. Jaya, “Penerapan Metode PIECES Framework Pada Tingkat Kepuasan Sistem Informasi Layanan Aplikasi Myindihome,” vol. 3, pp. 325–332, 2022, doi: 10.30865/json.v3i3.3964.
[8] A. P. Thenata and A. G. Prabawati, “Evaluation Information Technology Utilization of School Subject Scheduling Using PIECES Framework ,” J. Terap. Teknol. Inf. , vol. 2, no. 1, pp. 53–63, 2018, doi: 10.21460/jutei.2018.21.97.
[9] K. K. Dewi, D. P. Githa, N. Made, and I. Marini, “Pengukuran Kualitas E-Learning LMS Moodle dengan Metode PIECES Framework dan Equivalence Partitioning,” vol. 3, no. 6, pp. 1233–1243, 2023, doi: 10.30865/klik.v3i6.793.
[10] M. I. Idharuddin and D. R. Prehanto, “Analisis Kualitas Layanan Dan Perancangan Website PT. Pelabuhan Indonesia III Menggunakan Metode Webqual,” Jeisbi , vol. 2, no. 1, pp. 32–39, 2021, [Online]. Available: www.pelindo.co.id.
[11] J. Rahmadoni, A. A. Arifnur, and R. Akbar, “Rancangan dan Evaluasi Sistem Informasi Inventori

## JSAI : Journal Scientific and Applied Informatics
Vol. 7, No. 1, Januari 2024, hal. 84~95 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
APD untuk Covid-19 dengan Metode PIECES,” J. Edukasi dan Penelit. Inform. , vol. 7, no. 2, p. 270, 2021, doi: 10.26418/jp.v7i2.47543.
[12] Y. I. Maulana and A. Salim, “Evaluasi Penggunaan Supporting Applications For Quick Data Search (SuApQuDaS) Dengan Metode PIECES Framework ,” J. Ilm. Teknol. Inf. Asia , vol. 15, no. 1, p. 13, 2021, doi: 10.32815/jitika.v15i1.512.
[13] Ea. kepuasan pengguna layanan aplikasi gojek roda dua dengan kerangka kerja pieceslvin L. Hadisaputro, E. Wandi, A. Hermawansyah, P. Studi, S. Informasi, and B. Selatan, “D. A. N. Pilihan, G. Untuk, and M. S. Learning, ‘THE COMPARISON OF THE ACCURACY OF LIKERT SCALE,’ 2015.,” 2019.
[14] R. Muliansah and C. Budihartanti, “Analisa Pemanfaatan e-Puskesmas di Loket Pendaftaran pada Puskesmas Kecamatan Pademangan dengan Metode PIECES,” J. Comput. Sci. Eng. , vol. 1, no. 1, pp. 17–29, 2020, doi: 10.36596/jcse.v1i1.22.
[15] M. C. T. Alfina, A. Muliawati, and A. O. Indarso, “Rancang Bangun Sistem Pembelajaran Dengan Learning Management System (Studi Kasus: Sman 107 Jakarta),” Senamika , vol. 1, no. 2, pp. 395– 406, 2020, [Online]. Available: https://conference.upnvj.ac.id/index.php/senamika/article/view/578