## Penerapan Analisis Mean dalam Evaluasi Kegunaan Sistem Tes Kemampuan Akademik Calon Mahasiswa Baru Berbasis Use Questionnaire

## Fransiskus Mario Hartono Tjiptabudi 1
Jurnal Algoritma STIKOM Uyelindo Kupang Jl. Perintis Kemerdekaan, Kayu Putih, Kupang 85111 Indonesia Email : stikom@uyelindo.ac.id
1 tjiptabudifrans@gmail.com
Abstrak – Sebagai perguruan tinggi berbasis teknologi informasi, STIKOM Uyelindo Kupang dalam  menjalankan  segala  proses  bisnisnya  telah  menerapkan  berbagai  sistem  informasi,  tak terkecuali pada proses penerimaan mahasiswa baru. Sesuai dengan standar proses penerimaaan mahasiswa baru, maka calon mahasiswa baru wajib diseleksi berdasarkan hasil tes kemampuan akademik. Tes tersebut dilakukan dengan memanfaatkan sistem informasi untuk mempermudah proses seleksi. Adapun sistem tersebut telah digunakan sejak tahun 2020 dan telah memberikan kemudahan  dalam  proses  seleksi  calon  mahasiswa  baru  bagi  pihak  kampus,  tetapi  dari  sudut pandang calon mahasiswa baru sendiri belum diketahui tingkat kegunaannya sehingga diperlukan evaluasi  untuk  mengetahui  hal  tersebut.  Evaluasi  yang  dilakukan  adalah  evaluasi  kegunaan berbasis USE Questionnaire dengan menerapkan analisis mean . Pengumpulan data melibatkan 267  responden  dari  pengguna  sistem  yang  merupakan  mahasiswa  baru  pada  periode  tahun akademik  2020/2021  hingga  2022/2023.  Hasil  uji  validitas  30  butir  pernyataan  kuesioner memperoleh nilai Sig. (2-tailed) lebih kecil dari nilai α (0,05) sehingga semua butir pernyataan dinyatakan valid, sedangkan nilai cronbach's alpha yang diperoleh sebagai hasil uji reliabilitas adalah sebesar 0,721 yang berarti termasuk dalam kategori reliabilitas tinggi. Selain itu, untuk pengukuran kegunaan perolehan nilai grand mean dimensi kegunaan ( usefulness ) sebesar 4,62, dimensi kemudahan penggunaan ( ease of use ) sebesar 4,65, dimensi kemudahan pembelajaran ( ease  of  learning )  sebesar  4,78,  dimensi  kepuasan  ( satisfaction )  sebesar  4,57  dan  rerata  nilai grand  mean -nya  adalah  4,65  sehingga  termasuk  dalam  kategori  sangat  tinggi.  Hasil  tersebut menggambarkan persepsi responden yang positif terhadap sistem tes kemampuan akademik calon mahasiswa  baru,  yang  mana  sistem  dianggap  sangat  berguna  sehingga  sangat  layak  untuk digunakan.
Kata Kunci – Analisis Mean ; Evaluasi Kegunaan; USE Questionnaire .

## I. PENDAHULUAN
Pemanfaatan sistem informasi terkomputerisasi untuk mendukung proses bisnis dan pengambilan keputusan menjadi  dasar  bagi  sebuah  organisasi  dalam  memberikan  layanan  terhadap  pihak  yang  berkepentingan. Fenomena ini terjadi karena sistem informasi sudah menjadi elemen penting dari kehidupan manusia, selain itu sistem informasi didesain  dan  dikembangkan berdasarkan  kebutuhan  dengan  tujuan untuk memperoleh peningkatan  efektivitas  dan  efisiensi  dari  semua  proses  dari  berbagai  bidang,  salah  satunya  yakni  bidang pendidikan [1] . Pemanfaatan sistem informasi yang semakin masif sejalan dengan pesatnya  perkembangan internet  sebagai  salah  satu  Teknologi  Informasi  dan  Komunikasi  atau  yang  dikenal  dengan  isitilah  TIK. Berdasarkan hasil survei asosiasi APJII [2], penggunaan internet di Indonesia meningkat cukup drastis setiap tahunnya. Pada periode 2021-2022, sebanyak 77,02% (210 juta dari 272,7 juta) penduduk Indonesia yang telah mengakses  internet.  Dalam  survei  yang  sama  juga  menunjukkan  bahwa  penetrasi  internet  tertinggi  yakni
sebesar  99,16%  dilakukan  oleh  remaja  usia  sekolah  menengah  dan  kuliah  (kelompok  umur  13-18  tahun). STIKOM  Uyelindo  Kupang  sebagai  perguruan  tinggi  berbasis  IT  membuat  strategi  yang  tepat  untuk memanfaatkan  perkembangan  internet  tersebut  dengan  mengembangkan  dan  menerapkan  berbagai  sistem informasi  yang  bersifat  daring  untuk  mendukung  keseluruhan  proses  bisnisnya. Adapun  salah  satu  sistem informasi daring yang diterapkan yakni sistem tes kemampuan akademik calon mahasiswa baru, yang mana tes tersebut merupakan tes pilihan ganda dan terdiri dari 45 soal. Sistem tes kemampuan akademik ini berfungsi untuk  mempermudah  proses  pelaksanaan,  penilaian  dan  penyajian  hasil  seleksi  calon  mahasiswa  baru berdasarkan kemampuan akademiknya.
Penerapan sistem tersebut selain sebagai strategi pemanfaatan perkembangan internet, juga sebagai bentuk implementasi  standar  proses  penerimaaan  mahasiswa  baru  yang  berlaku  di  STIKOM  Uyelindo  Kupang. Adapun sistem tersebut telah digunakan sejak tahun 2020  dan telah memberikan kemudahan dalam proses seleksi calon mahasiswa baru bagi pihak kampus, tetapi dari sudut pandang calon mahasiswa baru sendiri belum  diketahui  tingkat usability atau  kegunaannya.  Bagaimanapun  juga,  sebuah  sistem  informasi memerlukan  evaluasi  sehingga  dapat  menjawab  apakah  sistem  informasi  tersebut  telah  beroperasi  sesuai dengan yang dibutuhkan serta diharapkan oleh pengguna [3]. Selain itu, evaluasi kegunaan sebuah sistem juga bertujuan  untuk  mengukur  tingkat  kecakapan  pengguna  mengoperasikan  sistem  tersebut  dalam  rangka mencapai  tujuan  penerapannya.  Kegunaan  atau usability yang  dibahas  pada  artikel  penelitian  ini  adalah kegunaan dari  sebuah  sistem  berbasis  komputer. Usability dengan  akar  kata usable, didefinisikan  sebagai sesuatu yang dapat digunakan dengan baik, atau dapat juga diartikan sebagai proses peningkatan interaksi agar lebih  interaktif  antara  pengguna  dengan  sistem.  Menurut  ISO  9241:11  [4],  dijelaskan  bahwa  kegunaan merupakan pengukuran terhadap tingkatan kemahiran sebuah produk atau layanan dalam membantu berbagai pihak yang terlibat untuk mencapai target yang telah ditentukan secara efektif dan efesien serta memenuhi kepuasan pihak-pihak tersebut. Aspek kegunaan memiliki dampak terhadap pengalaman seorang pengguna secara mendasar, mengacu pada kemudahan dalam penggunaan sistem tersebut khususnya bagi pengguna yang perdana dalam menggunakan sistem tersebut . Selain itu, kegunaan juga dapat dijelaskan sebagai kapabilitas sebuah produk terkomputerisasi untuk dimengerti, dipelajari, diterapkan, serta memiliki daya tarik tersendiri bagi pengguna [5].
Evaluasi kegunaan atau juga dikenal dengan istilah usability testing adalah sebuah proses pengujian dalam user centered design dengan keterlibatan pengguna yang ditujukan untuk menilai kesesuaian antara sebuah produk atau layanan dengan kriteria usability [6]. Evaluasi kegunaan dilaksanakan untuk mengukur tingkat kepuasan, efektivitas dan efisiensi sebuah sistem informasi seuai persepsi penggunanya. Dengan kata lain, evaluasi kegunaan dilakukan untuk mengetahui manfaat yang diberikan oleh sistem kepada pengguna, yang mana harapan akan manfaat tersebut tidak akan tercapai jika sistem tersebut tidak berguna disebabkan oleh ketidaksesuaian dengan kebutuhan pengguna. Pada umumnya, evaluasi kegunaan dilakukan menggunakan alat pengumpulan  data  kuesioner.  Terdapat  beberapa  model  kuesioner  yang  umum  diterapkan  untuk  evaluasi kegunaan sebuah sistem, yakni [7] : Perceived Usefulness and Ease of Use (PUEU), WAMMI questionnaire, Computer  System  Usability  Questionnaire (CSUQ), Post-Study  System  Usability  Questionnaire (PSSUQ), Measurement of Usability of Multimedia Software (MUMMS), Usefulness, Satisfaction, and Ease of use (USE) Questionnaire .
Berangkat dari kondisi yang telah dipaparkan, maka perlu dilakukan sebuah evaluasi kegunaan terhadap sistem tes  kemampuan  akademik  dengan  tujuan  mengetahui  tingkat  kepuasan  pengguna  dan  keberhasilan  sistem dalam memberikan layanan dengan menerapkan salah satu model kuesioner yakni USE Questionnaire . USE Questionnaire sendiri merupakan instrumen dengan 30 butir pernyataan yang diterapkan sebagai evaluator kegunaan subjektif dari suatu produk atau layanan dilihat dari 4 aspek yakni dimensi kegunaan ( usefulness ), kemudahan penggunaan ( ease of use ), kemudahan pembelajaran ( ease of learning ) dan kepuasan ( satisfaction ) [8]. USE Questionnaire termasuk model kuesioner yang mempertimbangkan banyak dimensi. Pada awalnya, hanya terdiri dari 3 dimensi, yaitu kegunaan, kepuasan, dan kemudahan penggunaan. Dalam sebuah penelitian diperoleh hasil adanya korelasi signifikan antara dimensi kegunaan dan kemudahan penggunaan serta kedua dimensi tersebut yang berpengaruh terhadap dimensi kepuasan. Kemudian karena situasi tertentu, butir-butir pada  dimensi  kemudahan  penggunaan  dipecah  menjadi  2  dimensi  yakni  kemudahan  penggunaan  dan kemudahan pembelajaran yang mana keduanya jelas berkorelasi tinggi [9].
Dimensi-dimensi evaluasi dalam USE Questionnaire diyakini sebagai faktor terpenting dalam proses evaluasi kegunaan, hal ini dikarenakan oleh setiap pernyataan dibuat sangat sederhana dan umum dengan tujuan mudah dipahami oleh responden [10] sehingga kuesioner dapat mudah digunakan walaupun hanya dengan sedikit pelatihan.  Meskipun  kuesioner  masih  terus  berkembang  dan  berubah,  akan  tetapi  kuesioner  ini  dapat diimplementasikan dengan sukses dalam banyak penelitian. Pada sebuah penelitian terkait evaluasi kegunaan terhadap aplikasi pengisian KRS secara online di STMIK XYZ dengan responden mahasiswa, ditemukan fakta bahwa USE Questionnaire berhasil mengukur tingkat kegunaan aplikasi dengan memperoleh hasil cukup baik dan berdampak terhadap kepuasan user yakni mahasiswa [7]. Pada penelitian sejenis dengan responden siswa SMK,  kegunaan  sistem  e-learning  adaptif  yang  dipersonalisasi  juga  memberikan  hasil  yang  menjanjikan dengan  menerapkan USE  Questionnaire [9].  Selain  pada  responden  siswa/mahasiswa  yang  terbatas  dalam lingkup yang kecil, USE Questionnaire juga berhasil diterapkan pada berbagai penelitian dengan keterlibatan responden dengan jumlah yang besar dengan karakteristik beragam dan tersebar dalam lingkup yang jauh lebih besar, misalnya dalam penelitian  [11] yang melibatkan responden dalam perusahaan Ciputra yang tersebar pada beberapa cabang, penelitian analisis kegunaan terhadap sistem informasi e-tadkzirah [12] dan penelitian analisis kegunaan dari aplikasi myIndiHome bagi pelanggan IndiHome di Kabupaten Banjarnegara [13] yang melibatkan  responden  dalam  lingkup  sebuah  kota/kabupaten.  Bahkan  pada  penelitian  pengukuran  aspek kegunaan  pada  aplikasi  OVO  [14],  melibatkan  responden  di  berbagai  kota.  Penelitian-penelitian  tersebut menunjukkan bahwa USE Quetionnaire menjadi instrumen penelitian yang tepat dalam mengukur kegunaan dari sebuah aplikasi/sistem tanpa memandang jumlah, karakteristik serta sevaran responden. Hal ini sejalan dengan hasil penelitian [10] yang membuktikan bahwa USE Quetionnaire menjadi pilihan yang tepat untuk konteks penelitian tersebut karena dapat memberikan banyak informasi tentang aspek mana dari sistem yang dapat ditingkatkan dengan mengumpulkan poin-poin positif dan negatif dari sebuah aplikasi/sistem.
Oleh karena itu, melalui penelitian ini dilakukan evaluasi kegunaan terhadap sistem tes kemampuan akademik calon mahasiswa baru dengan menggunakan USE Questionnaire agar memperoleh informasi hasil analisis dan rekomendasi untuk perbaikan dan pengembangan sistem guna meningkatkan kinerja khususnya dalam layanan terhadap calon mahasiswa baru.

## II. METODOLOGI PENELITIAN

## A. Tahapan Penelitian
Adapun langkah-langkah yang dilaksanakan dalam penelitian ini dapat dilihat pada Gambar 1.
Gambar 1: Tahapan penelitian
Adapun penjelasan dari setiap tahapan penelitian pada Gambar 1 yakni sebagai berikut:
Vol. 20; No. 2; 2023; Hal 340-351

## 1. Studi literatur
Merupakan tahap pertama dalam penelitian yang dilakukan untuk mengumpulkan data sebagai rujukan awal penelitian yang berasal dari artikel jurnal atau prosiding.
2. Penyebaran kuesioner
Pada tahap ini, kuesioner disebar secara daring guna memperoleh data kuantitatif yang akan dianalisis.
3. Uji kelayakan instrumen
Walaupun USE Questionnaire sudah umum digunakan akan tetapi wajib untuk diuji kelayakannya, baik dari segi validitas setiap butir pernyataan maupun dari segi reliabilitas instrumennya.
4. Analisis hasil evaluasi
Merupakan proses pengukuran usability berdasarkan jawaban kuesioner, kemudian membandingkan hasil pengukuran dengan hasil observasi yang dilakukan terhadap sistem.
5. Kesimpulan dan rekomendasi
Pemaparan hasil analisis data dalam format grafik maupun tabular serta deskriptif yang kemudian akan menjadi dasar penarikan kesimpulan, serta pemberian rekomendasi untuk perbaikan dan upgrade sistem ke depannya.

## B. Populasi dan Sampel
Populasi  dalam  penelitian  ini  berdasarkan  data  yang  diperoleh  dari  sistem  akademik  mandiri  (SiAmir) berjumlah 806 orang yang merupakan mahasiswa STIKOM Uyelindo Kupang tahun angkatan 2020 hingga 2022  sebagai  pengguna  sistem  sejak  mulai  diterapkan  pada  tahun  2020,  dan  untuk  menentukan  jumlah sampelnya digunakan rumus Slovin. Menurut Riyanto dan Hatmawan (2020) dalam [15], rumus slovin tersaji pada persamaan (1) berikut:
n = 𝑁 1+𝑁(𝑒 2 ) (1)
Keterangan: n = jumlah spesimen
N = jumlah populasi e = error margin
Perhitungan untuk penentuan jumlah sampel dengan menggunakan persamaan (1) dengan tingkat kesalahan ( e )  sebesar  5%  memperoleh  hasil  267  sampel.  Untuk  menentukan  sampel  yang  akan  dijadikan  responden menggunakan  teknik accidental sampling yang  merupakan  teknik  pemilihan  sampel  secara  tidak  sengaja, dengan syarat orang tersebut itu dinilai layak menjadi responden.

## C. Metode Pengumpulan Data
Dalam  penelitian  ini,  adapun  pengumpulan  data  mulai  data  primer  hingga  sekunder  dilakukan  dengan menggunakan metode-metode berikut:
1. Studi literatur
Merupakan  kegiatan  pengumpulan  data  melalui  proses  pencarian  sumber  pustaka  sebagai  referensi pendukung penelitian untuk memberikan informasi awal yang sesuai sebagai dasar teori.
2. Kuesioner
Untuk pengumpulan data primer, menerapkan metode kuesioner sebagai instrumen penelitian. Kuesioner yang disusun mengacu pada 4 dimensi yang terdapat dalam USE Questionnaire dan kemudian dibagikan secara daring.
3. Observasi
Selain kuesioner, metode observasi juga digunakan pada penelitian ini. Dalam pelaksanaannya, dilakukan pengamatan  dan  pendataan  hal  faktual  yang  terjadi  pada  sistem  tes  kemampuan  akademik  calon mahasiswa  baru  sebagai  validasi  dan  pembanding  dengan  hasil  analisis  data  yang  terkumpul menggunakan kuesioner.

## D. Instrumen Penelitian
Instrumen penelitian yang digunakan mengadaptasi USE Questionnaire yang terdiri dari 4 dimensi dan 30 butir  pernyataan,  Butir  pernyataan  asli  dikonversi  menjadi  Bahasa  Indonesia  dan  disesuaikan  formulasi kalimatnya agar lebih mudah dipahami, sedangkan untuk alternatif jawaban yang disediakan menggunakan skala likert dengan bobot nilai 1 untuk sangat tidak setuju, 2 untuk tidak setuju, 3 untuk netral, 4 untuk setuju, dan 5 untuk sangat setuju.
Tabel 1: Instrumen penelitian
Dimensi Kode Pernyataan Kegunaan U1 Sistem efektif dalam membantu saya. U2 Sistem membantu saya menjadi lebih produktif.
U3 Sistem sangat berguna.
U4 Sistem memberi saya lebih banyak kendali atas aktivitas tes.
U5 Sistem membuat hal-hal yang ingin saya capai lebih mudah diselesaikan.
U6 Sistem menghemat waktu saya ketika saya gunakan.
U7 Sistem memenuhi kebutuhan saya. U8 Sistem melakukan semua yang saya harapkan. Kemudahan Penggunaan EU1 Sistem mudah digunakan. EU2 Sistem sederhana.
EU3 Sistem user friendly.
EU4 Diperlukan langkah sesedikit mungkin untuk mencapai apa yang ingin saya lakukan dengan sistem. EU5 Sistem fleksibel.
EU6 Tidak memerlukan banyak usaha untuk menggunakan sistem.
EU7 Saya dapat menggunakan sistem tanpa instruksi tertulis.
EU8 Saya tidak melihat adanya ketidak-konsistenan saat saya menggunakan sistem.
EU9 Baik pengguna yang baru menggunakan maupun pengguna reguler menyukai sistem. EU10  Jika membuat kesalahan, saya dapat memperbaiki dengan cepat dan mudah.
EU11 Saya dapat menggunakan sistem dengan sukses setiap saat. Kemudahan Pembelajaran EL1 Saya cepat belajar untuk menggunakan sistem. EL2 Saya mudah mengingat cara menggunakan sistem. EL3 Saya merasa mudah dalam belajar menggunakan sistem. EL4 Saya cepat terampil menggunakan sistem. Kepuasan S1 Saya puas dengan kinerja sistem. S2 Saya akan merekomendasikan agar sistem ini terus digunakan.
S3 Sistem sangat menyenangkan untuk digunakan.
S4 Sistem bekerja seperti yang saya inginkan.
S5 Sistem sangat luar biasa membantu.
S6 Saya merasa sistem perlu digunakan.
S7 Sistem nyaman untuk digunakan.

## E. Uji Kelayakan Instrumen
Uji kelayakan instrumen yang dilakukan terdiri atas 2 jenis pengujian yakni uji validitas dan uji reliabilitas. Uji validitas ditujukan untuk mengukur keabsahan atau valid tidaknya sebuah instumen penelitian. Jika butir pernyataan dalam instrumen penelitian mampu menyingkapkan sesuatu yang hendak diukur oleh instrumen tersebut  maka  instrumen  dikatakan  valid.  Pengujian  validitas  dilakukan  dengan  menggunakan  rumus  oleh Priyatno (2012) seperti pada persamaan (2) berikut [3]:
r xy =        − − − ) ) ( )( ) ( ( Y) X ( XY) ( 2 2 2 2 y y N X X N N (2)
Keterangan: r xy = koefisien korelasi item-total ( bivariate pearson ) X = skor butir Y = skor total N = banyaknya subjek
F. Evaluasi Kegunaan
Untuk mengevaluasi tingkat kegunaan dari sistem, digunakan teknik analisis mean (rata-rata hitung). Secara berturut-turut  dalam  persamaan  (4),  (5),  (6)  dan  (7)  berikut  ini  menjelaskan  rumus mean,  grand  mean , persentase capaian dan rentang skala nilai grand mean [17]:
Mean (x) = 𝛴𝑥 𝑁 (4)
Keterangan: x = rata-rata hitung/ mean Σx = jumlah nilai
N = jumlah responden
Grand mean ( X ) = 𝑇𝑜𝑡𝑎𝑙 𝑚𝑒𝑎𝑛 𝑗𝑢𝑚𝑙𝑎ℎ 𝑝𝑒𝑟𝑛𝑦𝑎𝑡𝑎𝑎𝑛 (5)
Persentase capaian = 𝐺𝑟𝑎𝑛𝑑 𝑚𝑒𝑎𝑛
𝑆𝑘𝑜𝑟 𝑡𝑒𝑟𝑡𝑖𝑛𝑔𝑔𝑖 x 100%  (6) Rs = 𝑚−𝑛 𝑏 (7)
Keterangan: Rs = rentang skala m = skor tertinggi n = skor terendah b = skala penilaian Berdasarkan persamaan (6), maka dapat dihitung rentang skalanya sebagai berikut:
RS = 5−1 5
RS = 4 5
RS = 0,80

## III. HASIL DAN PEMBAHASAN

## A. Karakteristik Responden
Karakteristik  responden  menunjukkan  gambaran  dari  responden  yang  terlibat  dalam  penelitian  ini,  yang diklasifikasikan berdasarkan tahun angkatan, program studi dan jenis kelamin yang disajikan pada Tabel 2.
Tabel 2: Karakteristik responden
Klasifikasi Jumlah % Tahun angkatan 1. 2020/2021 87 32,6% 2. 2021/2022 91 34,1% 3. 2022/2023 89 33,3% Total 267 100% Program studi 1. Sistem Informasi S1 67 25,1% 2. Teknik Informatika S1 168 62,9% 3. Teknik Informatika D3 32 12% Total 267 100% Jenis Kelamin 1. Laki-laki 164 61,4% 2. Perempuan 103 38,6% Total 267 100%
Tabel  2  menunjukkan  bahwa  karakteristik  responden  berdasarkan  tahun  angkatan  untuk  tahun  2020/2021 berjumlah  87  responden,  tahun  2021/2022  berjumlah  91  responden,  dan  tahun  2022/2023  berjumlah  89
responden. Berdasarkan program studi, Sistem Informasi S1 berjumlah 67 responden, Teknik Informatika S1 berjumlah 168 responden, dan Teknik Informatika D3 berjumlah 32 responden. Untuk karakteristik responden berdasarkan jenis kelamin yakni laki-laki sebanyak 164 responden dan perempuan 103 responden.

## B. Uji Validitas dan Reliabilitas
Instrumen  yang  telah  dibagikan  secara  daring  dan  dijawab  oleh  responden  kemudian  diuji  keabsahan  dan keandalannya. Pengujian instrumen dilakukan dengan bantuan aplikasi IBM SPSS Statistics 27.  Uji dua sisi digunakan dalam uji validitas instrumen dengan syarat taraf signifikansi sebesar 0,05. Adapun rangkuman hasil uji validitas untuk semua butir pernyataan dapat dilihat pada Tabel 3.
Tabel 3: Nilai Sig. ( 2-tailed ) dari setiap butir pernyataan Butir Nilai Sig. (2-tailed) U1 0,001 U2 0,000 U3 0,000 U4 0,002 U5 0,000 U6 0,023 U7 0,000 U8 0,000 EU1 0,000 EU2 0,000 EU3 0,017 EU4 0,002 EU5 0,036 EU6 0,002 EU7 0,000 EU8 0,023 EU9 0,000 EU10 0,002 EU11 0,000 EL1 0,000 EL2 0,001 EL3 0,000 EL4 0,012 S1 0,002 S2 0,005 S3 0,023 S4 0,000 S5 0,009 S6 0,041 S7 0,001
Tabel 3 menampilkan nilai Sig. ( 2-tailed ) pada semua butir pernyataan dalam kuesioner lebih kecil dari syarat yang  ditentukan,  sehingga  disimpulkan  valid.  Sedangkan  hasil  pengujian  reliabilitasnya  ditampilkan  pada Tabel 4 sebagai berikut.
Tabel 4: Hasil uji reliabilitas instrumen
Cronbach's Alpha N of Items 0,721 30
Nilai Cronbach’s Alpha hasil uji reliabilitas terhadap instrumen berdasarkan USE Questionnaire adalah sebesar 0,721. Karena nilai hasil pengujian berada pada rentang 0,70-0,90, maka diketahui bahwa nilai hasil reliabilitas terklasifikasi  sebagai  kategori  tinggi,  sehingga  kesimpulan  yang  ditarik  adalah  instrumen  yang  digunakan dikatakan andal atau reliabel.

## C. Hasil Analisis Data Jawaban Kuesioner
Setelah instrumen  penelitian  dinyatakan  valid  dan  reliabel, maka  tahap  yang  dilakukan  selanjutnya  adalah pengukuran  kegunaan  sistem.  Pengukuran  kegunaan  dilakukan  melalui  analisis mean menggunakan
persamaan  (4)  terhadap  jawaban  responden  atas  masing-masing  butir  pernyataan  dalam  kuesioner.  Seperti yang telah dijelaskan sebelumnya, kuesioner terdiri dari 4 dimensi yakni kegunaan, kemudahan penggunaan, kemudahan pembelajaran dan kepuasan. Setelah memperoleh nilai mean , kemudian dilakukan perhitungan nilai grand mean berdasarkan persamaan (5), perhitungan persentase capaian menggunakan persamaan (6) serta  penentuan  kategori  nilainya  berdasarkan  Tabel  2.  Perbandingan  hasil  perhitungan grand  mean dan persentase capaian untuk setiap dimensi dapat dilihat pada gambar-gambar berikut:
Gambar 2: Nilai grand mean dan kategori setiap dimensi
Gambar 2 menunjukkan gambaran umum hasil perhitungan nilai grand mean dan penentuan kategori untuk setiap  dimensi,  yang  mana  semua  dimensi  memiliki  nilai grand  mean yang  terklasifikasi  sebagai  kategori sangat tinggi. Dimensi kemudahan pembelajaran menjadi dimensi dengan nilai tertinggi, diikuti oleh dimensi kemudahan penggunaan, dimensi kegunaan dan dimensi kepuasan.
Gambar 3: Persentase capaian setiap dimensi
Gambar 3 juga menunjukkan informasi yang sama dengan Gambar 2, hanya disajikan dalam model grafik berbeda  serta  format  nilai  persentase  yang  dihitung  menggunakan  persamaan  (6).  Persentase  tersebut menunjukkan seberapa besar capaian perhitungan kegunaan dari setiap dimensi dalam nilai persen (%). 1. Dimensi kegunaan ( usefulness )
Dimensi pertama dalam USE Questionnaire adalah dimensi kegunaan yang terdiri dari 8 butir pernyataan dengan kode U1 hingga U8. Adapun ringkasan hasil analisis mean dan grand mean terhadap dimensi ini diperlihatkan pada Tabel 5:
Tabel 5: Hasil pengukuran dimensi kegunaan Butir  Mean  Grand Mean
% U1 4,60 4,62 92,48%
U2 4,56 U3 4,67 U4 4,92 U5 4,52 U6 4,53
Sangat Tinggi; 4,62 Sangat Tinggi; 4,65 Sangat Tinggi; 4,78
Sangat Tinggi; 4,57 Sangat Tinggi; 4,65 4,45 4,50 4,55 4,60 4,65 4,70 4,75 4,80 92,48% 93,00% 95,52% 91,30% 93,08% 89,00% 90,00% 91,00% 92,00% 93,00% 94,00% 95,00% 96,00% Kegunaan Kemudahan
Penggunaan Kemudahan Pembelajaran Kepuasan Rerata
Butir  Mean  Grand Mean % U7 4,60 U8 4,60
Nilai mean untuk  setiap  pernyataan  dalam  dimensi  ini  berkisar  antara  4,52  hingga  4,92  yang  berarti semuanya termasuk dalam kategori sangat tinggi. Nilai grand mean dimensi ini sebesar 4,62 atau dengan persentase capaian sebesar 92,48% yang juga termasuk dalam kategori sangat tinggi. Maka dapat diartikan bahwa secara umum responden menilai bahwa sistem tes kemampuan akademik ini sangat berguna bagi mereka.  Hal  ini  disebabkan  oleh  sistem  yang  bersifat  daring  sehingga  responden  yang  pada  saat menggunakan sistem tersebut berstatus sebagai calon mahasiswa STIKOM Uyelindo, bisa mengikuti tes dari mana saja dan dapat mengetahui skor tes dan kesimpulan hasil seleksi pada saat itu juga.
2. Dimensi kemudahan penggunaan ( ease of use )
Dimensi berikutnya yaitu dimensi kemudahan penggunaan. Dalam dimensi ini terdapat 11 pernyataan yang menjadi indikator dan diberi kode butir EU1 hingga EU11. Hasil analisis mean dan grand mean dimensi ini disajikan pada tabel 6 berikut:
Tabel 6: Hasil pengukuran dimensi kemudahan penggunaan
Butir  Mean  Grand Mean %
EU1 4,72
4,65
93,00%
EU2 4,73
EU3 4,52 EU4 4,56 EU5 4,60 EU6 4,59 EU7 4,72 EU8 4,63 EU9 4,52 EU10 4,83 EU11 4,73
Berdasarkan  Tabel  6,  diketahui  bahwa  hasil  perhitungan  nilai mean untuk  setiap  pernyataan  dalam dimensi  ini  berkisar  pada  nilai  4,52  hingga  4,83,  sedangkan  untuk  hasil  perhitungan grand  mean memperoleh  nilai  sebesar  4,65  dengan  persentase  capaian  93%  sehingga  dapat  diartikan  bahwa  nilai semua  butir  tersebut  tergolong  kategori  sangat  tinggi.  Kesimpulannya,  responden  memiliki  persepsi bahwa  sistem  tes  kemampuan  akademik  dapat  mereka  gunakan  dengan  sangat  mudah  karena  sistem didesain secara minimalis, terdapat instruksi penggunaan serta navigasi yang jelas sehingga responden tidak mengalami kesulitan dalam melaksanakan tes.
3. Dimensi kemudahan pembelajaran ( ease of learning )
Dimensi ketiga yakni dimensi kemudahan pembelajaran, yang terdiri dari hanya 4 pernyataan. Secara umum pernyataan dalam dimensi ini mengukur tentang tingkat kemudahan responden dalam mempelajari cara pengoperasian sistem tes kemampuan akademik. Adapun ringkasan hasil perhitungan nilai mean dan grand mean- nya disajikan dalam tabel berikut:
Tabel 7: Hasil pengukuran dimensi kemudahan pembelajaran Butir  Mean  Grand Mean %
EL1 4,77 4,78 95,52% EL2 4,76 EL3 4,84 EL4 4,73
Tabel  7 menunjukkan hasil  perhitungan  nilai mean untuk setiap  pernyataan  berada  pada rentang nilai antara 4,73 hingga 4,84, nilai grand mean sebesar 4,78 dengan persentase capaian sebesar 95,52% dan tergolong dalam kategori sangat tinggi. Hasil ini menjadikan dimensi kemudahan pembelajaran menjadi dimensi  dengan  hasil  perhitungan  tertinggi  di  antara  dimensi  lainnya.  Jadi  dapat  disimpulkan  bahwa mayoritas  responden  tidak  mengalami  kesulitan  sama  sekali  dalam  mempelajari  cara  pengoperasian
sistem. Bahkan dalam rekapitulasi, jawaban responden hanya berkisar pada pilihan “sangat setuju: dan “setuju”  saja.  Seperti  yang  telah  dijelaskan  pada  dimensi  sebelumnya  bahwa  sistem  menampilkan instruksi  penggunaan  yang  singkat  tetapi  jelas,  karena  memang  sistem  didesainin  secara  minimalis sehingga pengguna tidak dibingungkan oleh hal-hal lain yang tidak terlalu penting.
4. Dimensi kepuasan ( satisfaction )
Hasil perhitungan untuk dimensi kepuasan yang memiliki 7 pernyataan secara garis besar tidak berbeda jauh dengan dimensi lainnya, yang mana nilai mean untuk setiap pernyataan dan nilai grand mean masih tergolong dalam kategori sangat tinggi. Walaupun termasuk kategori sangat tinggi, tetapi dimensi ini perlu diberikan  perhatian  khusus  karena  nilai grand  mean -nya  merupakan  nilai  terendah  di  antara  semua dimensi. Ringkasan hasil perhitungannya tersaji pada Tabel 8.
Tabel 8: Hasil pengukuran dimensi kepuasan
Butir  Mean  Grand Mean % S1 4,67 4,57 91,30%
S2 4,68
S3 4,33 S4 4,54 S5 4,50 S6 4,54 S7 4,70
Sesuai Tabel 8, nilai mean untuk setiap pernyataan berada pada range 4,33 hingga 4,70, sedangkan nilai grand mean sebesar 4,57 atau dengan persentase capaian sebesar 91,30%. Pernyataan dengan kode butir S3  yang  berbunyi  “sistem  sangat  menyenangkan  untuk  digunakan”  menjadi  butir  dengan  nilai mean terendah diantara semua butir pernyataan. Hal ini tentunya perlu mendapat perhatian khusus. Walaupun demikian, secara umum responden puas terhadap kinerja sistem tes kemampuan akademik. Nilai grand mean dari ke-4 dimensi jika dirata-ratakan adalah sebesar 4,65 dengan persentase capaian sebesar 93,08% dengan klasifikasi kategori sangat tinggi. Hal ini berarti bahwa sistem tes kemampuan akademik bagi calon mahasiswa baru tersebut memiliki kegunaan atau usability yang sangat tinggi sehingga sangat layak untuk  digunakan,  tetapi  dengan  sedikit  catatan  yang  perlu  diperhatikan  untuk  perbaikan  sistem  ke depannya.

## D. Hasil Observasi
Setelah melakukan analisis terhadap jawaban responden pada setiap butir pernyataan dalam kuesioner, maka langkah  selanjutnya  yakni  melakukan  validasi  atau  membandingkan  hasil  analisis  tersebut  dengan  hasil observasi  langsung  pada  sistem  tes  kemampuan  akademik  calon  mahasiswa  baru.  Pengamatan  dilakukan merujuk  pada  aspek-aspek  yang  sama  dengan  yang  diuji  melalui  kuesioner.  Hasil  analisis  untuk  dimensi kegunaan ( usefulness ) yang termasuk kategori sangat tinggi dapat dibuktikan melalui hasil observasi. Sistem yang bersifat daring memungkinkan responden yang pada saat menggunakan sistem tersebut berstatus sebagai calon mahasiswa STIKOM Uyelindo, bisa mengikuti tes dari mana saja dan kapan saja, serta dapat mengetahui skor tes dan kesimpulan hasil seleksi pada saat yang sama. Hal ini membuktikan bahwa sistem tersebut efektif dalam membantu responden dengan memberikan lebih banyak kendali atas aktivitas tes, sehingga tes mudah diselesaikan  dengan  menghemat  waktu.  Kesimpulannya,  sistem  dapat  memenuhi  harapan  responden  akan kemudahan dalam mengikuti tes kemampuan akademik sehingga  sistem dinilai sangat berguna.
Hasil observasi yang dilakukan terhadap aspek-aspek dalam dimensi kemudahan penggunaan ( ease of use ) menunjukkan apa yang menjadi penyebab tingginya penilaian dari responden. Setelah dilakukan observasi, diketahui bahwa sistem didesain sangat minimalis sehingga persepsi responden menyatakan  sistem mudah digunakan dan user friendly dikarenakan oleh sistem yang sederhana. Responden juga tidak perlu melakukan banyak hal untuk menggunakan sistem, cukup dengan memilih jawaban yang tepat untuk setiap pertanyaan tes tanpa perlu melakukan pengisian data ataupun interaksi lain dengan sistem. Selain itu, pada sistem juga terdapat instruksi penggunaan serta navigasi yang jelas sehingga  walaupun responden membuat kesalahan, maka  dapat  diperbaiki  dengan  cepat  dan  mudah.  Bahkan,  walaupun  terdapat  instruksi  penggunaan  tetapi
responden  menilai  bahwa  mereka  dapat  menggunakan  sistem  tersebut  walaupun  tanpa  membaca  instruksi tertulis.
Untuk  dimensi  kemudahan  pembelajaran  ( ease  of  learning ),  memiliki  hasil  observasi  yang  serupa  dengan dimensi kemudahan penggunaan ( ease of use ). Seperti yang telah dijelaskan sebelumnya, sesuai hasil observasi menunjukkan adanya instruksi penggunaan sistem yang singkat tetapi jelas dikarenakan sistem yang didesain sederhana sehingga pengguna tidak dibingungkan oleh hal-hal lain yang tidak terlalu penting. Hal tersebut berdampak pada persepsi responden yang menilai bahwa sistem mudah dipelajari dan dapat digunakan dalam waktu yang singkat. Sehingga responden dapat dengan mudah mengingat cara menggunakan sistem hingga dapat  menggunakannya  dengan  terampil.  Adanya  korelasi  hasil  analisis  antara  dimensi  kemudahan pembelajaran  ( ease  of  learning )  dan  dimensi  kemudahan  penggunaan  ( ease  of  use )  merupakan  hal  wajar mengingat  kedua  dimensi  tersebut  awalnya  tergabung  dalam  dimensi  yang  sama,  namum  karena  situasi tertentu akhirnya dipecah menjadi 2 dimensi berbeda tetapi keduanya jelas berkorelasi tinggi [9].
Dimensi terakhir yakni dimensi kepuasan ( satisfaction ) dengan hasil analisis kegunaan yang juga termasuk dalam kategori sangat tinggi tervalidasi melalui hasil observasi. Sesuai hasil penelitian sebelumnya [9], yang menunjukkan adanya pengaruh signifikan dari ketiga dimenasi lain terhadap dimensi kepuasan, maka wajar jika responden memiliki persepsi bahwa sistem sangat nyaman untuk digunakan dan bekerja sesuai dengan keinginan sehingga sistem tersebut dinilai sangat luar biasa membantu responden. Hal-hal tersebut mengerucut pada kesimpulan bahwa secara umum responden puas terhadap kinerja sistem. Akan tetapi, untuk aspek yang diukur  oleh  butir  pernyataan  S3  tentang  kesenangan  responden  dalam  menggunakan  sistem  menjadi  butir dengan perolehan nilai hasil analisis terendah. Seperti pada pembahasaan sebelumnya, hasil observasi memang menunjukkan bahwa desain sistem yang minimalis, tanpa micro interaction seperti animasi pop-up , serta tanpa fitur personalisasi. Mungkin hal inilah yang menjadi dasar penilaian responden terhadap aspek kesenangan dalam menggunakan sistem sehingga memperoleh nilai terendah walaupun masih tergolong dalam kategori sangat tinggi. Namun, kembali lagi ke tujuan awal dibangunnya sistem tersebut yakni agar responden dapat melaksanakan tes kemampuan akademik dengan mudah dan cepat, sehingga desain sistem lebih fokus pada konsistensi  penggunaan  warna  dan  kejelasan  navigasi  saja  tanpa  memperhatikan  hal-hal  estetis. Walaupun demikian, secara umum responden puas terhadap kinerja sistem tes kemampuan akademik.

## IV. KESIMPULAN
Penelitian  ini  menggunakan USE  Questionnaire sebagai  dasar  penyusunan  instrumen  penelitian  untuk mengukur  kegunaan  dari  sistem  tes  kemampuan  akademik  calon  mahasiswa  baru  di  STIKOM  Uyelindo Kupang, yang  berdasarkan  hasil  uji  instrumen  dinyatakan valid  dan  reliabel.  Perhitungan  kegunaan sistem yang menerapkan analisis mean dan grand mean memperoleh hasil positif dengan rincian nilai grand mean dimensi  kegunaan  ( usefulness )  sebesar  4,62,  dimensi  kemudahan  penggunaan  ( ease  of  use )  sebesar  4,65, dimensi kemudahan pembelajaran ( ease of learning ) sebesar  4,78, dimensi kepuasan ( satisfaction ) sebesar 4,57 dan rerata nilai grand mean -nya adalah sebesar 4,65 sehingga terklasifikasi dalam kategori sangat tinggi. Hasil tersebut berarti bahwa responden menilai sistem sangat berguna sehingga sangat layak untuk digunakan. Akan tetapi terdapat hal yang perlu diperhatikan untuk meng- upgrade sistem tersebut, khususnya dalam hal desain  sistem  agar  menerapkan user  experience dan  memperhatikan  aspek  estetika  sesuai  dengan  hasil penelitian yang telah dibahas.

## DAFTAR PUSTAKA
[1] F.M.H.  Tjiptabudi  and  R.  Bernardino,  “Indonesia  terrestrial  border  control  information  system  and business processes alignment”, International Journal of Business Process Integration and Management , vol. 10, no. 1, pp 51-61, Feb, 2021, DOI: https://doi.org/10.1504/IJBPIM.2020.113114 .
[2] APJII, “Profil Internet Indonesia 2022”, June 2022, [Online].
Available: https://survei.apjii.or.id/ [Retrieved: 25 July 2023].
Vol. 20; No. 2; 2023; Hal 340-351
[3] F.M.H. Tjiptabudi, “Analisis Kekayaan Media Dan Kegunaan Sistem Layanan Aspirasi Dan Informasi”, Jurnal  Sains  Komputer  Dan  Teknologi  Informasi ,  vol.  3,  no.  2,  pp.  18-28,  May,  2021,  DOI: https://doi.org/10.33084/jsakti.v3i2.2229 .
[4] International  Organization  for  Standardization,  “Ergonomics  of  Human-System  Interaction-Part  11: Usability:
Definitions
and Concepts”, Mar 2018, [Online]. Available:
https://www.iso.org/standard/63500.html [Retrieved: 25 July 2023].
[5] A.F. Yogananti, B.C. Pratama and A. Akrom, “Kolaborasi Teori Nielsen dan System Usability Scale (SUS) terhadap Usability Game Lokapala”, Journal of Animation and Games Studies , vol. 8, no. 1, pp. 49-66, Apr 2022, DOI: https://doi.org/10.24821/jags.v8i1.6074.
[6] A.A. Akhsan and Faizah, “Analisis dan Perancangan Interaksi Chatbot Reminder dengan User-Centered Design,” Jurnal  Sistem  Informasi ,  vol.  13,  no.  2,  pp.  78-89,  Oct  2017,  DOI: https://doi.org/10.21609/jsi.v13i2.555.
[7] D. Novita and L. Amelia, “Usability Analysis The Online Krs Application Stmik Xyz Palembang Using Use  Questionnaire”, Jurnal  Informasi  dan  Komputer ,  vol.  7,  no.  1,  pp.  17-28,  Apr  2019, DOI: https://doi.org/10.35959/jik.v7i1.119.
[8] M. Gao, P. Kortum and F. Oswald, “Psychometric Evaluation of the USE (Usefulness, Satisfaction, and Ease  of  use)  Questionnaire  for  Reliability  and  Validity,” Proceedings  of  the  Human  Factors  and Ergonomics  Society  Annual  Meeting ,  vol.  62,  no.  1,  pp.  1414–1418,  Sep  2018,  DOI: 10.1177/1541931218621322.
[9] D. Hariyanto, M.B. Triyono and T. Köhler, “Usability evaluation of personalized adaptive e-learning system using USE questionnaire,” Knowledge Management and E-Learning , vol. 12, no. 1, pp. 85–105, Mar 2020, DOI: 10.34105/j.kmel.2020.12.005.
[10]  T.V.M. Faria, M. Pavanelli and J.L. Bernardes, “Evaluating the Usability Using USE Questionnaire: Mindboard  System  Use  Case”,  In:  Zaphiris,  P.,  Ioannou,  A.  (eds)  Learning  and  Collaboration Technologies.  LCT  2016.  vol  9753.  pp.  518-527  Jun  2016,  DOI:  https://doi.org/10.1007/978-3-319- 39483-1_47
[11]  Y.S.M.  Putra  and  R.  Tanamal,  “Analisis  Usability  Menggunakan  Metode  USE  Questionnaire  Pada Website  Ciputra  Enterprise  System,” Teknika ,  vol.  9,  no.  1,  pp.  58–65,  Jul  2020,  DOI: 10.34148/teknika.v9i1.267.
[12]  A. Sasongko, W.E. Jayanti and D. Risdiansyah, “Use Questionnaire Untuk Mengukur Daya Guna Sistem Informasi  E-Tadkzirah”, Jurnal  Khatulistiwa  Informatika , vol.  8,  no.  2,  pp.  80-87,  Dec  2020,
DOI: https://doi.org/10.31294/jki.v8i2.9135.g4537.
[13]  R.  Hidayat,  M.F.  Asnawi  and  S.  Rohman,  “ANALISIS  USABILITY  DENGAN  METODE  USE QUESTIONNAIRE  PADA  APLIKASI  MYINDIHOME”, Journal  of  Economic,  Business  and Engineering (JEBE) , vol. 3, no. 1, pp. 168-173, Oct 2021.
[14]  A. Ningtiyas, S.N. Faizah, M. Mustikasari and I. Bastian, “Pengukuran Usability Sistem Menggunakan Use Questionnaire pada Applikasi Ovo”, Jurnal Ilmiah Komputasi . Vol. 20, no. 1, pp. 101–108, Mar 2021, DOI: https://doi.org/10.32409/jikstik.20.1.2701.
[15]  Cahyadi,  “Pengaruh  Kualitas  Produk  Dan  Harga Terhadap  Keputusan  Pembelian  Baja  Ringan  Di  Pt Arthanindo Cemerlang”, EMABI : EKONOMI DAN MANAJEMEN BISNIS , vol. 1. no. 1, pp. 60-73, Dec 2022.
[16]  F.M.H. Tjiptabudi, “Evaluasi Kegunaan Sistem Informasi Pelintas Batas Wilayah Negara (Sintaswin) Pada PLBN Terpadu di Nusa Tenggara Timur,” Jurnal Teknologi Terpadu , vol. 4, no. 1, pp. 44-48, Nov 2018, DOI: https://doi.org/10.54914/jtt.v4i1.101.
[17]  D.S.  Putri  and  B.  Santoso,  “Persepsi  Mahasiswa  Tentang  Penggunaan  Aplikasi  Turnitin  Untuk Mencegah Tindak Plagiarisme di Perpustakaan Universitas Bina Darma Palembang”, FIHRIS: Jurnal Ilmu Perpustakaan dan Informasi , vol. 15, no.2, pp. 216-235, Dec 2020, DOI: https://doi.org/10.14421/fhrs.2020.152.216-235.