Analisis Manfaat Penerapan Sistem Informasi Ujian Online : Studi Kasus SMK Pasim Plus
Erick Andika 1 , Djajasukma 2 , Herry Heryanto 2
1 Program Studi Teknik Komputer, Politeknik Sukabumi Jl. Babakan Sirna No. 25 Kota Sukabumi, Indonesia
2 Program Magister Sistem Informasi, Sekolah Tinggi Manajemen Informatika dan Komputer LIKMI Jl. Ir. H. Juanda No. 96 Bandung, Indonesia erickandika@polteksmi.ac.id

## Abstrak
Evaluasi dilakukan untuk  mengukur proses pembelajaran yang telah dilaksanakan. Pelaksanaan ujian, pemeriksaan hasil  ujian,  serta  pengumuman  nilai  ujian  pada  SMK  Pasim  Plus  telah  menggunakan  sistem  informasi  ujian online. Penelitian  dilakukan  kepada  466  populasi  siswa  dengan  pengambilan  jumlah  sampel  berdasarkan  rumus  Slovin  yaitu sebanyak  215  siswa.  Model  penelitian  yang  digunakan  adalah D&M  IS  Success  Model untuk  mengukur  kesuksesan sistem informasi, serta model UTAUT (Unified Theory of Acceptance and Use of Technology) untuk mengukur niat dan penggunaan  sistem  informasi.  Teknik  pengumpulan  data  dilakukan  menggunakan  observasi  dan  kuesioner  tertutup menggunakan  skala  Likert  dimana  kuesioner  tersebut  telah  diuji  validitas  dan  realibilitas.  Data  diolah  dengan  teknik SEM ( Structural Equation Modelling ) menggunakan SPSS 22 dan AMOS 22. Variabel yang diolah dalam penelitian ini antara lain Performance Expectancy, Effort Expectancy, Sosial Influence, Facilitating Conditions, Behavioral Intention, User  Satisfaction, dan Net  Benefits. Pengujian  dilakukan  menggunakan  teknik Kolmogrov-Smirnov  Goodness  of  Fit Test ,  pengujian  normalitas  data,  pengujian  validasi  konstruk,  hingga  pengujian  keseluruhan  model.  Hasil  penelitian yang diperoleh diuraikan dan dibahas pada makalah ini.
Kata kunci: UTAUT, D&M , SEM, kesuksesan, penerimaan

## Abstract
Evaluation was conducted to measure the learning process has been implemented. Test execution, test results and the announcement of examination score at SMK Pasim Plus has been conducted using the online system. The study was conducted to 466 students by taking the samples based on the Slovin formula 215 students. The research model used is the  D&M  IS  Success  Model  for  measuring  the  success  of  information  systems,  as  well  as  models  UTAUT  (Unified Theory Of Acceptance And Use Of Technology) to measure the intent and use of information systems.  Data collection techniques  are  conducted  by  observation  and  closed  questioner  using  a  Likert  scale  where  has  been  tested  in  the validity and reliability. The data is processed with SEM (Structural Equation Modelling) technique using SPSS 22 and AMOS 22. Variables are processed in this study include Performance Expectancy, Effort Expectancy, Social Influence, Facilitating Conditions, Behavioral Intention, User Satisfaction, and Net Benefits. The tests were performed using the Kolmogorov-Smirnov  Goodness  of  Fit  Test  technique,  data  normality  test,  construct  validation  testing,  until  entire testing models. The results of this research obtained is elaborated and discussed in this paper.
Keywords: UTAUT, D&M, SEM, success, acceptance

## I. P ENDAHULUAN
Evaluasi  merupakan  proses  yang  menjadi  tolak ukur  sejauh  mana  sebuah  kegiatan  telah  dicapai, serta mengetahui apakah pencapaian tersebut sudah sesuai harapan. Begitu pun evaluasi yang dilakukan pada  SMK  Pasim  Plus  dilakukan  untuk  mengukur
proses  pembelajaran  yang  telah  dilaksanakan. Pelaksanaan  ujian,  pemeriksaan  hasil  ujian  serta pengumuman  nilai  Ujian  pada  SMK  Pasim  Plus telah menggunakan sistem informasi ujian online. Pemanfaatan teknologi sistem informasi bertujuan  untuk  memudahkan  pengguna  didalam usaha  pemenuhan  kebutuhannya,  namun  ada
beberapa  faktor  yang  mempengaruhi  penerimaan pengguna  dalam  memanfaatkan  sistem  informasi berbasis  teknologi.  Penerimaan  pengguna  sistem informasi  berbasis  teknologi  berpengaruh  besar dalam  implementasinya  oleh  karena  hal  tersebut memerlukan suatu perhatian khusus.
Banyak  faktor  yang  dapat  menjadikan  suatu sistem gagal diterima, kegagalan dalam implementasi  sebuah  sistem  informasi  dapat dibedakan menjadi dua aspek. Pertama, aspek teknis yang menyangkut sistem itu sendiri yang merupakan  kualitas  teknis  sistem  informasi. Sedangkan  aspek  kedua  adalah  aspek  non-teknis yang  berkaitan  dengan  persepsi  pengguna  sistem informasi [1].
Pengukuran kegagalan yang ditentukan berdasarkan persepsi penggunanya memiliki kelebihan,  yaitu  secara  alami  mengintegrasikan berbagai aspek. Aspek ini lebih menyangkut kepada perilaku pemakai sistem informasi tersebut. Namun model  UTAUT  hanya  meneliti  pengaruh  konstruk ke  niat  keperilakuan,  belum  menghubungkan  ke hasil pemakaian, tetapi dengan menggunakan model kesuksesan DeLone dan McLean telah menghubungkan penggunan dengan dampaknya.

## II. T INJAUAN P USTAKA

## A. UTAUT
Model  UTAUT  (Gambar  1)  ini  sebenarnya merupakan penggabungan dari pada elemen-elemen yang  terdapat  dalam  delapan  model  penerimaan teknologi terkemuka lainnya dengan tujuan
mengembangkan sebuah model baru yang terintegrasi.  Delapan  model  yang  dikaji  sebagai acuan  metodologi  UTAUT  adalah  Teori  Tindakan Beralasan  ( Theory  of  Reasoned  Action atau  TRA),
Model Penerimaan Teknologi ( Technologi
Acceptance  Model atau  TAM),  Model  Motivasi ( Motivational  Model atau  MM),  Teori  Perilaku yang  direncanakan  ( Theory  of  Planned  Behavior atau  TPB),  Model  gabungan  TAM  dan  TPB  ( a model combining the Technology Acceptance Model and the Theory Planned Behavior atau TAM+TPB), Model  Pemanfaatan  PC  ( Model  of  PC  utilization atau  MPCU),  Teori  Difusi  Inovasi  ( Innovation Diffusion  Theory atau  IDT),  Teori  Kognitif  Sosial ( Sosial Cognitive Theory atau SCT) [2]. Disamping itu terdapat pula empat moderator yang diposisikan untuk  memoderasi  dampak  dari  empat  konstruksi utama pada Behavioral Intention dan Use Behavior yaitu,  Jenis  Kelamin  ( Gender ),  Usia  ( age ),
Kesukarelaan ( Voluntariness ), Pengalaman
( Experience ) [1].

## B. D&M IS Success Model
Model Kesuksesan Sistem Informasi Delone dan McLean ( D  & M IS Success Model ) [3] didasarkan pada  proses  dan  hubungan  kausal  dari  dimensi- dimensi di model. Suatu model proses mengusulkan bahwa  suatu  sistem  informasi  terdiri  dari  beberapa proses.  Sementara  model  kausal  atau  model  varian berusaha  untuk  menentukan  apakah  variansi  dari suatu  elemen-elemen  lainnya  untuk  menentukan apakah  terjadi  hubungan  kausal  diantara  mereka. Model ini dapat dilihat pada Gambar 2.
Gambar 1. UTAUT Model
Gender Umur ( age ) Pengalaman ( experience ) Kesukarelaan Penggunaan ( voluntariness of use )
Harapan kinerja ( performance expectancy )
Harapan usaha ( effort expectancy)
Pengaruh sosial ( social influence)
Penyediaan fasilitas ( facilitating conditions)
Niat keperilakuan ( behavioural intention) Perilaku mengunakan ( use behaviour )
System Quality Information Quality Use User Satisfication Intention to Use Net Benefits Service Quality
Gambar 2. D&M IS Success Model
Behavioral Intention Social Influence Facilitating Conditions H3 H4 Gender Performance Expectancy Effort Expectancy H2 H1 H8 H9 User Satisfaction Net Benefits H6 H5 H7 H10

## Gambar 3. Model Penelitian
Model  penerimaan  UTAUT  hanya  dapat digunakan untuk mengevaluasi penerimaan pengguna  terhadap  sistem  informasi.  Model UTAUT  tidak  dapat  menilai  kesuksesan  sistem informasi  [4].  Model  kesuksesan  sistem  informasi Delone  dan  McLean  sangat  baik  untuk  menilai kesuksesan  system  informasi.Atas  temuan-temuan tersebut  maka  disusunlah  model  penelitian  seperti yang ditunjukkan pada Gambar 3.

## III. O BJEK DAN M ETODE P ENELITIAN
Organisasi  yang  menjadi  objek  penelitian dalam tesis ini adalah sebuah lembaga pendidikan formal  sekolah  menengah  kejuruan  (SMK)  yang berada  di  Kota  Sukabumi,  SMK  Pasim  Plus membuka  enam  kompetensi  keahlian  yaitu  teknik komputer  dan  jaringan  (TKJ),  rekayasa  perangkat lunak  (RPL),  Film  Animasi,  Teknik  Broadcast, Andministrasi Perkantoran, dan Akuntansi Perbankan.  Jumlah  populasi  yang  ada  di  SMK Komputer  Pasim  Plus  adalah  446  siswa.  Pada
penelitian  ini  untuk  menentukan  ukuran  sampel dilakukan perhitungan secara matematis menggunakan rumus Slovin sebagai berikut:
(1)
dimana:
n = ukuran sampel yang dicari
N = ukuran populasi
d = galat pendugaan
Dari  perhitungan  yang  dilakukan  berdasarkan persamaan  (1),  diperoleh  sampel  sebanyak  215 siswa.  Langkah  penelitian  yang  dilakukan  tersaji pada  Gambar  4.  Variabel  laten  dan  manifest  yang digunakan  dalam  penelitian  ini  mengacu  pada model  yang  telah  diajukan  pada  bab  sebelumnya, yaitu Performance Expectancy (PE), Effort Expectancy (EE), Sosial Influence (SI), Facilitating Conditions (FC), Behavioral  Intention (BI), User Satisfaction (US), Net  Benefits (NB).  Variabel  dan manifest tersebut sesuai dengan Tabel 1.
Start Persiapan Penelitian
Pengembangan Model D&M IS Success model Pengembangan Model UTAUT Penyusunan Variabel Laten dan Manifest Penyusunan Kuesioner Uji Validitas Kuesioner Pengumpulan Data Pengolahan Data & Uji Model Analisis, Kesimpulan dan Saran End Valid Tidak Valid Triming Valid Triming Tidak Valid
Tabel 1. Daftar variabel manifest Laten Definisi Manifest Ref PE Sebagai seberapa tinggi seseorang percaya bahwa menggunakan suatu sistem akan membantu dia untuk mendapatkan keuntungan- keuntungan kinerja di pekerjaannya Berguna Meningkatkan efektivitas Meningkatkan produktivitas Meningkatkan niat belajar [1], [2],[5] EE Sebagai tingkat kemudahan yang dihubungkan dengan penggunaan suatu sistem Paham Menggunakan Terampil menggunakan Mudah menggunakan Mudah mengoperasikan [1], [2], [5] SI Sejauh mana seseorang individual mempersiapkan kepentingan yang dipercaya oleh orang-orang lain yang akan mempengaruhinya menggunakan sistem yang baru Orang yang mempengaruhi Orang yang penting Orang yang lebih berpengalaman Dukungan Lembaga [1], [2], [5] FC Facilitating Conditions didefinisikan sejauh mana seseorang percaya bahwa infrastruktur organisasi dan teknikal tersedia untuk mendukung sistem Memiliki Sumber daya Memiliki pengetahuan Tidak kompatibel Tersedia tenaga ahli [1], [2], [5] BI Sebagai ukuran kekuatan niat seseorang untuk menggunakan teknologi Berminat untuk menggunakan kembali Memperkirakan menggunakan Kembali Berencana menggunakan kembali [1], [2] US Sebagai respon pemakai terhadap penggunaan keluaran sistem informasi Implementasi efektif dan efisien Interface dan fitur memuaskan Kepuasanpada informasi yang disediakan Secara keseluruhan puas [4] NB Dampak pengguna sistem informasi terhadap pengguna dan organisasi Mengingkatkan Kompetensi Bekerja lebih efektif dan [4], [6]
Laten Definisi Manifest Ref efisien Meningkatkan kinerja Menurunkan tingkat kesalahan pemeriksaan

## IV. H ASIL P ENGOLAHAN D ATA
Analisis  hasil  pengolahan  data  pada  tahap full model  SEM  dilakukan  dengan  melakukan  uji kesesuaian dan uji statistik. Hasil uji goodness-of-fit model dijelaskan pada Tabel 2.
Pengujian  hipotesis  penelitian  berdasarkan  pada model yang dikembangkan, pengujian ini dilakukan untuk melihat hubungan diantara konstruk-konstruk yang  ada  dalam  model  penelitian  (Tabel  3).  Dasar pengambilan  keputusan  diambil  dengan  melihat bobot  regresi  untuk  konstruk  terkait  pada  hasil pengujian  menggunakan  SPSS  AMOS  22. Jika  p > 0,05  maka    ditolak  dan  apabilal  p  <  0,05  atau dilambangkan *** maka diterima.
Dalam  Pengujian  Hipotesis    penelitian  ini,
Performance  Expectancy berpengaruh  pada Behavioral Intention, Effort Expectancy
berpengaruh  pada Behavioral  Intention,  Social Influence berpengaruh  pada Behavioral  Intention sesuai  dengan  penelitian-penelitian  sebelumnya yang menyimpulkan bahwa Performance
Expectancy berpengaruh terhadap Behavioral Intention [7], Performance Expectancy berpengaruh terhadap Behavioral  Intention [5] , Temuan  yang sama  juga  didapat  dari  penelitian  lain  [2],  [5],  [8], [9], [10].
Tabel 2. Hasil uji GoF Kriteria Model Fit Hasil Uji Acceptable Level Interpretasi CMIN ( Chi Square ) 3,038 Diantara Saturated Model dan Independence Model Kesesuaian baik RSMEA ( Root mean square error of approximation ) 0,098 < 0,080 Tidak memenuhi TLI ( Tucker- Lewis Index) 0,668 0 (tidak fit) s/d 1 (fit) Kesesuaian menengah NFI ( Normed Fit Index) 0,653 0 (tidak fit) s/d 1 (fit) Kesesuaian menengah CFI ( Confirmatory Fit Index) 0,729 0 (tidak fit) s/d 1 (fit) Kesesuaian Baik PNFI ( Parcimonious Fit Index) 0,533 0 (tidak fit) s/d 1 (fit) Kesesuaian menengah
Facilitating Conditions
berpengaruh pada
Behavioral  Intention sesuai  dengan  penelitian- penelitian sebelumnya menyimpulkan bahwa Facilitating Conditions berpengaruh  terhadap Behavioral  Intention [5] . Hal  ini  juga  ditemukan oleh  [2], [5], [8], [10].  Pada  penelitian  sebelumnya menyimpulkan bahwa konstruk Facilitating Conditions mempengaruhi Behavioral Intention [7], tetapi pada penelitian ini diperoleh hasil sebaliknya.
Behavioral  Intention berpengaruh  pada User Statisfaction,  Behavioral  Intention berpengaruh pada Net
Benefits dan User
Satisfaction
berpengaruh  pada Net  Benefits.  S esuai  dengan penelitian-penelitian sebelumnya yang menyimpulkan  bahwa  terdapat  hubungan  atara Behavioral  Intention  dengan User  Statisfaction, Behavioral Intention dengan Net Benefits, dan User Satisfaction dengan Net Benefits [4], [11], [12].
Metode
penelitian yang digunakan menggunakan  variabel  moderator gender untuk melihat  pengaruh gender terhadap  hubungan konstruk Performance  Expectancy  ( PE)  dengan Behavioral  Intention (BI), Effort  Expectancy (EE) dengan Behavioral  Intention (BI)  dan Social Influence (SI)  dengan Behavioral  Intention (BI). Dasar  pengambilan  keputusan  diambil  dengan melihat  bobot  regresi  untuk  konstruk  terkait  pada hasil  pengujian  menggunakan  AMOS22.  Jika  p  > 0.05  maka ditolak  dan  apabila  p  <  0.05  atau dilambangkan  dengan  ***  maka    diterima.  Tetapi pengujian  yang  dilakukan  dua  kali  dengan  data yang  berbeda gender ,  pengujian  satu  dilakukan pada  semua  data  dengan gender laki-laki  dan pengujian dua dilakukan dengan semua data dengan gender perempuan.
Berdasarkan  Tabel  4  dapat  dilihat  terdapat pengaruh Social  Influence terhadap Behavioral Intention dengan  data gender laki-laki  dengan  nilai P 0,006 maka hipotesis diterima sedangkan jika data gender perempuan  nilai  P  0,003    maka  hipotesis juga  diterima  ini  membuktikan  bahwa  pengaruh Social Influence terhadap Behavioral Intention tidak dimoderasi oleh gender .
Pengaruh Effort Expectancy terhadap Behavioral Intention dengan  data gender laki-laki  dengan  nilai P  0,051  maka  hipotesis  ditolak  sedangkan  jika menggunakan  data gender perempuan  nilai  P  *** menandakan  bahwa  nilai  P  <  dari  0,05  maka hipotesis diterima ini membuktikan pengaruh Effort
Expectancy
terhadap
Behavioral Intention dimoderasi oleh gender .
Tabel 3. Hasil uji hubungan antar konstruk
No. Hipotesis P Keterangan 1 Performance Expectancy berpengaruh pada Behavioral Intention 0,020 Diterima 2 Effort Expectancy berpengaruh pada Behavioral Intention **** Diterima 3 Facilitating Conditions berpengaruh pada Behavioral Intention *** Diterima 4 Social Influence berpengaruh pada Behavioral Intention *** Diterima 5 Behavioral Intention berpengaruh pada User Statisfaction *** Diterima 6 Behavioral Intention berpengaruh pada Net Benefits *** Diterima 7 User Satisfaction berpengaruh pada Net Benefits *** Diterima

## Tabel 4. Hasil Uji Hipotesis Konstruk dipengaruhi
Gender Hipotesis Gender P Ket Pengaruh Social Influence terhadap BehavioralIntention dimoderasi oleh gender L 0,006  Diterima P 0,003  Diterima Pengaruh Effort Expectancy terhadap Behavioral Intention dimoderasi oleh gender. L 0,051  Ditolak P *** Diterima Pengaruh Performance Expectancy terhadap Behavioral Intention dimoderasi oleh gender. L 0,461  Ditolak P 0,123  Ditolak
Pengaruh Performance  Expectancy terhadap Behavioral  Intention  dengan  data gender laki-laki nilai P 0,461 maka hipotesis ditolak sedangkan jika menggunakan data gender perempuan nilai P 0,123 maka hipotesis juga ditolak ini membuktikan bahwa Pengaruh Performance Expectancy terhadap Behavioral tidak dimoderasi oleh gender.
Model  akhir  penelitian  yang  dihasilkan setelah  melalui  proses trimming dan  pengujian hubungan antar konstruk dapat dilihat pada Gambar 5.
Gambar 5. Model Akhir Penelitian

## V. K ESIMPULAN
Hasil analisa data dan pengujian hipotesis, dapat diambil kesimpulan bahwa:
 Indikator-indikator  yang  berpengaruh  terhadap manfaat  bersih  Sistem  Ujian Online yaitu, Performance  Expectancy,  Effort  Expectancy, Sosial Influence, Facilitating Conditions,
Behavioral Intention, User Statisfaction.
 Performance  expectancy terbukti  secara  empiris berpengaruh terhadap Behavioral Intention .  Effort  Expectancy terbukti  secara  empiris berpengaruh terhadap Behavioral Intention.
 Facilitating  Conditions terbukti  secara  empiris berpengaruh terhadap Behavioral Intention
 Social  Influence terbukti  secara  empiris berpengaruh terhadap Behavioral Intention.
 Behavioral  Intention terbukti  secara  empiris berpengaruh terhadap User Statisfaction.
 Behavioral  Intention terbukti  secara  empiris berpengaruh terhadap Net Benefits.
 User  Satisfaction terbukti  secara  empiris berpengaruh terhadap Net Benefits.
Untuk  pengujian  variabel  moderator,  hasil pengujian  hipotesis  menunjukkan  hasil  sebagai berikut :
 Social Influence berpengaruh
terhadap Behavioral  Intention tidak  dimoderasi  oleh
gender .
 Pengaruh Effort  Expectancy terbukti  secara empiris berpengaruh terhadap Behavioral
Intention dimoderasi oleh gender.  Pengaruh Performance  expectancy terbukti secara empiris berpengaruh terhadap Behavioral Intention tidak dimoderasi oleh gender.

## R EFERENSI
[1] Hartono, Jogiyanto, Sistem Informasi Keperilakuan . Yogyakarta: Andi, 2007
[2] V. Venkatesh, M. G. Morris, G. B. Davis and F. D. Davis, UserAcceptance of Information Technology: Toward A Unified View, MISQuarterly, pp. 425-478, 2003
[3] W.  H.  DeLone  and  E.  R.  McLean,  “The  DeLone and  McLean  Model  of  Information  Systems Success:  A  Ten-Year  Update”, Journal  of Management Information Systems , 2003
[4] Haris  Pamugar,  Wing  Wahyu  Winarno,  Warsun Najib, “Model Evaluasi Kesuksesan dan Penerimaan  Sistem  E-Learning  pada  Lembaga Diklat Pemerintah”, Scientific Journal of Informatics ,  Vol. 1 No. 1 ISSN 2407-7658, 2014
[5] R. Kristoforus Jawa Bendi, Sri Andayani, “Analisis Perilaku Penggunaan Sistem
Informasi
Menggunakan  Model  UTAUT”, Seminar  Nasional Teknologi  Informasi  dan  Komunikasi  Terapan, ISBN: 979-26-0266-2, 2013
[6] K.  S.  Mohamadali  &  J.  M.  Garibaldi,  “A  Novel Evaluation  Model  of  User  Acceptance  of  Software
Technology  in  Healthcare  Sector”, International Conference on Health Informatics , 2010
[7] I  Gusti  Nyoman  Sedana  dan  St.  Wisnu  Wijaya, “Penerapan  Model  UTAUT  untuk  Memahami Penerimaan dan Penggunaan Learning Management System  Studi  Kasus  Experantial  E-Learning  of Sanata  Darma  University”, Journal  of  Information System, Vol. 5, Issues 2, 2009
[8] AbuShanab, Emad., J. Michael Pearson,. Andrew J. Setterstoem,  “Internet  Banking  and  Customers Acceptance  in  Jordan:  The  Unified  Model‟s Perspective”, Communication of the Association for
Information System, Vol. 26 hal 493-524, 2010
[9] Dasgupta, S., Haddad, M., Weiss, P., dan Bermudez, E. , “User  Acceptance  of  Case  Tools  in  System Analysis and Design: an Empirical Study”, Journal of  Informatics  Education  Research ,  Vol.  9,  No.  1. hal. 51-78, 2007
[10] James  Y.L,  Thong  Viswanath  Venkatesh,Xin Xu,Se-Joon  Hong,  and  Kar  Yan  Tan,  “Concumer
Acceptance of Personal Information and Communication Technology Services”, IEEE
Transactions on Engineering Management , Vol. 58, No. 4, 2011
[11] N.  A.  K.  S.  Mohamadali.  and  J.  M.  Garibaldi, “Understanding and Addressing The  „Fit‟ Between User,  Technology,  and  Organization  in  Evaluating User  Acceptance  of  Healthcare  Technology”, International  Conference  on  Health  Informatics , 2012
[12] Erna  Yuliasari,  “Penggunaan  Sistem  Aplikasi Pemeriksaan Laporan Keuangan Pemerintah Daerah dan  Implikasinya  terhadap  Kinerja  Pemeriksa (Studi pada BPK RI Perwakilan Provinsi JawaBarat)”, JNTETI , Vol. 03, No. 2, Mei 2014