Article history Received February 21, 2020 Accepted December 21, 2021

## EVALUASI KESUKSESAN PENERAPAN SISTEM INFORMASI DI LPPM STMIK STIKOM INDONESIA

## I Kadek Budi Sandika, Hamid
Teknik Informatika, STMIK STIKOM Indonesia Email: : ikbsandika@stiki-indonesia.ac.id, hamid@stiki-indonesia.ac.id

## Abstract
Information systems that have been developed and used need to be evaluated. Measuring the success of  the  application of  an  information  system  must  take  into  account  at least four  parameters,  namely the  individual  who  uses  it,  the  organization  where  individuals  interact,  the  information  the  system presents,  and  the  information  technology  itself.  This  study  also  examined  whether  there  is  a  direct correlation  between  user  experience  and  organizational  support  for  net  benefits.  This  research  was carried  out  in  three  stages,  from  the  preparation,  data  collection,  to  data  analysis  and  reporting. Based on the results of testing the research hypothesis, only one hypothesis was accepted (significant), namely  the  relationship  between  the  quality  of  information  systems,  the  use  of  information  systems, user satisfaction and net profits. Based on the results of testing and discussion, the application (sitasi) is still not fully successful. There are several obstacles found in its operations, both in terms of system quality, information quality, and the quality of citation services.
Keywords: evaluation, information system, system quality, information quality, service quality.

## Abstrak
Sistem  informasi  yang  telah  dikembangkan  dan  digunakan  perlu  dievaluasi  kualitasnya.  Pengukuran keberhasilan penerapan sebuah sistem informasi minimal harus memperhatikan empat parameter, yaitu individu yang menggunakan, organisasi tempat individu saling berinteraksi, informasi yang disajikan sistem, dan sistem/teknologi informasi itu sendiri. Pada kajian ini juga diuji apakah terdapat korelasi langsung antara pengalaman pengguna dan dukungan organisasi terhadap keuntungan bersih. Penelitian ini dilaksanakan dengan tiga tahap, yaitu mulai dari tahap persiapan, pengumpulan data, sampai pada analisis data dan pelaporan. Berdasarkan hasil pengujian hipotesis penelitian, hanya satu hipotesa yang diterima (signifikan), yaitu hubungan kualitas sistem informasi, penggunaan sistem informasi, kepuasan pengguna dan keuntungan bersih. Berdasarkan hasil pengujian dan pembahasan, penerapan sitasi masih belum sukses sepenuhnya. Terdapat beberapa kendala yang ditemukan dalam operasionalnya, baik dari aspek kualitas sistem, kualitas informasi, maupun kualitas layanan sitasi.
Kata Kunci: evaluasi, sistem informasi, kualitas sistem, kualitas informasi, kualitas layanan.

## 1.  PENDAHULUAN
Lembaga Penelitian dan Pengabdian Masyarakat (LPPM)  STMIK  STIKOM  Indonesia  telah membangun  dan  menerapkan  sistem  informasi dalam  menunjang  pengelolaan  data  penelitian, pengabdian  masyarakat,  dan  publikasi  ilmiah (SITASI)  para  dosen  yang  berasal  dari  dana internal. Alamat situs pengelolaan data ini adalah sitasi.stiki-indonesia.ac.id.  SITASI  dirancang memiliki  dua  kategori  pengguna,  yaitu admin dan  dosen.  Pada  tampilan  antarmuka  sebagai admin ,  terdapat  menu  halaman  utama, master data , pengaturan, monitoring internal, monitoring  eksternal,  monev  progress,  cetak surat,  pengabdian  dan manage  font .  Pada tampilan  antarmuka  sebagai dosen,  terdapat menu  halaman  utama,  usulan  internal,  usulan eksternal, dan penelitian terdahulu. SITASI  mulai  diimplementasikan  untuk mengelola pengusulan dana hibah penelitian dan pengabdian  masyarakat  yang  dananya  berasal dari  internal  kampus  tahun  2018.  Setelah  satu periode  pengajuan  hibah  telah  diterapkan, SITASI belum dievaluasi kesuksesan penerapannya.  Penilaian  yang  dilakukan  hanya terbatas  pada  aspek  kualitatif  yang  didasarkan pada keluhan dari dosen selaku pengguna sistem dan  pengalaman  tim  LPPM  sebagai admin sistem.  Aspek  yang  dikaji  juga  terbatas  pada kualitas sistem.
Sistem informasi merupakan sistem yang terdiri dari  manusia  dan  atau  mesin  yang  bekerja (melakukan proses/kegiatan) yang menggunakan informasi,  teknologi  dan  sumber  daya  lainnya untuk  menghasilkan  produk  informasional  dan atau layanan untuk pihak internal atau eksternal [1].  Sistem  informasi  terdapat  pada  suatu organisasi  untuk  mendukung  dan  memenuhi kebutuhan  informasi  dan  komunikasi  dalam organisasi  tersebut  [2].  Keuntungan  bersih  hasil penggunaan  perangkat  lunak  dipengaruhi  oleh intensi  untuk  menggunakan  dan  kepuasan pengguna  yang  dipengaruhi  oleh  faktor individual  (orang),  konteks  teknologi  dan konteks organisasi [3]. Dengan demikian, sistem informasi  dapat  dinyatakan  terdiri  dari  konteks organisasional  dan  pengguna,  topik  yang diminati oleh pengguna, dan komputer/teknologi [4].  Oleh  karena  itu,  pengukuran  keberhasilan penerapan  sebuah  sistem  informasi  minimal harus  memperhatikan  empat  parameter,  yaitu individu  yang  menggunakan,  organisasi  tempat individu  saling  berinteraksi,  informasi  yang
disajikan sistem, dan sistem/teknologi informasi itu sendiri.
Sistem  informasi  yang  telah  dikembangkan  dan digunakan perlu dievaluasi kualitasnya. Kualitas sistem  informasi  ditunjukkan  oleh  beberapa kriteria,  antara  lain  ketepatgunaan/  efisiensi, kemampuan/fungsionalitas,  ketepatan/akurasi, keamanan, kepantasan/dapat diterima, kehandalan/reliabilitas, ketahanan untuk pemeliharaan, keterpakaian, dan portabilitas [5]. Berdasarkan kajian Wiechetek [6], faktor sukses yang  paling  berpengaruh  pada  implementasi teknologi  informasi  adalah  pengalaman implementasi  para  tim  yang  terlibat,  kepakaran tim, keterampilan komunikasi, dan disiplin para karyawan.  Fleksibilitas  sistem,  kemudahan sistem  untuk  digunakan,  konsistensi  dan kemantapan  hati  anggota  tim,  serta  tingkat pemahaman  terhadap  kebutuhan  perusahaan merupakan faktor cukup penting berikutnya. Hal ini  menunjukkan  bahwa  faktor  yang  berkaitan dengan sumber daya manusia merupakan faktor paling  vital  dalam  kesuksesan  implementasi sistem informasi.
Hal ini didukung pula oleh hasil kajian Chevers &  Grant  [7]  bahwa  kualitas  sistem  informasi yang dibangun dipengaruhi paling dominan oleh sumber  daya  manusia  (keterampilan  dan kontribusi  pengembang).  Faktor  lainnya  adalah kematangan  proses  pengembangan  sistem informasi,  penerapan  teknologi  terdahulu,  dan iklim  organisasi.  Sementara  itu,  kesuksesan penerapan sistem informasi dominan dipengaruhi oleh  persepsi  pengguna  dibandingkan  dengan kualitas sistem informasi itu sendiri. Jadi, ketika pengguna  merasa  mudah  menggunakan  sistem dan  manfaat  sistem  yang  dirasakan  pengguna sangat tinggi, maka penggunaan sistem dan nilai bisnis yang menjadi indikator kesuksesan sistem informasi semakin tinggi.
Salah satu  kerangka  untuk  mengevaluasi  sistem informasi disajikan oleh Hallikainen & Chen [8], yang terdiri dari  beberapa konteks,  yaitu situasi outset ,  proses  pengembangan  bisnis,  proses pengembangan  sistem  informasi,  proses pengadaan  sistem  informasi,  proses  evaluasi sistem  informasi,  dan outcome .  Situasi  outset terdiri  dari  norma  dan  nilai  organisasional, kontingensi  proyek,  dan  sumber  daya  proyek sistem  informasi.  Proses  evaluasi  sistem informasi  terdiri  dari  lima  kategori,  yaitu  nilai strategis, resiko, keuntungan finansial, kesuksesan pengembangan sistem informasi, dan kesuksesan  penggunaan  sistem  informasi.
Outcome yang  dinilai  meliputi  kesuksesan implementasi  sistem  informasi,  investasi  sistem informasi, dan fungsionalitas sistem informasi. Kerangka  evaluasi  sistem  informasi  dengan pendekatan  interpretif  yang  dapat  dipergunakan secara luas dan juga dilengkapi dengan panduan efektif yang detail adalah model content, context, dan process (CCP) [9]. Konten adalah komponen evaluasi  yang  berkaitan  dengan  apa  yang  akan diukur.  Konteks  mengukur  komponen  mengapa dan  siapa  yang  mengimplementasikan  sistem informasi.  Sementara  itu,  komponen  proses mengukur  aspek  bagaimana  dan  kapan  evaluasi dilaksanakan [10].
Untuk  mengukur  kesuksesan  penerapan  sistem informasi,  sampai  saat  ini  telah  berkembang berbagai  model  kesuksesan  sistem  informasi. Model kesuksesan sistem informasi banyak yang mengadopsi  model  penerimaan  teknologi/TAM [11].  Model  ini  mengusulkan  mengusulkan bahwa  pendapat  pengguna  yang  merasa kebermanfaatan  dan  mudah  untuk  digunakan mempengaruhi sikap mereka untuk menggunakan. Aspek kegunaan dan sikap untuk menggunakan  menjadi  faktor  yang  berpengaruh pada  perilaku  pengguna  untuk  menggunakan teknologi,  yang  pada  akhirnya  ditunjukkan dengan data penggunaan sistem secara aktual.
Model kesuksesan sistem informasi lainnya yang sudah  dikenal  luas  adalah  model  DeLone  & McLean.  Model  awal  terdiri  dari  komponen kualitas  sistem,  kualitas  informasi,  penggunaan, kepuasan  pengguna,  dampak  individual,  dan dampak  organisasional,  seperti  ditunjukkan gambar  7.  Pada  model  yang  diperbaharui, komponen  penilaian  meliputi  kualitas  sistem, kualitas informasi, kualitas layanan, penggunaan (dorongan  untuk  menggunakan),  kepuasan pengguna,  dan  manfaat  bersih  yang  diperoleh [12].
Banyak  pakar  telah  mempublikasikan  model evaluasi  kesuksesan  penerapan  sebuah  sistem informasi.  Samardzija  [13]  menawarkan  empat dimensi  kesuksesan  sistem  informasi,  yaitu kualitas  sistem  informasi,  kualitas  pengalaman pengguna,  keuntungan  bersih,  dan  minat  untuk menggunakan kembali. Kualitas sistem informasi  terdiri  dari  dua  subdimensi,  yaitu kualitas  informasi  dan  kualitas  sistem.  Kualitas pengalaman  pengguna  terdiri  dari  subdimensi pengalaman pragmatik dan pengalaman hedonik. Dimensi keuntungan bersih juga terdiri dari dua subdimensi,  yaitu  manfaat  pragmatis  dan manfaat  hedonik.  Komponen  masing-masing dimensi seperti ditunjukkan pada Gambar 1.
Gambar 1. Model Kesuksesan Sistem Informasi Mobile Interaktif [13]
Model  evaluasi  penerimaan  pengguna  terhadap teknologi  perangkat  lunak  yang  dikemukakan oleh  Mohamadali  dan  Garibaldi  [3]  didasarkan pada model kesuksesan sistem informasi DeLone dan  McLean,  teori  mempersatukan  penerimaan teknologi  dan  penggunaan  teknologi  (UTAUT), dan  kepatutan  tugas  teknologi  (TTF). Keuntungan  bersih  hasil  penggunaan  perangkat lunak  dipengaruhi  oleh  intensi  untuk menggunakan  dan  kepuasan  pengguna.  Hal tersebut  dipengaruhi  oleh  tiga  faktor,  yaitu individual  (orang),  konteks  teknologi  dan konteks  organisasi.  Jabaran  tentang  model evaluasi ini seperti ditunjukkan pada Gambar 2. Wixom  &  Todd  [14]  menawarkan  kombinasi dari  model  TAM  dengan  pendekatan  kepuasan pengguna,  yaitu  model  terintegrasi  kepuasan pengguna dan penerimaan teknologi. Pada model ini,  domain  kualitas  informasi  mempengaruhi
kepuasan  informasi  dan  dirasakan  sebagai kegunaan  teknologi  yang  akan  mempengaruhi sikap  dan  intensi  untuk  menggunakannya. Sementara  itu,  kualitas  sistem  mempengaruhi kepuasan  terhadap  sistem  yang  terlihat  dari kemudahan  untuk  menggunakan  yang  akan mempengaruhi  sikap  pengguna  dan  pada akhirnya berpengaruh terhadap intensi pengguna untuk menggunakan teknologi. Model terintegrasi Wixom dan Todd tersebut diperluas oleh  Xu  dkk.  [15]  dengan  menambahkan  unsur kualitas  layanan,  sehingga  menjadi  model  3Q. Dimensi  kualitas  layanan  mempengaruhi kepuasan  layanan  dan  menjadi  pertimbangan perasaan menyenangkan yang akan berpengaruh pada  sikap  pengguna  terhadap  teknologi/sistem yang diberikan yang pada akhirnya mempengaruhi  intensi/keinginannya  untuk menggunakannya.
Gambar 2. Model Evaluasi Penerimaan Pengguna terhadap Teknologi Perangkat Lunak [3]
Berdasarkan  hasil  kajian  pustaka  tentang kualitas,  evaluasi,  model  kesuksesan,  dan pengujian  sistem  informasi,  beberapa  model dijadikan  sebagai  panduan  dalam  penyusunan model  hipotetis  evaluasi  kesuksesan  SITASI. Untuk  mengevaluasi  SITASI,  dimensi  variabel yang  digunakan  seperti  yang  digunakan  pada model  evaluasi  penerimaan  pengguna  terhadap teknologi perangkat lunak yang ditawarkan oleh
Mohamadali  dan  Garibaldi  [3],  dimana  dimensi intensi  untuk  menggunakan  digantikan  dengan penggunaan  sistem  informasi.  Selain  itu,  arah panah  antara  penggunaan  dan  kepuasan pengguna  itu  hanya  satu  arah  dari  penggunaan menuju  kepuasan  pengguna.  Namun,  jika dikaitkan  dengan  model  kesuksesan  sistem informasi mobile interaktif, yang diberikan oleh Samardzija  [13],  dimensi  faktor  manusia  akan
digantikan dengan istilah pengalaman pengguna, tetapi  sub-dimensinya  tetap  menggunakan harapan  kinerja  dan  harapan  usaha.  Sementara itu,  dimensi  konteks  organisasi  digantikan dengan istilah dukungan organisasi dengan sub- dimensi  berupa  kebijakan  manajemen  (untuk mengganti  istilah  kondisi  yang  memfasilitasi) dan budaya organisasi. Pada kajian ini juga diuji apakah  terdapat  korelasi  langsung  antara pengalaman  pengguna  dan  dukungan  organisasi terhadap  keuntungan  bersih.  Model  hipotetis evaluasi kesuksesan SITASI seperti ditunjukkan pada Gambar 3.
Dengan demikian, hipotesis yang diajukan antara lain:
1. Dukungan  organisasi  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih
2. Pengalaman  pengguna  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih
3. Kualitas  sistem  informasi  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih
4. Kualitas  sistem  informasi  mempengaruhi kepuasan  pengguna  yang  secara  tidak langsung  mempengaruhi  keuntungan bersih 5. Dukungan organisasi, pengalaman pengguna  dan  kualitas  sistem  informasi secara  bersama-sama  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih
6. Dukungan organisasi, pengalaman pengguna  dan  kualitas  sistem  informasi secara  bersama-sama  mempengaruhi penggunaan  sistem  informasi  yang  juga berpengaruh pada kepuasan pengguna dan secara  tidak  langsung  mempengaruhi keuntungan bersih.
Pengalaman Pengguna Kualitas Sistem Informasi Dukungan Organisasi Kepuasan Pengguna Keuntungan Bersih
Kualitas Sistem Kualitas Informasi Kualitas Layanan Penggunaan Sistem
Informasi
Kebermanfaatan Mudah Digunakan Kegembiraan Kinerja Harapan Usaha Harapan Kebijakan Manajemen Budaya Organisasi Kegunaan Kerahasiaan Estetika Stimulasi Kinerja Efektivitas Produktivitas Persepsi Resiko
Gambar 3. Model Hipotesis Evaluasi Kesuksesan SITASI

## 2.  METODE PENELITIAN
Penelitian  ini  dilaksanakan  dengan  tiga  tahap, yaitu  mulai  dari  tahap  persiapan,  pengumpulan data,  sampai  pada  analisis  data  dan  pelaporan. Tahap  persiapan  meliputi  kegiatan  penentuan responden penelitian, memilih teknik pengumpulan data,
mengembangkan instrumen/kuesioner.  Tahap  kedua  adalah pengumpulan  data  berupa  penyebaran  kuesioner dan mentabulasi jawaban responden. Pada tahap ketiga,  yaitu  analisis  data,  dilakukan  proses
pengujian  hipotesis  dengan  analisis  statistik menggunakan  perangkat  lunak  SmartPLS, penginterpretasian  temuan  yang  diperoleh,  dan penyimpulan hasil penelitian.
Populasi  penelitian  ini  adalah  seluruh  dosen STMIK  STIKOM  Indonesia  yang  mengajukan penelitian  dan  pengabdian,  serta  yang bertanggungjawab pada unggah administrasi pada SITASI, yaitu para ketua pengusul. Jumlah ketua pengusul  (populasi)  hibah  penelitian  dan/atau pengabdian  pada  tahun  2019  adalah  70  orang.
Dari  seluruh  pengusul  yang  telah  diberikan kuesioner,  yang  bersedia  mengisi  angket  hanya 40 orang (sampel). Berdasarkan hasil rekapitulasi profil  responden,  70%  responden  telah berpengalaman menggunakan SITASI sejak 2018 dan  sisanya  adalah  pengguna  baru,  serta  50% responden  pernah  mengajukan  skema  penelitian
dan  pengabdian,  dan  sisanya  hanya  usulkan penelitian saja.
Berdasarkan  hasil  pengujian  ditemukan  bahwa koefisien  korelasi  dari  indikator  ke  dimensinya semua  melebihi  0,6  (valid),  seperti  ditunjukkan Gambar  4.  Sementara  itu,  berdasarkan  hasil analisis, semua dimensi penelitian telah reliabel, seperti terangkum pada Tabel 1.
Tabel 1. Nilai Alpha Cronbach untuk Masing-masing Dimensi Penelitian
Gambar 4. Nilai Koefisien Korelasi.

## 3.  HASIL DAN PEMBAHASAN
Analisis  statistik  berupa  uji  SEM  dibantu menggunakan  perangkat lunak  SmartPLS.  Hasil analisis dinyatakan signifikan apabila nilai t-test >  1,96  atau  p  values  <  0,05.  Berdasarkan  hasil analisis,  dari  tujuh  hubungan  yang  ada,  hanya
tiga  hubungan  yang  signifikan,  yaitu  kepuasan pengguna  berpengaruh  terhadap  keuntungan bersih,  kualitas  sistem  informasi  berpengaruh terhadap  penggunaan  sistem  informasi,  dan penggunaan  sistem  informasi  berpengaruh terhadap  kepuasan  pengguna.  Sementara  itu, empat hubungan lainnya tidak signifikan.
Tabel 2. Nilai Uji Statistik untuk Hubungan Langsung Antar-Dimensi Penelitian
Hubungan t-test p-values Keterangan Dukungan  organisasi → penggunaan  sistem informasi 0,821  0,412 Tidak signifikan Kepuasan pengguna → keuntungan bersih 3,987  0,000 Signifikan Kualitas sistem informasi → kepuasan pengguna 1,070  0,285 Tidak signifikan Kualitas  sistem  informasi → penggunaan  sistem informasi 4,533  0,000 Signifikan Pengalaman  pengguna → penggunaan  sistem informasi 1,455  0,146 Tidak signifikan Penggunaan  sistem  informasi → kepuasan pengguna 2,724  0,007 Signifikan Penggunaan sistem informasi → keuntungan bersih  0,719  0,473 Tidak signifikan
Berdasarkan  hasil  uji  statistik  menggunakan aplikasi  SmartPLS,  untuk  hubungan  langsung antar  dimensi  menunjukkan  bahwa  hanya  tiga hubungan yang signifikan, yaitu hubungan antara kualitas  sistem  informasi  dengan  penggunaan sistem  informasi,  penggunaan  sistem  informasi dengan  kepuasan  pengguna,  dan  kepuasan pengguna terhadap keuntungan bersih. Sementara  itu,  hubungan  dimensi  dukungan organisasi  dan  pengalaman  pengguna  terhadap dimensi lainnya tidak signifikan.
Berdasarkan  hasil  uji  statistik  menggunakan aplikasi  SmartPLS,  untuk  hubungan  tidak langsung  antar  dimensi  menunjukkan  bahwa hanya hubungan antara kualitas sistem informasi yang berpengaruh signifikan terhadap penggunaan  sistem,  kemudian  mempengaruhi kepuasan pengguna dan memberikan keuntungan bersih.  Selain  hubungan  dimensi  tersebut,  tidak ada yang memiliki hubungan signifikan.
Tabel 3. Nilai Uji Statistik untuk Hubungan Tidak Langsung Antar-Dimensi Penelitian
Hubungan t-test p-values Keterangan Pengalaman  pengguna → penggunaan  sistem informasi → keuntungan bersih 0,463 0,644 Tidak signifikan Kualitas  sistem  informasi → penggunaan  sistem informasi → keuntungan bersih 0,709 0,479 Tidak signifikan Dukungan organisasi → penggunaan sistem informasi → keuntungan bersih 0,352 0,725 Tidak signifikan Pengalaman  pengguna → penggunaan  sistem informasi → Kepuasan  pengguna → keuntungan bersih 1,090 0,276 Tidak signifikan Penggunaan  sistem  informasi → kepuasan  pengguna → keuntungan bersih 3,092 0,002 Signifikan Kualitas  sistem  informasi → penggunaan  sistem
informasi → kepuasan pengguna → keuntungan bersih  3,289 0,001 Signifikan Dukungan organisasi → penggunaan sistem informasi → kepuasan pengguna → keuntungan bersih 0,786 0,432 Tidak signifikan Kualitas  sistem  informasi → kepuasan  pengguna → keuntungan bersih 0,940 0,348 Tidak signifikan Pengalaman  pengguna → penggunaan  sistem informasi → kepuasan pengguna 1,007 0,314 Tidak signifikan Kualitas  sistem  informasi → penggunaan  sistem informasi → kepuasan pengguna 2,527 0,012 Signifikan Dukungan organisasi → penggunaan sistem informasi → kepuasan pengguna 0,678 0,498 Tidak signifikan
Apabila  dikaitkan  dengan  pengujian hipotesis penelitian, dapat dinyatakan bahwa:
1. Dukungan  organisasi  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
2. Dukungan  organisasi  mempengaruhi penggunaan  sistem  informasi  dan kepuasan  pengguna  yang  secara  tidak langsung  mempengaruhi  keuntungan bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
3. Pengalaman  pengguna  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
4. Pengalaman  pengguna  mempengaruhi penggunaan  sistem  informasi  dan kepuasan  pengguna  yang  secara  tidak langsung  mempengaruhi  keuntungan bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
5. Kualitas  sistem  informasi  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
6. Kualitas  sistem  informasi  mempengaruhi kepuasan  pengguna  yang  secara  tidak langsung  mempengaruhi  keuntungan
bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
7. Kualitas  sistem  informasi  mempengaruhi penggunaan  sistem  informasi  dan kepuasan  pengguna  yang  secara  tidak langsung  mempengaruhi  keuntungan bersih.  Hipotesis  ini  diterima  karena  hasil uji statistik signifikan.
8. Dukungan organisasi, pengalaman pengguna  dan  kualitas  sistem  informasi secara  bersama-sama  mempengaruhi penggunaan  sistem  informasi  yang  secara tidak langsung mempengaruhi keuntungan bersih.  Hipotesis  ini  ditolak  karena  hasil uji statistik tidak signifikan.
9. Dukungan organisasi, pengalaman pengguna  dan  kualitas  sistem  informasi secara  bersama-sama  mempengaruhi penggunaan  sistem  informasi  yang  juga berpengaruh pada kepuasan pengguna dan secara  tidak  langsung  mempengaruhi keuntungan  bersih.  Hipotesis  ini  ditolak karena hasil uji statistik tidak signifikan.
Berdasarkan  hasil  pengujian  hipotesis penelitian,  hanya  satu  hipotesa  yang  diterima (signifikan),  yaitu  hubungan  kualitas  sistem informasi,  penggunaan  sistem  informasi, kepuasan  pengguna  dan  keuntungan  bersih. Dengan demikian, model akhir yang menyatakan hubungan  antar  domain  dalam  kasus  ini  seperti ditunjukkan pada Gambar 5.
Kualitas Sistem Informasi Kepuasan Pengguna Keuntungan Bersih Kualitas Sistem Kualitas Informasi Kualitas Layanan Penggunaan Sistem Informasi Kebermanfaatan Mudah Digunakan Kegembiraan Kegunaan Kerahasiaan Estetika Stimulasi Kinerja Efektivitas Produktivitas Persepsi Resiko
Gambar 5. Model Akhir Penelitian
Berdasarkan  hasil  analisis  masukan  yang diberikan  responden  terhadap  website  sitasi, 45%  menunjukkan  kesan  negatif,  17,5% menunjukkan  pendapat  netral/nihil,  dan  37,5%
menyampaikan kesan positif. Dengan demikian, komentar  dari  responden  adalah  dominan menilai  website  ini  harus  ditingkatkan  lagi kualitasnya.  Beberapa  aspek  yang  ditekankan adalah  kualitas  sistem  (tipografi  yang user-
friendly,  bug dikurangi,  kompatibilitas  di telepon  pintar),  kualitas  informasi  (notifikasi batas  akhir,  pemberitahuan  batas  maksimal ukuran file , form pengajuan untuk keseragaman, kolom  berita  yang up-to-date )  dan  kualitas layanan  (desain  dan  warna  tampilan website , tata letak menu).

## 4.  PENUTUP

## Kesimpulan
Berdasarkan  hasil  pengujian  dan  pembahasan  di atas,  penerapan  sitasi  masih  belum  sukses sepenuhnya.  Terdapat  beberapa  kendala  yang ditemukan dalam operasionalnya, baik dari aspek kualitas  sistem,  kualitas  informasi,  maupun kualitas  layanan  sitasi.  Berdasarkan  hasil pengujian  hipotesis,  hanya  satu  hipotesa  yang diterima  dari  sembilan  hipotesa  yang  diajukan, dan diusulkan model akhir yang valid.

## Saran
Berdasarkan  hasil  evaluasi  tersebut,  maka website  sitasi  masih  perlu  perbaikan  dan pengembangan  untuk  memenuhi  kebutuhan pengguna.  Untuk  meningkatkan  kualitas  sistem, pengembang harus memperbaiki tipografi sistem sehingga lebih user-friendly, mampu memelihara sistem sehingga bug dikurangi, dan dikembangkan agar nyaman diakses menggunakan telepon pintar. Untuk meningkatkan  kualitas  informasi,  sistem  harus dapat  memberikan  notifikasi  batas  akhir, pemberitahuan batas maksimal ukuran  file, serta disediakan  form  pengajuan  untuk  keseragaman, dan  admin  LPPM  sebaiknya  senantiasa melakukan update berita. Sementara itu, kualitas layanan  perlu  ditingkatkan  dari  sisi  desain  dan warna tampilan website , serta tata letak menu.

## 5.  REFERENSI
[1] S.  Alter,  “Defining  Information  Systems as Work Systems : Implications for the IS Field,” San Fransisco, 22, 2008.
[2] E.  D.  Falkenberg et al. ,  “A FRAMEWORK  OF  INFORMATION
SYSTEM CONCEPTS,” Leiden, 1998.
[3] N.  A.  K.  S.  Mohamadali  and  J.  M. Garibaldi, “A Novel Evaluation Model of User Acceptance of Software Technology in  Healthcare  Sector,”  in International Conference  on  Health  Informatics , 2010, pp. 392–397. [4] J. Iivari and R. Hirschheim, “ANALYZING INFORMATION SYSTEMS DEVELOPMENT : A COMPARISON  AND  ANALYSIS  OF EIGHT IS DEVELOPMENT,” Inf.  Syst. , vol. 21, no. 7, pp. 551–575, 1996.
[5] M.  K.  Sharma,  “A  study  of  SDLC  to develop well engineered software,” Int. J.
Adv. Res. Comput. Sci. , vol. 8, no. 3, pp. 520–523, 2017. [6] Ł.  Wiechetek,  “SUCCESS  FACTORS AND BARRIERS FOR IMPLEMENTATION OF IT SYSTEMS :  THE  CASE  OF  POLISH
SMEs,” in Managing Intellectual Capital and  Innovation  for  Sustainable  and Inclusive Society , 2013, pp. 1475–1486.
[7] D.  A.  Chevers  and  G.  Grant, “Developer’s  Views  on  Information Systems Quality and Success in Canadian Software  Development  Firms,” J.  Inf. Syst. Technol. Manag.
, vol. 14, no. 1, pp. 3–20,  2017,  doi:  10.4301/S1807-
17752017000100001.
[8] P.  Hallikainen  and  L.  Chen,  “A  Holistic Framework  on  Information  Systems Evaluation  with  a  Case  Analysis,”
Electron. J. Inf. Syst. Eval. , vol. 9, no. 2, pp. 57–64, 2005.
[9] R.  Stockdale  and  C.  Standing,  “An interpretive  approach  to  evaluating information systems : A content , context , process framework,” Eur. J. Oper. Res. , vol. 173, no. 2006, pp. 1090–1102, 2006,
doi: 10.1016/j.ejor.2005.07.006.
[10]  W. Piotrowicz and Z. Irani, “INFORMATION SYSTEMS EVALUATION  IN  CONTEXT  – IMPACT  OF  THE  CORPORATE LEVEL,” in European and Mediterranean Conference on Information  Systems  2008 ,  2008,  vol. 2008, pp. 1–13.
[11]  F.  D.  Davis,  R.  P.  Bagozzi,  and  P.  R. Warshaw, “User Acceptance of Computer Technology :  A  Comparison  of  Two Theoretical  Models,” Manage.  Sci. ,  vol. 35,  no.  8,  pp.  982–1003,  1989,  doi: 10.1287/mnsc.35.8.982.
[12]  W.  H.  Delone  and  E.  R.  Mclean, “Information Systems Success Revisited,”  in Proceedings  of  the  35th Hawaii  International  Conference  on
System Sciences , 2002, pp. 1–11.

## [13]  A.  Ć.  Samardžija,  “MEASURING  THE SUCCESS  OF  THE  INTERACTIVE MOBILE  INFORMATION  SYSTEMS
AT THE INDIVIDUAL LEVEL OF USE DOCTORAL  THESIS,”  University  of Zagreb, 2016.
[14]  B.  H.  Wixom  and  P.  A.  Todd,  “A
Theoretical Integration of User Satisfaction and Technology Acceptance,” Inf. Sist. Res. , vol. 16, no. 1, pp. 85–102, 2005.
[15]  D. Xu, I. Benbasat, and R. T. Cenfetelli, “Integrating Service Quality with System and  Information  Quality :  An  Empirical Test  in  the  E-Service  Context,” MIS  Q. , vol. 37, no. 3, pp. 777–794, 2013.