## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
No. 2 Agustus 2020

## Pengembangan Model Evaluasi pada Integrated Information Systems di Universitas: Systematic Literature Review
Eva Faja Ripanti #1
# Jurusan Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak
1 evaripanti@untan.ac.id
Abstrak —  Evaluasi  pada  suatu  sistem  informasi  dilakukan untuk  meninjau  efektivitas  kerja  sebuah  sistem  untuk menghindari  implementasi  yang  kurang  optimal  dari  sisi teknologi  informasi.  Tujuan  dari  penelitian  ini  adalah menghasilkan  sebuah  model  yang  dapat  digunakan  sebagai petunjuk atau pedoman dalam melaksanaka proses evaluasi sebuah  atau  beberapa  sistem  informasi  ( integrated  system ), terutama  sistem  informasi  di  Universitas.  Penelitian dibangun  dengan  pendekatan desk-  based  research dimana data  yang  dikumpulkan  berdasarkan  antara  lain database penelitian  yang  relevan  yang  didapat  dari search  engine penelitian  dengan  menggunakan  kata  kunci  dan  frase  yang terkait  dengan  evaluasi  dan  sistem  informasi  di  Universitas. Tinjauan literatur secara sistematis atau systematic literature review dilakukan  dalam  membangun  model  ini,  literatur yang  didapat  digunakan  sebagai  dasar  melakukan  analisis dan perancangan, untuk model yang dapat digunakan dalam evaluasi  sebuah  atau  beberapa  sistem  informasi.  Penelitian ini menghasilkan tahapan dan standar pelaksanaan evaluasi sistem informasi yang dapat digunakan di Universitas.
Kata kunci — Evaluasi Sistem, Model, Systematic Literature Review , Sistem Informasi, Universitas.

## I. P ENDAHULUAN
Evaluasi  sebagai  sebuah  interpretasi  atau  penafsiran yang  bersumber  pada  data  kuantitatif,  dimana  data kuantitatif  tersebut  merupakan  hasil  dari  sebuah  aktivitas pengukuran  [1].  Kegiatan  evaluasi  dalam  sebuah  siklus pengembangan sistem adalah kegiatan yang idealnya rutin dilakukan dalam satu siklus. Dijelaskan bahwa ada empat tahapan  utama  dalam  siklus  hidup  pengembangan  sistem atau System  Development  Life  Cycle (SDLC),  yaitu perencanaan, analisis, perancangan, dan implementasi [2]. SDLC berperan sebagai metodologi untuk pengembangan sebuah sistem. Metodologi pada konteks tersebut diartikan sebagai  sebuah  rangakaian  tahapan  dalam  pengembangan sistem.  SDLC  dalam  implentasinya  memiliki  beberapa model antara lain waterfall [3], spiral [4] dan prototyping model. Beberapa model tersebut mungkin saja menjelaskan tahapannya dengan penamaan yang berbeda-
beda.  Namun  secara  umum  setiap  tahapan  dalam  SDLC dapat  diadopsi  semua,  sebagian,  atau  kombinasi  dari tahapan-tahapan berikut: Analysis/Feasibility ; Planning/Requirements ; Design ; System  Development ; Testing ;
Deployment ; Maintenance ; Evaluation ; Disposition/Disposal/End-of-Life [5].
Tahapan  evaluasi  dalam  pengembangan  sistem  sering kali  terabaikan.  Walaupun  tahapan  ini  merupakan aktivitas  penting  guna  mendukung  keberlanjutan  sebuah sistem.  Sebuah  sistem  informasi  yang  dikembangkan perlu  ditinjau  secara  rutin  untuk  melihat  sejauh  mana keberhasilan sistem yang diimplementasikan atau sebaliknya  untuk  melihat  bagian-bagian  mana  saja  yang perlu  diperbaiki  atau  disesuaikan  dari  sistem  yang diimplementasikan.  Evaluasi  sistem  informasi  yang dijelaskan  pada  penelitian  ini  adalah  bertujuan  untuk meninjau  efektivitas  kerja  sistem  itu  sendiri  untuk menghindari  implementasi  sistem  terkait  teknologi informasi yang kurang optimal. Universitas sebagai objek dalam  aktivitas  pengukuran  evaluasi  pada  penelitian  ini, tentu  saja  perlu  digambarkan  sistem  informasinya  secara terperinci.  Gambaran  awal  sebuah  organisasi,  dalam  hal ini  universitas,  dapat  dijelaskan  melalui  dokumen- dokumen  yang  dimiliki  seperti  dasar  penyelenggaraan sistem  pendidikan  yaitu  Undang-Undang,  Peraturan Menteri,  dan  Peraturan  Rektor/Universitas.  Dokumen- dokumen  tersebut  kemudian  divisualisasikan  dalam sebuah  proses  bisnis  universitas.  Perlu  juga  dijelaskan bahwa  penelitian  ini  menitik  beratkan  pada  implementasi evaluasi sistem informasi universitas di Indonesia.
Tujuan  penelitian  adalah menghasilkan  sebuah  model yang  dapat  menjadi  pedoman  dalam  melakukan  evaluasi sistem  informasi  pada  sebuah  Universitas .  Beberapa sasaran  dibuat  untuk  mencapai  tujuan  tersebut,  yaitu:  (1) mengidentifikasi  proses  bisnis  universitas  berdasarkan literatur  yang  didapat;  (2)  membangun  instrumen  yang digunakan  dalam  proses  pengumpulan  data  guna melaksanakan  investigasi  dan  analisis  evaluasi  sistem
informasi;  (3)  mensitesa  model  evaluasi  sistem  informasi universitas.
Pendekatan pada penelitian dilakukan dengan meninjauan literatur secara sistematis ( systematic literature  review ),  yang  datanya  dikumpulkan  dari database publikasi  yang  relevan  dan  sumber  daya  ilmiah lainnya, menggunakan berbagai kata kunci dan frasa yang terkait, misalnya evaluasi sistem informasi dan universitas.

## II. TINJAUAN LITERATUR
Pada  bagian  ini  tinjauan  literatur  berisi  penjelasan beberapa  variabel  penting  penelitian  yaitu  Sistem Informasi  dan  Universitas,  serta Systematic  Literature Review .

## A. Sistem Informasi
Sistem  informasi  adalah  kumpulan  komponen  yang saling  terkait  untuk  mencapai  suatu  tujuan  tertentu, dimana  dilakukan  aktivitas  pengumpulan,  pemprosesan, penyimpan, dan pendistribusian informasi. Informasi yang didapat  tersebut  kemudian  digunakan  untuk  mendukung proses pengambilan keputusan, koordinasi, dan kontrol [6, 7, 8].
System  Development  Life  Cycle (SDLC)  dijelaskan sebagai  proses  untuk  memahami  bagaimana  suatu  sistem informasi  dapat  mendukung  kebutuhan  bisnis  dengan merancang suatu sistem, membangunnya, dan menyampaikannya kepada pengguna [2].
Aktivitas  analisis  dan  perancangan  perlu  sebuah  alat, dimana  terdapat  beberapa  pilihan  antara  lain Object Oriented  Analysis  and  Design (OOAD)  yang  merupakan sebuah  cara  untuk  melakukan  analisis  dan  peracangan dengan  pendekatan  berbasis  objek.  Pada  OOAD  dapat dijelaskan  bahwa  seluruh  sistem  yang  sedang  ditelaah adalah  sebuah  objek  dan  terdiri  dari  beberapa  kelas. Sementara alat untuk memvisualisasikan hasil analisis dan perancangan akan mengunakan Unified Modeling Language (UML).  UML  adalah  sebuah  standar  bahasa grafis untuk menspesifikan, memvisualisasikan, merancang,  dan  mendokumentasikan artifact dari  sebuah sistem software [9, 10].

## B. Universitas
Dokumen-dokumen  Universitas  perlu  diidentifikasi, sebagai dasar untuk mengidentifikasi dan menggambarkan kebutuhan  umum  terkait  sistem  informasi.  Dokumen tersebut  dapat  berupa  Undang  –  undang,  peraturan pemerintah,  peraturan  universitas,  rencana  strategis,  dan dokumen lainnya yang relevan dengan arah penyelenggaraan pendidikan. Pada penelitian ini beberapa dokumen dijadikan petunjuk guna mendapatkan gambaran kebutuhan sistem informasi sebuah Universitas. Dokumen tersebut  antara  lain Peraturan  Menteri  (Permen) Pendididikan dan Kebudayaan (Dikbud) No.3 Tahun 2020 tentang  Standar  Nasional  Pendidikan  Tinggi,  Permen Dikbud  No.5  Tahun  2020  tentang  Akreditasi  Program
Studi  dan  Perguruan  Tinggi ; Laporan  Borang  Akreditasi Perguruan  Tinggi  (jika  telah  mengajukan  akreditasi perguruan tinggi); Statuta Universitas; Rencana Strategis (Renstra)  Universitas, dan Rencana  Strategis  (Renstra) TIK; dan dokumen perguruan tinggi lainnya.
Pada Permen Dikbud No. 3 tahun 2020, Pasal 2, Bab I Ketentuan  Umum,  menjelaskan  bahwa  Standar  Nasional (SN)  Pendidikan  Tinggi  terdiri  dari  SN  Pendidikan;  SN Penelitian;  dan  SN  Pengabdian  kepada  masyarakat. Sementara,  pada  Bab  II  Standar  Nasional  Pendidikan, Bagian  Kesatu,  Ruang  Lingkup  Standar  Nasional dijelaskan pada Pasal 4 bahwa SN pendidikan terdiri atas: (a)  standar  kompetensi  lulusan;  (b)  standar  isi Pembelajaran;  (c)  standar  proses  Pembelajaran;  (d) standar  penilaian  pendidikan  Pembelajaran;  (e)  standar Dosen  dan  Tenaga  Kependidikan;  (f)  standar  sarana  dan prasarana  Pembelajaran;  (g)  standar  pengelolaan;  dan  (h) standar pembiayaan.
Berdasarkan Permen Dikbud No. 5 Tahun 2020 bahwa akreditasi program studi dan perguruan tinggi di Indonesia saat  ini  dapat  diakreditasi  oleh  lembaga  independen  yang berasal  dari  pemenerintah  atau  masyarakat,  yang kemudian  disebut  Lembaga  Akreditasi  Mandiri  (LAM). Badan  Akreditasi  Perguruan  Tinggi  (BAN-PT)  adalah badan  yang  dibentuk  oleh  Pemerintah  untuk  melakukan dan  mengembangkan  Akreditasi  Perguruan  Tinggi  secara mandiri. Saat ini ditetapkan 9 standar penilaian akreditasi program  studi berdasarkan  Peraturan  Badan  Akreditasi Nasional  Perguruan  Tinggi  Nomor  5  tahun  2019  tentang Instrumen  Akreditasi  Program  Studi  yaitu  (1)  visi,  misi, tujuan,  dan  strategi  (2)  Tata  pamong,  tata  kelola,  & kerjasama  (3)  Mahasiswa  (4)  Sumber  daya  manusia  (5) keuangan,  sarana  dan  prasarana  (6)  Pendidikan  (7) Penelitian  (8)  Pengabdian  kepada  masyarakat  (9)  Luaran & Capaian Tridharma.

## C. Systematic Literature Review
Penelusuran  literatur  secara  sistematis  ( Systematic Literature  Review) adalah  sebuah  replika  proses penelusuran literatur yang dilakukan secara transparan dan ilmiah  dengan  bantuan  teknologi  sehingga  dapat meminimalisir bias dalam proses pencarian baik published dan unpublished sebuah  artikel  [11].  Sementara  [12] mengatakan  bahwa  proses systematic  literature  review terdiri  dari  perencanaan, data  collection ,  analisis,  dan sintetis.

## III. METODOLOGI PENELITIAN
Rangkaian tahapan yang dilakukan dalam penelitian ini dijelaskan  pada  bagian  Metodologi  Penelitian  ini.  Secara umum  pendekatan  yang  dilakukan  melalui  tinjauan literatur  yang  sistematis  ( Systematic  Literature  Review ), dimana  data  dikumpulkan  dari database publikasi  yang relevan  dan  sumber  daya  ilmiah  lainnya,  menggunakan berbagai kata kunci dan frasa yang terkait dengan evaluasi sistem  informasi.  Dan  kemudian  dilakukan  analisis mendalam.
Strategi  pencarian  yang  dilakukan  dalam  beberapa langkah.  Langkah  pertama  dimulai  dengan  melakukan pencarian  artikel  ilmiah  dari  database  yang  relevan dengan  menggunakan search  engine .  Pada  penelitian  ini search  engine yang  digunakan  adalah  Google  Scholar, waktu pencarian dilakukan pada bulan April 2020, dimana kombinasi  kata  kunci  yang  digunakan  ada  dua  yaitu pertama “ Information System AND Evaluation ” dan kedua “ Information  System  AND  Evaluation  AND  University ”. Kata kunci dalam Bahasa Indonesia juga digunakan yaitu “Sistem Informasi DAN Evaluasi” dan “Sistem Informasi DAN  Evaluasi  DAN  Universitas”.  Kata  kunci  tersebut harus  terkandung  dalam  judul  dan  mengecualikan  sitasi dan paten.
Artikel  yang  dicari  baik  dalam  Bahasa  Indonesia maupun Bahasa Inggris . Artikel  yang dicari hanya artikel yang di publikasi dalam jurnal. Hasil yang didapatkan dari pencarian  dijelaskan  secara  rinci  pada  Tabel  1.  Selain menggunakan search  engine ,  beberapa  sumber  tambahan juga  digunakan  antara  lain  dari  Buku  seperti  "System Analysis and design with UML" oleh Dennis et al. (2012) [2];  dan  peraturan  pemerintan  seperti Permen  Dikbud No.3 Tahun 2020 .
TABEL I
H ASIL P ENCARIAN S TRING DENGAN K ATA K UNCI YANG T ELAH
D ITETAPKAN String Pencarian Database Total Google Scholar Indonesia Inggris Information System AND Evaluation - 633 633 Information System AND Evaluation AND University - 7 7 Sistem Informasi AND Evaluasi 355 - 355 Sistem Informasi AND Evaluasi AND Universitas 35 - 35
Selanjutnya,  semua  artikel  yang  didapatkan  kemudian disaring  sesuai  dengan  tujuan  awal  dilakukannya pencarian  yaitu  untuk  mendapatkan  artikel  yang membahas  tentang  evaluasi  sistem  informasi  pada universitas.  Pada  hasil  pencarian  di  Tabel  1,  akan dilakukan  beberapa  langkah  untuk  memproses  data-data dari  hasil  pencarian.  Langkah-langkah  tersebut,  yaitu:  (1) membaca judul, jika judul memenuhi tujuan penelitian ini, maka  dikumpulkan  dan  disimpan;  (2)  membaca  abstrak dan kata kunci, dalam proses  ini literatur diklasifikasikan berdasarkan  tujuan  dan  kata  kunci  yang  sama;  (3) membaca makalah lengkap diperlukan untuk menganalisis karakteristik, prinsip,  nilai,  konsep, studi kasus, dan  hasil penelitian relevan lainnya; (4) artikel terseleksi  kemudian di analisis untuk membangun model evaluasi pada sistem informasi  sebuah  universitas.  Proses  penyaringan  secara rinci dijelaskan pada Gambar 1.

## Gambar. 1 Proses seleksi data dari pencarian literatur
Pada  Gambar  1  terlihat  proses  seleksi  serta  jumlah artikel yang didapatkan dari masing-masing langkah yang telah dijelaskan sebelumnya. Setelah melaksanakan proses seleksi  dan  analisis  yang  ketat  (4  tahapan)  maka  pada langkah  pertama  dihasilkan  sejumlah  1030  artikel, kemudian  artikel-artikel  tersebut  diseleksi  dengan membaca  judul  dan  abstrak,  yang  kemudian  disesuaikan dengan  tujuan  penelitian  ini.  Kata  kunci  pertama  setelah diseleksi  menyusut  menjadi  159  artikel,  beberapa  artikel terseleksi  juga  karena  mengandung  judul  yang  sama  atau menggunakan  bahasa  asing  selain  bahasa  Inggris;  pada kata  kunci  kedua  terselesksi  4  artikel;  kata  kunci  ketiga terpilih 201 artikel; kata kunci keempat terpilih 13 artikel. Langkah  selanjutnya  membaca  abstrak  maka  dihasilkan sebanyak  30  artikel  yang  kemudian  digunakan  untuk membangun model evaluasi pada penelitian ini. Tentu saja ditambah  dengan  literatur  lainnya  seperti  yang  telah dijelaskan. Ke 30 artikel terpilih dijelaskan pada Tabel 2.
TABEL III 30 A RTIKEL YANG DI R EVIEW No Penulis Penelitian 1 Royle  et  al., (2000) [13] Bertujuan untuk membuat perencanaan dan implemetasi Sistem Informasi  (SI)  untuk  para  perawat. Assessment dilakukan untuk mengetahui faktor-faktor yang
diperlukan  dan  dapat  memuaskan perawat  dalam  menggunakan  SI. Metode  kualitatif  dan  kuantitatif digunakan  untuk  menilai  kebutuhan informasi perawat dan untuk mengevaluasi penggunaan SI. 2 Gemmell & Pagano (2003) [14] Penelitian dilakukan untuk mengukur  keefektifaan  SI  dengan melihat  3  (tiga)  elemen  penting  SI, yaitu produk; layanan; proses. 3 Jian  et  al., (2008) [15]
Faktor survivability menjadi  ukuran penting dalam security sistem informasi,  dimana  dalam  penelitian ini digunakan Performance Evaluation Process Algebra (PEPA).
No Penulis Penelitian Selama ini diluar survivability factor lain  yang  dipertimbangkan  adalah system  structure,  system  services , dan system states.
4 Yusof  et  al., (2008) [16] Mengevaluasi  SI  kesehatan  dilihat dari aspek teknis, sosiologis,
ekonimi, manuasia, dan organisasi.
5 Abu-Sarhan
(2011) [17] Menggunakan Analytic  Hierarchy Process (AHP) untuk memilih sistem  informasi  terbaik  dalam evaluasi sebuah sistem informasi. 6 Ammenwerth et  al.,  (2011) [18] Pendekatan  kualitatif  dan  kuantitatif dilakukan  untuk  menggambarkan kualitas SI rumah sakit. 7 Chen  &  Chen (2011) [19] Elemen  Ketepatan  waktu  menjadi elemen  penting  dalam  mengukur efektifitas sistem. 8 Falahah & Rijayana (2011) [20] Pendekatan utility  system digunakan untuk  mengevaluasi  implementasi
SI,  beberapa  sada  sudut  pandang yang dilihat adalah possession, form, place, time, actualization dan goal . 9 Olson  &  Wu (2011) [21]
Membandingkan  antara Specific, Measurable,  Assignable,  Realistic, Time-related (SMART)  dan  ( Data Envelopment  Analysis )  DEA  dalam risiko outsourcing ERP. 10 Waluyan & Manuputty (2011) [22] Control  Objective  for  Information and  related  Technology (COBIT) digunanakan dalam kebutuhan membangun  suatu  sistem  dalam proses  pengambilan  keputusan  pada Tata  kelola  Teknologi  Informasi (TI). 11 Fitrianah & Sucahyo (2012) [23] Audit  teknologi  informasi  dilakukan untuk melihat kinerja TI pada sebuah universitas,  dimana  framework  yang digunakan adalah COBIT-ISACA.
12 Lejun  et  al., (2012) [24] Berpendapat  bahwa  dalam  evaluasi survivability digunakan dalam keamanan komputer. 13 Falgenti & Pahlevi (2013) [25] Fokus penelitian  ini  pada Enterprise Resource  Planning (ERP)  Usaha
Kecil  Menengah  (UKM),  dimana evaluasi  sistem  dilakukan  dengan melihat  dampak  yang  diberikan sistem terhadap pengguna dan perusahaan. 14 Jóźwiak & Szleszyński (2013) [26] Pelaksanaan evaluasi terhadap keamanan informasi dilakukan dengan  melihat  arsitektur  sistem perangkat lunak. 15 Kodarisman & Nugroho (2013) [27] Pengujian  kualitas  SI  Manajemen Kepegawaian dilakukan dengan menggunakan Model Human Organisation  Technology HOT-Fit, dimana  diukur  beberapa  elemen, yaitu:  system  quality,  information quality,  dan  service  quality  yang berpengaruh terhadap system use dan user  satisfaction ,  serta  pengaruhnya net benefit pada perusahaan.
16 Rauniar  et  al., Survei dilakukan untuk
No Penulis Penelitian (2013) [28] mengumpulkan data pada e- commerce , dimana mengadopsi Menggunakan  DeLone  dan  McLean (2003, 2004). 17 Liu (2014) [29] Melakukan perbaikan terhadap model  DEA  untuk  evaluasi  yang komprehensif terhadap sebuah sistem informasi. 18 Advistasari  et al.,(2015) [30] Faktor  kualitas  sistem,  kualitas informasi  dan  kualitas  pelayanan pada sebuah rumah sakit di evaluasi. 19 Supriyatna (2015) [31]
Evaluasi  dilakukan  untuk  melihat kekuatan  dan  kelemahan  dari  SI Perpustakaan  dengan  menggunakan PIECES Framework . 20 Wahyuni & Maita  (2015) [32] Evaluasi  terhadap  SI  Manajemen Rumah  Sakit  dengan  menggunakan metode The  Unified  Theory  of
Acceptance  and  Use  Of  Technology (UTAUT).  Wawancara  dilakukan untk melaksanakan evaluasi tersebut.
21 Shrafat  et  al., (2016) [33] Bahwa  evaluasi  sepanjang  siklus hidup sistem diperlukan. 22 Laksamana  et al., (2018) [34] Faktor alokasi estimasi biaya, waktu, dan  sumber  daya  manusia  menjadi elemen  utama  dalam  pengembangan Sistem  Informasi  Pengelolaan  Arsip Surat. 23 Marlina  et  al.,
(2018) [35]
Evaluasi  tingkat  kegunaan  sistem dilakukan  pada  SI  pembayaran elektronik  di  Universitas.  Metode pengembangan perangkat lunak yang diadaptasi  dari  Rasional  Model Proses Terpadu (RUP). 24 Puspitasari  et al., (2018) [36] Evaluasi  terhadap  SI  dosen  dengan melihat karakteristik pengguna,
system  quality,  top  management  & IT  support menggunakan  analisis statistik deskriptif. 25 Atmaja & Azis (2019) [37] Evaluasi pembelajaran di Universitas di control melalui Sistem
Penjaminan  Mutu  Internal  (SPMI) yang  dikembangkan  dengan Rapid
Application Development (RAD).
26 Pamungkas  & Saifullah (2019) [38] Mengukur  kualitas  website  dengan metode  Webqual_4.0  dengan  focus pada  kualitas  informasi,  kualitas kegunaan,  layanan  interaksi  dan kualitas secara keseluruhan.
27 Ilmi  et  al., (2019) [39] Implementasi  sistem  e-learning  di sebuah  Universitas  digunaka  untuk mendudkung proses belajar mengajar,  upaya  perbaikan  perlu dilakukan, metode Technology
Acceptance  Model (TAM)  adalah salah  satu  metode  yang  dapat digunakan.
28 Rahmat  et  al.,
(2019) [40]
Penerapan  sistem e-learning perlu selalu  ditinjau  agar  keberhasilan sistem tersebut berdapak pada kualitas pembelajaran, dengan model tinjauan  dilakukan  DeLone  dan McLean.
No Penulis Penelitian 29 Tujni & Syakti  (2019) [41] Teknik  Usability  dilakukan  untuk mengukur persepsi pengguna terhadap  sebuah  layanan  IT  pada sistem akademik Universitas. 30 Longpradit  et al., (2019) [42] Melihat  efektifitas  penjaminan  mutu Universitas, dilakukan dengan metode kuantitatif
melalui penyebaran kuesioner.
Berdasarkan hasil pada Tabel 2, maka dapat dijelaskan bahwa  kegiatan  evaluasi  terhadap  sistem  informasi  tentu saja  seharusnya  dilakukan  pada  sepanjang  siklus  hidup pengembangan  sistem  [33].  Evaluasi  sistem  informasi sendiri  pada  dasarnya  sangat  luas,  tergantung  tujuannya dan jenis sistem informasi yang akan dievaluasi, misalnya evaluasi  dilakukan  untuk  tujuan  keamanan  [24,  15] dimana  keduanya  menjelaskan  bahwa  faktor  suvivablity menjadi  penting.  Berbagai  metode  untuk  melakukan evaluasi  juga  digunakan,  metode  yang  dipilih  tentunya kembali pada tujuan evaluasi itu sendiri. Beberapa metode misalnya  COBIT  [23,  22];  Hot-Fit  [27];  SMART  dan DEA  [21,  29];  PIECES Framework [31];  UTAUT  [32], TAM  [39];  DeLone  dan  McLean  [40,  28];  AHP  [17]; Teknik Usability [41];  Pendekatan utility  system [20]. Sementara  kriteria-kriteria  dibangun  untuk  misalnya mengukur  persepsi,  keefektifan,  fungsi,  dan  benefit dilakukan  oleh  beberapa  peneliti  berikut  [13,  14,  16,  18, 19, 34, 37, 30].

## IV. HASIL
Setelah  melakukan  beberapa  tahapan  penelitian  yang telah  dijelaskan  sebelumnya  pada  bagian-bagian  seperti pendahuluan,  tinjauan  literatur,  metodologi  penelitian, maka  didapatkan  beberapa  hasil.  Pada  Bagian  Hasil  ini dijelaskan dengan membahas pertama adalah proses bisnis universitas;  instrumen  pengumpulan  data;  sintesa  model evaluasi sistem informasi.

## A. Proses Bisnis Universitas
Secara  umum  sistem  pendidikan  tinggi  di  Indonesia memiliki konstruksi, dimana terdiri dari pilar pendidikan, penelitian,  dan  pengabdian  kepada  masyarakat.  Juga didukung pilar lainnya, yang menjeaskan standar nasional pendidikan,  yang  diatur  dalam  peraturan  perundang- undangan.
Berdasarkan  literatur  yang  dikumpulkan  bahwa terdapat  tiga  hal  utama  dalam  bisnis  proses  universitas, yaitu  pendidikan,  penelitian,  dan  pengabdian  kepada masyarakat.  Dari  9  standar  yang  telah  disebutkan sebelumnya, maka terdapat tiga unsur yang sesuai dengan tridharma  perguruan  tinggi.  Unsur  lain  diluar  3  unsur tersebut  kemudian  disebut  sebagai  unsur  manajemen seperti  layanan,  keuangan,  tata  pamong  dan  lain sebagainya.  Kemudian,  dukungan  teknologi  menjadi komponen lainnya yang diperlukan. Ketiga komponen itu diilustrasikan dalam Gambar 2. Teknologi informasi disini
menjadi  penghubung  dalam  mengintergrasikan  antar komponen dalam Universitas.

## Gambar. 1  Relasi komponen utama universitas
Ketiga  komponen  diatas  perlu  diturunkan  menjadi komponen  yang  lebih  detail.  Pada  penjelasan  di  awal, disampaikan  bahwa  terdapat  9  standar  akreditasi perguruan  tinggi,  dimana  standar  tersebut  juga  mewakili semua unsur atau standar yang dijelaskan dalam SN Dikti,
Gambar. 3 Gambaran umum kebutuhan universitas
seperti  yang  dijelaskan  pada  Gambar  3.  Kesembilan standar tersebut adalah visi, misi, tujuan, dan sasaran; tata pamong,  manajemen,  dan  kerjasama;  mahasiswa;  sumber daya  manusia;  pengajaran  dan  pembelajaran;  keuangan, aset, dan fasilitas; penelitian; pelayanan umum; luaran dan capaian. Standar-standar tersebut kemudian perlu dianalisis,  untuk  lebih  dirincikan  lagi  sehingga  dapat terlihat  kebutuhan  sistem  informasinya.  Masing-masing komponen tersebut perlu didetailkan berdasarkan indikator (Peraturan  BAN-PT No. 5 tahun 2019)  masing- masing  standar,  agar  kemudian  sistem  yang  dihasilkan mewakili  kebutuhan  yang  ada,  contohnya  pada  stadar sumber daya manusia dijelaskan beberapa indikator terkait sistem  perekrutan  (menjelaskan  kecukupan  Dosen  Tetap Program  Studi  (DTPS);  profil  dosen;  kinerja  dosen;  dan tenaga kependidikan (Gambar 4).
Gambar. 4 Identifikasi kebutuhan universitas berdasarkan indikator pada standar borang akreditasi
Setelah  masing-masing  standar  tersebut  dirincikan maka dapat diketahui kebutuhan sistem informasi masing- masing  standar,  sistem  informasi  yang  dihasilkan  dapat berupa  satu  buah  sistem  informasi  untuk  masing-masing standar  atau  lebih  dari  satu,  ataupun  menghasilkan  dua standar  menjadi  satu.  Pada  standar  Pendidikan  misalnya dapat  menghasilkan  atau  sebuah  sistem  informasi akademik  yang  membahas  tentang  mulai  dari registrasi matakuliah,  bimbingan  akademi,  penjadwalan,  proses belajar  mengajar,  pengelolaan  kelas,  evaluasi  belajar, penilaian, monitoring proses belajar mengajar, kepuasan mahasiswa ,  dan  lain  sebagainya.  Sistem  informasi akademik  ini  dapat  terdiri  dari  berbagai  jenis  aplikasi contohnya  presensi  dan e-learning .  Sebagai  catatan,  jika evaluasi  sebuah  sistem  informasi  telah  dilakukan  secara rutin  dan  terdokumentasi  maka  tahapan  diatas  menjadi tidak  diperlukan,  namun  jika  hal  ini  belum  rutin  atau belum  pernah  dilakukan,  sementara  jumlah  sistem informasi  yang  ada  di  Univeritas  telah  banyak  maka tahapan  ini  akan  sangat  membantu.  Perlu  disampaikan bahwa  sistem  informasi  berbeda  dengan  aplikasi.  Pada penelitian  ini  diberikan  contoh  proses  klasifikasi  sistem berdasarkan proses bisnis sebuah universitas (Gambar 5). Gambar  tersebut  tentu  saja  merupakan  kesimpulan  dari semua  parameter  yang  telah  dijelaskan  sebelumnya,  baik pada  tinjauan  literatur  maupun  analisis  yang  telah dilakukan.
Gambar. 5 Klasifikasi objek dalam universitas berdasarkan proses bisnis

## B. Instrumen Pengumpulan Data
Secara  umum,  setelah  dilakukan  identifikasi  terhadap proses  bisnis  universitas,  maka  langkah  selanjutnya  yaitu perlu  dilakukan  pembuatan  instrumen  untuk  melakukan pengumpulan  data  ( Data  Collection )  dengan  beberapa pendekatan seperti analisis pada sistem informasi berbasis komputer  yang  telah  digunakan  oleh  pengguna  dari catatan  penggunaan  ( log  of  system ).  Pada  langkah  ini diidentifikasi  satu  persatu  baik  sistem  informasi  maupun aplikasi  yang  digunakan.  Dasar  melakukan  identifikasi tersebut  adalah  dari  standar  yang  telah  ditetapkan  yaitu seperti yang dijelaskan pada Gambar 4 dan 5. Pelaksanaan
evaluasi  sistem  dengan  aktivitas  mulai  dari  pengecekan log  of  system ;  survei  dan  wawancara  diperluakan  agar penilaian  menjadi  komprehensif.  Metode  yang  digunakan dalam  menbangun  instrumen  untuk  proses  pengumpulan data  pada  penelitian  ini  menggunakan  pendekatan  atau menilai  5  (lima)  kriteria  yaitu  (1) authority ,  adalah kewenangan,  dimana  kriteria  ini  ditanyakan  untuk mengetahui  siapa  yang  membangun,  bertanggung  jawab atas  konten  intelektual,  pemberi  informasi,  kontak,  dan unit sistem; (2) accuracy/quality , untuk mengukur kualitas dari  sistem  yang  dihasilkan  meliputi  pertanyaan  terkait informasi  yang  diberikan,  ide  sistem  dibangun,  dapat diverifikasi,  cek  sumber  daya  sistem,  dan  tampilan;  (3) objectivity ,  kriteria  ini  ditanyakan  dalam  rangka  melihat objetifitas  dibangunnya  sistem  mulai  dari  penggunaan data  dan  informasi  yang  akan  dihasilkan  nantinya  serta termasuk  didalamnya  kejelasan  data  dan  informasi;  (4) currency ,  adalah  kriteria  yang  terkait  dengan  waktu, misalnya  ketepatan  waktu  informasi  akan  memengaruhi kegunaannya;  (5) coverage ,  kriteria  ini  terkait  cakupan atau area dari sistem yang dibangun [43, 44].
Berdasarkan kriteria tersebut maka kemudian dibangun  tiga  buah  instrumen,  dimana  pertanyaannya sebagai  berikut  ditujukan  untuk  pengguna,  pengembang, dan  penanggung  jawab  (Tabel  3,  4,  dan  5).  Pertanyaan tersebut  dapat  digunakan  untuk  kegiatan log  of  system , survei  dan  wawancara.  Namun  pertanyaan-pertanyaan tersebut  harus  disesuaikan  dengan  kebutuhan  pengukuran yang  akan  dilakukan.  Aktivitas log  of  system tentu  saja dilakukan  terlebih  dahulu,  baru  diikuti  survei  dan wawancara,  sehingga  aktivitas  survei  dan  wawancara seharusnya disesuaikan dengan hasil yang didapat dengan dikombinasi  kebutuhan  setiap  aktivitasnya.  Pertanyaan- pertanyaan yang disusun pada Tabel 3, 4, dan 5 tentu saja perlu  disesuaikan  dengan  kebutuhan.  Tabel-tabel  tersebut adalah contoh yang dapat digunakan dengan penyesuaian.
TABEL IIIII I NSTRUMEN P ERTANYAAN UNTUK S URVEI DAN W AWANCARA
(P ENGGUNA )
No Pertanyaan Authority
1 Aplikasi/Sistem yang Saudara sedang Evaluasi terkait dengan Bidang/kegiatan?
2 Apa peran Saudara pada aplikasi tersebut?

## Accuracy / Quality
1 Pernahkah Saudara menemukan informasi yang tidak valid dari sistem tersebut?
2 Pernahkan  Saudara  mengalami  kendala  dalam penggunaan sistem?
3 Apakah  terdapat  kontak  person  jika  Saudara mengalami kendala terkait sistem?
4 Apakah Kontak Person tersebut dapat dihubungi?
5 Kontak  Person  yang  Saudara  maksud  dapat dihubungi melalui?
6 Bagaimana respon yang diberikan oleh kontak person tersebut?
7 Apakah  pernah  mendapati  fitur/menu/link  dalam sistem/aplikasi tidak berfungsi?
Objectivity
1 Apakah  informasi  yang  disajikan  dapat  mendukung Saudara dalam pengambilan keputusan?
2 Apakah  Saudara  memerlukan  informasi  lain  yang saat ini masih belum tersedia didalam sistem?
3 Jika  jawaban  pertanyaan  sebelumnya  "Ya",  sebutkan informasi yang Saudara butuhkan
Coverage
1 Menurut  saudara  apakah  Informasi  yang  diberikan dalam sistem/aplikasi sudah sesuai dengan kebutuhan Saudara?
2 Apakah sistem/aplikasi mendukung kebutuhan
Saudara
3 Seberapa  rinci  informasi  yang  Saudara  dapat  dalam sistem/aplikasi
Currency 1 Seberapa sering Saudara menggunakan sistem/aplikasi tersebut
2 Apakah  sistem  memberikan/menyajikan  informasi terbaru?
3 Jika  pertanyaan  sebelumnya  Saudara  menjawab "tidak",  jelaskan  frekuensi  keterbaruan  informasi tersebut (cth: 1 bulan sekali, dll)
4 Apakah sistem/aplikasi mudah untuk digunakan
Others 1 Silahkan Saudara menyampaikan
masukan/saran/kritik  atas  sistem  yang  sedang Saudara evaluasi
2 Jika dibuat sistem baru/atau dimodifikasi sistem yang lama, apa yang saudara harapkan
TABEL IVV I NSTRUMEN P ERTANYAAN UNTUK S URVEI DAN W AWANCARA
(P ENGEMBANG ) No Pertanyaan Authority 1 Aplikasi/Sistem yang Saudara sedang Evaluasi terkait dengan Bidang/kegiatan
2 Apakah Saudara berstatus pegawai tetap pada instansi yang saat ini sedang mengevaluasi sistem informasinya?
3 Jika  Jawaban  No.  2  "Ya",  Sebutkan  Unit  tempat Saudara di tugaskan
4 Apakah  Saudara  masih  melakukan  komunikasi dengan Penanggung Jawab Sistem Accuracy / Quality
1 Apakah  Saudara  memberikan  training  sebelum sistem/aplikasi digunakan
2 Apakah  Saudara  memberikan  garansi  layanan  setelah sistem diserahkan kepada penanggung jawab
3 Jika  jawaban  No.  2  di  jawab  "Ya",  Berapa  lama garansi yang diberikan
4 Apakah  Saudara  membuat  petunjuk  penggunaan sistem
5 Apakah Saudara membuat dokumen spesifikasi sistem
6 Sejauh mana proses perawatan yang dilakukan
7 Menurut Saudara, apakah Infrastruktur (Misal. Server, Koneksi  internet,  dll)  dari  sistem  yang  saudara kembangkan telah memadai
8 Jika  Saudara  ingin  memberikan  masukan  terkait  soal no 7, jelaskan
Objectivity
1 Apakah  Saudara  memiliki  kontrak  kerja  dalam membangun sistem/aplikasi
2 Seberapa  sering  Saudara  melakukan  proses  diskusi dengan Penanggung Jawab sistem
3 Apakah penanggung jawab sistem mampu menjelaskan kebutuhannya
4 Apakah dilakukan uji coba sistem sebelum digunakan

## Currency
1 Apakah  Saudara  memiliki  standar  pengujian  sistem sebelum diserahkan kepada konsumen atau unit terkait
2 Apakah  Saudara  pernah  diminta  melakukan  proses perawatan di luar kontrak kerja
Coverage
1 Apakah  Saudara  pernah  diminta  untuk  menambah fitur/fungsi di luar kontrak kerja
2 Jika  jawaban  pertanyaan  sebelumnya  "Ya",  sebutkan fitur apa saja yang diminta
Lainnya 1 Silahkan Saudara menyampaikan
masukan/saran/kritik atas sistem yang sedang Saudara evaluasi
TABEL V
I NSTRUMEN P ERTANYAAN UNTUK S URVEI DAN W AWANCARA (P ENANGGUNG J AWAB ) No Pertanyaan Authority 1 Aplikasi/Sistem  yang Saudara sedang Evaluasi terkait dengan Bidang/kegiatan 2 Apakah Saudara memerintahkan pembuatan sistem/Aplikasi tersebut 3 Jika Jawaban No. 2 "Tidak", siapa yang memerintahkan pembuatan aplikasi/sistem
4 Apakah Saudara memiliki kontrak pembuatan sistem
5 Apakah  pembuat  sistem  dapat  dihubungi  untuk layanan perawatan sistem
Accuracy / Quality
1 Apakah  Sistem  yang  dibangun  telah  sesuai  dengan kebutuhan
2 Apakah Saudara mengetahui prosedur untuk mendapatkan  dukungan  layanan  (data,  hosting, domain,  dll)  dari    unit  layanana  TIK  terhadap sistem/aplikasi yang dibangun
3 Jika  pertanyaan  No  2  dijawab  "Ya",  apakah  saudara puas dengan layanan tersebut
4 Jika  Jawaban  Saudara  "Tidak  Puas"  pada  soal  no.  3, jelaskan
5 Menurut Saudara, apakah Infrastruktur (Misal. Server, Koneksi internet, dll ) dari sistem telah memadai
6 Jika  Saudara  ingin  memberikan  masukan  terkait  soal no 5, jelaskan
Objectivity
1 Apakah pada saat membuat sistem Saudara dilibatkan sebagai narasumber
2 Jika Saudara memiliki jawaban lain terkait soal no. 1, jelaskan
Currency
1 Apakah  Saudara  melakukan  pengontrolan  terhadap
jalannya pembuatan sistem/aplikasi
2 Apakah  ada  alokasi  dana  khusus  untuk  membangun sistem/aplikasi
3 Apakah  ada  alokasi  dana  khusus  untuk  merawat sistem yang telah dibuat Coverage
1 Apakah  seluruh  sistem/aplikasi  yang  sudah  dibangun telah didaftarkan pada Unit Penanggung Jawab TIK di instansi Saudara?
2 Apakah Saudara menerima buku petunjuk penggunaan aplikasi/sistem?
3 Apakah  Saudara  menerima  dokumen  spesifikasi sistem?
Lainnya
1 Silahkan Saudara menyampaikan masukan/saran/kritik atas sistem yang sedang dievaluasi?
2 Jika  dibuat  sistem  baru/atau  dimodifikasi  sistem  yang lama, apa yang saudara harapkan?

## C. Sintesa Model Evaluasi Sistem informasi
Model  evaluasi  sistem  informasi  dibangun  dengan mengintergrasikan  atau  menggabungkan  hasil  yang  telah didapat  sebelumnya.  Secara  umum  langkah-langkah membangun sistem dapat diuraikan sebagai berikut:
1) Identifikasi  kebutuhan  sistem  informasi  yang didapat  dari  analisis  pada  proses  bisnis  universitas, dijelaskan  pada  Tabel  6.  Isi  sistem  informasi  maupun aplikasi tentunya bersifat dapat disesuaikan.
TABEL VI I DENTIFIKASI A WAL S ISTEM I NFORMASI PADA S EBUAH P ROSES B ISNIS N o Kategori SI Sub Kategori SI Nama Aplikasi 1 Pendidikan Kegiatan Belajar Mengajar E-learning; Sistem  Informasi Akademik; Sistem Presensi Monitoring  dan Evaluasi Aplikasi Evaluasi Pembelajaran Ujian E-learning; Sitem  Informasi Akademik Penilaian E-learning; Sistem  Informasi Akademik; Presensi Penjadwalan Sitem  Informasi Akademi 2 Penelitian dan PKM Pengajuan proposal Sistem  Informasi Manajemen Penelitian Review Pelaksanaan Monitoring Pelaporan Sistem  Informasi Pengelolaan Penelitian 3 Kemahasis Penerimaan - Sistem  Informasi
N o Kategori SI Sub Kategori SI Nama Aplikasi waan Mahasiswa Penerimaan Mahasiswa baru Kegiatan Belajar Mahasiswa - E-learning Beasiswa - Sistem  Informasi Beasiswa Ekstrakurikuler - Sistem  Informasi Pemeringkatan Mahasiswa Monitoring & Evaluasi - E-learning - Survey  kepuasan mahasiswa terhadap dosen - Survey  kepuasan mahasiswa terhadap  fasilitas kampus Lulus Sistem  informasi akademik Alumni - Sistem  informasi alumni - Survey Pengguna lulusan 4 Tata pamong, manajemen, dan kerjasama Perencanaan Administrasi Pengembangan Kontrol Dokumentasi Kerjasama 5 SDM Kepegawaian Sistem rekrutmen Penilaian kinerja 6 Keuangan Sistem  Informasi Keuangan 7 Pelayanan Umum Perpustakaan Sistem Perpustakaan
2) Melaksanakan  proses  analisis  masing-masing sistem  informasi  yang  telah  diidentifikasi  sebelumnya dengan  metode  AAOCC.  Namun  sebelum  melakukan pengecekan  dengan  metode  tersebut  dilakukan  analisis awal berdasarkan dokumen yang dimiliki oleh universitas. Dokumen  tersebut  antara  lain,  laporan  borang  akreditasi, renstra,  dan  lainny a .  Pada  dokumen  tersebut  pastinya menjelaskan informasi-informasi penting terkait 9 standar yang  telah  disebutkan  sebelumnya.  Informasi  dari dokumen-dokumen  penting  akan  dituangkan  dengan menggunakan class  diagram agar  diketahui  objek-objek penting  yang  terlibat  dalam  untiversitas,  bagaiman keterhubungan  antara  satu  objek  dengan  objek  lainnya, serta  bagaiman  masing-masing  atribut  dikendalikan  atau berjalan  dalam  universitas,  dalam  bentuk  sistem informasi.  Secara  rinci  prosesnya  akan  dijelaskan kemudian.  Setelah  mendapatkan  hasil  dari  investigasi awal  terhadap  dokumen  yang  dimiliki,  kemudian  proses analisis  dilanjutkan  dengan  tiga  jenis  aktivitas  analisis,
yaitu  Pertama  dengan  meninjau  aplikasi  atau  sistem informasi  yang  dapat  diakses,  kemudian  dilakukan pencatatan dan penilaian terhadap sistem tersebut. Kedua, dengan  melakukan  survei  ke  pengguna  ( user biasa, operator,  dan  admin),  dan  penanggung  jawab  sistem,  dan developer  sistem.  Ketiga,  dengan  melakukan  wawancara, berdasarkan  akumulasi  data  yang  dimiliki  dari  ketiga tahapan yang telah dilewati sebelumnya.
3) Menggabungkan  hasil  evaluasi,  sehingga  dapat memberikan rekomendasi  sistem  informasi .  Rekomendasi yang  diberikan  sesuai  dengan  metode  evaluasi  yang digunakan.  Sebagai  contoh,  dalam  penelitian  ini menggunakan  pendekatan authority , Accuracy/Quality, Objectivity, Currency , dan Coverage (AAOCC).
Berdasarkan  investigasi  awal  yang  dilakukan  dengan melakukan  pengecekan  pada  dokumen  universitas,  maka dapat digambarkan kebutuhan sistem informasi berdasarkan  level  manajemennya,  seperti  diilustrasikan pada  Gambar  6.  Gambaran  level  dan  fungsi  sistem berdasarkan  piramida  manajemen  sebaiknya  dilakukan diawal  perencanaan  pembuatan  sistem  informasi,  namun jika  keadaan  yang  kurang  ideal  terjadi  maka  proses evaluasi juga dapat merujuk pada pada piramida tersebut. Gambar  tersebut  menjelaskan  bahwa  kebutuhan  sistem informasi  dapat  dibedakan  berdasarkan  masing-masing fungsinya,  yaitu strategic,  management,  knowledge dan operational ,  dimana  masing-masing  level  tersebut  juga memiliki fungsi yang berbeda-beda sesuai dengan standar yang  telah  ditetapkan,  dalam  hal  ini  dibagi  menjadi, pendidikan;  penelitian  dan  PKM;  kemahasiswaan;  tata pamong,  manajemen,  dan  kerjasama;  keuangan;  layanan umum.
Gambar. 6 Kebutuhan sistem informasi pada universitas berdasarkan level manajemen (diadaptasi dari [45))
Secara  spesifik  dapat  dikatakan  kebutuhan  sistem informasi  masing-masing  universitas  tentu  berbeda- beda. Namun secara umum dapat ditarik benang merah yang sama untuk semua kebutuhan sistem informasi di Universitas. Perlu disampaikan bahwa pada penelitian ini, mengidentifikasi kebutuhan tersebut secara umum, berdasarkan  dokumen-dokumen  umum  pula.  Seperti yang  telah  dijelaskan  sebelumnya,  tahapan  analisis lanjutan  kemudian  dilakukan  dengan  menggunakan class  diagram,  agar  keterkaitan  sistem  terlihat  juga terlihat (Gambar 7 dan 8). Pada gambar 7 menunjukan objek-objek  utama  yang  saling  terkait  pada  sebuah sistem di universitas. Sementara Gambar 8 menunjukkan  objek-objek  yang  telah  diturunkan  dari objek utama.
Gambar. 7 Class diagram sistem universitas
Gambar. 8 Detail class diagram sistem universitas

## V. K ESIMPULAN
Evaluasi sistem informasi adalah sebuah kegiatan rutin yang  sebaiknya  dilakukan  dalam  setiap  implementasi sistem  informasi  itu  sendiri.  Beberapa  metode  digunakan untuk  melakukan  proses  evaluasi  tersebut.  Tentu  saja metode  pengukuran  perlu  disesuaikan  dengan  tujuan daripada  evaluasi  itu  sendiri.  Pada  Universitas,  secara umum  dapat  merujuk  dari  dokumen  penting  seperti standar  akreditasi,  baik  dalam  membuat  sistem  informasi baru  maupun  mengevaluasi  sistem  yang  telah  di implementasikan. Evaluasi juga berfungsi dalam membuat keputusan  –  keputusan  strategis  terkait  peningkatan kualitas  sebuah  sistem  dalam  hal  ini  Universitas. Penelitian  ini  menghasilkan  instrumen  evaluasi  dengan pendekatan  AAOCC  yang  dapat  diadopsi,  tentu  saja penyesuaian-penyesuainan perlu dilakukan, baik mengubah  pendekatannya  maupun  kriteria  yang  diukur. Pola identifikasi proses bisnis juga dapat jadikan pedoman dalam kegiatan evaluasi. Terakhir, model yang dihasilkan menjelaskan  langkah  demi  langkah  kegiatan  evaluasi sistem  informasi  seperti  mengidentifikasi  kebutuhan sistem  informasi  yang  didapat  dari  analisis  pada  proses bisnis  universitas;  melaksanakan  proses  analisis  masing-
masing  sistem  informasi  yang  telah  diidentifikasi sebelumnya  dengan  metode  AAOCC;  menggabungkan hasil  evaluasi,  sehingga  dapat  memberikan  rekomendasi sistem informasi.

## R EFERENSI
[1] Sudijono,  A.  (1996) Pengantar  Evaluasi  Pendidikan .  Jakarta,  PT Raja Grafindo Persada.
[2] Dennis, A., Wixon., B. H. & Tegarden, D. (2012) System Analysis and design with UML , 4th edition, John Wiley and sons, Inc.
[3] Royce,  W.W.  (1970)  Managing  the  Development  of  Large Software  Systems:  Concepts  and  Techniques. Proceedings  of  the 9th International  Conference  on  Software  Engineering .  26,  328- 338.
[4] Boehm,  B.  (1988)  A  spiral  model  of  software  development  and enhancement. IEEE Computer , 61-72.
[5] Avison,  D.  &  Fitzgerald,  G.  (2002) Information  Systems Development 4th  Edition  by  David  Avison  (Author),  Guy Fitzgerald  (Author)  2002. ISBN-13: 978-0077114176.  4th Edition, Berkshire, UK , McGraw-Hill Education.
[6] Nickerson,  R.  C.  (2000) Business  and  Information  Systems , Addison Wesley (2nd Ed).
[7] Date, C. J. (2003) An Introduction to Database Systems , Addison Wesley (8th Ed).
[8] Kendall,  K.  &  Kendall,  J.  E.  (2013) Systems  Analysis  & Design , Prentice-Hall (9th Ed).
[9] Booch,  G.,  Jacobson,  I.  &  Rumbauh,  J.  (2005) Unified Modeling Language User Guide . 2nd Ed, Addison-Wesley Professional.
[10] Booch, G., Maksimchuk, R., Engle, M., Young, B., Conallen, J. & Houston,  K.  (2007) Object-Oriented  Analysis  and  Design  with Applications . Pearson Education, Inc.
[11] Cook,  D.  J.,  Mulrow,  C.  D.  &  Haynes,  R.  B.  (1997)  Systematic Reviews:  Synthesis  of  Best  Evidence  for  Clinical  Decision. Annals of Internal Medicine . 126 (5), 376-380.
[12] Tranfield,  D.,  Denyer,  D.  &  Smart,  P.  (2003)  Towards  a methodology  for  developing  evidence  -  informed  management knowledge  by  means  of  systematic  review. British  journal  of management . 14 (3), 207-222.
[13] Royle,  J.  A.,  Blythe,  J.,  Boblin-Cummings,  S.,  Deber,  R.  & Hayward, R. (2000) Evaluation of a system for providingninformation  resources  to  nurses. Health  Informatics Journal . 6, 100-109.
[14] Gemmell, M. & Pagano, R. (2003) A Post-Implementation evaluation of a student information system in thee UK Higher Education Sector . Electronic Journal of Information Evaluation . 6(2), 95 – 106.
[15] Jian, W., Hui-qiang, W. & Guo-sheng, Z. (2008) Formal modeling and  quantitative  evaluation  for  information  system  survivability based  on  PEPA. The  Journal  of  China  Universities  of  Posts  and Telecommunications. 15(2), (88 - 96).
[16] Yusof, M. M., Papazafeiropoulou, A., Paul, R. J. & Stergioulas, L. K.  (2008)  Investigating  evaluation  frameworks  for  health information systems. International journal of medical informatics. 77 (2008), 377–385.
[17] Abu-Sarhan, Z. (2011) Application of Analytic Hierarchy Process (AHP)  In  the  Evaluation  and  Selection  of an  Information  System Reengineering  Projects. International  Journal  of  Computer Science and Network Security .11(1), 172 – 177.
[18] Ammenwerth,  E.,  Rauchegger,  F.,  Ehlers,  F.,  Bernhard,  H.  & Schaubmayr, C. (2011) Effect of a nursing information system on the  quality  of  information  processing  in  nursing:  An  evaluation study  using  the  HIS-monitor  instrument. International  journal  of medical informatics . 80 (2011), 25 – 38.
[19] Chen,  C.  &  Chen,  J.  (2011)  Timeliness  Evaluation  of  Task- Oriented Networked Space-Based Information System. Journal of Systems Engineering and Electronics . 22(4), 621–627.
[20] Falahah  &  Rijayana,  I.  (2011)  Evaluasi  Implementasi  Sistem Informasi Dengan Pendekatan Utility System (Studi Kasus Sistem E-Campus  Universitas  Widyatama). Jurnal  Ilmiah  Kursor. 6  (2), 83-92.
[21] Olson, D.L. & Wu, D.D. (2011) Multiple Criteria Analysis for Evaluation of Information System Risk . Asia-Pacific Journal of Operational Research . Vol. 28(1), 25–39.
[22] Waluyan,  G.  &  Manuputty,  A.  D.  (2016)  Evaluasi  Kinerja  Tata Kelola  TI  Terhadap  Penerapan  Sistem  Informasi  Starclick Framework  COBIT  5  (Studi  Kasus:  PT.  Telekomunikasi Indonesia, Tbk Semarang). Teknosi . 02(03), 157-166.
[23] Fitrianah,  D.  &  Sucahyo,  Y,  G.  (2012)  Audit  Sistem Informasi/Teknologi  Informasi  Dengan  Kerangka  Kerja  Cobit Untuk  Evaluasi  Manajemen  Teknologi  Informasi. Jurnal  Sistem Informasi , 4(1), 37 – 46.
[24] Lejun,  Z.,  Lin,  G.,  Jianpei,  Z.  &  Jing,  Y  (2012 ) A  Novel Survivability  Evaluation  Model  Facing  Information  System . Chinese Journal of Electronics. 21(3), (435-438).
[25] Falgenti, K. & Pahlevi, S. M. (2013) Evaluasi Kesuksesan Sistem Informasi  ERP  pada  Usaha  Kecil  Menengah  Studi  Kasus: Implementasi  SAP  B1  di  PT.  CP. Jurnal  Manajemen  Teknologi . 12(2), 163 – 183.
[26] Jóźwiak,  I.  J.  &  Szleszyński,  A.  (2013)  The  Use  of  The Evaluation Method of Software System Architecture to Assess the Impacts on Information Security in Information and Communication Technology Systems. Journal  of  KONBiN 4(24), 59 – 70.
[27] Kodarisman, R. & Nugroho, E. (2013) Evaluasi Penerapan Sistem Informasi  Manajemen  Kepegawaian  (SIMPEG)  di  Pemerintah Kota Bogor. JNTETI , 2(2), 24 – 32.
[28] Rauniar, R., Horn, D., Rawski, G. & Yang, J. (2013) Performance evaluation  of  a  centralised  web-based  integrated  information system  across  the  supply  chain .  Int.  J.  Internet  and  Enterprise Management. 8(2), 166 – 194.
[29] Liu, J (2014) Research on information system construction of the evaluation System based on DEA model. Journal of Chemical and Pharmaceutical Research , 2014, 6(5): 683-686.
[30] Advistasari, Y. D., Lutfan. & Pudjaningsih, D. (2015)
[31] Evaluasi  Sistem  Informasi  Manajemen  Farmasi  Menggunakan D&M  Is  Success Model  Untuk Mendukung  Pengelolaan  Obat  Di Rsud  Kota  Semarang. Jurnal  Manajemen  dan  Pelayanan Farmasi . 5(4), 211- 216.
[32] Wahyuni,  V.  &  Maita,  I.  (2015)  Evaluasi  Sistem  Informasi Manajemen  Rumah  Sakit  (Simrs)  Menggunakan  Metode  Unified Theory  of  Acceptance  and  Use  of  Technology  (UTAUT). Jurnal Rekayasa  dan  Manajemen  Sistem  Informasi ,  1(1),  55-61. Supriyatna,  A.  2015.  Analisis  Dan  Evaluasi  Kepuasan  Pengguna Sistem  Informasi  Perpustakaan  Dengan  Menggunakan  Pieces Framework. Jurnal Pilar Nusa Mandiri. 11 (1), 43 – 52.
[33] Shrafat, F. D., Akhorshaideh, A. H. O., Abdallah, A.B., Al-Zu'bi, Z.M.F.  (2016)  Understanding  Formality  and  Informality  in Information  System  Pre-evaluation  (ISIE)  Process:  Examining Case Research from an Actor Network Theory  ANT Perspective . Journal of Management Research . 8(1), 77 – 106.
[34] Laksamana, F. P., Perdanakusuma, A. R. & Saputra, M. C. (2018) Evaluasi  Biaya  Pengembangan  Sistem  Informasi  Pengelolaan Arsip  Surat  (SIPAS)  Menggunakan  Function  Point  dan  Object Point  (Studi  Kasus:  PT  Sekawan  Media  Informatika). Jurnal Pengembangan  Teknologi  Informasi  dan  Ilmu  Komputer. 2(8), 2692-2701.
[35] Marlina,  L.,  Marzal,  J.  &  Mauladi.  (2018)  Rancang  Bangun  Dan Evaluasi  Sistem  Informasi  Pembayaran  Elektronik  Pada Universitas  Jambi. Jurnal  Sains  dan  Sistem  Informasi .  1(1),  5  – 12.
[36] Puspitasari,  A.  D.,  Mursityo,  Y.  T.  &  Saputra,  M.  C.  (2018) Evaluasi  Kualitas  Sistem  Informasi  Dosen  (SIADO)  Oleh  Dosen Universitas  Brawijaya  Dengan  Menggunakan  Technology Acceptance  Model  (TAM)  Termodifikasi. Jurnal  Pengembangan Teknologi Informasi dan Ilmu Komputer . 2(12), 7017-7025.
[37] Atmaja,  A.  P.  &  Azis,  A.  (2019)  Sistem  Informasi  Terintegrasi Evaluasi Kegiatan Mengajar Dosen Sebagai Implementasi Sistem Penjaminan Mutu Internal. Jurnal Matrix , 9(1), 1 – 6.
[38] Pamungkas,  R.  &  Saifullah.  (2019)  Evaluasi  Kualitas  Website Program  Studi  Sistem  Informasi  Universitas  PGRI  Madiun Menggunakan Webqual 4.0. Intensif , 3(1), P 22 – 31.
[39] Ilmi,  C.  R.,  Rachmadi,  A  &  Herlambang,  A.  D.  (2019)  Evaluasi Faktor  Penerimaan  Pengguna  Sistem  Informasi  E-Learning Universitas  Negeri  Surabaya  dengan  Menggunakan  Metode Technology  Acceptance  Model  (TAM). Jurnal  Pengembangan Teknologi Informasi dan Ilmu Komputer . 3(4), 3488-3497.
[40] Rahmat,  A.,  Seminar,  K.  B.  &  Suroso,  A.  I.  (2019)  Evaluasi Keberhasilan  E-Learning  Dalam  Perspektif  Sistem  Informasi (Studi  Kasus  Universitas  Terbuka). Jurnal  Aplikasi  Bisnis  dan Manajemen . 5(3), 373 – 384.
[41] Tujni, B. & Syakti, F. (2019) Implementasi Sistem Usability Scale Dalam  Evaluasi  Perspektif  Pengguna  Terhadap  Sistem  Informasi Akademik  Berbasis  Mobile. ILKOM  Jurnal  Ilmiah. 11(2),  2548- 7779.
[42] Longpradit,  P.,  Chansaengsee,  S.,  Niramitchainont,  P.  & Leksansern,  A.  (2019)  Evaluation  of  the  Effectiveness  of  AUN- QA-based  Course  Learning  Outcomes:  A  Case  Study  in  a Management  Information  System  Course  at  Mahidol  University. Veridian E-Journal, Silpakorn University . 12(5), 381 – 399.
[43] JHU  –  Johns  Hopkins  Univeriyty.  Evaluating  Information. https://guides.library.jhu.edu/evaluate/internet-resources . [Accessed05 July 2020].
[44] Verma,  M.  K.,  Kumar,  S.,  Abhishek,  K.  &  Singh,  M.  P.  2017 Automatization  of  AAOCC  to  Find  Trust  Score  of  Websites. Proceedings of the International Conference on Signal, Networks, Computing, and Systems, page 183 – 191.
[45] Maslow,  A.  H.  (1999)  Toward  a  Psychology  of  Being.  John Wiley.