2096 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E- ISSN 2503-2933
Evaluasi Keberhasilan F-Learn Menggunakan Human Organization Technology (HOT) Fit Model Pada Universitas Kristen Satya Wacana
1 Kezia Sharent Kodoati, 2 Kristoko Dwi Hartomo
12 Universitas Kristen Satya Wacana; Jl. Diponegoro No.52-60, Salatiga, Kec. Sidorejo, Kota Salatiga, Jawa Tengah, 50711, (0298) 321212 Program Studi Sistem Informasi, Fakultas Teknologi Informasi e-mail : 1 682018195@student.uksw.edu, 2 kristoko@uksw.edu

## Abstrak
Flexible  Learning  (F-Learn)  merupakan fasilitas  penunjang  media  pembelajaran  online yang  digunakan  untuk  mendukung  proses  perkuliahan  di  UKSW.  Tujuan  dari  penelitian  ini yaitu  untuk  mengevaluasi  tingkat  keberhasilan  dari  implementasi  F-Learn  dengan menggunakan  HOT  Fit  model  dan  melihat  faktor  mana  saja  yang  berpengaruh  signifikan antara  Human,  Organization,  Technology  dan  Net  Benefit.  Jenis  penelitian  dilakukan  dengan pendekatan kuantitatif, dan analisis data menggunakan SEM PLS dengan tools yang digunakan yaitu  SmartPLS  3.0  dalam  pengujian  validitas,  reliabilitas  dan  pengujian  hipotesis.  Data didapatkan  melalui  hasil  penyebaran  kuesioner  dan  wawancara  beberapa  dosen,  sehingga diketahui  bahwa  kepuasan  pengguna  pada  faktor  manusia  sangat  berpengaruh  terhadap manfaat  dari  F-Learn.  Hasil  yang  diperoleh  dari  pengujian  hipotesis  terdapat  12  hipotesis,  8 hipotesis  diterima  dan  4  hipotesis  ditolak.  Keberhasilan  dari  implementasi  sistem  dinyatakan sukses,  yang  mana  nilai  kebermanfaatan  sistem  pada  tingkat  70,8%    termasuk  pada  kategori kuat.
Kata kunci –Evaluasi Keberhasilan, F-Learn, HOT Fit, SEM PLS

## Abstract
Flexible  Learning  (F-Learn)  is an  online learning  media  support  facility  that  is  used  to support the lecture process at SWCU. The purpose of this study is to evaluate the success rate of F-Learn  implementation  using  the  HOT  Fit  model  and  see  which  factors  have  a  significant influence  between  Human,  Organization,  Technologicaland  Net  Benefit.  This  type  of  research was carried out with a quantitative approach, and data analysis using SEM PLS with the tools used, namely SmartPLS 3.0 in testing validity, reliability and hypothesis testing. The data was obtained  through  the  results  of  distributing  questionnaires  and  interviews  with  several lecturers,  so  that  it  is  known  that  user  satisfaction  on  human  factors  greatly  influences  the benefits  of  F-Learn.  The  results  obtained  from  hypothesis  testing  there  are  12  hypotheses,  8 accepted hypotheses and 4 rejected hypotheses. The success of the implementation of the system is  declared  a success,  where  the value  of the usefulness  of the  system at the  level  of  70.8%  is included in the strong category.
Keywords – Success Evaluation, F-Learn, HOT Fit, SEM PLS
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2097

## 1. PENDAHULUAN
Kemajuan teknologi dan meningkatnya penggunaan internet telah mempengaruhi semua aspek kehidupan kita dan tidak terkecuali pendidikan. Ruang kelas tradisional tidak lagi dibatasi oleh  metode  pengajaran  konvensional  dan  kemajuan  belajar.  Teknologi  mengamanatkan lembaga pendidikan untuk mengubah metode pengajaran. Sejalan dengan itu, beberapa institusi mengintegrasikan  teknologi  ke  kelas  fisik  untuk  memperkuat  pengajaran  dan  memperlancar komunikasi  antara  dosen  dan  mahasiswa  [1].  Kemajuan  lebih  lanjut  dalam  teknologi mengantarkan  serangkaian  tantangan  baru. E - learning disebut  juga electronic  learning adalah pendidikan  melalui  internet  yang  kemudian  berkembang  dengan  makna  tertentu  seperti pembelajaran online dan  pembelajaran  virtual  [2].  Namun,  sekarang e - learning diartikan sebagai pembelajaran melalui internet [3].
Universitas  Kristen  Satya  Wacana  (UKSW)  sebagai  salah  satu  institusi  pendidikan  di Indonesia yang telah menerapkan e-learning dalam proses pembelajarannya. Untuk menunjang pembelajaran  online,  maka  Biro  Teknologi  dan  Sistem  Informasi  (BTSI)  UKSW mengembangkan e-learning menjadi Flexible  Learning (F-Learn)  sebagai  penunjang pembelajaran  online.  F-Learn  adalah  sistem  informasi  yang  memfasilitasi e-learning dengan mendukung  kegiatan  belajar  mengajar.  Ini  adalah  program  pendidikan  berbasis  internet terstruktur yang mengatur silabus dan mengawasi tugas-tugas pembelajaran [4]. Pada sistem ini dosen  bisa  memantau  aktivitas  belajar  dan  kinerja  mahasiswa  dengan  melihat  aktivitas  sistem dan  menunjukkan  statistik  dan  strategi.  Selain  itu,  F-Learn  juga  menghubungkan  mahasiswa dengan  materi  pembelajaran  secara  terstruktur  melalui  perangkat  lunak  dan  program pembelajaran  mahasiswa  berbasis  web.  Dengan  F-Learn,  mahasiswa  dapat  mengakses rangkaian  lengkap  sumber  daya online untuk  melengkapi  materi  kelas  yang  mengarah  pada peningkatan  kinerja.  Karena  pentingnya  sistem  F-Learn,  maka  sistem  F-Learn  harus dikembangkan.  Sebagai  dasar  dan  bahan  pengembangan,  perlu  dilakukan  evaluasi  terhadap  F- Learn UKSW.
Penelitian  yang  dijadikan  sebagai  dasar  dan  pedoman  dalam  melaksanakan  sebuah penelitian  yaitu  Evaluasi Penerapan SIMRS Menggunakan Metode  HOT-Fit  Di RSUD Dr. Soedirman Kebumen  oleh  Prih  Diantono  Abda’u,  Wing  Wahyu  Winarno,  dan  Henderi  pada tahun 2018 [5]. Penelitian ini berfokus untuk menunjukkan bahwa keberhasilan penerapan pada studi kasus tersebut ditentukan oleh aspek Teknologi, Manusia dan Organisasi dan dilihat dari variabel  kepuasan  pengguna  memiliki  pengaruh  positif  terhadap  manfaat  dengan  mengganti variabel  lingkungan  organisasi  dengan  kondisi  fasilitas.  Berdasarkan  hasil  penelitian  yang dilakukan  dengan  menggunakan  SmartPLS,  menunjukkan  bahwa  kepuasan  pengguna merupakan variabel yang memberikan pengaruh paling besar terhadap manfaat yang didapatkan dari  SIMRS.  Penelitian  lainnya  juga  dilakukan  oleh  Yosi  Afandi  dan  Tri  Lestariningsih mengenai  Evaluasi  Keberhasilan  Implementasi  Gojek  Dengan  Metode  Hot  Fit  Model  pada tahun 2019 [6]. Hasil dari penelitian ini menyatakan bahwa kepuasan dari pengguna sebagai hal penting  dalam  menunjukkan  keberhasilan  implementasi  aplikasi  gojek,  dengan  memfokuskan variabel  kepuasan  pengguna  dimana  pengukuran  kepuasan  menggunakan  faktor  manusia, organisasi dan teknologi. Penelitian ketiga, yang berjudul “Evaluasi Keberhasilan Implementasi E-Learning dengan Metode HOT Fit Model” oleh Tri Lestariningsih, Budi Artono, Yosi Afandi pada tahun 2020 [7] yang  berfokus menunjukkan bahwa keberhasilan implementasi e-learning dimana setiap variabel saling berpengaruh terhadap manfaat yang diadopsi dari HOT Fit Model. Pada penelitian yang berjudul “F-Learn Utilization Analysis Using the Technology Acceptance Model  Approach  on  SWCU  FTI  Lecturers”  oleh  Valentino  Kevin  Sitanayah  Que  dan  Andeka Rocky Tanamaah tahun 2017. Yang mana pada penelitian ini menggunakan metode Technology Acceptance  Model (TAM)  untuk  menyelidiki  penerimaan  teknologi  pada  dosen  FTI  UKSW,
2098 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933
dengan  memiliki  2  variabel  yang  berbeda.  Hasil  dari  penelitian  ini  yaitu  ditemukan  bahwa dalam  menyelesaikan  pekerjaan  dari  segi  manfaatnya  dan  kemudahan,  para  dosen  dapat menerima sistem pembelajaran online F-Learn [8].  Ditinjau dari keempat penelitian yang telah dilakukan,  maka  dapat  diketahui  bahwa  pada  penelitian  pertama,  kedua  dan  ketiga  memiliki kesamaan  dalam  penggunaan  metode  yaitu  HOT  Fit  untuk  penerapan  sistemnya.  Berdasarkan penelitian  yang  disebutkan,  diketahui  bahwa  model  evaluasi  HOT  Fit  merupakan  model  yang memiliki semua komponen yang terdapat dalam kebutuhan evaluasi F-Learn.
W.DeLone  dan  E.McLean  mengembangkan  model  yang  dapat  digunakan  untuk mengevaluasi informasi kualitas sistem, yaitu “DeLone dan McLean IS Success Model (ISSM)” atau  model  D&M.  Menurut  Delone  dan  Mclean  ada  enam  dimensi  yang  menentukan  kualitas sistem  informasi,  yaitu system  quality , information  quality,  use,  user satisfaction,  individual impact , dan organizational impact . Pada tahun 2003, Delone dan McLean memperbaiki model tersebut  dengan  menambahkan service  quality (kualitas  layanan)  dan  mengganti individual impact dan organizational dengan net benefit [9]. Sementara itu, pada MIT90s adalah model fit organisasi  TI  yang  terkenal.  Kerangka  ini  menjelaskan  bahwa  keberhasilan  dalam  mengelola penyebaran teknologi informasi dalam organisasi bergantung pada keseimbangan enam faktor, yaitu: external  environment,  organization  strategy,  individuals  and  roles,  organization structure,  technology dan management  processes [10].  Pada  tahun  2006,  Yusof  dkk. Mengembangkan kerangka kerja yang menggabungkan konsep ISSM dan IT-Organizational Fit Model.  Menurut  Yosuf  dkk,  kerangka  evaluasi  sistem  informasi  kesehatan  harus dipertimbangkan manusia dan organisasi [11]. Selain itu, sistem informasi juga harus didukung dan  dilengkapi  dengan  teknologi.  HOT  Fit  memiliki  tiga  aspek  dan  dimensi  yang  berbeda  di setiap  aspeknya[12].  Dalam  aspek  teknologi,  ada  tiga  dimensi  yaitu:  kualitas  sistem,  kualitas informasi,  dan  kualitas  layanan.  Dalam  aspek  manusia,  ada  dua  dimensi,  yaitu:  penggunaan sistem,  dan  kepuasan  pengguna.  Dalam  aspek  organisasi  ada  dua  dimensi  yaitu:  struktur  dan lingkungan. Dimensi tersebut digunakan untuk mengukur kebermanfaatan sistem yang ada.
Model yang dapat diterapkan untuk evaluasi sistem yaitu Technology Acceptance Model (TAM), End User Computing (EUC) Satisfaction , Task Technology Fit (TTF), Unified Theory of Acceptance and Use of Technology (UTAUT), Human Organization Technology (HOT ) Fit Model [13].  Diantara  model-model  tersebut,  HOT  Fit  model  dianggap  paling  sesuai  dengan kondisi permasalahan yang ada di UKSW. HOT Fit model mengutamakan tiga komponen, yaitu komponen  manusia,  yang  mengevaluasi  sistem  dari  pengguna  sistem  dan  kepuasan  pengguna; komponen  organisasi  meliputi  kepemimpinan,  dukungan  dari  manajemen  puncak  dan  staf (struktur  organisasi),  serta  lingkungan  organisasi;  dan  komponen  teknologi  yang  terdiri  dari kualitas  sistem,  kualitas  informasi,  dan  kualitas  layanan  [14].  Komponen-komponen  ini dianalisis  pengaruhnya  terhadap  manfaat  bersih  atau  kegunaan  sistem.  Kelebihan  HOT  Fit Model  adalah  dapat  mengakomodasi  variabel  struktur  organisasi  dan  lingkungan  organisasi, dimana variabel tersebut tidak terdapat pada model lainnya [3] [15].
Permasalahan dalam penelitian ini adalah pengaruh faktor pengguna khususnya manusia, organisasi,  dan  teknologi  terhadap  pengembangan  F-Learn  di  Universitas  Kristen  Satya Wacana.  Sehingga  dari  hasil  tersebut  dapat  dijadikan  acuan  untuk  memperbaiki dan i menyempurnakan F-Learn UKSW serta mengembangkan potensi yang masih ada, menjadi lebih  baik  dan  dapat  mendukung  tujuan,  visi  dan  misi  kampus.  Penelitian  ini  berfokus  pada pengembangan dan evaluasi implementasi F-Learn secara keseluruhan, dimana evaluasi tingkat keberhasilannya  menggunakan  HOT  Fit  Model  dan  untuk  mengetahui  faktor  yang  paling berpengaruh  antara  komponen  manusia,  organisasi  dan  teknologi  terhadap  manfaat  bersih  F- Learn UKSW.
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2099

## 2. METODE PENELITIAN
Metode  penelitian  yang  digunakan  untuk  mengevaluasi  sistem  yaitu  HOT  Fit  Model untuk  menilai  keberhasilan  dari  penerapan  F-Learn  dengan  menggunakan  variabel  Kualitas Sistem  ( System  Quality ),  Kualitas  Informasi  ( Information  Quality ),  Kualitas  Layanan  ( Service Quality ),  Penggunaan  Sistem  ( System  Use ),  Kepuasan  Pengguna  ( User  Satisfaction ),  Struktur Organisasi  ( Organizational  Structure ),  Lingkungan  Organisasi  ( Environmental ),  dan Net Benefit . Pemodelan yang dijelaskan terdapat pada gambar 1.
Gambar 1. Pemodelan HOT Fit
a. Manusia (Human)
Komponen  manusia  sebagai  penyedia  dan  pengguna  informasi  merupakan  bagian yang  tidak  terpisahkan  dari  sistem  informasi.  Komponen  manusia  menilai  sistem informasi  dari  sisi  penggunaan  sistemnya (system  use ). System  use juga  berhubungan dengan  siapa  yang  menggunakan (who  use  it) ,  tingkat  penggunanya  ( level  of  user ), pengetahuan,  pelatihan,  harapan  dan  sikap  menerima (acceptance) atau  menolak ( resistance) sistem  (Yusof,  dkk,2018).  Kepuasan  pengguna  dapat  dikaitkan  dengan persepsi kegunaan dan sikap pengguna terhadap sistem informasi yang dipengaruhi oleh karakteristik pribadi.
b. Organisasi (Organization)
Komponen organisasi adalah struktur formal dan stabil yang membutuhkan sumber daya  dari  lingkungan  dan  memprosesnya  untuk  menghasilkan  keluaran (output) . Komponen  organisasi  menilai  sistem  dari  aspek  struktur  dan  lingkungan.  Struktur terdiri dari manajemen, komunikasi dan dukungan.
c. Teknologi (Technology)
Komponen  teknologi  menilai  sistem  informasi  dari  kualitas  sistem,  kualitas informasi, dan kualitas layanan.
d. Net benefit
Net  benefit ialah  keseimbangan  antara  dampak  positif  dan  negatif  dari  pengguna sistem informasi. Net benefit bisa diakses dengan menggunakan manfaat langsung, efek
2100 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933
pekerjaan,  efisiensi  dan  efektivitas,  mengurangi  tingkat  kesalahan,  mengendalikan pengeluaran  dan  biaya.  Semakin  positif  hasil  kepuasan  pengguna  maka  implementasi sistem informasi semakin berhasil.
Adapun  tahapan  pada  penelitian  ini  yaitu  menentukan  area  penelitian,  studi  literatur, desain  penelitian,  pengumpulan  data,  analisis  data  dan  penulisan.  Tahapan  penelitian ditunjukkan pada gambar 2.
Gambar 2. Tahapan Penelitian
Tahap  awal  dalam  melakukan  penelitian  adalah  menentukan  area  penelitian  yang difokuskan  pada Flexible  Learning (F-Learn)  UKSW.  Tahap  selanjutnya  adalah  pencarian literatur  dilakukan  dengan mencari artikel jurnal  yang  berkaitan  dengan  penelitian  untuk  lebih memperdalam  dan  mengembangkan  topik  yang  dibahas  dalam  penelitian  ini.  Hal  ini  juga diperkuat dengan penelitian yang berkaitan mengenai HOT Fit Model dengan mengidentifikasi faktor Manusia, Organisasi  dan Teknologi yang mempengaruhi manfaat ( net benefit ) F-Learn. Koherensi ketiga faktor tersebut dapat mempengaruhi keberhasilan suatu sistem.
Pendekatan  yang  digunakan  dalam  penelitian  ini  adalah  kuantitatif,  dikarenakan  data penelitian  berupa  angka  dan  analisis  menggunakan  statistik  dengan  sumber  data  primer  yang diperoleh dari penyebaran kuesioner. Desain penelitian dilakukan dengan menentukan hipotesis dan  sampel,  dan  teknik purposive  sampling untuk  mengetahui  sampel  mana  saja  yang  paling sesuai dan bermanfaat dalam mewakili suatu populasi (representatif).
Pengumpulan  data  yang  digunakan  adalah  wawancara  dengan  beberapa  dosen  yang menggunakan  F-Learn,  survei  dan  penyebaran  kuesioner  melalui Google  Form terhadap pengguna  sistem  informasi  sebagai  responden.  Penelitian  ini  menggunakan  skala Likert untuk mengukur respons subjek  ke  dalam  5  poin. Kategori  yang  digunakan  sebagai  jawaban  pada kuesioner memiliki skala penilaian sebagai berikut: “sangat setuju” diberi skor 5, “setuju” diberi skor 4, “netral” diberi skor 3, “tidak setuju” diberi skor 2, “sangat tidak setuju” diberi skor 1.
Metode  analisis  data  dalam  penelitian  ini  menggunakan Structural  Equation  Model- Partial  Least  Square (SEM-PLS)  dengan software SmartPLS  3.0  yang  dimulai  dari  analisis model  pengukuran (outer  model ),  analisis  model  struktural  ( inner  model ),  dan  pengujian hipotesis.  Model  pengukuran  digunakan  untuk  menguji  validitas  dan  reliabilitas  instrumen pengumpulan data responden, sedangkan model struktural digunakan untuk menguji kausalitas. Uji kausalitas digunakan untuk membandingkan data dari variabel apapun yang diperoleh dari respon pengguna.
Tabel 1. Variabel dan Indikator HOT-Fit Model VARIABEL INDIKATOR KODE Kualitas Sistem (KS) F-Learn bermanfaat dalam proses pembelajaran KS01 F-Learn mudah digunakan dan user friendly KS02 F-Learn memiliki tampilan yang sederhana sehingga tidak membingungkan KS03 F-Learn memiliki hak akses sehingga kerahasiaan data terjamin KS04
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2101
F-Learn jarang mengalami error KS05 Kualitas Informasi (KI) F-Learn menghasilkan informasi yang lengkap dan detail KI01 F-Learn menyimpan informasi pembelajaran/perkuliahan sesuai fungsinya KI02 Materi yang tersedia di F-Learn mudah di download KI03 F-Learn memberikan feedback kepada pengguna KI04 Informasi F-Learn dapat dipertanggungjawabkan KI05 Kualitas Layanan (KL) Adanya panduan penggunaan F-Learn KL01 Layanan dari penyedia sistem cepat jika dibutuhkan bantuan KL02 F-Learn bisa diakses dari manapun KL03 Pengoperasian F-Learn stabil dan lancar KL04 Penggunaan Sistem (PS) Pernah menggunakan F-Learn PS01 Pengguna dapat menerima F-Learn dengan baik PS02 Kesulitan dalam menggunakan F-Learn PS03 Pengguna punya keterampilan baik untuk menggunakan F-Learn PS04 Kepuasan Pengguna (KP) Fasilitas dan fitur-fitur yang ada pada F-Learn sudah sesuai dengan kebutuhan KP01 Sistem F-Learn memuaskan KP02 Tampilan F-Learn menarik KP03 Secara keseluruhan F-Learn sudah sesuai dengan harapan pengguna KP04 Pengguna puas dengan implementasi F-Learn KP05 Struktur Organisasi (SO) Pihak manajemen kampus menyediakan dukungan fasilitas infrastruktur untuk mendukung implementasi F- Learn SO01 F-Learn dapat digunakan sesuai dengan fungsi dan tugas organisasi SO02 F-Learn dapat membantu koordinasi antar unit dengan baik SO03 Pengimplementasian F-Learn telah direncanakan dengan baik oleh pihak manajemen SO04 Lingkungan Organisasi (LO) Penerapan F-Learn telah berlangsung lama LO01 Pihak manajemen menggunakan F-Learn untuk meningkatkan atmosfer pembelajaran LO02 Dorongan dari pihak manajemen terhadap penggunaan F-Learn baik LO03 Infrastruktur F-Learn dalam kondisi baik dan dapat dijalankan dengan baik LO04 Manajemen kampus menyediakan fasilitas terlaksananya F-Learn LO05 Net Benefit (NB) F-Learn dapat mendukung visi dan misi dari organisasi NB01 F-Learn dapat meningkatkan produktivitas kerja pengguna NB02 F-Learn membantu pencapaian tujuan dengan efektif NB03
2102 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933
F-Learn meningkatkan komunikasi antar pengguna NB04 F-Learn meningkatkan kinerja kampus NB05
Dalam penelitian ini terdapat dua belas hipotesis, dijelaskan sebagai berikut: H1: Ada  hubungan  yang  signifikan  antara  kualitas  sistem  dengan  penggunaan  sistem H2: Ada  hubungan  yang  signifikan  antara  kualitas  sistem  dengan  kepuasan  pengguna H3: Ada  hubungan  yang  signifikan  antara  kualitas  informasi  terhadap  penggunaan  sistem H4:  Ada  hubungan  yang  signifikan  antara  kualitas  informasi  terhadap  kepuasan  pengguna H5: Ada  hubungan  yang  signifikan  antara  kualitas  layanan  terhadap  penggunaan  sistem H6: Ada  hubungan  yang  signifikan  antara  kualitas  layanan  terhadap  kepuasan  pengguna H7: Ada hubungan yang signifikan antara kepuasan pengguna terhadap penggunaan sistem H8: Ada  hubungan  yang  signifikan  antara  penggunaan  sistem  dengan  Net  Benefit H9: Ada  hubungan  yang  signifikan  antara  kepuasan  pengguna  dengan  Net  Benefit H10:Ada hubungan yang signifikan antara struktur organisasi dengan lingkungan organisasi H11:Ada  hubungan  yang  signifikan  antara  struktur  organisasi  terhadap  Net  Benefit H12:Ada hubungan yang signifikan antara lingkungan organisasi terhadap Net Benefit

## 3. HASIL DAN PEMBAHASAN
Setelah melihat hasil respon dari responden terhadap penggunaan F-Learn, dan wawancara dengan  beberapa dosen  yang  mengatakan  bahwa  pada  awal  penggunaan  sistem  sering  ditemui ketidakstabilan  aplikasi  dan  masalah  keterbatasan  koneksi  internet  serta  dalam  peningkatan kinerja  kampus  seharusnya  bisa  meningkat  akan  tetapi  hingga  saat  ini  belum  dilakukan pengukuran  peningkatan  kinerja  pembelajaran  dikarenakan  dosen  belum  sepenuhnya menggunakan F-Learn. Dari data tersebut diketahui bahwa kebermanfaatan sistem dipengaruhi oleh kepuasan pengguna. Langkah selanjutnya adalah mengevaluasi model, pengujian dilakukan pada  aplikasi  SEM  PLS  dengan  pengolahan  data  menggunakan  SmartPls  3.0  dikarenakan penelitian  ini  mempunyai  sampel  yang  kecil.  Dalam  penelitian  ini  terdapat  dua  jenis  evaluasi yang  dilakukan  yaitu  evaluasi  model  pengukuran (outer  model )  dan  evaluasi  model  struktural (inner model) [16].
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2103
Gambar 3. Model Struktural
Gambar  2  menunjukkan  bahwa  evaluasi  keberhasilan  F-Learn  menggunakan  4  konstruk yaitu Human,  Organization,  Technology ,    dan Net  Benefit .  Pengukuran  konstruk  pada Human (Manusia) terdapat tiga variabel yaitu Kualitas Sistem (KS) menggunakan lima indikator yaitu KS01,  KS02,  KS03,  KS04,  dan  KS05,  Kualitas  Informasi  (KI)  menggunakan  lima  indikator yaitu KI01, KI02, KI03, KI04, dan KI05, Kualitas Layanan (KL) menggunakan empat indikator yaitu KL01, KL02, KL03, dan KL04. Konstruk Organization (Organisasi) terdapat dua variabel yaitu  Struktur  Organisasi  (SO)  menggunakan  empat  indikator  yaitu  SO01,  SO02,  SO03,  dan SO04,  Lingkungan  Organisasi  (LO)  menggunakan  lima  indikator  yaitu  LO01,  LO02,  LO03, LO04,  dan  LO05.  Konstruk Technology (Teknologi)  terdapat  dua  variabel  yaitu  Penggunaan Sistem  (PS)  menggunakan  empat  indikator  yaitu  PS01,  PS02,  PS03,  dan  PS04,  Kepuasan Pengguna (KP) menggunakan lima indikator yaitu KP01, KP02, KP03, KP04, dan KP05 serta untuk konstruk Net Benefit menggunakan lima indikator yaitu NB01, NB02, NB03, NB04, dan NB05.  Garis  panah  pada  indikator  dan  konstruk  laten  menggambarkan  sebuah  hubungan (korelasi).

## 3.1 Model Pengukuran (Outer Model)

## 3.1.1 Pengujian Validitas
Pengujian validitas diperuntukkan dalam menguji keakuratan ( valid ) suatu indikator agar bisa mewakili suatu variabel laten.
1) Convergent Validity
Convergent validity (validitas konvergen) sebagai pengukur variabel dengan melihat dari outer model pada setiap indikator variabel.
2104 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933
Tabel 2. Hasil Outer Loadings Kualitas Sistem (KS) KS01 0.796 KS02 0.768 KS03 0.811 KS04 0.681 KS05 0.771 Kualitas Informasi (KI) KI01 0.785 KI02 0.799 KI03 0.661 KI04 0.775 KI05 0.597 Kualitas Layanan (KL) KL01 -0.003 KL02 0.694 KL03 0.665 KL04 0.876 Penggunaan Sistem (PS) PS01 0.151 PS02 0.906 PS03 0.326 PS04 0.951 Kepuasan Pengguna (KP) KP01 0.803 KP02 0.921 KP03 0.850 KP04 0.909 KP05 0.907 Struktur Organisasi (SO) SO01 0.945 SO02 0.926 SO03 0.885 SO04 0.909 Lingkungan Organisasi (LO) LO01 0.784 LO02 0.841 LO03 0.923 LO04 0.870 LO05 0.901 Net Benefit (NB) NB01 0.879 NB02 0.907 NB03 0.926 NB04 0.901 NB05 0.658
Penentuan indikator yang dikatakan valid jika menghasilkan nilai Loading Factor diatas 0.70, tetapi pada nilai loading 0.50 sampai 0.60 dianggap cukup. Pada tabel 2 untuk indikator yang  valid  diberi  warna  hijau  dan  untuk  indikator  yang  dianggap  tidak  valid  diberi  warna merah. Hasil yang didapatkan dari outer loading terdapat sembilan indikator yang tidak  valid, maka harus dihapus dari model.
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2105
Tabel 3. Hasil Akhir Outer Loading Kualitas Sistem (KS) KS01 0.796 KS02 0.768 KS03 0.811 KS05 0.771 Kualitas  Informasi (KI) KI01 0.785 KI02 0.799 KI04 0.775 Kualitas Layanan (KL) KL04 0.876 Penggunaan Sistem (PS) PS02 0.906 PS04 0.951 Kepuasan Pengguna (KP) KP01 0.803 KP02 0.921 KP03 0.850 KP04 0.909 KP05 0.907 Struktur Organisasi (SO) SO01 0.945 SO02 0.926 SO03 0.885 SO04 0.909 Lingkungan Organisasi (LO) LO01 0.784 LO02 0.841 LO03 0.923 LO04 0.870 LO05 0.901 Net Benefit (NB) NB01 0.879 NB02 0.907 NB03 0.926 NB04 0.901
Tabel  3  merupakan  hasil  akhir  dari Loading  Factor ,  dengan  menghapus  nilai  yang dibawah  dari  0.70  yaitu  ada  sembilan  indikator.  Sehingga,  semua  indikator  pada  tabel  3 dikatakan sudah valid. Gambar 3 merupakan hasil akhir model untuk nilai loading factor.
2106 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933

## Gambar 4. Nilai Loading Factor

## 2) Discriminant Validity
Perhitungan  diukur  dengan  melihat  nilai  pada cross  loadings ditunjukkan  di  Tabel  4. Validitas diskriminan terpenuhi jika Average Varian Extracted (AVE) bernilai diatas 0.50.
Tabel 4. Dicriminant Validity (Cross Loadings) KP KI KL KS LO NB PS SO KI01 0.499 0.843 0.451 0.750 0.523 0.368 0.595 0.377 KI02 0.623 0.890 0.152 0.649 0.495 0.496 0.597 0.427 KI04 0.392 0.731 0.310 0.469 0.325 0.447 0.528 0.285 KL04 0.415 0.360 1.000 0.502 0.395 0.274 0.490 0.492 KP01 0.800 0.584 0.410 0.574 0.495 0.391 0.648 0.481 KP02 0.921 0.563 0.479 0.656 0.691 0.520 0.728 0.506 KP03 0.854 0.656 0.314 0.634 0.715 0.573 0.691 0.488 KP04 0.908 0.486 0.205 0.545 0.634 0.481 0.650 0.593 KP05 0.906 0.425 0.402 0.612 0.320 0.479 0.678 0.623 KS01 0.611 0.565 0.474 0.823 0.506 0.295 0.455 0.569 KS02 0.497 0.774 0.329 0.802 0.380 0.358 0.550 0.459 KS03 0.526 0.569 0.429 0.781 0.433 0.352 0.585 0.362 KS05 0.587 0.546 0.378 0.811 0.577 0.291 0.425 0.583 LO01 0.617 0.524 0.253 0.467 0.786 0.615 0.464 0.433 LO02 0.658 0.501 0.499 0.515 0.842 0.773 0.594 0.629 LO03 0.634 0.524 0.352 0.598 0.922 0.679 0.537 0.546 LO04 0.583 0.382 0.315 0.498 0.869 0.665 0.455 0.482 LO05 0.626 0.448 0.258 0.462 0.900 0.722 0.506 0.528 NB01 0.435 0.342 0.278 0.272 0.703 0.896 0.478 0.428
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2107
NB02 0.555 0.403 0.258 0.343 0.738 0.912 0.537 0.516 NB03 0.547 0.532 0.245 0.373 0.756 0.946 0.635 0.507 NB04 0.509 0.642 0.224 0.479 0.744 0.906 0.599 0.393 PS02 0.669 0.687 0.403 0.550 0.462 0.529 0.934 0.466 PS04 0.783 0.624 0.513 0.628 0.649 0.627 0.947 0.664 SO01 0.592 0.391 0.472 0.580 0.577 0.445 0.535 0.946 SO02 0.555 0.362 0.445 0.519 0.517 0.523 0.579 0.927 SO03 0.553 0.401 0.410 0.543 0.513 0.388 0.560 0.883 SO04 0.541 0.474 0.472 0.595 0.627 0.480 0.550 0.908
Indikator  dikatakan  valid  apabila  mempunyai  nilai loading  factor tertinggi.  Tabel  4 menunjukkan bahwa loading factor untuk indikator KL04 sebesar 1.000 lebih tinggi dibanding dengan nilai konstruk lain.
Tabel 5. Average Variant Extracted (AVE) AVE Kepuasan Pengguna 0.773 Kualitas Informasi 0.679 Kualitas Layanan 1.000 Kualitas Sistem 0.647 Lingkungan Organisasi 0.749 Net Benefit 0.837 Penggunaan Sistem 0.884 Struktur Organisasi 0.840
Tabel 5 merupakan output yang dihasilkan AVE menunjukkan bahwa nilai yang terdapat pada indikator sudah diatas 0.50 dan dinyatakan valid.

## 3.1.2 Pengujian Reliabilitas
Pengukuran reliabilitas dilakukan dalam untuk mengukur konstruk dengan melihat pada nilai composite reliability dan cronbach’s alpha .

## Tabel 6. Composite Realibity
Composite Reliability Cronbach’s Alpha Kepuasan Pengguna 0.944 0.926 Kualitas Informasi 0.863 0.761 Kualitas Layanan 1.000 1.000 Kualitas Sistem 0.880 0.818 Lingkungan Organisasi 0.937 0.915 Net Benefit 0.954 0.935 Penggunaan Sistem 0.939 0.869 Struktur Organisasi 0.954 0.936
2108 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933
Tabel 6 menunjukkan bahwa semua nilai konstruk dibuktikan sudah reliable. Standar nilai untuk Composite  Reliability yaitu  di  atas  0.70  dan Cronbach’s  alpha diatas  pada  semua konstruk diatas 0.60. Nilai terendah dari composite reliability yaitu 0.863 terdapat di konstruk Kualitas Informasi (KI). Dan nilai terendah dari cronbach’s alpha pada Kualitas Informasi (KI) sebesar 0.761.

## 3.2 Model Struktural (Inner Model)

## 3.2.1 Nilai R-Square
Setelah  model  telah  memenuhi  kriteria  pada outer  model ,  selanjutnya  dilakukan pengujian inner model dengan melihat pada nilai R-Square.
Tabel 7. R-SQUARE R SQUARE KP 0.505 LO 0.375 NB 0.708 PS 0.705
Tabel  7  menunjukkan  bahwa  pada  konstruk  NB  dengan  nilai  0.708  (70,8%)  dinyatakan kuat,  PS  dengan  nilai  0.705  (70,5%)  dinyatakan  kuat,  KP  dengan  nilai  0.505  (50,5%) dinyatakan moderate, dan untuk LO dengan nilai 0.375 (27,5%) dinyatakan moderate.
Tabel 8. Uji T-Statistik Original Sample (O) Sample Mean (M) Standard Deviation (STDEV) T Statistics (|O/STDEV|) KP → NB -0.316 -0.329 0.113 2.795 KP → PS 0.553 0.550 0.107 5.178 KI → KP 0.231 0.269 0.145 1.596 KI → PS 0.403 0.397 0.110 3.651 KL → KP 0.098 0.104 0.139 0.705 KL → PS 0.195 0.185 0.081 2.425 KS → KP 0.465 0.426 0.199 2.337 KS → PS -0.159 -0.143 0.113 1.404 LO → NB 0.824 0.820 0.074 11.166 PS → NB 0.403 0.410 0.152 2.647 SO → LO 0.612 0.624 0.117 5.209 SO → NB -0.052 -0.042 0.113 0.463
Berdasarkan hasil uji T-Statistik, maka disimpulkan pengujian hipotesis dalam penelitian ini adalah:
H1 : Kualitas  Sistem  (KS)  berpengaruh  signifikan  terhadap  Penggunaan  Sistem  (PS) Hasil uji t-statistik antara KS → PS memiliki nilai t sebesar 1.404 dimana nilai ini lebih kecil  dari  t  tabel  (1.96),  berarti H1  ditolak karena  Kualitas  Sistem  tidak  berpengaruh signifikan terhadap Penggunaan Sistem.
H2 : Kualitas Sistem (KS) berpengaruh signifikan terhadap Kepuasan Pengguna (KP) Hasil uji t-statistik antara KS → KP memiliki nilai t sebesar 2.337 dimana nilai ini lebih
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2109
besar  dari  t  tabel  (1.96),  berarti H2  diterima karena  Kualitas  Sistem  berpengaruh signifikan terhadap Kepuasan Pengguna.
H3 : Kualitas Informasi (KI) berpengaruh signifikan terhadap Penggunaan Sistem (PS) Hasil uji t-statistik antara KI → PS memiliki nilai t sebesar 3.651 dimana nilai ini lebih besar  dari  t  tabel  (1.96),  berarti H3  diterima karena  Kualitas  Informasi  berpengaruh signifikan terhadap Penggunaan Sistem.
H4 : Kualitas  Informasi  (KI)  berpengaruh  signifikan  terhadap  Kepuasan  Pengguna (KP)
Hasil uji t-statistik antara KI → KP memiliki nilai t sebesar 1.596 dimana nilai ini lebih kecil dari t tabel (1.96), berarti H4 ditolak karena Kualitas Informasi tidak berpengaruh signifikan terhadap Kepuasan Pengguna.
H5 : Kualitas Layanan (KL) berpengaruh signifikan terhadap Penggunaan Sistem (PS) Hasil uji t-statistik antara KL → PS memiliki nilai t sebesar 2.425 dimana nilai ini lebih besar  dari  t  tabel  (1.96),  berarti H5  diterima karena  Kualitas  Layanan  berpengaruh signifikan terhadap Penggunaan Sistem.
H6 : Kualitas  Layanan  (KL)  berpengaruh  signifikan  terhadap  Kepuasan  Pengguna (KP)
Hasil uji t-statistik antara KL → KP memiliki nilai t sebesar 1.596 dimana nilai ini lebih kecil dari t tabel (1.96), berarti H6 ditolak karena Kualitas Layanan tidak berpengaruh signifikan terhadap Kepuasan Pengguna.
H7 : Kepuasan  Pengguna  (KP)  berpengaruh  signifikan  terhadap  Penggunaan  Sistem (PS)
Hasil uji t-statistik antara KP → PS memiliki nilai t sebesar 5.178 dimana nilai ini lebih besar dari t tabel (1.96), berarti H7 diterima karena Kepuasan Pengguna berpengaruh signifikan terhadap Penggunaan Sistem.
H8 : Penggunaan  Sistem  (PS)  berpengaruh  signifikan  terhadap  Net  Benefit  (NB) Hasil uji t-statistik antara PS → NB memiliki nilai t sebesar 2.647 dimana nilai ini lebih besar  dari  t  tabel  (1.96),  berarti H8  diterima karena  Penggunaan  Sistem  berpengaruh signifikan terhadap Net Benefit.
H9 : Kepuasan  Pengguna  (KP)  berpengaruh  signifikan  terhadap  Net  Benefit  (NB) Hasil uji t-statistik antara KP → NB memiliki nilai t sebesar 2.795 dimana nilai ini lebih besar dari t tabel (1.96), berarti H9 diterima karena Kepuasan Pengguna berpengaruh signifikan terhadap Net Benefit.
H10 :   Struktur  Organisasi  (SO)  berpengaruh  signifikan  terhadap  Lingkungan Organisasi (LO) Hasil uji t-statistik antara SO → LO memiliki nilai t sebesar 5.209 dimana nilai ini lebih besar dari t tabel (1.96), berarti H10 diterima karena Struktur Organisasi berpengaruh signifikan terhadap Lingkungan Organisasi.
H11 :   Struktur  Organisasi  (SO)  berpengaruh  signifikan  terhadap  Net  Benefit  (NB) Hasil uji t-statistik antara SO → NB memiliki nilai t sebesar 0.463 dimana nilai ini lebih kecil  dari  t  tabel  (1.96),  berarti H11  ditolak karena  Struktur  Organisasi  tidak berpengaruh signifikan terhadap Net Benefit.
H12 :   Lingkungan  Organisasi  (LO)  berpengaruh  signifikan  terhadap  Net  Benefit  (NB)
Hasil  uji  t-statistik  antara  LO → NB  memiliki  nilai  t  sebesar  11.166  dimana  nilai  ini lebih  besar  dari  t  tabel  (1.96),  berarti H12  diterima karena  Lingkungan  Organisasi berpengaruh signifikan terhadap Net Benefit.
2110 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933

## 4. KESIMPULAN
Berdasarkan  penelitian  yang  dilakukan,  hasil  pengujian  hipotesis  menunjukkan  bahwa terdapat  8  (delapan)  hipotesis  yang  diterima  yaitu  Kualitas  Sistem  (KS)  terhadap  Kepuasan Pengguna,  Kualitas  Informasi  (KI)  terhadap  Penggunaan  Sistem  (PS),  Kualitas  Layanan  (KL) terhadap Penggunaan Sistem (PS), Kepuasan Pengguna (KP) terhadap Penggunaan Sistem (PS), Penggunaan  Sistem  (PS)  terhadap  Net  Benefit  (NB),  Kepuasan  Pengguna  (KP)  terhadap  Net Benefit (NB), Struktur Organisasi (SO) terhadap Lingkungan Organisasi (LO), dan Lingkungan Organisasi (LO) terhadap Net Benefit.
Hipotesis  yang  ditolak  terdapat  terdapat  4  (empat)  yang  ditolak  yaitu  Kualitas  Sistem (KS) terhadap Penggunaan Sistem (PS), Kualitas Informasi terhadap Kepuasan Pengguna (KP), Kualitas Layanan (KL) terhadap Kepuasan Pengguna (KP), Struktur Organisasi (SO) terhadap Net  Benefit  (NB).  Hal  tersebut  selaras  dengan  wawancara  yang  dilakukan  dengan  beberapa dosen  yang  mengatakan  bahwa  penggunaan  F-Learn  sudah  sangat  membantu  dalam perkuliahan,  namun  sering  ditemui  ketidakstabilan  aplikasi  dan  masalah  keterbatasan  koneksi internet serta dalam peningkatan kinerja kampus seharusnya bisa meningkat akan tetapi hingga saat ini belum dilakukan pengukuran peningkatan kinerja pembelajaran melalui F-Learn.
Setelah  dilakukan  beberapa  proses  pengolahan  data  dengan  pengujian  statistik,  bahwa keberhasilan dari implementasi Flexible Learning (F-Learn) Universitas Kristen Satya Wacana dinyatakan  sukses  dengan  nilai  R-Square  untuk Net  Benefit berada  pada  tingkat  70,8%  dan Kepuasan  Pengguna  berada  pada  tingkat  70,5%  kedua  variabel  tersebut  dinyatakan  kuat.  Jika kepuasan pengguna meningkat maka tingkat keberhasilan atau kebermanfaatan ( net benefit ) dari penggunaan  F-Learn  semakin  tinggi.  Hal  ini  yang  menyebabkan  variabel  kepuasan  pengguna pada komponen Manusia ( Human ) sangat berpengaruh terhadap Net Benefit .

## DAFTAR PUSTAKA
[1] S.  Mehrolia,  S.  Alagarsamy,  and  M.  Indhu  Sabari, “Moderating  Effects  of  Academic Involvement  In  Web-Based  Learning  Management  System  Success:  A  Multigroup Analysis,” Heliyon , Vol. 7, No. 5, p. e07000, 2021, doi: 10.1016/j.heliyon.2021.e07000.
[2] Y. Triadiarti, T. Hidayat, L. Ane, and C. G. G. . Sibarani, “Implementation of The HOT FIT Model in The Evaluation of Education and Learning During The Pandemic Covid- 19,” Proc. Int. Conf. Strateg. Issues Econ. Bus. and, Educ. (ICoSIEBE 2020) , Vol. 163, No. ICoSIEBE 2020, pp. 279–283, 2021, doi: 10.2991/aebmr.k.210220.049.
[3] N. W. D. Ayuni, K. C. Dewi, and K. Suwintana, “Human Organization Technology Fit (HOT  Fit)  as  Evaluation  Model  in  E-Learning  System  of  Bali  State  Polytechnic,” no. January, 2019, doi: 10.2991/icastss-19.2019.29.
[4] A.  Jaya,  I.  Hanafi,  and  R.  Febriana, “Evaluation  of  E-Learning  Implementation  Using HOT Fit Model in State Vocational High School, Jakarta,” Int. J. Educ. Res. , Vol. 8, No. 1, pp. 147–156, 2020.
[5] P.  D.  Abda’u,  W.  W.  Winarno,  and  H.  Henderi, “Evaluasi  Penerapan  SIMRS Menggunakan  Metode  HOT-Fit  di  RSUD  dr.  Soedirman  Kebumen,” INTENSIF  J.  Ilm. Penelit.  dan  Penerapan  Teknol.  Sist.  Inf. ,  Vol.  2,  No.  1,  p.  46,  2018,  doi: 10.29407/intensif.v2i1.11817.
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2096-2111 E-ISSN 2503-2933 2111
[6] T. L. Yosi Afandi, “Evaluasi Keberhasilan Implementasi Gojek,” J. PPKM , Vol. 6, No. 3, pp. 176–179, 2019.
[7] T. Lestariningsih, B. Artono, and Y. Afandi, “Evaluasi Implementasi E-learning Dengan Metode  Hot  Fit  Model,”  Innov.  Res.  Informatics ,  Vol.  2,  No.  1,  pp.  22–27,  2020,  doi: 10.37058/innovatics.v2i1.1342.
[8] V.  Kevin,  S.  Que,  and  A.  R.  Tanaamah, “F-Learn  Utilization  Analysis  Using  The Technology  Acceptance  Model  Approach  on  SWCU  FTI  Lecturers,” ITSMART  J. Teknol. dan Inf. , Vol. 6, No. 2, pp. 74–79, 2017,
doi: http://dx.doi.org/10.20961/itsmart.v6i2.16048.
[9] W.  H.  DeLone  and  E.  R.  McLean, “The  DeLone  and  McLean  Model  of  Information Systems  Success:  A  Ten-Year  Update,”  J.  Manag.  Inf.  Syst. ,  Vol.  19,  No.  4,  pp.  9–30, 2003, doi: 10.1080/07421222.2003.11045748.
[10] L. M. Erlirianto, A. H. N. Ali, and A. Herdiyanti, “The Implementation of The Human, Organization,  and  Technology-Fit  (HOT-Fit)  Framework  to  Evaluate  The  Electronic Medical Record (EMR) System in a Hospital,” Procedia Comput. Sci. , Vol. 72, pp. 580– 587, 2015, doi: 10.1016/j.procs.2015.12.166.
[11] A.  Alfina  and  R.  Irfan, “Analysis  of  E-learning  Implementation  using  Human Organization Technology Approach (HOT) Fit Models,” J. Phys. Conf. Ser. , Vol. 1456, No. 1, 2020, doi: 10.1088/1742-6596/1456/1/012058.
[12] W.  P.  Hapsari,  U.  A.  Labib,  H.  Haryanto,  and  D.  W.  Safitri, “A  Literature  Review  of Human,  Organization,  Technology  (HOT)  –  Fit  Evaluation  Model,”  Proc.  6th  Int. Semin.  Sci.  Educ.  (ISSE  2020) ,  Vol.  541,  No.  Isse  2020,  pp.  876–883,  2021,  doi: 10.2991/assehr.k.210326.126.
[13] Utomo, “Kraith-Informatika,  Vol.  2,  No.  1,  Maret  2018,” Vol.  2,  No.  1,  pp.  94–101, 2018.
[14] A.  Deharja,  A.  Hargono, M.  W.  Santi,  N.  Nandini, and  N.  A.  Damayanti, “Evaluating The  Usability  of  Hospital  Information  System  (HIS)  Through  Human  Organization Technology-Fit (Hot-Fit) Model,” Int. Proc. 2nd Int. Sci. Meet. Heal. Inf. Manag. 2020 , Vol. 5, No. 1171, pp. 380–389, 2020.
[15] L. M. Erlirianto, A. H. N. Ali, and A. Herdiyanti, “The Implementation of The Human, Organization,  and  Technology-Fit  (HOT-Fit)  Framework  to  Evaluate  The  Electronic Medical  Record  (EMR)  System  in  a  Hospital,”  Procedia  Comput.  Sci. ,  Vol.  72,  No. December, pp. 580–587, 2015, doi: 10.1016/j.procs.2015.12.166.
[16] S.  Rahmat,  Seminar, “Evaluasi  Keberhasilan  E-Learning  Dalam  Perspektif  Sistem Informasi,” J. Apl. Manaj. dan Bisnis , Vol. 5, No. 3, pp. 373–384, 2019.