## Persepsi  Pengguna  Sebagai  Dasar  Pengembangan  Model Usability Aplikasi Mobile Commerce
Hotma Antoni Hutahaean* 1,2 , Agustinus Silalahi 2 , Trifenaus Prabu Hidayat 2 , Ronald Sukwadi 1,2 , Maria Angela Kartawidjaja 1,3
1 Program Studi Pendidikan Profesi Insinyur, Fakultas Teknik, Universitas Katolik Indonesia Atma Jaya, Jakarta 12930, Indonesia
2 Program Studi Teknik Industri, Fakultas Teknik, Universitas Katolik Indonesia Atma Jaya, Jakarta 12930, Indonesia
3 Program Studi Teknik Elektro, Fakultas Teknik, Universitas Katolik Indonesia Atma Jaya, Jakarta 12930, Indonesia
Article Info

## Abstract
Article history:
Received 15 April 2024 Accepted 25 May 2024 The intense competition  between developers, resulting  in  efforts to  determine users' needs, is increasingly important. Usability An application can affect the continuity  of  application  use.  In  this  study,  the  user's  loyalty  is  also  used  to analyze usability. This study examines user perceptions about user interaction characteristics  when  interacting  with  the  mobile  commerce  application  and considers users' loyalty. This research is essential to find out the needs of users of a mobile commerce application, which can be input to the developer in the design stage. This study uses 149 respondents' online shopping transactions in Jabadetabek and outside Jabodetabek, Indonesia. Data were analyzed using the Structural  Equation  Modeling  (SEM)  model.  The  results  showed  that  users' perception of effectiveness, satisfaction, and learning influenced usability. This model  can  explain  42.6%  of  the  user's  usability  variation  when  using  it. This model can explain the usability of the Mobile Commerce application quite well. As  a  practical  implication,  this  study  shows  the  factors  that  support  the characteristics  of  user  interaction  and  application  systems  at  the  stage  of defining the requirements for developing mobile commerce applications.
Keywords: usability, m-commerce application, loyalty.

## 1. PENDAHULUAN
Persepsi pengguna memegang peranan penting  dalam  pengembangan  suatu  aplikasi. Mobile  commerce  adalah  salah  satu  kategori  atau jenis layanan e-commerce yang populer di kalangan pengguna.  Ketersediaan  dan  kapabilitas  aplikasi mobile  commerce  memengaruhi  keberhasilan interaksi  pengguna  dan  aplikasi  dalam  melakukan transaksi  belanja  online  sesuai  dengan  kebutuhan mereka. Kombinasi karakteristik interaksi pengguna  dan  aplikasi  mobile  commerce  (atribut) akan  menentukan  usability  aplikasi  tersebut. Analisis atribut usability dan pengembangan model usability  yang  sesuai  dengan  kebutuhan  pengguna penting  merupakan  masukan  penting  dalam mengembangkan aplikasi mobile commerce. Usability  menjadi  penting  untuk  dianalisis,  karena 50%  masalah  pada  aplikasi  mobile  commerce merupakan masalah yang terkait usability.
Masalah  yang  terkait  dengan  usability  dalam aplikasi  mobile  commerce  akan  berdampak  buruk terhadap  kelangsungan  penggunaannya,  yaitu pengguna akan mengakhiri dan menghapus aplikasi
mobile commerce. Hal ini disebabkan, antara lain, dengan (1) pemrosesan transaksi yang membingungkan,  (2)  usability  yang  buruk,  (3) antarmuka  yang  sangat  kompleks  (Pawestri et  al ., 2019), kesulitan navigasi (Saputri et al ., 2017). 60% membuang  waktu  karena  tidak  menemukan informasi  yang  tidak  ditemukan,  menghasilkan penurunan  produktivitas  dan  peningkatan  frustrasi (Saputri et  al .,  2019).  Berbagai  faktor  dalam konteks  penggunaan  juga  dapat  mempengaruhi terjadinya permasalahan usability, seperti karakteristik tugas, tujuan, teknologi, dan lingkungan penggunaan pengguna yang bervariasi. Hal  ini akan menyebabkan usability suatu  aplikasi akan  menjadi  lebih  spesifik  tergantung  kepada konteks penggunaannya ( context of use ).
Kemampuan  pembelajaran  pengguna  juga menentukan penggunaan aplikasi dengan baik, yang pada akhirnya akan mempengaruhi usability mereka terhadap  aplikasi  tersebut.  Untuk  itu  learnability penting untuk dipertimbangkan dalam pengembangan  model  usability  aplikasi  mobile commerce. Konteks penggunaan yang beragam dari
pengguna dapat menyebabkan beragamnya kombinasi interaksi pengguna dan aplikasi (Coursair  dan  Kim,  2006),  yang  menjadi  atribut- atribut  untuk  suatu  model  usability.  Kombinasi atribut  usability  dalam  model  usability  tergantung pada  tujuan  sistem  menjadi  pengembangan. Berbagai  model  usability  telah  dibangun  sesuai dengan  tujuannya.  Di  samping  itu,  pertimbangan usability  dalam  pengembangan  sistem  informasi juga  ditentukan  oleh  kebiasaan  pengguna  saat berinteraksi  dengan  aplikasi.  Terkait  kebiasaan pengguna  dalam  melakukan  transaksi,  Bowen  & Chen  (2001)  berpendapat  bahwa  menjual  produk dan layanan kepada pelanggan baru biaya 3 hingga 6  kali  lebih  mahal.  Hal  ini  menyebabkan  loyalty dianggap  sebagai  konstruksi  penting  dalam mencapai pencapaian bisnis dan keberlanjutan yang tahan  lama  (Casalo,  2008).  Studi  ini  mengkaji model  usability  yang  dapat  mengakomodir  tujuan pengguna  dengan  mempertimbangkan  juga  atribut pembelajaran  serta  loyalty  pengguna.    Studi  ini bertujuan  untuk  mengembangkan  model  usability untuk aplikasi mobile commerce dengan menggunakan preferensi pengguna dengan mempertimbangkan aspek loyalty dan learnability.

## 2. PENGEMBANGAN MODEL
Pengembangan model bertujuan untuk menghasilkan faktor-faktor yang menentukan nilai usability aplikasi mobile commerce. Pengembangan model  dilakukan  dengan  langkah-langkah:  (1) Mengidentifikasi  atribut-atribut  yang  menentukan usability  pada  aplikasi  mobile  commerce,  (2) Merumuskan  hipotesis  yang  bertujuan  untuk mengetahui  persepsi  pengguna  terhadap  faktor- faktor  yang  menentukan  usability  pada  aplikasi mobile  commerce,  (3)  Model  pengembangan didasarkan  pada  model  acuan  dan  model pendukung,  (4)  Merumuskan  operasional  variabel penelitian dan menentukan item indikator pengukuran setiap variabel dalam model penelitian, (5)  Penetapan  item  indikator  pengukuran  dengan mengadopsi  item  dari  studi  literatur  ke  dalam aplikasi  mobile  commerce,  dan  (6)  Menyiapkan kuesioner  penelitian  berdasarkan  operasional variabel dan indikator pengukuran.
Kerangka  pengembangan  model  dilakukan dengan  mengidentifikasi  faktor-faktor usability dengan mempertimbangkan preferensi dari pengguna. Model dikembangkan untuk menganalisis  faktor-faktor  penting  yang  dapat menjelaskan usability aplikasi m-commerce . Pengembangan model bertujuan
untuk meningkatkan  model  sistem  aplikasi mobile commerce , yang dikembangkan berdasarkan konsep usability ISO  9241-11,  seperti  model  Jeng  (2009) dengan mempertimbangkan atribut learnability .
Persepsi  konsumen  yang  akan  dianalisis menggunakan  kerangka  model  ISO  9241-11  [30], dengan  konteks  penggunaan  dalam  belanja  secara online  dengan  menggunakan  dengan  aplikasi aplikasi mobile commerce . Tujuannya adalah untuk penyedia  informasi  produk  dan  mendukung kegiatan penjualan. Lingkungan pengukuran adalah pengalaman menggunakan aplikasi mobile commerce (Tokopedia,  Shopee,  Lazada,  JD.ID). Pengukuran usability aplikasi  menggunakan  5 dimensi usability ,  hasil  studi  literatur,  dan wawancara  dengan  pengguna  aplikasi  pada  tahap observasi awal.  Variabel operasional item indikator pengukurannya didasarkan pada studi literatur dan wawancara dengan pengguna analisis dan persyaratan atribut untuk aplikasi mobile commerce .  Indikator  pengukuran  kualitatif  dengan mengumpulkan  persepsi  pengguna  menggunakan kuisioner.  Dianggap  subyektif,  terbukti  valid sebagai  pengamatan  kuantitatif  (Tullis  &  Albert, 2013). Variabel operasional usability, effectiveness, efficiency,  satisfaction,  learnability, dan loyalty dievaluasi menggunakan item indikator seperti yang diuraikan berikut ini:
1. Usability dievaluasi dengan persepsi pengguna tentang kemudahan untuk dimengerti (Thakur, 2016)  kemudahan  pemakaian  (Casalo et  al .
2008; Thakur, 2016), kemudahan mendapatkan informasi  (Casalo et  al .  2008;  Thakur,  2016), kemudahan  dalam  navigasi  (Casalo et  al . 2008),  dan  kemampuan  untuk  mengontrol (Casalo et al ., 2008).
2. Effectiveness dievaluasi  dengan  persepsi pengguna  tentang  aplikasi  tentang  tugas pengguna  yang  pencapaian,  yang  terdiri  dari: penyelesaian  transaksi  (Dawood et  al .,  2020; Gupta et  al .,  2014),  akurasi  (Dawood et  al .,
2020), kelengkapan (Dawood et al ., 2020), dan operabilitas (Gupta et al , 2014).
3. Efficiency dievaluasi dengan persepsi pengguna  tentang  ketersediaan  yang  tepat untuk  menjalankan  aplikasi  sesuai  dengan kebutuhan  kebutuhan  pengguna. Efficiency dalam waktu pelaksanaan tugas (Dawood et al ., 2020),  pemanfaatan  sumber  daya  (Dawood et al .,  2020),  dan  langkah  minimal  transaksi (Gupta et al , 2014)
4. Satisfaction dievaluasi oleh persepsi pengguna tentang tentang penyalahgunaan], fungsionalitas perangkat lunak (Dawood et al ., 2020;  Gupta et  al ,  2014),  transaksi  yang berhasil,  aksesibilitas  (Singh et  al .,  2016), layanan dukungan pelanggan,  dan penampilan (Dawood et al ., 2020).
5. Learnability dievaluasi dengan persepsi pengguna  tentang  upaya  dan  waktu  pengguna untuk mempelajari cara menggunakan
fungsionalitas  aplikasi mobile  commerce , termasuk waktu  belajar  (Dawood et  al ., 2020; Gupta et  al ,  2014),  dan  deskriptivitas  diri (Dawood et al ., 2020; Gupta et al ., 2014).
6. Loyalty dievaluasi  oleh  persepsi  pengguna tentang kapabilitas sistem yang mengarah pada kesetiaan penggunaan kembali aplikasi, termasuk:   Kelengkapan program,  menjelajahi Internet, mengingatkan, dan mengakses materi (Sudjana & Sfenrianto, 2020)
Model  konseptual  penelitian  digambarkan pada Gambar 1. Gambar 1 menunjukkan hubungan antar variabel yang akan diteliti pada penelitian ini. Berikut ini adalah penjelasan mengenai pengembangan hipotesis yang akan diteliti.
Gambar 1.

## Model Konseptual Penelitian
Effectiveness adalah kemampuan sistem untuk memberdayakan  pengguna  untuk  menyelesaikan tugas spesifik secara akurat dalam konteks tertentu (Dawood et al ., 2020; Hasan & al-Sarayreh, 2015) dan  ukuran  aktivitas  pengguna  saat  melakukan tugas  sepenuhnya  dan  akurat  (Gupta et  al .,  2020). Effectiveness adalah  salah  satu  faktor  yang menentukan  nilai usability (Dawood et  al .,  2020; Gupta et  al .,  2017,  2020).  Juga  dapat  diprediksi bahwa itu dapat terjadi untuk menentukan usability situs web aplikasi mobile commerce . Hipotesis 1 (H1): Effectiveness berpengaruh positif terhadap usability aplikasi mobile commerce .
Satisfaction merupakan salah satu atribut/dimensi  yang  digunakan  dalam  penilaian usability  dalam  pengembangan  suatu  aplikasi (Ramanayaka et  al .,  2018;  Dawood et  al .,  2020). Sudjana  &  Sfenrianto  (2020)  berpendapat  bahwa kepuasan pengguna adalah respons dan umpan balik yang  ditunjukkan  pengguna  setelah  menggunakan sistem  informasi.  Sikap  pengguna  terhadap  sistem informasi adalah kriteria subyektif tentang bagaimana  pengguna  menyukai  sistem  yang digunakan. Sudjana & Sfenrianto (2020) menganalisis  efek  hubungan  antara satisfaction pengguna  pada  usability  aplikasi  mobile  dan membuktikan terdapat pengaruh satisfaction
terhadap usability aplikasi mobile . Oleh karena itu pad  apenelitian  ini  dikembangkan  hipotesis  terkait hubungan satisfaction terhadap usability pada aplikasi mobile commerce berikut ini:
Hipotesis  2  (H2): Satisfaction berpengaruh  positif terhadap usability aplikasi mobile commerce .
Efisiensi  merupakan  aspek  penting  yang mendefinisikan kemampuan sistem untuk menyediakan  fungsionalitas  dan  produktivitas tingkat  tinggi dengan secara efektif memanfaatkan sumber  daya  dan  memastikan  penyelesaian  tugas yang  cepat  (Nelson  &  Staggers,  2016).  Ini mencakup  faktor-faktor  seperti  kecepatan  di  mana tugas  diselesaikan  dan  kapasitas  perangkat  lunak untuk  memaksimalkan  sumber  daya  yang  tersedia untuk  mencapai  tujuan  spesifik  (Dawood et  al ., 2021;  Hasan  &  al-Sarayreh,  2015).  Dawood et  al .
(2020)  menyimpulkan  bahwa efficiency juga merupakan  atribut  yang  menentukan usability dalam  mengembangkan  aplikasi  perangkat  lunak sumber  terbuka.  Juga  dapat  diprediksi  yang  dapat terjadi  untuk  menentukan usability situs  web aplikasi mobile commerce . Oleh karena itu hipotesis dikembangkan sberikut ini:
Hipotesis  3  (H3): Efficiency berpengaruh  positif terhadap usability aplikasi mobile commerce .
Learnability terkait  dengan  kemudahan pengguna  mempelajari  fungsi  aplikasi mobile commerce untuk  menjadi  mahir  (Dawood et  al .,
2021;  Gupta et  al .,  2017;  Ramanayaka,  2018) dengan upaya dan waktu minimal (Abushark et al .,
2021; Dawood et al ., 2021; Ji et al ., 2006; Y. Lee & Kozar, 2012; Muqtadiroh et al ., 2017; Ramanayaka, 2018). Learnability juga merupakan faktor penting dalam pengembangan aplikasi dan yang mempengaruhi usability (Muqtadiroh et  al .,  2017; Dawood et  al .,  2020)  Studi  ini  juga  akan menganalisis  prediksi  belajar  untuk  menilai efisiensi aplikasi mobile commerce . Oleh karena itu, penelitian ini mengembangkan hipotesis berikut ini: Hipotesis  (H4): Learnability berpengaruh  positf terhadap usability aplikasi mobile commerce.
Pertimbangan usability dalam pengembangan sistem  informasi  juga  ditentukan  oleh  kebiasaan pengguna saat berinteraksi dengan aplikasi. Terkait kebiasaan  pengguna  dalam  melakukan  transaksi, Bowen & Chen (2001) berpendapat bahwa menjual produk dan layanan kepada pelanggan baru biaya 3 hingga 6 kali dibandingkan pelanggan lama. Hal ini menyebabkan loyalty dianggap  sebagai  konstruksi penting  dalam  mencapai  pencapaian  bisnis  dan keberlanjutan yang tahan lama (Casalo et al , 2008).
Coursair dan Kim (2006 dan 2011)
mengembangkan  framework  penentuan  dimensi usabability  pada  aplikasi mobile ,  dimana loyalty merupakan salah satu jenis konsekuensi dari model
usability yang  dibangun.  Sudjana  dan  Sfenrianto (2020)  meneliti  keterlibatan  pelanggan  dengan loyalty secara  signifikan  mempengaruhi usability aplikasi mobile .  Pada  penelitian  ini  akan  dikaji hubungan  antara loyalty pengguna  terhadap usability aplikasi mobile  commerce ,  dengan rumusan hipotesis sebagai berikut:
Hipotesis  (H5): Loyality berpengaruh  positf terhadap usability aplikasi mobile commerce.

## 3. PENGUMPULAN DAN PENGOLAHAN DATA

## 3.1 Pengumpulan Data
Pengumpulan  data  dilakukan  dalam  4 minggu  selama  Juli  2023,  melalui  survei kuesioner  online.  Profil  responden  ditunjukkan pada  Tabel  1.  Kuesioner  dirancang  berdasarkan definisi  operasional  dari  variabel  penelitian. Setiap  pertanyaan  menggunakan  skala  seperti Likert tujuh poin berkisar dari sangat tidak setuju (diberi  kode  1)  hingga  sangat  setuju  (dikodekan sebagai  7),  dengan  netral  (diberi  kode  4) berfungsi  sebagai  titik  tengah.    Sebelum didistribusikan,  rancangan  kuesioner  menjalani fase  pra-pengujian  dengan  11  pengguna  aplikasi M-Commerce. Tujuannya adalah untuk memastikan kejelasan, keterbacaan, dan validitas kontennya.  Panel  ahli  yang  juga  pengguna merevisi  kuesioner  untuk  memastikan  pengguna memahami item pernyataan. Seorang ahli  adalah orang yang memiliki pengalaman dalam penelitian survei dan memiliki pemahaman yang baik  tentang  aplikasi  m-commerce.  Selanjutnya, kuesioner  menjalani  putaran  kedua  pengujian dengan 40 pengguna untuk menetapkan validitas, keandalan,  dan  penerapannya.  Tes  menunjukkan bahwa  kuesioner  yang  diperbarui  memenuhi kriteria.
Responden  survei  adalah  pengguna  m- commerce  yang  tinggal  di  Jabodetabek  dan  luar Jabodetabek,  Indonesia.  Pengambilan  sampel purposive digunakan dan tujuannya adalah untuk mendapatkan  responden  yang  lebih  tua  dari  20 tahun  dan  memiliki  pengalaman  dalam  membeli secara  online  melalui  platform  M-Commerce selama setidaknya 3 (tiga) kali. Secara total, 149 kuesioner  dikumpulkan  dan  digunakan  dan  telah memenuhi  jumlah  yang  dibutuhkan  (Wolf et  al . 2013).

## Tabel 1.
Profil Responden (n=149) No Karakteristik responden Profil Frekue nsi Persentase (%) 1 Domisili Jabodetabek Luar Jabodetabek 99 50 66,4 33,6 2 Jenis kelamin Pria Wanita
69 80 46,3
53,7 3 Usia < 25 tahun 25-44 tahun > 45 tahun 46 72 31 30,9 48,3 20,8 4 Pekerjaan Mahasiswa Mengurus Rumah Tangga
Karyawan/Pengus aha/ Profesional
Guru/Dosen
28 12 64 45
18,8 8,0 42,9 30,3 5 Pendidikan terakhir SMP/SMA Diploma/S1 S2/S3 34 68 67 22,8 45,6 31,6 6 Frekuensi menggunak an mobile commerce. Beberapa kali dalam sehari Beberapa kali dalam seminggu
Beberapa kali dalam sebulan
Beberapa kali dalam minimal 3 bulan 23 57 45
24
15,4 38,2
30,2 16,2
7 Frekuensi penggunaa n mobile commerce untuk shopping. Beberapa kali dalam sehari Beberapa kali dalam seminggu Beberapa kali dalam sebulan
Beberapa kali minimal dalam 3 bulan
10
44 63 27 6,7
29,5
42,3 21,5 8 Aplikasi mobile commerce yang sering digunakan. Tokopedia Shopee Lainnya 67 80 12 45,0 53,7 1,3 9 Frekuensi pembelian kembali produk dan di toko yang sama.
Tidak Pernah 1 sampai 5 kali 6 sampai 10 kali Diatas 10 kali 17 115 10 7 11,4 77,1 6,7 4,8

## 3.2 Pengolahan Dan Analisis Data
3.2.1 Validasi Model Pengukuran
Data  deskriptif  pada  Tabel  2  menunjukkan data  deskriptif  dari  149  data  yang  telah dikumpulkan.  Nilai Skewness dari  data  berada  di antara di  antara  -2,0  dan -0,96. Nilai Kurtosis dari data berada di antara 0,93 dan 5,8. Standar deviasi dari data berada diantara 0,870 dan 1,345. Hair et al .
(2010)  merekomendasikan  ambang  batas  nilai statistik skewness sebesar -2 sampai 2 dan kurtosis sebesar  antara  -7  sampai  7  untuk  menyimpulkan bahwa data berdistribusi normal. Berdasarkan nilai ambang  batas  tersebut,  maka  dapat  disimpulkan bahwa data penelitian berdistribusi normal univariat.
Model pengukuran dinilai berdasarkan empat kriteria utama, yaitu reliabilitas indikator, konsistensi  internal,  validitas  konvergen  dan validitas  diskriminan  (Hair et  al .,  2010).  Indikator pertama  adalah  keandalan,  yang  diuji  dengan menganalisis  ketergantungan  di  antara  indikator. Kriteria  ini  menguji  reliabilitas  indikator  dan menentukan  hubungan  antara  variabel  laten  dan indikator yang ditunjukkan oleh nilai outer loading dari  masing  -masing  indikator  dan  dianggap  layak
jika nilai minimum 0,7 (Hair et al . (2010). Tabel 2 bahwa  nilai outer  loading yang  paling  rendah adalah  0,738.  Hal  ini  berarti  seluruh  indikator berada di atas 0,7 dan menunjukkan bahwa seluruh indikator telah valid (Hair et al ., 2010).
Pengujian  reliabilitas  di  SmartPLS  3.0  dapat menggunakan  dua  metode,  yaitu  Cronbach  Alpha dan keandalan komposit. Menurut Hair et al . (2010) koefisien alpha Cronbach dan reliabilitas komposit harus lebih besar dari 0,7 meskipun nilai 0,6 masih dapat  diterima,  dan  nilai  ≥  0,8  berarti  reliabilitas dianggap  baik.  Tabel  2  menunjukkan  bahwa  nilai Cronbach  Alpha  berkisar  dari  0,826  hingga  0,908 untuk enam variabel laten, dan reliabilitas komposit berkisar  antara  0,884  hingga  0,931.  Hasil  ini menunjukkan  bahwa  model  pengukuran  sudah memiliki keandalan komposit yang baik.

## Tabel 2.
Nilai faktor loading dan statistik deskriptif dari item indikator.
Konstruk Item indikator Faktor loading Statistik deskriptif Kode Nama item Mean Std.Dev Excee Kurtosis Skewness
Efficiency Effectiveness Learnability
Loyalty
Satisfaction
Usability EFC1 EFC2 EFC3 EFE1 EFE2 EFE3 EFE4 LRN1 LRN2 LRN3 LYT1 LYT2 LYT3 LYT4 SAT3 SAT4 SAT5 SAT6 USA1 USA2 USA3 USA4 USA5 Efficiency in task execution time Resources utilization Minimum action to achieve taks. Task accomplishment Accuracy Completeness Operability Time to learn. Self descriptiness Minimum memory recall Program completeness. Internet browsing Message reminding. Accessing information Software functionality Cultural university Accessibility in satisfaction Custommer support service Ease to understand. Simplle to use. Ease to find information. Ease to navigation. Ablity of user to control 0,894 0,876 0,869 0,793 0,862 0,860 0,809 0,889 0,880 0,848 0,838 0,825 0,738 0,837 0,902 0,886 0,832 0,781 0,846 0,828 0,890 0,883 0,828 5,658 5,899 5,832 5,671 5,705 5,919 5,765 5,973 6,000 5,846 5,933 5,993 5,376 5,832 5,852 5,953 5,960 5,698 6,067 5,617 5,785 5,537 5,691 1,085 0,995 1,006 1,201 1,046 0,931 1,108 1,010 0,990 0,981 1,091 1,114 1,373 1,149 1,006 0,944 1,029 1,208 1,103 1,162 1,127 1,201 1,203 1,006 1,616 2,055 2,802 0,957 0,554 2,512 3,563 5,109 2,773 2,735 1,576 1,033 2,541 2,919 4,516 3,329 1,893 5,807 2,157 3,194 2,852 3,412 -0,969 -1,159 -1,174 -1,432 -0,947 -0,989 -1,349 -1,448 -1,678 -1,062 -1,369 -1,310 -1,081 -1,408 -1,177 -1,455 -1,412 -1,246 -2,013 -1,131 -1,388 -1,319 -1,578
Kriteria  kedua  adalah  reliabilitas  konsistensi internal  dari  model  pengukuran  yang  dievaluasi menggunakan  kriteria  nilai  reliabilitas  komposit. Nilai reliabilitas komposit untuk  semua konstruksi berkisar  antara  0,884  hingga  0,931  (Tabel  2). Dengan nilai  yang melebihi 0,5 dapat  disimpulkan bahwa  model  pengukuran  berhasil  memenuhi kriteria konsistensi internal (Hair et al ., 2010).
Kriteria  penilaian  model  pengukuran  ketiga adalah konstruk validitas konvergen, yang ditentukan  oleh  nilai  rata  -rata  varians  yang diekstraksi (AVE), dengan nilai lebih besar dari 0,5 atau menjelaskan lebih dari lima puluh persen dari variasi  indikator  (Hair et  al .,  2010).  Tabel  4 menunjukkan  nilai  AVE  untuk  semua  konstruksi (mulai dari 0,657 hingga 0,774) yang berarti bahwa model  pengukuran  memenuhi  kriteria  untuk validitas konvergen.

## Table 3.

## Nilai Faktor loading dan Crossloading
Item Effectiveness Efficency Learnability Loyalty Satisfaction Usability Maks EFC1 EFC2 EFC3 EFE1 EFE2 EFE3 EFE4 LRN1 LRN2 LRN3 LYT1 LYT2 LYT3
LYT4
SAT3 SAT4 SAT5 SAT6 USA1
USA2 USA3
USA4 USA5 0,628 0,714 0,619
0,793
0,862 0,860 0,809 0,593 0,524 0,546 0,464 0,541 0,496 0,490 0,744 0,634 0,601 0,610 0,443
0,447
0,529 0,566 0,489 0,894 0,876 0,869 0,463 0,676 0,720 0,578 0,564 0,593 0,603 0,553 0,543 0,464 0,575 0,672 0,708 0,653 0,597 0,367 0,403 0,519 0,539 0,435 0,567 0,590 0,618 0,311 0,567 0,633 0,561 0,889 0,880 0,848 0,585 0,563 0,378 0,536 0,661 0,695 0,655 0,524 0,503 0,488 0,623 0,489 0,498 0,577 0,603 0,565 0,392 0,600 0,539 0,482 0,515 0,604 0,564 0,838 0,825 0,738 0,837 0,629 0,571 0,557 0,482 0,370 0,329 0,426 0,440 0,391 0,635 0,726 0,676 0,525 0,667 0,719 0,606 0,669 0,610 0,669 0,514 0,558 0,474 0,590 0,902 0,886 0,832 0,781 0,485 0,446 0,602 0,543 0,480 0,465 0,466 0,476 0,395 0,522 0,526 0,471 0,544 0,507 0,547 0,387 0,387 0,314 0,396 0,565 0,478 0,521 0,479 0,846 0,828 0,890 0,883 0,828 0,894 0,876 0,869 0,793 0,862 0,860 0,809 0,889 0,880 0,848 0,838 0,825 0,738 0,837 0,902 0,886 0,832 0,781 0,846 0,828 0,890 0,883 0,828

## Table 4.

## Nilai Reliabilitas dan Validitas Konstruk
Konstruk Cronbach’s Alpha Rho_A Composite Reliability Average Variance Extracted (AVE) Effectiveness Efficiency Learnability Loyalty Satisfaction Usability 0,852 0,854 0,843 0,826 0,872 0,908 0,861 0,854 0,844 0,833 0,878 0,914 0,900 0,911 0,905 0,884 0,913 0,931 0,692 0,774 0,761 0,657 0,725 0,731
Kriteria  keempat  untuk  mengevaluasi  model pengukuran  adalah  validitas  diskriminan,  yang memverifikasi  kekhasan  setiap  konstruk.  Henseler et al . (2014) melakukan simulasi untuk membandingkan ketiga metode evaluasi discriminant  validity dan  menunjukkan  bahwa HTMT  mempunyai  tingkat  sensitivitas  yang  lebih tinggi  dalam  mendeteksi  adanya discriminat validity dibandingkan  dengan Fornell  Lacker Criterion dan Cross  Loading .  Penilaian  ini melibatkan tiga kriteria.
Kriteria  pertama  meneliti  hubungan  antara indikator dan konstruk, di mana nilai outer loading dari  masing-masing  indikator  pada  konstruk masing-masing  harus  lebih  tinggi  dari  nilai cross- loading dari semua konstruksi lainnya (Hair et al .,
2010).  Tabel  3  menunjukkan  nilai outer  loading
seluruh  indikator  selalu  lebih  tinggi  dibandingkan nilai cross loading dengan seluru konstruk lainnya dalam  model  pengukuran.  Hal  ini  menunjukkan bahwa  model  telah  memenuhi  kriteria  pertama untuk validitas diskriminan.  Kriteria kedua adalah kriteria Fornell Larcker, yang menjamin bahwa nilai akar  AVE  untuk  setiap  konstruk  lebih  besar  dari yang  dengan  korelasi  tertinggi  (Hair et  al .,  2010). Tabel  5  menunjukkan  nilai  AVE  seluruh  konstruk lebih tinggi dibandingkan dengan korelasi tertinggi dengan  konstruk  lainya.  Dengan  demikian  dapat disimpulkan  bahwa  berdasarkan  kedua  kriteria dalam evaluasi validitas diskriminan, dimana setiap konstruk dalam model ini sepenuhnya berbeda dari konstruk  lainnya.  Kriteria  ketiga  adalah  nilai Heterotrait  Monotrait  Ratio  (HTMT). Tabel  6 menunjukkan  bahwa  nilai  HTMT  untuk  seluruh pasangan  variabel  kurang  dari  0,90.  Hal  ini menunjukkan bahwa variabel mempunyai diskriminan yang baik.
Table 5.
Nilai Kriteria Fornell Larcker Konstruk Effec tiven ess Efficie ncy Learna bility Loyalty Satisfa ction Usabi lity Effectiveness Efficiency Learnability
Loyalty Satisfaction Usability 0,832 0,743 0,636 0,613 0,764 0,581 0,880 0,673 0,661 0,772 0,533 0,873 0,642 0,746 0,612 0,811 0,661 0,460 0,852 0,602 0,855

## Table 6.
Nilai Heterotrait Monotrait Ratio (HTMT)
Konstruk Effec tiven ess Effici ency Lear nabil ity Loyalty Satisfa ction Us abil ity Effectiveness Efficiency Learnability Loyalty Satisfaction Usability 0,859 0,734 0,724 0,875 0,652 0,793 0,785 0,896
0,601 0,764 0,867 0,694 0,774 0,526 0,670
Berdasarkan uraian diatas diketahui bahwa ke empat  kriteria  untuk  pengujian  model  pengukuran telah dipenuhi, sehingga dapat  disimpulkan bahwa model  pengukuran  telah  memenihi  syarat  untuk digunakan sebagai alat ukur.

## 3.2.2 Evaluasi Model Struktural

## 3.2.2.1 Pengujian Hipotesis
Model struktural dievaluasi dengan 4 kriteria (Hair et al ., 2017), yaitu: (1) ukuran dan signifikansi path  coefficient ,  (2)  koefisien  determinasi  (R 2 ),  3 ukuran efek f 2 , dan (4) relasi prediktif (Q 2 ). Untuk menguji  hipotesis,  signifikansi  statistik  dari koefisien jalur dievaluasi. Smart PLS3 menggunakan bootstrap untuk menghasilkan statistik  T  dan  p-values  (Hait et  al .,  2017).  Untuk pengujian  signifikansi  jalur  struktural,  subsampel bootstrap pengganti 5.000 diambil dari sampel asli.
Hasil  pengujian  hipotesis  dianalisis  menggunakan uji-t  satu  arah  dengan  ambang  signifikansi  5% (0,05).  F2  (ukuran  efek)  dari  model  penelitian menunjukkan  besarnya  pengaruh  masing  -masing konstruksi eksogen pada konstruksi endogen.
Pengujian  ada  tidaknya  multinieritas  dengan melihat  nilai  statistik  kolinieritas  ( Variance Inflation Factor /VIF) setiap predictor. Pengujian ini dilakukan karena multikolinieritas dapat menyebabkan taksiran parameter menjadi bias, nilai standard  error  besar  dan  selang  kepercayaan taksiran koefisien jalur menjadi  lebar bahkan akan berpengaruh terhadap signifikansi/tidaknya pengujian  hipotesis.  Berbagai  kriteria  dapat digunakan  untuk  menetapkan  batas  untuk  nilai kolieneritas. Misalnya, nilai yang lebih besar dari 5 menunjukkan  potensi  collinearity  (Hair et  al ., 2017).  Tabel  7  menampilkan  nilai  -nilai  faktor inflasi varians bagian dalam (VIF), dan perlu dicatat bahwa semua nilai kurang dari 5. Ini menunjukkan bahwa hasilnya tidak bias, dan tidak ada kolinearitas di antara prediktor dalam model studi pendahuluan. Selain itu, nilai korelasi variabel laten, seperti yang ditunjukkan pada Tabel 8, mendukung kesimpulan ini. Korelasi  menunjukkan tidak ada korelasi  yang kuat (> 0,9 atau <-0,9) di antara variabel laten, yang selanjutnya menegaskan tidak adanya multikolinieritas.

## Table 7.
Nilai Statistik Variance Inflation Factor (VIF)
Konstruk Effectivene ss Efficiency Learnability Loyalty Satisfaction Usability Effectiveness Efficiency Learnability Loyalty Satisfaction Usability - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2,835 3,134 2,537 2,121 3,801 -

## Table 8.

## Korelasi variabel laten
Konstruk Effectiveness Efficiency Learnability Loyalty Satisfaction Usability Effectiveness Efficiency Learnability Loyalty Satisfaction Usability 1,000 0,743 0,636 0,613 0,764 0,581 0,743 1,000 0,673 0,661 0,772 0,533 0,636 0,673 1,000 0,642 0,746 0,612 0,613 0,661 0,642 1,000 0,661 0,460 0,764 0,772 0,746 0,661 1,000 0,602 0,581 0,533 0,612 0,640 0,602 1,000
Pengujian hipotesis,  dilakukan menggunakan signifikansi  statistik  dari  koefisien  jalur.  Smart PLS3 menggunakan bootstrap untuk menghasilkan statistik  T  dan  p-values  (Hait et  al .,  2017).  Untuk pengujian  signifikansi  jalur  struktural,  subsampel bootstrap pengganti 5.000 diambil dari sampel asli. Hasil  dari  pengujian  hipotesis,  yang  dilakukan dengan  menggunakan  uji-t  satu  arah  dan  batas signifikansi  5%  (0,05),  disajikan  dalam  Tabel  9.
Tabel 10 menunjukkan kemampuan variabel independen menjelaskan variabel dependen usability adalah 42,6%.

## Table 9.
Pengujian Model Struktural: Pengaruh Langsung
Hipotesis Nilai Statistik t Nilai p Rekomendasi
H1 H2 H3 H4 H5 Efficiency → Usability Satisfaction → Usability Effectiveness → Usability
Learnability → Usability Loyalty → Usability 0,007 0,179 0,241 0,338 -0,028 0,119 1,680 2,174 3,768 0,368 0,061 ts 0,047 ** 0,015 ** 0,000 * 0,356 ts
Tolak Terima Terima Terima Tolak

## Table 10.
Nilai Koefisien determinan R 2 . Hipotesis R-square R-square adjusted Usability 0,446 0,426
Table 11. Nilai f 2
Konstruk Effecti veness Effici ency Learna bility Loy alty Satisfa ction Usabi lity Effectiveness Efficiency Learnability Loyalty Satisfaction Usability - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 0,037 0,000 0,081 0,001 0,015 -
Ukuran  efek  F2  dari  model  penelitian menunjukkan  besarnya  pengaruh  masing  -masing konstruksi eksogen pada konstruksi endogen. Tabel 11 menunjukan nilai f2 untuk efficiency, satisfaction, dan loyalty dibawah 0,02, serta nilai f2 untuk effectiveness dan learnability dan  di  antara 0,02 dan 0,15, yang berarti dinilai sebagai pengaruh yang kecil dan sedang (Hair et al ., 2017).
Evaluasi  model  struktural  dengan  kriteria Stone  Geisser’s  Q 2 (nilai  Q 2 )  untuk mengukur seberapa baik nilai observasi dihasilkan oleh model dan estimasi parameternya.  Nilai Q 2 yang bernilai lebih  besar  dari  nol  dari  suatu  konstruk  endogen menunjukkan  relevansi  prediktif  dari path (jalur) untuk  konstruk  tersebut  (Hair et  al .,  2014).  Hasil dari  proses blindfolding untuk  menilai  tingkat
relevansi prediksi model yang diusulkan ditunjukkan pada Tabel 12. Berdasarkan Tabel 12, semua  nilai  Q-square  untuk usability lebih  besar dari  0.  Dapat  disimpulkan  bahwa  prediksi  untuk usability sesuai  atau  relevan.  Nilai  Q 2 untuk usability 0,312 berada di antara 0,15 dan 0,35 yang berarti dinilai sebagai pengaruh sedang.
Table 12. Nilai prediktif relevansi (Q 2 ) Konstruk SSO SSE Q2 = 1- SSE/SSO Effectiveness Efficiency Learnability Loyalty Satisfaction Usability 596,000 447,000 447,000 596,000 596,000 745,000 596,000 447,000 447,000 596,000 596,000 512,712 0,000 0,000 0,000 0,000 0,000 0,312

## Table 13.

## Nilai Predict PLS
Item Indikator PLS SEM LM Q2 predict RMSE MAE Q2 predict RMSE MAE USA1 USA2 USA3 USA4 USA5 0,246 0,231 0,390 0,296 0,264 0,967 1,029 0,887 1,015 1,041 0,628 0,735 0,625 0,707 0,693 0,106 0,100 0,279 0,284 0,130 1,053 1,114 0,965 1,024 1,132 0,714 0,806 0,665 0,699 0,757
Tabel  13  menunjukkan  seluruh  nilai Q2 predict pada level indikator. Tabel 13 menunjukkan model PLS lebih tinggi dibandingkan dengan model LM, yang menunjukkan model PLS yang diajukan mempunyai predictive power . Bila nilai RMSE dan
MAE dari PLS SEM lebih rendah dari nilai RMSE dan MAE dari LM, menunjukkan model mempunyai predictive power yang lebih baik . Tabel 13  menunjukkan  bahwa  item  pengukuran  USA1, USA2,  USA3,  USA4,  dan  memiliki  nilai  RSME lebih  rendah  dari  model  LM.  Item  pengukuran USA1,  USA2,  USA3,  dan  USA5  model  PLS mempunyai nilai MAE lebih rendah dari model LM. Sebagian  indikator  (9  dari  10),  PLS  SEM mempunyai  nilai  RMSE  dan  MAE  lebih  rendah dibandingkan  dengan  model  regresi  linier  (LM) menunjukkan bahwa model PLS SEM mempunyai predictive power yang kuat.

## 3.2.2.2 Pengujian Kesesuaian Model
Tabel 14.
Rangkuman kesesuaian model Asesmen Nilai Kriteria d_ULS d_G SRMR
NFI
Rms Theta GoF 1,240 0,772 0,067
0,760
0,181 0,568
>0,05
>0,05 <0,08
>0,9
<0,12 >0,38
Pengujian kecocokan model dilakukan dengan menggunakan  beberapa  indeks,  termasuk  residu kuadrat  rata  -rata  akar  standar  (SRMR),  NFI,  root mean square theta (rms theta), dan goodness of fit (GOF).  Dengan  kriteria  SRMR  <0,08;  Rms  theta <0,12; NFI> 0,9; dan GoF> 0,38. Hasilnya, seperti yang disajikan pada Tabel 14, menunjukkan bahwa RMS  theta  atau  root  rata  -rata  nilai  theta  square 0,181  adalah  sekitar  0,12,  dan  nilai  NFI  0,760 dianggap  cukup  sesuai.  Berdasarkan  dua  penilaian model  ini,  hampir  memenuhi  persyaratan  kriteria kecocokan  model.  Model  ini  sesuai  berdasarkan nilai  SRMR,  0,067<0,10.  Jadi,  dapat  disimpulkan bahwa  model  sesuai  dengan  data.  Akhirnya  nilai GOF dari model penelitian yang 0,568 menunjukkan  bahwa  model  ini  memiliki  tingkat kelayakan yang tinggi (Tenenhaus et al ., 2005).

## 4.  DISKUSI
Pengujian  model  pengukuran  yang  telah dilakukan untuk mendapatkan kualitas model yang dikembangkan,  seberapa  baik  konstruk-konstruk yang  diukur,  dan  seberapa  baik  model  tersebut menjelaskan  hubungan  antar  variabel-variabelnya. Hasil studi membuktikan bahwa model pengukuran yang digunakan valid untuk digunakan sebagai alat ukur, dengan memenuhi seluruh kriteria yang telah ditetapkan (Hair et al ., 2010; 2017).
Penelitian ini menunjukkan bahwa berdasarkan  persepsi  pengguna effectiveness, satisfaction, dan learnability secara  signifikan adalah tiga aspek dari sistem mobile commerce yang diperlukan  untuk  penggunaan m-commerce yang efisien. Learnability ditemukan terkait erat dengan
usability.  Hasil  ini  sejalan  dengan  hasil  penelitian sebelumnya di ponsel (Nielsen, 2012). Learnability mempunyai  pengaruh  yang  terkuat  terhadap usability. Hal  ini  mengindikasikan  bahwa  suatu aplikasi dengan atribut learnability (yang dijelaskan dengan  waktu,  self  deskriptiveness,  dan  langkah minimum) yang baik, akan memberikan pemahaman yang baik kepada pengguna mengenai pemakaian aplikasi, dan membawa hal yang positif terhadap kenyamanan pengguna ketika menggunakan  aplikasi  dengan  tepat  sesuai  dengan tujuannya.
Effectiveness ditemukan  terkait  erat  dengan usability .  Hasil  ini  sejalan  dengan  hasil  penelitian sebelumnya  (Dawood et  al .,  2020;  Gupta et  al ., 2017, 2020). Effectiveness (yang dijelaskan dengan penyelesaian tugas, hasil yang akurat, ketersediaan informasi dan proses) akan memberikan pemahaman yang baik kepada pengguna mengenai pemakaian aplikasi, dan membawa hal yang positif terhadap usability pengguna  ketika  menggunakan aplikasi dengan tepat sesuai dengan tujuannya.
Hasil  penelitian  juga  menunjukkan  bahwa Satisfaction ditemukan terkait erat dengan usability , sejalan  dengan  hasil  penelitian  sebelumnya (Ramanayaka et  al .,  2018;  Dawood et  al .,  2020; Sudjana  &  Sfenrianto,  2020).  Faktor satisfaction yang  baik  (digambarkan  dengan  hasil  yang  baik, proses yang berjalan lancar, kemudahan mengakses layanan,  dan  dukungan  layanan  bila  terdapat masalah)  akan  memberikan  kepuasan  tersendiri bagi pengguna ketika menggunakan aplikasi.
Dengan  kata  lain  aplikasi  yang  mempunyai kemampuan untuk membantu pembelajaran pengguna,  agar  mudah  dipahami,  dapat  digunakan untuk  mencapai  tujuan  penggunaan  yang  sesuai, serta dapat memberikan kepuasan ketika pengguna menggunakannya, secara keseluruhan akan berdampak  baik  terhadap usability penggunaan aplikasi tersebut oleh pengguna.
Namun  penelitian  ini  membuktikan  bahwa efficiency (digambarkan  dengan  penyelesaian transaksi,  akurasi,  kelengkapan,  dan  operabilitas) tidak  berpengaruh  terhadap usability .  Hasil  ini bertentangan  dengan  hasil  penelitian  terdahulu (Dawood et al ., 2020). Hal ini menunjukkan bahwa pada  penelitian  ini,  perbaikan  efisiensi  tidak  akan secara  langsung  mempengaruhi  tingkat usability . Demikian juga hasil hipotesis menunjukkan bahwa konteks,  variabel  tambahan,  dan  faktor-faktor  lain dapat  memengaruhi  hubungan  antara efisiensi dan usability dalam  situasi  tertentu.  Oleh  karena  itu, penting  untuk  mempertimbangkan  berbagai  faktor yang relevan pada penelitian selanjutnya.
Hasil penelitian ini juga menunjukkan bahwa loyalty (digambarkan  oleh  kelengkapan  program, kemudahan  internet,  fasilitas  pengingat,  dan  akses
materi) tidak berpengaruh terhadap usability. Hasil ini  bertentangan  dengan  hasil  penelitian  terdahulu (Sudjana & Sfenrianto, 2020). usability aplikasi m- commerce  dapat  ditentukan  oleh satisfaction, effectiveness, dan learnability .  Lebih  lanjut, penelitian ini menyoroti bahwa learnability adalah faktor  yang  memiliki  pengaruh  terkuat  pada usability , diikuti oleh effectiveness, dan satisfaction . Nilai R-square usability 0,426 menunjukkan bahwa 42,6% usability dijelaskan  oleh  variabel  prediktor yang merupakan effectiveness, satisfaction, efficiency, learnability, dan loyalty .

## 4.1 Implikasi Manajerial
Mempertimbangkan pentingnya faktor usability  yang  berbeda  untuk  tujuan  sistem tertentu,  usability  menjadi  aspek  penting  yang dievaluasi selama proses pengembangan perangkat  lunak,  untuk  memastikan  penggunaan produk yang berkelanjutan (Dawood et al ., 2020). Pengembang  aplikasi  mobile  commerce  harus memastikan bahwa effectiveness saat menggunakan aplikasi mobile commerce dianggap tepat. Dalam hal ini pengembang dapat merancang  aplikasi  dengan  antarmuka  pengguna yang intuitif, navigasi yang mudah, dan fitur-fitur yang  dapat  digunakan  dengan  cepat  dan  tepat. Strategi ini  akan meningkatkan tingkat  kepuasan dan penggunaan aplikasi.
Selain  itu, satisfaction yang  dijelaskan  oleh antara  lain  navigasi,  aksesibilitas,  dan  lokasi  yang mudah  dan  efisien  juga  harus  diatasi  dengan  baik. Tingginya satisfaction yang  dirasakan  pengguna dapat  meningkatkan  kemampuan  pengguna  untuk mengubah  struktur  lingkungan  dan  mengontrol konten  secara  real-time.  Untuk  alasan  ini, pengembang  harus  mengembangkan  aplikasi  yang mendukung hasil yang baik, proses berjalan lancar, kemudahan  mengakses  layanan,  dan  dukungan layanan  untuk  memudahkan  pengguna  untuk digunakan. Dengan meningkatkan tingkat kepuasan pengguna akan menyebabkan peningkatan usability. Pemangku kepentingan dapat memperkuat  keinginan  penggunaan  pengguna terhadap  produk  atau  layanan.  Pengguna  yang merasa  puas  dan  mudah  menggunakan  produk cenderung  untuk  tetap  menggunakan  produk tersebut dan bahkan merekomendasikannya kepada orang lain.
Learnability menunjukkan  kapasitas  aplikasi untuk  mendukung  pengguna  untuk  memahami, memperoleh,  dan  mengingat  pengoperasian  sistem aplikasi mobile  commerce .  Juga  sangat  penting untuk  meningkatkan  pembelajaran  sistem  dengan mempertimbangkan penarikan yang mudah, langkah-langkah  logis,  dan  kelengkapan  saat mengembangkan aplikasi mobile commerce . Mengingat  perkembangan  teknologi  aplikasi  yang begitu  pesat,  maka  pengembang dituntut  secara
terus-menerus mengedukasi pengguna tentang fitur- fitur  baru  atau  perubahan  dalam  aplikasi  yang mereka gunakan. Panduan yang jelas dan up to date dapat membantu mempercepat proses pembelajaran dan meningkatkan tingkat learnability.
Terkait dengan efficiency , hasil penelitian ini menjadi  masukkan  untuk  tim  pengembangan produk,  manajemen,  dan  pemangku  kepentingan lainnya,  untuk  menentukan  aplikasi mobile commerce memenuhi  standar efficiency dan usability pengguna. Demikian  juga  untuk  l oyalty . Hasil  peneltiian  ini  dapat  menjadi  masukan  untuk penelitian  selanjutnya,  seperti:  mengumpulkan umpan balik lebih lanjut dari pengguna, melakukan studi  perbandingan  dengan  produk  atau  layanan pesaing,  atau  mengadakan  pengujian  pengguna untuk  memahami  lebih  baik  bagaimana loyalitas
dan usability saling berinteraksi.

## 5. KESIMPULAN
Studi  ini  memberikan  bukti  empiris  bahwa kombinasi  atribut  yang  komprehensif  dapat menentukan usability aplikasi  mobile  commerce. Berdasarkan  literatur,  penelitian  ini  mengusulkan kombinasi  komprehensif  atribut usability ,  yang terdiri  dari  atribut  dari  aspek  effectiveness, satisfaction,  efficiency,  learnability,  dan  loyalty untuk  mengakomodir  tujuan  peningkatan  sistem dengan mempertimbangkan keloyaan dan pembelajaran  untuk  pengguna.  Hasil  penelitian  ini menunjukkan  bahwa  preferensi  pengguna  yang digunakan  untuk  menilai  model  pengukuran  dari model yang dikembangkan. Model  pengukuran ini telah terbukti sebagai alat ukur yang valid. Temuan juga mengungkapkan bahwa effectiveness, satisfaction,  dan  learnability  mempunyai  pengaruh terhadap usability aplikasi  ini,  yang  sesuai  dengan penelitian  terdahulu.  Namun  hasil  menunjukkan bahwa efficiency dan loyalty tidak  berpengaruh terhadap usability . Model ini juga mengidentifikasi indikator dominan yang mempengaruhi setiap tahap teknik atribut atribut usability . Kelemahan penelitian  ini  adalah  bahwa loyalty tidak berpengaruh  terhadap usability aplikasi mobile commerce .  Namun,  penelitian  tentang  atribut loyalty untuk  menentukan usability dalam  aplikasi mobile commerce jarang dilakukan, dan dapatmenjadi peluang untuk penelitian selanjutnya. Temuan  penelitian  ini  memberikan  wawasan teoretis dan praktis yang akan membantu  berbagai pihak  yang  terlibat  dalam  pengembangan  aplikasi seluler.

## 6. REFERENCE
1. Abushar k, Y. B., Khan, A. I., Alsolami, F. J., Almalawi,  A.,  Alam,  M.  M.,  Agrawal,  A., Kumar,  R.,  &  Khan,  R.  A.  2021.  Usability Evaluation  through  Fuzzy  AHP-TOPSIS
Approach:  Security  Requirement  Perspective. Computers,  Materials  and  Continua ,  68(1): 1203–1218.
2. Bowen, J. T., & Chen, S. 2001. The relationship between  customer  loyalty  and  customer satisfaction. International
Journal of
Contemporary Hospitality Management , 13(5): 213–217.
3. Casaló,  L.,  Flavián,  C.,  &  Guinalíu,  M.  2008. The  role  of  perceived  usability,  reputation, satisfaction  and  consumer  familiarity  on  the website  loyalty  formation  process. Computers in Human Behavior , 24 (2): 325–345.Coursaris, C. K. & Kim, D. J. 2006. A qualitative review of  empirical  mobile  usability  studies. Paper presented at the 2006 Americas Conference on Information Systems (AMCIS ).
4. Coursaris, C. K. & Kim, D. J., 2011. A Meta- Analytical  Review  of  Empirical  Mobile Usability Studies, Journal of Usability Studies , 6(3): 117-171.
5. Dawood,  K.  A.,  Sharif,  K.  Y.,  Ghani,  A.  A., Zulzalil,  H.,  Zaidan,  A.  A.  &  Zaidan,  B.  B. 2020.  Towards  a  unified  criteria  model  for usability  evaluation  in  the  context  of  open source  software  based  on  a  fuzzy  Delphi method, Information and Software Technology , 130: 106453.
6. Gupta, D.; Ahlawat, A.; Sagar, K. A. 2014. A critical  analysis  of  a  hierarchy-based  usability model. 2014  International  Conference  on Contemporary  Computing  and  Informatics (IC3I ) : 255-260
7. Gupta,  D.,  Ahlawat,  A.  &  Sagar,  K.  2017. Usability  prediction  and  ranking  of  SDLC models  using  fuzzy  hierarchical  usability model. Open Engineering , 7(1 ) : 161-168.
8. Hair,  J.  F.,  C.  Black,  W.,  J.  Babin,  B.  &  E. Anderson, R. 2010. Multivariate Data Analysis (7th Edition)
9. Hair,  J.F.,  Hollingsworth,  C.L.H.,  Randolph, A.B. &  Chong, A.Y.L. 2017. An updated and expanded assessment of PLS-SEM in information  systems  research, Industrial Management  &  Data  Systems ,  117(3):  442- 458.
10. Hasan,  L.  A., &  Al-Sarayreh,  K. T.  2015.  An Integrated Measurement Model for Evaluating Usability Attributes. November : 1–6.
11. Henseler,  J.,  Ringle,  C.  M.,  &  Sarstedt,  M. 2014.  A  New  Criterion  for  Assessing Discriminant  Validity  in  Variance-Based Structural  Equation  Modeling. Journal  of  the Academy of Marketing Science , 43: 115-135. 12. Jeng, J. 2004. What Is Usability in the Context of the Digital Library. Information Technology and Libraries , 24(2): 47–57.
13. Ji,  Y.  G.,  Park,  J.  H.,  Lee,  C.,  &  Yun,  M.  H. 2006.  A  usability  checklist  for  the  usability evaluation  of  mobile  phone  user  interface.
International  Journal  of  Human-Computer Interaction , 20(3): 207–231.
14. Lee, Y., &  Kozar, K. A. 2012. Understanding of website usability: Specifying and measuring constructs  and  their  relationships. Decision Support Systems , 52(2): 450–463.
15. Muqtadiroh, F. A., Astuti, H. M., Darmaningrat, E. W. T., & Aprilian, F. R. 2017. Usability  Evaluation  to  Enhance  Software Quality of Cultural Conservation System Based on  Nielsen  Model  (WikiBudaya). Procedia Computer Science , 12 4 : 513–521. 16. Nelson,  R.,  &  Staggers,  N.  (2016).  Health Informatics - E-Book:&nbsp;An Interprofessional Approach. In Health Informatics - E-Book .
17. Nielsen, C.M., Overgaard, M., Pedersen, M.B., Stage  J.  &  Stenild,  S.  2006.  It’s  worth  the Hassle!:  the  added  value  of  evaluating  the usability  of  mobile  systems  in  the  field. In: NordiCHI ’06: Proceedings of the 4th Nordic Conference on Human-Computer Interaction.
18. Pawestri,  R.H.,  Az-Zahra,  H.  M.,  &  Rusydi, A.N. 2019. Evaluasi Usability Aplikasi Mobile menggunakan  Usability  Testing  dan  System Usability  Scale  (SUS)  (Studi  Kasus:  SOCO, Althea  dan  Sephora), Jurnal  Pengembangan Teknologi  Informasi  dan  Ilmu  Komputer , 3(10): 9883–9891.
19. Ramanayaka, K. H. 2018. Identifying Dimensions  and  Their  Measuring  Items  for Library Website Usability Acceptance Model: Instrument  Development  and  Validation. Journal of Computers , 13(7):  750–760.
20. Saputri, I. S. Y., Fadhli, M. & Surya, I. 2017. Penerapan  Metode  UCD  (User  Centered Design)  Pada  E-Commerce  Putri  IntanShop Berbasis Web, Jurnal Nasional Teknologi dan Sistem Informasi , 3(2):269–278
21. Singh,  T.,  Malik,  S.  &  Sarkar,  D.  2016.  E- commerce website quality assessment based on usability, 2016  International  Conference  on Computing,  Communication  and  Automation (ICCCA) : 101–105.
22. Sudjana, A. R. L., & Sfenrianto. 2020. A Model of  Factors  Influencing  E-learning  Usability  in Toastmasters International. International
Journal of Recent Technology and Engineering (IJRTE) , 8(6): 327–332.
23. Thakur,  R.  2016.  Understanding  Customer Engagement  and  Loyalty:  A  Case  of  Mobile Devices for Shopping, Journal of Retailing and Consumer Services , 32: 151–163.
24. Tullis,  T.  &  Albert,  A.  2013. Measuring  the user  experience  collecting,  analyzing,  and presenting  usability  metrics ,  2 nd Edition. Morgan Kaufmann, Waltham
25. Tenenhaus, M., Vinzi, V. E., Chatelin, Y. M., &  Lauro,  C.  2005.  PLS  path  modeling, Computational  Statistics  and  Data  Analysis , 48(1): 159-205.
26. Wolf, E. J., Harrington, K. M., Clark, S. L., & Miller, M. W. 2013. Sample Size Requirements for Structural Equation Models: An Evaluation of  Power,  Bias,  and  Solution  Propriety, duc Psychol Meas , 73(6): 913–934.