## Jurnal Sains dan Teknologi
Volume 12 Number 3, Tahun 2023, pp. 603-612 P-ISSN: 2303-3142 E-ISSN: 2548-8570 Open Access: https://doi.org/10.23887/jstundiksha.v12i3.68362

## A R T I C L E   I N F O
Article history: Received July 12, 2023 Accepted October 10, 2023 Available online October 25, 2023
Kata Kunci: Kepuasan Pelanggan, Loyalitas Pelanggan, Kualitas Pelayanan Elektronik, Segel Keamanan Elektronik, R Shiny
Keywords: Customer Satisfaction, Customer Loyalty, Electronic Service Quality, Electronic Security Seals, R Shiny.
This is an open access article under the CC BY-SA license.
Copyright © 2023 by Author. Published by Universitas Pendidikan Ganesha.

## Implementasi  Metode  SEMPLS,  CSI,  dan  CLI  untuk Pengukuran  Loyalitas  Pelanggan  Shopee  Menggunakan  R Shiny
Cintika Oktavia 1 *, Budi Warsito 2 , Vincensius Gunawan Slamet Kadarrisman 3
1,2,3 Sistem Informasi, Universitas Diponegoro, Semarang, Indonesia

## A B S T R A K
Teknologi  informasi  digunakan  di  industri  perdagangan  online,  Indonesia memiliki  shopee  sebagai  industri  perdagangan  online.  Shopee  marketplace terbesar  dan  paling  populer  di  Indonesia,  menjadi  pilihan  utama  bagi  banyak konsumen,  dan  mendapatkan  tingkat  kepuasan  pelanggan  yang  tinggi.  Tingkat kepuasan yang  tinggi  belum  menjamin  Shopee  memiliki  loyalitas  pelanggan  hal ini dilihat dari banyaknya ulasan pelanggan yang masih membandingkan Shopee dengan marketplace lain. Pengujian yang dilakukan untuk membuktikan apakah tingkat kepuasan yang tinggi dapat membentuk loyalitas pelanggan pada shopee, dengan analisis yang melibatkan pengaruh kualitas layanan elektronik dan segel keamanan  elektronik.  Aplikasi  dibagun  menggunakan  pakcet  R  shiny  dari  R Studio dengan metode structural equation model partial least square, customer satisfaction  index  dan  customer  loyalty  index.  Penelitian  menggunakan pendekatan  kuantitatif  yaitu  data  yang  digunakan  berupa  data  primer  yang diperoleh langsung dari kuesioner. Data penelitian diperoleh melalui penyebaran kuesioner  yang  diberikan  kepada  200  orang  pelanggan  yang  sudah  pernah melakukan  pembelian  di  Shopee  yang  disebarkan  melalui  Telegram.  Hasil penelitian  menunjukkan  kualitas  layanan  elektronik  dan  segel  keamanan elektronik  berpengaruh  positif  dan  signifikan  terhadap  kepuasan  pelanggan. Hasil  pengukuran  tingkat  kepuasan  pelanggan  menunjukkan  tingkat  pada kategori  “Sangat  Puas”  dan    hasil  pengukuran  tingkat  loyalitas  pelanggan  yang menunjukkan  tingkat  pada  kategori  “Sangat  Loyal”.  Hasil  evaluasi  yang  telah dilakukan mengindikasikan bahwa Shopee telah berhasil memenuhi dengan baik kebutuhan pelanggan, yang dicerminkan hasil pengukuran tingkat loyalitas yang tinggi di antara pelanggan dengan Shopee.

## A B S T R A C T
Information technology is used in the online trading industry. Indonesia has Shopee as an online trading industry. Shopee is the largest and most popular marketplace in Indonesia, the leading choice for many consumers, and has high customer satisfaction. A high level of happiness does not guarantee that Shopee has customer loyalty. This can be seen from the many customer reviews comparing Shopee with other marketplaces. The test was carried out to prove whether a high level of satisfaction can form customer loyalty to Shopee, with an analysis involving the influence of electronic service quality  and  electronic  security  seals.  The  application  was  built  using  the  R  shiny  package  from  R  Studio  with  the structural  equation  model  partial  least  square  method,  customer  satisfaction  index  and  customer  loyalty  index.  The research uses a quantitative approach. Namely, the data used is primary data obtained directly from the questionnaire. Research data was obtained by distributing questionnaires to 200 customers who purchased on Shopee via Telegram. The research  results  show  that  electronic  service  quality  and  security  seals  positively  and  significantly  affect  customer satisfaction. The results of measuring the level of customer satisfaction show a class in the "Very Satisfied" category, and the  effects  of  measuring  the  level  of  customer  loyalty  show  a  course  in  the  "Very  Loyal"  category.  The  results  of  the evaluation  that  have  been  carried  out  indicate  that  Shopee  has  succeeded  in  meeting  customer  needs  well,  which  is reflected in the results of measuring the high level of loyalty between customers and Shopee.

## 1. PENDAHULUAN
Kemajuan  teknologi  informasi  telah  menjadi  pendorong  utama  dalam  revolusi  industri perdagangan  online.  Perkembangan  teknologi  informasi  membuka  peluang  besar  untuk  menciptakan platform e-commerce yang  inovatif,  mengubah  paradigma  berbelanja,  dan  mengubah  cara  pelanggan berinteraksi  dengan  produk  dan  layanan (Orinaldi,  2020;  Rymarczyk,  2021) .  Dengan  kemampuan teknologi  informasi  yang  terus  berkembang, e-commerce dapat  beroperasi  dengan  lebih  efisien  dan responsif, memberikan pelanggan akses mudah  ke  berbagai toko online  melalui  aplikasi dan situs  web. Pemanfaatan  analisis  data,  sistem  logistik  otomatis,  dan  pembayaran  digital  yang  aman  telah  secara
signifikan  meningkatkan  pengalaman  pelanggan.  Teknologi  informasi  juga  berperan  penting  dalam meningkatkan keamanan transaksi untuk melawan penipuan dan serangan siber (Dewantoro & Dian Alan Setiawan SH, 2023; Xu et al., 2020) . Dukungan sistem otomatis dan chatbots telah membawa perbaikan yang substansial dalam pelayanan pelanggan (Hanifa et al., 2023; Nazaruddin et al., 2022) . Shopee sebagai salah  satu  platform  e-commerce  terkemuka  di  Indonesia,  menggabungkan  teknologi  informasi  sebagai elemen  kunci  dalam  menjalankan  bisnisnya.  Melalui  kreativitas  dan  integrasi  teknologi  informasi  yang bijak, Shopee telah berhasil menjadi salah satu e-commerce yang paling diminati dan dikenal secara luas di Indonesia (Azizah & Aswad, 2022; Hermawan, 2023) . Teknologi informasi yang digunakan Shopee belum sepenuhnya  mampu  memenuhi  kepuasan  pelanggan  dan  menciptakan  loyalitas  pelanggan  yang  kuat, terbukti dari komentar pelanggan yang mengulas pengalaman mereka dengan aplikasi Shopee (Ginting et al.,  2023;  Pasaribu  et  al.,  2022) .  Selain  itu,  masih  ada  pelanggan  yang  secara  terbuka  membandingkan Shopee dengan platform e-commerce lain (Emmanuela et al., 2023; Nurakhmawati et al., 2022) . Terdapat pengaruh positif yang signifikan dari kualitas layanan terhadap kepuasan pelanggan dan juga berdampak positif  mempengaruhi  loyalitas  pelanggan (Pasaribu  et  al.,  2022;  Pradana,  2018) .  Kepuasan  pelanggan memiliki dampak yang signifikan pada tingkat retensi pelanggan yang lebih tinggi, mendorong pembelian berulang, dan memicu promosi positif melalui rekomendasi dari pelanggan (Fachriyan et al., 2022; Yanuar et al., 2017) .  Hal ini menjadikan kepuasan pelanggan  faktor kunci dalam konteks platform e-commerce seperti  Shopee.  Kepuasan  pelanggan  dapat  menjadi  awal  untuk  mengembangkan  loyalitas  pelanggan. Pelanggan  merasa  puas  pada  pengalaman  dan  layanan  yang  diberikan  cenderung  mempertimbangkan untuk tetap berhubungan dengan perusahaan atau layanan yang sama di masa depan (Prasyanti et al., 1 C.E.; Yo et al., 2021) . Kepuasan pelanggan dapat menjadi awal untuk mengembangkan loyalitas pelanggan. Loyalitas  pelanggan  dapat  tumbuh  melalui  kepuasan  pelanggan  yang  dipengaruhi  oleh  sejumlah  faktor, termasuk  pengaruh  kualitas  pelayanan  elektronik  dan  segel  keamanan  elektronik (Avania  &  Widodo, 2022; Nurakhmawati et al., 2022) .
Kualitas  layanan  elektronik  dan  segel  keamanan  elektronik  memiliki  peran  penting  dalam mempengaruhi  kepuasan  pelanggan  dan  loyalitas  pelanggan  di platform  e-commerce (Liu  &  Kao,  2021; Sudirjo et al., 2023) . Kualitas layanan elektronik yang tinggi, seperti deskripsi sistem yang jelas, kecepatan akses, dan antarmuka pengguna yang responsif, meningkatkan pengalaman pelanggan (Lee et al., 2022; Liu & Kao, 2021) . Ketika pelanggan merasa dapat dengan mudah menjelajahi e-commerce dan melakukan transaksi  dengan  lancar,  kepuasan  pelanggan  meningkat.  Segel  keamanan  elektronik  yang  kuat  dalam perlindungan  data  pribadi  dan  keuangan  pelanggan,  memberikan  rasa  percaya  diri  kepada  pelanggan (Jain et al., 2021; Orinaldi, 2020) . Pelanggan merasa aman dalam bertransaksi dan tidak khawatir tentang potensi ancaman seperti pencurian identitas. Kepuasan pelanggan yang tinggi dan rasa percaya diri dalam keamanan transaksi cenderung mengarah pada loyalitas pelanggan yang kuat (Błaśkiewicz & Kutyłowski, 2022; Nurakhmawati et al., 2022) . Pelanggan yang puas dan merasa aman cenderung tetap menggunakan platform tersebut untuk pembelian berulang, berkontribusi pada retensi pelanggan yang lebih baik, dan mempromosikan  e-commerce  sebagai  rekomendasi (Le  et  al.,  2023;  Rafiah,  2019) .  Oleh  karena  itu, kualitas  layanan  elektronik  yang  baik  dan  segel  keamanan  yang  kuat  adalah  faktor  penting  yang  dapat menciptakan  pengalaman  positif  dan  membangun  hubungan  jangka  panjang  dengan  pelanggan  di platform e-commerce (Camilleri & Filieri, 2023; Praseptiawan et al., 2022)
Dalam  era  perdagangan  online  yang  semakin  berkembang  pesat,  pemahaman  tentang  faktor- faktor  yang  mempengaruhi  kepuasan  dan  loyalitas  pelanggan  sangat  krusial.  Penelitian  ini  berfokus mengidentifikasi faktor pelayanan yang dianggap memiliki dampak signifikan dalam membentuk tingkat kepuasan pelanggan. Manfaat dari penelitian ini diharapkan dapat memberikan pandangan bagi Shopee dan  bisnis  serupa  dalam  memahami  bagaimana  kualitas  layanan  elektronik  dan  segel  keamanan elektronik dapat meningkatkan tingkat kepuasan pelanggan, yang dapat membentuk loyalitas pelanggan yang  berkelanjutan.  Metode yang digunakan untuk mengukur loyalitas pelanggan  melibatkan structural equation  model  partial  least  squares (SEMPLS), customer  satisfaction  index (CSI),  dan customer  loyalty index (CLI). Untuk melakukan analisis data, mengembangkan sebuah aplikasi berbasis web menggunakan perangkat lunak R Studio dan paket R Shiny. Penelitian ini memiliki tujuan untuk mengevaluasi dampak kualitas  layanan  elektronik  dan  segel  keamanan  elektronik  terhadap  tingkat  loyalitas  dan  kepuasan pelanggan dalam konteks platform e-commerce Shopee. Manfaat dari penelitian ini adalah memberikan wawasan  yang  lebih  mendalam  tentang  tingkat  kepuasan  dan  loyalitas  pelanggan  terhadap  platform Shopee,  sejauh  mana  teknologi  informasi  telah  diterapkan  dalam  konteks  e-commerce,  dan  betapa pentingnya  penyesuaian  teknologi  informasi  dengan  kebutuhan  pelanggan  dalam  meningkatkan pengalaman berbelanja secara online.

## 2. METODE
Penelitian  ini  mengikuti  prosedur  penelitian  yang  ketat  dan  terstruktur,  dimulai  dari  tahap perumusan  masalah,  studi  literatur,  penentuan  populasi  dan  sampel,  pengumpulan  data,  analisis  data, evaluasi dan hasil, dan yang terakhir pembuatan laporan. Gambar alur prosedur penelitian dapat dilihat Gambar 1 .
Gambar 1. Skema Prosedur Penelitian
Penelitian ini melibatkan 200 pelanggan Shopee yang telah melakukan pembelian melalui aplikasi Shopee  dan  menggunakan  pendekatan  kuantitatif.  Data  utama  dikumpulkan  melalui  kuesioner  dengan menggunakan  Google  Forms,  yang  berisi  serangkaian  pernyataan  dengan  skala  Likert  untuk  mengukur tingkat persetujuan atau ketidaksetujuan responden. Data numerik dari kuesioner disimpan di Excel dan kemudian  diolah  dalam  aplikasi  untuk  mendapatkan  pemahaman  yang  lebih  dalam  tentang  hubungan antara  kualitas  layanan  elektronik,  segel  keamanan  elektronik,  kepuasan  pelanggan,  dan  loyalitas pelanggan  di  platform  e-commerce  Shopee.  Perumusan  masalah  penelitian  berfokus  pada  pengaruh kualitas pelayanan elektronik dan segel keamanan elektronik kepada kepuasan pelanggan, dan kepuasan pelanggan  apakah  memiliki  pengaruh  kepada  loyalitas  pelanggan  Shopee.  Penelitian  ini  menggunakan metode SEMPLS, CSI dan metode CLI. Penelitian mengembangkan sistem pengukuran loyalitas pelanggan melalui platform R Shiny untuk memudahkan analisis dan visualisasi hasil.  Variabel yang menjadi dasar dalam penelitian ini terdiri dari variabel laten kualitas pelayanan elektronik, segel keamanan elektronik, kepuasan  pelanggan,  dan  loyalitas  pelanggan.  Variabel  diukur  menggunakan  indikator  sebanyak  17 indikator  variabel  digunakan  dalam  penelitian  ini  dan  dihubungkan  dengan  variabel  laten.  Skala pengukuran  yang  digunakan  adalah  skala  Likert  dengan  empat  kategori  jawaban:  sangat  setuju  (SS), setuju  (S),  tidak  setuju  (TS),  dan  sangat  tidak  setuju  (STS),  masing-masing  dengan  bobot  skor  tertentu. Setiap  kategori  jawaban  memiliki  bobot  skor  tertentu,  yang  memberikan  nilai  numerik  pada  jawaban responden. Bobot skor ini dirincikan dalam Tabel 1 .
Tabel 1. Bobot Skor Skala Likert
Pertanyaan Skor Sangat Setuju 4 Setuju 3 Tidak Setuju 2 Sangat Tidak Setuju 1
Analisis  data  menampilkan  demografi  responden  dari  jenis  kelamin  dan  usia  yang  diukur menggunakan perangkat Excel, dan hasil analisis akan disajikan dalam bentuk diagram pie chart. Hasil pie chart yang ditampilkan secara visual menggambarkan perbandingan antara jenis kelamin dan kelompok usia responden. Analisis data juga melibatkan penyajian jawaban dari responden. Setiap variabel dalam kuesioner  dianalisis  dan  hasilnya  dipresentasikan  dalam  bentuk  diagram  skala  pengukuran.  Evaluasi penelitian  dimulai  dari  evaluasi  SEMPLS.  Tahap  awal  dalam  SEMPLS  adalah  merancang  model pengukuran selanjutnya dirancang model strukturalnya. Tahap kedua dilakukan pengukuran model outer
model  dan  inner  model,  dari  hasil  pengukuran  model  akan  ditarik  kesimpulan  untuk  membangun hipotesis  penelitian.  Hasil  evaluasi  SEMPLS  digunakan  untuk  mengukur  tingkat  kepuasan  pelanggan dengan  metode  CSI  selanjutnya  dilakukan  evaluasi  CLI  untuk  mendapatkan  hasil  pengukuran  tingkat loyalitas pelanggan. Pelaksanaannya menggunakan sebuah sistem berbasis R Shiny yang telah dibagungun untuk  memberikan  hasil  evaluasi  yang  akurat  dan  relevan  pada  penelitian.  Tahap  terakhir  dalam penelitian  adalah  penyusunan  laporan  penelitian.  Pembuatan  laporan  ini  melibatkan  penjelasan  secara rinci  tentang  seluruh  proses  penelitian,  dari  langkah  awal  hingga  hasil  analisis  yang  diperoleh berdasarkan pengolahan data yang telah dilakukan selama penelitian.

## 3. HASIL DAN PEMBAHASAN

## Hasil
Pengembangan  aplikasi  pengukuran  loyalitas  pelanggan  menggunakan  R  Shiny  telah menghasilkan enam halaman utama yang berfungsi untuk melakukan perhitungan dan evaluasi. Halaman pertama adalah home dan halaman kedua merupakan halaman analisis deskriptif yang berfungsi sebagai gambar  umum  tentang  data  dan  mengidentifikasi  pola  atau  tren  yang  mungkin  ada  dalam  data.  Dapat dilihat pada Gambar 2 dan Gambar 3 .
Gambar 2. Halaman Home
Gambar 3. Halaman Analisis Deskriptif
Halaman  ketiga  adalah  halaman  pengukuran  loyalitas  pelanggan  dengan  SEMPLS,  dimana pengguna  dapat  mengukur  tingkat  loyalitas  pelanggan  menggunakan  metode  SEMPLS.  Pengguna  dapat melakukan  analisis  dengan  menginputkan  model  pengukuran  dan  model  struktural  yang  diuji.  Hasil perhitungan  SEMPLS  terbagi  menjadi  tujuh  bagian  utama.  Halaman  keempat  adalah  pengukuran kepuasan pelanggan, yang memungkinkan pengguna untuk melakukan pengukuran kepuasan pelanggan. Di  halaman  ini,  ID  dari  setiap  indikator  yang  digunakan  dalam  analisis  SEMPLS,  lengkap  dengan  nilai loading  yang  menggambarkan  kontribusi  indikator  terhadap  variabel  laten  yang  diukur  dan  hasil pengukuran Indeks Kepuasan Pelanggan disajikan dalam bentuk tabel. Dapat dilihat pada Gambar 4 dan Gambar 5 .
Gambar 4. Halaman Pengukuran SEMPLS
Gambar 5. Halaman Customer Satisfaction Index
Halaman  kelima  adalah  pengukuran  loyalitas  pelanggan,  yang  memfasilitasi  pengguna  dalam mengukur loyalitas pelanggan secara langsung. Pengguna dapat memasukkan data nilai Indeks Kepuasan Pelanggan  (CSI)  dari  halaman  sebelumnya.  Informasi  mengenai  ID  indikator  serta  nilai  loading  dari analisis  SEMPLS  juga  dipresentasikan  dalam  halaman  ini.  Hasil  perhitungan  ditampilkan  dalam  bentuk tabel. Halaman keenam adalah informasi, yang memberikan pengguna penjelasan lebih lanjut mengenai aplikasi, metode yang digunakan, dan konsep dibalik perhitungan loyalitas pelanggan. Dapat dilihat pada Gambar 6 dan Gambar 7
Gambar 6. Halaman Customer Loyalty Index
Gambar 7. Halaman Informasi
Dengan enam halaman utama ini, aplikasi R Shiny untuk pengukuran loyalitas pelanggan menjadi lebih  komprehensif  dan  user-friendly.  Setiap  halaman  memiliki  fokus  dan  fungsionalitas  yang  jelas, memungkinkan  pengguna  untuk  melakukan  perhitungan  dan  evaluasi  dengan  mudah  dan  efektif. Perhitungan loyalitas pelanggan menggunakan metode SEMPLS, terdapat dua tahapan pengukuran yang dilakukan,  yaitu  tahapan  pengukuran  outer  model  dan  tahapan  pengukuran  inner  model.  Tiga  evaluasi utama  yang  digunakan  untuk  evaluasi  outer  model,  yaitu convergent  validity , discriminant  validity ,  dan composite  validity .  Evaluasi  pertama  dalam  analisis  SEMPLS convergent  validity diukur  dengan  melihat loading faktor  indikator-indikator  terhadap  variabel  laten. Hasil  pengukuran  tahap  awal  menunjukan bahwa masih terdapat indikator yang memiliki nilai yang belum valid yaitu pada indikator ES1 dan ES6 yang  menunjukkan  nilai  loading  faktor  yang  kurang  dari  0.7,  sehingga  indikator  tersebut  dihapus  dan dilakukan  olah  data  kembali.  Hasil  analisis  model  pengukuran  pada  tahap  kedua  menghasilkan  gambar plot diagram dalam bentuk diagram alir yang dapat dilihat pada Gambar 8.

## Gambar 8 . Hasil Plot Diagram SEMPLS
Hasil  olah  data  SEMPLS  tahap  kedua  menunjukan  bahwa  semua  indikator  sudah  valid  dengan nilai sudah lebih dari 0.7. Convergent validity dalam analisis SEM-PLS juga dinilai dengan melihat validitas konstruk memiliki nilai AVE. Nilai AVE yang baik minimal 0.5, menandakan bahwa konstruk secara efektif mengukur  indikator-indikatornya.  Hasil  pengukuran  AVE  menunjukkan  bahwa  konstruk  kepuasan pelanggan, loyalitas pelanggan, dan e-security seals memenuhi kriteria konvergen yang baik, dengan nilai AVE  yang  cukup  tinggi,  mengindikasikan  bahwa  indikator-indikator  yang  digunakan  efektif  dalam mengukur  varians  indikator-indikatornya.  Evaluasi  outer  model  kedua  yaitu  uji  composite  reliability untuk  memeriksa  sejauh  mana  indikator  yang  mengukur  konstruk  tertentu  dapat  diandalkan.  Evaluasi composite  reliability  memiliki  dua  uji  yang  digunakan  yaitu  internal  consistency  dan  cronbach's  alpha. Hasil analisis internal consistency dan Cronbach's Alpha menunjukkan nilai lebih dari 0,7 adalah indikasi yang  baik  bahwa  variabel-variabel  yang  digunakan  dalam  SEMPLS  memiliki  reliabilitas  yang  memadai. Keempat  variabel  yang  digunakan  memiliki  reliabilitas  yang  baik  adalah  sah  dan  mendukung  validitas pengukuran dalam penelitian dan terdapat tanda positif untuk keandalan dan konsistensi hasil analisis. Dapat dilihat pada Tabel 2.

## Table 2. Hasil Convergent Validity dan Composite Reliability
Variabel Laten  Indikator  Loading Faktor AVE Composite Reliability Cronbach's Alpha Kualitas Pelayanan Elektronik ES2 0.727 0.524 0.865 0.805 ES3 0.760 ES4 0.729 ES5 0.753 ES7 0.722 Segel Keamanan Elektronik SS1 0.777 0.668 0.858 0.754 SS2 0.860 SS3 0.813 Kepuasan Pelanggan KP1 0.897 0.736 0.917 0.880 KP2 0.861 KP3 0.848 KP4 0.823 Loyalitas Pelanggan LP1 0.884 0.777 0.913 0.858 LP2 0.894 LP3 0.867
Evaluasi  terakhir  SEMPLS  analisis  discriminant  validity  yang  diukur  dengan  memeriksa  nilai cross-loadings.  Hasil  perhitungan  menunjukan  semua  nilai  loading  lebih  besar  daripada  nilai  cross- loading.  Hal  ini  menunjukkan  adanya  validitas  diskriminan  yang  baik  antara  variabel-variabel  yang dimaksudkan. Hasil analisis positif, karena validitas diskriminan yang baik menunjukkan bahwa variabel- variabel tersebut secara efektif dapat dibedakan satu sama lain dan mewakili konsep yang berbeda dalam analisis.  Dapat  dilihat  pada Tabel  3 .  Metode  lain  yang  digunakan  untuk  menguji  validitas  diskriminan adalah  dengan  membandingkan  nilai  akar  kuadrat  dari  AVE  dengan  nilai  korelasi  antara  varibel.  Hasil menunjukkan  bahwa  semua  nilai  akar  AVE  lebih  besar  dari  nilai  korelasi  antar  variabel.,  Sehingga validitas diskriminan dinyatakan terpenuhi. Hasil perhitungan dapat dilihat pada Tabel 4 .
Table 3. Hasil Nilai Cross Loading
VAR Kualitas Pelayanan Elektronik Segel Keamanan Elektronik Kepuasan Pelanggan Loyalitas Pelanggan ES2 0.727 0.379 0.389 0.396 ES3 0.760 0.452 0.496 0.499 ES4 0.729 0.417 0.353 0.391 ES5 0.753 0.452 0.440 0.450 ES7 0.722 0.553 0.454 0.431 SS1 0.508 0.777 0.553 0.435 SS2 0.449 0.860 0.758 0.463 SS3 0.548 0.813 0.594 0.538 KP1 0.551 0.815 0.897 0.546 KP2 0.451 0.632 0.861 0.436 KP3 0.456 0.598 0.848 0.472 KP4 0.503 0.631 0.823 0.593 LP1 0.604 0.565 0.590 0.884 LP2 0.453 0.505 0.508 0.894 LP3 0.468 0.458 0.480 0.867 Table 4. Hasil Nilai Akar Kuadrat AVE Variabel Kualitas Pelayanan Elektronik Segel Keamanan Elektronik Kepuasan Pelanggan Loyalitas Pelanggan Kualitas Pelayanan Elektronik 0.749 Segel Keamanan Elektronik 0.605 0.818 Kepuasan pelanggan 0.576 0.789 0.858 Loyalitas Pelanggan 0.583 0.582 0.601 0.882
Pengujian inner model dalam analisis SEMPLS dilakukan untuk memahami hubungan yang terjadi antara konstruk pada model penelitian. Nilai R 2 dan AdjR 2 juga merupakan salah satu output penting dari pengujian  structural  model.  Kategori  batasan  nilai  R-square  dalam  tiga  klasifikasi,  yaitu  0,67  sebagai substantial,  0,33  sebagai  moderat  dan  0,19  sebagai  lemah. Nilai  R 2 kepuasan  pelanggan  dan  loyalitas pelanggan memberikan hasil yang memadai, dengan klasifikasinya sebagai moderat. Meskipun Loyalitas Pelanggan  memiliki  R^2  yang  lebih  rendah,  model  tetap  memberikan  pemahaman  yang  penting.  Nilai AdjR 2 yang  hampir  sama  dengan  R^2  menunjukkan  model  telah  mempertimbangkan  kompleksitas  dan variabel  independen,  menghindari  overfitting.  Hasil  perhitungan  dapat  dilihat  pada Tabel  5 .  Pengujian inner  model  selanjutnya  menghasilkan  nilai  uji  T  dengan  nilai  signifikasi  5%  atau  1,96.  Nilai  uji  T menggunakan metode resampling bootstrap dengan menghasilkan nilai Original Sample dan T Statistics. Hasil  nilai  uji  T  menunjukkan  pengaruh  positif  dan  signifikansi  antara  pengaruh  variabel.  Hal  ini memberikan  pemahaman  yang  kuat  tentang  hubungan  antara  kualitas  pelayanan  elektronik,  segel keamanan  elektronik,  kepuasan  pelanggan,  dan  loyalitas  pelanggan  dalam  konteks  penelitian  loyalitas pelanggan. Hasil perhitungan dapat dilihat pada Tabel 6 .
Tabel 5. Hasil Nilai R 2 dan AdjR 2 Variabel R 2 AdjR 2 Klasifikasi Kepuasan Pelanggan 0.637 0.633 Moderat Loyalitas Pelanggan 0.362 0.358 Moderat Tabel 6. Hasil Nilai Uji T Path Original Sample T Statistics Kualitas Pelayanan Elektronik ->  Kepuasan Pelanggan 0.156 2.165 Segel Keamanan Elektronik ->  Kepuasan Pelanggan 0.694 10.032 Kepuasan Pelanggan  ->  Loyalitas Pelanggan 0.601 12.14
Tingkat  kepuasan  pelanggan  dalam  penelitian  dapat  diukur  dengan  menghitung  CSI.  Hasil pengukuran  CSI  yang  dilakukan  terhadap  sejumlah  13  indikator  dalam  penelitian  disimpulkan  bahwa tingkat kepuasan pelanggan pada Shopee sangat tinggi. Nilai CSI terendah berada di indikator ES5 dengan nilai  5.84  nilai  CSI  tertinggi  berada  di  KP4  8.01  dengan  nilai  dan  total  nilai  CSI  dalam  penelitian  yaitu 85.05. yang berada pada tingkat “Sangat Puas”. Hasil perhitungan dapat dilihat pada Tabel 7 .
Tabel 7. Hasil Pengukuran Tingkat Kepuasan Pelanggan
ID Loading Besar Pengaruh Bobot Persentase CSI CSI ES2 0.727 0.73 0.08 92.0 7.36 ES3 0.760 0.76 0.08 93.5 7.48 ES4 0.729 0.73 0.08 75.5 6.04 ES5 0.753 0.75 0.08 73.0 5.84 ES7 0.722 0.72 0.08 82.5 6.60 SS1 0.777 0.78 0.08 83.0 6.64 SS2 0.860 0.86 0.09 81.5 7.33 SS3 0.813 0.81 0.08 86.0 6.88 KP1 0.897 0.90 0.09 84.5 7.60 KP2 0.861 0.86 0.09 84.5 7.60 KP3 0.848 0.85 0.09 85.0 7.65 KP4 0.823 0.82 0.09 89.0 8.01 Total 9.57 85.05
Tingkat  loyalitas  pelanggan  dalam  penelitian  dapat  diukur  dengan  menghitung  CLI.  Nilai  CLI terendah berada di indikator LP3 dengan nilai 23.27 nilai CLI tertinggi berada di LP1 dengan nilai 27.72 dan total nilai CLI dalam penelitian yaitu 76.31. Dalam evaluasi CLI untuk mendapatkan nilai keseluruh tingkat  loyalitas  dilakukan  penjumlahan  hasil  total  nilai  CSI  dan  total  nilai  CLI,  hasil  penjumlahan menujukan nilai CLI adalah 80.68. hasil menampilkan bahwa terdapat 3 indikator yang digunakan dalam perhitungan dengan nilai CLI sebesar 80.68, yang mencerminkan tingkat keseluruhan loyalitas pelanggan dalam penelitian berada di kategori “Sangat Puas” . Hasil perhitungan dapat dilihat pada Tabel 8 .

## Tabel 8. Hasil Pengukuran Tingkat Loyalitas Pelanggan
ID Loading Besar Pengaruh Bobot Persentase CLI CLI LP1 0.884 0.88 0.33 84.0 27.72 LP2 0.894 0.89 0.34 74.5 25.33 LP3 0.867 0.87 0.33 70.5 23.27 Total 2.64 76.31

## Pembahasan
Sistem  pengukuran  loyalitas  pelanggan  yang  telah  dikembangkan  dapat  dianggap  berhasil berdasarkan sejauh mana fungsi-fungsi yang dimilikinya telah terlaksana sesuai dengan tujuan awal yang ditetapkan (Dachi, 2020; Grzenda et al., 2023) . Hasil penelitian menunjukkan bahwa semua fungsi yang digunakan  untuk  menghitung  tingkat  loyalitas  pelanggan  telah  terpenuhi,  sehingga  aplikasi  ini  dapat dianggap  memenuhi  standar  kesuksesan  yang  diharapkan.  Analisis  SEMPLS  yang  berhasil  harus menghasilkan  temuan  yang  signifikan,  sesuai  dengan  model  yang  digunakan,  valid,  andal,  dapat direplikasi,  dan  relevan  dengan  tujuan  penelitian.  Hasil  analisis  dengan  metode  SEMPLS  menunjukkan kualitas  layanan  elektronik  berpengaruh  secara  positif  terhadap  kepuasan  pelanggan,  segel  keamanan elektronik juga memiliki pengaruh yang positif dan signifikan terhadap kepuasan pelanggan dan kepuasan pelanggan  berkontribusi  positif  terhadap  tingkat  loyalitas  pelanggan. Hasil  pengukuran  CSI mengungkapkan bahwa tingkat kepuasan pelanggan saat ini berada pada kategori "Sangat Puas," sebuah kategori yang memberikan bukti tambahan tentang tingkat kepuasan pelanggan terhadap Shopee. Hal ini juga  sejalan  dengan  penelitian  yang  menyatakan  bahwa  tingkat  kepuasan  pelanggan  yang  tinggi merupakan  indikator  positif  dari  kualitas  layanan  yang  disediakan  oleh  Shopee (Lim  et  al.,  2021; Praseptiawan  et  al.,  2022) .  Begitu  juga,  hasil  pengukuran  CLI  menunjukkan  bahwa  saat  ini  tingkat loyalitas pelanggan terhadap aplikasi Shopee berada pada kategori "Sangat Loyal." Pandangan dari pihak ketiga yang mengamini tingkat loyalitas yang tinggi ini, memberikan dukungan tambahan terhadap bukti keberhasilan  Shopee  dalam  mempertahankan  dan  membangun  hubungan  yang  kuat  dengan  pelanggan (Nurakhmawati  et  al.,  2022;  Sari  et  al.,  2021) .  Temuan    yang  dihasilkan  konsisten  dengan  penelitian sebelumnya  yang  mengkonfirmasi  bahwa  layanan  yang  disediakan  oleh  Shopee  telah  memenuhi kebutuhan  dan  menciptakan  loyalitas  pelanggan (Lim  et  al.,  2021;  Rita  et  al.,  2019) .  Hasil  pengukuran dalam penelitian sebelumnya juga mengungkapkan bahwa analisis pengaruh layanan dan keamanan yang dimiliki oleh Shopee secara positif berdampak pada kepuasan pelanggan (Ivastya & Fanani, 2020; Trifena Revangelista  Mambu  et  al.,  2021) .  Hal  ini  sejalan  dengan  penelitian  lain  yang  mengindikasikan  bahwa faktor-faktor  seperti  kepuasan,  layanan,  kepercayaan,  dan  keamanan  dapat  menjadi  komponen  utama dalam  membentuk  loyalitas  pelanggan (Lim  et  al.,  2021;  Suroso  et  al.,  2020) . Hasil  penelitian  ini menggarisbawahi  peran  penting  kualitas  layanan  elektronik  dan  segel  keamanan  elektronik  dalam membentuk kepuasan pelanggan. Kepuasan  pelanggan  yang tinggi, sebagaimana yang ditemukan dalam penelitian ini, memiliki potensi untuk  memicu  loyalitas pelanggan yang kuat. Temuan ini menunjukkan bahwa  pelaku  industri  marketplace  seperti  Shopee  dapat  memanfaatkan  pemahaman  ini  untuk memperkuat  hubungan  dengan  pelanggan  dan  mengembangkan  strategi  yang  lebih  efektif  dalam meningkatkan  kualitas  layanan  elektronik  dan  keamanan.  Lebih  dari  itu,  hasil  penelitian  ini  dapat diinterpretasikan  sebagai  kontribusi  pada  literatur  teoritis  dalam  konteks  layanan  elektronik  dan pengalaman pelanggan. Hal ini memberikan pandangan lebih mendalam tentang bagaimana faktor-faktor ini berinteraksi dalam membentuk perilaku pelanggan, dan memungkinkan untuk memahami secara lebih komprehensif dinamika loyalitas pelanggan dalam dunia e-commerce yang berubah cepat.

## 4. SIMPULAN
Hasil penelitian menunjukkan bahwa sistem pengukuran loyalitas pelanggan yang dikembangkan berhasil  digunakan  untuk  mengukur  tingkat  loyalitas  pelanggan  Shopee.  Hasil  pengukuran  Customer Satisfaction  Index  (CSI)  menunjukkan  tingkat  kepuasan  pelanggan  yang  sangat  tinggi,  mencapai  nilai 85.04,  yang  menggambarkan  bahwa  Shopee  telah  berhasil  dalam  memenuhi  harapan  pelanggan  dan membangun  hubungan  yang  kuat  dengan  mereka.  Selain  itu,  hasil  pengukuran  Customer  Loyalty  Index (CLI) menunjukkan tingkat loyalitas pelanggan yang juga sangat tinggi, dengan nilai mencapai 80.68. Hal ini  mengindikasikan  bahwa  Shopee  telah  berhasil  mempertahankan  pelanggan  setia  dan  menciptakan hubungan yang kuat dengan pelanggan. Shopee memiliki dasar yang kuat untuk pertumbuhan bisnis yang berkelanjutan, dengan pelanggan yang puas dan setia  yang mungkin akan terus  menggunakan platform mereka dan merekomendasikannya kepada orang lain.

## 5. DAFTAR PUSTAKA
Avania, I. K., & Widodo, A. (2022). Affect of E-Service Quality on E-Customer Loyalty through E-Customers Satisfaction on E-Commerce Shopee. Budapest International Research and Critics Institute (BIRCI- Journal): Humanities and Social Sciences , 5 (1), 535 – 546.
https://doi.org/10.33258/birci.v5i1.3641.
Azizah,  M.,  &  Aswad,  M.  (2022).  Pengaruh  Belanja  Online  Pada  E-Commerce  Shopee  Terhadap  Perilaku Konsumtif  Generasi  Millennial  di  Blitar. J-CEKI:  Jurnal  Cendekia  Ilmiah , 1 (4),  429 – 438. https://doi.org/10.56799/jceki.v1i4.550.
Błaśkiewicz, P., & Kutyłowski, M. (2022). Chaining Electronic Seals: An eIDAS Compliant Framework for Controlling  SSCD.  In  N.  N.T.,  T.  B.,  N.  N.T.,  T.  T.K.,  T.  U.,  H.  T.-P.,  &  S.  E.  (Eds.), Lecture  Notes  in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics):  Vol.  13758  LNAI (pp.  714 – 732).  Springer  Science  and  Business  Media Deutschland GmbH. https://doi.org/10.1007/978-3-031-21967-2_57.
Camilleri,  M.  A.,  &  Filieri,  R.  (2023).  Customer  satisfaction  and  loyalty  with  online  consumer  reviews:
Factors  affecting  revisit  intentions. International  Journal  of  Hospitality  Management , 114 (July), 103575. https://doi.org/10.1016/j.ijhm.2023.103575.
Dachi,  A.  (2020).  Inovasi  Produk  terhadap  Keputusan  Pembelian  dan  dampaknya  terhadap  loyalitas pelanggan:  Studi  Pengguna  Mobil  Toyota  Calya  di  Kota  Bogor  dan  Bekasi. JSHP:  Jurnal  Sosial Humaniora Dan Pendidikan , 4 (2), 120 – 129. https://doi.org/10.32487/jshp.v4i2.843.
Dewantoro,  N.  M.,  &  Dian  Alan  Setiawan  SH,  M.  H.  (2023).  Penegakan  Hukum  Kejahatan  Siber  Berbasis Phising dalam Bentuk Application Package Kit (APK) Berdasarkan Undang-Undang Informasi dan Transaksi  Elektronik. Bandung  Conference  Series:  Law  Studies , 3 (2),  892 – 900. https://doi.org/10.29313/bcsls.v3i2.7247.
Emmanuela, E. P., Tjendra, F. K., Kezia, S., & Suryani, D. (2023). Classification of Customer Satisfaction in Marketplace. ICCoSITE  2023  -  International  Conference  on  Computer  Science,  Information Technology and Engineering: Digital Transformation Strategy in Facing the VUCA and TUNA Era , 392 – 397. https://doi.org/10.1109/ICCoSITE57641.2023.10127788.
Fachriyan,  H.  A.,  Jamhari,  J.,  Irham,  I.,  &  Waluyati,  L.  R.  (2022).  The  Effect  of  E-Marketing  Mix  on Competitive  Positional  Advantage:  A  Study  on  E-Marketplaces  in  Indonesia. Quality  -  Access  to Success , 23 (190), 144 – 155. https://doi.org/10.47750/QAS/23.190.17.
Ginting, Y. M., Chandra, T., Miran, I., & Yusriadi, Y. (2023). Repurchase intention of e-commerce customers in Indonesia: An overview of the effect of e-service quality, e-word of mouth, customer trust, and customer  satisfaction  mediation. International  Journal  of  Data  and  Network  Science , 7 (1),  329 – 340. https://doi.org/10.5267/j.ijdns.2022.10.001.
Grzenda,  M.,  Kaźmierczak,  S.,  Luckner,  M.,  Borowik,  G.,  &  Mańdziuk,  J.  (2023).  Evaluation  of  machine learning  methods  for  impostor  detection  in  web  applications. Expert  Systems  with  Applications , 231 , 120736. https://doi.org/10.1016/j.eswa.2023.120736. Hanifa,  H.,  Sholihin,  A.,  &  Ayudya,  F.  (2023).  Peran  AI  Terhadap  Kinerja  Industri  Kreatif  Di  Indonesia.
Journal of Comprehensive Science (JCS) , 2 (7), 2149 – 2158. https://doi.org/10.59188/jcs.v2i7.446.
Hermawan, E. (2023). Competitive Strategy, Competitive Advantages, dan Marketing Performance pada E- Commerce  Shopee  Indonesia. Jurnal  Kewirausahaan  Dan  Multi  Talenta , 1 (1),  1 – 13. https://doi.org/10.38035/jkmt.v1i1.7.
Ivastya, R., & Fanani, Z. (2020). The Impact of E-Service Quality on E-Satisfaction and Implications on B2C shopee.com the online Repurchase: A case study of Indonesia. International Journal of Advances in Scientific Research and Engineering , 06 (07), 01 – 09. https://doi.org/10.31695/ijasre.2020.33842. Jain, N. K., Gajjar, H., & Shah, B. J. (2021). Electronic logistics service quality and repurchase intention in e- tailing: Catalytic role of shopping satisfaction, payment options, gender and returning experience. Journal of Retailing and Consumer Services , 59 (September 2020), 102360. https://doi.org/10.1016/j.jretconser.2020.102360.
Le, W., Moros-Daza, A., Jubiz-Diaz, M., & Voß, S. (2023). A Blockchain Prototype for Improving Electronic Seals  on  Container  Shipping  Operations. Sustainability  (Switzerland) , 15 (14),  1 – 22. https://doi.org/10.3390/su151411341.
Lee,  W.  L.,  Liu,  C.  H.,  &  Tseng,  T.  W.  (2022).  The  multiple  effects  of  service  innovation  and  quality  on transitional and electronic word-of-mouth in predicting customer behaviour. Journal of Retailing and Consumer Services , 64 (January 2021), 102791.
https://doi.org/10.1016/j.jretconser.2021.102791.
Lim, K. B., Sook Fern, Y., & A/l Bhajan Singh, H. S. K. (2021). The Study of Customer Satisfaction of Shopee Customers In Malaysia. International Journal of Entrepreneurship, Business and Creative Economy ,
1 (2), 30 – 44. https://doi.org/10.31098/ijebce.v1i2.602.
Liu,  X.,  &  Kao,  Z.  (2021).  Research  on  influencing  factors  of  customer  satisfaction  of  e-commerce  of characteristic  agricultural  products. Procedia  Computer  Science , 199 ,  1505 – 1512. https://doi.org/10.1016/j.procs.2022.01.192. Nazaruddin,  Purba,  A.  A.,  Hamzah,  M.  L.,  &  Rizki,  M.  (2022).  Decision  Making  for  Optimal  Marketing Strategy:  A  Case  Study  in  E-Commerce. 2022  International  Conference  on  Data  Analytics  for Business and Industry (ICDABI) , 1 – 5. https://doi.org/10.1109/ICDABI56818.2022.10041576. Nurakhmawati, R., Purnamawati, A., & Fahmi, I. (2022). Pengaruh Kualitas Pelayanan E-Commerce Shopee Terhadap  Kepuasan  Pelanggan  Melalui  Keputusan  Pembelian. Coopetition:  Jurnal  Ilmiah Manajemen , 13 (2), 191 – 204. https://doi.org/10.32670/coopetition.v13i2.1881. Orinaldi,  M.  (2020).  Peran  E-commerce  dalam  Meningkatkan  Resiliensi  Bisnis  diera  Pandemi. ILTIZAM Journal of Shariah Economics Research , 4 (2), 36 – 53. https://doi.org/10.30631/iltizam.v4i2.594.
Pasaribu, F., Sari, W. P., Ni Bulan, T. R., & Astuty, W. (2022). The effect of e-commerce service quality on customer satisfaction, trust and loyalty. International Journal of Data and Network Science , 6 (4), 1077 – 1084. https://doi.org/10.5267/j.ijdns.2022.8.001. Pradana,  F.  (2018).  Pengaruh  Manajemen  Hubungan  Pelanggan,  Kualitas  Pelayanan,  Dan  Kualitas Pengalaman  Terhadap  Loyalitas  Pelanggan  Dengan  Kepuasan  Pelanggan  Sebagai  Variabel Intervening  Pada  Nasabah  Pt  Fac  Sekuritas  Indonesia  Di  Yogyakarta. Jurnal  Manajemen  Bisnis , 9 (2), 193 – 212. https://doi.org/10.18196/mb.9262.
Praseptiawan,  M.,  Gultom,  M.  O.  N.,  &  Untoro,  M.  C.  (2022).  The  Evaluation  of  E-Commerce  Using  the Customer  Satisfaction  Index  and  Importance  Performance  Analysis. Jurnal  Sisfokom  (Sistem Informasi Dan Komputer) , 11 (1), 60 – 65. https://doi.org/10.32736/sisfokom.v11i1.1167. Prasyanti,  P.  A.,  Ningrum,  N.  R.,  &  Basri,  A.  I.  (1  C.E.).  Pengaruh  Store  Atmosphere,  Kualitas  Produk,
Kualitas Pelayanan, dan Kepuasan Pelanggan Terhadap Loyalitas Pelanggan. Equilibrium: Jurnal Ilmu Manajemen , 1 (16 – 23). https://doi.org/10.56393/equilibrium.v1i1.52.
Rafiah,  K.  K.  (2019).  Analisis  Pengaruh  Kepuasan  Pelanggan  dan  Kepercayaan  Pelanggan  terhadap Loyalitas  Pelanggan  dalam  Berbelanja  melalui  E-commerce  di  Indonesia. Al  Tijarah , 5 (1),  46. https://doi.org/10.21111/tijarah.v5i1.3621.
Rita,  P.,  Oliveira,  T.,  &  Farisa,  A.  (2019).  The  impact  of  e-service  quality  and  customer  satisfaction  on customer behavior
in online shopping. Heliyon , 5 (10), e02690.
https://doi.org/10.1016/j.heliyon.2019.e02690.
Rymarczyk,  J.  (2021).  The  impact  of  industrial  revolution  4.0  on  international  trade. Entrepreneurial Business and Economics Review , 9 (1), 105 – 117. https://doi.org/10.15678/EBER.2021.090107. Sari, A. R., Febriani, R., & Pelayanan, K. (2021). SEIKO : Journal of Management & Business Tingkat Loyalitas
Mahasiswa Sebagai Pelanggan Shopee Abstrak . 4 (2), 496 – 501. https://doi.org/10.37531/sejaman.v5i1.1587.
Sudirjo, F., Purwati, T., Widyastuti, W., Budiman, Y. U., & Manuhutu, M. (2023). Analisis Dampak Strategi Pemasaran  Digital  dalam  Meningkatkan  Loyalitas  Pelanggan:  Perspektif  Industri  E-commerce. Jurnal Pendidikan Tambusai , 7 (2), 7524 – 7532. https://doi.org/10.31004/jptam.v7i2.7422.
Suroso,  J.  S.,  Kaburuan,  E.  R.,  Lee,  D.,  Tama,  N.  S.,  &  Tee,  K.  (2020).  Analysis  Of  E-Commerce  System  In Marketplace (Shopee Indonesia). 2020 8th International Conference on Orange Technology (ICOT) , 1 – 4. https://doi.org/10.1109/ICOT51877.2020.9468783.
Trifena Revangelista Mambu, Johny R. E. Tampi, & Danny D. S. Mukuan. (2021). Kepercayaan Konsumen, Kualitas  Layanan  Terhadap  Keputusan  Pembelian  pada  Aplikasi  E-Commerce  Shopee  di  Kota Tondano. Productivity , 2 (1), 79 – 84.
Xu, B., Huang, D., & Mi, B. (2020). Smart city-based e-commerce security technology with improvement of
SET network protocol. Computer Communications , 154 , 66 – 74. https://doi.org/10.1016/j.comcom.2020.02.024. Yanuar, M. M., Qomariyah, N., & Santosa, B. (2017). Dampak kualitas produk, harga, promosi dan kualitas pelayanan  terhadap  kepuasan  pelanggan  Optik  Marlin  cabang  Jember. Jurnal  Manajemen  Dan Bisnis Indonesia , 3 (1). https://doi.org/10.32528/jmbi.v3i1.784. Yo, P. W., Kee, D. M. H., Yu, J. W., Hu, M. K., Jong, Y. C., Ahmed, Z., Gwee, S. L., Gawade, O., & Nair, R. K. (2021). The influencing factors of customer satisfaction: A case study of shopee in malaysia. Estudios de Economia Aplicada , 39 (12), 1 – 16. https://doi.org/10.25115/eea.v39i12.6839.