## INDRA: Jurnal Pengabdian kepada Masyarakat
http://jffk.unram.ac.id/index.php/indra
___________ Email: azhar@outlook.co.id (*Corresponding Author)
Copyright © 2024, The Author(s).
This article is distributed under a Lisensi Creative Commons Atribusi 4.0 Internasional .
Pengembangan  Sistem  Evaluasi  OSCE  Berbasis  Aplikasi  Ponsel untuk Mahasiswa Kedokteran di Indonesia
Azhar Rafiq 1* , Bayu Tirta Dirja 1 , Hamsu Kadriyan 1 , Rohadi 1 1 Fakultas Kedokteran dan Ilmu Kesehatan, Universitas Mataram, Mataram, Indonesia.

## DOI: https://doi.org/10.29303/indra.v5i1.290
Article Info
Abstract: Evaluation of Objective Structured Clinical Examination (OSCE) is required to  assess  medical  students’  skills  in  order  to  meet  the  Indonesian  medical  doctor competency  standards.  This  study  presents  an  innovative  method  for  developing  a mobile app-based OSCE evaluation system in Med Stud Games (MSG) and explores its condition. To evaluate MSG, we use the focus group discussion (FGD) method. We use a  purposeful  sampling  approach,  consisting  of  a  content  expert,  medical  education expert and medical students. The result of an experience in using MSG for two OSCE training was discussed in FGD. Data was analyzed using in vivo coding and divided into categories to advantages, problems, content, interface, and future improvements. The FGD results in 19 codes. Advantages are categorized as easy to use, fast, practical, and  automation  timer  and  scoring.  Problems  categorized  in  distraction  potential  of incoming calls and notifications and online only. Content results in the validity of score and  checklist  quality.  Interface  results  in  font  size  and  layout.  Future  improvement results in saving and sharing data, open feedback and text, and user-generated content.
MSG  improve  assessment  and  feedback  qualities  for  medical  students.  Further observational studies are needed to assess OSCE validation to be used in exam settings. Received : 07-08-2023 Revised : 13-03-2024 Accepted : 18-04-2024
Keywords: Medical Education, OSCE, Evaluation Tools, Med Stud Games.
Citation:
Rafiq, A., Dirja, B. T., Kadriyan, H., & Rohadi, R. (2024). Pengembangan Sistem Evaluasi OSCE Berbasis Aplikasi Ponsel untuk Mahasiswa Kedokteran di Indonesia. INDRA: Jurnal Pengabdian Kepada Masyarakat , 5 (1), 11–16. doi: https://doi.org/10.29303/indra.v5i1.290

## Pendahuluan
Ujian  keterampilan  medis  terstruktur  atau Objective  Structured  Clinical  Examination (OSCE) dibutuhkan  untuk  mengevaluasi  kemampuan  klinis mahasiswa kedokteran berdasarkan Standar Kompetensi  Dokter  Indonesia  (SKDI).  Ujian  ini  dapat digunakan  untuk  membangun  kepercayaan  diri mahasiswa  dan  mengevaluasi  kemampuan  klinisnya pada  berbagai  pengaturan  dan  kasus.  Umumnya, instructor  dan  mahasiswa  kedokteran  menggunakan checklist untuk mengevaluasi kelengkapan prosedur dan keterampilan medis saat sesi latihan. Mahasiswa dapat dinilai  oleh  instructor  atau  dalam  kegiatan  belajar mandiri  dilakukan  saling  bergantian  antar  mahasiswa
kedokteran.  Perkembangan  teknologi  saat  ini memungkinkan evaluasi tersebut dilakukan menggunakan aplikasi di ponsel cerdas. Potensi dalam pengembangan aplikasi ini bisa memudahkan evaluasi yang terdata sehingga memudahkan evaluasi kuantitatif berkelanjutan  dengan  mudah.  (Chandran  et  al.,  2022; Chase et al., 2018; Swanwick et al., 2019; Yousef et al., 2022)
Med Stud Games (MSG) adalah salah satu aplikasi pendidikan kedokteran popular dikalangan mahasiswa kedokteran di Indonesia. Aplikasi ini digunakan secara individu  oleh  mahasiswa  kedokteran  untuk  berlatih pengetahuan  kedokteran  sebelum  ujian.  Aplikasi  ini memiliki fitur seperti  latihan soal pilihan  ganda, isian,
video  kuliah,  kalkulator  medis,  dan  alat  bantu anamnesis. Penelitian ini mengembangkan dan menguji sebuah  fitur  khusus  di  dalam  aplikasi  MSG,  yaitu  alat evaluasi  OSCE.  Selama  ini  evaluasi  OSCE  dilakukan secara manual tanpa dokumentasi yang baik. Fitur alat evaluasi OSCE ini dibutuhkan agar penguji dan peserta ujian  bisa  melakukan  evaluasi  yang  tersimpan  secara rapi sehingga bisa digunakan sebagai bahan belajar dan evaluasi mahasiswa kedepannya. (Rafiq et al., 2021)
Dalam penelitian ini, kami melakukan pengembangan  fitur  baru  pada  aplikasi  untuk membantu evaluasi OSCE di MSG.

## Metode
Penelitian  ini  dilakukan  dalam  dua  tahap,  yaitu tahap  pengembangan  dan  tahap  evaluasi  fitur.  Pada tahap  pengembangan,  peneliti  melakukan  diskusi kebutuhan  aplikasi  berdasarkan  observasi  dan wawancara  dengan  koordinator  blok  dan  mahasiswa. Dari hasil diskusi tersebut, didapatkan kebutuhan fitur yang  dilanjutkan  pada  tahap  pengembangan  aplikasi. Aplikasi  dikembangkan  mulai  dari  desain  basis  data, tampilan antarmuka, pemrograman, dan desain ilustrasi konten . Aplikasi  ini  dikembangkan  menggunakan bahasa  pemrograman  Dart  dan  pustaka  Flutter.  Basis data  yang  digunakan  adalah  MySQL  dengan  bahasa pemrograman server PHP.
Setelah  dilakukan  pengembangan,  aplikasi diujikan  kepada  total  7  responden  yang  terdiri  dari dosen dokter dan mahasiswa kedokteran selama 3 hari. Hasil pengujian fitur didiskusikan dalam bentuk Focus Group  Discussion (FGD).  Hasil  FGD  diambil  dalam bentuk transkrip dan dilakukan analisis menggunakan in  vivo  coding .  Selama  melakukan  analisis  dan interpretasi  data,  peneliti  bertanya  kepada  peneliti professional  lain  di  bidang  pendidikan  kedokteran untuk melakukan analisis dan memberikan saran terkait analisis  peneliti.  Tema  yang  diuji  dalam  penelitian  ini adalah keuntungan/manfaat, permasalahan, isi konten, tampilan  antarmuka,  dan  pengembangan  di  masa depan.
Penelitian ini telah mendapatkan persetujuan etik dari  Komite  Etik  Fakultas  Kedokteran,  Universitas Mataram.

## Hasil dan Pembahasan
Diskusi  pengembangan  fitur  menghasilkan kebutuhan  konten  latihan  mengenai  SBAR  (Situation, Background,  Assessment,  Recommendation)  pada keterampilan medis di Fakultas Kedokteran Universitas Mataram. Hasil pengembangan fitur dilampirkan pada Gambar 2 .
Total terdapat 637 baris transkrip dari FGD. Dari transkrip tersebut didapatkan analisis sejumlah 5 tema,
dan 19 kode dengan rincian dan kutipan pada Tabel 1 . Perangkat lunak yang digunakan untuk mengolah data transkrip adalah Microsoft Office Excel 2016.
Gambar 1. Tampilan fitur alat evaluasi OSCE.
Data  penelitian  dirangkum  dalam coding sesuai tema  yang  berkaitan  untuk  pengerucutan  analisis ( Tabel 1 ).
Tabel 1 . Hasil analisis kualitatif dari pengujian alat evaluasi OSCE di MSG. Kode L: responden dosen, S: responden mahasiswa kedokteran. Angka yang mengikuti kode adalah inisial anonim narasumber.
Kode Kutipan 1. Keuntungan Easy to use Responden bisa  memahami dan menggunakan fitur “Aplikasinya mudah digunakan, tinggal klik ini dan itu.” L1
“Keuntungannya aplikasi ini mudah digunakan.” L2 Fast Responden bisa menilai dan memberikan umpan balik dengan cepat kepada mahasiswa kedokteran yang dievaluasi “Alat nya cepat (untuk digunakan).” L1 Practical Alatnya dapat digunakan dengan mudah pada sesi latihan OSCE di dunia nyata “Fiturnya praktis.” L1 “Praktis digunakan. Sebagai evaluator jadi menghemat waktu.” L2 Automation Otomatisasi Timer Alat evaluasi dilengkapi dengan pengukur waktu sekaligus di satu tempat “Biasanya, saya menanyakan satu atau mahasiswa lain untuk mengukur waktu. Tapi dengan alat ini membantu karena sudah ada timernya.” L1 “Saya tidak harus menggunakan
timer secara manual.” L1
Scoring
Alat evaluasi dilengkapi dengan skoring otomatis setelah penilaian selesai
“Total skor (otomatis) muncul setelah klik checklist terakhir.” L1

## 2. Permasalahan
Distraction Potential Potensi Distraksi Incoming Calls Ada potensi distraksi evaluasi ketika pengguna mendapatkan panggilan masuk di handphone
“Ketika ada panggilan masuk di layer bisa tergganggu
(mengevaluasi).”
L1
Notifications Ada potensi distraksi evaluasi dari notifikasi di handphone “Karena menggunakan handphone ,
mengenai fokusnya,
evaluator bisa terganggu notifikasi di handphone .” S4
Online Only
Alat hanya dapat digunakan ketika handphone terkoneksi Internet “Keterbatasannya aplikasi ini hanya bisa digunakan ketika tersambung ke Internet. Kalau sinyal tidak bagus, kita tidak bisa menggunakannya.”
S1 3. Konten Accuracy Konten perlu akurat “Konten dan skor checklist harus akurat
(berdasarkan teori).” L1

## Exam Scenario’s Planning
Konten bisa digunakan untuk merencanakan skenario ujian OSCE “Dengan alat ini, kami (dosen) bisa mengevaluasi berbagai skenario untuk ujian …. Untuk menentukan skenario mana yang susah atau mudah untuk dilakukan (oleh mahasiswa).” L2 Validity Validitas Checklist Quality Alat hanya sebagai media dan kualitas penilaian “Manfaat aplikasi bergantung pada seberapa bagus checklist untuk menentukan
kemampuan individu berdasarkan kualitas dari checklist kualitas OSCE mahasiswa … secara akurat.” L1 Score Skoring evaluasi perlu diberikan penekanan berdasarkan dari tingkat kesulitan dan pentingnya langkah pada pada checklist “… (manfaat validnya aplikasi bergantung) pada bobot skor dari checklist (untuk ujian).” L1 4. Tampilan antarmuka Layout Tata letak sedikit berdekatan dan butuh diberi jarak “Teks dan tombolnya agak mepet (berdekatan). Mungkin bisa dikasih jarak.” S3
Font Size Ukuran huruf terlalu besar dan tebal
“ Font (ukuran huruf) bisa lebih kecil. Dan sepertinya terlihat ditebalkan.” S2
5. Pengembangan di masa depan

## Save Data
Responden ingin bisa menyimpan dan memantau riwayat latihan OSCE “Akan lebih mudah jika saya bisa simpan hasil evaluasinya berdasarkan nama mahasiswanya.” L1 Share Data Responden ingin bisa berbagi hasil latihan dengan pihak lain “… dan (akan lebih mudah jika hasil evaluasi) bisa di bagikan (ke pihak lain) melalui aplikasi chat .” L1 User-generated Content Responden ingin pengguna bisa membagikan checklist dan skoring OSCE mereka sendiri “Untuk instructor dapat memahami kemampuan, untuk secara praktis menerapkan checklist mereka sendiri, jika dibolehkan untuk mereka membuatnya (di aplikasi), itu akan sangat membantu.”
L1 Open Feedback Umpan balik terbuka Voice Record Pemberian umpan balik menggunakan rekaman suara “Berikan kolom (untuk evaluator) untuk memberikan feedback secara terbuka … lebih baik lagi jika
instructor bisa merekam menggunakan suara untuk memberikan feedback .” L1 Text Pemberian umpan balik menggunakan teks “Karena tidak ada (kolom untuk) feedback saat ini ,
kita tidak bisa mengetik feedback di aplikasi. Sehingga, kita masih harus menggunakan media lain seperti kertas untuk menulisnya.” S5 “Masih belum terintegrasi untuk dapat menulis feedback (jika ada kolom teks) , sehingga kita harus menulisnya di kertas.” L1
Gambar 2. Diagram hubungan antara kode dari analisis FGD.
Tema  pertama  yang  ditemukan  pada  penelitian ini  adalah  keuntungan/ Advantages .  Fitur  alat  evaluasi OSCE yang dikembangkan memiliki 4 kode dan 2 sub kode  keuntungan.  Dalam  temuan  FGD  ini,  penulis mencoba  melakukan  analisis  dengan  melihat  sisi kebutuhan  pengguna  lebih  dari  sekedar  deskripsi pengguna yang ada. Dengan melakukan FGD, peneliti dapat mengeksplorasi kebutuhan pengguna sesungguhnya dan menyajikannya dalam bentuk kode- kode. (Bala et al., 2021)
Kode  pertama  adalah  kemudahan  penggunaan. Secara  umum  aplikasi  yang  mudah  digunakan mengindikasikan  desain  produk  yang  mementingkan kebutuhan pengguna. Meskipun tidak ada standar baku
desain yang pasti, beberapa kriteria yang menunjukkan desain  yang  baik  adalah  tampilan  antar  muka menggunakan  objek  yang  sering  ditemui/mudah dikenali,  tampilan  yang  nyaman  dipandang  dan digunakan,  sederhana  dan  elegan,  serta  hanya membutuhkan  langkah  sederhana  atau  tidak  terbelit- belit  dalam  menggunakannya.  Pengembang  perlu mengidentifikasi  dimana,  kapan,  dan  siapa  yang  akan menggunakan produk tersebut dalam mempertimbangkan desain yang baik. Pada fitur yang peneliti  kembangkan,  sebagian  aspek  memenuhi kriteria tersebut, namun, sebagian lagi tidak memenuhi. Contoh aspek yang perlu diperbaiki adalah pada ukuran huruf dan tataletak.(Bala et al., 2021 & Sharp et al., 2023)
Desain  yang  baik  memungkinkan  perjalanaan penggunaan  aplikasi  oleh  pengguna  dilakukan  secara alami  tanpa  usaha  berlebih.  Kurva  belajar  / learning curve penggunaan  aplikasi  yang  landai  atau  mudah dikuasai. Apabila fitur pada aplikasi digunakan secara luas di fakultas kedokteran lain, maka tidak perlu ada pelatihan  penggunaan  khusus.  Tampilan  dan pengalaman yang baik dapat memudahkan tercapainya tujuan  pembuatan  produk  berdasarkan  standar  ISO 9241-11. Untuk memastikan UI dan UX yang baik, selain FGD,  penelitian  selanjutnya  data  dilakukan  uji penggunaan terstruktur untuk mendapatkan wawasan perbaikan  tampilan  dan  pengalaman  tersebut.  (van Kuijk et al., 2017)
Kode kedua adalah kecepatan dalam penggunaan fitur.  Dalam  mendesain  fitur,  pengalaman  pengguna yang  baik  bisa  ditemukan  dari  kemudahan  dan kejelasan  tata  letak  yang  memungkinkan  pengguna mencapai tujuan dari penggunaan fitur tersebut dengan cepat.  Meskipun  secara  fungsional  aplikasi  ini disebutkan  oleh  responden  cepat  untuk  digunakan evaluasi, pada tema keempat yaitu UI ditemukan bahwa teks dan tombolnya memiliki jarak yang terlalu dekat. Untuk  perbaikan  kedepannya  pengembang  fitur  perlu memberikan  perhatian  lebih  agar  desain  memiliki komposisi yang baik. (Sharp et al., 2023)
Kode ketiga adalah praktikal, alat evaluasi yang dikembangkan  dinilai  bisa  digunakan  dalam  kegiatan pembelajaran  sehari-hari.  Hal  ini  menunjukkan penggunaan alat tidak hanya sebagai digitalisasi proses evaluasi  OSCE,  namun  bermakna  sebagai  kemajuan proses  evaluasi  yang  benar-benar  bisa  diterapkan. Berhubungan  dengan  kode  berikutnya,  kode  keempat adalah  otomatisasi  waktu  dan  skoring.  Kedua  fitur tersebut mendukung kode praktikal yang memudahkan evaluasi  tanpa  alat timer ataupun  kalkulator eksternal.(Sharp et al., 2023)
Tema kedua yang ditemukan pada penelitian ini adalah  masalah/ problems .  Dalam  kode  distraksi, terdapat  dua  sub  kode  yang  bisa  mengganggu
pengalaman  evaluasi  OSCE.  Masalah  tersebut  adalah panggilan  dan  notifikasi  yang  masuk  ketika pengevaluasi dosen atau mahasiswa sedang memperhatikan  mahasiswa  yang  sedang  latihan.  Bar notifikasi yang muncul ditengah evaluasi mengganggu fokus  sehingga  penilaian  dan  umpan  balik  yang  akan diberikan bisa tidak ideal. Perbaikan fitur bisa dilakukan lebih  baik  apabila  aplikasi  bisa  melakukan  blok notifikasi  ataupun  panggilan  masuk  hingga  evaluasi selesai. (Sharp et al., 2023)
Kode  kedua  pada  tema  ini  adalah  fitur  yang dikembangkan  hanya  bisa  digunakan  saat  ponsel terhubung  dengan  internet.  Apabila  ruangan  latihan OSCE tidak dilengkapi dengan Wi-Fi atau resepsi sinyal tidak baik, latihan akan terganggu.
Tema ketiga yang ditemukan pada penelitian ini adalah konten/ Content .
Tema  keempat  yang  ditemukan  pada  penelitian ini adalah tampilan antarmuka/ Interface .
Tema kelima yang ditemukan pada penelitian ini adalah  pengembangan  di  masa  depan/ Future improvements .  Fitur  yang  dapat  dikembangkan  yang dinilai  bermanfaat  dalam  alat  evaluasi  OSCE  tersebut adalah penyimpanan data evaluasi yang bisa dibagikan melalui  piranti  lunak  eksternal  seperti  aplikasi  chat. Penyimpanan  data  evaluasi  juga  dinilai  bisa  menjadi data  historis  perkembangan  yang  dapat  ditampilkan dalam aplikasi dalam bentuk grafik atau dashboard . Hingga fitur ini diuji, belum ada bentuk umpan balik terbuka / open feedback seperti teks atau suara yang bisa  diberikan  pada  mahasiswa  kedokteran  yang dievaluasi.  Umpan  balik  hanya  dapat  disampaikan secara  langsung,  tidak  melalui  aplikasi.  Apabila diimplementasikan,  umpan  balik  dapat  dilihat  atau didengar kembali disaat mahasiswa melakukan latihan atau evaluasi mandiri. Pada penelitian lain disebutkan bahwa evaluasi yang diberikan oleh teman sebaya / Peer Assessment lebih dipilih oleh mahasiswa dibanding oleh dosen. Hal ini disebabkan kritisi dan komunikasi antar teman dianggap lebih bermakna. Karena sifatnya yang netral  antar  dosen  dan  mahasiswa,  fitur  yang  peneliti kembangkan  bisa  menjadi  alat  yang  baik  dalam peer assessment .(Rahimah et al., 2017)
Fitur  yang  dapat  dikembangkan  kedepannya adalah pembuatan konten seperti materi atau pun check- list OSCE  secara  kustom  oleh  pengguna.  Responden menyebutkan  bahwa  ada  banyak  pendapat  dan  atau prosedur  yang  berbeda  antar  institusi  pendidikan kedokteran. Apabila konten dan check-list tersebut dapat diubah atau dibuat sesuai  kebutuhan institusi  masing- masing,  maka  akan  lebih  banyak  lagi  yang  bisa memanfaatkan  fitur  ini  di  fakultas  kedokteran  lain. Jumlah  responden  bisa  ditambahkan  lagi  untuk penelitian  selanjutnya  dalam  pengujian  secara
kuantitatif  untuk  menilai  kualitas  dari  pemanfaatan MSG.
Secara  keseluruhan,  responden  menunjukkan kepuasan  dan  potensi  yang  sangat  baik  dari pengembangan fitur alat evaluasi OSCE ini. Hal semisal juga  ditemukan  pada  penelitian  sebelumnya  yang menggunakan  platform website sebagai  alat  evaluasi OSCE.  Tidak  hanya  akan  menghemat  penggunaan kertas,  tapi  kualitas  evaluasi  dapat  diperkaya  secara praktis  dalam  kegiatan  pembelajaran  dan  latihan OSCE.(Yousef et al., 2022)
Pada penerapan lain seperti pembelajaran online yang  menjadi  popular  setelah  pandemi  COVID-19, metode  evaluasi  OSCE  campur  / Blended  learning juga diterapkan di berbagai fakultas kedokteran. Hal ini juga terjadi pada sebagian responden penelitian ini. Evaluasi yang dilakukan menggunakan fitur yang dikembangkan  ini  tetap  dapat  dilakukan  sebagaimana halnya latihan secara luring / offline . Penelitian semisal menunjukkan  pemanfaatan blended  learning bisa meningkatkan  efektivitas  latihan  OSCE.  Berbagai metode  dan  rangkaian  kreativitas  evaluasi  OSCE menggunakan  aplikasi  dan  fitur  ini  bisa  diteliti  lebih lanjut  untuk  memastikan  kebermanfaatannya  di penelitian selanjutnya.(Kang et al., 2022)
Setelah kita tahu manfaat dari fitur ini, kita perlu melakukan  langkah  nyata  dalam  perubahan  di lapangan.  Sebab,  penerapan  aplikasi mobile ini  dapat menjadi katalis pembelajaran personal dan pengembangan profesionalisme.
Asosiasi  pendidikan  kedokteran  internasional (AMEE,  An  International  Association  for  Medical Education)  telah  mengeluarkan  panduan  perencanaan kurikulum  Nomor  105  tentang  teknologi mobile pada pendidikan  kedokteran.  Kesadaran  dan  kebutuhan terhadap  panduan  yang  tepat  dalam  implementasi teknologi ini di lapangan menunjukkan perubahan tidak dapat  dihindari.lagi.  Fakultas  kedokteran  perlu melakukan  evelauasi,  adaptasi,  dan  mulai  menyadari perlunya  menerima  kedatangan  teknologi  yang membantu ini.(Masters et al., 2016)

## Simpulan
Fitur  alat  evaluasi  OSCE  di  MSG  praktis  dan bermanfaat  untuk  digunakan  dalam  latihan  OSCE dengan  beberapa  batasan.  Dibutuhkan  beberapa validasi  jika  ingin  digunakan  dalam  pengaturan  ujian. Terdapat  beberapa  perbaikan  dan  rekomendasi  fitur yang  bisa  ditambahkan  di  masa  depan  untuk memberikan  pengalaman  evaluasi  kemampuan  OSCE yang lebih baik.

## Ucapan Terima Kasih
Peneliti  mengucapkan  terima  kasih  banyak  atas dukungan  Kementerian  Pendidikan  dan  Kebudayaan terhadap  terealisasinya  penelitian  pengembangan  fitur evaluasi OSCE ini.

## Daftar Pustaka
Bala,  M.Y.,  Damla  K.  (2021).  A  Review  of  Human- Computer  Interaction  Design  Approaches towards  Information  Systems  Development.
BRAIN. 2021 Mar 29; 12(1):229–50.
https://doi.org/10.18662/brain/12.1/180
Chandran, V. P., Balakrishnan, A., Rashid, M., Kulyadi,
G. P., Khan, S., Devi, E. S., Nair, S., & Thunga, G. (2022). Mobile applications in medical education: A  systematic  review  and  meta-analysis.  In PLoS ONE (Vol.  17,  Issue  3  March).  Public  Library  of Science. https://doi.org/10.1371/journal.pone.0265927
Chase, T. J. G., Julius, A., Chandan, J. S., Powell, E., Hall, C.  S.,  Phillips,  B.  L.,  Burnett,  R.,  Gill,  D.,  & Fernando, B. (2018). Mobile learning in medicine: An  evaluation  of  attitudes  and  behaviours  of medical  students. BMC  Medical  Education , 18 (1). https://doi.org/10.1186/s12909-018-1264-5
Kang, S. H., Kim, T. H., Son, H. J., Park, Y. J., & Lee, S. H. (2022).  Validity  of  OSCE  Evaluation  Using  the FLEX  Model  of  Blended  Learning. Journal  of Korean Medical Science , 37 (20). https://doi.org/10.3346/jkms.2022.37.e163
Masters,  K.,  Ellaway,  R.  H.,  Topps,  D.,  Archibald,  D., Hogue,  R.  J.,  Org,  W.  A.,  &  Gibbs,  T.  (2016). Mobile technologies in medical education: AMEE Guide No. 105. In Medical Teacher (Vol. 38, Issue 6). www.amee.org
Rafiq, A., Pamungkas Susani, Y., & Pujiarohman. (2021). Med Stud Games as a Serious Game for Medical Education  in  Indonesia:  a  Validation  Study. MedEdPublish ,
10 (1). https://doi.org/10.15694/MEP.2021.000180.1
Rahimah,  S.  B.,  Kusmiati,  M.,  &  Widyastuti,  E.  (2017). ARTIKEL PENELITIAN Hubungan Self Assessment- Peer  Assessment  dengan  Nilai  Kelulusan  OSCE Mahasiswa Fakultas Kedokteran Unisba .
Sharp,  H.,  Rogers,  Y.,  &  Preece,  J.  (2023). Interaction Design:  Beyond  Human-Computer  Interaction (6th ed.). John Wiley & Sons.
Swanwick,  T.,  Forrest,  K.,  &  O’brien,  B.  C.  (2019). Understanding Medical Education (3rd ed.).
van Kuijk, J., Kanis, H., Christiaans, H., & van Eijk, D.
(2017).  Barriers  to  and  Enablers  of  Usability  in Electronic  Consumer  Product  Development:  A Multiple Case Study. Human-Computer Interaction , 32 (1), 1–71. https://doi.org/10.1080/07370024.2015.1117373
Yousef, A. A., Awary, B. H., Alqurashi, F. O., Husain, S.
I., Sharif, O., Albuali, W. H., & Al-Qahtani, M. H. (2022).  Innovative  Method  to  Digitize  a  Web- Based  OSCE  Evaluation  System  for  Medical Students:  A  Cross-Sectional  Study  in  University Hospital  in  Saudi  Arabia. International  Journal  of General Medicine , 15 , 1085–1095.
https://doi.org/10.2147/IJGM.S351052