Indonesian of Health Information Management Journal

## Evaluasi Usability Electronic Integrated Antenatal Care (e-iANC)
Hosizah Hosizah 1 , Fachmi Tamzil 2 , Mulyo Wiharto 3 1,2 Program Studi Manajemen Informasi Kesehatan, Universitas Esa Unggul, Jakarta, Indonesia
3 Program Studi Kesehatan Masyarakat, Universitas Esa Unggul, Jakarta, Indonesia Jalan Arjuna Utara No. 9 Kebon Jeruk, Jakarta Barat 11510 Korespondesi E-mail: hozisah@esaunggul.ac.id
Submitted: 7 Desember 2020, Revised: 26 Desember 2020, Accepted: 29 Desember 2020

## Abstract
Electronic Integrated Antenatal Care (e-iANC) is a web-based application that can be used by midwives in antenatal care (ANC) data and information management. Currently, e-iANC is being developed so that it can be used in the public primary healthcare at sub-district level. To ensure that e-iANC is used by end users, it was needed to test e-iANC using the System Usability Scale (SUS) instrument. The e-iANC test had been conducted in a structured and accurate manner by using SUS’ ten statements on 22 purposive samples. The results obtained were 83.1 scores, which means that the e-iANC application was declared acceptable (acceptable) and good ratings in grade A and B. The e-iANC application could be developed and used as a tool for midwives in ANC.
Keyword: Electronic Integrated Antenatal Care, e-iANC , System Usability Scale (SUS), midwife

## Abstrak
Electronic Integrated Antenatal Care (e-iANC) merupakan aplikasi berbasis web yang dapat digunakan bidan dalam manajemen data dan informasi pelayanan antenatal (ANC). Saat ini e-iANC sedang dikembangkan agar dapat digunakan dalam lingkup lebih luas yaitu di puskesmas tingkat kelurahan dan kecamatan. Untuk menjamin e-iANC dapat dimanfaatkan bidan sebagai pengguna  akhir  diperlukan  pengujian  menggunakan S US’s  instrument ( System  Usability  Scale) .  Pengujian  e-iANC  telah dilaksanakan secara sistematis dan terukur secara akurat menggunakan 10 pernyataan untuk menilai sampel sebanyak 22 orang yang diambil secara purposive. Hasil pengujian e-iANC diperoleh skor penilaian 83,1 yang berarti aplikasi e-iANC acceptable atau dapat diterima pengguna akhir dan dalam grade A dan B dengan rating excellent . Hal ini berarti aplikasi e-iANC dapat terus dikembangkan dan dijadikan alat bantu bidan dalam melakukan ANC.
Kata Kunci : Electronic Integrated Antenatal Care, e-iANC , System Usability Scale (SUS), bidan

## Pendahuluan
Indonesia termasuk dalam negara dengan Angka Kematian Ibu (AKI) yang tinggi di tingkat Asia Tenggara,  yaitu  sebesar  359  per  100.000  kelahiran  hidup  pada  tahun  2012.  Pada  tahun  2015,  target Indikator MDG’s adalah 102 per 100.000 kelahiran hidup, sehingga AKI 359 per 100.000 kelahiran hidup masih di jauh bawah target, oleh karenanya indikator AKI menjadi target prioritas dalam t ujuan SGD’s tahun 2015-2030 sebesar 70 per 100.000 kelahiran hidup (1), (2).
Bidan adalah salah satu tenaga kesehatan yang mempunyai peran strategis dan penting dalam hal menurunkan  AKI  dan  AKB.  Bidan  melalukan  layanan  kebidanan  rutin  dan  kontinyu  yang menitikberatkan  pada  upaya  pencegahan,  promosi  dan  pemberdayaan  masyarakat  bersinergi  dengan tenaga kesehatan lainnya untuk melayani masyarakat yang membutuhkan. Pelayanan antenatal (ANC) merupakan salah satu ruang lingkup dari layanan bidan (3).
Saat  ini  pencatatan  hasil  ANC  di Puskesmas  dilakukan  dalam  format  kertas ( paper-based )  dan kualitas  dari  data  masih  rendah.  Hal  ini  menyebabkan  sulitnya  dilakukan  analisis  data  untuk meningkatkan kualitas ANC (4). Pada prakteknya di lapangan masih banyak terjadi manipulasi laporan bidan tentang data ibu hamil. Hasil investigasi laporan ANC ditemukan data yang dilaporkan oleh bidan mengenai cakupan layanan ANC sangat tinggi, berbanding terbalik dengan hasil survei dari Riskesdas. Rekayasa  laporan  ANC  sering  dilakukan  untuk  memenuhi  target  yang  ditentukan  oleh  Kementrian Kesehatan. Untuk  itu  hasil penelitian  sebelumnya  telah  dirancang  sebuah  aplikasi  berbasis  web  yang dapat diakses melalui www.e-ianc.net , aplikasi ini dapat digunakan bidan dalam manajemen data dan informasi  pelayanan  antenatal  yang  dikenalkan  dengan  nama Electronic  Integrated  Antenatal  Care atau disingkat dengan e-iANC seperti dalam Gambar 1.
Gambar 1.

## Logo dan gambar e-iANC
Fitur-fitur  dalam  e-iANC  terdiri  dari master  patient  index,  e-admission  records (anamnesis, pemeriksaaan  fisik,  laboratorium,  Komunikasi  Informasi  dan  Edukasi  atau  KIE,  skrining  risiko kehamilan), penanganan dan tindak lanjut, serta surat keterangan kelahiran dan laporan bulanan yang dibutuhkan bidan pada level PMB, Puskesmas Kelurahan, dan Kecamatan (5).
Pengujian  keamaan  sistem  e-iANC  telah  dilakukan  dengan  menggunakan the Open  Web Application  Security  Project (OWASP).  OWASP  mendeteksi  adanya  risiko  rendah  pada  aspek Private  IP Disclosure , Cross-Domain JavaScript Source File Inclusion, , XSS Protection Not Enabled Web Browser (6). Suatu aplikasi berbasis web selain diuji keamanan sistem perlu dilakukan pengujian tingkat kebergunaannya atau yang dikenal dengan Usability (7). Dalam  ISO  9421-11  (1998) usability bertujuan  untuk  menilai  sebuah  barang  atau  produk  dapat dipakai oleh user (pengguna) dalam memenuhi tujuan tertentu secara efektif, efisien, serta user (pengguna) merasa  nyaman  dalam  menggunakannya.  Usability  dapat  dijelaskan  sebagai  kualitas  atribut  yang digunakan untuk menilai mudahnya antar muka (8). Jacob Nielsen menjelaskan kriteria pada usability mencakup: 1) Efficiency atau efisien, 2) Safety atau aman digunakan , 3) Utility atau berguna dengan baik , 4) Learnability atau mudah dipelajari, dan 5) Memoribility atau mudah diingat. 1) Efisiensi dapat diartikan seberapa  cepat  dan  tepat  pengguna  dapat  menggunakan  sebuah  aplikasi  untuk  menyelesaikan  tugas tertentu, 2) Aman digunakan dapat diartikan bagaimana sebuah aplikasimencegah pengguna dari keadaan bahaya atau situasi yang tidak diinginkan, 3) Berguna dengan baik dapat diartikan bagaimana aplikasi dapat menyediakan fungsi atau fitur yang baik sehingga pengguna dapat menggunakan sesuai kebutuhan, 4)  Mudah  dipelajari  dapat  diartikan  sebuah  aplikasi  mudah  dipelajari  sebelum  digunakan  oleh penggunanya, 5) Mudah diingat adalah sebuah aplikasi dapat diingat oleh pengguna ketika digunakan dalam sekali dan selanjutnya pengguna dapat menggunakannya kembali (9).
System Usability Scale (SUS) dan Heuristic Evaluation (HE) dapat digunakan untuk mengevaluasi atau menguji Usability , perbedaan keduanya ada pada aspek penguji atau evaluator. SUS dilakukan langsung pada  pengguna  akhir,  sedangkan  HE  dilakukan  oleh  expert  atau  ahli.  Untuk  itu  evaluasi  e-iANC menggunakan  SUS  karena  dalam  melakukan  pengujian  dilakukan  pada  pengguna  akhir  yaitu  bidan dengan harapan hasil evaluasi memberikan gambaran lebih sesui dengan keadaan nyata. Instrumen SUS mempunyai sepuluh pernyataan alat pengujian, dan SUS tidak membutuhkan sampel jumlah besar untuk dapat meminimumkan biaya pengujian (10), (11).

## Metode Penelitian
Penelitian  ini  menggunakan  metode  observasional  analitik  dengan  populasi  adalah  bidan  di wilayah  kerja  Suku  Dinas  Kesehatan  Jakarta  Barat  sebagai  pengguna  akhir  e-iANC.  Purposif  sampel sebanyak 22 orang terdiri dari bidan orang bidan yang melakukan ANC di PMB, Puskesmas Kelurahan, dan  Puskesmas  Kecamatan.  Instrumen  pengujian  e-iANC  menggunakan  instrumen  pengujian  SUS terdiri  dari  10  pernyataan  yang  telah  dimodifikasi  sesuai  kebutuhan  pengujian  e-iANC  seperti  dalam Tabel 1.
Tabel 1.

## Instrumen Pengujian SUS
No Pernyataan Skala 1. Saya pikir saya akan sering menggunakan aplikasi e-iANC dalam melakukan pelayanan ANC 1 – 5 2. Saya merasa fitur aplikasi e-iANC terlalu rumit 1 – 5 3. Saya rasa fitur aplikasi e-iANC mudah digunakan 1 – 5 4. Saya pikir saya membutuhan bantuan dari orang lain untuk menggunakan aplikasi e- iANC 1 – 5 5. Saya melihat aplikasi e-iANC bisa terintegrasi dengan baik dalam Sistem informasi yang ada saat ini 1 – 5 6. Saya melihat aplikasi e-iANC tidak konsisten 1 – 5 7. Saya rasa kebanyakan pengguna akan mempelajari fitur aplikasi e-iANC dengan cepat 1 – 5 8. Saya melihat aplikasi e-iANC tidak praktis digunakan 1 – 5 9. Saya yakin dapat menggunakan aplikasi e-iANC. 1 – 5 10. Saya harus banyak belajar sebelum menggunakan aplikasi e-iANC. 1 – 5
Terdapat dua jenis pertanyaan pada kuesioner SUS yakni pertanyaan positif berada pada nomor ganjil dan pertanyaan negatif berada pada nomor genap. Setiap jawaban pertanyaan memiliki skala, skala yang  diberikan  mulai  dari  yang  terkecil  yaitu  pertanyaan  paling  negatif  hingga  yang  terbesar  yaitu pertanyaan paling positif dengan skala 1-5. Berikut adalah nilai skala pada setiap jawaban pertanyaan SUS: Sangat Tidak Setuju (STS) = 1, Tidak Setuju (TS) = 2, Netral (N) = 3, Setuju (S) = 4, dan Sangat Setuju (SS)=5. Berikut  ini  adalah  aturan  yang  dipakai  berdasarkan  instrument  SUS  untuk  perhitungan  hasil pengujian e-iANC. a) Skala jawaban responden dikurangi 1 pada pernyataan yang bernomor ganjil, b) Lima  dikurangi  skala  jawaban  responden  pada  pernyataan  yang  bernomor  genap,  c)  Empat  menjadi respon paling positif (hasil nilai skala 0 sampai dengan 4), d) Skala jawaban responden dijumlahkan dan dikali dengan 2,5, serta e) menghitung rata-rata jawaban semua responden (12), (13).

## Hasil dan Pembahasan
1. Karakteristik Responden
a. Umur dan masa kerja
Dalam Tabel 2 diketahui dari total 22 responden, usia termuda 23 tahun dan tertua 61 tahun dengan rata-rata 39,8 dan standar deviasi 11,25 tahun.  Masa kerja bidan tersingkat 1 tahun dan terlama 32 tahun dengan rata-rata 16,25 tahun dan standar deviasi 9,51 tahun.
Tabel 2. Umur dan Masa Kerja Responden Evaluasi Usability e-iANC Variabel N Min (tahun) Max (tahun) Rata-rata (tahun) SD 95% CI Umur 22 23 61 39,8 11,25 34,8 – 44,8 Masa kerja 22 1 32 16,25 9,51 11,2 – 15,9

## b. Pendidikan
Latar  belakang  pendidikan  responden  terdiri  dari  tiga  kelompok  yaitu  D3  Kebidanan  D4 Kebidanan, dan S1 Kesehatan. Dari total 22 responden dalam gambar 2 sebagian besar masih D3 Kebidanan sebesar 77,27% dan hanya 1 orang atau 4,55% dengan latar belakang pendidikan S1 Kesehatan.

## Gambar 2. Distribusi Pendidikan Responden Evaluasi Usabillity e-iANC
2. Hasil Pengujian e-iANC
Nilai pengujian e-iANC diperoleh berdasarkan aturan metode Perhitungan Skor SUS. Nilai pengujian e-iANC dapat dilihat dalam Tabel 3.
Tabel 3.

## Nilai Pengujian e-iANC
No. Responden Nilai Pengujian Skor 1. 33 x 2,5 82,5 2. 33 x 2,5 82,5 3. 33 x 2,5 82,5 4. 32 x 2,5 80,0 5. 34 x 2,5 85,0 6. 30 x 2,5 75,0 7. 34 x 2,5 85,0 8. 31 x 2,5 77,5 9. 33 x 2,5 82,5 10. 32 x 2,5 80,0 11. 35 x 2,5 87,5
No. Responden Nilai Pengujian Skor 12. 35 x 2,5 87,5 13. 34 x 2,5 85,0 14. 33 x 2,5 82,5 15. 33 x 2,5 82,5 16. 31 x 2,5 77,5 17. 32 x 2,5 80,0 18. 35 x 2,5 87,5 19. 32 x 2,5 80,0 20. 33 x 2,5 82,5 21. 33 x 2,5 82,5 22. 38 x 2,5 95,0 Rata-rata 83,1
Rata-rata skor  akhir penilaian  responden  adalah  83,1 (delapan  puluh  tiga  koma  satu). Tahap berikutnya adalah menghitung grade hasil penilaian. Terdapat dua cara dalam menentukan grade hasil penilaian (11).
Perhatikan pada Gambar 3, tahap awal ditentukan dari Acceptability range, Grade Scale, dan Adjective Ratings . Pada Acceptability range , terdapat tiga bagian atau kategori yaitu acceptable , marginal dan not acceptable. Pada Grade scale yaitu F, D, C, B, dan A. Untuk Adjective Ratings ada 6 kategori yaitu worst imaginable, poor, ok, good, excellent dan best imaginable . Tahap kedua ditentukan dari SUS score atau percentile rank dimana penilaian diilustrasikan pada Gambar 4, yaitu terbagi dalam A, B, C, D dan F.
Gambar 3. SUS score (sumber: John Brooke, 2013)
Gambar 4.
SUS score (sumber: John Brooke, 2013)
Hasil penilaian responden terhadap e-iANC dengan menggunakan dua cara hasil penilaiannya adalah sebagai berikut:
1) Acceptability Ranges, Grade Scale, Adjective Ratings: penentuan acceptability ranges, grade scale, adjective ratings dimanfaatkan  untuk  meninjau  perspective user (pengguna)  pada  e-iANC.  Untuk  menentukan Acceptability, grade scale, adjective ratings perlu dilakukan perbandingan hasil penilaian rata-rata responden sebesar  83,1  berdasarkan  penilaian  seperti  pada  gambar  3.  Dapat  disimpulkan  bahwa  hasil  penilaian responden  pada  e-iANC  sebagai  berikut:  a) acceptability  ranges (tingkat  penerimaan)  pengguna  dalam kategori acceptable , b) grade scale dalam kategori B, dan c) adjective ratings dalam kategori excellent . Sesuai dengan hasil penilaian tersebut maka aplikasi e-iANC dapat digunakan dengan mudah oleh pengguna akhir dan dapat juga dijadikan sebagai alat bantu dalam manajemen data dan informasi ANC. Hasil ini sejalan dengan penelitian sebelumnya (13), (14).
2) SUS Score percentile rank : Terdapat perbedaan hasil penilaian dengan menggunakan SUS score percentile rank dengan acceptability ranges, grade scale, adjective ratings . Hal ini dikarenakan kategori penilaian yang  digunakan  berbeda.  Jika  menggunakan  SUS Score  percentile  rank hasil  penilaian  diperoleh  dari perbandingan hasil penilaian pengguna secara umum. Sedangkan pada acceptability ranges, grade scale, adjective ratings dibedakan dalam 3 kategori. Penentuan SUS score percentile rank adalah sebagai berikut: 1) Grade A ≥ 80,3; 2 ) 74 ≤ Grade B <80,3; 3) 68 ≤ Grade C < 74; 4) 51 ≤ Grade D <68 dan 5) Grade F <51 (15), (16). Berdasarkan dari penentuan hasil penialain SUS score percentile rank diperoleh hasil penilaian responden terhadapa aplikasi e-iANC sebesar 83,1. Hal ini menunjukkan aplikasi berada pada grade A. Hasil penilaian responden secara garis besar adalah baik, sehingga pengguna akhir dapat memanfaatkan e-iANC.

## Kesimpulan
Aplikasi e-iANC masuk dalam grade A dan B dengan rating excellent dan dapat diterima ( acceptable ) dengan baik . Dengan  demikian  aplikasi  e-iANC  dapat  terus  dikembangkan  dan  dijadikan  alat  bantu  bidan  dalam melakukan ANC .

## Ucapan Terimakasih
Kami  sampaikan  terimakasih  kepada  Direktorat  Riset  dan  Pengabdian  Masyarakat  (DRPM) RISTEK-BRIN atas pendanaan hibah skema Penelitian Terapan Unggulan Perguruan Tinggi (PTUPT) dengan  Nomor  SK  (Perubahan)  KPA  Risbang  Kemenristek  BRIN:  25/E1/Kpt/2020  dan  nomor kontrak: 225/SP2H/LT/DRPM/2019 dan para mitra peneliti.

## Daftar Pustaka
1. Statistics Indonesia (Badan Pusat Statistik-BPS). Indonesia 2012 DHS. Vol. 45, Studies in family planning. 2014.
2. Kementrian Kesehatan RI. Agenda Sustainable Development Goals (SDGs) disampaikan dalam Rakerkesnas [Internet]. Available from: https://www.kemkes.go.id/article/print/16040400006/menkes-sampaikan-agenda-sdgs- dalam-rakerkesnas-2016.html
3. Kementerian Kesehatan RI, Dirjen Bina Gizi dan KIA DBKI. Pedoman Pelayanan Antenatal Terpadu. Kedua. 2013.
4. World Health Organization. Management of patient information. Vol. 6, Global Observatory for eHealth series. 2012.
5. Hosizah H, Hochheiser H, Kuntoro K, Basuki Notobroto H. Exploring Midwives’ Need and Intention to Adopt Electronic Integrated Antenatal Care (e-iANC). Perspect Heal Inf Manag [Internet]. 2018; Available from: http://perspectives.ahima.org/exploringmidwivesneedandintention/
6. OWASP. OWASP Top Ten [Internet]. Available from: https://owasp.org/www-project-top- ten/
7. Hosizah H, Tamzil F. Security system testing on electronic integrated antenatal care (e-iANC). Int J Electr Comput Eng. 2020;10(1):346 – 52.
8. Lewis Senior HF Engineer JR, Sauro J. Revisiting the Factor Structure of the System Usability Scale. J Usability Stud. 2017;12(4):183 – 92.
9. Lewis JR, Sauro J. Item Benchmarks for the System Usability Scale. J Usability Stud [Internet]. 2018;13(3):158 – 67. Available from: https://uxpajournal.org/wp- content/uploads/sites/8/pdf/JUS_Lewis_May2018.pdf
10. Baumgartner J, Frei N, Kleinke M, Sauer J, Sonderegger A. Pictorial System Usability Scale (P- SUS). 2019;1 – 11.
11. Brooke J. SUS: A Retrospective. J Usability Stud. 2013;8(2):29 – 40.
12. Ependi U, Panjaitan F, Hutrianto H. System Usability Scale Antarmuka Palembang Guide Sebagai Media Pendukung Asian Games XVIII. J Inf Syst Eng Bus Intell. 2017;3(2):80.
13. Gao M, Kortum P, Oswald FL. Multi-Language Toolkit for the System Usability Scale. Int J Human – Computer Interact [Internet]. 2020 Dec 13;36(20):1883 – 901. Available from: https://www.tandfonline.com/doi/full/10.1080/10447318.2020.1801173
14. Bligård L-O, Strömberg H, Karlsson M. Developers as Users: Exploring the Experiences of Using a New Theoretical Method for Usability Assessment. Adv Human-Computer Interact [Internet]. 2017;2017:1 – 13. Available from: https://www.hindawi.com/journals/ahci/2017/6131575/
15. Alturki R, Gay V. Usability Testing of Fitness Mobile Application : Methodology and Quantitative Results. In: Computer Science & Information Technology (CS & IT) [Internet].
Academy & Industry Research Collaboration Center (AIRCC); 2017. p. 97 – 114. Available from: http://airccj.org/CSCP/vol7/csit77308.pdf
16. Maramba I, Chatterjee A, Newman C. Methods of usability testing in the development of eHealth applications: A scoping review. Int J Med Inform [Internet]. 2019 Jun;126:95 – 104.
Available from: https://linkinghub.elsevier.com/retrieve/pii/S1386505618313182