Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020 ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711
Evaluasi Sistem Informasi Kemajuan Akademik (SIsKA-NG) Mobile Menggunakan Metode Heuristic Evaluation, System Usability Scale, dan Concurrent Think Aloud
I Made Subrata Sandhiyasa 1 ,Gede Indrawan 2 , I Gede Aris Gunadi 3
1,2,3 Program Studi Ilmu Komputer,Program Pascasarjana
Universitas Pendidikan Ganesha Singaraja Indonesia
Email: dek.sandhiyasa990@gmail.com , gindrawan@undiksha.ac.id , igedearisgunadi@undiksha.ac.id

## Abstrak
Masih terbatasnya fungsionalitas Sistem Informasi Kemajuan Akademik (SIsKA), terutama dalam aspek fungsionalitas khususnya fitur notifikasi, baik notifikasi jadwal ujian maupun notifikasi tentang masa studi masing-masing mahasiwa yang berguna sebagai pengingat batas waktu studi akhir mahasiswa,  berkonsekuensi langsung pada kualitas pelayanan dan monitoring perkembangan mahasiswa di Program Studi Ilmu Komputer Universitas Pendidikan Ganesha. Penelitian ini berfokus pada evaluasi dan pengembangan lanjutan SIsKA-NG mobile dengan menggunakan heuristic evaluation sebagai tahap pengembangan pertama, dari hasil evaluasi oleh para evaluator ditemukan 20 permasalahan pada Aplikasi SIsKA mobile , 8 permasalahan dengan severity rating paling tinggi ( Catastrophic ), 6 permasalahn dengan prioritas tinggi ( Mayor ) dan permasalahan yang perlu di perbaiki namun pada prioritas rendah ( Minor ) serta permasalahan yang tidak perlu di perbaiki kecuali ada waktu tambahan masing-masing terdapat 3 permasalahan. Bedasarkan pengembangan tahap pertama dilakukan pengukuran kepuasan pengguna menggunakan kuesioner system usability scale , dimana didapatkan skor akhir sebesar 82.25, lebih tinggi dari skor standar system usability scale yaitu 68.00. sehingga skor tersebut mendapatkan grade ‘sangat baik’ ,yang berarti pengguna sangat puas dalam menggunakan aplikasi, namun untuk lebih memaksimalkan performa Aplikasi SIsKA-NG mobile, dilakukan usability tesing untuk menggali data kualitatif  dari responden yang sama dengan kuesioner system usability scale menggunakan metode concurrent think aloud , dimana hasil rangkuman kritik atau saran dari responden sebanyak 21 kritik atau saran dijadikan acuan pengembangan tahap kedua pada Aplikasi SIsKA-NG mobile .
Kata Kunci:  heuristic evaluation, usability testing, system usability scale, concurrent think aloud,  apikasi mobile .

## Abstract
Has limited functionality Academic Progression Information Systems “SIsKA”, especially in the aspects of functionality, especially notification feature, both notifications exam schedule and notification about the study period each student that is useful as a reminder of a time limit final study students, consequential directly on the quality of service and monitoring student progress in Computer Science Department Universitas Pendidikan Ganesha . The research focuses on the evaluation and development of advanced “SIsKA-NG” mobile by using heuristic evaluation as development stage first, of the results  of the evaluation by the evaluators, found 20 problems with the application “SIsKA” mobile, 8 problems with the severity rating of the highest (Catastrophic), 6 problems with priority high (Major) and the problems that need to be improved, but at a low priority (Minor) as well as issues that do not need to be fixed unless there is an extra time each there are three problems. Based on the first phase of development was measured user satisfaction questionnaire system usability scale, which was obtained by the final score of 82.25, higher than the standard scoring system usability scale that is 68.00. so the score is getting grade 'very good', which means that users are very satisfied in using the application, but to maximize the performance of applications “SIsKA-NG” mobile, performed usability testing to dig qualitative data from the same respondents to the questionnaire system usability scale using methods concurrent think aloud, where the results of a summary of criticisms or suggestions from respondents were 21 criticism or suggestions made reference to the development of the second phase “SIsKA-NG” mobile applications.
Keywords: heuristic evaluation, usability testing, system usability scale, concurrent think aloud, mobile application
Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020 ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711

## I. PENDAHULUAN
Penelitian ini difokuskan pada evaluasi dan pengembangan antarmuka dan fungsionalitas aplikasi  SIsKA mobile dengan melibatkan pada evaluator dan pengguna secara langsung. Mengingat masih  terbatasnya fitur penyampaian informasi secara cepat, memonitoring dan menyediakan bahan evaluasi terhadap kemajuan akademik mahasiswa pada aplikasi SIsKA mobile,  yang salah satunya dapat ditunjukkan dari statusnya yaitu: belum seminar proposal, akan seminar proposal, akan ujian pra tesis, akan ujian tesis dan sudah ujian tesis maka pihak program studi Ilmu Komputer program Pasca Sarjana Universitas Pendidikan Ganesha mengembangkan sebuah sistem informasi kemajuan akademik yang dinamakan SIsKA yang terbagi dalam dua platform yaitu berbasis web dan berbasis mobile android. Aplikasi SIskA diyakini akan lebih cepat memberikan informasi terkait keperluan akreditasi, dan menambah nilai Prodi Ilkom untuk pemakaian Sistem Informasi
Sistem Informasi Kemajuan Akademik (SIsKA) Berbasis Andriod yang sudah digunakan terbukti bisa membantu pengelolaan Program Studi Ilmu Komputer Program Pascasarjana Universitas Pendidikan Ganesha untuk mengelola kemajuan akademik mahasiswa terkait penelitiannya (Paramitha et al., 2018)(Indrawan et al., 2017). .Namun seiring berjalanya waktu ditemukan beberapa masalah pada Aplikasi SIsKA berbasis android, baik dari aspek antamuka maupun aspek fungsionalitas aplikasi.
Berdasarkan permasalahan pada antarmuka aplikasi SIsKa Mobile yang berdapampak pada ketidaknyamanan pengguna dan fungsionalitas aplikasi, maka pada penelitian ini  menggunakan metode  heuristic evaluation  untuk menguji user interface dan fungionalitas SIsKA agar dapat diterima secara umum.  heuristic evaluation  yang menggunakan prinsip Nielsen berhasil menemukan beberapa masalah usability , Selain itu pendapat dan komentar dari evaluator sangat membantu dalam meningkatkan usability prototipe selanjutnya (Motlagh Tehrani et al., 2015).  heuristic evaluation membuktikan dirinya sebagai metode yang mudah dan cepat dalam menemukan masalah usability (Almarashdeh & Alsmadi, 2017). Beberapa
evaluator terlibat dalam mengevaluasiuser interface berdasarkan skenario yang telah ditentukan. Evaluator  akan mengidentifikasi kemungkinan kesulitan yang mungkin akan dihadapi oleh pengguna ketika menggunakan aplikasi SIsKa dan mengevaluasi semua user interface yang ada pada aplikasi SisKa sesuai dengan standar kegunaan yang ditetapkan.
Selain mengevaluasi user interfae SIsKa dengan melibatkan para evaluator,   perlu juga dilakukan kuesioner  terhadap respon kepuasan pengguna setelah menggunakan aplikasi yang dilakukan menggunakan kuesioner System Usability Scale , teknik Questionnaire merupakan teknik yang mengukur tingkat kepuasan pengguna terhadap sebuah sistem dengan memberikan hasil evaluasi berupa kuantitatif  (Gupta, 2015), System Usability Scale sangat populer (Sasmito et al., 2019)(Lewis, 2018) dan telah banyak digunakan untuk menentukan tingkat kegunaan dari aplikasi pada ponsel dan tablet yang menggunakan flatform iOS dan Android  (Pradini et al., 2019), hasil dari kuesioner System Usability Scale sangat mudah dipahami  (Wijaya et al., 2019)  bahkan oleh kalangan awam (Katsanos et al., 2012).
Selain mencari skor penilaian pengguna dengan menggunakan metode System Usability Scale , untuk lebih meningkatkan efektifitas dalam evaluasi dan pengembangan SIsKA-NG mobile, penelitian ini juga menggunakan metode Concurrent Think Aloud, yakni dimana peneliti memverbalisasi pikiran pengguna selama pelaksanaan pengerjaan task scenario yang diberikan (Ericsson & Simon, 1993).
Concurrent Think Aloud menarik bagi praktisi karena sejumlah alasan, seperti manfaatnya dalam memberikan wawasan dalam tindakan dan perasaan pengguna, dan memiliki kemampuan untuk merekan waktu dari pengguna  dari pengguna selama proses pengujian  menggunakan aplikasi  (Alhadreti & Mayhew, 2018), selain itu Concurrent Think Aloud juga memberikan manfaat nyata dalam memberikan pandangan yang lengkap tentang pendangan pengguna (Van den Haak & De Jong, 2003). Sebuah survei internasional menunjukkan bahwa 98% usability  testing profesional telah menggunakan Concurrent Think Aloud dan 89% menilai itu sebagai pendekatan yang paling sering digunakan
(McDonald et al., 2012). Verbalisasi dari pengguna memungkinkan pengamat dapat memberi pandangan  pada bagian interface yang  memiliki masalah  (L. Nielsen & Madsen, 2012).  Pada saat pengguna melakukan verbalisasi, seluruh komentar direkam, sehingga semua yang dipikirkan oleh pengguna dapat dilihat kembali  dan poin -  poin penting tidak terlewat pada saat proses analisis (Galitz, 1997).
Kontribusi tulisan  ini  terletak pada bagaimana mengembangkan aplikasi yang ditunjang dan diperkuat oleh perspektif ahli dan disempurnakan oleh pengguna secara langsung dengan menggunakan kuesioner  untuk mengetahui tingkat kepuasan pengguna dan  memperoleh    kritik atau saran yang diberikan.

## II.  PENELITIAN TERDAHULU
Penelitian dengan judul usability evaluation pada sistem informasi kemajuan akademik (SIsKA-NG). penelitian tersebut membahas tentang evaluasi SIsKA-NG berbasis website dengan menggunakan metode heuristic evaluation , Retrospective Think Aloud dan UEQ, kesimpulan dari penelitian tersebut memberikan hasil UEQ SIsKA-NG yang lebih baik dibandingkan dengan hasil UEQ SIsKA sebelumnya karena ada penilaian tingkat unggul yang lebih baik pada empat aspek SIsKA-NG, yaitu daya tarik, efisiensi, ketergantungan, dan kebaruan (Indrawan et al., 2020).
Penelitian menggunakan metode Heuristic Evaluation  dengan judul “Analisis Usability Pada Website  Universitas Brawijaya Dengan Heuristic Evaluation” Pada evaluasi usability HE terdapat permasalahan sebanyak 53 masalah usability yang ditemukan  oleh    para evaluator (expert). Permasalahan usability terdiri dari masalah dengan tingkat perbaikan prioritas tinggi (mayor) pada 4 heuristik yaitu H1, H2, H6, H7, tingkat perbaikan dengan prioritas rendah (minor) pada 5 heuristik yaitu H4, H5, H8, H9, H10, dan tidak ditemukan masalah usability pada H3  (Mustikaningtyas et al., 2016).
Penelitian yang berjudul “Heuristic Evaluation of Mobile Government Portal Services: An Experts' Review” Hasilnya menunjukkan bahwa kegunaan aplikasi mobile pemerintahan itu bagus. Para ahli
telah merekomendasikan beberapa peningkatan di desain untuk portal aplikasi mobile pemerintahan seperti halaman seharusnya memiliki panjang ukuran terbatas agar sesuai dengan layar dan portal harus memungkinkan pengguna untuk menyimpan riwayat penelusuran. Penelitian bertujuan meningkatkan desain dan kinerja aplikasi mobile pemerintahan sebelum merilisnya sampai pengguna  akhir. Oleh karena itu, evaluasi tinjauan ahli adalah metode yang baik untuk menyelidiki masalah kegunaan pada tahap awal implementasi perangkat lunak. Tapi, pengguna akhir pada apliasi mobile pemerintahan ada yang mengatakan tidak, jadi evaluasi kepuasan pengguna masih dibutuhkan untuk memastikan keberhasilan mobile pemerintahan  (Almarashdeh & Alsmadi, 2017).
Penelitian yang berjudul “Heuristic Evaluation of a Mobile Hand-Writing Learning Application” mendapatkan kesimpulan bahwa Hasil evaluasi menunjukkan bahwa aplikasi tidak memenuhi persyaratan. Di antara masalah ini empat ditentukan sebagai masalah parah. diantaranya adalah desain antarmuka, konten pembelajaran seluler untuk anak- anak,  pencegahan  kesalahan  pengguna  dan bantuan serta dokumentasi. Oleh karena itu masalah iniharus ditangani terutama untuk efektivitas aplikasi. Dalam studi ini jenis kelamin evaluator tidak memiliki pengaruh apa pun tentang deteksi masalah kegunaan (Yilmaz & Durdu, 2015).
Penelitian yang berjudul “Heuristic Based Evaluation of Mobile Services Web Portal Usability” kesimpulan dari penelitian tersebuat adalah Penggunaan Metode Heuristic Based Evaluation untuk portal web layanan seluler terbukti dapat menghasilkan beberapa peningkatan prosedural dan produk. setelah evaluasi kegunaan diintegrasikan dengan desain ulang (Borovina et al., 2015).

## III. M ETODOLOGI P ENELITIAN
Objek dari penelitian adalah aplikasi SIsKA mobile berbasis android versi sebelumnya (sebelum pembaruan menjadi SIsKA-NG)  yang  terbagi menjadi tiga hak akses yaitu pengelola prodi, mahasiswa dan dosen. Metodelogi pengembangan aplikasi  (Gambar 1)  terdiri atas fase  identifikasi masalah, studi literatur, pengumpulan data, analisis data dan pengembangan SIsKA. Fase identifikasi
Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020 ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711
masalah meliputi atarmuka dan fungsionalitas aplikasi. Studi literatur meliputi metode yang digunakan dalam penelitian yaitu heuristic evaluation , system usability scale dan concurrent think aloud .
Fase pengumpulan data  terkait dengan proses evaluasi dilakukan oleh 5 orang evaluator yang berlatar belakang akademisi  menggunakan metode heuristic evaluation  dengan model Nielsen's Ten Heuristic , dimana model tersebut terdiri dari 5 aspek pengukuran
yaitu
learnability , efficiency , memorability , error dan satisfaction . Data yang diperoleh dari evaluasi ini adalah data kualitatif dan kuantitatif, data kualitatif berupa rekomendasi dari pada evaluator yang akan dijadikan acuan pengembangan SIsKA mobile , sedangkan data kuantitatif berupa nilai ( severity rating )  untuk memprioritaskan masalah usability mana yang akan diselesaikan terlebih dahulu berdasarkan rating tertinggi  yang dimulai dari nilai 0  sampai 5 ( don’t agree that this is a usability problem at all, cosmetic, minor, major dan catastrophic ) (J. Nielsen & Mack, 1994).

## Gambar 1 Metodologi Penelitian

## IV. H ASIL DAN P EMBAHASAN
Dari hasil pengembangan tahap pertama dengan menggunakan heuristic evaluation , selanjutnya dilakukan pengukuran kepuasan pengguna yang melibatkan 10 orang responden (Elling et al., 2012) mahasiswa pascasarjana ilmu komputer universitas pendidikan ganesha menggunakan metode system usability scale . kuesioner terdiri dari 10 item yang dibagi menjadi 2 sub yaitu usability dan learnability , usability pada poin 1, 2, 3, 5, 6, 7, 8, dan 9 sedangkan learnbility pada poin 4 dan 10. angka ganjil untuk poin positif dan angka genap untuk poin negatif (Brooke, 2013), dimana dalam penelitian ini menggunakan kuesioner system usability scale berbahasa indonesia agar lebih mudah dipahami oleh para responden (Sharfina & Santoso, 2017).
Dengan menggunakan responden yang sama dengan responden pada kuesione r system usability scale dilakukan pengukuran kepuasan pengguna yang bertujuan mendapatkan feedback berupa kritik atau saran menggunakan metode concurrent think aloud , saran dari responden akan dijadikan acuan
pengembangan SIsKA-NG  tahap kedua guna lebih meningkatkan performa aplkikasi SIsKA-NG mobile

## A. Analisis Sistem
Untuk meningkatkan performa aplikasi SIsKA mobile maka dilakukan evaluasi dan pengembangan aplikasi SIsKA mobile yang selanjutnya dinamakan SIsKA-NG.  Berdasarkan Evaluasi dilakukan oleh 5 evaluator, hasil dari evaluasi ditemukan sebanyak 58 permasalan pada kesepuluh prinsip heuristic , selanjutnya dilakukan perangkuman permasalahan untuk menghilangkan duplikasi masalah yang ditemukan oleh para evaluator, permasalahan yang sudah dirangkum akan diberikan severity rating yang diambil dari rata-rata nilai severity rating tiap permasalahan yang muncul. Adapun rangkuman dari permasalahan yang ditemukan tertera pada Tabel 1 dan rekaputilasi permasalahan tertera pada Table 2.
Tabel 1 Hasil Heuristic Evaluation
Item  Evaluator Permasalahan SR 1 Evl, Ev2, Ev3, Tidak ada indikator proses saat aplikasi melakukan suatu proses 4
Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020

## ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711
Item  Evaluator Permasalahan SR Ev4, Ev5. tertentu
2
Ev1, Ev3, Ev4. Penggunaan huruf kapital belum tepat 4 Ev2 Penggunaan bahasa tidak konsisten apakah menggunakan bahasa Indonesia atau bahasa inggris 2 3 Ev1, Ev2. Sebelum pengguna logout pada  aplikasi seharusnya aplikasi masih dalam keadaan login walaupun aplikasi di close 4
Evl,
Ev2, Ev3, Ev4, Ev5. Belum tersedia menu untuk mengubah data pribadi pengguna, seperti foto profile , username dan password 3.4
4 Evl,
Ev2, Ev3, Ev4, Ev5. Belum mecerminkan antarmuka suatu aplikasi berbasis mobile khusunya android, agar
disesuaikan dengan menggunakan komponen standar aplikasi mobile agar terdapat perbedaan antaran aplikasi berbasis web dan mobile 4
5 Evl,
Ev2, Ev3, Ev4, Ev5. Tidak adanya konfirmasi untuk melakukan proses tertentu yang berpengaruh terhadap data di dalamnya atau proses yang riskan misalkan saat mengupload file 3.2 6 Ev1, Ev2. Tidak ada perbedaan icon antara menu proposal, pratesis dan tesis, ukuran icon juga terlalu besar 2 Ev3, Ev4, Ev5. Komponen antarmuka dilihat dari sudut pandang aplikasi mobile
sulit dipahami, sebaiknya menggunakan antarmuka aplikasi
3
Item  Evaluator Permasalahan SR mobile 7
Ev2, Ev3, Ev4, Ev5. Efisiensi kurang karena harus login berulang kali saat aplikasi di close padahal pengguna tidak melogout akun 4 Ev2, Ev5. Penempatan menu pendaftaran ujian tidak tepat pada aplikasi mobile karena pengguna harus mengupload kelengkapan ujian dimana file tersebut harus dipindah ke smartphone terlebih dahulu jika akan mendaftar pada aplikasi mobile 3.5 Ev5 Tidak terdapat menu pengumuman atau pemberitahuan lain yang terkait akademik 4 Ev3 Tidak terdapat menu untuk resgister , jadi setelah pengguna baru mendownload aplikasi di playstore, sebelumnya harus mendaftar terlebih dahulu pada aplikasi web 4 8 Ev1 Pewarnaan icon pada menu saat active dan nonaktif hampir sama, sehingga cukup membingungkan pengguna. 4 Design sidebar /menu saat berpindah ke menu berikutnya akan tertutup sehingga pengguna harus membuka kembai menu dan memilih kembali 4 Ev2, Ev3, Ev4, Ev5. Perpaduan warna pada aplikasi terlalu gelap sehingga kurang nyaman dilihat 2.5 9 Ev1, Ev3, Ev4, Ev5 Tidak adanya pesan
error jika terjadi error pada aplikasi pada saat koneksi terputus 3 Ev2 Pesan error pada saat download file sulit dipahami pengguna 3
Item  Evaluator Permasalahan SR karena masih menggunakan bahasa pengembangan aplikasi 10 Ev3, Ev4, Ev3. Tidak terdapat manual book aplikasi atau menu yang menjelaskan tentang fungsi masing- masing menu 1 Ev2. Tidak terdapat menu riwayat penelitian mahasiwa baik itu berupa timeline ataupun dashboard 1
Dari 20 permasalahan yang telah dirangkum (Tabel 2), peneliti kembali melakukan konsolidasi dengan evaluator untuk memverifikasi permasalahan dan rekomendasi dari permasalahan, hasil konsolidasi akan dijadikan pedoman implementasi pengembangan pada aplikasi SIsKA mobile yang diharapkan meningkatkan performa aplikasi  baik dari segi antarmuka maupun fungsionalitas aplikasi, yang nantinya akan dinamakan SIsKA-NG,

## Tabel 2 Rekapitulasi Rangkuman Permasalan
Nielsen’s Heuristic Principal Permasalahan Visibility of system status 1 Match between system and the real world 2 User control and freedom 2 Consistency and standards 1 Error prevention 1 Recognition rather than recall 2 Flexibility and efficiency of use 4 Aesthetic and minimalist design 3 Help users recognize, diagnose, and recover from errors 2 Help and documentation 2 TOTAL 20
Gambar  2  memperlihatkan  frekuensi severity rating permasalahan yang ditemui oleh para evaluator, sebanyak 8 permasalahan dengan saverity rating yang paling tinggi ( Catastrophic ) ditemukan oleh evaluator sehingga harus diperbaiki sebelum aplikasi di rilis, karena akan berdampak pada
kurangnya kenyamanan pengguna atau fungsionalitas aplikasi, dan  permasalahan yang perlu di perbaiki dengan prioritas tinggi ( Mayor ) terdapat 6 permasalahan sedangkan permasalahan yang perlu di perbaiki namun pada prioritas rendah ( Minor ) dan permasalahan yang tidak perlu di perbaiki kecuali ada waktu tambahan masing-masing terdapat 3 permasalahan.  saverity rating akan dijadikan acuan langkah-langkah implementasi SIsKA-NG  mobile, dimana permasalahan yang memiliki severity rating tertinggi akan di implementasikan terlebih dahulu.
Gambar 2 Grafik frekuensi severity rating pada SIsKA mobile
Setelah  pengembangan  tahap  pertama yang mengacu pada saran dari evaluator dan nilai severity rating setiap permasalahan, selanjutnya dilakukan pengukuran kepuasan pengguna menggunakan kuesioner system usability scale yang melibatkan 10 orang responden mahasiswa pascasarjana  program studi ilmu komputer universitas pendidikan ganesha yang dipilih secara acak.
Tabel 3 Skor Akhir System Usability Scale
Kode Responde n Skor pertanyaan bernomor ganjil Total skor pertanyaan bernomor genap Skor SUS R01 16 16 80 R02 17 16 82.5 R03 16 12 70 R04 20 16 90
3 2 1 3 1 1 1 8 0 2 4 6 8 10 1 2 2.5 3 3.2 3.4 3.5 4 Frekuensi Severity Rating
Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020 ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711
Kode Responde n Skor pertanyaan bernomor ganjil Total skor pertanyaan bernomor genap Skor SUS R05 17 17 85 R06 18 18 90 R07 16 16 80 R08 20 13 82.5 R09 17 16 82.5 R10 16 16 80 Skor Akhir SUS 82,25
Pada table 3 terlihat nilai skor ahir masing – masing pertanyaan dan skor akhir yang didapat dari kuesioner system usability scale .  Adapun skor akhir yang didapat adalah 82.25, lebih tinggi dari skor standar yakni 68.00 sehingga grade yang didapatkan adalah ‘A’,  yang berarti dapat dikatakan responden sangat puas dalam menggunakan aplikasi SIsKA- NG  mobile.  Meski skor  kepuasan pengguna menggunakan  kuesioner System Usability Scale menunjukkan pengguna sangat puas dalam menggunakan aplikasi SIsKA-NG yang dikembangkan pada tahap  1,  namun untuk lebih memaksimalkan performa Aplikasi SIsKA maka dilakukan Usability testing  yang melibatkan pengguna secara langsung mengunakan  metode concurrent think aloud , dimana pada teknik ini data yang didapat berupa saran/kritik dari  responden yang sama dengan responden pada kuesioner system usability scale , dimana kritik/saran tersebut nantinya akan digunakan sebagai acuan pengembangan SIsKA-NG fase 2 (terakhir).  Tabel 4 menunjukkan kritik/saran dari responden yang telah dirangkum untuk menghilangkan duplikasi data.
Tabel 4 Rekapitulasi Rangkuman Kritik/Saran
Kode Responden Kritik / Saran R01, R08 Isi pada menu berita dan detail berita dirapikan. Pada menu tersebut masih terjadi error Kode Responden Kritik / Saran
dimana masih terlihat sintak
HTML
R01,R10,R07 Pada menu berita Tidak perlu menampilkan icon berita penting dan tidak terlalu penting karena membingungkan pengguna
R01, R06
Pada menu jadwa Icon antara
pembimbing dan penguji
dibedakan
R01,R02,R03 Pada menu penelitian tampilkan
hanya penelitian yang berstatus aktif R01,R02,R03,
R05,R06,R09,
R10 Pada menu detil notifikasi info penerima notif dan notif terkirm tidak perlu sebaiknya diganti dengan tombol hapus R01, R04
Pada menu approve registrasi sebaiknya diberikan tanda untuk
menemukan tombol perintah.
R02, R09 Pada menu jadwal format waktu ujian sebaiknya 24 jam
R07,R09, R10  Pada menu penelitian angka pada icon kalender membingungkan apakah tahubn tersebut merupakan tahun dimulainya penelitian atau
tahun Angkatan peneliti R02, R08 Pada menu pengaturan akun minimal karakter password harus ditentukan, saat ini hanya satu karakter bisa menyimpan
R03,R05, R07  Pada menu detail berita ukuran
font judul berita terlalu kecil dibandingkan dengan isi berita,
Kode Responden Kritik / Saran sebaiknya ukuran font judul lebih besar dibandingkan isi berita
R03, R08 Fitur search pada semua halaman sebaiknya jika pengguna tidak mengetik maka tetap menampilkan semua data, bukan
menampilkan tidak ada data R03, R10 Sorting data pada menu jadwal sebainya descending , tampilkan data dengan tanggal terbaru paling atas R03 Jika mahasiswa belum mengambil penelitian maka timeline juga
tidak muncul, seharusnya tetap
muncul tetapi berisi status belum
ditentukan pada semua timeline
yang ada R04 Pada menu berita, judul berita terpotong, sebaiknya ditampilkan seutuhnya R04, Pada menu masa studi sebaiknya
ditampilkan nomor  telepon dan
email mahasiswa agar admin atau dosen jika berkenan bisa
menghubungi
R04, R08 Bahasa awal studi dan akhir studi
pada halaman profile sedikit rancu
sebaiknya diganti dengan kata-
kata yang tepat R05 Warna pada label masa studi terlalu tajam R05 Pada menu pengaturan akun
Kode Responden Kritik / Saran
tampilkan foto lama / Existing photo
R05,R07, R10  Pada menu pengaturan profile ditambahkan fitur untuk
mengubah nomor telepon R06, R09 Pada menu masa studi tampilkan tahap penelitian R07 Pada menu jadwal tampilkan hanya jadwal yang masih aktif
Kritik atau saran  dari responden. terkait dengan saran penambahan fitur, sebagian besar responden memberikan saran untuk menambahkan fitur hapus notifikasi pada Halaman Detail Notifikasi, penambahan nomor telepon pada Halaman Pengaturan Profile, penambahan nomor telepon dan email pada Halaman Masa Studi dan penambahan foto sebelumnya pada Halaman Pengaturan Profile. Saran terkait dengan perbaikan fitur diantaranya icon yang terdapat pada Aplikasi SIsKA mobile yaitu icon bintang pada Halaman Berita sebaiknya dihilangkan karena arti dari icon tersebut membingungkan pengguna, icon penguji dan pembimbing pada Halaman Jadwal sebaiknya dibedakan dan arti dari icon kalender pada Halaman penelitian cukup membingungkan pengguna sehingga perlu diperjelas arti dari icon tersebut.
Terdapat juga saran mengenai filterisasi data, misalkan pada data penelitian sebaiknya hanya ditampilkan penelitian yang aktif dan sudah selesai, karena menyangkut nama baik peneliti sebaiknya aplikasi tidak menampilkan penelitian yang tidak aktif, Pada Halaman Jadwal sebaiknya hanya menampilkan data jadwal yang belum terlaksana dan sorting data sebaiknya menampilkan data yang terbaru paling atas atau descending

## B. Implementasi Sistem
Pola desain pada Gambar 3 diimplementasikan ke dalam bahasa  pemrograman yang mendukung
Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020 ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711
Cross-platform mengunakan framework flutter . Flutter adalah SDK open-source  berkinerja tinggi untuk membuat aplikasi mobile , didukung oleh native ARM code yang memungkinkan pengembang menargetkan dua platform sekaligus yaitu android dan IOS (Flutter, 2019).
Gambar 4 memperlihatkan perbandingan aplikasi SIsKA mobile versi sebelumnya  (a)  yang masih menggunakan antarmuka web ( webview )  dan SIsKA-NG mobile (b)  yang sudah menggunakan antarmuka aplikasi mobile, dimana masalah antarmuka tersebut masuk ke dalam salah satu dari 8 permasalahan dengan severity rating paling tinggi ( Catastrophic )  yang ditemukan oleh para evaluator (Lihat Tabel 1), dengan demikian masalah tersebut harus diatasi dengan prioritas paling tinggi.  Desain terbaru juga menggunakan desain menu dengan model bottom  navigation bar sehingga lebih memaksimalkan tampilan pada layar pada perangkat client dari sisi kapasitas.
(a)
(b)
Gambar 4 Tampilan Halaman Profile Pengguna Untuk menyampaikan informasi dengan cepat kepada penguna, SIsKA-NG dilengkapi dengan fitur notifikasi realtime yang ditampilkan pada halaman depan perangkat pengguna  (Gambar 5a), dimana notifikasi tersebut terdiri dari notifikasi berita, notifikasi jadwal ujian dan notifikasi masa studi.
Terdapat juga manajemen notifikasi pada Halaman Notifikasi yang memungkinkan pengguna untuk menghapus notifikasi (Gambar 5b),  sesuai dengan responden  mengunakan metode concurrent think aloud (lihat  Tabel  3).    Menu tersebut termasuk dalam masalah yang mendapatkan severity rating dengan nilai 3 ( mayor ), yang berarti masalah tersebut harus diatasi dengan prioritas tinggi.
(a) (b)
Gambar 5 Tampilan Notifikasi kepada pengguna Gambar 6 memperlihatkan menu timeline penelitian yang terdapat pada akun masing-masing pengguna mahasiswa, dimana menu tersebut akan pertama kali tampil jika pengguna membuka aplikasi,  menu timeline penelitian  memperlihatkan tahap-tahap yang harus dilalui oleh mahasiswa  terkait dengan penelitianya  yaitu pengajuan proposal, proposal, ujian proposal, revisi proposal, ujian pratesis, revisi pratesis dan terakhir tahap wisuda. acuan dari menu timeline penelitian sesuai dengan saran dari evaluator pada heuristic evaluation yaitu  “Tidak terdapat menu riwayat penelitian mahasiwa baik itu berupa timeline ataupun dashboard” (lihat Tabel 1) dan disempurnakan oleh pengguna pada metode concurrent think aloud yaitu “Jika mahasiswa belum mengambil penelitian maka timeline juga tidak muncul, seharusnya tetap muncul tetapi berisi status
belum ditentukan pada semua timeline yang ada” (lihat tabel 4).
Gambar 6 Timeline Penelitian mahasiswa
Untuk mewujudkan SIsKA-NG mobile sebagai sarana digital untuk memonitoring perkembangan akademik  mahasiswa dalam hal penelitian. Maka ditambahkan halaman dashboard (Gambar 7)  yang menampilkan data dalam bentuk grafik,  diharapkan  halaman tersebut  dapat dijadikan bahan pertimbangan pengelola prodi dalam mengambil suatu keputusan.  Adapun data yang ditampilkan pada dashboard yaitu grafik jumlah mahasiswa, grafik jumlah penelitian per angkatan, grafik tahapan penelitian per angkatan, grafik topik penelitian dan grafik jumlah mahasiswa bimbingan per dosen.
(a) (b)

## Gambar 7 Halaman Dashboard

## V. K ESIMPULAN
Dari hasil evaluasi menggunakan evaluasi heuristik ditemukan permasalahan terhadap 2 aspek aplikasi yaitu aspek antarmuka dan aspek fungsional aplikasi. Aspek  antarmuka yang paling mendasar ditemukan oleh evaluator yaitu antarmuka aplikasi masih menggunakan basis dari versi website sehingga tidak mencerminkan ciri khas aplikasi mobile , sehingga diperlukan pengembangan menyeluruh untuk semua menu yang terdapat pada aplikasi, dan dari aspek fungsionalitas diantaranya tidak terdapat fitur notifikasi dan fitur masa studi dari masing-masing mahasiswa. Adapun rangkuman permasalahan yang terbanyak terdapat pada item flexibility and efficiency of use sebanyak 4 permasalahan dan Aesthetic and minimalist design sebanyak 3 permasalahan.
Berdasarkan kuesioner system usability scale yang diberikan kepada 10 responden setelah pengembangan menggunakan acuan hasil heuristic evaluation , didapatkan skor akhir sebesar 82.25, lebih  tinggi dari skor standar system usability scale yaitu 68.00. sehingga skor tersebut mendapatkan grade sangat baik yang berarti pengguna sangat puas dalam menggunakan aplikasi.
Usability testing dilakukan oleh responden yang sama dengan responden system usability scale , tujuannya adalah untuk mencari data kualitatif berupa kritik atau saran yang akan dijadikan acuan pengembangan kembali Aplikasi SIsKA-NG mobile . Hasil dari usability testing didapatkan 21 saran dari
Jurnal Ilmu Komputer Indonesia(JIK) Vol : 5, No. 2,  November  2020 ISSN (Print):  2615-2703,  ISSN (Online):  2615-2711
responden yang diharapkan dapat semakin meningkatkan performa Aplikasi SIsKA-NG mobile. Penelitian selanjutnya yaitu pengembangan SIsKA- NG mobile yang dapat mendukung platform IOS dan peningkatan fungsionalitas aplikasi sesuai dengan perkembangan teknologi informasi terkini.

## VI. UCAPAN TERIMAKASIH
Penulis mengucapkan terimakasih kepada semua pihak yang telah terlibat dalam penelitian ini,  baik secara langsung maupun tidak langsung.  Sehingga penelitian ini dapat terselesaikan.

## DAFTAR PUSTAKA
Alhadreti, O., & Mayhew, P. (2018). Are Two Pairs of Eyes Better Than One? A Comparison of Concurrent Think-Aloud and Co-Participation Methods in Usability Testing. Journal of Usability Studies .
Almarashdeh, I., & Alsmadi, M. (2017). Heuristic evaluation of mobile government portal services: An experts’ review. 2016 11th International Conference for Internet Technology and Secured Transactions, ICITST 2016 .
https://doi.org/10.1109/ICITST.2016.7856746
Belkhir, A., Abdellatif, M., Tighilt, R., Moha, N., Gueheneuc, Y. G., & Beaudry, E. (2019). An observational study on the state of REST API uses in android mobile applications.
Proceedings - 2019 IEEE/ACM 6th International Conference on Mobile Software Engineering and Systems, MOBILESoft 2019 . https://doi.org/10.1109/MOBILESoft.2019.000 20
Borovina, N., Bošković, D., Dizdarević, J., Bulja, K., & Salihbegović, A. (2015). Heuristic based evaluation of Mobile Services web portal usability. 2014 22nd Telecommunications
Forum, TELFOR 2014 - Proceedings of Papers .
https://doi.org/10.1109/TELFOR.2014.703461
1
Brooke, J. (2013). SUS: a retrospective. Journal of Usability Studies .
Elling, S., Lentz, L., & De Jong, M. (2012).
Combining concurrent think-aloud protocols and eye-tracking observations: An analysis of verbalizations and silences. IEEE Transactions on Professional Communication . https://doi.org/10.1109/TPC.2012.2206190
Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: Verbal reports as data (rev. ed.). In Protocol analysis Verbal reports as data rev ed .
Flutter, C. P. D. using. (2019). Cross Platform Development using Flutter. International Journal of Engineering Science and Computing .
Galitz, W. O. (1997). The essential guide to user interface design. SIGCHI Bulletin .
Gupta, S. (2015). A Comparative study of Usability Evaluation Methods. International Journal of Computer Trends and Technology . https://doi.org/10.14445/22312803/ijctt- v22p121
Indrawan, G., Gunawan, I. M. A. O., & Sariyasa. (2020). The usability evaluation of academic progress information system (SISKA-NG). Advances in Science, Technology and
Engineering Systems . https://doi.org/10.25046/aj050259
Indrawan, G., Heriawan, G. T., Paramitha, A. A. I.
I., Wiryawan, G., Subawa, G. B., Sastradi, M. T., & Sucahyana, K. A. (2017). SIsKA: Mobile Based Academic Progress Information System . https://doi.org/10.2991/icirad-17.2017.24
Katsanos, C., Tselios, N., & Xenos, M. (2012).
Perceived usability evaluation of learning management systems: A first step towards standardization of the system usability scale in Greek. Proceedings of the 2012 16th Panhellenic Conference on Informatics, PCI 2012 . https://doi.org/10.1109/PCi.2012.38
Lewis, J. R. (2018). The System Usability Scale:
Past, Present, and Future. International Journal of Human-Computer Interaction . https://doi.org/10.1080/10447318.2018.145530 7
McDonald, S., Edwards, H. M., & Zhao, T. (2012).
Exploring think-alouds in usability testing: An international survey. IEEE Transactions on Professional Communication . https://doi.org/10.1109/TPC.2011.2182569
Motlagh Tehrani, S. E., Zainuddin, N. M. M., &
Takavar, T. (2015). Heuristic evaluation for Virtual Museum on smartphone. Proceedings - 2014 3rd International Conference on User Science and Engineering: Experience. Engineer. Engage, i-USEr 2014 , Vm , 227–231. https://doi.org/10.1109/IUSER.2014.7002707 Mustikaningtyas, B. A., Saputra, M. C., &
Pinandito, A. (2016). Analisis Usability Pada Website Universitas Brawijaya Dengan Heuristic Evaluation. Jurnal Teknologi Informasi Dan Ilmu Komputer . https://doi.org/10.25126/jtiik.201633194
Nielsen, J., & Mack, R. (1994). Heuristic Evaluation. In Usability Inspection Methods . https://doi.org/10.1089/tmj.2010.0114
Nielsen, L., & Madsen, S. (2012). The usability expert’s fear of agility - An empirical study of global trends and emerging practices.
NordiCHI 2012: Making Sense Through Design - Proceedings of the 7th Nordic Conference on Human-Computer Interaction .
https://doi.org/10.1145/2399016.2399057
Paramitha, A. A. I. I., Dantes, G. R., & Indrawan, G. (2018). The evaluation of web based academic progress information system using heuristic evaluation and user experience questionnaire (UEQ). Proceedings of the 3rd International Conference on Informatics and Computing, ICIC 2018 . https://doi.org/10.1109/IAC.2018.8780430
Pradini, R. S., Kriswibowo, R., & Ramdani, F. (2019). Usability Evaluation on the SIPR Website Uses the System Usability Scale and Net Promoter Score. Proceedings of 2019 4th International Conference on Sustainable Information Engineering and Technology, SIET 2019 . https://doi.org/10.1109/SIET48054.2019.89860 98
Sasmito, G. W., Zulfiqar, L. O. M., & Nishom, M. (2019). Usability Testing based on System Usability Scale and Net Promoter Score. 2019 2nd International Seminar on Research of Information Technology and Intelligent Systems, ISRITI 2019 . https://doi.org/10.1109/ISRITI48646.2019.903 4666
Sharfina, Z., & Santoso, H. B. (2017). An Indonesian adaptation of the System Usability Scale (SUS). 2016 International Conference on Advanced Computer Science and Information
Systems, ICACSIS 2016 . https://doi.org/10.1109/ICACSIS.2016.787277 6
Van den Haak, M. J., & De Jong, M. D. T. (2003). Exploring Two Methods of Usability Testing: Concurrent versus Retrospective Think-Aloud Protocols. IEEE International Professional Communication Conference . https://doi.org/10.1109/ipcc.2003.1245501 Wijaya, A. C., Wiranto Aris Munandar, M., &
Utaminingrum, F. (2019). Usability Testing of Augmented Reality for Food Advertisement Based on Mobile Phone Using System Usability Scale. Proceedings of 2019 4th International Conference on Sustainable Information Engineering and Technology, SIET 2019 . https://doi.org/10.1109/SIET48054.2019.89861 18
Yilmaz, B., & Durdu, P. O. (2015). Heuristic Evaluation of a mobile hand-writing learning application. 9th International Conference on Application of Information and Communication Technologies, AICT 2015 - Proceedings . https://doi.org/10.1109/ICAICT.2015.7338621