ISSN 2808-5825 (Online)
Jurnal Teknik Vol. 01 No.02 April 2022 Page : 80-89

## EVALUASI USABILITY MENGGUNAKAN METODE THINK ALOUD PADA APLIKASI MOBILE MISTER ALADIN
Faisal Thaib 1 , Miswar Papuangan 2 , Imam Hisbullah 3
1 Program Studi Teknik Informatika Universitas Pasifik Morotai, faisalthaib2019@gmail.com 2,3 Program Studi Teknik Informatika Universitas Pasifik Morotai

## ABSTRAK
Aplikasi Mister Aladin adalah salah satu situs e-comerce atau aplikasi m-ticketing  yang dirilis pada tahun 2015 dan  sudah  memiliki  lebih  dari  1.000.000  (satu  juta)  Pengguna  pada  Google  Playstore,  berdasarkan  hasil observasi awal yang dilakukan pada Google Play Store, bahwa terdapat ketidakpuasaan pengguna seperti rating rendah  dan  komentar  ketidakpuasaan  pengguna  terkait  dengan  permasalahan  dalam  menggunakan  aplikasi mobile  Mister  Aladin.  Masalah  tersebut  terkait  dengan  usability.  Oleh  karena  itu  diperlukan  evaluasi,  dengan menggunakan  metode  evaluasi  Think  Aloud.  Permasalahan  akan  dikelompokan  dan  dijadikan  task  skenario pengguna, hasil dari think aloud akan dilakukan pembahasan dan analisis untuk menentukan hasil evaluasi dari penggujian task scenario pengguna.
Kata kunci : e valuasi, usability, think aloud, aplikasi mobile,
@2021 Penerbit : Fakultas Teknik Universitas Pasifik Morotai

## 1 PENDAHULUAN

## 1.1 Latar Belakang
Saat ini, M-commerce telah menjadi salah satu pilihan umum cara berbelanja untuk masyarakat. Oleh karena itu transaksi dalam M-commerce tumbuh secara signifikan. Dengan meningkatnya persaingan M-commerce maka kinerja  harus  ditingkatkan  terutama  untuk  kepuasan  pengguna/pelanggan  [1].  Mister  Aladin  merupakan  salah satu  perusahan  online  ( startup )  teknologi  yang  menyediakan  layanan  pemesanan  secara  daring  atau  travel  e- commerce platform, yang didirikan pada tahun 2015 oleh beberapa praktisi teknologi informasi indonesia, yang dijalankan oleh PT. MNC Group (Media Nusantara Citra), dan pada saat ini telah memiliki lebih dari 1.000.000 (satu  juta)  pengguna  di  Google  Playstore,  dari  jumlah  pengguna  tersebut,  tentu  masih  jauh  tertinggal  dari aplikasi  sejenisnya  dengan  jumlah  pengguna  yang  lebih  besar,  seperti  Traveloka.com  (lebih  dari  10  juta pengguna)  Tiket.com  (lebih  dari  sepuluh  juta  pengguna),  Airy.com  (lebih  dari  lima  juta  pengguna)  dan pegipegi.com (lebih dari satu juta pengguna).
Berdasarkan  hasil  observasi  awal  yang  dilakukan  oleh  penulis  terhadap  ulasan  ( review )  atau  komentar  yang ditulis oleh pengguna di Google Playstore, bahwa masih banyak pengguna yang memberikan rating rendah serta komentar  atas  ketidakpuasaan  terhadap  permasalahan  yang  ada  ketika  menggunakan  aplikasi  mobile  Mister Aladin.  Hal  ini  dapat  dilihat  dari  hasil  observasi  awal  dengan  melakukan  tes  terhadap  5  pengguna  secara langsung, ketidakpuasaan pengguna terhadap aplikasi tentu akan berdampak terhadap peningkatan pengaksesan aplikasi  dan  penurunan rating  aplikasi  mobile Mister Aladin. Kepuasan  pengguna  merupakan  faktor  usability, jika sistem aplikasi berguna dengan baik [2].
Usability adalah  merupakan  sebuah  atribut  sebagai  proses  pengukuran  kualitas  untuk  menilai  sebuah  suatu produk atau sistem aplikasi, sejauh mana tingkat kemudahan pada penggunaan antarmuka sistem oleh pengguna untuk mencapai tujuannya yang dapat menghasilkan kepuasaan pengguna pada saat menggunakannya  [3]. Jika suatu aplikasi dikatakan berguna dengan baik, maka aplikasi atau sistem yang dibuat harus berhasil memberikan kesempatan bagi pengguna untuk menuntaskan aktivitas yang dilakukan hingga mencapai tujuan pada aplikasi tersebut dengan sebaik mungkin. Pengujian usability dapat dilakuakn dengan menggunakan pendapat pengguna tentang perasaan pengguna pada saat menggunakan aplikasi. Oleh sebab itu diperlukan evaluasi, salah satunya adalah  dengan  menggunakan  pendekatan  metode  think  aloud.  Menurut  Nielsen  (2012),  bahwa  metode  think aloud  merupakan  salah  satu  metode  yang  memungkin  secara  khusus  peneliti  dapat  mendengar  pengguna berbicara tentang penggunaan aplikasi secara luas [4].
Berdasarkan  uraian  diatas, maka  penelitian  ini  dilakukan  untuk  mengetahui  tingkat  kegunaan  aplikasi  melalui pengujian  usability  dengan  menggunakan  pendekatan  metode  think  aloud,  di  mana  peneliti  dapat  mengetahui pandangan  dari  perspektif  pengguna  yang  menggunakan  aplikasi  mobile  Mister  Aladin,  serta  membuat rekomendasi perbaikan untuk pengembangan aplikasi sesuai dengan temuan permasalahan untuk meningkatkan rating  aplikasi  dan  kepuasan  pengguna.    Harapannya  dari  hasil  keluaran  melalui  evaluasi  ini  dapat  dijadikan variabel untuk perbaikan pada sisi usability terhadapt aplikasi mobile Mister Aladin sehingga menjadi lebih baik dari sebelumnya.

## 2. TINJAUAN PUSTAKA
Usability  adalah  merupakan  metode  evaluasi  terhadap  produk  atau  layanan  sistem  dengan  cara  mengujinya kepada  perwakilan  pengguna  [5].  Pengujian  dilakukan  untuk  melihat  sejauh  mana  rancangan  kebergunaan produk dapat dimengerti dan digunakan oleh pengguna dengan mudah untuk mencapai tujuannya serta seberapa mudah  menggunakan  antarmuka  sistem  yang  dapat  menghasilkan  nilai  kepuasan  pengguna.  Usability  menilai sejauh  mana  tingkat  kemudahan  dan  kepuasan  pengguna  dalam  mengoperasikan  sistem  aplikasi  berdasarkan tujuan  penggunaan  sistem  dari  pengguna.  Usability  pada  sebuah  sistem  aplikasi  merupakan  satu  hal  yang penting,  agar  sistem  tersebut  selalu  digunakan  oleh  pengguna.  Sistem  yang  memiliki  usability  yang  tinggi sangat menentukan kepuasaan pengguna.
Think Aloud adalah merupakan metode untuk menguji sebuah sistem aplikasi yang  melibatkan pengguna dengan verbalisasi secara berlanjut atas apa yang hendak pengguna pikirkan dan rasakan disaat menggunakan sistem  tersebut.  Pengujian  secara  verbalisasi  dengan  pengguna  memungkinkan  agar  pengamat  dapat menginterprestasikan  pada  bagian  antamuka  yang  memiliki  masalah  [6].  Aktivitas  pengguna  pada  saat melakukan verbalisasi akan direkam, rekaman dilakukan untuk mengetahui apa yang difikirkan oleh pengguna pada saat operasikan sistem aplikasi, dan apa yang menjadi catatan penting dalam pengujian akan diproses dan dianalisis  [7]. Think  aloud merupakan  metode  evaluasi  yang  hanya  memerlukan  jumlah  responden  yang merupakan pengguna sebanyak 8 hingga 10. Jumlah tersebut sudah cukup memenuhi untuk memahami perilaku pengguna dalam melakukan sejumlah task-scenario yang diberikan[8].
Severity rating merupakan perengkingan atau nilai yang didapat berdasarkan pada tingkat keparahan dari permasalah  ditemukan  dari  usability.  Severity  rating  dapat  didefenisikan  sebagai  gambaran  umum  dari persoalan  yang  ditemukan  dengan  berdasarkan  tingkat  keparahannya  untuk  dilakukan  perbaikan  sebelum digunakan [9],[10]. Sebab timbulnya Severity rating adalah karena terdapat masalah dalam sistem yang muncul bervariasi.  Severity  rating  akan  diklasifikasi  oleh  evaluator  dengan  beberapa  kategori  berdasarkan  tingkat keparahannya. Dari hasil severity rating dapat ditentukan prioritas persoalan yang akan direkomendasikan untuk dilakukan perbaikan. Adapun skala nilai severity rating dapat dilihat pada tabel 1.
Tabel 1. Severity rating Skala Istilah Keterangan 0 No Problem Bukan Permasalahn Usability 1 Cosmetic Problem Masalah hanya terdapat pada sisi tampilan, tidak berpengaruh pada kenyamanan pengguna 2 Minor Problem Masalah perlu perbaikan namun dengan prioritas kecil 3 Mayor Problem Masalah perlu perbaikan dengan prioritas tinggi 4 Catastrophe Permasalahan yang diterima oleh pengguna sangat besar dan kompleks, perbaikan wajib dilakukan.

## 3. METODOLOGI
Rencana Metodologi yang akan digunakan dalam penelitian ini adalah:

## A. Identifikasi Masalah
Identifikasi  Masalah  dilakukan  dengan  melihat  ulasan  atau  komentar  dari  pengguna  aplikasi  melalui layanan Google Playstore serta penulis melakukan pretest terhadap 5 orang pengguna secara langsung.

## B. Studi Literatur
Pada tahapan penelitian ini, penulis melakukan pengumpulan referensi atau data pustaka, serta membaca literatur,  memahami  dan  mencatat  bagian-bagian  penting,  dan  mengelola  data  bahan  penelitan.  Sumber referensi  yang  digunakan  dalam  penelitian  ini  adalah,  jurnal,  buku  dan  situs  resmi  yang  berhubungan dengan judul penelitian yang dilakukan.

## C. Evaluasi dengan Metode Think Aloud
Metode Think Aloud, dijadikan sebagai dasar evaluasi terhadap perlakuan yang ditunjukan oleh pengguna melalui  sikap  gerakan  tubuh  dan  ucapan  ketika  melakukan  evaluasi  dengan  aplikasi  moblie  Mister Aladin.  Sebelum  melakukan  pengujian,  para  pengguna  akan  diberikan  arahan  yang  nantinya  akan dijadikan panduan atau pedoman bagi pengguna dalam melakukan tugasnya. Pengguna akan melakukan penggujian berdasarkan task scenario yang dibuat. Para pengguna diminta untuk melakukan hal tersebut tanpa  harus  berfikir  lagi.  Segala  bentuk  ucapan  pengguna  akan  direkam  selama  melakukan  evaluasi dengan menggunakan alat perekam (recorder).
Adapun karakteristik dan syarat pengguna yang akan  digunakan sebagai responden dalam penelitian ini adalah sebagai berikut:
1. Pengguna pernah mengoperasikan aplikasi mobile m-Ticketing yang sejenis seperti, Traveloka, Pegipegi, dan lain-lain.
2. Pengguna harus dalam usia matang, mulai dari 18 sampai 40 Tahun
3. Pengguna yang sudah femiliar menggunakan aplikasi android serta memahami cara kerja sistem aplikasi.
Berikut  ini  adalah  Task  scenario  yang  akan  digunakan  oleh  pengguna  pada  saat  melakukan  pengujian dengan Think Aloud, Task Scenario pengguna dapat dilihat pada tabel 2.

## Tabel 2. Task Scenario Pengguna
No Task Scenario T1 Registrasi pada aplikasi mobile Mister Aladin
T2 Log In pada aplikasi Mister Aladin
T3 Mencari dan memesan tiket pesawat termurah dan termahal, memilih maskapai tertentu dan keberangkatan pada tanggal tertentu
T4 Mencari dan memesan tiket kereta pada tanggal tertentu
T5 Mencari dan memesan tiket hotel pada tanggal tertentu
T6 Mengubah bahasa pada aplikasi mobile Mister Aladin
T7 Mengedit profile pengguna
T8 Melihat daftar pemesanan tiket, pesawat atau kamar hotel yang sudah dipesan
T9 Mengubah metode pembayaran pada pemesanan yang sudah dilakukan

## T10 Log Out pada aplikasi mobile Mister Aladin

## D. Analisis dan Pembahasan Think Aloud
Dari  pengujian  yang  dilakukan,  maka  permasalahan  dapat  ditemukan  melalui  perilaku  dan  komentar responden  pada  saat  menggunakan  aplikasi  mobile  Mister  Aladin.  Permasalahan  yang  muncul  adalah berupa  tanggapan  positif  dan  negatif  dari  responden  yang  mencerminkan  kepuasaan  terhadap  aplikasi mobile  Mister  Aladin.  Analsis  dan  pembahasan  dalam  metode  think  aloud,  data  yang  sudah  diambil melalui pengujian  pengguna akan kelompokan dan diuji dengan prinsip dasar evaluasi sebagaimana yang direkomendasikan  oleh  Jakob  Nielsen.  Jika  dari  hasil  pengujian  ditemukan  permasalahan  yang  sama antara pengguna, maka tentu akan dilakukan verifikasi dan dikelompokan serta diberikan severity rating yang akan diambil dari rata-rata nilai pada permasalahan yang ditemukan.
Setelah mendapatkan hasil dari analisis dan pembahasan atas pengujian pengguna dengan menggunakan metode think aloud, maka semua permasalahan akan diurutkan untuk diketahui prioritas perbaikan pada aplikasi  Mister  Aladin,  prioritas  perbaikan  juga  akan  diurutkan  berdasarkan  nilai  rata-rata  dari  severity rating  terbesar  serta  banyaknya  orang  yang  menemukan  permasalahan.  Maka  permasalahan  yanga  ada akan dijadikan dasar rekomendasi perbaikan untuk melakukan pengembangan nilai kegunaan dari aplikasi mobile Mister Aladin.

## E. Kesimpulan dan Saran
Setelah  mendapatkan  hasil  dari  evaluasi  dan  analisis  terhadap  objek,  maka  selanjutnya  akan  dilakukan penarikan kesimpulan dan memberikan saran terhadap studi yang dilakukan

## 4. HASIL DAN PEMBAHASAN

## A. Analisis Deskripsi Responden
Gambar  2  merupakan  deskripsi  data  responden,  dimana  jumlah  sampel  yang  dievaluasi  dalam penelitian  ini  adalah  sebanyak  30  responden.  Jumlah  responden  laki-laki  sebanyak  21  (70%)  dan perempuan  sebanyak  9  (30%).  Dengan  batasan  usia  18  sampai  40  tahun  yang  dibagi  dalam  dua kategori usia yaitu, 18-28 tahun sebanyak 9 (30%) dan 29-40 tahun sebanyak 21 (70%).

## B. Penemuan permasalahan pengguna
P Task Total T1 T2  T3  T4  T5  T6  T7  T8  T9  T10 P.1 1 0 0 1 0 0 2 0 4 2 8 P.2 0 0 0 0 0 0 2 0 4 3 9 P.3 1 0 0 0 0 0 2 0 4 0 7 P.4 0 0 0 0 0 0 0 0 4 0 4 P.5 0 1 1 0 0 0 0 0 4 0 6 P.6 1 0 0 0 0 1 0 0 4 0 6 P.7 1 0 0 0 0 0 1 0 4 2 8 P.8 1 0 0 0 0 0 0 0 3 0 4 P.9 0 0 0 0 2 0 0 0 4 0 6 P.10 0 0 0 0 0 0 0 0 3 1 4 P.11 1 0 1 1 1 1 3 0 4 2 14 P.12 1 0 0 0 0 0 3 0 3 4 11 P.13 0 0 0 0 0 0 2 0 4 1 7 P.14 0 0 0 0 0 0 3 0 4 4 11 P.15 0 1 0 0 0 0 3 0 4 2 10 P.16 1 0 0 0 0 0 0 0 4 2 7 P.17 0 0 1 0 0 1 2 0 3 1 8 P.18 0 0 0 0 0 0 0 0 4 0 4 P.19 0 0 0 0 0 0 0 0 4 0 4 P.20 2 1 1 1 2 0 0 0 4 0 11 P.21 0 0 0 0 0 0 3 0 4 4 11 P.22 0 0 1 0 0 0 0 0 3 1 5 P.23 0 0 0 0 0 0 3 0 4 2 9 P.24 0 0 0 0 0 0 3 0 4 3 10 P.25 0 1 0 0 0 0 3 0 3 3 10 P.26 1 0 0 0 0 1 0 0 4 0 6 P.27 0 0 0 0 0 0 1 0 4 0 5 P.28 0 0 0 0 0 0 0 0 4 1 5 P.29 0 0 0 0 0 0 0 0 4 0 4 P.30 0 0 0 0 0 0 1 0 4 1 8 Total 11 4 5 3 5 4 37 0  114  39 222
Dari hasil  task  scenario  pengguna,  didapatkan  total  222  permasalahan  pada  aplikasi  Mister  aladin  dari  30 pengguna sebagaimana pada tabel 4. Permasalahan paling banyak ditemukan oleh pengguna terdapat pada task T7,  T9  dan  T10  karena  terdapat  beberapa  fitur  yang    tidak  dapat  dilihat  secara  jelas  pada  tampilan  aplikasi,
seperti fitur edit profil pengguna, serta tidak dapat mengubah metode pembayaran pada pemesanan yang sudah dilakukan.  Sementara  permasalahan  yang  paling  sedikit  ditemukan  oleh  pengguna  adalah  pada  task,  (T4) memesan tiket kereta yaitu sejumlah 3 permasalahan, dan pada Task T8, semua pengguna menilai bahwa Task tersebut sangat mudah untuk dikerjakan.

## C. Feedback Responden

## Gambar 3. Grafik Feedback Responden
Gambar  3  merupakan  grafik  respon  pengguna  pada  saat  mengerjakan  task,  evaluator  melakukan  penilaian berdasarkan, tanggapan  positif dan negatif  pada setiap task yang dikerjakan oleh setiap responden. berdasarkan Presentasi  penilaian,  hampir  semua  pengguna  memberikan  tanggapan  positif  dan  negatif  pada  task  scenario kecuali task 6 semua pengguna memberikan tanggapan 100 % positif, semua pengguna dapat mengakses dengan muda dan merasa aman atau tidak ada masalah, sementara pada task 9 semua pengguna memberikan tanggapan 100 % negatif, karena task 9 tidak dapat dilakukan atau layanan perubahan metode pembayaran tidak tersedia pada aplikasi.

## 5. ANALISIS PEMBAHASAN
Melalui  proses  klasifikasi  permasalahan  pengguna  dari  hasil  pengujian,  didapatkan  sejumlah  9  permasalahan pengguna  saja.  Adapun  Permasalahan  yang  memilki  severity  rating  4  berjumlah    27  permasalahan,  severity rating 3 berjumlah 17 permasalahan, severity rating 2 berjumlah 14 permasalahan, severity rating 1 berjumlah 34 permasalahan.
Pemberian  rekomendasi  perbaikan  pada  aplikasi  Mister  aladin  akan  dibagi  menjadi  2  kategori  permasalahan, yaitu  permasalahan  pada  fungsional,  tampilan  dan  informasi/isi  konten.  Rekomendasi  dibuat  dan  diurutkan berdasarkan tingkat keparahan severity rating mulai dari nilai tertinggi 4 (atau catastrophe) hingga yang paling rendah 2 atau ( minor problem ) dan severity rating  yang bernilai 1 ( cosmetic problem ) nilai ini akan diabaikan, karena  tidak  berdampak  bagi  pengguna.  Rekomendasi  perbaikan  akan  diberikan  berdasarkan  literatur  jurnal
ilmiah, saran perbaikan melalui aplikasi serupa sebagai pembanding.

## A. Kategori Permasalahan Fungsional
Permasalahan  fungsional  yang  ditemukan  pengguna  pada  aplikasi  mobile  Mister  Aladin  adalah sejumlah 114 permasalahan dari 30 pengguna.  Saran dan rekomendasi diberikan pada semua kategori permasalahan karena memiliki nilai saverity rating yang tinggi. Nilai SR 4 ( casatstrope ) sejumlah 24 pengguna  dan  nilai  SR  3  ( Mayor  problem )  sejumlah  6  pengguna.  Berdasarkan  nilai  rating  dari permasalahan fungsional pada task T9 maka wajib untuk memberikan rekomendasi perbaikan dengan prioritas tinggi.
Adapun  rekomendasi  perbaikan  yang  perlu  dilakukan  adalah  pada  permasalahan  fitur History pemesanan, pada history pemesanan, pengguna tidak dapat melakukan perubahan metode pembayaran, karena  tidak  ada fungsi perubahan  metode  pembayaran  yang  disediakan,  permasalahan ini  ditemukan oleh semua pengguna mulai dari P1 sampai dengan P30.  Padahal fitur perubahan metode pembayaran merupakan  fitur  yang  sangat  penting.  karena  pengguna  sering  kali  mengalami  kendala  dalam  proses pembayaran disebabkan satu dan lain hal, maka penting adanya pilihan perubahan metode pembayaran. Namun  pada  aplikasi  mobile  Mister  Aladin,  fitur  tersebut  tidak  tersedia  pada  aplikasi,  fitur  ini  dapat memudahkan pengguna dalam melakukan proses transaksi pembayaran.

## B. Kategori Permasalahan Tampilan.
Permasalahan tampilan yang ditemukan pengguna pada aplikasi mobile  Mister Aladin adalah sejumlah 16 permasalahan.  Saran dan rekomendasi diberikan pada kategori permasalahan tampilan adalah pada 13 permasalahan prioritas tertinggi, sedangkan 3 permasalahan prioritas terendah tidak diberikan saran rekomendasi , karena memilki nilai sverity rating 1 (cosmetic problem).
Rekomendasi perbaikan pertama adalah, permasalahan mengubah/edit profil pengguna yang ditemukan oleh  pengguna,    (P1,P2,P3,P11,P12,P13,P14,P15,P17,P21,  P23,  P24  dan  P25).  Pengguna  terkendala menemukan  menu  profil,  karena  menu  profil  pada  aplikasi  mobile Mister  Aladin  diletakan  pada  fitur pengaturan, serta tidak dapat melakukan perubahan Foto profil, karena fitur perubahan foto profil tidak tersedia  pada  aplikasi.  Rekomendasi  yang  diberikan  terkait  permasalah  tersebut  adalah,  semestinya perubahan  profile  pengguna  dapat  diletakan  dibagian  kanan  atas  halaman  depan  aplikasi,  sehingga dapat  mudah  ditemukan  oleh  pengguna,  karena  setiap  pengguna  tentu  akan  melakukan  perubahan nama, email, dan foto profil.
Rekomendasi perbaikan kedua adalah berdasarkan permasalahan respon pengguna pada saat melakukan task,  beberapa  pengguna  merespon  terkait  dengan  tampilan  awal  aplikasi  yang  kurang  menarik, terkesan  monoton  serta  banyak  space  yang  kocong,  Menurut  M.  Leavitt  (2006)  dalam  bukunya Research-based  web design  &  usability  guidelines, berpendapat  bahwa white  space pada sebuah  web atau  aplikasi  dapat  dimanfaatkan  untuk  menambahkan  ikon  fitur  yang  sesuai  dengan  tampilan  yang menarik.  Seperti  penggunaan  warna  yang  sesuai  dengan  tema  website/aplikasi,  tata  letak  yang  sesuai
sehingga  membuat  pengguna  merasa  nyaman  dan  mudah  untuk  mencari  dan  menggunakan  sistem aplikasi  atau  produk  yang  dibuat  [11].  Adapun  rekomendasi  perbaikan  adalah  penting  untuk menambahkan fitur atau informasi-informasi yang berguna bagi pengguna.

## 6. KESIMPULAN
Mister Aladin merupakan salah satu situs e-commerce yang menyediakan layanan pembelian tiket dan traveling berbasis  mobile.  Tentu  aplikasi  ini  sangat  mempermudah  masyarakat  dalam  melakukan  pemesanan  tiket, aplikasi Mister Aladin juga menyediakan informasi Traveling yang terupdate serta promo yang tinggi terhadap beberapa fitur atau layanan sehingga banyak pengguna yang tertarik dengan aplikasi Mister Aladin.
Walaupun  demikian,  berdasarkan  hasil  evaluasi  usability  yang  dilakukan  pada  aplikasi  Mister  Aladin  dengan mengggunakan pendekatan Metode Think Aloud, ditemukan sejumlah permasalahan terhadap kegunaan aplikasi mobile  Mister  Aladin,  dari  30  responden/pengguna.  Permasalahan  terbanyak  ditemukan  pada  prinsip Task  T9 dengan jumlah 114 permasalahan, sedangkan permasalahan paling sedikit ditemukan pada Task T4 sejumlah 3 permasalahan,  setelah  diklasifikasi  ditemukan  9  permasalahan  saja  dari  222  masalah  yang  ditemukan.  Hal  ini dikarenakan terdapat  permasalahan  yang  sama  dari  beberapa pengguna.  Dari  hasil  evaluasi  dapat  disimpulkan bahwa masih banyak  pengguna yang  merasa tidak puas dengan aplikasi Mister Aladin, oleh sebab itu penting untuk  melakukan  pengembangan  pada  aplikasi  berdasarkan  rekomendasi-rekomendasi  yang  diusulkan  melalui hasil analisa evaluator dari permasalahan-permasalahan yang temukan serta mencatat semua tindakan pengguna pada saat melakukan Task yang diberikan.

## 7. REFERENSI
[1]  D.  Hadrian  Yohandy  and  D.  Setyohadi,  “Usability  Evaluation  Using  Multi-Method  for  Improvement Interaction in M-Commerce,” MATEC Web Conf. , vol. 218, pp. 1–7, 2018.
[2]  A. Kaya, R. Ozturk, and C. Altin Gumussoy, “Usability Measurement of Mobile Applications with System Usability Scale (SUS),” pp. 389–400, 2019.
[3]  P.  T.  Kortum  and  A.  Bangor,  “Usability  Ratings  for  Everyday  Products  Measured  With  the  System Usability Scale,” Int. J. Hum. Comput. Interact. , vol. 29, no. 2, pp. 67–76, 2013.
[4]  S.  Richardson et  al. ,  “‘Think  aloud’  and  ‘Near  live’  usability  testing  of  two  complex  clinical  decision support tools,” Int. J. Med. Inform. , vol. 106, no. November 2016, pp. 1–8, 2017.
[5]  N. Juristo, H. Windl, and L. Constantine, “Introducing Usability,” IEEE Softw. , vol. 18, no. 1, pp. 20–21, 2001.
[6]  F.  De  Morais,  B.  Schaab,  and  P.  Jaques,  “The  think  aloud  method  for  qualitative  evaluation  of  an intelligent  tutoring  system  interface,” 12th  Lat.  Am.  Conf.  Learn.  Objects  Technol.  LACLO  2017 ,  vol. 2017-Janua, pp. 1–8, 2017.
[7]  V. Gkatzidou et al. , “User interface design for mobile-based sexual health interventions for young people: Design  recommendations  from  a  qualitative  study  on  an  online  Chlamydia  clinical care  pathway,” BMC Med. Inform. Decis. Mak. , vol. 15, no. 1, pp. 1–13, 2015.
[8]  H.  Cho,  D.  Powell,  A.  Pichon,  L.  M.  Kuhns,  R.  Garofalo,  and  R.  Schnall,  “Eye-tracking  retrospective think-aloud as a novel approach for a usability evaluation,” Int. J. Med. Inform. , vol. 129, no. February, pp. 366–373, 2019.
[9]  J. Nielsen, “Severity Ratings for Usability Problems,” pp. 4–5, 1995.
[10] S. Herr, N. Baumgartner, and T. Gross, “Evaluating severity rating scales for heuristic evaluation,” Conf. Hum. Factors Comput. Syst. - Proc. , vol. 07-12-May-, pp. 3069–3075, 2016.
[11] M. O. Leavitt, Research-based web design & usability guidelines , vol. 2009, no. July 12. 2006.