## Evaluasi Aksesibilitas Learning Object Berdasarkan Web Content Accessibility Guidelines 2.0
Herru Darmadi 1 , YanFi 2 , Hady Pranoto 3
School of Computer Science, Bina Nusantara University, Jakarta, Indonesia herru@binus.ac.id eufrasia.yan.fi@binus.ac.id hady@binus.ac.id
Diterima 18 Agustus 2017 Disetujui 20 Desember 2017
Abstract —Learning  Object  (LO)  is  a  representation  of interactive  content  that  are  used  to  enrich  e-learning activities.  The  goals  of  this  case  study  were  to  evaluate accessibility  and  compatibility  factors  from  learning objects  that  were  produced  by  using  BINUS  E-learning Authoring  Tool.  Data  were  compiled  by  using experiment  to  30  learning  objects  by  using  stratified random sampling from seven faculties in undergraduate program.  Data  were  analyzed  using  accessibility  and compatibility  tests  based  on  Web  Content  Accessibility Guidelines  2.0  Level  A.  Results  of  the  analysis  for accessibility and compatibility tests of Learning Objects was  90%  better  than  average.  The  result  shows  that learning  objects  is  fully  compatible  with  major  web browser.  This  paper  also  presents  five  accessibility problems found during the test and provide recommendation  to  overcome  the  related  problems.  It can  be  concluded  that  the  learning  objects  that  were produced using BINUS E-learning Authoring Tool have a  high  compatibility, with  minor  accessibility problems. Learning  objects  with  a  good  accessibility  and compatibility  will  be  beneficial  to  all  learner  with  or without disabilities during their learning process.
Index  Terms—accessibility,  compatibility,  HTML, learning object, WCAG2.0, web

## I. P ENDAHULUAN
Universitas  Bina  Nusantara  telah  menerapkan e- learning dengan  metode blended learning dimana aktivitias pembelajaran terjadi di kelas dan juga secara daring.  Materi  perkuliahan  juga  telah  tersedia  pada Learning  Management  System  yang  disebut  dengan Binusmaya [1]. Materi pembelajaran pada Binusmaya terbagi  dalam  5  kategori  yaitu  materi  presentasi, materi  buku  teks  berupa  informasi  bab  dan  halaman, materi  multimedia,  materi  pendukung  dokumen,  dan materi tugas. Materi-materi ini dibuat oleh satu Dosen Subject Matter Expert yang  telah  ditunjuk  untuk setiap  subjek  mata  kuliah.  Selanjutnya  Dosen  kelas parallel  untuk  mata  kuliah  yang  sama  dapat menggunakannya  kembali.  Dosen  kelas  paralel  juga
dapat  menambahkan  materi  sesuai  dengan  kategori dan kebutuhannya pada saat kuliah berjalan.
Materi multimedia di  Universitas  Bina  Nusantara disebut  dengan Learning Object .  Richards,  McGreal, dan  Friesen  [2]  dalam  penelitiannya  menyebutkan Learning Object merupakan  pondasi  dasar  dalam dunia e-learning . Learning object adalah  dokumen digital yang  digunakan  dalam  kegiatan e-learning yang  terdiri  dari media audio - visual ,  dan  latihan interaktif  yang  membentuk  pengalaman  pembelajar. Learning object juga  sering  disebut  dengan  beberapa istilah  seperti information object , instructional object , atau reusable learning object .
Penerapan multimedia mempunyai  dampak  yang positif  kepada  pembelajar  yang  memiliki  tingkat pengetahuan yang rendah terhadap domain yang akan dipelajari.  Studi  menyebutkan  bahwa  animasi  visual efektif  untuk  mengajarkan  prosedur  praktis  yang bersifat  praktek  [3].  Pada  penelitian  yang  dilakukan oleh  Darmadi  dan  Liawatimena  [4]  pada  fakultas ekonomi Universitas Bina Nusantara telah menemukan  bahwa Learning Object (Gambar  1) dalam  bentuk  aplikasi multimedia mobile telah membantu  mahasiswa  dalam  memahami  materi  yang diberikan dalam pembelajaran.
Gambar 1. Learning Object tentang Topik Konsep Biaya pada Mata Kuliah Akuntansi Manajemen [4]

## ISSN 2085-4552
Pembuatan  materi multimedia dapat  dilakukan secara mandiri oleh Dosen SME , ataupun berkolaborasi dengan departemen
Knowledge
Management & Innovation divisi multimedia dan interaktif.  Pada  penelitian  yang  dilakukan  oleh Darmadi & Liawatimena  [5], saat ini dosen diberikan akses  kepada  sebuah  piranti  lunak  pembuat  konten yang  disebut  dengan  BINUS E-learning  Authoring Tool .  Piranti  lunak  ini  tersedia  secara  daring  berupa aplikasi web untuk  membuat multimedia interaktif yang disebut dengan Learning Object berupa dokumen HTML5 berbasis web .
World  Wide  Web  Consortium (W3C)  membuat mengembangkan  spesifikasi  aksesibilitas  konten web yang  disebut  dengan Web  Content  Accessibility Guidelines  (WCAG) [6]. WCAG 2.0  terdiri  dari  tiga tingkat kriteria yaitu level A ( minimum ), level AA, dan level
AAA. Eggert & Abou-Zahra [7]
mengelompokkan 12 panduan teknis tersebut menjadi 4 kategori yaitu:
 Perceivable yaitu  informasi  dan  kumpulan antarmuka  harus  dapat  disampaikan  dan diketahui oleh pengguna (informasi tidak boleh tersembunyi dari indera pengguna).
 Operable yaitu  komponen  antarmuka  dan navigasi  harus  dapat  dioperasikan  oleh pengguna.
 Understandable yaitu  konten  informasi  dan operasi dari  antarmuka  harus  dapat  dimengerti oleh pengguna.
 Robust yaitu  konten  harus  handal  sehingga dapat  diinterpretasikan  oleh  berbagai  macam user agent , termasuk assistive technology .
Panduan WCAG berisi  penjelasan  bagaimana membuat  konten web menjadi  lebih  aksesibel  bagi orang  penyandang  disabilitas.  Konten web secara umum  adalah  informasi  pada  halaman web ,  yaitu informasi natural (teks, gambar, suara) dan kode yang merepresentasikan struktur/presentasi.
Henry and Arch [6] menyebutkan aksesibilitas web tidak  hanya  berorientasi  pada  penyandang  disabilitas. Aksesibilitas web juga  bermanfaat  bagi  pengguna yang  berusia  lanjut,  perangkat mobile ,  dan  bagi organisasi.  Organisasi  yang  memiliki web yang aksesibel  akan  diuntungkan  dengan search engine optimization ( SEO ),  mengurangi  resiko  hukum, mendemonstrasikan corporate social responsibility , dan meningkatkan loyalitas pengguna. Learning object tentu  harus  memiliki  aksesibilitas  bagi  pengguna  dan kompatibilitas pada berbagai user agent .
Tujuan  dari  penelitian  ini  adalah  untuk  menguji aksesibilitas  dan  kompatibilitas  terhadap learning object yang  telah  dihasilkan  melalui  BINUS E- learning  Authoring  Tool berdasarkan  standar WCAG 2.0. Kriteria pengujian yang digunakan adalah WCAG
2.0 level A,  dimana  ini  adalah  tingkatan  standar aksesibilitas  yang  harus  dipenuhi.  Hasil  pengujian selanjutnya  dianalisis  dan  berdasarkan  hasil  analisis, kami  memberikan  rekomendasi  untuk  menangani masalah yang ditemukan dan meningkatkan aksesibilitas konten learning object .

## II. M ETODE P ENELITIAN

## A. Penelitian Terkait
Darmadi  dan  Liawatimena  [5]  pada  penelitiannya membuat dan mengevaluasi usability sebuah authoring tool online berbasis web yang  diberi  nama BEAT . BEAT dapat  digunakan  oleh  Dosen SME , instructional designer ,  dan multimedia developer untuk membuat learning object.
Tujuan  dari  pembuatan BEAT adalah  untuk membantu  Dosen SME dalam  pembuatan  materi digital multimedia .  Pengembangan multimedia cukup kompleks,  memakan  waktu,  dan  perlu  kemampuan multimedia yang mahir. BEAT dikembangkan berdasarkan  kebutuhan  dan  juga  dari  hasil  penelitian yang  terkait  fitur-fitur  yang  diperlukan  dari  sebuah authoring tool [9].
Gambar 2. Pembuatan Learning Object pada BEAT [5]
Goncalves , Martis,  dan  Branco  [8] telah melakukan  penelitian  terkait  tingkat  aksesibilitas web pada  lingkungan enterprise di  negara  Portugal  dan menemukan bahwa hanya 4 dari 1000 enterprise web yang  memenuhi  standar  kriteria WCAG  2.0 level A. Mereka  memberikan  beberapa  saran  ( high level improvement
proposal ) untuk meningkatkan aksesibilitas web agar dapat diakses oleh semua orang termasuk orang dengan disabilitas.

## B. Pengumpulan Data
Pengambilan  sampel  penelitian  terhadap  30 learning objects dilakukan  dengan  menggunakan teknik stratified random sampling [10]  dengan mengambil  sampel  secara  proporsional  berdasarkan jumlah  gugus  pembina  yang  melakukan  revisi  atau pembuatan  mata  kuliah  baru  dari  setiap  fakultas pada periode 2015 genap di Universitas Bina Nusantara.

## ISSN 2085-4552

## C. Metode Pengujian
Pengujian  dari learning objects yang  dihasilkan melalui BEAT dilakukan  berdasarkan WCAG 2.0. Kriteria  yang  digunakan  dalam  evaluasi  ini  adalah level A.  Pengujian  terhadap  aksesibilitas  dan kompatibilitas dari  sampel learning objects dilakukan dengan menggunakan piranti lunak SortSite PowerMapper versi 5.22.768.
Konfigurasi  pengujian  yang  digunakan  terdiri dari tiga.  Konfigurasi  pertama  yaitu error checking rules untuk broken links , empty pages , server configuration errors , server script errors .  Konfigurasi  kedua  yaitu accessibility checking rules berdasarkan  tingkat kepatuhan  pada level A  dari WCAG 2.0  [11,  12]. Konfigurasi  ketiga  yaitu  pengecekan  kompatibilitas terhadap 8 web browser utama (Tabel 2).
Tabel 1. Tabel Jumlah Sampel Learning Object dari Setiap Gugus Pembina Fakultas yang Diuji
No. Fakultas Jumlah Gugus Pembina Jumlah Sampel 1. Faculty of Economics and Communication 5 4 2. Faculty of Engineering 6 5 3. Faculty of Humanities 7 6 4. School of Business Management 4 4 5. School of Computer Science 5 4 6. School of Design 4 4 7. School of Information Systems 3 3 Total 34 30 Tabel 2. Daftar Web Browser untuk Pengujian
Kompatibilitas No. Web Browser Versi 1. Internet Explorer 9.0 ke atas 2. Edge 13 ke atas 3. Firefox 47 ke atas 4. Safari 9.0 ke atas 5. Opera 37 ke atas 6. Chrome 51 ke atas 7. iOS browser 6.0, 8.0, 9.0 8. Android browser 4.0

## III. H ASIL DAN P EMBAHASAN
Pengujian  dilakukan  terhadap  30  sampel learning object yang terdiri dari 755 halaman, dengan rata-rata setiap learning  object memiliki  34  halaman  (Gambar 3).  Pada  hasil  pengujian  terkait  faktor error dan kompatibilitas,  tidak  ditemukan error dan  masalah kompatibilitas  pada  seluruh learning object .  Hasil  ini menunjukkan  bahwa learning object memiliki kompatibilitas  yang  sangat  baik  pada  seluruh user agent web browser utama.
Pada  hasil  ujicoba  terkait  aksesibilitas  dari ditemukan  sebanyak  34  halaman  konten  (4.5%) bermasalah. Masalah aksesibilitas ini dapat dikelompokkan  menjadi  5  jenis  sesuai  dengan kategorisasi dari WCAG 2.0 (Tabel 3).
Hasil  pengujian  kualitas  keseluruhan  dari  ketiga faktor  (error,  aksesibilitas,  dan  kompatibilitas), ditemukan  sebanyak  27 learning object (90%) mendapatkan penilaian better than average benchmark dan  sebanyak  3 learning objects (10%)  mendapatkan penilaian worse than average benchmark . Penilaian ini merupakan gabungan dari ketiga faktor yang diujikan.
Gambar 3. Hasil Ujicoba Error, Aksesibilitas, dan Kompatibilitas Learning Object
Tabel 3. Masalah Aksesibilitas pada Hasil Pengujian Learning Object
No. Kode Error Frekuensi % Deskripsi Error 1. WCAG 2.0 A 2.4.1 23 65 No title attributes found for the frames on these pages 2. WCAG 2.0 A F39 5 17 An image with null alt attribute should not have title or aria label attributes
3. WCAG 2.0 A F7
4 11
Avoid animated
images over 5 seconds long that cannot be paused or stopped

## ISSN 2085-4552
No. Kode Error Frekuensi % Deskripsi Error 4. WCAG 2.0 A F91 1 3 Identify row and columns headers in data tables using th elements, and mark layout tables with role=’presentation ’ 5. WCAG 2.0 A F30 1 3 Img alt text should not contain placeholder text like ‘picture’ or ‘spacer’
A. Masalah atribut title pada frame atau iframe
Sebanyak 23 halaman (65%) pada learning object ditemukan  masalah  atribut title yang  tidak  tersedia pada  elemen frame atau iframe .  Masalah  ini  dapat terjadi  karena author melakukan embed elemen video / audio eksternal. Embedded elemen  tersebut berupa embed code yang  berisi  elemen iframe tanpa atribut title .
Rekomendasi terkait masalah ini adalah authoring tool harus  menyediakan isian yang  bersifat  mandatori setiap  kali author akan  memasukkan embedded elemen ke dalam konten.

## B. Masalah atribut alt pada elemen gambar
Sebanyak  5  halaman  (17%)  pada learning object ditemukan  masalah  hilangnya  atribut alt pada  elemen gambar.  Berdasarkan  hasil  analisis  masalah  ini dilakukan  investigasi  pada authoring tool dan ditemukan  bahwa authoring tool secara  terprogram akan  menghilangkan  atribut alt karena author tidak mengisikan alt ketika  akan  memasukkan  elemen gambar pada konten.
Rekomendasi terkait masalah ini adalah authoring tool harus  memberikan  teks  kosong  ( empty string ) pada atribut alt dalam element gambar apabila author tidak  memberikan  deskripsi  gambar.  Hal  ini dimungkinkan bila gambar tersebut digunakan sebagai dekoratif  graphic  yang  tidak  menambahkan  nilai pembelajaran [13].

## C. Masalah  gambar  animasi  yang  berulang  terus menerus
Sebanyak  4  halaman  (12%)  pada learning object ditemukan  masalah  gambar  animasi  yang  berulang terus menerus dan tidak dapat dihentikan. Masalah ini dapat terjadi bila author memasukkan gambar dengan format animated GIF pada konten.
Rekomendasi terkait masalah ini adalah sebaiknya authoring tool tidak  menyediakan  fitur  untuk memasukkan  gambar  dengan  format animated GIF. Hal  ini  dikarenakan  akan  melanggar  kriteria  minimal WCAG 2.0 yang dapat menyebabkan ketidaknyamanan ( seizure ) pada pembelajar.
D. Masalah atribut header kolom pada elemen tabel
Sebanyak  1  halaman  (3%)  pada learning object ditemukan  masalah  judul  kolom  atau  baris  pada elemen  tabel.  Masalah  ini  terjadi  karena author tidak menentukan  header  pada  kolom  atau  baris  ketika membuat tabel pada konten.
Rekomendasi terkait masalah ini adalah sebaiknya authoring tool secara  otomatis  memberikan header pada  baris  pertama  setiap author memasukkan  tabel pada konten.

## E. Masalah  atribut  alt  yang  tidak  deskriptif  pada elemen gambar
Sebanyak  1  halaman  (3%)  pada learning object ditemukan masalah teks gambar yang tidak deskriptif. Masalah ini terjadi karena author memasukkan elemen gambar  pada  konten,  namun  menyediakan  teks penjelasan  gambar  ( alt )  berupa  teks  yang  tidak deskriptif seperti ‘ image 1’, ‘ picture 1’.
Rekomendasi  terkait  masalah  ini  adalah authoring tool harus  melakukan  pengecekan  secara otomatis terhadap kata kunci bad words seperti ‘ image n’, ‘ picture n’, ‘ graphic n’, ‘ gambar n’ apabila author memasukkan  elemen  gambar  pada  konten. Authoring tool harus memberikan informasi umpan balik kepada author agar  melengkapi  penjelasan  gambar  dengan baik  dan  kontekstual  agar  memiliki  arti  pada pembelajar [13].

## IV. S IMPULAN
Penelitian  ini  telah  menyajikan  hasil  evaluasi aksesibilitas  dan  kompatibilitas  dengan  panduan WCAG 2.0 level A  terhadap learning object yang dihasilkan  dari authoring tool BEAT .  Berdasarkan hasil pengujian, ditemukan bahwa sebanyak 90% dari learning object telah  memenuhi  standar  kriteria WCAG 2.0 level A.
Berdasarkan  faktor  kompatibilitas, learning object telah  memiliki  kompatibilitas  yang  sangat  baik  pada berbagai web browser utama  baik desktop maupun mobile . Berdasarkan faktor aksesibilitas terdapat 4.5% halaman konten yang bermasalah dan dibagi menjadi 5 jenis  masalah  utama  yang  dikarenakan  kesalahan  dan kekurangan  informasi  yang  diperlukan  pada  saat melakukan pembuatan konten.
Penelitian  ini  dimulai  dengan  menjelaskan motivasi  dibalik  penelitian  ini.  Dilanjutkan  dengan membahas  penelitian  sebelumnya  terkait authoring tool BEAT dan aksesibilitas konten web. Bagian utama dari  penelitian  ini  yaitu  melakukan  sampling  dan pengujian  terhadap learning object dan  menyajikan hasil temuan serta melakukan analisis dan memberikan rekomendasi untuk perbaikan.
Aksesibilitas  dan  kompatibilitas  merupakan  salah satu masalah yang penting dan harus diperhatikan oleh author pembuat  konten  dalam  hal  ini  dosen SME ,
karena  dalam  belajar  pembelajar  berhak  untuk  dapat mengakses  dan  mengerti  konten  walaupun  dia memiliki disabilitas.

## D AFTAR P USTAKA
[1]   BINUS  University.  (2011,  Agustus  9).  "BINUS  University  | General  Facilities:  BINUSMAYA,".  [Online].  Alamat  situs: http://www.binus.ac.id/general-facilities-binusmaya/. [Diakses pada 10 November 2015].
[2]   G.  Richards,  R.  McGreal  and  N.  Friesen,  "Learning  object repository  technologies  for  telelearning:  The  Evolution  of POOL  and  CanCore,"  di  dalam Proceedings  of  the  IS2002, Informing Science+ IT Education Conference , Cork, 2002.
[3]   P. Ayres, N. Marcus, C. Chan and Q. Nixon, "Learning Hand Manipulative  Tasks:  When  Instructional  Animations  Are Superior to Equivalent Static Representations," Computers in Human Behavior Volume 25, Issue 2, pp. 348-353, 2009.
[4]   H.  Darmadi  and  S.  Liawatimena,  "Development  of  Mobile Learning  in  Faculty  of  Economics,  Bina  Nusantara University," ComTech, vol. 8, no. 3, pp. 8-10, 2017.
[5]   H.  Darmadi  and  S.  Liawatimena,  "Perancangan  Authoring Tool untuk Learning Object berbasis HTML5," belum terbit.
[6]   S. L. Henry and A. Arch. (2012, September 7). "Developing a Web  Accessibility  Business  Case  for  Your  Organization:
Overview," [Online].
Alamat situs: https://www.w3.org/WAI/presentations/WCAG20_benefits/ WCAG20_benefits.html.
[7]   E. Eggert and S. Abou-Zahra. (2016, September 16). "How to Meet WCAG 2.0,”. [Online]. Alamat situs: https://www.w3.org/WAI/WCAG20/quickref/?currentsidebar =%23col_customize&showtechniques=241%2C311%2C321 %2C332&levels=aa%2Caaa&technologies=css%2Cwai-
aria%2Cjs%2Cserver%2Csmil%2Cpdf%2Cflash%2Csl.
[8]   R.  Gonçalves,  J.  Martins  and  F.  Branco,  "A  Review  on  the Portuguese Enterprises Web Accessibility Levels – A website accessibility  high  level  improvement  proposal,"  di dalam 5th International  Conference  on  Software  Development  and Technologies  for  Enhancing  Accessibility  and  Fighting  Info- exclusion, DSAI 2013, hal. 176-185, 2013.
[9]   P. Shank and J. Ganci. (2013, Oktober 3) "Research Library: eLearning  Authoring  Tools  2013:  What  We're  Using,  What
We Want,". [Online]. Alamat situs:
http://www.elearningguild.com/research/archives/index.cfm?i d=170.
[10]  C.  Kothari,  Research  Methodology  Methods  and  Techniques (second revised edition), New Delhi: New Age, 2004.
[11]  B.  Caldwell,  M.  Cooper,  L.  G.  Reid  and  G.  Vanderheiden. (2008, Desember 11). "Web Content Accessibility Guidelines
(WCAG) 2.0,".
[Online].
Alamat situs: https://www.w3.org/TR/WCAG20/. [12]  WebAIM.  (2013,  Agustus  28).  "WCAG2.0  Checklist,". [Online]. Alamat situs:
http://webaim.org/standards/wcag/WCAG2Checklist.pdf. [Accessed 20 May 2016].
[13]  R.  C.  Clark  and  R.  E.  Mayer,  e-Learning  and  the  Science  of Instruction:  Proven  Guidelines  for  Consumers  and  Designers of Multimedia Learning, 3rd Edition, Pfeiffer, 2011.