## EVALUASI APLIKASI SEMI-IMMERSIVE VIRTUAL REALITY PADA BIDANG PENDIDIKAN MENURUT ASPEK HEURISTIK DAN PEMBELAJARAN
Erick Paulus 1) , Mira Suryani 2) , Riva Farabi 3) , Intan Nurma Yulita 4) , Aditya Pradana 5) 1, 2,3,4,5) Teknik Informatika, Departmen Ilmu Komputer Universitas Padjadjaran
e-mail: erick.paulus@unpad.ac.id 1) , mira.suryani@unpad.ac.id 2) , rivafarabi_babeheer@yahoo.com 3) ,intan.nurma@unpad.ac.id 4) , aditya.pradana@unpad.ac.id 5)

## ABSTRAK
Makalah ini memaparkan percobaan evaluasi komprehensif terhadap aplikasi virtual reality (VR) bertipe semi-immersive dari  sisi  heuristik  disain  antarmuka  aplikasi,    peningkatan  kemampuan  kognitif,  dan  peningkatan  motivasi  belajar  ketika aplikasi digunakan dalam proses pembelajaran. Evaluasi terhadap disain antarmuka VR ini menggunakan metode heuristik yang  diusulkan  oleh  Sutcliffe,  yaitu  sebanyak  dua  belas  prinsip.  Selain  faktor  usabilitas,  evaluasi  heuristik  ini  mampu memberikan panduan evaluasi dengan memperhitungkan faktor keberadaan pengguna ketika berada dalam lingkungan maya. Hasil  proses  inspeksi  evaluasi  heuristik  ini  adalah  penggabungan  nilai  evaluasi  dari  tiga  orang  penilai.  Hasil  evaluasi menunjukan  bahwa  secara  heuristik  aplikasi  BIOTALAUT  VR  sudah  merepresentasikan  kondisi  lingkungan  bawah  laut dengan baik. Namun ada beberapa fitur disain yang perlu diperbaiki, yaitu interaksi antar objek, grafik objek 3D biota dan fungsi  kontrol.  Sedangkan,  proses    evaluasi  dari  segi  peningkatan  kemampuan  kognitif  diimplementasikan  pada  30  siswa tingkat sekolah menengah pertama melalui kegiatan pretes dan postes kemudian dianalisa secara statistik. Selain pretes dan postes,  siswa  juga  mengisi  kuisioner  untuk  mengetahui  tingkat  motivasi  belajar  setelah menggunakan  aplikasi.  Kemudian, setelah aplikasi digunakan pada proses pembelajaran, terdapat perbedaan kemampuan kognitif yang signifikan ke arah positif dengan  nilai  sig-value  sebesar  0.448  dan  peningkatan  motivasi  dilihat  dari  nilai  rata-rata  central  tendency  sebesar  4.49. Adapun hasil evaluasi ini dapat digunakan sebagai bahan pertimbangan dalam pengembangan aplikasi selanjutnya khususnya dari sudut pandang disain antarmuka aplikasi maupun dari konteks pembelajarannya. Selain itu, kejadian munculnya gejala cybersickness  pada  pengguna  juga  ditelaah  dan  dilaporkan  dalam  penelitian  ini.  Adapun  posisi  gerakan  pengguna  saat menjalankan aplikasi VR dan perangkat keras yang dipakai menjadi aspek utama yang menyebabkan cybersickness tersebut.
Kata Kunci : cybersickness, evaluasi  usabilitas heuristik, , kemampuan kognitif, motivasi belajar, virtual reality

## ABSTRACT
This  study  describes  about  comprehensive  evaluation  towards  semi-immersive  virtual  reality  (VR)  application  in  the education  field  from  heuristic,  the  improvement  of  cognitive  ability,  and  the  learning  motivation  aspect.  The  heuristic evaluation adopted twelve heuristic rules that proposed by Sutcliffe. Aside from the usability factors, the proposed evaluation scheme is able to give the evaluation guide with concern about user presence in virtual environment. The evaluation process involves  three  assessors.  The  evaluation  results  shown  that  the  BIOTALAUT  VR  application  has  been  representing  the underwater condition very well based on heuristics. Nevertheless, there are some feature designs that should be repaired such as interaction between objects, the graphic of 3D biota objects and control function. Whereas, the evaluation of cognitive ability conducted by implemented the application in the learning process. There are 30 students used the application, then evaluated by pretest and postest for measuring the cognitive ability, and questionnaire for measuring the learning motivation. After learning process using the application, there are significant differences in cognitive ability. It can be seen from sig-value of 0.448 and the improvement of learning motivation that can be seen from the average of central tendency with value 4.49. The evaluation results from this study can be used as recommendation in the future development process, especially from user interface and learning process aspect. During the evaluation process, the researcher found that the symptoms of cybersickness appear in every VR user. But, the duration of usage to cause cybersickness can be different for every user. It’s depends on the hardware specification and the position of user while running a VR application.
Keywords : cognitive ability, cybersickness, heuristic usability evaluation , learning motivation, virtual reality

## I. P ENDAHULUAN
eknologi dan media memiliki peran penting dalam proses pembelajaran. Temuan dari berbagai penelitian tentang  difusi  teknologi  dan  pemanfaatan Information  and  Communications  Technology (ICT)  dalam pendidikan menunjukkan adanya kecenderungan siswa untuk mengintegrasikan teknologi ke dalam proses pembelajarannya [1]. Penggunaan teknologi Virtual Reality (VR) dalam dunia pendidikan dan pelatihan merupakan salah  satu  contoh  pemanfaatan  ICT  dan  merupakan  evolusi  dari Computer-Assisted  Instruction (CAI)  atau Computer-based  Training (CBT)  yang  menawarkan  interaksi  yang  lebih  alami,  atraktif  dan immersive [2]. Beberapa  contoh  pemanfaatan  teknologi  VR  di  bidang  pendidikan  teknik  [3],  [4]  menunjukan  bahwa  VR merupakan media pembelajaran kreatif masa depan. Selain itu, teknologi perangkat VR dan ponsel pintar dimana aplikasi  VR  dapat  dijalankan  cukup  bervariasi  dan  cukup  terjangkau  di  pasaran  sehingga  memungkinkan
T
pemanfaatannya digunakan secara pribadi oleh siswa. Hal ini juga memberikan keleluasaan bagi siswa untuk lebih fokus mempelajari dan mengulang materi pembelajaran.
Penggunaan VR untuk pembelajaran yang mulai massif ini perlu ditunjang dengan evaluasi sebagai langkah untuk menjaga kesinambungan aplikasi VR tersebut. Evaluasi VR yang dapat dilakukan adalah dari sisi usabilitas aplikasi dan implementasinya pada proses pembelajaran. Evaluasi heuristik umumnya menekankan pada usabilitas dari  desain  aplikasi.  Barnum  [5]  mengatakan  usabilitas  sistem  yang  rendah  akan  menghambat  efisiensi  dan efektifitas penggunaan. Oleh karena itu, metode evaluasi diperlukan untuk mengukur usabilitas dari disain aplikasi dan mengidentifikasi area permasalahan yang mungkin terjadi ketika aplikasi digunakan.
Evaluasi  heuristik  merupakan  metode  inspeksi  yang  umum  digunakan  oleh  para  penguji  untuk  mengukur usabilitas antarmuka aplikasi. Dix [6] dalam buku Human Computer Interactio n (HCI) mencatat bahwa terdapat banyak  metode  evaluasi  heuristic,  diantaranya  adalah  metode  evaluasi Nielsen’s  ten  heuristics,  Shneiderman’s eight golden rules dan Norman’s seven principles . Namun ketiga metode evaluasi tersebut belum mengeksplorasi secara ditail aspek kealamian ketika pengguna berada dalam lingkungan maya. Lalu, Sutcliffe [7] mengusulkan dua  belas  prinsip    heuristik  untuk  mengevaluasi  tampilan  antarmuka  lingkungan  maya.  Metode  evaluasi  ini didasarkan  pada Nielsen’s ten heuristics ,  dan  dikembangkan  khusus  untuk  aplikasi  VR  dengan  memperhatikan aspek usabilitas dan keberadaan.
Penulis  memaparkan  percobaan  evaluasi  usabilitas  heuristik  terhadap  aplikasi  VR  bertipe semi-immersive dengan  mengadopsi  dua  belas  prinsip heuristik  Sutcliffe .  Selain  dari  evaluasi  heuristik  aplikasi,  evaluasi penggunaan VR pada proses pembelajaran perlu diupayakan. Hal ini dikarenakan pengguna terutama siswa sebagai salah  satu stakeholder aplikasi  harus  merasakan  manfaat  pembelajaran.  Diharapkan  pemanfaatan  VR  sebagai sarana belajar kreatif ini mampu mendongkrak motivasi dan lebih jauh lagi adanya peningkatan prestasi belajar siswa.  Oleh  karena  itu,  pada  studi ini juga  dipaparkan  proses  ujicoba  penggunaan  teknologi VR  sebagai media pembelajaran  bagi  siswa.  Aplikasi  BiotaLaut  VR  yang  digunakan  memperkenalkan  kehidupan  biota  laut  yang terancam  punah.  Aplikasi  ini  dikembangkan  berdasarkan  tema  pembelajaran  mengenai  konservasi  pada  mata pelajaran  IPA  di  tingkat  SMP.  Aplikasi  ini  diujicobakan  kepada  siswa  tingkat  SMP.  Kemudian,  pemanfaatan teknologi VR ini dievaluasi dengan kuisioner untuk mengetahui peningkatan motivasi [8] dan pemberian pretes- postes untuk mengetahui ada atau tidaknya peningkatan kemampuan kognitif siswa [9]. Selanjutnya, penulis juga memaparkan kemungkinan terjadinya cybersickness [10], [11] dari penggunaan alat kacamata Google Cardboard versi 1 dan ANTVR kit selama proses ujicoba.

## A. Virtual Reality
Mengacu pada Bamodu dan Ye [12], Virtual Reality (VR) merupakan sebuah media interaksi antara manusia dan  komputer  berupa simulasi interaktif  yang  dapat memunculkan  efek  perasaan  keberadaan  dalam  lingkungan virtual  melalui  berbagai  macam  umpan  balik  seperti  sensor  kanal  virtual,  aura,  sentuhan,  bau-bauan,  dan sebagainya. Pengembangan VR ini melibatkan multidisiplin ilmu dalam ilmu komputer seperti komputer grafis, pengolahan citra, pengenalan pola dan kecerdasan buatan, jaringan, dan multimedia. VR memiliki tiga fitur utama yang disebut 3I, yaitu: Immersion , Interaction , dan Imagination . Immersion merupakan aspek perasaan kehadiran diri  sendiri  di  dalam  lingkungan  digital  yang  dibangun. Interaction merupakan  cara  pengguna  berkomunikasi dengan sistem VR yang berada di lingkungan 3 dimensi yaitu contohnya dengan menggunakanS space Ball dan Head-Mounted  Device (HMD). Imagination adalah  kemampuan  dari  pengembang  VR  untuk  mencapai  tujuan tertentu ketika mengembangkan sebuah aplikasi VR.
Berdasarkan aspek perasaan kehadiran dalam lingkungan virtual, aplikasi VR dibagi ke dalam 3 jenis yaitu non- immersive , immersive ,  dan semi-immersive . Non-immersive adalah  kategori  aplikasi  VR  yang  paling  sedikit memunculkan  perasaan  keberadaan  pengguna  ketika  menggunakan  aplikasi.  Biasanya  aplikasi  yang  dibangun merupakan  aplikasi  lingkungan  Desktop  3D.  Contoh  dari  aplikasi  VR  yang  termasuk  kategori non-immersive adalah sistem CAD. Immersive adalah kategori VR paling mahal dimana terdapat animasi 3D yang dibangun oleh komputer. Hal ini memunculkan perasaan keberadaan pada lingkungan virtual paling tinggi. Selain itu, interaksi yang kuat antara manusia dan sistem juga menggunakan Head Mounted Display (HMD). Contoh dari aplikasi VR kategori immersive ini  banyak  digunakan  pada  bidang  kesehatan  seperti  uji  keseimbangan  bagi  manula  dan disabilitas  [13]  dan  aplikasi  VR  berkenaan  dengan  simulasi  penanganan  pasien  oleh  dokter  [14].  Namun, penggunaan  dari  aplikasi  pada  kategori  ini  memerlukan  perhatian  khusus  seperti  lama  penggunaan  dan  teknis penggunaan  yang  tepat,  karena  memungkinkan  munculnya cybersickness pada  penggunanya  [15].  Secara  rinci ulasan  mengenai cybersickness dibahas  pada  bagian  D  di  paper  ini.  Adapun semi-immersive VR  merupakan kategori  VR  yang  menyediakan  perasaan  keberadaan  yang  tinggi  namun  tetap  dengan  penggunaan  lingkungan desktop yang sederhana. Contoh aplikasi VR pada kategori semi-immersive ini antara lain simulasi mengemudi dan aplikasi BIOTALAUT VR yang diujicobakan dalam penelitian ini.

## B. Google Carboard dan ANTVR kit
Beberapa  perangkat  VR  semi  immersive  semakin  banyak  dipasaran  seperti Google  Cardboard danANTVR.
Selain murah, Google Cardboard memiliki konsep unik dimana perangkat dirakit sendiri dari pola potongan kardus yang dilipat dan dibentuk seperti kacamata. Sedangkan, ANTVR terbuat dari  plastik dan busa sehingga pengguna merasa lebih nyaman dalam penggunaanya. Adapun  Cara kerja kedua perangkat ini hampir sama, yaitu dengan menyisipkan  telepon  pintar    yang  menjalankan  aplikasi  VR  di  depan  kacamata  dengan  layar  telpon  pintar menghadap kedua lensa. Gambar yang ditampilkan oleh monitor telpon pintar  akan diteruskan ke mata pengguna melalui  lensa bikonveks pada  kacamata  tersebut  sehingga  pengguna  seolah-olah  melihat  langsung  suasana lingkungan yang ditampilkan monitor telpon pintar. Google Cardboard versi pertama menggunakan dua magnet yang  dipasang  di  luar  dan  dalam  sebelah  kiri  headset  sebagai  alat  input  dari  sensor magnetometer pada  telpon pintar. Namun, ANTVR kit tidak dilengkapi dengan alat input magnet melainkan tombol mekanik.

## C. Evaluasi Heuristik
Evaluasi heuristik merupakan salah satu metode inspeksi usabilitas yang  bertujuan untuk mencari kelemahan dari desain antarmuka yang ada pada suatu perangkat lunak. Evaluasi heuristik melibatkan sekelompok kecil penilai untuk menguji disain antarmuka berdasarkan prinsip-prinsip heuristik yang sudah ditetapkan  [16]. Sutcliffe dan Gault [7] melakukan modifikasi dan penyesuaian terhadap prinsip-prinsip heuristik Nielsen dengan menfokuskan pada aspek usabilitas dan kehadiran pengguna pada lingkungan maya. Proses penyesuaian tersebut menghasilkan 12 prinsip heuristik yang dapat digunakan untuk mengevaluasi usabilitas aplikasi VR.
Selanjutnya,  setiap  prinsip  heuristik  dinilai  peringkat  permasalahannya  untuk  mengetahui  prioritas pengembangan sistem selanjutnya. Ada tiga faktor yang mempengaruhi peringkat permasalahan usabilitas, yaitu seberapa  sering  masalah  tersebut  terjadi  (frekuensi),  seberapa  sukar  masalah  tersebut  dapat  diatasi  (dampak masalah), seberapa tahannya pengguna menghadapi masalah tersebut (persistensi masalah). Adapun skala penilaian [2] untuk mengukur peringkat permasalahan usabilitas bernilai antara 0 dan 4, masing-masing adalah tidak ada masalah, kosmetik, minor , major , dan bencana.
D. Cybersickness
Kejadian cybersickness atau virtual reality sickness merupakan gejala yang mungkin terjadi saat menggunakan aplikasi VR. Cybersickness yang umumnya menyebabkan mata lelah, pusing, atau mual ini bisa diakibatkan oleh beberapa  faktor,  seperti  jenis  kelamin,  usia,  penyakit  yang  dialami,  serta  posisi  pengguna  saat  menggunakan perangkat  VR.  Gangguan  teknis  dari  perangkat  VR  juga  menjadi  salah  satu  faktor  yang  membuat  seseorang mengalami cybersickness .  Gangguan  tersebut  bisa  berupa  ketidaksinkronan  antara  alat tracking dengan  posisi anggota tubuh pengguna, seperti alat head tracking . Gangguan juga bisa disebabkan oleh lag pada tampilan. Lag terjadi  karena  adanya  jeda  yang  cukup  lama  pada  tampilan  yang  membuat  gerakan  pada  video  menjadi  patah. Flicker atau efek kedipan yang disebabkan oleh perubahan kecerahan cahaya monitor dapat menjadi faktor teknis penyebab cybersickness . Efek flicker dapat dicegah dengan menaikkan tingkat refresh rate monitor, dimana 30 Hz merupakan tingkat fresh rate yang cukup baik untuk menghilangkan flicker [11].

## E. Motivasi Belajar
Motivasi  merupakan  kegiatan  mendorong  seseorang  agar  motif-motif  yang  ada  dalam  dirinya  terpacu  untuk melakukan sesuatu sehingga tujuan yang diinginkan tercapai [17]. Menurut Santoso, dalam pembelajaran motivasi terdiri  dari  3  jenis,  yaitu  gabungan  motivasi  dan  emosi  mempengaruhi  pembelajaran,  motivasi  intrinsik  dalam belajar,  dan  efek  motivasi  pada  usaha  yang  digunakan  untuk  belajar  [9].  Sebagai  pendidik,  tugas  yang  perlu dilakukan terhadap siswanya adalah memotivasi siswa agar mau belajar. Motivasi yang baik berasal dari pribadi siswa  (motivasi  intrinsik)  dimana  kesadaran  belajar  muncul  dari  diri  siswa  sendiri.  Namun  tidak  menutup kemungkinan  motivasi  siswa  perlu  dibangkitkan  secara  eksternal  (motivasi  eksternal)  melalui  umpan-umpan kreatif  yang  diberikan  oleh  pendidik  sehingga  siswa tertarik.  Salah  satu  umpan kreatif  untuk  memotivasi  siswa secara eksternal adalah dengan memberikan materi ajar dan cara ajar yang kreatif.

## F. Kemampuan Kognitif sebagai Salah Satu Faktor Pengukuran Prestasi Belajar
Kemampuan kognitif merupakan kemampuan kerja otak dalam mengamati objek-objek tertentu sehingga timbul permrosesan  informasi  menjadi  pengetahuan  yang  dialami  berdasarkan  pengalaman  sendiri  [18].  Berdasarkan taksonomi  Bloom,  ranah  kemampuan  kognitif  ini  dibagi  ke  dalam  enam  aspek,  yaitu:  pengetahuan  ( recall ), pemahaman  ( comprehension ),  penerapan  ( application ),  analisis  ( analysis ),  sintesa  ( synthesis ),  dan  evaluasi ( evaluation )  [13].  Implementasi  dalam  kegiatan  pembelajaran  kemampuan  kognitif  ini  dapat  diketahui  dengan melakukan  tes  terhadap  siswa  berdasarkan  materi  yang  diberikan.  Representasi  kemampuan  kognitif  biasanya disajikan dalam bentuk numerik berkorelasi terhadap tujuan pembelajaran yang ingin dicapai.

## II. M ETODE

## A. Lokasi dan Subjek Penelitian
Lokasi yang menjadi tempat penelitian yaitu Madrasah Tsanawiyah Ma’Arif, Kabupaten Sumedang sebanyak 15 orang dan Sekolah Menengah Pertama Muhammadiyah 1 Jatinangor, Kabupaten Sumedang sebanyak 15 orang sehingga  total  jumlah  subjek  penelitian  adalah  sebanyak  30  orang  Subjek  penelitian  yang  digunakan  dalam penelitian ini adalah siswa dari kelas VII hingga IX. Subjek ini dipilih berdasarkan pertimbangan pengetahuan TIK, aktivitas akademis yang mempelajari tentang konservasi, penggunaan kurikulum yang sama, dan kebijakan pihak sekolah.  Dalam  penelitian  ini,  pengambilan  sampel  dilakukan  dengan  menggunakan  metode Simple  Random Sampling dimana  pengambilan  sampel  dilakukan  secara  acak  tanpa  memperhatikan  strata  yang  berada  dalam populasi seperti prestasi, tingkat ekonomi, jurusan, dan sebagainya.

## B. Metode Evaluasi Heuristik
Langkah pertama adalah melakukan audit teknologi berkaitan dengan cara pengoperasian, keterbatasan umpan balik,  jenis  interaksi  dan  grafik  yang  realistik.  Setelah  audit  teknologi  selesai  dilakukan,  penilai  melakukan serangkaian  tugas  pengguna  dan  mencatat  semua  kesulitan  atau  masalah  yang  dihadapi.  Masalah-masalah  ini kemudian  dipetakan  dengan  pendekatan  heuristik  dan  diberikan  peringkat  permasalahan  untuk  setiap  prinsip heuristiknya.  Langkah  terakhir  adalah  mendiagnosa  fitur  desain  yang  bertanggung  jawab  atas  masalah  yang dihadapi dan memberikan peringkat keparahan. Adapun  daftar parameter masalah nilai peringkat keparahan untuk pengelompokan  fitur desain dipaparkan pada referensi [7].

## C. Metode Evaluasi Pembelajaran
Instrumen  penelitian  yang  digunakan  pada  penelitian  ini  terbagi  menjadi  dua  yaitu  soal  pretes-postes  dan kuisioner motivasi. Soal pretes-postes terdiri dari enam soal pilihan ganda dimana tiga diantaranya merupakan soal yang  menguji  kemampuan  pemahaman  kognitif  dari  data  visual  yang  disajikan  pada  aplikasi.  Sedangkan  tiga pertanyaan berikutnya merupakan soal yang menguji kemampuan kognitif dari informasi audio.
Hasil  dari  pretes  dan  postes  ini  dievaluasi  menggunakan  metode  statistik one-way ANOVA  yang  bertujuan untuk mengetahui signifikasi perbedaan kemampuan kognitif siswa sebelum dan sesudah menggunakan aplikasi VR. Untuk melakukan uji one-way ANOVA, terlebih dahulu dilakukan uji normalitas dan homogenitas dari data. Uji normalitas  yang  digunakan  dalam  penelitian ini  adalah  uji Kolmogorov-Smirnov  dengan rumus  (1) sebagai berikut:
𝒛 𝒊 = 𝒙 𝒊 −𝒙 ̅ 𝒔 (1)
d imana 𝐿 = 𝑀𝑎𝑘𝑠|𝐹(𝑧 𝑖 ) − 𝑠(𝑧 𝑖 )| , dengan 𝐹(𝑧 𝑖 ) = P(Z < 𝑧 𝑖 ); 𝑍 ∈ 𝑁(0,1) 𝑠(𝑧 𝑖 )   = 𝑝𝑟𝑜𝑝𝑜𝑟𝑠𝑖 𝑐𝑎𝑐𝑎ℎ 𝑍 ≤ 𝑧 𝑖 𝑡𝑒𝑟ℎ𝑎𝑑𝑎𝑝 𝑠𝑒𝑙𝑢𝑟𝑢ℎ 𝑧 daerah kritis uji normalitas : 𝐷𝐾 = {𝐿|𝐿 < 𝐿𝛼; 𝑛} , n adalah ukuran sampel.
Apabila hasil analisis menunjukan bahwa nilai signifikansi (sig.) uji ini bernilai di atas 0,05 (p> 0,05), maka disimpulkan bahwa data berasal dari populasi yang terdistribusi secara normal. Sebaliknya, apabila hasil analisis menunjukan bahwa nilai signifikansi (sig.) uji ini bernilai di bawah 0,05 (p< 0,05), maka disimpulkan bahwa data berasal dari populasi yang terdistribusi secara tidak normal. Selajutnya setelah dilakukan uji normalitas terhadap nilai pretes dan postes, kita perlu melakukan uji homogenitas data untuk  mengetahui data berasal dari populasi yang sama (homogen) atau tidak (tidak homogent). Uji homogenitas yang digunakan adalah Uji Lavene (2) sebagai berikut:
𝑊 = (𝑛−𝑘) ∑ 𝑛 𝑖 (𝑥 𝑖 ̅  −𝑥 … ̅̅̅̅ ) 2 𝑘 𝑖=1 (𝑘−1) ∑ ∑ (𝑥 𝑖𝑗 ̅̅̅̅ −𝑥 𝑖 ̅  ) 2 𝑛 𝑗=1 𝑘 𝑖=1 (2)
Dimana n = jumlah data observasi, k = banyaknya kelompok, 𝑥 𝑖𝑗 = |𝑦 𝑖𝑗 −   𝑦̅ 𝑖 | , 𝑦̅ 𝑖 = rata-rata dari kelompok ke- i , 𝑥 𝑖 ̅ =  rata-rata  kelompok  dari 𝑥 𝑖 , 𝑥 … ̅̅̅̅ =  rata-rata  menyeluruh  dari 𝑥 𝑖𝑗 .  Setelah  diperoleh  nilai  W  dari  hasil perhitungan,  maka  selanjutnya  dilakukan  penarikan  kesimpulan  dengan  membandingkan  nilai  W  dengan 𝐹 𝛼;𝑘−1;𝑛−𝑘) .
Adapun soal kuisioner untuk mengetahui motivasi siswa terdiri dari lima pernyataan persetujuan yang meliputi: keunikan  VR,  tingkat  kesenangan  menggunakan  VR,  peningkatan  semangat  belajar,  kemudahan  penggambaran visual dan audio, dan pemberian pengalaman baru. Tingkat persetujuan pernyataan dimulai dari tidak sesuai, sangat tidak setuju hingga sangat setuju. Kuisioner mengenai motivasi ini mengadopsi dari Zaharias [8]. Skala pengukuran yang digunakan dalam form penilaian dan kuisioner adalah skala Likert ( Likert Scale ). Tidak setuju diberikan nilai 0, sangat tidak setuju 1, hingga sangat setuju 5. Hasil konversi data kuisioner ke dalam skala Likert ini selanjutnya digunakan untuk  menghitung nilai central tendency . Central tendency merupakan nilai yang  merepresentasikan nilai  rata-rata  persetujuan  semua  siswa  untuk  setiap  poin  pernyataan.  Poin  pernyataan  dengan  nilai central
tendency -nya ≥ 3.50 menandakan keseluruhan siswa menyetujui pernyataan tersebut dan sebaliknya apabila nilai central tendency -nya < 3.50 maka pernyataan tersebut tidak setujui oleh keseluruhan siswa [19].

## III. H ASIL
Proses  evaluasi  terhadap  aplikasi  VR semi-immersive dibagi  menjadi  2  tahap  utama,  yaitu  proses  evaluasi heuristik  terhadap  disain  antarmuka  aplikasi  dan  evaluasi  pembelajaran.  Evaluasi  dilakukan  terhadap  aplikasi BIOTALAUT VR. Aplikasi ini merupakan pilot project untuk pengembangan  media pembelajaran kreatif yang bertujuan mengajarkan siswa tentang karakteristik, prilaku, konservasi beberapa biota laut berbasis VR. Evaluasi heuristik melibatkan 3 orang penilai yang mendalami bidang Interaksi Manusia dan Komputer khususnya  metode evaluasi.  Sebelumnya,  penilai  belum  pernah  menggunakan  aplikasi  BIOTALAUT  VR  tetapi  sudah  biasa menggunakan aplikasi VR.
T ABEL I I NTEPRETASI EVALUASI HEURISTIK DAN PERINGKAT PERMASALAHAN YANG DITEMUI
No Heuristik Peringkat Masalah yang ditemukan 1 Natural engagement 4  Arah gelembung tidak ke arah permukaan laut, jika kepala menunduk
 Ada satu hiu yang  bergerak sangat lambat, sehingga terlihat tidak alami
 Ada satu hiu putih bertabrakan dan menembus hiu lain.
 Ada animasi gerakan tubuh Paus Orca yang tidak sesuai dengan arah gerakan.
2 Compatibility with the user’s task and domain
3
 Aplikasi tidak kembali ke halaman menu Biota , ketika pengguna berada di lingkungan maya dan menekan tombol exit dengan menggunakan fitur magnometer (interaksi geser magnet pada Google Cardboard v1).  Suara bawah laut pecah
 Ada sirip hiu yang menembus kandang
 Pointer menembus objek lain 3 Natural expression of action 2  Tombol info saat disorot tidak berubah warna 4 Close coordination of action and representation 1  Teks informasi yang ditampilkan terlihat jaggy (tidak halus)
5 Realistic feedback 1
 Pengguna tidak langsung tahu fungsi tombol inf o sampai mereka melihat teks disamping biota. 6 Faithful viewpoints 1  Secara umum baik, Adanya sedikit lag pada tampilan saat menggerakkan posisi kepala terlalu cepat 7 Navigation and    orientation support 0  Terkadang terjadi disorientasi kamera terhadap tampilan yang disebabkan oleh sensor gyroscope
pada telpon pintar tertentu 8
Clear entry and exit points 2  Aplikasi tidak kembali ke halaman menu Biota , ketika pengguna berada di lingkungan maya dan menekan tombol exit dengan menggunakan fitur magnometer (interaksi geser magnet pada Google Cardboard v1).
9 Consistent           departures 2  Gambar pointer menyerupai gelembung udara
 Ukuran teks informasi tidak konsisten
 Tombol info saat disorot tidak berubah warna menjadi kuning, seperti tombol play
10 Support for learning
1  Panduan penggunaan tersedia diawal namun kurang menarik untuk dibaca
11 Clear turn-taking N/A  Pengguna tunggal, jadi tidak ada komunikasi antar avatar 12 Sense of presence 1  Adanya sedikit penundaan rendering

## A. Audit Teknologi
Langkah pertama, penilai melakukan adaptasi terhadap aplikasi VR dan menghasilkan audit teknologi sebagai berikut
1) Operation of the user’s presence :  Bentuk kehadiran pengguna divisualisasi oleh pointer yang digunakn sebagai petunjuk fokus atau arah penglihatan ketika kepala pengguna bergerak. Pemilihan menu juga memanfaatkan Pointer tersebut.
2) Haptic feedback : karena tidak ada interaksi sentuhan saat menggunakan VR semi-immersive, maka interaksi umpan  balik  sentuhan  diganti  dengan  perubahan  warna  pada  setiap  tombol  yang  dpilih.  Perubahan  warna tersebut terjadi jika pointer diarahkan kepada tombol.
3) Interactive  techniques :  Pengguna  dapat  melihat  objek  3D  dan  informasi  teks  yang  muncul  di  layar  serta mendengarkan audio materi pembelajaran. Interaksi terhadap menu yang dipilih adalah melalui geser magnet ( Google Cardboard) atau tekan tombol mekanik (ANTVR)
4) Realistic graphics : Aplikasi ini memiliki representasi visual yang tidak terlalu kompleks, sehingga pengguna dapat menjalankan tugas dengan mudah dan tepat.

## B. Hasil Evaluasi
Langkah kedua, setiap penilai mengidentifikasi seluruh masalah yang ditemui dan memetakannya ke dalam 12 prinsip  heuristik.  Setelah  temuan  masalah  digabungkan,    ketiga  penilai  berdiskusi  bersama  untuk  menentukan peringkat permasalahan dari masing-masing setiap prinsip heuristik. Identifikasi evaluasi heuristik dan peringkat masalahnya dapat dilihat pada Tabel I. Adapun klasifikasi masalah dan tingkat keparahan dari  segi disain dapat dilihat pada Tabel II.
T ABEL II K LASIFIKASI M ASALAH DENGAN PERINGKAT KEPARAHAN DAN USULAN PENGEMBANGAN DISAIN BERDASARKAN FITUR DISAIN
Fitur Deskripsi Masalah Peringkat Keparahan Usulan Pengembagan Disain Grafik Animasi Objek 3D Gangguan sedang Memperbaiki disain objek 3D khususnya detail gerakan tubuh biota Presence Pointer, masalah manipulasi objek Gangguan kecil Perbaiki simbol pointer dan perubahan warna ketika  objek “ inf o” dipilih Interaksi Ada objek yang menembus objek lainnya Parah Perbaiki jalur pergerakan objek(biota) atau perlu ditambahkan efek benturan ( Collision ) dan suara. Lingkungan Gelembung udang, suara air kurang jelas Gangguan kecil Perbaiki arah gelembung udara. Perbaiki kualitas dan pengaturan suara. Kontrol Menu yang kurang dipahami dan memanipulasi objek Gangguan kecil Menggunakan simbul menu yang lebih umum atau tambahkan tooltip. Perbaiki program untuk mengatasi alat input dari sensor magnetometer. Perangkat keras Disorientasi kamera Gangguan kecil Pilih perangkat kacamata tracking dan sensor telpon pintar yang lebih baik .

## IV. P EMBAHASAN
Aplikasi BIOTALAUT VR sudah merepresentasikan lingkungan bawah laut dan kelengkapan objek 3D yang diperlukan dengan baik, diantaranya adalah gelombang air, gelembung udara, efek pencahayaan, kandang, dan 3 objek  biota.  Namun  beberapa  interaksi  antar  objek  yang  ditampilkan  masih  kurang  alami,  lihat  Tabel  1  dan  2. Contohnya  adalah  jika  kepala  menunduk  ke  bawah,  arah  gelembung  udara  tidak  menuju  ke  permukaan  air. Kemudian ada beberapa objek yang menembus objek lainnya. Contohnya, gambar 1 menampilkan sirip kiri ikan hiu menembus kandang. Sebaiknya jika kedua objek bertabrakan, sistem perlu ditambah efek benturan ( collision ) dan ditambah efek suara. Selanjutnya, konsistensi terhadap jenis kontrol yang serupa seperti kontrol menu Play dan menu Info sebaiknya memiliki perubahan warna yang serupa ketika pointer diarahkan ke tombol yang dipilih. Hasil evaluasi juga menunjukan bahwa aplikasi tidak kembali ke halaman menu Biota, ketika pengguna  menekan tombol exit dengan  menggunakan  fitur  magnometer (interaksi  geser  magnet  pada Google Cardboard v1 ).  Tetapi  jika pengguna menekan tombol exit melalui layar telepon pintar, aplikasi akan kembali ke halaman menu Biota. Oleh karena itu, perbaikan program diperlukan untuk mengatasi masalah ini sehingga aplikasi memiliki usabilitas yang lebih baik.
Gambar 1. Contoh Antamuka Aplikasi Yang Perlu Diperbaiki (Kiri Ke Kanan): Sirip Hiu Menembus Kandang Dan Kontrol Warna Tombol
Selama  proses  evaluasi  berlangsung,  gejala cybersickness terjadi  di  setiap  penilai  dan siswa.  Namun  kapan seseorang mulai merasakan gejala tersebut sangat bervariasi. Menurut LaViola [11], Gejala ini dapat disebabkan oleh beberapa faktor, seperti jenis kelamin, usia, penyakit yang dialami, serta posisi pengguna saat menggunakan perangkat VR. Peneliti melalukan ujicoba terhadap beberapa posisi yang menyebabkan gejala cybersickness ini lebih mudah terjadi dengan kondisi usia relatif sama dan tidak ada kelainan penglihatan. Berdasarkan 10  pengguna yang diamati, posisi kepala ke atas dalam waktu yang relatih lama dan memutarkan kepala dengan cepat adalah pemicu  utama  gejala cybersickness tersebut.  Penggunaan  alat  kacamata tracking juga  memiliki  peran  dalam cybersickness . Selain itu, faktor perangkat kacamata dan telpon pintar seperti jenis lensa, ukuran lensa, kenyaman kacamata  dan  ukuran  resolusi  layar  turut  memberikan  efek cybersickness .  Penggunaan  perangkat  ANTVR menunjukan bahwa waktu pertama kali terjadinya gejala cybersickness memerlukan waktu yang lebih panjang dari pada perangkat Google Cardboard .
Pada pelaksanaan evaluasi pembelajaran (lihat Gambar 2), setiap siswa diberikan panduan penggunaan aplikasi BIOTALAUT VR dan headset VR. Kegiatan uji coba penggunaan aplikasi VR yang diimplementasikan kepada 30 siswa ini, memiliki waktu yang bervariasi antara 5 – 10 menit per siswa. Perhitungan waktu setiap siswa dihitung dari  mulai  membaca  panduan  hingga  mencoba  ketiga  jenis  hewan  yang  disajikan  pada  aplikasi VR.  Perbedaan waktu  ini  kemungkinan  dikarenakan  oleh  dua  faktor  yaitu:  pembiasaan  dalam  menggunakan  teknologi  seperti smartphone  dan  kemampuan  memahami  pentunjuk  pemakaian  aplikasi  dan  headset  VR.  Waktu  tersebut  diluar kegiatan mengisi pretes, postes, dan form kuisioner.
Gambar 2. Implementasi Aplikasi VR Pada Dalam Kegiatan Belajar Siswa.
Data hasil pretes dan postes kemudian diolah dengan metode statistika one-way  ANOVA untuk mengetahui perbedaan kemampuan kognitif antara sebelum dan sesudah menggunakan aplikasi VR seperti yang diuraikan pada bagian III. Dari hasil uji normalitas dengan Kolmogorov-Smirnov terhadap data pretes dan postes diperoleh nilai sig. sebesar 0.001. Jika dibandingkan 0.001 < 0.05, maka data penelitian yang diperoleh tidak berdistribusi normal. Hasil uji normalitas data dapat dilihat pada Tabel III.
T ABEL III. H ASIL UJICOBA N ORMALITAS D ATA DENGAN K OLMOGOROV -S MIRNOV B ERDASARKAN SPSS
Unstandardized predicted Value N 30 Normal Parameter Mean 4.43 Std. Deviation 0.12 Most Extreme Diff Absolute 0.22 Positive 0.22 Negative -0.213 Test Statistic 0.22
Kemudian dilakukan uji homogenitas data terhadap nilai prestes dan postes dengan menggunakan metode uji Lavene. Hasil yang diperoleh dari uji Lavene ini menyatakan bahwa nilai sig. yang diperoleh adalah W = 0.430. Jika dibandingkan, nilai 0.430 > 0.05 maka data penelitian yang diperoleh tidak homogen. Dikarenakan data yang diperoleh  tidak  berdistribusi  normal  dan  tidak  homogen,  maka  peneliti  mencoba  melakukan  transformasi  data. Namun,  setelah  dilakukan  transformasi  data,  data  menjadi  normal  namun  tidak  homogen.  Oleh  karena  itu, pengujian statistik yang diimplementasikan pada data penelitian adalah dengan menggunakan one-way ANOVA dengan koreksi menggunakan uji Brown Forysthe sehingga diperoleh nilai signifikansi P-value sebesar 0.448. Jika dibandingkan, nilai signifikasi P-value < 0.05, sehingga memberikan kesimpulan terjadi perbedaan yang signifikan antara  nilai  pretes  dan  postes.  Hal  ini  mengindikasikan  terjadinya  peningkatan  kemampuan  kognitif  siswa  dari sebelum menggunakan aplikasi VR dan sesudah menggunakan aplikasi VR dalam kegiatan pembelajaan. Hasil uji perbedaan dengan one-way ANOVA dapat dilihat pada Tabel IV.
T ABEL IV H ASIL U JI O NE -W AY ANOVA UNTUK M ENGETAHUI S IGNIFIKANSI P ERBEDAAN B ERDASARKAN SPSS Sum of Squares df Mean Square F Sig Between Groups 3.369 4 0.842 0.957 0.448 Within Groups 21.997 25 0.880 Total 25.367 29
Data kuisioner yang diperoleh kemudian dikonversi menggunakan skala likert dan dihitung central tendency- nya. Tabel V menunjukkan, untuk setiap pernyataan, dimulai dari P1 hingga P5 memiliki nilai central tendency ≥ 3.50.  Apabila  dilihat  rata-rata  secara  keseluruhan  nilai  persetujuan  untuk  semua  poin  motivasi  yang  diujikan mencapai  4.49.  Hal  ini  menunjukkan  bahwa  setiap  pernyataan  mendapatkan  persetujuan  siswa  terkait  dengan adanya  peningkatan  motivasi  belajar  ketika  menggunakan  aplikasi  VR.  Jika  dilihat  lebih  mendalam,  dapat disimpulkan bahwa rata-rata siswa yang menggunakan aplikasi BIOTALAUT VR mempunyai pengalaman belajar unik, menarik, informasi audio dan visual yang disajikan mudah dipahami, dan memberikan pengalaman belajar yang baru bagi siswa. Tabel V memperlihatkan hasil perhitungan central tendency pada setiap pernyataan motivasi.
T ABEL V P ERHITUNGAN C ENTRAL T ENDENCY K UISIONER M OTIVASI Pernyataan P1 P2 P3 P4 P5 Central Tendency 4.57 4.47 4.47 4.43 4.53

## V. S IMPULAN DAN S ARAN
Berdasarkan hasil analisa dan pembahasan, kesimpulan dari penelitian ini adalah sebagai berikut:
1) Evaluasi heuristik Sutcliffe yang terdiri dari 12 aturan mampu mendiagnosa masalah yang mungkin terjadi pada
aplikasi VR semi- immersive dengan memperhatikan aspek usabilitas dan keberadaan ketika pengguna berada dalam lingkungan maya. Secara umum aplikasi BIOTALAUT VR sudah merepresentasikan kondisi alam bawah laut dengan dilengkapi objek gelombang air, cahaya, gelembung udara, dan beberapa biota laut dengan beberapa perbaikan pada fitur presence , lingkungan, kontrol, dan perangkat keras. Bagian penting yang perlu menjadi perhatian saat perbaikan disain aplikasi adalah penambahan efek benturan ( Collision ) pada fitur intraksi dan pengaturan ulang jalur pergerakan objek biota sehingga terlihat lebih alami.
2) Gejala cybersickness dapat terjadi pada setiap pengguna dikarenakan belum terbiasa dengan pengelihatan jarak dekat. Hasil pengujian terhadap beberapa posisi menunjukan bahwa posisi kepala ke atas atau menggelengkan kepala  dengan  cepat  akan memicu  gejala cybersickness .  Selain itu,  penggunaan  alat  kacamata tracking dan telepon  pintar  yang  lebih  baik  menunjukan  bahwa  durasi  penggunaan  aplikasi  menjadi  lebih  lama  sebelum terjadinya gejala cybersickness .
3) Selain kegiatan evaluasi heuristik terhadap disain tampilan aplikasi, kegiatan implementasi VR terhadap proses pembelajaran  juga  dievaluasi  untuk  mengetahui  apakah  aplikasi  VR  khususnya  aplikasi  BIOTALAUT  VR mampu memberikan peningkatan kemampuan kognitif dan motivasi belajar siswa. Dari hasil pengujian secara statistik,  kemampuan  kognitif  siswa  setelah  menggunakan  aplikasi  VR  ini  mengalami  perbedaan  yang signifikan  dengan  nilai  P-value  sebesar  0.448  bila  dibandingkan  dengan  kemampuan  kognitif  sebelum menggunakan  aplikasi  VR.  Dilihat  dari  segi  motivasi,  dapat  disimpulkan  bahwa  rata-rata  siswa  menyetujui setiap  pernyataan  kuisioner.  Hal  ini  mengindikasikan  siswa  mengalami  peningkatan  motivasi  belajar  ketika menggunakan aplikasi VR.
Beberapa saran untuk pengembangan aplikasi dan penelitian selanjutnya, antara lain:
1) Selain  evaluasi  heuristik,  pengembang  aplikasi  dapat  juga  menggunakan  metode  evaluasi  lainnya  seperti Cognitive  Walkthrough  untuk  memandu  selama  proses  pembuatan  disain  sehingga  aplikasi  dapat  berfungsi sesuai analisa tugasnya dan mudah digunakan
2) Metode usabilitas yang ada saat ini masih perlu dikembangkan untuk melihat pengaruh teknologi VR terhadap pendidikan, sebagai contoh adalah aspek motivasi peserta didik.
3) Perlunya  aplikasi  dengan  topik-topik  lain  yang  bersifat  abstrak  misalnya  pengembangan  aplikasi  VR  untuk memperkenalkan siklus peredaran darah manusia, dan sebagainya.
4) Perlu dilakukan pengujian yang lebih komprehensif dengan melibatkan lebih banyak responden sehingga hasil yang diperoleh mewakili populasi dan hasilnya dapat digeneralisasi.

## U CAPAN T ERIMA K ASIH
Tim  peneliti  mengucapkan  terima  kasih  kepada  Universitas  Padjadjaran  selaku  pemberi  Hibah  Peningkatan Kapasitas Riset Dosen. Selain itu ucapan terima kasih kami sampaikan  kepada sivitas akademika MTs Ma’Arif dan SMP Muhammadiyah Jatinangor atas kesediaannya menjadi responden.

## REFERENSI
[1] Simsek N. and Erdogdu F., "Current Trends in Computer Use of Elementary School Students: An International Comparison," Procedia-Soc. Behav. Sci, vol. 47, no. 1998, pp. 1058-1063, 2012.
[2]  Pantelidis V. S., "Reasons to Use Virtual Reality in Education and Training Courses and a Model to Determine When to Use Virtual Reality," THEMES Sci. Technol. Educ, vol. 2, pp. 59-70, 2009.
[3]  Abulrub A. G., Attridge A., and Williams M. A., "Virtual Reality in Engineering Education: The Future of Creating Learning," Int. J. Emerg. Technol. Learn., vol. 6, no. 4, pp. 4-11, 2011.
[4]  Häfner P., Häfner V., and Ovtcharova J., "Teaching Methodology for Virtual Reality Practical Course in Engineering Education," Procedia Comput.
Sci., vol. 25, pp. 251-260, 2013.
[5]  Barnum C. M. Usability Testing and Research. New York: Pearson Education. 2002:151-152.
[6]  Dix A., Finlay J., Abowd G. D., and Beale R. Human-Computer Interaction. Third Edition. London: Person Education. 2004.
[7]  Sutcliffe A. and Gault B. Heuristic evaluation of virtual reality applications. Elsevier Interacting with computers. 2004; 16: 831–849.
[8]  Zaharias P. and Poylymenakou A., "Developing A Usability Method Evaluation Method for E-learning Applications: Beyond Functional Usability,"
International Journal of Human Computer Interaction, vol. 25, no. 1, pp. 75-98, 2009
[9]  Santoso H. B., "Pemodelan Personalisasi Pembelajaran berdasarkan Aspek Gaya Belajar pada Student Centered E-learning Environment," Fakultas Ilmu Komputer, Depok, 2007.
[10]  Hasibuan Z. A.Desain Penelitian. Metodologi Penelitian Pada Bidang Ilmu Komputer dan Teknologi Informasi, Fakultas Ilmu Komputer Universitas Indonesia. 2007:81.
[11]  LaViola Jr. J. J. A Discussion of Cybersickness  in Virtual Environments. ACM SIGCHI Bull. 2000; 32(1):47-55.
[12]  Bamodu  O.    and  Ye  X.,  "Virtual  Reality  and  Virtual  Reality  System  Components,"  in 2nd  International  Conference  on  Systems  Engineering  and Modeling , Paris, 2013.
[13]  Chiarovano E et all, "Maintaining Balance When Looking at A Virtual Reality Three-Dimensional Display of A Field of Moving Dots or at Virtual Reality Scene.," Front. Neurol., vol. 6, no. 164, pp. 1-9, 2015.
[14]  Zaveri P. P. et all, "Virtual Reality for Pediatric Sedation: A Randomized Controlled Trial Using Simulation," Cureus, vol. 8, no. 2, pp. 1-11, 2016.
[15]  Rosa P. J. et all, "The Immersive Virtual Reality Experience: A Typology of Users Revealed Through Multiple Correspondence Analysis Combine with Cluster Analysis Technique," Cyberpsychology, Behavior, and Social Networking, vol. 19, no. 3, pp. 209-216, 2016.
[16]  Nielsen J. Usability Engineering. Academic Press Limited. London, 1993.
[17]  Usman M.U , Menjadi Guru Professional, Bandung: Rosda, 2002.
[18]  Arikunto S., Pengantar Evaluasi Pendidikan, Bandung: Remaja Rosdakarya, 2001.
[19]  Boone H. N. and Boone D. A., "Analyzing Likert Data," Journal of Extension, vol. 50, no. 2, 2012