Halaman jurnal: http://jurnal.yudharta.ac.id/v2/index.php/EXPLORE-IT/
Akreditasi Sinta 5 (S5) – SK No. 36/E/KPT/2019 p-ISSN 2086-3489 (Print)- e-ISSN 2549-354X (Online) DOI https://doi.org/10.35891/explorit

## Dampak  Media  Berbasis  Gestur  pada  Pembelajaran  Interaksi  Manusia  dan Komputer
Muhamad Afif Effindi 1 , Wanda Ramansyah 2 , Laili Cahyani 3 , Prita Dellia 4
,2,3,41 Program Studi Pendidikan Informatika,Universitas Trunojoyo Madura, Bangkalan, Indonesia email: 1 mafif.effindi@trunojoyo.ac.id, 2 wandaramansyah@trunojoyo.ac.id, 3 laili.cahyani@trunojoyo.ac.id, 4 prita.dellia@trunojoyo.ac.id

## INFO ARTIKEL

## ABSTRAK
Sejarah Artikel:
Diterima 23 Juni 2021
Direvisi 26 Juni 2021
Disetujui 30 Juni 2021 Dipublikasi 30 Juni 2021
Teknologi saat ini menawarkan beberapa perangkat lunak yang mendukung proses pembelajaran. Interaksi manusia  dan  komputer  merupakan  salah  satu  mata  kuliah  di  Program  Studi  Pendidikan  Informatika, Universitas  Trunjoyo  Madura  yang  tidak  didukung  oleh  adanya  mata  kuliah  praktikum.  Selain  itu,  terdapat keterbatasan  media  dalam  pembelajaran  mata  kuliah  Interaksi  Manusia  dan  Komputer.  Maka,  diusulkan pengembangan sebuah media pembelajaran berbasis gestur tubuh menggunakan “kinect sensor” pada mata kuliah  interaksi  manusia  dan  komputer.  Melalui  media  ini,  diharapkan  pembelajaran  secara  inovatif  dapat diterapkan selama perkuliahan. Sehingga, mahasiswa terbantu dalam memahami materi melalui contoh nyata. Model  yang  digunakan  dalam  penelitian  ini  adalah  ADDIE.  Tahap  awal  yang  dilakukan  adalah  survey  dan analisis kebutuhan data dari kondisi di lapangan, yaitu pada mata kuliah Interaksi Manusia dan Komputer di lingkungan  Program  Studi  Pendidikan  Informatika.  Tahap  kedua  adalah  rancangan  desain  media pembelajaran.  Tahap  ketiga  yaitu  pengembangan  media  berbasis  gestur  tubuh  menggunakan  Kinect.  Tahap keempat adalah implementasi kepada pengguna. Tahap terakhir yaitu evaluasi terhadap media pembelajaran yang  dikembangkan.  Hasil  evaluasi  menunjukkan  bahwa  dari  9  pertanyaan  dengan  21  orang  pengguna memberikan  hasil  respon  rata-rata  80%  dari  jumlah  maksimal.  Hal  tersebut  berarti  media  pembelajaran berbasis  gestur  tubuh  menggunakan  “kinect  sensor”  pada  mata  kuliah  interaksi  manusia  dan  komputer  ini dapat membantu memudahkan pembelajaran.
Katakunci: Media Pembelajaran Kinect

## ABSTRACT
Keyword: Learning Media Kinect Current technology has offered several software that supports the learning process. Human and computer interaction is one of the courses in the  informatics education study program at the Faculty of Education, Trunjoyo  University,  Madura  which  is  not  supported  by  practicum  courses.  In  addition,  there  are limitations to the media in learning Human and Computer Interaction courses. Therefore, it is proposed to develop  a  learning  media  based  on  body  gestures  using  "kinect  sensors"  in  the  subject  of  human  and computer  interaction.  Through  this  media,  it  is  hoped  that  innovative  learning  can  be  applied  during lectures.  Thus,  students  are  helped  in  understanding  the  material  through  concrete  examples.  The  model used in this study is ADDIE. The initial stage is a survey and analysis of data needs from conditions in the field,  namely  in  the  course  of  Human  and  Computer  Interaction  in  the  Information  Technology  Study Program. The second stage is the design of instructional media design. The third stage is the development of  body-based  media  using  Kinect.  The  fourth  stage  is  implementation  to  the  user.  The  last  stage  is  the evaluation of the learning media developed. The results showed that from 9 questions with 21 users gave the response results an average of 80% of the maximum number. This means that gesture-based learning media using "kinect sensors" in the course of human and computer interaction can help facilitate learning.
DOI Artikel: 10.35891/explorit.v13i1.2553
@2021 diterbitkan oleh Prodi Teknik Informatika Universitas Yudharta Pasuruan

## 1. Pendahuluan
Interaksi Manusia dan Komputer, atau disebut juga sebagai IMK, merupakan salah satu mata kuliah bagi mahasiswa di bidang Ilmu Komputer atau Informatika  [1].  Mata  kuliah  Interaksi  Manusia  dan  Komputer  juga  diberikan  pada  mahasiswa  Program  Studi  Pendidikan  Informatika,  Universitas Trunojoyo Madura. Mata kuliah Interaksi Manusia dan Komputer memiliki fokus kajian pada pengembangan desain sistem, evaluasi, dan terapannya dalam bentuk suatu sistem komputer yang interaktif.
Dalam konteks penyelenggaraan mata kuliah IMK di Program Studi Pendidikan Informatika, Universitas Trunojoyo Madura, mata kuliah ini memiliki capaian  pembelajaran  agar  mahasiswa  memiliki  pemahaman  tentang  konsep  dasar  keterkaitan  aspek  manusia  dan  komputer  yang  dapat mempengaruhi  perancangan  dan  pengembangan  sistem  interaktif,  dalam  hal  ini  mahasiswa  diharapkan  memiliki  pemahaman  tentang  proses  desain interaksi.  Sedangkan  capaian  pembelajaran  mata  kuliah  IMK  yang  Kedua  ialah  mahasiswa  dapat  menerapkan  konsep  IMK  dalam  pengembangan antar-muka  pengguna  yang  berkualitas  untuk  sistem  komputer  yang  interaktif.  Kedua  capaian  pembelajaran  tersebut  memerlukan  dukungan  dalam pelaksanaannya.
Dalam terapannya, mata kuliah IMK memerlukan adanya suatu sesi praktikum untuk mengenalkan pada mahasiswa tentang  terapan teori pada mata kuliah ini. Pada penelitian ini, peneliti melakukan percobaan saat mahasiswa diberikan fasilitas alat praktik berupa tools pendeteksian gestur tubuh. Gestur adalah salah satu bentuk komunikasi non-verbal melalui gerakan tubuh untuk menyampaikan pesan tertentu.
Gestur dapat diekspresikan oleh gerakan wajah, tangan, kepala atau bagian tubuh lain. Dalam konteks Interaksi Manusia dan Komputer, gestur tubuh dapat digunakan untuk mengontrol peralatan atau teknologi [2]. Berbagai aplikasi berbasis gestur telah dikembangkan, salah satunya ialah Microsoft Kinect Sensor [2], [3]. Beberapa penelitian lain juga melaporkan usaha untuk menggunakan media pembelajaran berbasis gestur, antara lain [1], [4].
Di dalam [1], melalui uji coba terhadap mahasiswa ilmu komputer dan non-ilmu komputer di Universidad Rey Juan Carlos, penggunaan penugasan serta media yang dapat dirasakan langsung oleh mahasiswa dalam proyek mata kuliah Interaksi Manusia dan Komputer dapat meningkatkan motivasi dalam melakukan pembelajaran. Di sisi lain, dalam penelitian [4], dilakukan kajian tentang pendeteksian gestur tangan sebagai kontrol media.
Di sisi lain, penggunaan media pembelajaran yang melibatkan perangkat keras yang dapat dirasakan langsung oleh pembelajaran memiliki dampak positif,  baik  terhadap  pembelajaran  maupun  pada  pembelajar.  Hal  ini  dapat  dirujuk  pada  kasus  Physical  Computing  atau  Tangible  Computing. Penggunaan  Physical  Computing  dalam  sesi  pembelajaran  sangat  membantu  meningkatkan  pemahaman  siswa,  terutama  untuk  memahami  konsep abstrak di dalam ilmu komputer, salah satunya pemrograman.
Konsep dasar pemrograman komputer memiliki suatu tantangan tersendiri untuk diajarkan pada pembelajar. Hal ini sebagaimana dilaporkan dalam beberapa penelitian [5], [6], bahwa konsep-konsep dasar pemrograman merupakan suatu konsep abstrak yang sulit untuk dipahami oleh siswa yang baru  pertama  kali  mengenal  coding.  Sementara  itu  dalam  penelitian  lain  [7]  dijelaskan  tantangan  lain  dalam  pembelajaran  pemrograman,  yakni sulitnya  menemukan  tools  yang  tepat  untuk  digunakan  dalam  penugasan  atau  pekerjaan  kelompok  pada  materi  pemrograman.  Dinyatakan  bahwa penggunaan laptop untuk tugas pemrograman lebih layak digunakan dalam setting penugasan pribadi tiap siswa, namun sulit digunakan untuk bekerja secara kolaborasi [7]. Media pembelajaran menggunakan augmented reality untuk pengenalan aksara jawa dengan game edukasi[8].
Pemilihan media yang dapat dirasakan langsung oleh pembelajar sebagai alat untuk pembelajaran dalam beberapa penelitian tersebut diyatakan dapat meningkatkan  motivasi  siswa  untuk  belajar  memahami  konsep  abstrak  pemrograman  [5],  meningkatkan  kerjasama  dan  kolaborasi  diantara  siswa, serta meningkatkan kreativitas [7], serta meningkatkan digital skill dalam rangka peningkatan kemampuan pemrograman [6].
Memperhatikan dampak positif berbagai media pembelajaran fisik terhadap peningkatan dalam pembelajaran, penelitian ini mengusulkan penerapan suatu setting pembelajaran mata kuliah Interaksi Manusia dan Komputer menggunakan tools yang dapat mendeteksi gestur tubuh.

## 2. Metode Penelitian

## Gambar 1. Desain Model ADDIE
Penelitian  ini  menggunakan  pendekatan  ADDIE.  Pendekatan ADDIE  meliputi  Analisis  (Analysis),  Desain  (Design),  Pengembagan  (Development), Implementasi  (Implementation),  dan  Evaluasi  (Evaluation)  (Gambar  1).  Dalam  tahap  pembuatan  media  menggunakan  model  ADDIE  yang  harus dilakukan pertama kali adalah tahap analisis kebutuhan. Pada tahap analisis (Analysis), dilakukan pengumpulan data. Data di sini di antaranya kondisi bahwa  masih  banyak  mahasiswa  Prodi  Pendidikan  Informatika  yang  belum  memiliki  pemahaman  terkait  proses  interaksi  antara  manusia  dan komputer, perangkat pembelajaran seperti rencana pembelajaran semester (RPS) dan PP. Tahap Desain (Design) dilakukan setelah  mendapat semua kebutuhan  dari  tahap  analisis.  Tahap  desain  dilakukan  untuk  menentukan  konsep  dan  rancangan  dalam  pembuatan  media.  Selanjutnya  membuat desain media dan penyusunan content sesuai pergerakan aplikasinya.
Tahapan  selanjutnya  adalah  Pengembangan  (Development).  Pada  tahap  development,  sensor  Kinect  digunakan  untuk  menangkap  Gesture  serta aplikasi  Unity  untuk  membuat  objek  3D.  Dalam  proses  pembuatannya,  gestur  pengguna  akan  ditangkap  di  beberapa  titik  oleh  sensor  Kinect  dan kemudian  diprogram  untuk  sinkronisasi  terhadap  objek  animasi  tiga  dimensi  (3D)  yang  telah  dibuat  dengan  software  Unity.  Dilanjutkan  dengan tahapan Implementasi (Implementation). Pada tahap implementasi, media diterapkan kepada pengguna. Pengguna di sini adalah  mahasiswa Program Studi Pendidikan Informatika Fakultas Ilmu Pendidikan Universitas Trunojoyo Madura. Tahapan penelitian selanjutnya adalah Evaluasi (Evaluation). Tahap  evaluasi  dilakukan  setelah  media  diterapkan  kepada  mahasiswa  Prodi  Pendidikan  Informatika,  dilakukan  evaluasi  hasil  respon  mahasiswa terhadap media pembelajaran yang dikembangkan sekaligus didapatkan saran dan revisi pada media pembelajaran agar menjadi semakin sempurna.

## 3. Hasil dan Pembahasan
Penelitian ini menggunakan Kinect Xbox 360 sebagai piranti  masukan. Penggunaan Kinect Xbox 360 agar dapat terkoneksi dengan komputer atau laptop  harus  dipasang  terlebih  dahulu  Software  Development  Kit  dan  Developer  Toolkit.  Software  tersebut  adalah  KineckSDK  dan KinectDeveloperToolkit. Pada kegiatan penelitian ini digunakan versi 1-8. Langkah inti dalam pengembangan aplikasi ini adalah deteksi gestur tubuh yang dilakukan menggunakan Unity melalui sensor Kinect. Gambar 2 menunjukkan aplikasi Unity yang memiliki 2 3D model. Sedangkan Gambar 3 menunjukkan  deteksi  skeleton  menggunakan  Unity.  Dalam  gambar  tersebut,  ditunjukkan  skeleton  yang  mengikuti  gerakan  manusia.  Penerapan
Analysis
Design

## Development

## Implementation
Evaluation
aplikasi sebagai media pembelajaran Interaksi manusia dan komputer di program studi Pendidikan Informatika ditunjukkan pada Gambar 2, 3, 4, dan 5.

## Gambar 2. Kinect Xbox 360 yang digunakan dalam Penelitian
Salah  satu  langkah  yang  dilakukan  pada  penelitian  ini  adalah  pengembangan  aplikasi  untuk  mendeteksi  gestur  tubuh.  Aplikasi  ini  dikembangkan dengan  menggunakan  Unity.  Gambar  4.4  menunjukkan  aplikasi  Unity  yang  memiliki  2  3D  model.  Gambar  3  dan  4  menunjukkan  deteksi  skeleton menggunakan  Unity.  Dalam  gambar  tersebut  ditunjukkan  skeleton  yang  mengikuti  gerakan  manusia.  Penelitian  ini  memanfaatkan  kemampuan tersebut dari Unity dan Kinect.
Gambar 3. Sensor Kinect yang terhubung dengan Laptop
Gambar 4. Model 3D
Gambar 5. Koneksi Kinect terhadap aplikasi
Setelah Kinect berhasil dihubungkan dengan Komputer dan Aplikasi telah dikembangkan, langkah selanjutnya adalah penerapan dalam pembelajaran mata  kuliah  Interaksi  Manusia  dan  Komputer.  Ujicoba  ditunjukkan  sebagaimana  Gambar  X.  Setelah  media  diterapkan  kepada  mahasiswa  Prodi Pendidikan  Informatika,  dilakukan  evaluasi  hasil  respon  mahasiswa  terhadap  media  pembelajaran  yang  dikembangkan.  Tabel  1  menunjukkan  hasil respon  pengguna,  yaitu  mahasiswa  program  studi  Pendidikan  Informatika.  Hasil  angket  tersebut  menunjukkan  bahwa  dari  9  pertanyaan  dengan  21 orang  pengguna  memberikan  hasil  respon  rata-rata  80%  dari  jumlah  maksimal.  Hal  tersebut  berarti  media  pembelajaran  berbasis  gestur  tubuh menggunakan “kinect sensor” pada mata kuliah interaksi manusia dan komputer ini dapat membantu memudahkan pembelajaran.
Berikut  ini  adalah  sajian  hasil  kuesioner  terhadap  uji  coba  aplikasi.  Pada  pertanyaan  pertama  mengenai  kejelasan  materi  Interaksi  Manusia  dan Komputer menggunakan media yang dikembangkan, sebanyak 52,4% pengguna menyatakan setuju dengan aplikasi yang dikembangkan (Gambar 7). Pada pertanyaan kedua mengenai efek animasi yang digunakan, pengguna atau dalam hal ini mahasiswa menilai setuju (38,1%) (Gambar 8).
Gambar 7. Rangkuman Kuesioner pada Pertanyaan Pertama
Gambar 8 Rangkuman Kuesioner pada Pertanyaan Kedua
Pada  pertanyaan  ketiga,  dalam  pertanyaan  penggunaan  Kinect  dapat  memberikan  fasilitas  kemudahan  dalam  pembelajaran  Interaksi  Manusia  dan Komputer,  mahasiswa  menilai  Sangat  Setuju  (38,1%)  dan  Setuju  (52,4%)  (Gambar  9).  Pada  pertanyaan  keempat  mengenai  kecepatan  dalam pemahaman, sebanyak 38,1% menilai sangat setuju dan setuju sebanyak 23,8% (Gambar 10).
Gambar 9. Rangkuman Kuesioner pada Pertanyaan Ketiga

## Gambar 10. Rangkuman Kuesioner pada Pertanyaan Keempat
Gambar 11. Rangkuman Kuesioner pada Pertanyaan Kelima
Pada  pertanyaan  kelima,  yakni  penggunaan  variasi  di  dalam  aplikasi  pembelajaran  berbasis  gestur  tubuh  menggunakan  Kinect,  sebanyak  47,6% mahasiswa  setuju  dan  sebanyak  28,6%  menyatakan  sangat  setuju  (Gambar  11).  Pada  pertanyaan  keenam,  yakni  kemudahan  dalam  pengoperasian, mahasiswa menyatakan setuju (47,6%) serta sebanyak 33,3% menyatakan sangat setuju (Gambar 12).
Gambar 12. Rangkuman Kuesioner pada Pertanyaan Keenam
Gambar 13. Rangkuman Kuesioner pada Pertanyaan Ketujuh
Pada  pertanyaan  ketujuh,  yakni  tampilan  media  pembelajaran  berbasis  gestur  tubuh,  mahasiswa  menyatakan  sangat  setuju  (47,6%)  (Gambar  13). Sedangkan pada pertanyaan kedelapan, yakni motivasi mahasiswa untuk belajar mata kuliah atau materi Interaksi Manusia dan Komputer, sebanyak 28,6% mahasiswa menyatakan sangat setuju. Dan sebanyak 38,1% menyatakan setuju. Hal ini sebagaimana dirangkum dalam Gambar 14. Pertanyaan kuesioner mengenai efek warna dan animasi yang digunakan dalam  aplikasi pengguna atau dalam hal ini mahasiswa memberikan nilai 4 (Gambar 14). Respon mahasiswa pada pertanyaan kesembilan tentang efek audio, warna, dan animasi dalam Media dirangkum dalam Gambar 15.
Gambar 14. Rangkuman Kuesioner pada Pertanyaan Kedelapan

## Gambar 15 Rangkuman Kuesioner pada Pertanyaan Kesembilan

## 4. Kesimpulan
Hasil evaluasi menunjukkan bahwa penggunaan animasi pada Unity dengan paduan sensor Kinect Xbox 360 dapat digunakan sebagai media pembelajaran Interaksi Manusia dan Komputer, utamanya untuk memberikan pengalaman belajar bagi mahasiswa dalam berinteraksi dengan komputer.
Dari penelitian ini, pada segi pembelajaran, perlu dilakukan sinkronisasi pada Rencana Pembelajaran Semester. Penyesuaian diletakkan pada pemberian tugas mahasiswa berupa pembuatan aplikasi yang dapat memungkinkan terjadinya interaksi antara manusia dan komputer.

## Ucapan Terima Kasih
Penelitian ini didukung dan didanai oleh Universitas Trunojoyo Madura melalui Program Penghargaan Inovasi Pembelajaran. Penulis mengucapkan terima kasih pada seluruh mahasiswa yang turut serta dalam penelitian ini.

## Daftar Pustaka
[1]  J.  Urquiza-Fuentes  and  M.  Paredes-Velasco,  “Investigating  the  Effect  of  Realistic  Projects  on  Students’  Motivation,  the  Case  of  Human- Computer Interaction Course,” Comput. Hum. Behav., 2016.
[2]  S. Saha, B. Ganguly, and A. Konar, “Gesture Based Improved Human-Computer Interaction Using Microsoft’s Kinect Sensor,” presented at the 2016  International  Conference  on  Microelectronics,  Computing,  and  Communications  (MicroCom),  Durgapur,  India,  2016.  doi: https://doi.org/10.1109/MicroCom.2016.7522582.
[3]  S.  Saha,  R.  Lahiri,  A.  Konar,  B.  Banerjee,  and  A.  K.  Nagar,  “HMM-based  Gesture  Recognition  System  Using  Kinect  Sensor  for  Improvised Human-Computer Interaction,” presented at the 2017 International Joint Conference on Neural Networks (IJCNN), Anchorage, AK, USA, 2017. doi: https://doi.org/10.1109/IJCNN.2017.7966198.
[4]  W. Zhi-heng, C. Jiang-tao, L. Jin-guo, and Z. Zi-qi, “Design of human-computer interaction control system based on hand-gesture recognition,” presented at the 2017 32nd Youth Academic Annual Conference of Chinese Association of Automation (YAC), 19-21 May 2017, Hefei, China, 2017. doi: https://doi.org/10.1109/YAC.2017.7967394.
[5]  C.-C.  Chung  and  S.-J.  Lou,  “Physical  Computing  Strategy  to  Support  Students’  Coding  Literacy:  An  Educational  Experiment  with  Arduino Boards,” Appl. Sci., vol. 11, no. 1830, 2021, doi: https://doi.org/10.3390/app11041830.
[6]  A.  Vasilchenko,  M.  Venn-Wycherley,  M.  Dyson,  and  F.  R.  Abegao,  “Engaging  Social  and  Engineering  Students  in  Computing  Education Through Learner-Created Videos and Physical Computing Tools,” presented at the ACM Computing Education Practice Conference (CEP’20), Durham, United Kingdom, 2020. doi: https://doi.org/10.1145/3372356.3372372.
[7]  G.  J.  Roumen  and  Y.  Fernaeus,  “Envisioning  Arduino  Action:  A  Collaboration  Tool  for  Physical  Computing  in  Educational  Settings,”  Int.  J. Child-Comput. Interact., vol. 29, no. 2021, 2021, doi: https://doi.org/10.1016/j.ijcci.2021.100277 .
[8] Heru Kurniawan Ramadani, & Walidini Syaihul Huda. (2020). Game Edukasi Aksara Jawa Menggunakan Augmented Reality Berbasis Android. Explore IT! : Jurnal Keilmuan Dan Aplikasi Teknik Informatika, 12(2), 87-92. https://doi.org/10.35891/explorit.v12i2.2281