(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018

## Game Edukasi  Matematika  dan Pengenalan  Angka Menggunakan  Teknologi  Kinect dengan  Metode Gesture  Recognition
Galuh  Prakoso 1 , Ina Agustina 2 , Fauziah 3
1 galuhprakoso17@gmail.com, 2 ina.agustina@civitas.unas.ac.id, 3 fauziah@civitas.unas.ac.id
Program Studi  Teknik Informatika,  Fakultas Teknologi  Komunikasi  dan Informatika,  Universitas Nasional
Abstract  —  Technology has been used in several sectors on  a  massive  basis,  especially  in  the  education  sector.  But because of the less interactive learning method, the students' learning interest becomes decreased when going to the math lesson.  Gesture  recognition  is  a  technology  that  allows  a digital  device  to  detect  or  receive  input  in  the form of user movement  through  the  camera  and  execute  commands according to the input given. The purpose of this research is the  making  of  educational  game  about  mathematics  and recognition  of  numbers  with  hardware  kinect  XBOX  360 using  gesture  recognition  method  to  organize  and  move objects  in  Unity 3D made using Blender software. From the results  of  research  can  be  concluded  that  the  best  fps obtained  from  some  trials  is  60fps.  The  ideal  distance between  kinect  and  user  when playing this game is 1.5 to 2 meters  with  an  average  decreace  of  8,9  fps  per  0,25  meter. The average computational time to read the movement from the user is 1035,9 ms. And by using random question’s script, the  question  variables  can  be  randomly  scrambled  without any repetition.
Abstrak—Teknologi  telah  digunakan  dalam  beberapa sektor  secara  masif,  terutama  dalam  sektor  pendidikan. Tetapi karena metode pembelajaran yang kurang interaktif,  minat  belajar  para  siswa  menjadi  turun  ketika akan mengikuti pelajaran matematika. Gesture recognition  adalah  teknologi  yang  memungkinkan  sebuah perangkat  digital  mendeteksi  atau  menerima  input  berupa gerakan  pengguna  melalui  kamera  dan  melaksanakan perintah  sesuai  dengan  input  yang  diberikan.  Tujuan  dari penelitian  ini  adalah  pembuatan  game  edukasi  tentang matematika  dan  pengenalan  angka  dengan  hardware kinect XBOX 360 menggunakan metode gesture recognition  untuk  mengatur  dan  menggerakkan  objek didalam  software  Unity  3D  yang  dibuat  menggunakan software  Blender.  Dari  hasil  penelitian  dapat  disimpulkan bahwa fps terbaik yang didapatkan dari beberapa percobaan  adalah  60fps.  Jarak  ideal  antara  kinect  dan
pengguna  dalam  memainkan  game  ini  adalah  1,5  sampai  2 meter  dengan  rata  –  rata  penurunan  8,9  fps  per  0,25 meter.  Rata  –  rata  waktu  komputasi  untuk  membaca gerakan  dari  pengguna  adalah  1035,9  ms.  Dan  dengan menggunakan  script  acak  soal,  variabel  –  variabel  soal dapat  teracak secara random  tanpa  ada  pengulangan.
Kata  Kunci—  Kinect,  Pengenalan  Gestur,  Matematika, Game,  Edukasi,  Blender,  Unity  3D

## I. PENDAHULUAN
Di bidang pendidikan, ada banyak kesulitan dan hambatan. Salah  satu  dari  masalah  ini  adalah  kurangnya  pemahaman tentang  matematika  selama  masa  kanak  –  kanak, dimana guru perlu  mencari  lebih  banyak  teknik  untuk  membuat  siswa memahami  matematika  dengan cara yang mudah[1].
Gesture  recognition adalah  metode  yang  sudah  banyak digunakan  dalam  industri  pembuatan  film maupun pembuatan game ,  para  pengembang game menggunakan  metode  ini supaya game yang  mereka  buat  menjadi  lebih  interaktif  dan lebih  hidup  karena  interaksi  antara game dan  pengguna semakin  banyak.  Jika game yang  dibuat  menggunakan input biasa,  pergerakan  yang  dapat  dibuat  terbatas  pada alat input yang  digunakan,  namun jika menggunakan Kinect pergerakan yang dapat dibuat sebagai input dapat divariasikan sedemikian rupa.  Pada  penelitian  ini,  penulis  memanfaatkan  metode Gesture  Recognition menggunakan hardwareKinect XBOX 360  sebagai  alat input dalam game . Kinect merupakan  alat input berupa  sensor  pergerakan  yang  dibuat  oleh  Microsoft yang  berbasis webcam tambahan,  yang  memungkinkan pengguna  untuk  berinteraksi  dengan game yang  mereka mainkan  tanpa  harus  menggunakan  alat input lain  seperti mouse , atau k eyboard (opsional)[2].
Pada  penelitian  sebelumnya,  aplikasi dibuat menggunakan hardwareKinect ,  dan software Unity  3D  dengan  bahasa pemrograman  C#  serta  program  –  program  pembantu  seperti 3DS  Max  2011  untuk  pembuatan  objek  3  dimensi  dan Adobe Auditon  3.0  untuk  pengolahan  suara. Game yang  dihasilkan
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018
pada  penelitian  ini  berbasis  semi  3D  dimana  masih  ada sebagian  fitur  2D  yang  digunakan,  seperti  tombol,  gambar, dan keterangan objek[3].
Pada penelitian lainnya, pada setiap level , pengguna harus menggunakan gerak untuk menyelesaikan soal aritmatika yang dihasilkan  secara  acak.  Pergerakan  yang  dilakukan  termasuk beberapa gerakan sederhana seperti mengangkat tangan kanan atau kiri  untuk menggerakkan  karakter  ke kanan atau kiri[4].
Pada  fase  pengujian  lainnya,  dilakukan  proses  pengujian jarak  sejauh  0  ,  0.5  ,  1  ,  1.5  ,  2  ,  2.5  ,  3  ,  3.5  ,  dan  4  meter sebanyak  10  kali  pengujian  untuk  mendeteksi  bagaimana tingkat  kestabilan  kontrol.  Dan  diapatkan  kesimpulan  bahwa aplikasi yang dibuat dapat mendeteksi pengguna dengan ja rak 1.5  meter  hingga  3  meter,  dengan  jarak  optimal  pengguna dengan k inect adalah 2 meter[5].
Pada  penelitian  sebelumnya,  dilakukan  pengujian  waktu komputasi  aplikasi dalam membaca gerakan pengguna dengan penginputan  data  sebanyak  3 kali dan didapatkan hasil rata  – rata waktu komputasi sebesar 1085,877778  ms.
Berdasarkan  penelitian  –  penelitian  sebelumnya,  terdapat beberapa  masalah yang terjadi dalam proses pembuatan game menggunakan  teknologi k inect antara  lain  apakah  soal  yang ditampilkan  dapat  muncul  secara  acak,  berapa  lama  waktu komputasi  yang  dibutuhkan  untuk  membaca  gerakan  dari pengguna  dan  apakah  jarak  pengguna  dengan  sensor mempengaruhi  sensitivitas dari sensor k inect terhadap game . Berdasarkan  latar  belakang  tersebut,  penulis  ingin membuat  sebuah game dengan  judul  “ Game Edukasi Matematika  dan  Pengenalan  Angka  Menggunakan Teknologi Kinect Dengan Metode Gesture Recognition ” yang bertujuan untuk  merancang game edukasi  matematika  dan  pengenalan angka  semi  3  dimensi  menggunakan  teknologi k inect dengan metode Gesture Recognition dan k inect hanya dapat membaca gerakan  tangan  dari  pengguna,  memanfaatkan  fitur List pada Unity  3D  untuk  merancang  soal  supaya  dapat  ditampilkan secara  acak  dalam  setiap  level  yang  berbeda,  dan  melihat apakah  perbedaan  jarak  antara  pengguna  dan k inect berpengaruh  terhadap  kestabilan  dan  sensitivitas  sensor didalam game yang dirancang[6].
II. METODE  PENELITIAN
A. Kerangka  Penelitian
Penelitian  dimulai  dengan  proses  pengumpulan  data. Setelah data terkumpul, selanjutnya storyboard dibuat sebagai acuan  dalam  proses  pembuatan game .  Setelah  storyboard dibuat, proses pembuatan model 3D dan perancangan script di Unity  3D  dapat  dilakukan.  Tahap  selanjutnya  adalah mengintegrasikan Kinect dengan  Unity  3D  menggunakan script  yang  sudah  dibuat.  Jika Kinect dapat  terhubung  maka dilanjutkan  dengan  proses  perancangan  desain game dan mengintegrasikan script pada  setiap scene .  Bila  tidak  akan kembali  ke  proses  perancangan script .  Proses  testing dilakukan  untuk  memastikan  bahwa game dapat  digunakan dengan baik
Gambar  1 Flowchart Kerangka Penelitian
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018
Gambar  2 Flowchart Perancangan Game
Game terdiri  20  level  yang  terbagi  atas  4  sub  operasi matematika. Game dimulai  dengan  memilih  jenis  operasi yang tersedia  di  halaman  utama,  yaitu  pertambahan,  pengurangan, pembagian, dan perkalian. Jika salah satu operasi telah dipilih, game akan  menampilkan  penjelasan  mengenai  operasi matematika  yang  dipilih  serta  cara  melakukan  permainan.  Jika user dapat  menjawab  setiap  soal  pada  level  dengan  benar, maka user akan  masuk  ke  level  selanjutnya.  Jika user tidak dapat  menjawab  soal  dengan  benar,  maka user akan  kembali ke menu awal
B. Gesture Recognition
Gesture  Recognition adalah  teknologi  bahasa  yang bertujuan  untuk  menafsirkan  gerakan  manusia  melalui algoritma  matematika. Gestur e  dapat  berasal  dari  pergerakan tubuh manusia tetapi umumnya berasal dari tangan atau wajah.
Pada  penelitian  sebelumnya,  dikatakan  bahwa  lingkungan belajar  berbasis  permainan  tidak  hanya  menekankan  pada pearncangan  sistem  pembelajaran  berbasis  permainan  namun juga  berfokus  pada  interaksi  manusia  dan  komputer  di lingkungan tersebut.
Dalam proses perancangan game ini pergerakan tangan dari pengguna akan dibaca oleh game sebagai input melalui sensor infrared yang  terdapat  pada Kinect XBOX  360.  Pengguna harus  berada  dalam  jarak  tertentu  agar sensor  infrared pada Kinect dapat  membaca  pergerakan  tangan  dari  pengguna tersebut.

## C. Analisis Kebutuhan  Perangkat
Dalam  penelitian  ini  penulis  menggunakan  beberapa perangkat  keras  dan  lunak  pada  proses  perancangan game, yaitu sebagai berikut:  Perangkat Lunak
Tabel 1 Spesifikasi  Perangkat Lunak
Nama  Perangkat
Unity 3D 5.5.4
Adobe Photoshop CS6
Adobe Audition CS6
Blender  2.77a
Mono Develop
Kinect SDK
Windows 10 Home  64-bit
 Perangkat Keras Tabel 2 Spesifikasi Kinect
Jenis Fitur Spesifikasi Sensor
Sensor Monokrom IR CMOS Kamera  RGB
Area Deteksi
Area Deteksi Vertical  : 43 o
Area Deteksi
Horizontal  :  57 o Jarak Sensor : 1,2  –
3,5m
Skeleton Tracking Aktif :  2 Orang Pasif : 6 Orang Versi Kinect 1.8
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018

## Tabel 3 Spesifikasi  Perangkat Keras
Perangkat Spesifikasi Prosesor Intel Core i5  7200U 2.5GHz RAM 4 Gigabyte VGA 2 Gigabyte

## III. HASIL  DAN  PEMBAHASAN
A. Fitur  Program
Ketika  program  dijalankan,  pengguna  akan  melihat tampilan splash screen.
Gambar  3 Tampilan Splash Screen
Setelah  itu  akan  muncul  tampilan  utama  yang  terdiri  dari button pilihan jenis operasi matematika, button tentang, button pilihan level ,  dan button keluar. Ketika pengguna menyentuh tombol level , pengguna akan masuk ke permainan level sesuai dengan jenis operasi matematika  yang dipilih.
Gambar  4 Tampilan  Menu Utama Jika  pengguna  menyentuh  tombol  tentang  profil,  maka tampilan  tentang profil perancang game akan tampil.
Gambar  5 Tampilan  Menu Tentang Penulis
Jika  level 1 terpilih  maka  akan tampil  seperti berikut.
Gambar  6 Tampilan  Level 1
Pengguna  harus  menemukan  angka yang sama dibalik tombol – tombol yang ditampilkan  untuk menyelesaikan  level. Jika  level 2 terpilih  maka  akan tampil  seperti berikut.
Gambar  7 Tampilan  Level 2
Jika  level 3 terpilih  maka  akan tampil  seperti berikut.
Gambar  8 Tampilan  Level 3
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018
Jika  level 4 terpilih  maka  akan tampil  seperti berikut.
Gambar  9 Tampilan  Level 4
Jika  level 5 terpilih  maka  akan tampil  seperti berikut.
Gambar  10  Tampilan  Level  5
Pada  tiap  level  terhadap  tombol Back untuk kembali ke menu utama.

## B. Pengujian  Terhadap  Device
Pada tahap ini, pengujian program dilakukan pada 4 device dengan spesifikasi yang berbeda.
Tabel 4 Spesifikasi  Perangkat
Tipe Sistem Operasi CPU RAM Lenovo IdeaPad 310 Core i5 7200U 2.5 GHz 4 Gigabyte Dell Inspiron N4110 Core i5 2430M 2.4 GHz 4 Gigabyte Asus X550Z AMD APU FX-7600P 2.7 GHz 4 Gigabyte HP 14- AF115A U AMD A6 2GHz 4 Gigabyte Tabel 5 Hasil Pengujian Device Tipe Kinect Terhub ung Puzzle Acak FPS Lenovo IdeaPad 310 Berhasil Berhasi l 50  - 60 fps Dell Inspiron N4110 Berhasil Berhasi l 48  – 55 fps Asus X550Z Berhasil Berhasi l 55  – 60 fps HP 14- AF115AU Berhasil Berhasi l 37  – 50 fps
Berdasarkan  tabel  diatas,  program  dapat  berjalan  dengan baik dengan minimal processor 2 GHz  dan ukuran ram  4 GB.

## C. Pengujian  Random  Index  Soal
Pengujian  dilakukan  dengan  metode White  Box  Testing, white box adalah pengujian yang didasarkan pada pengecekan terhadap detail perancagan menggunakan struktur kontrol dari desain  program  secara  prosedural  untuk  membagi  pengujian ke  dalam  beberapa  kasus  pengujian. Script yang  digunakan dalam  melakukan  pengacakan soal adalah sebagai berikut.
void acakpuzzle(List<Sprite>  list){ for  (int  i  =  0;  i  <  list.Count;  i++) {Sprite  temp = list [i];
int  randomindex  =  Random.Range  (i, list.Count);
list [i]  = list [randomindex]; list [randomindex]  = temp;}}
Gambar  11 Script Random Soal
Jikaposisi  soal  tidak  diacak,  maka  posisi  awal  soal  adalah sebagai berikut:
Gambar  12  Posisi Awal Soal
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018
Percobaan  pengacakan  soal  dilakukan  sebanyak  10  kali untuk  mengetahui  apakah  soal  teracak  secara random atau tidak.
Tabel 6 Hasil Percobaan Acak Soal Percobaan Hasil Random  Index Puzzle 1 2 1 12  3 3 2 1 1 23  3 2 3 2 3 31  2 1 4 2 1 13  3 2 5 3 2 11  3 2 6 3 1 23  2 1 7 3 2 21  1 3 8 1 1 23  2 3 9 3 3 21  1 2 10 3 1 32  2 1
Dari  tabel  diatas  dapat  disimpulkan  bahwa  dengan menggunakan script soal  dapat  diacak  dengan  baik  secara random.

## D. Pengujian  FPS (Frame  Per Second)
Pengujian  dilakukan  dengan  cara  melihat  dan  menentukan FPS yang  didapatkan  didalam game dengan  menggunakan asset  Mini  Profiler untuk  merekam FPS terbaik  dan  terburuk didalam game dan mengukur jarak  pengguna dengan k inect .
Gambar  13 Mini Profiler
Tabel 7 Spesifikasi  Perangkat Pengujian FPS Tipe Sistem Operasi CPU RAM Lenovo IdeaPad 310 Core i5 7200U 2.5 GHz 4 Gigabyte
Perhitungan FPS dilakukan  dengan  cara  menjalankan game sebanyak  10  kali  dengan  jarak  1  meter  s/d  3.25  meter. Setelah  10  kali  percobaan,  akan  diambil  jumlah  fps  terbaik dan terburuk.
Tabel 8 Hasil Percobaan Frame Per Second Jarak
Pengguna Terhadap Kinect FPS Terburuk FPS Terbaik 1 meter 56 60 1.25  meter 53 60 1.5  meter 50 60 1.75  meter 55 60 2 meter 50 60 2.25  meter 47 60 2.5  meter 47 57 2.75  meter 45 56 3 meter 43 53 3.25  meter 40 49
Berdasarkan standar baru yang dibuat oleh ATSC ( Advance Television  Systems  Committee ),  FPS  terbaik  yang  didapatkan dalam  standar video 1080p  berada  pada  50  sampai  60 frames per second .
Tabel 9 ATSC Standard Resolution Aspect Ratio Frame  Rate (Hz) Vertical Horizontal 1080 1920 16:9 59.9450,60
Berdasarkan  pengujian FPS didapatkan  rata  –  rata pengurangan FPS sebesar  8,9  fps  per  0,25  meter  dan  dapat disimpulkan   bahwa untuk mendapatkan FPS yang ideal yaitu antara  50  –  60  FPS, game sebaiknya  dimainkan  dalam  jarak 1,5  – 2 meter  dari k inect dengan jarak ideal 2 meter.

## IV. KESIMPULAN  DAN  SARAN
Dari  hasil  pengujian  game  edukasi  matematika  terlihat  fitur program  berjalan  dengan  baik.  Sedangkan  untuk  pengujian bagian  device  dapat  berjalan  minimal  processor  2  GHz  dan ukuran  ram  4  GB.  Selanjutnya  pengujian  random  index  Soal dengan  jumlah  percobaan  10.  Hasil  penujian  yang  diperoleh selama  script  soal  diacak  berjalan  dengan  baik.  Dalam pengujian  frame  per  second  diperoleh  jarak  maksimal  dalam permainan  1,5  -  2  meter  dari  kinect.  Untuk  penelitian selanjutnya  perlu  ditambahkan  level  dan  p erlu  penelitian dalam  pengalaman penguna.

## DAFTAR  PUSTAKA
[1]  Y.  Chang,  J.  Hwang,  and  R.  Fang,  “A  Joyful  Kinect - based Learning System,” pp. 1028–1031,  2017.
[2]  G.  S.  Ajie,  M.  A.  Marpaung,  A. Kurniawan, M.  Suryani, I.  Suryana,  and  E.  Paulus,  “The  Development  and Usability Testing of Game- based Learning as A Medium to  Introduce  Zoology  to  Young  Learners,”  pp. 541–545, 2017.
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018
[3]  A.  S.  T.  Afandi,  H.  Hindersah,  and  A.  I.  Wuryandari, “Design  and  Implementation  of  Turn-Based  Strategy  ( TBS  )  Game  as  Part  of  Service-  Based  Alternate  Reality Game  ( ARG  ),” pp. 0–5, 2014.
[4]  F.  Chao,  “Application  of  Board  Game  and  3-D Components  in  Children  ’  s  Environmental  Education,” 2018 1st IEEE Int. Conf. Knowl. Innov. Invent. , pp. 210– 213,  2018.
[5]  S.  Wulandari,  “Safari  Rangers  Board  Game  as  A Campaign  Media for Endangered Animal  Conservation.”
[6]  Z.  Sun,  Z.  Li,  and  T.  Nishimori,  “Development  and Assessment  of  Robot  Teaching Assistant in Facilitating
Learning,”  pp. 165–169,  2017.
(JOINTECS)  Journal of Information Technology and Computer Science  Vol. 3, No. 3, September 2018