1 Mahasiswa,  Departemen Teknik Elektro, Fakultas Teknologi Elektro, Institut Teknologi Sepuluh Nopember, Surabaya, Jawa Timur, INDONESIA,  60111  (e-mail: adri14@mhs.ee.its.ac.id, perumsat@gmail.com, fanani.tkk@gmail.com)
2 Dosen, Teknik Informatika, Universitas Katolik Widya Mandira, Jln. A.Yani No. 50-52 Kupang, NTT, INDONESIA  85225  (e-mail: adrigabriel@gmail.com)
3 Dosen, Universitas Kristen Satya Wacana Salatiga Jl. Diponegoro 52-60 Salatiga -  INDONESIA  50711  (e-mail: atyanta.nika@gmail.com)
4 Dosen, Departemen Teknik Elektro dan Departemen Teknik Komputer, Fakultas Teknologi Elektro, Institut Teknologi Sepuluh Nopember, Surabaya, Jawa Timur, INDONESIA  60111  (e-mail: surya@ee.its.ac.id, hery@ee.its.ac.id)

## Deteksi Gestur Lengan Dinamis pada  Lingkungan Virtual Tiga Dimensi Koleksi Warisan Budaya
Adri Gabriel Sooai 1,2 , Atyanta. N. Rumaksari 3 , Khamid 1 , Nurul Zainal Fanani 1 , Surya Sumpeno 4 , Mauridhi Hery Purnomo 4
Abstract—  Virtual reality technology can be used to support museum exhibitions. Implementation could be  in  various platforms. There are many implementation options, for example in  smartphones, tablet,  and desktop computers. Most objects of museum collections are very fragile. Minimizing the direct touch on a collection object is one of the benefits of this technology. This study aims to prepare gestures suitable for the exploration of virtual objects of cultural heritage collection. Five sets of gestures have been prepared, namely  lifting, picking, holding, sweeping from both directions, left and right. Dynamic arm gestures are recorded using the forearm  sensor. The recorded data contains  coordinates  of gestures in form of  x, y, z, raw, pitch,  and yaw.  Gaussian mixture models are used in selecting features to produce good accuracy in the classification process. Two functions are used, namely probability density function and cumulative distribution function for the feature selection process. In this study, two experiments were used to train the gesture model. The accuracy of the two experiments is shown in the form of a confusion matrix. Each of the confusion matrices show excellent results of 99.8% for SVM and k-NN. Furthermore, modeling results are tested using new data. The testing shows 89.25% result for SVM classifier and 90.09% for k-NN. Four other dynamic arm gestures have a very satisfactory rate of 100% for the two classifiers. The five gestures can be used in the development of virtual reality applications.
Intisari—    Teknologi  virtual reality  dapat digunakan untuk mendukung pameran museum. Implementasinya dapat menggunakan berbagai platform. Tersedia banyak pilihan implementasi,  contohnya  telepon pintar, komputer tablet, maupun komputer desktop. Kebanyakan benda koleksi museum sangat rapuh. Meminimalkan sentuhan langsung pada benda koleksi merupakan salah satu manfaat teknologi ini. Makalah ini bertujuan untuk menyiapkan gestur yang cocok untuk eksplorasi benda virtual  koleksi warisan budaya. Telah disiapkan lima gestur lengan,  yaitu: mengangkat, memungut, memegang, menyapu dari dua arah, kiri dan kanan. Gestur lengan dinamis direkam menggunakan sensor lengan  bawah.
Hasil rekaman berupa koordinat x,  y,  z,  raw,  pitch,  dan  yaw. Dilakukan prediksi data awal menggunakan Gaussian  Mixture Model. Untuk menentukan pengklasifikasi yang terbaik, dapat digunakan probability density function dan cumulative distribution function. Dalam makalah  ini, digunakan dua percobaan untuk melatih model gestur. Ketepatan dari kedua percobaan ditampilkan dalam bentuk confusion  matrix. Masing-masing confusion  matrix  menunjukkan hasil yang sangat baik,  yaitu 99,8% untuk SVM dan k-NN. Selanjutnya, hasil pemodelan diuji menggunakan data  baru. Pengujian menunjukkan hasil sebesar 89,25% untuk pengklasifikasi SVM dan 90,09% untuk k-NN. Empat gestur lengan dinamis lainnya memperoleh angka yang sangat memuaskan yaitu sebesar 100% untuk kedua pengklasifikasi. Kelima gestur dapat digunakan dalam pengembangan aplikasi virtual reality.
Kata Kunci—  Gaussian Mixture Model,  Gestur  Lengan  Dinamis, k-NN, Koleksi Warisan Budaya, Virtual Reality.

## I. P ENDAHULUAN
Museum sebagai salah satu tempat untuk melakukan proses belajar mulai kehilangan daya tariknya  [1], [2]. Namun, ketertarikan belajar ke museum dapat ditingkatkan melalui berbagai cara. Salah satunya adalah dengan meningkatkan jumlah ekshibisi. Dalam kesempatan ekshibisi, museum dapat dilengkapi dengan teknologi virtual reality tiga dimensi  [3], [4], yang akan membawa para pengunjung merasakan nuansa yang baru. Teknologi ini terbukti banyak digunakan oleh berbagai kalangan. Mempersiapkan teknologi virtual reality tiga dimensi untuk museum dapat dilakukan bertahap. Kegiatan awal dilakukan melalui pendataan terhadap artefak yang akan diikutkan dalam ekshibisi. Selanjutnya dilakukan kegiatan rekonstruksi ke dalam bentuk tiga dimensi virtual. Berbagai objek tiga dimensi virtual yang telah siap dapat dimasukkan ke dalam lingkungan virtual  [5].  Penerapan langkah-langkah tersebut sudah banyak dikembangkan, tetapi tidak  banyak  yang memasukkan interaksi immersive di dalamnya  [6]. Kegiatan dalam ruang virtual dapat meniru kegiatan di ruang nyata.  Diharapkan  interaksi dengan objek virtual seperti memegang, mengangkat,  dan  menggeser objek akan memberikan pengalaman khusus kepada para pengunjung ekshibisi. Bagi para generasi muda seperti pelajar dan mahasiswa, hal ini akan mampu menumbuhkan rasa ingin tahu yang lebih  [7]–[9]. Sedangkan bagi para peneliti, kegiatan interaksi seperti memegang  dan  memutar benda dapat mejadi satu cara  observasi yang menarik  [10]. Mempersiapkan gerakan yang dapat digunakan dalam mengembangkan aplikasi dimaksud tentu harus dilakukan dengan teliti. Tidak semua gerakan dapat ditiru secara sama
persis. Hal ini diakibatkan oleh keterbatasan alat pengindera. Sebagai contoh, sensor leapmotion hanya memberikan data terperinci mengenai koordinat jari, telapak tangan, rotasi pergelangan tangan,  dan kecepatan gerakan. Pemanfaatan peralatan sensor leapmotion untuk mendetaksi gestur lengan dinamis  sudah dilakukan  [11].  Namun, masih ditemukan kekurangan dalam membaca beberapa  gestur.  Hal ini terjadi pada saat  sensor kamera inframerah terhalang tangan yang tumpang tindih  dan  pada  gerakan telapak  tangan yang berputar  seratus delapan puluh derajat. Kekurangan lainnya yang terjadi adalah pada gerakan menyapu  (menggerakkan telapak tangan ke kiri dan ke kanan). Akurasi yang diperoleh setelah melakukan pelatihan data untuk gerakan menyapu relatif rendah. Untuk menjawab kekurangan tersebut, makalah ini mencoba mengulang  beberapa  gerakan yang sama,  tetapi menggunakan sensor yang berbeda, prediktor,  dan pemilihan fitur berbantuan Gaussian mixture model . Selanjutnya, ditentukan gerakan yang dapat dipakai untuk mengembangkan aplikasi interaksi pada ruang virtual tiga dimensi dan melengkapi berbagai penelitian sebelumnya.

## II. P ENGENALAN G ESTUR
Pengembangan aplikasi pendukung ekshibisi museum telah banyak dilakukan. Berbagai  capaian  penelitian tentang teknologi pendukung ekshibisi  museum ini saling  menunjang penelitian lanjutan. Tahapan pengembangannya dapat dimulai dari rekonstruksi benda ke dalam bentuk virtual  tiga dimensi [12], [13], penempatan dalam ruang virtual, penentuan bentuk interaksi,  penyajian  pasif,  dan  penyajian  aktif.  Untuk lebih jelasnya, berikut adalah beberapa penelitian terkait yang dapat menjadi  acuan,  antara lain adalah virtual reality dengan penyajian pasif, gestur statis dan dinamis.
Aplikasi virtual reality yang dikembangkan untuk menunjang  ekshibisi  museum telah dilakukan oleh beberapa peneliti. Sebuah kombinasi sajian konten video dengan teknologi komputer grafis tiga dimensi memodelkan museum dengan  apa adanya. Sajian tersebut dilengkapi dengan efek video dan audio  [14], teks yang memiliki kesan kedalaman, narasi,  dan latar belakang musik  [15].  Peningkatan kualitas aplikasi virtual reality pasif dilanjutkan pengembangannya dengan hadirnya imitasi lokasi arkeologi yang  berisi  replika berbagai objek dalam sebuah situs purbakala.  Hal ini dilakukan mengingat keterbatasan ruang untuk menampilkan semua benda penginggalan sejarah dalam ruangan museum [16]. Bentuk penyajian pasif dapat dilihat pada hasil penelitian dengan  objek yang  bervariasi  [17], [18],  sebagian tersebar pada pemanfaatan teknlogi untuk mendukung ekshibisi museum, sebagian lagi  untuk game , dan perencanaan ruang multiguna.
Pengenalan gestur statis telah dilakukan untuk beberapa kebutuhan  seperti  pengenalan bahasa isyarat  [19]. Penelitian ini menggunakan metode menurunkan dimensi citra gestur menggunakan non-negative matrix factorization, dan selanjutnya melakukan klasifikasi menggunakan compressive sensing .  Pendeteksian gestur statis ini menjadi dasar  untuk penelitian selanjutnya pada gestur dinamis.  Sebelum
munculnya  sensor  gestur  dinamis  jari-jemari tangan  seperti leapmotion , pembacaan gestur juga telah dilakukan menggunakan metode dynamic  time  warping [20].  Sensor yang digunakan untuk pengukurannya  adalah  akselerometer, yang memberikan selisih waktu antara dua koordinat dan diukur menggunakan jarak Euclidean.  Beberapa penelitian lainnya juga telah mencoba membaca gestur menggunakan berbagai sensor dan metode klasifikasi. Metode lainnya yang telah digunakan untuk melakukan pendeteksian gestur dinamis adalah Hidden Conditional Neural Field (HCNF)  [21]. Tahapan pendeteksian yang dilakukan adalah ekstraksi fitur untuk meningkatkan akurasi, dilanjutkan dengan klasifikasi. Melalui tahapan ini hasil yang diperoleh untuk pengenalan gestur dinamis sebesar 89.5%.

## Gbr. 1 Myo Armband.
Pendeteksian  gestur  dinamis  menggunakan Myo  Armband seperti terlihat pada Gbr.  1  juga telah dilakukan  untuk mengambil data gerakan olahraga  [22].  Dalam penelitian tersebut  terdapat  tiga  gestur,  yaitu  gerakan tangan saat memukul bola tenis,  ketika melakukan gerakan  servis,  dan mengembalikan bola dari lawan secara forehand dan backhand . Gerakan-gerakan tersebut memiliki rentang koordinat x,y,z dan raw, pitch, yaw yang  sangat  lebar, dapat diukur menggunakan Gaussian mixture model .  Pemanfaatan Gaussian mixture model dalam seleksi fitur  membantu meningkatkan akurasi dalam  proses klasifikasi untuk pendeteksian tiap gerakan.
Kombinasi dari dua sensor pendeteksi gestur jari dan lengan dilakukan untuk mendeteksi bahasa isyarat Indonesia [23]. Gestur dinamis yang diprediksi dalam penelitian ini adalah posisi jari, sudut, serta elevasi jari-jemari. Ketiga fitur tersebut diperoleh dari sensor leapmotion ,  sedangkan sensor Myo Armband membaca delapan kanal data electromyopgraph (EMG), yaitu pembaca fungsi saraf otot. Kombinasi seluruh fitur ini kemudian diklasifikasikan menggunakan naïve Bayes untuk memperoleh model prediksi.
ISSN 2301 – 4156                                                                                      Adri Gabriel Sooai: Deteksi Gestur Lengan Dinamis ...
Hasil penelitan kombinasi dua sensor  gestur tersebut mampu meningkatkan akurasi prediksi sebesar 7% yaitu dari 91% ke 98%.  Kelemahan dari penelitian ini adalah tidak dipakainya data orientation  Euler yang memiliki rentang pada kurva normal lebih besar dibandingkan data electromyograph .

## III. M ETODE
Makalah  ini menggunakan tahapan yang dimulai dengan penenentuan gerakan  lengan, pengambilan data, seleksi fitur menggunakan  pemilihan predictor dan Gaussian mixture model .

## Gbr. 2  Model proses yang diusulkan.
Keseluruhan proses pendeteksian gestur dinamis diawali dengan perekaman data. Perekaman data dilakukan menggunakan sepuluh orang anggota mahasiswa Laboratorium Komputasi Multimedia B401 Institut Teknologi Sepuluh Nopember Surabaya.  Data yang direkam sebanyak dua kali, untuk data pelatihan  dan untuk data pengujian. Peserta perekaman data  tidak  melakukan  pengisian consent form sebab kegiatan penggunaan  gelang  sensor  pada lengan tidak menimbulkan bahaya atau cidera bagi pemakainya. Hal ini didasarkan pada sertifiksi keamanan yang dimiliki oleh produk Myo Armband untuk digunakan pada pengguna berusia dua belas tahun ke atas.
Langkah berikutnya adalah pengolahan awal pada data. Data disebar pada salib sumbu koordinat Kartesius. Selanjutnya, melalui sebaran yang terlihat, dapat ditentukan predictor yang tepat. Pemilihan predictor yang tepat akan meningkatkan akurasi deteksi. Pilihan penentuan predictor lainnya adalah dengan menggunakan Gaussian mixture model , yang terbukti dapat memberikan masukan mengenai fitur yang terbaik  untuk digunakan dalam proses klasifikasi  [24]–[26]. Dalam proses klasifikasi, beberapa pengklasifikasi dapat digunakan untuk memperoleh akurasi dengan nilai tertinggi. Hal ini ditentukan oleh metrik jarak yang digunakan. Beberapa metrik jarak yang dapat dipakai antara lain adalah jarak  Euclidean  [27], jarak cosine [28]  dan jarak Minkowski atau cubic [29].
Pemilihan pengklasifikasi bergantung pada karakteristik data. Untuk data dengan karakteristik yang berkumpul seperti citra tumor,  maka Support Vector Machine (SVM)  dan k - Nearest Neighbor ( k -NN)  dapat menjadi pilihan  [30]. Beberapa besaran dalam penggunaan SVM sebagai pengklasifikasi antara lain adalah fungsi kernel , ukuran kernel , box constrain level , metode multi kelas,  dan nilai Boolean untuk standardisasi data. Pengklasifikasi k -NN juga memiliki
besaran,  yaitu jumlah tetangga,  pengukur jarak, bobot jarak dan nilai Boolean  untuk standardisasi data. Kedua pengklasifikasi ini menghasilkan angka akurasi yang baik, berdasarkan seleksi fitur. Hal ini dimungkinkan melalui analisis yang telah dilakukan sebelumnya menggunakan pemilihan predictor dan Gaussian mixture model .
Selanjutnya,  proses pengklasifikasian dilakukan sebanyak tiga percobaan. Percobaan pertama menggunakan k -NN dengan metrik jarak Euclidean  dan predictor x,y .  Pemilihan metrik jarak Euclidean  didasarkan pada hasil penelitian sebelumnya berdasarkan karakteristik data.  Percobaan kedua menggunakan pengklasifikasi SVM  dengan  fungsi kernel cubic dan predictor yang digunakan adalah x,y .  Percobaan ketiga tetap menggunakan SVM dengan  fungsi kernel cubic tetapi  ada perubahan pada predictor ,  yaitu roll dan pitch . Setelah tiga percobaan dilakukan, selanjutnya dipilih model terbaik hasil pelatihan data untuk digunakan menguji data baru. Seperti terlihat pada Gbr. 2, terdapat lima buah gerakan simulasi interaksi objek virtual  tiga dimensi.  Tangan yang digunakan adalah tangan  sebelah kanan dan dipasang sensor Myo  Armband.  Pada gerakan pertama yaitu mengangkat (ANK), terdapat tiga kegiatan. Pertama adalah lengan bergerak turun menuju ke objek tujuan.  Kemudian,  diikuti dengan proses menggenggam benda virtual, diikuti gerakan mengangkat benda. Gerakan kedua yaitu memungut  (PU). Kegiatan yang dilakukan adalah menggerakkan lengan ke bawah untuk memungut benda virtual. Selanjutnya menggunakan jempol dan telunjuk menjepit benda, diikuti gerakan mengangkat. Gerakan yang ketiga adalah gerakan memegang  (PDK)  benda virtual. Kegiatan yang dilakukan adalah menggerakkan lengan ke arah benda yang sejajar dengan tangan. Selanjutnya adalah menggenggam benda virtual tersebut.  Gerakan yang keempat adalah menyapu ke kanan (SDKN). Kegiatan yang dilakukan adalah menggerakkan pergelangan tangan seolah mendorong benda virtual menggunakan punggung telapak  tangan. Sebaliknya, gerakan menyapu ke kiri  (SDKI)  adalah menggerakkan pergelangan tangan untuk mendorong benda menggunakan telapak tanagan ke arah kiri. Setiap gerakan dilakukan lima kali berturut-turut untuk memperoleh beberapa rangkaian koordinat. Setelah pengambilan koordinat dilakukan menggunakan gerakan tangan yang terdefinisi pada Gbr. 3, langkah selanjutnya adalah melihat sebaran data menggunakan Gaussian mixture model . Hal ini harus dilakukan untuk dapat menentukan pengklasifikasi terbaik yang akan digunakan melalui seleksi fitur.

## A. Seleksi Fitur
Tahapan seleksi fitur dibutuhkan untuk membantu mempercepat proses pengklasifikasian. Hal ini perlu dilakukan mengingat data mentah hasil perekaman oleh perangkat sensor masih memiliki beberapa fitur yang tidak terpakai. Rentang data antara berbagai fitur hasil perekaman data juga berpengaruh dalam proses pengklasifikasian. Rentang data yang  sangat lebar akan mengakibatkan proses pengenalan dan pembentukan model gagal dilakukan, dengan kata lain akurasi pendeteksian menjadi sangat rendah. Berbagai algoritme  dapat dipakai untuk melakukan seleksi
fitur. Salah satu yang andal digunakan adalah Gaussian mixture model .  Penjelasan pemanfaatannya diuraikan sebagai berikut.
Gbr. 3 Lima buah gerakan simulasi interaksi objek virtual 3D.
Hasil rekaman menggunakan sensor Myo  Armband menghasilkan beberapa kelompok data. Kelompok pertama adalah  akselerometer,  berisi tiga fitur  yang mengukur percepatan sensor terhadap aksi yang dilakukan oleh tangan dan hasilnya terekam dalam x,y,z .  Kelompok kedua adalah electromyograph , berisi delapan fitur hasil perekaman denyut listrik pada otot lengan.  Kelompok ketiga adalah gyro , berisi tiga buah fitur hasil pengukuran poisi sensor pada tangan selama gerakan. Fiturnya terekam  dalam bentuk  koordinat x,y,z . Kelompok keempat adalah orientation , berisi empat fitur yang merupakan hasil pengukuran orientasi tubuh. Kelompok terakhir adalah orientation  Euler , berisi tiga fitur yang merupakan hasil pengukuran orientasi tubuh terhadap sistem koordinat dan disimpan dalam roll, pitch , dan yaw . Kombinasi data tersebut diperiksa menggunakan Gaussian mixture model , dengan  persiapan data untuk pembentukan  modelnya  adalah sebagai berikut. Rentang data terkecil sampai terbesar dijadikan data pada sumbu y dalam fungsi distribusi normal. Masing masing fitur diambil rata-rata dan simpangan bakunya. Seluruh fitur yang telah berbentuk rata-rata dan simpangan baku dimasukkan sebagai nilai sumbu x pada fungsi distribusi normal. Fungsi yang digunakan adalah cumulative distribution function dan probability density function dengan  urutan persamaan sebagai berikut.
𝑋� = 1 𝑛 � 𝑥 1 = 1 𝑛 ( 𝑥 1 + 𝑥 2 + ⋯ + 𝑥 𝑛 ) 𝑛 𝑖=1 (1)
dengan { x 1 , x 2 ,…, x n } adalah nilai pengamatan dari sampel dan X adalah rata-rata pengamatan. Selanjutnya,  persamaan standar deviasi yang digunakan adalah
𝑆 𝑁 = �
1 𝑁 ∑ ( 𝑥 𝑖 − 𝑥̅ ) 2 𝑁 𝑖=1 . (2)
Selanjutnya digunakan variabel 𝜇 sebagai rata-rata dari distribusi 𝜎 , standar  deviasi 𝜎 2 sebagai varian, sehingga probability density function didefinisikan sebagai berikut.
𝑓 ( 𝑥 | 𝜇 , 𝜎 2 ) = 1 �2 , 𝜋𝜎 2 𝑒 − ( 𝑥−𝜇 ) 2 2𝜎2 . (3)
Dengan  distribusi normal f dengan rata-rata 𝜇 dan deviasi 𝜎 , maka cummulative distribution function didefinisikan sebagai berikut.
𝐹 ( 𝑥 ) = Φ � 𝑥−𝜇 𝜎 � = 1 2 � 1 + 𝑒𝑟𝑓 � 𝑥−𝜇 𝜎√2 �� . (4)
Setelah melalui tahap seleksi fitur menggunakan Gaussian mixture model ,  langkah selanjutnya adalah melakukan klasifikasi terbimbing terhadap seluruh data. Disiapkan tiga buah percobaan,  yaitu menggunakan k -NN dengan metrik jarak  Euclidean,  SVM  dengan kernel cubic dan predictor x,y serta predictor roll, pitch.

## B. Pengklasifikasian
Percobaan pertama menggunakan k -NN dengan metrik jarak  Euclidean. Dalam metrik ini jumlah tetangga akan dibandingkan secara terus menerus adalah satu.  Persamaan jarak Euclidean didefinisiakan dengan lambang d adalah jarak, p dan q adalah nilai yang diukur, i adalah indeks, dan n adalah dimensi data. Metrik jarak Euclidean  didefinisikan sebagai berikut.
𝑑 ( 𝑝 , 𝑞 ) = 𝑑 ( 𝑞 , 𝑝 ) = �∑ ( 𝑞 𝑖 − 𝑝 𝑖 ) 2 𝑛 𝑖=1 . (5)
Hal ini dimungkinkan dengan membentuk satu himpunan bobot W ,  masing-masing  satu untuk setiap data yang berdekatan, ditentukan oleh jarak relatif dari setiap data yang berdekatan dengan titik referensi p . Penentuan jarak menggunakan dua titik dilambangkan dengan x dan x i . Kedua titik masuk ke dalam himpunan p i ,  dilambangkan sebagai D ( x,p) . Proses dalam  algoritme k -NN dilakukan dengan mengukur  bobot  masing-masing k tetangga dengan jarak antara titik-titik x p , bergeser ke r j tetangga terdekat. Algoritme persamaannya ditulis sebagai berikut.
𝐼 ( 𝑥 𝑝 ) = 𝑎𝑟𝑔𝑚𝑎𝑥 𝑣𝑒𝑉 � 𝑟 𝑗 𝑛 𝑗=𝑖 𝛽 �𝑦 , 𝑖�𝑦 𝑗 �� (6)
dengan bobotnya adalah
𝑟 𝑗 = 1 𝑑�𝑥 𝑝 , 𝑥 𝑗 � 2 . (7)
Selanjutnya, semua data yang telah dilatih digunakan untuk perhitungan pembobotan melalui (8).
𝐹 ( 𝑥 𝑞 ) = ∑ 𝑤 𝑗 𝑘 𝑖=1 𝑓 ( 𝑥 𝑖 ) ∑ 𝑤 𝑖 𝑘 𝑖=1 . (8)
Proses pengklasifikasian yang kedua menggunakan SVM. Cara kerjanya adalah sebagai berikut. Sebaran data pada bidang dua dimensi ditransformasikan menggunakan fungsi kernel polinomial ke bentuk tiga dimensi. Selanjutnya daerah
ISSN 2301 – 4156                                                                                      Adri Gabriel Sooai: Deteksi Gestur Lengan Dinamis ...
tiga dimensi yang terbentuk,  berisi kelompok data,  dapat dipisahkan menggunakan fungsi linier. Persamaan fungsi kernel cubic didefinisikan sebagai berikut.
𝑘 ( 𝑥 1 , 𝑥 2 ) = ( 𝑥 1 𝑇 𝑥 2 + 1) 3 . (6)

## C. Pengujian
Pada tahap ini telah diperoleh model terlatih untuk memeriksa gestur menggunakan data baru.  Meskipun dalam proses pelatihan data telah menggunakan validasi 10- fold cross validation , pengujian menggunakan data baru dibutuhkan untuk melihat unjuk kerja model. Hasil pengujian ditampilkan dalam bentuk grafik batang yang menggambarkan akurasi  masing-masing pengklasifikasi. Sebanyak lima gerakan yang sama diulang perekaman datanya. Kemudian tanpa menggunakan label, tiap data gerakan diprediksi menggunakan model terlatih. Keseluruhan aliran proses pengenalan gestur sampai dengan proses pengujian menggunakan data baru diperlihatkan  pada Gbr. 2, model proses yang diusulkan.

## IV. H ASIL DAN P EMBAHASAN
Berdasarkan tahap pelaksanaan penelitian yang telah diuraikan sebelumnya,  hasil pertama diperoleh dari beberapa grafik Gaussian mixture model . Sebanyak enam buah fitur diperiksa untuk melihat sebarannya. Pada tiga fitur pertama, yaitu data gyroscope x,y,z, diperoleh rentang yang cukup untuk pengklasifikasi melakukan pemodelan. Rentang nilai tersebut  ditunjukkan  pada Gbr.  4, dengan  sebaran x di  antara 0,008  sampai 0,01 sedangkan sebaran y dan z pada rentang 0,012 sampai 0,013.  Grafik ini dipisahkan dari  grafik roll, pitch, dan yaw untuk  memudahkan pengamatan. Hal ini diakibatkan oleh perbedaan ukuran antara data sensor gyroscope dan data sensor orientation Euler yang ada pada Myo  Armband.  Sensor  ini  memberikan tiga buah fitur,  yaitu roll , pitch, dan yaw . Terlihat pada Gbr. 5,  sebaran data roll berada pada puncaknya di angka 1,75 sedangkan sebaran data pitch berada pada puncaknya di angka 2,05.  Terbentuk rentang yang cukup jauh antara kedua fitur, yaitu 0,05 sampai 0,3. Hal ini memudahkan pengklasifikasi melakukan tugas pemodelan dan menghasilkan model terlatih dengan akurasi yang tinggi. Hasil dari Gaussian mixture model ini dapat digunakan untuk melakukan pemilihan predictor pada proses klasifikasi. Berdasarkan rentang yang lebar antara roll dan pitch , predictor untuk pengklasifikasi SVM digunakan. Grafik Gaussian mixture model yang terakhir,  yaitu data yaw , dipisahkan dari roll dan pitch karena perbedaan nilai yang terlalu besar. Perbedaan ini membuat grafik tidak terlihat jika ketiga fitur digabung ke dalam satu grafik.
Gbr. 6  menunjukkan,  tidak terbentuk kurva normal seperti lazimnya grafik Gaussian mixture model . Tipisnya rentang data  dari angka +0,6 sampai 0,6 membuat data yaw menjadi fitur yang sebenarnya dapat  diabaikan.  Namun,  dalam makalah  ini pengabaian tidak dilakukan, sebab meskipun memberikan rentang angka yang sangat tipis, roll, pitch, dan yaw adalah kesatuan. Pemisahan grafik yaw dilakukan hanya untuk memperjelas fitur yang sebaiknya digunakan sebagai predictor .
Gbr. 4 Gaussian mixture model untuk data gyroscope x,y,z.
Gbr. 5 Gaussian mixture model untuk data roll dan pitch.
Pemilihan penggunaan data x,y,z,  raw,  pitch, dan yaw sebaliknya menunjukkan sebaran pada Gaussian mixture model yang sangat baik, 99,86%, untuk klasifikasi. Pemilihan predictor menentukan tingkat akurasi dalam proses klasifikasi. Hal ini dapat dilihat pada  Gbr. 5, melalui sebaran data kurva normal dengan nilai 1,7 sampai 2,1 pada sumbu y skala grafik Gaussian mixture model .  Hasil selanjutnya diperoleh dari proses pelatihan model menggunakan pengklasifian k -NN dengan dengan metrik jarak Euclidean. Percobaan pertama diperlihatkan pada Tabel I. Sebanyak 3.492 observasi tersebar dalam lima gestur. Digunakan 10 -fold cross validation , 5 predictor , satu label tanggaan, dan 5 kelas tanggapan. Percobaan ini menghasilkan confusion matrix dengan akurasi prediksi gestur di atas  99%.  Terdapat lima buah gestur yang berhasil diprediksi. Akurasi prediksi terbagi dalam dua kelompok, yaitu menghasilkan akurasi sebesar 100% dan kedua 99,43%.
Seperti terlihat pada Tabel I, kelompok pertama terdiri atas gestur ANK, PU,  dan SDKI. Sedangkan kelompok kedua adalah PDK dan SDKN. Gestur PDK, dengan total observasi sebanyak 698,  berhasil diprediksi secara tepat sebanyak 694. Namun, terdapat dua observasi yang diprediksi sebagai  SDKI dan dua lagi sebagai SDKN. Pada gestur SDKN, dengan total observasi sebanyak 699, terdapat empat gestur yang salah diprediksi oleh pengklasifikasi. Keempat gestur tersebut terdeteksi sebagai SDKI.
Pada  percobaan  yang kedua, dengan observasi yang sama sebesar 3.492,  dihasilkan akurasi dengan persentase  masih di atas 99%.  Jika dibandingkan dengan hasil pada confusion matrix pertama di Tabel I, terdapat perbedaan yang signifikan dalam pengelompokan hasil.  Pada Tabel II terlihat sebanyak
empat buah gestur tidak berhasil diprediksi 100%. Angka prediksi terkecil diperoleh sebesar 99,57% untuk SDKN. Sebanyak tiga buah gestur,  yaitu PDK, PU,  dan SDKI memperoleh akurasi sebesar 99,86%. Tiga gestur tersebut masing-masing memiliki 698 observasi. Untuk gestur PDK hanya satu observasi yang salah diprediksi menjadi SDKN. Satu observasi dari PU terprediksi sebagai PDK dan satu dari SDKI juga sebagai PDK.
Gbr. 6 Gaussian mixture model untuk data yaw.
T ABEL I
C ONFUSION M ATRIX K -NN B ER - PREDICTOR X , Y Kelas yang Diprediksi ANK P DK P U SD K I SD K N ACC K el a s Asl i
ANK 699 100,00% PDK 694 2 2 99,43% PU 698 100,00% SDKI 698 100,00% SDKN 4 695 99,43%
T ABEL II C ONFUSION M ATRIX SVM B ER - PREDICTOR X , Y Kelas yang Diprediksi ANK P DK P U SD K I SD K N ACC K el a s Asl i
ANK 699 100,00% PDK 697 1 99,86% PU 1 697 99,86% SDKI 1 697 99,86% SDKN 3 696 95,57%
Pada percobaan yang ketiga, dilakukan perubahan predictor dari x,y menjadi roll , pitch .  Perubahan ini menghasilkan peningkatan akurasi. Jika dibandingkan dengan percobaan pertama  dan  kedua, gestur PDK hanya berkisar pada angka 99,43% dan 99,86%, sedangkan pada percobaan ketiga terjadi kenaikan sampai dengan 100%, seperti terlihat pada Tabel III. Berdasarkan ketiga percobaan yang telah dilakukan,  dipilih model dengan akurasi terbaik untuk menguji data gestur yang baru.  Penentuan predictor raw dan pitch dalam proses klasifikasi mampu meningkatkan akurasi pembentukan model sebesar 1,1%.
T ABEL III C ONFUSION M ATRIX SVM B ER - PREDICTOR ROLL , PITCH Kelas yang Diprediksi ANK P DK P U SD K I SD K N ACC K el a s Asl i
ANK 699 100,00% PDK 698 100,00% PU 1 697 99,86% SDKI 698 100,00% SDKN 3 695 95,57%
Gbr. 7 Persentase hasil pengujian gestur pada data baru.
Peningkatan tersebut semula 98,8% menjadi 99,9%. Empat gerakan berhasil dimodelkan dengan akurasi di atas 99,9%, dan empat gerakan yang sama dapat diprediksi oleh model dengan akurasi juga di atas 99,9%. Satu gerakan, yaitu angkat, hanya dapat diprediksi oleh model dengan akurasi 89,9%. Hasil pengujian menggunakan data yang baru juga menunjukkan hasil yang baik. Hal ini terlihat dari diperolehnya angka akurasi sebesar 100% untuk keempat gestur.
Selanjutnya,  Gbr. 7  memperlihatkan  hasil penggunaan model yang telah dilatih pada data yang baru. Terlihat dua buah pengklasifikasi dengan hasil terbaik,  yaitu k -NN dan SVM,  mampu mendapatkan akurasi 100% untuk empat buah gestur, yaitu: pegang dari kanan, pungut, sapu dari kanan, dan sapu dari kiri. Sebuah gestur, yaitu angkat,  tidak berhasil dikenali dengan tingkat akurasi seperti keempat gestur lainnya. Perolehannya hanya mencapai 89% akurasi pengenalan oleh SVM dan 90% akurasi  pengenalan oleh k -NN.

## V. K ESIMPULAN
Dari hasil penelitian yang telah dilakukan dapat disimpulkan beberapa hal sebagai berikut. Data orientation dan orientation Euler menghasilkan akurasi yang tinggi dalam pendeteksian gestur lengan dinamis. Keakurasian ini harus didukung oleh pemilihan predictor yang tepat. Gaussian mixture model dapat membantu peneliti menentukan fitur yang baik untuk dijadikan predictor .
Penelitian ini menghasilkan model gerakan lengan dinamis yang dapat memprediksi lima gerakan secara terukur. Selanjutnya,  pengembangan aplikasi yang menggunakan gestur lengan dinamis pada ruang virtual  dapat dilakukan untuk menjawab keterbatasan akses terhadap benda koleksi
peninggalan warisan budaya. Secara keseluruhan,  dapat disimpulkan bahwa lima  buah gestur yang terukur untuk interaksi dalam lingkungan virtual dapat digunakan.

## U CAPAN T ERIMA K ASIH
Penelitian ini didukung oleh Beasiswa Pascasarjana Kementrian Riset Teknologi & Pendidikan Tinggi.  Terima kasih yang sebesar-besarnya  disampaikan  kepada seluruh mahasiswa di laboratorium komputer B401 Insitut Teknologi Sepuluh Nopember  yang telah secara sukarela ikut berpartisipasi dalam proses pengambilan data dan uji  coba. Tidak lupa disampaikan juga terima  kasih kepada kepala Laboratorim Komputer B417 Osaka City University, Osaka, Japan,  Prof.  Hideya Takahashi dan Prof.  Kayo Yoshimoto, atas semua dukungan dan  pemberian fasilitas yang telah digunakan selama melakukan penelitian.

## R EFERENSI
[1] S. Sumpeno, A. Zaini, M. Muhtadin, S.M.S. Nugroho, E.M. Yuniarno, dan  I.K.E. Purnama, “Ragam Teknologi Informasi untuk Revitalisasi Museum,” Seminar Nasional Otomasi Industri dan Teknologi Informasi , 2015, Vol. 1, hal. 1–6.
[2] S.  Sumpeno  dan  A.G.  Sooai, “3D Stereoskopik untuk Peninggalan Sejarah,” AEK FDI , Vol. 1, No. 1, hal. 33–37, Dec. 2016.
[3] A.G. Sooai, S. Sumpeno, dan M.H. Purnomo, “User Perception on 3D Stereoscopic Cultural Heritage Ancient Collection,” Proceedings of the The 2nd International Conference in HCI and UX on Indonesia 2016 , 2016, hal. 112–119.
[4] A.G. Sooai, A. Nugroho, M.N.A. Azam, S. Sumpeno, dan  M.H. Purnomo, “Virtual artifact: Enhancing Museum Exhibit Using 3D Virtual Reality,” 2017 TRON Symposium (TRONSHOW) , 2017, hal. 1– 5.
[5] S.L. Kim, H.J. Suk, J.H. Kang, J.M. Jung, T.H. Laine, dan J. Westlin, “Using Unity 3D to Facilitate Mobile Augmented Reality Game Development,” 2014 IEEE World Forum on Internet of Things (WF- IoT) , 2014, hal. 21–26.
[6] Z.  Tůma,  J.  Tůma,  R.  Knoflíček,  P.  Blecha, dan F.  Bradáč,  “The Process Simulation Using by Virtual Reality,” Procedia Eng. , 2014, Vol. 69, hal. 1015–1020.
[7] G. Kontogianni dan  A. Georgopoulos, “A Realistic Gamification Attempt for the Ancient Agora of Athens,” 2015  Digital Heritage , 2015, Vol. 1, hal. 377–380.
[8] L. Chittaro dan  F. Buttussi, “Assessing Knowledge Retention of an Immersive Serious Game vs. a Traditional Education Method in Aviation Safety,” IEEE Trans. Vis. Comput. Graph. ,  Vol. 21, No. 4, hal. 529–538, Apr. 2015.
[9] E. Redondo, D. Fonseca, A. Sánchez, dan I. Navarro, “New Strategies Using Handheld Augmented Reality and Mobile Learning-teaching Methodologies, in Architecture and Building Engineering Degrees,” Procedia Comput. Sci. , Vol. 25, hal. 52–61, Jan. 2013.
[10]  I.G.A. Dharmayasa, S. Sumpeno, I.K.E. Purnama, dan  A.G. Sooai, “Exploration of Prayer Tools in 3D Virtual Museum Using Leap Motion  for Hand Motion Sensor,” 2017 TRON Symposium (TRONSHOW) , 2017, hal. 1–8.
[11]  A.G. Sooai, K. Yoshimoto, H. Takahashi, S. Sumpeno, dan  M.H. Purnomo, “Dynamic Hand Gesture Recognition on 3D Virtual Cultural Heritage Ancient Collection Objects Using k-Nearest Neighbor,” Eng. Lett. , Vol. 26, No. 3, hal. 356–363, 2018.
[12]  F. Bruno, S. Bruno, G. De Sensi, M.L. Luchi, S. Mancuso, dan  M. Muzzupappa, “From 3D Reconstruction to Virtual Reality: A Complete Methodology for Digital  Archaeological  Exhibition,” J. Cult. Herit. , Vol. 11, No. 1, hal. 42–49, 2010.
[13]  M. Nabil dan F. Saleh, “3D Reconstruction from Images for Museum Artefacts:  A  Comparative Study,” 2014 International Conference on Virtual Systems Multimedia (VSMM) , 2014, hal. 257–260.
[14]  D. Rojas, B. Kapralos, A. Hogue, K. Collins, L. Nacke, S. Cristancho, C. Conati, dan A. Dubrowski, “The Effect of Sound on Visual Fidelity Perception in Stereoscopic 3-D,” IEEE Trans. Cybern. , Vol. 43, No. 6, hal. 1572–1583, Dec. 2013.
[15]  M. Hayashi, S. Bachelder, M. Nakajima, dan  A. Iguchi, “A New Virtual Museum Equipped with Automatic Video Content Generator,” 2014 International Conference on Cyberworlds (CW) , 2014, hal. 377– 383.
[16]  F. Gabellone, I. Ferrari, M.T. Giannotta, dan  A. Dell’Aglio, “From Museum to Original Site: A 3D Environment for Virtual Visits to Finds Re-Contextualized in Their  Original  Setting,” Digital Heritage International Congress (DigitalHeritage) 2013 , 2013, Vol. 2, hal. 215– 222.
[17]  A.-H.G. Abulrub, K. Budabuss, P. Mayer, dan  M.A. Williams, “The 3D Immersive Virtual Reality Technology Use for Spatial Planning and Public Acceptance,” Procedia  -  Soc. Behav. Sci. ,  Vol. 75, hal. 328–337, Apr. 2013.
[18]  F. Caputo, A. Greco, E. D’Amato, I. Notaro, dan  S. Spada, “On the Use of Virtual Reality for a Human-Centered  Workplace  Design,” Procedia Struct. Integr. , Vol. 8, hal. 297–308, Jan. 2018.
[19]  H.  Zhuang, M.  Yang, Z.  Cui,  dan  Q.  Zheng, “A Method for Static Hand Gesture Recognition Based on Non-Negative Matrix Factorization and Compressive Sensing,” IAENG Int. J. Comput. Sci. ,
Vol. 44, No. 1, hal. 52–59, Feb. 2017.
[20]  K. Barczewska dan  A. Drozd, “Comparison of Methods  for Hand Gesture Recognition Based on  Dynamic Time Warping Algorithm,” 2013 Federated Conference on Computer Science and Information Systems , 2013, hal. 207–210.
[21]  W. Lu, Z. Tong, dan J. Chu, “Dynamic Hand Gesture Recognition with Leap Motion Controller,” IEEE Signal Process. Lett. ,  Vol. 23, No. 9, hal. 1188–1192, Sep. 2016.
[22]  R. Srivastava dan  P. Sinha, “Hand Movements and Gestures Characterization Using Quaternion Dynamic Time Warping Technique,” IEEE Sens. J. , Vol. 16, No. 5, hal. 1333–1341, Mar. 2016.
[23]  Khamid, A. D. Wibawa, dan  S. Sumpeno, “Gesture Recognition for Indonesian Sign Language Systems (ISLS) Using Multimodal Sensor Leap Motion and Myo Armband Controllers Based-on Na #xef;ve Bayes Classifier,” 2017 International Conference on Soft Computing, Intelligent System and Information Technology (ICSIIT) , 2017, hal. 1–6.
[24]  D. Wu, L. Pigou, P.-J. Kindermans, N.D.-H. Le, L. Shao, J. Dambre, dan J.-M. Odobez, “Deep Dynamic Neural Networks for Multimodal Gesture Segmentation and Recognition,” IEEE Trans. Pattern Anal. Mach. Intell. , Vol. 38, No. 8, hal. 1583–1597, Agt. 2016.
[25]  P. Lorrentz, “Classification of Incomplete Data by Observation,” EngineeringLetters , Vol. 18, No. 4, hal. 1–10, 2010.
[26]  A.N. Rumaksari, S. Sumpeno, dan A.D. Wibawa, “Background Subtraction Using Spatial Mixture of  Gaussian  Model  with Dynamic Shadow Filtering,” 2017 International Seminar on Intelligent Technology and Its Applications (ISITIA) , 2017, hal. 296–301.
[27]  M.S. Annas, A. Rizal, dan R.D. Atmaja, “Pengenalan Individu Berdasarkan Gait Menggunakan Sensor Giroskop,” J. Nas. Tek. Elektro Dan Teknol. Inf. JNTETI , Vol. 6, No. 2, hal. 210-214, 2017.
[28]  D. Huynh, D. Tran, and W. Ma, “Contextual Analysis for the Representation of Words,” IAENG Int. J. Comput. Sci. , Vol. 41, No. 2, hal. 1–5, 2014.
[29]  P. Zhang, X. Zhang, dan  W. Wang, “The General Lp-Dual Mixed Brightness Integrals,” IAENG Int. J. Appl. Math. ,  Vol. 47, No. 2, hal. 1–5, 2016.
[30]  A. Handayani, A. Jamal, dan  A.A. Septiandri, “Evaluasi Tiga Jenis Algoritme Berbasis Pembelajaran Mesin untuk Klasifikasi Jenis Tumor Payudara,” J. Nas. Tek. Elektro Dan Teknol. Inf. JNTETI , Vol. 6, No. 4, hal. 394-403, 2017.