## PERANCANGAN MODEL INTERAKSI TANGAN VIRTUAL DALAM DUNIA AUGMENTED REALITY
Yuri Yudhaswana Joefrie 1
1) Fakultas Teknik, Jurusan Teknik Elektro, Universitas Tadulako Email : yuri.yudhaswana@untad.ac.id
Abstract - This research promoted the topic concerning  the  interaction  technique  using virtual hand in Augmented Reality environment (AR). AR uses tracker library that use marker to know the human gesture. With the kind of interaction i.e.
manipulation of the model, manipulation of the street, button pressing, and duplicate the model,  virtual  hand  could  become  an alternative in augmented reality’s environment. This study produces that to do all  the  kind  of  interaction  stated  above,  we only need two finger to interact with. At the end,  this  virtual  hand  aimed  to  able  to  do such  a  basic  interaction  in  the  world  of augmented reality.
Keyword  :  augmented  reality,  virtual hand,  natural movement.

## I. Pendahuluan

## 1.1 Pengertian Augmented Reality
Saat  perkembangan  teknologi  semakin meningkat,  hal  ini  juga  berpengaruh terhadap  bidang computer  vision .  Definisi computer  vision secara  umum  adalah merupakan  ilmu  dan  teknologi  bagaimana suatu machine /sistem  melihat  sesuatu [1]. Masukan  untuk  suatu  sistem  berbasis computer  vision adalah  citra  atau image . Data  citra  dapat  berbentuk  urutan  video, citra dari kamera, dan lain-lain.
Beberapa hal yang dikerjakan oleh computer vision adalah recognition , motion , scene  reconstruction , dan image restoration . Berikut beberapa contoh penerapan computer
vision , yaitu controlling  process , detecting  events , organizing  information , modeling  objects or  environtments , dan interaction  (human- computer interaction).
AR  adalah  salah  satu  teknologi  yang menggunakan  teknik computer  vision dalam  menetukan  kesesuaian  antara  citra dan dunia nyata, menghitung pose, projection matrix , homografi dari persesuaian-persesuaian ini.
Gambar  1. Model  virtual  yang  berdiri  tepat  di atas marker .
Kunci  kesuksesan  dari  sistem  AR  adalah meniru semirip mungkin keadaan kehidupan  dunia  nyata.  Dengan  kata  lain, dari  sudut  pandang  pengguna,  pengguna tidak  perlu  belajar  terlalu  lama  dalam menggunakan  sistem  AR,  sebaliknya, dengan  cepat  mampu  mengoperasikan sistem  tersebut  berdasarkan  pengalaman dalam dunia nyata.
Untuk  menjalankan  sistem  AR,  minimal terdiri atas kamera, perangkat monitor, dan dalam  kasus-kasus  tertentu  memerlukan perangkat khusus untuk berinteraksi dengan obyek virtual.
Gambar  2. Perangkat  pendukung  teknologi AR Error! Reference source not found. .
Perangkat  monitor  dapat  diganti  dengan perangkat video see-through untuk meningkatkan  kesan  impresif  dari  obyek virtual.  Perangkat video  see-through ,  biasa juga  dinamakan head-mounted  display (HMD),  akan  memenuhi  seluruh  sudut pandang  pengguna,  sehingga  kesan  nyata dapat tercapai.
Gambar  3. Penggunaan  HMD  dalam  sistem AR[3]
Untuk  menggambar  obyek  virtual  dalam dunia  nyata,  terdapat  lima  langkah[3] seperti  yang  ditunjukkan  dalam  Gambar  4. Pertama,  hasil  tangkapan  citra  dari  kamera ( webcam )  diubah  dalam  bentuk  binari (hitam  atau  putih)  berdasarkan  nilai threshold cahaya. Dalam citra ini kemudian dilakukan  pencarian  terhadap  pola  kotak. Kemungkinan  ada  beberapa  kotak  yang dikenali  dalam  tahap  ini,  namun  tidak semua kotak tersebut adalah marker . Untuk setiap  kotak  yang  terdeteksi,  dilakukan kesesuaian  terhadap marker yang  sudah dilatih  sebelumnya.  Jika  sesuai,  maka
ARToolKitPlus menemukan marker tracking atau fiducial marker .
ARToolKitPlus  kemudian  menggunakan ukuran marker dan  pola  orientasi  yang telah  diketahui  untuk  menghitung  posisi kamera  relatif  terhadap marker .  Hasil  dari perhitungan  tersebut  dimasukkan  ke  dalam matriks 3×4. OpenGL kemudian digunakan untuk me- render obyek virtual berdasarkan matriks 3×4 yang berisi nilai posisi kamera relatif  terhadap marker dalam real  world coordinates .
Gambar  4. Langkah  -  langkah  untuk  me- render obyek virtual dalam dunia nyata [3].

## 1.2 Studi tentang Interaksi dalam Sistem

## AR
The  Future  of  Competition ,    menyatakan bahwa:
“ The  product  is  no  longer  the  basis  of value. The experience is. ” [4]
Sangat  jelas,  bahwa  dalam  merancang suatu  produk  (dalam  hal  ini  program  AR), tidak  menjadi  masalah  apakah  produk  itu sederhana  ataupun  kompleks.  Hal  yang menjadi  nilai  dari  suatu  produk  justru terletak  dari  pengalaman  yang  dirasakan oleh  pengguna.  Pengalaman  pengguna berkaitan  erat  dengan  interaksi  terhadap produk  AR.  Oleh  karena  itu,  membuat program
AR seharusnya tidak
meninggalkan sisi pengalaman interaksinya agar program tampak lebih interaktif.
Dalam  pemaparan  sebelumnya,  disebutkan bahwa  salah  satu  implementasi  dari computer  vision adalah  interaksi  manusia- komputer  ( human-computer  interaction ).
Delapan kriteria dalam membangun aplikasi  yang  bersifat  interaktif  untuk sistem AR seperti berikut ini [4] :
1. Use of Affordances .
2. Mengurangi beban psikologi.
3. Tidak membutuhkan usaha yang berat.
4. Kemudahan untuk dipelajari.
5. Kepuasan pengguna.
6. Fleksibel dalam penggunaan.
7. Responsif dan ada umpan balik.
8. Toleransi terhadap kesalahan.
Sementara  itu,  tiga  jenis  interaksi  dalam sistem AR seperti berikut ini [5]:
1. Pointing .
Pengguna dapat memilih obyek,
menempatkan,  atau  mereposisi  obyek. Disebutkan juga, bahwa pointing merupakan jenis interaksi dasar yang harus ada  agar  sistem  AR  lebih  interaktif  dan konstruktif. Pointing dapat  dipecah  lagi menjadi beberapa sub pointing berdasarkan dimensi aplikasi tersebut bekerja.
2. Gesture .
Aksi yang dikerjakan dengan menggunakan perangkat pointing yang  lengkap  dan diinterpretasikan tidak ambigu oleh pengguna dan aplikasi. Gesture dibagi lagi menjadi  5  sub gesture yaitu: touching , selecting , triggering , dragging , dan drag&drop .
3. Widget .
Berinteraksi  dengan  sistem  AR  melalui menu,  tombol, numeric  input ,  dan text input .
Secara  umum,  klasifikasi  interaksi  dapat dibagi menjadi dua, yaitu direct manipulation dan
whole-gesture semaphore ,  yaitu  yang  berfungsi  seperti tombol yang memicu tugas tertentu Error! Reference source not found. .
Dalam  makalah  “ FingARtips  –  Gesture Based  Direct  Manipulation  in  Augmented Reality ” oleh Buchmann, disebutkan bahwa interaksi  terbagi  menjadi  dua  berdasarkan ruang  lingkupnya,  yaitu  ruang  di  dekat subyek  dan  ruang  yang  jauh  dari  subyek. Untuk  obyek  yang  dekat  dengan  subyek, yaitu dalam jangkauan tangan, obyek dapat
dimanipulasi  secara  intuitif.  Sedangkan untuk  obyek  yang  jauh  dengan  subyek, yaitu  yang  diluar  jangkauan  tangan, diperkenalkan teknik ray-based selection .
Buchmann  juga  membahas  mengenai interaksi  dengan  sistem  AR  menggunakan tangan  virtual  yang  dilengkapi  dengan haptic feedback berupa sarung tangan yang diberi  alat  elektronik  sederhana  sebagai penggetar. FingARtips mengeksplorasi mengenai  kesederhanaan,  kemudahan,  dan sifat  alami  dalam  berinteraksi.  Namun, sepanjang  pengamatan,  fingARtips  tidak mampu atau tidak ditujukan untuk berinteraksi dengan model virtual berdimensi kecil.
II. Metode Penelitian
a. Alat
- Dalam  penelitian  ini,  digunakan peralatan  komputer  dan  beberapa marker  yang  berbeda  ukuran. Spesifikasi  dari  komputer  yang digunakan  adalah  Pentium  Dual Core  2,2  GHz,  memory  2  GB, hardisk  500  GB,  dan  sebuah webcam Logitech.
- Marker yang digunakan mempunyai  ukuran  yang  berbeda untuk  diteliti,  yaitu  1cm  ×  1cm  ,
1,5cm × 1,5cm , 2cm × 2cm, 2,5cm
× 2,5cm,  dan 3cm × 3cm.
b. Bahan
- Mencari literatur-literatur dari dalam  dan  luar  negeri  yang berkaitan  dengan  model  interaksi dalam dunia augmented reality .
- Pengumpulan  data  dari  lokasi penelitian  berupa  data  spesifikasi komputer  yang  terdiri  dari  data perangkat keras dan data perangkat lunak  serta  pengumpulan  data mengenai  marker  yang  dapat dideteksi.
c. Alur Penelitian  ini  merupakan  penelitian eksperimental  dengan  langkah-langkah sebagai berikut:
Gambar 5 . Alur kerja penelitian.
d. Lokasi Penelitian
Lokasi  penelitian  ini  adalah  pada Laboratorium Komputer Jurusan Teknik Elektro Fakultas Teknik Universitas  Tadulako,  Palu,  Sulawesi Tengah.

## III. Hasil dan Pembahasan
Interaksi yang digunakan dalam lingkungan augmented reality adalah interaksi langsung, artinya pengguna secara langsung  dapat  melakukan  manipulasi model  virtual  yang  ada.  Interaksi  jenis  ini diharapkan akan menumbuhkan kesan lebih impresif  atau  kesan  yang  mendalam  ketika pengguna  memakai  sistem  ini.  Diharapkan juga  agar  saat  seseorang  yang  ingin menggunakan  sistem  ini,  orang  tersebut tidak perlu latihan khusus dan dalam waktu yang  lama  karena  interaksi  ini  adalah  apa yang  orang  tersebut  lakukan  tiap  hari terhadap obyek-obyek nyata.
Adapun  desain  dari  tangan  virtual  yang digunakan  dalam  lingkungan augmented reality menyerupai dengan tangan manusia. Perbedaan  terletak  jumlah  jari  yang divisualisasikan.
Dalam
perancangan tangan  virtual  ini  hanya  menggunakan  dua jari,  yaitu  jempol  dan  telunjuk.  Kebutuhan
akan semua jenis interaksi dalam kebutuhan  dasar  interaksi,  seperti  yang tersebut  di  pendahuluan,  dapat  dilakukan hanya dengan model dua jari virtual.
Tangan  virtual  dalam  perancangan  ini adalah  perangkat  virtual  tunggal  untuk segala  masukan  ( input ).  Jadi,  sistem  ini tidak  menggunakan keyboard , mouse ,  atau perangkat  masukan  lain  untuk  interaksi selain  dari  tangan  virtual.  Hal  ini  akan memberi  kesan  lebih  dalam  terhadap pengguna  dan  lebih  menyerupai  seperti  di kehidupan nyata.
Model tangan virtual akan tergambar hanya jika  tiga marker yang  terletak  pada  tangan terdeteksi  oleh  ARToolKitPlus.  Jika  yang terdeteksi  kurang  dari  tiga marker ,  maka hanya tergambar kotak di atas marker yang terdeteksi.
Untuk  dapat  berinteraksi  dengan  model virtual, marker yang  terletak  di  ujung telunjuk dan ujung jempol harus terdeteksi. Karena  2 marker tersebut  adalah marker kunci yang didesain selain untuk penggambaran  visual  tangan  namun  juga untuk  perhitungan  interaksi.  Penataan marker pada  tangan  manusia  dapat  dilihat seperti dalam Gambar 5.
Gambar 6. Letak marker pada tangan[7].
Seperti  yang  terlihat  dalam  Gambar  4.1, marker diletakkan  pada  ujung  jari  telunjuk dan  pangkal  telunjuk.  Agar  lebih  tampak sesuai dengan jari manusia, maka ditetapkan beberapa asumsi. Asumsi
pertama adalah jari telunjuk hanya mempunyai  1  sendi,  yaitu  yang  terdekat
Mulai Persiapan Komputer Uji < 6 Lakukan Pengujian Marker Terdeteksi Catat ID Marker yang Terdeteksi Catat ID Marker yang Tidak Terdeteksi Selesai T Y T Y Merancang Model Tangan Virtual
dengan  pangkal  jari  telunjuk.  Asumsi kedua  adalah jari jempol  tidak  mempunyai persendian  antara  pangkal  dan  ujung  jari jempol.  Dengan  asumsi  ini,  sifat  realistis tetap  dapat  tercapai.  Untuk  lebih  jelasnya, dapat dilihat dalam Gambar 6.
Gambar  7. Titik-titik  persendian  agar  tangan virtual tampak lebih realistis
Penjelasan gambar:
titik A  relatif terhadap titik C, titik  B  buku  jari/sendi,  relatif terhadap jarak antara titik A dan E, absolut terhadap titik C,
titik  C  relatif  terhadap  dirinya sendiri,
titik D  absolut terhadap titik C, titik E  relatif terhadap titik C.
Dalam  menggambar  tangan  virtual,  yang menjadi  titik  utama  penggambaran  adalah titik  C.  Karena  titik  A  dan  titik  E  relatif terhadap titik C maka panjang A – B dan E –  D  dapat  memanjang  atau  memendek sesuai dengan gerakan telunjuk dan jempol. Titik  C  dipilih  sebagai  patokan  dalam menggambar  tangan  virtual  karena  titik  C tidak  tergantung  pada  titik  lain  dan posisinya  tetap  relatif  terhadap  titik-titik lain.
Kemudian  untuk menentukan ukuran marker yang  digunakan,  maka  diadakan percobaan pengetesan marker . Aturan yang diberlakukan  adalah  jarak  antara  posisi webcam  dan marker adalah  maksimal 80cm.  Angka  ini  didapat  dari  asumsi peneliti berdasarkan keergonomisan.
Dari  hasil  percobaan,  didapat  hasil  deteksi sebagai berikut:
No Ukuran Marker Jarak Webcam- Marker Terdeteksi 1 1cm 80cm × 2 1,5cm 80cm × 3 2cm 80cm √ 4 2,5cm 80cm √ 5 3cm 80cm √ Tabel  1. Hasil  percobaan  pengetesan  ukuran marker yang mampu terdeteksi oleh kamera. Berdasarkan hasil percobaan yang dilakukan  maka  didapat  bahwa  untuk marker yang  berhasil  terdeteksi  adalah ukuran  2cm,  2,5cm,  3cm,  dan  3,5cm. Kemudian ukuran marker juga mempengaruhi tingkat kenyamanan pengguna  dalam  berinteraksi.  Semakin kecil ukuran marker maka semakin nyaman seseorang  dalam  beriteraksi  dengan  obyek virtual.  Dalam  tabel  hasil  percobaan didapat bahwa ukuran terkecil marker yang mampu terdeteksi oleh webcam adalah 2cm × 2cm. Oleh karena itu peneliti mengambil ukuran marker ini  sebagai marker unutk rancangan model interaksi.
Posisi marker yang  terletak  di  ujung  jari telunjuk dan jempol dilekatkan oleh plester double  tape di  sebuah  cincin  yang  terbuat dari  kertas  untuk  memudahkan  pengguna dalam memasang pada jari. Ukuran marker yang digunakan adalah 2cm dilingkupi oleh area  putih  dengan lebar  0,5cm  (gambar  7).
Area  putih  yang  melingkupi marker berguna  saat marker berada  di  atas  area berwarna  gelap  atau  hitam,  sehingga  area putih  ini  dapat  mempertegas  antara  latar marker dan marker itu sendiri.
Gambar 8. Desain marker dengan area putih di sekelilingnya

## IV. Kesimpulan
Tangan virtual dirancang dengan
menggunakan  jenis  interaksi  langsung  dan alamiah.  Tangan  virtual  ini  dirancang dengan  memanfaatkan  3 marker sebagai patokan dalam menggambar tangan virtual. Ukuran ketiga marker tersebut adalah 2 cm berbentuk bujursangkar. Marker dikelilingi oleh area putih sebagai pembeda yang jelas antara marker dan  latar  disekitarnya. Dengan adaya area putih akan menyebabkan marker akan  terlihat  jelas saat ditangkap oleh kamera atau webcam .
Tangan  virtual  ini  dirancang  hanya menggunakan  dua  jari  virtual  untuk berinteraksi  dengan  sistem.  Kebutuhan dasar  interaksi,  seperti  mengambil  obyek virtual  dan  menekan  tombol  virtual  dapat dilakukan  hanya  dengan  2  jari  virtual saja. Kemudian  nanti  dari  sisi  pemrograman akan lebih mudah dikerjakan.

## Daftar Pustaka
[1] __________, Wikipedia Online , http://en.wikipedia.org/wiki/Comput er_vision,  2  Pebruari  2013,  12:47
WIB.
[2] Shahzad,  Malik,  (2002),  “ Robust Registration  of  Virtual  Objects  for
Real-Time Augmented Reality ”, Thesis, The Ottawa-Carleton
Institute  for  Computer  Science,
Canada. [3] Kato,  Hirokazu,  (2000), ARToolKit Version 2.33 , http://www.tinmith.net/lca2004/ART oolkit/ARToolKit2.33doc.pdf,
diakses  tanggal  05  Juli  2008,  13:00
WIB.
[4] Dϋnser,  Andreas  et  al.,  (2004), “ Applying  HCI  Principles  to  AR Systems  Design ”,  HIT  Lab  NZ, University  of  Canterbury,  New
Zealand.
[5] Ledermann, F., (2004), “ An Authoring Framework for Augmented  Reality  Presentations ”,
Master’s thesis, Vienna University of
Technology.
[6] Gibet,  S.,  et  al.,  (2006), Gesture  in
Human  Computer  Interaction  and Simulation .  Berlin, Heidelberg , and New York: Springer. [7] Andriansyah M., (2008), “Perancangan Augmented  Reality  Of Residential Area Design Yang Didukung Computer Supported Cooperative Work untuk Developer ”, STEI, ITB, Bandung.
[8] Dϋnser,  Andreas  et  al.,  (2004), “Applying  HCI  Principles  to  AR
Systems  Design ”,  HIT  Lab  NZ, University  of  Canterbury,  New Zealand.