## ISYARAT TANGAN DENGAN BEBERAPA KOMBINASI PRA PROSES
Regina Lionnie, Iwan Setyawan, Ivanna K. Timotius

## PENGGUNAAN TRANSFORMASI WAVELET DALAM SISTEM PENGENALAN ISYARAT TANGAN DENGAN BEBERAPA KOMBINASI PRA PROSES

## Regina Lionnie, Iwan Setyawan, Ivanna K. Timotius
Program Studi Teknik Elektro, Fakultas Teknik – UKSW
Jalan Diponegoro 52-60, Salatiga 50711

## INTISARI
Isyarat  tangan,  sebagai  salah  satu  bagian  dari  bahasa  tubuh,  dapat  digunakan  untuk berkomunikasi  dengan  mesin.  Sebagai  alat  untuk  berkomunikasi,  isyarat  tangan dapat  diimplementasikan  dalam  berbagai  aplikasi,  contohnya socially  assistive robotics ,  mendukung user  interface mouse dengan komputer, remote control dalam permainan nintendo, asisten dari dokter bedah dan juga sebagai robot militer. Dalam penelitian  ini,  citra  isyarat  tangan  digunakan  sebagai  representasi  kode  perintah untuk menjalankan suatu tugas tertentu. Sistem pengenalan isyarat tangan terdiri dari tahap  pra  proses  dan  metode  Transformasi  Wavelet.  Pada  tulisan  ini,  dilakukan penelitian  untuk  mencari  kombinasi  pra  proses  yang  menghasilkan  rata-rata keakuratan terbaik. Pra proses tersebut terdiri dari kombinasi beberapa proses seperti smoothing  filter , histogram  equalization ,  binerisasi,  dan/atau  desaturasi.  Metode klasifikasi  yang  digunakan  adalah nearest  neighbor dengan  jarak  Euclidean.
Sedangkan untuk menghitung rata-rata keakuratan digunakan 2-fold cross validation . Dari  hasil  eksperimen  didapatkan  bahwa  jenis  pra  proses  yang  hanya  terdiri  dari proses desaturasi memberikan hasil rata-rata keakuratan terbaik, yaitu 78,32%.
Kata kunci: pengenalan isyarat tangan, transformasi wavelet, nearest neighbor , smoothing filter , histogram equalization , binerisasi, desaturasi

## 1. PENDAHULUAN
Beberapa  orang  merasa  kesulitan  dalam  berinteraksi  dengan  suatu  mesin. Contohnya, bagi beberapa orang penggunaan keyboard dan mouse untuk berinteraksi dengan komputer dianggap sebagai cara berkomunikasi yang cukup sulit. Salah satu usaha yang dilakukan dalam mengadaptasi cara berkomunikasi dengan mesin adalah menggunakan bahasa tubuh [1]. Pada penelitian ini, isyarat tangan, sebagai salah satu bagian  dari  bahasa  tubuh,  dapat  digunakan  untuk  berkomunikasi  dengan  mesin. Sebagai  alat  untuk  berkomunikasi,  isyarat  tangan  dapat  diimplementasikan  dalam berbagai  aplikasi,  contohnya socially  assistive  robotics , user  interface dengan komputer, remote  control dalam permainan  nintendo, asisten dari dokter bedah dan juga sebagai robot militer [2][3].
Dalam  penelitian  ini,  citra  isyarat  tangan  digunakan  sebagai  representasi sandi atau kode perintah untuk menjalankan suatu tugas tertentu. Sistem pengenalan dalam  tulisan  ini  mengidentifikasi  enam  kelas  yang  berisi  kode  perintah  yang berbeda,  yaitu  perintah  untuk  maju,  belok  kanan,  belok  kiri,  berhenti,  mundur  dan satu  kelas  yang  berisi  variasi  isyarat  yang  tidak  termasuk  ke  dalam  lima  kelas sebelumnya.  Variasi  dari  isyarat  tangan  ini  mengacu  kepada  isyarat  tangan  yang digunakan militer [4] dan jurnal-jurnal penelitian [5][6].
Sistem  pengenalan  yang  dibuat  dalam  penelitian  ini  terdiri  dari  tahap  pra proses, tahap ekstraksi fitur dengan menggunakan metode Transformasi Wavelet dan tahap  klasifikasi  menggunakan  metode nearest  neighbor berdasarkan  jarak Euclidean.  Penelitian  ini  bertujuan  untuk  membandingkan  kombinasi  pra  proses dalam  penggabungannya  dengan  transformasi  wavelet  dan nearest  neighbor .  Pra proses  tersebut  terdiri  dari smoothing  filter , histogram  equalization ,  binerisasi, desaturasi. Blok diagram sistem dapat dilihat pada gambar 1.
Gambar 1. Blok Diagram Sistem Pengenalan Isyarat Tangan

## ISYARAT TANGAN DENGAN BEBERAPA KOMBINASI PRA PROSES

## 2. TRANSFORMASI WAVELET
Dalam  tulisan  ini,  transformasi  wavelet  akan  menghasilkan  keluaran  berupa koefisien-koefisien  yang  merupakan  fitur  dari  citra.  Transformasi  wavelet  adalah suatu  analisis  multi  resolusi  (AMR)  yang dapat  merepresentasikan  informasi  waktu dan  frekuensi  suatu  sinyal  dengan  baik  [7].  AMR  adalah  suatu  transformasi  yang dapat memberikan resolusi frekuensi dan waktu di saat yang bersamaan [8].
Transformasi  wavelet  diskrit  (TWD)  secara  umum  merupakan  dekomposisi citra  pada  frekuensi sub  band citra  tersebut  yang  komponennya  dihasilkan  dengan cara penurunan level dekomposisi [9].
Gambar  2  berikut  adalah  gambar  dari  transformasi  wavelet  diskrit  dua dimensi dengan level dekomposisi satu tingkat.
Gambar 2. Transformasi Wavelet Dekomposisi Satu Tingkat [9]
Citra CA j pertama  kali  akan  ditapis  sepanjang  baris  dengan  menggunakan tapis atau filter  lowpass  (Lo_D) dan highpass  (Hi_D). Selanjutnya,  kedua  keluaran tersebut akan ditapis  sepanjang kolom, hal  ini akan menghasilkan sub citra lowpass yang ditunjukkan dengan CA j +1 dan tiga buah subcitra highpass yang masing-masing ditunjukkan  dengan CD ( h ) j +1 , CD ( v ) j +1 dan CD ( d ) j +1 .  Subcitra CA j +1 merupakan koefisien  aproksimasi  atau  disebut  juga sub  band LL.  Sedangkan  tiga  sub  citra lainnya merupakan koefisien detil yang berturut-turut disebut juga sub band HL, LH, HH dan menyatakan detil arah horisontal, vertikal dan diagonal.
Dengan  level  dekomposisi  satu, sub  band hasil  dari  dekomposisi  dapat didekomposisi  lagi  karena  level  dekomposisi  wavelet  bernilai  dari  1  sampai n atau disebut  juga  transformasi  wavelet  multi  level  [9].  Jika  dilakukan  dekomposisi  lagi, maka sub  band LL  yang  akan  didekomposisi  karena sub  band LL  berisi  sebagian besar dari informasi citra [10].
Bila matriks citra asli A dengan m×n piksel didekomposisi menjadi empat sub band sesuai  frekuensinya  yakni  LL,  LH,  HL,  dan  HH  dengan  menggunakan transformasi  wavelet  dengan  transformasi  Haar orde  1,  secara  matematis dekomposisi satu tingkat dihasilkan dengan menggunakan persamaan sebagai berikut [11].
(3)
dengan
T = matriks persegi hasil transformasi Haar
A = matriks persegi nilai piksel citra masukan
H = matriks persegi transformasi Haar
Untuk  transformasi  Haar,  matriks H mengandung  fungsi  basis  Haar  yaitu h k ( z ), didefinisikan dalam interval tertutup z [0,1] untuk k = 0,1,2,.., N -1, dengan N
= 2 n .
Didefinisikan k = 2 p + q -1 dengan syarat 0
dan q = 0 atau 1 serta
1 untuk p , sehingga
(4)
(5)
h k ( z ) =  fungsi basis haar untuk baris ke k +1
h 0 ( z ) =  fungsi basis haar  untuk baris pertama
p = urutan kolom untuk matriks H

## ISYARAT TANGAN DENGAN BEBERAPA KOMBINASI PRA PROSES
q = urutan baris untuk matriks H
Contohnya,  jika N =  2,  matriks  persegi  dari  transformasi  Haar  menjadi

## 3. PRA PROSES
Pra  proses  adalah  proses  yang  dilakukan  untuk  menyiapkan  data  sebelum dilanjutkan menuju proses berikutnya, dalam penelitian ini proses berikutnya adalah ekstraksi fitur dengan transformasi wavelet. Pra proses pada penelitian ini terdiri dari kombinasi beberapa proses berikut ini.
3.1 Smoothing Filter
Smoothing  filter bertujuan  menghasilkan  keluaran  berupa  citra  RGB  yang diperhalus. Smoothing  filter dilakukan  pada  masing-masing  lapisan  ( layer )  pada citra. Pada penelitian ini digunakan averaging filter dengan ukuran 3×3.

## 3.2 Histogram Equalization
Proses histogram  equalization pada  suatu  citra  keabuan  bertujuan  untuk meratakan  distribusi  nilai  piksel sehingga kontras dari sebuah citra dapat diperbaiki [12].  Proses histogram  equalization ditunjukkan  dalam  persamaan  (6).  Proses ekualisasi  ini  memanfaatkan cumulative distibution function (CDF) dari  nilai piksel pada sebuah citra yang dapat dilihat pada persamaan (7) [11].
      × − − = = L n k r C round k r T k s 1 1 ) ( ) ( (6)
dengan
s k = tingkat keabuan sebuah citra setelah ekualisasi
r k = tingkat keabuan sebuah citra
T ( r k ) = transformasi dari ekualisasi
C ( r k ) = CDF dari r k
n = jumlah piksel dari sebuah citra
L = rentang nilai tingkat keabuan
∑ = = k j j k n n r C 0 ) ( (7)
k = 0, 1, 2, ..., L -1
n j = jumlah piksel dengan tingkat keabuan r k
Karena histogram equalization dapat meningkatkan kontras dari sebuah citra, proses  ini  dapat  menunjukkan  lebih  banyak detil  dalam  sebuah citra dan  berpotensi membantu dalam proses klasifikasi.

## 3.3 Binerisasi pada Color Space HSI
Color  space  hue , saturation,  intensity (HSI)  dipakai  karena color  space ini sesuai dalam  mendeskripsikan warna dan memodelkan warna kulit. Hue merupakan panjang  gelombang  yang  dominan  dalam  suatu  campuran  cahaya. Saturation menunjukan  banyaknya  cahaya  putih  yang  tercampur  dengan  suatu hue dan direpresentasikan oleh vektor pada titik potong sumbu vertikal dengan bidang warna ke  titik  warna  tersebut. Intensity adalah  seberapa  terang  cahaya  tersebut  dan direpresentasikan  sebagai  sumbu  vertikal  sebuah  bidang  [11].  Setelah  citra  diubah dalam color  space HSI,  citra  akan  diubah  menjadi  citra  biner  atau  hitam  putih.
Daerah  citra  yang  terdeteksi  sebagai  warna  kulit  kemudian  diubah  menjadi  warna putih  dan  daerah  citra  yang  terdeteksi  sebagai  warna  bukan  kulit  diubah  menjadi warna  hitam  (citra  biner).  Pada  penelitian  ini,  batas  yang  digunakan  untuk mendeteksi warna kulit adalah hue < 43 dan saturation > 0.

## 3.4 Desaturasi
Desaturasi  adalah  proses  mengubah citra  berwarna  menjadi citra gray scale . Pada  tulisan  ini,  proses  desaturasi  akan  menghilangkan  pengaruh  dari  warna  ke dalam sistem pengenalan isyarat tangan.

## 4. KLASIFIKASI DENGAN NEAREST NEIGHBOR
Nearest  neighbor adalah metode  klasifikasi  yang memilih  objek  latih  yang memiliki  sifat  ketetanggaan  ( neighborhood )  yang paling dekat terhadap objek  yang diuji  [13].  Pada  tulisan  ini,  klasifikasi nearest  neighbor menggunakan  jarak

## PENGGUNAAN TRANSFORMASI WAVELET DALAM SISTEM PENGENALAN ISYARAT TANGAN DENGAN BEBERAPA KOMBINASI PRA PROSES
Euclidean.  Klasifikasi  dengan nearest  neighbor bertujuan  untuk  memilih  citra pelatihan dengan jarak terkecil terhadap citra yang diuji.

## 5. PENELITIAN

## 5.1 Pembentukan Data Base
Data  yang  digunakan  dalam  tulisan  ini  berupa  data  citra  atau  gambar berukuran  320×240  piksel  yang  diperoleh  dari  sebuah web  camera yang disambungkan  pada port USB  komputer.  Data  ini  kemudian  akan  diperkecil ukurannya menjadi 64×48 piksel.
Pembuatan data base diperoleh dari 30 orang responden dan setiap responden akan diambil gambar isyarat tangan sebanyak 48 kali yaitu untuk 6 kelas klasifikasi, 8  variasi  sudut  dan  1  jenis  latar  belakang,  yaitu  latar  belakang uniform berwarna putih. Pembuatan data base juga dilakukan dalam kondisi pencahayaan yang cukup.
Total  citra  pada data  base untuk tulisan  ini adalah 30 responden×48  variasi = 1440 citra.  Masing-masing  citra  memiliki  64×48  piksel.  Jumlah  piksel  citra  inilah  yang pada sistem pengenalan isyarat tangan dikenal dengan istilah dimensi, dengan jumlah dimensi total pada data pelatihan dan data pengujian adalah sebanyak 3072 dimensi.
Contoh  gambar  isyarat  tangan  dan  variasinya  yang  akan  digunakan  dalam perbandingan dapat dilihat pada gambar 3.
Gambar 3. Kelas-Kelas dalam Pengklasifikasian
Gambar 3(a) akan memberikan kode isyarat untuk bergerak maju, (b) untuk belok kanan, (c) untuk belok kiri, (d) untuk berhenti, (e) untuk mundur, (f) bukan termasuk 5 kelas sebelumnya.
Untuk  dapat  digunakan  di  dalam  sistem  pengenalan  isyarat  tangan,  setelah melalui  tahap  pra  proses,  citra  di  dalam data  base ,  yang  berukuran  64×48  piksel, pertama-tama diubah menjadi vektor kolom dengan dimensi 3072.
Gambar 4. Proses Pembentukan Citra Berukuran m×n piksel Menjadi Vektor Kolom Setelah  pembentukan  vektor  kolom  untuk  masing-masing  citra,  kemudian dibentuk  matriks  besar  yang  anggotanya  merupakan  semua  vektor  kolom  dari  citra yang ada di data base .

## ISYARAT TANGAN DENGAN BEBERAPA KOMBINASI PRA PROSES
Gambar 5. Pembentukan Vektor Kolom menjadi Matriks Data Base

## 5.2 Metode Penelitian
Metode penelitian dalam tulisan ini memiliki dua bagian utama, yang pertama adalah pra proses dan yang kedua adalah metode ekstraksi fitur dengan transformasi wavelet.  Dalam  penelitian  ini  terdapat  5  jenis  kombinasi  pra  proses  (PP).  Tabel  1 berikut ini memperlihatkan perbedaan 5 jenis kombinasi pra proses.
Tabel 1. Perbedaan 5 Jenis Kombinasi Pra Proses
Eksperimen  dalam  penelitian  ini  menggunakan cross  validation untuk menghitung  rata-rata  keakuratan  sistem. Cross  validation merupakan  salah  satu metode  yang  digunakan  untuk  mengetahui  rata-rata  keberhasilan  dari  suatu  sistem dengan  cara  melakukan  perulangan ( run ) dengan mengacak  variabel input sehingga sistem tersebut teruji untuk beberapa variabel input yang acak [14]. Cross validation diawali  dengan  mengacak data  base dan  membagi data  base sejumlah fold yang diinginkan.  Pada  penelitian  ini  dipakai  2- fold cross  validation dengan  pembagian 100% data  base menjadi  50%  untuk  data  pelatihan  dan  50%  untuk  data  pengujian .
Kemudian setelah sistem  ini dijalankan, kedua data ditukar (data pelatihan dan data pengujian),  sehingga  untuk  1- run  cross  validation masing-masing  data  mengalami
proses  sebagai  data  pelatihan  dan  data  pengujian.  Pada  sistem  pengenalan  ini, digunakan random data pelatihan / pengujian sebanyak 10 run .
Dalam  penelitian  ini,  digunakan  hanya sub  band LL  dengan  level dekomposisi  2  tingkat  ( sub  band LL2)  dalam  klasifikasi  dengan nearest  neighbor karena sub band LL2 ini yang mengandung sebagian besar informasi dari citra [10].

## 6. HASIL PENELITIAN
Gambar  6  berikut  memperlihatkan  contoh  hasil  keluaran  dari  berbagai  jenis pra proses sebelum lanjut ke dalam metode transformasi wavelet.
Gambar 6. Contoh Hasil Keluaran dari Pra Proses
Tabel  2  berikut  ini  memperlihatkan  hasil penelitian untuk 5  jenis kombinasi pra proses dengan metode transformasi wavelet.
Tabel 2. Rata-Rata Keakuratan dan Standar Deviasi dari Berbagai Jenis PP
dengan Metode Transformasi Wavelet run PP1 PP2 PP3 PP4 PP5 1 67,99 70,35 69,93 70,42 77,64 2 68,75 67,50 70,28 71,88 77,99 3 68,47 68,96 70,07 69,86 78,54 4 69,44 66,74 71,32 70,21 77,71 5 70,07 67,78 71,39 70,69 79,38 6 68,54 67,08 70,63 70,49 78,19 7 68,54 68,26 72,36 69,24 78,54 8 68,68 68,06 71,04 70,42 78,68 9 67,85 67,50 69,10 70,49 77,99 10 68,54 67,57 71,74 70,14 78,54 rata-rata* 68,69 67,98 70,78 70,38 78,32 SD** 0,65 1,04 0,97 0,67 0,52 * rata-rata dalam persen ** SD adalah standar deviasi, juga dalam persen

## 7. ANALISIS HASIL PENELITIAN
Hasil  yang  didapat  dari  penelitian  menunjukkan  bahwa  variasi  pra  proses memberikan  rata-rata  keakuratan  yang  berbeda-beda.  Hasil  rata-rata  keakuratan terbaik  didapat  dari  pra  proses  kelima  (PP5)  yang  hanya  melalui  tahap  desaturasi, yaitu 78,32% dengan standar deviasi 0,52%.
Sistem  pengenalan  yang  melalui  tahap histogram  equalization sebagai  salah satu langkah pra proses,  yaitu PP1 dan PP2 menghasilkan rata-rata keakuratan lebih rendah  dibandingkan  yang  tidak  melalui  tahap  tersebut  (PP3  dan  PP4).  Hal  ini dikarenakan  proses histogram  equalization selain  meningkatkan  detil  pada  daerah tangan  juga  meningkatkan  detil  pada  latar  belakang  putih  sehingga  menimbulkan tekstur  palsu  (dapat  dilihat  pada  Gambar  6)  dan  mengganggu  proses  selanjutnya (terutama dalam proses klasifikasi) dan menurunkan rata-rata keakuratan.
Adanya  tahap smoothing  filter dalam  pra  proses  meningkatkan  rata-rata keakuratan  (PP1  terhadap  PP2  dan  PP3  terhadap  PP4).  Hal  ini  dikarenakan smoothing  filter dapat  membantu  mengurangi  derau  latar  belakang  yang  akan menurunkan rata-rata keakuratan.

## 8. KESIMPULAN
Variasi  pra  proses  dalam  tulisan  ini  memberikan  hasil  rata-rata  keakuratan yang  berbeda-beda.  Rata-rata  keakuratan  terbaik  diperoleh  dari  jenis  pra  proses kelima  (desaturasi),  yaitu  78,32%  dengan  standar  deviasi  0,52%  dengan menggunakan  metode  transformasi  wavelet  sebagai  penghasil  koefisien  yang merupakan fitur citra.

## DAFTAR PUSTAKA
1. S.  Nilesen,  L.  Anton-Canalis,  M.  Herandez-Tejera,  ” Hand  Gesture Recognition  for  Human-Machine  Intelligence ”, Journal  of  International Conferences  in  Central  Europe  on  Computer  Graphics,  Visualization  and Computer Vision, vol.12 no 1-3 , 2004.
2. Hand Gesture. [Online]. http://en.wikipedia.org/wiki/Gesture _recognition.
3. P.  Kypson  and  W.  R.  Chitwood  Jr,  “ Robotic  Applications  in  Cardiac Surgery ”,  in Proc. International Journal of Advanced Robotic Systems, vol. 1 no 2 , 2004.
4. Visual  Signals,  Field  Manual  (FM  21/60) ,  Department  of  The  Army, Washington, DC, 1987.
5. J. Triesch and C. von der Malsburg, “ A Gesture Interface for Human-Robot- Interaction ”,  in Proc.  3rd  International  Conference  on  Face  &  Gesture Recognition, 14-16 April 1998, Japan.
6. Stern, “ Parameter Calibration for Reconfiguration of Hand Gesture Tele- Robotic  Control  System ”,  in Proc.  Japan  –  USA  Symposium  on  Flexible Automation , 19-21 July 2004, Colorado .
7. Wavelet.  [Online].  http://digilib.its.ac.id/public/ITS-Master-13567-Chapter1- 433499.pdf
8. Wavelet. [Online]. id.wikipedia.org/wiki/ Wavelet .
9. Novamizanti,  Ledya,  “ Identifikasi  Pola  Iris  Mata  Menggunakan Dekomposisi  Transformasi  Wavelet  dan  Levenshtein  Distance ”,  IT Telkom, 2009.
10. Saksono, Hanung Tyas, Achmad Rizal dan Koredianto Usman, “ Pendeteksian Kanker  Paru-Paru  dengan  Menggunakan  Transformasi  Wavelet  dan Metode  Linear  Discriminant  Analysis ”,  Fakultas  Elektro  dan  Komunikasi, ITT Bandung, Jurnal Teknologi Elektro Vol. 9 No. 1 Januari-Juni 2010 .
11. R.  C.  Gonzales  and  R.  E.  Woods, Digital  Image  Processing ,  2nd  edition, Prentice Hall, 2002.
12. H.  Yoon,  Y.  Han  and  H. Hahn,  “ Image  Contrast Enhancement based Sub- histogram  Equalization  Technique  without  Over-equalization  Noise ”, World Academy of Science, Engineering and Technology 50 , 2009.
13. D.  S.  Dhaliwal,  P.S.  Sandhu,  S.  N.  Panda,  “ Enhanced  K-Nearest  Neighbor Algorithm ”, World  Academy  of  Science,  Engineering  and  Technology  73 , 2011.
14. Cross  Validation.  [Online].  http://en.wikipedia.org/wiki/Cross-validation_ (statistics).