doi: 10.14710/teknik.v42i2.36929               Copyright © 2021, TEKNIK, p-ISSN: 0852-1697, e-ISSN: 240-9919
Perbandingan Identifikasi Penggunaan American Sign Language Menggunakan Klasifikasi Multi-Class SVM, Backpropagation Neural Network , K - Nearest Neighbor dan Naive Bayes
Vincentius Abdi Gunawan 1* , Leonardus Sandy Ade Putra 2
1 Jurusan Teknik Informatika, Fakultas Teknik, Universitas Palangka Raya Jl. Yos Sudarso, Palangka Raya, Kalimantan Tengah, Indonesia 73111 2 Jurusan Teknik Elektro, Fakultas Teknik, Universitas Tanjungpura, Jl. Prof. Dr. H. Hadari Nawawi, Pontianak, Kalimantan Barat, Indonesia 78124

## Abstrak
Komunikasi  merupakan  hal  penting  dalam  menyampaikan informasi  dari  individu  satu  ke  individu  yang lain. Namun tidak semua individu di dunia dapat berkomunikasi secara verbal. Menurut WHO, tunarungu adalah  salah  satu gangguan pendengaran  yang  dialami  oleh  466  juta orang  secara global,  dan  34  juta diantaranya  adalah  anak-anak,  sehingga  perlu  adanya  metode  pembelajaran  bahasa  non-verbal  bagi seseorang  yang  mengalami  masalah  pendengaran  tersebut.  Tujuan  dari  penelitian  ini  adalah  membuat suatu  sistem  yang  dapat  membantu  mengidentifikasi  bahasa  non-verbal  agar  mudah  dimengerti  secara real  time.  Untuk  memperoleh  tingkat  keberhasilan  yang  tinggi  dalam  sistem,  maka  dibutuhkan  metode yang  tepat,  salah  satunya  machine  learning,  didukung  dengan  penggunaan  ektraksi  ciri  wavelate  dan metode  klasifikasi  yang  berbeda  dalam  pemrosesan  citra.  Machine  learning  dipilih  dalam  perancangan sistem  ini  karena  mampu  mengenali  dan  membandingkan  hasil  klasifikasi  pada  empat  metode  yang berbeda. Empat klasifikasi yang digunakan sebagai pembanding pengenalan gerak tangan dari American Sign Language adalah klasifikasi Multi-Class SVM, Backpropagation Neural Network Perambatan Balik, K  -  Nearest  Neighbor  (K-NN)  dan  Naïve  Bayes.  Dari  pengujian  yang  telah  dilakukan  terhadap  empat metode klasifikasi dapat diperoleh tingkat keberhasilan secara berurutan sebesar 99.3%, 98.28%, 97.7% dan  95.98%.  Sehingga  dapat  disimpulkan  bahwa  klasifikasi  dengan  menggunakan  Multi-Class  SVM memiliki  tingkat  keberhasilan  tertinggi  dalam  pengenalan  bahasa  American  Sign  Language  yang mencapai  99.3%.  Keseluruhan  sistem  dirancang  dan  diuji  menggunakan  MATLAB  sebagai  software pendukung dan pengolahan data.
Kata  kunci: american  sign  language;  pengolahan  citra  digital;  wavelet;  multi-class  svm; backpropagation neural network; k - nearest neighbor; naive bayes

## Abstract
[Title: Comparison of American Sign Language Use Identification using Multi-Class SVM Classification, Backpropagation Neural Network, K - Nearest Neighbor and Naive Bayes] Communication is essential in conveying  information  from  one  individual  to  another.  However,  not  all  individuals  in  the  world  can communicate  verbally.  According  to  WHO,  deafness  is  a  hearing  loss  that  affects  466  million  people globally, and 34 million are children. So it is necessary to have a non-verbal language learning method for someone  who  has  hearing  problems.  The  purpose  of  this  study  is  to  build  a  system  that  can  identify  non- verbal language so that it can be easily understood in real-time. A high success rate in the system needs a proper method to be applied in the system, such as machine learning supported by wavelet feature extraction and  different  classification  methods  in  image  processing.  Machine  learning  was  applied  in  the  system because of its ability to recognize and compare the classification results in four different methods. The four
classifications used to compare the hand gesture recognition  from  American  Sign  Language  are the
Multi-Class SVM classification, Backpropagation Neural Network ------------------------------------------------------------------ *) Penulis Korespondensi.
E-mail: abdi.g05@gmail.com
Backpropagation,  K  -  Nearest  Neighbor  (K-NN),  and  Naïve  Bayes.  The  simulation  test  of  the  four classification  methods  that  have  been  carried  out  obtained  success  rates  of  99.3%,  98.28%,  97.7%,  and 95.98%, respectively. So it can be concluded that the classification method using the Multi-Class SVM has the highest  success rate in the introduction of American Sign Language, which reaches 99.3%. The  whole system is designed and tested using MATLAB as supporting software and data processing.
Keywords : american  sign  language;  digital  image  processing;  wavelet;  multi-class  svm; backpropagation neural network; k - nearest neighbor; naive bayes

## 1. Pendahuluan
Keterbatasan berkomunikasi merupakan hal yang tidak  diinginkan  oleh  semua  manusia.  Keterbatasan berkomunikasi  ini  dapat  disebabkan  ketika  seseorang tersebut dilahirkan, maupun disebabkan karena kecelakaan.  Tunarungu  dan  tunawicara  merupakan individu  yang  mengalami  kesulitan  dalam  berbicara maupun mendengar. Menurut World Health Organization (WHO) ( n.d.),  lebih dari 466 juta orang di dunia yang mengalami gangguan pendengaran dan lebih dari 5% populasi dunia atau  34 juta orang adalah anak- anak.  Disabilitas  yang  dialami  individu  ini  pada umumnya  terjadi  ketika  seseorang  dilahirkan  sebelum waktunya  ( premature )  (Pajar dkk. ,  2018).  Penyandang disabilitas  khususnya  tunawicara  adalah  individu  yang tidak  dapat  berbicara  dan  memiliki  karakteristik  antara lain  cadel,  bicara  tidak  jelas,  suara  sengau  dan  tidak dapat  mengeluarkan  suara  saat  berbicara.  Dalam  kasus pada  umumnya,  seorang  penderita  tuna  wicara  juga mengalami gangguan bahkan kehilangan fungsi pendengaran  (tunarungu)  yang  disebabkan  karena bawaan  lahir  dan  faktor  bawaan  (keturunan).  Individu yang mengalami keterbatasan komunikasi memiliki cara tersendiri  untuk  mengutarakan  perasaan  dan  pendapat dengan  menggunakan  komunikasi  non-verbal  atau bahasa  tubuh  seperti American  Sign  Language (ASL) sebagai  bahasa  non-verbal  yang  banyak  digunakan  di dunia.
ASL  adalah  bahasa  non-verbal  yang  memiliki sifat  linguistik  yang  sama  seperti  bahasa  verbal.  ASL menggunakan  gerakan  tangan  dan  wajah  sebagai ekspresi  mengungkapkan  kalimat  maupun  perasaan. ASL memiliki 36 gerakan tangan yang mendeskripsikan huruf  dan  angka.  Pembelajaran  bahasa  non-verbal seperti  ASL  biasanya  dapat  dilakukan  dengan  bantuan instruktur  dan  hal  ini  memerlukan  biaya  yang  tidak murah.  Sehingga  diperlukannya  alternatif  lain  untuk dapat  mempelajari  ASL  dengan  lebih  murah  bahkan tidak perlu mengeluarkan biaya.
Untuk dapat mengatasi masalah tersebut, peneliti telah  merancang  sistem  yang  dapat  digunakan  untuk melakukan  pembelajaran  ASL  secara real  time . Pembelajaran  ini  menggunakan  sistem  cerdas  yang dapat  mengoreksi  kesalahan  gerakkan  tangan  dalam
pembelajaran  ASL  dan  memberikan  informasi  posisi tangan yang benar.
Penelitian  mengenai  bahasa  non-verbal  telah dilakukan  untuk  mengatasi  permasalahan  serupa  dan dikembangkan  dalam  beberapa  tahun  terakhir  dengan berbagai  metode  penyelesaian.  Penelitian  mengenai pengenalan  ASL  dengan  menggunakan  SVM  telah dilakukan  Chong  &  Lee  (2018)  pada  26  variasi  abjad dan  dikombinasikan  dengan  10  karakter  berbeda. Pengenalan
Arabic Sign Language dengan
menggunakan Machine  Learning telah  dilakukan Deriche dkk. (2019)  dan  memperoleh  tingkat  akurasi mencapai 92% dengan metode Gaussian Mixture Model (GMM)  dan Linear  Discriminant  Analysis (LDA). Penelitian  untuk  mengenali  ekspresi  wajah  dengan menggunakan Hidden  Markov  Model (HMM)  (Cohen dkk. ,  2003),  pengenalan  postur  dalam  tampilan  2D  dan 3D dengan menggunakan Principal Component Analysis (PCA)  yang  dilakukan  untuk  mengidentifikasi  gerakan yang sesuai masih memiliki tingkat prediksi yang rendah (Boulay dkk. ,  2004),  pengenalan  gerakan  ASL  dengan menggunakan Kinect sebagai  alat  bantu  untuk memperoleh  gambar  ASL  (Bantupalli  &  Xie,  2019a; Sudiatmika dkk. ,  2019).  Pengenalan  pada  gerak  tangan bahasa  arab  dilakukan  oleh  (Khelil  &  Hamid,  2016) dengan  28  gerak  tangan  dan  10  angka  dari  0  –  9 menghasilkan  91%  keberhasilan  dengan  menggunakan metode Leap  Motion  Controller (LMC)  dan Microsoft Kinect  System .  Penelitian  sebelumnya  telah  melakukan pengujian  dengan  baik  namun  masih  memiliki kelemahan  dan  salah  satunya  adalah  biaya  yang dikeluarkan  lebih  besar  karena  menggunakan  perangkat khusus.
Dalam  artikel  ini,  penelitian  bertujuan  untuk menghasilkan sistem pembelajaran ASL secara real time dengan  lebih  mudah  dan  tidak  memerlukan  biaya  yang besar. Penerapan unsur-unsur teknologi praktis dan tepat diperlukan  sebagai  pendukung  serta  solusi  yang  efektif dalam penyelesaian masalah di atas dengan menggunakan pemrosesan citra digital.
Penelitian serupa telah dilakukan dengan menggunakan Convolutional  Neural  Network (CNN) (Prateek dkk. ,  2018),  dimana  peneliti  menggunakan  26 abjad  yang  diperoleh  dengan  menggunakan  kamera untuk  memperoleh  citra  tangan.  Penelitian  berfokus
Gambar 1. Diagram alir identifikasi dan klasifikasi gerak tangan ASL
pada satu metode klasifikasi. Data yang diuji adalah data abjad  dan  belum  mencantumkan  data  karakter  lainnya. Penelitian  mengenai  pengenalan  gerakan  tangan  juga dilakukan  oleh  Eshitha  &  Jose  (2018)  dengan menggunakan neural  network dan  dikembangkan menggunakan MATLAB dalam pengolahannya. Penelitian  ini  memiliki  sistem  kerja  yang  efisien  dalam melakukan  pelatihan  jaringan  pada  data  yang  dilatih. Penggunaan  metode  computer  vision  juga  telah dilakukan oleh Bantupalli & Xie (2019b) dengan metode CNN  dan Recurrent  Neural  Network (RNN)  dan memiliki  keberhasilan  yang  baik  namun  juga  memiliki kendala dalam membedakan antara area tangan dan area wajah. Penelitian oleh (Tripathi dkk. , 2015) menggunakan ekstraksi ciri Wavelet dan Hidden Markov Model (HMM)  sebagai  pengenalan  gestur  dapat menjelaskan  cara  dalam  pengenalan  ASL  dengan memanfaatkan nilai warna Red Green Blue (RGB) untuk mengenali bagian tangan.
Penelitian mengenai ASL telah banyak dilakukan dengan  berbagai  metode  ekstraksi  maupun  klasifikasi. Pada  penelitian  lain  biasanya  menggunakan  26  abjad dari  A  hingga  Z.  Penelitian  ini  memiliki  konsep  yang berbeda,  di  mana  pada  penelitian  ini  menggunakan  26 abjad,  gerakan  nomor  0  –  9  dan  juga  menggunakan  2 karakter  penting  yaitu  hapus  dan  spasi.  Penelitian  ini juga  memiliki  tujuan  dalam  memperoleh  perbedaan kinerja  dari  empat  metode  klasifikasi  yang  berbeda terhadap tingkat keberhasilan pembacaan ASL.
Peneliti menggunakan webcam untuk memperoleh  gambar  pengujian,  kemudian  melakukan pemrosesan  citra  untuk  memperoleh  citra  bagian gerakan  tangan.  Sistem  yang  dirancang  memiliki
kemampuan  seperti  manusia  untuk  mengenali  objek dalam  bentuk  gerakan  ASL.  Ekstraksi  ciri Wavelet digunakan  untuk  memperkecil  ukuran  data  agar  dapat diproses lebih cepat  namun tidak  mengurangi informasi penting pada citra aslinya.
Metode  klasifikasi  cerdas  digunakan  untuk menunjang  perancangan  sistem  ini  agar  diperoleh  hasil identifikasi yang memiliki akurasi tinggi. Empat metode klasifikasi  digunakan  untuk  mengetahui  kinerja  dari sistem  yang  dirancang  dalam  mengidentifikasi  gerak tangan,  antara  lain Backpropagation  Neural  Network Perambatan Balik, Multi Class Support Vector Machine ( Multi-Class  SVM ), K-Nearest  Neighbor (K-NN)  dan Naïve Bayes.
2. Metode Penelitian
Penelitian berfokus pada perbandingan identifikasi  dan  klasifikasi  pengenalan  gerak  tangan ASL  pada  setiap  metode  klasifikasi  yang  berbeda. Langkah  pertama  peneliti  mengumpulkan  data  citra dengan  2  cara  yaitu  data  yang  diperoleh  dari pengambilan seorang peraga gerakan ASL dan database Kaggle ( Kaggle , n.d.) , kemudian citra akan diolah dalam proses pra pengolahan yang berfungsi untuk memperoleh bagian tangan dari peraga dan menyesuaikan ukuran dan kontras citra. Citra kemudian akan di ekstraksi dengan menggunakan metode Wavelet . Pada  tahap  berikutnya  citra  akan  dibagi  menjadi  2 bagian data yaitu data latih dan data uji yang selanjutnya akan  di  proses  klasifikasi  dan  menentukan  keberhasilan pembacaan ASL dengan metode yang berbeda. Diagram alir  dari  identifikasi  dan  klasifikasi  gerak  tangan diperlihatkan pada Gambar 1.
Gambar 2. Diagram alir pra-pengolahan citra

## 2.1. Pengumpulan Data
Dalam penelitian ini menggunakan 304 data citra gerak tangan dari karakteristik American Sign Language yang  terdiri  dari  gerak  tangan  alphabet  dan  numerik. Data  dibagi  menjadi  dua  bagian,  190  data  digunakan sebagai  data  latih  dan  114  data  digunakan  sebagai  data uji. Data diperoleh dari 2 sumber yaitu dari pengambilan citra  yang  dilakukan  oleh  peneliti  dan  data  yang diperoleh dari database Kaggle ( Kaggle , n.d.). 2.2. Pra-pengolahan Citra
Pra-pengolahan  citra  adalah  tahapan  untuk mempersiapkan  citra  sebelum  diproses  dalam  ekstraksi ciri.  Tahap  ini  digunakan  untuk  memisahkan  bagian citra  yang  digunakan  terhadap  bagian  yang  tidak digunakan  dan  sebagai  salah  satu  tahapan  untuk mengurangi  noise  (Gatc dkk. ,  2016;  Putra dkk. ,  2018) terhadap citra gerak tangan ASL.
Citra  yang  telah  diperoleh  dari  webcam  akan dilakukan  konversi  dari  citra  dengan  format Red  Green Blue (RGB)  menjadi Hue  Saturation  Value (HSV), kemudian  citra  akan  dilakukan  thresholding  untuk menentukan  bagian  citra  yang  diperlukan.  Kemudian dilakukan proses cropping dan resizing guna memisahkan  bagian  citra  yang  diperlukan  terhadap background. Diagram  alir  dari  proses  pra-pengolahan diperlihatkan pada Gambar 2.
2.3. Ekstraksi Ciri Wavelet
Wavelet merupakan  salah  satu  metode  ekstraksi ciri yang dapat diartikan sebagai gelombang mini ( small wave ).  Kinerja  dari  metode Wavelet adalah  dapat mengonversi  suatu  sinyal  ke  dalam  sederetan  sinyal Wavelet dalam  gelombang  mini. Wavelet mampu mengelompokkan  energi  citra  dan  terkonsentrasi  pada sekelompok  kecil  koefisien,  sedangkan  pada  kelompok
koefisien  yang  memiliki  sedikit  energi  citra  dapat dihilangkan tanpa mengurangi nilai informasi dari suatu citra  tersebut  (Kurniawan  &  Harjoko,  2013;  Putra dkk. , 2018).
Proses dekomposisi pada Wavelet dapat digunakan  untuk  memperlihatkan  data  ke  dalam komponen  frekuensi  yang  berlainan  dengan  resolusi yang  sesuai  dengan  skalanya.  Koefisien Wavelet dapat diimplementasikan sebagai transformasi Wavelet dengan menggunakan  algoritma  piramida  ( pyramid  algorithm ), yang diperlihatkan pada Gambar 3.
Pada  dekomposisi Wavelet level  satu  dengan h(n)  adalah  tapis  pelewat  bawah,  g(n)  adalah  tapis pelewat atas adalah koefisien rerata, , ,  dan dimana
masing-masing adalah koefisien horizontal, vertikal dan diagonal.
2.4. Klasifikasi
Penelitian  ini  menggunakan  empat  metode klasifikasi  yang  berbeda.  Hal  ini  diperlukan  untuk mengetahui  keakuratan  dari  identifikasi  gerak  tangan ASL.  Metode  klasifikasi  yang  digunakan,  antara  lain adalah Backpropagation  Neural  Network , Support Vector  Machine (SVM),  K-Nearest  Neighbor  (K-NN) dan Naïve Bayes.
Gambar 3. Bagan Algoritma Piramida
Keterangan:
Gambar 4. Arsitektur Backpropagation Neural Network Perambatan Balik
1.  Lapisan  input  (1  buah),  terdiri  dari  1  X  input satuan.
2.  Lapisan  tersembunyi  (setidaknya  1  buah),  terdiri dari 1 unit Y tersembunyi.
3.  Lapisan  output  (1  buah),  terdiri  dari  1  hingga  M unit output.
Gambar 5. Multi-Class Support Vector Machine
2.4.1. Backpropagation Neural Network
Jaringan  Syaraf  Tiruan  Perambatan  Balik merupakan salah  satu metode  klasifikasi yang didasarkan  pada  algoritma  kesalahan.  Pada  metode  ini, kesalahan  merupakan  suatu  nilai  yang  digunakan sebagai perbaikan perhitungan dengan tujuan meningkatkan bobot pada setiap neuron. Pada algoritma ini,  berat  pada  setiap  neuron  terdiri  dari  banyaknya lapisan  (Putra dkk. ,  2020).  Arsitektur  jaringan  dapat diperlihatkan pada Gambar 4.
2.4.2. Multi Class Support Vector Machine
Multi-Class  Support  Vector  Machine merupakan salah  satu  metode  dalam  model supervised  learning . SVM bekerja dengan memaksimalkan hyperplane untuk membatasi  setiap  kelas  data.  Dengan  menggunakan Multi-Class SVM  peneliti  dapat  membagi  kelas  data dengan  banyak hyperplane .  Sehingga  perlu  dilakukan pelatihan  terhadap  data  latih  agar  memperoleh  kelas sesuai dengan nilai kelompoknya. Gambar 5 memperlihatkan Multi-Class SVM.
2.4.3. K-Nearest Neighbor
K-NN  adalah  metode  klasifikasi  yang  dapat terhadap  objek  dengan  berdasarkan  data  pembelajaran dengan  menentukan  nilai  jarak  terdekat  antar  objek. Semakin  kecil  nilai  jarak  terhadap  sebuah  objek,  maka nilai  tersebut  akan  memiliki  tingkat  kemiripan  yang tinggi.
√∑ (1)
dan adalah vektor kedua jarak yang akan dihitung dan N menyatakan panjang vektor tersebut.
2.4.4. Naïve Bayes
Metode Naïve  Bayes merupakan  salah  satu metode machine learning yang menggunakan probabilitas dan statistik dalam perhitungannya. Algoritma  ini  dapat  memprediksi  peluang  pada  nilai yang akan muncul berdasarkan pengalaman perhitungan sebelumnya.  Persamaan  dari  metode Naïve  Bayes dapat diperlihatkan dengan Persamaan 2.
(2)
Dimana  x  adalah  data  dengan  kelas  yang  belum diketahui,  c  adalah  hipotesis  data  dengan  suatu  kelas spesifik, P(c|x) adalah probabilitas hipotesis berdasarkan kondisi, P(c) adalah probabilitas hipotesis, P(x|c) adalah probabilitas  pada  kondisi  hipotesis,  dan  P(x)  adalah probabilitas c.

## 3. Hasil dan Pembahasan
Pengujian  dilakukan  pada  jarak  7  meter  dengan menggunakan  webcam  sebagai  penangkap  citra  dan diperlihatkan  pada  Gambar  6.  Pada  Gambar  7 memperlihatkan Graphical  User  Interface (GUI)  dari sistem  identifikasi  gerak  tangan  ASL  yang  terbagi menjadi  beberapa  model  gambar  dan  memperlihatkan tahapan dalam proses identifikasi.
Dengan  menggunakan  pemrosesan  citra  peneliti dapat mengambil citra yang diperlukan dan menghilangkan  citra  yang  tidak  diperlukan,  kemudian peneliti  melakukan  ekstraksi  ciri  terhadap  citra  tersebut untuk  memperoleh  citra  dengan  ukuran  data  yang bernilai  lebih  kecil  namun  memiliki  seluruh  informasi yang  diperlukan  untuk  proses  klasifikasi.  Klasifikasi pada  penelitian  ini  menggunakan  empat  metode
doi: 10.14710/teknik.v42i2.36929               Copyright © 2021, TEKNIK, p-ISSN: 0852-1697, e-ISSN: 240-9919
klasifikasi  yang  berbeda,  sehingga  dapat  diketahui metode yang memiliki tingkat akurasi yang tertinggi.
Pada  GUI  memperlihatkan  hasil  dari  identifikasi dengan  menggunakan  metode  yang  berbeda.  Kita  dapat menentukan desimasi dari ekstraksi ciri yang digunakan. Desimasi  digunakan  sebagai  hasil  dari  ekstraksi  ciri Wavelet dengan  mengakibatkan  suatu  citra  memiliki ukuran piksel yang lebih kecil dari citra aslinya. Ukuran citra  yang  memiliki  piksel  rendah  masih  memiliki informasi  penting  yang  diberikan  oleh  citra  aslinya. Dalam  pengujian  ini  terdapat  4  variasi  desimasi  yang disediakan, diantaranya desimasi 64 x 64 piksel, 32 x 32 piksel, 16 x 16 piksel dan 8 x 8 piksel. Pada tahap akhir terdapat informasi mengenai hasil dari pengujian dengan nilai  pendekatan  yang  dimiliki  oleh  citra  gerak  tangan ASL yang dilakukan oleh penguji.
Sebagai contoh bahwa pengujian pada gambar di atas  memperlihatkan  penguji  yang  sedang  melakukan gerak  tangan  ASL  dengan  memberi  isyarat  angka  8, kemudian  diproses  pada  system  yang  diperlihatkan  dari citra asli kemudian  mengalami pemrosesan citra hingga memperoleh bagian tangan yang diperlukan. Dari bagian citra  tersebut  ditentukan  desimasi  yang  akan  digunakan dan  memberikan  hasil  pengujian  sesuai  dengan  isyarat yang dikirimkan oleh penguji yaitu angka 8.
Gambar  8  memperlihatkan  sebagian  dari  proses penguji  dalam  melakukan  gerak  tangan  ASL  yang dilakukan  secara real  time. Data  yang  diperoleh  akan
diproses  untuk  diketahui  hasil  dari  identifikasi  terhadap data  latih.  Berikut  adalah  proses  dari  pemrosesan  citra, ekstraksi ciri dan klasifikasi.

## 3.1.  Pra-pengolahan Citra
Pra-pengolahan  citra  merupakan  proses  untuk memperoleh  bagian  citra yang  diperlukan  dan menghilangkan  bagian  citra  yang  tidak  diperlukan. Proses  ini  juga  bertujuan  untuk  memperbaiki  kualitas citra  sebelum  masuk  pada  proses  ekstraksi  ciri.  Dalam proses pra-pengolahan citra, sebuah citra akan dilakukan konversi dari  citra Red Green Blue (RGB) ke citra Hue Saturation  Value (HSV)  dan  kemudian  dilakukan threshold  dengan  nilai  tertentu  untuk  memperoleh bagian  tangan  yang  mewakilkan  karakter  ASL.  Berikut merupakan  proses  dari  pra-pengolahan  citra  yang ditunjukkan pada Gambar 9.
Gambar 6. Ilustrasi pengambilan citra gerak tangan.
Gambar 7. GUI identifikasi gerakan tangan ASL
Gambar 8. Contoh gambar pengujian.
Gambar 9. Pemrosesan citra gerak tangan.

## TEKNIK, 42 (2), 2021, 143

## 3.2.  Ekstraksi Ciri
Pengujian  dilakukan  untuk  mengetahui  kinerja dari  sistem  dengan  melakukan  perbandingan  pada desimasi yang digunakan serta metode klasifikasi cerdas yang  berbeda-beda.  Desimasi  pada Wavelet digunakan dengan mengakibatkan nilai dari piksel citra mengalami perubahan. Perubahan nilai pada piksel akan mengakibatkan  suatu  citra  memiliki  nilai  piksel  yang lebih  kecil  dari  citra  aslinya.    Perbedaan  citra  setelah dilakukan  ekstraksi  ciri  dengan  metode Wavelet dapat diperlihatkan pada Gambar 10.
Terlihat  bahwa  citra  awal  adalah  citra  dari Gerakan  tangan  menunjukkan  angka  8  (delapan) kemudian  dilakukan  ekstraksi  terhadap  citra  itu sebanyak 4 kali dengan desimasi 64 x 64 piksel, 32 x 32 piksel, 16 x 16 piksel dan 8 x 8 piksel. Arti dari 64 x 64 piksel adalah suatu citra asli dengan ukuran piksel 312 x 260  piksel  diekstrak  hingga  berukuran  64  x  64  piksel menggunakan  metode Wavelet .  Pemrosesan  ini  perlu dilakukan  agar  sistem  dapat  mengidentifikasi  gerak tangan dengan lebih cepat.
Metode ekstraksi yang digunakan tidak mengurangi  nilai  atau  informasi  penting  yang  terdapat pada citra. Sehingga dapat dikatakan bahwa citra dengan ukuran 312 x 260 piksel  memiliki informasi  yang  sama dengan  citra  berukuran  64  x  64  piksel.  Namun  terlihat bahwa  semakin  kecil  nilai  desimasi  menghasilkan ukuran  citra  akan  semakin  kecil  dan  semakin  buram ( blur ).
Gambar  11  –  13  memperlihatkan  proses  dari pemrosesan  citra  digital  dalam  penelitian  ini.  Terlihat bahwa  terdapat  3  gambar  yang  menunjukkan  citra  dari gerak  tangan  ASL  huruf  A  sampai  dengan  Z  dan terdapat  2  karakter  yaitu  spasi  dan  delete.  Gambar  di bawah memiliki 9 baris yang memiliki hasil pemrosesan yang  berbeda.  Baris  pertama,  menunjukkan  citra  asli gerak  tangan  ASL  yang  menunjukkan  28  model  gerak tangan.  Baris  kedua,  hasil  dari  citra  yang  dilakukan
proses konversi RGB ke HSV. Baris ketiga, citra dengan nilai  Value  yang  akan  dilakukan threshold bagian  citra yang  diperlukan  dan  nantinya  akan  menghilangkan bagian background citra.
Baris  keempat,  citra  dilakukan  pembalikan  nilai warna  agar  bagian  yang  digunakan  menjadi  citra berwarna  hitam.  Baris  kelima,  dilakukan  penghilangan objek-objek  kecil  pada  citra  yang  tidak  digunakan  dan mempertahankan  bagian  citra  yang  diperlukan  dalam ekstraksi  ciri.  Baris  keenam,  citra  yang  telah  dilakukan ekstraksi  ciri  dengan  menggunakan  desimasi  64  x  64 piksel.    Baris  ketujuh,  citra  yang  telah  dilakukan ekstraksi  ciri  dengan  menggunakan  desimasi  32  x  32 piksel.    Baris  kedelapan,  citra  yang  telah  dilakukan ekstraksi  ciri  dengan  menggunakan  desimasi  16  x  16 piksel.  Baris  kesembilan,  citra  yang  telah  dilakukan ekstraksi  ciri  dengan  menggunakan  desimasi  8  x  8 piksel.

## 3.3 Proses Klasifikasi
Pada  proses  klasifikasi  dengan  menggunakan metode  yang  berbeda-beda  memperoleh  hasil  yang berbeda  pula.  Proses  klasifikasi  dengan  menggunakan Backpropagation  Neural  Network Perambatan  Balik dapat diperlihatkan pada Gambar 14.
Gambar  14  memperlihatkan  hasil  dari  pelatihan dengan 332 E pochs yang diperlukan untuk sampai pada target  atau  kondisi  ideal.  Hasil  dari  pelatihan Backpropagation  Neural  Network di  atas  memperoleh keberhasilan  pelatihan  99%.  Sehingga  pelatihan  dengan menggunakan Backpropagation  Neural  Network dapat digunakan  sebagai  pembanding  dari  pengujian  yang dilakukan.
Gambar  15  memperlihatkan  hasil  dari  pelatihan dengan Multi-Class  Support  Vector  Machine yang memperlihatkan  antara  sebaran  kelas  data  latih  yang ditandai  oleh  bentuk  ‘O’  dan  terdapat  data  uji  yang diperlihatkan dengan bentuk ‘*’.
Gambar 10. Memperlihatkan hasil dari ekstraksi ciri Wavelet dengan variasi desimasi.
doi: 10.14710/teknik.v42i2.36929               Copyright © 2021, TEKNIK, p-ISSN: 0852-1697, e-ISSN: 240-9919
Pada  pelatihan  dengan  menggunakan K-Nearest Neighbor dan Naïve  Bayes diperoleh  hasil  pelatihan pada  setiap  desimasi  yang  berbeda  dengan  nilai  akurasi yang  diperoleh  relatif  tinggi.  Hasil  dari  pelatihan tersebut dapat diperlihatkan pada Tabel 1.
Pelatihan  yang  menggunakan  metode  klasifikasi KNN  memperoleh  tingkat  pelatihan  tertinggi  dengan nilai  akurasi  98%  pada  desimasi  32  x  32  piksel. Sedangkan pada pelatihan dengan menggunakan metode Naïve  Bayes menghasilkan  tingkat  akurasi  tertinggi dengan  nilai  88%  pada  desimasi  64  x  64  piksel.
Gambar 11. Proses dari ekstraksi ciri pada huruf A sampai dengan J.
Gambar 12. Proses dari ekstraksi ciri pada huruf K sampai dengan T.
doi: 10.14710/teknik.v42i2.36929               Copyright © 2021, TEKNIK, p-ISSN: 0852-1697, e-ISSN: 240-9919
Sehingga dari kedua pelatihan ini dengan konsep metode pendekatan  dengan  nilai  jarak  terlihat  bahwa  metode KNN lebih unggul dalam pelatihan.
3.4 Hasil Pengujian
Dalam  pengujian  yang  dilakukan  dengan menggunakan  190  gerak  tangan  ASL  yang  bervariasi. Berbeda  dengan  penelitian  serupa,  penelitian  ini  telah menggunakan  data  kombinasi  dari  abjad,  angka  dan
karakter.  Dengan  adanya  desimasi  pada Wavelet memiliki pengaruh terhadap hasil pembacaan. Perbedaan  metode  klasifikasi  yang  digunakan  juga mempengaruhi  hasil  dari  tingkat  keberhasilan  pada setiap penelitian serupa yang menguji pada data ASL.
Penggunaan data sebanyak 62,5% atau berjumlah  190  data  citra  telah  dapat  memperoleh klasifikasi dengan hasil yang tinggi. Hal ini dapat terjadi karena  citra  data  latih  menggunakan  gambar  citra  yang hanya  menunjukkan  bagian  tangan  saja,  sehingga memliki  resiko  noise  yang  lebih  kecil.  Terlihat  bahwa data  citra  latih  telah  ditampilkan  pada  Gambar  11  –  13 yang  hanya  memperlihatkan  bagian  tangan.    Berbeda halnya  dengan  data  citra  uji  yang  mengambil  hampir 40% objek di area badan untuk dideteksi dan dipisahkan
Gambar 13. Proses dari ekstraksi ciri pada huruf U sampai dengan Z serta karakter delete dan spasi.
Gambar 14. Memperlihatkan hasil dari pelatihan gerak tangan ASL.
Tabel 1. Akurasi pelatihan dengan menggunakan KNN dan Naïve Bayes Metode Klasifikasi Variasi Desimasi (Piksel) 64 x 64 32 x 32 16 x 16  8 x 8 K-Nearest Neighbor 98% 93% 88% 85% Naïve Bayes 88% 85% 82% 75%
doi: 10.14710/teknik.v42i2.36929               Copyright © 2021, TEKNIK, p-ISSN: 0852-1697, e-ISSN: 240-9919
antara  objek  tangan  terhadap  objek  lainnya  yang  tidak digunakan.  Proses  pengujian  yang  dilakukan  terlihat pada  Gambar  7  yang  memperlihatkan  bagian  atas  dari anggota  tubuh  namun  hanya  mengenali  bagian  objek tangan.
Pengujian  menggunakan  metode  ekstraksi  ciri Wavelet dengan  4  variasi  desimasi.  Variasi  desimasi yang digunakan adalah 64 x 64 piksel, 32 x 32 piksel, 16 x  16  piksel  dan  8  x  8  piksel.  Setiap  variasi  desimasi telah dilakukan identifikasi pada metode klasifikasi yang berbeda.  Hasil  dari  pengujian  tersebut  terlihat  pada Tabel  2.  Tabel  2  memperlihatkan  pengujian  dengan
variasi  desimasi  terhadap  metode  klasifikasi  yang berbeda. Akurasi tertinggi pada pengujian terdapat pada desimasi  64  x  64  piksel  dengan Multi-Class  SVM sebagai  metode  terbaik  mencapai  99.43%.  Kemudian pada  metode Backpropagation  Neural  Network akurasi tertinggi  mencapai  98.28%  dengan  menggunakan desimasi  64  x  64.  Sedangkan  untuk  metode  KNN diperoleh  nilai  akurasi  tertinggi  pada  desimasi  32  x  32 piksel dengan nilai akurasi 97.7%. Metode Naïve Bayes memperoleh  nilai  akurasi  tertinggi  yaitu  95.98%  pada desimasi 16 x 16.
Perbedaan tingkat akurasi dipengaruhi oleh setiap karakteristik  dari  metode  klasifikasi  yang  digunakan.
Gambar 15. Hasil dari pelatihan dengan menggunakan Multi-Class Support Vector Machine .
Tabel 3. Rerata waktu yang diperoleh dalam pengujian pada variasi desimasi
Variasi Desimasi (piksel) Classification Method Backpropagation Neural Network Multi-Class SVM K-Nearest Neighbor Naïve Bayes 64 x 64 0.885484 0.704373 0.800524 0.955503 32 x 32 0.619818 0.561838 0.579621 0.735138 16 x 16 0.190121 0.461144 0.364354 0.393276 8 x 8 0.426059 0.223548 0.216822 0.179903
Tabel 2. Pengujian dengan variasi desimasi terhadap metode klasifikasi
Varian Desimasi (piksel) Classification Method Backpropagation Neural Network Multi-Class SVM K-Nearest Neighbor Naïve Bayes 64 x 64 98.28% 99.43% 93.68% 86.21% 32 x 32 96.55% 98.85% 97.7% 93.68% 16 x 16 89.66% 98.85% 88.51% 95.98% 8 x 8 89.8% 92.53% 85.63% 79.89%

## TEKNIK, 42 (2), 2021, 147
doi: 10.14710/teknik.v42i2.36929               Copyright © 2021, TEKNIK, p-ISSN: 0852-1697, e-ISSN: 240-9919
Metode  klasifikasi Backpropagation  Neural  Network dan Multi-Class SVM memperoleh nilai rata-rata akurasi pengenalan  berturut-turut  adalah  93.57%  dan  97.42%. Sedangkan  pada  metode  klasifikasi  KNN  dan  Naïve Bayes  memperoleh  nilai  rata-rata  akurasi  pengenalan secara  berurutan  91.38%  dan  88.94%.  Terlihat  bahwa klasifikasi  terbaik  untuk  mengidentifikasi  gerak  tangan ASL menggunakan metode Multi-Class SVM . Keberhasilan  yang  lebih  tinggi  dikarenakan karakteristik sistem ini yang lebih kompleks dari metode lainnya. Multi-Class  SVM terlebih  dahulu  memisahkan data pada bagian-bagian yang berbeda untuk menemukan  nilai  dominan  pada  suatu  data  yang diproses.  Hal  ini  menjadikan  metode  ini  dapat mengenali  perbedaan  setiap  data  yang  masuk  pada klasifikasi dengan lebih detail.
Penelitian ini juga memperhatikan dari segi rerata waktu  yang  diperlukan  pada  setiap  metode  klasifikasi untuk  melakukan  proses  pengenalan  pada  data  uji berdasarkan  variasi  desimasi  yang  diperlihatkan  pada Tabel  3.  Rerata  waktu  yang  diperoleh  pada  pengujian memiliki  nilai  yang  berbeda  pada  setiap  metode klasifikasi.  Terlihat  pada  Tabel  3,  rerata  waktu  tercepat untuk melakukan pengenalan pada desimasi 64 x 64 dan 32  x  32  diperoleh  dengan  menggunakan  metode Multi- Class  SVM ,  kemudian  pada  desimasi  16  x  16  diperoleh dengan  menggunakan  metode Backpropagation  Neural Network dan  pada  desimasi  8  x  8  diperoleh  dengan menggunakan  metod e  Naïve  Bayes .  Rerata  waktu  perlu diperhatikan  agar  dapat  menentukan  metode  klasifikasi yang  memiliki  tingkat  keberhasilan  yang  tinggi  dengan waktu yang singkat.
Pengujian yang telah dilakukan memperoleh hasil yang diharapkan sesuai dengan penelitian. Terlihat pada Tabel 2,  telah  memperlihatkan  hasil  pembacaan  dengan akurasi yang tinggi. Presentase klasifikasi yang tinggi di pengaruhi  oleh  ekstraksi  ciri Wavelet yang  memiliki nilai desimasi bervariasi. Desimasi ini sangat mempengaruhi  dari  hasil  klasifikasi  pada  sistem. Terlihat  bahwa  penggunaan  desimasi  dengan  piksel yang  lebih  besar  akan  memiliki  hasil  klasifikasi  yang lebih baik. Terlihat pada Gambar 10 bahwa penggunaan desimasi 64 x 64 piksel memiliki bentuk citra yang lebih jelas  dengan  ukuran  data  yang  lebih  kecil  dari  aslinya namun  tetap  dapat  mewakili  data  citra  sesungguhnya. Identifikasi  dan  klasifikasi  pengenalan  gerak  tangan ASL  memiliki  tingkat  pembacaan  tertinggi  dengan menggunakan  metode  klasifikasi Multi-Class SVM dengan  tingkat  akurasi  98.85%  dengan  rerata  waktu klasifikasi 0.57 detik

## 4. Kesimpulan
Sistem  telah  dapat  mengidentifikasi  bahasa isyarat  dan  gerak  tangan  dengan  menggunakan  variasi metode  klasifikasi  yang  berbeda.  Perbandingan  pada
setiap  metode  klasifikasi  terhadap  pengenalan  telah memiliki  hasil  keberhasilan  yang  berbeda.  Tingkat keberhasilan  yang  paling  tinggi  diperoleh  dengan menggunakan  metode  klasifikasi Multi-Class SVM. Dengan keberhasilan dalam pengenalan yang baik maka dapat  dikatakan  bahwa  sistem  ini  sesuai  untuk digunakan dalam pembelajaran bahasa ASL

## Ucapan Terima Kasih
Terima  kasih  disampaikan  kepada  Universitas  Palangka Raya  yang  telah  membantu  peneliti  dalam  pendanaan dan  fasilitas  penelitian  sehingga  dapat  diselesaikannya penelitian ini dan dapat bermanfaat bagi masyarakat.

## Daftar Pustaka
Bantupalli,  K.,  &  Xie,  Y.  (2019a).  American  Sign Language  Recognition  using  Deep  Learning  and Computer  Vision.  Proceedings  -  2018  IEEE International  Conference  on  Big  Data,  Big  Data 2018, 4896–4899. https://doi.org/10.1109/BigData.2018.8622141 Bantupalli,  K.,  &  Xie,  Y.  (2019b).  American  Sign Language  Recognition  using  Deep  Learning  and Computer  Vision.  Proceedings  -  2018  IEEE International  Conference  on  Big  Data,  Big  Data 2018, 4896–4899. https://doi.org/10.1109/BigData.2018.8622141
Boulay, B., Bremond, F., & Thonnat, M. (2004). Human Posture Recognition in Video Sequence. Control, Automation,  Robotics  and  Vision  Conference, 2004. ICARCV 2004 8th .
Chong,  T.  W.,  &  Lee,  B.  G.  (2018).  American  sign language recognition using leap motion controller with  machine  learning  approach.  Sensors (Switzerland), 18(10).
https://doi.org/10.3390/s18103554
Cohen, I., Sebe, N., Garg, A., Chen, L. S., & Huang, T. S.  (2003).  Facial  expression  recognition  from video sequences: temporal and static modeling. Computer Vision and image understanding , 91 (1-2), 160-187. https://doi.org/10.1016/S1077-3142(03)00081-X Deriche,  M.,  Aliyu,  S.,  &  Mohandes,  M.  (2019).  An Intelligent  Arabic  Sign  Language  Recognition System using a Pair of  LMCs  with  GMM Based Classification.  IEEE  Sensors  Journal,  19(18),  1– 12. https://doi.org/10.1109/JSEN.2019.2917525
Eshitha,  K.  V.,  &  Jose,  S.  (2018).  Hand  Gesture Recognition  Using  Artificial  Neural  Network. 2018  International  Conference  on  Circuits  and
Systems  in  Digital  Enterprise  Technology, ICCSDET 2018, 2(1), 1–8. https://doi.org/10.1109/ICCSDET.2018.8821076
Gatc,  J.,  Gunawan,  V.  A.,  &  Maspiyanti,  F.  (2016).
Chlorophyll-A  concentration  estimation  for seaweed  identification  in  Kupang  bay  using MODIS  aqua  data.  2016  IEEE  6th  International Conference on Communications and Electronics, IEEE ICCE 2016, 289–293. https://doi.org/10.1109/CCE.2016.7562651
Kaggle.  (n.d.).  ASL  Alphabet.  Retrieved  June  6,  2020, from https://www.kaggle.com/grassknoted/asl- alphabet/data
Khelil,  B.,  &  Hamid,  A.  (2016).  Hand  gesture recognition  using  Leap  Motion  Controller.  IJSR, 5(10), 436–441.
Kurniawan,  W.,  &  Harjoko,  A.  (2013).  Pengenalan Bahasa  Isyarat  dengan  Metode  Segmentasi Warna  Kulit  dan  Center  of  Gravity.  IJEIS (Indonesian Journal of Electronics and Instrumentation Systems), 1(2), 67–78.
https://doi.org/10.22146/ijeis.1964
Pajar,  T.  Y.,  Purwanto,  D.,  &  Kusuma,  H.  (2018). Pengenalan Bahasa Isyarat Tangan Menggunakan Depth Image. Jurnal Teknik ITS, 7(1). https://doi.org/10.12962/j23373539.v7i1.28567 Prateek,  S.  G.,  Jagadeesh,  J.,  Siddarth,  R.,  Smitha,  Y., Hiremath,  P.  G.  S.,  &  Pendari,  N.  T.  (2018). Dynamic  Tool  for  American  Sign  Language Finger  Spelling  Interpreter.  Proceedings  -  IEEE 2018  International  Conference  on  Advances  in Computing, Communication Control and Networking, ICACCCN 2018, 596–600.
https://doi.org/10.1109/ICACCCN.2018.8748859
Putra,  L.  S.  A.,  Isnanto,  R.R.,  Triwiyatno,  A.,  & Gunawan,  V.  A.  (2020).  Identification  of  Heart Disease  With  Iridology  Using  Backpropagation Neural  Network. 2018  2nd  Borneo  International Conference on Applied Mathematics and Engineering (BICAME). 138–142. https://doi.org/10.1109/bicame45512.2018.15705
09882
Putra, L. S. A., Sumarno, L., & Gunawan, V. A. (2018, October).  The  Recognition  Of  Semaphore  Letter Code  Using  Haar  Wavelet  And  Euclidean Function.  In 2018  5th  International  Conference on Electrical Engineering, Computer Science and Informatics (EECSI) , 759-763. IEEE. Sudiatmika,  I.  B.  K.,  Rahman,  F.,  Trisno,  &  Suyoto. (2019). Image forgery detection using error level analysis and deep learning. Telkomnika (Telecommunication  Computing  Electronics  and Control), 17(2), 653–659. https://doi.org/10.12928/TELKOMNIKA.V17I2.
8976
Tripathi,  K.,  Baranwal,  N.,  &  Nandi,  G.  C.  (2015). Continuous  dynamic  Indian  Sign  Language gesture  recognition  with  invariant  backgrounds. 2015  International  Conference  on  Advances  in Computing,  Communications  and  Informatics,
ICACCI 2015, 2211–2216.
https://doi.org/10.1109/ICACCI.2015.7275945. World  Health  Organization  (n.d.).  Deafness.  Retrieved June  6,  2020,  from  https://www.who.int/news- room/facts-in-pictures/detail/deafness