## Klasifikasi Gerakan Tangan Menjadi Suara Menggunakan Neural Network
Muhammad Arifan Lizamanihi 1) , Ii Munadhif 1*) , Mohammad Abu Jami’in 1) 1 Program Studi Teknik Otomasi Politeknik Perkapalan Negeri Surabaya
* iimunadhif.its@gmail.com DOI: https://doi.org/10.21107/rekayasa.v13i3.6614

## ABSTRACT
Indonesian Sign Language (BISINDO) is a language for people with hearing impairment and speech impairment. But sign language still has disadvantages when it is used for people who have never learned sign language that is normal people.  Therefore  we  need  a  tool  in  the  form  of  gloves  that  can  translate  sign  language  with  sound  output.  This instrument  consists  of  ten  flex  sensors,  two  GY521  sensors,  two  arduino  nano,  one  arduino  mega,  a  computer  and android devices. There is a classification method that is a neural network with data samples of ten hand movements that have meaning (saya, kamu, bapak, ibu, adik, tidur, bertemu, apa, maaf, hari ini) and each hand gesture twenty times. Classification results vary. (saya) get 100% success, (kamu) get 80% success, (bapak) get 60% success, (ibu) get 20%  success,  (adik)  get  90% success,  (tidur)  get 80% success,  (bertemu)  get  100% success,  (apa)  get  70%  success, (maaf) get 50% success, and (hari ini) get 90% success. The overall average is 74%.
Keywords: BISINDO, gloves, sensors, arduino, neural network, sound

## PENDAHULUAN
Secara umum komunikasi dibedakan menjadi dua  yaitu  komunikasi  verbal  dan  non  verbal. Komunikasi verbal merupakan proses komunikasi melalui  bahasa  dan  kata-kata  yang  diucapkan. Sedangkan komunikasi nonverbal ialah penyampaian  arti  (pesan)  tanpa  kata-kata  yang tercermin pada bahasa tubuh dan intonasi verbal. Contoh komunikasi nonverbal ialah menggunakan  gerak  isyarat,  bahasa  tubuh, ekspresi  wajah,  dan  kontak  mata  (Hardjana, 2003).
Komunikasi  yang  dilakukan  oleh  sesama manusia  normal  yaitu  verbal  menggunakan bahasa  atau  kata-kata  yang  diucapkan  melalui lisan.  Sedangkan  bagi  penyandang  tunawicara (tidak  dapat  berbicara)  dan  tunarungu  (tidak dapat  mendengar)  menggunakan  bahasa  non verbal yaitu bahasa isyarat. Menurut KBBI, bahasa isyarat  bahasa  isyarat  adalah  bahasa  yang menggunakan  isyarat  (gerakan  tangan,  kepala, badan dan sebagainya), khusus diciptakan untuk tunarungu, tunawicara, tunanetra, dan
sebagainya.  Salah  satu  bahasa  isyarat  yang digunakan  di  Indonesia  adalah  bahasa  isyarat Indonesia  (BISINDO)  yang  dikembangkan berdasarkan  budaya  dan  karakter  komunikasi tunarungu Indonesia (Nuryazid, 2016). Meskipun telah ditemukan bahasa isyarat bagi penyandang tunarungu  dan  tunawicara  untuk  saling berkomunikasi  dengan  satu  sama  lain,  tetapi bahasa isyarat masih memiliki kekurangan ketika digunakan  kepada  orang  yang  belum  pernah menggunakan  atau  belajar  bahasa  isyarat sebelumnya  yaitu  orang-orang  yang  dapat mendengar  dan  berbicara  atau  orang  normal. Bagi  orang-orang  yang  dapat  mendengar  dan berbicara,  belajar  bahasa  isyarat  bukanlah menjadi  suatu  keharusan,  karena  mereka  cukup menggunakan bahasa sehari-hari untuk berkomunikasi  dengan  satu  sama  lain.  Namun, lain  halnya  ketika  orang  normal  harus berkomunikasi dengan tunarungu dan tunawicara,  orang  normal  harus  mengerti terlebih  dahulu  bahasa  isyarat  yang  mereka gunakan agar dapat berkomunikasi dengan baik.

## Cite this as:
Lizamanihi,  M.A.,  Munadhif,  I  &  Jami’in,  M.A.  (2020). Klasifikasi  Gerakan  Tangan  Menjadi  Suara  Menggunakan Neural  Network.  Rekayasa,  13  (3),  270-276.  doi: https://doi.org/10.21107/rekayasa.v13i3.6614
© 2020 Muhammad Arifan Lizamanihi, Ii Munadhif, Mohammad Abu Jami’in
Article History: Received: Jan, 30 th 2020; Accepted: Dec, 6 th 2020 Rekayasa ISSN: 2502-5325 has been Accredited by Ristekdikti (Arjuna)  Decree:  No.  23/E/KPT/2019  August  8th,  2019 effective until 2023

## REKAYASA
Journal of Science and Technology https://journal.trunojoyo.ac.id/rekayasa Rekayasa , 2020; 13(3): 270-276 ISSN: 0216-9495 (Print) ISSN: 2502-5325 (Online)
Hal  ini  tentunya  menjadi  penghalang  bagi keduanya saat berbagi informasi dan pengalaman. Oleh karena itu diperlukan sebuah inovasi  baru  untuk  mempermudah  komunikasi antara orang normal dan tunawicara menggunakan perangkat  berupa sarung tangan yang  mampu  mengkonversi  gerakan  tangan menjadi suara.

## METODE PENELITIAN

## Perancangan Sistem
Gambar 1 adalah diagram blok perancangan sistem.  Pada  diagram  tersebut  memiliki  tiga bagian yaitu masukan berupa dua sensor flex dan dua  sensor  MPU6059  GY521.  Proses  berupa pengendali    dua  arduino  nano  dan  satu  arduino mega 2560 dan keluaran berupa aplikasi android. Sensor  flex  masing-masing  untuk  tangan  kanan dan  kiri  berfungsi  mendeteksi  kelengkungan  jari pada saat melakukan pergerakan tangan dan jari. sensor  MPU6059  GY521  masing-masing  untuk tangan kanan dan kiri berfungsi mendeteksi posisi dan  gerakan  telapak  tangan  saat  memberikan bahasa  isyarat.  Arduino  nano  masing-masing untuk  tangan  kanan  dan  kiri  berfungsi  sebagai jembatan  data  dari  sensor  dan  mengirimkannya menuju  arduino  mega  2560.  Arduino  mega mengolah  data  agar  dapat  mengeluarkan  suara pada aplikasi android.
Gambar 1. Diagram Blok Perancangan Sistem
Nilai  masukan  sensor  flex  berupa  resistansi. Agar dapat diterima oleh arduino maka diperlukan rangkaian  pembagi  tegangan.  Sedangkan  nilai masukan sensor GY 521 berupa sudut yaw, pitch, dan roll yang diperoleh dari konversin nilai pada sumbu  x,  sumbu  y,  dan  sumbu  z  dari  gyroscope sensor.  Jika  nilai  masukan  sensor  telah  terbaca arduino, maka dilakukan proses klasifikasi dengan neural network sehingga perangkat android dapat mengeluarkan suara sesuai hasil klasifikasi.

## Perancangan Hardware
Perancangan  hardware  pada  Gambar  2 menjelaskan  tentang  beberapa  komponen hardware yang digunakan. Peneliti menggunakan dua  jenis  sensor  yang  dipasang  pada  masing- masing  tangan  untuk  mendeteksi  perubahan posisi  jari  dan  gerakan  telapak  tangan.  Terdapat lima buah sensor flex dan satu buah modul sensor MPU6050 GY521. Pada Arduino Nano dan Arduino Mega  2560  juga  dipasang  masing-masing  satu buah  modul  komunikasi  wireless  NRF24L01  agar dapat mengirim dan menerima data sensor yang telah  terbaca.  Selanjutnya  Arduino  Mega  2560 mengirim  hasil  klasifikasi  ke  perangkat  Android menggunakan Modul Bluetooth HC-05.

## Gambar 2. Perancangan Hardware

## Perancangan Mekanik
Perancangan  mekanik  tampak  atas  pada Gambar  3  menunjukkan  posisi  sensor  flex  dan MPU 5060. Sensor flex ditempatkan pada masing- masing  jari  dan  sensor  MPU5060  ditempatkan pada  punggung  dari  telapak  tangan.  Terdapat kontrol  box  yang  digunakan  sebagai  tempat pengendali arduino dan sumber tegangan.
Gambar 3. Perancangan Mekanik

## Pengambilan Data Sampel
Untuk  mendapatkan  data  sampel  dilakukan dengan  cara  uji  coba  pada  sarung  tangan penerjemah  bahasa  isyarat  sekaligus  merekam data  sensor  dan  diteruskan  ke  arduino  mega 2560.  Terdapat  10  gerakan  bahasa  isyarat BISINDO  pada  saat  pengambilan  data  dan masing-masing  gerakan  bahasa  isyarat  harus  di ulangi  sebanyak  20  kali,  sehingga  secara keseluruhan  didapatkan  200  data  sampel.  Data- data  tersebut  dikelompokkan  menjadi  dua kelompok  yaitu  kelompok  data  gerakan  satu tangan dan kelompok data gerakan dua tangan. Tabel 1 menunjukkan 10 gerakan sampel bahasa isyarat yang digunakan pada penelitian ini Tabel 1.  Gerakan Sampel Bahasa Isyarat No. Expresi gerakan isyarat Ket. No. Expresi gerakan isyarat Ket. 1 Saya 4 Tidur
2
Kamu 5 Bertemu 3 Bapak 6 Apa 4 Ibu 9 Maaf 5 Adik 10 Hari Ini

## Training data dengan neural network
Pada  proses  training  data,  200  data  sampel ditulis  dalam  bentuk  matriks.  Data  yang  telah terkumpul dikelompokkan menjadi dua yaitu data dengan masukan 8 (satu tangan) dan masukan 16 (dua  tangan).  Matrik  output  harus  dibuat  dari susunan  bilangan  biner  yang  diletakkan  sesuai urutan  nomor  klasifikasi.  Baris  pada  matriks merupakan sampel dan kolom matriks merupakan nomor klasifikasi.
Tabel 2. Matrik Output Klasifikasi No.
Klasifikasi Matrik 1 Saya [1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 2 Kamu [0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 3 Bapak [0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 4 Ibu [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 5 Adik [0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 6 Tidur [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0] 7 Bertemu [0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0] 8 Apa [0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0] 9 Maaf [0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0] 10 Hari Ini [0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0]

## HASIL DAN PEMBAHASAN
Pada  penelitian  ini,  hasil  pengujian  dilakukan dengan  cara  melakukan  semua  gerakan  secara bergantian.  Masing-masing  gerakan  diulang sebanyak  sepuluh  kali.  Setelah  melakukan  satu gerakan,  maka  akan  diamati  hasil  klasifikasi berupa  suara.  Kemudian  dihitung  persentase keberhasilan  dan  rata-rata  keberhasilan  pada
masing-masing  gerakan  dan  persentase  secara keseluruhan  serta  rata-rata  keberhasilan  pada semua gerakan.
Gambar 4. (a) Pengujian Gerakan “Saya” (b) Pengujian Gerakan “Kamu” Tabel 3. Hasil Pengujian Klasifikasi Gerakan“Saya”
No Masukan gerakan Keluaran suara Persentase keberhasilan(%) 1 Saya Saya 100 2 Saya Saya 100 3 Saya Saya 100 4 Saya Saya 100 5 Saya Saya 100 6 Saya Saya 100 7 Saya Saya 100 8 Saya Saya 100 9 Saya Saya 100 10 Saya Saya 100 Rata-rata 100
No. Expresi gerakan isyarat Ket. No. Expresi gerakan isyarat Ket.
7
Ibu 9
Maaf 8 Adik
10 Hari Ini
Tabel  4.  Hasil  Pengujian  Klasifikasi  Gerakan “Kamu”
No Masukan gerakan Keluaran suara Persentase keberhasilan(%) 1 Kamu Kamu 100 2 Kamu Kamu 100 3 Kamu Tidak Sesuai 0 4 Kamu Kamu 100 5 Kamu Kamu 100 6 Kamu Tidak Sesuai 0 7 Kamu Kamu 100 8 Kamu Kamu 100 9 Kamu Kamu 100 10 Kamu Kamu 100 Rata-Rata 80
Gambar 5. (a) Pengujian Gerakan “Bapak” (B) Pengujian Gerakan “Ibu” Tabel  5.  Hasil  Pengujian  Klasifikasi  Gerakan “Bapak ” No Masukan gerakan Keluaran suara Persentase keberhasilan (%) 1 Bapak Bapak 100 2 Bapak Tidak Sesuai 0 3 Bapak Bapak 100 4 Bapak Bapak 100 5 Bapak Tidak Sesuai 0 6 Bapak Bapak 100 7 Bapak Bapak 100 8 Bapak Tidak Sesuai 0 9 Bapak Tidak Sesuai 0 10 Bapak Bapak 100 Rata-rata 60 Tabel 6. Hasil Pengujian Klasifikasi Gerakan “Ibu” No Masukan gerakan Keluaran suara Persentase keberhasilan (%) 1 Ibu Tidak Sesuai 0 2 Ibu Tidak Sesuai 0 3 Ibu Ibu 100 4 Ibu Ibu 100 5 Ibu Tidak Sesuai 0 6 Ibu Tidak Sesuai 0 7 Ibu Tidak Sesuai 0 8 Ibu Tidak Sesuai 0 9 Ibu Tidak Sesuai 0 10 Ibu Tidak Sesuai 0 Rata-Rata 20
Gambar 6. (a) Pengujian Gerakan “Adik”
(b) Pengujian Gerakan “Tidur”
Tabel 7. Hasil Pengujian Klasifikasi Gerakan “Adik”
No Masukan gerakan Keluaran suara Persentase keberhasilan (%) 1 Adik Adik 100 2 Adik Adik 100 3 Adik Adik 100 4 Adik Adik 100 5 Adik Adik 100 6 Adik Adik 100 7 Adik Adik 100 8 Adik Adik 100 9 Adik Tidak Sesuai 0 10 Adik Adik 100 Rata-Rata 90 Tabel  8.  Hasil  Pengujian  Klasifikasi  Gerakan “Tidur” No Masukan gerakan Keluaran suara Persentase keberhasilan(%) 1 Tidur Tidur 100 2 Tidur Tidur 100 3 Tidur Tidur 100 4 Tidur Tidur 100 5 Tidur Tidur 100 6 Tidur Tidur 100 7 Tidur Tidur 100 8 Tidur Tidur 100 9 Tidur Tidak Sesuai 0 10 Tidur Tidak Sesuai 0 Rata-Rata 80
Gambar 7. (a) Pengujian Gerakan “Bertemu” (b) Pengujian Gerakan “Apa”
Tabel 9. Hasil Pengujian Klasifikasi Gerakan “Bertemu”
No Masukan gerakan Keluaran suara Persentase keberhasilan (%) 1 Bertemu Bertemu 100 2 Bertemu Bertemu 100 3 Bertemu Bertemu 100 4 Bertemu Bertemu 100 5 Bertemu Bertemu 100 6 Bertemu Bertemu 100 7 Bertemu Bertemu 100 8 Bertemu Bertemu 100 9 Bertemu Bertemu 100 10 Bertemu Bertemu 100 Rata-Rata 100 Tabel 10. Hasil Pengujian Klasifikasi Gerakan “Apa” No Masukan gerakan Keluaran suara Persentase keberhasilan(%) 1 Apa Apa 100 2 Apa Apa 100 3 Apa Apa 100 4 Apa Apa 100 5 Apa Apa 100 6 Apa Apa 100 7 Apa Tidak Sesuai 0 8 Apa Apa 100 9 Apa Tidak Sesuai 0 10 Apa Tidak Sesuai
0 Rata-Rata 70

## Gambar 8 (a) Pengujian Gerakan “Maaf” (b) Pengujian Gerakan “Hari Ini”
Tabel 11.Hasil Pengujian Klasifikasi Gerakan “Maaf” No Masukan gerakan Keluaran suara Persentase keberhasilan(%) 1 maaf maaf 100 2 maaf tidak sesuai 0 3 maaf tidak sesuai 0 4 maaf maaf 100 5 maaf tidak sesuai 0 6 maaf maaf 100 7 maaf tidak sesuai 0 8 maaf maaf 100 9 maaf tidak sesuai 0 10 maaf maaf 100 Rata-rata 50
Tabel 12. Hasil Pengujian Klasifikasi Gerakan “Hari Ini” No Masukan gerakan Keluaran suara Persentase keberhasilan(%) 1 Hari Ini Hari Ini 100 2 Hari Ini Hari Ini 100 3 Hari Ini Hari Ini 100 4 Hari Ini Hari Ini 100 5 Hari Ini Hari Ini 100 6 Hari Ini Hari Ini 100 7 Hari Ini Hari Ini 100 8 Hari Ini Hari Ini 100 9 Hari Ini Tidak Sesuai 0 10 Hari Ini Hari Ini 100 Rata-Rata 90
Hasil  uji  menunjukkan  bahwa  pada  gerakan saya mendapatkan rata-rata keberhasilan sebesar 100%, gerakan kamu sebesar 80%, gerakan bapak sebesar  60%,  gerakan  ibu  sebesar  20%,  gerakan adik  sebesar  90%,  gerakan  tidur  sebesar  80%, gerakan  bertemu  sebesar  100%,  gerakan  apa sebesar  70%,  gerakan  maaf  sebesar  50%,  dan gerakan  hari  ini  sebesar  90%.  Rata-rata  secara keseluruhan adalah sebesar 74%.

## KESIMPULAN DAN SARAN Kesimpulan
Klasifikasi  gerakan  tangan  menjadi  suara menggunakan  neural  network  telah  berhasil dilakukan.  Hasil  klasifikasi  memiliki  beberapa variasi. Dari 10 gerakan percobaan, neural network hanya  mampu  mengklasifikasikan  dua  gerakan secara  sempurna  100%  yaitu  “saya”  dan “bertemu”. Selain dua gerakan tersebut,  masing- masing gerakan mendapat keberhasilan bervariasi.  Hasil  terendah  adalah  gerakan  “ibu” yang  hanya  20%.  Secara  keseluruhan  tingkat keberhasilannya adalah 74%.

## DAFTAR PUSTAKA
Hardjana, A. (2003). Komunikasi Intrapersonal Dan Komunikasi  Interpersonal.  Yogyakarta: Kanisius (p. 22)
Fajar,  M.  (2009).  Ilmu  Komunikasi  Teori  dan Praktek. Yogyakarta: Graha Ilmu (p. 81)
Rochmah,  N.A  &  Fitriyani,  N.  (2013).    Proses Komunikasi  Verbal  dan  Non  Verbal. Skripsi.  Universitas  Islam  Negeri  Sunan Ampel Surabaya.
Nuryazid.  (2016).  Pengembangan  Aplikasi  Kamus Bahasa Isyarat Indonesia (Bisindo) Dengan
Mengintegrasikan  Cloud  Video  Berbasis Android. Tesis Universitas Negeri Semarang. Hikmalansya,  J.K.  &  Cahyono,  D.  (2016).  Aplikasi Pembelajaran  Bahasa  Isyarat  Berbasis
Android. Jurnal INFORM Vol.1 No 2: 118- 124.
López-Noriega,  J.E.,  Fernández-Valladares,  M.I  & V.  Uc-Cetina.  (2014).  Glove-based  sign language  recognition  solution  to  assist communication for deaf users. 2014 11th International  Conference  on  Electrical Engineering,  Computing  Science  and Automatic Control (CCE), Campeche. (p. 1-
6).
Spectrasymbol  Corp.  (2014).  Flex  Sensor  Fs.  Salt Lake City, UTAH: Spectrasymbol Corp. Bhaskaran, K.A., Nair, A.G Ram, K.
Ananthanarayanan and H. R. N. Vardhan. (2016).  Smart  gloves  for  hand  gesture recognition:  Sign  language  to  speech conversion  system.  2016  International Conference on Robotics and Automation for  Humanitarian  Applications  (RAHA), Kollam. (p. 1-6).