## Pengenalan Aksara Isyarat Menggunakan Metode Hebb Rule
Muhammad Nasir 1, Amri 2 , Izziah Maulina 3*
1,2,3 Jurusan Tekniknologi Informasi dan Komputer Politeknik Negeri Lhokseumawe
1 masnasir.tmj@gmail.com, 2 amri@pnl.ac.id, 3 123izziah@gmail.com
Abstrak — Suatu isyarat dapat dikenali melalui gerakan tubuh dan gerakan mulut seseorang. Aplikasi ini dilakukan untuk pengenalan aksara isyarat,  agar  orang  –  orang  yang  tidak  berkebutuhan  khusus  lebih  mudah  menerjemahkan  aksara  isyarat  seorang  tunarungu.  Bahasa  isyarat merupakan media bagi penderita tuna rungu dan tuna wicara untuk berkomunikasi dengan sekitar.  Penelitian ini dilakakukan dengan tujuan agar  dapat  membantu  orang  yang  tidak  berkebutuhan  khusus  ketika  berkomunikasi  dengan  orang  yang  berkebutuhan  khusus.  Pengenalan aksara isyarat dapat dilakukan dengan pengenalan pola menggunakan metode Hebb Rule dengan objek huruf bahasa isyarat tangan. Cara kerja aplikasi  ini  adalah  dengan  mendeteksi  gerakan  tangan  menggunakan  kamera  dengan  mengcapture  objek.  Rancangan  ini  menggunakan perangkat  webcam.  Objek  yang  digunakan  dalam  merancang  akan  berfokus  pada  tangan  manusia.  Hasil  pengujian  mengenai  aksara  isyarat berupa keluaran huruf dan diuji pada jarak 40 cm dengan tingkat keberhasilan pengenalan 80% untuk 10 kali pengujian masing-masing huruf . Kata Kunci : hebb rule, tuna rungu,tuna wicara, pengenalan pola, isyarat tangan
Abstract — A  gesture  can  be  recognized  through  body  movements  and  movements  of  one's  mouth.  This  application  is  carried  out  for  the introduction of sign letters, so that people who do not have special needs are easier to translate the gesture of a deaf person. Sign language is a medium for people who are deaf and speechless to communicate with others. This research was carried out with the aim of being able to help people  without  special  needs  when  communicating  with  people  with  special  needs.  Recognition  of  sign  letters  can  be  done  by  pattern recognition  using  the  Hebb  Rule  method  with  object  letters  in  hand  sign  language.  The  way  this  application  works  is  to  detect  hand movements using the camera by capturing objects. This design uses a webcam device. The object used in designing will focus on the human hand.  The  test  results  regarding  sign  letters  are  in  the  form  of  letter  output  and  tested  at  a  distance  of  40  cm  with  a  success  rate  of  80% introduction for 10 times testing each letter.
Keywords : hebb rule, deaf, speech impaired, pattern recognition, hand signals

## I. P ENDAHULUAN
Bahasa isyarat  merupakan  media bagi para penderita tuna rungu  dan  tuna  wicara  untuk  berkomunikasi  dengan sekitarnya.  Gerakan  visual  tubuh  sangat  membantu  penderita agar  apa  yang  ingin  disampaikannya  lebih  mudah  dimengerti oleh pasangan komunikasinya.
Di  Indonesia  sendiri,  para  penderita  tuna  rungu  dan  tuna wicara  berkomunikasi  menggunakan  bahasa  isyarat  yang mengacu  pada  dua  sistem  yaitu  BISINDO  (Berkenalan Dengan Sistem Isyarat Indonesia) dan SIBI
(Sistem  Isyarat  Bahasa  Indonesia).  BISINDO  dikembangkan oleh  orang  tuna  rungu  sendiri  melalui  GERKATIN  (Gerakan Kesejahteraan Tuna Rungu Indonesia)[1].
Untuk  dapat  mengatasi  permasalahan  sosial  antara penderita  tuna  wicara  dan  tuna  rungu  dengan  orang  normal, maka  diperlukan  upaya  penterjemah  bahasa  isyarat  menjadi bahasa  pada  umumnya . Sehingga  dapat  terjadi  komunikasi yang  mudah  antara  masyarakat  tuna  wicara  dengan masyarakat  umum.  Berkaitan  dengan  upaya  tersebut,  maka dibuatlah  sistem  yang  dapat  menerjemahkan  bahasa  isyarat menjadi  bahasa  tulis  atau  suara  agar  dapat  membantu  para penderita tuna wicara dan tuna rungu dalam berkomunikasi dengan masyarakat umum [2].
Berdasarkan  permasalahan  yang  telah  diuraikan,  Maka rumusan  masalah  yang  dapat  dirumuskan  yaitu  :  Bagaimana mendesign  sistem  yang  dapat  membaca  gerak    tangan  dan Bagaimana  cara  menentukan  jarak  yang  baik  agar  setiap gerakan tangan dapat terdeteksi oleh kamera.
Adapun  tujuan  dari  penelitian  ini  adalah  untuk  dapat membantu masyarakat yang tidak berkebutuhan khusus untuk melakukan  komunikasi  atau  berbicara  dengan  tuna  rungu  di kehidupan sehari-hari.

## II. M ETODOLOGI P ENELITIAN

## A. Perancangan Sistem
Pada  Perancangan  sistem  akan  dibahas  mengenai perancangan Aplikasi Pengenalan Aksara Isyarat
Menggunakan Metode Hebb Rule yang meliputi perancangan interface,  flowchart  dan  instalasi  perangkat  lunak  serta konfigurasi sistem yang dibutuhkan.
Blok  diagram  penelitian  Aplikasi  Pengenalan  Aksara Isyarat  Menggunakan  Metode  Hebb  Rule  dapat  dilihat  pada gambar 1 :

## Gambar 1 Block Diagram Sistem Kerja
Pada  blok  diagram  system  kerja  menjelaskan  bahwa sebuah  kamera  berfungsi  sebagai  pembaca  gerak  objek  serta sebuah  komputer  berfungsi  sebagai  pemroses  data.  Langkah- langkahnya  adalah  apabila    tangan  telah  terdeteksi  pada kamera,  maka  langsung  di  inputkan  pada  komputer  dan kemudian  akan  di  proses  dengan  menggunakan  metode Hebbrule yang berfungsi untuk pengklasifikasian objek.

## B. Diagram  Alir  Proses  Pelatihan  Dengan  Metode  Hebb Rule
Pada  perancangan  aplikasi  ini  menggunakan  jaringan syaraf  tiruan  dengan  metode  hebb  rule.  Diagram  alir  proses pelatihan dengan metode hebb rule dapat dilihat pada gambar 2  :

## Gambar 2 Flowchart Proses Pelatihan

## C.  Diagram Alir Proses Pengujian dengan metode Hebb rule
Setelah  diperoleh  nilai  –  nilai  pada  saat  proses  pelatihan kemudian  nilai  tersebut  disimpan  ke  dalam  database  yang sudah  dibuat.  Maka  selanjutnya  akan  dilakukan  tahap pengenalan  huruf  dengan  cara  membandungjan  nilai  yang  di dapat  kan  pada  saat  pelatihan.  Berikut  adalah  diagram  untuk pengujian dengan metode hebb rule dapat dilihat pada gambar 3 :

## Gambar 3 Flowchart Proses Pengujian

## D. Komunikasi Non Verbal
Komunikasi  non  verbal  adalah  semua  ekspresi  eksternal selain  kata  -  kata  terucap  dan  tertulis  (spoken  and  written word),  termasuk  gerak  tubuh,  karakteristik  penampilan, karakteristik suara, dan penggunaan ruang dan jarak.
Bahasa  isyarat  masuk  dalam  kelompok  komunikasi  non verbal dan non vokal dimana dalam penyampaian pesan tidak memberikan  suara  tetapi  lebih  memberikan  isyarat  dengan menggunakan  tangan,  gerakan  tubuh,  penampilan  serta ekspresi wajah. Isyarat tangan kadang – kadang menggantikan komunikasi  verbal.  Penyandang  tunarungu  menggunakan suatu sistem isyarat tangan yang amat komprehensif sehingga dapat mengantikan bahasa lisan secara harfiah [3].

## E. Tuna Rungu
Tuna rungu merupakan adalah gangguan pada pendengarannya  sehingga  tidak  dapat  mendengar  bunyi dengan  sempurna  atau  bahkan  tidak  dapat  mendengar  sama sekali,  tetapi  dipercayai  bahwa  tidak  ada  satupun  manusia yang  tidak  bisa  mendengar  sama  sekali.  Walaupun  sangat sedikit,  masih  ada  sisa  -  sisa  pendengaran  yang  masih  bisa dioptimalkan pada tuna rungu tersebut [4].
Untuk  berkomunikasi,  para  penderita  tuna  rungu menggunakan  bahasa  isyarat  di  mana  setiap  negara  memiliki standar yang berbeda - beda dalam penggunaannya [5].

## F. Citra Digital
Citra digital menunjuk pada pemrosesan gambar 2 dimensi menggunakan  komputer.  Dalam  konteks  yang  lebih  luas, pengertian  pegolahan  citra  digital  mengacu  pada  pemrosesan setiap  data  2  dimensi.  Citra  digital  merupakan  sebuah  larik (array)  yang  berisi  nilai-nilai  real  maupun  kompleks  yang direpresentasikan dengan deretan bit tertentu[7].
Waktu  pemrosesan  lebih  cepat  dibandingkan  dengan  citra hitam-putih  karena  banyak  operasi  pada  citra  biner  yang
dilakukan  sebagai  operasi  logika  ( AND , OR ,  dan NOT ) ketimbang  operasi  aritmetika  bilangan  bulat. Secara  umum, proses  pengambangan  citra  grayscale  untuk  menghasilkan citra biner dapat diihat pada persamaan 1 :
𝑔 ( 𝑥 , 𝑦 ) = { 1 𝑗𝑖𝑘𝑎 𝑓 ( 𝑥 , 𝑦 ) ≥ 𝑇 0 𝑗𝑖𝑘𝑎 𝑓 ( 𝑥 . 𝑦 ) < 𝑇 (1)
Dengan g(x,y) adalah citra biner dari citra grayscale f(x,y) dan  T  menyatakan  nilai  ambang.  Kualitas  citra  biner  yang dihasilkan sangat tergantung pada nilai T yang digunakan[8].

## G. Hebb Rule
Hebb  rule  dikembangkan  oleh  Donald  Hebb  untuk  jenis pelatihan supervised. Hebb rule merupakan metode pembelajaran dalam supervised yang paling sederhana, karena pada  metode  ini  pembelajaran  dilakukan  dengan  cara memperbaiki nilai bobot sedemikian rupa sehingga jika ada 2 neuron yang terhubung, dan keduanya pada kondisi hidup ( on ) pada  saat  yang  sama,  maka  bobot  antara  kedua  dinaikkan. Apabila  data  dipresentasikan  secara  bipolar,  maka  perbaikan bobotnya dapat dilihat pada persamaan 2 :
w i (baru) = w i (lama) + x i * y                                                (2)
Keterangan : w i : bobot data input ke-i;
x i : input data ke-i;
y    : output data.
Hipotesis  Hebb  adalah  apabila  dua  buah  neuron  bipolar yang  saling  terhubung  mempunyai  aktivasi  (output)  yang sama,  maka  bobot  sambungan  antara  kedua  neuron  tersebut akan  menguat.  Sebaliknya,  apabila  aktivasi  keduanya berlawanan, maka bobot sambungan akan melemah.

## H. Tabel Pengenalan
Pada  tabel  pengenalan  ini  berisi  nilai  –  nilai  yang  berasal dari  perhitungan  metode  hebb  rule.  Tabel  Pengenalan  ini terdapat  beberapa  field  diantaranya  adalah  id,  gambar,  huruf, jumlah_target_uji,  jumlah_pixel,  bobot_w1,  bobot_w2,  dan bias. Tabel Pengenalan dapat dilihat pada tabel 1 :
Tabel I Desain Tabel Pengenalan No Field Type/Length Ket 1 2 3 4 5 6 7 8 Id Gambar Huruf Jumlah_target_uji Jumlah_pixel Bobot_w1 Bobot_w2 Bias Int/5 Mediumblob/- Varchar/2 Int/5 Int/5 Int/5 Int/10 Int/5 PK - - - - - - -
Pada  tabel  1  menjelaskan  bahwa  untuk  field  id menggunakan  type  int  dikarenakan  data  yang  dimasukkan berupa angka bulat, id juga merupakan primary key pada tabel pengenalan. Pada field gambar menggunakan type mediumblob  yang  berfungsi  untuk  menyimpan  gambar.  Pada field  huruf  menggunakan  type  varchar  yang  berfungsi  untuk menyimpan nama huruf pada saat proses pengenalan.
Pada  filed  jumlah_target_uji  menggunakan  type  int  yang berfungsi untuk menyimpan jumlah nilai yang terdapat ketika proses  pengenalan.  Pada  field  jumlah_pixel  menggunakan type int yang berfungsi untuk menyimpan jumlah keselurahan pixel  yang  terdapat  pada  sebuah  objek  pada  saat  proses pengenalan.  Pada  field  bobot_w1,bobot_w2  dan  bias  juga menggunakan  type  int  dikarenakan  yang  tersimpan  berupa angka  bulat  yang  terdapat  ketika  melakukan  proses pengenalan.

## I. Tabel Pengujian
Pada  tabel  pengujian  ini  terdapat  beberapa  field diantaranya adalah id, huruf, jumlah_target_uji, jumlah_pixel, jumlah_target  dan  sse.  Tabel  Pengujian  dapat  dilihat  pada tabel 2 :
Tabel II Desain Tabel Pengujian No Field Type/Length Ket 1 2 3 4 5 Id Huruf Jumlah_target_uji Jumlah_pixel sse Int/5 Varchar/2 Int/5 Int/5 Int/10 Primary Key - - - -
Pada  tabel  2  menjelaskan  bahwa  yang  menjadi  primary key  adalah  field  id  dengan  menggunakan  type  int.  Pada  field huruf menggunakan type int yang berfungsi untuk menyimpan nama huruf yang ada pada saat proses pengujian.
Pada  filed  jumlah_target_uji  menggunakan  type  int  yang berfungsi untuk menyimpan jumlah nilai yang terdapat ketika proses pengujian. Pada field jumlah_pixel  menggunakan type int yang berfungsi untuk menyimpan jumlah keselurahan pixel yang  terdapat  pada  sebuah  objek  pada  saat  proses  pengujian. Pada  field  sse  menggunakan  type  int  yang  berfungsi  untuk menyimpan nilai yang terdapat pada proses pengujian.

## III. H ASIL DAN P EMBAHASAN

## A. Tampilan Halaman Utama
Halaman ini merupakan tampilan pada saat proses running berjalan untuk halaman utama aplikasi aksara isyarat berbasis dekstop. Adapun tampilannya dapat dilihat pada gambar 5 :

## Gambar  4 Tampilan Halaman Utama
Gambar  4  memperlihatkan  hasil  tampilan  halaman  utama yang  berisi  menu  -  menu  utama  sesuai  dengan  perancangan yaitu menu tes, pengujian, about me dan exit.

## B. Tampilan Halaman Tes
Untuk proses pengenalan huruf – huruf  dilakukan pada form tes seperti pada gambar 5 :

## Gambar 5 Tampilan Halaman Tes
Gambar 5 diatas menjelaskan bahwa proses gambar yang sudah  di  capture  melalui  webcam  kemudian  diubah  menjadi grayscale  dan  proses  selanjutnya  diubah  menjadi  biner. Setelah  gambar  tersebut  diubah  maka  proses  selanjutnya adalah  menyimpan  gambar  tersebut  pada  directory  Visual Studio.  Selanjutnya  adalah  proses  load  gambar  dari  directory yang  di  simpan  dan  kemudian  menyimpan  gambar  pada database.  Data  yang  disimpan  pada  database  berupa  id, gambar  huruf,  nama  huruf,  jumlah  target  uji,  jumlah  pixel, bobot w1, bobot w2 dan bias.
Hasil  nilai  –  nilai  yang  terdapat  pada  form  pengenalan  di simpan  ke dalam database.  Adapun databasenya dapat dilihat pada gambar 6 :

## Gambar  6 Hasil penyimpanan nilai – nilai kedalam database
Ada  beberapa  tahap  dalam  proses  penyimpanan  data training  yaitu  normalisasi  ukuran  citra,  proses  grayscale, proses  biner,  perhitungan  pola  x1,  pola  x2,  target,  jumlah target  dan  perhitungan  nilai  bobot  yaitu  nilai  bobot  w1,  nilai bobot w2 dan bias.

## C. Tampilan Halaman Utama Form Pengujian
Tampilan halaman pengujian dapat dilihat pada  gambar 7 :
Gambar  7 Tampilan halaman pengujian saat proses upload citra
Pada  gambar  7  merupakan  proses  saat  upload  citra  yang sudah  disimpan  pada  database  untuk  diuji.  Pada  gambar  7 dapat  dilihat  bahwa  untuk  data  training  dan  data  pengujian memiliki  nilai  untuk  jumlah  target  uji  yang  berbeda  seperti diperlihatkan pada tabel 2 dan table 3.
Tabel II Tabel Data Training id Huruf Jumlah_target_uji 0 1 2 3 4 5 6 7 A A A B B B C C -3444 -3444 -3192 -2882 -2944 -2898 -2526 -2519 Tabel III Tabel Data Pengujian id Huruf Jumlah_target_uji 0 1 2 3 4 5 6 7 A A A B B B C C -1972 -1972 -1972 -1972 -1972 -1972 -1972 -1972
Selanjutnya  adalah  melakukan  proses  pada  citra  yang sudah berhasil di input. Beberapa tampilan untuk proses huruf – huruf dapat dilihat pada gambar 8 :

## Gambar  8 Tampilan Halaman Pengujian pada saat proses huruf D
Gambar  8  merupakan  proses  pengenalan  huruf  dengan mengambil  citra  yang  akan  diuji,  kemudian  dilakukan perhitungan  untuk  memperoleh  nilai  –  nilai  dengan  cara
mengklik  button  proses.  Pada  saat  proses  sistem  akan melakukan perbandingan jumlah target data yang diuji dengan jumlah  target  pada  database  dengan  metode  SSE  untuk mendapatkan  bobot  dan  bias  yang  akan  digunakan  untuk menguji citra yang diinputkan.

## D. Analisa Hasil Secara Keseluruhan
Dari  pengujian  aplikasi  aksara  isyarat  ini  dapat  diketahui bahwa  dengan  menggunakan  proeses hebb  rule maka  nilai fungsi  aktivasi  pengujian  akan  dibandingkan  dengan  nilai target  yang  ada  pada  database  sehingga  hasil  yang  paling mendekati dengan database itu merupakan nama huruf yang di uji.
Dari  hasil  pengujian  yang  telah  dilakukan  tingkat keakuratan  untuk  pengujian  aplikasi  pengenalan  aksara  ini mempunyai  80%.  Keakuratannya  dilihat  dari  jarak  yang digunakan,  jarak  sangat  berpengaruh  pada  saat  pengambilan objek  karena  semakin  jauh  atau  semakin  dekat  jarak pengambilan  objek  maka  nilai citra  akan  berubah-ubah  dan akan  berbeda  pula  nilainya  dan  akan  berpengaruh  pada  nilai jumlah  target  uji.  Pada  nilai  jumlah  target  yang  di  dapat perhuruf  juga  harus  saling  mendekati,  jika  terlalu  jauh perbedaan  nilai  yang  didapatkan  perhuruf  maka  tidak  akan akurat. Cahaya yang digunakan pada saat proses berlangsung.
Warna background yang di gunakan pada saat pengenalan dan  pengujian  harus  menggunakan  warna  hitam  agar  mudah membedakan  antara  objek  dan  layar  yang  digunakan.  Pada objek  ini  apabila  piksel  yang  digunakan  100  x  100  maka proses yang dilakukan lebih lama dibandingkan dengan piksel yang  ukuran  50  x  50.  akan  tetapi  bila  menggunakan  nilai piksel  100  x  100  gambar  yang  di  hasilkan  sangat  bagus  dan jelas.  Semakin  kecil  piksel  yang  digunakan,  maka  gambar yang akan di hasilkan juga kurang bagus.

## IV. SIMPULAN
Berdasarkan hasil dan pembahasan pada penelitian yang telah dilakukan, maka dapat disimpulkan bahwa :
1. Hasil  pengujian  dengan  menggunakan  metode  hebb  rule yang telah dilakukan memiliki tingkat keakuratan 80%.
2. Metode hebb rule dapat digunakan untuk pengenalan huruf untuk gambar dengan ukuran piksel 50 x 50.
3. Waktu  rata  –  rata  trainning  citra  tangan  dengan  ukuran piksel  100  x  100  menggunakan  metode  hebb  rule memerlukan waktu lebih kurang 1 menit.
4. Kesalahan pada saat pengenalan disebabkan oleh beberapa factor diantaranya factor cahaya dan jarak kamera dengan objek.

## R EFERENSI
[1] Rohmat, P. B. (2018). Implementasi Penerjemah Bahasa Isyarat Pada Bahasa Isyarat Indonesia (BISINDO) dengan Metode Principal Component Analysis (PCA) , 103. [2] N.Sugianto,F.Samopa. (2015). Analisa Manfaat dan Penerimaan Terhadap Implementasi Bahasa Isyarat Indonesia Pada Latar Belakang Komplek Menggunakan Kinect dan Jaringan Syaraf Tiruan , 34
[3] Iriantara, Y. (2014). Komunikasi Antar Pribadi , 24.
[4] L Rika, N. (2014). Aplikasi Pembelajaran Bahasa Isyarat dengan Memanfaatkan Computer Assited Intruction .
[5] Margareta, H. (2013). Rancang Bangun Aplikasi Pembelajaran Pengucapan bagi Penderita Tunarungu Menggunakan Teknologi Kinect .
[6] I.Kautsar,R.I. Borman.(2015). Aplikasi Pembelajaran Bahasa Isyarat Bagi Penyandang Tuna Rungu Berbasis Android Dengan Metode BISINDO , 18.
[7] Nasir. M., 2013. Deteksi Usia Tanaman Padi Berdasarkan Indeks Warna . Seminar Nasional Teknologi Informasi dan Komunikasi (SNASTIKOM)
[8] Nasir. M., 2015. Analisis Tekstur Tanaman Padi Menggunakan Ekstraksi Fitur Gray-Level Co-Occurence Matrix . Jurnal LITEK
[9] Basyir. M, Nasir. M., 2017. Emergency Reporting Apps Development on Android Platform . E-Jurnal LIS
[10] Haykin, S. (1994), Neural Networks : A Comprehensive Foundation, NY, Macmillan