## RANCANG BANGUN APLIKASI MONITORING DAN REKAM DATA SISTEM PENGENALAN SISTEM ISYARAT BAHASA INDONESIA BERBASIS SENSOR
Mohammad Iqbal Fakultas Teknik, Program Studi Teknik Elektro Universitas Muria Kudus Email: iqbal.umk@gmail.com
Endang Supriyati Fakultas Teknik, Program Studi Teknik Informatika Universitas Muria Kudus Email: esupriyati@gmail.com

## ABSTRAK
Dalam  penelitian  ini  dikembangkan  pengenalan  sistem  isyarat  bahasa  Indonesia  (SIBI)  berbasis sensor yang diharapkan dapat memperbaiki akurasi, yaitu dengan menggunakan sensor flex untuk gerakan lekukan  jari,  dan  menggunakan  sensor accelerometer-gyroscope untuk  mengetahui kemiringan/orientasi tangan. Untuk mendapatkan ekstraksi ciri dan metode pengenalan yang optimal, maka diperlukan uji coba dan analisis terhadap perbandingan ekstraksi ciri dan metode pengenalan, sehingga dapat ditentukan yang terbaik. Dalam uji coba dan analisis tersebut, maka diperlukan sampel data offline atau data yang sudah disimpan/direkam  sebelumnya,  sehingga diperlukan  aplikasi untuk  dapat  merekam data ( recording ) dan memonitoring data dari sensor-sensor yang dipasang pada sarung tangan. Dengan adanya data-data sensor tersebut,  maka  proses  pemilihan  ekstraksi  ciri  dan  metode  pengenalan  yang  optimal  dapat  dilakukan secara offline ,  menggunakan  perangkat  lunak  komputasi.  Capaian  dapam  Penelitian  ini,  adalah  telah berhasil dikembangkan program aplikasi monitoring dan rekam data untuk sistem pengenalan SIBI. Data sensor yang dimonitoring dan direkam adalah data raw , sehingga perlu dilakukan pengolahan data untuk proses ekstraksi ciri sebelum diujicobakan pada metode pengenalan tertentu
Kata kunci: SIBI, bahasa isyarat, sensor, flex , acclerometer , gyroscope , monitoring , recording

## ABSTRACT
This  research  develop  the  Indonesia  Sign  Language  (SIBI)  based  sensors,  that  are  expected  to improve the accuracy, by using the flex sensor  for detecting the fingers bending, and uses accelerometer- gyroscopes  sensors  to  determine  the  tilt  or  the  orientation  of  the  hand.  To  get  the  optimal  for  feature extraction  and  recognition  methods,  it  is  necessary  to  test  and  analysis  of  the  comparison  of  feature extraction and recognition methods, to determine which is best. In testing and analysis, it is necessary to sample the offline data or data that has been stored / recorded earlier, so it is required the application to be able to record data (recording) and monitor data from sensors mounted on the glove. With the data of the  sensor,  then  the  selection  process  of  feature  extraction  and  the  optimal  recognition  method  can  be done  offline,  using  the  computational  software. Achievements  in  this  research,  is  already  successfully developed  an  application  program  for  monitoring  and  record  data  for  SIBI  recognition  system.  Sensor data being monitored and recorded is raw data, so need to be processed in the feature extraction process before it is tested on a specific recognition method
Keywords: SIBI, sign language, sensor, flex, accelerometer, gyroscope, monitoring, recording

## 1. PENDAHULUAN
Dalam  masyarakat, terdapat kaum tuna rungu yang karena keterbatasan indera pendengarannya tidak dapat menggunakan  bahasa  lisan,  mereka  hanya  dapat  menggandalkan  komunikasi  melalui  bahasa  isyarat  dan  atau tulisan. Bahasa isyarat yang digunakan oleh kaum tuna rungu ini sulit dipahami oleh masyarakat pada umumnya, sehingga kaum tuna rungu merasa terasingkan bagi lingkungan di sekitarnya. Di negara Indonesia, bahasa isyarat ini mempunyai istilah khusus, yaitu SIBI (Sistem Isyarat Bahasa Indonesia).
Seiring  dengan  kemajuan  teknologi,  telah  dilakukan  penelitian  dalam  rangka  untuk  menghasilkan piranti  bantu  untuk  menerjemahkan  bahasa  isyarat  ke  dalam  tulisan  dan  atau  suara.    Secara  umum penelitian  sistem  pengenalan  ( recognition )  bahasa  isyarat  ( sign language )  dapat  dibedakan  dalam  2 kategori  [1],  yaitu  berbasis  visi  komputer  ( computer  vision )  dan  berbasis  data  sensor.  Pada  pengenalan
isyarat  berbasis  visi  komputer,  biasanya  digunakan  kamera  sebagai  perangkat  input.  Video  yang ditangkap  ( capture )  disimpan  dahulu  dalam  bentuk  file  video  sebelum  diolah  melalui  pengolahan  citra. Jika  fitur  citra  yang  diolah  dua  dimensi  (2D),  maka  cukup  digunakan  sebuah  kamera  seperti  pada sebagaiman yang dilakukan oleh  M.AL-Rousan [2], sedangkan untuk data tiga  (3D) dimensi diperlukan lebih  dari  sebuah  kamera,  misalnya  pada  pada  penelitian  Y.-H.Lee  [3]  yang  menggunakan  8  kamera sekaligus.  Sedangkan  pada  pengenalan  isyarat  berbasis  data  sensor,  digunakan  rangkaian  sensor  yang terintegrasi  dengan  sarung  tangan  untuk  mendapatkan  fitur  gerak  lekukan  jari-jari  tangan  dan  gerakan tangan.  Sebagai  contoh  (gambar  1)  pada  penelitian  M.C.Leu  [4]  menggunakan CyberGlove TM , bahkan ditambah sensor gerakan menggunakan Flock of Birds  .
Gambar 1. Flock of Birds  .(kiri) dan CyberGlove TM (kanan) [4]
Selain berdasar pada perangkat yang digunakan atau bagaimana data ciri gerakan tangan diperoleh, terdapat  beberapa  metode  berbeda  yang  digunakan  dalam  penelitian  sistem  pengenalan  bahasa  isyarat. Metode-metode  itu  adalah  (1). Artificial  Neural  Network (ANN)  [3][5],  (2). Hidden  Markov  Model (HMM) [2] [1], (3). Metode lainnya, seperti LLE ( Local Linear Embedding ) [6] dan pencocokan template
[7]
Pencocokan template berdasar Euclidean Distance untuk data gerak isyarat masih bisa dilakukan, yaitu dengan menggunakan ekstraksi ciri yang menghasilkan vektor ciri yang sama. Jika hasil ekstraksi ciri  menghasilkan  data  dengan  panjang  yang berbeda,  maka Euclidean  Distance tidak bisa digunakan sehingga digunakan algoritma yang lain yaitu DTW ( Dynamic Time Warping ). DTW merupakan teknik penyelarasan  ( aligment )  data  yang  bersifat  sekuensial  ( time  series ).  Teknik  DTW  yang  secara  umum telah  digunakan  pada  pengenalan  suara,  tetapi  dalam  perkembangannya,  DTW  juga  telah  diterapkan untuk aplikasi lain, diantaranya untuk pengenalan gerak isyarat ( gesture ) [8][9].

## Gambar 2. Sarung tangan yang digunakan untuk kata statis oleh Evita [5]
Khusus untuk  pengenalan  bahasa  isyarat  Indonesia  atau  yang dikenal  dengan  SIBI  (Sistem  Isyarat Bahasa Indonesia) telah dilakukan penelitian oleh Evita [5], sarung tangan yang digunakan terlihat pada gambar  2,  dengan  menggunakan  metode  JST  (Jaringan  Syaraf  Tiruan).  Data  yang  diolah  dari  piranti akusisi  data  yang  menggunakan  beberapa  sensor flex untuk  mengetahui  informasi  derajat  tekukan  lima jari  tangan,  tekukan  pergelangan,  tekukan  lengan  dan  tekukan  bahu.  Penelitian  dengan  metode  JST tersebut  sudah  dapat  mengenali  isyarat  kata  SIBI,  tetapi  masih  terbatas  untuk  postur  tangan  yang  tidak bergerak  (statis).  Untuk  pengenalan  isyarat  kata  yang  bergerak  telah  dilakukan  penelitian  oleh  M  Iqbal [10] dan Endang S [11], sedangkan sarung tangan yang digunakan terlihat pada gambar 3.
sensor flex accelerometer Antarmuka USB2Serial
Gambar 3.  Sarung tangan Sistem Isyarat Bahasa Indonesia untuk kata bergerak [10][11]
Dalam  penelitian  ini  dikembangkan  sistem  pengenalan  bahasa  isyarat  Indonesia  berbasis  sensor yang  diharapkan  dapat  memperbaiki  akurasi,  yaitu  dengan  menggunakan  sensor flex untuk  gerakan lekukan  jari,  dan  menggunakan  sensor accelerometer-gyroscope untuk  mengetahui kemiringan/orientasi tangan. Untuk mendapatkan ekstraksi ciri dan metode pengenalan yang optimal, maka diperlukan uji coba dan analisis terhadap perbandingan ekstraksi ciri dan metode pengenalan, sehingga dapat ditentukan yang terbaik. Dalam uji coba dan analisis tersebut, maka diperlukan sampel data offline atau data yang sudah disimpan/direkam  sebelumnya,  sehingga diperlukan  aplikasi untuk  dapat  merekam data ( recording ) dan memonitoring data dari sensor-sensor yang dipasang pada sarung tangan. Dengan adanya data-data sensor tersebut,  maka  proses  pemilihan  ekstraksi  ciri  dan  metode  pengenalan  yang  optimal  dapat  dilakukan secara offline , menggunakan perangkat lunak komputasi.

## 2. METODOLOGI PENELITIAN

## 2.1   Obyek Penelitian
Obyek penelitian ini adalah kata isyarat Indonesia. Gerakan isyarat untuk SIBI yang digunakan pada penelitian ini mengacu pada kamus isyarat bahasa Indonesia dan portal i-chat (http://app.i-chat.web.id/). Kata isyarat yang dipilih adalah kata isyarat yang dengan satu tangan, yaitu tangan kanan.

## 2.2. Tahap Penelitian
Penelitian  ini  dilakukan  dalam  dua  tahun.  Gambar  4  menunjukkan  tahapan  penelitian  yang  akan dilakukan. Saat ini penelitian telah memasuki akhir tahun pertama.
P h a s e 1 Studi Literatur Desain Sarung Tangan Pembuatan Prototype Sarung tangan Aplikasi Desktop (PC) P h a s e 2
Penambahan Fitur Wireless Pada Prototype Aplikasi Mobile (Android) - Publikasi - HAKI Tahun pertama Tahun Kedua - Publikasi Gambar 4. Tahap penelitian

## 2.3    Perangkat Pengembangan
Perangkat  pengembangan  sarung  tangan  SIBI  ini  dapat  dikategorikan  dalam  dua  jenis,  yaitu perangkat  yang  berhubungan  dengan hardware dan  perangkat  yang  berhubungan  dengan software . Perangkat  pengembangan  yang  berhubungan  dengan hardware ,  ditunjukkan  pada  gambar  5.  Perangkat pengembangan  ini  meliputi  (1).  Sistem  minimum  AVR,  (2).  Modul Downloader USBASP  AVR,  (3). Konektor  Serial  TTL  to  USB,  (4).  Sarung  tangan  dilengkapi  sensor flex dan  sensor accelerometer- gyroscope.
Gambar 5. Perangkat pengembangan yang berhubungan dengan hardware
Sedangkan perangkat pengembangan yang berhubungan dengan software , meliputi: 1) Software desain PCB dan software untuk membuat skema rangkaian.
2) Software pengembangan  mikrokontroler  AVR  yang  digunakan  untuk  membuat  program  untuk mikrokontroler.
3) Software downloader yaitu yang digunakan untuk membuat program untuk mikrokontroler.
4) Software Bahasa  Pemrograman,  yaitu  yang  digunakan  untuk  membuat  program desktop yang digunakan  untuk  membuat  aplikasi  di  komputer.  Aplikasi  yang  dihasilkan,  digunakan  untuk mengambil data sensor sarung tangan, yang dikirim oleh mikrokontroler.
5) Software komputasi, yaitu yang digunakan untuk analisis dari data-data yang yang diperoleh melalui program, sehingga didapatkan ekstraksi ciri dan metode pengenalan yang terbaik.

## 2.4   Metode Pengembangan Aplikasi Desktop (PC)
Program  aplikasi desktop dibuat  dengan  menggunakan  bahasa  pemrograman  visual.  Program aplikasi desktop ditujukan untuk dapat berkomunikasi dengan  mikrokontroler  melalui  komunikasi serial (UART – Universal Asynchronous Receiver Transmitter ) menggunakan saluran RXD dan TXD, sehingga program aplikasi dapat melakukan tugas-tugas sebagai berikut:
1) Membaca dan memonitor sensor flex dan sensor accelerometer-gyroscope .
2) Membaca dan menyimpan data sensor flex dan sensor accelerometer-gyroscope , dalam bentuk file.
3) Membaca  dan  melakukan  proses  pengenalan  dari  data  sensor flex dan  sensor accelerometer- gyroscope ,  dengan menggunakan ekstraksi ciri dan metode pengenalan yang terbaik yang diperoleh dari hasil analisis menggunakan software matlab . Tahap pengembangan aplikasi desktop ini masih pada rancang bangun aplikasi untuk tugas sampai dengan poin kedua, yaitu aplikasi monitoring dan rekam data ( recording ) untuk data sensor flex dan sensor accelerometer- gyroscope .

## 3. HASIL PENELITIAN DAN PEMBAHASAN

## 3.1   Desain Antarmuka
Desain antarmuka atau GUI ( Graphical User Interface ) untuk program aplikasi desktop dapat dilihat pada  gambar  6.  Bagian  kiri  atas  digunakan  untuk  melakukan  pengaturan  koneksi  serial  mikrokontroler pada sarung  tangan, yaitu pemilihan port serial pada PC yang digunakan untuk koneksi dengan mikrokontroler
dan pengaturan jumlah data pembacaan data sensor tiap satu detik ( frequency sampling ) dalam satuan Hz. Bagian kiri tengah digunakan untuk menampilkan log dari data-data sensor. Pada bagian kiri bawah, terdapat dua tab yaitu RECORDING  dan  RECOGNITION.  Recording  ditujukan  untuk  rekam  data  kemudian  disimpan  dalam  file. Sedangkan tab Recognition digunakan  untuk  pengembangan  selanjutnya  yaitu  digunakan  untuk  aplikasi pengenalan secara online ( real-time ). Bagian kanan GUI, digunakan untuk monitoring data sensor dalam bentuk grafik dan angka. Grafik bagian atas ditunjukkan untuk monitoring sensor flex . Sedangkan grafik bagian bawah ditunjukkan untuk monitoring sensor accelerometer-gyroscope pada sumbu x, y dan z.

## Gambar 6. Desain antarmuka program aplikasi

## 3.2   Monitoring Sensor Flex
Monitoring sensor flex dilakukan pada kelima sensor flex yang dipasang untuk mengetahui besarnya tekukan  pada  masing-masing  jari,  yaitu  ibu  jari,  jari  telunjuk,  jari  tengah,  jari  manis  dan  kelingking. Grafik monitoring sensor flex ditunjukkan pada gambar 7.
Gambar 7. Grafik monitoring sensor flex
Nilai  masing-masing  sensor flex  akan  bertambah ketika sensor ditekuk, hal ini sesuai dengan nilai resistansi  yang  membesar  ketika  sensor flex mengalami  penekukan. Data  sensor flex yang  dimonitoring adalah data dengan resolusi 8-bit.
3.3   Monitoring Sensor Accelerometer-Gyroscope
Sensor accelerometer-gyroscope yang  digunakan  adalah  komponen  sensor  tunggal,  yaitu  MPU- 6050,  yang  merupakan  modul  sensor accelerometer-gyroscope tiga  sumbu koordinat  x,  y  dan  z.  Modul sensor  ini  dihubungkan  ke  mikrokontroler  menggunakan  I2C  ( Inter-Integrated  Circuit ),  melalui  saluran
SDA  ( Serial Data )  dan  SCL  ( Serial  Clock ).  Data  sensor accelerometer-gyroscope yang  dimonitoring adalah data raw dari sensor dengan resolusi 8- bit .
Gambar 8. Grafik monitoring sensor accelerometer
Gambar  8  dan  gambar  9  menunjukkan  grafik  monitoring  untuk  sensor accelerometer-gyroscope . Nampak  pada  gambar  bahwa  perbedaan  perilaku accelerometer dan gyroscope adalah  terletak  pada perubahan data sensor pada saat  bergerak dan pada  saat  diam.  Pada  saat bergerak  keduanya sama-sama menunjukkan  adanya  perubahan  data,  akan  tetapi  pada  saat  diam gyroscope akan  menunjukkan  nilai  di sekitar mendekati nol meskipun sensor diam dalam keadaan miring, sedangkan data untuk accelerometer pada saat diam adalah sesuai kemiringan pada masing-masing sumbu x, y dan z.
Gambar 9. Grafik monitoring sensor gyroscope

## 3.4   Recording
Pada tab RECORDING atau rekam, sebagaimana nampak pada gambar 10, terdapat beberapa bagian untuk memudahkan dalam proses record data. Bagian-bagian tersebut adalah 1) Button ENABLE READING , digunakan untuk mengatur mode rekam data aktif dan tidak aktif
2) Saving  Folder ,  digunakan  untuk  menentukan  lokasi  ( folder )  penyimpanan  untuk  file  hasil  rekam data.
3) Class/Word, digunakan  untuk  memudahkan  pilihan  kata  isyarat  yang  akan  direkam  sesuai  yang pilihan kata yang ditentukan/direncanakan.
4) File Counter , digunakan untuk menampilkan jumlah file yang telah direkam untuk satu kata isyarat yang ditunjukkan pada bagian Class/Word .
5) Recording Log, digunakan untuk menampilkan kegiatan-kegiatan yang berhubungan dengan proses rekap data.
Gambar 10. Recording
File  hasil  rekam  data  menggunakan  format  file  teks  standar,  data  yang  terekam  dalam  file merupakan data berurut (sekuensial) dari data sensor selama melakukan gerak isyarat SIBI. Jumlah baris dalam  file  menunjukkan  jumlah  data  berurut  yang  direkam.  Dalam  satu  baris  terdapat  informasi  data sensor  untuk  kesebelas  data  sensor  dengan  pemisan  menggunakan  tanda  spasi.  Kesebelas  data  sensor tersebut  adalah  5  data  sensor flex ,  3  data accelerometer dan  3  data gyroscope .  Untuk  Ekstensi  file, ditentukan dengan menggukan ekstensi ‘sibi’, dengan tujuan untuk membedakan dengan ekstensi file teks standar, seperti ‘txt’ dan ‘lst’.

## 4. KESIMPULAN
Dari pembahasan di atas, dapat disimpulkan hal-hal sebagai berikut:
1) Telah berhasil dikembangkan program aplikasi monitoring dan rekam data untuk sistem pengenalan sistem isyarat bahasa indonesia.
2) Data  sensor  yang  dimonitoring  dan  direkam  adalah  berjumlah  11  data,  yaitu  5  data  sensor  flex,  3  data accelerometer dan 3 data gyroscope .
3) Data sensor yang dimonitoring dan direkam adalah data raw , sehingga perlu dilakukan pengolahan data untuk proses ekstraksi ciri sebelum diujicobakan pada metode pengenalan tertentu.

## UCAPAN TERIMA KASIH
Penelitian  ini  didanai  oleh  DP2M  DIKTI  (Direktorat  Penelitian  dan  Pengabdian  Kepada  Masyarakat, Direktorat  Jenderal  Pendidikan  Tinggi)  melalui  Program  Desentralisasi  Penelitian  Hibah  Bersaing  Tahun  2014. Penulis mengucapkan terima kasih kepada DIKTI, Kopertis Wilayah VI dan Universitas Muria Kudus.

## DAFTAR PUSTAKA
[1]  W.Gao et al,  (2004). A Chinese  sign  language  recognition  system  based  on  SOFM/SRN/HMM . Pattern Recognition 37, pp. 2389–2402.
[2]  M.AL-Rousan    et    al.,    (2009). Video-based    signer-independent    Arabic    sign  language recognition  using  hidden  Markov  models .  Applied  Soft Computing 9, pp. 990–999.
[3]  Y.-H.Lee,  C.-Y.Tsai,  (2009). Taiwan  sign  language  (TSL)  recognition based on 3D data and neural networks . Expert Systems with Applications 36, pp. 1123–1128.
[4]  C.Oz,  M.C.Leu,  (2007). Linguistic  properties  based  on  American  Sign Language isolated word recognition  with  artificial  neural  networks  using  a  sensory  glove  and  motion  tracker .  Neuro computing 70, pp. 2891–2901.
[5]  Evita    Tunjung    Sekar  .  2001.    “Perancangan    dan    Implementasi    Prototipe    Sistem  Pengenalan Bahasa Isyarat”. Tesis Magister ITB. Bandung.
[6]  X.Teng  et  al.  2005.  “A  hand  gesture  recognition  system  based  on  local  linear embedding”. Journal of Visual Languages and Computing 16 , pp. 442–454 [5] Spectra Symbol, Flex Sensor FS.
[7]  Aleem    Khalid    Alvi    et.al.    2005.    “Pakistan    Sign    Language    Recognition    Using    Statistical Template  Matching”. Proceeding    of  World  Academy    of  Science,  Engineering  and  Technology ISSN 1307-6884 . pp.108-111.
[8]  J.   Liu   et   al.   (2009),  uWave:   Accelerometer-based   personalized  gesture recognition  and  its applications, Pervasive  and Mobile Computing  5,    pp. 657-675.
[9]  Ahmad    Akl    et    al.    2010.    “Accelerometer-Based    Gesture    Recognition    via  Dynamic-Time Warping,  Affinity  Propagation  &  Compressive  Sensing”. IEEE ICASSP . pp2270-2273.
[10]  Iqbal,  M.  2011.  “Pengenalan  Bahasa  Isyarat  Indonesia  Berbasis  Sensor  Flex  dan  Accelerometer Menggunakan Dynamic Time Warping”. Tesis Magister ITS Surabaya.
[11] Supriyati, E. 2011. “Sistem Pengenalan Bahasa Isyarat Indonesia Berbasis Sensor dengan Artificial Neural Network”. Tesis Magister ITS Surabaya.