Rosyadi, Hafidh, Kurniawan — Pengenalan Real Time Abjad Bahasa Isyarat Indonesia Menggunakan Segmentasi YCbCr

## PENGENALAN REAL TIME ABJAD BAHASA ISYARAT INDONESIA MENGGUNAKAN SEGMENTASI YCBCR
M. Dedy Rosyadi 1) , Fathul Hafidh 2) , Mirza Yogy Kurniawan 3)
1, 2,3) Program Studi Teknik Informatika UNISKA Jl. Adhiyaksa No. 2 Kayu Tangi - Banjarmasin e-mail: dedy.rosyadi@gmail.com 1) , hafidh@fti.uniska-bjm.ac.id 2) , mirza@fti.uniska-bjm.ac.id 3)

## ABSTRAK
Bahasa  isyarat  tangan  merupakan  bentuk  komunikasi  utama  bagi  penderita  tuna  rungu,  sedangkan  untuk  orang  awam mempelajarinya akan memerlukan banyak biaya dan menghabiskan banyak waktu. Penelitian ini melakukan pengenalan is- yarat tangan dari citra peragaan isyarat tangan menggunakan segmentasi YCbCr yang mampu memisahkan objek tangan dengan  latarnya  dengan  cepat  sehingga  cocok  untuk  diterapkan  pada  pengenalan  real  time,  kemudian  untuk  klasifikasi digunakan Support Vector Machine (SVM) yang sudah dikenal sebagai classifier yang mampu menghasilkan klasifikasi yang baik pada kasus citra.Tahapan penelitian ini diawali dengan pengolahan awal pada data citra, kemudian dilakukan segmen- tasi dengan YCbCr, pemotongan citra otomatis, dilanjutkan dengan proses klasifikasi dengan SVM. Pada akhirnya metode segmentasi yang dipilih adalah YCbCr yang mampu dengan cepat memisahkan antara objek dan latar sehingga cocok untuk proses klasifikasi real time.
Kata Kunci : : Isyarat Tangan Statis, SVM, YCbCr

## ABSTRACT
Hand sign language is a major form of communication for deaf people, while for ordinary people to learn it would require costly and time-consuming. This study did introduction of hand gestures of the image show hand gesture segmentation YCbCr were able to separate objects in hand with the background quickly making it suitable to be applied to the introduction of real time, and then to the classification used Support Vector Machine (SVM), which is known as a classifier that can generate good classification at image. Phase of this research include case study begins with the initial processing of image data, then do segmentation with YCbCr, auto-cropping image, followed by classification with SVM. At the end of the selected segmentation method is YCbCr that is capable of rapidly separating between the object and the background making it suitable for real time classification process.
Keywords : Static Hand Sign, SVM, YCbCr.

## I. P ENDAHULUAN
enderita tuna rungu menggunakan bahasa isyarat sebagai bentuk komunikasi utama. Masalah timbul ketika penderita  tuna  rungu  harus  berkomunikasi  dengan  orang  yang  bukan  penderita  tuna  dan  tidak  mengerti bahasa  isyarat  [1].  Untuk  mengatasinya  bisa  dengan  merekrut  penerjemah,  instruktur,  atau  mempelajari bahasa isyarat melalui video disertai dengan mempraktekkannya. Cara ini akan memakan waktu dan biaya sehingga tidak cocok jika ingin mendapatkan solusi yang cepat. [2]
Isyarat tangan dapat dibagi menjadi dua jenis, yaitu statis dan dinamis. Isyarat statis adalah konfigurasi sebagian tangan dan posenya, sedangkan dinamis adalah isyarat bergerak yang direpresentasikan dalam urutan citra. Pada penelitian ini akan membahas tentang bahasa isyarat statis dari abjad Bahasa Isyarat Indonesia yang hanya melihat kepada gesture telapak tangan dan jari saja.
Salah  satu  tahapan  yang  penting  dalam  proses  pengenalan  bahasa  isyarat  adalah  proses  segmentasi  dimana komputer akan memisahkan antara citra latar dengan citra yang akan dikenali dalam hal ini adalah tangan. Proses ini juga perlu menghilangkan derau atau noise  yang bisa menyebabkan kesalahan dalam pengenalan bahasa isyarat.
Untuk memisahkan antara citra latar dan objek, bisa digunakan deteksi warna kulit, namun untuk menjadikan wana kulit sebagai dasar pemisahan latar memiliki masalah pada banyaknya ragam warna kulit manusia. Warna kulit orang Eropa akan sangat berbeda dengan warna kulit orang Afrika dan Asia, begitu juga dengan Indonesia yang memiliki ragam suku yang sangat banyak dan dengan warna kulit yang bermacam-macam pula. [3]
Salah  satu  metode  untuk  memisahkan  warna  objek,  dalam  hal  ini  kulit,  dengan  latar  adalah  dengan  cara mengubah citra RGB kedalam ruang warna YCbCr untuk kemudian ditentukan pada nilai ambang batas tertentu sebagai warna kulit dan sisanya akan diidentifikasi sebagai latar. Nilai ini yang akan berbeda tergantung pada warna kulit dan tingkat kecerahan citra yang akan dikenali. [4]
Kualitas citra dan kecepatan pengenalan juga menentukan dalam proses pengenalan bahasa isyarat. Penelitian ini akan  membahas  tentang  proses segmentasi  warna  kulit sebagai  salah  satu tahapan dalam  proses  pengenalan bahasa isyarat secara real time dengan menggunakan citra dari webcam yang sudah tertanam dalam laptop.
P

## II. LANDASAN TEORI

## A. Bahasa Isyarat
Bahasa isyarat merupakan bahasa yang tidak menggunakan suara lisan melainkan menggunakan gerak anggota tubuh dan gerak bibir. Pengguna utama bahasa ini adalah tuna rungu sebagai sarana komunikasinya, meski ada pengguna  lain  misalkan  dalam  militer  sebagai  komunikasi  antar  anggotanya  pada  kegiatan  yang  memerlukan komunikasi tanpa suara. Bahasa isyarat melibatkan kombinasi gestur tangan, lengan, tubuh, dan ekspresi wajah untuk menyampaikan pesannya. [5]
Sebagai  mana  bahasa  pada  umumnya,  bahasa  isyarat  juga  berbeda  antara  satu  Negara  dengan  Negara  lain, misalkan Inggris dan Amerika Serikat, meskipun memliki bahasa tulis yang sama namun berbeda dalam bahasa isyaratnya. Untuk Indonesia bahasa isyaratnya mengacu kepada bahasa isyarat Amerika.
Gambar  1. Abjad Bahasa Isyarat Indonesia

## B. Pengolahan Citra Digital
Citra  dapat  dinyatakan  sebagai  suatu  fungsi  dua  dimensi  f(x,y),  dengan  c  maupun  y  adalah  posisi  koordinat sedangkan f merupakan amplitudo pada posisi (x, y) yang sering dikenal sebagai intensitas atau greyscale. Nilai dari intensitas bentuknya adalah diskrit mulai dari 0 sampai 255.
Citra yang ditangkap oleh kamera dan telah dikuantisasi dalam bentuk nilai diskrit disebut sebagai citra digital (digital image). Sedangkan foto hasil cetak dari printer tidak dapat disebut sebagai citra digital, namun foto yang tersimpan pada file gambar (bmp, jpg, png atau format lain nya) pada komputer dapat disebut sebagai citra digital.
Citra digital tersusun dari sejumlah nilai tingkat keabuan yang dikenal sebagai piksel (piksel) pada posisi tertentu. Untuk melakukan pemroresan citra digital, maka citra analog harus di konversi terlebih dahulu kedalam bentuk citra digital. [6]

## C. YCbCr
Pada data citra awal akan dipisahkan antara area tangan dan background. Metode yang popular untuk melakukan pemisahan  area  berdasarkan  warna  kulit  manusia  adalah  model  YCbCr  [6]  [7].  Pada  model  ini  pencahayaan diwakilkan pada satu komponen yaitu Y dan informasi warna disimpan pada dua komponen selisih warna yaitu Cb dan Cr. Cb adalah selisih warna biru terhadap nilai acuan sedangkan Cr adalah selisih warna merah dengan nilai acuan. Persamaan yang digunakan untuk mengubah citra RGB menjadi YCbCr adalah:
[ 𝑌 𝐶𝑏 𝐶𝑟 ] =   [ 16 128 128 ] + [ 65.481 −37.797 112 128.553 −74.203 −93.786 24.966 112 −18.214 ]  [ 𝑅 𝐺 𝐵 ] ….(1)
Rosyadi, Hafidh, Kurniawan — Pengenalan Real Time Abjad Bahasa Isyarat Indonesia Menggunakan Segmentasi YCbCr

## III. M ETODE P ENELITIAN
Metode  penelitian  yang  dilakukan  adalah  metode  penelitian  eksperimen,  dengan  tahapan  penelitian  seperti berikut:

## A. Pengumpulan Data (Data Gathering)
Data untuk penelitian ini berupa 24 kelas data abjad isyarat diambil dari citra tangan berukuran 320 x 240 piksel sebanyak 15 data untuk setiap kelas, sehingga jumlah citra trainingnya ada 360 citra.
Citra  isyarat  tangan  difoto  dengan  menggunakan  webcam  yang  terpasang  dilaptop  dengan  tujuan  akan  bisa dengan mudah dipasang dilaptop.

## B. Pengolahan Data Awal (Data Pre-processing)
Data  citra  melalui  tahap  pengolahan  awal  sebelum  diproses  dengan  Matlab.  Citra  dipotong  secara  otomatis dengan clipping pada matlab kemudian dinormalisasi agar memiliki ukuran sama untuk setiap citra.

## C. Desain Eksperimen dan Pengujian Metode (Method Test and Experiment)
Penelitian ini menggunakan metode YCbCr untuk segmentasi citra bahasa isyarat statis. YCbCr dikenal mampu memisahkan antara komponen yang mengandung warna kulit dengan komponen warna lainnya. Setelah didapat bagian tangan dalam YCbCr, citra ditransformasi kembali ke RGB.
Citra  yang  telah  dipisahkan  antara  komponen  warna  kulit  dengan  komponen  lainnya  dilakukan  Matematical Morphology untuk menghilangkan derau. Mathematical morphology yang digunakan antara lain Erosi, dan Dilasi.

## Gambar 1 Desain Eksperimen
Program ini direkomendasikan untuk dijalankan dengan menggunakan perangkat keras (hardware) yang mempunyai spesifikasi berikut:
1. Prosesor Minimal  Intel Pentium Dual Core  atau AMD.
2. Memory minimal 2 GB.
3. Harddisk minimal 100 GB.
4. Monitor dengan resolusi 1024 x 768 pixel.
5. Keyboard dan Mouse.
Penerapan metode – metode yang akan digunakan diimplementasi dengan software MatLab 2010a dengan antar muka  Graphical  User  Interface  (GUI).  Software  matlab  banyak  digunakan  untuk  penelitian  pattern  recognition, voice recognition dan teori-teori lain, pembuatan aplikasi dapat dilakukan dengan cepat dengan bantuan fungsi- fungsi yang sudah tersedia.
Klasifikasi SVM Hasil Perbandingan YCbCr Segmentasi YCbCr HSV Input Webcam Menggunakan  Webcam

## D. Analisa Hasil Eksperimen
Pengukuran tingkat akurasi dilakukan dengan menghitung Precision dan Recall dari tree yang dihasilkan, baik ID3 tanpa PSO juga ID3 dengan PSO untuk dianalisa peningkatan akurasinya. Semakin tinggi nilai perbaikannya menyatakan semakin baiknya klasifikasi dan mendekati dengan solusi ideal.

## IV. H ASIL D AN P EMBAHASAN
Pada penelitian ini digunakan data citra abjad Bahasa isyarat Indonesia untuk dikenali dengan realtime. Pada awal segmentasi YCbCr akan mengenali tidak hanya isyarat tangan tapi juga wajah seperti pada gambar 3.a. agar dapat mengenali bagian tangan saja maka ditentukan untuk mengenali area yang terbesar saja seperti yang terlihat pada  3.b,  kemudian  citra  diubah  menjadi  citra  biner  seperti  pada  3.c,  kemudian  dipotong  untuk  bagian  yang diinginkan saja seperti pada gambar 3.d
Gambar 3.a Gambar 3.b Gambar 3.c Gambar 3.d
Pada  prakteknya  pencahayaan  dan  latar  belakang  akan  sangat  berpengaruh  dalam  segmentasi  kulit  manusia karena YCbCr  menggunakan faktor luminance untuk memisahkan antara latar dan kulit manusia. Pencahayaan yang tidak merata akan mempengaruhi pengenalan bagian kulit. Hal ini bisa dilihat pada gambar 4
Gambar 4.a
Gambar 4.b
Gambar 4.c
Gambar 4.d
Rosyadi, Hafidh, Kurniawan — Pengenalan Real Time Abjad Bahasa Isyarat Indonesia Menggunakan Segmentasi YCbCr

## V. K ESIMPULAN
Sistem mampu memisahkan antara objek tangan dengan latar secara real time. YCbCr dipilih sebagai metode segmentasi karena mampu memisahan objek dengan lebih cepat meskipun memiliki kekurangan ketika mengatasi efek  pencahayaan,  dan  warna  latar  yang  dapat  menimbulkan  kesalahan  pengenalan.  Untuk  pengembangan diperlukan algoritma untuk bisa membedakan batasan telapan tangan dengan lengan.
.

## VI. B IBLIOGRAPHY
[1] A. P. F. Z. B. &. K. A. Sarkaleh, "A neural network based system for persian Sign Language Recognition," Signal and Image Processing Applications, pp. 145-149, 2009.
[2]  R. Kurdyumov, P. Ho and J. Ng, "Sign Language Classification Using Webcam Images," 2011.
[3]  W. Kurniawan and A. Harjoko, "Pengenalan Bahasa Isyarat dengan Metode Segmentasi Warna Kulit dan Center of Gravity," Indonesian Journal of Electronics and Instrumentation Systems, pp. 67-78, 2011.
[4]  M. M. Hadhoud and F. E. Abd El-Samie, New Trends High Resolution Image Processing, IEEE, 2004.
[5]  Departemen Pendidikan Nasional, Kamus Bahasa Isyarat Indonesia, Jakarta: Departemen Pendidikan Nasional, 2001.
[6]  K. B. Shaik, P. Ganesan, V. Kalist, B. S. Sathis and J. M. M. Jenitha, "Comparative Study of Skin Color Detection and Segmentation in HSV and YCbCr Color Space," 2015.
[7]  G. Yanuangga and L. Zaman, "Deteksi Jerawat Otomatis Pada Citra Wajah Studi Kasus pada Kulit Penduduk Jawa," in Seminar Nasional Inovasi dalam Desain dan Teknologi - Ideatech 2015 , 2015.