JURNAL SISFOTENIKA Vol. 11 No. 2, Juli 2021 p-ISSN: 2087-7897 ; e-ISSN : 2460-5344 DOI : 10.30700/jst.v11i2.1117
Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language
Implementation of Deep Learning on Number Recognition in Sign Language
1 Fini Keni Celsia, 2 Green Arther Sandag Universitas Klabat, Jln. Arnold Mononutu, Airmadidi, Telp: 0431- 891035
3 Program Studi Informatika, Fakultas Ilmu Komputer, Universitas Klabat, Airmadidi e-mail: 1 s21710137@student.unklab.ac.id , 2 greensandag@unklab.ac.id

## Abstrak
Penderita  tuna  rungu  dan  tuna  wicara  sering  merasa  kesulitan  untuk  berkomunikasi dengan  masyarakat  umum.  Era  teknologi  saat  ini  memerlukan  system  cerdas  yang  dapat membantu komunikasi para penderita tuna rungu dan wicara. Oleh karena itu pada peneltian ini peneliti membuat model dalam klasifikasi Bahasa isyarat menggunakan, Convolutional Neural Network (CNN)  dan  Artificial  Neural  Network  (ANN).  CNN  merupakan  metode  yang  banyak digunakan untuk mendeteksi bahasa isyrat, dimana setiap gerakan tangan bahasa isyarat dapat terdeteksi  dan  memberikan  informasi.  Hasil  penelitian  ini  diambil  dari  tiga  tahapan  masing- masing  sebanyak  100 epoch yang  dilakukan  pada  proses train,  dimana  untuk  proses  train pertama mendapatkan hasil akurasi 99%, proses train kedua mendapatkan hasil akurasi 100%, dan  proses  train  ketiga  mendaptkan  hasil  akurasi  99%.  Kesimpulan  penelitian  ini  adalah pengklasifikasian bahasa isyarat menggunakan metode ANN dan CNN memberikan hasil akurasi yang tinggi. Hasil akurasi dengan rata-rata 94,5% di dapatkan pada penelitian ini, dengan hasil tersebut  dapat  membantu  komunikasi  antara  penderita  tuna  rungu,  tuna  wicara,  dan  orang normal. Berdasarkan model  yang  kami  buat menggunakan  CNN  dan ANN,  memiliki  performa yang baik sebesar 1-3 % lebih baik dengan algoritma yang lain.
Kata Kunci — ANN, CNN, akurasi, dan klasifikasi.

## Abstract
Hearing  impaired  and  speech  impaired  often  find  difficult  to  communicate  with  the general  public.  The  current  era  of  technology  requires  a  smart  system  that  can  help communication  of  people  with  hearing  and  speech  impairments.  Therefore,  in  this  study  the researchers  made  a  model  in  the  classification  of  Sign  Language  using  Convolution  Neural Network (CNN) and Artificial Neural Network (ANN). CNN is a widely used method for detecting sign language, where every sign language hand gesture can be detected and provide information. The results of this study were taken from three stages of 100 epoch each carried out in the train process, where for the first train process got 99% accuracy results, the second train process got 100%  accuracy  results,  and  the  third  train  process  achieved  99%  accuracy  results.  The conclusion  of  this  study  was  the  classifying  of  sign  language  using  ANN  and  CNN  method  to provide high accuracy results. The results of accuracy with an average of 94.5% were obtained in  this  study,  with  these  results  can  help  communication between  people  who  are deaf,  speech
impaired, and normal people. Based on the model we created using CNN and ANN have a good performance which is 1-3% better than other algorithms
Keywords — ANN, CNN, accuracy, and classification .

## 1. PENDAHULUAN
Komunikasi  merupakan  bagian  yang  penting  dari  manusia  sebagai  makhluk  sosial. Komunikasi  merupakan  pertukaran  informasi  dari  satu  atau  kelompok  individu  ke  individu lainnya  [1].  Komunikasi  dapat  disampaikan melalui  beberapa  cara  yaitu  verbal  dan  nonverbal. Komunikasi verbal adalah jenis komunikasi yang mengandalkan kata-kata sebagai informasi baik melalui perkataan maupun berupa tulisan. Komunikasi nonverbal tidak menggunakan kata-kata tetapi lebih ke tindakan isyarat yang mempunyai makna yang menjadi informasi untuk orang lain [2].
Bahasa  isyarat  merupakan  bahasa  yang  sering  digunakan  oleh  orang  yang  memiliki gangguan pendengaran dan gangguan berbicara. Bahasa ini belum cukup dikenal dan dimengerti oleh  orang-orang  normal  yang  tidak  memiliki  gangguan  apapun.  Namun,  bagaimana  halnya dengan  para  penderita  tuna  rungu  dan  tuna  wicara  yang  ingin  berkomunikasi  dengan  orang disekitar mereka. Orang yang normal sampai saat ini membutuhkan penerjemah bahasa isyarat, untuk  berkomunikasi  dengan  para  tuna  rungu  dan  tuna  wicara.  Penggunaan  bahasa  isyarat memberikan  kemudahan  untuk  mengatakan  apa  yang  dipikirkan  melalui  ekspresi,  postur  dan gesture  manusia  [2].  Bahasa  isyarat  di  dunia  memiliki  standart  yang  berbeda-beda,  dimana mengikuti standart dari setiap negara masing-masing.[3]. Menurut WHO terdapat sekitar 400 juta orang  yang  mengalami  gangguan  dalam  pendengarannya  serta  terdapat  151.000  orang  yang menggunakan bahasa isyarat sebagai cara untuk berkomunikasi dengan orang lain  [4]. Artinya, banyak dari masyarakat diluar sana yang membutuhkan sebuah teknologi yang dapat memberikan manfaat  serta  membantu  mereka  untuk  berkomunikasi  dengan  orang  sekitar.  Perkembangan teknologi saat ini begitu pesat, contohnya teknologi Artificial Intelligence. Dengan pemanfaatan teknologi AI, manusia dapat membuat sebuah sistem yang dapat menerjemahkan bahasa isyarat. Saat  ini  teknologi  yang  banyak  digunakan  untuk  menerjemahkan  bahasa  isyarat,  yaitu  Sign Language  Recognition  (SLR).  SLR  adalah  teknik  yang  sering  dipakai  dalam  bidang  computer vision yang digunakan untuk menerjemahkan setiap gerakan yang di input menjadi gambar, agar memudahkan setiap orang berkomunikasi [5] [6].  Dengan penggunaan SLR maka manusia dapat membedakan  antara  dialog  bahasa  isyarat  dan  cerita  dengan  cara  mengamati  postur  tubuh  dari orang yang bersangkutan [7].
Pada  penelitian  [8],  menggunakan  CNN  untuk  klasifikasi  gambar  untuk  pengenalan bahasa isyarat dengan menggunakan library tensorflow. Pada penelitian ini menggunakan dataset bahasa isyarat Indonesia yang berisi 2659 gambar Bahasa Isyarat Indonesia (BISINDO) dua puluh enam (26) kategori huruf. Gambar dibagi menjadi set pelatihan dan validasi. Untuk hasil yang didapatkan, dataset untuk pelatihan mencapai 96,67% serta untuk dataset validasi mencapai 100%. Pada  penelitian  [9],  pengenalan  bahasa  isyarat  dilakukan  berdasarkan  segmentasi  kulit  serta menggunakan algoritma machine learning. Penggunaan deep learning untuk mengklasifikasikan gambar berdasarkan input yang diberikan kemudian setelah itu sistem akan menentukan arti dari input  yang  diberikan.  Dalam  penelitian  ini  memperoleh  hasil  tes  akurasi  sebesar  94.7%.  Pada penelitian yang serupa juga oleh [5] , menggunakan Convolutional Neural Network (CNN) untuk memberikan proses ekstrasi fitur yang efisien, klasifikasi akurasi yang diperoleh pada penelitian ini adalah sebesar 94,57% yang mana hasil ini sangat signifikan untuk memperkenalakan SLR pada  penyandang  cacat  sebagai  hasil  dari  Human-Computer  Interaction  (HCI). Berdasar penelitian  yang  dilakukan  oleh  [10]  untuk  mengidentifikasi  bahasa  isyarat  menggunakan deep convolutional network pada gambar bahasa isyarat Amerika yang mencakup huruf dan angka dan ditemukan  bahwa  algoritma  DeepCNN  yang  merupakan  salah  satu  jenis  algoritma  deep

## Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language
convolutional network memiliki tingkat keakuratan mencapai 80%.
Penelitian yang dilakukan oleh [11] dalam mengenali bahasa isyarat menggunakan deep learning pada  gambar  bahasa  isyarat  Amerika  yang  mencakup  26  huruf  dan  10  angka menghasilkan tingkat akurasi sebesar 98.05%.
Penelitian  yang  akan  dilakukan  menggunakan  metode  dari  Deep  Learning,  yaitu Convolutional  Neural  Network  (CNN).  CNN  merupakan  metode  dari  deep  learning  yang digunakan untuk medeteksi gambar, dari setiap gambar yang di input. Algoritma CNN banyak digunakan  dalam  klasifikasi  bahasa  isyarat,  dikarenakan  tingkat  akurasinya  yang  tinggi.  CNN dalam  pengklasifikasian  bahasa  isyarat  untuk  mendeteksi  gerakan  tangan  yang  di  input  [12]. Dengan  demikian,  peneliti  menggunakan  algoritma  CNN  dan  ANN  untuk  mengklasifikasi gambar digit dalam Bahasa isyarat, sehingga penelitian ini dapat bermanfaat bagi masyarakat agar bisa  berkomunikasi  dengan  penderita  tuna  rungu  dan  tuna  wicara  tanpa  bantuan  penerjemah bahasa isyarat.

## 2. METODE PENELITIAN
Metode dalam penelitian ini dibagi menjadi 4 tahapan penelitian yaitu get data , data preprocessing , modeling , dan evaluation seperti yang terlihat pada Gambar 1.
Gambar 1. Metode penelitian
2.1 Get data
Dataset yang digunakan dalam penelitian ini adalah sign language digits yaitu kumpulan data yang digunakan untuk setiap digit dari bahasa isyarat. Adapun terdapat 10 tanda unik yang telah ditetapkan yaitu berkisar antara angka 0 hingga 9 serta terdapat 2.062 gambar untuk setiap digit dari bahasa isyarat yang telah dimasukkan kedalam data. Dalam pengujian yang dilakukan digunakan tanda 0 dan 1, pemahaman dari data dapat pada gambar 2
Tabel 1. Parameter Dataset Index Details Value 0 - 203 the image represents a sign language which means the number 9 9 204 - 408 the image represents a sign language which means the number 0 0 409 - 614 the image represents a sign language which means the number 7 7 615 - 821 the image represents a sign language which means the number 6 6 822 - 1027 the image represents a sign language which means the number 1 1 1028 - 1235 the image represents a sign language which means the number 8 8 1236 - 1442 the image represents a sign language which means the number 4 4 1443 - 1648 the image represents a sign language which means the number 3 3 1649 - 1854 the image represents a sign language which means the number 2 2 1855 - 2061 the image represents a sign language which means the number 5 5

## Fini Keni Celsia, Green Arther Sandag
Gambar 2. Data Understand
Gambar 3 adalah Sample dataset sign language yang digunakan untuk data traning.

## Gambar 3. Sample dataset sign language untuk data training

## 2.2 Data Preprocessing
Pada proses ini data  yang digunakan sebanyak 205 sampel untuk gambar tanda nol dan tanda satu dari setiap kelas. Di dalam data, posisi dari gambar tanda nol berada antara indeks 204 dan 408 dan untuk gambar tanda satu berada antara 822 dan 1027.  Dalam data terdapat variable X dan Y yang digunakan sebagai array, dimana X merupakan Image array (gambar tanda nol dan tanda satu) dan Y merupakan Image label (0 dan 1). Kemudian untuk membuat Image array akan digabungkan  array  dari  gambar  tanda  nol  dan  juga  gambar  tanda  1  dan  untuk Image  label digunakan 0 untuk gambar tanda nol dan 1 untuk gambar tanda 1. Shape data X adalah (410, 64, 64) yang berarti 410 gambar, 64 berarti ukuran gambar (64 x 64 piksel) sedangkan untuk data Y (410,1) yang berarti 410 labels (0 dan 1). Kemudian data X dan Y dibagi menjadi data train dan test dengan presentasi 15% data test dan 75% data train.

## Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language

## 2.3 Modeling
Pada tahap ini berisi pembahasan mengenai model yang digunakan untuk penelitan. Disini akan dibahas tentang deep learning, Artificial Neural Network, Convolutional Neural Network (CNN), gradient descent, dan performance evaluation

## 2.3.1 Deep learning
Deep lerning adalah sub-bidang pembelajaran mesin yang berhubungan dengan algoritma yang  terinspirasi  oleh  struktur dan  fungsi otak yang  disebut  jaringan  saraf  tiruan.  Dengan kata lain, ini mencerminkan fungsi otak kita [13]. Algoritma deep learning mirip dengan bagaimana sistem  saraf  terstruktur  di  mana  setiap  neuron  terhubung  satu  sama  lain  dan  menyampaikan informasi seperti yang ditunjukkan pada gambar 4. Model deep learning bekerja dalam beberapa lapisan  dan  model  yang  tipikal  setidaknya  memiliki  tiga  lapisan.  Setiap  lapisan  menerima informasi sebelumnya dan meneruskannya ke lapisan berikutnya .
Penggunaan metode deep learning dalam penelitian ini adalah untuk mengklasifikasikan gambar  yang  akan  dimasukkan  dan  mengkategorikannya  ke  sign  tertentu  dan  menentukan  arti dari  sign  yang  dimasukkan,  serta  mengevaluasi  performa  model.  Untuk  melakukan  proses klasifikasi gambar, diperlukan prosesor dan RAM yang memiliki tingkat kecepatan tinggi. Dalam rangka untuk memaksimalkan hasil dari pengenalan bahasa isyarat ini maka digunakan metode klasifikasi  deep  learning  yaitu  Convolutional  Neural  Network  dan  Artificial  Neural  Network (ANN).
Gambar 4. Cara kerja deep learning dengan meniru cara kerja otak manusia [13]
ANN yang dikenal dengan nama Jaringan Syaraf Tiruan (JST) adalah sistem komputasi yang dirancang menyerupai sistem syaraf yang ada pada otak manusia. ANN dapat belajar dengan sendirinya yang memungkinkan hasil yang diberikan akan lebih baik jika data yang tersedia lebih banyak. Seperti sistem syaraf pada manusia, ANN juga mempunyai struktur yang mirip dengan itu.  Ada  beberapa  lapisan  yang  ada  pada  ANN  seperti  yang  ditunjukkan  pada  gambar  5.  Dari lapisan-lapisan  tersebut  sebagian  lapisan  mempunyai  bertanggung  jawab  untuk  membawa informasi  ke  tempat  pemrosesan  yang  nantinya  akan  dipelajari  dan  akan  memberikan  hasil. Lapisan lainnya adalah tempat dimana informasi diproses. Kemudian lapisan akhir adalah tempat dimana hasilnya dikeluarkan [14].
Hasil  yang  diberikan  tentunya  tergantung  dari  jumlah  informasi  yang  didapatkan  dan bagaimana mengolah informasi tersebut. Pada penelitian ini model ANN yang digunakan adalah model  perceptron.  Fungsi  aktivasi  yang  digunakan  adalah  untuk  hidden  layer  menggunakan fungsi  tanh  dimana  fungsi  ini  outputnya  akan  mendekati  nol  atau  rentang  nilainya  adalah  -1 sampai 1 [15]. Pada hidden layer terdapat tambahan input yaitu nilai bias, untuk proses training pada deep learning terbagi 2 bagian yaitu, forward propagation dan backward propagation [16]. Forward propagation adalah proses pada data input atau image sign language akan melewati setiap
neuron  pada  hidden  layer  sampai  kepada  output  layer  yang  nanti  akan  dihitung  errornya, sedangkan  proses  pada  backpropagation,  error  yang  didapat  pada  proses  sebelumnya  akan digunakan  untuk  mengupdate  setiap  weight  dan  bias  dengan  learning  rate  tertentu.  Metode optimasi  yang  digunakan  adalah  dengan  menggunakan Adam dan  penentuan  nilai  error menggunakan categorical crossentropy.
Gambar 5. Arsitektur ANN 2.3.2 Convolutional Neural Network (CNN) Convolutional  Neural  Network merupakan  sebuah  metode  yang  digunakan  untuk mengenali dan mendeteksi data yang terdapat pada gambar. Pada jaringan saraf normal manusia, neuron akan terhubung antara satu dengan lainnya. Namun, jika hal ini dilakukan dan dipelajari oleh komputer maka hal yang akan dilakukan yaitu dengan cara mengambil data-data dari gambar berupa pixel yang nanti akan dihubungkan ke neuron. Dalam proses CNN ini, tidak semua data dari  gambar  yang  dimasukan  dapat  terpakai  seperti  latar  background  yang  sebenarnya  tidak memberi  informasi  apapun.  Untuk  itu,  CNN  terdiri  dari  beberapa  lapisan  yang  berguna  untuk menyaring informasi atau data yang diperlukan sehingga memungkinkan data yang masuk pada komputer adalah data yang benar-benar diperlukan untuk mempelajari objek yang terkait  [17]. Perbedaan metode CNN dan deep learning biasa adalah arsitektur yang menyusun CNN dibagi menjadi 2 bagian yaitu feature extraction layer dan fully connected layer seperti yang ditujukkan pada  gambar  6.  Feature  extraction  layer  adalah  proses  untuk  melakukan  encoding  dari  sebuah image menjadi features yang berupa angka, layer ini terdiri dari convolutional layer dan pooling layer.  Pada  convolutional  layer  terdapat  neuron  yang  membentuk  sebuah  filter  gambar,  stride yang  merupakan  parameter  untuk  menentukan  pergeseran  filter,  dan  padding  yang  merupakan parameter  untuk  menentukan  jumlah  pixels  yang  akan  ditambahkan  pada  sisi  input/image.

## Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language
Pooling  layer  digunakan  sebagai  filter  yang  akan  bergerak  pada  seluruh  feature  image  dengan ukuran dan stride tertentu[18].
Gambar 6. Arsitektur CNN [13]

## Gradient Descent
Pada  tahap  ini  dilakukan  optimasi  algoritma  dengan  menggunakan gradient  descent . Nilai  gradien  merupakan  nilai  kemiringan  suatu  fungsi  yang  membandingkan  komponen  x dengan komponen y seperti yang ditunjukan pada gambar 7. Penurunan gradien berfungsi untuk menggambarkan  sebuah  perulangan  yang  dilakukan  untuk  mencari  nilai  yang  optimal  dari parameter.  Parameter  yang  dimaksudkan  yaitu  pada  koefisien  dalam  regresi  linear  dan  weight dalam jaringan saraf. Dengan penggunaan teknik penurunan gradien akan memungkinkan untuk mempelajari  parameter  weight  dan  bias  sehingga  meminimalkan  cost  function  [19].  Pada penelitian  ini,  peneliti  mengupdate  weight  berdasarkan  setiap  Langkah  untuk  mengurangi kesalahan atau error.
Gambar 7. Gradient Descent [20]

## 2.4 Performance Evaluation
Validation merupakan sebuah teknik yang digunakan untuk mengevaluasi model dalam memperkirakan ke akuratannya dengan menggunakan dataset untuk melakukan pengujian pada tahap pelatihan [21]. Namun sebelumnya, sampel asli akan digunakan sebagai train dan sebuah test yang akan melakukan evaluasi. Pada pelatihan yang dilakukan didapatkan bentuk X adalah (410, 64, 64) dimana terdapat 410 gambar tanda nol dan satu dengan ukuran gambar 64x64 pixels. Adapun bentuk Y adalah (410, 1) artinya terdapat 410 label 0 dan 1. Dari hasil tersebut maka X dan Y akan dibagi menjadi train and test sets dengan presentase yang didapatkan yaitu train 75% dan test 15%. Dari proses tersebut didapatkan X yaitu Array dengan input 3D dan Y dengan input 2D  sehingga  perlu  dilakukan  perubahan  pada  X  menjadi  2D.  sehingga  didapatkan  train  Array dengan  hasil  348  gambar  dengan    ukuran  4096  pixels  dan  test  Array  dengan  hasil  62  gambar dengan 4096 pixels.
Untuk  pengukuran yang dianalisa  pada  penelitian  ini  yaitu  berupa accuracy , precision dan recall dengan menggunakan persamaan berikut ini.
Rumus Recall :
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (1)
Rumus Precision :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (2)
Rumus Accuracy :
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (3)
Keterangan: TP: True Posistive FP: False Positive FN: False Negative TN: True Negative
Accuracy merupakan sebuah pengukuran yang dilakukan untuk mengklasifikasi bahasa isyarat  pada  tanda  nol  dan  satu.  Untuk  mengetahui  nilai  dari  akurasi  suatu  pengujian  maka

## Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language
langkah  yang  dilakukan  yaitu  dengan  menjumlahkan  nilai true  positive dan true  negative kemudian keduanya dibagi dengan true positive , true negative , false positive , dan false negative yang dijumlahkan. Precision merupakan  langkah  yang dilakukan dengan  cara  mengambil  data dari true  positive kemudian  dibagi  dengan true  positive lalu  dijumlahkan  dengan  nilai false positive . Recall merupakan langkah yang dilakukan untuk menemukan contoh dari gambar yang diinput dalam dataset yang bersifat relevan. Cara untuk menghitung nilai dari recall yaitu jumlah nilai true positive kemudian dibagi dengan true positive lalu di jumlahkan dengan nilai dari false negative [20].

## 3. HASIL DAN PEMBAHASAN
Pada  penelitian  ini  menggunakan dataset bahasa  isyarat  yang  dijalankan  pada  google colaboratory.  Google  colabotary  merupakan  perangkat  lunak  yang  digunakan  untuk  mengolah data pada bidang machine learning menggunakan bahasa pemrograman phyton. Google colabs menyediakan  beberapa  keuntungan  seperti  akses  secara  gratis,  tersedia  akses cloud dengan spesifikasi  yang  tinggi,  tidak  memerlukan  konfigurasi  apapun  serta  adanya  kemudahan  untuk terhubung ke drive dan juga orang lain [22].
3. 1 Perbandingan algoritma Convolutional Neural Network dengan CNN pada penelitian sebelumnya menggunakan train data
Berdasarkan  Tabel  2,  menunjukan  performa  antara  algoritma Convolutional  Neural Network (CNN) yang diusulkan peneliti dan algoritma CNN yang digunakan pada 3 penelitian sebelumnya,  metode  CNN  peneliti  bekerja  sedikit  lebih  optimal  dari  CNN  pada  penelitian sebelumnya  sekitar  1%  -  3%  pada  bagian accuracy .  Gambar  8  menunjukkan  performa  model menggunakan CNN pada data train dan data validation dengan 100 epoch, semakin besar nilai epoch maka performa model semakin baik, maka menghasilkan akurasi sebesar 99.7%.
Tabel 2. Perbandingan performance CNN dengan penelitian sebelumnya Algorithm Accuracy (%) CNN 99.7 CNN_Islam [5] 94.57 CNN_Shahriar [9] 94.7 CNN Taskiran [11] 98.05
Gambar 8. Performa Algoritma CNN dalam klasifikasi digit image pada Bahasa isyarat train accuracy: 99.71264367816092 % test accuracy: 96.7741935483871 %
3.2 Perbandingan algoritma menggunakan train data terhadap klasifikasi sign language
Pada  Tabel  3  memperlihatkan  hasil performance  evaluation dari  algoritma  klasifikasi tanpa menggunakan independent dataset. Dari hasil tersebut dapat dilihat bahwa algoritma ANN memiliki accuracy tertinggi dibandingkan dengan algoritma lain dengan nilai accuracy sebesar 99.7%.
Tabel 3. Perbandingan performa model menggunakan ANN Algorithm Accuracy (%) Recall (%) Precision (%) Artificial Neural Network 99.71 98.54 98.8 Logistic Regression 92.8 90.23 93.1 L Layer Neural Network 99.42 98.32 99.1
Pada penelitian ini, library yang digunakan adalah Keras . Adapun proses train yang dilakukan sebanyak 100 epoch , pada setiap algoritma. Proses tersebut dilakukan untuk melihat dan memastikan performa model dari setiap algoritma.
Gambar 9 . Performa model menggunakan Artificial Neural Network (ANN)
Pada  gambar  9  dilakukan  beberapa  perulangan  dengan  tujuan  untuk  memperkecil  cost untuk  mencapai  hasil  yang  maksimal.  Pada  gambar  ini  memberikan  informasi  yaitu  semakin sering dilakukan iterasi maka semakin rendah cost yang diperlukan . Pada hasil evaluasi train dan test  berdasarkan  dataset  yang  ada  maka  didapati  rata-rata  akurasi  seperti  yang  terdapat  pada gambar 6 yaitu untuk train sebesar 99.71% dan untuk akurasi tes yaitu sebesar 93.54%.
Gambar 10. Performa model menggunakan L Layer Neural Network

## Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language
Pada gambar 10 menunjukan penurunan error rate terhadap jumlah iterasi menggunakan algoritma  L  Layer  Neural  Network  dengan  akurasi  sebesar  99.42%  untuk  data  training  dan 93.54% untuk data testing. Pada pengujian ini juga dilakukan update cost untuk mencari performa model yang terbaik dengan melakukan iterasi sebanyak 2400 kali.
Gambar 11. Performa model menggunakan Logistic Regression
Pada gambar 11 menunjukan penurunan error rate terhadap jumlah iterasi menggunakan algoritma  Logistic  Regression  dengan  akurasi  sebesar  92.81% untuk  data  training  dan  93.54% untuk data testing. Pada pengujian ini juga dilakukan update cost untuk mencari performa model yang terbaik dengan melakukan iterasi sebanyak 140 kali. Berdasarkan hasil yang didapat maka algoritma CNN bekerja sedikit lebih optimal dari CNN pada peneltian sebelumnya sekitar 1% - 3% peningkatan accuracy

## 4. KESIMPULAN
Penelitian ini digunakan untuk mengklasifikasikan bahasa isyarat dengan menggunakan CNN  dan  ANN,  agar  komunikasi  yang  dilakukan  oleh  penderita  tuna  rungu  dan  tuna  wicara kepada orang normal menjadi lebih mudah. Dari 4 model algoritma yang telah dievaluasi yaitu Convolutional  Neural  Network,  Artificial  Neural  Network,  Logistic  Regression  dan  L  Layer Neural Network dapat disimpulkan bahwa algoritma Artificial Neural Network dan Convolutional Neural Network memiliki performa paling baik diantara algoritma yang lainnya dengan tingkat accuracy sebesar 99.7% atau 1% - 6.9% lebih baik dalam memprediksi Sign Language. Dari hasil yang didapat ini kiranya dapat membantu komunikasi yang terjadi antara tuna rungu, tuna wicara, dengan orang normal.

## 5. SARAN
Dalam  penelitian  ini  masih  terbatas  pada  penerjemahan  bahasa  isyarat  berupa  angka. Dengan begitu, diharapkan kemajuan teknologi saat ini khususnya dibidang deep learning dapat memberi  manfaat  lebih  bagi  yang  membutuhkan.  Untuk  itu  penelitian  selanjutnya  diharapkan untuk  lebih  mengembangkan  penelitian  ini  dengan  menambah  cakupan  seperti  untuk menerjemahkan bahasa isyarat berupa kata dan kalimat serta dapat  menambahkan jenis sample yang diambil agar membuat data yang dihasilkan lebih berkualitas. Untuk memperbaiki akurasi bisa menggunakan pretrained model atau pendekatan yang lainnya.

## DAFTAR PUSTAKA
[1]. Zheng, L., Liang, B., & Jiang, A. (2017, November). Recent advances of deep learning for sign language recognition. In 2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA) (pp. 1-7). IEEE.
[2]. Das,  A.,  Gawde,  S.,  Suratwala,  K.,  &  Kalbande,  D.  (2018,  January).  Sign  language recognition  using  deep  learning  on  custom  processed  static  gesture  images. In  2018 International  Conference  on  Smart  City  and  Emerging  Technology  (ICSCET) (pp.  1-6). IEEE.
[3]. Tang,  A.,  Lu,  K.,  Wang,  Y.,  Huang,  J.,  &  Li,  H.  (2015).  A  real-time  hand  posture recognition system using deep neural networks. ACM Transactions on Intelligent Systems and Technology (TIST) , 6(2), 1-23.
[4]. World Health Organization. (2018). Addressing the rising prevalence of hearing loss . [5]. Islam,  M.  R.,  Mitu,  U.  K.,  Bhuiyan,  R. A., &  Shin,  J.  (2018,  September).  Hand  gesture feature extraction using deep convolutional neural network for recognizing American sign language. In 2018 4th International Conference on Frontiers of Signal Processing (ICFSP) (pp. 115-119). IEEE.
[6]. Rao, G. A., Syamala, K., Kishore, P. V. V., & Sastry, A. S. C. S. (2018, January). Deep convolutional neural networks for sign language recognition. In 2018 Conference on Signal Processing And Communication Engineering Systems (SPACES) (pp. 194-197). IEEE.
[7]. Gattupalli,  S.,  Ghaderi,  A.,  &  Athitsos,  V.  (2016,  June).  Evaluation  of  Deep  Learning Based  pose  estimation  for  sign  language  recognition. In  Proceedings  of  the  9th  ACM International Conference On Pervasive Technologies Related To Assistive Environments (pp. 1-7).
[8]. Kembuan, O., Rorimpandey, G. C., & Tengker, S. M. T. (2020, October). Convolutional Neural  Network  (CNN)  for  Image  Classification  of  Indonesia  Sign  Language  Using Tensorflow. In 2020 2nd International Conference on Cybernetics and Intelligent System (ICORIS) (pp. 1-5). IEEE.
[9]. Shahriar, S., Siddiquee, A., Islam, T., Ghosh, A., Chakraborty, R., Khan, A. I., ... & Fattah, S.  A.  (2018,  October).  Real-time  American  Sign  Language  Recognition  using  skin segmentation  and  image  category  classification  with  convolutional  neural  network  and deep learning. In TENCON 2018-2018 IEEE Region 10 Conference (pp. 1168-1171). IEEE.
[10]. Bheda,  V.  and  Radpour,  N.  D.,  “ Using  Deep  Convolutional  Networks  for  Gesture Recognition in American Sign Language ,” 2017.
[11]. Taskiran,  M.,  Killioglu,  M.,  &  Kahraman,  N.  (2018,  July).  A  real-time  system  for recognition of American sign language by using deep learning. In 2018 41st International Conference on Telecommunications and Signal Processing (TSP) (pp. 1-5). IEEE.
[12]. Putro, E. C., Awangga, R. M., and Andarsyah, R., Tutorial Object Detection People with Faster region-Based Convolutional Neural Network (Faster R-CNN) . Kreatif, 2020.
[13]. Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1, No. 2). Cambridge: MIT press.
[14]. Oz,  C.,  & Leu,  M. C.  (2011). American  sign  language  word  recognition  with  a  sensory glove using artificial neural networks. Engineering Applications of Artificial Intelligence , 24(7), 1204-1213.
[15]. Kumar,  A.,  "Activation  Functions,  Loss  Functions,  and  Optimizer:",  Medium,  2020. [Online].  Available:  https://medium.com/@amitbalharakr93/activation-functions-loss- functions-and-optimizer-a5da4571e401. [Accessed: 18- Aug- 2020].
[16]. Das, A., Gawde, S., Suratwala, K., and Kalbande, D., “Sign Language Recognition Using Deep  Learning  on  Custom  Processed  Static  Gesture  Images,” in  2018  International Conference on Smart City and Emerging Technology (ICSCET) , Mumbai, Jan. 2018, pp. 1–6, doi: 10.1109/ICSCET.2018.8537248.

## Implementasi Deep Learning pada Pengenalan Angka dalam Sign Language
[17]. Bantupalli,  K.,  & Xie,  Y.  (2018,  December).  American  sign  language  recognition  using deep learning and computer vision. In 2018 IEEE International Conference on Big Data (Big Data) (pp. 4896-4899). IEEE.
[18]. Pigou,  L.,  Dieleman,  S.,  Kindermans,  P.  J.,  &  Schrauwen,  B.  (2014,  September).  Sign language  recognition  using  convolutional  neural  networks. In  European  Conference  on Computer Vision (pp. 572-578). Springer, Cham.
[19]. Ruder, S. (2016). An overview of gradient descent optimization algorithms . arXiv preprint arXiv:1609.04747.
[20]. M,  R.  (2019). The  Ascent  of  Gradient  Descent.  Medium.  Retrieved  11  June 2020,  from https://blog.clairvoyantsoft.com/the-ascent-of-gradient-descent-23356390836f.
[21]. Krasula,  L.,  Fliegel,  K.,  Le  Callet,  P.,  &  Klíma,  M.  (2016,  June).  On  the  accuracy  of objective image and video quality models: New methodology for performance evaluation. In 2016 Eighth International Conference on Quality of Multimedia Experience (QoMEX) (pp. 1-6). IEEE.
[22]. Carneiro, T., Da Nóbrega, R. V. M., Nepomuceno, T., Bian, G. B., De Albuquerque, V. H. C., & Reboucas Filho, P. P. (2018). Performance analysis of google colaboratory as a tool for accelerating deep learning applications. IEEE Access, 6, 61677-61685.