## PENGEMBANGAN APLIKASI PENGENALAN BAHASA ISYARAT ABJAD SIBI MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN)
Mutiara Sholawati, Karina Auliasari, FX. Ariwibisono Program Studi Teknik Informatika S1, Fakultas Teknologi Industri Institut Teknologi Nasional Malang, Jalan Raya Karanglo km 2 Malang, Indonesia
1818097@scholar.itn.ac.id

## ABSTRAK
Menyampaikan  informasi  dibutuhkan  bahasa  yang  mudah  dipahami.  Penyandang  tunarungu  memiliki bahasa tersendiri dalam komunikasi yaitu bahasa isyarat. Bahasa isyarat SIBI (Sistem Isyarat Bahasa Indonesia) sering  digunakan  dalam  kondisi  formal.  Pemahaman  mengenai  bahasa  isyarat  perlu  ditanamkan  sejak  dini.  Di SDLB Purworejo III Kota Pasuruan telah diajarkan bahasa isyarat. Namun dalam proses pembelajarannya masih menggunakan  buku  panduan,  video  pembelajaran  atau  bahkan  peragaan  secara  langsung  oleh  guru.  Pada penelitian  ini  dilakukan  proses  klasifikasi  peragaan  bahasa  isyarat  abjad  SIBI  berdasarkan  peragaan  secara langsung oleh guru  maupun  murid di depan kamera secara realtime.  Aplikasi dibuat berbasis web serta proses klasifikasi  menggunakan  metode Convolutional  Neural  Network (CNN ).  Dataset  berupa  citra  digital  peragaan abjad  SIBI  diperoleh  dari  1  orang  guru  dan  3 orang  murid  penyandang  tunarungu,  diperoleh  total  dataset  416 citra terdiri dari 384 citra hasil pengambilan gambar dan 32 citra digital  hasil konversi  video peragaan  bahasa isyarat  abjad  J  dan  Z  karena  peragaan  berupa  gerakan  aktif.  Keluaran  dari  sistem  ini  berupa  label  kelas  abjad dan  nilai  probalitas  hasil  klasifikasi  yang  ditampilkan  pada  webcam  dalam  website.  Pengujian  melibatkan  2 orang  relawan  dengan  melakukan  uji  coba  sebanyak  52  kali  munggunakan  model  klasifikasi  hasil  training. Berdasarkan  pengujian  menggunakan  rumus  confusion  matrix,  diperoleh  nilai  accuracy,  recall,  specificity  dan sensitivity sebesar 80,76% .
Kata kunci: Bahasa Isyarat, Abjad SIBI, Convolutional Neural Network, Deep Learning, Keras, Tensorflow

## 1. PENDAHULUAN
Komunikasi  adalah  suatu  proses  penyampaian informasi  dari  satu  pihak  kepada  pihak  lain. Penyandang  tunarungu  berkomunikasi  menggunakan bahasa  isyarat.  Di  Indonesia,  Bahasa  Isyarat  yang sering  digunakan  dalam  kondisi  formal  yaitu  bahasa isyarat  SIBI  (Sistem  Isyarat  Bahasa  Indonesia). Bahasa  Isyarat  SIBI  dibangun  dengan  mengadopsi dari  bahasa  isyarat  American  Sign  Language  (ASL) serta disusun dengan memperhatikan sintaksis Bahasa Indonesia.  Pembelajaran  bahasa  isyarat  SIBI  di Sekolah  Dasar  Luar  Biasa  (SDLB)  menggunakan buku  panduan,  video  peragaan  atau  peragaan  secara langsung  oleh  guru  saat  proses  belajar  mengajar.  Di tempat  studi  kasus  dalam  penelitian  ini  yaitu  SDLB Negeri  Purworejo  III,  belum  tersedia  teknologi  yang menunjang proses pembelajaran bahasa isyarat.
Pada  beberapa  penelitian  sebelumnya,  telah dikembangkan  teknologi  pengenalan  bahasa  isyarat, dihasilkan  sistem  klasifikasi  bahasa  isyarat  belum bersifat realtime .  Namun,  pengunaanya  masih dibatasi secara internal dan tidak dapat diakses secara umum  melalui  internet.  Pada  sistem  tersebut, klasifikasi  masih  dilakukan  secara  manual  dengan cara  menginputkan  file  gambar  peragaan  bahasa isyarat  oleh  pengguna  (penyandang  tunarungu)  lalu dihasilkan label kelas abjad SIBI. Hal ini mengurangi efisiensi  dalam  proses  belajar  karena  pengguna  tidak memperagakan secara langsung, sehingga dikhawatirkan  pemahaman  tentang  bahasa  isyarat abjad SIBI akan memudar.
Berdasarkan  permasalahan  yang  diuraikan diatas,  maka  dibutuhkan  aplikasi  pengenalan  bahasa isyarat abjad SIBI untuk mengklasifikasikan peragaan bahasa  isyarat  SIBI  berdasarkan  kelas  abjad  secara real-time .  Sehingga  penyandang  tunarungu  mampu memperagakan  bahasa  isyarat  secara  langsung melalui  webcam.  Sistem  yang  dibuat  berbasis  web menggunakan metode Convolutional Neural Network (CNN). Dengan adanya aplikasi  ini diharapkan dapat memudahkan penyandang tuna rungu dalam memahami bahasa isyarat abjad SIBI dan secara tidak langsung meningkatkan rasa percaya diri penyandang tunarungu  dalam  menyampaikan  pendapat  di  forum umum.

## 2. TINJAUAN PUSTAKA
2.1. Penelitian Terdahulu
Terdapat beberapa penelitian mengenai klasifikasi  bahasa  isyarat,  diantaranya  oleh  Ahmad Rozani,  Karina  Auliasari dan  Ahmad Faisol di tahun 2017  dengan  menghasilkan  aplikasi  pengenalan bahasa  isyarat  abjad  berbasis  dekstop  menggunakan metode Jaringan Saraf Tiruan dengan akurasi sebesar 77.08%  [1].  Di  tahun  yang  sama  M.  Dedy  Rosyadi, dkk  membuat  aplikasi  pengenalan  realtime  bahasa isyarat  Indonesia  menggunakan  segmentasi  YCBCR. Proses klasifikasi pada aplikasi menggunakan metode SVM ( Support Vector Machine ) [2]. Pada tahun 2018, Arfian
mengimplementasikan  metode Convolutional  Neural Network dalam  mengklasifikasikan  jenis  transportasi
tradisional.
Dalam pembuatan sistemnya menggunakan  library  Keras  serta  menggunakan bahasa  pemrograman  R,  serta  menghasilkan  akurasi 75% [3]. Di tahun yang sama Candra Kusuma  Dewa, dkk  menerapkan  metode  MLP  dan  CNN  pada penelitiannya untuk mengklasifikasikan tulisan tangan  aksara  jawa.  Pengujian  dilakukan  dengan membandingkan  model  CNN  dengan  model  MLP, diperoleh  akurasi  model  CNN  lebih  baik  daripada model MLP [4].
Kemudian  pada  tahun  2019,  Mochammad Bagus  Setiyo  Bakti,  dkk  melakukan  penelitian  untuk mengklasifikasikan  angka  sistem  bahasa  isyarat Indonesia  menggunakan  metode  CNN  diperoleh akurasi 98,89% [5]. Di tahun 2020, Devina  Yolanda, dkk  melakukan  penelitian  untuk  mengklasifikasikan bahasa  isyarat  abjad  dengan  menerapkan  metode CNN  dan  RNN.  Hasil  penelitian  memperoleh  nilai akurasi  60,58%  [6].  Di  tahun  yang  sama,  Ferdian Rachardi  membuat  aplikasi  berbasis  mobile  yang mampu  mendeteksi  gesture  kosakata  bahasa  isyarat berdasarkan  lirik  lagu”  Bidadari  Tak  Bersayap” menggunakan  metode  CNN,  diperoleh  akurasi pengujian sebesar 93,5% [7].
Penelitian  terkait  pengenalan  bahasa  isyarat juga terjadi di tahun 2021, Ilham Rizaldy Widy Putra membuat  sistem  deteksi  simbol  bahasa  isyarat  Saya, Kamu,  Dia,  Cinta,  Maaf  dan  Sedih  menggunakan metode  CNN  [8].  Di  tahun  2021,  Mohammad  Farid Naufal,  dkk  membuat  penelitian  menggunakan metode  CNN  untuk  mengklasifikasikan  objek peragaan  permainan  gunting,  batu  dan  kertas  dengan memperolek  akurasi  klasifikasi  sebesar  97,66%  [9]. Di tahun  yang sama, Darmatasia  membuat penelitian untuk  mengklasifikasikan  bahasa  isyarat  SIBI menggunakan  metode  Gradient-CNN,  penelitian  ini memperoleh akurasi sebesar 98% [10].

## 2.2. Bahasa Isyarat
Bahasa  isyarat  merupakan  bahasa  komunikasi bagi  penyandang  tunarungu  dalam  menyampaikan informasi.  Namun,  dalam  proses  komunikasinya dilakukan  secara  manual  melalui  gerakan  tangan, bibir dan tubuh [5].

## 2.3. SIBI (Sistem Isyarat Bahasa Indonesia)
SIBI  (Sistem  Isyarat  Bahasa  Indonesia)  adalah bahasa  isyarat  yang  mengadaptasi  gerakan  ASL ( American Sign Language ). Bahasa iyarat abjad SIBI memiliki 26 gerakan yang mewakili 26 alphabet yang terdiri  dari  24  peragaan  berupa  gerakan  pasif  serta  2 peragaan berupa gerakan aktif (J dan Z) menggunakan  satu  tangan.  SIBI  sering  digunakan dalam  komunikasi  formal,  dalam  penerapannya digunakan  dalam  proses  belajar  mengajar  di  SLB. Peraturan  Menteri  Pendidikan  Republik  Indonesia nomor  0161/U/1994  mengatur  tentang  penggunaan SIBI dalam SLB [11].

## 2.4. Deep Learning
Deep  learning adalah algoritma  neural  network dengan  input  berupa  metadata.  Kemudian  input tersebut akan diolah menggunakan fungsi transformasi  non  linier  yang  disusun  berlapis-lapis serta mendalam [10].
Deep learning tersusun atas lapisan tersembunyi  (hidden  layer)  yang  berfungsi  melatih serangkaian metadata berdasarkan output dari neuron sebelumnya.  Neural  network  pada  deep  learning terbentuk  atas  hirarki  sederhana  yang  terdiri  dari banyak lapisan (multi layer) [12].
2.5. Convolutional Neural Network (CNN)
Convolutional Neural Network (CNN) merupakan  salah  satu  jenis  algoritma  neural  network yang didesain untuk memproses data citra. Algoritma CNN digunakan untuk  mempelajari serta  mendeteksi feature pada citra digital. Data yang digunakan dalam algoritma CNN merupakan citra digital berupa data 2 dimensi.  CNN  termasuk  algoritma  deep  learning. CNN  tersusun  atas  beberapa  neuron  yang  memiliki bias,  weight,  serta  activation  function  [10].  Ilustrasi arsitektur metode CNN ditunjukkan pada gambar 1.
Gambar 1. Arsitektur Convolutional Neural Network
[14]
Pada  Gambar  1.  merupakan  ilustrasi  arsitektur metode CNN yang terdiri atas tiga bagian, antara lain input, feature extraction dan classification . Pada layer feature extraction terdapat beberapa layer antara lain:
a. Convolutional layer Convolutional  layer merupakan  proses  ekstrasi fitur  pada  citra  dengan  menggunakan  filter  atau kernel.  Proses  konvolusi  dilakukan  dengan menggeser filter  hingga  mencakup seluruh bagian citra.  Jumlah  pergeseran  filter  disebut stride. Apabila pada proses konvolusi ingin mengekstraksi semua pixel pada citra, maka dapat dilakukan dengan cara menambah pixel bernilai 0 pada  setiap  sisi  matrix.  Setiap  pergeseran  filter akan  dilakukan  perkalian  matriks  antara  matriks input  dengan  matriks  filter,  hasil  dari  proses tersebut berupa matriks 2 dimensi [14].
Gambar 2. Ilustrasi perhitungan konvolusi[14]
Untuk  menghitung  dimensi  dari feature  map kita bisa gunakan rumus sebagai berikut [3].
Output f. maps = W − N + 2P S + 1 … … (2.1)
Keterangan: W = Ukuran Input     N  = Ukuran Filter
P   = Padding             S   = Stride Hasil  freature  map  pada  proses  konvolusi  akan dinormalisasi menggunakan fungsi aktivasi ReLu, dengan rumus:
ReLu(x) = max(0, x) … … … … … … … . . (2.2) b. MaxPooling Layer Mengurangi dimensi
matriks hasil konvolusi.  Proses  pooling  bertujuan  untuk mempercepat proses komputasi [14]
Gambar 3. Ilustrasi maxpooling [14]. Pada  layer classification terdapat  beberapa layer diantaranya:
a. Flatten
Proses  mengubah  matriks  hasil feature learning yang berupa matriks 2 dimensi menjadi 1 dimensi.
Gambar 4. Ilustrasi flatten [14].
b. Dropout
Proses  menghilangkan  sementara  neuron yang  anggap  noise  secara  acak  guna  mencegah terjadinya overvitting [10].
Gambar 5. Ilustrasi dropout[14].
c. Fully Connected Layer
Menyatukan  semua  neuron  menjadi  satu dimensi  dari  data  hasil  proses  feature  learning yang  telah  melalui  flatenning  ke  dalam  bentuk vektor[3].
Gambar 6. Ilustrasi fully connected [14].
d. Fungsi Softmax Menghitung nilai probabilitas dari tiap kelas target  dengan  semua  kelas  target.  Rentang  nilai probabilitas  dari  hasil  perhitungan  softmax  yaitu antara  0  hingga  1[10].  Rumus  fungsi  softmax ditunjukkan pada persamaan 2.3
𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑥 𝑖 ) = exp(𝑥 𝑖 ) ∑ exp(𝑥 𝑗 ) 𝑛 𝑗=1 … (2.3)

## 2.6. Categorical Cross-Entropy Loss
Fungsi  kerugian  (fungsi  optimisasi  skor) merupakan 1 dari 2 parameter yang dibutuhkan untuk membuat model. Nilai yang dioptimalkan merupakan nilai rata-rata array output pada semua titik data[3]

## 2.7. Adam
Adam  termasuk  salah  satu  algoritma  optimasi (optimizer).  Penerapan  algoritma  optimasi  bertujuan memperoleh nilai bobot  optimal, mengurangi kesalahan serta meningkatkan akurasi [3].

## 2.8. Evaluasi Klasifikasi
Proses  evaluasi  hasil  percobaan  dilakukan dengan  cara  membandingkan  serta  menganalisis kinerja  dari  klasifikasi  citra  digital.  Dalam  penelitian ini,  evaluasi  dilakukan  dengan  menghitung  nilai
accuracy, precission, recall dan specificity. Nilai yang digunakan  dalam  perhitungan  tersebut  diperoleh  dari tabel confusion  matrix yang  didapat  setelah melakukan  pengujian  pada  model  dengan  data testing.
Tabel 1 Tabel Confusion Matrix Predicted Class True Class Positif Negatif Positif True Positif (TP) False Positif (FP) Negatif False Negatif (FN) True Negatif (TN)
Keempat  parameter  tersebut  digunakan  dalam menghitung empat metode evaluasi antara lain: a. Recall  (Sensitivity) ,  yaitu  perbandingan  jumlah data  yang  mungkin  dikenali  dengan  jumlah seluruh  data  yang  dikenali.  Berikut  rumus perhitungan recall : Recall
= TP TP + FN ×  100%                    … … … . . . (2.4)
b. Precision, yaitu  perbandingan  jumlah  data  yang mungkin  dikenali  dengan  jumlah  data  yang dikenali. Berikut rumus perhitungan precision :
Precission = TP
TP + FP
×  100%          … … . … … . (2.5)
c. Accuracy ,  yaitu  nilai  yang  menunjukkan  tingkat akurasi  sistem  dalam  mengklasifikasikan  secara benar:
Accuracy =

## TN + TP
TN + TP + FN + FP ×  100%  … … (2.6)
d. Specificity ,  m erupakan  kebenaran  memprediksi negatif  dibandingkan  dengan  keseluruhan  data negatif.

## Specificity = TN TN + FP
×  100%    … … … … … . . . (2.7)
Semakin  tinggi  nilai  persentase  yang  diperoleh dari keempat metode evaluasi tersebut, maka semakin baik kinerja klasifikasi peragaan SIBI yang dilakukan oleh sistem.

## 3. METODE PENELITIAN

## 3.1. Analisis Sistem
Dalam aplikasi pengenalan bahasa isyarat abjad SIBI,  pengguna  akan  melakukan  penambahan  data berupa  citra  digital  sebagai  dataset  yang  akan digunakan dalam proses training. Pada proses training akan  dihasilkan  model  yang  akan  digunakan  sebagai model  klasifikasi.  Hasil  dari  deteksi  peragaan  SIBI akan ditampilkan ke dalam website. Desain arsitektur aplikasi ini ditunjukkan pada gambar 7.

## Gambar 7. Desain arsitektur aplikasi

## 3.2. Pengumpulan Data
Pengumpulan  dataset  dilakukan  di  SDLB Purworejo  III  Kota  Pasuruan,  dengan  melibatkan  3 murid  penyandang  tunarungu  dan  1  guru.  Dataset yang  diperoleh  berupa  384  citra  digital  peragaan bahasa  isyarat  abjad  A  sampai  I  dan  K  sampai  Y berwarna  (RGB)  dengan  format  “.jpg”  dan  8  video peragaan bahasa isyarat abjad J dan Z dengan format “.mp4”.
Tujuan  dari  prepocessing  guna  memperoleh area  peragaan  bahasa  isyarat  sehingga  memudahkan dalam  proses  training  menggunakan  metode  CNN. Berikut  alur  preprocessing  ditunjukkan  pada  gambar 8.

## Gambar 8. Pra-pemrosesan citra
Pengolahan  data  (Pra-pemrosesan  citra)  yakni proses  merubah  dataset  video  menjadi  frame  berupa citra digital RGB dengan format “.jpg”. Citra akan di cropping pada area tangan peragaan SIBI.

## 3.3. Block Diagram Aplikasi
Blok  diagram  aplikasi  menunjukkan  alur  dari aplikasi yang akan berjalan. Blok diagram terdiri dari 3  tahap  yaitu  input  berupa  data  yang  digunakan, kemudian  proses  yaitu  tahap  mengolah  input  hingga menghasilkan  output  yang  diinginkan.  Berikut  blok diagram ditunjukkan pada Gambar 9.
Gambar 9. Block Diagram Sistem
3.4. Flowchart Convolutional Neural Network
Flowchart metode Convolutional Neural Network  menggambarkan  alur  dari  metode  CNN dalam  proses  training  serta  klasifikasi.  Berikut flowchart  metode  Convolutional  Neural  Network dapat dilihat pada gambar 10.
Gambar 10. Flowchart Convolutional Neural Network

## 3.5. Flowchart Pengenalan Abjad SIBI
Proses  pengenalan  Abjad  SIBI  menggunakan data  hasil  capture  webcam  saat  user  memperagaan bahasa  isyarat  SIBI.  Berikut  alur  proses  pengenalan abjad SIBI:
Gambar 11. Flowchart Pengenalan Abjad SIBI

## 3.6. Flowchart Kuis SIBI
Proses  pengenalan  peragaan  Abjad  SIBI  pada fitur  kuis  menggunakan  data  hasil  capture  webcam saat  user  memperagaan  bahasa  isyarat  SIBI.  Berikut alur proses pengenalan abjad SIBI pada fitur kuis.
Gambar 12. Flowchart proses kuis peragaan SIBI

## 3.7. Pembentukan Arsitektur CNN
Penerapan  model  arsitektur  metode  CNN  yang akan  digunakan  dalam  proses  training  data  citra peragaan  SIBI.  Data  input  berupa  citra  RGB  dengan ukuran  200 × 200pixel.  Output  shape  dapat  diperoleh dari  persamaan  (2.1),  output  shape  ditunjukkan  pada tabel 2 seperti berikut:
Tabel 2. Tabel Arsitektur metode CNN Layer Type Output Shape Keterangan conv2d (None, 196,196,32) Filter_size = 5x5 Stride = 1 Act = ReLu Maxpooling2d (None, 98,98,32) Pool_size = 2x2 conv2d_1 (None, 94,94,64) Filter_size = 5x5 Stride = 1 Act = ReLu Maxpooling2d _1 (None, 47,47,64) Pool_size = 2x2 Flatten (None, 141367) - dense (None, 64) Act = Relu dense_1 (None, 26) Act = Softmax
Setelah  membuat  model  arsitektur  CNN, dilanjutkan  proses  training  menggunakan  acuan  nilai parameter yang ditunjukkan pada tabel 3.
Tabel 3. Parameter training CNN Parameter Nilai Epoch 50 Batch size 32 Loss Function Categorical Cross Entropy Optimizer Adam Optimizer metrics Accuracy

## 4. HASIL DAN PEMBAHASAN
4.1. Implementasi Preprocessing Citra
Implemantasi
ini merupakan
tahap
preprocessing yang  terdiri  dari  tahap  koversi  video menjadi  frame . Daerah  tangan  peragaan  bahasa isyarat  abjad  SIBI  telah  ditetapkan.  Kemudian dilakukan  cropping  pada  daerah  peragaan  bahasa isyarat.  Hasil  akhir preprocessing akan  disimpan pada penyimpanan  internal sistem. Sample data yang telah  menerapkan preprocessing ,  berikut  hasil  citra preprocessing :
Gambar 13. Sample hasil preprocessing (abjad A)

## 4.2. Halaman Dashboard
Pada halaman dashboard menampilkan informasi  mengenai  jumlah  data  citra  peragaan  SIBI serta  jumlah  kelas  abjad  SIBI.  Selain  itu  terdapat tombol training yang digunakan untuk proses training data.

## Gambar 14. Tampilan halaman dashboard

## 4.3. Halaman Data Citra Sibi
Pada  halaman  data  citra  SIBI  menampilkan informasi  mengenai  jumlah  data  pada  tiap  kelas abjad.  Terdapat  informasi  mengenai  jumlah  citra peragaan  SIBI  pada  setiap  kelas  abjad.  Selain  itu terdapat  fitur  untuk  menambahkan  data  citra  sesuai kelas.
Gambar 15. Tampilan halaman data citra SIBI

## 4.4. Halaman Abjad SIBI
Pada halaman Abjad SIBI menampilkan contoh peragaan  bahasa  isyarat  abjad  SIBI.  Website menampilkan  4  peragaan  di  setiap  halaman  (page). Tujuan  dari  pembuatan  halaman  peragaan  bahasa isyarat  adalah  memberikan  contoh  peragaan  bagi murid.  Berikut  tampilan  halaman  Abjad  SIBI ditunjukkan pada gambar 16.
Gambar 16. Tampilan halaman contoh peragaan SIBI

## 4.5. Halaman Pembelajaran SIBI
Saat  halaman  pembelajaran  SIBI  diakses, webcam akan  diaktifkan. Murid  melakukan  peragaan bahasa  isyarat  abjad  SIBI.  Sistem  akan  melakukan klasifikasi berdasar peragaan. Hasil klasifikasi berupa kelas abjad dan nilai probabilitas.
Gambar 17. Tampilan halaman pembelajaran

## 4.6. Halaman Kuis SIBI
Pada  halaman  Kuis  SIBI  menampilkan  menu Kuis peragaan bahasa isyarat abjad SIBI. Murid akan memilih  kuis  peragaan  abjad  SIBI.  Terdapat  tombol “Mulai  Kuis”  untuk  mengarahkan  ke  halaman  kuis peragaan abjad.
Gambar 18. Tampilan halaman Kuis SIBI
Berikut  adalah  tampilan  sistem  ketika  kondisi awal saat mulai kuis dan ketika peragaan salah.
Gambar 19. Tampilan Kuis SIBI (Salah)
Berikut adalah tampilan sistem ketika peragaan yang dilakukan benar.
Gambar 20. Tampilan Kuis SIBI (Benar)

## 4.7. Halaman Info
Pada  halaman  Info  pada  website  user menampilkan informasi singkat mengenai mitra studi kasus  serta  beberapa  dokumentasi  saat  survei  data dalam pembuatan aplikasi pengenalan Bahasa Isyarat Abjad SIBI.
Gambar 21. Tampilan halaman Info (User)
4.8. Pengujian Training Data
Dataset  hasil preprocessing akan  digunakan dalam  proses  training  guna  menghasilkan  model klasifikasi  bahasa  isyarat  SIBI.  Dataset  pada  setiap kelas  abjad  berjumlah  sekitar  16,  sehingga  total  data training  sebanyak  416  data  citra  digital  yang  telah dilakukan preprocessing .
Training  dilakukan  sampai  nilai  accuracy  yang diperoleh cukup baik sehingga  model  yang diperoleh dapat  dikatakan  optimal.  Berikut  perbandingan  nilai Training  Loss,  Validation  Loss,  Training  Accuracy, Validation  Accuracy  pada  setiap  Epoch  ditunjukkan pada tabel 4.
Tabel 4. Perbandingan training, validation loss dan accuracy tiap epoch Epoch ke Train_ Loss Val_Loss Train_Acc Val_ Acc 10 2,3482 2,1428 0,4072 0,4615 20 1,2236 1.0498 0.6697 0.7081 30 0,7314 0.5506 0.8100 0.8552 40 0,5037 0.3176 0.8529 0.9253 50 0,4969 0.1887 0.9005 0.9502 Keterangan: Train Loss : nilai loss function dari training dataset Val_Loss : nilai loss function dari validation dataset. Train_Acc : nilai akurasi dari training dataset Val_Acc : nilai akurasi dari validation dataset
Berdasarkan  Tabel  4,  dapat  diketahui  bahwa semakin  banyak  jumlah  epoch,  maka  semakin  baik nilai  akurasi.  Berikut  adalah  hasil  dari  uji  coba training  model  berupa  grafik  accuracy  model  dari proses  train  data  dengan  jumlah  epoch  sebanyak  50, ditunjukkan pada gambar 22.
Gambar 22. Grafik accuracy model training
Kurva  hasil  proses  training  dapat  digunakan untuk  mendiagnosis  tingkat  seberapa  optimal  dari model  yang  berhasil  dibuat.  Plot  kurva  train  data menunjukkan kecocokan  yang  baik, karena plot train accuracy  dan  validation  accuracy  naik  secara cenderung stabil  serta keduanya  memiliki celah kecil antara  plot  train  accuracy  dan  validation  accuracy. Sehingga  dapat  disimpulkan  bahwa  model  yang diperoleh  pada  proses  training  memiliki  tingkat optimal yang baik [5].

## 4.9. Pengujian Evaluasi Klasifikasi
Tujuan dari pengujian evaluasi klasifikasi untuk mengetahui  presentase  benar  dari  hasil  klasifikasi yang  mengacu  pada  nilai  variabel.  Rumus  yang digunakan  pada  evaluasi  klasifikasi  ini  yaitu menggunakan  4  metode  evaluasi  berdasar  tabel confussion  matrix.  Pengujian  ini  berfokus  pada pengujian klasifikasi realtime pada fitur pembelajaran SIBI.  Poses  pengujian  ini  menggunakan  model klasifikasi dari proses training menggunakan 416 data citra  yang  telah  diberi  label.  Data  test  dari  hasil capture  peragaan  abjad  SIBI  oleh  pengguna  dengan melibatkan  2  subjek  serta  melakukan  peragaan  26 abjad  dengan  total  52  kali  percobaan.  Berdasarkan hasil  pengujian  evaluasi  klasifikasi,  diperoleh  nilai confussion matrix pada tabel 2.

## Tabel 5. Confussion matrix
Predicted Class True Class Total Positif Negatif Positif 42 10 52 Negatif 10 42 52 Total 52 52
Setelah  melakukan  pengujian,  maka  diperoleh nilai  confusion  matrix  yang  digunakan  dalam perhitungan  evaluasi  klasifikasi  yakni  menghitung recall  dengan  rumus  (2.4),  precision  dengan  rumus
(2.5)  serta  accuracy  dengan  rumus  (2.6).  Berikut perhitungan untuk masing evaluasi yang dilakukan:
Accuracy = TN + TP TN + TP + FN + FP ×  100% = 42 + 42 42 + 42 + 10 + 10 ×  100% =  80,76% Sensitivity = TP TP + FN ×  100%  = 42 42 + 10 ×  100 =  80,76% Specificity = TN TN + FP ×  100%  = 42 42 + 10 ×  100 =  80,76% Precission = TP TP + FP ×  100%  = 42 42 + 10 ×  100 =  80,76% Recall = TP TP + FN ×  100%  = 42 42 + 10 ×  100% =  80,76%
Berdasarkan  tabel  5,  citra  dengan  label  true positif  (TP)  terdapat  42  peragaan,  citra  dengan  label false  negatif (FN) terdapat 10 peragaan, citra dengan label  true  negatif  (TN)  terdapat  42  peragaan,  serta citra  dengan  label  false  positif  (FP)  terdapat  10 peragaan.  Dari  hasil  perhitungan  evaluasi  diperoleh hasil  sensitivity ,  specificity,  precission,  recall dan accuracy sebesar 80,76%.

## 4.10. Pengujian Black Box
Pengujian  Black  Box  dilakukan  dengan  cara menguji  fitur  yang  terdapat  pada  sistem  yang  telah dibuat
Tabel 6. Pengujian dashboard No Pengujian Hasil Harapan Hasil Sistem Kesim pulan 1 Fitur pada dashboard Tampil info jumlah data citra dan kelas abjad Tampil info jumlah data citra dan kelas abjad Sesuai 2 Fitur Training data File model klasifikasi tersimpan dalam direktori lokal
File model klasifikasi tersimpan dalam direktori lokal
Sesuai

## Tabel 7. Pengujian halaman Citra SIBI
No  Pengujian Hasil Harapan Hasil Sistem Kesim pulan
1 Fitur pada Data Citra SIBI Menampilkan tabel jumlah data citra pada tiap kelas abjad dan menu tambah data citra Menampilkan tabel jumlah data citra pada tiap kelas abjad dan menu tambah data citra
Sesuai
2 Tambah data citra
Abjad: O Data : 5 citra Data tersimpan pada directory local dan jumlah data pada tabel ter-update Data tersimpan pada directory local dan jumlah data pada tabel ter- update Sesuai 3 Tambah data citra
Abjad : - Data : 3 citra abjad O Tampil pesan “ please select an item in the list ” di bawah combo box. Tampil pesan “ please select an item in the list ” di bawah combo box.
Sesuai
Tabel 8. Pengujian halaman Abjad SIBI No Pengujia n Hasil Harapan Hasil Sistem Kesimp ulan 1 Tampilan contoh peragaan
Internet : online Menampilkan contoh peragaan abjad SIBI, berserta pagination Menampilkan contoh peragaan abjad SIBI, berserta pagination Sesuai 2 Tampilan contoh peragaan
Internet : offline Tidak tampil contoh peragaan abjad
SIBI, beserta pagination Tidak tampil contoh peragaan abjad SIBI, berserta pagination
Sesuai 3 Pagination page : 5 Tampil contoh peragaan Q,R,S,T Tampil contoh peragaan Q,R,S,T Sesuai 4 Detail peragaan Abjad : S Terdapat efek gambar zoom in serta shadow pada area contoh peragaan SIBI abjad S Terdapat efek gambar zoom in serta shadow pada area contoh peragaan SIBI abjad S Sesuai

## Tabel 9. Pengujian halaman pembelajaran
No Pengujia n Hasil Harapan Hasil Sistem Kesimp ulan
1 Fitur pada pembelaj aran SIBI
Menampilkan webcam serta keterangan “ Belajar Abjad SIBI” serta intruksi “Arahkan tangan ke dalam kotak”.
Menampilkan webcam serta keterangan “ Belajar Abjad SIBI” serta intruksi “Arahkan tangan ke dalam kotak”. Sesuai 2 Klasifika si secara realtime Input : Peragaan abjad  H Menampilkan hasil kelas abjad yaitu H dan nilai probabilitas dari proses klasifikasi pada webcam Menampilkan hasil kelas abjad yaitu H dan nilai probabilitas dari proses klasifikasi pada webcam Sesuai 3 Klasifika si secara realtime Input : - Menampilkan Keterangan “Arahkan tangan ke dalam kotak” pada webcam Menampilkan Keterangan “Arahkan tangan ke dalam kotak” pada webcam Sesuai

## Tabel 10. Pengujain halaman kuis SIBI
No Pengujia n Hasil Harapan Hasil Sistem
Kesimp ulan
1 Fitur pada
Kuis SIBI Menampilkan pilihan kuis abjad serta pagination, button “Mulai Kuis” pada tiap menu abjad.
Menampilkan pilihan kuis abjad disertai pagination, button “Mulai Kuis” pada tiap
menu abjad.
Sesuai 2 Tombol “Mulai Kuis”
Input: Kuis Abjad A sampai H Mengarahkan ke halaman peragaan kuis pada tiap menu kuis abjad A sampai H Mengarahkan ke halaman peragaan kuis pada tiap menu kuis abjad A sampai H Sesuai 3 Tombol “Kembal i”, kuis A s/d H Mengarahkan ke halaman utama kuis Mengarahkan ke halaman utama kuis Sesuai
No Pengujia n Hasil Harapan Hasil Sistem Kesimp ulan 4 Klasifika si kuis peragaan (Benar) Intruksi : Kuis Abjad H Peragaan : Abjad
H
Menampilkan hasil kelas abjad “Abjad : H” serta informasi “ Selamat Anda Benar !” pada webcam Menampilkan hasil kelas abjad “Abjad : H” serta informasi “ Selamat Anda Benar !” pada webcam. Sesuai 5 Klasifika si kuis peragaan (Salah)
Intruksi : Kuis Abjad H Peragaan : Abjad G Menampilkan keterangan “ Belajar Abjad SIBI” serta intruksi “Arahkan tangan ke dalam kotak”, serta keterangan “Semangat ! ” pada webcam Menampilkan keterangan “ Belajar Abjad SIBI” serta intruksi “Arahkan tangan ke dalam kotak”, serta keterangan “Semangat ! ” pada webcam Sesuai
Tabel 11. Pengujian halaman info (user) No Penguji an Hasil Harapan Hasil Sistem Kesimp ulan 1 Tampila n info aplikasi Tampil info tentang mitra studi kasus Tampil info tentang mitra studi kasus Sesuai

## 4.11. Pengujian Non-fungsional
Pengujian fungsional aplikasi dilakukan dengan cara  mengakses  aplikasi  pada  web  browser  yang berbeda, bertujuan untuk mengetahui apakah aplikasi dapat  menampilkan  hasil  yang  sesuai  dengan perancangan.  Hasil  dari  pengujian  fungsional  dapat dilihat pada tabel 12.
Tabel 12. Pengujian Fungsional Aplikasi
No Pengujian Web Browser Firefox Chrome Ms Edge Website Admin 1 Dashboard    2 Data Citra    Website User 3 Beranda    4 Abjad SIBI    5 Pembelajaran    6 Kuis (A s/d H)    7 Info    8 Responsive pada resolusi layar width : 640 height : 720    9 Pengujian Kamera (Webcam tampil)    10 Performance deteksi klasifikasi (**)   
Keterangan :  : Sukses ,  : Gagal
Tabel  10,  menjelaskan  hasil  pengujian  aplikasi yang  berfokus  pada  spesifikasi  hardware  serta  web browser.  Aplikasi  Belajar  SIBI  dapat  berfungsi dengan  baik  di  berbagai  web  browser.  Pengujian  ini
dilakukan  menggunakan  perangkat  dengan  minimal spesifikasi seperti:
a. OS : Windows 10
b. Processor : CPU Intel Core i5,
c. Terinstall  library  Keras,  Tensorflow,  OpenCV untuk  penerapan  deep  learning  menggunakan metode CNN
d. RAM : 4 GB
Versi  web  browser  yang  digunakan  dalam pengujian ini adalah:
a. Google Chrome versi 1.3.33
b. Mozila Firefox versi 4.42
c. Microsoft Edge versi 97.0

## 4.12. Pengujian Pengguna
Tujuan  dari  pengujian  pengguna  yaitu  guna melihat  kesesuaian  dari  aplikasi  Belajar  SIBI  yang telah dibuat. Kuesioner yang disebarkan sebanyak 10 kuesioner  kepada  responden  atau  pengguna.  Hasil pengujian pengguna ditunjukkan pada Tabel 13.
Tabel 13. Pengujian Pengguna No Pertanyaan Jawaban SS S TS STS
1 Aplikasi "Belajar SIBI" mudah digunakan. 2 8 0 0 2 Fitur aplikasi mudah dipahami 2 8 0 0
3 Informasi pada aplikasi mudah dipahami. 2 8 0 0 4 Warna tombol, jenis font, dan warna font pada aplikasi terlihat jelas dan sesuai.
3 7 0 0
5 Deteksi peragaan secara realtime berjalan dengan baik 2 8 0 0
Total
11 39 0 0 Total Keseluruhan 50
Keterangan:
SS  : Sangat Sesuai     S      : Sesuai TS  : Tidak Sesuai      STS  : Sangat Tidak Sesuai
Tabel  11,  merupakan  tabel  pengujian  yang ditujukan  pada  10  pengguna.  Dapat  disimpulkan, dalam  pertanyaan  nomor  1  hingga  3  serta  nomor  5, pengguna  menyatakan  Sangat  Sesuai  sebanyak  20%, pengguna menyatakan  Sesuai  sebanyak  80%, pengguna menyatakan Tidak Sesuai dan Sangat Tidak Sesuai  sebanyak  0%.  Dalam  pertanyaan  nomor  4, pengguna  menyatakan  Sangat  Sesuai  sebanyak  30%, pengguna menyatakan  Sesuai  sebanyak  70%, pengguna menyatakan Tidak Sesuai dan Sangat Tidak Sesuai sebanyak 0%.

## 5. KESIMPULAN DAN SARAN
5.1. Kesimpulan
Berdasar  hasil  implementasi  serta  pengujian Aplikasi  Pengenalan  Bahasa  Isyarat  Abjad  SIBI mengunakan  Metode Convolutional  Neural  Network (CNN), maka  dapat  disimpulkan  bahwa  Aplikasi berhasil  mengenali kelas abjad  berdasarkan peragaan yang dilakukan oleh pengguna. Dalam proses training dataset  menggunakan  citra  sebanyak  416  dengan epoch  50  serta  batch  size  32  diperoleh  model  yang
sudah  optimal  dengan  training  akurasi  sebesar 90.05%, terbukti terdapat kesesuaian yang baik antara plot  train  accuracy  dengan  plot  validation  accuracy yang  ditunjukkan  dalam  grafik  accuracy  naik  secara bertahap  serta  memiliki  celah  kecil  antara  keduanya. Berdasarkan evaluasi klasifikasi menggunakan confussion  matrix ,  diperoleh  data True  Positif sebanyak  42  peragaan , data False  Negatif sebanyak 10  peragaan , data True  Negatif sebanyak  42 peragaan , serta  data False  Positif sebanyak  10 peragaan . Berdasarkan  hasil  perhitungan  evaluasi diperoleh  hasil accuracy sebesar 80,76%. Pengenalan bahasa  isyarat  abjad  B,  F,  M,  N  dan  S  terdapat kesalahan  deteksi  karena  bentuk  pergaan  bahasa isyarat  abjad  SIBI  sekilas  hampir  sama,  serta peragaan bahasa isyarat abjad J dan Z belum berhasil dikenali  oleh  sistem  secara  sempurna,  karena peragaan abjad J dan Z berupa gerakan aktif.

## 5.2. Saran
Berdasarkan  hasil  penelitian,  untuk  pengembangan selanjutnya  penulis  memberikan  saran  antara  lain  yaitu menambahkan  dataset  training  lebih  banyak  sehingga model  yang  diperoleh  lebih  akurat.  Disarankan menambah  fitur  pengambilan  gambar  peragaan  pada sistem  agar  pengumpulan  data  lebih  mudah. Disarankan  untuk  menggunakan  kamera  eksternal, agar  tidak  mengurangi  sumber  daya  atau  resource dari laptop atau PC, dikarenakan program membutuhkan resorce yang tinggi.

## DAFTAR PUSTAKA
[1] Ahmad  Rozani,  Karina  Auliasari,  Ahmad Faisol, 2017. Penerapan Metode Jaringan Syaraf Tiruan Pada Aplikasi Pengenalan Bahasa Isyarat Abjad  Jari. JATI  (Jurnal  Mahasiswa  Teknik Informatika) Vol.  1  No.  1,  Maret  2017 Teknik Informatika ITN Malang.
[2] M.Dedy  Rosyadi,  Fathul  Hafidh,  Mirza  Yogy Kurniawan, 2017. Pengenalan Real Time Abjad Bahasa Isyarat Indonesia Menggunakan Segmentasi YCBCR. JTIULM (Jurnal Teknologi  Informasi  Universitas  Lambung Mangkurat) Vol.2 No.2 Oktober 2017. Teknologi  Informasi  Universitas  Lambung
Mangkurat.
[3] Arfian.  2018.  Implementasi  Convolutional Neural Network Terhadap Transportasi
Tradisional  Menggunakan  Keras.  Statistika. Universitas Islam Indonesia. [4] Candra Kusuma Dewa, dkk. 2018. Convolutional Neural Networks for Handwritten Javanese  Character  Recognition.  IJCSS  Vol.12, No.1,  January  2018,  pp.  83-94.  Informatika. Universitas Islam Indonesia
[5] Mochamad  Bagus  Setiyo  Bakti,  Yuliana  Melita Pranoto,  2019.  Pengenalan  Angka  Sistem Isyarat Bahasa Indonesia Dengan Menggunakan Metode Convolutional Neural Network.
Seminar  Nasional  Inovasi  Teknologi  UN  PGRI Kediri.
[6] Devina  Yolanda,  Kartika  Gunadi,  Endang Setyati,  2020.  Pengenalan  Alfabet  Bahasa Isyarat  Tangan  Secara  RealTime  dengan Menggunakan  Metode  Convolutional  Neural Network  dan  Recurrent  Neural  Network.  Jurnal Infra Vol.8 No.1 2020. Universitas Kristen Petra
[7] Ferdian Rachardi. 2020. Deteksi Gambar Gestur Kosakata  Bahasa  Isyarat  Indonesia  dengan Convolutional Neural Network. Sistem informasi.  Universitas  Islam  Negeri  Syarif Hidayatullah.
[8] Ilham  Rizaldy  Widy  Putra,  2021.  Sistem Deteksi  Simbol  pada  SIBI    (Sistem  Isyarat Bahasa Indonesia) Menggunakan Convolutional Neural Network. Universitas Dinamika.
[9] Mohammad Farid Naufal, dkk. 2021. Klasifikasi Citra Game Batu Kertas Gunting Menggunakan Convolutional  Neural  Network.  Techno.COM, Vol. 20, No. 1 Februari 2021: 166-174
[10] Darmatasia.  2021.Pengenalan  Sistem  Isyarat
Bahasa Indonesia (SIBI) Menggunakan Gradient-Convolutional  Neural  Network.  Jurnal Instek Volume 6 Nomor. 1, April 2021. Teknik Informatika. Universitas Islam Negeri  Alauddin Makassar [11] Kamus SIBI. Retrieved from https://pmpk.kemdikbud.go.id/sibi/,
diakses tanggal 24 September 2021, pukul 14.44 WIB.
[12] Sujud  Satwikayana,  Suryo  Adi  Wibowo, Nurlaily  Vendyansyah,  2021.  Sistem  Presensi Mahasiswa  Otomatis  Pada  Zoom  Meeting Menggunakan Face Recognition Dengan Metode Convolutional Neural Network Berbasis Web. JATI (Jurnal Mahasiswa Teknik Informatika) Vol.  4  No.  2,  September  2021. Teknik Informatika ITN Malang
[13] Ramba,  Lery  Sakti .2020. Perancangan  Sistem Home  Automation  Dengan  Kendali  Perintah Suara Menggunakan Deep Learning
Convolutional  Neural  Network  (Dl-Cnn). Other thesis, Universitas Komputer Indonesia
[14] MNIST Handwritten Digits Classification using a Convolutional Neural Network (CNN). Retrieved from https://towardsdatascience.com/mnist- handwritten-digits-classification-using-a- convolutional-neural-network-cnn-af5fafbc35e9 diakses tanggal 26 September 2021, pukul 16.05 WIB.