## Sistem Klarifikasi Bahasa Isyarat Indonesia (Bisindo) Dengan Menggunakan Algoritma Convolutional Neural Network
Lukman Arisandi Barka Satya Program Studi Informatika, Fakultas Ilmu Komputer, Program Studi Diploma III Teknik Informatika, Fakultas Ilmu Komputer Universitas Amikom Yogyakarta Universitas Amikom Yogyakarta Yogyakarta, Indonesia Yogyakarta, Indonesia klukman.arisandi@students.amikom.ac.id barka.satya@amikom.ac.id
Abstract — Communication is needed to interact and socialize in order to connect with the environment and  other  people.  In general,  communication  uses  spoken  or  written  words.  However,  in  some  cases  in  the community there are some people who cannot communicate verbally due to physical limitations such as deaf and  speech  impaired.  Usually,  they  use  nonverbal  communication  such  as  body  movements  and  this communication  is  commonly  referred  to  as  sign  language.  The  sign  language  method  is  used  to  spell  or pronounce words. However, not everyone can understand the sign language used by the deaf and mute, so a system or tool is needed to bridge communication between the deaf or mute and normal people. One solution that can be offered is the use of computer technology as a tool to identify sign language. The technology is in the form of an automatic language translator system design with processing input images in the form of letter classes A to E, I, You and I Love You using the Convolutional Neural Network (CNN) architecture  which by using this method the accuracy value can reach 99.82%.
Keywords— Sign  Language,  BISINDO,  Convolutional  Neural  Network,  Communication,  deaf,  speech impaired

## I. PENDAHULUAN
Komunikasi merupakan suatu proses sosial yang sangat dasar di mana seseorang atau beberapa orang, baik di organisasi maupun di masyarakat menyampaikan suatu informasi agar  dapat  terhubung  dengan  lingkungan  dan  orang  lain[1].  Secara  umum  komunikasi dilakukan  dengan  kata-kata  lisan  atau  tulisan,  Namun  di  beberapa  kasus  ada  sebagian orang  yang  tidak  dapat  berkomunikasi  secara  verbal  dikarenakan  keterbatasan  fisik seperti tunarungu dan tunawicara. Biasanya mereka menggunakan komunikasi nonverbal seperti gerak-gerik tubuh baik menggunakan tangan ataupun anggota badan yang lain[2], komunikasi ini biasa di sebut dengan bahasa isyarat.
Namun  menghadapi  kendala  bahwa  tidak  semua  orang  dapat  memahami  bahasa isyarat  yang  di  gunakan  oleh  penyandang  tunarungu  dan  tunawicara,  sehingga  mereka mendapat  masalah  ketika  penyandang  tunarungu  dan  tunawicara  berkomunikasi  dengan orang normal yang sebagian besar tidak memiliki pengetahuan tentang bahasa isyarat.
Berdasarkan  data  yang  bersumber  dari  Sistem  Informasi  Management  Penyandang Disabilitas  Kementerian  Kesehatan  Republik  Indonesia  pada  Maret  2022  penyandang disabilitas  di  Indonesia  berjumlah  212.240  jiwa,  jumlah  tersebut  meningkat  selama  2 tahun  terakhir  di  mana  pada  Maret  2020  sebesar  197.582  jiwa  dan  Maret  2021  sebesar 207.604  jiwa,  sedangkan  untuk  penyandang  disabilitas  tunawicara-rungu  pada  Maret 2022  berjumlah  19.392  atau  9.14%  dari  jumlah  seluruh  penyandang  disabilitas  di Indonesia[3].
Di Indonesia sendiri ada dua macam penggunaan bahasa isyarat yaitu Sistem Bahasa Isyarat  Indonesia  (SIBI)  yang  dibakukan  dan    diambil  dari American  Sign  Language (ASL)  dengan  di  tambah  imbuhan  awal  dan  akhir[4]dan  Bahasa  Isyarat  Indonesia (BISINDO) yang merupakan bahasa ibu atau bahasa awal tunawicara-rungu yang di pakai sehari-hari[5].
BISINDO merupakan satu dari dua bahasa isyarat yang di gunakan di Indonesia selain SIBI. Bisindo sendiri diresmikan pada Kongres Nasional keenam Gerkatin di Bali tahun 2002 dengan tujuan mempertahankan bahasa isyarat alami[6].
Huruf abjad pada BISINDO berjumlah 26 karakter serta terdiri dari A sampai Z yang dapat dibentuk dengan satu tangan berupa huruf C, E, I, J, L, O, R, U, V dan Z dan huruf yang dapat di bentuk dengan dua tangan adalah A, B, D, F , G, H, K, M, N, P, Q, S, T, W, X dan Y, Seperti yang ditunjukkan pada Gambar. 1.
Gambar 1. Alfabet di BISINDO (Illustrator : Erwinsyah[7])
Penelitian yang dilakukan oleh Rohmah Ageng Mursita pada tahun 2015 terhadap 100 responden  tunarungu  usia  remaja  dan  dewasa  (16-50  tahun)  menunjukkan  bahwa  91% mayoritas tunarungu di Indonesia lebih memilih BISINDO dalam komunikasi sehari-hari, sedangkan  hanya  9%  yang  menggunakan  SIBI[8].  Penelitian  ini  hanya  akan menggunakan salah satu bahasa isyarat yaitu BISINDO dengan model masukan akan juga menggunakan  dataset  BISINDO  yang  terdiri  dari  Sembilan  kelas  yaitu  Huruf  A-E,  L, Saya, Kamu dan I Love You.
Dalam  perkembangannya,  penelitian  dengan  pembahasan hand  motion dan hand gesture  detection menjadi  semakin  banyak  dan  populer,  sebagaimana    penelitian  terkait yang dilakukan oleh Jie Huang, Wengang Zhou, Houqiang Li, and Weiping Li di tahun 2019  dengan  judul  “Attention-Based  3D-CNNs  for  Large-Vocabulary  Sign  Language Recognition”.  Penelitihan  ini  di  publikasikan  di  IEEE  Volume  29  No.  9  Pages  2822  – 2832.  Dalam  penelitian  ini  membahas  tentang  Pengenalan  Bahasa  Isyarat  menggunakan teknik 3D-Convolutional Neural Networks Secara rinci dataset terdiri dari 450 pelatihan, 250  validasi,  dan  240  video  pengujian  yang  di  dalamnya  terdapat total  7754,  3362,  dan 2742  instance  gesture  individu.  Dengan  metode  tersebut  pada  penelitihannya  mendapat nilai akurasi mencapai 95.3% [17].
Penelitian Md. Mehedi Hasan, Azmain Yakin Srizon, Abu Sayeed dan Md. Al Mehedi Hasan  dalam  International  Conference  on  Computer  and  Information  Technology (ICCIT)  ke  23  yang  di  publikasikan  oleh  IEEE  page  1-9  pada  tahun  2020 dengan judul “Classification  of  American  Sign  Language  by  Applying  a  Transfer  Learned  Deep Convolutional Neural Network”. Membahas tentang proses klarifikasi ASL menggunakan Convolutional Neural Networks (CNN) dengan arsitektur inceptionV3 yang dimodifikasi untuk mendeteksi karakter pada Amerika Sign Language pada 36 kelas yang terdiri dari 26 huruf dan 10 angkat serta beberapa kali langkah preprocessing mendapat nilai akurasi sebesar 98.81%[18].
Penelitian  yang  dilakukan  oleh  Darmatasia  berjudul  “Pengenalan  Sistem  Isyarat Bahasa  Indonesia  (SIBI)  Menggunakan  Gradient-Convolutional  Neural  Network” dipublikasikan dalam Jurnal INSTEK (Informatika Sains dan Teknologi), Hal. 1-5 no. 26 tahun  2020  membahas  tentang  pengenalan  alfabet  SIBI  menggunakan  algoritma  CNN dengan  lapisan  input  diberikan  filter gradient agar  bentuk  objek  menjadi  lebih  jelas. Dengan  menggunakan  lima  kelas alfabet  SIBI,  penelitian tersebut  menghasilkan  akurasi sebesar 98% [19].
Penelitian  Kembuan,  Olivia  Caren  Rorimpandey,  Gladly  Milian  Tompunu  Tengker, Soenandar  berjudul  “Convolutional  Neural  Network  (CNN)  for  Image  Classification  of Indonesia Sign Language Using Tensorflow” yang dipublikasikan dalam IEEE Publishing Vol.1028,  No.1,  Hal.012173  tahun  2020  membahas  tentang  pengenalan  citra  BISINDO dengan  menggunakan  arsitektur Convolutional  Neural  Network (CNN)  dan  Tensorflow dengan  menggunakan  2659  gambar  yang  terbagi  atas  26  kelas  alfabet  BISINDO menghasilkan akurasi sebesar 96.67% data training dan 100% data validasi[20] Berdasarkan beberapa penelitian yang telah dilakukan sebelumnya dan latar belakang masalah  yang  ada  maka  penulis  sebagai  peneliti  bermaksud  untuk  meneliti  tentang penerapan  algoritma Convolutional  Neural  Network (CNN)  pada  klarifikasi  Bahasa Isyarat Indonesia (BISINDO) dengan judul “ Sistem Klarifikasi Bahasa Isyarat Indonesia (Bisindo) Dengan Menggunakan Algoritma Convolutional Neural Network”.
Dalam  penelitian  ini  di  tentukan  rumusan  masalah  bagaimana  membangun  sebuah rancangan  sistem  yang  mampu  mengklarifikasi  Bahasa  Isyarat  Indonesia  (BISINDO) menggunakan gambar masukan dengan arsitektur Convolutional Neural Network (CNN) sehingga  dapat  menghasilkan  nilai  akurasi  dengan  lebih  besar  dengan  waktu  pelatihan lebih cepat dari penelitian-penelitian sebelumnya.
Rancangan  sistem  yang  akan  dibangun  bahasa  pemrograman  python  dengan  model masukan menggunakan dataset BISINDO yang terdiri dari kelas Huruf A-E, Saya, Kamu dan I Love You yang cara pengambilannya memakai kamera web cam. Dataset ini terdiri dari 1734 data pelatihan dan 429 data validasi  untuk setiap kelasnya.
Tujuan Penelitian ini adalah mengembangkan sebuah rancangan sistem yang  mampu mengklarifikasi model masukan dataset BISINDO menjadi keluaran sesuai kelas masing- masing  objek  secara  langsung  menggunakan  arsitektur  CNN  dengan  nilai  akurasi mencapai  99.82%.  Tujuan  khusus  dari  penelitian  ini  antara  lain  memberikan  alternatif baru  untuk  penerapan  arsitektur  CNN  dalam  sebuah  sistem  penerjemah  bahasa  isyarat dengan pelatihan relatif lebih cepat tetapi nilai menghasilkan nilai validasi yang besar.

## II. M ETODE P ENELITIAN
A. Convolutional Neural Network (CNN) Convolutional Neural Network (CNN) adalah jenis jaringan saraf  Multi-lapisan yang sangat khusus. CNN dirancang untuk mengenali pola visual langsung dari gambar dengan pemrosesan  minimal.  Bidang  jaringan  saraf  pada  awalnya  terinspirasi  oleh  tujuan pemodelan  sistem  saraf  biologis,  tetapi  sejak  itu  telah  bercabang  ke  arah  yang  berbeda dan  telah  menjadi  masalah  rekayasa  dan  mencapai  hasil  yang  baik  dalam  tugas pembelajaran mesin.
Walaupun  terlihat  sama  dengan Multi-Layer  Perceptrons (MLPs),  CNN  berkinerja lebih baik daripada Multi-Layer Perceptrons (MLPs). Ada dua alasan pertama pada MLP kita  mengubah matriks  input menjadi vektor  numerik sederhana  tanpa  struktur  spasial sedangkan CNN memahami fakta bahwa piksel gambar yang lebih dekat satu sama lain lebih terkait daripada piksel yang terpisah lebih jauh: CNN = Input layer + hidden layer + fully connected layer
Kedua  CNN  berbeda  dari  MLP  dalam  jenis  lapisan  tersembunyi  yang  dapat dimasukkan  dalam  model.  ConvNet  mengatur  neuronnya  dalam  tiga  dimensi:  lebar,
tinggi, dan kedalaman. Setiap lapisan mengubah volume input 3D menjadi volume output 3D neuron menggunakan fungsi aktivitas[9]. Seperti contoh gambar 2 di bawah ini.
Gambar 2. Arsitektur CNN [10]
Pooling  layer menyediakan  pendekatan  untuk down  sampling peta  fitur  dengan mengurangi  keberadaan  fitur  di patch pada  peta  fitur  khususnya  tinggi  dan  lebar  serta untuk menjaga kedalaman. Umumnya terdapat dua metode pooling yaitu average pooling dan max  pooling yang  merangkum  rata-rata  kehadiran  fitur  dan  kehadiran  fitur  yang paling  aktif.[11] Max  Pooling bekerja  lebih  baik  dalam  praktiknya  dari  pada  average pooling karena operasi pooling menghitung nilai terbesar di setiap patch dari setiap peta fitur. Hasilnya adalah peta fitur yang di-downsampling atau dikumpulkan akan menyoroti fitur  yang  paling  besar  di  patch,  bukan  keberadaan  rata-rata  fitur,  seperti  dalam  kasus average pooling.
Gambar 3. Metode Umum Pooling[12]
Fungsi  aktivasi  yang  biasa  di  gunakan  dalam  CNN  adalah ReLU dan hard  tanh dan sebagian besar telah menggantikan fungsi aktivasi sigmoid dan soft tanh di jaringan saraf modern karena kemudahan dalam  melatih jaringan saraf berlapis dengan fungsi aktivasi ini[13].  Lapisan ReLU akan  mengatur  semua  nilai  negatif  ke  0  sehingga  semua  nilai  di bawah 0 akan dianggap sebagai 0 f(x) = max(0, x)[14].
Gambar 4. Fungsi ReLu[14]

## B. TensorFlow
TensorFlow merupakan salah satu antarmuka untuk mengekspresikan algoritma pada pembelajaran mesin dan implementasi untuk mengeksekusi algoritma tersebut. Sistem ini fleksibel  dan  dapat  digunakan  untuk  berbagai  macam  algoritma,  termasuk  algoritma pelatihan  dan  inferensi  di  model  jaringan  saraf  dalam.  Tensorflow  diciptakan  oleh  tim Google  Brain  dengan  menggunakan  bahasa  biner  C++  yang  berperforma  tinggi  serta dirancang untuk dapat bekerja pada banyak CPU atau GPU dan aplikasi tensorflow dapat di jalankan pada hampir seluruh perangkat termasuk  desktop Windows, macOS ataupun Linux dan perangkat seluler baik itu android ataupun iOS[15].

## C. Google Colaboratory
Colaboratory adalah notebook Jupyter  yang  dibuat  oleh  Google  untuk  membantu berbagi  pendidikan  dan  penelitian machine learning . Ini  gratis  dan  berjalan  sepenuhnya di cloud dan memberikan akses gratis ke sumber daya komputasi termasuk GPU.
Perbedaan  dengan  Jupyter  adalah  proyek  sumber  terbuka  yang  menjadi  basis  Colab atau  cloud.  Colab  memungkinkan  kita  menggunakan  dan  berbagi  notebook  Jupyter dengan orang lain tanpa harus mengunduh, menginstal, atau menjalankan apa pun[16].

## D. Metodologi Penelitian
Manuskrip  penelitian  ini  akan  menggunakan  beberapa  tahapan  seperti  studi  literatur untuk melihat apakah sudah ada penelitian sejenis serta mengobservasi penelitian tersebut untuk menganalisis kelemahan serta kekurangan penelitian sebelumnya.
Setelah  tahapan  studi  literatur,  penelitian  ini  akan  masuk  ke  empat  tahap  berikutnya seperti yang dapat di lihat pada gambar 1.
Gambar 5. Metodologi Penelitian

## E. Pengumpulan Dataset
Metode  pengumpulan  data  penelitian  akan  menggunakan  teknik  observasi  di  mana dalam proses ini bentuk tangan akan didokumentasikan dalam bentuk gambar RGB ( Red Green  Blue )    dengan  format  PNG  dan  menghasilkan  data  primer.  Contoh  pengambilan dataset ditunjukkan pada gambar 6.
Pengumpulan Data
Data Pre-Prossesing Modeling
Pelatihan  Model

## Gambar 6. Pengambilan dataset
Dataset  ini  berisi  2163  gambar  dengan  9  kelas  dengan  ukuran  dataset  52,1  MB  dan menggunakan  latar  belakang  hijau  dan  putih.  Dari  2163  gambar  tersebut,  kami menggunakan  1734  gambar  (80%)  sebagai  dataset  pelatihan,  dan  429  gambar  (20%) digunakan untuk dataset validasi.  Contoh dataset ditunjukkan pada gambar 7.
Gambar 7. Contoh gambar dataset

## F. Data Preprocessing
Pada  tahap  ini  2163  gambar  yang  terdiri  dari  9  kelas  pada  dataset  di  unggah  ke penyimpanan  google  drive  dan  di  masukan  ke  google  colab  untuk  di  proses.  Setelah dataset terimpor di google colab, kami menggunakan module Image Data Generator pada library Keras untuk melakukan data augmentasi dengan parameter sebagai berikut
 rescale = 1./255,
 rotation_range=40,
 width_shift_range=0.2,
 height_shift_range=0.2,
 shear_range=0.2,
 zoom_range=0.2,
 horizontal_flip=True,
 fill_mode='nearest',
Dan  menggunakan  parameter validation_split =0.2  untuk  membagi  dataset  dengan  rasio 80%  atau  1734  gambar  sebagai  data  pelatihan  dan  20%  atau  429  gambar  sebagai  data validasi serta 2163 gambar sebagai data tes sehingga kami tidak perlu untuk memisahkan data pelatihan dan data validasi secara manual.
Setelah dataset terbagi, selanjutnya adalah pelabelan data di mana setiap kelas dengan gambar yang sama akan diberi label yang sama. Setelah itu dengan menggunakan metode flow_from_directory(), sistem  akan  mengambil  jalur  direktori  untuk  membaca  gambar dari  array  numpy  sesuai  label  yang  sudah  kita  buat  dengan  parameter  di training generator maupun  validasi  generator  sebagai  berikut color_mode ='rgb',  batch_size=32, shuffle=True dengan pembeda antara training dan validasi di subset dari data.
Selanjutnya kita mengatur resolusi atau ukuran gambar masukan untuk model menjadi 256x256  piksel  dengan  target_size=(256,256),  ukuran  ini  adalah  ukuran  terbaik  untuk gambar masukan pada deep learning saat dataset di latih[21], [22].

## G. Modeling
Arsitektur  pada  jurnal  ini  menggunakan  Convolutional  Neural  Network  (CNN) dengan model Sequential Model yang dibuat ditunjukkan pada gambar 8.

## Gambar 8. Arsitektur Model CNN
Pada  model  pelatihan  terdapat  lima  layer  konvolusi  dengan  aktivasi  relu,  lima Max Pooling , tiga Dropout untuk mengurangi overfitting [23], tiga hidden layer dengan neuron hidden  layer  pertama  176 node ,  neuron  hidden  layer  kedua  81 node dan  neuron  hidden ketiga  27 node untuk  mendapatkan  hasil  terbaik  saat  pelatihan[24],  sembilan  output
sesuai  kelas  dengan  aktivasi  model  keluaran Softmax serta  Model  di- compile menggunakan Adam optimizer .

## H. Training Model
Training  model  merupakan  proses  di  mana  model  yang  telah  kita  buat  sebelumnya dilatih  untuk  mencari  dan  mempelajari  serta  menyesuaikan  bobot  dan  bias  terbaik  ke algoritme  dengan  tujuan  meminimalkan  fungsi  kerugian  pada  rentang  prediksi.  Pada penelitian ini training model menggunakan google colaboratory dengan parameter seperti gambar 9.
Gambar 9. Parameter Training Model
Pada  penelitian  ini  parameter  model  ditraining  dengan  1734 epoch dengan  54 steps setiap  epochnya  untuk  mengurangi underfitting .  Training  model  juga  menggunakan callback yang  merupakan subclass dari  keras  dengan  kondisi  di  mana  jika  akurasi  data sudah  mencapai  nilai  tertentu  maka  proses  training  di  hentikan  untuk  menghindari overfitting pada training model.

## III. H ASIL DAN P EMBAHASAN
Dataset  yang  diambil  dengan  teknik  observasi  di  mana  bentuk  tangan didokumentasikan  menjadi  gambar  RGB  ( Red  Green  Blue )  dengan  format  PNG  dan menghasilkan  data  primer  sebanyak  2163  gambar  BISINDO  yang  terbagi  menjadi  lima kelas gambar.
Selanjutnya dataset diberi label untuk setiap kelas dan dibagi menjadi dua yaitu data train  dan  data  validasi,  setelah  data  dibagi  kita  membuat  model  pelatihan  dan menghasilkan Total  params :  847,827, Trainable  params :  847,827  dan Non-trainable params : 0.

## A. Perbandingan Dengan Penelitian Sebelumnya Yang Menggunakan Algoritma CNN
Penelitian ini menggunakan gambar masukan 256x256 piksel serta ditraining dengan 1734 epoch di mana setiap epochnya menggunakan 54 steps dan diberi subclass callback dari  Keras  untuk  menghentikan  training  agar  tidak  overfitting,  menunjukkan  performa antara  algoritma  CNN  yang  diusulkan  peneliti  dengan  algoritma  CNN  yang  digunakan pada  beberapa  penelitian  BISINDO  sebelumnya,  metode  CNN  peneliti  bekerja  lebih optimal  dari  CNN  pada  penelitian  BISINDO  sebelumnya  sekitar  1.82%  -  3.82%  pada bagian accuracy sebesar 99.82% seperti yang ditunjukkan pada Tabel 1.
Tabel 1. Perbandingan Penelitian Sebelumnya Dengan Metode CNN
Method Input Size Accuracy (%) BISINDO_CNN 256x256 99.82% SIBI_CNN_ Darmatasia[19] 28x28 98% BISINDO_CNN_ Kembuan[20] 150x150 96.67% BISINDO_CNN_Andi[25] 100x90 96%

## B. Training Dataset
Model  yang  dilatih  dengan  1734  epoch  di  mana  setiap  epochnya  menggunakan  54 steps pada  dataset  BISINDO  peneliti  menggunakan  gambar  masukan  256x256  piksel menghasilkan Accuracy =  99.82% dan Evaluation Accuracy = 100.00% seperti gambar 10.
Gambar 10. Hasil Training Data

## C. Training and Validation Accuracy
Pelatihan  pada  epoch  terakhir  dihentikan  dengan callback dan  menghasilkan Evaluation Accuracy berakhir  100.00%  serta Accuracy 99.82%  untuk  dataset  pelatihan. Keakuratan untuk Training dan Validation Accuracy dapat ditunjukkan pada Gambar 11.
Gambar 11. Keakuratan untuk set pelatihan dan set validasi
D. Training and Validation Loss
Pelatihan  pada epoch terakhir  dihentikan  dengan callback dan  menghasilkan Evaluation Loss berakhir 0.15%  serta  Loss  1.01%  untuk  dataset  pelatihan.  Penurunan untuk Training dan Validation Loss dapat ditunjukkan pada Gambar 12.
Gambar 11. Keakuratan untuk set pelatihan dan set validasi

## E. Prediction Test
Model  akurasi  Klasifikasi  Gambar  CNN  untuk  Bahasa  Isyarat  Indonesia  telah mencapai 99.82%. Pada tahap klarifikasi citra sebagai tahap akhir dari sistem ini, peneliti menggunakan  metode  Keras predict yang  merupakan  subclass  dari  Keras library untuk melakukan  analisa  menyeluruh  terhadap  gambar  di  setiap  kelas  dataset  sehingga  lebih efisien[26]. Setelah dataset selesai di prediksi, hasil prediksi di simpan dalam file results dengan format csv . Contoh hasil prediksi ditunjukkan pada gambar 12.
Gambar 12. Hasil Prediksi Dataset
Hasil  prediksi  menunjukkan  dari  2163  gambar  hanya  ada  satu  gambar  pada  kelas  I Love  You  yang  tidak  berhasil  di  prediksi  dengan  baik  seperti  yang  di  tunjukan  pada gambar 13.
Gambar 13. Tidak Berhasil Memprediksi Gambar

## IV. K ESIMPULAN
Sistem  klarifikasi  bahasa  isyarat  Indonesia  (BISINDO)  dengan  menggunakan algoritma convolutional  neural  network dan  masukan  gambar  256x256  piksel,  dapat disimpulkan  model  yang  dibuat  peneliti  bisa  memprediksi  gambar  pada  setiap  kelas dengan  sangat  baik  dan  menghasilkan  akurasi  sebesar  99,82%,    terbukti  hanya  satu gambar pada kelas I Love You yang tidak berhasil dengan baik. Hal ini dikarenakan pada nilai  akurasi  tidak  mencapai  100%  karena  bisa  menyebabkan overfitting pada training data.
Penelitian  ini  tentunya  masih  memiliki  keterbatasan  yaitu  hanya  9  kelas  data BISINDO  saja.  Pengembangan  yang  dapat  dilakukan  pada  penelitian  selanjutnya  yaitu metode  dalam  pengambilan  dataset  dapat  di  evaluasi  kembali  dengan  menggunakan  26 alfabet  dan  beberapa  kata  dalam  BISINDO  melalui  pengambilan  data  dengan  para  ahli penerjemah bahasa isyarat. Selai itu, pada penelitian ini hanya memprediksi gambar yang sudah  menjadi  masukan  awal,  sehingga  pada  penelitian  selanjutnya  dapat dipertimbangkan untuk membuat sistem pengenalan BISINDO secara real time.

## U CAPAN T ERIMA K ASIH
Peneliti  berterima  kasih  pada  Bapak  Barka  Satya,  M.Kom.  karena  berkat  bimbingan peneliti  dapat  menyelesaikan  jurnal.  Peneliti  juga  berterima  kasih  pada  orang  tua  dan keluarga penulis yang selalu mendukung dan menyemangati dari segala aspek mulai dari mental hingga keuangan. Tak lupa, peneliti berterima kasih pada kekasih tercinta peneliti yang menyemangati dan selalu berjuang bersama dalam suka maupun duka.

## D AFTAR P USTAKA
[1] B. D. Ruben and L. Stewart, Communication and Human Behavior . Pearson/Allyn \& Bacon, 2006. [Online]. Available: https://books.google.co.id/books?id=PEVLPgAACAAJ
[2] L.  Komala, Ilmu  komunikasi :  perspektif,  proses,  dan  konteks ,  1st  ed.  Bandung: [Bandung] :  Widya  Padjadjaran,  2009.  [Online].  Available:  http://lib- fikom.yai.ac.id/index.php?p=show_detail&id=4370
[3] K. Sosial, “Sistem Informasi Management Penyandang Disabilitas,” Kementerian Sosial Republik Indonesia , 2022. https://simpd.kemensos.go.id/ (accessed Mar. 24, 2022).
[4] Kemendikbud,  “Kamus  SIBI,” Lembaga  Penelitian  dan  Pengembangan  Sistem Isyarat  Bahasa  Indonesia ,  2020.  https://pmpk.kemdikbud.go.id/sibi/  (accessed Mar. 28, 2022).
[5] M.  Susanty,  R.  Z.  Fadillah,  and  A.  Irawan,  “Model  Penerjemah  Bahasa  Isyarat Indonesia (BISINDO) Menggunakan Pendekatan Transfer Learning,” PETIR , vol. 15, no. 1, pp. 1–9, Dec. 2021, doi: 10.33322/petir.v15i1.1289.
[6] P.  B.  I.  Indonesia,  “Asal  Usul  BISINDO  dan  PUSBISINDO,”  2009. https://pusbisindo.org/tentang-kami (accessed Apr. 30, 2022).
[7] Srisaan Ploychompu, “Good signs: Japan’s APU graduate creates successful deaf cafe  in  Indonesia  |  Japan  Subculture  Research  Center,”  Aug.  07,  2017. http://www.japansubculture.com/good-signs-japans-apu-graduate-creates- successful-deaf-cafe-in-indonesia/ (accessed Aug. 14, 2022).
[8] R.  A.  Mursita,  “RESPON  TUNARUNGU  TERHADAP  PENGGUNAAN SISTEM  BAHASA  ISYARAT  INDONESA  (SIBI)  DAN  BAHASA  ISYARAT INDONESIA (BISINDO) DALAM KOMUNIKASI,” INKLUSI ,  vol.  2,  no.  2,  p. 221, Dec. 2015, doi: 10.14421/ijds.2202.
[9] M.  Sewak,  R.  Karim,  and  P.  Pujari, Practical  Convolutional  Neural  Networks . 2018.
[10] D.  Arya et  al. ,  “Transfer  Learning-based  Road  Damage  Detection  for  Multiple Countries,” pp. 1–16, Aug. 2020, Accessed: Aug. 18, 2022. [Online]. Available: http://arxiv.org/abs/2008.13101
[11] J. Brownlee, “Deep Learning for Computer Vision Image Classification , Object Detection  ,  and  Face  Recognition  in  Python  UNLOCK  Computer  Vision  With Deep Learning,” Deep Learn. Comput. Vis. , pp. 1–21, 2019, [Online]. Available: https://machinelearningmastery.com/deep-learning-for-computer-vision/
[12] P.  Ahamed,  S.  Kundu,  T.  Khan,  V.  Bhateja,  R.  Sarkar,  and  A.  F.  Mollah, “Handwritten  Arabic  numerals  recognition  using  convolutional  neural  network,”
J. Ambient Intell. Humaniz. Comput. , vol. 11, no. 11, pp. 5445–5457, Nov. 2020, doi: 10.1007/s12652-020-01901-7.
[13] C.  C.  Aggarwal, Neural  Networks  and  Deep  Learning .  Cham:  Springer International Publishing, 2018. doi: 10.1007/978-3-319-94463-0.
[14] J.  Wu,  “Introduction  to  Convolutional  Neural  Networks,”  in Introduction  to Convolutional  Neural  Networks ,  2017,  pp.  1–31.  [Online].  Available: https://web.archive.org/web/20180928011532/https://cs.nju.edu.cn/wujx/teaching/ 15_CNN.pdf
[15] T. Developers, “TensorFlow,” May 2022, doi: 10.5281/ZENODO.6574269.
[16] “About Colaboratory - ML EDU Help.”
https://support.google.com/machinelearningeducation/answer/7656404?hl=en&ref _topic=7654357 (accessed Aug. 23, 2022).
[17] J.  Huang,  W.  Zhou,  H.  Li,  and  W.  Li,  “Attention-Based  3D-CNNs  for  Large- Vocabulary  Sign  Language  Recognition,” IEEE  Trans.  Circuits  Syst.  Video Technol. , vol. 29, no. 9, pp. 2822–2832, Sep. 2019, doi:
10.1109/TCSVT.2018.2870740.
[18] M. M. Hasan, A. Y. Srizon, A. Sayeed, and M. A. M. Hasan, “Classification of American  Sign  Language  by  Applying  a  Transfer  Learned  Deep  Convolutional Neural  Network,”  in 2020  23rd  International  Conference  on  Computer  and Information Technology (ICCIT) , Dec. 2020, pp. 1–6. doi:
10.1109/ICCIT51783.2020.9392703.
[19] D.  DARMATASIA,  “PENGENALAN  SISTEM  ISYARAT  BAHASA INDONESIA  (SIBI)  MENGGUNAKAN  GRADIENT-CONVOLUTIONAL NEURAL NETWORK,” J. INSTEK (Informatika Sains dan Teknol. , vol. 6, no. 1, p. 56, Jan. 2021, doi: 10.24252/instek.v6i1.18637.
[20] O.  Kembuan,  G.  Caren  Rorimpandey,  and  S.  Milian  Tompunu  Tengker, “Convolutional Neural Network (CNN) for Image Classification of Indonesia Sign Language  Using  Tensorflow,”  in 2020  2nd  International  Conference  on Cybernetics  and  Intelligent  System  (ICORIS) ,  Oct.  2020,  no.  26,  pp.  1–5.  doi: 10.1109/ICORIS50180.2020.9320810.
[21] O. Rukundo, “Effects of Image Size on Deep Learning,” no. August, Jan. 2021, [Online]. Available: http://arxiv.org/abs/2101.11508
[22] O.  Rukundo,  “EFFECTS  OF  IMAGE  SIZE  ON  DEEP  LEARNING  Olivier Rukundo  Department  of  Clinical  Physiology,  Lund  University”,  doi: https://doi.org/10.48550/arXiv.2101.11508.
[23] N.  Srivastava,  G.  Hinton,  A.  Krizhevsky,  I.  Sutskever,  and  R.  Salakhutdinov, “Dropout:  A  simple  way  to  prevent  neural  networks from  overfitting,” J.  Mach. Learn. Res. , vol. 15, pp. 1929–1958, 2014.
[24] D. Stathakis, “How many hidden layers and nodes?,” Int. J. Remote Sens. , vol. 30, no. 8, pp. 2133–2147, 2009, doi: 10.1080/01431160802549278.
[25] S.  Andi  Aljabar,  A.  Aljabar,  and  S.  Suharjito,  “BISINDO  (  Bahasa  Isyarat Indonesia  )  Sign  Language  Recognition  Using  CNN  and  LSTM,” Adv.  Sci. Technol. Eng. Syst. J. , vol. 5, no. 5, pp. 282–287, 2020, doi: 10.25046/aj050535.
[26] “Keras predict | What is Keras predict with Examples?”
https://www.educba.com/keras-predict/ (accessed Oct. 29, 2022).