## Journal of Applied Informatics and Computing (JAIC)
Vol.6, No.2, Desember 2022, pp. 171~176 e-ISSN: 2548-6861

## Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN
Indah Inayatul Arifah 1 *, Fathorazi Nur Fajri 2 **, Gulpi Qorik Oktagalu Pratamasunu 3 * * Teknik Informatika, Universitas Nurul Jadid Paiton ** Sistem Informasi, Universitas Nurul Jadid Paiton indaharifah2000@gmail.com 1 , r4si.b1nt4ng@gmail.com 2 , pratamasunu@unuja.ac.id 3 Article Info

## ABSTRACT
Article history: Received 2022-10-07 Revised 2022-11-08 Accepted 2022-11-11 Bahasa  merupakan  alat  atau  wahana  untuk  menyampaikan  antar  manusia  satu dengan  yang  lainnya.  Akan  tetapi  terdapat  dapat  beberapa  orang  yang  istimewa tidak  dapat  menggunakan  bahasa  herbal  seperti  orang  dengen  gangguan pendengaran  sehingga  tidak  dapat  berbicara  dengan  baik.  Dibalik  kekurangan mereka  mempunyai  kemampuan  visualisasi  atau  melihat  yang  baik.  Dalam berkomunikasi  tunarungu  cenderung  menggunakan  bahasa  isyarat.  Saat  ini computer  vision  menjadi  trend  pemecahan  masalah  yang  berkaitan  dengan visualisasi. Oleh karenanya pada penelitian ini membuat model cerdas yang dapat mengindentifikasi  bahasa  isyarat  menjadi  sebuah  text.  Adapun  metode  yang digunakan  pada  penelitian  ini  adalah  You  Only  Look  Once  (YOLO)  dan Convolutional Neural Network (CNN). Metode Yolo Digunakan untuk identifikasi objek tangan kemudian metode CNN digunakan untuk mengklasifikasi jenis jenis gerakan  tangan.  Dataset  menggunakan  Gambar  dan  video  dari  data  BISINDO.
Adapun  tahapan  yang  dilakukan  pada  penelitian  ini  yaitu  pengumpulan  data, pengolahan  gambar  atau  proses  pre-processing  data  dalam  pengimplementasian YOLO  dan  CNN.  Berdasarkan  hasil  uji  coba  yang  telah  dilakukan  menghasilkan akurasi sebesar 89 %. Keyword:
Bahasa Isyarat, BISINDO, You Only Look Once (YOLO), Convolutional  Neural  Network (CNN).
This is an open access article under the CC–BY-SA license.

## I. P ENDAHULUAN
Bahasa merupakan pesan yang disampaikan dalam bentuk ekspresi sebagai alat komunikasi pada situasi tertentu dalam berbagai  aktivitas.  Dalam  hal  ini  ekpresi  berkaitan  unsur segmental  dan  suprasegmental  baik  itu  lisan  atau  kinesik sehingga  sebuah  kalimat  akan  bisa  berfungsi  sebagai  alat komunikasi dengan pesan yang berbeda apabila disampaikan dengan ekpresi yang berbeda [1].
Bahasa  isyarat  merupakan  alat  yang  digunakan  untuk berkomunikasi  sesama  penyandang  tunarungu  atau tunawicara kepada masyarakat normal dengan menggunakan gerakan  tangan,  mimic,  tubuh  yang  membentuk  symbol- simbol  yang  mengartikan  suatu  huruf  atau  kata.  Salah  satu metode  bahasa  isyarat  yang  digunakan  oleh  penyandang tunarungu  adalah  metode  BISINDO  (Bahasa  Isyarat Indonesia).  BISINDO  merupakan  bahasa  yang  digalakkan oleh Gerakan Kesejahteraan Tunarungu Indonesia
(GERKATIN)  dan  dikembangkan  oleh  masyarakat tunarungu  sendiri.  Kendala  komunikasi  penyandang tunarungu  dengan  orang  normal  adalah  pesan  yang  ingin disampaikan tidak dapat dipahami karena orang normal tidak memahami  bahasa  yang  digunakan  oleh  penyandang tunarungu  [2].  BISINDO  juga  merupakan  penyesuaian  dari American  Sign  Languange  (ASL)  dengan  budaya  asli Indonesia  sehingga  mudah  digunakan,  dalam  melakukan komunikasi BISINDO menggunakan dua tangan. Sedangkan SIBI merupakan bahasa isyarat yang mengadopsi dari ASL. SIBI  secara  resmi  digunakan  oleh  semua  SLB  dibawah Kementerian Pendidikan dan Kebudayaan [3].
Sebelumnya  telah  dilakukan  sebuah  penelitian  terkait pengenalan  bahasa  isyarat  tangan  dengan  menggunakan beberapa  metode  diantaranya  yaitu  menggunakan  metode, deep learning dan Deep Gated Recurrent Unit (GRU).  Pada tahun  2019  telah  melakukan  penelitian  tentang  bahasa isyarat indonesia. Metode yang telah dilakukan
172
menghasilkan  nilai  akurasi  91,6  %  untuk  data  uji  dengan menggunakan  satu  tangan  dan  62,5  %  untuk  data  uji menggunakan  dua  tangan.  Namun  pada  metode  tersebut memiliki  beberapa  kelemahan  diantaranya,  pada  metode ekstraksi  warna  kulit  terkadang  ada  beberapa  kulit  yang tidak  terdeteksi  karena  cahaya,  sehingga  pada  beberapa lokasi pada kulit berwarna putih metode tersebut cenderung tidak  dapat  mendeteksi  isyarat  tangan.  Pada  penelitian  [4] yang lain nilai akurasi yang diperoleh ialah sebesar 92% dan sudah berhasil melakukan penghapusan objek wajah. Namun hasil  dari  penelitian  di  atas  kurang  kuat  dan  krang  efektif karena  metode  yang  digunakan  hanya  dapat  membaca  satu gambar saja berupa frame dan belum bisa membaca gerakan sehingga  informasi  dan  nilai  akurasi  yang  diperoleh  lebih sedikit.  Selain  itu  pada  penelitian  [5]  metode  yang  telah dilakukan  menghasilkan  nilai  akurasi  yang  kurang  bagus pada  data  tersebut.  Nilai  akurasi  yang  diperoleh  dari penelitian  di  atas  saat  uji  coba  pada  video  menghasilkan akurasi sebesar 67%,  Pendeteksian pusat  yang dituju hanya pada  tangan  saja,  akan  tetapi  hasil  yang  terdeteksi  pada penelitian tersebut terkena keseluruh badan.
Oleh  karenanya  dibutuhkan  model  cerdas  yang  dapat melakukan  konversi  dari  gerakan  bahasa  isyarat  menjadi sebuah  text  sehingga  menjadi  alat  pembantu  komunikasi antara  orang  berkebutuhan  khusus  dengan  orang  biasa. Metode Yolo [6] Digunakan untuk identifikasi objek tangan kemudian metode CNN [7] digunakan untuk mengklasifikasi jenis jenis gerakan tangan.

## II. M ETODOLOGI P ENELITIAN
Adapun  kerangka  pemikiran  pada  penelitian  ini  ialah sebagai berikut seperti pada gambar
Gambar 1. Rancangan Penelitian

## A. Pengumpulan dataset
Dalam  ulasan  ini  pengumpulan  data  dimbil  dari  video Bahasa  Isyarat  Indonesia  (BISINDO), Serta  beberapa video dari  relawan  mahasiswa  Universitas  Nurul  Jadid.  Pada proses  pengambilan  gambar  tangan  tidak  boleh  menutup wajah  dan  pengambilan  video  ini  dilakukan  diluar  ruangan dan  di  dalam  ruangan  Kemudian  data  yang  sudah dikumpulkan akan dibagi menjadi dua kelompok data, yaitu data  untuk  penelitian  (training)  dan  data  untuk  pengujian (testing).

## B. Pre-processing
Pada  prepocessing  ini  dilakukan  comprasing  data  video yang  telah  diambil  agar  ukurannya  sama.  Sebelum diimplementasikan kedalam metode YOLO, gambar terlebih dahulu  di  convert  menjadi  format  .*jpg.  Yang  selanjutnya akan dilakukan anotasi data menggunakan aplikasi labelimg untuk convert dataset menjadi format txt. Selanjutnya video akan  difokuskan  pada  objek  yang  mempraktekkan  bahasa isyarat.

## C. Implementasi You Only Look Once (YOLO)
You  Only  Look  Once  (YOLO)  adalah  sebuah  algoritma yang  dikembangkan  untuk  mendeteksi  sebuah  objek  secara real-time.  Pendeteksian  system  yang  dilkukan    Pada penelitian  ini  metode  YOLO  akan  digunakan  untuk mendeteksi objek tangan manusia. Sistem pendeteksian yang dilakukan  adalah  dengan  menggunakan  repurpose  classifer atau  localizer  untuk  melakukan  deteksi.  Sebuah  model diterapkan  pada  sebuah  citra  dibeberapa  lokasi  dan  skala. Daerah  dengan  citra  yang  diberi  skor  paling  tinggi  akan dianggap  sebuah  pendeteksian.  Sebelum  dilakukan  proses pelatihan  perlu  dilakukan  proses  anotasi  terlebih  dahulu untuk membentuk dataset. Untuk setiap data memiliki nama kelas,  titik  koordinat  X  objek,  titik  koordinat  Y  objek, panjang    kotak  pembatas,  dan  lebar  kotak  pembatas  [8]. YOLO  menerapkan  arsitektur  yang  mirip  seperti Convolutional Neural Networks.
YOLO hanya menggunakan  lapisan  konvolusi.  Untuk  lapisan  konvolusi terakhir sesuai dengan jumlah kelas n jumlah kotak prediksi yang  di  inginkan  [9].  Uuntuk  menghitung  ukuran  keluaran pada  lapisan  konvolusi  terakhir  dapat  menggunakan  rumus sebagai berikut:
Y = S, S, B x (5+C)
(1)
Keterangan : y = ukuran keluaran s = jumlah baris atau kolom grids
b = jumlah predik yang diinginkan pada stiap gird c = jumlah kelas yang ingin dipredik
Mulai Pengumpulaan dataset Preprocessing Implementasi You Only Look Once (YOLO) DETEKSI TANGAN Uji coba Penarikan Kesimpulan
Implementasi Convolutional Neural Network (CNN) KLASIFIKASI OBJEK TANGAN
Implementasi Gabungan You Only Look Once (YOLO) dan Convolutional Neural Network (CNN)
Selesai
Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN (Indah Inayatul Arifah, Fathorazi Nur Fajri, Gulpi Qorik Oktagalu Pratamasunu)
173
Gambar 2. Ilustrasi algoritma YOLO (Kevin Adi Putra Shianto, 2019)

## D. Implementasi Convolutional Neural Network (CNN)
Convolutional  Neural  Network  (CNN)  adalah  algoritma ini paling umum diterapkan untuk menganalisis citra visual. Dalam  penggunaan  aplikasinya  dalam  pengenalan  gambar dan  video.  Implementasi  CNN  ini  untuk  mengklasifikasi model  objek  data  yang  telah  ditentukan  Setelah  dilakukan pendeteksian tangan manusia pada metode YOLO [10].

## E. Implementasi Gabungan You Only Look Once (YOLO) dan Convolutional Neural Network (CNN)
Implementasi gabungan YOLO dan CNN ialah hasil dari data  yang  telah  di  deteksi  oleh  metode  YOLO  dan  akan diklasifikasi  model  oleh  metode  CNN.  Kemudian  hasil klasifikasi  tersebut  nantinya  akan  di  Implementasikan kembali  pada  metode  YOLO  untuk  mengetahui  apakah pendeteksian tangan telah terdeteksi dengan baik atau tidak dengan model yang telah ditentukan [11].

## III. H ASIL D AN P EMBAHASAN
Pada  penelitian  ini  data  yang  diambil  adalah  dengan membuat  sebuah  video  berbahasa  isyarat  indonesia (BISINDO) berupa isyarat percakapan sehari- hari dimana di dalamnya  terdapat  5  gerakan  bahasa  isyarat  berupa  angka. Di Dalam setiap video berisi  relawan  yang  mempraktekkan video bahasa isyarat misalnya angka. Pengambilan video ini dilakukan dengan jarak kurang lebih 70 cm antara objek dan kamera  dengan  posisi  kamera  tetap  harus  lurus  dengan objek. Pakaian yang digunakan disini bebas dan tangan tidak menutupi  wajah saat pengambilan video berlangsung. Hasil video yang telah diambil sejumlah 1000 data yang nantinya akan di bagi  menjadi 2 yaitu data  training dan data  testing. Data yang di gunakan pada saat training sebanyak 700 data, sedangkan data untuk testing sebanyak 300 data.
Resolusi  video  adalah  1280  x  720pixel  dengan  durasi video 39 menit dengan format *.mp4. Video gerakan bahasa isyarat  indonesia  ini  belum  bisa  diolah  ke  dalam  sistem karena ukuran video yang terlalu besar maka perlu dilakukan compression agar video dapat di proses oleh sistem dengan baik dan cepat. Data video gerakan bahasa isyarat indonesia asli ini harus diproses dalam tahap pre-processing. Hasil data video BISINDO yang terkumpul terlihat pada Gambar 3
Gambar 3. Ilustrasi algoritma YOLO (Kevin Adi Putra Shianto, 2019)

## A. Nilai Akurasi
Pada tahap ini adalah training dimana dari tahapan diatas maka  untuk  mengimplementasikan  metode  CNN  perlu menggunakan nilai epoch, batch dan step_per_epoch. Epoch awal  yang  digunakan  sejumlah  35  epoch,  batch  8  dan step_per_epoch  8  dan  Epoch  kedua  yang  digunakan sebanyak 75 epoch, batch 8 dan step_per_epoch sebanyak 8 maka  nilai  accuracy  yang  muncul  adalah  99%  sedangkan jika epoch, batch dan step_per_epochnya menggunakan nilai kecil maka nilai accuracynya akan berkurang. Terlihat pada segmen program 4.

## Gambar 4. Grafik Training YOLOv5
Nilai accuracy pada tahap training yang  telah di jalankan ini  diperoleh  dari  hasil  epoch  1  sampai  75    untuk  mencari accuracy  tertiggi.  Terdapat  nilai  loss  0,0053  dan    nilai accuracy sebesar 10000, dan dengan waktu 11 menit. berikut Grafik nilai accuracy terlihat pada gambar 5 dan 6.
Gambar 6 . Grafik Batch 5 epoch 75

## B. Hasil Implementasi CNN
Tahap  Implementasi  ini  dilakukan  dengan  mencoba  data testing dengan  metode  CNN  yang telah diimplementasikan, pada  tahapan  percobaan  ini  maka  akan  mengetahu  tingkat akurasi  pengimplementasian  pada  CNN.  percobaan  yang dilakukan  menggunakan  beberapa  data  gambar  BISINDO yang terdiri gambar tangan berbentuk satu, dua, tiga, empat, dan lima dapat dilihat pada gambar 7.

## Gambar 7. Hasil Model CNN
Hasil  dari  tahapan  diatas  dengan  menggunakan  5  data menghasilkan  data  benar  (akurat)  atau  data  yang  dapat terdeteksi  model  gambar  datanya  dengan  menggunakan epoch  75.  Hasil  akurasi  yang  diperoleh  dari  percobaan tersebut ialah sebanyak 99%. Dari data uji coba tersebut pola gerakan  model  tangan  dapat  dikenali  sesuai  dengan  data yang telah ditraining sebelumnya.

## C. Implementasi Gabungan Metode You Only Look Once (YOLO) dan Convolutional Neural Network (CNN).

## 1)  PreProcessing
Proses ini adalah tahap akhir yang mana data objek model yang  telah  ditraining  menggunakan  metode  CNN  di  atas maka  akan  di  proses  kembali  pada  metode  YOLO,  Data yang sudah disave model menggunakan CNN perlu diupload pada  google  drive  untuk  dipanggil  menggunakan  Google Colaboratory  sesuai  alamat  save  model  berada.  Pada codingan YOLO dibagian detect.py perlu ditambahkan  new model  yang  akan  dipakai  atau  hasil  dari  klasifikasi  objek model CNN  guna agar model CNN yang telah diklasifikasi
bisa  diterapkan  dipendeteksian  Objek  pada  YOLO. Kemudian  melanjutkan  training  kembali  pendeteksian YOLO  hingga  selesai.  Sebelum  mencoba  pengujian  data perlu  dipredict  \terlebih  dahulu  apakah  objek  modelnya sudah  benar  atau  tidak,  jika  sudah  benar  lalu  data  diupload sebagai  uji coba  maka  hasil pendeteksiannya  akan otomatis tersimpan diruns/detect/exp. terlihat di gambar 8.
(a) (b)
(c)
Gambar 8.  Proses Implementasi Gabungan YOLO dan CNN
(a) Data input (b) Hasil Crop YOLO dan telah di proses pada CNN (c) Hasil Implementasi Gabungan YOLO dan CNN

## 2)  Uji Coba
Seluruh  hasil  data  uji  coba  tersimpan  pada runs/detect/exp.  Pemanggilan  data  uji  coba  dengan  cara memanggilan  satu  persatu  gambar  yang  ingin  diuji  coba. Dalam  penelitian  ini  uji  coba  dilakukan  terhadap  beberapa gambar  yang  sudah  disiapkan.  Pemanggilan  hasil  deteksi pada  uji  coba  gambar  test  sama  dengan  pemanggilan  hasil dari training YOLOv5 data tetapi dalam penggunaan segmen program  tersebut  juga  harus  menyesuaikan  dengan  lokasi /alamat penyimpanan gambar yang akan diuji coba.
Dalam  mendapatkan  hasil  akurasi  yang  didapat  melalui implementasi  data  yang  di  gunakan  metode  YOLO  adalah dengan cara menguji data test yang ada untuk mendapatkan hasil  akurasi  yang  diinginkan.  Uji  coba  pertama  dilakukan pada  parameter batch =  5 dengan epoch =  10 .dapat  dilihat pada gambar grafik 9.
e-ISSN: 2548-6861
Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN (Indah Inayatul Arifah, Fathorazi Nur Fajri, Gulpi Qorik Oktagalu Pratamasunu)
175
Uji  coba  training  tidak  dapat  dilakukan  dengan  hanya sekali  dalam  menentukan  nilai  parameter  yang  baik. Beberapa  nilai  parameter  dapat  dicoba  agar  mendapatkan nilai akurasi baik dengan juga memperhatikan nilai loss dari data  train  dan  val  yang  di  latih.  maka  dilakukan  perubahan nilai  parameter  yaitu  dengan  nilai  batch  =  5  dan  epoch  75 dipercobaan  ke  dua,  Gambar  10  merupakan  hasil  grafik percobaan kedua.

## Gambar 10. Grafik Batch 5 epoch 75
Perbandingan  dari  hasil  presisi  dan  loss  yang  dilakukan dalam  kedua  percobaan  diatas  juga  dapat  di  bandingkan dengan  melihat  perbandingan  grafik  presisi  dan  loss. Selajutnya  perlu  dilakukan  perbandingan  nilai  kesalahan (loss)  dari  keseluruhan  data  objek,  box,  dan  class  dari  data train  dan  val  yang  digunakan  dalam  proses  training. Perbandingan  tersebut  disajikan  dalam  tabel  4.1  Hasil perbandingan  dari  nilai  kesalahan  didapatkan  bahwa  nilai kesalahan  paling  kecil  didapatkan  dari  parameter  batch  5 epoch 10.
TABEL I P ERBANDINGAN N ILAI KESALAHAN DARI 2 U JI PARAMETER PADA YOLO . No Parameter Nilai Kesalahan (Loss) Training Objek Box Kelas 1. Batch 5 epoch 10 0,01911 0,05003 0,567 2. Batch 5 epoch 75 0,01588 0,006787 0,999 No Parameter Nilai Kesalahan (Loss) Testing Objek Box Kelas 1. Batch 5 epoch 10 0,03671 0,04503 0,237 2. Batch 5 epoch 75 0,04361 0,0343 0,745
Data uji yang digunakan dalam peneltian ini berjumlah 75 Gambar Dalam data 75 Gambar tersebut tardiri 5 class yang terdiri dari class angka satu, dua, tiga, empat, dan lima dari salah  satu  class  dalam  pendeteksian  ada  yang  bernilai negatif/salah  didapatkan  pada  ketika  tangan  berbentuk  tiga
bertuliskan lima, akan tetapi  juga sebagian ada yang bernilai positif/benar  dalam  deteksi  pada  tangan  bentuk  empat bertuliskan empat dan tangan bentuk lima bertuliskan lima.
TABEL II H ASIL U JI C OBA No Class Jumlah Data Uji Terdete ksi Tidak terdetek si Akurasi 1 Satu 15 14 1 93% 2 Dua 15 14 1 93% 3 Tiga 15 11 4 73% 4 Empat 15 14 1 93% 5 Lima 15 14 1 93% Jumlah 75 67 8 89% Accuracy = ∑ DataBenar ∑ 𝐷𝑎𝑡𝑎𝑈𝑗𝑖 x 100% = 14+14+11+14+14
75 x 100 %
= 67 75 x 100 % = 89%

## 3)  Analisis Hasil Uji Coba
Pada  tahapan  ini  akan  dibahas  hasil  deteksi  dari pengenalan bahasa isyarat Indonesia BISINDO menggunakan  You  Only  Look  Once  (YOLO)  dan Convolutional  neural  Network  (CNN).  Analisis  ini dilakukan  dengan  meggunakan  75  gambar  BISINDO  untuk data  testing  yang  terdiri  dari  5  class  yang  mana menghasilkan 60 gambar terdeteksi benar sesuai dengan data training  dan  15  gambar  tidak  terdeteksi  benar  tidak  sesuai dengan data training yang mana data tersebut menghasilkan jumlah  akurasi  80%.  Gambar  yang  tidak  terdeteksi  dengan baik  ialah  gambar  angka  satu,  dua,  dan  tiga  karena  adanya benda  yang  sama  warnanya  sehingga  system  belum  bisa membacanya dengan baik.

## Gambar 11 Angka terdeteksi benar
Selanjutnya  peneltian  ini  mencoba  untuk  melakukan  uji coba  kembali  dengan  cara  mengganti  dataset  dengan background  sama  yaitu  background  berwarna  hitam  agar system  bisa  membaca  lebih  jelas  pada  tangan,  akan  tetapi pada  uji  coba  kedua  tersebut  lantas  berbeda  selain  karena backround yang belum sama persis warnanya juga sebagian data  testing  tidak  ada  pada  data  training  sehingga  system

## 176
tidak  bisa  mendeteksi  dengan  baik.  Dapat  di  lihat  pada gambar 11 diatas.

## Gambar 12 Angka terdeteksi salah
Akan  tetapi  dengan  adanya  uji  coba  kedua  pendeteksian ini  mengalami  kenaikan  tingkat  akurasi.  Dengan menggunakan  75  data  uji  mendapatkan  65  data  uji  yang terdeteksi  benar  dan  10  data  uji  yang  terdeteksi  salah  oleh system    sehingga  menghasilkan  nilai  akurasi  86%.  Namun penelitian ini melakukan Uji Coba yang ketiga yaitu dengan mengganti  lagi  data  dengan  data  yang  berbackgroun  sama dan  menggunakan  batch  5  dan  epoch  75  sehingga pendeteksian  ini  mengalami  kenaikan  tingkat  akurasi, Dengan  menggunakan  75  data  Uji  Coba  mendapatkan  67 data  uji  yang  terdeteksi  benar  bahkan  ada  benda  yang  ikut terdeteksi  karna  kemiripan  warna  yang  hampir  sama  dan  8 data Uji Coba yang terdeteksi salah tidak sesuai dengan data training  sehingga  menghasilakan  nilai  akurasi  89%.  Dalam peningkatan  akurasi  ini  maka  system  yang  menggunakan metode  You  Only  Look  Once  (YOLO)  dan  Convolutional neural  Network  (CNN).    Sudah  mulai  berlatih  dengan gerakan yang diberikan oleh manusia.

## IV. K ESIMPULAN
Berdasarkan hasil seluruh tahapan dalam penelitian  yang telah  dikembangkan  dengan  Metode  You  Only  Look  Once versi  5  (YOLOv5)  dan  Convolutional  Neural  Network (CNN)  dapat  diimplementasikan  dalam  mendeteksi  objek gambar sebuah tangan serta membedakan kelima objek yang meliputi  gambar  tangan  berbentuk  angka  satu,  dua,  tiga, empat,  dan  lima  dengan  menggunakan  250  dataset  yang terdiri  dari  200  data  training  dan  50  data  testing.  Model terbaik  yang  didapatkan  dari  kedua  gabungan  metode tersebut  dengan  uji  coba  15  gambar  pada  masing-masing kelas  objek,  terdapat  beberapa  data  tangan  yang  tidak
terdeteksi  benar  tidak  sesuai  dengan  prediksi  model  data training  dikarenakan  pengaruh  pencahayaan  dan  perubahan background  menjadi faktor  yang dapat  mempengaruhi  hasil pendeteksian  sehingga  menghasilkan  nilai  akurasi  89% dengan menggunakan jumlah Epoch 75 dan Bacth 5.
D AFTAR P USTAKA
[1] Noermanzah,  “Bahasa  Sebagai  Alat  Komunikasi,  Citra  Pikiran, dan  Kepribadian,” Semin.  Nas.  Bulan  Bhs. ,  pp.  306–319,  2019,
[Online]. Available: https://ejournal.unib.ac.id/index.php/semiba
[2] R.  I.  Borman  and  B.  Priyopradono,  “Implementasi  Penerjemah Bahasa  Isyarat  Pada  Bahasa  Isyarat  Indonesia  (BISINDO) Dengan  Metode  Principal  Component  Analysis  (PCA),” J. Inform.  J.  Pengemb.  IT ,  vol.  03,  no.  1,  pp.  103–108,  2018, [Online].Available: https://ejournal.poltektegal.ac.id/index.php/informatika/article/vie w/631
[3] A.  Breva  Yunanda,  F.  Mandita,  and  A.  Primasetya  Armin, “Pengenalan  Bahasa  Isyarat  Indonesia  (BISINDO)  Untuk Karakter  Huruf  Dengan  Menggunakan  Microsoft  Kinect,” Fountain  Informatics  J. ,  vol.  3,  no.  2,  p.  41,  2018,  doi: 10.21111/fij.v3i2.2469.
[4] F.  Damatraseta,  R.  Novariany,  and  M.  A.  Ridhani,  “Real-time BISINDO  Hand  Gesture  Detection  and  Recognition  with  Deep Learning  CNN,” J.  Inform.  Kesatuan ,  vol.  1,  no.  1,  pp.  71–80, 2021, doi: 10.37641/jikes.v1i1.774.
[5] P. Kurnia Sari, G. Qorik Oktagalu Pratamasunu, and F. Nur Fajri, “Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia  Menggunakan  Metode  Deep  Gated  Recurrent  Unit (GRU)”, JKT, vol. 8, no. 1, pp. 186–193, Jun. 2022.
[6] A. Mulyanto, E. Susanti, F. Rossi, W. Wajiran, and R. I. Borman, “Penerapan  Convolutional  Neural  Network  (CNN)  pada Pengenalan  Aksara  Lampung  Berbasis  Optical  Character Recognition (OCR),” J. Edukasi dan Penelit. Inform. , vol. 7, no. 1, p. 52, 2021, doi: 10.26418/jp.v7i1.44133.
[7] F.  Rachmawati  and  D.  Widhyaestoeti,  “Deteksi  Jumlah Kendaraan  di  Jalur  SSA  Kota  Bogor  Menggunakan  Algoritma Deep Learning YOLO,” Pros. LPPM UIKA Bogor , pp. 360–370, 2020.
[8] A.  E.  Wijaya,  W.  Swastika,  and  O.  H.  Kelana,  “Implementasi Transfer  Learning  Pada  Convolutional  Neural  Network  Untuk Diagnosis  Covid-19  Dan  Pneumonia  Pada  Citra  X-Ray,” Sainsbertek J. Ilm. Sains Teknol. , vol. 2, no. 1, pp. 10–15, 2021, doi: 10.33479/sb.v2i1.125.
[9] H.  Darmanto,  “Pengenalan  Spesies  Ikan  Berdasarkan  Kontur Otolith Menggunakan Convolutional Neural Network,” Joined J. (Journal  Informatics  Educ. ,  vol.  2,  no.  1,  p.  41,  2019,  doi: 10.31331/joined.v2i1.847.
[10] L.  Rahma,  H.  Syaputra,  A.  H.  Mirza,  and  S.  D.  Purnamasari, “Objek  Deteksi  Makanan  Khas  Palembang  Menggunakan Algoritma YOLO ( You Only Look Once ),” vol. 2, no. 3, 2021.
[11] N.  Hanum  Harani,  C.  Prianto,  and  M.  Hasanah,  “Deteksi  Objek Dan  Pengenalan  Karakter  Plat  Nomor  Kendaraan  Indonesia Menggunakan  Metode  Convolutional  Neural  Network  (CNN) Berbasis Python,” J. Tek. Inform. , vol. 11, no. 3, pp. 47–53, 2019.