Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis

## Implementasi Computer Vision untuk Terjemahkan Abjad Bahasa Isyarat SIBI pada Aplikasi Android
Ahmad Ghoni Arrozaq a , Latipah b
a Prodi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Narotama, ahmad297y@gmail,com
b Prodi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Narotama, latifah.rifani@narotama.ac.id
Submitted: 17-01-2024, Reviewed: 29-01-2024, Accepted 05-03-2024 https://doi.org/10.47233/jteksis.v6i2.1260

## Abstract
This research is motivated by the challenges faced by society in communicating with individuals with speech impairments through sign language. Although sign language is an important means of communication for the speech community, many individuals in the general public do not understand sign language, making interactions between individuals difficult. This research aims to overcome these obstacles by implementing computer vision technology for translating SIBI sign language into text through Android applications. The research method involves data collection through interviews, literature studies, and system development using an agile approach. Machine learning training as the back-end of the application uses the CNN algorithm, which will be stored as a TensorFlow model in.tflite format. The results of training the model with SIBI alphabet data achieved an accuracy of about 81.48%. Application testing shows that in bright room conditions, application accuracy reaches 81.48% but drops to 76.92% in dim conditions and 80.77% outdoors with adequate light. The application had difficulty recognizing hand poses in low-light conditions. The conclusion of this study provides recommendations for improving accuracy in dim conditions by processing data into negatives first or adding lighting features to the application. It is hoped that this application can provide solutions for people who have difficulty communicating with deaf people through SIBI sign language.
Keywords: CNN Algorithm, Sign Language, SIBI, Computer Vision, Android

## Abstrak
Penelitian  ini  dilatar  belakangi oleh  tantangan  yang  dihadapi  oleh  masyarakat  dalam  berkomunikasi  dengan  individu penyandang tunawicara melalui bahasa isyarat. Meskipun bahasa isyarat merupakan sarana komunikasi yang penting bagi komunitas tunawicara, banyak individu di masyarakat umum yang tidak memahami bahasa isyarat, sehingga menyulitkan interaksi antar individu. Penelitian ini bertujuan untuk mengatasi hambatan tersebut dengan mengimplementasikan teknologi computer  vision  dalam  menerjemahkan  bahasa  isyarat  SIBI  menjadi  teks  melalui  aplikasi  Android.  Metode  penelitian melibatkan pengumpulan data melalui wawancara dan studi literatur, serta pengembangan sistem menggunakan pendekatan agile. Pelatihan machine leaning sebagai back-end aplikasi menggunakan algoritma CNN yang akan disimpan sebagai model TensorFlow dalam format .tflite. Hasil pelatihan model dengan data abjad SIBI mencapai akurasi sekitar 81.48%. Pengujian aplikasi menunjukkan bahwa dalam kondisi ruangan yang terang, akurasi aplikasi mencapai 81.48%, namun turun menjadi 76.92% pada kondisi redup, dan 80.77% di luar ruangan dengan cahaya memadai. Aplikasi kesulitan mengenali pose tangan pada kondisi kurang cahaya. Simpulan penelitian ini memberikan rekomendasi untuk meningkatkan akurasi pada kondisi redup  dengan  memproses  data  menjadi  negatif  terlebih  dahulu  atau  menambahkan  fitur  pencahayaan  pada  aplikasi. Diharapkan  aplikasi  ini  dapat  memberikan  solusi  bagi  masyarakat  yang  mengalami  kesulitan  berkomunikasi  dengan tunawicara melalui bahasa isyarat SIBI.
Kata kunci: Algoritma CNN, Bahasa Isyarat, SIBI, Computer Vision, Android
This work is licensed under Creative Commons Attribution License 4.0 CC-BY International license

## PENDAHULUAN
Komunikasi  merupakan  elemen  yang  penting dalam interaksi antar individu[1]. Komunikasi dapat dilakukan  menggunakan  lisan,  tulisan  bahkan melalui  bahasa  isyarat.  Bahasa  Isyarat  merupakan cara  yang  umum  digunakan  oleh  kelompok tunawicara  untuk  berkomunikasi,  tetapi  masih banyak  masyarakat  umum  yang  tidak  memahami bahasa isyarat sehingga kesulitan untuk berkomunikasi dengan individu tunawicara[2].
Dalam kemajuan teknologi yang semakin pesat telah banyak penelitian yang mencoba
mengembangkan  penerjemahan  bahasa  isyarat[3] [4].  Salah  satu  teknologi  yang  dapat  digunakan adalah Computer  Vision yang  dapat  membuat komputer  melihat  dan  mengenali  objek  di sekitarnya[5].
Dalam zaman ini, penggunaan smartphone dan internet  di  Indonesia  semakin  meningkat  setiap tahunnya[6] [7]. Hampir semua individu mengandalkan smartphone sebagai  perangkat komunikasi utama yang dapat memungkinkan untuk terhubung  dengan  siapa  saja.  Kelebihan  dan keberagaman manfaat dari smartphone masih terus
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
akan  berkembang  seiring  dengan  perkembangan teknologi yang semakin maju.
Di  Indonesia  sendiri,  ada  dua  bahasa  isyarat yang  cukup  umum  digunakan  yaitu  BISINDO  dan SIBI.  BISINDO  atau  Bahasa  Isyarat  Indonesia adalah  bahasa  isyarat  yang  dikembangkan  oleh komunitas tunarungu di Indonesia.
oleh  karenanya    ada  variasi  regional  atau perbedaan dalam kosakata atau ekspresi isyarat. Ini dapat  dianggap  sebagai  variasi  alami  yang  muncul di antara komunitas yang berbeda[8].
SIBI  atau  Sistem  Isyarat  Bahasa  Indonesia adalah  bahasa  isyarat  yang  telah  dibakukan  sesuai dengan Kamus Besar Bahasa Indonesia (KBBI)[9]. SIBI  dibuat  dengan  mempertimbangkan  konteks sosial,  budaya,  dan  lingkungan  bahasa  Indonesia dengan  menghindari    kemungkinan  konotasi  tidak etis pada komponen aksara lokal tertentu.
Berdasarkan penjelasan di atas, dapat diketahui ternyata masih banyak masyarakat yang mengalami kesulitan  dalam  berkomunikasi  dengan  teman penyandang  tunawicara.  Sehingga  memunculkan ide penelitian untuk mengimplementasikan computer  vision untuk  menerjemahkan  bahasa isyarat  SIBI  menjadi  teks  menggunakan  aplikasi android agar mudah diakses secara umum.
Adapun  enerapan computer  vision pada penelitian  sebelumnya  yaitu  telah  melahirkan berbagai  aplikasi  dan  teknik  yang  inovatif  dalam pengembangan media
pembelajaran dan penerjemahan  bahasa  isyarat.  Sebagai  contoh, penelitian oleh Robby Kamil, Anton, dan Widiastuti [10]  menghasilkan  aplikasi  "Isyaratku"  berbasis Android  yang  memanfaatkan deep  learning dan Google Cloud Platform untuk pembelajaran Bahasa Isyarat Indonesia (BISINDO). Selain itu, penelitian oleh Mohammad Farid Naufal dan Selvia Ferdiana Kusuma  [11]  melakukan  perbandingan  algoritma machine  learning dan deep  learning untuk klasifikasi  citra  Sistem  Isyarat  Bahasa  Indonesia (SIBI),  dengan  fokus  pada  waktu  training  dan performa. Reza Haris Alfikri, Mardi Siswo Utomo, Herny  Februariyanti,  dan  Eko  Nurwahyudi  [12] membangun  aplikasi  penerjemah  bahasa  isyarat berbasis  Android  dengan  menggunakan  metode CNN dan American Sign Language (ASL) sebagai dataset. Sementara  Nasha  Hikmatia  A.E.  dan
Muhammad Ihsan Zul Kusuma [13]
mengembangkan  aplikasi  penerjemah  BISINDO menjadi  suara  berbasis  Android  dengan  arsitektur MobileNet  V2.  Terakhir,  Riestiya  Zain  Fadillah, Ade Irawan, dan Meredita Susanty [14] membangun model penerjemah BISINDO menggunakan pendekatan  transfer learning dengan dataset ASL dari Kaggle .
Perbedaan  penelitian  ini  dengan  penelitian sebelumnya  terletak  pada  pendekatan  metodologi
yang  digunakan  serta  alat-alat  yang  diterapkan dalam  proses  pengembangan  aplikasi.  Dalam penelitian ini, penggunaan metode agile diintegrasikan  secara  menyeluruh  selama  seluruh tahapan  penelitian,  mulai  dari  perencanaan  hingga implementasi. Metode agile memberikan keleluasaan  dan  responsifitas  yang  lebih  besar terhadap  perubahan-perubahan  yang  mungkin terjadi  selama  proses  pengembangan  aplikasi, sehingga  memungkinkan  penyesuaian  yang  cepat dan  efisien  terhadap  kebutuhan  pengguna  maupun perubahan teknologi[15].
Selain  itu,  penelitian  ini  juga  menerapkan toolkit  Jetpack  Compose dalam  desain  UI/UX aplikasi.  Penggunaan toolkit ini  memberikan kemudahan  dalam pengembangan antarmuka pengguna  yang  modern  dan  responsif[16].  Dengan Jetpack  Compose ,  pengembang  dapat  membuat antarmuka  pengguna  dengan  kode  yang  lebih ringkas dan mudah dipelajari, sehingga mempercepat proses pengembangan serta meminimalkan kesalahan dalam pembuatan UI/UX. Oleh  karena  itu,  dapat  disimpulkan  bahwa pendekatan  penelitian  ini  lebih  menekankan  pada fleksibilitas dan adaptabilitas dalam pengembangan aplikasi,  serta  memanfaatkan  teknologi  terbaru dalam desain UI/UX. Dengan demikian, diharapkan aplikasi  yang  dihasilkan  mampu  memberikan pengalaman pengguna yang lebih baik.

## METODE PENELITIAN
Metode penelitian yang akan digunakan penulis selama  pengembangan  aplikasi  ini  antara  lain sebagai berikut:
2.1 Metode pengumpulan data Untuk pengumpulan data penulis menggunakan beberapa  metode  untuk  pengumpulan  data  antara lain sebagai berikut:
1. Wawancara
Untuk keakuratan data yang akan digunakan  penulis  untuk  menerjemahkan abjad  bahasa  isyarat  SIBI.  Penulis melakukan  wawancara  kepada  pihak SDLB Karya Mulia Surabaya.
2. Studi Literatur Untuk  menambahkan  data  yang  akan
digunakan selama pelatihan model machine learning, Penulis melakukan studi literatur  mencakup  membaca  jurnal  serta pencarian  di  internet.  Dengan  tetap menggunakan  data  yang  telah  diperoleh saat wawancara sebagai acuan.
2.2 Metode pengembangan sistem
Pendekatan  yang  akan  digunakan  selama melakukan pengembangan aplikasi adalah menggunakan metode agile .
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
Gambar 1. Tahap pengembangan metode agile
A. Plan (Perencanaan)
Tahapan perencanaan dalam penelitian ini dimulai  dengan  menyadari  pentingnya komunikasi dalam interaksi antara individu, khususnya dalam konteks penggunaan bahasa isyarat oleh komunitas tunawicara.  Dengan  mempertimbangkan temuan  penelitian  sebelumnya  yang  telah menggunakan  teknologi Computer  Vision untuk menerjemahkan bahasa isyarat, serta dengan  melihat  meningkatnya  adopsi smartphone dan  internet  di  Indonesia, perencanaan dilakukan dengan menggabungkan  metodologi agile dan menggunakan toolkit  Jetpack  Compose untuk  merumuskan  tujuan  dan  fitur-fitur aplikasi.  Perencanaan  ini  didasarkan  pada pemahaman  yang  mendalam  terhadap kebutuhan  pengguna  dan  perkembangan teknologi  saat  ini,  sehingga  diharapkan aplikasi yang dihasilkan mampu
memberikan  pengalaman  berkomunikasi yang lebih baik bagi penyandang tunawicara.
B. Design (Perancangan)
Tahapan  perancangan  aplikasi  ini  terbagi menjadi  dua  bagian  utama:  Perancangan Front-End dan  Perancangan Back-End. Perancangan Front-End dimulai  dengan membuat wireframe menggunakan aplikasi Uizard untuk menggambarkan secara kasar tata  letak  komponen  visual.  Selanjutnya, dipilihlah  pola  desain  MVVM  sebagai arsitektur  yang  akan  memisahkan  kode untuk pembuatan UI dan kode logika bisnis aplikasi.  Arsitektur  MVVM  terdiri  dari
View untuk menciptakan tampilan antarmuka, ViewModel sebagai  perantara antara View dan logika bisnis, serta Model yang  merupakan  model machine  learning untuk  menganalisis  pratinjau  kamera dengan output huruf abjad. Sementara itu, Perancangan Back-End menggunakan model TensorFlow yang  disimpan  dalam format file .tflite. Proses pembuatan model dimulai dari pengumpulan data abjad SIBI, pemrosesan data, pelatihan model
menggunakan  algoritma  CNN,  hingga konversi model ke dalam format .tflite yang akan menjadi back-end dari aplikasi. C. Develop (Pengembangan) Tahapan Pengembangan melibatkan implementasi  antarmuka homescreen dan camerascreen dalam  aplikasi.  Antarmuka homescreen merupakan  halaman  utama aplikasi  di  mana  pengguna  diminta  untuk menekan  tombol  mulai  untuk  memulai proses  penerjemahan  bahasa  isyarat  SIBI. Implementasi  ini  dilakukan  menggunakan bahasa  pemrograman Kotlin dan toolkit Jetpack  Compose untuk rendering yang lebih  cepat.  Sementara  itu,  antarmuka camerascreen adalah  tampilan  untuk mendeteksi pose gerakan tangan yang akan diterjemahkan menjadi abjad sesuai dengan model machine learning yang telah dilatih sebelumnya. Proses pelatihan model dilakukan  dengan pra -pemrosesan  data menggunakan ImageDataGenerator untuk menambah  variasi dataset ,  pembuatan objek  generator  untuk  pelatihan,  validasi, dan  pengujian,  serta  pembuatan  arsitektur model menggunakan MobileNetV2 sebagai  lapisan  pertama  untuk  merata- ratakan keluaran.
D. Test (Pengujian)
Tahapan  pengujian  dilaksanakan  dengan sejumlah  metode  guna  menjamin  kualitas dan  performa  aplikasi.  Pertama-tama, aplikasi diuji dengan membandingkan hasil terjemahan  aplikasi  dengan  terjemahan manual  untuk  menilai  tingkat  keakuratan terjemahan. Selanjutnya, pengujian dilakukan dengan menguji aplikasi menggunakan  seluruh  huruf  abjad  dalam berbagai  posisi  dan  kondisi  lingkungan, termasuk indoor dengan pencahayaan yang cukup ,  indoor dalam  keadaan  redup,  dan outdoor dengan pencahayaan yang cukup. Pengujian  difokuskan  pada  kemampuan aplikasi  untuk  membedakan  pose  tangan yang serupa atau bergerak dalam beragam kondisi  ruang.  Tujuan  dari  metode pengujian  ini  adalah  untuk  memastikan bahwa  aplikasi  dapat  memberikan  hasil terjemahan  yang  konsisten  dan  dapat diandalkan dalam berbagai situasi penggunaan.
E. Deploy (Penyebaran)
Tahapan  penyebaran  dilakukan  dengan memanfaatkan  platform Github untuk menyebarkan aplikasi kepada calon pengguna.  Selain  itu,  aplikasi  juga diujicobakan  kepada  individu-individu  di
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
lingkungan  sekitar  untuk  mendapatkan umpan  balik  dan  memastikan  bahwa aplikasi beroperasi dengan baik di beragam perangkat.  Proses  ini  dimaksudkan  untuk menjamin  bahwa  pengguna  dari  beragam latar belakang dan kondisi perangkat dapat mengakses  aplikasi  tanpa  hambatan, sehingga  aplikasi  dapat  diterima  secara luas  dan  digunakan  secara  efisien  oleh pengguna.
F. Maintenance (Pemeliharaan)
Tahapan  perawatan  melibatkan  rangkaian usaha  untuk  meningkatkan  mutu  aplikasi berdasarkan  umpan  balik  dari  pengguna. Ini  termasuk  peningkatan  fitur,  perbaikan bug , dan optimasi performa guna memberikan  pengalaman  pengguna  yang lebih memuaskan. Sebagai contoh, perbaikan  UI  dilakukan  agar  lebih responsif  terhadap  beragam  perangkat dengan  layar  kecil,  sehingga  pengguna dapat  mengakses  aplikasi  dengan  lebih nyaman.  Perbaikan  lainnya  mencakup penyesuaian  tata  letak  elemen  antarmuka pengguna untuk meningkatkan
keterbacaan,  memperbaiki  kesalahan  tata letak  teks  atau  gambar  agar  terlihat  jelas pada  perangkat  dengan  resolusi  rendah, serta  peningkatan  kecepatan loading halaman  untuk  mengurangi  waktu  tunggu pengguna.  Selain  itu,  kesalahan  tata  letak atau warna juga diperbaiki untuk memastikan  aksesibilitas  aplikasi  bagi pengguna dengan gangguan visual. Dengan melakukan  perawatan  secara  berkala, aplikasi  dapat  terus  berkembang  dan memenuhi  kebutuhan  pengguna  dengan lebih baik.

## HASIL DAN PEMBAHASAN
3.1 Perancangan Front-End Pembuatan front-end aplikasi  dimulai  dengan pembuatan wireframe yang  dibuat  menggunakan aplikasi Uizard .
Pada  gambar  2  terlihat  desain wireframe yang telah  dibuat  sebelumnya. Wirefame adalah  desain kasar  menangkap  informasi  jenis  dan  tata  letak komponen  visual,  tetapi  mengabaikan  detail  visual dengan ketelitian tinggi[17].
Penulis memilih untuk design pattern MVVM sebagai arsitektur yang digunakan selama pengembangan    aplikasi.  Dengan  MVVM  akan memisahkan  kode  untuk  pembuatan  UI  dan  kode logika bisnis aplikasi.
Gambar 3. Design pattern MVVM
Terlihat  pada  gambar  3  bahwa design  pattern MVVM terdiri dari:
1. View
Dalam pengembangan aplikasi mobile view berfungsi untuk membuat tampilan antarmuka[18].
2. ViewModel Dalam  pengembangan  aplikasi  mobile viewmodel berfungsi  sebagai  penghubung antara view dan viewmodel. Viewmodel ini lah yang nanti akan di-observe oleh view.
3. Model
Dalam  pengembangan  aplikasi  ini  model merupakan  model machine  learning yang akan menganalisis pratinjau kamera dengan output huruf abjad.
3.2 Perancangan Back-End Pembuatan back-end
aplikasi akan menggunakan  model TensorFlow yang  disimpan menjadi file.tflite.

## Gambar 4. Alur pembuatan model
Pada  gambar  3  merupakan  alur  yang  akan dilakukan untuk pembuatan yang dimulai dari:
A. Data Collection
Pada  tahap  ini  adalah  tahap  pengumpulan data  abjad  SIBI  yang  diperoleh  dari wawancara serta studi literatur. B. Data Processing Pada tahap ini data yang sudah dikumpulkan akan diproses dari penyusunan, cropping , rescalling,  rotate , zoom in , zoom out serta flipping horizontal.
Tahap Processing memiliki  tujuan  untuk membersihkan, menormalkan, dan mengubah  format  data  agar  mudah dipahami dan digunakan untuk analisis[19].
C. Train Model
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
Pada  tahap  ini  model  akan  dilatih menggunakan  data  yang  telah  disiapkan sebelumnya. Pelatihan akan menggunakan algoritma  CNN  karena  merupakan  salah satu  algoritma  pembelajaran  mendalam yang  paling  populer  digunakan  karena keandalannya  dalam  mendeteksi    objek tanpa    pengawasan    dari    manusia    atau pengguna[20]. D. Convert to tflite
Pada  tahap  ini  model  yang  telah  dilatih sebelumnya  akan  disimpan  ke  dalam format file.tflite. Dan file.tflite inilah yang akan menjadi back-end dari aplikasi ini.
3.3 Hasil Pengumpulan Data
Data yang telah didapatkan selama pengumpulan  data  adalah  abjad  pose  tangan  SIBI. Data kemudian dipisahkan menjadi 3 kategori yaitu pelatihan, validasi, dan pengujian.
Kategori  pelatihan  digunakan  untuk  melatih model, kategori validasi digunakan untuk mengoptimalkan parameter dan mencegah
overfitting, dan kategori pengujian digunakan untuk mengevaluasi performa model
secara keseluruhan[21].
Gambar 5. Data abjad SIBI
3.4 Hasil Antarmuka Homescreen
Gambar 6. Antarmuka homescreen .
Pada  gambar  6  terlihat  hasil  antarmuka homescreen adalah  halaman  utama  atau  tampilan awal  aplikasi.  Dan  untuk  mulai  menerjemahkan bahasa  isyarat  SIBI  pengguna  perlu  menekan tombol mulai.
Gambar 7. Implementasi antarmuka homescreen
Pada gambar 7 merupakan implementasi atau pengembangan  aplikasi  menggunakan  bahasa pemrograman Kotlin karena  bahasa  pemrograman
Kotlin memiliki performa yang  baik untuk aplikasi berbasis android[22]. Untuk pembuatan layout antarmukanya menggunakan toolkit dari Kotlin yaitu Jetpack Compose. Penggunaan Jetpack  Compose dipilih karena Jetpack Compose dapat melakukan rendering yang  lebih  cepat  dibandingkan  XML  sehingga waktu  saat  navigasi  antar  layar  dan  waktu  startup yang lebih cepat[16].
3.5 Hasil Antarmuka Camerascreen
Antarmuka camerascreen adalah  tampilan aplikasi  untuk  mulai  mendeteksi  pose  gerakan tangan yang kemudian nantinya akan di terjemahkan menjadi  abjad  sesuai  dengan  data  model machine learning yang telah dilatih.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
Gambar 8. Antarmuka camerascreen Pada  gambar  8  merupakan  hasil  antarmuka camerascreen
yang
diimplementasikan menggunakan PreviewView untuk  menampilkan pratinjau  dari  kamera handphone kita.  Yang  lalu pratinjau  tersebut  akan  dianalisis  menggunakan file.tflite yang telah dibuat sebelumnya.
Gambar 9. Implementasi tombol untuk camerascreen
Dengan  menganalisis  pratinjau  kamera  model akan mendeteksi pose tangan dan akan menerjemahkan  pose  tangan  yang  sesuai  dengan dataset abjad SIBI menjadi sebuah huruf abjad yang akan tampil di bagian kiri bawah layar.
3.6 Hasil Pelatihan Model Data  abjad  SIBI  yang  sudah  dikumpulkan sebelumnya akan dilakukan pre-processing terlebih dahulu.
Gambar 10. Pra pemrosesan data
Pada  gambar  10  merupakan  tahap  pra- pemrosesan  data, ImageDataGenerator pada  kode di atas digunakan untuk melakukan pra-pemrosesan dengan  menggunakan  parameter rescalling untuk mengubah  ukuran pixel data,  rotasi  gambar,
pergeseran  horizontal  dan  vertikal, zoom  in  atau zoom  out, serta flipping horizontal.  Fungsi menggunakan  parameter  dapat  menambah  variasi dataset untuk  pelatihan  sehingga  membuat  model menjadi  lebih  tahan  terhadap  variasi-variasi  baru yang mungkin muncul selama proses pelatihan[23].

## Gambar 11. Pembuatan objek generator
Tahap  selanjutnya  terlihat  pada  gambar  11 yaitu  pembuatan  objek  generator,  objek  generator dibuat untuk set pelatihan, validasi, dan pengujian. Directory ketiga  set  disesuaikan  sesuai  dengan masing-masing  letak  penyimpanan  data  ( train_dir, validation_dir,  dan  test_dir) .  Untuk  mode  yang digunakan untuk mengklasifikasikan class menggunakan metode categorical . Sekarang dataset sudah  dapat  digunakan  untuk  pelatihan,  validasi, dan pengujian.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis

## Gambar 12. Pembuatan arsitektur model
Pada  gambar  12  merupakan  tahap  pembuatan arsitektur  model  di  mana  model  yang  dikerahkan adalah  model  sekuensial  yang  menggunakan arsitektur  MobileNetV2  sebagai  lapisan  pertama. Dua juta parameter yang dapat dilatih memberikan representasi  fitur  1.  Lapisan Global  Average Pooling 2D (GlobalAveragePooling2D)  berfungsi untuk merata-ratakan keluaran MobileNetV2.
Didapatkan  167    merupakan  parameter  yang dapat  dilatih,  yang    berasal  dari  MobileNetV2  dan telah  diinisialisasikan  sebelumnya.  Model  ini memiliki  kapasitas  yang  cukup  besar  dan  berguna untuk  tugas  pengenalan  pola  pada dataset yang kompleks.

## Gambar 13. Pelatihan model
Dari  gambar  13  di  atas  adalah  proses pelatihan  model  yang  akan  dilatih  selama  15 epoch .

## Gambar 14. Grafik pelatihan model
Dari gambar 14 di atas terlihat bahwa model telah  dilatih  selama  15 epoch ,  dan  mendapatkan hasil hingga 88% akurasi di akhir pelatihan.
3.7 Hasil Pengujian Aplikasi
Aplikasi  diuji  dengan  membandingkan  hasil terjemahan aplikasi dengan terjemahan manual.
Tabel 1. Pengujian Aplikasi No. Pengujian Aplikasi Pengujian Hasil Yang Diinginkan Hasil Pengujian 1. Menampilkan abjad huruf A
Berhasil
2. Menampilkan abjad huruf B
Berhasil
3. Menampilkan abjad huruf C Berhasil
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
No. Pengujian Aplikasi Pengujian Hasil Yang Diinginkan
Hasil Pengujian 4. Menampilkan abjad huruf D
Berhasil 5.
Menampilkan abjad huruf E Berhasil
6.
Menampilkan abjad huruf F Berhasil
7.
Menampilkan abjad huruf G Berhasil
8.
Menampilkan abjad huruf H
Berhasil 9. Menampilkan abjad huruf I
Gagal
10. Menampilkan abjad huruf J Berhasil
No. Pengujian Aplikasi Pengujian Hasil Yang Diinginkan Hasil Pengujian 11. Menampilkan abjad huruf K
Berhasil 12. Menampilkan abjad huruf L Berhasil 13. Menampilkan abjad huruf M Berhasil
14.
Menampilkan abjad huruf N Berhasil
15.
Menampilkan abjad huruf O
Gagal 16. Menampilkan abjad huruf P
Berhasil
17. Menampilkan abjad huruf Q Berhasil
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
No. Pengujian Aplikasi Pengujian Hasil Yang Diinginkan
Hasil Pengujian 18. Menampilkan abjad huruf R
Berhasil 19.
Menampilkan abjad huruf S Berhasil
20.
Menampilkan abjad huruf T Gagal
21.
Menampilkan abjad huruf U Berhasil
22.
Menampilkan abjad huruf V Berhasil
23. Menampilkan abjad
huruf W
Berhasil
24. Menampilkan abjad huruf X Gagal
No. Pengujian Aplikasi Pengujian Hasil Yang Diinginkan Hasil Pengujian 25. Menampilkan abjad huruf Y
Berhasil 26.
Menampilkan abjad huruf Z Berhasil
Pada  tabel  1  di  atas  merupakan  contoh  tahap pengujian yang dilakukan. Dapat dilihat bahwa dari 26  huruf,  sebanyak  22  huruf  abjad  yang  berhasil diterjemahkan dengan benar .
𝑃𝑒𝑟𝑠𝑒𝑛𝑡𝑎𝑠𝑒 = ( 𝐽𝑢𝑚𝑙𝑎ℎ ℎ𝑢𝑟𝑢𝑓 𝑦𝑎𝑛𝑔 𝑏𝑒𝑟ℎ𝑎𝑠𝑖𝑙 𝑇𝑜𝑡𝑎𝑙 ℎ𝑢𝑟𝑢𝑓 ) × 100 𝑃𝑒𝑟𝑠𝑒𝑛𝑡𝑎𝑠𝑒 = ( 22 26 ) × 100 ≈ 81.48%
Jadi  pengujian  yang  dilakukan  mendapatkan akurasi sekitar 81.48%.
Untuk  pengujian  selanjutnya  akan  diuji menggunakan semua huruf abjad dengan posisi dan mendapatkan hasil sebagai berikut.
Tabel 2 . Hasil pengujian aplikasi No. Tempat Pengujian Akurasi 1 Indoor kondisi terang 81.48% 2 Indoor kondisi redup 76.92% 3 Outdoor kondisi terang 80.77%
Pada  tabel  2  di  atas  merupakan  hasil pengujian aplikasi terhadap 26 huruf abjad dengan kondisi  tempat  pengujian  yang  berbeda-beda. Terlihat pada kondisi ruangan redup, atau outdoor maka  akurasi  aplikasi  akan  menurun.  Sebab aplikasi kesulitan untuk membedakan pose tangan yang  mirip  maupun  yang  bergerak  dikondisi ruangan tersebut.

## SIMPULAN
Berdasarkan  hasil  pengujian  aplikasi  dalam menerjemahkan  huruf  abjad  dapat  disimpulkan bahwa penerapan computer vision untuk menerjemahkan abjad bahasa isyarat SIBI sebagai berikut:
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
1. Dalam  kondisi  dalam  ruangan  yang terang aplikasi memiliki akurasi 81.48%.
2. Akurasi  aplikasi  turun  menjadi  76.92% pada  ruangan  yang  memiliki  cahaya yang redup.
3. Di  luar  ruangan  dengan  cahaya  yang memadai  aplikasi  memiliki  akurasi 80.77%.
4. Di  tempat  yang  kurang  cahaya  aplikasi kesulitan  untuk  menerjemahkan  huruf abjad  yang  memiliki  pose  tangan  yang mirip dengan huruf abjad lain.
5. Pendeteksian  pose  tangan  huruf  abjad yang  memiliki  gerakan  juga  lebih optimal di lakukan tempat yang memiliki cahaya yang cukup terang.
Pada penelitian selanjutnya penulis memberikan saran untuk meningkatkan akurasi di tempat  yang  redup  dengan  memproses  data menjadi negatif terlebih dahulu atau menambahkan  fitur  untuk  menyalakan flashlight pada handphone.

## UCAPAN TERIMAKASIH
Terima  kasih  saya  ucapkan  kepada  dosen pembimbing saya ibu Latipah, S.T., M.IT, teman- teman  yang  telah  membantu  saya  dalam melakukan pengujian untuk kelancaran penelitian ini,  pihak-pihak  SDLB  Karya  Mulia  yang  telah membantu  saya  dalam  pengumpulan  data,  serta keluarga saya yang telah mendukung saya selama melakukan penelitian ini.

## DAFTAR PUSTAKA
[1]
A.  N.  A.  Putri  dan  I.  Irwansyah,  “Efektivitas Komunikasi  Dalam  Pembelajaraan  Online,” Jurnal
Teknologi  Dan Sistem Informasi Bisnis , vol. 3, no. 1, Jan 2021, doi: 10.47233/jteksis.v3i1.184.
[2]
G.  R.  Nurazizah,  “Pelatihan  Pemanduan  Wisata Berbahasa  Isyarat  melalui  Video  Virtual  Tour  bagi Kelompok  Penggerak  Pariwisata  Desa  Wisata Alamendah,” Dinamisia:  Jurnal  Pengabdian  Kepada Masyarakat , vol. 5, no. 4, 2021.
[3] I.  N.  T.  A.  Putra,  K.  S.  Kartini,  Y.  K.  Suyitno,  I.  M. Sugiarta,  dan  N.  K.  E.  Puspita,  “Penerapan  Library Tensorflow, Cvzone, dan Numpy pada Sistem Deteksi Bahasa Isyarat Secara Real Time,” Jurnal Krisnadana , vol. 2, no. 3, hlm. 412–423, 2023.
[4] M.  F.  Naufal dkk. , “Analisis Perbandingan Algoritma Klasifikasi MLP dan CNN pada Dataset American Sign Language,” Jurnal  RESTI  (Rekayasa  Sistem  dan Teknologi Informasi) , vol. 5, no. 3, hlm. 489–495, Jun 2021, doi: 10.29207/resti.v5i3.3009.
[5] L. Arisandi dan B. Satya, “Sistem Klarifikasi Bahasa Isyarat  Indonesia  (Bisindo)  Dengan  Menggunakan Algoritma  Convolutional  Neural  Network,” Jurnal
Sistem Cerdas , vol. 5, no. 3, hlm. 135–146, 2022.
[6] A. P. Afrianto dan I. Irwansyah, “Eksplorasi Kondisi Masyarakat  Dalam  Memilih  Belanja  Online  Melalui Shopee  Selama  Masa  Pandemi  Covid-19  Di Indonesia,” Jurnal  Teknologi   Dan  Sistem  Informasi
Bisnis , vol. 3, no. 1, Jan 2021, doi:
10.47233/jteksis.v3i1.181.
[7] M.  Ardabili  dan  M.  Fachrie,  “Pengembangan  Sistem Pemesanan  Jasa  Fotografi  dengan  Integrasi  Payment Gateway  Berbasis  Android,” Jurnal  Teknologi   Dan Sistem  Informasi  Bisnis ,  vol.  6,  no.  1,  Jan  2024,  doi:
10.47233/jteksis.v6i1.1095.
[8] A.  Azis  dan  I.  Rahim,  “Analisis  Penggunaan  Bahasa Isyarat Indonesia (BISINDO) pada Siswa SLB,” Jurnal Onoma: Pendidikan, Bahasa, dan Sastra , vol. 9, no. 2, hlm. 1396–1402, 2023.
[9] Vadisa  dan  Indria  Flowerina,  “Analisis  Proses Komunikasi Interpersonal Guru dan Siswa Tunarungu dalam Penggunaan Komunikasi Verbal dan Nonverbal di  SLB  Negeri  1  Padang,” Jurnal  Ilmu   Komunikasi Dan Media Sosial (JKOMDIS) , vol. 3, no. 1, hlm. 146– 152, Mar 2023, doi: 10.47233/jkomdis.v3i1.587.
[10] R.  K.  Siregar,  A.  Anton,  dan  W.  Widiastuti, “Perancangan  Aplikasi  Bahasa  Isyarat  ‘Isyaratku’ Dengan Deep Learning Serta Google Cloud Platform,” Simpatik:  Jurnal  Sistem  Informasi  dan  Informatika , vol.  1,  no.  2,  hlm.  90–97,  Des  2021,  doi: 10.31294/simpatik.v1i2.630.
[11] M.  F.  Naufal  dan  S.  F.  Kusuma,  “Analisis Perbandingan  Algoritma Machine Learning dan  Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia  (SIBI),” Jurnal  Teknologi  Informasi  dan Ilmu Komputer (JTIIK) , vol. 10, no. 4, hlm. 873–882,
2023. [12] R.  H.  Alfikri,  M.  S.  Utomo,  H.  Februariyanti,  dan  E. Nurwahyudi,  “Pembangunan  Aplikasi  Penerjemah Bahasa  Isyarat  Dengan  Metode  Cnn  Berbasis Android,” Jurnal Teknoinfo , vol. 16, no. 2, hlm. 183– 197, 2022.
[13] N. H. Ae dan M. I. Zul, “Aplikasi Penerjemah Bahasa Isyarat  Indonesia  menjadi  Suara  berbasis  Android menggunakan Tensorflow,” Jurnal Komputer Terapan , vol. 7, no. 1, hlm. 74–83, 2021.
[14] M.  Susanty,  R.  Z.  Fadillah,  dan  A.  Irawan,  “Model Penerjemah  Bahasa  Isyarat  Indonesia  (BISINDO) Menggunakan Pendekatan Transfer Learning,” PETIR , vol.  15,  no.  1,  hlm.  1–9,  Des  2021,  doi: 10.33322/petir.v15i1.1289.
[15] O.  C.  Resmi  Rachmawati,  Deyana  Kusuma  Wardani, Wifda Muna Fatihia, Arna Fariza, dan Hestiasari Rante, “Implementing  Agile  Scrum  Methodology  in  The Development of SICITRA Mobile Application,” Jurnal RESTI  (Rekayasa  Sistem  dan  Teknologi  Informasi) , vol.  7,  no.  1,  hlm.  41–50,  Feb  2023,  doi: 10.29207/resti.v7i1.4688.
[16] Z.  Noori  dan  C.  Eriksson,  “UI  Performance Comparison  of  Jetpack Compose  and  XML  in  Native Android Applications.” 2023.
[17] J.  Chen dkk. ,  “Wireframe-based  UI  design  search through  image  autoencoder,” ACM  Transactions  on Software Engineering and Methodology (TOSEM) , vol. 29, no. 3, hlm. 1–31, 2020.
[18] T.  Lou,  “A  comparison  of  Android  native  app architecture  MVC,  MVP  and  MVVM,” Eindhoven University of Technology , 2016.
[19]
A. Azis, A. T. Zy, dan A. S. Sunge, “Prediksi Penjualan
Obat  Dan  Alat  Kesehatan  Terlaris  Menggunakan Algoritma K-Nearest Neighbor,” Jurnal
Teknologi  Dan Sistem Informasi Bisnis , vol. 6, no. 1, Jan 2024, doi: 10.47233/jteksis.v6i1.1078.
[20] F.  Ramadhani,  A.  Satria,  dan  S.  Salamah, “Implementasi  Algoritma  Convolutional  Neural Network  dalam  Mengidentifikasi  Dini  Penyakit  pada Mata Katarak,” sudo Jurnal Teknik Informatika , vol. 2, no. 4, hlm. 167–175, Des 2023, doi:
10.56211/sudo.v2i4.408.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 2  April 2024 Hal. 304-313 http://jurnal.unidha.ac.id/index.php/jteksis
[21]
A.  J.  Rozaqi,  M.  R.  Arief,  dan  A.  Sunyoto, “Implementation  of  transfer  learning  in  the convolutional neural network algorithm for identification  of  potato  leaf  disease,” Procedia  of Engineering and Life Science , vol. 1, no. 1, 2021.
[22] N.  S.  Sibarani,  G.  Munawar,  dan  B.  Wisnuadhi, “Analisis  performa  aplikasi  android  pada  bahasa pemrograman  java  dan  kotlin,”  dalam Prosiding Industrial Research Workshop and National Seminar , 2018, hlm. 319–324. [23] H.  N.  Irmanda  dan  R.  Astriratma,  “Klasifikasi  Jenis
Pantun  Dengan  Metode  Support  Vector  Machines (SVM),” Jurnal  RESTI  (Rekayasa  Sistem  dan Teknologi  Informasi) ,  vol.  4,  no.  5,  hlm.  915–922, 2020.