## IMPLEMENTASI MODEL TRANSFER LEARNING EFFICIENTNET UNTUK PENDETEKSIAN BAHASA ISYARAT INDONESIA (BISINDO) PADA PERANGKAT ANDROID
Irnanda Rizka Fadhillah, Muhammad Muharrom Al Haromainy, Hendra Maulana Informatika, Universitas Pembangunan Nasional “Veteran” Jawa Timur Jalan Raya Rungkut Madya No. 1, Gunung Anyar, Surabaya, Indonesia
irnanrf@gmail.com

## ABSTRAK
Bahasa  Isyarat  Indonesia  (BISINDO)  adalah  bahasa  komunikasi  yang  digunakan  oleh  individu  dengan gangguan  pendengaran  untuk  berinteraksi  satu  sama  lain  dan  dengan  masyarakat  umum.  Namun,  aksesibilitas informasi  bagi komunitas BISINDO masih terbatas, terutama dalam  hal pemahaman dan penerjemahan bahasa isyarat secara otomatis. Kurangnya alat bantu yang efektif menghambat interaksi mereka dengan masyarakat yang lebih luas, sehingga memperdalam kesenjangan komunikasi. Dalam upaya meningkatkan aksesibilitas informasi bagi  komunitas  BISINDO,  penelitian  ini  mengimplementasikan  model  transfer  learning  EfficientNet  untuk pendeteksian Bahasa Isyarat Indonesia pada perangkat Android. Data pelatihan  yang digunakan adalah dataset gambar Bahasa Isyarat Indonesia (BISINDO)  yang berisi gestur-gestur alfabet dari A sampai Z. Kumpulan data yang digunakan untuk model ini memiliki total sekitar 10400 gambar dengan 26 kelas yang berbeda. Penelitian ini  menggunakan  rasio  data  latih  dan  data  uji  80-20,  yaitu  80%  kumpulan  data  citra  digunakan  untuk  proses pelatihan dan 20% digunakan untuk proses pengujian. Model menggunakan pre-trained ImageNet, lalu dilakukan proses transfer learning menggunakan dataset BISINDO yang sudah disiapkan. Proses pelatihan model dilakukan dengan  variasi  jumlah  epoch,  yaitu  20,  30,  dan  40,  dengan  evaluasi  performa  menggunakan  metrik  akurasi, precision,  recall,  dan  F1  score.  Hasil  analisis  menunjukkan  bahwa  model  pada  Epoch  20  mencapai  akurasi tertinggi, yaitu 99.24%, dengan keseimbangan yang optimal antara kinerja dan efisiensi waktu pelatihan. Model berhasil  diimplementasikan  pada  aplikasi  android  dengan  kinerja  yang  sangat  baik,  membuktikan  potensinya sebagai alat bantu yang efisien dan dapat diakses untuk komunitas tunarungu.
Kata kunci :  bisindo, machine learning, efficientnet, android, transfer learning

## 1. PENDAHULUAN
Dalam  era  perkembangan  teknologi  yang  pesat, terutama di bidang kecerdasan buatan dan komputasi bergerak, terdapat potensi besar untuk mengembangkan  solusi  inovatif  dalam  berbagai bidang,  termasuk  dalam  pengembangan  sistem pengenalan  bahasa  isyarat.  Saat  ini,  banyak penyandang  tunarungu  yang  masih  menghadapi kendala  dalam  berkomunikasi  dengan  masyarakat umum  karena  keterbatasan  alat  bantu  yang  dapat menerjemahkan  bahasa  isyarat  secara  real-time.  Hal ini  mengakibatkan  rendahnya  partisipasi  sosial  dan ekonomi dari komunitas tunarungu, serta memperdalam  kesenjangan  sosial.  Kecepatan  dan kemudahan akses teknologi modern dapat memberikan kontribusi signifikan dalam meningkatkan  kualitas  hidup  penyandang  tunarungu dan memperluas partisipasi mereka dalam masyarakat.
Bahasa isyarat merupakan Bahasa yang digunakan  oleh  penyandang  tunarungu  dalam berkomunikasi [2]. Komunikasi melalui bahasa isyarat menjadi sarana utama bagi komunitas tuna rungu dan tuna  wicara  dalam  berinteraksi,  baik  sesama  maupun dengan masyarakat umum. Bahasa isyarat memungkinkan  lawan bicara untuk memahami pesan yang disampaikan dengan mengenali pola alfabet yang dibentuk melalui gestur tangan atau tubuh.
Kesulitan dalam berkomunikasi menjadi kendala bagi teman Tuli yang tidak dapat mempelajari bahasa dalam  bentuk  verbal  atau  memperoleh  kemampuan berbicara secara normal. Salah satu cara mereka untuk berkomunikasi  adalah  menggunakan  bahasa  isyarat. [3].
Jenis  Bahasa  isyarat  yang  terdapat  di  Indonesia sendiri, yakni Sistem Bahasa Isyarat Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO) [4]. Berbeda dengan  Sistem  Isyarat  Bahasa  Indonesia  (SIBI), BISINDO dianggap lebih mewakili keberagaman dan nilai-nilai  budaya  yang  ada  di  berbagai  daerah  di Indonesia.
Sayangnya,  dukungan  teknologi  untuk  bahasa isyarat,  khususnya  BISINDO,  masih  sangat  terbatas. Kebanyakan  aplikasi  yang  ada  tidak  mendukung BISINDO  atau  tidak  memiliki  tingkat  akurasi  yang memadai  untuk  digunakan  dalam  kehidupan  sehari- hari.  Oleh  karena  itu,  inovasi  teknologi  sangat diperlukan  untuk  menjembatani  kesenjangan  ini  dan memberikan solusi yang dapat diandalkan. Pentingnya memahami  keberagaman  isyarat  dalam  BISINDO menciptakan  kesempatan  untuk  menggali  inovasi teknologi guna mendukung komunikasi efektif antara penyandang tunarungu dan masyarakat umum.
Oleh  karena  itu,  penelitian  ini  akan  mengusung implementasi  transfer  learning  model  EfficientNet dalam  mendeteksi  isyarat-isyarat  BISINDO.  Model
EfficientNet,  yang  dikenal  dengan  efisiensi  dan akurasi  tinggi,  akan  diintegrasikan  pada  aplikasi Android. Pendekatan ini bertujuan untuk menciptakan solusi  yang  efisien  dan  dapat  diakses  secara  mudah untuk  mendukung  interaksi  komunikatif  antara penyandang tunarungu dan masyarakat umum melalui perangkat  mobile.  Dengan  aplikasi  ini,  diharapkan penyandang tunarungu dapat lebih mudah berkomunikasi  dan  berinteraksi  dengan  masyarakat umum,  sehingga  meningkatkan  partisipasi  mereka dalam berbagai aspek kehidupan sosial dan ekonomi.

## 2. TINJAUAN PUSTAKA
Snehal  Patil  et  al.  dalam  penelitiannya  yang berjudul  “Gesture  Detection  using  Tensorflow  Lite EfficientNet  Model  for  Communication  and  E- learning Module for Mute and Deaf” mengembangkan aplikasi  untuk  membantu  individu  dengan  cacat pendengaran atau bicara. Penelitian ini menggunakan model  Tensorflow  Lite  EfficientNet  untuk  deteksi gerakan  tangan  guna  membentuk  teks,  serta pengembangan  modul  e-learning  dan  mekanisme peringatan  darurat.  Hasil  menunjukkan  akurasi 98,91%  untuk  CNN  tradisional  dan  98,82%  untuk Tensorflow  Lite  EfficientNet,  dengan  efisiensi komputasi yang tinggi [5].
Penelitian  oleh  Ayu  Widya  Agata  dengan  judul “Pengenalan  Bahasa  Isyarat  Indonesia  (BISINDO) Menggunakan  Algoritma  Scale  Invariant  Feature Transform (SIFT) dan Convolutional Neural Network (CNN)”  membahas  pengenalan  huruf  BISINDO  dari A hingga Z. Penelitian ini menggabungkan algoritma SIFT untuk ekstraksi fitur dan CNN untuk klasifikasi gambar.  Hasil  pengujian  menunjukkan  akurasi tertinggi sebesar 99,78% pada epoch 55 [6].
Penelitian  ini  menggabungkan  fokus  dari penelitian-penelitian  terdahulu  dengan  menciptakan sistem  pengenalan  Bahasa  Isyarat  dengan  tingkat akurasi  yang  tinggi  serta  mengembangkan  aplikasi khusus  untuk  pengenalan  BISINDO.  Diharapkan penelitian ini dapat menyediakan aplikasi efektif bagi kelompok tunarungu dan tunawicara serta memperluas pemahaman  masyarakat  tentang  pentingnya  Bahasa Isyarat Indonesia.

## 2.1. BISINDO
Menurut Dewan Pengurus Daerah Gerakan untuk Kesejahteraan  Tunarungu  Indonesia  (DPD  Gerkatin DKI  Jakarta),  Bahasa  Isyarat  Indonesia  (BISINDO) adalah  sistem  komunikasi  yang  efektif  untuk penyandang  tunarungu  di  Indonesia,  dikembangkan oleh  komunitas  tunarungu  sendiri  dan  digunakan untuk berkomunikasi dengan orang yang  mendengar. BISINDO mulai berkembang seiring dengan meningkatnya  kesadaran  akan  kebutuhan  bahasa isyarat  yang  bersifat  nasional,  menggantikan  bahasa isyarat  yang  sebelumnya  hanya  digunakan  di  tingkat keluarga  atau  komunitas  kecil.  Pada  tahun  2006, Pemerintah  Indonesia  mengakui  BISINDO  sebagai bahasa  isyarat  nasional  melalui  Keputusan  Presiden
Nomor  50  Tahun  2006.  Pengakuan  ini  memberikan dasar  yang  kuat  untuk  penggunaan  BISINDO  dalam berbagai  konteks,  termasuk  pendidikan,  media,  dan layanan kesehatan.
Undang-undang  Nomor  8  Tahun  2016  tentang Penyandang  Disabilitas  menyatakan  bahwa  bahasa isyarat  adalah  bentuk  layanan  aksesibilitas  non-fisik yang  resmi  digunakan  di  Indonesia,  dengan  bahasa isyarat alamiah dari komunitas tunarungu yang diakui sebagai  bahasa  resmi  [7].  Pengakuan  resmi  ini  tidak hanya  memberikan  legitimasi  pada  BISINDO,  tetapi juga  mendorong  perkembangan  lebih  lanjut  dalam kosakata dan tata bahasa. Komunitas tunarungu terus memperkaya  BISINDO,  menyesuaikannya  dengan perkembangan  zaman  dan  kebutuhan  komunikasi mereka, sehingga BISINDO menjadi sarana komunikasi  yang  efektif  dan  kaya  bagi  komunitas tunarungu  di  Indonesia.  Pentingnya  BISINDO  juga tercermin dalam penggunaan kombinasi kedua tangan untuk  mengekspresikan  isyarat,  seperti  ditunjukkan pada  contoh  alfabet  BISINDO  pada  Gambar selanjutnya.

## Gambar 1. Abjad dalam BISINDO

## 2.2. EfficientNet
EfficientNet  adalah  keluarga  arsitektur  neural network yang dirancang untuk mencapai keseimbangan  optimal  antara  kinerja  dan  efisiensi. EfficientNet merupakan kumpulan model yang terdiri dari  EfficientNet-B0  hingga  EfficientNet-B7  yang awalnya  merupakan  turunan  dari  EfficientNet-B0 kemudian  dilakukan  evaluasi  hingga  muncul  model- modelnya yang lain [1].
Arsitektur ini diperkenalkan oleh tim peneliti di Google pada tahun 2019 dan telah menarik perhatian dalam  bidang  visi  komputer  karena  kemampuannya untuk  memberikan  kinerja  tinggi  dengan  jumlah parameter  yang  relatif  lebih  kecil  dibandingkan dengan arsitektur sebelumnya.
Pendekatan  utama  yang  digunakan  dalam pengembangan  EfficientNet  adalah  meningkatkan
kinerja  dengan  meningkatkan  kedalaman,  lebar,  dan resolusi model secara proporsional. Dengan demikian, serangkaian  model  EfficientNet  dapat  dihasilkan dengan menggunakan faktor skala (scale factor) untuk mengatur tingkat kompleksitas arsitektur. Skala faktor ini  mencakup  parameter  kedalaman  (depth),  lebar (width), dan resolusi gambar (resolution). Keunggulan utama dari EfficientNet adalah kemampuannya untuk mencapai  tingkat  akurasi  yang  tinggi  dalam  tugas- tugas visi komputer, seperti klasifikasi gambar, sambil tetap meminimalkan jumlah parameter yang diperlukan. Dalam hal kinerja, Gambar 3 menunjukkan  kinerja  EfficientNet  dibandingkan dengan arsitektur jaringan lainnya. Model EfficientNet terbesar,  yaitu  EfficientNet  B7,  mencapai  kinerja tingkat lanjut pada dataset ImageNet dan CIFAR-100. Model  ini  mencapai  akurasi  top-1  sekitar  84,4% dan akurasi  top-5  sekitar  97,3%  pada  dataset  ImageNet. Selain itu, ukuran model ini 8,4 kali lebih kecil dan 6,1 kali  lebih  cepat  dibandingkan  dengan  model  CNN terbaik sebelumnya. Pada dataset  CIFAR-100,  model ini mencapai akurasi 91,7%, dan pada dataset Flowers, mencapai akurasi 98,8%. Hal ini membuat EfficientNet  menjadi  pilihan  yang  menarik  untuk aplikasi  di  mana  sumber  daya  komputasi  dan penyimpanan terbatas.
Gambar 2. Ukuran dan kinerja EfficientNet pada dataset ImageNet [11]
Dengan  adanya  EfficientNet,  pengembang  dan peneliti  dapat  memanfaatkan  arsitektur  yang  efisien secara  komputasional  tanpa  mengorbankan  kinerja, sehingga  cocok  untuk  diterapkan  dalam  berbagai konteks, termasuk di lingkungan dengan sumber daya terbatas  seperti  perangkat  mobile  atau  sistem terdistribusi.

## 2.3. Transfer Learning
Transfer  learning  merupakan  pendekatan  dalam pembelajaran  mesin  di  mana  pengetahuan  yang diperoleh  dari  menyelesaikan  suatu  tugas  digunakan untuk  meningkatkan  kinerja  dalam  menyelesaikan tugas  lain  yang  terkait  [8].  Prinsip  dasar  transfer learning adalah memanfaatkan pengetahuan yang telah diperoleh dari satu tugas untuk meningkatkan kinerja pada  tugas  yang  berbeda.  Terdapat  tiga  jenis  utama
transfer learning: berbasis instance, berbasis fitur, dan berbasis model [9].
Transfer  learning  berbasis  instance  melibatkan penyesuaian  parameter  model  untuk  tugas  baru, sementara  berbasis  fitur  menggunakan  representasi fitur yang sudah ada untuk tugas baru [8]. Sementara itu, transfer  learning berbasis  model  menggabungkan model  yang  sudah  ada  dengan  model  baru  untuk meningkatkan kinerja secara keseluruhan [9]. Transfer learning  telah  berhasil  diterapkan  dalam  berbagai bidang,  seperti  pengenalan  gambar,  pemrosesan bahasa alami, dan deteksi objek [10].
Sebagai  contoh  dalam  pengembangan  sistem pendeteksian  bahasa  isyarat  BISINDO  menggunakan EfficientNet,  pendekatan transfer  learning  yang  tepat adalah fine-tuning berbasis instance . Fine-tuning adalah  bentuk  umum  dari  transfer  learning  di  mana model  yang  sudah  dilatih  pada  tugas  tertentu disesuaikan ulang atau dilatih kembali pada tugas yang berbeda. Fine-tuning ini dimulai dengan menggunakan EfficientNet yang telah dilatih pada dataset ImageNet sebagai model awal. Model ini memiliki kemampuan untuk  menangkap  fitur  umum  dari  berbagai  objek visual.  Lapisan-lapisan  awal  EfficientNet,  yang memiliki  kemampuan  ekstraksi  fitur  yang  umum, dianggap  sebagai  "model  dasar"  atau  "model  awal." Dalam  konteks  ini,  model  yang  sudah  memiliki pemahaman  terkait  suatu  domain  dapat  mentransfer wawasannya  ke  tugas  baru,  sehingga  mempercepat proses  pembelajaran  dan  meningkatkan  akurasi prediksi.
Gambar 3. Konsep Transfer Learning
Dalam langkah selanjutnya, lapisan-lapisan akhir dari  EfficientNet  disesuaikan  dengan  menambahkan lapisan-lapisan  tambahan  yang  khusus  untuk  tugas pendeteksian  bahasa  isyarat  BISINDO.  Selanjutnya, model  yang  telah  disesuaikan  tersebut  dilatih  ulang menggunakan  dataset  BISINDO.  Pendekatan  ini berguna  ketika  kumpulan  data  terbatas  atau  sulit diperoleh, karena model dapat menggunakan pengetahuannya  dari  tugas  sebelumnya  untuk memberikan  solusi  yang  lebih  baik  pada  tugas  yang sedang  dihadapi.  Transfer  learning  diharapkan  dapat menjadi  strategi  yang  efektif  untuk  mengoptimalkan kinerja  model  dalam  berbagai  konteks  aplikasi machine learning.

## 2.4. Android
Android  adalah  sistem  operasi  mobile  open- source  yang  dikembangkan  oleh  Google  dan  telah dioperasikan  pada  lebih  dari  400  juta  perangkat  di seluruh  dunia.  Android  telah  meraih  dominasi  luar biasa di pasar smartphone global.
Dengan pangsa pasar lebih dari 70% pada tahun 2021  menurut  StatCounter,  Android  menjadi  pilihan utama  bagi  pengguna  di  seluruh  dunia.  Keunggulan utama  Android  melibatkan  fleksibilitas  tinggi, kemampuan  personalisasi  yang  luas,  dan  akses  yang tak terbatas ke berbagai aplikasi melalui Google Play Store.  Dengan  sifat  open-source-nya,  Android membuka  pintu  lebar  bagi  para  pengembang  untuk menciptakan  beragam  aplikasi  inovatif,  mulai  dari permainan hingga solusi bisnis yang kompleks.

## 3. METODE PENELITIAN
Tujuan  dari  penelitian  ini  adalah  untuk membangun  sebuah  aplikasi  android  yang  dapat mendeteksi huruf Bahasa Isyarat Indonesia (BISINDO) dengan cara mengimplementasikan teknik transfer  learning  menggunakan  EfficientNet.  Untuk mencapai  tujuan  tersebut,  kami  mengembangkan modul  klasifikasi  yang  menggunakan  arsitektur EfficientNet.  Kami  melatih  model  ini  menggunakan kumpulan  data  gambar  gerakan  BISINDO  dari  huruf A  sampai  Z.  Untuk  tujuan  evaluasi,  kami  juga menggunakan  pelatihan  model  dengan  jumlah  epoch yang berbeda guna mencari model yang terbaik. Hasil model  yang  sudah  di  latih  akan  dibandingkan  dalam akurasi klasifikasi.

## 3.1. Pengumpulan Data
Untuk  mengimplementasikan  transfer  learning mengugnakan EfficientNet, diperlukan kumpulan data gambar yang terdiri dari gestur BISINDO dari huruf A sampai  Z.  Dataset  terdiri  dari  10400  data  milik  26 kelas  huruf.  Setiap  kelas  huruf  BISINDO  memiliki kurang lebih 400 data pada setiap kelasnya. Setiap data dalam  dataset  adalah  gambar  yang  memiliki  dimensi 224 x 224 piksel.

## 3.2. Preprocessing Data
Pada  tahap  praproses  data  dengan  normalisasi dan  augmentasi,  akan  dilakukan  beberapa  langkah penting untuk memastikan kualitas dan keberagaman dataset  gerakan  tangan  BISINDO.  Normalisasi dilakukan  untuk  menyamakan  skala  intensitas  dan ukuran gambar dalam dataset, memastikan konsistensi dalam  karakteristik  visual.  Hal  ini  membantu  model dalam memahami pola-pola gerakan tanpa terpengaruh oleh perbedaan skala atau intensitas yang mungkin  ada  dalam  dataset.  Selanjutnya,  augmentasi data dilakukan dengan tujuan menambah variasi dalam dataset.  Proses  ini  mencakup  teknik  seperti  rotasi, pergeseran,  dan  pembalikan  gambar,  yang  bertujuan memperkaya  dataset  dengan  contoh-contoh  yang berbeda secara geometric.
Augmentasi data memberikan model kemampuan  untuk  mengenali  dan  menginterpretasi variasi gerakan tangan yang lebih luas, meningkatkan kemampuan generalisasi model pada data yang belum pernah  dilihat  sebelumnya.  Tahapan  praproses  ini merupakan  langkah  kritis  dalam  mempersiapkan dataset untuk pelatihan model, memastikan keberhasilan model dalam mengenali dan mengklasifikasikan  isyarat  dalam  Bahasa  Isyarat Indonesia.

## 3.2. Model Transfer Learning EfficientNet
Pada tahap implementasi model transfer learning menggunakan  EfficientNet,  proses  dimulai  dengan pemilihan  arsitektur  yang  tepat.  EfficientNet  adalah keluarga  arsitektur  neural  network  yang  dirancang untuk mencapai keseimbangan optimal antara kinerja dan efisiensi. EfficientNet terdiri dari beberapa model, mulai  dari  EfficientNet-B0  hingga  EfficientNet-B7, yang  dikembangkan  melalui  evaluasi  berkelanjutan dari model EfficientNet-B0. Arsitektur ini diperkenalkan oleh tim peneliti di Google pada tahun 2019  dan  menarik  perhatian  di  bidang  visi  komputer karena  kemampuannya  memberikan  kinerja  tinggi dengan jumlah parameter yang relatif kecil dibandingkan arsitektur sebelumnya.
Gambar 5. Arsitektur EfficientNet
Pendekatan utama dalam pengembangan EfficientNet  adalah  meningkatkan  kinerja  dengan meningkatkan  kedalaman,  lebar,  dan  resolusi  model secara  proporsional.  Dengan  menggunakan  faktor skala  ( scale factor )  untuk  mengatur  kedalaman ( depth ), lebar ( width ), dan resolusi gambar ( resolution ),  serangkaian  model  EfficientNet  dapat dihasilkan.
Hal yang setelah itu dilakukan adalah konfigurasi model transfer learning dengan mengintegrasikan pre- trained weights dari ImageNet. Pre-trained weights ini memberikan  model  representasi  awal  yang  kuat terhadap  fitur-fitur  umum  dalam  gambar,  yang kemudian disesuaikan dengan dataset khusus gerakan tangan  BISINDO.  Penggunaan  pre-trained  weights memungkinkan  model  memanfaatkan  pengetahuan yang  telah  terakumulasi  dari  dataset  besar  seperti ImageNet,  sehingga  model  dapat  lebih  cepat menyesuaikan  diri  dengan  karakteristik  dataset BISINDO.  Konfigurasi  model  mencakup  dimensi input  gambar  224x224  piksel  dengan  tiga  saluran warna (RGB), pengaturan 'include_top' menjadi false, penggunaan  bobot  pra-latih  dari  dataset  ImageNet, pengolahan  melalui  lapisan  Global  Average  Pooling 2D,  dan  penambahan  lapisan  Dense  dengan  aktivasi ReLU  serta  lapisan  Dense  terakhir  dengan  aktivasi softmax untuk klasifikasi.

## 3.3. Pelatihan Model
Setelah  konfigurasi  model  selesai,  langkah berikutnya  adalah  kompilasi  model.  Pada  tahap  ini, model  dikompilasi  dengan  konfigurasi  tertentu  yang telah  ditentukan.  Peneliti  memilih  menggunakan optimizer  Adam  sebagai  metode  optimasi  untuk meningkatkan  pelatihan  model.  Fungsi  loss  yang digunakan  adalah  categorical_crossentropy,  yang berfungsi  untuk  mengukur  sejauh  mana  model mengikuti  distribusi  kelas  pada  dataset.  Selain  itu, metrik  akurasi  juga  digunakan  sebagai  alat  evaluasi kinerja model, memberikan pemahaman sejauh mana model  mampu  mengenali  dan  mengklasifikasikan isyarat  BISINDO  dengan  tepat.  Konfigurasi  ini merupakan  langkah  penting  dalam  mempersiapkan model untuk tahap pelatihan selanjutnya.
Model  dilatih  menggunakan  dataset  BISINDO dengan rasio 80-20 untuk data latih dan data uji. Proses pelatihan  dilakukan  melalui  beberapa  epoch  seperti epoch 20, epoch 30, dan epoch 40 untuk meningkatkan kinerja  model  dalam  mengenali  isyarat  BISINDO. Pemilihan  rasio  80-20  sudah  menjadi  praktik  umum yang  terbukti  efektif  dalam  membagi  dataset  untuk melatih  dan  menguji  model  pembelajaran  mesin. Selama pelatihan, model akan dihadapkan pada dataset yang  telah  dimodifikasi  dan  disiapkan  sebelumnya, dan  akan  diperbarui  berdasarkan  dataset  tersebut. Proses  pelatihan  ini  bertujuan  untuk  memastikan bahwa  model  mencapai  tingkat  akurasi  yang diharapkan dan dapat  melakukan generalisasi dengan baik pada data baru.

## 3.4. Pengujian Model
Setelah tahap pelatihan selesai, langkah berikutnya adalah pengujian model untuk mengevaluasi  kinerjanya  dalam  mengenali  isyarat BISINDO. Pengujian dilakukan menggunakan data uji yang  telah  dipisahkan  sebelumnya.  Evaluasi  model mencakup metrik akurasi, presisi, recall, dan F1 score untuk mengukur kinerja model dalam berbagai aspek
klasifikasi.  Pengujian  dilakukan  untuk  memastikan bahwa  model  tidak  hanya  mencapai  akurasi  yang tinggi  tetapi  juga  memiliki  kemampuan  yang  baik dalam mengenali variasi gerakan isyarat BISINDO.
Visualisasi  hasil  pelatihan  melibatkan  grafik akurasi dan loss selama proses pelatihan, memberikan pemahaman yang mendalam tentang performa model. Grafik  akurasi  menunjukkan  sejauh  mana  model mampu mengenali isyarat BISINDO, sementara grafik loss  menggambarkan  perubahan  nilai  fungsi  loss selama  iterasi  pelatihan.  Visualisasi  ini  membantu peneliti dan pengembang dalam mengevaluasi kinerja model, mengidentifikasi tren, dan membuat penyesuaian jika diperlukan.
Pengujian  model  juga  mencakup  implementasi model  pada  perangkat  Android.  Model  EfficientNet dikonversi  ke  format  yang  dapat  dijalankan  secara efisien  pada  platform  Android.  Pengembangan antarmuka  pengguna  aplikasi  Android  dilakukan untuk  memungkinkan  interaksi  yang  intuitif  dengan model  melalui kamera perangkat. Aplikasi diuji  coba pada  perangkat  fisik  atau  emulator  Android  untuk memastikan  integrasi  model  berjalan  dengan  lancar dan  respons  aplikasi  memadai.  Hasil  pengujian memberikan  wawasan  tentang  keakuratan  deteksi gerakan tangan BISINDO dan respons aplikasi dalam situasi  nyata,  memastikan  bahwa  aplikasi  dapat digunakan  secara  efektif  oleh  penyandang  tunarungu dalam berkomunikasi.

## 4. HASIL DAN PEMBAHASAN
Pada  bagian  ini,  penulis  menyajikan  analisis mendalam terhadap kinerja model yang diimplementasikan  dan  aplikasi  yang  dikembangkan, serta hasil pengujian yang diperoleh.

## 4.1. Pengumpulan Data
Data yang digunakan dalam penelitian ini adalah dataset  BISINDO  yang  terdiri  dari  10.400  gambar gestur  tangan  dari  huruf  A  sampai  Z,  dengan  400 gambar  per  kelas.  Selama  pengumpulan  data,  kami memastikan  kualitas  dan  kejelasan  gambar  untuk setiap gestur, dengan ukuran gambar 224x224 piksel. Dataset ini kemudian dibagi dengan rasio 80-20 untuk data latih dan data uji.

## 4.2. Preprocessing Data
Proses  normalisasi  dan  augmentasi  dilakukan untuk  memastikan  konsistensi  dan  keberagaman dataset.  Gambar  distandarisasi  untuk  menyamakan skala  intensitas,  dan  augmentasi  seperti  rotasi  dan pergeseran digunakan untuk memperkaya variasi data. Hasil  augmentasi  membantu  model dalam  mengenali berbagai variasi gerakan tangan.

## 4.3. Model Transfer Learning EfficientNet
Pemilihan  arsitektur  EfficientNet-B3  dilakukan karena  efisiensinya  dalam  kinerja  dan  jumlah parameter. Model dikonfigurasikan dengan bobot pra- latih  dari  ImageNet,  menggunakan  ukuran  input
gambar 224x224 piksel. Arsitektur EfficientNet yang dipilih  menunjukkan  keseimbangan  optimal  antara kedalaman, lebar, dan resolusi.

## 4.4. Pelatihan model
Model  dilatih  dengan  menggunakan  optimizer Adam  dan  fungsi  loss  categorical_crossentropy. Pelatihan  dilakukan  dengan  berbagai  jumlah  epoch (20, 30, dan 40) untuk menemukan konfigurasi terbaik. Selama pelatihan, data dibagi dengan rasio 80-20, dan evaluasi  dilakukan  menggunakan  metrik  akurasi, precision, recall, dan F1 score.

## 4.5. Hasil Pelatihan
Hasil  pelatihan  menunjukkan  bahwa  model dengan  20  epoch  mencapai  akurasi  tertinggi,  yaitu 99.24%, dengan keseimbangan optimal antara kinerja dan efisiensi waktu pelatihan.

## 4.5.1. Visualisasi Hasil & Analisis Perbandingan
Gambar 6. Akurasi Model dengan Epoch 20
Gambar 7. Akurasi Model dengan Epoch 30
Jika dibandingkan dengan model pada epoch 30 dan  40,  dapat  disimpulkan  bahwa  model  pada  epoch 20  adalah  yang  terbaik.  Hal  ini  dikarenakan  model pada  epoch  20  menunjukkan  kinerja  yang  sangat  79 tinggi dan konsisten dalam  metrik akurasi, precision, recall, dan F1 score, baik pada data pelatihan maupun validasi.

## Gambar 8. Akurasi Model dengan Epoch 40
Tabel 1. Hasil Akurasi Model Skenario Uji Epoch Batch Size Akurasi 1 20 16 99.24% 2 30 16 99.05% 3 40 16 98.58%
Dengan akurasi pelatihan mencapai 99.24% dan akurasi  validasi  98.00%,  model  ini  mampu  belajar secara efektif dari data pelatihan dan menggeneralisasi dengan baik pada data yang tidak terlihat. Data history juga  memperlihatkan  tren  peningkatan  yang  stabil tanpa  tanda-tanda  overfitting,  yang  menunjukkan keseimbangan  optimal  antara  kinerja  dan  efisiensi waktu  pelatihan.  Oleh  karena  itu,  epoch  20  menjadi kombinasi terbaik dari performa tinggi, stabilitas, dan efisiensi, sehingga menjadi pilihan paling optimal.
Dalam penelitian oleh Snehal Patil yang berjudul “Gesture  Detection  using  Tensor  flow  lite  Efficient Net Model for Communication and E-learning Module for  Mute  and  Deaf”,  model  Tensorflow  Lite EfficientNet  digunakan untuk deteksi gerakan tangan pada  dataset  Bahasa  Isyarat  Amerika  (ASL). Penelitian ini menunjukkan bahwa model EfficientNet mampu  mencapai  akurasi  98.82%,  sedangkan  pada penelitian  ini  berhasil  mendapat  akurasi  yang  lebih tinggi  yaitu  99.24  pada  Epoch  20.  Hal  ini membuktikan bahwa perbedaan konfigurasi atau fine- tuning  pada  model  sangat  berpengaruh  pada  hasil akurasi,  dengan  konfigurasi  yang  baik,  model  akan juga bisa mencapai akurasi yang lebih optimal.
4.6. Uji Coba Model & Implementasi Dalam implementasinya, penelitian ini memanfaatkan transfer learning dengan menggunakan model  EfficientNet  yang  telah  dilatih  sebelumnya dengan  dataset  besar  yaitu  ImageNet.  Model  ini kemudian dilatih ulang menggunakan dataset BISINDO yang telah dikumpulkan. Model yang sudah dilatih ini dikonversi ke format yang lebih kompatibel untuk aplikasi  Android,  yaitu format ‘.tflite’. Setelah itu,  model  diimplementasikan  ke  dalam  aplikasi Android  yang  dikembangkan  menggunakan  bahasa Kotlin.
Model  terbaik  diimplementasikan  pada  aplikasi android yang dapat mendeteksi gestur Bahasa Isyarat Indonesia (BISINDO) secara real-time  menggunakan kamera. Hasil prediksi akan ditampilkan pada halaman pengguna,  serta  presentase  kepercayaan  diri  dari model  mendeteksi  gestur  BISINDO  juga  akan ditampilkan pada halaman pengguna guna kemudahan pengguna  untuk  mengetahui  informasi  mengenai gestur yang dideteksi.
Gambar 9. Contoh Hasil Prediksi
Hasil akhir dari pengujian ini adalah sistem yang dapat  digunakan  pada  smartphone  Android  untuk menerjemahkan  gerakan tangan dalam  bahasa  isyarat BISINDO menjadi huruf-huruf alfabet.

## 5. KESIMPULAN DAN SARAN
Hasil  penelitian  menunjukkan  bahwa  model transfer learning EfficientNet sukses diintegrasikan ke dalam  aplikasi  Android  untuk  mendeteksi  Bahasa Isyarat  Indonesia, mencapai akurasi tertinggi 99,24% pada epoch 20 dengan konsistensi yang baik pada data pelatihan  dan  validasi.  Implementasi  pada  aplikasi Android  juga  berhasil,  memberikan  pengalaman pengguna yang responsif dan efisien, serta menegaskan potensi teknologi AI untuk meningkatkan aksesibilitas  bagi  penyandang  tunarungu.  Untuk pengembangan  lebih  lanjut,  disarankan  melakukan fine-tuning lebih lanjut pada konfigurasi model untuk meminimalkan potensi overfitting, menerapkan teknik pengenalan  gestur  yang  lebih  canggih  seperti penggunaan  multiple  view  angle,  menggali  potensi integrasi dengan sistem komunikasi lainnya, mengembangkan aplikasi menjadi multi-platform, dan memperbanyak  dataset  untuk  menghasilkan  model yang  lebih  baik.  Dengan  mengikuti  saran-saran  ini, diharapkan penelitian selanjutnya dapat meningkatkan efektivitas  dan  efisiensi  dalam  pengenalan  bahasa isyarat BISINDO.

## DAFTAR PUSTAKA
[1] A. R. Riantono, B. Wahyu, and R. Purbaningtyas, "KLASIFIKASI
TUMOR OTAK MENGGUNAKAN CONVOLUTIONAL
NEURAL NETWORK DENGAN
ARSITEKTUR  EFFICIENTNET-B3,"  Just  IT, vol.  11,  no.  3,  2021.  [Online].  Available: https://jurnal.umj.ac.id/index.php/just-it/index .
[2] K.  Dan  et  al.,  "PENGEMBANGAN  MEDIA TUTORIAL  BAHASA  ISYARAT  UNTUK SISWA TUNARUNGU SLB BC KEPANJEN," JINOTEP,  vol.  6,  no.  1,  2019.  [Online]. Available: http://journal2.um.ac.id/index.php/jinotep/index .
[3] H.  M.  Putri,  F.  Fadlisyah,  and  W.  Fuadi, "Pendeteksian  bahasa  isyarat  Indonesia  secara real-time menggunakan long short-term memory (LSTM)," Jurnal  Teknologi  Terapan  dan  Sains 4.0 , vol. 3, no. 1, 2023, doi: 10.29103/tts.v3i1.6853.
[4] N. A. Muhammad Amin and F. Pribadi, "Urgensi Bahasa Isyarat dalam Pendidikan Formal sebagai Media  Komunikasi  dan  Transmisi  Informasi
Penyandang  Disabilitas  Rungu  dan  Wicara," Jurnal  Sosialisasi:  Jurnal  Hasil  Pemikiran, Penelitian, dan Pengembangan Keilmuan Sosiologi  Pendidikan,  vol.  9,  no.  1,  pp.  xx-xx, Mar. 2022.
[5] S. Patil, Y. Shah, P. Narkhede, A. Thakare, and R.  Pitale,  "Gesture  Detection  using  Tensorflow lite EfficientNet Model  for Communication and E-learning Module for Mute and Deaf," 2021.
[6] A. W. Agata, W. S. J. Saputra, and C. A. Putra, "Pengenalan Bahasa Isyarat Indonesia (BISINDO)  Menggunakan  Algoritma  Scale Invariant  Feature  Transform  (SIFT)  dan Convolutional  Neural  Network  (CNN),"  JATI (Jurnal  Mahasiswa  Teknik  Informatika),  vol.  8, no. 1, Feb. 2024.
[7] R.  A.  Mursita,  "Respon  Tunarungu  Terhadap Penggunaan  Sistem  Bahasa  Isyarat  Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO) dalam Komunikasi," Pascasarjana, M., Tunarungu, R., UPI Bandung, P., 2015.
[8] Raghu, M., Zhang, T., Kleinberg, J., & Bengio, S. (2019). "Transfusion: Understanding Transfer Learning  for Medical Imaging." In Advances  in Neural  Information  Processing  Systems  32 (NeurIPS  2019),  Vancouver,  Canada,  3347- 3357.
[9] K. Weiss, T. M. Khoshgoftaar, and D. Wang, "A Survey  of  Transfer  Learning,"  Journal  of  Big Data, vol. 3, no. 1, 2016.
[10] Kornblith, S., Shlens, J., & Le, Q. V. (2019). "Do Better  ImageNet  Models  Transfer  Better?"  In Proceedings  of  the  IEEE/CVF  Conference  on Computer  Vision  and  Pattern  Recognition (CVPR  2019),  Long  Beach,  CA,  USA,  2661- 2671.
[11] M. Tan and Q. V. Le, "EfficientNet: Rethinking Model  Scaling  for  Convolutional  Neural Networks,"  in  Proc.  of  the  36th  Int.  Conf.  on Machine Learning (ICML), 2019.