Jurnal Teknik Informatika (JUTIF) DOI: https://doi.org/10.52436/1.jutif.2024.5.4.2468 Vol. 5, No. 4, August 2024, pp. 1197-1203 p-ISSN: 2723-3863
e-ISSN: 2723-3871

## OBJECT DETECTION OF INDONESIAN SIGN LANGUAGE SYSTEM USING YOLOV7 METHOD
Genta Kusuma Atmaja *1 , Hanny Hikmayanti 2 , Rahmat 3 , Sutan Faisal 4
1,2,3,4 Informatics Engineering, Faculty of Computer Science, Universitas Buana Perjuangan Karawang, Indonesia Email: 1 if20.gentaatmaja@mhs.ubpkarawang.ac.id , 2 hanny.hikmayanti@ubpkarawang.ac.id , 3 rahmat@ubpkarawang.ac.id , 4 sutan.faisal@ubpkarawang.ac.id
(Article received: July 08, 2024; Revision: July 31, 2024; published: August 07, 2024)

## Abstract
SIBI or Indonesian Sign Language System, a communication language for the deaf community in Indonesia. SIBI has the advantage of conveying information between individuals. SIBI integrates various hand signals to replace words in Indonesian, enabling effective and inclusive communication. SIBI still lacks educational programs in the community and identifying SIBI has become a major problem in facilitating communication for normal people with  hearing  impairments.  The  proposed  solution  in  the  development  of  SIBI  detection  is  to  utilize  artificial intelligence  (AI)  technology  and  digital  image  processing.  This  program  focuses  on  understanding  the  typical hand movements used in SIBI. So a program was created to detect hand language using the YOLOv7 architecture. This study aims to educate those who are not yet familiar with the SIBI hand object that will be detected., especially in the context of sign language recognition for singular pronouns. The research method used is data acquisition by collecting a dataset of 320 images, data annotation by labeling objects on the hand, image pre-processing with augmentation, resizing, and cropping, model training with 100 epochs on both pre-trained models (yolov7 and yolov7-x), and testing is done by detecting 20 images from each class category totaling 5. The dataset used for training 300 images and validation 20 images. The results of the yolov7 model accuracy value are mAP @ .5 of 99.5% and mAP @ .5: .95: of 90.5%. The accuracy of the yolov7-x model is mAP @ .5 99.6% and mAP @ .5: .95: of 75.8%. And the results of the test carried out with 20 images, out of 20 correct images only 18 and the accuracy value obtained is 90%.
Keywords : Detection object, SIBI, YOLOv7.

## DETEKSI OBJEK SISTEM ISYARAT BAHASA INDONESIA DENGAN METODE YOLOV7

## Abstrak
SIBI  atau  Sistem  Isyarat  Bahasa  Indonesia,  bahasa  komunikasi  untuk  komunitas  tunarungu  di  Indonesia.  SIBI memiliki  keistimewaan  dalam  menyampaikan  informasi  di  antara  individu.  SIBI  mengintegrasikan  berbagai isyarat  tangan  untuk  menggantikan  kata  dalam  bahasa  Indonesia,  memungkinkan  komunikasi  yang  efektif  dan inklusif.  SIBI  masih  kurangnya  program  edukasi  di  lingkungan  masyarakat  dan  mengidentifikasi  SIBI  telah menjadi  masalah  utama  dalam  memfasilitasi  komunikasi  bagi  orang  normal  dengan  tunarungu.  Solusi  yang diusulkan  dalam  pengembangan  deteksi  SIBI  dengan  memanfaatkan  teknologi  kecerdasan  buatan  (AI)  dan pemrosesan citra digital. Program ini berfokus pada pemahaman gerakan tangan khas yang digunakan dalam SIBI. Maka  dibuatlah  program  untuk  mendeteksi  bahasa  tangan  menggunakan  arsitektur  YOLOv7.  Penelitian  ini bertujuan  untuk  mengedukasi  mereka  yang  belum  mengenal  objek  tangan  SIBI  yang  akan  dideteksi,  terutama dalam konteks pengenalan bahasa isyarat untuk kata ganti orang tunggal. Metode penelitian yang dilakukan adalah akuisisi data dengan mengumpulkan dataset sejumlah 320 citra, anotasi data dengan cara melabeling objek pada tangan,  pre-processing  citra  dengan  augmentasi,  resize,  dan  cropping,  training  model  dengan  100  epoch  pada kedua model pre-trained (yolov7 dan yolov7-x), dan pengujian dilakukan dengan cara mendeteksi 20 citra dari masing-masing kategori kelas yang berjumlah 5. Dataset yang digunakan untuk training 300 gambar dan validasi 20 gambar. Hasil nilai akurasi model yolov7 adalah mAP@.5 sebesar 99.6% dan mAP@.5:.95: sebesar 90.5%. Akurasi model yolov7-x adalah mAP@.5 99.5% dan mAP@.5:.95: sebesar 75.8%. Dan Hasil dari pengujian yang dilakukan dengan 20 citra, dari 20 citra yang benar hanya 18 dan nilai akurasi didapatkan sebesar 90%..
Kata kunci : Objek Deteksi, SIBI, YOLOv7.
1198 Jurnal Teknik Informatika (JUTIF) , Vol. 5, No. 4, August 2024, pp. 1197-1203

## 1. PENDAHULUAN
SIBI [1] atau Sistem Bahasa Isyarat Indonesia, bahasa  komunikasi  untuk  komunitas  tunarungu  di Indonesia  yang  memiliki  keistimewaan  dalam menyampaikan gagasan, perasaan, serta informasi di antara  individu.  Namun,  kekurangan  komunikasi terhadap teknologi yang mendukung dalam pengembangan  SIBI  telah  menjadi  masalah  utama dalam  memfasilitasi  komunikasi  bagi orang-orang yang masih belum mengetahui tentang SIBI.
Teknologi  deteksi  bahasa  isyarat  yang  tersedia belum  optimal  dalam  mengidentifikasi  gerakan tangan  dalam  SIBI  secara  akurat  [2].  Dampak keterbatasannya interaksi sosial, kurangnya informasi,  serta  pembatasan  pengembangan  dalam komunikasi yang efektif bagi komunitas tunarungu di Indonesia.  Untuk  mengatasi  permasalahan  ini, diusulkannya  pengembangan  sistem  deteksi  SIBI yang  dengan  memanfaatkan  teknologi  kecerdasan buatan  (AI)  dan  pemrosesan  citra.  Sistem  ini  akan fokus  pada  pemahaman  gerakan  tangan  yang  khas yang  digunakan  dalam  SIBI.  Dengan  penerapan teknologi  AI  seperti  jaringan  saraf  tiruan  dan pembelajaran  mesin,  sistem  ini  dapat  diprogram untuk  mengenali  pola  Gerakan  tangan  dan  makna dalam SIBI dengan tingkat akurasi yang lebih tinggi [3].
Pada  era  digital  saat  ini,  penggunaan  deteksi objek  telah  merambah  berbagai  sektor,  seperti industri  otomatisasi,  kendaraan  tanpa  pengemudi, keamanan  pengawasan,  pengenalan  wajah,  dan berbagai  aplikasi  lainnya.  Dalam  beberapa  tahun terakhir,  YOLO  [4][5]  telah  menarik  perhatian komunitas penelitian dan industri karena keunggulannya dalam mengatasi beberapa tantangan dalam  deteksi  objek.  Signifikansi  dari  penelitian  ini terletak  pada  kapasitas  potensial  YOLO  untuk mendorong  kemajuan  dalam  bidang  deteksi  objek dengan menyatukan elemen kecepatan dan ketepatan [6].
Pendekatan  YOLO  [7]  yang  mengintegrasikan pemrosesan  gambar  dalam  satu  proses  telah memungkinkan deteksi objek [8] secara instan dalam berbagai  situasi.  Namun,  seiring  berjalannya  waktu, telah  muncul  berbagai  variasi  YOLO  [9]  yang memiliki  perbedaan  dalam  tingkat  ketepatan  dan kecepatannya.  Karena  itu,  perlunya  penelitian  lebih lanjut  untuk  memahami  serta  membandingkan kinerja  berbagai  varian  YOLO  menjadi  semakin mendesak.  Penerapan  YOLO[10]  dalam  deteksi bahasa  isyarat  khususnya  SIBI,  dapat  memberikan solusi  inovatif  untuk  memberikan  sebuah  informasi kepada  orang-orang  masih  belum  berpengetahuan tentang SIBI.
Metode YOLOv7 [11] dapat mendeteksi objek dengan  kecepatan  5  FPS  -  160  FPS  yang  memiliki akurasi 56.8% AP ( Average precision ) dan YOLOv7 lebih  efisien  dalam  penggunaan  sumber  daya komputasi yang memungkinkan implementasi
dengan  daya  komputasi  yang  terbatas.  Dan menjadikannya  solusi  yang  fleksibel  untuk  berbagai kebutuhan deteksi objek. YOLOv7 adalah tingkatan dari  versi  sebelumnya.  YOLOv7-X  [11]  merupakan penskalaan  pada neck dan  penskalaan  gabungan kedalaman  dan  lebar  seluruh  model.  Dengan kecepatan  dan  ketepatan  tinggi,  YOLO  dapat mengatasi  tantangan  dalam  pengenalan  gerakan  dan ekspresi yang kompleks dalam SIBI.
Kata  ganti  orang  [12]  merupakan  unsur linguistik yang digunakan untuk menggantikan nama orang  atau  kategori  persona.  Pemilihan  kata  ganti orang  tergantung  pada  jenis  dan  jumlah  persona. Terdapat  tiga  jenis  persona,  yakni  persona  pertama, persona  kedua,  dan  persona  ketiga.  Selain  itu, terdapat dua jenis kategori persona, yaitu tunggal dan jamak.
Banyak  penelitian  telah  dilakukan  di  dalam ranah  deteksi  objek  manusia  dengan  menerapkan beragam  metode  yang  tersedia.  Aris  Setiyadi  dkk (2023)  melakukan  penelitian  deteksi  objek  manusia menggunakan  Yolov8  dengan  akurasi  model  2 terbaik  mAP  81%  dengan  lapisan  40x40x512xW [13].  A.  L.  C.  Carneiro  dkk  (2023)  melakukan penelitian deteksi tangan dan wajah dengan beberapa metode  SSD640  mAP  95%,  SSD320  mAP  73.1%, EfficientDet  D0  mAP  85.8%,  Yolov7  mAP  95.7%, Faster  R-CNN  mAP  96.2%,  dan  CenterNet  mAP 96,7%  [14].  Nasima  Begum  dkk  (2023)  melakukan penelitian  deteksi  karakter-tanda  Bengali  dan pembuatan  kalimat  secara realtime menggunakan Yolov4-Tiny dan LSTM dengan akurasi 99,12% [15]. Bankar dkk (2022) melakukan penelitian pengenalan bahasa  isyarat  menggunakan  CNN  dengan  akurasi 52.98% [16]. Christine Dewi dkk (2023) melakukan penelitian  pengenalan  tangan  yang  sangat  akurat manggunakan  Yolov7  dengan  akurasi  tertinggi 86,3%  [17].  Agung  Ma’ruf  dkk.  (2023)  melakukan penelitian  pengenalan  objek  tangan  menggunakan YOLOv8  dengan  akurasi  sebesar  99,8%,  presisi sebesar 99,4%, dan recall sebesar 99,8%[18]. Dimas Permana  dkk.  (2023)  melakukan  penelitian  tentang deteksi objek menggunakan YOLOv5 dengan akurasi 77%[19].
Tujuan  penelitian  ini  untuk  memberitahu kepada  orang-orang  yang  masih  belum  mengetahui tentang deteksi objek tangan SIBI, khususnya dalam konteks  pengenalan  bahasa  isyarat  pada  kata  ganti orang  tunggal.  Dengan  menggunakan  YOLOv7, peneliti  dapat  berusaha  yang  lebih  baik  dalam mendeteksi  dan  pengenalan  isyarat  tangan  dalam gambar.

## 2. METODE PENELITIAN
Prosedur  pada  penelitian  ini,  peneliti  akan melakukan beberapa tahap, yaitu:
Gambar 1. Prosedur penelitian
A. Akuisisi Citra
Mengumpulkan  dataset  dari  Kamus  SIBI  yang akan dipakai sejumlah 300 citra dan 20 validasi dalam proses training . Pada tahap ini, data citra akan diberi kelasnya berdasarkan jenisnya. Dataset gambar kelas yang  akan  dipakai  adalah  kata  ganti  orang  tunggal dan dilabeli berjumlah 4 kelas, yaitu Aku, Dia, Kamu, dan Saya.
B. Pre-processing Citra Setelah proses akusisi citra, langkah berikutnya adalah  melakukan pre-processing .  Tahap pre- processing pada  citra  ini  adalah  melakukan penyesuaian  ukuran  dan  posisi  bagian  objek  dalam gambar  dengan  melakukan cropping , resize dan augmentasi. Cropping adalah  proses  memotong bagian  tertentu  dari  gambar  untuk  menghapus  area yang  tidak  diinginkan. Resize adalah  proses mengubah  ukuran  gambar  menjadi  320x320. Augmentasi  adalah  teknik  untuk  menambah  variasi dalam  dataset  gambar  melalui  transformasi  gambar asli dan membuat citra lebih banyak. C. Anotasi dataset Proses dimana gambar akan diberi label gambar untuk  menunjukkan  titik  objek  yang  akan  dikenali oleh model tersebut.
D. Training
Setelah anotasi dataset, dilakukannya pelatihan pada dataset yang sudah diolah sebelumnya, yaitu 2 model pretrained YOLOv7 yaitu model Yolov7 dan Yolov7-X.
E. Pengujian
Pada  tahap  ini,  model  yang  sudah  dilatih  akan diuji  dan  mendapatkan  hasil  deteksi  berupa  nilai presisi, recall , dan nilai keseluruhan mAP atau mean average precision merupakan ukuran yang digunakan untuk menilai efektivitas model dalam tugas deteksi objek dan ekstraksi informasi dari gambar. Pengujian dilakukan  dengan  cara  mendeteksi  5  citra  setiap kelas-nya.  Cara  untuk  mendapatkan  nilai  akurasi dengan rumus[20][21].
𝐴𝑘𝑢𝑟𝑎𝑠𝑖   = 𝐽𝑢𝑚𝑙𝑎ℎ 𝑝𝑟𝑒𝑑𝑖𝑘𝑠𝑖 𝑦𝑎𝑛𝑔 𝑏𝑒𝑛𝑎𝑟 𝐽𝑢𝑚𝑙𝑎ℎ 𝑡𝑜𝑡𝑎𝑙 𝑑𝑎𝑡𝑎  𝑢𝑗𝑖 ×  100%(1)

## 3. HASIL DAN PEMBAHASAN
3.1. Akuisisi Data Tahap pertama yang akan dilakukan menyiapkan  dataset  yang  sudah  dikumpulkan  dari dataset dari Kamus SIBI (url: https://pmpk.kemdikbud.go.id/sibi/ ), yaitu mengambil data video dengan durasi 3-6 detik yang berformat .mp4, lalu dikonvert di website Ezgif (url: https://ezgif.com/video-to-jpg ) menjadi sebuah gambar  yang  berformat  .jpg,  citra  didapatkan sejumlah 15 citra masing-masing kategori kelas. Dan citra  akan  disimpan  ke  dalam  folder  dataset  beserta kategori kelas .
Gambar 2. Kelas objek tangan
3.2. Pre-Processing
Tahap pre-processing melakukan cropping , resize gambar menjadi 320x320 pixel dan augmentasi dengan rotation range, widht shift range, height shift range, horizontal_flip, dan fill mode dengan jumlah 5 citra dalam 1 citra.
Gambar 3. Cropping
Rotation  range berfungsi  untuk  mengatur derajat  rotasi  citra  menjadi  45  derajat. widht  shift range berfungsi untuk mengatur pergesaran horizontal  hingga  20%  dari  lebar  citra  secara  acak. height shift range berfungsi untuk pergeseran vertikal hingga  20%  dari  lebar  citra  secara  acak. horizontal_flip berfungsi  untuk  pembalikkan  secara horizontal  secara  acak  dengan  nilai True . fill  mode nearest berfungsi  untuk  menentukan  metode pengisian piksel kosong yang akan diisi dengan nilai dari piksel terdekat setelah transformasi.
Tabel 1. Dataset augmented
Kelas Jumlah Aku 75 Dia 75 Kamu 75 Saya 75
Tabel.1  menunjukkan  data  yang  telah  di augmentasi  pada  kelas  Aku  75  citra,  Dia  75  citra,

## 1200 Jurnal Teknik Informatika (JUTIF)
, Vol. 5, No. 4, August 2024, pp. 1197-1203
Kamu 75 citra, dan Saya 75 citra dengan total jumlah 300  citra.  Dan  membuat  folder  baru images dan labels , di folder masing-masing terdapat training dan validasi atau split data

## 3.3. Anotasi Data
Pada  tahap  anotasi  dilakukannya labeling citra yang  akan  ditandai  sebuah  kelas,  yaitu  Aku,  Dia, Kamu,  dan  Saya.  Proses labeling di  Makesense.ai website  yang  menyediakan labeling gambar  secara umum.  Website  tersebut  sangat  mudah  digunakan untuk  me labeling objek-objek.  Tahap-tahap  saat melakukan anotasi data, yaitu memilih file atau folder yang akan diproses, membuat kategori kelas, memilih gambar  yang  ingin  di labeling ,  memberi bounding- box pada  objek,  memilih  kelas  kategori,  dan export dalam  format  YOLO.  Setelah  di export simpan  ke dalam folder labels.
Gambar 4. Labeling images
Sebelum  melakukan  proses training dibuatnya file  dataset  yang  berformat  .yaml.  Dataset.yaml merupakan  file  konfigurasi  untuk  mengatur  lokasi dataset dan jumlah kelas.

## 3.4. Training
Proses training yang dilakukan masing-masing sebanyak 100 epoch pada model pre - trained yolov7 dan yolov7x.
Hasil pelatihan dapat dilihat melalui Tensorboard  di  Google  Colaboratory  dengan  nilai akurasi  yang  berbeda-beda  dan  proses epoch 100 membutuhkan  waktu  selama  45 menit. Untuk  kurva pada  presisi,  recall,  mAP@.5,  dan  mAP@.5:.95:. mengalami fluktuasi pada epoch 0-60 dan epoch 61- 100 kurva stabil. Dapat ditunjukkan pada Gambar 5. Pada gambar 6. menunjukkan hasil nilai seluruh presisi, recall ,  mAP@.5,  dan  mAP@.5:.95:. Class merupakan  jumlah  kelas  pada  objek  yang  akan digunakan  dalam  proses training .  P  atau Precision merupakan  hasil  prediksi  benar  yang  positif  dengan akurasi All atau  rata-rata  jumlah  dari  ke-empat  4 kategori  kelas  sebesar  0.997.  R  atau Recall merupakan  evaluasi  yang  mengukur  kemampuan model  dalam  objek  dengan  akurasi All sebesar  1, model  ini  dapat  mengingat  objek  dengan  baik. mAP@.5  merupakan  skor  rata-rata  0.5-1  dari precision dan recall dengan akurasi All sebesar 0.996, model ini dapat mengidentifikasi cukup akurat dalam menempatkan bounding - box pada  objek  tangan. mAP@.5:.95:  merupakan  skor  rata-rata  0.5-0.95,
skor  ini  varian  lain  dari  mAP  dengan  akurasi All sebesar 0.905.
Gambar 5. Kurva model yolov7

## Gambar 6. Akurasi model yolov7
Berdasarkan  nilai  akurasi  pada  model  yolov7x terdapat  nilai  yang  berbeda-beda  dan  proses  epoch 100  membutuhkan  waktu  selama  56  menit.  Untuk kurva pada presisi, recall, mAP@.5, dan mAP@.5:.95:. Mengalami fluktuasi pada epoch 0-41, epoch  70-77  mengalami  penurunan,  dan  epoch  78- 100 kurva stabil. Dapat ditunjukkan pada Gambar 7.
Pada gambar 8. menunjukkan hasil nilai seluruh presisi, recall ,  mAP@.5,  dan  mAP@.5:.95:.  Hasil presisi  dengan  nilai  sebesar  0.971, recall sebesar  1, mAP@.5  sebesar  0.995,  dan  mAP@.5:.95:  sebesar 0.758.
Gambar 8. Akurasi model yolov7-x Tabel 2. Hasil model yolov7 dan yolov7-x Model Precision Recall mAP50 mAP50-95 Yolov7 0.997 1 0.996 0.905 Yolov7-x 0.971 1 0.995 0.758
Berdasarkan  Tabel  2.  Pada  nilai  akurasi All mAP@.5  dan  mAP@.5:.95:  yang  didapatkan  pada yolov7  dan  yolov7x.  Untuk  nilai  akurasi  mAP@.5 sebesar  0.996  dan  mAP@.5:.95:  sebesar  0.905  di yolov7. Untuk nilai akurasi mAP@.5  sebesar 0.995 dan  mAP@.5:.95:  sebesar  0.758  di  yolov7-x.  Hasil pada grafil kurva rata-rata mengalami fluktuasi pada epoch  0-60  yang  kemungkinan  disebabkan  oleh dataset yang kurang bagus dan kurang banyak.

## 3.4. Pengujian
Setelah  melakukan  proses  pelatihan  dan menghasilkan  model  terbaik,  langkah  selanjutnya adalah  menguji  model  untuk  mengetahui  kinerja model  tersebut.  Pengujian  ini  menggunakan  5  citra dari  masing-masing  kelas  dengan  total  20  citra. Pengujian  akan  dilakukan  pada  beberapa  tabel dengan hasil yang berbeda-beda.
Tabel 3. Prediksi pada kelas Aku No. Citra Yolov7 Yolov7-x 1 0.30% 0.23% 2 0.20% 0.24% 3 0.17% 0.30% 4 0.25% 0.19% 5 0.15% 0.28%
Pada  tabel  3  menunjukkan  prediksi  gambar kelas Aku yang telah dideteksi dengan kedua model yang  sudah  dilatih.  Di  percobaan  deteksi  model yolov7  memiliki  akurasi  tertinggi  0.30%  dan  model yolov7-x memiliki akurasi tertinggi 0.30%.
Tabel 4. Prediksi pada kelas Dia No. Citra Yolov7 Yolov7-x 1 0.16% - 2 0.21% 0.16% 3 0.12% 0.27% 4 0.28% 0.14% 5 0.21% -
Pada  tabel  4  menunjukkan  prediksi  gambar kelas  Dia  yang  telah  dideteksi  dengan  kedua  model yang  sudah  dilatih.  Di  percobaan  deteksi  model yolov7  memiliki  akurasi  tertinggi  0.28%  dan  model yolov7-x mmiliki akurasi tertinggi 0.27%.
Tabel 5. Prediksi pada kelas Kamu No. Citra Yolov7 Yolov7-x 1 0.13% 0.21% 2 0.12% 0.46% 3 0.10% 0.54% 4 0.21% 0.46% 5 0.40% 0.57%
Pada  tabel  5  menunjukkan  prediksi  gambar kelas Kamu yang telah dideteksi dengan kedua model yang  sudah  dilatih.  Di  percobaan  deteksi  model yolov7  memiliki  akurasi  tertinggi  0.40%  dan  model yolov7-x mmiliki akurasi tertinggi 0.57%.
Tabel 6. Prediksi pada kelas Saya No. Citra Yolov7 Yolov7-x 1 0.19% 0.61% 2 0.12% 0.63% 3 0.16% 0.58% 4 0.26% 0.38% 5 0.11% 0.40%
Pada  tabel  6  menunjukkan  prediksi  gambar kelas Saya yang telah dideteksi dengan kedua model yang  sudah  dilatih.  Di  percobaan  deteksi  model yolov7  memiliki  akurasi  tertinggi  0.26%  dan  model yolov7-x mmiliki akurasi tertinggi 0.63%.
Berdasarkan  hasil  pengujian  citra  diatas mendapatkan  nilai  tertinggi  yang  berbeda-beda. Untuk  yolov7  dengan  akurasi  tertinggi  kelas  Aku sebesar  0.30%,  kelas  Dia  sebesar  28%,  kelas  Kamu sebesar  40%,  dan  kelas  Saya  sebesar  26%.  Untuk yolov7-x dengan akurasi tertinggi kelas Aku sebesar 30%,  kelas  Dia  sebesar  27%,  kelas  Kamu  sebesar 57%, dan kelas Saya sebesar 63%.
Pada proses pengujian citra yang digunakan 20 citra. Citra yang dapat dideteksi hanya 18 dari 20 citra dengan benar. Akurasi dapat dihitung dengan rumus berikut.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖   = 18 20 ×  100% (1)
Hasil  nilai  akurasi  yang  didapatkan  sebesar 90%,  sehingga  proses  deteksi  objek  SIBI  dengan metode  YOLOv7  dapat  mendeteksi  dengan  cukup baik..

## 4. DISKUSI
Pada  penelitian  ini  didapatkan  hasil  model deteksi  objek  tangan  dalam  SIBI  yang  mampu mengidentifikasi 4 kategori kelas objek tangan.
Pengambilan  dataset  di  website  Kamus  SIBI berupa  format  video  dan  di  konvert  ke  sebuah gambar.  Sebelum  melakukan  proses pre-processing yang  dilakukan  dengan  cara  augmentasi  dengan rotation range, widht shift range, height shift range, horizontal_flip, dan fill mode dan 1 gambar menjadi 5 gambar. Cropping pada bagian objek yang nantinya akan  di labeling ,  dan resizing gambar  untuk meratakan gambar ke 320x320.  Selanjutnya, anotasi data,  membuat folder label  dan  gambar  agar  mudah diproses. Proses training dilakukannya 2 kali proses pelatihan  model pretrained YOLOv7,  yaitu  model

## 1202
Jurnal Teknik Informatika (JUTIF) , Vol. 5, No. 4, August 2024, pp. 1197-1203
Yolov7  dan  Yolov7-x.  Parameter training yang digunakan adalah size 320x320 pixel , 16 batch size , dan 100 epoch .
Dalam  pengujian  penelitian  yang  dilakukan dengan  cara  mendeteksi  satu-satu  gambar  citra  dan masing-masing kelas sejumlah 5 gambar. Hasil yang diperoleh  dari  model  yolov7  pada  mAP@.5  sebesar 99.6% dan mAP@.5:.95: sebesar 90.5%. Dan model yolov7-x  pada  mAP@.5  sebesar  99.5%  dan mAP@.5:.95:  sebesar  75.8%.  Hasil  dari  pengujian yang  dilakukan  dengan  20  citra,  dari  20  citra  yang benar hanya 18 dan nilai akurasi didapatkan sebesar 90%.
Christine  Dewi  dkk.  melakukan  pengenalan tangan  menggunakan  metode  YOLOv7  dengan model pretrained yolov7 dan yolov7-x. Hasil yolov7- x  yang  didapatkan  dari  training  200  epoch  adalah presisi sebesar 84.7%, recall sebesar 79.9% dan mAP tertinggi  sebesar  86.3%.  Dan  hasil  yolov7  yang didapatkan  dari training 200  epoch  adalah  presisi sebesar  73.2%, recall sebesar  67.2%,  dan  mAP tertinggi sebesar 73.6%.
Agung  Ma’ruf  dkk.  melakukan  penelitian tentang mengidentifikasi objek tangan menggunakan metode  YOLOv8.  Jumlah  total  citra  dalam  dataset 11.469  citra.  Hasil  model  akurasi  yang  diperoleh sebesar  99.8%,  presisi  sebesar  99.4%,  dan recall sebesar 99.8%.
Dimas  Permana  dkk.  melakukan  penelitian deteksi  objek  tangan  pada  SIBI  yang  menggunakan metode YOLOv5. Dataset yang digunakan berjumlah 300 citra. Hasil akurasi yang di dapatkan 77%.
Berdasarkan hasil perbandingan dari penelitian yang  serupa  bahwa  metode  ini  berhasil  mendeteksi citra  pada  objek  tangan  dengan  tingkat  akurasi sebesar 75.8%, sedangkan penelitian yang serupa dari Christine Dewi dkk. sebesar 73.6% berbeda 2.2% dari penelitian  yang  telah  dilakukan.  Perbandingan dengan  Agung  Ma’ruf  dkk.  yang  serupa  dengan metode  yang  dilakukan  pada  objek  tangan  dengan akurasi 99.8%, sedangkan penelitian yang dilakukan memperoleh  akurasi  sebesar  75.8%,  berbeda  14%. Dan perbandingan dengan Dimas Permana dkk. yang serupa  dengan  metode  yang  dilakukan  pada  objek tangan  dengan  akurasi  77%,  sedangkan  penelitian yang  dilakukan  memperoleh  akurasi  sebesar  75.8%, berbeda  1.2%.  Dari  perbandingan  para  peneliti  ini merupakan keunggulan hasil yang telah dilakukan.

## 5. KESIMPULAN
Berdasarkan penelitian ini data objek SIBI pada tangan  dengan  model  YOLOv7  dapat  mendeteksi objek  cukup  baik.  Total  dataset  yang  digunakan sejumlah  320,  untuk  data training 300  dan  validasi 20.  Hasil  nilai  akurasi  model  yolov7  adalah mAP@0.5  sebesar  99.6%  dan  mAP@0.5:0.95 sebesar  90.5%.  Akurasi  model  yolov7-x  adalah mAP@0.5  sebesar  99.5%  dan  mAP@0.5:0.95 sebesar  75.8%. Hasil dari pengujian  yang dilakukan dengan 20 citra, dari 20 citra yang benar hanya 18 dan
nilai  akurasi  didapatkan  sebesar  90%.  Untuk  nilai terbaik pada 2 model yang telah dilatih adalah yolov7 menunjukkan akurasi yang lebih tinggi dibandingkan yolov7-x.  Saran  untuk  peneliti  selanjutnya  dapat menggunakan  dataset  yang  lebih  banyak  supaya mendapatkan akurasi yang tinggi dan  akurat.

## DAFTAR PUSTAKA
[1] T.  Bintoro,  “Sistem  Isyarat  Bahasa Indonesia.”  Accessed:  Dec.  21,  2023. [Online].
Available: https://pmpk.kemdikbud.go.id/sibi/
[2] R. A. Ramadani, I. Ketut, G. Darma Putra, I. Ayu,  and  D.  Giriantari,  “S  Stemming Algorithm for Indonesian Signaling Systems (SIBI),” International Journal of Engineering and Emerging Technology , vol.
5, no. 1, pp. 57–60, 2020.
[3] M. Farid Naufal, S. Ferdiana Kusuma, and P.
Korespondensi, “ANALISIS PERBANDINGAN ALGORITMA MACHINE LEARNING DAN DEEP LEARNING
UNTUK KLASIFIKASI
CITRA  SISTEM  ISYARAT  BAHASA INDONESIA  (SIBI),” Jurnal  Teknologi Informasi  dan  Ilmu  Komputer  (JTIIK) ,  vol. 11,  no.  4,  pp.  873–882,  2023,  doi: 10.25126/jtiik.2023106828.
[4] M. Bhavadharshini, J. Josephine Racheal, M. Kamali,  S.  Sankar,  and  M.  Bhavadharshini, “Sign  language  translator  using  YOLO algorithm,” Advances in Parallel Computing , vol. 39, pp. 159–166, 2021, doi: 10.3233/APC210136.
[5] M.  Abdurrahman  Hakim,  T.  Rohana,  D. Sulistya Kusumaningrum, and P. Karawang, “Seminar  Nasional  Hasil  Riset  Prefix-RTR
PEREKAMAN OTOMATIS BERDASARKAN DETEKSI OBJEK MANUSIA PADA CCTV MENGGUNAKAN METODE YOU ONLY LOOK ONCE V3 (YOLOV3),” 2020.
[6] S. C. Mesbahi, M. A. Mahraz, J. Riffi, and H. Tairi,  “Hand Gesture  Recognition Based on Various  Deep  Learning  YOLO  Models.” [Online]. Available: www.ijacsa.thesai.org
[7] S.  Daniels,  N.  Suciati,  and  C.  Fathichah, “Indonesian  Sign  Language  Recognition using YOLO Method,” IOP Conf Ser Mater Sci  Eng ,  vol.  1077,  no.  1,  p.  012029,  Feb. 2021, doi: 10.1088/1757- 899x/1077/1/012029. [8] A. Fauzi et al. , “Development of Health Mask Identification Using YOLOv5 Architecture,” International Journal Of Artificial
Intelegence Research , vol. 6, no. 1, p. 2022,
2023, doi: 10.29099/ijair.v6i1.1.573.
[9] S. Muhammed Ali, “Comparative Analysis of
YOLOv3,  YOLOv4  and  YOLOv5  for  Sign Language  Detection.”  [Online].  Available: www.ijariie.com2393
[10] A.  Maulana,  M.  Suherman,  A.  F.  N.
Masruriyah, and H. Y. Novita, “PENERAPAN ALGORITMA CNN MENGGUNAKAN  FRAMEWORK  YOLO UNTUK  DETEKSI  OBJEK  PRODUK  DI
PERUSAHAAN  MANUFAKTUR,” INTI Nusa  Mandiri ,  vol.  18,  no.  2,  pp.  107–114, Feb. 2024, doi: 10.33480/inti.v18i2.5028.
[11] C.-Y. Wang, A. Bochkovskiy, and H.-Y. M. Liao,  “YOLOv7:  Trainable  bag-of-freebies sets  new  state-of-the-art  for  real-time  object detectors,” 2022.
[12] Sudaryanto  and  W.  Sahayu,  “KAMUS BESAR  BAHASA  INDONESIA  EDISI KELIMA DALAM PEMBELAJARAN
BAHASA INDONESIA (PERSPEKTIF
FILSAFAT  PENDIDIKAN  BAHASA),”
Dec. 2020.
[13] A.  Setiyadi,  E.  Utami,  and  D.  Ariatmanto, “Analisa  Kemampuan  Algoritma  YOLOv8 Dalam  Deteksi  Objek  Manusia  Dengan Metode Modifikasi Arsitektur,” 2023.
[14] A.  Leandro,  C.  Carneiro,  D.  Henrique,  P. Salvadeo, and L. De Brito Silva, Large-scale dataset and benchmarking for hand and face detection  focused  on  sign  language .  2023. [Online]. Available:
https://github.com/AlvaroCavalcante/hand- face-detector
[15] N.  Begum et  al. ,  “Borno-Net:  A  Real-Time Bengali Sign-Character
Detection and Sentence Generation System Using Quantized Yolov4-Tiny and  LSTMs,” Applied  Sciences  (Switzerland) ,  vol.  13,  no.
9, May 2023, doi: 10.3390/app13095219.
[16] S. Bankar, T. Kadam, V. Korhale, and M. A. A.  Kulkarni,  “Real  Time  Sign  Language
Recognition Using Deep Learning,” International
Research
Journal of Engineering and Technology , 2022, [Online]. Available: www.irjet.net
[17] C. Dewi, A. P. S. Chen, and H. J. Christanto,
“Deep  Learning  for  Highly  Accurate  Hand Recognition  Based  on  Yolov7  Model,” Big Data and Cognitive Computing , vol. 7, no. 1, Mar. 2023, doi: 10.3390/bdcc7010053.
[18] A. Ma’ruf and M. Hardjianto, “3 rd Seminar Nasional  Mahasiswa  Fakultas  Teknologi Informasi  (SENAFTI)  30  Agustus  2023- Jakarta,” 2023.
[19] D.  Permana  and  J.  Sutopo,  “APLIKASI PENGENALAN ABJAD SISTEM ISYARAT  BAHASA  INDONESIA  (SIBI) DENGAN ALGORITMA YOLOv5 MOBILE APPLICATION ALPHABET
RECOGNITION OF INDONESIAN LANGUAGE SIGN SYSTEM (SIBI)
USING  YOLOv5  ALGORITHM,”  vol.  11, no. 2, 2023.
[20] K. A. Baihaqi and Y. Cahyana, “Application of  Convolution  Neural  Network  Algorithm for  Rice  Type  Detection  Using  Yolo  v3,” 2021.
[21] A.  Ferbista  Direja,  Y.  Cahyana,  and  K.  A. Baihaqi,  “IMPLEMENTATION  OF  THE YOLOV8  METHOD  TO  DETECT  WORK SAFETY  HELMETS,” Jurnal
Teknik Informatika (JUTIF) , vol. 5, no. 3, pp. 865– 871, 2024, doi: 10.52436/1.jutif.2024.5.3.2005.