## IMPLEMENTASI ALGORITMA CONVOLUTIONAL NEURAL NETWORK UNTUK MENDETEKSI POLA GERAK TANGAN DALAM PERMAINAN “PONG BALL” DENGAN AI
Salwa Salsabila 1 , Darma Fauzan Wibowo 2 , Purwantoro 3
1,2,3 Universitas Singaperbangsa Karawang
1 2110631170108@student.unsika.ac.id, 2 2110631170060@student.unsika.ac.id,
3 purwantoro.masbro@staff.unsika.ac.id

## ABSTRAK
Perkembangan  kecerdasan  buatan  (AI)  dalam  industri  permainan  komputer  telah  menjadi  tren  yang  pesat. Dalam permainan video, AI digunakan untuk meningkatkan pengalaman bermain dengan menyediakan lawan komputer  yang  cerdas  dan  responsif.  Namun,  penggunaan  keyboard  atau  pengontrol  untuk  mengendalikan permainan  "Pong  Ball"  masih  membatasi  pengalaman  bermain  yang  realistis.  Oleh  karena  itu,  penelitian  ini bertujuan untuk mengidentifikasi pola gerakan tangan dalam permainan "Pong Ball" menggunakan algoritma Convolutional  Neural  Network  (CNN).  Metode  penelitian  ini  melibatkan  pengambilan  data  gerakan  tangan melalui kamera dan pengolahan data untuk mengidentifikasi pola gerakan tangan. Hasil pengujian menunjukkan bahwa algoritma CNN mampu mengenali berbagai pola gerakan tangan dengan tingkat akurasi yang memadai. Namun,  pencahayaan  yang  kurang  optimal  dapat  mempengaruhi  kualitas  deteksi  gerakan  tangan  dan mengurangi kinerja sistem. Oleh karena itu, penelitian ini menyarankan penelitian lebih lanjut untuk mengatasi masalah pencahayaan dan faktor-faktor lain yang mempengaruhi kualitas deteksi gerakan tangan. Diharapkan penelitian ini dapat mendukung pengembangan teknologi kecerdasan buatan (AI) di industri permainan.
Kata kunci- Convolutional Neural Network, deteksi gerakan tangan, permainan "Pong Ball"

## I.  PENDAHULUAN
Dalam  industri  permainan  komputer,  terutam  a permainan  video, penggunaan  kecerdasan  buatan  (AI) telah  menjadi  tren  yang  berkembang  pesat.  AI digunakan  untuk  meningkatkan  pengalaman  bermain dengan menyediakan lawan komputer yang cerdas dan responsif.  Salah  satu  permainan  klasik  yang  masih populer hi ngga saat ini adalah "Pong Ball". Permainan ini  dimainkan  oleh  dua  pemain,  masing-masing mengontrol bat untuk memantulkan bola ke sisi lawan. Namun,  dalam  implementasi  permainan  "Pong  Ball", pemain harus menggunakan keyboard atau pengontrol untuk  mengontr  ol  bat.  Hal  ini  dapat  membatasi pengalaman  bermain  yang  lebih  realistis  dan    intuitif. Oleh  karena  itu,  untuk  menjaga kualitas permainan agar lebih menarik diperlukan solusi yang memungkinkan pemain mengendalikan bat menggunakan gerakan tangan mereka secara langsung.
Untuk  mengatasi  masalah  ini,  penelitian sebelumnya telah mengusulkan penggunaan kecerdasan buatan,  khususnya  algoritma  Convolutional  Neural Network  (CNN).  Algoritma  Convolutional  Neural Network  (CNN)  sudah  menunjukkan  keunggulannya dalam pengenalan pola dan pengolahan gambar dalam beberapa tahun terakhir.  Metode  ini  sudah  digunakan dengan  sukses  dalam  sejumlah  aplikasi,  termasuk pengenalan  wajah,  deteksi  objek,  dan  pengenalan gerakan [1].
Dalam permainan Pong Ball menggunakan CNN untuk  mengident  ifikasi  pola  gerakan  tangan  dapat membuat  permainan  menjadi  lebih  imersif  dan responsif.  Namun,  meskipun  terdapat  beberapa penelitian terkait implementasi AI dalam
mengidentifikasi  pola  gerak  tangan,  masih  sangat terbatas  penelitian  yang  mempelajari  penggunaan algoritma  Convolutional  Neural  Network  untuk mengidentifikasi  pola  gerak  tangan  dalam  permainan “Pong  Ball”.  Akibatnya,  tujuan  penelitian  ini  adalah untuk mengisi celah dan menawarkan solusi yang dapat meningkatkan  akurasi  dan  responsivitas  deteksi gerakan tangan dalam permainan.
Diharapkan      bahwa      penelitian      ini      akan menghasilkan  sistem  yang  dapat  mengenali  berbagai pola  gerakan  tangan  dengan  sangat  akurat  dan menggabungkannya  dengan  permainan  “Pong  Ball”. Penelitian  ini  juga  dapat  memberikan  wawasan  baru tentang  penggunaan  algoritma  Convolutional  Neural Network  dalam  permainan  video  dan  membantu pengembangan teknologi AI di industri permainan.

## II.  METODE PENELITIAN
Metode  penelitian  yang  digunakan  dalam perancangan sistem  menggunakan  algoritma  CNN  sebagai  metode utama  untuk  mengidentifikasi  pola  gerakan  tangan dalam  permainan  "Pong  Ball".  Pemilihan  algoritma CNN didasarkan pada keunggulan dan kemampuannya dalam klasifikasi dan pengenalan gambar [2].
Untuk  melatih  dan  menguji  algoritma  CNN, penelitian ini akan mengumpulkan data gerakan tangan yang  relevan  dalam  konteks  permainan  "Pong  Ball". Data  ini  akan  digunakan  sebagai  input  untuk  melatih algoritma  dan  menguji  keakuratannya.  Setel1ah tahap pengambilan  data  akan  dilanjutkan  dengan  tahap pengolahan  data  untuk  men  gidentifikasi  pola  gerakan tangan.
Gambar 1. Ilustrasi Proses Sistem
Gambar  1  tersebut  merupakan  ilustrasi  dari  cara  kerja perangkat  komputer  dapat  menerima  dan  mengenali pola gerak tangan manusia melalui sebuah webcam.

## A.  PENGAMBILAN DATA
Sebelum  ke  tahap  berikutnya,  tahap  pengambilan  data dilakukan terlebih dahulu. Pada tahap ini data yang akan diolah  lebih  lanjut  adalah  pola  gerak  tangan  manusia yang  dioperasikan  melalui  kamera  yang  terletak  di depan  pemain  yang  sedang  memainkan  permainan "Pong Ball". Perekaman video tersebut kemudian dapat dianalisis  untuk  mengidentifikasi  gerakan  tangan  yang relevan.

## B.  PENGOLAHAN DATA
Setelah  dilakukan  tahap  pengambilan  data,  tahap selanjutnya  adalah  tahap  pengolahan  data.  Pada  tahap pengolahan  data, yang  akan  dilakukan  untuk mengidentifikasi pola gerakan tangan dalam permainan "Pong Ball" dengan beberapa tahapan. 1. Pengolahan Data.
Data  yang  telah  direkam  melalui  kamera  akan  melalui tahap  pra-pemrosesan.  Melalui  kamera  tersebut bertujuan  agar  dapat  mengenali  pola  gerak  tangan dimana terdapat 21 titik yang terdeteksi pada kerangka tangan manusia.
Gambar 2. Gerak Tangan Terdeteksi
Pada tahap pra-pemrosesan ini terdapat beberapa teknik yang digunakan untuk mempermudah proses identifikasi  pola  gerakan  tangan,  seperti  peningkatan kontras,  pengurangan  noise  dan  menerapkan  teknik pemrosesan citra lainnya yang relevan. 2. Segementasi Setelah  tahap  pemrosesan  dilanjutkan  ke  tahap segmentasi  yang  bertujuan  untuk  memisahkan  latar belakang  pada  objek  [3].  Secara  sederhana,  latar belakang  pada  tahap  ini  akan  dianggap  saat  frame pertama  sudah  terbaca.  Lalu,  latar  belakang  tersebut diubah  menjadi  gambar  skala  abu-abu  dan  diberikan nilai  ambang  batas.  Proses  ini  berulang  untuk  setiap frame berikutnya hingga tahap akhir.
3. Ekstraksi Fitur Pada objek di setiap frame gambar yang dilakukan pada tahap  sebelumnya  akan  dicari  keakuratan  datanya dengan  melakukan  tahapan  selanjutnya  yaitu  tahap Ekstraksi Fitur. Beberapa fitur penting diekstraksi  dari setiap  frame  gambar  yang  berkaitan  dengan  gerakan tangan.  Beberapa  metode  ekstraksi  fitur  untuk mendapatkan    data    akurasi    terkait    gambar    dengan mencari  properti  geometris  (misalnya,  bentuk  dan ukuran  tangan),  histogram  warna  kulit,  atau  fitur  lain yang relevan dengan identifikasi gerakan tangan [4]. 4. Data Uji
Setelah ekstraksi fitur, data perlu dilabeli untuk melatih dan  menguji  algoritma  CNN.  Label  ini  dapat  berisi informasi  tentang  gerakan  tangan  yang  terkait  dengan setiap  gambar,  seperti  gerakan  atas,  bawah,  atau  tidak bergerak. Proses pelabelan data ini biasanya melibatkan kerjasama  dengan  manusia  yang  menandai  gerakan yang terkait dengan setiap gambar secara manual.

## III. HASIL DAN PEMBAHASAN
Hasil  pengujian  algoritma  CNN  menunjukkan  bahwa penggunaan algoritma ini dalam permainan "Pong Ball" memberikan hasil yang cukup baik dalam mengidentifikasi  pola  gerakan  tangan.  Tingkat  akurasi deteksi gerakan tangan mencapai tingkat yang memadai, menunjukkan  kemampuan  algoritma  dalam  mengenali berbagai  pola  gerakan  tangan  dengan  akurat.  Berikut tampilan  uji  coba  pada  Implementasi  Algoritma Convolutional Neural Network untuk Mendeteksi Pola Gerak Tangan dalam Permainan “Pong Ball” dengan AI.

## Gambar 3. Tampilan Permainan “Pong Ball” Normal
Pada  Gambar  3  tersebut  objek  tangan  pemain  terekam melalui  kamera  dan  data  tersebut  yang  akan  diolah membentuk gerakan tangan. Pada saat data yang diambil dari  kamera  memiliki  cahaya  yang  terekam  tersebut kurang,  maka  gerakan  yang  dibentuk  akan  semakin menurun  kualitas  dan  keakuratan  datanya  dan  proses bermain pun menjadi sedikit lambat.
Dalam  permainan  "Pong  Ball"  terdapat  bat  yang  akan dikontrol menggunakan gerakan tangan secara langsung seperti  gerakan  atas,  bawah  atau  tidak  bergerak.  Bat tersebut akan bergerak apabila gerakan tangan terdeteksi melalui  cahaya  yang  terang  atau  normal,  ketika pencahayaan  gelap  gerakan  tangan  sulit  terdeteksi  dan berakibatkan permainan pun tidak lancar.
Gambar 4. Tampilan Permainan “Pong Ball” dengan Pencahayaan Gelap
Sistem  yang  dihasilkan  dalam  penelitian  ini  efektif untuk  mengidentifikasi  pola  gerak  tangan  dalam permainan    "Pong    Ball"    menggunakan    algoritma Convolutional  Neural  Network  (CNN).  Sistem  ini memberikan  pengalaman  bermain  yang  lebih  realistis dan  intuitif  bagi  pemain,  meningkatkan  kualitas permainan  secara  keseluruhan.  Namun  disisi  lain kualitas  bermain  menjadi  tidak  lancar  apabila pencahayaan  yang  diterima  tersebut  kurang  dan keakuratan data menjadi rendah. Melalui hasil tersebut dapat diklasifikasi gerakan tangan seperti gerakan atas, gerakan  bawah,  dan  tidak  bergerak  dalam  penggunaan algoritma  CNN  memiliki  kinerja  yang  baik  dan  dapat memberikan wawasan baru untuk mendukung pengembangan teknologi AI di industri permainan.

## IV.  KESIMPULAN
Berdasarkan  hasil  dan  pembahasan  yang  telah dilakukan, dapat diambil kesimpulan sebagai berikut: 1.  Penggunaan algoritma Convolutional Neural Network  (CNN)  dalam  permainan  "Pong  Ball" efektif dalam mengidentifikasi pola gerakan tangan. Algoritma  CNN  mampu  mengenali  berbagai  pola gerakan  tangan  dengan  tingkat  akurasi  yang memadai.
2.  Implementasi  sistem  yang  menggunakan  algoritma CNN untuk mendeteksi pola gerakan tangan dalam permainan  "Pong  Ball"  dapat  meningkatkan pengalaman bermain yang lebih realistis dan intuitif bagi pemain.
3.  Pencahayaan    yang    baik    sangat    penting    untuk memastikan  deteksi  gerakan  tangan  yang  akurat dalam permainan "Pong Ball". Ketika pencahayaan kurang optimal, kualitas bermain dapat menurun dan keakuratan data menjadi rendah.
4.  Sistem  yang  dikembangkan  melalui  penelitian  ini memberikan  wawasan  baru  tentang  penggunaan algoritma  Convolutional  Neural  Network  dalam permainan video dan berpotensi membantu pengembangan teknologi kecerdasan buatan (AI) di industri permainan.

## REFERENSI
[1] Sani,  A.,  dan  Rahmadinni, S.  (2022).  Deteksi  Gestur Tangan  berbasis  Pengolahan  Citra.  Jurnal  Rekayasa Elektrika.
[2] Trivusi. (2022). Pengertian dan Cara Kerja Algoritma Convolutional Neural Network (CNN). https://www.trivusi.web.id/2022/04/algoritma- cnn.html [Diakses 14 Juni 2022]. [3] Pamungkas, Adi. (2018). Segmentasi Citra. https://pemrogramanmatlab.com/pengolahan-citra- digital/segmentasi-citra/ [Diakses 14 Juni 2022].
[4] Sugiartha,  A.  R.  G.  I.,  Sudarma,  M.,  Widyantara,  O. M.  I.  (2017).  Ekstraksi  Fitur  Warna,  Tekstur  dan Bentuk  untuk  Clustered-Based  Retrieval  of  Images (CLUE). Teknologi Elektro.
[5] Hu,  Y.,  &  Huang,  Y.  (2019).  Hand  Gesture Recognition using Convolutional Neural Network for Robot  Control.  International  Journal  of  Advanced Computer Science and Applications (IJACSA), 10(7), 261-268..
[6] Fang, Z., & Wu, S. (2021). Hand Gesture Recognition using  Convolutional  Neural  Networks  and  Recurrent Neural  Networks.  International  Journal  of  Machine Learning and Computing, 11(3), 329-334.
[7] Hidayat,  A.,  &  Kurniawan,  A.  (2019).  Implementasi Convolutional Neural Network (CNN) untuk Klasifikasi  Citra  Penyakit  Kulit.  Jurnal  Nasional Teknik  Elektro  dan  Teknologi  Informasi  (JNTETI), 8(2), 118-125.
[8] Azis, R. M., & Wibowo, F. D. (2021). Pengenalan Pola Gerakan  Tangan  pada  Sistem  Kontrol  Game Menggunakan  Algoritma  Convolutional  Neural Network. Jurnal Ilmiah Informatika, 9(2), 118-126.
[9] Rachmawati,  S.,  &  Hariadi,  M.  (2020).  Identifikasi Pola  Gerakan  Tangan  pada  Penerjemahan  Bahasa Isyarat Menggunakan Convolutional Neural Network. Jurnal Informatika, 9(2), 179-188.
[10] Puspitasari,  A.,  &  Pratiwi,  D.  E.  (2022).  Deteksi Gerakan  Tangan  dengan  Algoritma  Convolutional Neural Network (CNN) untuk Pengendalian Permainan Pong. Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK), 9(1), 33-40.