Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari Eko Purwanto*1, Ery Permana Yudha2 12Universitas Duta Bangsa Surakarta 12Surakarta , 2ery Email: 1ekopurwanto @ udb.ac.id _permanayudha@udb.ac.id Abstract The development of technology, particularly computer vision, is one of the fascinating research topics. One aspect is computer vision for automatic hand movement detection and finger counting. The primary focus is to provide visual capabilities to machines to understand human body language, especially hand movements. However, in building a system capable of visual recognition, numerous challenges arise, such as object segmentation. Object segmentation is crucial, especially for hand movement detection. The quality of hand segmentation significantly influences the results of hand movement detection and finger counting. Therefore, this research proposes a system for accurate and efficient hand movement detection and finger counting. Therefore, propose a method for hand motion segmentation and finger counting using the Haar Cascade Classifier technique. In this study, successfully achieved an accuracy of 100% with a finger counting dataset ranging from 1 to 5 using right-hand images. Keywords: computer vision, hand movement detection, finger counting Abstraksi Perkembangan teknologi khususnya computer vision merupakan salah satu topik penelitian yang sangat menarik. Salah satunya computer vision untuk deteksi otomatis gerakan tangan dan penghitungan jari. Fokus utama adalah memberikan kemampuan visual kepada mesin untuk memahami bahasa tubuh manusia, terutama gerakan tangan. Namun, dalam membangun sebuah sistem yang dapat mengenali visual banyak tantangan yang dihadapi seperti segmentasi objek. Padahal segmentasi objek merupakan hal yang sangat penting khususnya untuk deteksi gerakan tangan. Di mana kualitas segmentasi tangan akan mempengaruhi hasil deteksi gerakan tangan dan penghitungan jari. Maka dari itu, diusulkan sebuah metode segmentasi gerakan tangan dan penghitungan jari menggunakan teknik Haar Cascade Classifier. Pada penelitian ini berhasil mendapatkan nilai akurasi 100% dengan dataset penghitungan jari 1 sampai 5 dengan citra tangan kanan. Kata Kunci: computer vision, deteksi gerakan tangan, penghitungan jari 1. PENDAHULUAN Dalam era di mana teknologi semakin meresapi setiap aspek kehidupan manusia, pengembangan sistem komputer yang mampu memahami dan berinteraksi dengan gerakan manusia menjadi suatu kebutuhan yang mendesak. Salah satu area penelitian yang menonjol dalam hal ini adalah penggunaan Computer Vision untuk deteksi SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 210
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari otomatis gerakan tangan dan penghitungan jari. Kemampuan untuk mengenali dan memahami bahasa tubuh manusia, khususnya gerakan tangan, memiliki potensi besar untuk membuka pintu baru dalam berbagai aplikasi, mulai dari interaksi manusia dan komputer hingga pengembangan teknologi rehabilitasi. Computer Vision, sebagai cabang dari kecerdasan buatan, bertujuan untuk memberikan kemampuan visual kepada mesin. Dengan memanfaatkan teknologi ini, dapat mengembangkan sistem yang mampu melihat dan memahami dunia sekitar, termasuk gerakan kompleks seperti yang terjadi pada tangan manusia [1]. Keberhasilan dalam mendeteksi otomatis gerakan tangan dan penghitungan jari dapat membawa implikasi positif dalam berbagai domain, termasuk pengembangan antarmuka pengguna yang lebih intuitif [2], pengenalan isyarat tangan dalam komunikasi, hingga aplikasi di bidang kesehatan dan rehabilitasi. Dalam penelitian ini, membahas perkembangan terkini dalam penggunaan Computer Vision seperti deteksi gerakan tangan secara otomatis dan menghitung jumlah jari [3], [4]. Metode-metode inovatif yang telah diusulkan oleh peneliti terkemuka dalam bidang ini, serta mengulas potensi dan tantangan yang masih dihadapi dalam menghadirkan solusi yang akurat dan efisien. Deteksi otomatis gerakan tangan dan penghitungan jari melibatkan serangkaian tantangan unik [5]. Mulai dari variasi anatomi tangan manusia hingga perubahan kondisi pencahayaan [6], [7], pemrosesan gambar menjadi elemen yang kritis dalam meraih akurasi dan keandalan. Dalam penelitian ini membahas metode-metode yang telah dikembangkan untuk mengatasi tantangan-tantangan yang telah terbukti efektif dalam tugas-tugas pengenalan pola kompleks. Pengolahan citra memiliki beberapa langkah-langkah, seperti ekstraksi fitur dan segmentasi, membangun metode klasifikasi untuk mendeteksi angka dari gerakan tangan. Penggabungan informasi spasial pada data citra menjadi aspek kunci dalam merancang sistem ini. Akan tetapi pengolahan data pada computer vision memiliki banyak tantangan yang masih harus diatasi untuk mencapai hasil yang optimal. Tantangan tersebut antara lain mengatasi noise pada citra, pencahayaan pada citra, segmentasi object, dan membangun sistem klasifikasi yang optimal. Beberapa penelitian telah menggunakan metode tertentu salah satunya Haar Cascade Classifier untuk mengklasifikasikan suatu citra. Penelitian seperti mengaplikasikan teknik Haar Cascade untuk klasifikasi dan pengenalan wajah manusia [8], [9]. Selain itu pada penelitian lain teknik Haar Cascade juga digunakan untuk mengklasifikasikan jenis-jenis objek [10], [11]. Karena banyak kelebihan yang dimiliki oleh metode Haar Cascade, maka pada penelitian ini menggunakan teknik tersebut dan diimplementasikan pada dataset citra tangan untuk klasifikasi gerakan tangan. Oleh sebab itu, penelitian ini bertujuan untuk membangun sebuah sistem deteksi penghitungan jari dengan memahami dan memanfaatkan gerakan tangan menggunakan teknik Haar Cascade Classifier. Penelitian ini terdiri dari beberapa tahapan mulai dari pemrosesan citra, deteksi dan segmentasi tangan, ekstraksi fitur, dan klasifikasi. SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 211
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari 2. METODE PENELITIAN Metode penelitian ini terdiri dari beberapa tahapan mulai dari pemrosesan citra, deteksi tangan menggunakan haar cascades, segmentasi tangan, ekstraksi fitur jari, deteksi puncak jari, penghitungan jari, visualisasi, optimasi dan kustomisasi, implementasi, real-time, integrasi ke aplikasi. Dapat dilihat pada Gambar 1 merupakan alur proses kesuluruhan dalam penelitian ini. 2.1. Pemrosesan citra Pada tahapn pemrosesan citra, sistem membaca citra masukan dengan menggunakan melakukan preprocessing untuk meningkatkan kualitas citra agar dapat meningkatkan kualitas pada saat proses segmentasi tangan. Preprocessing dilakukan dengan cara konversi warna ke grayscale atau skala abu-abu. Selain itu, citra masukan dilakukan penghalusan dengan filter Gaussian untuk menghilangkan noise. library OpenCV. Kemudian, Gambar 1. Tahapan proses secara kesuluruhan SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 212
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari 2.2. Deteksi dan segmentasi tangan Pada tahap ini menggunakan model pre-trained algoritma Haar Cascade Classifier untuk mendeteksi wajah terlebih dahulu, karena tangan umumnya berada di dekat wajah. Apabila wajah sudah terdeteksi, kemudian menggunakan Haar Cascade Classifier untuk mendeteksi tangan dalam wilayah wajah. Ini dapat dilakukan dengan membuat region of interest (ROI) menggunakan koordinat hasil deteksi wajah. Setelah tangan terdeteksi kemudian dilakukan proses segmentasi dengan cara mengisolasi tangan dari latar belakang. Salah satu cara seperti menggunakan teknik thresholding atau adaptive thresholding, yang memungkinkan untuk mempertahankan area tangan dengan tingkat kecerahan yang sesuai. Apabila tingkat kecerahan tangan berbeda dengan latar belakang akan memudahkan dalam proses segmentasinya. Seperti pada Gambar 2 menunjukkan bahwa citra masukan di sebelah kiri yang sudah tersegmentasi garis tepinya ditandai dengan garis warna merah. Setelah itu area tersebut diisolasi menggunakan teknik thresholding (tengah) dan adaptive thresholding (kanan). Teknik adaptive thresholding mampu mengisolasi area tepi pada tangan lebih baik dibandingkan thresholding biasa. Parameter yang digunakan yaitu nilai sigma=3, low threshold=5%, dan high threshold=38%. Gambar 2. Hasil perbandingan thresholding (tengah) dan adaptive thresholding (kanan) 2.3. Ekstraksi fitur jari Setelah tangan tersegmentasi dengan baik, selanjutnya menerapkan metode ekstraksi fitur seperti deteksi tepi dengan algoritma Canny Edge Detection. Di mana algoritma ini akan bekerja untuk mendeteksi area tepi pada tangan. Setelah itu, identifikasi kontur tangan menggunakan fungsi pada OpenCV dan mengambil kontur yang mewakili tepi tangan. Selain mendeteksi tepi, juga dilakukan identifikasi kontur pada puncak jari. Analisis kontur untuk mengidentifikasi puncak-puncak yang mewakili ujung jari dapat dicapai dengan menghitung kurva kontur atau menggunakan metode heuristik berdasarkan informasi dari topologi tangan yang sudah tersegmentasi. Penghitungan setiap kurva kontur pada ujung jari merupakan bentuk representasi dari jumlah jari dari citra yang tertangkap oleh kamera seperti pada Gambar 3. Namun, beberapa hal yang perlu diperhatikan yaitu pengaturan parameter yang dipakai salah SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 213
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari satunya jarak antar puncak kurva. Karena jarak antar puncak kurva akan mempengaruhi kinerja dalam mendeteksi jumlah jari. Jika parameter jarak antar puncak kurva kecil maka yang seharusnya dua jari besar kemungkinan bisa dianggap sebagai satu jari. 2.4. Implementasi Pada tahap ini hasil deteksi dan penghitungan jari kemudian divisualisasikan dengan mengimplementasikan salah satu fungsi pada OpenCV. Jika hasil deteksi dan penghitungan jari masih belum maksimal, maka dilakuakan proses optimasi dan kustomisasi. Di mana proses tersebut mengubah nilai parameter yang digunakan pada algoritma Haar Cascades, metode segmentasi, atau parameter lainnya untuk meningkatkan akurasi dan kinerja. Selain pengaturan parameter juga bisa dengan mengoptimalkan algoritma agar dapat berjalan secara real-time dengan menggunakan teknik seperti multithreading atau penggunaan model yang lebih ringan. 3. HASIL DAN PEMBAHASAN Gambar 3. Ekstraksi fitur pada citra Pada bab ini dijelaskan tentang pembahasan terhadap hasil penelitian dan pengujian yang diperoleh pada penelitian ini. Pada penelitian ini dilakukan beberapa skenario ujicoba dan hasil dari setiap skenario ujicoba ditampilkan dalam berupa grafik atau pun tabel. Beberapa skenario ujicoba yang dilakukan antara lain: 3.1. Skenario 1 (Menguji dengan tangan kanan) Skenario ujicoba 1 merupakan pengujian sistem dengan menggunakan gesture tangan kanan yang ditujukan ke kamera. Pada ujicoba ini, gerakan tangan kanan menunjukkan simbol jumlah jari mulai kemudian sistem akan mengenali gerakan tangan yang ditujukan ke kamera. Hasil uji coba pada skenario 1 dapat dilihat pada Tabel 1. Tabel 1. Hasil ujicoba skenario 1 (menguji dengan tangan kanan) No Gerakan Tangan Hasil Deteksi Sistem Hasil SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 214
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari 1 Angka 1 Angka 1 2 Angka 2 Angka 2 3 Angka 3 Angka 3 4 Angka 4 Angka 4 5 Angka 5 Angka 5 Hasil skenario uji coba 1 menunjukkan bahwa gerakan tangan kanan dengan simbol angka 1 sampai 5 semua berhasil terdeteksi oleh sistem secara akurat. 3.2. Skenario 2 (Menguji dengan tangan kiri) Skenario ujicoba 2 merupakan pengujian sistem dengan menggunakan gesture tangan kiri yang ditujukan ke kamera. Pada ujicoba ini, gerakan tangan kiri menunjukkan simbol jumlah jari mulai kemudian sistem akan mengenali gerakan tangan yang ditujukan ke kamera. Hasil uji coba pada skenario 2 dapat dilihat pada Tabel 2. Tabel 2. Hasil ujicoba skenario 1 (menguji dengan tangan kiri) No Gerakan Tangan Hasil Deteksi Sistem Hasil SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 215
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari 1 Angka 1 Angka 2 2 Angka 2 Angka 3 3 Angka 3 Angka 4 4 Angka 4 Angka 5 5 Angka 5 Angka 4 Hasil skenario uji coba 1 menunjukkan bahwa gerakan tangan kiri dengan simbol angka 1 sampai 5 semua berhasil terdeteksi oleh sistem secara akurat. 4. KESIMPULAN Berdasarkan hasil dari uji coba sistem baik dengan menggunakan tangan kanan maupun tangan kiri dan dengan hasil yang berbeda. Pada penelitian ini dapat disimpulkan beberapa poin, ditinjau dari kelebihan dan kekurangannya. Beberapa poin yang dapat disimpulkan yaitu: 1. Sistem deteksi gerakan tangan dapat berjalan dengan sangat akurat, akan tetapi untuk sistem penghitung jari masih perlu pengembangan. 2. Untuk penghitung jari masih perlu pengembangan, karena untuk citra masukan tangan kiri masih belum bekerja dengan baik dalam mengenali angka. SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 216
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari 3. Sistem deteksi gerakan tangan dan penghitungan jari masih memiliki keterbatasan, karena sistem yang dibuat hanya bisa mengenali angka 1 sampai 5 saja. 5. SARAN Pada penelitian ini masih ada beberapa hal yang perlu dikembangkan agar bisa mendeteksi tangan dan penghitungan jari secara akurat. Saran untuk pengembangan penelitian lebih lanjut yaitu: 1. Lebih mengoptimasi lagi algoritma dan parameter-parameter yang digunakan. 2. Mengembangkan segmentasi dan deteksi jari untuk citra masukan berupa tangan kiri. 3. Mengembangkan algoritma yang dapat mendeteksi jari dan membaca angka 1 sampai 10 dari gerakan tangan. DAFTAR PUSTAKA [1] T. A. Dompeipen, S. R. U. A. Sompie, and M. E. I. Najoan, "Computer Vision Implementation for Detection and Counting the Number of Humans," Jurnal Teknik Informatika, vol. 16, no. 1, Art. no. 1, Mar. 2021, doi: 10.35793/jti.16.1.2021.31471. [2] Q. Ke, J. Liu, M. Bennamoun, S. An, F. Sohel, and F. Boussaid, "Chapter 5 - Computer Vision for Human-Machine Interaction," in Computer Vision for Assistive Healthcare, M. Leo and G. M. Farinella, Eds., in Computer Vision and Pattern Recognition. , Academic Press, 2018, pp. 127-145. doi: 10.1016/B978-0-12-813445- 0.00005-8. [3] A. M. Chalik, B. A. Qowy, F. Hanafi, and A. Nuraminah, "Mouse Tracking Tangan dengan Klasifikasi Gestur Menggunakan OpenCV dan Mediapipe," Jurnal Ilmiah Teknik Informatika dan Komunikasi, vol. 1, no. 2, Art. no. 2, Jul. 2021, doi: 10.55606/juitik.v1i2.323. [4] D. Lee and Y. Park, "Vision-based remote control system by motion detection and open finger counting," IEEE Transactions on Consumer Electronics, vol. 55, no. 4, pp. 2308-2313, Nov. 2009, doi: 10.1109/TCE.2009.5373803. S. Paneru and I. Jeelani, "Computer vision applications in construction: Current state, opportunities & challenges," Automation in Construction, vol. 132, p. 103940, Dec. 2021, doi: 10.1016/j.autcon.2021.103940. "Colour and illumination in computer vision | Interface Focus." Accessed: Nov. 24, 2023. Available: "J. Imaging | Free Full-Text | Hand Gesture Recognition Based on Computer Vision: A Review of Techniques." Accessed: Nov. 24, 2023. [Online]. Available: F. M. Javed Mehedi Shamrat, A. Majumder, P. R. Antu, S. K. Barmon, I. Nowrin, and R. Ranjan, "Human Face Recognition Applying Haar Cascade Classifier," in Pervasive [5] [6] [Online]. [7] [8] SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 217
Computer Vision untuk Deteksi Otomatis Gerakan Tangan dan Penghitungan Jari Computing and Social Networking, G. Ranganathan, R. Bestak, R. Palanisamy, and Á. Rocha, Eds., in Lecture Notes in Networks and Systems. Singapore: Springer Nature, 2022, pp. 143-157. doi: 10.1007/978-981-16-5640-8_12. [9] A. Sharifara, M. S. Mohd Rahim, and Y. Anisi, "A general review of human face detection including a study of neural networks and Haar feature-based cascade classifier in face detection," in 2014 International Symposium on Biometrics and Security Technologies doi: 10.1109/ISBAST.2014.7013097. (ISBAST), Aug. 2014, pp. 73-78. [10] R. Lienhart and J. Maydt, "An extended set of Haar-like features for rapid object detection," in Proceedings. International Conference on Image Processing, Sep. 2002, p. I-I. doi: 10.1109/ICIP.2002.1038171. [11] F. Jalled and I. Voronkov, "Object Detection using Image Processing." arXiv, Nov. 23, 2016. doi: 10.48550/arXiv.1611.07791. SEMINAR NASIONAL AMIKOM SURAKARTA (SEMNASA) 2023 e-ISSN: 3031-5581 Sukoharjo, 25 November 2023 218