Jurnal Teknik Informatika vol. 16 no. 4 October -December 2021, pp. 465-472 p-ISSN : 2301-8364, e-ISSN : 2685-6131 , available at : Implementation of Gesture Recognition Technology for Automated Education Service Kiosk Implementasi Teknologi Gesture Recognition Pada Anjungan Layanan Mandiri Edukasi Stella Stelani Makahaube, Alwin Melkie Sambul, Sherwin RU Sompie Dept. of Electrical Engineering, Sam Ratulangi University Manado, Kampus Bahu St., 95115, Indonesia e-mails : 170211060082@unsrat.ac.id, asambul@unsrat.ac.id, aldo@unsrat.ac.id. Received: 1 July 2021; revised: 14 July 2021; accepted: 14 July 2021 Abstract - Gesture recognition technology is a technology used to identify object movements that have been recognized by machines, computers become commands. Interactions on Automated Pavilion services, such as at Bank ATMs, etc., generally rely on touch-based interactions, making them vulnerable to the spread of the Covid-19 Virus This study aims to reduce direct physical contact, which can minimize transmission. The research entitled "Implementation of Gesture Recognition Technology for Education Service Kiosk". This study uses a Mediapipe so that the hand gesture object can be recognized. Gesture recognition technology identifies gesture objects or shape objects, namely hand gestures. Hand gestures which will later become input media. With the gesture recognition feature, direct contact caused by direct contact will minimize the spread. The results obtained in gesture recognition research can work in accordance with the objectives of the research. The hand-readable object on the webcam becomes a virtual mouse without using direct contact. Keywords - Cursor Mouse, Gesture Recognition Technology, Self-Education Service Platform, Hand Detection; Abstrak - Teknologi gesture recognition merupakan teknologi yang digunakan untuk mengidentifikasi gerakan objek yang telah dikenali oleh mesin, komputer menjadi perintah. Interaksi pada layanan Anjungan Layanan Mandiri, seperti di ATM Bank dll, umumnya mengandalkan interaksi berbasis sentuhan (touch) sehingga rentan terjadinya penularan Virus Covid-19. Penelitian ini memiliki tujuan untuk bisa mengurangi kontak fisik secara langsung, yang bisa meminimalisir terjadi penularan. Penelitian yang mengangkat judul "Implementasi Teknologi Gesture Recognition Pada Anjungan Layanan Mandiri Edukasi". Penelitian ini menggunakan Mediapipe agar supaya objek hand gesture dapat dikenali. Teknologi gesture recognition mengidentifikasikan objek gesture atau objek bentuk yaitu hand gesture gerakan tangan yang nantinya akan menjadi media input. Dengan adanya fitur gesture recognition ini kontak langsung yang disebabkan oleh kontak langsung akan meminimalisir penyebaran. Hasil yang didapatkan dalam penelitian gesture recognition dapat bekerja sesuai dengan tujuan dilakukan penelitian. Objek tangan yang terbaca pada webcam menjadi mouse virtual tanpa menggunakan kontak langsung. contoh kecil dari teknologi yang dipakai umat manusia pada saat ini. Dimanapun, kapanpun, sebagian besarnya telah dilakukan menggunakan teknologi yang semakin harinya semakin berkembang pesat. Teknologi tentunya tidak baru ada pada saat ini saja. Zaman dahulu pun sudah memiliki era yang menggunakan teknologi. Dari era teknologi mekanik, ke teknologi analog, lalu ke era teknologi digital. Seperti pada saat ini telah memasuki yang namanya era transformasi digital. Teknologi dapat mempengaruhi banyak hal, baik dalam arti yang bagus ataupun yang buruk. Dan semakin lama semakin banyak pula inovasi- inovasi teknologi yang diciptakan manusia sedemikian rupa dengan fungsi-fungsi yang bermacam-macam yang tentunya akan mempermudah, efiesien dan efektif. dapat membawa perubahan yang terjadi mengharuskan manusia untuk mengurangi kontak langsung semaksimal mungkin agar menghindari yang namanya penyebaran melalui kontak langsung. Sesama makhluk hidup ataupun dengan benda disekitarnya, sebisa mungkin untuk tidak melakukan kontak langsung. Tentunya ada teknologi yang akan mendukung hal tersebut untuk terjadi. Entah teknologi yang memang telah diciptakan pada saat sebelum pandemic terjadi atau teknologi yang baru akan dikembangkan pesat untuk mendukung tidak terjadinya kontak langsung tersebut. Seperti pada saat ini pandemi yang sedang Dan karena itu memilih untuk mengambil penelitian Teknologi Gesture Digital untuk Mesin Anjungan Layanan Mandiri Edukasi yang akan lebih mendukung lagi program mengurangi kontak langsung yang sedang terjadi pada saat ini. Menggunakan citra digital untuk pengelolaan objek atau citra dan menjadikannya sistem teknologi Gesture Digital dengan begitu Anjungan Layanan Mandiri Edukasi bisa mengurangi kontak langsung terhadap mesin yang digantikan dengan teknologi yang akan mengubah citra gerakan sikap tubuh menjadi sebuah perintah di Anjungan Layanan Mandiri Edukasi tersebut untuk dijalankan. A. Penelitian Terkait Kata Kunci : Anjungan Layanan Mandiri, Deteksi Tangan, Kursor Mouse, Teknologi Pengenalan Gerakan; I. PENDAHULUAN Pada saat ini dibelahan dunia manapun tentunya telah memiliki teknologi yang digunakan sehari-hari. Smartphone, internet, komputer, laptop, robot, dan lain-lain merupakan Penelitian dilakukan oleh Helda Yunita, Endang Setyati[1] mengenai Hand gesture recognition sebagai pengganti mouse computer menggunakan kamera. Mereka menggunakan metode algoritma convexhull, dengan menggunakan algoritma convexhull bisa didapatkan jumlah jari tangan yang kemudian akan digunakan menjadi acuan dalam pengerjaan aksi mouse tersebut. Hand gesture recognition dan menggunakan metode 465
466 algoritma convexhull pengenalan tangan akan lebih mudah hanya dengan menggunakan kamera, hanya dengan hitungan detik aksi mouse pada komputer dapat berjalan dengan baik yaitu dengan tingkat akurasi sebesar 68 % dari 75 kali percobaan. Penelitian yang dilakukan Feri Fadli dan Munawir[2] mengenai Kontrol Mouse Menggunakan Webcam Berdasarkan Deteksi Warna. Kesamaan dengan penelitian yang akan dilakukan yaitu virtual mouse atau mouse yang tidak membutuhkan mouse konvensional sebagai input device atau dengan kata lain mouse yang tidak membutuhkan kontak langsung secara fisik. Tetapi untuk perbedaannya sendiri adalah penelitian yang dilakukan publikasi menggunakan object tracking berupa tiga variabel warna yang disusun berdasarkan komposisi RGB dengan menggunakan metode optical flow dalam pendeteksian pergerakannya. Penelitian yang dilakukan I Gst Ngurah Wisnu Sumadi dan Darma Putra[3] yang membahas tentang Mouse Virtual Dengan Objek Tracking Jari Tangan Manusia. kesamaan yang ada dengan penelitian ini adalah mouse virtual dengan mendeteksi objek untuk menjadi mouse virtual tersebut tapi perbedaannya terletak pada tracking objeknya yang hanya untuk jari tangan, juga penggunaan LED infrared untuk alat bantu sebagai objek yang akan dideteksi untuk menjadi mouse virtual tersebut. B. Gesture Recognition Gesture Recognition atau gerakan yang diketahui/dikenal adalah sebuah teknologi yang membuat sebuah gerakan dari objek yang telah diidentifikasi contohnya seperti tangan, kaki, kepala, tubuh ataupun lain-lain menjadi sebuah perintah yang akan dikenali oleh mesin, aplikasi, komputer karena telah diotomisasi. Disaat gerakan atau objek tersebut telah dikenali maka perintah akan dijalankan. Gesture recognition adalah hasil dari proses otomasi yaitu diintegrasinya berbagai proses untuk visual yang diinginkan. Konsep kerja bagaimana sebuah objek atau citra dari sebuah gesture menjadi perintah adalah seperti mata manusia bekerja, mengolah, mengakuisisi, dan pengenalan pola dari citra atau objek tersebut menjadi sebuah keputusan. Gesture adalah bentuk komunikasi non-verbal dengan aksi tubuh yang mengkomunikasikan pesan-pesan tertentu, sebagai pengganti ucapan. Sistem pengenalan gesture tangan terus berkembangan, terutama untuk menggantikan peran perangkat masukan seperti mouse, keyboard dan joystick yang digunakan pada interaksi manusia dengan komputer, namum perangkat ini memiliki kelemahan diantaranya tidak alami bagi manusia dan jarak pengontrolan masih cukup dekat. Sistem pengenalan tangan mengimplementasikan cara kerja sistem gesture penglihatan dan pengenalan yang melibatkan mata manusia sebagai sensor yang merekam objek berupa gesture tangan dan kemudian mengirim informasi ke otak untuk diproses sehingga menghasilkan sebuah output. C. Anjungan Layanan Mandiri Untuk pengertian secara umum, dapat dikatakan bahwa anjungan layanan mandiri merupakan sebuah peningkatan 5 Stella Stelani Makahaube - Implementasi Teknologi Gesture Recognition Pada Anjungan Layanan Mandiri Edukasi pelayanan untuk user yang diberikan penyedia layanan untuk memberikan kemudahan pada user untuk melakukan perintah dari user yang menggunakan sesuai dengan kebutuhan. Anjungan layanan mandiri merupakan sistem pelayanan yang melaksanakan fungsi yang ditujukan secara otomatis dan praktis. Anjungan layanan mandiri sendiri dikarenakan mempunyai sistem yang telah ditentukan secara otomatis untuk membantu kecepatan juga kenyamanan bagi user yang akan menggunakannya dapat membuat user merasa lebih leluasa dan mendapatkan kemudahan tanpa harus menunggu. Anjungan Layanan Mandiri adalah sebuah alat yang diperuntukkan untuk mempermudah mahasiswa ataupun alumni yang akan mengakses portal inspire atau melakukan legalisir, mencetak kartu hasil mahasiswa, kartu rencana study dan lain-lainnya. Apabila mahasiswa tidak memiliki device yang memadai ataupun masalah lainnya yang membuat mahasiswa sulit untuk mengakses portal. Juga untuk mempermudah alumni yang akan melakukan legalisir tentunya. Penjelasan tersebut merupakan penjelasan tentang mesin anjungan layanan mandiri yang dilakukan peneliti. D. Pengolahan Citra Digital Merupakan disiplin akan mempelajari teknik-teknik cara mengolah citra. Citra adalah fungsi kontinyu yang intensitas cahayanya dalam bidang dua dimensi. Arti penuh dari citra digital merupakan sebuah pengolahan citra dilakukan dengan menggunakan cara digital. Proses transformasi tiga dimensi menjadi dua dimensi agar supaya dapat menghasilkan citra yang nantinya akan dipengaruhi oleh banyak faktor yang mungkin akan mengakibatkan citra penampilan dari sebuah benda tidak akan sama persis dengan bentuk asli fisiknya. ilmu yang didalamnya Citra digital merupakan sebuah matriks terdiri dari baris dan kolom dimana setiap pasang indeks baris dan kolom akan menyatakan suatu titik pada citra. Nilai dari setiap matriks berfungsi untuk menyatakan nilai kecerahan titik tersebut. Titik-titik yang dimaksdu dinamakan sebagai elemen citra atau piksel. Citra digital bisa juga didefinisikan menjadi fungsi dari dua variabel, f(x,y), yang dimana x dan y adalah koordinat spasial dan nilai f(x,y) merupakan intensitas citra pada koordinat tersebut. (T Suyono dkk, 2009). Dalam pengenalan pola berperan untuk memisahkan objek dan latar belakang, lalu pola dari objek tersebut akan diklasifikasikan. Contoh, buah-buahan apapun yang bisa dijadikan untuk menjadi objek. Kemudian indera akan bekerja akan jarak, segi tekstur, juga warna dari citra bisa digunakan untuk mengidentifikasi objek yang dimaksudkan untuk citra. Lalu, dalam machine vision pengolahan citra memiliki peran untuk mengenal bentuk-bentuk khusus dari objek yang telah ditangkap oleh mesin. Contoh bisa diambil dari kamera pemantau ruangan/CCTV yang juga bagian dari pemrosesan citra
Jurnal Teknik Informatika vol. 16 no. 4 October -December 2021, pp. 465-472 p-ISSN : 2301-8364, e-ISSN : 2685-6131 , available at : E. MediaPipe Hands MediaPipe Hands merupakan solusi dari pelacakan atau pendeteksian tangan dan jari yang memiliki ketelitian tinggi. Mediapipe sendiri menggunakan machine learning (ML) untuk menyimpulkan 21 3D landmark dengan menggunakan satu tangan dan hanya mengambil dari satu bingkai. Sedangkan untuk pendekatan mutakhirnya sendiri, mediapipe sendiri untuk saat ini mengandalkan lingkungan desktop yang kuat untuk inferensi. Dengan ini bisa dikatakan mediapipe metode mencapai kinerja sampai dengan dapat menskalakan ke banyak tangan. Mediapipe menggunakan strategi yang berbeda untuk mengatasi masalah yang ada seperti melakukan pelatihan detektor telapak tangan daripada hanya detektor tangan, karena mediapipe akan memperkirakan kotak pembatas dari objek kaku yang berupa telapak tangan dan kepalan tangan lebih sederhana daripada melakukan pendeteksian tangan dengan jari yang diartikulasi. Selain itu, telapak tangan merupakan objek yang lebih kecil, algoritma penindasan non-maksimum akan berfungsi baik meskipun kasus oklusi terdiri dari dua. Telapak tangan bisa dimodelkan dengan menggunakan kotak pembatas persegi (jangkar terminologi ML) mengabaikan rasio aspek lainnya. Karena itu, akan mengurangi jumlah jangkar dengan faktor 3-5. Lalu, ekstraktor fitur encoder-decoder yang akan digunakan untuk kesadaran konteks adegan yang lebih besar meskipun untuk objek kecil (memiliki kemiripan dengan pendekatan RetinaNet). Terakhir, akan diminimalkan kehilangan fokus yang terjadi selama pelatihan referensi sumber informasi tersebut bisa berupa paper, jurnal ilmiah, buku atau bisa juga e-book. 4) Observasi merupakan tahap observasi yang dimana setelah informasi yang sudah dikumpulkan terasa sudah cukup maka akan ada pengamatan secara langsung, juga akan dilakukan riset-riset seperti pengolahan citra untuk gesture recognition yang akan menjadi pengganti mouse nantinya. 5) Perancangan dan pembuatan merupakan gambaran kasar dari hasil pengumpulan seluruh data dan pengenalan gesture akan dirancang menjadi sebuah sistem pengolah citra. Setelah dirancang softwarenya peneliti akan masuk dalam tahap kamera menangkap citra, dilanjutkan dengan ekstrasi ciri metode yang digunakan untuk proses perancangan ini yaitu mengenali jumlah jari tangan manusia dan telapak tangan yang gambar objeknya diambil menggunakan webcam sebagai interaksi manusia dengan computer untuk dijadikan sebagai mouse virtual atau media input touch less. ini yaitu pertama Langkah-langkah pada penelitian mengambil citra objek yaitu telapak tangan sebagai alatnya nanti, lalu mendeteksi objek dan akan ditentukan titik-titik koordinat tentunya jari tangan manusia yang akan diambil sudah disesuaikan dengan jumlah jari, cahaya, resizing dari citranya. Meskipun begitu, jangan lupa untuk menyesuaikan dengan cahaya yang ada pada ruangan tersebut karena bisa juga berpengaruh dengan cahaya yang mungkin terlalu terang atau terlalu redup dengan adanya hal tersebut bisa jadi ketika objek akan dibaca namun tidak akan bisa optimal dipisahkan secara otomatis objek maupun background. Maka nantinya tentu bisa saja tidak terbaca atau terbaca tapi cara kerja sistem yang tidak optimal. II. METODE A. Waktu dan tempat penelitian Waktu penelitian dimulai pada bulan Februari tahun 2021 sampai bulan Juni tahun 2021. Lokasi penelitian dilakukan dalam lingkungan kampus Program Studi Teknik Informatika, Jurusan Teknik Elektro, Fakultas Teknik, Universitas Sam Ratulangi, Manado. B. Kerangka pikir Kerangka pikir adalah tahapan-tahapan yang menjelaskan secara garis besar alur logika berjalannya sebuah penelitian atau proses pembuatan aplikasi pendeteksi kemiripan dokumen. Kerangka pikir dapat dilihat pada gambar 1. Tahap-tahap penelitian berdasarkan prinsip kerja aplikasi adalah sebagai berikut: 1) Permasalahan merupakan tahap pencarian masalah untuk memulai penelitian 2) Hipotesis awal merupakan dugaan sementara atau pendapat yang masih diragukan untuk itu diadakan penelitian untuk menguji kebenarannya. 3) Studi literatur, merupakan Proses yang akan dilakukan pada tahapan ini yaitu dilakukan peng umpulan informasi dari berbagai sumber untuk dijadikan bahan pembelajaran, Gambar 1. Kerangka Pikir 467
468 Setelahnya objek telapak tangan dan jumlah jari yang telah dibaca dan terdeteksi dapat menjadi sebuah perintah yaitu mouse virtual atau media input touch less pada Anjungan Layanan Mandiri. 6) Implementasi aplikasi merupakan tahapan yang dimana akan diriset langsung dan dilakukan penerapan fitur pengganti mouse pada layanan anjungan mandiri. 7) Pengujian dan evaluasi merupakan pengujian untuk melihat apakah program sudah berjalan sesuai dan akan dilakukan evaluasi dari hasil yang didapat entah ada error, atau masih ada masalah lain yang harus dilihat. 8) Kesimpulan dan Saran merupakan Tahap ini merupakan tahap akhir yang dirangkum secara keseluruhan pada kesimpulan dan saran-saran yang berguna bagi penelitian berikutnya. C. Metode Perancangan dan Pembuatan Gambaran kasar dari hasil pengumpulan seluruh data dan pengenalan gesture akan dirancang menjadi sebuah sistem pengolah citra. Setelah dirancang software nya peneliti akan masuk dalam tahap kamera menangkap citra, dilanjutkan dengan ekstrasi ciri metode yang digunakan untuk proses perancangan ini yaitu mengenali jumlah jari tangan manusia dan tangan yang gambar objeknya diambil menggunakan webcam sebagai interaksi manusia dengan computer untuk dijadikan sebagai mouse virtual atau media input touch less. Langkah-langkah pada penelitian ini yaitu pertama mengambil citra objek yaitu telapak tangan sebagai alatnya nanti, lalu mendeteksi objek dan akan ditentukan titik- titik koordinat tentunya jari tangan manusia yang akan diambil sudah disesuaikan dengan jumlah jari, cahaya, resizing dari citranya. Meskipun begitu, jangan lupa untuk menyesuaikan dengan cahaya yang ada pada ruangan tersebut karena bisa juga berpengaruh dengan cahaya yang mungkin terlalu terang atau terlalu redup dengan adanya hal tersebut bisa jadi ketika objek akan dibaca namun tidak akan bisa optimal dipisahkan secara otomatis objek maupun background. Maka nantinya tentu bisa saja tidak terbaca atau terbaca tapi cara kerja sistem yang tidak optimal. Setelahnya objek telapak tangan dan jumlah jari yang telah dibaca dan terdeteksi dapat menjadi sebuah perintah yaitu mouse virtual atau media input touch less pada Anjungan Layanan Mandiri. telapak Gambar 2. Perancangan Titik-titik Koordinat Stella Stelani Makahaube - Implementasi Teknologi Gesture Recognition Pada Anjungan Layanan Mandiri Edukasi Merupakan tampilan pada saat webcam telah mengambil citra dan telah menentukan titik-titik koordinat untuk dijadikan koordinat tombol klik maupun koordinat objek tangan untuk ruang gerak objek. D. Diagram Aktivitas akan menggambarkan atau menjelaskan memalui alur pada gambar aktivitas sistem selama dijalankan. Akan mendeskripsikan dari awal proses baru dimulai, sampai mendapatkan hasil yang dibutuhkan. Diagram aktivitas merupakan diagram yang III. HASIL DAN PEMBAHASAN A. Pembuatan Gesture Recognition tahap pembuatan gesture recognition merupakan tahap yang membuat perancangan sebelumnya menjadi sebuah hasil yang diharapkan. penerapannya untuk hasil dari setiap proses yang ada kemudian diimplementasi pada anjungan layanan mandiri. Semua proses akan dibuat menggunakan Bahasa Pemrograman yang ditentukan. 1) Memasukkan library yang digunakan Library yang diimport tentunya merupakan library yang dibutuhkan untuk program gesture recognition ini. 2) Deklarasi dari variabel Variabel yang ditambahkan memiliki fungsi masing-masing yang diperlukan untuk penelitian ini memiliki fungsi untuk windows user32, untuk mengambil resolusi layarnya, resolusi webcam yang akan digunakan, index webcam yang akan digunakan tapi apabila kamu akan mengubah index webcam yang akan digunakan ke webcam external maka variable (0) harus diganti menjadi variable (1). 3) Program untuk mendeteksi objek Proses yang mendeklarasikan deteksi tangan atau hand detector sebagai objek yang akan digunakan penelitian ini dengan batas bawah deteksi tangan yaitu 65%. 4) Pengoptimalisasi variable untuk cursor Tentunya seperti tujuan penelitian yang merupakan mouse virtual dan akan menggerakan cursor pastilah dibutuhkan pengoptimalisasi agar mouse yang digunakan sesuai dengan variabel yang dimasukkan, variable cursor yang dimaksud disini merupakan titik-titik koordinat untuk objek yang akan digunakan. 5) Hasil Citra yang dieksekusi Hasil dari citra yang dieksekusi akan menampilkan objek yang sudah terbaca dan memiliki titik-titik koordinat menentukan ruang objek. Juga memiliki hasil akhir dari bentuk penelitian yang dilakukan.
Jurnal Teknik Informatika vol. 16 no. 4 October -December 2021, pp. 465-472 p-ISSN : 2301-8364, e-ISSN : 2685-6131 , available at : B. Hasil pengujian 1) Menguji coba pengenalan objek tangan pengujian program bertujuan untuk menguji apakah bekerja atau tidaknya program gesture recognition. Ketika melakukan pengujian akan dilihat apakah penelitian sudah bekerja dengan sesuai atau masih adanya gangguan sehingga program. Dan setelah percobaan akan dilanjutkan dengan percobaan langsung pada ALM dan karena perubahan penggunaan webcam yang awalnya memakai webcam internal laptop dan nantinya akan diimplementasi pada ALM webcam yang digunakan merupakan webcam external maka dari itu harus disesuaikan. 2) Uji coba tombol klik mouse Pengujian pada tombol klik mouse dilakukan karena pada dasarnya fungsi dari mouse adalah sebagai media input antara manusia dengan komputer dan warna hijau mengartikan tombol berhasil dan bisa digunakan. Dengan hasil pengujian itu bisa ditarik kesimpulan yaitu program bisa dilanjutkan untuk mengimplementasi langsung pada anjungan layanan mandiri. 3) Pengujian mouse dengan jarak pada ALM 5) Pengujian Objek Lebih Dari Satu Pengujian Objek lebih dari satu Pada Anjungan Layanan Mandiri Edukasi untuk melihat apakah ketika pada objek ditampilkan lebih dari 1 objek serupa tetap akan terdeteksi dan bisa digunakan atau juga apakah Ketika objek yang ditentukan untuk mouse virtual tertangkap pada Anjungan Layanan Mandiri lebih dari satu objek serupa akan terbaca berapa objek untuk perintah dan ada atau tidaknya gangguan pada fitur 6) Pengujian Beta Pengujian Beta atau pengujian yang dilakukan langsung kepada umum bertujuan untuk mengambil data pemakaian atau data penggunaan user umum yang telah mencoba menggunakan fitur yang dibuat dalam penelitian ini agar dapat menilai dan melihat dari pandangan umum bukan hanya orang sekitar saja. Berikut dibawah ini diagram yang berisi tentang data kuisioner yang telah diisi oleh user yang berjumlah 13 total data kuisioner yang berhasil dikumpulkan. Dari data kuisioner tersebut akan dilihat dan dinilai dan dibagi menjadi 5 kelompok yaitu Sangat Tidak Puas, Tidak Puas, Cukup Puas, Puas, dan Sangat Puas. Pengujian mouse dengan menghitung jarak antara manusia dan ALM dilakukan untuk melihat apakah jarak bisa berpengaruh dengan kerja dari program. Ketika melakukan pengujian akan dicatat jarak dan bekerja atau tidaknya program, juga adanya gangguan yang terjadi atau tidak. 4) Pengujian Mouse Dengan Aksesoris Pengujian mouse dengan pemakaian aksesoris bertujuan untuk melihat apakah jika user ingin menggunakan mouse bisa berhasil atau tidaknya jika memakai aksesoris. Apakah program memiliki gangguan yang signikan yang terlihat jika memakai aksesoris. 7) Kesalahan-kesalahan dalam pengujian aplikasi Didalam melakukan pengujian, didapatkan beberapa kesalahan deteksi untuk pengenalan objek tangan, bagian tubuh yaitu antara pundak dan dagu yang saat tidak sengaja tertangkap webcam diolah dan dianggap sebagai objek tangan yang seharusnya ditangkap, ataupun telinga yang salah dianggap sebagai objek, maupun tombol klik yang tidak menjalankan perintah karena salah tangkap pengertian dari citra. Dilakukan percobaan sebanyak 2 kali yaitu percobaan dengan jarak dan percobaan dengan memakai aksesoris seperti pada tabel percobaan yang sama dan didapatkan data seperti pada tabel I dan II. Dari pengujian yang telah dilakukan, didapatkan bahwa jarak yang diuji coba berhasil dan tidak menimbulkan kesulitan bagi penulis. Sedangkan pengujian ketika menggunakan aksesoris memiliki 1 kendala yaitu ketika tidak terbacanya objek tangan atau dengan kata lain tidak terdeteksinya objek tangan ketika menggunakan aksesoris sarung tangan yang dipakai premotor. a. Anggota tubuh lain dianggap sebagai objek tangan Salah mengenali objek hingga akhirnya bagian tubuh selain yang ditentukan dianggap sebagai objek tangan. Maka dari itu terjadi gangguan yaitu objek tangan yang sebenarnya tak bisa digunakan untuk menjadi media input atau mouse virtual sesuai dengan fungsi yang ditentukan. b. Objek tangan tidak teridentifikasi Disaat melakukan pengujian menggunakan sarung tangan yang sering dipakai pengguna kendaraan motor objek tangan tidak teridentifikasi dan tidak bisa digunakan. Gambar 3. Pengujian Gesture Recognition Gambar 4. Pengujian Tombol Klik 469
470 TABEL I PENGUJIAN JARAK PELATIHAN Penguji Jarak Berhasil/Tidak Masalah Stella Hamid Firman 30cm 50cm 80cm Ya Ya Ya - - TABEL II PENGUJIAN DENGAN AKSESORIS Jenis aksesoris Hamid Sarung Tangan Stella Cincin Sarung Tangan Medis Penguji Berhasil/ Tidak Masalah Tidak Tidak Terbaca
Ya Ya
Stella
Gambar 5. Interface Gambar 6. Diagram Aktivitas Login Stella Stelani Makahaube - Implementasi Teknologi Gesture Recognition Pada Anjungan Layanan Mandiri Edukasi Gambar 7. Diagram Penggunaan Mouse Secara Umum Gambar 8. Percobaan Jarak 30cm
Jurnal Teknik Informatika vol. 16 no. 4 October -December 2021, pp. 465-472 p-ISSN : 2301-8364, e-ISSN : 2685-6131 , available at : Gambar 9. Percobaan Jarak 50cm Gambar 12. Pengujian Objek Lebih Dari Satu Gambar 13. Tangan Tak Terdeteksi Gambar 10. Percobaan Jarak 80cm Gambar 11. Percobaan Menggunakan Aksesoris Gambar 14. Pengujian Beta 471
472 III. KESIMPULAN DAN SARAN A. Kesimpulan Berdasarkan hasil penelitian untuk implementasi teknologi recognition maka dapat disimpulkan bahwa gesture pendeteksian yang dilakukan hanya dapat membaca 1 objek tangan yang akan dipilih meskipun pada webcam tertangkap banyak objek tangan. Dalam Pengujian mouse pada anjungan layanan mandiri ataupun pada laptop, objek tangan yang sudah terdeteksi dapat bekerja sesuai perintah. Pada saat melakukan pengujian pengenalan wajah dalam keadaan gelap maupun terang, pencahayaan akan mempengaruhi pendeteksian objek dimana pencahayaan terlalu terang maupun gelap dapat mengurangi keakuratan dalam pendeteksian objek tangan. Pada pengujian didapati bawah tujuan dari penelitian ini dapat terwujud yaitu mengurangi kontak langsung manusia dan sekitar.. B. Saran Berdasarkan kesimpulan diatas, dalam pembuatan skripsi penelitian ini masih diperlukan adanya pengembangan lebih lagi dalam penggunaan algoritma, metode, ataupun perangkat kerasnya dalam melakukan pengenalan objek tangan untuk menjadi mouse. III. KUTIPAN [1] [2] [3] [4] [5] [6] [7] [8] [9] Andi Sunyoto, Agus Harjoko. 2014. Review Teknik, Teknologi, Metodologi dan Implementasi Pengenalan Gestur Tangan Berbasis Visi. Seminar Nasional Aplikasi Teknologi Informasi (SN ATI). Yogyakarta. RD. Kusumanto, Alan Novi Tompunu. 2011. Pengolahan Citra Digital Untuk Mendeteksi Obyek Menggunakan Pengolahan Warna Model Normalisasi RGB. Seminar Nasional Teknologi Informasi & Komunikasi Terapan. Semantik. Feri Fadli, Munawir. 2019. Kontrol Mouse Menggunakan Webcam Berdasarkan Deteksi Warna. Jurnal Teknologi Informasi Dan Multimedia. JTIM. Ema Ambarwati Subiyanto1, Fitro Nur Hakim. 2018. Penerapan Gesture Recognition Pada Aplikasi Desktop Komputer Sebagai Sarana Pengembangan Keterampilan Penggunaan Mouse (Studi Kasus: SD Mataram Semarang). Indonesian Journal on Networking and Security - Volume 7 No 1. Semarang. Helda Yunita, Endang Setyati. 2019. Hand Gesture Recognition Sebagai Pengganti Mouse Komputer Menggunakan Kamera. Jurnal Eltikom, Vol. 3, No. 2. Banjarmasin. I Gst Ngurah Wisnu Sumadi, Darma Putra. 2012. Mouse Virtual Dengan Objek Tracking Jari Tangan Manusia. Lontar Komputer Vol. 3, No. 2. Bali. Fatimah, S. 2017. Interaksi Pada Augmented Reality Satwa Langka Indonesia Dengan Pengenalan Gerakan Jari Tangan. Repositori Institusi Universitas Sumatera Utara (RI-USU). Salman Shaikh, Raghav Gupta Imran Shaikh, dan Jay Borade. 2016. Hand Gesture Recognition Using OpenCV. Internasional Journal of advanced research in computer and communication engineering. Mumbai, India. Liu Yun, Zhang Lifeng, Zhang Shujun. 2012. A Hand Gesture Recognition Method Based on Multi-Feature Fusion and Template Matching. Qingdao, China. Paulo Trigueiros, Fernando Ribeiro, Luis Paulo Reis. A comparison of machine learning algorithms applied to hand gesture recognition. Portugal. [10] Stella Stelani Makahaube - Implementasi Teknologi Gesture Recognition Pada Anjungan Layanan Mandiri Edukasi TENTANG PENULIS Nama lengkap dari penulis adalah Stella Stelani Makahaube, lahir di Makassar pada tanggal 09 September 2000. Penulis merupakan anak kedua dari dua bersaudara. Pada saat melakukan penulisan ini peneliti berada di Manado. Penulis menempuh pendidikan Sekolah Dasar di SD Negeri 35 Manado dan tahun 2011, kemudian selesai pada melanjutkan pendidikan di SMP Negeri 4 Manado dan lulus pada tahun 2014, lalu dilanjutkan ke tingkat pendidikan Sekolah Menengah Atas di SMA Negeri 4 Manado lulus pada tahun 2017. Setelah lulus SMA, penulis melanjutkan pendidikan pada Universitas Sam Ratulangi dengan mengambil Program Studi Teknik Informatika Jurusan Teknik Elektro dan tergabung pada anggota Himpunan Mahasiswa Elektro.