## Prototyping Virtual Mouse Menggunakan Gestur Tangan Berbasis Machine Learning
Lailia Rahmawati 1 , Iqbhal Rizky Efendi 2 , Izzatul Umami 3 1,2,3 Program Studi Teknik Informatika, Fakultas Teknik, Universitas Darul ‘Ulum Jombang,
Indonesia
e-mail: 1 liaundarjombang@gmail.com, 2 iqbhalrizky89@gmail.com,
3 izzatulumamimuslim@gmail.com

## Abstract
The development of technology today is experiencing a very rapid increase both in the form of information, data, and systems used to assist human activities in life. Technological innovation is of course also progressing, especially in the field of Artificial Intelligence. A pointing device is a pointing device that functions as navigation on a laptop or computer using a mouse device. This study aims to develop a pointing device without using hardware such as a mouse. With this technology, the cursor can move according to the command without any touch from the hand with the help of a laptop camera or computer instead of a mouse device. This study uses a hand landmark  model  in  which  the  fingers  will  be  given  a  point  symbol  totaling  21.  The  way  this virtual mouse system works is that the user inputs his finger in front of a laptop or computer camera and performs finger  gestures to give orders to the cursor. The commands inputted in this system include right click, left click, double click, cursor free movement, and drag
Keywords : Virtual mouse, Machine Learning, Artifical Intelligence
Abstrak
Perkembangan teknologi di zaman sekarang mengalami peningkatan yang sangat pesat baik dalam  bentuk  informasi,  data,  maupun  sistem  yang  digunakan  untuk  membantu  kegiatan manusia dalam kehidupan. Inovasi teknologi tentunya juga mengalami kemajuan terutama di bidang  Artificial  Intelligence.  Pointing  device  adalah  perangkat  penunjuk  yang  berfungsi sebagai navigasi di laptop maupun komputer dengan menggunakan piranti mouse. Penelitian ini  bertujuan  untuk  mengambangkan  pointing  device  tanpa  menggunakan  perangkat  keras seperti  mouse  dengan  adanya  teknologi  ini  kursor  dapat  bergerak  sesuai  perintah  tanpa adanya  sentuhan  dari  tangan  dengan  bantuan  dari  kamera  laptop  atau  komputer  sebagai ganti perangkat mouse. Penelitian ini menggunakan hand landmark model yang nantinya jari tangan akan diberi simbol titik yang berjumlah 21. Cara kerja sisem virtual mouse ini adalah pengguna menginputkan jari tangan di depan kamera laptop atau komputer dan melakukan gestur jari untuk memberi perintah pada kursor. Perintah perintah yang diinputkan di sistem ini antara lain adalah klik kanan, klik kiri, double klik, gerakan bebas kursor, dan drag
Kata kunci : Virtual mouse, Pembelajaran Mesin, Kecerdasan Buatan
1. PENDAHULUAN
Teknologi  berkembang  pesat  pada  pemakaian  komputer  masa  kini dengan  ditujukan  mampu  membantu  dan  meningkatkan  efisiensi  dalam aktivitas  dan  pekerjaan  manusia  di  berbagai  bidang  yang  serba  digital  di zaman  sekarang,  terbukti  dengan  adanya  teknologi  komputer  akan menghemat dalam segi waktu dan biaya. Teknologi sendiri merupakan ilmu pengetahuan  yang  bertujuan  untuk  menciptakan  sebuah  alat,  tindakan pengolahan dan ekstraksi untuk sebuah materi [1]
Saat  ini  perkembangan  piranti mouse masih  belum  banyak  inovasi dalam  pengembangannya,  sampai  sekarang  inovasi mouse hanya  sekedar berbentuk mouse tanpa  kabel  atau  yang  bisa disebut mouse  wirelles. Fungsi
dari mouse ini  sendiri  adalah  sebagai  navigasi  penunjuk  kursor  laptop maupun komputer
Bidang-bidang  yang  dapat  membantu  memajukan  teknologi  dan memberi  inovasi  adalah  bidang Artificial  Intelligence dan Human  Computer Interaction .  Artificial  Intelligence  adalah  kecerdasan  yang  diinputkan  ke suatu  sistem  yang  bertujuan  untuk  menafsirkan  data,  mengolah  data  yang akan di proses dengan benar untuk tujuan tertentu [2]. Sementara itu Human Computer  Interaction adalah  ilmu  yang  mempelajari  interaksi  antara komputer dan manusia, termasuk desain, evaluasi, dan implementasi sistem antarmuka  yang  mudah  digunakan  oleh  manusia.  Banyak  dikatakan  bahwa bidang Human Computer Interaction berkembang dengan teknik baru dalam mengeksplor  sifat  sistem  interaktif  dan  mengambil  tren  lama  untuk menciptakan inovasi baru [3].
Berdasarkan permasalahan yang ada maka peneliti merancang sebuah sistem virtual mouse yang dapat menggerakkan kursor tanpa menggunakan piranti mouse ataupun melakukan sentuhan pada touchpad laptop. Sistem ini memanfaatkan  gestur  tangan  sebagai alat  ganti  mouse  dengan  menerapkan hand  landmark  model  yang  memberikan  21  simbol  titik  di  sekitar  jari-jari tangan.  Cara  kerja  virtual  mouse  ini  jari  tangan  akan  ditangkap  oleh  frame webcam  laptop  atau  komputer lalu sistem  akan  memberi  21  simbol titik  di sekitar  jari  dan  telapak  tangan  yang  berfungsi  untuk mentrigger kursor melakukan  perintah  yang  sudah  diinputkan  kedalam  sistem.  Perintah  yang diinputkan antara lain, klik kiri, klik kanan, double klik, Dan drag.

## 2. METODOLOGI PENELITIAN
Tahapan  yang  dilakukan  dalam  penelitian  ini  ditunjukkan  gambar dibawah ini
Gambar 1. Tahapan Penelitian
Berdasarkan Gambar 1 dapat dijelaskan tahapan penelitian awal adalah perumusan  masalah  yaitu  kurangnya  perkembangan  inovasi  pada  piranti mouse .  Tahap  kedua  adalah  Studi  Pustaka,  ini  dilakukan  peniliti  dengan mencari referensi dari buku maupun artiken online terkait sistem yang akan dirancang. Tahapan ketiga dan keempat adalah mulainya perancangan sistem virtual mouse dengan menggunakan hand landmark model. Desain arsitektur pada penelitian ini menggunakan mediapipe untuk memberi hand landmark model,  Mediapipe  sendiri  menggunakan machine  learning untuk menyimpulkan 21 3D landmark dengan menggunakan satu tangan [4]

## Gambar 2. Hand Landmark Model
Tahapan  terkahir  yaitu  tahap  kelima  dan  keenam  adalah  pengujian sistem  dan  penulisan  hasil  sistem.  Pengujian  sistem  dilakukan  dengan menghitung tingkat akurasi dan result time dengan berorientasi pada jarak. Dalam penelitian ini Sebelum melakukan perancangan sistem peneliti membuat UML ( Unified  Modelling  Language) berdasarkan  kebutuhan. UML merupakan bahasa visual untuk pemodelan dan komunikasi mengenai sebiah sistem dengan menggunakan diagram dan teks-teks pendukung [5]. Diagram yang akan dibuat adalah Use Case diagram dan Activity diagram.

## 2.1. Use Case Diagram
Bagan  ini  menunjukkan  skenario  penggunaan  program  dengan pengguna  program  (user).  Skenario  use  case  menggambarkan  bahwa pengguna dapat melakukan fungsi fungsi program. Dalam program ini, hanya ada  satu  pengguna  dari  program.  Pengguna  dapat  diklasifikasikan  sebagai semua  pengguna  teknologi,  khususnya  komputer  atau  laptop.  pengguna program  hanya  dapat  menjalankan  perangkat  pengganti  mouse  secara manual dengan menggunakan jari tangan untuk menggerakkan kursor yang ada dalam layar komputer atau laptop.
Gambar 3. Use Case Diagram

## 2.2. Activity Diagram
Diagram aktivitas adalah visualisasi alur kerja yang berisi aktivitas dan tindakan, yang juga dapat berisi pilihan, pengulangan, dan konkurensi. Dalam Unified Modeling Language, diagram aktivitas dibuat untuk menggambarkan aktivitas  yang  akan  diproses  oleh  sistem.  Dengan  adanya  activity  diagram dapat menjelaskan alur pemrosesan sistem dari awal sampai akhir.
Gambar 4. Activity Diagram
3. HASIL DAN PEMBAHASAN Berikut  adalah  hasil  desain  sistem virtual  mouse dan  beberapa  gestur tangan yang bisa memberikan perintah pada kursor secara real time dengan media webcam sebagai perantara antara pengguna dan sistem
Tabel 1. Daftar Perintah yang Diinput
Kursor Move
Klik Kiri
Klik Kanan
Double Klik Drag
Dalam Sistem ini mempunyai 5 perintah untuk menggerakkan kursor dengan menggunakan gestur tangan antara lain, Kursor Move, Klik Kiri, Klik Kanan, Double Klik, dan Drag.
Gambar 5. Gestur Move Kursor
Gambar  5  menunjukkan  Gestur  tangan  yang  berfungsi  untuk menggerakkan  kursor  yang  ditangkap  oleh frame webcam  laptop.  Untuk mengimplementasikan gestur dalam perintah kursor diinputkan code sebagai berikut.
if gesture == Gest.V_GEST: Controller.flag = True pyautogui.moveTo(x, y, duration = 0.1)

## Gambar 6. Gesture Klik Kiri
Gambar 6 menunjukkan Gestur tangan yang berfungsi untuk memberi perintah  Klik  Kiri  pada  kursor.  Untuk  mengimplementasikan  gestur  dalam perintah kursor diinputkan code sebagai berikut.
elif gesture == Gest.MID and Controller.flag: pyautogui.click() Controller.flag = False

## Gambar 7. Gestur Klik Kanan
Gambar  7  menunjukkan  Gestur  tangan  yang  berfungsi  memberi perintah Klik Kanan pada kursor. Untuk mengimplementasikan gestur dalam perintah kursor diinputkan code sebagai berikut.
elif gesture == Gest.INDEX and Controller.flag: pyautogui.click(button='right') Controller.flag = False

## Gambar 8 Gestur Double Klik
Gambar  8  menunjukkan  Gestur  tangan  yang  berfungsi  memberi perintah  Double  Klik  pada  kursor.  Untuk  mengimplementasikan  gestur dalam perintah kursor diinputkan code sebagai berikut.
elif gesture == Gest.TWO_FINGER_CLOSED and Controller.flag: pyautogui.doubleClick() Controller.flag = False
Gambar 9. Gestur Drag
Gambar  9  menunjukkan  Gestur  tangan  yang  berfungsi  memberi perintah  Double  Klik  pada  kursor.  Untuk  mengimplementasikan  gestur dalam perintah kursor diinputkan code sebagai berikut elif gesture == Gest.FIST: if not Controller.grabflag : Controller.grabflag = True pyautogui.mouseDown(button = "left") pyautogui.moveTo(x, y, duration = 0.1)

## 3.1. Pengujian Sistem
Metode pengujian sistem virtual mouse ini menggunakan dua aspek uji, yang  pertama  aspek  jarak.  Tujuan  pengujian  ini  adalah  untuk  mengetahui tingkat  akurasi  yang  dimiliki  oleh  sistem  virtual  mouse  yang  dipakai  oleh pengguna  dengan  pengujian  jarak  mulai  dari  1  meter  sampai  2,5  meter. Pengujian  kedua  adalah  pengujian  terhadap  result  time  yang  dimiliki  oleh sistem virtual mouse, result time sendiri adalah waktu yang dibutuhkan oleh sistem sampai dengan mendapatkan hasilnya atau output
Tabel 2. Pengujian Akurasi Trial 1m 1,5m  2m  2,5m 1 T T T T 2 T T T T 3 T T T T 4 T T T F 5 T T T T 6 T T T F 7 T T F T 8 T T T T 9 T T T T 10 T T T T Jumlah Trial T 10 10 9 8
Total Tingkat Akurasi  92,5%

## Keterangan
T : Benar F : Salah
Pada  Tabel  2  tingkat  akurasi  yang  didapat  dari  sistem  virtual  mouse adalah  sebesar  92,5%  dari  total  40  percobaan  yang  dilakukan,  dalam menghitung akurasi peneliti menggunakan rumus sebagai berikut
kurasi    lasi ikasi  enar   Jumla  Data U i
(1)
Selanjutnya adalah pengujian terhadap Result Time , Result time adalah waktu yang dibutuhkan sistem dalam melakukan normalizing guna mencapai tujuan tertentu. Berikut adalah tabel pengujian Result Time. Berikut  adalah hasil pengujian Result Time Sistem Virtual Mouse menggunakan aspek jarak.
Tabel 3. Pengujian Result Time Trial 1m 1,5m 2m 2,5m 1 4,30 3,56 3,45 3,50 2 3,17 4,56 3,37 3,27 3 3,85 3,39 3,17 3,84 4 3,17 3,79 4,22 3,70 5 4,32 3,86 4,10 4,20 6 3,20 3,92 3,78 3,60 7 3,22 3,34 3,56 4,20 8 3,15 4,10 3,75 3,60 9 3,15 3,50 3,50 3,55 10 3,45 3,76 3,92 4,10 Rerata 3,498  3,778  3,682  3,756 Rerata Seluruh Result Time 3,678
Dari  hasil  pengujian  diatas  mendapatkan  rerata  sistem  virtual  mouse dalam  melakukan  normalizing  terhadap  gestur  tangan  yaitu  sebesar  3,678 detik,  faktor  yang  mempengaruhi  cepat  atau  lambatnya  sistem  melakukan normalizing adalah spesifikasi dari hardware yang digunakan. Berikut adalah spesifikasi hardware yang digunakan oleh peneliti.
Tabel 4 . Spesifikasi Hardware Processor AMD A4-7210 APU (4Cpus) 1,8GHz Ram 4 Gb Vram 489 Mb Vga Radeon R3 Graphics

## 4.  SIMPULAN
Berdasarkan  penelitian  yang  telah  dilakukan  maka  dapat  disimpulkan bahwa  sistem virtual  mouse ini  dapat  dijadikan  alternatif  pengganti  darai piranti mouse . Penggunaan media webcam sebagai perantara pengguna dan sistem virtual  mouse ini  mendapatkan  hasik  akurasi  sebesar  92,5%  dan waktu result  time sebesar  3,678  detik  dengan  menggunakan  spesifikasi hardware yang telah dicantumkan oleh peneliti. Keterbatasan Sistem Virtual Mouse ini hanya dapat dilakukan dengan menggunakan tangan kanan.

## DAFTAR PUSTAKA
[1] N.  F.  Novitasari  and  F.  Sale ,  “ plikasi  dan  persepsi  penggunaan teknologi  oleh  dosen  pengajar  bahasa  inggris  di  universitas abdurac man sale  situbondo,” Cermin , vol. 1, no. 2, pp. 45–53, 2017, [Online]. Available:
http://unars.ac.id/ojs/index.php/cermin_unars/article/view/218/17
1.
[2] .  R.  Riri ,  N.  Laili,   .  Wicaksono,  and  S.  Tsurayya,  “Studi   omparasi dan  Analisis  Swot  Pada  Implementasi  Kecerdasan  Buatan  (Artificial Intelligence) di Indonesia,” J. Tek. Ind. , vol. 15, no. 2, pp. 122–133, 2020, [Online].
Available:
https://ejournal.undip.ac.id/index.php/jgti/article/view/29183.
[3] E.  Retnoningsi   and   .  N.   l ian,  “Human  Computer  Interaction Pengelolaan  Open  Journal  Systems  berbasis  Interaction  Framework,” Bina Insa. Ict J. , vol. 7, no. 1, p. 95, 2020, doi: 10.51211/biict.v7i1.1338.
[4] F. Zhang et al. , “MediaPipe Hands: On-device Real-time Hand Tracking,” 2020, [Online]. Available: http://arxiv.org/abs/2006.10214.
[5] S. Julianto and S. Setiawan, “Perancangan Sistem Informasi Pemesanan Tiket Bus Pada Po. Handoyo Berbasis Online,” vol. 3, no. 2, 2  9.